CN114187380A - 基于视觉显著性和通道注意力机制的色彩传递方法 - Google Patents

基于视觉显著性和通道注意力机制的色彩传递方法 Download PDF

Info

Publication number
CN114187380A
CN114187380A CN202210143960.8A CN202210143960A CN114187380A CN 114187380 A CN114187380 A CN 114187380A CN 202210143960 A CN202210143960 A CN 202210143960A CN 114187380 A CN114187380 A CN 114187380A
Authority
CN
China
Prior art keywords
color
image
saliency
reference image
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210143960.8A
Other languages
English (en)
Other versions
CN114187380B (zh
Inventor
阮翊婷
丁柱
罗绍仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Binjian Technology Co ltd
Original Assignee
Hangzhou Binjian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Binjian Technology Co ltd filed Critical Hangzhou Binjian Technology Co ltd
Priority to CN202210143960.8A priority Critical patent/CN114187380B/zh
Publication of CN114187380A publication Critical patent/CN114187380A/zh
Application granted granted Critical
Publication of CN114187380B publication Critical patent/CN114187380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明公开了一种基于视觉显著性和通道注意力机制的色彩传递方法，属于数字图像处理技术领域。本发明基于参考图像的视觉显著性特征提取，并基于结合了通道注意力机制的生成对抗网络模型，提出了针对参考图像颜色特征进行着色的色彩传递方法，提高了颜色特征提取的准确性和最终色彩传递的效果，能够获得色彩更加真实、自然的着色结果，并且该结果能够学习到更符合人眼视觉系统认知的参考图像颜色风格。

Description

基于视觉显著性和通道注意力机制的色彩传递方法
技术领域
本发明属于数字图像处理技术领域，尤其涉及基于视觉显著性和通道注意力机制的色彩传递方法。
背景技术
图像着色课题的研究目标是对灰度图像或黑白线稿添加颜色，可以应用多种场景，例如医学影像着色、老照片色彩重建、漫画线稿着色等，具有较高的应用价值。
在图像着色技术发展之前，早期的纯手工着色方式往往是由艺术家们通过手工的方式在胶片上绘制颜色，但是该过程通常需要花费较长的时间以及较多的人力物力，且需要上色者有一定的美术功底。在1970年，威尔逊·马克尔最早提出了着色（colorization）这个术语，用于描述他为黑白电影、电视节目等添加色彩而发明的计算机辅助技术。随后也出现了很多利用图像处理技术来进行着色的方法。近几年，随着深度学习技术的快速发展，有研究学者们开始使用神经网络进行图像着色的研究，且取得了不错的着色结果。
按照是否依赖用户引导，可以将基于深度学习的图像着色方法分为自动式着色方法和交互式着色方法，自动式着色方法只需要向网络中输入线稿图像（或灰度图像）就可以得到着色之后的图像，交互式着色方法则还需要用户添加一定的引导，例如点、线或参考图像等交互。其中，以用户提供参考图像的为引导的着色方法，需要用户提供一副参考图像，然后着色模型会学习该参考图像的颜色特征，并以此对线稿图像（或灰度图像）进行着色，这一类方法也称为色彩传递方法，即将色彩从参考图像传递到待着色图像。
生成对抗网络（Generative Adversarial Networks，GANs）是一类无监督学习算法，它通过生成器和判别器两个模型相对对抗和优化，能够生成更加真实的图像，给图像生成领域上带来了较大的发展。因此，近几年，生成对抗网络也成为了图像着色领域中的主流网络模型。
利用生成对抗网络进行着色模型的训练，能够得到质量较高的着色结果，但是当前主流方法的着色结果依旧存在着一定的问题：一是由于大部分的生成对抗网络中仍采用了卷积结构，而由于卷积神经网络本身的感受野限制，着色模型缺乏对远距离特征的捕捉，导致对图像中各个位置的理解不够充分，影响到局部区域的着色；二是生成图像细节的不足，这是由于生成网络在下采样特征提取过程中以及判别网络的图像判别过程中，会存在大量的冗余特征，这会影响到模型的特征学习能力，导致着色图像的细节信息不足。
发明内容
为解决上述技术问题，本发明提供了基于视觉显著性和通道注意力机制的色彩传递方法，利用生成对抗网络进行图像色彩传递任务，同时结合了视觉显著性机制和通道注意力机制，通过视觉显著性机制更好的捕捉到参考图像的颜色风格，通过通道注意力机制获得图像的全局上下文特征与通道间的依赖关系，得到更加真实、细节更加丰富的着色结果。
为实现上述目的，本发明采用以下技术方案：
提供一种基于视觉显著性和通道注意力机制的色彩传递方法，所述方法包括以下步骤：
S10：分别读取原始图像和若干未着色图像，并将所述原始图像作为色彩传递模型的参考图像；其中，所述未着色图像的图像类型包括灰度图像和线稿图像。
S20：对参考图像进行视觉显著性检测，根据其频率先验、位置先验、颜色先验三种先验知识分别计算频率显著性、位置显著性和颜色显著性，再通过频率显著性、位置显著性和颜色显著性计算得到所述参考图像的显著性特征图。
S30：将参考图像的颜色三通道划分呈N个颜色区间，记为
Figure 100002_DEST_PATH_IMAGE001
，并取每个区间的颜色中心值作为代表颜色，再对每个颜色区间
Figure 767671DEST_PATH_IMAGE001
查找参考图像中属于该颜色区间的像素点的位置分布并记录，记为
Figure 879983DEST_PATH_IMAGE002
，其中，
Figure 100002_DEST_PATH_IMAGE003
。
S40：将步骤S30中得到的位置合集
Figure 431794DEST_PATH_IMAGE002
与步骤S20中得到的视觉显著性检测结果结合，查找每个像素点在显著性特征图中的权值。
S50：对每个颜色区间
Figure 426295DEST_PATH_IMAGE001
，将它所包含像素的显著性权值逐个相加，作为其整体的显著性颜色统计值，再根据值的大小对所有的
Figure 177213DEST_PATH_IMAGE001
从高至低排序，取前N个颜色区间的代表颜色作为参考图像的颜色直方图特征。
S60：以生成对抗网络为基础建立色彩传递模型，所述生成对抗网络包括生成器和判别器，所述色彩传递模型的建立步骤包括：
S61：将步骤S10中获取的未着色图像和步骤S50中得到的颜色直方图特征分别作为训练数据集和条件特征输入生成器中，所述生成器进行特征提取和着色图像的生成；其中，所述的生成器采用包括上采样路径和下采样路径的U-Net结构，所述生成器包括瓶颈层、上采样路径和下采样路径，所述瓶颈层包括若干个残差模块，所述下采样路径包括一个下采样卷积模块和X组交替的下采样模块和全局上下文模块，所述上采样路径X组上采样模块和一个上采样卷积模块，所述上采样模块一个卷积层、一个残差模块和一个PixelShuffle层，所述上采样卷积模块包括Tanh激活函数、卷积层和Leaky ReLU激活函数。
S62：将步骤S10中获取的参考图像和步骤S61中生成器生成的着色图像输入鉴别器中，进行真假鉴别，以完成对生成对抗网络的训练。
S63：将训练结束后的生成器作为色彩传递模型。
S70：使用若干灰度图像或线稿图像作为测试图像测试步骤S60中得到的色彩传递模型的着色效果，测试通过后输出所述色彩传递模型，将待着色图像与所述颜色直方图一同输入所述色彩传递模型，得到色后的彩色图像。
作为优选，所述频率显著性、位置显著性、颜色显著性以及显著性特征图的计算方法包括：
所述频率显著性记为
Figure 409611DEST_PATH_IMAGE004
其计算公式如公式（1）所示：
Figure 100002_DEST_PATH_IMAGE005
（1）
式中，
Figure 368209DEST_PATH_IMAGE006
为参考图像中像素点对应的空间位置；
Figure 100002_DEST_PATH_IMAGE007
、
Figure 522110DEST_PATH_IMAGE008
、
Figure 100002_DEST_PATH_IMAGE009
分别为参考图像从RGB色彩空间转换到CIE Lab色彩空间下的三个通道结果；
Figure 670194DEST_PATH_IMAGE010
代表在频域空间对图像进行Log-Gabor滤波，其中，
Figure 100002_DEST_PATH_IMAGE011
代表卷积操作。
Figure 976673DEST_PATH_IMAGE010
通过公式（2）近似求解：
Figure 388063DEST_PATH_IMAGE012
（2）
式中，
Figure 100002_DEST_PATH_IMAGE013
为参考图像的像素点在频域中的坐标，
Figure 763680DEST_PATH_IMAGE014
为滤波器的中心频率，
Figure 100002_DEST_PATH_IMAGE015
为控制滤波器的带宽。
所述位置显著性记为
Figure 902406DEST_PATH_IMAGE016
，其计算公式如公式（3）所示：
Figure 100002_DEST_PATH_IMAGE017
（3）
式中，
Figure 250342DEST_PATH_IMAGE018
和
Figure 160529DEST_PATH_IMAGE018
分别为
Figure 257666DEST_PATH_IMAGE008
和
Figure 13132DEST_PATH_IMAGE009
在
Figure 100002_DEST_PATH_IMAGE019
范围内的线性映射，
Figure 481154DEST_PATH_IMAGE020
为可调节颜色显著性检测效果的参数。
Figure 562242DEST_PATH_IMAGE018
和
Figure 364982DEST_PATH_IMAGE018
分别通过公式（4）和公式（5）计算得到：
Figure 100002_DEST_PATH_IMAGE021
（4）
Figure 658560DEST_PATH_IMAGE022
（5）
其中，
Figure 100002_DEST_PATH_IMAGE023
、
Figure 777826DEST_PATH_IMAGE024
、
Figure 100002_DEST_PATH_IMAGE025
、
Figure 187073DEST_PATH_IMAGE026
分别为参考图像在CIE Lab色彩空间下a通道和b通道的最小、最大值。
所述颜色显著性记为
Figure 100002_DEST_PATH_IMAGE027
，其计算公式如公式（6）所示：
Figure 227841DEST_PATH_IMAGE028
（6）
其中，
Figure 100002_DEST_PATH_IMAGE029
代表参考图像中心点对应的空间位置；
Figure 980902DEST_PATH_IMAGE030
为可调节位置显著性检测效果的参数。
所述显著性特征图的计算公式如公式（7）所示：
Figure 100002_DEST_PATH_IMAGE031
（7）
式中，
Figure 220254DEST_PATH_IMAGE032
为显著性特征。
作为优选，所述下采样模块包括了一个
Figure 100002_DEST_PATH_IMAGE033
的卷积层和一个Leaky Relu函数，在每层卷积层后都使用Leaky ReLU激活函数。
作为优选，在步骤S61中，生成器先将
Figure 111986DEST_PATH_IMAGE034
大小的输入图像和颜色直方图特征通过下采样卷积模块的一个
Figure 387853DEST_PATH_IMAGE033
的卷积层，再通过X组交替的下采样模块和全局上下文模块到达瓶颈层，然后通过X组上采样模块和上采样卷积模块的一个
Figure 288813DEST_PATH_IMAGE033
的卷积层，并在通过上采样卷积模块的卷积层后使用Tanh激活函数输出
Figure 117092DEST_PATH_IMAGE034
大小的着色图像，其中，输入图像为步骤S10中获取的未着色图像，
Figure 100002_DEST_PATH_IMAGE035
和
Figure 179726DEST_PATH_IMAGE036
分别为步骤S10中获取的未着色图像的长和宽。
作为优选，所述的下采样模块和上采样模块各取4组，输入图像大小设置为
Figure 100002_DEST_PATH_IMAGE037
。
作为优选，所述的步骤S60中的判别器采用M层卷积的Patch GAN结构；所述判别器将参考图像和未着色图像结合颜色直方图特征一同输入鉴别器中，将输入图像划分为
Figure 241092DEST_PATH_IMAGE038
大小的矩阵，每一个矩阵为一个块，对输入图像进行分块判别，得到
Figure 100002_DEST_PATH_IMAGE039
大小的判别结果，再对整体取平均值，得到输入图像为真或假的最终判别结果；其中，
Figure 289950DEST_PATH_IMAGE040
为每一个块的判决结果组成的矩阵大小。
作为优选，所述的步骤S60中生成对抗网络的损失函数由对抗损失和色度损失两部分组成，对抗损失用于计算参考图像的数据分布和生成的着色图像的数据分布之间的距离，所述色度损失用于衡量参考图像和生成的着色图像在颜色和结构上的差异，所述对抗损失和色度损失满足如公式（8）中所示的计算公式：
Figure 100002_DEST_PATH_IMAGE041
（8）
其中，
Figure 254626DEST_PATH_IMAGE042
代表权重超参数，用于设定色度的权值。
所述对抗损失记为
Figure 100002_DEST_PATH_IMAGE043
，其包含了生成器损失
Figure 160266DEST_PATH_IMAGE044
和判别器损失
Figure 100002_DEST_PATH_IMAGE045
，可由公式（9）-（11）计算得到：
Figure 521977DEST_PATH_IMAGE046
（9）
Figure 100002_DEST_PATH_IMAGE047
（10）
Figure 686111DEST_PATH_IMAGE048
（11）
其中，
Figure 100002_DEST_PATH_IMAGE049
为输入的未着色图像，
Figure 957823DEST_PATH_IMAGE050
为参考图像，
Figure 100002_DEST_PATH_IMAGE051
为颜色直方图特征，
Figure 584763DEST_PATH_IMAGE052
为分布函数的期望值，
Figure 100002_DEST_PATH_IMAGE053
为生成的着色图像的数据分布，
Figure 43558DEST_PATH_IMAGE054
为参考图像的数据分布，
Figure 100002_DEST_PATH_IMAGE055
为生成器的输出，
Figure 11383DEST_PATH_IMAGE056
为判别器的输出。
色度损失
Figure 100002_DEST_PATH_IMAGE057
的公式如（12）中所示：
Figure 262235DEST_PATH_IMAGE058
（12）
其中，
Figure 100002_DEST_PATH_IMAGE059
为L1范数。
本发明的有益效果在于：
第一，充分考虑了人类视觉系统的特性，在对参考图像的颜色特征的提取过程中融入了视觉显著性机制，通过频率先验、颜色先验、位置先验三种先验关系，检测并提取到更符合人眼视觉感受的参考图像颜色特征。
第二，本发明在生成对抗网络中引入了通道注意力机制，通过全局上下文模块捕获图像的通道间的依赖关系，并得到全局上下文信息；同时，该模块也较为轻量级，不会带来过多的网络参数，可以降低网络的冗余信息量。本发明得到了得到了更加自然、细节更加丰富的着色结果，缓解了主流方法中局部区域着色结果不理想、细节信息不足的问题。
附图说明
图1为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法的流程图。
图2为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法中色彩传递模型建立的流程图。
图3为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法的程序框图。
图4为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法的颜色直方图提取示意图。
图5为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法的生成器结构图。
图6为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法的判别器结构图。
图7为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法的色彩传递模型的全局上下文模块结构图。
具体实施方式
以下结合具体实施例和说明书附图对本发明作出进一步清楚详细的描述说明。本领域普通技术人员在基于这些说明的情况下将能够实现本发明。此外，下述说明中涉及到的本发明的实施例通常仅是本发明一部分的实施例，而不是全部的实施例。因此，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。如无特殊说明，本发明实施例所简述的方法均为本领域技术人员所掌握的方法。
图1为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法的流程图。
如图1和图3所示，在本实施例中，本发明提供一种基于视觉显著性和通道注意力机制的色彩传递方法，所述方法包括参考图像的颜色特征提取和色彩传递模型的模型训练两个阶段，颜色特征提取阶段包括以下步骤：
S10：分别读取原始图像和若干未着色图像，并将所述原始图像作为色彩传递模型的参考图像；其中，所述未着色图像的图像类型包括灰度图像和线稿图像；本实施例中，本发明步骤S10所述的参考图像和线稿图像数据集示例性的选取来自Danbooru2017动漫人物数据集，其中包含了14224张训练图像与3454张测试图像，图像尺寸为512×512。
S20：对参考图像进行视觉显著性检测，根据其频率先验、位置先验、颜色先验三种先验知识分别计算频率显著性、位置显著性和颜色显著性，再通过频率显著性、位置显著性和颜色显著性计算得到所述参考图像的显著性特征图。
S30：将参考图像的颜色三通道（即R、G、B）划分呈
Figure 509677DEST_PATH_IMAGE060
个颜色区间，记为
Figure 737658DEST_PATH_IMAGE001
，并取每个区间的颜色中心值作为代表颜色，再对每个颜色区间
Figure 322223DEST_PATH_IMAGE001
查找参考图像中属于该颜色区间的像素点的位置分布并记录，记为
Figure 896424DEST_PATH_IMAGE002
，其中，
Figure 783609DEST_PATH_IMAGE003
。
S40：将步骤S30中得到的位置合集
Figure 872788DEST_PATH_IMAGE002
与步骤S20中得到的视觉显著性检测结果结合，查找每个像素点在显著性特征图中的权值。
S50：对每个颜色区间
Figure 385677DEST_PATH_IMAGE001
，将它所包含像素的显著性权值逐个相加，作为其整体的显著性颜色统计值，再根据值的大小对所有的
Figure 876702DEST_PATH_IMAGE001
从高至低排序，取前
Figure 262684DEST_PATH_IMAGE060
个颜色区间的代表颜色作为参考图像的颜色直方图特征。示例性的N取8，可获得如图4所示的颜色直方图，具体的频率显著性、位置显著性、颜色显著性以及显著性特征图的计算方法参考如下：
频率显著性记为
Figure 448945DEST_PATH_IMAGE004
其计算公式如公式（13）所示：
Figure 640892DEST_PATH_IMAGE005
（13）
式中，
Figure 609592DEST_PATH_IMAGE006
为参考图像中像素点对应的空间位置；
Figure 963213DEST_PATH_IMAGE007
、
Figure 964667DEST_PATH_IMAGE008
、
Figure 570092DEST_PATH_IMAGE009
分别为参考图像从RGB色彩空间转换到CIE Lab色彩空间下的三个通道结果；
Figure 770129DEST_PATH_IMAGE010
代表在频域空间对图像进行Log-Gabor滤波，其中，
Figure 684864DEST_PATH_IMAGE011
代表卷积操作。
Figure 970352DEST_PATH_IMAGE010
通过公式（14）近似求解：
Figure 707364DEST_PATH_IMAGE012
（14）
式中，
Figure 637274DEST_PATH_IMAGE013
为参考图像的像素点在频域中的坐标，
Figure 598276DEST_PATH_IMAGE014
为滤波器的中心频率，
Figure 997159DEST_PATH_IMAGE015
为控制滤波器的带宽；本实施例中，
Figure DEST_PATH_IMAGE061
，
Figure 803441DEST_PATH_IMAGE062
。
所述位置显著性记为
Figure 587857DEST_PATH_IMAGE016
，其计算公式如公式（15）所示：
Figure 985341DEST_PATH_IMAGE017
（15）
式中，
Figure 104475DEST_PATH_IMAGE018
和
Figure 980027DEST_PATH_IMAGE018
分别为
Figure 946846DEST_PATH_IMAGE008
和
Figure 125018DEST_PATH_IMAGE009
在
Figure 872394DEST_PATH_IMAGE019
范围内的线性映射，
Figure 903368DEST_PATH_IMAGE020
为可调节颜色显著性检测效果的参数；本实施例中，
Figure DEST_PATH_IMAGE063
。
Figure 521431DEST_PATH_IMAGE018
和
Figure 870504DEST_PATH_IMAGE018
分别通过公式（16）和公式（17）计算得到：
Figure 105176DEST_PATH_IMAGE021
（16）
Figure 447164DEST_PATH_IMAGE022
（17）
其中，
Figure 388575DEST_PATH_IMAGE023
、
Figure 33183DEST_PATH_IMAGE024
、
Figure 364939DEST_PATH_IMAGE025
、
Figure 385984DEST_PATH_IMAGE026
分别为参考图像在CIE Lab色彩空间下a通道和b通道的最小、最大值。
所述颜色显著性记为
Figure 870318DEST_PATH_IMAGE027
，其计算公式如公式（18）所示：
Figure 420248DEST_PATH_IMAGE028
（18）
其中，
Figure 567195DEST_PATH_IMAGE029
代表参考图像中心点对应的空间位置；
Figure 1719DEST_PATH_IMAGE030
为可调节位置显著性检测效果的参数；本实施例中，
Figure 714460DEST_PATH_IMAGE064
。
所述显著性特征图的计算公式如公式（19）所示：
Figure 91083DEST_PATH_IMAGE031
（19）
式中，
Figure 256486DEST_PATH_IMAGE032
为显著性特征。
色彩传递模型阶段包括以下步骤：
S60：以生成对抗网络为基础建立色彩传递模型，所述生成对抗网络包括生成器和判别器，本实施例的色彩传递模型的建立步骤如图2所示，包括：
S61：将步骤S10中获取的未着色图像和步骤S50中得到的颜色直方图特征分别作为训练数据集和条件特征输入生成器中，所述生成器进行特征提取和着色图像的生成。
其中，本实施例中的生成器的结构如图5所示，所述的生成器采用包括上采样路径和下采样路径的U-Net结构，所述生成器包括瓶颈层、上采样路径和下采样路径，所述瓶颈层包括若干个残差模块，本实施例中为4个，所述下采样路径包括一个下采样卷积模块和X组交替的下采样模块和全局上下文模块，所述上采样路径X组上采样模块和一个上采样卷积模块，所述上采样模块包括一个卷积层、一个残差模块和一个Pixel Shuffle层，所述上采样卷积模块包括Tanh激活函数、卷积层和Leaky ReLU激活函数，下采样卷积模块包括一个卷积层和一个批归一化（BN）模块；所述上采样模块和下采样模块数量对应，本实施例中均为4个，即X取4，并且输入图像大小设置为
Figure 557017DEST_PATH_IMAGE037
，那么生成器的输入为
Figure 265210DEST_PATH_IMAGE037
的线稿图像和颜色直方图特征，经过下采样路径、瓶颈层和上采样路径，输出
Figure 688101DEST_PATH_IMAGE037
的彩色图像。图6为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法的判别器结构图，如图6所示，判别器的输入为生成的彩色图像或者真实图像，同时将颜色直方图特征作为条件特征输入，经过5个卷积层，进行分块判别，得到最终的判别结果。本实施例中，整个下采样路径中共有四个全局上下文模块，每一个模块的输入和输出尺寸相同，分别为
Figure DEST_PATH_IMAGE065
，
Figure 495127DEST_PATH_IMAGE066
，
Figure DEST_PATH_IMAGE067
，
Figure 5873DEST_PATH_IMAGE068
。
S62：将步骤S10中获取的参考图像和步骤S61中生成器生成的着色图像输入鉴别器中，进行真假鉴别，以完成对生成对抗网络的训练。
S63：将训练结束后的生成器作为色彩传递模型。
S70：使用若干灰度图像或线稿图像作为测试图像测试步骤S60中得到的色彩传递模型的着色效果，测试通过后输出所述色彩传递模型，将待着色图像与所述颜色直方图一同输入所述色彩传递模型，得到色后的彩色图像。
具体的，所述下采样模块包括了一个
Figure 958786DEST_PATH_IMAGE033
的卷积层和一个Leaky Relu函数，在每层卷积层后都使用Leaky ReLU激活函数。
更加具体的，在步骤S61中，生成器生成着色图像的流程如下：先将
Figure 411633DEST_PATH_IMAGE034
大小的输入图像和颜色直方图特征通过下采样卷积模块的一个
Figure 754890DEST_PATH_IMAGE033
的卷积层，再通过X组交替的下采样模块和全局上下文模块到达瓶颈层，然后通过X组上采样模块和上采样卷积模块的一个
Figure 193961DEST_PATH_IMAGE033
的卷积层，并在通过上采样卷积模块的卷积层后使用Tanh激活函数输出
Figure 611167DEST_PATH_IMAGE034
大小的着色图像，其中，输入图像为步骤S10中获取的未着色图像，
Figure 375861DEST_PATH_IMAGE035
和
Figure 629250DEST_PATH_IMAGE036
分别为步骤S10中获取的未着色图像的长和宽。
具体的，步骤S60中的判别器采用M层卷积的Patch GAN结构，本实施例中为5层；所述判别器的判别流程如下：将参考图像和未着色图像结合颜色直方图特征一同输入鉴别器中，将输入图像划分为
Figure 75275DEST_PATH_IMAGE038
大小的矩阵，每一个矩阵为一个块，对输入图像进行分块判别，得到
Figure 471621DEST_PATH_IMAGE039
大小的判别结果，再对整体取平均值，得到输入图像为真或假的最终判别结果；其中，
Figure 282582DEST_PATH_IMAGE040
为每一个块的判决结果组成的矩阵大小。
更加具体的，步骤S60中生成对抗网络的损失函数由对抗损失和色度损失两部分组成，对抗损失用于计算参考图像的数据分布和生成的着色图像的数据分布之间的距离，所述色度损失用于衡量参考图像和生成的着色图像在颜色和结构上的差异，所述对抗损失和色度损失满足如公式（20）中所示的计算公式：
Figure 397169DEST_PATH_IMAGE041
（20）
其中，
Figure 568256DEST_PATH_IMAGE042
代表权重超参数，用于设定色度的权值。
所述对抗损失记为
Figure 819109DEST_PATH_IMAGE043
，其包含了生成器损失
Figure 863288DEST_PATH_IMAGE044
和判别器损失
Figure 340537DEST_PATH_IMAGE045
，可由公式（21）-（23）计算得到：
Figure 190681DEST_PATH_IMAGE046
（21）
Figure 190648DEST_PATH_IMAGE047
（22）
Figure 202466DEST_PATH_IMAGE048
（23）
其中，
Figure 494907DEST_PATH_IMAGE049
为输入的未着色图像，
Figure 492950DEST_PATH_IMAGE050
为参考图像，
Figure 718395DEST_PATH_IMAGE051
为颜色直方图特征，
Figure 556907DEST_PATH_IMAGE052
为分布函数的期望值，
Figure 867803DEST_PATH_IMAGE053
为生成的着色图像的数据分布，
Figure 669537DEST_PATH_IMAGE054
为参考图像的数据分布，
Figure 218330DEST_PATH_IMAGE055
为生成器的输出，
Figure 571951DEST_PATH_IMAGE056
为判别器的输出。
色度损失
Figure 261820DEST_PATH_IMAGE057
的公式如（24）中所示：.
Figure 991879DEST_PATH_IMAGE058
（24）
其中，
Figure 395178DEST_PATH_IMAGE059
为L1范数。
本实施例中，步骤S60中色彩传递模型训练过程中，设置
Figure DEST_PATH_IMAGE069
=4（单次训练样本数量），
Figure 326225DEST_PATH_IMAGE070
（最大迭代轮数）；同时，使用ADAM作为优化器，设置衰减率
Figure DEST_PATH_IMAGE071
，
Figure 533085DEST_PATH_IMAGE072
，生成器学习率
Figure DEST_PATH_IMAGE073
，判别器学习率
Figure 411042DEST_PATH_IMAGE074
。当观察到判别器的损失曲线在0附近震荡，说明此时判别器已经无法判别输入图像是来自生成器生成的图像还是真实图像，训练完成，得到的模型即为最终的色彩传递模型。
本实施例中，步骤S70中所述的测试过程，需要将用于测试的线稿图像（或灰度图像）与从参考图像中得到的颜色直方图特征一同输入训练好的色彩传递模型，从而得到根据参考图像颜色特征着色后的彩色图像。
当前主流的生成对抗网络模型大多以DCGAN（Deep Convolutional GAN，深度卷积生成对抗网络）为基础，由于卷积结构会受到卷积核和感受野大小的限制，模型只能捕获局部信息，而没有办法获得图像的全局特征，这会影响到模型对图像中各个位置特征的理解，导致生成的图像可能会在细节区域出现颜色模糊或者错误的现象。另一方面，使用生成对抗网络进行图像着色任务，在生成器下采样过程中，所提取到的低层特征中会存在很多的冗余信息，并且，在判别器鉴别高分辨率图像的过程中，需要判别器有较大的感受野，这同样带来了更多的参数量。如果模型中存在过多的冗余特征，会影响到模型整体的学习能力，导致生成图像的细节信息不足。而且在交互式图像着色问题中，通常需要用户给予一定的交互提示，例如点、线、文字提示等，在着色模型的训练过程中，同样需要先模拟这些用户提示。但是在主流的数据集中，缺少这方面的资源。
本发明实施例所提供的色彩传递方法，是基于参考图像颜色特征提出的色彩传递方法，通常这类方法会直接从参考图像中提取颜色分布作为特征提示，这些的特征仅考虑到了颜色的实际占比情况，但是有时候人眼对一副图像主要色彩分布的认知并不等于其实际的占比情况，很多时候还会受到色彩所在位置、冷暖色调等的影响。因此，本发明中结合了视觉显著性检测方式，从参考图像中提取基于颜色先验、位置先验、频率先验三种显著性检测结果的颜色直方图作为特征提示，提取到了更准确的颜色特征，让最终的着色结果也更加的符合人眼对于参考图像的主观判断。
图7为本发明一实施例提供的一种基于视觉显著性和通道注意力机制的色彩传递方法的色彩传递模型的全局上下文模块结构图，本发明实施例所提供的色彩传递方法，在生成对抗网络中加入全局上下文模块（GC Block），可以在获得全局上下文特征的同时，更有效的关注到图像的通道特征。当前有一些应用到注意力机制的方法比较多的是采用自注意力机制，（即加入非局部模块，non-local block），但是该模块计算量较大，且只涉及到了位置注意力，而没有关注到图像的通道特征。在生成对抗网络中加入GC Block，可以减轻非局部模块带来的较大计算量，并且让整体网络变得较为轻量，不会存在过多的参数量与冗余信息。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于包括以下步骤：
S10：分别读取原始图像和若干未着色图像，并将所述原始图像作为色彩传递模型的参考图像；其中，所述未着色图像的图像类型包括灰度图像和线稿图像；
S20：对参考图像进行视觉显著性检测，根据其频率先验、位置先验、颜色先验三种先验知识分别计算频率显著性、位置显著性和颜色显著性，再通过频率显著性、位置显著性和颜色显著性计算得到所述参考图像的显著性特征图；
S30：将参考图像的颜色三通道划分呈N个颜色区间，记为
Figure DEST_PATH_IMAGE001
，并取每个区间的颜色中心值作为代表颜色，再对每个颜色区间
Figure 918697DEST_PATH_IMAGE001
查找参考图像中属于该颜色区间的像素点的位置分布并记录，记为
Figure 84099DEST_PATH_IMAGE002
，其中，
Figure DEST_PATH_IMAGE003
；
S40：将步骤S30中得到的位置合集
Figure 587893DEST_PATH_IMAGE002
与步骤S20中得到的视觉显著性检测结果结合，查找每个像素点在显著性特征图中的权值；
S50：对每个颜色区间
Figure 772450DEST_PATH_IMAGE001
，将它所包含像素的显著性权值逐个相加，作为其整体的显著性颜色统计值，再根据值的大小对所有的
Figure 929762DEST_PATH_IMAGE001
从高至低排序，取前N个颜色区间的代表颜色作为参考图像的颜色直方图特征；
S60：以生成对抗网络为基础建立色彩传递模型，所述生成对抗网络包括生成器和判别器，所述色彩传递模型的建立步骤包括：
S61：将步骤S10中获取的未着色图像和步骤S50中得到的颜色直方图特征分别作为训练数据集和条件特征输入生成器中，所述生成器进行特征提取和着色图像的生成；其中，所述的生成器采用包括上采样路径和下采样路径的U-Net结构，所述生成器包括瓶颈层、上采样路径和下采样路径，所述瓶颈层包括若干个残差模块，所述下采样路径包括一个下采样卷积模块和X组交替的下采样模块和全局上下文模块，所述上采样路径X组上采样模块和一个上采样卷积模块，所述上采样模块一个卷积层、一个残差模块和一个Pixel Shuffle层，所述上采样卷积模块包括Tanh激活函数、卷积层和Leaky ReLU激活函数；
S62：将步骤S10中获取的参考图像和步骤S61中生成器生成的着色图像输入鉴别器中，进行真假鉴别，以完成对生成对抗网络的训练；
S63：将训练结束后的生成器作为色彩传递模型；
S70：使用若干灰度图像或线稿图像作为测试图像测试步骤S60中得到的色彩传递模型的着色效果，测试通过后输出所述色彩传递模型，将待着色图像与所述颜色直方图一同输入所述色彩传递模型，得到色后的彩色图像。
2.根据权利要求1所述的基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于，所述频率显著性、位置显著性、颜色显著性以及显著性特征图的计算方法包括：
所述频率显著性记为
Figure 457826DEST_PATH_IMAGE004
其计算公式如公式（1）所示：
Figure DEST_PATH_IMAGE005
（1）
式中，
Figure 358786DEST_PATH_IMAGE006
为参考图像中像素点对应的空间位置；
Figure DEST_PATH_IMAGE007
、
Figure 436333DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE009
分别为参考图像从RGB色彩空间转换到CIE Lab色彩空间下的三个通道结果；
Figure 171070DEST_PATH_IMAGE010
代表在频域空间对图像进行Log-Gabor滤波，
Figure 45486DEST_PATH_IMAGE010
通过公式（2）近似求解；其中，
Figure DEST_PATH_IMAGE011
代表卷积操作；
Figure 641814DEST_PATH_IMAGE012
（2）
式中，
Figure DEST_PATH_IMAGE013
为参考图像的像素点在频域中的坐标，
Figure 590179DEST_PATH_IMAGE014
为滤波器的中心频率，
Figure DEST_PATH_IMAGE015
为控制滤波器的带宽；
所述位置显著性记为
Figure 479506DEST_PATH_IMAGE016
，其计算公式如公式（3）所示：
Figure DEST_PATH_IMAGE017
（3）
式中，
Figure 247742DEST_PATH_IMAGE018
和
Figure 224925DEST_PATH_IMAGE018
分别为
Figure 621272DEST_PATH_IMAGE008
和
Figure 914456DEST_PATH_IMAGE009
在
Figure DEST_PATH_IMAGE019
范围内的线性映射，
Figure 169988DEST_PATH_IMAGE020
为可调节颜色显著性检测效果的参数；
Figure 950862DEST_PATH_IMAGE018
和
Figure 201715DEST_PATH_IMAGE018
分别通过公式（4）和公式（5）计算得到：
Figure DEST_PATH_IMAGE021
（4）
Figure 698424DEST_PATH_IMAGE022
（5）
其中，
Figure DEST_PATH_IMAGE023
、
Figure 441253DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
、
Figure 917495DEST_PATH_IMAGE026
分别为参考图像在CIE Lab色彩空间下a通道和b通道的最小、最大值；
所述颜色显著性记为
Figure DEST_PATH_IMAGE027
，其计算公式如公式（6）所示：
Figure 429379DEST_PATH_IMAGE028
（6）
其中，
Figure DEST_PATH_IMAGE029
代表参考图像中心点对应的空间位置；
Figure 706777DEST_PATH_IMAGE030
为可调节位置显著性检测效果的参数；
所述显著性特征图的计算公式如公式（7）所示：
Figure DEST_PATH_IMAGE031
（7）
式中，
Figure 186169DEST_PATH_IMAGE032
为显著性特征。
3.根据权利要求1所述的基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于， 所述下采样模块包括了一个
Figure DEST_PATH_IMAGE033
的卷积层和一个Leaky Relu函数，在每层卷积层后都使用Leaky ReLU激活函数。
4.根据权利要求3所述的基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于，在步骤S61中，生成器先将
Figure 715370DEST_PATH_IMAGE034
大小的输入图像和颜色直方图特征通过下采样卷积模块的一个
Figure 675236DEST_PATH_IMAGE033
的卷积层，再通过X组交替的下采样模块和全局上下文模块到达瓶颈层，然后通过X组上采样模块和上采样卷积模块的一个
Figure 486984DEST_PATH_IMAGE033
的卷积层，并在通过上采样卷积模块的卷积层后使用Tanh激活函数输出
Figure 63459DEST_PATH_IMAGE034
大小的着色图像，其中，输入图像为步骤S10中获取的未着色图像，
Figure DEST_PATH_IMAGE035
和
Figure 130772DEST_PATH_IMAGE036
分别为步骤S10中获取的未着色图像的长和宽。
5.根据权利要求1所述的基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于，所述的下采样模块和上采样模块各取4组，输入图像大小设置为
Figure DEST_PATH_IMAGE037
。
6.根据权利要求1所述的基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于，所述的步骤S60中的判别器采用M层卷积的Patch GAN结构；所述判别器将参考图像和未着色图像结合颜色直方图特征一同输入鉴别器中，将输入图像划分为
Figure 600936DEST_PATH_IMAGE038
大小的矩阵，每一个矩阵为一个块，对输入图像进行分块判别，得到
Figure DEST_PATH_IMAGE039
大小的判别结果，再对整体取平均值，得到输入图像为真或假的最终判别结果；其中，
Figure 361082DEST_PATH_IMAGE040
为每一个块的判决结果组成的矩阵大小。
7.根据权利要求1所述的基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于，所述的步骤S60中生成对抗网络的损失函数由对抗损失和色度损失两部分组成，对抗损失用于计算参考图像的数据分布和生成的着色图像的数据分布之间的距离，所述色度损失用于衡量参考图像和生成的着色图像在颜色和结构上的差异，所述对抗损失和色度损失满足如公式（8）中所示的计算公式：
Figure DEST_PATH_IMAGE041
（8）
其中，
Figure 424853DEST_PATH_IMAGE042
代表权重超参数，用于设定色度的权值；
所述对抗损失记为
Figure DEST_PATH_IMAGE043
，其包含了生成器损失
Figure 781010DEST_PATH_IMAGE044
和判别器损失
Figure DEST_PATH_IMAGE045
，可由公式（9）-（11）计算得到：
Figure 121993DEST_PATH_IMAGE046
（9）
Figure DEST_PATH_IMAGE047
（10）
Figure 302307DEST_PATH_IMAGE048
（11）
其中，
Figure DEST_PATH_IMAGE049
为输入的未着色图像，
Figure 728741DEST_PATH_IMAGE050
为参考图像，
Figure DEST_PATH_IMAGE051
为颜色直方图特征，
Figure 528069DEST_PATH_IMAGE052
为分布函数的期望值，
Figure DEST_PATH_IMAGE053
为生成的着色图像的数据分布，
Figure 736940DEST_PATH_IMAGE054
为参考图像的数据分布，
Figure DEST_PATH_IMAGE055
为生成器的输出，
Figure 573309DEST_PATH_IMAGE056
为判别器的输出；
色度损失
Figure DEST_PATH_IMAGE057
的公式如（12）中所示：
Figure 736306DEST_PATH_IMAGE058
（12）
其中，
Figure DEST_PATH_IMAGE059
为L1范数。
CN202210143960.8A 2022-02-17 2022-02-17 基于视觉显著性和通道注意力机制的色彩传递方法 Active CN114187380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210143960.8A CN114187380B (zh) 2022-02-17 2022-02-17 基于视觉显著性和通道注意力机制的色彩传递方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210143960.8A CN114187380B (zh) 2022-02-17 2022-02-17 基于视觉显著性和通道注意力机制的色彩传递方法

Publications (2)

Publication Number Publication Date
CN114187380A true CN114187380A (zh) 2022-03-15
CN114187380B CN114187380B (zh) 2022-05-31

Family

ID=80546075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210143960.8A Active CN114187380B (zh) 2022-02-17 2022-02-17 基于视觉显著性和通道注意力机制的色彩传递方法

Country Status (1)

Country Link
CN (1) CN114187380B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030200A (zh) * 2023-03-27 2023-04-28 武汉零点视觉数字科技有限公司 一种基于视觉融合的场景重构方法与装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129693A (zh) * 2011-03-15 2011-07-20 清华大学 基于色彩直方图和全局对比度的图像视觉显著性计算方法
CN108615252A (zh) * 2018-05-03 2018-10-02 苏州大学 基于参考图像的线稿上色模型的训练方法以及装置
CN109712203A (zh) * 2018-12-29 2019-05-03 福建帝视信息科技有限公司 一种基于自注意力生成对抗网络的图像着色方法
CN110689599A (zh) * 2019-09-10 2020-01-14 上海大学 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN110706152A (zh) * 2019-09-25 2020-01-17 中山大学 基于生成对抗网络的人脸光照迁移方法
CN111415316A (zh) * 2020-03-18 2020-07-14 山西安数智能科技有限公司 基于生成对抗网络的缺陷数据合成算法
CN113724354A (zh) * 2021-09-06 2021-11-30 浙江大学 基于参考图颜色风格的灰度图像着色方法
CN113870371A (zh) * 2021-12-03 2021-12-31 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129693A (zh) * 2011-03-15 2011-07-20 清华大学 基于色彩直方图和全局对比度的图像视觉显著性计算方法
CN108615252A (zh) * 2018-05-03 2018-10-02 苏州大学 基于参考图像的线稿上色模型的训练方法以及装置
CN109712203A (zh) * 2018-12-29 2019-05-03 福建帝视信息科技有限公司 一种基于自注意力生成对抗网络的图像着色方法
CN110689599A (zh) * 2019-09-10 2020-01-14 上海大学 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN110706152A (zh) * 2019-09-25 2020-01-17 中山大学 基于生成对抗网络的人脸光照迁移方法
CN111415316A (zh) * 2020-03-18 2020-07-14 山西安数智能科技有限公司 基于生成对抗网络的缺陷数据合成算法
CN113724354A (zh) * 2021-09-06 2021-11-30 浙江大学 基于参考图颜色风格的灰度图像着色方法
CN113870371A (zh) * 2021-12-03 2021-12-31 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KANCHARAGUNTAKISHAN BABU等: "CDGAN: Cyclic Discriminative Generative Adversarial Networks for image-to-image transformation", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 *
亢伉: "利用对抗生成网络的视觉显著性预测研究", 《电子设计工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030200A (zh) * 2023-03-27 2023-04-28 武汉零点视觉数字科技有限公司 一种基于视觉融合的场景重构方法与装置

Also Published As

Publication number Publication date
CN114187380B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN1475969B (zh) 用于增强人像图像的方法和系统
CN109754377B (zh) 一种多曝光图像融合方法
CN107123088B (zh) 一种自动更换证件照背景颜色的方法
US7187811B2 (en) Method for image resolution enhancement
CN109118445B (zh) 一种基于多分支生成对抗网络的水下图像增强方法
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN107578390A (zh) 一种使用神经网络进行图像白平衡校正的方法及装置
CN109934154B (zh) 一种遥感影像变化检测方法及检测装置
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
US11044450B2 (en) Image white balancing
CN113822830B (zh) 基于深度感知增强的多曝光图像融合方法
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN111882489A (zh) 用于水下图像同时增强的超分辨率图形恢复方法
CN111325661B (zh) 一种名为msgan的图像的季节风格转换模型及方法
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN111882555B (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
CN112508812A (zh) 图像色偏校正方法、模型训练方法、装置及设备
CN113379764A (zh) 一种基于域对抗自监督学习的病理图像分割方法
CN110969631A (zh) 一种精细化照片染发方法及系统
CN111931857A (zh) 一种基于mscff的低照度目标检测方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN114187380B (zh) 基于视觉显著性和通道注意力机制的色彩传递方法
CN112819017B (zh) 基于直方图的高精度色偏图像识别方法
CN113609944A (zh) 一种静默活体检测方法
Panetta et al. Novel multi-color transfer algorithms and quality measure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant