CN110390631B - 生成uv光谱图片的方法、系统、网络及存储介质 - Google Patents
生成uv光谱图片的方法、系统、网络及存储介质 Download PDFInfo
- Publication number
- CN110390631B CN110390631B CN201910624682.6A CN201910624682A CN110390631B CN 110390631 B CN110390631 B CN 110390631B CN 201910624682 A CN201910624682 A CN 201910624682A CN 110390631 B CN110390631 B CN 110390631B
- Authority
- CN
- China
- Prior art keywords
- picture
- output
- inputting
- network
- fake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000002211 ultraviolet spectrum Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 40
- 238000010606 normalization Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 36
- 210000003491 skin Anatomy 0.000 description 11
- 238000011176 pooling Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004060 metabolic process Effects 0.000 description 3
- 206010061218 Inflammation Diseases 0.000 description 2
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 230000002500 effect on skin Effects 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 101001018064 Homo sapiens Lysosomal-trafficking regulator Proteins 0.000 description 1
- 102100033472 Lysosomal-trafficking regulator Human genes 0.000 description 1
- 235000010703 Modiola caroliniana Nutrition 0.000 description 1
- 244000038561 Modiola caroliniana Species 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 208000005775 Parakeratosis Diseases 0.000 description 1
- 206010042496 Sunburn Diseases 0.000 description 1
- 206010043189 Telangiectasia Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 235000021466 carotenoid Nutrition 0.000 description 1
- 150000001747 carotenoids Chemical class 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000004177 elastic tissue Anatomy 0.000 description 1
- 210000001339 epidermal cell Anatomy 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002085 irritant Substances 0.000 description 1
- 231100000021 irritant Toxicity 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002780 melanosome Anatomy 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 210000001732 sebaceous gland Anatomy 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000004927 skin cell Anatomy 0.000 description 1
- 230000005808 skin problem Effects 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 208000009056 telangiectasis Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明公开了一种生成UV光谱图片的方法、系统、网络及存储介质，利用生成对抗网络对原始日光图片进行处理，得到UV光谱的目标图片。本发明无需对图像进行预分割，无需依赖专门的硬件设备即可生成UV光谱图片，便于在各种场合下获取UV光谱图片；节省了购买硬件设备的成本，便于市场推广。
Description
技术领域
本发明涉及机器学习领域，特别是一种生成UV光谱图片的方法、系统、网络及存储介质。
背景技术
UV是英文Ultraviolet Rays的缩写,即紫外光线，紫外线的波长范围在100～400nm，是介于X射线与可见光间的电磁波，UV模式下能展现出日常光无法展示的皮肤反差，能得到反差更强，细节更明显的一些皮肤问题。有一些肉眼日常不明显且看不出的色素色斑沉淀，以及日晒伤害，都会在照射低量的紫外光之后，激发出独特的颜色以及形态的皮肤荧光，因此就会显现出来。
紫外光(UV)检测仪还具有其他分析功能：
水分分析：皮肤缺水会导致皮肤干燥，影响皮脂腺分泌、皮下脂肪及弹力组织健康。油分分析：皮肤油脂分泌旺盛，得不到彻底清洁，会导致毛孔堵塞，并发炎症。
纹理分析：随着年龄增长，表皮与真皮结构处变平，表皮变薄、水分挥发加快、丢失增多，表皮细胞的代谢能力减弱，更新速度开始减慢，新生细胞生成减少，角化不全、表面轮廓不清，皮面规则紊乱，皮沟线变浅，皮嵴变大。
肤色分析：肤色由黑素体、血红蛋白、类胡萝卜素、真皮血管及真皮纤维等因素决定，这些成份在受到紫外线、药物及其他刺激物的作用后会发生明显的改变。
色素分析：从皮肤黑素代谢机理可知，色斑的生成过程实质上是代谢的不平衡，降解速度低于合成速度，长期沉积所造成的。此外，每个人由于遗传原因或肌体状态的不同，在皮肤细胞的生成和脱落过程中，色素的代谢表现出不同的倾向。
炎症分析：红血丝-毛细血管扩张，是由于皮肤中的毛细血管持续扩张而形成红色或紫红色斑状、点状、线状损害，偶有灼热感或刺痛感。
现有技术需要利用专门的硬件设备拍摄UV光谱下的人脸图片，设备成本高，不便于市场推广，且由于设备不便于携带，使用不方便，用户体验较差。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种生成UV光谱图片的方法、系统、网络及存储介质，无需专门的硬件设备即可获得UV光谱下的人脸图片。
为解决上述技术问题，本发明所采用的技术方案是：
一种生成UV光谱图片的方法，包括以下步骤：
1)采集P对图片，每对图片包括一张原始日光图片和一张目标图片，所述目标图片即UV光谱图片；
2)对于第一对图片中的原始日光图片，将该原始日光图片缩小原始日光图片N倍，并将缩小后的图片A输入生成对抗网络的全局生成器网络，得到输出图片B；同时，将该原始日光图片输入生成对抗网络的局部增强网络，得到与图片B具有相同维度特征的图片C；融合图片B和C，得到融合特征，将融合特征输入所述局部增强网络，得到输出图片D，计算输出图片D与目标图片的相似性G_GAN；
3)合成输出图片D与所述原始日光图片，将合成的图片输入判断器模型，得到输出D_fake；合成原始日光图片与目标图片，并将合成的图片输入判断器模型，得到输出D_real；
4)令L_loss1＝W1×G_GAN+W2×D_fake+W3×D_real；其中，W1，W2，W3为权重；
5)对于其余对图片，重复步骤2)～4)，分别得到L_loss2，L_loss3，……，L_lossP；
6)令L_loss＝L_loss1+L_loss2+L_loss3+……+L_lossP，判断L_loss是否收敛，若收敛，则利用L_loss更新所述生成对抗网络，并输出更新后的生成对抗网络；若不收敛，则利用L_loss更新所述生成对抗网络，并将P对图片依次输入该更新后的生成对抗网络中，重复步骤2)～6)；
7)将日光图片输入所述更新后的生成对抗网络中，得到UV光谱图片。
上述步骤1)中，融合特征获取方法如下：对图片B和C进行连接操作，合成新的特征，假设图片B，C都是维度为(H，W，C)，那么连接之后的新的特征维度变成(H，W，2C)，则连接之后的特征为融合特征。
上述步骤6)中，得到L_loss这一数值之后，把这个值进行反向传播，即传播到判断器和生成器模型中，然后判断器和生成器模型根据一定的数学规则更新自身的数据，完成一次更新。
步骤4)中，还进行如下处理：
将输出图片D和目标图片输入到卷积神经网路中，得到输出D1和D2，计算D1和D2的相似性G_VGG；
以及，步骤5)中，利用下式计算L_loss：
L_loss1＝W1×G_GAN+W2×D_fake+W3×D_real+W5×G_VGG；其中，W5为权重。使网络更加快速的收敛，提高生成图像的质量，同时可以节约资源。
D1和D2的相似性G_VGG的具体计算过程包括：
将输出图片D和目标图片分别输入到卷积神经网络中，得到输出V11和V12，计算V11和V12的相似性，得到G_VGG_1；
将输出图片D和目标图片缩小N倍，然后分别输入到卷积神经网络中，得到输出V21和V22，计算V21和V22的相似性，得到G_VGG_2；
将输出图片D和目标图片缩小N*N倍，然后分别输入到卷积神经网络中，得到输出V31和V32，计算V31和V32的相似性，得到G_VGG_3；
得到G_VGG＝G_VGG_1+G_VGG_2+G_VGG_3。
步骤4)中，合成输出图片D与原始日光图片，将合成的图片输入判断器模型中，得到输出D_fake的具体过程包括：
合成输出图片D和原始日光图片，将合成的图片输入第一判断器模型中，得到输出M11，计算M11与0的相似性，得到D_fake_1；
合成输出图片D和原始日光图片，将合成的图片缩小N倍，并将缩小后的图片输入第二判断器模型中，得到输出M21，计算M21与0的相似性，得到D_fake_2；
合成输出图片D和原始日光图片，将合成的图片缩小N*N倍，并将缩小后的图片输入第三判断器模型中，得到输出M31，计算M31与0的相似性，得到D_fake_3；
得到D_fake＝D_fake_1+D_fake_2+D_fake_3。
步骤4)中，合成原始日光图片与目标图片，并将合成的图片输入判断器模型中，得到输出D_real的具体实现过程包括：
合成原始日光图片和目标图片，将合成的图片输入第一判断器模型中，得到输出M12，计算M12与1的相似性，得到D_real_1；
合成原始日光图片和目标图片，将合成的图片缩小N倍，将缩小后的图片输入第二判断器模型中，得到输出M22，计算M22与1的相似性，得到D_real_2；
合成原始日光图片和目标图片，将合成的图片缩小N*N倍，将缩小后的图片输入第三判断器模型中，得到输出M32，计算M32与1的相似性，得到D_real_3；
得到D_real＝D_real_1+D_real_2+D_real_3。
步骤4)中，还进行如下处理：
分别计算M11与M12、M21与M22、M31与M32的相似性，并将M11与M12的相似性、M21与M22的相似性、M31与M32的相似性相加，得到G_GAN_Feat；
以及，步骤5)中，利用下式计算L_loss1：L_loss 1＝W1×G_GAN+W2×D_fake+W3×D_real+W4×G_GAN_Feat+W5×G_VGG；其中，W4为权重。
相应地，本发明还提供了一种生成UV光谱图片的系统，其包括：
预处理单元，用于采集P对图片，每对图片包括一张原始日光图片和一张目标图片，所述目标图片即UV光谱图片；
生成器，用于执行如下操作：对于第i对图片中的原始日光图片，将该原始日光图片缩小原始日光图片N倍，并将缩小后的图片A输入生成对抗网络的全局生成器网络，得到输出图片B；同时，将该原始日光图片输入生成对抗网络的局部增强网络，得到与图片B具有相同维度特征的图片C；融合图片B和C，得到融合特征，并将融合特征输入所述局部增强网络，得到输出图片D，计算输出图片D与目标图片的相似性G_GAN；其中，i＝1，2，……，P；
判断器，用于执行如下操作：合成生成器输出的第i个输出图片D与所述第i对图片中的原始日光图片，将合成的图片输入判断器模型，得到输出D_fake；合成第i对图片中的原始日光图片与第i对图片中的目标图片，并将合成的图片输入判断器模型，得到输出D_real；
输出单元，用于计算损失函数L_loss，并在L_loss收敛时利用L_loss更新生成对抗网络并输出更新后的生成对抗网络；其中，L_loss＝(L_loss1+L_loss2+L_loss3+……+L_lossP)/P；L_loss1＝W1×G_GAN+W2×D_fake+W3×D_real；L_loss1为第一对图片经生成器和判断器处理后计算得到的损失函数值；依此类推，L_loss2，L_loss3，……，L_lossP分别为第二图片、第三对图片，……，第P对图片经生成器和判断器处理后计算得到的损失函数值；W1，W2，W3为权重；
生成单元，用于将日光图片输入所述更新后的生成对抗网络中，得到UV光谱图片。
判断器还执行如下操作：将生成器输出的第i个输出图片D和第i对图片中的目标图像输入到卷积神经网路中，得到输出D1和D2，计算D1和D2的相似性G_VGG；则所述输出单元利用下式计算L_lossi：L_lossi＝W1×G_GAN+W2×D_fake+W3×D_real+W5×G_VGG；其中，W5为权重；优选地，D_fake＝D_fake_1+D_fake_2+D_fake_3；其中，D_fake_1为输出图片D和原始日光图片合成后输入第一判断器模型中得到的输出与0的相似性；D_fake_2为输出图片D和原始日光图片合成并缩小N倍后输入第二判断器模型中得到的输出与0的相似性；D_fake_3为输出图片D和原始日光图片合成并缩小N*N倍输入第三判断器模型中得到的输出与0的相似性；优选地，分别计算M11与M12、M21与M22、M31与M32的相似性，并将M11与M12的相似性、M21与M22的相似性、M31与M32的相似性相加，得到G_GAN_Feat；
则L_lossi＝W1×G_GAN+W2×D_fake+W3×D_real+W4×G_GAN_Feat+W5×G_VGG；其中，W4为权重。
对应于上述方法和系统，本发明还提供了一种生成UV光谱图片的生成器网络，其包括：
局部增强网络，包括第一网络模块和第二网络模块，所述第一网络模块包括依次连接的第一数据填充层、第一卷积层、第一数据归一化层、第一整流层；所述第二网络模块包括依次连接的反卷积层、第二数据归一化层、第二整流层；
全局生成网络，包括依次连接的第二数据填充层、第三卷积层、第三数据归一化层、第三整流层；
将任一对图片中的原始日光图片缩小为原始日光图片的1/N，并将缩小后的图片A输入所述全局生成器网络中，得到输出图片B；同时，将该原始日光图片输入所述第一网络模块，得到与图片B具有相同维度特征的图片C；融合图片B和C，并将融合后的图片输入所述第二网络模块，得到输出图片D。
作为一个发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明所具有的有益效果为：
1、无需对图像进行预分割，无需依赖专门的硬件设备即可生成UV光谱图片，便于在各种应用场合下获取UV光谱图片；
2、节省了购买硬件设备的成本，便于市场推广；
3、合理利用了采集的图像数据，使图像数据发挥最大价值；
4、由于无需专门的硬件设备拍摄图片，使用手机等移动终端拍摄的图片即可得到UV光谱图片，因此提升了用户的使用体验。
附图说明
图1为本发明方法流程图；
图2为本发明训练过程流程图；
图3为本发明测试过程流程图；
图4为本发明实验效果图；(1)日光输入图(原始日光图片)；(2)生成的UV光谱图片。
具体实施方式
如图1，本发明主要用于获取UV光谱人脸图片，方法流程如下：客户使用手机或对着自己的脸部进行拍照，然后把图像上传到服务器，服务器中的算法会加载已经训练好的模型，对所给的图像进行处理，并将图像转化为紫外线下的图像，得到UV光谱下的图片后，就将结果推送给客户。
本发明是基于pix2pix和pix2pix HD的一种改进网络实现的(见https:// zhuanlan.zhihu.com/c_171450570)，原始的pix2pix只能用于生成256x256像素的图像，并不能用于生成1024x1024这样的大图，因此，为了生成高清的大图，需要对原生的图像进行改进，而pix2pixHD就是基于这个需求进行改进的，它采用了大网络的粗训练和小网络的细微训练，对于大图，它首先进行一个大体上的轮廓的训练，然后在进行一个小图上的细微的训练，这是一种多尺度的生成器-判断器结构，同时，它还采用了一个图像预先分割，和目标预编码的方法，然后对图像上的每一个类都会进行一个特定的训练，从而达到理想中的效果。最后，它在损失函数上，还添加了一个感知损失函数的方法，从而使得模型不会因为单个像素的变化而产生一个较大的变化。然后，我们的算法就是基于pix2pix HD进行的一种改进型的网络，我们的结构就是去掉了图像的预处理的分割图像部分。同时改变了生成器和判别器的网络结构，网络具体如下(以下所称的待转化图像，即原始日光图片)：
本发明使用了分层卷积块网络结构，使得生成器模型相比于论文中使用的模型在参数量上缩小了4倍以上，同时，可以提高生成器模型的生成图像的质量。在同等计算资源下，可以更加快速的生成图像。
子模型一(生成对抗网络的全局生成器网络)：
1)待转化图像输入到数据填充层，数据填充层的作用是扩充图像的维度，使得图像所含的信息更加的丰富，然后，把图像输入到分层卷积块中，分层卷积块是由一层卷积核为1；一层卷积核为3，但是把输入的特征矩阵分成N块，再分别进行卷积运算，提取特征；一层卷积核是1；这种卷积块的作用是进行特征的提取，同时大大的减少了运算时间，再把提取的特征放入到数据归一化层，数据归一化层的作用是使得特征数值保持在一个相对稳定的范围内。再把特征放到整流层，整流层的作用是把数值小于0的特征值全部设置为0。
2)再把特征放入到分层卷积块，再进入数据归一化层，再进入整流层。之后，重复这一过程，即特征进入分层卷积块，再进入数据归一化层，再进入整流层。一直重复四次。
3)此时得到的特征进入到残差网络块结构中。残差网络块结构中，首先，特征进入数据填充层，再进入分层卷积块，再进入数据归一化层，再进入整流层，再进入数据填充层，再进入分层卷积块，再进入数据归一化层。这样处理之后的特征再和刚输入的特征合成一个新的特征。
4)这个新的特征再进入残差网络块层，重复这一过程八次，最终得到处理之后的特征。
5)步骤4)得到的特征再进入反卷积块。反卷积块是由一层卷积核为3的分层反卷积层，分层卷积块是把输入的特征分成N块，然后分别计算每一块的反卷积，再把得到的N块反卷积得到的特征合成一块新的特征；一层卷积核为1的反卷层，反卷积层的作用是对卷积处理之后得到的特征进行一个反推，得到一个扩维的特征，这个新的特征会比做反卷积之前的特征拥有更多的信息维度；组成。之后，新的特征会进入到数据归一化层，再进入整流层。重复这一过程2次，得到一张与子模型二生成的图像有相同维度的特征。
6)再把特征和子模型二生成的图像合成新的特征，再进入反卷积块，再进入数据归一化层，再进入整流层。重复这一过程2次，得到一张与目标图像有相同维度的生成图像。
7)把生成的图像和目标图像合成为一张图像，送入判断器子模型一中。子模型二(生成对抗网络的局部增强网络)：
1)对待转化图像进行缩放处理，把它放缩到只有原图大小的1/4。然后，把图像放入到到数据填充层，得到特征再进入卷积块，再进入数据归一化层，再进入整流层。
2)再进入分层卷积块，在进入数据归一化层，再进入整流层。
3)再进入残差网络块层。
4)再进入残差网络块层。
5)再进入分层卷积块，再进入数据归一化层，再进入整流层。
6)再进入数据填充层，在进入分层卷积块，再进入整流层，最后进行平均池化。得到一张有目标图像1/4面积大小的生成图像。
7)把这张生成的图像放入到子模型一的第6步中。
卷积神经网络Vgg19：
1)图像输入到卷积块一中，首先进入卷积层，得到特征，再进入卷积层，再进入池化层。
2)特征再进入到卷积块二中，进入两层卷积层，再进入池化层。
3)特征再进入到卷积块三中，进入四层卷积层，再进入池化层。
4)特征再进入到卷积块四中，进入四层卷积层，再进入池化层。
5)特征再进入到卷积块五中，进入四层卷积层，再进入全连接层，全连接层的作用是把多维度的矩阵转化成单维度的矩阵。
判断器网络结构图：
子模型一：
1)图像进入卷积层，再进入整流层，得到特征。
2)特征进入卷积层，再进入数据归一化层，再进入整流层。
3)特征进入卷积层，再进入数据归一化层，再进入整流层。
4)特征进入卷积层，再进入池化层。
子模型二：
1)图像进入卷积层，得到特征，再进入数据归一化层，再进入整流层。
2)特征进入卷积层，再进入数据归一化层，再进入整流层。
3)特征进入卷积层，再进入数据归一化层，再进入整流层。
4)特征进入卷积层，再进入池化层。
子模型三：
1)图像进入卷积层，得到特征，再进入数据归一化层，再进入整流层。
2)特征进入卷积层，再进入数据归一化层，再进入整流层。
3)特征进入卷积层，再进入数据归一化层，再进入整流层。
4)特征进入卷积层，再进入池化层。
以下所称的一号子模型，即子模型一；二号子模型，即子模型二。本发明中，判断器模型的三个子模型都可以采用卷积神经网络。
如图2所示，本发明训练过程如下：
开始训练时，设置好迭代的步数，然后准备好图片数据集，把数据集划分为训练集和测试集，本发明按照9：1的比例划分训练集和测试集。训练集中的每对图像包含有原始日光图像和目标图像。
1，在训练集中，对于训练集中的每一对图像(图片)，将待转化图像(即原始日光图像)输入生成器模型(生成器网络)中，一号子模型(子模型一)直接处理图像，得到图像C；二号子模型(子模型二)将图像放缩到原始图像的1/4，得到图像A；图像A经二号子模型处理后得到图像B，图像B和图像C融合后的图像进入到一号子模型中，最终生成一张图像与目标图像保持相同面积的图像，记作D。
2，通过设定的L1损失函数，计算生成器模型输出的B图像与目标图像之间的数值差异(即相似性)，得到数值，记作G_GAN。
4，把B图像和待转化图像合成一张图像，输入到判断器模型中的一号子模型中，判断器模型得到的输出结果M11，通过设定的损失器函数(加权平均损失函数)，计算M11与0的数值差异，得到数值D_fake_1。
5，同时把待转化图像和目标图像合成为一张图像，输入到判断器模型中的一号子模型中，判断器模型得到的输出结果M12，通过设定的损失器函数(加权平均损失函数)，计算M12与1的数值差异，得到数值D_real_1。
6，把B图像和待转化图像合成一张图像，并缩小4倍，输入到判断器模型中的二号子模型中，判断器模型得到的输出结果M21，通过设定的损失器函数(加权平均损失函数)，计算M21与0的数值差异，得到数值D_fake_2。
7，把待转化图像和目标图像合成为一张图像，并缩小4倍，输入到判断器模型中的二号子模型中，判断器模型得到的输出结果M22，通过设定的损失器函数(加权平均损失函数)，计算M22与1的数值差异，得到数值D_real_2。
8，把B图像和待转化图像合成一张图像，并缩小16倍，输入到判断器模型中的三号子模型中，判断器模型得到的输出结果M31，通过设定的损失器函数(加权平均损失函数)，计算M31与0的数值差异，得到数值D_fake_3。
9，同时把待转化图像和目标图像合成为一张图像，并缩小16倍，输入到判断器模型中的三号子模型中，判断器模型得到的输出结果M32，通过设定的损失器函数(加权平均损失函数)，计算M32与1的数值差异，得到数值D_real_3。
10,令D_fake＝D_fake_1+D_fake_2+D_fake_3；D_real＝D_real_1+D_real_2+D_real_3。
11，再使用L1损失函数分别计算M11与M12，M21与M22，M31与M32的数值差异，得到这些数值差异之后并进行相加，得到数值G_GAN_Feat。
12,把B图像和目标图像，分别输入到VGG19模型中，得到不同的数值V11和V12，通过L1损失函数，计算V11和V12的数值差异，得到数值G_VGG_1。
13,把B图像和目标图像，同时缩小4倍，分别输入到VGG19模型中，得到不同的数值V21和V22，通过L1损失函数，计算V21和V22的数值差异，得到数值G_VGG_2。
14,把B图像和目标图像，同时缩小16倍，分别输入到VGG19模型中，得到不同的数值V31和V32，通过L1损失函数，计算V31和V32的数值差异，得到数值G_VGG_3。
15，令G_VGG＝G_VGG_1+G_VGG_2+G_VGG_3。
16，让L_loss i＝W1×G_GAN+W2×D_fake+W3×D_real+W4×G_GAN_Feat+W5×G_VGG；W1,W2,W3,W4,W5是5个不同的赋值权重，可以根据想要达到的目标进行调整，本发明中W1,W2,W3,W4,W5分别取值为10,1,1,10,10。L_loss i是第i对图片的损失函数。则损失函数L_loss为训练集中所有对图片经步骤1—16训练后得到的损失函数之和的平均值。
17，重复过程1到16，并循环200-1000次，观察L_loss的变化情况，如果在循环次数里，它的数值达到了一个稳定的状态(即收敛状态，本发明中L_loss小于0.01时判定为收敛)，就可以停止循环，完成训练，否则，就继续循环，直至它的数值达到稳定状态，此时的生成器网络即为本发明训练后得到的生成对抗网络(生成器)。
如图3所示，测试时，将训练集中的图片输入生成器中，生成器对图像进行处理，得到目标图像。
本发明中，加权平均损失函数的表达式如下：
损失函数LFM(即L1损失函数)：
LGAN是加权平均损失函数:
LGAN＝{l1,c,…,lN,c}T,
ln,c＝-wn,c[pcyn,c·logσ(xn,c)+(1-yn,c)·log(1-σ(xn,c))]
最终损失函数L_loss，LGAN是加权平均损失函数:
E(s,x)是平均值，S是待转化图像，x是目标图像；
Ni是第i层的一个数值权重。
LGAN＝{l1,c,…,lN,c}T,
ln,c＝-wn,c[pcyn,c·logσ(xn,c)+(1-yn,c)·log(1-σ(xn,c))]
wn,c为第n个模型输出的第c个值的权重；pc为第c个值的概率；yn,c为第n个模型输出对应的第c个目标值；σ(xn,c)激活函数对第n个输入向量中的第c个值进行处理。
λ是一个系数，这里设置为0.1。在训练的过程中可以根据具体的情况进行调节。
本发明的系统主要由以下组成部分组成：
预处理单元，用于采集P对图片，每对图片包括一张原始日光图片和一张目标图片，所述目标图片即UV光谱图片；
生成器，用于执行如下操作：对于第i对图片中的原始日光图片，将该原始日光图片缩小原始日光图片N倍，并将缩小后的图片A输入生成对抗网络的全局生成器网络，得到输出图片B；同时，将该原始日光图片输入生成对抗网络的局部增强网络，得到与图片B具有相同维度特征的图片C；融合图片B和C，得到融合特征，并将融合特征输入所述局部增强网络，得到第i个输出图片D，计算第i个输出D与目标图片的相似性G_GAN；其中，i＝1，2，……，P；
判断器，用于执行如下操作：合成生成器输出的第i个输出图片D与所述第i对图片中的原始日光图片，将合成的图片输入判断器模型，得到输出D_fake；合成第i对图片中的原始日光图片与第i对图片中的目标图片，并将合成的图片输入判断器模型，得到输出D_real；
输出单元，用于计算损失函数L_loss，并在L_loss收敛时利用L_loss更新生成对抗网络并输出更新后的生成对抗网络；其中，L_loss＝(L_loss1+L_loss2+L_loss3+……+L_lossP)/P；L_loss1＝W1×G_GAN+W2×D_fake+W3×D_real；L_loss1为第一对图片经生成器和判断器处理后计算得到的损失函数值；依此类推，L_loss2，L_loss3，……，L_lossP分别为第二图片、第三对图片，……，第P对图片经生成器和判断器处理后计算得到的损失函数值；W1，W2，W3为权重；
生成单元，用于将日光图片输入所述更新后的生成对抗网络中，得到UV光谱图片。
操作过程中，对于采集的每一对图片都执行生成器和判断器的操作，执行完所有对图片为完成一次循环，L_loss收敛时结束循环。
为了进一步优化本发明的系统，判断器还执行如下操作：将生成器输出的第i个输出图片D和第i对图片中的目标图像输入到卷积神经网路中，得到输出D1和D2，计算D1和D2的相似性G_VGG；则所述输出单元利用下式计算L_lossi：L_lossi＝W1×G_GAN+W2×D_fake+W3×D_real+W5×G_VGG；其中，W5为权重；优选地，D_fake＝D_fake_1+D_fake_2+D_fake_3；其中，D_fake_1为输出图片D和原始日光图片合成后输入第一判断器模型中得到的输出与0的相似性；D_fake_2为输出图片D和原始日光图片合成并缩小N倍后输入第二判断器模型中得到的输出与0的相似性；D_fake_3为输出图片D和原始日光图片合成并缩小N*N倍输入第三判断器模型中得到的输出与0的相似性。
为了更进一步优化本发明的系统，提高精度，分别计算M11与M12、M21与M22、M31与M32的相似性，并将M11与M12的相似性、M21与M22的相似性、M31与M32的相似性相加，得到G_GAN_Feat；则L_lossi＝W1×G_GAN+W2×D_fake+W3×D_real+W4×G_GAN_Feat+W5×G_VGG；其中，W4为权重。
本发明的生成器网络主要包括局部增强网络和全局生成网络，其中：
局部增强网络，包括第一网络模块和第二网络模块，所述第一网络模块包括依次连接的第一数据填充层、第一卷积层、第一数据归一化层、第一整流层；所述第二网络模块包括依次连接的反卷积层、第二数据归一化层、第二整流层；
全局生成网络，包括依次连接的第二数据填充层、第三卷积层、第三数据归一化层、第三整流层；
将任一对图片中的原始日光图片缩小为原始日光图片的1/N，并将缩小后的图片A输入所述全局生成器网络中，得到输出图片B；同时，将该原始日光图片输入所述第一网络模块，得到与图片B具有相同维度特征的图片C；融合图片B和C，并将融合后的图片输入所述第二网络模块，得到输出图片D。
本发明的方法或系统可以在计算机程序产品上实施，例如，本发明可以在计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现本发明方法的步骤。
本发明的实验效果见图4。可以看到，利用本发明的方法生成的图像可以把日光图中人脸明显的和不明显的色斑生成出来，比较明显的色斑，在生成的UV图上更加明显，较为隐现的色斑，在生成的UV图上较为明显。同时也拥有在UV光谱下的效果，还可以把人脸上的粉刺生成出来。同时，生成的图像，人脸轮廓清晰，边缘清晰，图像质量高。
Claims (10)
1.一种生成UV光谱图片的方法，其特征在于，包括以下步骤：
1)采集P对图片，每对图片包括一张原始日光图片和一张目标图片，所述目标图片即UV光谱图片；
2)对于第一对图片中的原始日光图片，将该原始日光图片缩小原始日光图片N倍，并将缩小后的图片A输入生成对抗网络的全局生成器网络，得到输出图片B；同时，将该原始日光图片输入生成对抗网络的局部增强网络，得到与图片B具有相同维度特征的图片C；融合图片B和C，得到融合特征，并将融合特征输入所述局部增强网络，得到输出图片D，计算输出图片D与目标图片的相似性G_GAN；
3)合成输出图片D与所述原始日光图片，将合成的图片输入判断器模型，得到输出D_fake；合成原始日光图片与目标图片，并将合成的图片输入判断器模型，得到输出D_real；
4)令L_loss1＝W1×G_GAN+W2×D_fake+W3×D_real；其中，W1，W2，W3为权重；
5)对于其余对图片，重复步骤2)～4)，分别得到L_loss2，L_loss3，……，L_lossP；
6)令L_loss＝(L_loss1+L_loss2+L_loss3+……+L_lossP)/P，判断L_loss是否收敛，若收敛，则利用L_loss更新所述生成对抗网络，并输出更新后的生成对抗网络；若不收敛，则利用L_loss更新所述生成对抗网络，并重复步骤2)～6)；
7)将日光图片输入所述更新后的生成对抗网络中，得到UV光谱图片。
2.根据权利要求1所述的生成UV光谱图片的方法，其特征在于，步骤4)中，还进行如下处理：
将输出图片D和目标图像输入卷积神经网络，分别得到输出D1和D2，
计算D1和D2的相似性G_VGG；
以及，步骤5)中，利用下式计算L_loss：
L_loss1＝W1×G_GAN+W2×D_fake+W3×D_real+W5×G_VGG；其中，W5为权重；
优选地，将P对图片随机划分为训练集和测试集；利用所述训练集获取更新后的生成对抗网络；利用所述测试集中的图片测试所述更新后的生成对抗网络。
3.根据权利要求2所述的生成UV光谱图片的方法，其特征在于，D1和D2的相似性G_VGG的具体计算过程包括：
将输出图片D和目标图片分别输入卷积神经网络，得到输出V11和V12，计算V11和V12的相似性，得到G_VGG_1；
将输出图片D和目标图片缩小N倍，然后分别输入卷积神经网络，得到输出V21和V22，计算V21和V22的相似性，得到G_VGG_2；
将输出图片D和目标图片缩小N*N倍，然后分别输入卷积神经网络，得到输出V31和V32，计算V31和V32的相似性，得到G_VGG_3；
得到G_VGG＝G_VGG_1+G_VGG_2+G_VGG_3。
4.根据权利要求1所述的生成UV光谱图片的方法，其特征在于，步骤4)中，合成输出图片D与原始日光图片，将合成的图片输入判断器模型，得到输出D_fake的具体过程包括：
合成输出图片D和原始日光图片，将合成的图片输入第一判断器模型，得到输出M11，计算M11与0的相似性，得到D_fake_1；
合成输出图片D和原始日光图片，将合成的图片缩小N倍，并将缩小后的图片输入第二判断器模型，得到输出M21，计算M21与0的相似性，得到D_fake_2；
合成输出图片D和原始日光图片，将合成的图片缩小N*N倍，并将缩小后的图片输入第三判断器模型，得到输出M31，计算M31与0的相似性，得到D_fake_3；
得到D_fake＝D_fake_1+D_fake_2+D_fake_3。
5.根据权利要求4所述的生成UV光谱图片的方法，其特征在于，步骤4)中，合成原始日光图片与目标图片，并将合成的图片输入判断器模型中，得到输出D_real的具体实现过程包括：
合成原始日光图片和目标图片，将合成的图片输入第一判断器模型，得到输出M12，计算M12与1的相似性，得到D_real_1；
合成原始日光图片和目标图片，将合成的图片缩小N倍，将缩小后的图片输入第二判断器模型，得到输出M22，计算M22与1的相似性，得到D_real_2；
合成原始日光图片和目标图片，将合成的图片缩小N*N倍，将缩小后的图片输入第三判断器模型，得到输出M32，计算M32与1的相似性，得到D_real_3；
得到D_real＝D_real_1+D_real_2+D_real_3。
6.根据权利要求5所述的生成UV光谱图片的方法，其特征在于，步骤4)中，还进行如下处理：
分别计算M11与M12、M21与M22、M31与M32的相似性，并将M11与M12的相似性、M21与M22的相似性、M31与M32的相似性相加，得到G_GAN_Feat；
以及，步骤5)中，利用下式计算L_loss1：
L_loss1＝W1×G_GAN+W2×D_fake+W3×D_real+W4×G_GAN_Feat+W5×G_VGG；其中，W4为权重。
7.一种生成UV光谱图片的系统，其特征在于，包括：
预处理单元，用于采集P对图片，每对图片包括一张原始日光图片和一张目标图片，所述目标图片即UV光谱图片；
生成器，用于执行如下操作：对于第i对图片中的原始日光图片，将该原始日光图片缩小原始日光图片N倍，并将缩小后的图片A输入生成对抗网络的全局生成器网络，得到输出图片B；同时，将该原始日光图片输入生成对抗网络的局部增强网络，得到与图片B具有相同维度特征的图片C；融合图片B和C，得到融合特征，并将融合特征输入所述局部增强网络，得到第i个输出图片D，计算第i个输出D与目标图片的相似性G_GAN；其中，i＝1，2，……，P；
判断器，用于执行如下操作：合成生成器输出的第i个输出图片D与所述第i对图片中的原始日光图片，将合成的图片输入判断器模型，得到输出D_fake；合成第i对图片中的原始日光图片与第i对图片中的目标图片，并将合成的图片输入判断器模型，得到输出D_real；
输出单元，用于计算损失函数L_loss，并在L_loss收敛时利用L_loss更新生成对抗网络并输出更新后的生成对抗网络；其中，L_loss＝(L_loss1+L_loss2+L_loss3+……+L_lossP)/P；L_loss1＝W1×G_GAN+W2×D_fake+W3×D_real；L_loss1为第一对图片经生成器和判断器处理后计算得到的损失函数值；依此类推，L_loss2，L_loss3，……，L_lossP分别为第二图片、第三对图片，……，第P对图片经生成器和判断器处理后计算得到的损失函数值；W1，W2，W3为权重；
生成单元，用于将日光图片输入所述更新后的生成对抗网络中，得到UV光谱图片。
8.根据权利要求7所述的生成UV光谱图片的系统，其特征在于，所述判断器还执行如下操作：将生成器输出的第i个输出图片D和第i对图片中的目标图像输入到卷积神经网路中，得到输出D1和D2，计算D1和D2的相似性G_VGG；则所述输出单元利用下式计算L_lossi：L_lossi＝W1×G_GAN+W2×D_fake+W3×D_real+W5×G_VGG；其中，W5为权重；优选地，D_fake＝D_fake_1+D_fake_2+D_fake_3；其中，D_fake_1为输出图片D和原始日光图片合成后输入第一判断器模型中得到的输出与0的相似性；D_fake_2为输出图片D和原始日光图片合成并缩小N倍后输入第二判断器模型中得到的输出与0的相似性；D_fake_3为输出图片D和原始日光图片合成并缩小N*N倍输入第三判断器模型中得到的输出与0的相似性；优选地，分别计算M11与M12、M21与M22、M31与M32的相似性，并将M11与M12的相似性、M21与M22的相似性、M31与M32的相似性相加，得到G_GAN_Feat；则L_lossi＝W1×G_GAN+W2×D_fake+W3×D_real+W4×G_GAN_Feat+W5×G_VGG；其中，W4为权重。
9.一种生成UV光谱图片的生成器网络，其特征在于，包括：
局部增强网络，包括第一网络模块和第二网络模块，所述第一网络模块包括依次连接的第一数据填充层、第一卷积层、第一数据归一化层、第一整流层；所述第二网络模块包括依次连接的反卷积层、第二数据归一化层、第二整流层；
全局生成网络，包括依次连接的第二数据填充层、第三卷积层、第三数据归一化层、第三整流层；
将任一对图片中的原始日光图片缩小为原始日光图片的1/N，并将缩小后的图片A输入所述全局生成器网络中，得到输出图片B；同时，将该原始日光图片输入所述第一网络模块，得到与图片B具有相同维度特征的图片C；融合图片B和C，并将融合后的图片输入所述第二网络模块，得到输出图片D。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1～6所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624682.6A CN110390631B (zh) | 2019-07-11 | 2019-07-11 | 生成uv光谱图片的方法、系统、网络及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624682.6A CN110390631B (zh) | 2019-07-11 | 2019-07-11 | 生成uv光谱图片的方法、系统、网络及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110390631A CN110390631A (zh) | 2019-10-29 |
| CN110390631B true CN110390631B (zh) | 2022-11-18 |
Family
ID=68286592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910624682.6A Active CN110390631B (zh) | 2019-07-11 | 2019-07-11 | 生成uv光谱图片的方法、系统、网络及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390631B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024034630A1 (ja) * | 2022-08-10 | 2024-02-15 | ライオン株式会社 | 画像処理装置、モデル生成装置、皮膚状態測定システム、画像処理方法、モデル生成方法、判定方法及び教師データ作成方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296692A (zh) * | 2016-08-11 | 2017-01-04 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN109614996B (zh) * | 2018-11-28 | 2022-05-17 | 桂林电子科技大学 | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 |
| CN109872278B (zh) * | 2018-12-18 | 2020-11-10 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
-
2019
- 2019-07-11 CN CN201910624682.6A patent/CN110390631B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110390631A (zh) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Geometry-aware face completion and editing | |
| US10891511B1 (en) | Human hairstyle generation method based on multi-feature retrieval and deformation | |
| CN108596024B (zh) | 一种基于人脸结构信息的肖像生成方法 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| CN112819910B (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Liu et al. | Image decolorization combining local features and exposure features | |
| CN108694736A (zh) | 图像处理方法、装置、服务器及计算机存储介质 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| CN112184582B (zh) | 一种基于注意力机制的图像补全方法及装置 | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| Huang et al. | A fully-automatic image colorization scheme using improved CycleGAN with skip connections | |
| Cai et al. | Diversity-generated image inpainting with style extraction | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| Bao et al. | Optimized faster-RCNN in real-time facial expression classification | |
| CN110390631B (zh) | 生成uv光谱图片的方法、系统、网络及存储介质 | |
| Virtusio et al. | Enabling artistic control over pattern density and stroke strength | |
| CN112686817A (zh) | 一种基于不确定性估计的图像补全方法 | |
| She et al. | Facial image inpainting algorithm based on attention mechanism and dual discriminators | |
| CN116311472A (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
| CN111368663A (zh) | 自然场景中静态面部表情识别方法、装置、介质及设备 | |
| CN113327191A (zh) | 人脸图像合成方法及装置 | |
| CN113076918B (zh) | 基于视频的人脸表情克隆方法 | |
| CN114445418A (zh) | 基于多任务学习的卷积网络的皮肤镜图像分割方法与系统 | |
| CN114764941A (zh) | 一种表情识别方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |