CN113723174A - 基于生成对抗网络的人脸图像超分辨修复重建方法及系统 - Google Patents
基于生成对抗网络的人脸图像超分辨修复重建方法及系统 Download PDFInfo
- Publication number
- CN113723174A CN113723174A CN202110779161.5A CN202110779161A CN113723174A CN 113723174 A CN113723174 A CN 113723174A CN 202110779161 A CN202110779161 A CN 202110779161A CN 113723174 A CN113723174 A CN 113723174A
- Authority
- CN
- China
- Prior art keywords
- face image
- resolution
- network
- super
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000012549 training Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000008439 repair process Effects 0.000 description 9
- 230000001788 irregular Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 230000009977 dual effect Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于生成对抗网络的人脸图像超分辨修复重建方法及系统。该基于生成对抗网络的人脸图像超分辨修复重建方法包括：获取待修复的低分辨率人脸图像；将待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像；基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构来将待修复的低分辨率人脸图像修复并重建为相应的经修复的高分辨率人脸图像。
Description
技术领域
本发明涉及计算机视觉和图像处理领域，尤其涉及一种基于生成对抗网络的人脸图像超分辨修复重建方法及系统。
背景技术
人脸图像是一种极为特殊的图像，不仅蕴含着人物身份信息，也蕴含着丰富的人物表情,折射出人物心理活动，是应用最广泛的一类图像。然而在实际应用中，难以在瞬间及时捕获到完整清晰的人脸图像，例如由于图像采集设备的扰动，人脸图像存在部分像素缺失的问题；由于人们佩戴口罩或其他装饰品，人脸图像被遮挡；由于人脸图像采集距离过远，人脸图像存在分辨率低的问题等。人们保存的一些老照片中，人脸图像也存在一定的缺损情况；古代丰富多彩的人物壁画也存在面部纹理缺失的现象。人脸图像修复技术是指利用计算机技术，根据破损人脸图像中的有效信息对缺失信息进行有效修复，使修复结果符合人类视觉感知。
在现有技术中，人脸图像修复技术通常学习型和非学习型两类，其中学习型是指利用深度学习的方法进行图像修复，非学习型是指利用纹理合成和偏微分方程进行图像修复。
非学习型算法只能对缺失区域狭小的图像进行有效修复，而当确实面积较大、缺失形状不规则时，非学习型算法难以进行有效修复。学习型算法可以在训练的过程中学习人脸五官的分布规律，即使缺失面积大、缺失形状不规则也能进行有效修复。此外，当前人脸图像修复算法大多针对分辨率较大(128×128及以上)的人脸图像，而对于破损的低分辨率人脸图像缺少高效的解决方案。
发明内容
本发明提供一种基于生成对抗网络的人脸图像超分辨修复重建方法及系统，克服了现有技术中难以对破损的低分辨率人脸图像进行修复和超分辨重建的问题，通过融合人脸图像修复和人脸图像超分辨重建，使用一个网络模型在进行修复的基础上进一步完成超分辨重建，并与上下文注意力(contextual attention)GAN修复方法+双回归网络(Dualregression network)超分辨率方法DRN，边缘连接(edgeconnect)GAN修复方法+双回归网络超分辨率方法DRN，上下文注意力(contextual attention)GAN修复方法+金字塔注意力网络(Pyramid attention networks)超分辨算法，边缘连接(edgeconnect)GAN修复方法+金字塔注意力网络(Pyramid attention networks)超分辨算法等方法进行对比分析，验证了本发明提出的方法的有效性。
具体地，本发明实施例提供了以下技术方案：
第一方面，本发明的实施例提供一种基于生成对抗网络的人脸图像超分辨率修复超分辨率修复重建方法，包括：
获取待修复的低分辨率人脸图像；
将所述待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到所述基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像；
其中，所述基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将所述待修复的低分辨率人脸图像修复并重建为相应的所述经修复的高分辨率人脸图像。
进一步地，该基于生成对抗网络的人脸图像超分辨修复重建方法还包括：
所述基于生成对抗网络的人脸图像超分辨修复重建模型包括生成网络层和判别网络层；
其中，所述生成网络层用于至少基于所述改进的残差结构，将所述待修复的低分辨率人脸图像修复为完整的低分辨率人脸图像并再将所述完整的低分辨率人脸图像重建为所述经修复的高分辨率人脸图像，或，将所述待修复的低分辨率人脸图像重建为高分辨率人脸图像并再将所述高分辨率人脸图像修复为所述经修复的高分辨率人脸图像；
所述判别网络层用于判别通过所述生成网络层输出的所述经修复的高分辨率人脸图像的真实程度。
进一步地，该基于生成对抗网络的人脸图像超分辨修复重建方法还包括：
所述改进的残差结构包括：残差上采样、特征补偿和残差下采样模块。
进一步地，该基于生成对抗网络的人脸图像超分辨修复重建方法还包括：
在ResNet残差块的基础上，结合最大池化、实例标准化以及镜像填充构建所述残差上采样模块、特征补偿模块和残差下采样模块。
进一步地，该基于生成对抗网络的人脸图像超分辨修复重建方法还包括：
所述生成网络层包括编码网络层En、特征补偿网络层Fc和解码网络层De，其中，
所述编码网络层En包括：卷积层和残差下采样模块，用于将人脸图像编码为三维的特征矩阵；
所述特征补偿网络层包括特征补偿模块，并且在所述特征补偿网络层内特征图尺寸和通道数保持不变；以及
所述解码网络层De包括：卷积层、残差上采样模块及金字塔注意力机制模块，并且在所述解码网络层的卷积层中采用转置卷积的方式进行上采样，在修复破损区域的同时将人脸图像扩大N倍以输出所述经修复的高分辨率人脸图像，其中，N为大于等于1的正整数。
进一步地，该基于生成对抗网络的人脸图像超分辨修复重建方法还包括：
所述方法还包括：使用四个独立的卷积层从解码网络的后四层提取不同尺度的生成图像，并且使用双线性插值法从高分辨率的人脸图像真值得到的不同尺度的图像真值，通过多尺度的重建损失约束特征解码过程，提高所述经修复的高分辨率人脸图像与原始图像的相似性。
进一步地，该基于生成对抗网络的人脸图像超分辨修复重建方法还包括：
所述方法还包括：基于人脸图像的训练样本，通过对抗的方法分阶段来训练所述基于生成对抗网络的人脸图像超分辨修复重建模型的所述生成网络层，包括：
将完整的低分辨率人脸图像输入至所述编码网络En，由所述解码网络De输出高分辨人脸图像；以及
将破损的低分辨率人脸图像输入至所述编码网络En，通过所述特征补偿网络Fc后，由所述解码网络De输出经修复的高分辨人脸图像。
第二方面，本发明的实施例还提供一种基于生成对抗网络的人脸图像超分辨修复重建系统，包括：
人脸图像获取模块，用于获取待修复的低分辨率人脸图像；以及
人脸图像超分辨修复重建模块，用于将所述待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到所述基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像，其中所述基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将所述待修复的低分辨率人脸图像修复并重建为相应的所述经修复的高分辨率人脸图像。
由上面技术方案可知，本发明实施例提供的一种基于生成对抗网络的人脸图像超分辨修复重建方法及系统，克服了现有技术中难以对破损的低分辨率人脸图像进行修复和重建的问题，通过融合人脸图像修复和人脸图像超分辨重建，使用一个网络模型在进行修复的基础上进一步完成超分辨重建，并与上下文注意力CA(contextual attention)GAN修复方法+双回归网络DRN(Dual regression network)超分辨率方法DRN，边缘连接EC(edgeconnect)GAN修复方法+双回归网络超分辨率方法DRN，上下文注意力CA GAN修复方法+金字塔注意力网络PAN(Pyramid attention networks)超分辨算法，边缘连接EC GAN修复方法+金字塔注意力网络PAN超分辨算法等方法进行对比分析，验证了本发明提出的方法的有效性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于生成对抗网络的人脸图像超分辨修复重建方法的流程图；
图2为本发明一实施例提供的基于生成对抗网络的人脸图像超分辨修复重建模型的结构示意图；
图3为本发明一实施例提供的改进的残差结构的结构示意图；
图4为本发明一实施例提供的基于生成对抗网络的人脸图像超分辨修复重建系统的结构示意图；以及
图5为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明使用的各种术语或短语具有本领域普通技术人员公知的一般含义，即便如此，本发明仍然希望在此对这些术语或短语作更详尽的说明和解释。如果本文涉及的术语和短语有与公知含义不一致的，则以本发明所表述的含义为准；并且如果在本发明中没有定义，则其具有本领域普通技术人员通常理解的含义。
非学习型算法只能对缺失区域狭小的图像进行有效修复，而当缺失面积较大、缺失形状不规则时，非学习型算法难以进行有效修复。学习型算法可以在训练的过程中学习人脸五官的分布规律，即使缺失面积大、缺失形状不规则也能进行有效修复。此外，当前人脸图像修复算法大多针对分辨率较大(128×128及以上)的人脸图像，而对于破损的低分辨率人脸图像缺少高效的解决方案。其中，破损低分辨率人脸图像的超分辨修复是指对破损的低分辨率人脸图像进行有效修复并完成超分辨重建，分为图像修复和图像超分辨重建两个独立工作。在图像修复方面，下文注意力CA和边缘连接EC是两个图像修复算法，其中下文注意力CA使用注意力机制提高图像修复质量，边缘连接EC利用边线-颜色网络级联进一步改善纹理清晰度；在图像超分辨重建方面，双回归网络DRN和金字塔注意力网络PAN是两种高效超分辨算法，其中双回归网络DRN使用反馈算法进行图像超分辨重建，金字塔注意力网络PAN使用金字塔注意力机制优化特征融合提高图像超分辨质量。相较于常规尺寸的人脸图像，破损的低分辨率人脸图像本身所蕴含的有效信息较少，由人脸图像编码提取得到的有效特征也较少。相较于完好人脸图像的超分辨重建，破损人脸图像丢失了人脸部分信息，特征解码超分辨重建的难度也更大。为了得到清晰的人脸图像修复结果，本发明在对缺失区域进行修复的基础上对低分辨人脸图像进行超分辨重建。
针对于此，第一方面，本发明的一实施例提出一种基于生成对抗网络的人脸图像超分辨修复重建方法及系统，克服了现有技术中难以对破损的低分辨率人脸图像进行修复和重建的问题，通过融合人脸图像修复和人脸图像超分辨重建，使用一个网络模型在进行修复的基础上进一步完成超分辨重建，并与下文注意力CA+双回归网络DRN、边缘连接EC+双回归网络DRN、下文注意力CA+PAN和边缘连接EC+金字塔注意力网络PAN等方法进行对比分析，验证了本发明提出的方法的有效性。
下面结合图1描述本发明的基于生成对抗网络的人脸图像超分辨修复重建方法。
图1为本发明一实施例提供的基于生成对抗网络的人脸图像超分辨修复重建方法的流程图。
在本实施例中，需要说明的是，该基于生成对抗网络的人脸图像超分辨修复重建方法可以包括以下步骤：
S1：获取待修复的低分辨率人脸图像；
S2：将待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像；
其中，基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将待修复的低分辨率人脸图像修复并重建为相应的经修复的高分辨率人脸图像。
下面结合图2、表1和表2描述本发明的实施例提供的基于生成对抗网络的人脸图像超分辨修复重建模型。
图2为本发明一实施例提供的基于生成对抗网络的人脸图像超分辨修复重建模型的结构示意图。
表1为生成网络结构的详细结构参数表。
表1
表2为判别网络结构的详细结构参数表。
表2
在本实施例中，需要说明的是，该基于生成对抗网络的人脸图像超分辨修复重建方法还可以包括：基于生成对抗网络的人脸图像超分辨修复重建模型包括生成网络层和判别网络层；其中，生成网络层用于至少基于改进的残差结构，将待修复的低分辨率人脸图像修复为完整的低分辨率人脸图像并再将完整的低分辨率人脸图像重建为经修复的高分辨率人脸图像；判别网络层用于判别通过生成网络层输出的经修复的高分辨率人脸图像的真实程度。
在本实施例中，需要说明的是，该基于生成对抗网络的人脸图像超分辨修复重建方法还可以包括：生成网络层包括编码网络层En、特征补偿网络层Fc和解码网络层De，其中，编码网络层En包括：卷积层和残差下采样模块，用于将人脸图像编码为三维的特征矩阵；特征补偿网络层包括特征补偿模块，并且在特征补偿网络层内特征图尺寸和通道数保持不变；解码网络层De包括：卷积层、残差上采样模块及金字塔注意力机制模块，并且在解码网络层的卷积层中采用转置卷积的方式进行上采样，在修复破损区域的同时将人脸图像扩大N倍以输出经修复的高分辨率人脸图像，其中，N为大于等于1的正整数。
在一个示例中，参见图3，残差上采样模块包括：最大去池化、镜像填充、3×3卷积、实例标准化、Relu激活函数、镜像填充、3×3卷积、实例标准化以及Relu激活函数。
残差下采样模块依次包括：镜像填充、3×3卷积、实例标准化、Relu激活函数、镜像填充、3×3卷积、实例标准化以及Relu激活函数、最大池化。
特征补偿模块包括：镜像填充、3×3卷积、实例标准化、Relu激活函数、镜像填充、3×3卷积、实例标准化以及Relu激活函数。
针对生成网络层，具体地，生成网络层分为编码网络层、特征补偿网络层和解码网络层，其中特征补偿网络由本发明首次提出。此外，这些网络又由特征下采样、特征补偿模块和特征上采样模块和金字塔注意力机制构成，其中特征下采样、特征补偿模块和特征上采样模块在ResNet残差块的基础上改进得到。
具体地，如图2所示，编码网络结构由1层卷积和5层残差下采样模块构成，将64×64×3的人脸图像编码为4×4×512的特征矩阵。
具体地，如图2所示，特征补偿网络由6层特征补偿模块构成，在特征补偿网络内特征图尺寸和通道数保持不变。
更具体地，特征补偿网络基于ResNet进行改进，假设完好的低分辨率人脸图像为Ilr，理想的编码特征V1＝En(Ilr)；破损图像的编码特征为V2＝En(Ilr·M)；由(Ilr·M)直接得到V1较为困难，本发明在V2基础上对编码特征进行补偿，类似于ResNet的思想，V1＝V2+Fc(V2)。
具体地，如图2所示，解码网络结构由3层卷积、5层残差上采样模块及金字塔注意力机制构成，在解码网络的后3层卷积层中采用转置卷积的方式上采样，在修复破损区域的同时将64×64的人脸图像扩大四倍，输出为256×256×3的重建图像。
下面结合图3描述本发明的实施例提供的改进的残差结构。
图3为本发明一实施例提供的改进的残差结构的结构示意图。
在本实施例中，需要说明的是，该基于生成对抗网络的人脸图像超分辨修复重建方法还可以包括：改进的残差结构包括：残差上采样、特征补偿和残差下采样模块。
在本实施例中，需要说明的是，该基于生成对抗网络的人脸图像超分辨修复重建方法还可以包括：在ResNet残差块的基础上，结合最大池化、实例标准化以及镜像填充构建所述残差上采样模块、特征补偿模块和残差下采样模块。
具体地，为了增强生成网络的特征编码和特征解码能力，本发明在ResNet残差块的基础上，结合最大池化Max-pooling、实例标准化Instanced Norm、镜像填充等构建残差上采样、特征补偿和残差下采样模块。其中，最大池化Max-pooling的优势是其下采样步幅为1，能有效保留细节信息，在选取最大特征值的同时通过位置矩阵保留其对应的位置信息，可以更好地建模不同特征间的位置关系；实例标准化Instanced Norm的优势在于其计算方式虽然和批量标准化Batch Norm类似，但是实例标准化Instanced Norm以单个样本为计算单位，避免了一个批batch内不同样本间的互相干扰，有助于学习单幅图像内的像素分布规律；镜像填充的优势在于其将各级特征图内部元素反射填充到边缘，更好的保留了各级特征图中的边缘信息。
针对判别网络层，作为稳定训练、提高图像生成质量的关键，结合Patch-GAN、WGAN-GP和SNGAN，从网络结构、损失函数和优化方式三方面对判别网络进行设计。
具体地，在网络结构方面，原始GAN中判别网络的输出是0～1之间的单个值，代表生成图像的真伪，而Patch-GAN的判别输出是一个矩阵，矩阵中每个元素映射图像中一个局部区域，矩阵整体映射整幅图像。不同形状不同位置的缺失要求判别网络对整幅图像的纹理和语义进行评价，而原始判别网络中单个值映射整幅图像，可能会过于注重语义信息而忽略图像局部的纹理细节。Patch-GAN可以兼顾语义信息和纹理信息，不受缺失形状和位置的限制，辅助优化生成网络。本发明采用Patch-GAN的网络结构，使用6层卷积，将256×256图像映射为8×8的矩阵，矩阵中每个元素的感受域为129。
具体地，优化方式方面，WGAN-GP使用梯度惩罚进行李普希兹约束，不能严格遵循李普希兹约束条件，而SNGAN的优化方式可以满足李普希兹约束条件，收敛速度和收敛效果都比WGAN-GP更好。基于此，本发明的判别网络采用SNGAN的优化方式。假设判别网络参数为w，wl表示判别网络的第l层卷积的参数。判别网络优化的具体做法是将判别网络的参数更新和求参数矩阵最大奇异值结合在一起，谱归一化参数矩阵和参数权重w交替进行。
具体地，在损失函数方面，原始Patch-GAN损失函数是交叉熵损失函数，输出矩阵中元素值在0和1之间，交叉熵损失函数存在训练不稳定和梯度消失等问题。而相比交叉熵损失函数，WGAN-GP的损失函数不仅能稳定训练，还可以更好地学习人脸图像数据分布规律。基于此，本发明利用WGAN-GP的损失函数来优化判别网络，并将损失函数定义为：
其中，M代表二值化掩码，模拟人脸图像的缺失域和保留域，值为1的代表保留域，值为0代表缺失域；Igt代表人脸图像真值；⊙代表对应元素相乘。(M⊙Igt)模拟随机缺失的人脸图像。G代表生成网络，D代表判别网络，G(M⊙Igt)表示生成图像。N2为Patch-GAN输出矩阵中元素的个数，其中N为8。
进一步地，下面针对损失函数进行更具体地说明。
具体地，本发明采用了多尺度重建损失Lmul、感知损失Lper、风格损失Lstyle、对抗损失Lgen和Ldis、中间特征损失Lv等六种损失函数。
更具体地，重建损失是图像重建任务中最基础最重要的损失函数，是图像修复内容和图像真值之间的L1或L2距离。其中L2对于离群点过于敏感，容易造成图像模糊，因此本发明选取L1距离。如图2所示，在重建损失的基础上，本发明在解码网络的后四层使用四个独立的卷积层提取不同尺度的生成图像构建多尺度重建损失，其中，将多尺度重建损失定义为：
其中，Ii表示由原图Igt经双线性插值下采样得到的图，代表该尺度下的图像真值；
表示从特征图提取出的图，i表示解码网络的后i层。
更具体地，感知损失用来衡量两个图像之间的语义差异。例如，对于一幅图片，如果将每个像素向右移动一位，在人眼看来，这是两个几乎一模一样的图片，但是两者的重建损失值巨大。感知损失需使用额外的网络获取语义特征，采用VGG-19网络来提取特征。其中，本发明使用VGG-19的第三、四、五层ReLU激活函数之后的特征作为图像语义特征，并计算这些特征的L1距离。其中，将感知损失定义为：
其中φ表示训练好的VGG-19网络，φi表示该网络的第i层输出，Igen表示生成图像，Igt表示完好图像。
更具体地，风格损失与感知损失类似，同样采取VGG-19提取语义特征；不同的是风格损失对提取后的特征计算格拉姆矩阵(Gram Matrix)。格拉姆矩阵关注的是特征间的相关性，例如哪些特征是同时出现的，哪些特征是此消彼长的。风格损失有助于改善重建图像的棋盘效应，其中，将风格损失定义为：
其中
表示用φ(VGG-19)网络的第i层输出计算格拉姆矩阵。
更具体地，对抗损失源自于生成对抗网络，分为生成网络损失函数和判别网络损失函数。其中对于判别网络，判别损失函数如式(1)所示；而对于生成网络，将生成损失函数定义为：
其中，N2为Patch-GAN输出矩阵中元素的个数。
更具体地，中间特征损失Lv用于优化特征补偿网络Fc，其中，将中间特征损失Lv定义为：
Lv＝E[||En(Ilr)-En(Ilr·M)-Fc(En(Ilr·M))||1] (6)
其中，Ilr表示完好的低分辨率图像，由Igt经双线性插值下采样得到；M⊙Ilr表示破损的低分辨率人脸图像。
在本实施例中，需要说明的是，该基于生成对抗网络的人脸图像超分辨修复重建方法还可以包括：基于人脸图像的训练样本，通过对抗的方法分阶段来训练所述基于生成对抗网络的人脸图像超分辨修复重建模型的所述生成网络层，包括：将完整的低分辨率人脸图像输入至所述编码网络En，由所述解码网络De输出高分辨人脸图像；以及将破损的低分辨率人脸图像输入至所述编码网络En，通过所述特征补偿网络Fc后，由所述解码网络De输出经修复的高分辨人脸图像。
具体地，生成网络的训练包含两个阶段，其中，第一训练阶段包含编码网络En和解码网络De，其输入为完好的低分辨率人脸图像，输出为高分辨人脸图像；第二训练阶段二包含编码网络En、特征补偿网络Fc和解码网络De，其输入为破损的低分辨率人脸图像，输出为高分辨人脸图像。
在训练阶段一，生成网络总损失为：
LG＝λmulLmul+λgenLgen+λperLper+λstyleLstyle (7)
判别网络总损失为：
LD＝λdisLdis (8)
其中λmul，λgen，λper，λstyle，λdis分别代表对应损失的权重。
在训练阶段二中，只优化特征补偿网络Fc，编码网络En、解码网络De和判别网络D冻结保持不变。即，在训练阶段二中，冻结编码网络En、解码网络De和判别网络D，分别输入完好的低分辨率人脸图像和破损的低分辨率人脸图像，使用中间特征损失Lv优化特征补偿网络Fc，通过Fc补偿人脸图像破损丢失的信息，生成网络总损失为：
LG＝λvLv (9)
具体地，网络训练首先通过数据预处理得到训练数据，然后分两个阶段对模型进行训练，训练过程中数据预处理和模型的优化是同步进行的。一个批量的样本量m＝6。
其中，数据预处理方式如表3所示：
表3
其中，具体训练流程如表4所示，阶段一训练次数N1＝5e+4，阶段二训练次数N2＝2e+4：
表4
在本实施例中，需要说明的是，该基于生成对抗网络的人脸图像超分辨修复重建方法还可以包括：使用四个独立的卷积层从解码网络的后四层提取不同尺度的生成图像，并且使用双线性插值法从高分辨率的人脸图像真值得到的不同尺度的图像真值，通过多尺度的重建损失约束特征解码过程，提高经修复的高分辨率人脸图像与原始图像的相似性。
具体地，为了增强超分辨修复图像与原始图像的相似性，我们使用四个独立的卷积层从解码网络的后四层提取不同尺度的生成图像，我们使用双线性插值法从高分辨率的人脸图像真值得到的不同尺度的图像真值，通过多尺度的重建损失约束特征解码过程，提高超分辨修复图像与原始图像的相似性。
进一步地，为了验证本发明提出的生成对抗网络的人脸图像超分辨修复重建方法的有效性，下面示出本发明的方法与现有技术的对比。
具体地，EC和CA用于图像修复，DRN和PAN用于图像超分辨重建。分别使用CA和EC算法对低分辨率破损图像进行修复，然后使用DRN和PAN算法对修复结果进行超分辨重建，并与我们的超分辨修复结果进行比较。
更具体地，针对眼睛和脸颊小面积不规则形状的缺失，CA+DRN和CA+PAN的修复结果纹理扭曲，EC+DRN和EC+PAN的结果略微模糊，而本发明的方法细节更加清晰；针对眼睛和脸颊大面积不规则形状缺失，CA+DRN和CA+PAN的修复结果纹理严重扭曲，EC+DRN和EC+PAN的结果带有严重的棋盘效应，而本发明的方法修复结果清晰度最高；针对嘴巴位置的小面积不规则缺失，CA+DRN和CA+PAN的修复结果纹理略微扭曲，EC+DRN和EC+PAN的方法在牙齿部位不清晰，而本发明的方法可以得到清晰的嘴巴和牙齿细节；针对嘴巴和眼睛位置的大面积不规则缺失，CA+DRN和CA+PAN的方法在嘴巴位置修复结果扭曲，EC+DRN和EC+PAN的方法在牙齿部位修复结果变形，而本发明的方法可以得到清晰的嘴巴和眼睛细节。
通过将本发明的量化实验结果与以上四种超分辨修复方法比较，显而易见地本发明的方法在PSNR(峰值信噪比)，SSIM(结构相似性)，MAE(平均绝对误差)三项指标都最高。其中，不同方法的量化效果对比如表5所示：
表5
综上，本发明的方法可以对任意形状破损的低分辨人脸图像完成高质量超分辨修复。
基于同样的发明构思，另一方面，本发明的一实施例提出一种基于生成对抗网络的人脸图像超分辨修复重建系统。
下面结合图4对本发明提供的基于生成对抗网络的人脸图像超分辨修复重建系统进行描述，下文描述的基于生成对抗网络的人脸图像超分辨修复重建系统与上文描述的基于生成对抗网络的人脸图像超分辨修复重建方法可相互对应参照。
图4为本发明一实施例提供的基于生成对抗网络的人脸图像超分辨修复重建系统的结构示意图。
在本实施例中，需要说明的是，该基于生成对抗网络的人脸图像超分辨修复重建系统1包括：人脸图像获取模块10，用于获取待修复的低分辨率人脸图像；人脸图像超分辨修复重建模块20，用于将待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像，其中基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将待修复的低分辨率人脸图像修复并重建为相应的经修复的高分辨率人脸图像。
由于本发明实施例提供的基于生成对抗网络的人脸图像超分辨修复重建系统可以用于执行上述实施例所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
在本实施例中，需要说明的是，本发明实施例的系统中的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
又一方面，基于相同的发明构思，本发明又一实施例提供了一种电子设备。
图5为本发明一实施例提供的电子设备的结构示意图。
在本实施例中，需要说明的是，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于生成对抗网络的人脸图像超分辨修复重建方法，该方法包括：获取待修复的低分辨率人脸图像；将待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像，其中，基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将待修复的低分辨率人脸图像修复并重建为相应的经修复的高分辨率人脸图像。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行基于生成对抗网络的人脸图像超分辨修复重建方法，该方法包括：获取待修复的低分辨率人脸图像；将待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像，其中，基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将待修复的低分辨率人脸图像修复并重建为相应的经修复的高分辨率人脸图像。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本发明中，参考术语“实施例”、“本实施例”、“又一实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，包括：
获取待修复的低分辨率人脸图像；
将所述待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到所述基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像；
其中，所述基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将所述待修复的低分辨率人脸图像修复并重建为相应的所述经修复的高分辨率人脸图像。
2.根据权利要求1所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述基于生成对抗网络的人脸图像超分辨修复重建模型包括生成网络层和判别网络层；
其中，所述生成网络层用于至少基于所述改进的残差结构，将所述待修复的低分辨率人脸图像修复为完整的低分辨率人脸图像并再将所述完整的低分辨率人脸图像重建为所述经修复的高分辨率人脸图像，或，将所述待修复的低分辨率人脸图像重建为高分辨率人脸图像并再将所述高分辨率人脸图像修复为所述经修复的高分辨率人脸图像；
所述判别网络层用于判别通过所述生成网络层输出的所述经修复的高分辨率人脸图像的真实程度。
3.根据权利要求1所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述改进的残差结构包括：残差上采样、特征补偿和残差下采样模块。
4.根据权利要求3所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述方法还包括：在ResNet残差块的基础上，结合最大池化、实例标准化以及镜像填充构建所述残差上采样模块、特征补偿模块和残差下采样模块。
5.根据权利要求2所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述生成网络层包括编码网络层En、特征补偿网络层Fc和解码网络层De，其中，
所述编码网络层En包括：卷积层和残差下采样模块，用于将人脸图像编码为三维的特征矩阵；
所述特征补偿网络层包括特征补偿模块，并且在所述特征补偿网络层内特征图尺寸和通道数保持不变；以及
所述解码网络层De包括：卷积层、残差上采样模块及金字塔注意力机制模块，并且在所述解码网络层的卷积层中采用转置卷积的方式进行上采样，在修复破损区域的同时将人脸图像扩大N倍以输出所述经修复的高分辨率人脸图像，其中，N为大于等于1的正整数。
6.根据权利要求1所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述方法还包括：使用四个独立的卷积层从解码网络的后四层提取不同尺度的生成图像，并且使用双线性插值法从高分辨率的人脸图像真值得到的不同尺度的图像真值，通过多尺度的重建损失约束特征解码过程，提高所述经修复的高分辨率人脸图像与原始图像的相似性。
7.根据权利要求1所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述方法还包括：基于人脸图像的训练样本，通过对抗的方法分阶段来训练所述基于生成对抗网络的人脸图像超分辨修复重建模型的所述生成网络层，包括：
将完整的低分辨率人脸图像输入至所述编码网络En，由所述解码网络De输出高分辨人脸图像；以及
将破损的低分辨率人脸图像输入至所述编码网络En，通过所述特征补偿网络Fc后，由所述解码网络De输出经修复的高分辨人脸图像。
8.一种基于生成对抗网络的人脸图像超分辨修复重建系统，其特征在于，包括：
人脸图像获取模块，用于获取待修复的低分辨率人脸图像；以及
人脸图像超分辨修复重建模块，用于将所述待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到所述基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像，其中所述基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将所述待修复的低分辨率人脸图像修复并重建为相应的所述经修复的高分辨率人脸图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于生成对抗网络的人脸图像超分辨修复重建方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于生成对抗网络的人脸图像超分辨修复重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110779161.5A CN113723174A (zh) | 2021-07-09 | 2021-07-09 | 基于生成对抗网络的人脸图像超分辨修复重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110779161.5A CN113723174A (zh) | 2021-07-09 | 2021-07-09 | 基于生成对抗网络的人脸图像超分辨修复重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113723174A true CN113723174A (zh) | 2021-11-30 |
Family
ID=78673148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110779161.5A Pending CN113723174A (zh) | 2021-07-09 | 2021-07-09 | 基于生成对抗网络的人脸图像超分辨修复重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723174A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913588A (zh) * | 2022-06-20 | 2022-08-16 | 电子科技大学 | 一种应用于复杂场景下的人脸图像修复及识别方法 |
| EP4202852A1 (en) * | 2021-12-22 | 2023-06-28 | Fujitsu Limited | Method and apparatus for training a neural network, image recognition method and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| CN111127316A (zh) * | 2019-10-29 | 2020-05-08 | 山东大学 | 一种基于sngan网络的单幅人脸图像超分辨方法及系统 |
-
2021
- 2021-07-09 CN CN202110779161.5A patent/CN113723174A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| CN111127316A (zh) * | 2019-10-29 | 2020-05-08 | 山东大学 | 一种基于sngan网络的单幅人脸图像超分辨方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4202852A1 (en) * | 2021-12-22 | 2023-06-28 | Fujitsu Limited | Method and apparatus for training a neural network, image recognition method and storage medium |
| CN114913588A (zh) * | 2022-06-20 | 2022-08-16 | 电子科技大学 | 一种应用于复杂场景下的人脸图像修复及识别方法 |
| CN114913588B (zh) * | 2022-06-20 | 2023-04-25 | 电子科技大学 | 一种应用于复杂场景下的人脸图像修复及识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106204468B (zh) | 一种基于ReLU卷积神经网络的图像去噪方法 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN113139907A (zh) | 视觉分辨率增强的生成方法、系统、装置及存储介质 | |
| CN109949222B (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN113516601B (zh) | 基于深度卷积神经网络与压缩感知的图像恢复方法 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN113723174A (zh) | 基于生成对抗网络的人脸图像超分辨修复重建方法及系统 | |
| CN110689495B (zh) | 一种深度学习的图像修复方法 | |
| KR102289045B1 (ko) | 멀티 스케일 객체 이미지 복원 방법 및 장치 | |
| CN113989129A (zh) | 基于门控和上下文注意力机制的图像修复方法 | |
| CN110111251A (zh) | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 | |
| CN115953494A (zh) | 基于低剂量和超分辨率的多任务高质量ct图像重建方法 | |
| CN113706386A (zh) | 一种基于注意力机制的超分辨率重建方法 | |
| CN116485934A (zh) | 一种基于CNN和ViT的红外图像彩色化方法 | |
| CN116645569A (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN115393186A (zh) | 一种人脸图像超分辨率重建方法、系统、设备及介质 | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及系统 | |
| CN116258652A (zh) | 基于结构注意和文本感知的文本图像修复模型及方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN114202460A (zh) | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 | |
| CN114764754B (zh) | 一种基于几何感知先验引导的遮挡人脸修复方法 | |
| CN116029908A (zh) | 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |