CN108629753A - 一种基于循环神经网络的人脸图像恢复方法及装置 - Google Patents
一种基于循环神经网络的人脸图像恢复方法及装置 Download PDFInfo
- Publication number
- CN108629753A CN108629753A CN201810498025.7A CN201810498025A CN108629753A CN 108629753 A CN108629753 A CN 108629753A CN 201810498025 A CN201810498025 A CN 201810498025A CN 108629753 A CN108629753 A CN 108629753A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- neural network
- restored
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 76
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000003062 neural network model Methods 0.000 claims abstract description 41
- 230000001815 facial effect Effects 0.000 claims abstract description 35
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000011084 recovery Methods 0.000 claims description 46
- 238000010586 diagram Methods 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000002457 bidirectional effect Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000209202 Bromus secalinus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于循环神经网络的人脸图像恢复方法及装置，所述方法包括：获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；将提取到的特征图进行非线性映射，得到优化的特征图；根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。本发明通过将双向循环神经网络技术和生成对抗网络技术进行结合，构建并训练恢复性能最优化的神经网络模型，从而能够有效地将低分辨率的人脸图像恢复出高分辨率的人脸图像。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种基于循环神经网络的人脸图像恢复方法及装置。
背景技术
目前主流的人脸图像恢复的方法有很多种，按获取目标图像的方式不同又可以分为三大类：1、基于插值的传统算法，其原理主要是通过对同一场景下的多幅图像进行对比，并且从这些图像中获得对应的亚像素信息，再通过对这些亚像素的计算获得采样点的样素信息；2、基于重建的算法：通过研究图像的高分辨率细节在低分辨率下的表现形式，建立两者之间的对应关系，并利用某种模型来刻画这种映射关系；3、基于传统机器学习方法：使用支持向量机预分类筛选出与重建人脸特征相似的样本子库，再在样本子库中精确匹配与低分辨率人脸之间相关性最高的样本子块，并利用样本子块辅助重建高分辨率人脸，这三类较为传统的恢复方法可以将人脸图像恢复到原有分辨率的2-4倍。
现有的上述三种人脸图像恢复方法都存在着一些缺陷和不足：基于插值的方法恢复的图像，没有增加图片信息，恢复倍率低；使用基于重建的算法，随着恢复倍数的增加，需要提供的输入图像样本数量急剧增加，直到达到一定的上限后，无论增加多少输入图像样本，都无法再改善重建效果；基于传统机器学习方法恢复出的人脸不够清晰，只有大概的人脸轮廓，没有清晰的五官特征。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于循环神经网络的人脸图像恢复方法及装置，通过将双向循环神经网络技术和生成对抗网络技术进行结合，构建并训练恢复性能最优化的神经网络模型，从而能够有效地将低分辨率的人脸图像恢复出高分辨率的人脸图像。
为了解决上述技术问题，本发明实施例提供了一种基于循环神经网络的人脸图像恢复方法，包括如下步骤：
获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；
将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；
将提取到的特征图进行非线性映射，得到优化的特征图；
根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。
进一步地，所述按照预设像素大小对所述待恢复人脸图像进行特征图的提取，具体为：
对所述待恢复人脸图像进行若干次卷积运算，得到预设像素大小的特征图；其中，所述预设像素大小为1×1；
将该特征图作为循环神经网络的输入，进行相应的特征图的迭代提取。
进一步地，所述神经网络模型的构建步骤为：
在搭建的循环神经网络中引入生成对抗网络；
输入预先获取的人脸图像训练样本，并通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练；
输出恢复性能最优化的神经网络模型。
进一步地，所述两个卷积神经网络分别为生成网络和判别网络；
所述人脸图像训练样本包括人脸模糊图像和人脸清晰图像，所述人脸模糊图像和所述人脸清晰图像一一对应。
进一步地，所述通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练，具体为：
将所述人脸图像训练样本中的人脸模糊图像输入生成网络，得到人脸恢复图像；
将所述人脸图像训练样本中的人脸清晰图像和所述人脸恢复图像输入判别网络进行清晰度判断，并根据判断结果捕捉人脸恢复图像和人脸清晰图像的数据分布；
根据所述数据分布和预设的恢复性能最优化目标函数计算最优参数，并根据所述最优参数生成神经网络模型。
进一步地，所述获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像，具体为：
获取低分辨率图像；
采用模板匹配算法计算所述低分辨率图像区域的均值，以及方差；
当利用预先构建的人脸模板匹配到所述低分辨率图像区域时，计算所述人脸模板和所述低分辨率图像区域的相关系数；
将所述相关系数与预设阈值进行比较，以确定人脸区域，并筛选出至少包含一张人脸的待恢复人脸图像。
本发明实施例还提供了一种基于循环神经网络的人脸图像恢复装置，包括：
待恢复人脸图像获取单元，用于获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；
特征图提取单元，用于将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；
非线性映射单元，用于将提取到的特征图进行非线性映射，得到优化的特征图；
高维重构单元，用于根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。
进一步地，所述按照预设像素大小对所述待恢复人脸图像进行特征图的提取，具体为：
对所述待恢复人脸图像进行若干次卷积运算，得到预设像素大小的特征图；其中，所述预设像素大小为1×1；
将该特征图作为循环神经网络的输入，进行相应的特征图的迭代提取。
进一步地，所述神经网络模型的构建步骤为：
在搭建的循环神经网络中引入生成对抗网络；
输入预先获取的人脸图像训练样本，并通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练；
输出恢复性能最优化的神经网络模型；其中，
所述两个卷积神经网络分别为生成网络和判别网络；
所述人脸图像训练样本包括人脸模糊图像和人脸清晰图像，所述人脸模糊图像和所述人脸清晰图像一一对应。
进一步地，所述通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练，具体为：
将所述人脸图像训练样本中的人脸模糊图像输入生成网络，得到人脸恢复图像；
将所述人脸图像训练样本中人脸清晰图像和所述人脸恢复图像输入判别网络进行清晰度判断，并根据判断结果捕捉人脸恢复图像和人脸清晰图像的数据分布；
根据所述数据分布和预设的恢复性能最优化目标函数计算最优参数，并根据所述最优参数生成神经网络模型。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的一种基于循环神经网络的人脸图像恢复方法及装置，所述方法包括：获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；将提取到的特征图进行非线性映射，得到优化的特征图；根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。本发明通过将双向循环神经网络技术和生成对抗网络技术进行结合，构建并训练恢复性能最优化的神经网络模型，从而能够有效地将低分辨率的人脸图像恢复出高分辨率的人脸图像。
附图说明
图1是本发明第一实施例提供的一种基于循环神经网络的人脸图像恢复方法的流程示意图；
图2是本发明第一实施例中按照预设像素大小对待恢复人脸图像进行特征图的提取的示意图；
图3是本发明第一实施例中神经网络模型的构建方法的流程示意图；
图4是本发明第一实施例中神经网络模型的构建方法的另一流程示意图；
图5是本发明第二实施例提供的一种基于循环神经网络的人脸图像恢复装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一实施例：
请参阅图1，图1是本发明第一实施例提供的一种基于循环神经网络的人脸图像恢复方法的流程示意图。
所述基于循环神经网络的人脸图像恢复方法，包括如下步骤：
S101、获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像。
具体的，获取低分辨率图像；采用模板匹配算法计算所述低分辨率图像区域的均值，以及方差；当利用预先构建的人脸模板匹配到所述低分辨率图像区域时，计算所述人脸模板和所述低分辨率图像区域的相关系数；将所述相关系数与预设阈值进行比较，以确定人脸区域，并筛选出至少包含一张人脸的待恢复人脸图像。
在本实施例中，所述人脸模板的构建方法为：
搜集人脸样本，并将所述人脸样本转换为灰度图像；所述人脸样本包括人脸图像、性别、年龄和种族；
截取所述人脸图像中包含眼睛、鼻子、嘴巴、下巴和眉毛的人脸区域；
对所述人脸区域的尺寸大小进行规范化，以满足人脸区域的长宽比和面积大小的要求，得到初步人脸模板；
计算出每个初步人脸模板的均值和方差，对每个初步人脸模板，按照设定的灰度平均值和方差进行标准化，以消除光照对肤色的影响和相比于灰度均衡化，得到最终的人脸模板。
S102、将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取。
请参阅图2，图2是本发明第一实施例中按照预设像素大小对待恢复人脸图像进行特征图的提取的示意图。
在本实施例中，所述按照预设像素大小对所述待恢复人脸图像进行特征图的提取，具体为：
对所述待恢复人脸图像进行若干次卷积运算，得到预设像素大小的特征图；其中，所述预设像素大小为1×1；
将该特征图作为循环神经网络的输入，进行相应的特征图的迭代提取。
需要说明的是，待恢复人脸图像的特征提取是经过卷积神经网络(CNNConvolutional Neural Networks)结构进行处理的，图2为CNN卷积神经网络的经典结构，图中32*32像素的图片(图中的字母是“A”)，经过卷积运算，得到6个大小为28*28的特征图；每个28*28的特征图经过下采样可得到14*14大小的图片，14*14的图片经过卷积运算得到16个10*10的特征图，经过如此多次卷积运算，最后可以得到一个120个1*1的特征图，然后将这些1*1的特征图作为RNN循环神经网络的输入。
其中，卷积神经网络由一个或多个卷积层组成，卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。
在本实施例中，请一并参阅图3-4，图3是本发明第一实施例中神经网络模型的构建方法的流程示意图，图4是本发明第一实施例中神经网络模型的构建方法的另一流程示意图。
所述神经网络模型的构建步骤为：
S201、在搭建的循环神经网络中引入生成对抗网络；
S202、输入预先获取的人脸图像训练样本，并通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练；
S203、输出恢复性能最优化的神经网络模型。
具体的，搭建双向循环神经网络的步骤为：
1)、定义LSTMcell类和GRUcell类：定义LSTMcell及GRUcell包含所有学习所需要的参数以及每一时刻所要运行的step方法；
2)、定义RNN函数：用于接受cell的实例，并用scan计算所有time steps的hiddenstates；
3)、编写权重初始化方法：合理的初始化权重，可以降低网络在学习时卡在鞍点或极小值的损害，增加学习速度和效果；
4)、构建网络；
5)、训练网络：利用tensorboard来记录和分析所学习的权重矩阵和loss的下降，防止训练出的模型过拟合。
可以理解的是，循环神经网络(RNN：recurrent neural networks)：是时间递归神经网络(recurrent neural network)和结构递归神经网络(recursive neural network)，两种人工神经网络的总称。循环神经网络(RNN)能够有效处理基于时间序列的问题，具体的表现形式为循环神经网络网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再是无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
引入生成对抗网络的步骤为：
1)、搭建discriminator网络(判别网络)；
2)、定义D网络损失函数：D网络使用同一套参数分辨两种输入，一种是groundtruth，另一种是G网络的输出。对于ground truth，训练目标为尽可能判为1，对于G网络的输出，训练目标为尽可能判为0；
3)、对抗训练。
可以理解的是，生成对抗网络(GAN:Generative Adversarial Nets)：是一种深度学习模型。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
在本实施例中，所述两个卷积神经网络分别为生成网络和判别网络；所述人脸图像训练样本包括人脸模糊图像和人脸清晰图像，所述人脸模糊图像和所述人脸清晰图像一一对应。
所述通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练，具体为：
将所述人脸图像训练样本中的人脸模糊图像输入生成网络，得到人脸恢复图像；
将所述人脸图像训练样本中的人脸清晰图像和所述人脸恢复图像输入判别网络进行清晰度判断，并根据判断结果捕捉人脸恢复图像和人脸清晰图像的数据分布；
根据所述数据分布和预设的恢复性能最优化目标函数计算最优参数，并根据所述最优参数生成神经网络模型。
其中，所述预设的恢复性能最优化目标函数为：
其中，D(x)表示x属于分布M的概率，x～pdata(x)表示x取自清晰人脸分布，z～pz(z)表示z取自重建人脸的分布，G表示生成网络，D表示判别网络。
S103、将提取到的特征图进行非线性映射，得到优化的特征图。
可以理解的是，非线性映射是对卷积神经网络处理得到的特征图进行非线性处理，利用训练得到的特征(特征可以看做是为非线性函数)，对低像素人脸相关特征进行优化。引入非线性因素，是解决线性模型所不能解决的问题。
S104、根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。
可以理解的是，高维重构是指，经过循环神经网络和生成对抗网络训练后的模型可以获得一些特征，低像素的人脸包含的人脸特征相对高像素的人脸是比较少的，神经网络利用训练得到特征对人脸图像进行更多特征维度的逆向重构，恢复出高像素的人脸图像。
根据上述实施例，本发明运用了双向循环神经网络(RNN)，能够有效处理基于时间序列的问题，可以对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再是无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出；该神经结构在输入和目标之间添加延迟，进而可以给网络加入未来的上下文信息，提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息。利用此项技术可以解决目前现有人脸图像恢复方法恢复倍率低(传统方法可恢复2～4倍)的问题，可将人脸序列恢复到原有分辨率的2～8倍。
在双向循环神经网络基础上结合生成对抗网络(GAN)技术，编写定义了判别网络，通过生成网络和判别网络相互博弈的方式进行学习：即在人脸图像恢复的应用中，生成网络(双向循环神经网络)从低分辨率的人脸图片恢复出高分辨率人脸图片，判别网络目的是将生成网络的恢复的人脸图片从真实样本中分辨出来，而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，共同优化，最终生成网络可以恢复出足够逼真的高分辨率人脸图像，解决了传统机器学习方法恢复出的人脸不够清晰，五官特征不明显的问题。
本实施例提供的一种基于循环神经网络的人脸图像恢复方法，包括：获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；将提取到的特征图进行非线性映射，得到优化的特征图；根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。本实施例通过将双向循环神经网络技术和生成对抗网络技术进行结合，构建并训练恢复性能最优化的神经网络模型，从而能够有效地将低分辨率的人脸图像恢复出高分辨率的人脸图像。
本发明第二实施例：
请参阅图5，图5是本发明第二实施例提供的一种基于循环神经网络的人脸图像恢复装置的结构示意图。
所述基于循环神经网络的人脸图像恢复装置，包括：
待恢复人脸图像获取单元301，用于获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像。
在本实施例中，所述人脸模板的构建方法为：
搜集人脸样本，并将所述人脸样本转换为灰度图像；所述人脸样本包括人脸图像、性别、年龄和种族；
截取所述人脸图像中包含眼睛、鼻子、嘴巴、下巴和眉毛的人脸区域；
对所述人脸区域的尺寸大小进行规范化，以满足人脸区域的长宽比和面积大小的要求，得到初步人脸模板；
计算出每个初步人脸模板的均值和方差，对每个初步人脸模板，按照设定的灰度平均值和方差进行标准化，以消除光照对肤色的影响和相比于灰度均衡化，得到最终的人脸模板。
特征图提取单元302，用于将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取。
请参阅图2，图2是本发明第一实施例中按照预设像素大小对待恢复人脸图像进行特征图的提取的示意图。
在本实施例中，所述按照预设像素大小对所述待恢复人脸图像进行特征图的提取，具体为：
对所述待恢复人脸图像进行若干次卷积运算，得到预设像素大小的特征图；其中，所述预设像素大小为1×1；
将该特征图作为循环神经网络的输入，进行相应的特征图的迭代提取。
需要说明的是，待恢复人脸图像的特征提取是经过卷积神经网络(CNNConvolutional Neural Networks)结构进行处理的，图2为CNN卷积神经网络的经典结构，图中32*32像素的图片(图中的字母是“A”)，经过卷积运算，得到6个大小为28*28的特征图；每个28*28的特征图经过下采样可得到14*14大小的图片，14*14的图片经过卷积运算得到16个10*10的特征图，经过如此多次卷积运算，最后可以得到一个120个1*1的特征图，然后将这些1*1的特征图作为RNN循环神经网络的输入。
其中，卷积神经网络由一个或多个卷积层组成，卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。
在本实施例中，请一并参阅图3-4，图3是本发明第一实施例中神经网络模型的构建方法的流程示意图，图4是本发明第一实施例中神经网络模型的构建方法的另一流程示意图。
所述神经网络模型的构建步骤为：
S201、在搭建的循环神经网络中引入生成对抗网络；
S202、输入预先获取的人脸图像训练样本，并通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练；
S203、输出恢复性能最优化的神经网络模型。
具体的，搭建双向循环神经网络的步骤为：
1)、定义LSTMcell类和GRUcell类：定义LSTMcell及GRUcell包含所有学习所需要的参数以及每一时刻所要运行的step方法；
2)、定义RNN函数：用于接受cell的实例，并用scan计算所有time steps的hiddenstates；
3)、编写权重初始化方法：合理的初始化权重，可以降低网络在学习时卡在鞍点或极小值的损害，增加学习速度和效果；
4)、构建网络；
5)、训练网络：利用tensorboard来记录和分析所学习的权重矩阵和loss的下降，防止训练出的模型过拟合。
可以理解的是，循环神经网络(RNN：recurrent neural networks)：是时间递归神经网络(recurrent neural network)和结构递归神经网络(recursive neural network)，两种人工神经网络的总称。循环神经网络(RNN)能够有效处理基于时间序列的问题，具体的表现形式为循环神经网络网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再是无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
引入生成对抗网络的步骤为：
1)、搭建discriminator网络(判别网络)；
2)、定义D网络损失函数：D网络使用同一套参数分辨两种输入，一种是groundtruth，另一种是G网络的输出。对于ground truth，训练目标为尽可能判为1，对于G网络的输出，训练目标为尽可能判为0；
3)、对抗训练。
可以理解的是，生成对抗网络(GAN:Generative Adversarial Nets)：是一种深度学习模型。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
在本实施例中，所述两个卷积神经网络分别为生成网络和判别网络；所述人脸图像训练样本包括人脸模糊图像和人脸清晰图像，所述人脸模糊图像和所述人脸清晰图像一一对应。
所述通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练，具体为：
将所述人脸图像训练样本中的人脸模糊图像输入生成网络，得到人脸恢复图像；
将所述人脸图像训练样本中的人脸清晰图像和所述人脸恢复图像输入判别网络进行清晰度判断，并根据判断结果捕捉人脸恢复图像和人脸清晰图像的数据分布；
根据所述数据分布和预设的恢复性能最优化目标函数计算最优参数，并根据所述最优参数生成神经网络模型。
其中，所述预设的恢复性能最优化目标函数为：
其中，D(x)表示x属于分布M的概率，x～pdata(x)表示x取自清晰人脸分布，z～pz(z)表示z取自重建人脸的分布，G表示生成网络，D表示判别网络。
非线性映射单元303，用于将提取到的特征图进行非线性映射，得到优化的特征图，
可以理解的是，非线性映射是对卷积神经网络处理得到的特征图进行非线性处理，利用训练得到的特征(特征可以看做是为非线性函数)，对低像素人脸相关特征进行优化。引入非线性因素，是解决线性模型所不能解决的问题。
高维重构单元304，用于根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。
可以理解的是，高维重构是指，经过循环神经网络和生成对抗网络训练后的模型可以获得一些特征，低像素的人脸包含的人脸特征相对高像素的人脸是比较少的，神经网络利用训练得到特征对人脸图像进行更多特征维度的逆向重构，恢复出高像素的人脸图像。
本实施例提供的一种基于循环神经网络的人脸图像恢复装置，通过获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；将提取到的特征图进行非线性映射，得到优化的特征图；根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。本实施例通过将双向循环神经网络技术和生成对抗网络技术进行结合，构建并训练恢复性能最优化的神经网络模型，从而能够有效地将低分辨率的人脸图像恢复出高分辨率的人脸图像。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
Claims (10)
1.一种基于循环神经网络的人脸图像恢复方法，其特征在于，包括如下步骤：
获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；
将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；
将提取到的特征图进行非线性映射，得到优化的特征图；
根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。
2.根据权利要求1所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述按照预设像素大小对所述待恢复人脸图像进行特征图的提取，具体为：
对所述待恢复人脸图像进行若干次卷积运算，得到预设像素大小的特征图；其中，所述预设像素大小为1×1；
将该特征图作为循环神经网络的输入，进行相应的特征图的迭代提取。
3.根据权利要求1所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述神经网络模型的构建步骤为：
在搭建的循环神经网络中引入生成对抗网络；
输入预先获取的人脸图像训练样本，并通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练；
输出恢复性能最优化的神经网络模型。
4.根据权利要求3所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述两个卷积神经网络分别为生成网络和判别网络；
所述人脸图像训练样本包括人脸模糊图像和人脸清晰图像，所述人脸模糊图像和所述人脸清晰图像一一对应。
5.根据权利要求3所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练，具体为：
将所述人脸图像训练样本中的人脸模糊图像输入生成网络，得到人脸恢复图像；
将所述人脸图像训练样本中的人脸清晰图像和所述人脸恢复图像输入判别网络进行清晰度判断，并根据判断结果捕捉人脸恢复图像和人脸清晰图像的数据分布；
根据所述数据分布和预设的恢复性能最优化目标函数计算最优参数，并根据所述最优参数生成神经网络模型。
6.根据权利要求1所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像，具体为：
获取低分辨率图像；
采用模板匹配算法计算所述低分辨率图像区域的均值，以及方差；
当利用预先构建的人脸模板匹配到所述低分辨率图像区域时，计算所述人脸模板和所述低分辨率图像区域的相关系数；
将所述相关系数与预设阈值进行比较，以确定人脸区域，并筛选出至少包含一张人脸的待恢复人脸图像。
7.一种基于循环神经网络的人脸图像恢复装置，其特征在于，包括：
待恢复人脸图像获取单元，用于获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；
特征图提取单元，用于将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；
非线性映射单元，用于将提取到的特征图进行非线性映射，得到优化的特征图；
高维重构单元，用于根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。
8.根据权利要求7所述的基于循环神经网络的人脸图像恢复装置，其特征在于，所述按照预设像素大小对所述待恢复人脸图像进行特征图的提取，具体为：
对所述待恢复人脸图像进行若干次卷积运算，得到预设像素大小的特征图；其中，所述预设像素大小为1×1；
将该特征图作为循环神经网络的输入，进行相应的特征图的迭代提取。
9.根据权利要求7所述的基于循环神经网络的人脸图像恢复装置，其特征在于，所述神经网络模型的构建步骤为：
在搭建的循环神经网络中引入生成对抗网络；
输入预先获取的人脸图像训练样本，并通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练；
输出恢复性能最优化的神经网络模型；其中，
所述两个卷积神经网络分别为生成网络和判别网络；
所述人脸图像训练样本包括人脸模糊图像和人脸清晰图像，所述人脸模糊图像和所述人脸清晰图像一一对应。
10.根据权利要求9所述的基于循环神经网络的人脸图像恢复装置，其特征在于，所述通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练，具体为：
将所述人脸图像训练样本中的人脸模糊图像输入生成网络，得到人脸恢复图像；
将所述人脸图像训练样本中人脸清晰图像和所述人脸恢复图像输入判别网络进行清晰度判断，并根据判断结果捕捉人脸恢复图像和人脸清晰图像的数据分布；
根据所述数据分布和预设的恢复性能最优化目标函数计算最优参数，并根据所述最优参数生成神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810498025.7A CN108629753A (zh) | 2018-05-22 | 2018-05-22 | 一种基于循环神经网络的人脸图像恢复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810498025.7A CN108629753A (zh) | 2018-05-22 | 2018-05-22 | 一种基于循环神经网络的人脸图像恢复方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108629753A true CN108629753A (zh) | 2018-10-09 |
Family
ID=63694007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810498025.7A Pending CN108629753A (zh) | 2018-05-22 | 2018-05-22 | 一种基于循环神经网络的人脸图像恢复方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108629753A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109459043A (zh) * | 2018-12-12 | 2019-03-12 | 上海航天控制技术研究所 | 一种基于生成式重构图像的航天器相对导航方法 |
| CN109657156A (zh) * | 2019-01-22 | 2019-04-19 | 杭州师范大学 | 一种基于循环生成对抗网络的个性化推荐方法 |
| CN110414372A (zh) * | 2019-07-08 | 2019-11-05 | 北京亮亮视野科技有限公司 | 增强的人脸检测方法、装置及电子设备 |
| CN110532871A (zh) * | 2019-07-24 | 2019-12-03 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN111067507A (zh) * | 2019-12-26 | 2020-04-28 | 常熟理工学院 | 基于生成对抗网络和策略梯度的心电信号去噪方法 |
| CN111210467A (zh) * | 2018-12-27 | 2020-05-29 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN111353943A (zh) * | 2018-12-20 | 2020-06-30 | 杭州海康威视数字技术股份有限公司 | 一种人脸图像恢复方法、装置及可读存储介质 |
| CN111368685A (zh) * | 2020-02-27 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
| CN111383172A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 神经网络模型的训练方法、装置及智能终端 |
| CN113409207A (zh) * | 2021-06-15 | 2021-09-17 | 广州光锥元信息科技有限公司 | 一种人脸图像清晰度提升方法及装置 |
| WO2021211750A1 (en) * | 2020-04-15 | 2021-10-21 | Nvidia Corporation | Video compression and decompression using neural networks |
| CN114359069A (zh) * | 2021-12-08 | 2022-04-15 | 华南理工大学 | 一种图像恢复方法、系统、装置和存储介质 |
| GB2600348A (en) * | 2020-04-15 | 2022-04-27 | Nvidia Corp | Video compression and decompression using neural networks |
| CN114553315A (zh) * | 2022-02-28 | 2022-05-27 | 常州北邮新一代信息技术研究院有限公司 | 基于CNN-biRNN的光纤非线性均衡方法及系统 |
| CN115393846A (zh) * | 2022-10-28 | 2022-11-25 | 成都西交智汇大数据科技有限公司 | 一种血细胞识别方法、装置、设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107220611A (zh) * | 2017-05-23 | 2017-09-29 | 上海交通大学 | 一种基于深度神经网络的空时特征提取方法 |
| CN107730458A (zh) * | 2017-09-05 | 2018-02-23 | 北京飞搜科技有限公司 | 一种基于生成式对抗网络的模糊人脸重建方法及系统 |
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN107944379A (zh) * | 2017-11-20 | 2018-04-20 | 中国科学院自动化研究所 | 基于深度学习的眼白图像超分辨率重建与图像增强方法 |
-
2018
- 2018-05-22 CN CN201810498025.7A patent/CN108629753A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107220611A (zh) * | 2017-05-23 | 2017-09-29 | 上海交通大学 | 一种基于深度神经网络的空时特征提取方法 |
| CN107730458A (zh) * | 2017-09-05 | 2018-02-23 | 北京飞搜科技有限公司 | 一种基于生成式对抗网络的模糊人脸重建方法及系统 |
| CN107944379A (zh) * | 2017-11-20 | 2018-04-20 | 中国科学院自动化研究所 | 基于深度学习的眼白图像超分辨率重建与图像增强方法 |
Non-Patent Citations (6)
| Title |
|---|
| ARNAB GHOSH: "Contextual RNN-GANs for Abstract Reasoning Diagram Generation", 《PROCEEDINGS OF THIRTY-FIRST AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
| 孙继平: "有限空间低照度低分辨率图像中人脸检测", 《中国矿业大学学报》 * |
| 季长有: "基于知识方法和自适应模板匹配的快速人脸检测", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 朱晓宁: "基于卷积神经网络的图像超分辨率研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 汪成为: "《灵镜(虚拟现实)技术的理论、实现及应用》", 30 September 1996, 清华大学出版社 * |
| 苏剑波: "《应用模式识别技术导论》", 31 May 2001, 上海交通大学出版社 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109459043A (zh) * | 2018-12-12 | 2019-03-12 | 上海航天控制技术研究所 | 一种基于生成式重构图像的航天器相对导航方法 |
| CN111353943B (zh) * | 2018-12-20 | 2023-12-26 | 杭州海康威视数字技术股份有限公司 | 一种人脸图像恢复方法、装置及可读存储介质 |
| CN111353943A (zh) * | 2018-12-20 | 2020-06-30 | 杭州海康威视数字技术股份有限公司 | 一种人脸图像恢复方法、装置及可读存储介质 |
| CN111210467A (zh) * | 2018-12-27 | 2020-05-29 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN111383172A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 神经网络模型的训练方法、装置及智能终端 |
| CN111383172B (zh) * | 2018-12-29 | 2023-04-21 | Tcl科技集团股份有限公司 | 神经网络模型的训练方法、装置及智能终端 |
| CN109657156A (zh) * | 2019-01-22 | 2019-04-19 | 杭州师范大学 | 一种基于循环生成对抗网络的个性化推荐方法 |
| CN110414372A (zh) * | 2019-07-08 | 2019-11-05 | 北京亮亮视野科技有限公司 | 增强的人脸检测方法、装置及电子设备 |
| CN110532871B (zh) * | 2019-07-24 | 2022-05-10 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN110532871A (zh) * | 2019-07-24 | 2019-12-03 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN111067507A (zh) * | 2019-12-26 | 2020-04-28 | 常熟理工学院 | 基于生成对抗网络和策略梯度的心电信号去噪方法 |
| CN111368685A (zh) * | 2020-02-27 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
| CN111368685B (zh) * | 2020-02-27 | 2023-09-29 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
| WO2021211750A1 (en) * | 2020-04-15 | 2021-10-21 | Nvidia Corporation | Video compression and decompression using neural networks |
| US20210329306A1 (en) * | 2020-04-15 | 2021-10-21 | Nvidia Corporation | Video compression using neural networks |
| GB2600348A (en) * | 2020-04-15 | 2022-04-27 | Nvidia Corp | Video compression and decompression using neural networks |
| CN114556941A (zh) * | 2020-04-15 | 2022-05-27 | 辉达公司 | 使用神经网络的视频压缩和解压缩 |
| CN113409207A (zh) * | 2021-06-15 | 2021-09-17 | 广州光锥元信息科技有限公司 | 一种人脸图像清晰度提升方法及装置 |
| CN113409207B (zh) * | 2021-06-15 | 2023-12-08 | 广州光锥元信息科技有限公司 | 一种人脸图像清晰度提升方法及装置 |
| CN114359069A (zh) * | 2021-12-08 | 2022-04-15 | 华南理工大学 | 一种图像恢复方法、系统、装置和存储介质 |
| CN114359069B (zh) * | 2021-12-08 | 2024-07-02 | 华南理工大学 | 一种图像恢复方法、系统、装置和存储介质 |
| CN114553315A (zh) * | 2022-02-28 | 2022-05-27 | 常州北邮新一代信息技术研究院有限公司 | 基于CNN-biRNN的光纤非线性均衡方法及系统 |
| CN115393846B (zh) * | 2022-10-28 | 2023-03-03 | 成都西交智汇大数据科技有限公司 | 一种血细胞识别方法、装置、设备及可读存储介质 |
| CN115393846A (zh) * | 2022-10-28 | 2022-11-25 | 成都西交智汇大数据科技有限公司 | 一种血细胞识别方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108629753A (zh) | 一种基于循环神经网络的人脸图像恢复方法及装置 | |
| CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN113469356B (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
| CN109886881B (zh) | 人脸妆容去除方法 | |
| CN111861894B (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN112699786B (zh) | 一种基于空间增强模块的视频行为识别方法及系统 | |
| CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| Anvari et al. | Dehaze-GLCGAN: unpaired single image de-hazing via adversarial training | |
| CN110348381A (zh) | 一种基于深度学习的视频行为识别方法 | |
| CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
| CN116682120A (zh) | 基于深度学习的多语种马赛克图像文本识别方法 | |
| CN110570375B (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| CN115795406A (zh) | 一种可逆的人脸匿名化处理系统 | |
| CN116645287A (zh) | 一种基于扩散模型的图像去模糊方法 | |
| CN111861949A (zh) | 一种基于生成对抗网络的多曝光图像融合方法及系统 | |
| CN112907692B (zh) | 一种基于sfrc-gan的从素描到人脸重建方法 | |
| CN111597847A (zh) | 一种二维码识别方法、装置、设备及可读存储介质 | |
| CN112634168A (zh) | 一种结合边缘信息的图像修复方法 | |
| CN110969109B (zh) | 一种非受限条件下眨眼检测模型及其构建方法和应用 | |
| CN116823983A (zh) | 基于风格收集机制的一对多风格书法图片生成方法 | |
| CN114841887B (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| CN111047537A (zh) | 一种图像去噪中恢复细节的系统 | |
| CN116091891A (zh) | 图像识别方法及系统 | |
| CN115424337A (zh) | 基于先验引导的虹膜图像修复系统 | |
| CN113421212B (zh) | 一种医学影像的增强方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 510000 room 414, room 413, No. 662, Huangpu Avenue middle, Tianhe District, Guangzhou City, Guangdong Province (office only) Applicant after: GUANGZHOU HONGSEN TECHNOLOGY Co.,Ltd. Address before: 510000 self compiled third 904 rooms (no factory building), No. 16, Ke Yun Road, Tianhe District, Guangzhou, Guangdong. Applicant before: GUANGZHOU HONGSEN TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181009 |