CN108470209B - 一种基于格拉姆矩阵正则化的卷积神经网可视化方法 - Google Patents

一种基于格拉姆矩阵正则化的卷积神经网可视化方法 Download PDF

Info

Publication number
CN108470209B
CN108470209B CN201810258375.6A CN201810258375A CN108470209B CN 108470209 B CN108470209 B CN 108470209B CN 201810258375 A CN201810258375 A CN 201810258375A CN 108470209 B CN108470209 B CN 108470209B
Authority
CN
China
Prior art keywords
layer
visualized
image
gram
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810258375.6A
Other languages
English (en)
Other versions
CN108470209A (zh
Inventor
王少帆
邵广翠
孔德慧
尹宝才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201810258375.6A priority Critical patent/CN108470209B/zh
Publication of CN108470209A publication Critical patent/CN108470209A/zh
Application granted granted Critical
Publication of CN108470209B publication Critical patent/CN108470209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于格拉姆矩阵正则化的卷积神经网可视化方法，包括给定一个图像表示函数和参考表示，通过优化目标函数求出这个参考表示的输入层数据，作为对应的卷积神经网络待可视化层的可视化结果。本发明可以对不同的卷积神经网络的不同层的特征进行可视化。本发明对可视化技术的正则项进行了改进，取得了对可视化的愚弄效应进行抵抗的效果。

Description

一种基于格拉姆矩阵正则化的卷积神经网可视化方法
技术领域
本发明属于计算机视觉和模式识别领域，特别涉及一种基于格拉姆矩阵正则化的卷积神经网可视化方法。
背景技术
卷积神经网络CNN是近年来模式识别领域的重要模型，在图像分类、人脸识别、自然语言处理、语音识别等诸多应用领域取得了较高的分类和识别精度。CNN带来了高精度的预测模型，但是同时也留下重要的问题，在复杂的多层非线性网络结构中，究竟是什么让训练好的CNN模型给出近乎完美的预测答案？从CNN被大规模研究使用以来，学者们持续不断的探索可以理解和解释CNN的方法，其中可视化技术被证明是解释CNN内部结构最有效的方法之一。
Aravindh Mahendran和Vedaldi等[1]提出了一种可视化方法，该方法求解经过卷积神经网络某层的特征表示与给定特征映射接近的图像，将所求图像作为卷积神经网络某层的可视化结果。然而，这种可视化方法尚且存在一定问题，即：黑色的背景可视化出绿色的背景。这种可视化与神经网络容易被愚弄不谋而合，所谓愚弄[2]，即不同的图片在某层会有相同的表示，神经网络会以较高的置信度把表示相近的不同类图片分到同一类别，比如颜色相近的卡车和棒球服以高置信度分到同一类，而两者显然不是同一类别。
发明内容
为了解决神经网络容易被愚弄的问题，本发明在上述Mahendran和Vedaldi等提出的方法基础上进行了改进，提出一种基于格拉姆矩阵的新的可视化方法，格拉姆矩阵能够提取整体风格，来抵抗可视化时的这种愚弄。以此对研究神经网络的研究者对CNN的构造有指导意义。
本发明提出一类基于格拉姆矩阵正则化的卷积神经网络可视化方法。其基本思想是：给定一个图像表示函数Φ：
Figure BDA0001609590050000011
和参考表示
Figure BDA0001609590050000012
Φ0＝Φ(x0)，通过优化目标函数
Figure BDA0001609590050000013
求出这个参考表示的输入层数据，作为对应的卷积神经网络待可视化层的可视化结果，即本发明中迭代后得到的解图像X。这里的图像表示函数Φ是卷积神经网络待可视化层的特征映射，x0是输入图像，Φ0是输入图像在待可视化层的表示。本发明可以对不同的卷积神经网络的不同层的特征进行可视化，模型如CaffeNet、AlexNet、VGG16、VGG19、GoogleNet等。本发型的创新点在于目标函数中引入格拉姆正则。
具体技术方案如下：
步骤(1):准备待可视化的卷积神经模型CNN、输入图像x0，以及初始化解图像X＝X0；
待可视化的卷积神经模型CNN可以是常见的CaffeNet、AlexNet、ZFNet、VGG16、VGG19、GoogleNet、ResNet等,但不局限于这些。
步骤(2):计算输入图像x0的特征映射及格拉姆正则项，具体如下：
1)、计算输入图像x0在卷积神经模型中待可视化的第l层的特征映射Φl(x0)；Φl(x0)由经典卷积神经网络计算特征映射的方法得到。
2)、计算输入图像x0的格拉姆正则项，即：Φk(x0)TΦk(x0)，其中，k属于集合Ω，Ω的元素是待可视化的卷积神经模型中第1层到待可视化的第l层的任意组合，Φk(x0)是输入图像x0在待可视化的卷积神经模型第k层的特征映射；Φk(x0)T表示Φk(x0)的转置；
对于格拉姆正则项Φk(x)TΦk(x)此处展开解释。把格拉姆正则项展开成如下形式：
Figure BDA0001609590050000021
格拉姆正则项用来度量特征映射各个维度的内在特性以及各个维度之间的关系。这种度量特征映射特性的方式，会使提取到的特征映射的特点突出，从而体现了特征映射所存在的风格。在特征映射中，每一个数都来自于一个特定滤波器在特定位置的卷积，每种滤波器代表一个特征，因此每个数就代表一个特征的强度，而格拉姆正则项计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个特征是此消彼长的。同时，格拉姆正则项的对角线元素，还体现了每个特征在图像中出现的量，因此，格拉姆矩阵有助于把握整个图像的大体风格。综上所述，我们在可视化第l层时，会任意选取第1层到第l层的特征映射的格拉姆项去约束第l层的可视化结果。
步骤(3):计算解图像X的特征映射及格拉姆正则项，具体如下：
1)、计算解图像X在待可视化卷积神经模型中第l层的特征映射Φl(X)，其中第l层表示卷积神经模型中待可视化的层数，解图像X的初始值为X0；
2)、计算解图像X的格拉姆正则项，即：Φk(X)TΦk(X)，其中，k属于集合Ω，Ω的元素是待可视化的卷积神经模型中第1层到待可视化的第l层的任意组合，Φk(X)是解图像X在待可视化的卷积神经模型第k层的特征映射，Φk(X)T表示Φk(X)的转置；
步骤(4):计算传统正则项Eregular，具体公式如下：
Figure BDA0001609590050000031
其中，X是解图像，
Figure BDA0001609590050000032
是对解图像X的Frobenius范数约束，RTV(X)是对解图像X的全变分约束，λF、λTV分别是协调Frobenius范数约束和全变分约束的比重，2*106＜λF＜2*108,0.5＜λTV＜500，
Figure BDA0001609590050000033
其中，Xi,j表示X在位置(i，j)的像素值；
Figure BDA0001609590050000034
与RTV(x)：
Figure BDA0001609590050000035
均是图像正则项，使生成的图片具有自然图像的先验。
Figure BDA0001609590050000036
约束图像保持在目标范围内而不是发散，RTV(x)约束图像的光滑性。判别式训练图像表示可能会丢弃大量的低级图像信息，因为这些信息通常对于高级任务来说并不重要。但这些信息对于可视化来说是有用的，所以可以通过加入正则项来部分恢复X。
步骤(5):计算输入图像x0特征和解图像X特征的欧氏距离Eerror，以及输入图像x0格拉姆项和解图像X格拉姆项的欧氏距离Egram，具体计算公式如下：
Figure BDA0001609590050000041
Figure BDA0001609590050000042
其中，
Figure BDA0001609590050000043
N、M分别是解图像X在待可视化网络模型第k层特征映射的长和宽，k属于集合Ω，Ω的元素是待可视化的卷积神经模型中第1层到待可视化的第l层的任意组合，wk是待可视化网络模型第k层的格拉姆项的权重；
Eerror是可视化进行的关键。
步骤(6):计算总的目标函数E，求梯度，具体如下：
1)计算总的目标函数E，公式如下：
E＝Eerror+λgEgram+Eregular，
其中，λg是Egram项的权重，0.1＜λg＜200；
2)利用反向传播算法计算基于解图像的梯度
Figure BDA0001609590050000044
目标函数E＝Eerror+λgEgram+Eregular直接求解难度很大，本发明是利用梯度下降法，初始化一个解图像X＝X0，然后把这个图像X看成一个变量，目标函数对求梯度，更新X作为新的解图像，再求梯度再更新，直到满足一定条件后，X经过多次迭代就是最终的要求解的图像。
步骤(7)：更新解图像X，具体公式为：
Figure BDA0001609590050000045
步骤(8)：判断||Φl(X)-Φl(x0)||2＜ε是否成立，0.2＜ε＜5；如果成立,则此时得到的更新后的解图像即为对待可视化模型的第l层进行可视化的结果图；否则将更新后的解图像带入步骤3-7继续迭代。
Eerror的本质是||Φl(X)-Φl(x0)||2，只不过做了一个归一化处理。
||Φl(X)-Φl(x0)||2是X和x0在待可视化层的特征映射的欧氏距离，步骤(8)目的在于判断更新后的X与x0的特征映射的接近程度。随着迭代次数的增加，
||Φl(X)-Φl(x0)||2会逐渐减小，当||Φl(X)-Φl(x0)||2小于阈值后，迭代就可以停止，认为此时更新后的X为待可视化层的可视化结果。
有益效果
本发明，提出了一种新的可视化技术去理解网络。与Mahendran和Vedaldi等提出的方法相比，本发明对可视化技术的正则项进行了改进，取得了对可视化的愚弄效应进行抵抗的效果。
附图说明
图1为本发明整体流程示意图；
图2为卷积神经网络模型结构示意图；
图3a-3b为卷积神经网络被愚弄示意图；
图4实验用到的输入图像1；
图5实验用到的输入图像2；
图6卷积神经网络VGG19的网络模型部分示意图
图7a-7gAravindh Mahendran方法对VGG19模型的可视化效果图(以图4为输入图像)
图8a-8g本发明对VGG19模型的可视化效果图(以图4为输入图像)
图9a-9p Aravindh Mahendran方法对VGG19模型可视化效果图(以图5为输入图像)
图10a-10p本发明对VGG19模型可视化效果图(以图5为输入图像)
图11a-11e本发明对VGG19模型不同迭代次数效果图(以图5为输入图像)
图12a为Caffenet在conv4可视化效果图；
图12b为Caffenet在conv5可视化效果图；
图12c为VGG16在Conv4_2可视化效果图；
图12d为VGG16在Conv5_1可视化效果图；
图12e为Googlenet在Conv4d可视化效果图；
图12f为Googlenet在Conv5a可视化效果图；
图12g为VGG19在Conv4_2可视化效果图；
图12h为VGG19在Conv5_1可视化效果图。
具体实施方式
实验准备：选择的模型是VGG19。VGG19模型是由16个卷积层和3个全链接层组成，如图2所示，在ILSVRC 2014数据集(Large Scale Visual Recognition Challenge 2014)上进行训练。ILSVRC 2014数据集是ImageNet比赛使用的数据，由140万张图片组成,分成1000个类别。待可视化的卷积神经网络模型是在caffe框架上进行的，caffe是一个开源的深度学习框架。因此需要准备：1)、配置好的caffe。2)、待可视化的卷积神经模型VGG19模型。3)、VGG19模型的权重，即caffemodels。4)、输入图片x0。5)、一幅初始化解图像X0。
实验一：输入图像如图4，图7是Aravindh Mahendran对图4在VGG19模型上不同层进行重构效果，图8是本发明对图4在VGG19模型上不同层进行重构效果。右上角是VGG19的层数，代表步骤(2)、步骤(3)中的l，conv1_1即为第一层，conv 1_2即为第二层，conv 3_1即为第三层，conv 3_2即为第四层，以此类推。以图7g为例，在本实验中，l为Conv5_4层是第16层，步骤(5)中参数Ω选取第1层到第16层中的4个层，即Ω＝{conv5_1,conv5_2,conv5_3，conv5_4}。
实验分析：Aravindh Mahendran等提出神经网络容易被愚弄，即不同的图片在卷积神经网络的同一层特征映射可能近似。卷积神经网络是在ImageNet2012数据集上训练的，ImageNet数据集有140万张图片分成1000个类别，不同类别的图片在卷积神经网络上的特征映射可能相同，从而以高置信度分到同一类别。导致Aravindh Mahendran等在重构的时候，如图7，黑色背景重构出绿色背景。输入图像的背景是黑色，而重构图片的背景是绿色。这是因为卷积神经网络在ImageNet数据集进行训练的，而训练数据含有很多草地，因此绿色会更容易使神经元激活，因此重构出来的图像会偏绿色。而本方法黑色的背景，如图8，并没有偏向绿色，从而本方法对这种愚弄有抵抗性。
实验二：输入图像如图5，Aravindh Mahendran对图5在VGG19模型上不同层进行重构效果如图9，本发明对图5在VGG19模型上不同层进行重构效果如图10。
实验分析：由图7-10可知，本发明和Aravindh Mahendran的方法相比存在两个优点。其一，不存在背景由黑色变绿色的情况，是因为信息不仅存储在卷积神经网络的特征映射中，同时存在特征映射的格拉姆矩阵中。加入格拉姆矩阵正则项能避免神经网络被愚弄。其二，Aravindh Mahendran的方法在重构高层的时候，已经完全看不出目标的轮廓，有的甚至看不出目标是什么。而本发明在高层，如conv5_4层，虽然有轻微的模糊，但能够清晰地看出目标。在重构的过程中，格拉姆矩阵约束能够提取特征映射的内在特性以及特征映射各个维度之间的关系。
实验三本发明对VGG19同层不同迭代次数进行重构效果5_4层，如图11。
实验分析：在迭代求解生成图像过程中，随着迭代次数越来越多，初始图片先更新的是图像的目标，即有用信息，后更新背景，即不重要的信息。传统分类卷积神经网络是用反向传播算法将误差层层回传，利用梯度下降法更新每一层的权值，即w。本方法同样使用链式法则，不再更新权重，而是更新输入层数据，即待生成图像。目标部分更新快是指在反向传播的过程中梯度比较大，根据链式法则，即目标处的权重比较大，符合传统分类模型的理念，重要信息有较大的权重，不重要的信息有较小的权重。根据重构迭代的这个特性，我们可以对可视化进行应用。比如用可视化进行目标分割，目标显著性检测，还可以用可视化生成自然界中不存在的图片，类似于google的一样技术deep dream。
实验四：本发明对不同模型进行重构效果如图12。
[1]Mahendran A,Vedaldi A.Visualizing Deep Convolutional NeuralNetworks Using Natural Pre-images[M].Kluwer Academic Publishers,2016.
[2]Nguyen A,Yosinski J,Clune J.Deep neural networks are easilyfooled:High confidence predictions for unrecognizable images.2014:427-436.

Claims (1)

1.一种基于格拉姆矩阵正则化的卷积神经网可视化方法，其特征在于包括以下步骤：
步骤(1):准备待可视化的卷积神经模型CNN、输入图像x0和对解图像初始化X＝X0；
步骤(2):计算输入图像x0的特征映射及格拉姆正则项，具体如下：
1)、计算输入图像x0在卷积神经模型中待可视化的第l层的特征映射Φl(x0)；
2)、计算输入图像x0的格拉姆正则项，即：Φk(x0)TΦk(x0)，其中，k属于集合Ω，Ω的元素是待可视化的卷积神经模型中第1层到待可视化的第l层的任意组合，Φk(x0)是输入图像x0在待可视化的卷积神经模型第k层的特征映射；Φk(x0)T表示Φk(x0)的转置；
步骤(3):计算解图像X的特征映射及格拉姆正则项，具体如下：
1)、计算解图像X在卷积神经模型中待可视化的第l层的特征映射Φl(X)；
2)、计算解图像X的格拉姆正则项，即：Φk(X)TΦk(X)，其中，k属于集合Ω，Ω的元素是待可视化的卷积神经模型中第1层到待可视化的第l层的任意组合，Φk(X)是解图像X在待可视化的卷积神经模型第k层的特征映射，Φk(X)T表示Φk(X)的转置；
步骤(4):计算传统正则项Eregular，具体公式如下：
Figure FDA0001609590040000011
其中，X是解图像，
Figure FDA0001609590040000012
是对解图像X的Frobenius范数约束，RTV(X)是对解图像X的全变分约束，λF、λTV分别是协调Frobenius范数约束和全变分约束的比重，2*106＜λF＜2*108,0.5＜λTV＜500，
Figure FDA0001609590040000013
其中，Xi,j表示X在位置(i，j)的像素值；
步骤(5):计算输入图像x0特征和解图像X特征的欧氏距离Eerror，以及输入图像x0格拉姆项和解图像X格拉姆项的欧氏距离Egram，具体计算公式如下：
Figure FDA0001609590040000021
Figure FDA0001609590040000022
其中，
Figure FDA0001609590040000023
N、M分别是解图像X在待可视化网络模型第k层特征映射的长和宽，k属于集合Ω，Ω的元素是待可视化的卷积神经模型中第1层到待可视化的第l层的任意组合，wk是待可视化网络模型第k层的格拉姆项的欧氏距离；
步骤(6):计算总的目标E，求梯度，具体如下：
1)计算总的目标E，公式如下：
E＝Eerror+λgEgram+Eregular，
其中，λg是Egram项的权重，0.1＜λg＜200；
2)利用反向传播算法计算基于解图像的梯度
Figure FDA0001609590040000024
步骤(7)：更新解图像X，具体公式为：
Figure FDA0001609590040000025
步骤(8)：判断||Φl(X)-Φl(x0)||2＜ε是否成立，0.2＜ε＜5；如果成立,则此时得到的更新后的解图像即为对待可视化模型的l层进行可视化的结果图；否则将更新后的解图像带入步骤3-7继续迭代。
CN201810258375.6A 2018-03-27 2018-03-27 一种基于格拉姆矩阵正则化的卷积神经网可视化方法 Active CN108470209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810258375.6A CN108470209B (zh) 2018-03-27 2018-03-27 一种基于格拉姆矩阵正则化的卷积神经网可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810258375.6A CN108470209B (zh) 2018-03-27 2018-03-27 一种基于格拉姆矩阵正则化的卷积神经网可视化方法

Publications (2)

Publication Number Publication Date
CN108470209A CN108470209A (zh) 2018-08-31
CN108470209B true CN108470209B (zh) 2021-06-04

Family

ID=63264768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810258375.6A Active CN108470209B (zh) 2018-03-27 2018-03-27 一种基于格拉姆矩阵正则化的卷积神经网可视化方法

Country Status (1)

Country Link
CN (1) CN108470209B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859204B (zh) * 2019-02-22 2020-12-11 厦门美图之家科技有限公司 卷积神经网络模型检验方法及装置
CN113988394A (zh) * 2021-10-21 2022-01-28 中国电建集团华东勘测设计研究院有限公司 基于格拉姆矩阵和卷积神经网络的风电超短期功率预测方法
CN115099756B (zh) * 2022-07-25 2022-11-11 深圳市中农网有限公司 一种基于云视频信息处理的冷链食品物流可视化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106132288A (zh) * 2014-03-21 2016-11-16 韩国标准科学研究院 三维心脏轮廓重构方法
CN106780363A (zh) * 2016-11-21 2017-05-31 北京金山安全软件有限公司 一种图片处理方法、装置及电子设备
CN106847294A (zh) * 2017-01-17 2017-06-13 百度在线网络技术（北京）有限公司 基于人工智能的音频处理方法和装置
CN107085713A (zh) * 2017-05-05 2017-08-22 中山大学 基于相关滤波的端对端快速行人再识别方法
CN107391599A (zh) * 2017-06-30 2017-11-24 中原智慧城市设计研究院有限公司 基于风格特征的图像检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3047391B1 (en) * 2013-09-18 2023-06-28 Siemens Medical Solutions USA, Inc. Method and system for statistical modeling of data using a quadratic likelihood functional

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106132288A (zh) * 2014-03-21 2016-11-16 韩国标准科学研究院 三维心脏轮廓重构方法
CN106780363A (zh) * 2016-11-21 2017-05-31 北京金山安全软件有限公司 一种图片处理方法、装置及电子设备
CN106847294A (zh) * 2017-01-17 2017-06-13 百度在线网络技术（北京）有限公司 基于人工智能的音频处理方法和装置
CN107085713A (zh) * 2017-05-05 2017-08-22 中山大学 基于相关滤波的端对端快速行人再识别方法
CN107391599A (zh) * 2017-06-30 2017-11-24 中原智慧城市设计研究院有限公司 基于风格特征的图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的正则化方法;吕国豪 等;《计算机研究与发展》;20141105;第51卷(第9期);第1-10页 *

Also Published As

Publication number Publication date
CN108470209A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
Liu et al. Connecting image denoising and high-level vision tasks via deep learning
Xiao et al. Spatially transformed adversarial examples
CN108229444B (zh) 一种基于整体和局部深度特征融合的行人再识别方法
Pathak et al. Context encoders: Feature learning by inpainting
Zhang et al. End-to-end photo-sketch generation via fully convolutional representation learning
Wang et al. Data dropout: Optimizing training data for convolutional neural networks
CN109886881B (zh) 人脸妆容去除方法
CN111582397B (zh) 一种基于注意力机制的cnn-rnn图像情感分析方法
CN110378208B (zh) 一种基于深度残差网络的行为识别方法
Salehi et al. Generative adversarial networks (GANs): An overview of theoretical model, evaluation metrics, and recent developments
CN108470209B (zh) 一种基于格拉姆矩阵正则化的卷积神经网可视化方法
Wang et al. Deeply supervised face completion with multi-context generative adversarial network
Kim et al. Label-preserving data augmentation for mobile sensor data
Fu et al. Continual image deraining with hypergraph convolutional networks
Ning et al. Conditional generative adversarial networks based on the principle of homologycontinuity for face aging
Yu et al. Unbiased multi-modality guidance for image inpainting
Zhai et al. Learning optical flow using deep dilated residual networks
Wang et al. Building correlations between filters in convolutional neural networks
Dogan et al. Iterative facial image inpainting based on an encoder-generator architecture
Han et al. Multi-scale feature network for few-shot learning
Wei et al. A-ESRGAN: Training real-world blind super-resolution with attention U-Net Discriminators
Zhang et al. Face recognition under varying illumination based on singular value decomposition and retina modeling
Xiong et al. Multitask Sparse Representation Model Inspired Network for Hyperspectral Image Denoising
CN109284765A (zh) 基于负值特征的卷积神经网络的自然图像分类方法
CN111382684B (zh) 基于对抗学习的角度鲁棒的个性化人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant