CN111967573A - 数据处理方法、装置、设备及计算机可读存储介质 - Google Patents
数据处理方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111967573A CN111967573A CN202010680761.1A CN202010680761A CN111967573A CN 111967573 A CN111967573 A CN 111967573A CN 202010680761 A CN202010680761 A CN 202010680761A CN 111967573 A CN111967573 A CN 111967573A
- Authority
- CN
- China
- Prior art keywords
- confrontation network
- student
- teacher
- generated
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000003860 storage Methods 0.000 title claims description 12
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000004821 distillation Methods 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 58
- 230000006870 function Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013140 knowledge distillation Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000006835 compression Effects 0.000 abstract description 2
- 238000007906 compression Methods 0.000 abstract description 2
- 230000004044 response Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 25
- 230000003042 antagnostic effect Effects 0.000 description 18
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 14
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请属于数据处理领域，提供了一种数据处理方法，包括：获取待训练的学生生成对抗网络，以及获取教师生成对抗网络；固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习；根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，得到训练后的学生生成对抗网络；根据训练后的学生生成对抗网络处理待处理数据。使得较小规模的学生生成对抗网络有效的压缩计算量，具有较快的响应速度和较佳的准确度，有利于提升网络的数据处理的性能。
Description
技术领域
本申请属于数据处理领域，尤其涉及数据的异常检测方法、装置、设备及计算机可读存储介质。
背景技术
异常检测是一种用于识别出与预期正常样本不符的异常样本的检测技术。异常检测技术已被广泛应用于网络入侵、信用卡欺诈、医疗诊断和工业缺陷检测等领域。
目前，常用的异常检测的方法可以分为两类：一类是基于传统的机器学习方法进行异常检测。传统的机器学习方法包括单类支持向量机(英文全称为One-classSVM，英文简称为OS-SVM)、核密度估计(英文全称为Kernel Density Estimation，英文简称为KDE)、主成分分析(英文全称为Principal Component Analysis，英文简称为PCA)等；另一类是基于深度学习的方法进行异常检测。包括深度信念网络(英文全称为Deep Belief Network，英文简称为DBN)、自编码器(英文全称为Auto-Encoder，英文简称为AE)和生成对抗网络(英文全称为Generative Adversarial Network，英文简称为GAN)等。由于生成对抗网络在建模复杂的高维图像分布方面具有巨大优势，因此许多基于对抗生成网络的方法已被用于异常检测问题。但是，目前的生成对抗网络的很难进一步提升对数据进行异常检测的性能。
发明内容
有鉴于此，本申请实施例提供了一种数据处理方法、装置、设备及计算机可读存储介质，以解决现有技术中的生成对抗网络难以提升对数据进行异常检测的性能的问题。
本申请实施例的第一方面提供了一种数据处理方法，所述数据处理方法包括：
获取待训练的学生生成对抗网络，以及获取教师生成对抗网络；
固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习；
根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，得到训练后的学生生成对抗网络；
根据训练后的学生生成对抗网络处理待处理数据。
结合第一方面，在第一方面的第一种可能实现方式中，所述根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习，包括：
通过最小化学生生成对抗网络的损失函数，以及最小化蒸馏损失，对所述学生生成对抗网络进行学习，其中，所述蒸馏损失为教师生成网络通过知识蒸馏得到学生生成对抗网络时所产生的损失。
结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，在对所述学生生成对抗网络进行学习之前，所述方法还包括：
通过学生生成对抗网络和教师生成对抗网络的中间层的潜在向量之间的距离，以及学生生成对抗网络和教师生成对抗网络的重建图像之间的距离，确定所述蒸馏损失。
结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述通过学生生成对抗网络和教师生成对抗网络的中间层的潜在向量之间的距离，以及学生生成对抗网络和教师生成对抗网络的重建图像之间的距离，确定所述蒸馏损失，包括：
分别获取学生生成对抗网络和教师生成对抗网络的中间层的第一潜在向量和第二潜在向量，以及获取分别获取学生生成对抗网络和教师生成对抗网络的重建图像；
获取所述第一潜在向量之间的L2距离的第一距离值，以及第二潜在向量之间的L2距离的第二距离值；
根据所述重建图像之间的距离，确定重建图像之间的L1距离的第三距离值；
根据第一距离值、第二距离值、第三距离值及预设的权重系数，确定所述蒸馏损失。
结合第一方面，在第一方面的第四种可能实现方式中，所述根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，包括：
通过教师生成对抗网络的损失函数训练教师生成对抗网络；
通过训练后的教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对所述学生生成对抗网络进行训练。
结合第一方面，在第一方面的第五种可能实现方式中，所述根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，包括：
通过教师生成对抗网络的损失函数训练教师生成对抗网络；
通过学生生成对抗网络的损失函数训练学生生成对抗网络；
通过训练后的教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对所述学生生成对抗网络进行训练。
结合第一方面、第一方面的第一种可能实现方式、第一方面的第二种可能实现方式、第一方面的第三种可能实现方式、第一方面的第四种可能实现方式或第一方面的第五种可能实现方式，在第一方面的第六种可能实现方式中，在对学习后的学生生成对抗网络进行训练之后，所述方法还包括：
固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行再次学习；
根据再次学习后的教师生成对抗网络的损失函数，以及再次学习后的教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，直到训练后的学生生成对抗网络的性能满足预设的性能要求。
本申请实施例的第二方面提供了一种数据处理装置，所述数据处理装置包括：
生成对抗网络获取单元，用于获取待训练的学生生成对抗网络，以及获取教师生成对抗网络；
学生生成对抗网络学习单元，用于固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习；
学生生成对抗网络训练单元，用于根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，得到训练后的学生生成对抗网络；
数据处理单元，用于根据训练后的学生生成对抗网络处理待处理数据。
本申请实施例的第三方面提供了一种数据处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，以使得数据处理设备实现如第一方面任一项所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，以使得数据处理设备实现如第一方面任一项所述方法的步骤。
第五方面，本申请实施例还提供了一种数据处理网络的训练方法，所述数据处理网络的训练方法包括：
获取待训练的学生生成对抗网络，以及获取教师生成对抗网络；
固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习；
根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，得到用于数据处理的学生生成对抗网络。
本申请实施例与现有技术相比存在的有益效果是：通过较大规模的固定教师生成对抗网络的指导较小规模的学生生成对抗网络的学习，可以使得学生生成对抗网络学习学习得到教师生成对抗网络中的基础知识，再进一步通过教师生成对抗网络的损失函数和蒸馏损失，对学习后的学生生成对抗网络进行训练，得到训练后的生成对抗网络进行数据处理，使得较小规模的学生生成对抗网络有效的压缩计算量，具有较快的响应速度和较佳的准确度，有利于提升网络的数据处理的性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的实现流程示意图；
图2是本申请实施例提供的数据处理的网络结构示意图；
图3是本申请实施例提供的蒸馏结构示意图；
图4是本申请实施例提供的数据处理结果比较表；
图5是本申请实施例提供的一种数据处理装置的示意图；
图6是本申请实施例提供的数据处理设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
本申请实施例所述数据处理方法，可应用于数据的异常检测、图像生成、图像去雾、图像超分辨率重构等领域。即通过本申请所述的数据处理方法，可以得到训练后的学生生成对抗网络，通过将大规划的教师生成对抗网络进行知识蒸馏，得到小规模的学生生成对抗网络。可将小规模的学生生成对抗网络部署到移动终端等设备，提升移动终端对待处理数据的处理性能。其中，数据异常检测可以包括病毒木马检测、工业制造产品检测及网络流量检测等。
比如，待处理数据为待处理的图像时，可以将待处理的图像输入至知识蒸馏得到的学生生成对抗网络，通过所述学生生成对抗网络对待处理的图像进行处理，包括如生成新的图像，或者对图像进行去雾处理，或者根据图像进行超分辨率重构等。当待处理数据为待检测的数据时，可以通过本申请所述数据处理方法训练后的学生生成对抗网络，对待检测数据进行异常检测处理。
在知识蒸馏过程中，可以将大规模的网络指导小规模的网络进行参数学习，使得学习后的小规模的网络可以快速的响应数据处理，提高数据处理的效率，降低对系统运算能力的要求。在本申请中，大规模的网络可以称为教师网络，小规模的网络可以称为学生网络。当教师网络和学生网络为生成对抗网络时，分别称为教师生成对抗网络和学生生成对抗网络。
图1为本申请实施例提供的一种数据处理方法的实现流程示意图，详述如下：
S101，获取待训练的学生生成对抗网络，以及获取教师生成对抗网络。
本申请实施例中的学生生成对抗网络，在训练之前，可以通过随机生成参数的方式获取。所获取的教师生成对抗网络，可以为具有
图2为本申请实施例提供的一种数据处理网络的结构示意图。如图2所示，成生对抗网络包括生成器G和鉴别器D。生成对抗网络的类型包括教师生成对抗网络和学生生成对抗网络。其中，学生生成对抗网络中，基于编码器-解码器-编码器的生成器G，可用于从潜在空间
中获取输入图像
的分布，其中，
表示d维向量，
表示图像是宽度为w，高为h，通道数为c。鉴别器D用于判断重建图像x'。生成器G和鉴别器D可以通过下式同时进行优化：
其中，训练集X包括N个正常图像，
是x服从正常图像X分布的期望值，GD表示解码器，用于重构来自在潜在空间z得到重构图像，GE表示编码器，用于将输入图像映射到低维空间z，D(x)表示鉴别器，用于判断输入的图像是真实图像还是重构图像。
在训练期间，通过最小化学生生成对抗网络的生成器G的损失函数
和交叉熵损失Sce来分别训练生成器G和鉴别器D。其中，
的定义如下：
Scon＝Ex～X||x-x'||1
Senc＝Ex～X||z1-z2||2
Sadv＝Ex～X||f(x)-f(x')||2
其中，f()表示输出鉴别器D的中间特征。Scon、Senc和Sadv分别表示图像之间的重构误差、潜在向量之间的重构误差，以及中间特征图之间的重构误差。在测试阶段，两个潜在向量z1,z2之间的差值Senc被当作异常分数来进行异常检测，wcon、wenc、wadv分别表示图像之间的重构误差的权重、潜在向量之间的重构误差的权重以及中间特征图像之间的重构误差的权重，x’表示学生生成对抗网络的重构图像。
本申请实施例中所获取的教师生成对抗网络，可以为预先获取的较为大型的网络，在进行知识蒸馏之前，教师生成对抗网络进行了预训练，具有较好的精度和稳定性。
S102，固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习。
在本申请实施例中，固定教师生成对抗网络的参数，对学生生成对抗网络进行学习，可以包括最小化学生生成对抗网络的损失函数，和/或最小化蒸馏损失的方式，对学生生成对抗网络进行学习。
其中，蒸馏损失是指通过知识蒸馏的方式，由教师生成对抗网络指导学生生成对抗网络学习时所确定的损失。如图2所示，在确定蒸馏损失时，可以在教师生成对抗网络和学生生成对抗网络的生成器通过中间层传递知识时，通过中间层包括的潜在向量和重构图像，计算得到教师生成对抗网络与学生生成对抗网络的蒸馏损失。
比如，在图2中，学生生成对抗网络的中间层包括两个潜在向量，分别为z1、z2，教师生成对抗网络的中间层包括两个潜在向量，分别为z1'、z2'。可以根据潜在向量确定两组潜在向量，分别为z1、z1'、z2、z2'。根据每组潜在向量之间的L2距离，确定两个距离值，分别为第一距离值K1和第二距离值K2。可以根据学生生成对抗网络的重构图像x'与教师生成对抗网络中的重构图像x”之间的L1距离，确定第三损失函数Kx。其中，L1距离是指多维向量中的每一维向量的差的绝对值之和。L2距离是指多维向量中的每一维向量的差的平方和的二次方根值。比如，对于二维向量，L1距离表示第一维差的绝对值加上第二维差的绝对值；L2距离表示第一维差的平方加上第二维差的平方，然后对和值开二次方根。
根据预先设定的权重系数w1、wx、w2，可得到蒸馏损失Kl作为知识蒸馏的目标函数。计算公式可以为：Kl＝w1*K1+wx*Kx+w2*K2。
如图2所示，通过蒸馏损失，在教师生成对抗网络与学生生成对抗网络之间建立了知识迁移的桥梁，从而使得学生生成网络可以通过所述蒸馏损失，在不需要优化教师生成对抗网络中的参数时，有效的学习教师生成对抗网络的基础知识。
在可能的实现方式中，通过固定教师生成对抗网络的参数学习教师生成网络的基础知识之前，可以使学生生成对抗网络中的鉴别器不参与训练，且教师生成对抗网络不更新参数，通过上述的蒸馏损失对学生生成对抗网络的生成器进行训练。由于学生生成对抗网络中的鉴别器不参与训练，且教师生成对抗网络不更新参数，因此，通过蒸馏损失进行训练速度较快，学生生成网络可以快速的优化生成器中的参数。
S103，根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，得到训练后的学生生成对抗网络。
在本申请实施例中，对学生生成对抗网络进行学习或训练时，所使用的参数可以包括蒸馏损失Kl、教师生成对抗网络的损失函数
(分别为教师生成对抗网络的生成器损失函数和鉴别器损失函数)；学生GAN中的损失函数
(分别为学生生成对抗网络的生成器的损失函数和鉴别器的损失函数)。在可能的实现方式中，可以将五个损失函数定义为集合L中的元素：
其中，参数α、β、μ、ν和λ∈{0,1}表示其对应的损失函数是否用于网络训练。
集合L中的元素可以根据以下规则组合为四个子集
从而得到四个不同的蒸馏结构。第一个规则是教师生成对抗网络GAN中的权重参数是否固定；第二个规则是蒸馏损失Kl是否与
共同参与学生GAN的训练。
即可以将蒸馏结构划分为：
1、教师生成对抗网络的权重参数固定、蒸馏损失与学生生成对抗网络的损失函数不共同参与学生生成对抗网络的训练。
2、教师生成对抗网络的权重参数固定、蒸馏损失与学生生成对抗网络的损失函数共同参与学生生成对抗网络的训练。
3、教师生成对抗网络的权重参数不固定、蒸馏损失与学生生成对抗网络的损失函数不共同参与学生生成对抗网络的训练。
4、教师生成对抗网络的权重参数不固定、蒸馏损失与学生生成对抗网络的损失函数共同参与学生生成对抗网络的训练。
具体的，如图3所示的蒸馏结构示意图中，本发明设计的蒸馏结构的可以包括：
蒸馏结构一(或简称为KDGAN-①)：
在不使用真实标签的情况下，学生网络的训练仅依赖于蒸馏损失Kl。由于学生GAN(中文全称为：生成对抗网络，英文全称为：Generative Adversarial Networks)中的鉴别器不参与训练，以及教师GAN不更新参数，因此其训练速度是最快的。
蒸馏结构二(或简称为KDGAN-②)：
通过最小化学生GAN中的损失函数
和蒸馏损失Kl来进行学生网络训练，而教师GAN未进行参数更新。学生GAN中的对抗网络参与训练导致其训练速度比KDGAN-①慢。
蒸馏结构三(或简称为KDGAN-③)：
预训练的教师GAN继续使用自己的损失函数
进行训练，而学生GAN的训练与KDGAN-①相同。该蒸馏结构的训练速度与KDGAN-②大致相同。
蒸馏结构四(或简称为KDGAN-④：
教师GAN和学生GAN的训练分别与KDGAN-③和KDGAN-②相同。该蒸馏结构中有两个对抗网络参与训练。
在S102中，可以通过蒸馏结构二，即KDGAN-②，由学生生成对抗网络学习教师生成对抗网络的基础知识。此时，教师生成对抗网络中的参数固定，学生生成对抗网络可以较快的学习得到教师生成对抗网络的基础知识。
在可能的实现方式中，在实施S102之前，还可以通过KDGAN-①，即通过单独的蒸馏损失学习教师生成对抗网络中的基础知识。
在S103中，通过教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，可以根据KDGAN-③或KDGAN-④继续训练教师生成对抗网络，并且对于学习了基础知识的学生生成对抗网络，可以根据知识蒸馏进行精细训练，从而能够进一步提高学生生成对抗网络的检测精度和稳定性。
在可能的实现方式中，可以根据KDGAN-③蒸馏结构，通过教师生成对抗网络的损失函数训练教师生成对抗网络，然后进一步通过训练后的教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对所述学生生成对抗网络进行训练。在此基础上，进一步根据KDGAN-④，继续对学生生成对抗网络进行训练。如图3所示，可以进一步通过教师生成对抗网络的损失函数训练教师生成对抗网络；以及进一步通过学生生成对抗网络的损失函数训练学生生成对抗网络；通过进一步训练后的教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对所述学生生成对抗网络进行训练。
在本申请实施例中，在执行103中的根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练之后，可以跳转至S102，重新学习教师生成对抗网络的基础知识。如此反复，直到学生生成对抗网络的性能符合预设的要求。比如，性能达到预定的性能阈值等。
S104，根据训练后的学生生成对抗网络处理待处理数据。
根据教师生成对抗网络所处理的数据，可以由学习训练后的学生生成对抗网络相应的处理对应的数据。比如，教师生成对抗网络可以对异常数据进行检测时，学生生成对抗网络则可以对待处理数据进行异常检测处理。教师生成对抗网络用于图像去雾、图像生成或超分辨率重构时，学习训练后的学生生成对抗网络则可以对相应的数据进行图像去雾、图像生成或超分辨率重构等处理。
通过本申请所示的数据处理方法，在MNIST和CIFAR-10数据集上验证了本申请基于编码器-解码器-编码器结构的学生生成对抗网络在异常检测任务上的性能。如图4所示，检测方法包括：OCSVM(英文全称为One-Class SVM，中文全称为单类支持向量机)、KDE(英文全称为Kernel Density Estimation，中文全称为核密度估计)、VAE(英文全称为Variational auto-encoder，中文全称为基于变分自编码器)、AND(英文全称为Latentspace autoregression fornovelty detection，中方全称为潜在空间自回归方法)、AnoGAN(英文全称为Unsupervised anomaly detection with generative adversarialnetworks to guide marker discovery，中文全称为基于GAN的无监督异常检测方法)、DSVDD(英文全称为Deep one-class classification，中文全称为基于深度支持向量的方法)、OCGAN(英文全称为One-class novelty detection using gans with constrainedlatent representations，中文全称为基于潜在空间约束的GAN)和本申请实施例所示的基于渐近式的知识蒸馏的异常检测方法。本申请所采用的数据处理方法在CIFAR-10数据集上的异常检测性能达到73.76％，比目前最好的OCGAN(基于生成对抗网络的一类新颖检测模型)高8％左右。在MNIST数据集上，本文方法的异常检测性能达到了97.80，比其它方法中的最佳方法OCGAN提高了0.3％。
另外，本申请所示的渐进式知识蒸馏方法，在CIFAR-10、MNIST和FMNIST数据集上同样表现了较佳的检测性。
另外，本申请实施例还提供了一种数据处理网络的训练方法，所述数据处理网络的训练方法包括：获取待训练的学生生成对抗网络，以及获取教师生成对抗网络；固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习；根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，得到用于数据处理的学生生成对抗网络。该方法与图1用于数据处理的网络基本相同。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图5为本申请实施例提供的一种数据处理装置的示意图，如图5所示，所述数据处理装置包括：
生成对抗网络获取单元501，用于获取待训练的学生生成对抗网络，以及获取教师生成对抗网络；
学生生成对抗网络学习单元502，用于固定生成对抗获取单元所获取的教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习；
学生生成对抗网络训练单元503，用于根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学生生成对抗网络学习单元所学习后的学生生成对抗网络进行训练，得到训练后的学生生成对抗网络；
数据处理单元504，用于根据学生生成对抗网络训练单元所训练后的学生生成对抗网络处理待处理数据。
图5所示的数据处理装置，与图1所示的数据处理方法对应。
图6是本申请一实施例提供的数据处理设备的示意图。如图6所示，该实施例的数据处理设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如数据处理程序。所述处理器60执行所述计算机程序62时实现上述各个数据处理方法实施例中的步骤。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述数据处理设备6中的执行过程。
所述数据处理设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述数据处理设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是数据处理设备6的示例，并不构成对数据处理设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述数据处理设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述数据处理设备6的内部存储单元，例如数据处理设备6的硬盘或内存。所述存储器61也可以是所述数据处理设备6的外部存储设备，例如所述数据处理设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述数据处理设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述数据处理设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，所述数据处理方法包括：
获取待训练的学生生成对抗网络，以及获取教师生成对抗网络；
固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习；
根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，得到训练后的学生生成对抗网络；
根据训练后的学生生成对抗网络处理待处理数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习，包括：
通过最小化学生生成对抗网络的损失函数，以及最小化蒸馏损失，对所述学生生成对抗网络进行学习，其中，所述蒸馏损失为教师生成网络通过知识蒸馏得到学生生成对抗网络时所产生的损失。
3.根据权利要求2所述的数据处理方法，其特征在于，在对所述学生生成对抗网络进行学习之前，所述方法还包括：
通过学生生成对抗网络和教师生成对抗网络的中间层的潜在向量之间的距离，以及学生生成对抗网络和教师生成对抗网络的重建图像之间的距离，确定所述蒸馏损失。
4.根据权利要求3所述的数据处理方法，其特征在于，所述通过学生生成对抗网络和教师生成对抗网络的中间层的潜在向量之间的距离，以及学生生成对抗网络和教师生成对抗网络的重建图像之间的距离，确定所述蒸馏损失，包括：
分别获取学生生成对抗网络和教师生成对抗网络的中间层的第一潜在向量和第二潜在向量，以及获取分别获取学生生成对抗网络和教师生成对抗网络的重建图像；
获取所述第一潜在向量之间的L2距离的第一距离值，以及第二潜在向量之间的L2距离的第二距离值；
根据所述重建图像之间的距离，确定重建图像之间的L1距离的第三距离值；
根据第一距离值、第二距离值、第三距离值及预设的权重系数，确定所述蒸馏损失。
5.根据权利要求1所述的数据处理方法，其特征在于，所述根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，包括：
通过教师生成对抗网络的损失函数训练教师生成对抗网络；
通过训练后的教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对所述学生生成对抗网络进行训练。
6.根据权利要求1所述的数据处理方法，其特征在于，所述根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，包括：
通过教师生成对抗网络的损失函数训练教师生成对抗网络；
通过学生生成对抗网络的损失函数训练学生生成对抗网络；
通过训练后的教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对所述学生生成对抗网络进行训练。
7.根据权利要求1-6任一项所述的数据处理方法，其特征在于，在对学习后的学生生成对抗网络进行训练之后，所述方法还包括：
固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行再次学习；
根据再次学习后的教师生成对抗网络的损失函数，以及再次学习后的教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，直到训练后的学生生成对抗网络的性能满足预设的性能要求。
8.一种数据处理装置，其特征在于，所述数据处理装置包括：
生成对抗网络获取单元，用于获取待训练的学生生成对抗网络，以及获取教师生成对抗网络；
学生生成对抗网络学习单元，用于固定所述教师生成对抗网络的参数，根据固定参数的教师生成对抗网络，指导所述学生生成对抗网络进行学习；
学生生成对抗网络训练单元，用于根据教师生成对抗网络的损失函数，以及教师生成对抗网络与学生生成对抗网络之间的蒸馏损失，对学习后的学生生成对抗网络进行训练，得到训练后的学生生成对抗网络；
数据处理单元，用于根据训练后的学生生成对抗网络处理待处理数据。
9.一种数据处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，以使得数据处理设备实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，以使得数据处理设备实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010680761.1A CN111967573A (zh) | 2020-07-15 | 2020-07-15 | 数据处理方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010680761.1A CN111967573A (zh) | 2020-07-15 | 2020-07-15 | 数据处理方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111967573A true CN111967573A (zh) | 2020-11-20 |
Family
ID=73360859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010680761.1A Pending CN111967573A (zh) | 2020-07-15 | 2020-07-15 | 数据处理方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967573A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801298A (zh) * | 2021-01-20 | 2021-05-14 | 北京百度网讯科技有限公司 | 异常样本检测方法、装置、设备和存储介质 |
| CN113160041A (zh) * | 2021-05-07 | 2021-07-23 | 深圳追一科技有限公司 | 一种模型训练方法及模型训练装置 |
| CN113449851A (zh) * | 2021-07-15 | 2021-09-28 | 北京字跳网络技术有限公司 | 数据处理方法及设备 |
| CN113570493A (zh) * | 2021-07-26 | 2021-10-29 | 京东数科海益信息科技有限公司 | 一种图像生成方法及装置 |
| WO2022120996A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 视觉位置识别方法及装置、计算机设备及可读存储介质 |
| WO2023115697A1 (zh) * | 2021-12-20 | 2023-06-29 | 深圳市中兴微电子技术有限公司 | 图像重建模型的训练方法、装置、存储介质及电子装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030233335A1 (en) * | 2002-06-17 | 2003-12-18 | Mims Aj | Student neural network |
| CN109711544A (zh) * | 2018-12-04 | 2019-05-03 | 北京市商汤科技开发有限公司 | 模型压缩的方法、装置、电子设备及计算机存储介质 |
| CN110059740A (zh) * | 2019-04-12 | 2019-07-26 | 杭州电子科技大学 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
| CN111091177A (zh) * | 2019-11-12 | 2020-05-01 | 腾讯科技（深圳）有限公司 | 一种模型压缩方法、装置、电子设备和存储介质 |
| CN111160533A (zh) * | 2019-12-31 | 2020-05-15 | 中山大学 | 一种基于跨分辨率知识蒸馏的神经网络加速方法 |
-
2020
- 2020-07-15 CN CN202010680761.1A patent/CN111967573A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030233335A1 (en) * | 2002-06-17 | 2003-12-18 | Mims Aj | Student neural network |
| CN109711544A (zh) * | 2018-12-04 | 2019-05-03 | 北京市商汤科技开发有限公司 | 模型压缩的方法、装置、电子设备及计算机存储介质 |
| CN110059740A (zh) * | 2019-04-12 | 2019-07-26 | 杭州电子科技大学 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
| CN111091177A (zh) * | 2019-11-12 | 2020-05-01 | 腾讯科技（深圳）有限公司 | 一种模型压缩方法、装置、电子设备和存储介质 |
| CN111160533A (zh) * | 2019-12-31 | 2020-05-15 | 中山大学 | 一种基于跨分辨率知识蒸馏的神经网络加速方法 |
Non-Patent Citations (2)
| Title |
|---|
| 潘海侠 等: "《深度学习工程师认证初级教程》", 31 May 2020, 北京航空航天大学出版社, pages: 128 - 131 * |
| 葛仕明 等: "基于深度特征蒸馏的人脸识别", 《北京交通大学学报》, vol. 41, no. 6, pages 27 - 33 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022120996A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 视觉位置识别方法及装置、计算机设备及可读存储介质 |
| CN112801298A (zh) * | 2021-01-20 | 2021-05-14 | 北京百度网讯科技有限公司 | 异常样本检测方法、装置、设备和存储介质 |
| CN112801298B (zh) * | 2021-01-20 | 2023-09-01 | 北京百度网讯科技有限公司 | 异常样本检测方法、装置、设备和存储介质 |
| CN113160041A (zh) * | 2021-05-07 | 2021-07-23 | 深圳追一科技有限公司 | 一种模型训练方法及模型训练装置 |
| CN113160041B (zh) * | 2021-05-07 | 2024-02-23 | 深圳追一科技有限公司 | 一种模型训练方法及模型训练装置 |
| CN113449851A (zh) * | 2021-07-15 | 2021-09-28 | 北京字跳网络技术有限公司 | 数据处理方法及设备 |
| WO2023284416A1 (zh) * | 2021-07-15 | 2023-01-19 | 北京字跳网络技术有限公司 | 数据处理方法及设备 |
| CN113570493A (zh) * | 2021-07-26 | 2021-10-29 | 京东数科海益信息科技有限公司 | 一种图像生成方法及装置 |
| WO2023115697A1 (zh) * | 2021-12-20 | 2023-06-29 | 深圳市中兴微电子技术有限公司 | 图像重建模型的训练方法、装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111967573A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
| CN109522942B (zh) | 一种图像分类方法、装置、终端设备和存储介质 | |
| CN110334742B (zh) | 一种用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法 | |
| CN110378235B (zh) | 一种模糊人脸图像识别方法、装置及终端设备 | |
| WO2021189364A1 (zh) | 一种对抗图像生成方法、装置、设备以及可读存储介质 | |
| US11514694B2 (en) | Teaching GAN (generative adversarial networks) to generate per-pixel annotation | |
| CN112396129B (zh) | 一种对抗样本检测方法及通用对抗攻击防御系统 | |
| Xia et al. | Fully dynamic inference with deep neural networks | |
| Singh et al. | Steganalysis of digital images using deep fractal network | |
| CN112329837B (zh) | 一种对抗样本检测方法、装置、电子设备及介质 | |
| CN113298152B (zh) | 模型训练方法、装置、终端设备及计算机可读存储介质 | |
| Che et al. | Adversarial attack against deep saliency models powered by non-redundant priors | |
| CN110751183A (zh) | 影像数据分类模型的生成方法、影像数据分类方法及装置 | |
| CN113705092B (zh) | 基于机器学习的疾病预测方法及装置 | |
| CN112633340B (zh) | 目标检测模型训练、检测方法、设备及存储介质 | |
| CN115934484B (zh) | 基于扩散模型数据增强的异常检测方法、存储介质及设备 | |
| CN111488950A (zh) | 分类模型信息输出方法及装置 | |
| US9336498B2 (en) | Method and apparatus for improving resilience in customized program learning network computational environments | |
| CN116232699A (zh) | 细粒度网络入侵检测模型的训练方法和网络入侵检测方法 | |
| CN113496228A (zh) | 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法 | |
| CN111723864A (zh) | 基于主动学习使用互联网图片进行对抗训练的方法及装置 | |
| CN115730300B (zh) | 基于混合式对抗元学习算法的程序安全模型构建方法 | |
| CN114782672B (zh) | 一种点云位姿调整方法及装置 | |
| CN112417447B (zh) | 一种恶意代码分类结果的精确度验证方法及装置 | |
| US20240037921A1 (en) | Information processing apparatus, information processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |