CN109831352B - 一种用于互联网检测中基于对抗生成网络的检测样本生成系统及方法 - Google Patents

Abstract

本发明涉及一种用于互联网检测中基于对抗生成网络的检测样本生成系统及方法，数据读取及初始化模块，用于从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签；并读取基线图片数据，基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；模型构建模块根据非常规数据集以及对应的控制条件因素的标签、基线图片数据构建生成器模型G和判别器模型D；模型训练模块对判别器D及生成器G进行训练最终得到对抗生成网络模型，对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器G，便能生成对应的图片；该生生成系统可以简易、快速地用于生成数据样本。

Description

一种用于互联网检测中基于对抗生成网络的检测样本生成系 统及方法

技术领域

本发明涉及互联网检测领域，更具体的涉及互联网检测领域中一种生成数据样本的系统及方法。

背景技术

随着人工智能领域机器学习技术的迅猛发展，互联网检测领域也取得了快速发展，在申请号为2019100433119，名称为一种用于互联网检测中基于神经网络的测量检测系统及办法，公布号为CN109829898A的中国专利中提到了利用神经网络预测模型的系统及方法。

该方法的弱点在于需要大量涵盖所有可能出现的情况的训练数据，数据的分布密集程度必须较强，在现实情况中，由于试纸的反应时间有限，采集数据往往具备比较高昂的成本，为了降低数据获取的难度和成本，特提出利用的对抗生成网络生成样本的形式来增强数据。

发明内容

为了解决现有技术中存在的问题，本发明由此提供了一种一种用于互联网检测中基于对抗生成网络的检测样本生成系统，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块和模型检验模块；

所述数据读取及初始化模块，用于从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签，每个控制条件因素称为一个域，每张图片在本控制条件因素的取值称为该图片的域标签值；并读取基线图片数据，所述基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；

所述模型构建模块根据所述控制条件因素的标签以及对应的控制条件因素的域标签值、基线图片数据构建生成器模型G和判别器模型D；

所述模型训练模块根据对抗生成网络模型的目标函数对判别器模型D及生成器模型G进行训练最终得到对抗生成网络模型，所述对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器G，便能生成对应的图片；

所述模型检验模块用于对模型的生成能力进行检验。

进一步的，所述基线数据指的是：在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、试纸上光校正单元的特征值和手机姿态进行试纸图片拍摄，每张试纸采集多次数据，对采集到的数据进行特征提取以计算出所对应的值作为基线数据。

进一步的，所述非常规应用场景数据集依据以下方法获得：采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式和相机曝光补偿模式，所获得的数据经过特征采集算法之后所获得的数据即为非常规应用场景数据集。

进一步的，所述模型构建模块采用如下方式构建对抗生成网络模型：

首先构建初始化模型，将对抗生成网络模型分成生成器模型G和判别器模型D 两个部分构成；

生成器模型G和判别器模型D的结构如下：

包括原始输入层、卷积层、池化层、卷积层、池化层和输出层，其中，卷积层进行特征提取，池化层进行特征压缩；生成器模型G输入基线图片数据和生成的图片在每个域的值，输出一条图片数据；判别器模型D输入一条图片数据，输出是否为真实拍摄图片和该图片在每个域的值；

设定判断图片是否真实的目标函数定义如下：

其中，G(x,c)为生成器模型G在给定输入图片x和域标签值c的情况下所生成的图片；Dsrc(x)为判别器模型D给出的x是否来自于原始数据的概率分布；E表示求期望；

设定判断真实图片域标签的目标函数定义如下：

其中，c’为输入图片x原始的域标签值；Dcls(c’|x)为判别器模型D给出的输入图片x来自于c’的概率分布；

设定判断生成的图片域标签的目标函数定义如下：

其中，c为生成图片x原始的域标签值；Dcls(c|x)为判别器模型D给出的生成图片x来自于c的概率分布；

为了保证生成的图片除改变了域标签之外，其它内容与输入图片相比并无改变，定义循环一致性目标函数如下：

汇总后判别器模型D与生成器模型G的目标函数定义如下：

其中，λ为权重值，用于控制子项函数的重要程度；

由此便可以得到所述对抗生成网络模型的目标函数。

进一步的，

所述模型训练模块根据判别器模型D与生成器模型G的目标函数对判别器模型 D及生成器模型G进行训练，基本训练流程如下：

1)使用原始图和真实域标签值初始化G；

2)使用G根据一批原始图和给定标签值生成一批生成图；

3)使用上一步中的原始图和生成图初始化D；

4)保持G不变，训练D，使L_D最小，即D能最准确地区分原始图和生成图；

5)保持D不变，训练G，使L_G最小，即G能生成最让D区分不出的图；

6)循环步骤4)和5)，直到两个模型达到纳什均衡状态；

进一步的，所述的判别器模型D与生成器模型G能够采取任意的层数和层连接结构。

本发明还提供了一种用于互联网检测中基于对抗生成网络的检测样本生成方法，其特征在于包括以下步骤：

初始化模型管理服务器端，确认数据管理服务器端开启；

利用数据读取及初始化模块从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签，每个控制条件因素称为一个域，每张图片在本控制条件因素的取值称为该图片的域标签值；读取基线图片数据，所述基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；

利用模型构建模块根据所述控制条件因素的标签以及对应的控制条件因素的域标签值、基线图片数据构建生成器模型G和判别器模型D；

利用模型训练模块根据判别器模型D与生成器模型G的目标函数对判别器模型 D及生成器模型G进行训练，最终得到对抗生成网络模型，所述对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器模型G，便能生成对应的图片；

利用模型检验模块用于对模型的生成能力进行检验。

进一步的，所述模型构建模块采用如下算法构建对抗生成网络模型：

首先构建初始化模型，将对抗生成网络模型分成生成器模型G和判别器模型D 两个部分构成；

生成器模型G和判别器D模型的结构如下：

包括原始输入层、卷积层、池化层、卷积层、池化层和输出层，其中，卷积层进行特征提取，池化层进行特征压缩；生成器模型G输入基线图片数据和生成的图片在每个域的值，输出一条图片数据；判别器模型D输入一条图片数据，输出是否为真实拍摄图片和该图片在每个域的值；

设定判断图片是否真实的目标函数定义如下：

其中，G(x,c)为生成器模型G在给定输入图片x和域标签值c的情况下所生成的图片；Dsrc(x)为判别器模型D给出的x是否来自于原始数据的概率分布；E表示求期望；

设定判断真实图片域标签的目标函数定义如下：

其中，c’为输入图片x原始的域标签值；Dcls(c’|x)为判别器模型D给出的输入图片x来自于c’的概率分布；

设定判断生成的图片域标签的目标函数定义如下：

其中，c为生成图片x原始的域标签值；Dcls(c|x)为判别器模型D给出的生成图片x来自于c的概率分布；

为了保证生成的图片除改变了域标签之外，其它内容与输入图片相比并无改变，定义循环一致性目标函数如下：

汇总后判别器模型D与生成器模型G的目标函数定义如下：

其中，λ为权重值，用于控制子项函数的重要程度；

由此便可以得到所述抗生成网络模型的目标函数。

进一步的，所述模型训练模块根据判别器模型D与生成器模型G的目标函数对判别器模型D与生成器模型G进行训练，基本训练流程如下：

1)使用原始图和真实域标签值初始化G；

2)使用G根据一批原始图和给定标签值生成一批生成图；

3)使用上一步中的原始图和生成图初始化D；

4)保持G不变，训练D，使L_D最小，即D能最准确地区分原始图和生成图；

5)保持D不变，训练G，使L_G最小，即G能生成最让D区分不出的图；

6)循环步骤4)和5)，直到两个模型达到纳什均衡状态；

进一步的，所述的判别器模型D与生成器模型G能够采取任意的层数和层连接结构。

本发明的有益效果为：

本发明能够高效、快速的生成所需的检测样本图片。

附图说明

当结合附图考虑时，参考下面的描述能够很好的理解本发明的结构、原理、工作特点和优点，但此处说明的附图用来对本发明的进一步解释，所附示意图只是为了更好的对本发明进行说明，并不对本发明构成不当限定，其中：

图1为本发明基于对抗生成网络的检测样本生成系统的结构示意图；

图2是本发明本发明基于对抗生成网络的检测样本生成方法的流程图。

具体实施方式

下面结合实例和附图对本发明作进一步的描述，应当指出的是，以下实施例仅仅为示意性的，其并非意图限制本发明。

本发明的一种用于互联网检测中基于对抗生成网络的检测样本生成系统，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；

数据读取及初始化模块，主要用于从数据管理系统读取及初始化数据，包括对数据的预处理，归一化等常规数据处理操作。模型构建模块：主要用于构建模型、配置模型的参数。模型训练模块：主要用于对模型进行训练，进行基本的验证。模型检验模块：主要用于对模型的预测能力进行检验。

在初始化模型管理服务器端，确认数据管理服务器端开启的步骤后，所述数据读取及初始化模块从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签。

其中，非常规数据集采用如下方式获得：采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式等，每个控制条件称为一个域，每张图片在本控制条件因素的取值称为该图片的域标签值。

获得基线图片数据，所述基线图片数据都是在严格控制条件因素下拍摄完成，可以认为它们在每个域的域标签值均为零。

所述基线数据指的是：在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、试纸上光校正单元的特征值、手机姿态等进行试纸图片拍摄，采集在每个控制条件因素下的特征值作为基线数据。所述特征可以是图片的RGB、 HARR,HOG,SIFT,LBP等值。所述特征提取的方法，可以利用现有技术进行。该基线数据的值即为训练数据的样本的真值，也就是标签值。即每张试纸，最终对应一个标签值。

所述模型构建模块采用如下方式构建生成模型。

首先初始化模型，对抗生成网络模型由生成器模型G和判别器模型D两个部分构成。

生成器G模型和判别器D模型的结构如下：

原始输入层→卷积层→池化层→卷积层→池化层→输出层

其中，卷积层进行特征提取，池化层进行特征压缩；生成器G模型输入基线图片数据和生成的图片在每个域的值，输出一条图片数据；判别器D模型输入一条图片数据，输出是否为真实拍摄图片和该图片在每个域的值。

一般，判断图片是否真实的目标函数定义如下：

其中，G(x,c)为生成器G在给定输入图片x和域标签值c的情况下所生成的图片；Dsrc(x)为判别器D给出的x是否来自于原始数据的概率分布；E表示求期望。

判断真实图片域标签的目标函数定义如下：

其中，c’为输入图片x原始的域标签值；Dcls(c’|x)为判别器D给出的输入图片x来自于c’的概率分布。

判断生成的图片域标签的目标函数定义如下：

式中符号的定义与上述公式的说明所描述的相同。

为了保证生成的图片除改变了域标签之外，其它内容与输入图片相比并无改变，定义循环一致性目标函数如下：

该公式主要目标是使用生成器G将原始图x先转成某域标签c下的生成图，再将该生成图和其原始图对应的标签c’再转换出第二张生成的图，然后计算第二张生成图与原始图之间的差异。

汇总后判别器D与生成器G的目标函数定义如下：

其中，λ为权重值，用于控制子项函数的重要程度。

所述模型训练模块根据上述公式对判别器D及生成器G进行训练。基本训练流程如下：

1.使用原始图和真实域标签值初始化G。

2.使用G根据一批原始图和给定标签值生成一批生成图。

3.使用上一步中的原始图和生成图初始化D。

4.保持G不变，训练D，使L_D最小，即D能最准确地区分原始图和生成图。

5.保持D不变，训练G，使L_G最小，即G能生成最让D区分不出的图。

6.循环4、5，直到两个模型达到纳什均衡状态。

7.需要主要的是本发明中所述的模型可以采取任意的层数和层连接结构。

8.对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器G，便可以生成对应的图片。

9.生成的图片可以用来训练申请号为2019100433119，名称为一种用于互联网检测中基于神经网络的测量检测系统及办法，公布号为CN109829898A的中国专利中所述的模型。

尽管已经结合实施例对本发明进行了详细地描述，但是本领域技术人员应当理解地是，本发明并非仅限于特定实施例，相反，在没有超出本申请精神和实质的各种修正，变形和替换都落入到本申请的保护范围之中。

Claims (10)

1.一种用于互联网检测中基于对抗生成网络的检测样本生成系统，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块和模型检验模块；

所述数据读取及初始化模块，用于从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签，每个控制条件因素称为一个域，每张图片在本控制条件因素的取值称为该图片的域标签值；并读取基线图片数据，所述基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；

所述模型构建模块根据所述控制条件因素的标签以及对应的控制条件因素的域标签值、基线图片数据构建生成器模型G和判别器模型D；

所述模型训练模块根据对抗生成网络模型的目标函数对判别器模型D及生成器模型G进行训练最终得到对抗生成网络模型，所述对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器G，便能生成对应的图片；

所述模型检验模块用于对模型的生成能力进行检验。

2.根据权利要求1所述的用于互联网检测中基于对抗生成网络的检测样本生成系统，其特征在于：所述基线数据指的是：在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、试纸上光校正单元的特征值和手机姿态进行试纸图片拍摄，每张试纸采集多次数据，对采集到的数据进行特征提取以计算出所对应的值作为基线数据。

3.根据权利要求1所述的用于互联网检测中基于对抗生成网络的检测样本生成系统，其特征在于，所述非常规应用场景数据集依据以下方法获得：采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式和相机曝光补偿模式，所获得的数据经过特征采集算法之后所获得的数据即为非常规应用场景数据集。

4.根据权利要求1所述的用于互联网检测中基于对抗生成网络的检测样本生成系统，其特征在于，所述模型构建模块采用如下方式构建对抗生成网络模型：

首先构建初始化模型，将对抗生成网络模型分成生成器模型G和判别器模型D两个部分构成；

生成器模型G和判别器模型D的结构如下：

包括原始输入层、卷积层、池化层、卷积层、池化层和输出层，其中，卷积层进行特征提取，池化层进行特征压缩；生成器模型G输入基线图片数据和生成的图片在每个域的值，输出一条图片数据；判别器模型D输入一条图片数据，输出是否为真实拍摄图片和该图片在每个域的值；

设定判断图片是否真实的目标函数定义如下：

其中，G(x,c)为生成器模型G在给定输入图片x和域标签值c的情况下所生成的图片；Dsrc(x)为判别器模型D给出的x是否来自于原始数据的概率分布；E表示求期望；

设定判断真实图片域标签的目标函数定义如下：

其中，c’为输入图片x原始的域标签值；Dcls(c’|x)为判别器模型D给出的输入图片x来自于c’的概率分布；

设定判断生成的图片域标签的目标函数定义如下：

其中，c为生成图片x原始的域标签值；Dcls(c|x)为判别器模型D给出的生成图片x来自于c的概率分布；

为了保证生成的图片除改变了域标签之外，其它内容与输入图片相比并无改变，定义循环一致性目标函数如下：

汇总后判别器模型D与生成器模型G的目标函数定义如下：

其中，λ为权重值，用于控制子项函数的重要程度；

由此便可以得到所述对抗生成网络模型的目标函数。

5.根据权利要求4所述的用于互联网检测中基于对抗生成网络的检测样本生成系统，其特征在于，所述模型训练模块根据判别器模型D与生成器模型G的目标函数对判别器模型D及生成器模型G进行训练，基本训练流程如下：

1)使用原始图和真实域标签值初始化G；

2)使用G根据一批原始图和给定标签值生成一批生成图；

3)使用上一步中的原始图和生成图初始化D；

4)保持G不变，训练D，使L_D最小，即D能最准确地区分原始图和生成图；

5)保持D不变，训练G，使L_G最小，即G能生成最让D区分不出的图；

6)循环步骤4)和5)，直到两个模型达到纳什均衡状态。

6.根据权利要求5所述的用于互联网检测中基于对抗生成网络的检测样本生成系统，其特征在于，所述的判别器模型D与生成器模型G能够采取任意的层数和层连接结构。

7.一种用于互联网检测中基于对抗生成网络的检测样本生成方法，其特征在于包括以下步骤：

初始化模型管理服务器端，确认数据管理服务器端开启；

利用数据读取及初始化模块从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签，每个控制条件因素称为一个域，每张图片在本控制条件因素的取值称为该图片的域标签值；读取基线图片数据，所述基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；

利用模型构建模块根据所述控制条件因素的标签以及对应的控制条件因素的域标签值、基线图片数据构建生成器模型G和判别器模型D；

利用模型训练模块根据判别器模型D与生成器模型G的目标函数对判别器模型D及生成器模型G进行训练，最终得到对抗生成网络模型，所述对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器G，便能生成对应的图片；

利用模型检验模块用于对模型的生成能力进行检验。

8.根据权利要求7所述的用于互联网检测中基于对抗生成网络的检测样本生成方法，其特征在于，所述模型构建模块采用如下算法构建对抗生成网络模型：

首先构建初始化模型，将对抗生成网络模型分成生成器模型G和判别器模型D两个部分构成；

生成器模型G和判别器D模型的结构如下：

包括原始输入层、卷积层、池化层、卷积层、池化层和输出层，其中，卷积层进行特征提取，池化层进行特征压缩；生成器模型G输入基线图片数据和生成的图片在每个域的值，输出一条图片数据；判别器模型D输入一条图片数据，输出是否为真实拍摄图片和该图片在每个域的值；

设定判断图片是否真实的目标函数定义如下：

其中，G(x,c)为生成器模型G在给定输入图片x和域标签值c的情况下所生成的图片；Dsrc(x)为判别器模型D给出的x是否来自于原始数据的概率分布；E表示求期望；

设定判断真实图片域标签的目标函数定义如下：

其中，c’为输入图片x原始的域标签值；Dcls(c’|x)为判别器模型D给出的输入图片x来自于c’的概率分布；

设定判断生成的图片域标签的目标函数定义如下：

其中，c为生成图片x原始的域标签值；Dcls(c|x)为判别器模型D给出的生成图片x来自于c的概率分布；

为了保证生成的图片除改变了域标签之外，其它内容与输入图片相比并无改变，定义循环一致性目标函数如下：

汇总后判别器模型D与生成器模型G的目标函数定义如下：

其中，λ为权重值，用于控制子项函数的重要程度；

由此便可以得到所述抗生成网络模型的目标函数。

9.根据权利要求8所述的用于互联网检测中基于对抗生成网络的检测样本生成方法，其特征在于，所述模型训练模块根据判别器模型D与生成器模型G的目标函数对判别器模型D与生成器模型G进行训练，基本训练流程如下：

1)使用原始图和真实域标签值初始化G；

2)使用G根据一批原始图和给定标签值生成一批生成图；

3)使用上一步中的原始图和生成图初始化D；

4)保持G不变，训练D，使L_D最小，即D能最准确地区分原始图和生成图；

5)保持D不变，训练G，使L_G最小，即G能生成最让D区分不出的图；

6)循环步骤4)和5)，直到两个模型达到纳什均衡状态。

10.根据权利要求9所述的用于互联网检测中基于对抗生成网络的检测样本生成方法，其特征在于，所述的判别器模型D与生成器模型G能够采取任意的层数和层连接结构。

Images