CN109583497A - 一种对抗生成网络智能判断的数据质量规则自动生成方法及系统 - Google Patents

Abstract

一种对抗生成网络智能判断的数据质量规则自动生成方法及系统，包括：人工提取合法数据，形成对抗学习的正样本；通过第一神经网络构建数据发生器，通过第二神经网络构建数据判别器；使用数据发生器产生假数据，形成对抗学习的负样本；将正、负样本作为训练样本数据发送到数据判别器，对数据判别器进行训练；重复直到数据判别器对所有训练样本的判断正确；将所有负样本发送到数据判别器，并将所有负样本的损失函数值传递反馈给数据发生器，数据发生器将损失值做反向传播，修正形成负样本的过程中的操作步骤的参数；数据发生器更新第一神经网络参数后，重复直至数据判别器和数据发生器的损失函数值收敛。

Description

一种对抗生成网络智能判断的数据质量规则自动生成方法及 系统

技术领域

本发明属于人工智能以及大数据技术领域，特别涉及一种对抗生成网络智能判断的数据质量规则自动生成方法及系统。

背景技术

数据质量是影响数据资产价值，阻碍数据支撑业务应用的主要障碍之一。随着数据种类增多，数据量增大，如何针对种类繁多、结构各异的大量数据进行数据质量检测成为数据治理的主要问题。

传统的数据质量检测采用人工审计来发现错误数据，不仅效率低下，而且容易遗漏和重复。现有技术中，开始采用基于规则的出错数据标注，但规则仍是人工填写，由于数据种类繁多，人工填写复杂，而且有些数据如图片、音频等的数据质量无法通过人工设置规则来进行检测。

发明内容

本发明实施例提供一种对抗生成网络智能判断的数据质量规则自动生成方法及系统，用以解决对各种类型的大量数据进行质量检测的难题。

本发明实施例之一，一种对抗生成网络智能判断的数据质量规则自动生成系统，系统包括数据发生器和数据判别器，具体步骤包括：

步骤1，选择需要进行数据质量智能判断的表字段，人工提取合法数据，形成对抗学习的正样本；

步骤2，通过第一神经网络构建数据发生器，数据发生器网络的各参数随机，通过第二神经网络构建数据判别器，数据判别器网络的各参数随机；

步骤3，使用数据发生器产生假数据，形成对抗学习的负样本；

步骤4，将正、负样本作为训练样本数据发送到数据判别器，对数据判别器进行训练；

步骤5，重复步骤4直到数据判别器对所有训练样本的判断正确；

步骤6，将所有负样本发送到数据判别器，并将所有负样本的损失函数值传递反馈给数据发生器，数据发生器将损失值做反向传播，修正步骤3形成负样本的过程中的操作步骤的参数；

步骤7，数据发生器更新第一神经网络参数后，重复执行步骤3至步骤6，直至数据判别器和数据发生器的损失函数值收敛；

步骤8，将待检测数据送入数据判别器，由数据判别器对数据合法性进行智能判断；

步骤9，人工确认数据判别器的判断结果，对错误数据进行校正；

步骤10，将人工校正过的数据加入训练数据集，重复步骤3至步骤7，提高系统的识别正确率。

本发明的有益效果包括：

1，极大减少人工输入，降低了人工成本，并规避了人工操作可能带来的错误；

2，可以针对视频、音频和图片等非结构化数据进行质量检测，扩大了质量检测覆盖的数据类型的范围；

3，由于是自动化检查，使数据质量检查速度大大提高。

因此，本发明降低了数据质量检测成本，扩大了数据质量检测范围，极大提高发现数据质量问题的效率，为改进数据质量和提升数据资产价值提供有力指导。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1本发明实施例中数据质量检测规则生成方法流程示意图。

具体实施方式

根据一个或者多个实施例，如图1所示。一种对抗生成网络智能判断的数据质量规则自动生成方法包括，

步骤1：选择需要进行数据质量智能判断的表字段，人工提部分合法数据，形成对抗学习的正样本。对于每一种质量规则，都需要人工手动提取部分有代表性的合法数据，以便于机器分析为什么这些数据合法而其他数据不合法，从而找出不合法的数据；

步骤2：通过神经网络构建数据发生器，发生器网络的各参数随机；通过另一神经网络构建数据质量判别器，判别器网络的各参数随机；

步骤3：使用数据发生器产生假数据，形成对抗学习的负样本；

步骤4：将步骤1和步骤2所产生的正负样本作为训练样本数据发送到数据判别器，对判别器进行训练；

步骤5：重复步骤4直到判别器对所有训练样本的判断正确；

步骤6：将所有负样本发送到判别器，并将所有负样本的损失函数值传递反馈给发生器，发生器将损失值做反向传播，修正步骤3中每一个操作步骤的参数；

步骤7：发生器更新网络参数后，重复执行步骤3至步骤6，直至判别器和发生器的损失函数值收敛；

步骤8：将待检查数据送入判别器，由判别器对数据合法性进行智能判断；

步骤9：人工确认判别器的判断结果，对错误数据进行校正；

步骤10：将人工校正过的数据加入训练数据集，重复步骤3至步骤7，提高所生成质量检测规则对非法数据识别的正确率，原理是通过增加合法数据样本。前述提到手动选择少量合法数据，在实践中，手动选择的合法数据可能会有样本偏差，导致某些特征没有体现在所选的合法数据中。这样会导致一些合法数据被误判为非法，解决方法就是讲这些误判的数据添加到之前所说的合法数据中，使得机器能够学习他们的特征，并减少以后的误判。

本实施例的数据质量检测规则生成方法，是基于生成对抗网络的。生成对抗网络通过设置两个神经网络，一个产生非法数据、一个判别非法数据，产生非法数据的网络尽可能欺骗判别非法数据的网络，而判别非法数据的网络尽可能正确的鉴别非法数据，采用对抗学习的方式，使得只需要极少量合法数据就可以实现非法数据鉴别最大化。

根据一个或者多个实施例，如图1所示。一种对抗生成网络智能判断的数据质量规则自动生成方法中，使用数据发生器产生假数据，形成对抗学习的负样本；具体方法为：

步骤3.1：采用伪随机数发生器生成一组随机数；

步骤3.2：对随机数使用多次卷积操作，卷积操作的次数应等于随机数组的长度，以便每一个随机数的影响力都可以弥散到数组中其他各数；

步骤3.3：使用升采样(upsampling)手段将一维数组升维到目标数据的维度要求；

步骤3.4：将数据归一化处理，确保所有数据范围在0至255之间；

步骤3.5：将数据取整后，以字节流的形式输出，该字节流即未经编码的负样本。

根据一个或者多个实施例，如图1所示。一种对抗生成网络智能判断的数据质量规则自动生成方法中，将所产生的正、负样本作为训练样本数据发送到数据判别器，对判别器进行训练，具体方法为：

步骤4.1：判断正样本内容是否有编码，如果有，则先对正样本内容进行解码从而得到字节流；

步骤4.2：将样本进行多次卷积操作，卷积操作的次数与数据发生器中进行的卷积操作次数相同；

步骤4.3：通过最大池化的手段对样本进行降采样处理，并使用线性整流函数作为激活函数；

步骤4.3：对样本进行全连接操作，输出一个二维数对，并通过softmax计算得到该样本的预测值，softmax可以叫做“最大似然估计函数”；

步骤4.4：预测值与真值比对，并将结果通过神经网络反向传播算法传递，更新判别器中每一个操作步骤的参数。

值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (4)

1.一种对抗生成网络智能判断的数据质量规则自动生成方法，其特征在于，包括以下步骤：

步骤1，人工提取合法数据，形成对抗学习的正样本；

步骤2，通过第一神经网络构建数据发生器，数据发生器网络的各参数随机，通过第二神经网络构建数据判别器，数据判别器网络的各参数随机；

步骤3，使用数据发生器产生假数据，形成对抗学习的负样本；

步骤4，将正、负样本作为训练样本数据发送到数据判别器，对数据判别器进行训练；

步骤5，重复步骤4直到数据判别器对所有训练样本的判断正确；

步骤6，将所有负样本发送到数据判别器，并将所有负样本的损失函数值传递反馈给数据发生器，数据发生器将损失值做反向传播，修正步骤3形成负样本的过程中的操作步骤的参数；

步骤7，数据发生器更新第一神经网络参数后，重复执行步骤3至步骤6，直至数据判别器和数据发生器的损失函数值收敛；

步骤8，将待检测数据送入数据判别器，由数据判别器对数据合法性进行智能判断；

步骤9，人工确认数据判别器的判断结果，对错误数据进行校正；

步骤10，将人工校正过的数据加入训练数据集，重复步骤3至步骤7，提高所生成质量检测规则对非法数据识别的正确率。

2.根据权利要求1所述的对抗生成网络智能判断的数据质量规则自动生成方法，其特征在于，步骤3的具体过程包括：

步骤3.1，采用伪随机数发生器生成一组随机数；

步骤3.2，对随机数使用多次卷积操作，卷积操作的次数应等于随机数组的长度，以便每一个随机数的影响力都可以弥散到数组中其他各数；

步骤3.3，使用升采样手段将一维数组升维到目标数据的维度要求；

步骤3.4，将数据归一化处理，确保所有数据范围在0至255之间；

步骤3.5，将数据取整后，以字节流的形式输出，该字节流即未经编码的负样本。

3.根据权利要求2所述的对抗生成网络智能判断的数据质量规则自动生成方法，其特征在于，步骤4的具体过程包括：

步骤4.1，判断正样本内容是否有编码，如果有，则先对正样本内容进行解码从而得到字节流；

步骤4.2，将样本进行多次卷积操作，卷积操作的次数与数据发生器中进行的卷积操作次数相同；

步骤4.3，通过最大池化的手段对样本进行降采样处理，并使用线性整流函数作为激活函数；

步骤4.3，对样本进行全连接操作，输出一个二维数对，并通过最大似然估计函数softmax计算得到该样本的预测值；

步骤4.4，预测值与真值比对，并将结果通过神经网络反向传播算法传递，更新数据判别器中每一个操作步骤的参数。

4.一种对抗生成网络智能判断的数据质量规则自动生成系统，其特征在于，该系统包括数据发生器和数据判别器，包括以下步骤：

步骤1，人工提取合法数据，形成对抗学习的正样本；

步骤2，通过第一神经网络构建数据发生器，数据发生器网络的各参数随机，通过第二神经网络构建数据判别器，数据判别器网络的各参数随机；

步骤3，使用数据发生器产生假数据，形成对抗学习的负样本，具体过程包括：

步骤3.1，采用伪随机数发生器生成一组随机数；

步骤3.2，对随机数使用多次卷积操作，卷积操作的次数应等于随机数组的长度，以便每一个随机数的影响力都可以弥散到数组中其他各数；

步骤3.3，使用升采样手段将一维数组升维到目标数据的维度要求；

步骤3.4，将数据归一化处理，确保所有数据范围在0至255之间；

步骤3.5，将数据取整后，以字节流的形式输出，该字节流即未经编码的负样本，

步骤4，将正、负样本作为训练样本数据发送到数据判别器，对数据判别器进行训练，具体过程包括：

步骤4.1，判断正样本内容是否有编码，如果有，则先对正样本内容进行解码从而得到字节流；

步骤4.2，将样本进行多次卷积操作，卷积操作的次数与数据发生器中进行的卷积操作次数相同；

步骤4.3，通过最大池化的手段对样本进行降采样处理，并使用线性整流函数作为激活函数；

步骤4.3，对样本进行全连接操作，输出一个二维数对，并通过最大似然估计函数softmax计算得到该样本的预测值；

步骤4.4，预测值与真值比对，并将结果通过神经网络反向传播算法传递，更新数据判别器中每一个操作步骤的参数，

步骤5，重复步骤4直到数据判别器对所有训练样本的判断正确；

步骤6，将所有负样本发送到数据判别器，并将所有负样本的损失函数值传递反馈给数据发生器，数据发生器将损失值做反向传播，修正步骤3形成负样本的过程中的操作步骤的参数；

步骤7，数据发生器更新第一神经网络参数后，重复执行步骤3至步骤6，直至数据判别器和数据发生器的损失函数值收敛；

步骤8，将待检测数据送入数据判别器，由数据判别器对数据合法性进行智能判断；

步骤9，人工确认数据判别器的判断结果，对错误数据进行校正；

步骤10，将人工校正过的数据加入训练数据集，重复步骤3至步骤7，提高所生成质量检测规则对非法数据识别的正确率。