CN109886923B - 一种用于互联网检测中基于机器学习的测量检测系统及办法 - Google Patents

Abstract

本发明涉及一种用于互联网检测中基于机器学习的测量检测系统及方法，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；其中所述数据读取及初始化模块用于从数据管理服务器读取及初始化数据，同时对数据进行预处理、归一化；所述模型构建模块用于构建模型、配置模型的参数，用于对机器学习的结果进行预测；所述模型训练模块，用于根据所构建的模型利用所述训练集T1或T2进行训练直到对应的验证集V1、V2的预测值的准确性不再提高；所述模型检验模块，用于对模型的预测能力进行检验。本发明的测量检测系统能够快速识别检测出的数据。

Description

一种用于互联网检测中基于机器学习的测量检测系统及办法

技术领域

本发明涉互联网检测领域，更具体的涉及互联网检测领域中一种基于机器学习的测量检测系统及方法。

背景技术

随着人工智能领域机器学习技术的迅猛发展，互联网检测领域也取得了快速发展，例如在申请人的另一个专利《一种用互联网检测领域中快速采集数据的方法》中提到了一种数据采集的系统和方法。

对于数据的采集和分析，传统方法常采用线性或简单的非线性的方式来拟合数据曲线以得到模型。这种方法常常需要人工进行数据处理，确定许多预制参数，过程繁复且经常不能取得预期的效果。

发明内容

为了解决现有技术中存在的问题，本发明由此提供了一种基于机器学习的得到预测模型的系统及方法。

具体而言，本发明提供一种用于互联网检测中基于机器学习的测量检测系统，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；

其中所述数据读取及初始化模块用于从数据管理服务器读取及初始化数据，同时对数据进行预处理、归一化；用于将从数据管理服务器读取的基线数据的经过特征采集算法之后的值作为训练数据的样本的真值，也就是标签值；将常规应用场景中拍摄的每一条数据经过特征采集算法之后所获得的数据作为常规应用场景数据集A1，将所述常规应用场景数据集A1划分为两部分，即随机从A1中抽取一部分数据作为训练集T1，剩下的数据作为验证集V1；用于将非常规场景应用所采集的数据经过特征采集算法之后所获得的数据，作为非常规应用场景数据集A2；将所述常规应用场景数据集A2划分为两部分，即随机从A2中抽取一部分数据作为训练集T2，剩下的数据作为验证集V2；

所述模型构建模块用于构建模型、配置模型的参数，用于对机器学习的结果进行预测；所述模型构建模块进行初始化模型后，利用所述多个样本的标签值、训练集数据生成多个基模型，同时后面的基模型是由基于前面学习的模型的效果生成，预测结果是多个基模型的线性组合；

所述模型训练模块，用于根据所构建的模型利用所述训练集T1或T2进行训练直到对应的验证集V1、V2的预测值的准确性不再提高；对任意一张用于检测的图片或者数据，首先利用数据中存在的二维码及图像校正单元判断它属于A1数据集还是A2数据集，再利用对应的模型进行结果预测；

所述模型检验模块，用于对模型的预测能力进行检验；对任意批次生产的样本，从数据管理服务器中读取该批次样本采集到的标准值；利用所述模型训练模块预测的值与该批次样本的标准值进行比较得到最终的结果。

进一步的，所述基线数据指的是：在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、样本上光校正单元的特征值、手机姿态进行样本图片拍摄，每张样本采集多次数据，对采集到的数据进行特征提取以计算出所对应的值作为基线数据。

进一步的，所述常规应用场景数据集A1依据以下方法获得：在数据采集时无需固定各种控制条件因素，只需要各因素符合常规场景应用的定义，即可进行拍照，即在这种情况下，可以任意拍摄图片，所获得的数据经过特征采集算法之后所获得的数据即为常规应用场景数据集A1。

进一步的，所述非常规应用场景数据集A2依据以下方法获得：采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式，所获得的数据经过特征采集算法之后所获得的数据即为非常规应用场景数据集A2。

进一步的，模型构建模块通过以下算法构建预测模型，

首先构建始化模型：

其中n为训练集大小，n为大于1的自然数；y_i为第i个样本标签值，L为损失函数；γ为使L最小的值；F₀(x)为初始化模型函数；

其次迭代生成M个基于回归树模型的基模型，包括以下步骤：

(1)计算残差：

其中，r_im为第m次迭代中第i个样本的残差；yi是第i个样本的标签值；F(xi)是第i个样本在第m-1次迭代中的值，F(x)为样本的模型函数，F_m-1(x)为第m-1次迭代的模型函数；X_i是样本特征值；

(2)利用样本的特征值和该特征在当次迭代中的残差组成的集合

生成该次迭代的基模型h_m(x)，即h_m(x_i)＝r_im；

(3)计算最优的系数γ_m：

最后更新模型，得到更新后的模型函数F_m(x)＝F_m-1(x)+γ_mh_m(x)。

进一步的，所述模型训练模块，用于对模型进行训练，进行基本的验证，即利用训练集数据T1进行训练迭代直至验证集V1上的预测值的准确性不再提升或者利用训练集数据T2进行训练迭代直至验证集V2上的预测值的准确性不再提升。

此外，本发明提供了一种用于互联网检测中基于机器学习的测量检测方法，包括以下步骤：

初始化构建模型管理服务器端，确认数据管理服务器开启；

利用构建数据读取及初始化模块从数据管理服务器读取及初始化数据；其中，利用构建数据读取及初始化模块读取基线数据、常规应用场景数据集A1、非常规应用场景数据集A2；将所述常规应用场景数据集A1划分为两部分，即随机从A1中抽取一部分数据作为训练集T1，剩下的数据作为验证集V1；将所述非常规应用场景数据集A2划分为两部分，即随机从A2中抽取一部分数据作为训练集T2，剩下的数据作为验证集V2；

利用模型构建模块根据所述基线数据、常规应用场景数据集A1、非常规应用场景数据集A2构建预测模型、并配置模型的参数，从而对机器学习的结果进行预测；所述模型构建模块进行初始化模型后，利用所述基线数据、常规应用场景数据集A1、非常规应用场景数据集A2生成多个基模型，使得后面的基模型是由基于前面学习的模型的效果生成，预测结果是多个基模型的线性组合；

利用模型训练模块根据所构建的模型对所述常规应用场景数据集A1的训练集T1以及非常规应用场景数据集A2的训练集T2进行训练直到对应的验证集V1、V2的准确性不再提升；对任意一张用于检测的图片或者数据，首先利用数据中存在的二维码及图像校正单元判断它属于A1数据集还是A2数据集，再利用对应的模型进行结果预测；

利用模型检验模块对模型的预测能力进行检验；对任意批次生产的样本，从数据管理服务器中读取该批次样本采集到的标准值；利用所述模型训练模块预测的值与该批次样本的标准值进行比较得到最终的结果。

进一步的，模型构建模块通过以下算法构建预测模型，

首先构建始化模型：

其中n为训练集大小，n为大于1的自然数；y_i为第i个样本标签值，L为损失函数；γ为使L最小的值；F₀(x)为初始化模型函数；

其次迭代生成M个基于回归树模型的基模型，包括以下步骤：

(1)计算残差：

其中，r_im为第m次迭代中第i个样本的残差；yi是第i个样本的标签值；F(xi)是第i个样本在第m-1次迭代中的值，F(x)为样本的模型函数，F_m-1(x)为第m-1次迭代的模型函数；X_i是样本特征值；

(2)利用样本的特征值和该特征在当次迭代中的残差组成的集合

生成该次迭代的基模型h_m(x)，即h_m(x_i)＝r_im；

(3)计算最优的系数γ_m：

最后更新模型，得到更新后的模型函数F_m(x)＝F_m-1(x)+γ_mh_m(x)

本发明的有益效果为：

1.利用机器学习，可降低对人工处理数据的依赖。

2.通过机器学习，可得到复杂的拟合数据的模型，提高模型的准确性。

附图说明

当结合附图考虑时，参考下面的描述能够很好的理解本发明的结构、原理、工作特点和优点，但此处说明的附图用来对本发明的进一步解释，所附示意图只是为了更好的对本发明进行说明，并不对本发明构成不当限定。

图1是本发明的检测系统的结构示意图；

图2是本发明的检测方法的流程图。

具体实施方式

下面结合实例和附图对本发明作进一步的描述，应当指出的是，以下实施例仅为示意性的，其并非意图限制本发明。

本发明的用于互联网检测中基于机器学习的测量检测系统，包括模型管理服务器端，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块。

其中所述数据读取及初始化模块：用于从数据管理服务器读取及初始化数据，同时对数据进行预处理、归一化等数据处理操作。所述数据管理服务器中存储了大量图片数据。

具体而言，在初始化模型管理服务器端，确认数据管理服务器开启的步骤S1后，所述数据读取及初始化模块执行以下步骤：

S2、从数据管理服务器读取数据，将基线数据的、经过特征采集算法之后的值作为训练数据的样本的真值，也就是标签值。

所述基线数据指的是：在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、试纸上光校正单元的特征值、手机姿态等进行试纸图片拍摄，每张试纸采集例如5-10次数据，采集多张试纸，对采集到的数据进行特征提取以计算出所对应的值作为基线数据，此时可以取多次采集数据的平均值作为基线数据。所述特征可以是图片的RGB、HARR,HOG,SIFT,LBP等值。所述特征提取的方法，可以利用现有技术进行。该基线数据的值即为训练数据的样本的真值，也就是标签值。即每张试纸，最终对应一个标签值。

将常规应用场景中拍摄的每一条数据作为样本的特征。所述常规应用场景中拍摄的每一条数据依据以下方法获得：对于同一张试纸，在数据采集时无需固定各种控制条件因素，只需要各因素符合常规场景应用的定义，即可进行拍照，即在这种情况下，可以任意拍摄图片，每张试纸分别采集多次，所获得的数据经过特征采集算法之后，再进行例如取平均值算法最终所获得的数据，作为常规应用场景中拍摄的数据，最终每张试纸对应获得一个常规应用场景数据。采集多张试纸，得到常规应用场景数据集A1。

进行非常规场景应用数据采集，采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式等。所获得的数据经过特征采集算法之后所获得的数据，每张试纸分别采集多次，所获得的数据经过特征采集算法之后，再进行例如取平均值算法最终所获得的数据作为非常规应用场景中拍摄的数据。采集多张试纸，得到非常规应用场景数据集A2。

S3、将上述常规应用场景数据集A1划分为两部分，即随机从A1中抽取75％数据作为训练集T1，剩下的25％数据作为验证集V1。

所述模型构建模块用于构建模型、配置模型的参数。

具体而言，所述模型构建模块进行如下步骤：

S4、初始化模型，模型构建采用梯度提升思想，首先生成多个基模型，预测结果是多个基模型的线性组合，同时后面的基模型是由基于前面学习的模型的效果生成。

即首先初构建始化模型：

其中n为训练集大小，n为大于1的自然数；y_i为第i个样本标签值，L为损失函数；γ为使L最小的值；F₀(x)为初始化模型函数。

S5、迭代生成M个基于回归树模型的基模型，包括以下步骤：

计算残差：

其中，r_im为第m次迭代中第i个样本的残差；yi是第i个样本的标签值；F(xi)是第i个样本在第m-1次迭代中的值。F(x)为样本的模型函数，Fm-1(x)为第m-1次迭代的模型函数；X_i是样本的特征值，可以是常规应用场景数据集A1或非常规应用场景数据集A2中的特征值。

S6、利用样本的特征值，和该特征在当次迭代中的残差组成的集合

生成该次迭代的基模型h_m(x)，即使得第i个样本的第m次迭代函数h_m(x_i)＝r_im。

S7、计算最优的系数γ_m：

S8、更新模型F_m(x)＝F_m-1(x)+γ_mh_m(x).，

F_m(x)为更新后的模型函数。

所述模型训练模块，用于对模型进行训练，进行基本的验证。

包括如下步骤：S9、利用训练集数据T1进行训练迭代直至验证集V1上的预测值的准确性不再提升。或者利用训练集数据T2进行训练迭代直至验证集V2上的预测值的准确性不再提升。

S10、对常规应用场景数据集A1、非常规应用场景数据集A2进行步骤S4-S9，得到该数据集对应的预测模型。

S11、对任意一张用于检测的图片或者数据，首先利用数据中存在的二维码及图像校正单元判断它属于A1数据集还是A2数据集，再利用对应的模型进行结果预测。

所述模型检验模块，用于对模型的预测能力进行检验。

S12、对任意批次生产的试纸，从数据管理服务器中读取该批次试纸采集到的标准值。

S13、利用模型预测的值与该批次试纸的标准值进行比较得到最终的结果。

尽管已经结合实施例对本发明进行了详细地描述，但是本领域技术人员应当理解的是，本发明并非仅限于特定实施例，相反，在没有超出本申请精神和实质的各种修正，变形和替换都落入到本申请的保护范围之中。

Claims (3)

1.一种用于互联网检测中基于机器学习的测量检测系统，其特征在于，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；

在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、样本上光校正单元的特征值、手机姿态进行样本图片拍摄，每个样本采集多次数据，采集多个样本，对采集到的数据进行特征提取以计算出所对应的值作为基线数据；

常规应用场景中拍摄的每一条数据依据以下方法获得：对于同一个样本，在数据采集时无需固定各种控制条件因素，只需要各因素符合常规场景应用的定义，即可进行拍照，即在这种情况下，可以任意拍摄图片，每个样本分别采集多次，所获得的数据经过特征采集算法之后所获得的数据，作为常规应用场景中拍摄的数据，最终每个样本对应获得一个常规应用场景数据，采集多个样本，得到常规应用场景数据集；

非常规场景应用数据采集，采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式，每个样本分别采集多次，所获得的数据经过特征采集算法之后，作为非常规应用场景中拍摄的数据，采集多个样本，得到非常规应用场景数据集；

其中所述数据读取及初始化模块用于从数据管理服务器读取及初始化数据，同时对数据进行预处理、归一化；用于将从数据管理服务器读取的基线数据的经过特征采集算法之后的值作为训练数据的样本的真值，也就是标签值；将常规应用场景中拍摄的每一条数据经过特征采集算法之后所获得的数据作为常规应用场景数据集A1，将所述常规应用场景数据集A1划分为两部分，即随机从A1中抽取一部分数据作为训练集T1，剩下的数据作为验证集V1；用于将非常规场景应用所采集的数据经过特征采集算法之后所获得的数据，作为非常规应用场景数据集A2；将所述常规应用场景数据集A2划分为两部分，即随机从A2中抽取一部分数据作为训练集T2，剩下的数据作为验证集V2；

所述模型构建模块用于构建模型、配置模型的参数，用于对机器学习的结果进行预测；所述模型构建模块进行初始化模型后，利用所述多个样本的标签值、训练集数据生成多个基模型，同时后面的基模型是由基于前面学习的模型的效果生成，预测结果是多个基模型的线性组合；

所述模型训练模块，用于根据所构建的模型利用所述训练集T1或T2进行训练直到对应的验证集V1、V2的预测值的准确性不再提高；对任意一张用于检测的图片或者数据，首先利用数据中存在的二维码及图像校正单元判断它属于A1数据集还是A2数据集，再利用对应的模型进行结果预测；

所述模型检验模块，用于对模型的预测能力进行检验；对任意批次生产的样本，从数据管理服务器中读取该批次样本采集到的标准值；利用所述模型训练模块预测的值与该批次样本的标准值进行比较得到最终的结果；

模型构建模块通过以下算法构建预测模型，

首先构建始化模型：

其中n为训练集大小，n为大于1的自然数；y_i为第i个样本标签值，L为损失函数；γ为使L最小的值；F₀(x)为初始化模型函数；

其次迭代生成M个基于回归树模型的基模型，包括以下步骤：

(1)计算残差：

其中，r_im为第m次迭代中第i个样本的残差；yi是第i个样本的标签值；F(xi)是第i个样本在第m-1次迭代中的值，F(x)为样本的模型函数，F_m-1(x)为第m-1次迭代的模型函数；X_i是样本特征值；

(2)利用样本的特征值和该特征在当次迭代中的残差组成的集合

生成该次迭代的基模型h_m(x)，即h_m(x_i)＝r_im；

(3)计算最优的系数γ_m：

最后更新模型，得到更新后的模型函数F_m(x)＝F_m-1(x)+γ_mh_m(x)。

2.根据权利要求1所述的用于互联网检测中基于机器学习的测量检测系统，其特征在于，所述模型训练模块，用于对模型进行训练，进行基本的验证，即利用训练集数据T1进行训练迭代直至验证集V1上的预测值的准确性不再提升或者利用训练集数据T2进行训练迭代直至验证集V2上的预测值的准确性不再提升。

3.一种用于互联网检测中基于机器学习的测量检测方法，包括以下步骤：

初始化构建模型管理服务器端，确认数据管理服务器开启；

在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、样本上光校正单元的特征值、手机姿态进行样本图片拍摄，每个样本采集多次数据，采集多个样本，对采集到的数据进行特征提取以计算出所对应的值作为基线数据；

常规应用场景中拍摄的每一条数据依据以下方法获得：对于同一个样本，在数据采集时无需固定各种控制条件因素，只需要各因素符合常规场景应用的定义，即可进行拍照，即在这种情况下，可以任意拍摄图片，每个样本分别采集多次，所获得的数据经过特征采集算法之后所获得的数据，作为常规应用场景中拍摄的数据，最终每个样本对应获得一个常规应用场景数据，采集多个样本，得到常规应用场景数据集；

非常规场景应用数据采集，采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式，每个样本分别采集多次，所获得的数据经过特征采集算法之后，作为非常规应用场景中拍摄的数据，采集多个样本，得到非常规应用场景数据集；

利用构建数据读取及初始化模块从数据管理服务器读取及初始化数据；其中，利用构建数据读取及初始化模块读取基线数据、常规应用场景数据集A1、非常规应用场景数据集A2；将所述常规应用场景数据集A1划分为两部分，即随机从A1中抽取一部分数据作为训练集T1，剩下的数据作为验证集V1；将所述非常规应用场景数据集A2划分为两部分，即随机从A2中抽取一部分数据作为训练集T2，剩下的数据作为验证集V2；

利用模型构建模块根据所述基线数据、常规应用场景数据集A1、非常规应用场景数据集A2构建预测模型、并配置模型的参数，从而对机器学习的结果进行预测；所述模型构建模块进行初始化模型后，利用所述基线数据、常规应用场景数据集A1、非常规应用场景数据集A2生成多个基模型，使得后面的基模型是由基于前面学习的模型的效果生成，预测结果是多个基模型的线性组合；

利用模型训练模块根据所构建的模型对所述常规应用场景数据集A1的训练集T1以及非常规应用场景数据集A2的训练集T2进行训练直到对应的验证集V1、V2的准确性不再提升；对任意一张用于检测的图片或者数据，首先利用数据中存在的二维码及图像校正单元判断它属于A1数据集还是A2数据集，再利用对应的模型进行结果预测；

利用模型检验模块对模型的预测能力进行检验；对任意批次生产的样本，从数据管理服务器中读取该批次样本采集到的标准值；利用所述模型训练模块预测的值与该批次样本的标准值进行比较得到最终的结果；

所述模型构建模块通过以下算法构建预测模型，

首先构建始化模型：

其中n为训练集大小，n为大于1的自然数；y_i为第i个样本标签值，L为损失函数；γ为使L最小的值；F₀(x)为初始化模型函数；

其次迭代生成M个基于回归树模型的基模型，包括以下步骤：

(1)计算残差：

其中，r_im为第m次迭代中第i个样本的残差；yi是第i个样本的标签值；F(xi)是第i个样本在第m-1次迭代中的值，F(x)为样本的模型函数，F_m-1(x)为第m-1次迭代的模型函数；X_i是样本特征值；

(2)利用样本的特征值和该特征在当次迭代中的残差组成的集合

生成该次迭代的基模型h_m(x)，即h_m(x_i)＝r_im；

(3)计算最优的系数γ_m：

最后更新模型，得到更新后的模型函数F_m(x)＝F_m-1(x)+γ_mh_m(x)。

Images