CN109597838A - 一种基于云计算和数据挖掘的信息采集系统及方法 - Google Patents

Abstract

本发明属于信息采集技术领域，公开了一种基于云计算和数据挖掘的信息采集系统及方法，所述基于云计算和数据挖掘的信息采集系统包括：电源模块、扫描模块、故障检测模块、中央控制模块、网络通信模块、数据挖掘模块、资源调度模块、时钟模块、报警模块、打印模块、数据存储模块、显示模块。本发明通过数据挖掘模块确定具有内聚特性的标识数据以形成内聚集合后，各个内聚集合之间并行发掘在相同内聚集合中具有深层关联关系的标识数据。从而提高了并行发掘标识数据之间深层关联关系的效率；同时，通过资源调度模块采用多维度并可配置的，能够满足不同的云计算系统对调度方法的需求。

Description

一种基于云计算和数据挖掘的信息采集系统及方法

技术领域

本发明属于信息采集技术领域，尤其涉及一种基于云计算和数据挖掘的信息采集系统及方法。

背景技术

信息采集系统以网络信息挖掘引擎为基础构建而成，它可以在最短的时间内，帮您把最新的信息从不同的Internet站点上采集下来，并在进行分类和统一格式后，第一时间之内把信息及时发布到自己的站点上去。从而提高信息及时性和节省或减少工作量。网络信息采集软件：适用于网站定向数据采集、分析、发布的实用软件。它可以对指定网站中的任意网页进行目标分析，归纳采集方案，提取数据并保存在文件和数据库中。信息采集可靠性原则是指采集的信息必须是真实对象或环境所产生的，必须保证信息来源是可靠的，必须保证采集的信息能反映真实的状况，可靠性原则是信息采集的基础。信息采集完整性是指采集的信息在内容上必须完整无缺，信息采集必须按照一定的标准要求，采集反映事物全貌的信息，完整性原则是信息利用的基础。然而，现有信息采集中数据挖掘深度关联所需的关联信息的来源不局限于相邻节点，因此每个节点都需要记录大量周围节点信息以供后续运算。这不仅会造成并行发掘标识数据之间的深层关联关系过程中的数据重复运算，降低标识数据之间深层关联的发掘效率，还会造成发掘过程中递归算法与关联算法的耦合，降低数据运算资源的利用率；同时，现有调度方法均为单一维度、不可配置的调度方法，难以满足不同的云计算系统对调度方法的需求。

综上所述，现有技术存在的问题是：现有信息采集中数据挖掘深度关联所需的关联信息的来源不局限于相邻节点，因此每个节点都需要记录大量周围节点信息以供后续运算。这不仅会造成并行发掘标识数据之间的深层关联关系过程中的数据重复运算，降低标识数据之间深层关联的发掘效率，还会造成发掘过程中递归算法与关联算法的耦合，降低数据运算资源的利用率；同时，现有调度方法均为单一维度、不可配置的调度方法，难以满足不同的云计算系统对调度方法的需求。

发明内容

针对现有技术存在的问题，本发明提供了一种基于云计算和数据挖掘的信息采集系统及方法。

本发明是这样实现的，一种基于云计算和数据挖掘的信息采集方法，所述基于云计算和数据挖掘的信息采集方法包括：

(1)为基于云计算和数据挖掘的信息采集系统进行供电；通过采用二次多项式回归方法的扫描仪对二维码、条形码等数字标签进行扫描，获取数据信息；

(2)对电路进行故障检测，采集检测电路的故障信号；通过报警器对检测故障信号进行及时报警通知；

(3)通过网络接口连接网络获取网络资源；通过数据挖掘算法挖掘网络中有价值的数据；通过不同网络端对信息源进行采集，通过云计算和数据挖掘对采集的原始数据进行处理，形成新的对客户端可用信息，并且通过模式评估检验和提升数据挖掘结果，即优化最终的信息；通过云计算调度算法调度数据资源；

(4)通过时钟提供实时日期和时间，操作者可以获得当前的准确操作时间；通过打印机打印采集的信息内容；

(5)通过存储器采用PURE－LET的小波域去噪方法存储采集的信息及挖掘的数据；通过具有亮度校正的高清可触摸显示屏显示系统的操作界面、提示信息、采集的信息及挖掘的数据。

进一步，所述(1)中采用二次多项式回归方法的扫描仪对数字标签进行扫描，具体的扫描方法为：

将校正样本扫描值记为ci＝[ri gi bi]^T，1≤k≤Mq，扫描值集合记为Mq×3矩阵Cs，即Cs＝[c1...cMq]^T；

相应地，测量色度值记为ti＝[Li ai bi]^T，1≤k≤Mq，测量值集合记为Mq×3矩阵Ts，即Ts＝[t1...tMq]^T；

定义c′i与Cs′如下

C^s′＝|[c′₁…c′M_q]^T

此时，扫描仪校正问题表示为求出10×3的校正矩阵M，使得

T^s≈C^s′M

即求校正矩阵M，满足

根据最小二乘法，可求得M如下

M＝(C^s′TC^s′)^-1C^s′TT^s

由此，可得出校正函数Fscan为

F_scan＝C′(C^s′TC^s′)^-1C^s′TT^s。

进一步，所述(5)中采用PURE-LET的小波域去噪方法存储采集的信息及挖掘的数据，采用的PURE-LET的小波域去噪方法，具体为：

在每一尺度下将存储采集的信息及挖掘的数据进行小波系数估计均写成一组基本阈值函数的线性组合：

并通过PURE的最小化来确定系数向量a＝[a₁，…，a_M]^T；

令θ(d，s)＝θ^j(d^j，s^j)为无噪声小波系数δ＝δ^j的一个估计；函数θ⁺(d，s)和θ^－(d，s)如下：

其中，为的标准基，除e_k(k)＝1外其余元素均为0；则随机变量PURE_j为子带j下MSE的无偏估计，即E{PURE_j}＝E{MSE_j}；

本发明的另一目的在于提供一种实现所述基于云计算和数据挖掘的信息采集方法的基于云计算和数据挖掘的信息采集系统，所述基于云计算和数据挖掘的信息采集系统包括：

电源模块，与中央控制模块连接，用于为基于云计算和数据挖掘的信息采集系统进行供电；

扫描模块，与中央控制模块连接，用于通过扫描仪扫描二维码、条形码等数字标签获取数据信息；

故障检测模块，与中央控制模块连接，用于通过检测电路故障信号；

中央控制模块，与电源模块、扫描模块、故障检测模块、网络通信模块、数据挖掘模块、资源调度模块、时钟模块、报警模块、打印模块、数据存储模块、显示模块连接，用于通过单片机控制各个模块正常工作；

网络通信模块，与中央控制模块连接，用于通过网络接口连接网络获取网络资源；

数据挖掘模块，与中央控制模块连接，用于通过数据挖掘算法挖掘网络中有价值的数据；

资源调度模块，与中央控制模块连接，用于通过云计算调度算法调度数据资源；

时钟模块，与中央控制模块连接，用于提供实时日期和时间，操作者可以获得当前的准确操作时间；

报警模块，与中央控制模块连接，用于通过报警器对检测故障信号进行及时报警通知；

打印模块，与中央控制模块连接，用于通过打印机打印采集的信息内容；

数据存储模块，与中央控制模块连接，用于通过存储器存储采集的信息及挖掘的数据；

显示模块，与中央控制模块连接，用于通过高清可触摸显示屏显示系统的操作界面、提示信息、采集的信息及挖掘的数据。

本发明的另一目的在于提供一种应用所述基于云计算和数据挖掘的信息采集方法的云服务器。

本发明的优点及积极效果为：本发明通过数据挖掘模块确定具有内聚特性的标识数据以形成内聚集合后，各个内聚集合之间并行发掘在相同内聚集合中具有深层关联关系的标识数据。从而提高了并行发掘标识数据之间深层关联关系的效率；同时，通过资源调度模块采用多维度并可配置的，能够满足不同的云计算系统对调度方法的需求。

附图说明

图1是本发明实施例提供的基于云计算和数据挖掘的信息采集方法流程图。

图2是本发明实施例提供的基于云计算和数据挖掘的信息采集系统结构示意图；

图中：1、电源模块；2、扫描模块；3、故障检测模块；4、中央控制模块；5、网络通信模块；6、数据挖掘模块；7、资源调度模块；8、时钟模块；9、报警模块；10、打印模块；11、数据存储模块；12、显示模块。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明实施例提供的基于云计算和数据挖掘的信息采集方法，具体包括以下步骤：

S101：为基于云计算和数据挖掘的信息采集系统进行供电；通过采用二次多项式回归方法的扫描仪对二维码、条形码等数字标签进行扫描，获取数据信息；

S102：对电路进行故障检测，采集检测电路的故障信号；通过报警器对检测故障信号进行及时报警通知；

S103：通过网络接口连接网络获取网络资源；通过数据挖掘算法挖掘网络中有价值的数据；通过云计算调度算法调度数据资源；

S104：通过时钟提供实时日期和时间，操作者可以获得当前的准确操作时间；通过打印机打印采集的信息内容；

S105：通过存储器采用PURE－LET的小波域去噪方法存储采集的信息及挖掘的数据；通过具有亮度校正的高清可触摸显示屏显示系统的操作界面、提示信息、采集的信息及挖掘的数据。

步骤S101中，本发明实施例提供的通过采用二次多项式回归方法的扫描仪对二维码、条形码等数字标签进行扫描，有效减小扫描仪的校正误差，提高扫描仪对数字标签的扫描精度，从信息源头上保证所采集信息的准确性，提高工作效率，具体的扫描方法为：

将校正样本扫描值记为ci＝[ri gi bi]^T，1≤k≤Mq，扫描值集合记为Mq×3矩阵Cs，即Cs＝[c1…cMq]^T；

相应地，测量色度值记为ti＝[Li ai bi]^T，1≤k≤Mq，测量值集合记为Mq×3矩阵Ts，即Ts＝[t1…tMq]^T；

定义c′i与Cs′如下

C^s′＝|[c′₁…c′M_q]^T

此时，扫描仪校正问题可表示为求出10×3的校正矩阵M，使得

T^s≈C^s′M

即求校正矩阵M，满足

根据最小二乘法，可求得M如下

M＝(C^s′TC^s′)^-1C^s′TT^s

由此，可得出校正函数Fscan为

F_scan＝C′(C^s′TC^s′)^-1C^s′TT^s。

步骤S105中，本发明实施例提供的采用PURE-LET的小波域去噪方法存储采集的信息及挖掘的数据，有效避免数据信息在存储过程中受到干扰，保证数据信息的准确、高效存储，提高系统的运行效率；采用的PURE-LET的小波域去噪方法，具体为：

在每一尺度下将存储采集的信息及挖掘的数据进行小波系数估计均写成一组基本阈值函数的线性组合：

并通过PURE的最小化来确定系数向量a＝[a₁，…，a_M]^T；

令θ(d，s)＝θ^j(d^j，s^j)为无噪声小波系数δ＝δ^j的一个估计；函数θ⁺(d，s)和θ^-(d，s)如下：

其中，为的标准基，除e_k(k)＝1外其余元素均为0；则随机变量PURE_j为子带j下MSE的无偏估计，即E{PURE_j}＝E{MSE_j}；

通过PURE的最小化，来计算式(2)中小波估计的线性组合参数；将式(2)代入式(3)，并省略自变量(d，s)，有

步骤S105中，

如图2所示，本发明提供的基于云计算和数据挖掘的信息采集系统包括：电源模块1、扫描模块2、故障检测模块3、中央控制模块4、网络通信模块5、数据挖掘模块6、资源调度模块7、时钟模块8、报警模块9、打印模块10、数据存储模块11、显示模块12。

电源模块1，与中央控制模块4连接，用于为基于云计算和数据挖掘的信息采集系统进行供电；

扫描模块2，与中央控制模块4连接，用于通过扫描仪扫描二维码、条形码等数字标签获取数据信息；

故障检测模块3，与中央控制模块4连接，用于通过检测电路故障信号；

中央控制模块4，与电源模块1、扫描模块2、故障检测模块3、网络通信模块5、数据挖掘模块6、资源调度模块7、时钟模块8、报警模块9、打印模块10、数据存储模块11、显示模块12连接，用于通过单片机控制各个模块正常工作；

网络通信模块5，与中央控制模块4连接，用于通过网络接口连接网络获取网络资源；

数据挖掘模块6，与中央控制模块4连接，用于通过数据挖掘算法挖掘网络中有价值的数据；

资源调度模块7，与中央控制模块4连接，用于通过云计算调度算法调度数据资源；

时钟模块8，与中央控制模块4连接，用于提供实时日期和时间，操作者可以获得当前的准确操作时间；

报警模块9，与中央控制模块4连接，用于通过报警器对检测故障信号进行及时报警通知；

打印模块10，与中央控制模块4连接，用于通过打印机打印采集的信息内容；

数据存储模块11，与中央控制模块4连接，用于通过存储器存储采集的信息及挖掘的数据；

显示模块12，与中央控制模块4连接，用于通过高清可触摸显示屏显示系统的操作界面、提示信息、采集的信息及挖掘的数据。

本发明提供的数据挖掘模块6挖掘方法如下：

(1)确定具有内聚特性的标识数据以形成内聚集合，各个内聚集合之间相互独立；

(2)各个内聚集合之间并行挖掘在相同内聚集合中具有深层关联关系的标识数据。

本发明提供的确定具有内聚特性的标识数据以形成内聚集合包括：利用pregel运算方法确定具有内聚特性的标识数据。

本发明提供的确定具有内聚特性的标识数据以形成内聚集合包括：

将具有内聚特性的标识数据之间的关联关系用内聚图结构表示，其中，内聚图结构的节点代表具有内聚特性的标识数据，内聚图结构的边代表具有内聚特性的标识数据之间具有直接关联关系，各个内聚图结构之间相互独立。

本发明提供的内聚图结构中的边具有直接关联强度值，所述直接关联强度值表示内聚图结构的节点间的直接关联次数；

所述确定具有内聚特性的标识数据以形成内聚集合还包括：

删除直接关联强度值小于直接关联强度阈值的边。

本发明提供的各个内聚集合之间并行挖掘在相同内聚集合中具有深层关联关系的标识数据包括：

在相同内聚集合中确定两个相同节点类型的节点；

确定与所述两个相同节点类型的节点分别具有直接关联关系的其它各个节点类型的节点个数；

计算所述其它各个节点类型的节点个数与相应的其它各个节点类型的深层关联权重的加权和，并将所述加权和确定为所述两个相同节点类型的节点的深层关联强度；

若所述两个相同节点类型的节点的深层关联强度不小于预设深层关联强度阈值，则确定所述两个相同节点类型的节点具有深层关联关系。

本发明提供的资源调度模块7调度方法如下：

1)根据云计算系统的需求而将n个调度向量分别映射为与每个调度向量对应的权重值；

2)根据与每个调度向量对应的权重值以及与每个调度向量对应的单维调度方法而将与每个调度向量对应的权重值映射为与每个调度向量对应的调度策略，并根据与每个调度向量对应的调度策略而获得最优调度策略；

3)根据所述最优调度策略来执行调度。

本发明提供的最优调度策略满足使下面的式子取最小值，

其中，x表示最优调度策略，x_i表示与第i个调度向量对应的调度策略。

本发明工作时，首先，通过电源模块1为基于云计算和数据挖掘的信息采集系统进行供电；通过扫描模块2利用扫描仪扫描二维码、条形码等数字标签获取数据信息；通过故障检测模块3利用检测电路检测故障信号；其次，中央控制模块4通过网络通信模块5利用网络接口连接网络获取网络资源；通过数据挖掘模块6利用数据挖掘算法挖掘网络中有价值的数据；通过资源调度模块7利用云计算调度算法调度数据资源；通过时钟模块8提供实时日期和时间，操作者可以获得当前的准确操作时间；通过报警模块9利用报警器对检测故障信号进行及时报警通知；通过打印模块10利用打印机打印采集的信息内容；然后，通过数据存储模块11利用存储器存储采集的信息及挖掘的数据；最后，通过显示模块12利用高清可触摸显示屏显示系统的操作界面、提示信息、采集的信息及挖掘的数据。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (5)

1.一种基于云计算和数据挖掘的信息采集方法，其特征在于，所述基于云计算和数据挖掘的信息采集方法包括：

(1)为基于云计算和数据挖掘的信息采集系统进行供电；通过采用二次多项式回归方法的扫描仪对二维码、条形码等数字标签进行扫描，获取数据信息；

(2)对电路进行故障检测，采集检测电路的故障信号；通过报警器对检测故障信号进行及时报警通知；

(3)通过网络接口连接网络获取网络资源；通过数据挖掘算法挖掘网络中有价值的数据；通过不同网络端对信息源进行采集，通过云计算和数据挖掘对采集的原始数据进行处理，形成新的对客户端可用信息，并且通过模式评估检验和提升数据挖掘结果，即优化最终的信息；通过云计算调度算法调度数据资源；

(4)通过时钟提供实时日期和时间，操作者可以获得当前的准确操作时间；通过打印机打印采集的信息内容；

(5)通过存储器采用PURE－LET的小波域去噪方法存储采集的信息及挖掘的数据；通过具有亮度校正的高清可触摸显示屏显示系统的操作界面、提示信息、采集的信息及挖掘的数据。

2.如权利要求1所述的基于云计算和数据挖掘的信息采集方法，其特征在于，所述(1)中采用二次多项式回归方法的扫描仪对数字标签进行扫描，具体的扫描方法为：

将校正样本扫描值记为ci＝[ri gi bi]^T，1≤k≤Mq，扫描值集合记为Mq×3矩阵Cs，即Cs＝[c1…cMq]^T；

相应地，测量色度值记为ti＝[Li ai bi]^T，1≤k≤Mq，测量值集合记为Mq×3矩阵Ts，即Ts＝[t1…tMq]^T；

定义c′i与Cs′如下

此时，扫描仪校正问题表示为求出10×3的校正矩阵M，使得

T^s≈C^s′M

即求校正矩阵M，满足

根据最小二乘法，可求得M如下

M＝(C^s′TC^s′)^-1C^s′TT^s

由此，可得出校正函数Fscan为

F_scan＝C′(C^s′TC^s′)^-1C^s′TT^s。

3.如权利要求1所述的基于云计算和数据挖掘的信息采集方法，其特征在于，所述(5)中采用PURE－LET的小波域去噪方法存储采集的信息及挖掘的数据，采用的PURE－LET的小波域去噪方法，具体为：

在每一尺度下将存储采集的信息及挖掘的数据进行小波系数估计均写成一组基本阈值函数的线性组合：

并通过PURE的最小化来确定系数向量a＝[a₁，…，a_M]^T；

令θ(d，s)＝θ^j(d^j，s^j)为无噪声小波系数δ＝δ^j的一个估计；函数θ⁺(d，s)和θ^-(d，s)如下：

其中，为的标准基，除e_k(k)＝1外其余元素均为0；则随机变量PURE_j为子带j下MSE的无偏估计，即E{PURE_j}＝E{MSE_j}；

4.一种实现权利要求1所述基于云计算和数据挖掘的信息采集方法的基于云计算和数据挖掘的信息采集系统，其特征在于，所述基于云计算和数据挖掘的信息采集系统包括：

电源模块，与中央控制模块连接，用于为基于云计算和数据挖掘的信息采集系统进行供电；

扫描模块，与中央控制模块连接，用于通过扫描仪扫描二维码、条形码等数字标签获取数据信息；

故障检测模块，与中央控制模块连接，用于通过检测电路故障信号；

中央控制模块，与电源模块、扫描模块、故障检测模块、网络通信模块、数据挖掘模块、资源调度模块、时钟模块、报警模块、打印模块、数据存储模块、显示模块连接，用于通过单片机控制各个模块正常工作；

网络通信模块，与中央控制模块连接，用于通过网络接口连接网络获取网络资源；

数据挖掘模块，与中央控制模块连接，用于通过数据挖掘算法挖掘网络中有价值的数据；

资源调度模块，与中央控制模块连接，用于通过云计算调度算法调度数据资源；

时钟模块，与中央控制模块连接，用于提供实时日期和时间，操作者可以获得当前的准确操作时间；

报警模块，与中央控制模块连接，用于通过报警器对检测故障信号进行及时报警通知；

打印模块，与中央控制模块连接，用于通过打印机打印采集的信息内容；

数据存储模块，与中央控制模块连接，用于通过存储器存储采集的信息及挖掘的数据；

显示模块，与中央控制模块连接，用于通过高清可触摸显示屏显示系统的操作界面、提示信息、采集的信息及挖掘的数据。

5.一种应用权利要求1～3任意一项所述基于云计算和数据挖掘的信息采集方法的云服务器。