CN111223283A

CN111223283A - 一种多路数据分类式大数据采集方法

Info

Publication number: CN111223283A
Application number: CN201911421216.4A
Authority: CN
Inventors: 金龙飞; 吴小邦; 陶波
Original assignee: Nanjing Taotesi Software Technology Co Ltd
Current assignee: Nanjing Taotesi Software Technology Co Ltd
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2020-06-02

Abstract

本发明涉及大数据采集技术领域，具体为一种多路数据分类式大数据采集方法，包括采集前端数据、数据上传、数据分类、数据传输和建立数据库步骤。该多路数据分类式大数据采集方法中，通过在前端设置多个数据采集节点，并通过多个数据采集节点对前端数据进行实时采集，建立完整的前端数据采集系统，采集节点采集的数据通过无线传输形式将数据传输至接收分机内，减少线路铺设，降低前期投资成本，同时数据采集高效，速率快，通过分类算法将采集节点采集的数据进行分类，并保持在传输分机内，实现数据集约化保存，为建立数据库打好基础，同时分类传输，能够减少系统负载运行，进一步提高整体效率。

Description

一种多路数据分类式大数据采集方法

技术领域

本发明涉及大数据采集技术领域，具体为一种多路数据分类式大数据采集方法。

背景技术

大数据信息技术与我们的生活密切相关，无论是物联物流领域、网络社交领域、电子商务领域、远程医疗领域等都可以看到大数据信息技术的缩影。现有的采集数据的传输大多采用有线方式，且数据采集系统不完整，无法形成前端采集系统，随着前端数据采集的增多，采用有线方式传输，需要铺设大量的线缆，导致前期投资成本大，同时，在前端数据采集后，直接将采集的各种数据存入云端数据库内，在数据库中进行池化分类，但由于数据库中，数据信息过大，无论是数据的上传还是数据的分类，都会造成系统负载运行，导致数据库建立效率低。鉴于此，我们提出一种多路数据分类式大数据采集方法。

发明内容

本发明的目的在于提供一种多路数据分类式大数据采集方法，以解决上述背景技术中提出的采用有线方式传输，需要铺设大量的线缆，导致前期投资成本大和由于数据库中，数据信息过大，无论是数据的上传还是数据的分类，都会造成系统负载运行的问题。

为实现上述目的，本发明提供一种多路数据分类式大数据采集方法，包括以下步骤：

S1、采集前端数据：在前端设置多个数据采集节点，并通过多个数据采集节点对前端数据进行实时采集；

S2、数据上传：将采集节点采集的数据统一传输至接收分机内；

S3、数据分类：通过接收分机对采集节点采集的数据进行分类；

S4、数据传输：按照采集数据不同的分类结果，传输至对应的传输分机中，并对数据进行保存；

S5、建立数据库：将不同传输分机储存的数据上传至云端数据库，并建立总数据库。

作为优选，所述采集节点包括采集模块、信号调理模块、采样保持模块、A/D转化模块和单片机模块；所述采集模块用于采集前端数据；所述信号调理模块用于将各个传感器的模拟输出分别进行信号变换，使之适应模/数转换器输入端对输入信号的要求；所述采样保持模块用于将连续信号转化为断续的采样信号，再将断续的采样信号转化为连续信号；所述A/D转化模块用于将模拟量信号转换为数字量信号；所述单片机模块用于对采样的数字信号进行处理。

作为优选，所述采集节点采集的数据通过无线传输形式将数据传输至接收分机内。

作为优选，所述接收分机通过分类算法将采集节点采集的数据进行分类。

作为优选，所述分类算法步骤如下：

1)、计算特征数据属于每个类别的概率向量；

2)、对于新数据，计算该数据属于类的概率；

3)、比较新数据属于所有类的概率，将数据分到概率最大的那个类别中。

作为优选，所述接收分机和传输分机通过串口实现数据传输。

作为优选，所述建立数据库运用计算技术搭建私有云大数据中心，采用虚拟化技术，把配送的物理资源数据进行池化，形成总数据库。

与现有技术相比，本发明的有益效果：

1、该多路数据分类式大数据采集方法中，通过在前端设置多个数据采集节点，并通过多个数据采集节点对前端数据进行实时采集，建立完整的前端数据采集系统。

2、该多路数据分类式大数据采集方法中，采集节点采集的数据通过无线传输形式将数据传输至接收分机内，减少线路铺设，降低前期投资成本，同时数据采集高效，速率快。

3、该多路数据分类式大数据采集方法中，通过分类算法将采集节点采集的数据进行分类，并保持在传输分机内，实现数据集约化保存，为建立数据库打好基础，同时分类传输，能够减少系统负载运行，进一步提高整体效率。

附图说明

图1为本发明的整体结构框架图；

图2为本发明的采集节点模块图；

图3为本发明的信号调理模块原理图；

图4为本发明的单片机引脚图；

图5为本发明的NRF401无线传输芯片原理图之一；

图6为本发明的NRF401无线传输芯片原理图之二

图7为本发明的串口电路图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明提供一种多路数据分类式大数据采集方法，如图1所示，包括以下步骤：

本实施例中，采集节点为传感器，传感器包括温度传感器、湿度传感器、图像传感器、声音传感器等，便于根据前端的种类，选择合适的采集节点，对前端需要采集的数据进行采集。

进一步的，接收分机和传输分机为可编程中控系统，可编程中控系统采用32位内嵌式处理器，最高主频可达257MHZ，8M的SDRAM内存空间，8M的存储FLASH，可以高速运算复杂的逻辑指令，其内置强大的可编程接口；可任意编程，适用于任意设备的串口、红外、RS485集中智能统一管理和控制，可配控制面板、无线触摸屏、有线触摸屏、电脑、网络、中控面板等多种控制方式。

实施例2

作为本发明的第二种实施例，为了便于对前端数据进行采集，本发明还对采集节点作出改进，作为一种优选实施例，如图2所示，采集节点包括采集模块、信号调理模块、采样保持模块、A/D转化模块和单片机模块；采集模块用于采集前端数据；信号调理模块用于将各个传感器的模拟输出分别进行信号变换，使之适应模/数转换器输入端对输入信号的要求；采样保持模块用于将连续信号转化为断续的采样信号，再将断续的采样信号转化为连续信号；A/D转化模块用于将模拟量信号转换为数字量信号；单片机模块用于对采样的数字信号进行处理。

本实施例中，信号调理模块的作用是将各个传感器的模拟输出分别进行信号变换，使之适应模/数转换器输入端对输入信号的要求，信号调理模块的功能一般应包括：信号切换、信号变换、信号放大、校准、线性化和补偿等静态处理，其原理如图3所示，图中传感器信号由J-IN端口接入，然后根据信号类型选择开关S1-S5，在J-OUT端口得到调理好的信号送到A/D转换模块，其中：DGND、VDD表示传感器侧数字电源；AGND、V+5和V-5表示传感器侧模拟电源。

进一步的，图2中在标准信号方式时的等效电路公式如下：

V_O-＝0 (3)

式中，R_x是MAX383的导通电阻，R_w是AQW21X的导通电阻，当R₇＝R₈，R_w＜R₂，由式(1)、(2)得：

进一步的，采样保持模块包括信号采样步骤和采样信号转化为连续信号步骤，其中采样步骤用于将连续的信号离散化得到采样信号，利用单位脉冲序列函数可以描述采样信号为：

其中，采样信号转化为连续信号步骤采用零阶保持器对采样信号转变成两个连续采样时刻之间保持常量的信号，即在t∈[nT，(n+1)T]区间中，用零阶保持器的输出值一直保持为x(nT)。

具体的，A/D转化模块选用ADC0809，ADC0809为逐渐逼近式A/D转换器，其速度快、精度较高、成本较低，转换时间在几微秒到几百微秒之间。

值得说明的是，单片机模块选用AT89C51单片机，其引脚图如图4所示，其部分引脚说明如下：

P0口：P0口为一个8位漏级开路双向I/O口，每脚可吸收8TTL门电流，当P1口的管脚第一次写1时，被定义为高阻输入，P0能够用于外部程序数据存储器，它可以被定义为数据/地址的第八位；

P1口：P1口是一个内部提供上拉电阻的8位双向I/O口，P1口缓冲器能接收输出4TTL门电流，P1口管脚写入1后，被内部上拉为高，可用作输入，P1口被外部下拉为低电平时，将输出电流；

P2口：P2口为一个内部上拉电阻的8位双向I/O口，P2口缓冲器可接收，输出4个TTL门电流，当P2口被写“1”时，其管脚被内部上拉电阻拉高，且作为输入，并因此作为输入时，P2口的管脚被外部拉低，将输出电流，P2口当用于外部程序存储器或16位地址外部数据存储器进行存取时，P2口输出地址的高八位；

P3口：P3口管脚是8个带内部上拉电阻的双向I/O口，可接收输出4个TTL门电流，当P3口写入“1”后，它们被内部上拉为高电平，并用作输入，作为输入，由于外部下拉为低电平，P3口将输出电流。

实施例3

作为本发明的第三种实施例，为了便于采集节点和接收分机实现数据传输，本实施例中，采集节点采集的数据通过无线传输形式将数据传输至接收分机内，

具体的，无线传输基于NRF401无线传输芯片设计，NRF401仅20脚，管脚和体积都较小，便于PCB封装，工作频率为国际通用的数据频段433MHZ；采用FSK调制，直接数据输入输出，抗干扰能力强，特别适用工业控制场合，采用DSS+PLL频率合成技术，频率稳定性极好，灵敏度高达-105dBm；功耗小接受待机状态时，电流仅为8UA，最大发射功率为10dBm，低工作电压(2.7V)可满足低功耗设备的要求，具有多个频道，可方便的切换工作频率特别适用于需要多信道工作的场合，工作速率最高可达20kbit/s，其工作原理如图5和图6所示。

实施例4

作为本发明的第四种实施例，为了便于对数据进行分类归类，使得数据集约化保存，本发明还设置有分类算法，作为一种优选实施例，接收分机通过分类算法将采集节点采集的数据进行分类。

分类算法步骤如下：

1)、计算特征数据属于每个类别的概率向量；

2)、对于新数据，计算该数据属于类的概率；

本实施例中，分类算法基于朴素贝叶斯设计，算法公式如下：

假定在给定目标值时属性值之间相互条件独立，换言之，该假定说明在给定实例的目标值情况下，观察到联合的a₁,a₂……a_n的概率等于每个独属性的概率乘积：

实施例5

作为本发明的第五种实施例，为了便于实现接收分机和传输分机的数据传输，本实施例中，接收分机和传输分机通过串口实现数据传输。

具体的，单片机从一个I/O引脚逐位传输一些列二进制编码数据，就是串行通信，所谓串行通信是指外设和计算机家门适用一根数据信号线数据在一根数据信号线上一位一位的进行传输，每一位数据都占据一个固定的时间长度，这种通信方式使用的数据线少，传输速度比并行传输慢。串行通信的优点在于远程通信和上下位机通信，51系列单片机通过自身的串口完成通信，高串口是一个可编程的全双工串行通信接口。

进一步的，接口的电气特性在RS-232-C中任何一条信号线的电压均为负逻辑关系。即要求接收器能识别低至+3V的信号作为逻辑“0”，高到-3V的信号作为逻辑“1”。接口的物理结构RS-232-C接口连接器一般使用型号为DB-25的25芯插头座,通常插头在DCE端,插座在DTE端.一些设备与PC机连接的RS-232-C接口,因为不使用对方的传送控制信号,只需三条接口线,即“发送数据”、“接收数据”和“信号地”。所以采用DB-9的9芯插头座，传输线采用屏蔽双绞线，串口电路如图7所示。

实施例6

作为本发明的第六种实施例，为了便于将收集的数据储存在数据库内，本发明还设置建立有数据库，具体的，建立数据库运用计算技术搭建私有云大数据中心，采用虚拟化技术，把配送的物理资源数据进行池化，形成总数据库。

本实施例中，建立数据库包括数据分割模块、数据保存模块和数据建模模块，数据分割模块用于为数库内的物理资源数据按字段做Hash分割，形成多个子数据库，数据保存模块用于对分割后的数据进行保存，数据建模模块用于对所述数据库创建模型并在Models目录生成.edmx文件，.edmx文件是一个XML文件，它用于定义概念模型、存储模型和这些模型之间的映射，.edmx文件还包含ADO.NET实体数据模型设计器，用于以图形方式呈现模型的信息。

进一步的，建立数据库代码如下：

#include<iostream>

#include<cstdlib>

#include<cstdio>

#include<cmath>

#include<cstring>

#include<iomanip>

#include<algorithm>

#include<ctime>

#include<queue>

#definergregister

#definelstlonglong

#defineN150

#defineM1200

usingnamespacestd；

intday,n,K,m,d,cnt；

structedge{

intto,v,nxt；

}ljl[M<<1]；

inthead[N],team[N],dis[N],dp[N]；

intw[N][N],bre[N][N]；

boolvis[N],b[N]；

inlineintread()

{

rgints＝0,m＝1；rgcharch＝getchar()；

while(ch！＝'-'&&(ch<'0'||ch>'9'))ch＝getchar()；

if(ch＝＝'-')m＝-1,ch＝getchar()；

while(ch>＝'0'&&ch<＝'9')s＝(s<<3)+(s<<1)+ch-'0',ch＝getchar()；

returns*m；

}

inlinevoidadd(rgintp,rgintq,rginto)

{

ljl[++cnt].to＝q；

ljl[cnt].v＝o；

ljl[cnt].nxt＝head[p]；

head[p]＝cnt；

}

inlinevoidSPFA()

{

memset(vis,0,sizeof(vis))；

memset(team,0,sizeof(team))；

for(rginti＝1；i<＝n；++i)dis[i]＝9999999；

rginttop＝0,tail＝1；

team[1]＝1；vis[1]＝1；dis[1]＝0；

while(top<tail)

{

top++；

rgintnow＝team[top]；vis[now]＝0；

for(rginti＝head[now]；i；i＝ljl[i].nxt)

{

rgintqw＝ljl[i].to；

if(dis[qw]>dis[now]+ljl[i].v&&！b[qw])

{

dis[qw]＝dis[now]+ljl[i].v；

if(！vis[qw])

{

team[++tail]＝qw；

vis[qw]＝1；

}

intmain()

{

day＝read(),n＝read(),K＝read(),m＝read()；

for(rginti＝1；i<＝m；++i)

{

rgintp＝read(),q＝read(),o＝read()；

add(p,q,o),add(q,p,o)；

}

d＝read()；

for(rginti＝1；i<＝d；++i)

{

rgintp＝read(),a＝read(),b＝read()；

for(rgintj＝a；j<＝b；++j)

bre[j][++bre[j][0]]＝p；

}

for(rginti＝1；i<＝day；++i)

{

for(rgintj＝i；j<＝day；++j)

{

memset(b,0,sizeof(b))；

for(rgintk＝i；k<＝j；++k)

{

for(rgintl＝1；l<＝bre[k][0]；l++)

{

b[bre[k][l]]＝1；

}

SPFA()；

if(dis[n]！＝9999999)w[i][j]＝(j-i+1)*dis[n]；

elsew[i][j]＝dis[n]；

}

for(rginti＝1；i<＝day；++i)

{

dp[i]＝w[1][i]；

for(rgintj＝1；j<i；++j)

{

dp[i]＝min(dp[i],dp[j]+K+w[j+1][i])；

}

cout<<dp[day]<<endl；

return0；

}

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种多路数据分类式大数据采集方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的多路数据分类式大数据采集方法，其特征在于：所述采集节点包括采集模块、信号调理模块、采样保持模块、A/D转化模块和单片机模块；所述采集模块用于采集前端数据；所述信号调理模块用于将各个传感器的模拟输出分别进行信号变换，使之适应模/数转换器输入端对输入信号的要求；所述采样保持模块用于将连续信号转化为断续的采样信号，再将断续的采样信号转化为连续信号；所述A/D转化模块用于将模拟量信号转换为数字量信号；所述单片机模块用于对采样的数字信号进行处理。

3.根据权利要求1所述的多路数据分类式大数据采集方法，其特征在于：所述采集节点采集的数据通过无线传输形式将数据传输至接收分机内。

4.根据权利要求1所述的多路数据分类式大数据采集方法，其特征在于：所述接收分机通过分类算法将采集节点采集的数据进行分类。

5.根据权利要求4所述的多路数据分类式大数据采集方法，其特征在于：所述分类算法步骤如下：

1)、计算特征数据属于每个类别的概率向量；

2)、对于新数据，计算该数据属于类的概率；

6.根据权利要求1所述的多路数据分类式大数据采集方法，其特征在于：所述接收分机和传输分机通过串口实现数据传输。

7.根据权利要求1所述的多路数据分类式大数据采集方法，其特征在于：所述建立数据库运用计算技术搭建私有云大数据中心，采用虚拟化技术，把配送的物理资源数据进行池化，形成总数据库。