CN110109960A - 一种数据采集扩展控制系统及其数据采集方法 - Google Patents

一种数据采集扩展控制系统及其数据采集方法 Download PDF

Info

Publication number
CN110109960A
CN110109960A CN201910331712.4A CN201910331712A CN110109960A CN 110109960 A CN110109960 A CN 110109960A CN 201910331712 A CN201910331712 A CN 201910331712A CN 110109960 A CN110109960 A CN 110109960A
Authority
CN
China
Prior art keywords
data
acquisition
encryption
module
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910331712.4A
Other languages
English (en)
Inventor
孟晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910331712.4A priority Critical patent/CN110109960A/zh
Publication of CN110109960A publication Critical patent/CN110109960A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload

Abstract

本发明属于数据采集技术领域,公开了一种数据采集扩展控制系统及其数据采集方法,利用数据采集主机采集数据,利用网卡连接互联网进行网络数据通信,利用数据分析程序对采集的数据进行分析处理,利用加密算法对采集的数据进行加密操作,利用扩展程序对采集数据的数据库进行扩展,利用云服务器对采集的数据进行云存储,利用显示器显示数据采集扩展控制系统界面及采集数据内容。本发明提高了数据库的查询性能;当同一份数据有查询请求时,多份冗余数据可以分担查询请求压力,这使得分布式的数据库的性能、扩展性(简单增加计算节点即可)、稳定性和容灾性大大提升。

Description

一种数据采集扩展控制系统及其数据采集方法
技术领域
本发明属于数据采集技术领域,尤其涉及一种数据采集扩展控制系统及其数据采集方法。
背景技术
数据采集,又称数据获取,是利用一种装置,从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。比如摄像头,麦克风,都是数据采集工具。被采集数据是已被转换为电讯号的各种物理量,如温度、水位、风速、压力等,可以是模拟量,也可以是数字量。采集一般是采样方式,即隔一定时间(称采样周期)对同一点数据重复采集。采集的数据大多是瞬时值,也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据量测方法有接触式和非接触式,检测元件多种多样。不论哪种方法和元件,均以不影响被测对象状态和测量环境为前提,以保证数据的正确性。数据采集含义很广,包括对面状连续物理量的采集。在计算机辅助制图、测图、设计中,对图形或图像数字化过程也可称为数据采集,此时被采集的是几何量(或包括物理量,如灰度)数据。在互联网行业快速发展的今天,数据采集已经被广泛应用于互联网及分布式领域,数据采集领域已经发生了重要的变化。首先,分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次,总线兼容型数据采集插件的数量不断增大,与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集机先后问世,将数据采集带入了一个全新的时代。然而,现有采集的数据安全性低;同时,随着互联网的发展和大数据时代的到来,越来越多用户接入和海量数据的产生,数据库在容量和并发访问性能差。
数据的快速增长必然带来存储设备的持续增加。同时,为了满足日益扩展的数据存储需求,数据存储系统的体系结构也在不断发展与变化,从传统的集中式存储到分布式存储,近几年还出现了云存储等新型海量数据存储模式。存储系统的规模也越来越大,因而,如何保证在数据高可靠的情况下降低数据冗余,进而减少硬件消耗,成为信息存储领域的关注的焦点。
与传统的多备份策略不同,近些年来,技术界发展了一种以编码冗余策略为核心的新型存储体系。编码冗余存储体系在可保证与复制策略提供相同的系统可靠性的同时,可以大大减少存储系统的数据冗余度,进而为存储系统节约大量的硬件投入与电能消耗。但是,编码冗余策略与备份策略不同的是,其管理较为复杂,最为重要的是,在对数据进行存储时,需对其进行编码计算进而产生出冗余数据。但是,编码过程需要消耗系统一定的计算量,当系统计算性能较低,或系统需要在其它方面使用计算资源时,这会大大降低编码计算的速度,进而影响系统的存储速度与效率。因而,如何降低文件存储时编码的计算量一直是纠删码存储技术关注的焦点与难点。为解决这一难题,研究者提出了二进制编码矩阵的存储策略,而事实上在二进制编码矩阵的构造过程中,很难直接构造一种既能保证系统容删效果,而又具有最低计算量的二进制编码矩阵。因此,在实际二进制编码矩阵构造过程中,都是以满足存储系统的容删性能,而未考虑其在编码过程中,是否具有最低的编码过程计算量。
综上所述,现有技术存在的问题是:
现有采集的数据安全性低;同时,随着互联网的发展和大数据时代的到来,越来越多用户接入和海量数据的产生,数据库在容量和并发访问性能差。
现有技术中数据采集速度较慢,且采集主机数据的准确性较差,不利于进一步对数据分析处理结果的准确性;原始算法数据为做到保密设置,获得数据存在安全性隐患;现有技术无法保证采集数据的准确性,降低存储内容的准确性,降低系统的运行质量。
现有技术在对数据进行存储时,需对其进行编码计算进而产生出冗余数据,影响系统的存储速度与效率。在降低文件存储时编码的计算量时,实际二进制编码矩阵构造过程中,只能满足存储系统的容删性能,不能降低编码过程计算量。
发明内容
针对现有技术存在的问题,本发明提供了一种数据采集扩展控制系统及其数据采集方法。
本发明是这样实现的,一种数据采集扩展控制系统的数据采集方法包括以下步骤:
步骤一,通过数据采集模块利用数据采集主机采集数据;
步骤二,主控模块通过网络通信模块利用网卡连接互联网进行网络数据通信;
步骤三,通过数据分析模块利用数据分析程序对采集的数据进行分析处理;
步骤四,通过数据加密模块利用加密算法对采集的数据进行加密操作;
步骤五,通过数据库扩展模块利用扩展程序对采集数据的数据库进行扩展;
步骤六,通过云服务模块利用云服务器对采集的数据进行云存储;
步骤七,通过显示模块利用显示器显示数据采集扩展控制系统界面及采集数据内容。
进一步,所述数据加密模块加密方法包括:
(1)通过数据采集主机采集数据,读取原始算法数据;
(2)从原始算法数据中选取预设范围内的算法数据,并通过加密算法得到对应的加密参数,所述加密参数包括加密系数、加密向量中的至少一种;
(3)将加密参数插入原始算法数据中的预设位置,得到加密后的算法数据。
进一步,所述步骤(2)中,选取的算法数据的位宽相同,大小在预设范围内。
进一步,所述步骤(2)中,加密参数的位宽和选取的算法数据的位宽相同,加密参数的大小在预设范围内。
进一步,所述步骤(2)中的加密参数为加密系数,所述加密系数为Ai(i=1,2,3…N)中的至少一个,N为加密系数的个数,选取的算法数据B1、B2、B3…Bn对应的权值分别为α1、α2、α3…αn,且所有权值之和为1或趋向于1;加密系数Ai的获取方法为:
对权值α1、α2、α3…αn分别N种顺序进行排列,算法数据按B1、B2、B3…Bn排列;
对权值的第i种排列顺序,将所有对应位置处的权值α和算法数据B相乘后,进行求和,得到对应的加密系数Ai
进一步,所述步骤(2)中的加密参数为加密向量,所述加密向量为Dj(j=1,2,3…M)中的至少一个,M为加密向量的个数,获取原始算法数据B1、B2、B3…Bn对应的权值分别为α1、α2、α3…αn,且α1、α2、α3…αn之和为1或趋向于1;
加密向量Dj的获取方法为:
对权值α1、α2、α3…αn分别N种顺序进行排列,算法数据按B1、B2、B3…Bn排列;
对权值的第i种排列顺序,将所有对应位置处的权值α和算法数据B相乘后,进行求和,得到对应的加密系数Ai
将全部或部分加密系数Ai加入原始算法数据中得到新的数据向量{C1,C2,C3,…,Cm};m为原始算法数据个数n和加入的加密系数个数之和;
获取数据向量C1、C2、C3…Cm对应的权值分别为β1、β2、β3…βm,且β1、β2、β3…βm之和为1或趋向于1;
对权值β1、β2、β3…βm分别M种顺序进行排列,数据向量按C1、C2、C3…Cm
对权值的第j种排列顺序,将所有对应位置处的权值β和数据向量C相乘后,进行求和,得到对应的加密系数Dj
所述“对权值α1、α2、α3…αn分别N种顺序进行排列”具体为:
下标n按最大到最小排列、按最小到最大排列、按某权值正向依次排列、按某数值倒向依次排列、按先奇数后偶数排列、按先偶数后奇数排列中一种或多种的组合对权值α进行排列。
进一步,所述数据库扩展模块扩展方法包括:
1)将采集的数据存储到数据库中,创建数据库中心节点;
2)创建数据库数据节点;
3)部署中间层节点,该中间层节点根据负载权重按概率选择数据节点;
4)在所述数据库数据节点上冗余创建数据表;
5)在所述中间层节点上创建远程表;
6)通过中间层节点进行数据查询,并将数据查询结果发送至客户端。
所述中心节点用于收集数据表的分布信息,并响应中间层节点的表分布信息查询。
进一步,所述分别配置数据库数据节点和中间层节点的中心节点信息,并指定所述中心节点连接信息。
进一步,所述中心节点连接信息包括:主中心数据库服务、备用中心数据库服务、IP和端口号。
进一步,所述中间层节点用于查询中心节点远程表的数据表分布信息。
进一步,所述在多个数据库数据节点上创建数据表,其中,不同结构的数据表使用不同的名称。
进一步,步骤六利用云服务器对采集的数据进行云存储中,若任意由“0,1”确定的二进制系统编码矩阵为Gγ·m,Gγ·m为由“0,1”构成的二进制矩阵,该矩阵用于产生冗余数据,具体表示为:
根据二进制编码矩阵的行向量l1,l2,…,lγ·m中“1”的个数确定出根据该向量计算校验位时所需要的XOR计算次数,并计算任意两向量la,lb之间不相同的位数。
进一步,步骤六利用云服务器对采集的数据进行云存储中,若向量la中元素为“1”的位数为k,则系统利用该向量进行产生冗余数据需要进行k-1次XOR运算。
本发明另一目的在于提供一种数据采集扩展控制系统包括:
数据采集模块、主控模块、网络通信模块、数据分析模块、数据加密模块、数据库扩展模块、云服务模块、显示模块;
数据采集模块,与主控模块连接,用于通过数据采集主机采集数据;
主控模块,与数据采集模块、网络通信模块、数据分析模块、数据加密模块、数据库扩展模块、云服务模块、显示模块连接,用于通过单片机控制各个模块正常工作;
网络通信模块,与主控模块连接,用于通过网卡连接互联网进行网络数据通信;
数据分析模块,与主控模块连接,用于通过数据分析程序对采集的数据进行分析处理;
数据加密模块,与主控模块连接,用于通过加密算法对采集的数据进行加密操作;
数据库扩展模块,与主控模块连接,用于通过扩展程序对采集数据的数据库进行扩展;
云服务模块,与主控模块连接,用于通过云服务器对采集的数据进行云存储;
显示模块,与主控模块连接,用于通过显示器显示数据采集扩展控制系统界面及采集数据内容。
本发明的优点及积极效果为:
本发明通过数据加密模块对算法数据进行加密,加密后的数据与原始算法数据类似,大大提高了数据传输的安全性;同时,通过数据库扩展模块有效避免了访问量过大时数据库查询单点处理能力下降,通过有效分流查询,提高了数据库的查询性能。分布式数据库系统的数据采用冗余部署方式,即一个数据单元在集群上有多份冗余部署,当一份数据损坏时,其他备份数据可以提供数据访问能力,而且可以自动重建或者恢复损坏数据,并且当同一份数据有查询请求时,多份冗余数据可以分担查询请求压力,这使得分布式的数据库的性能、扩展性(简单增加计算节点即可)、稳定性和容灾性大大提升。
本发明利用RSSI差分校正的最小二乘法采集主机数据,提高数据采集速度,保证采集主机数据的准确性,有利于进一步对数据分析处理结果的准确性;将加密参数插入原始算法数据中的预设位置,得到加密后的算法数据,提高数据的安全性;利用云服务器通过时域高通滤波算法,保证采集数据的准确性,提高存储内容的准确性,提高系统的运行质量。
本发明优化了编码过程,能够实现编码过程计算量的降低。在存储系统对数据进行编码存储时,能够根据编码矩阵中各个行向量的特点,改变原有校验数据块的计算次序,进而减少编码过程的计算次数;利用本发明提出的方法进行对编码矩阵的优化后的计算次序,可以存储在计算机中,在以后的每次计算中,都可以按照该优化后的规则进行计算;本发明提出的编码过程优化方法,能够适用于所有二进制矩阵,特别地,该方法可以适用于任何基于二进制矩阵进行计算的相关过程,不仅适用于数据存储时的编码过程,还适用于当数据块丢失时,利用二进制校验矩阵对丢失数据块进行数据重构的过程,具有推广使用的价值。
附图说明
图1是本发明实施例提供的数据采集扩展控制系统的数据采集方法流程图。
图2是本发明实施例提供的数据采集扩展控制系统结构框图。
图中:1、数据采集模块;2、主控模块;3、网络通信模块;4、数据分析模块;5、数据加密模块;6、数据库扩展模块;7、云服务模块;8、显示模块。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效,兹例举以下实施例,并配合附图详细说明包括。
现有采集的数据安全性低;同时,随着互联网的发展和大数据时代的到来,越来越多用户接入和海量数据的产生,数据库在容量和并发访问性能差。
现有技术中数据采集速度较慢,且采集主机数据的准确性较差,不利于进一步对数据分析处理结果的准确性;原始算法数据为做到保密设置,获得数据存在安全性隐患;现有技术无法保证采集数据的准确性,降低存储内容的准确性,降低系统的运行质量。
为解决上述问题,下面结合具体方案对本发明的结构作详细的描述。
如图1所示,本发明提供的数据采集扩展控制系统的数据采集方法包括以下步骤:
S101,利用RSSI差分校正的最小二乘法采集主机数据。利用网卡连接互联网进行网络数据通信。
S102,利用数据分析程序对采集的数据进行分析处理。
S103,利用加密算法对采集的数据进行加密操作。利用扩展程序对采集数据的数据库进行扩展。
S104,利用云服务器通过时域高通滤波算法对采集的数据进行云存储。
S105,利用显示器显示数据采集扩展控制系统界面及采集数据内容。
步骤S101中,本发明实施例提供的利用RSSI差分校正的最小二乘法采集主机数据,提高数据采集速度,保证采集主机数据的准确性,有利于进一步对数据分析处理结果的准确性。具体方法为:
设某一未知节点p坐标为(x,y)测得到m个信标节点的距离,第i个信标节点的坐标为(xi,yi),未知节点p到信标节点i的距离为di
假n个未知节点,则未知节点p的坐标可以根据下式方程组估计。
上述方程组可以转化为AX=b的形式。其中,
因此,方程AX=b利用最小二乘法解未知节点的估计坐标为:
步骤S103中,本发明实施例提供的数据加密方法为:
(1)通过数据采集主机采集数据,读取原始算法数据。
(2)从原始算法数据中选取预设范围内的算法数据,并通过加密算法得到对应的加密参数,所述加密参数包括加密系数、加密向量中的至少一种。
(3)将加密参数插入原始算法数据中的预设位置,得到加密后的算法数据,提高数据的安全性。
步骤S103中,本发明提供的步骤(2)中,选取的算法数据的位宽相同,大小在预设范围内。
步骤S103中,本发明提供的步骤(2)中,加密参数的位宽和选取的算法数据的位宽相同,加密参数的大小在预设范围内。
步骤S103中,本发明提供的步骤(2)中的加密参数为加密系数,所述加密系数为Ai(i=1,2,3…N)中的至少一个,N为加密系数的个数,选取的算法数据B1、B2、B3…Bn对应的权值分别为α1、α2、α3…αn,且所有权值之和为1或趋向于1。加密系数Ai的获取方法为:
对权值α1、α2、α3…αn分别N种顺序进行排列,算法数据按B1、B2、B3…Bn排列。
对权值的第i种排列顺序,将所有对应位置处的权值α和算法数据B相乘后,进行求和,得到对应的加密系数Ai
步骤S103中,本发明提供的步骤(2)中的加密参数为加密向量,所述加密向量为Dj(j=1,2,3…M)中的至少一个,M为加密向量的个数,获取原始算法数据B1、B2、B3…Bn对应的权值分别为α1、α2、α3…αn,且α1、α2、α3…αn之和为1或趋向于1。
加密向量Dj的获取方法为:
对权值α1、α2、α3…αn分别N种顺序进行排列,算法数据按B1、B2、B3…Bn排列。
对权值的第i种排列顺序,将所有对应位置处的权值α和算法数据B相乘后,进行求和,得到对应的加密系数Ai
将全部或部分加密系数Ai加入原始算法数据中得到新的数据向量{C1,C2,C3,…,Cm}。m为原始算法数据个数n和加入的加密系数个数之和。
获取数据向量C1、C2、C3…Cm对应的权值分别为β1、β2、β3…βm,且β1、β2、β3…βm之和为1或趋向于1。
对权值β1、β2、β3…βm分别M种顺序进行排列,数据向量按C1、C2、C3…Cm
对权值的第j种排列顺序,将所有对应位置处的权值β和数据向量C相乘后,进行求和,得到对应的加密系数Dj
所述“对权值α1、α2、α3…αn分别N种顺序进行排列”具体为:
下标n按最大到最小排列、按最小到最大排列、按某权值正向依次排列、按某数值倒向依次排列、按先奇数后偶数排列、按先偶数后奇数排列中一种或多种的组合对权值α进行排列。
步骤S104中,本发明实施例提供的利用云服务器通过时域高通滤波算法,保证采集数据的准确性,提高存储内容的准确性,提高系统的运行质量。具体的算法为:
y(n)=x(n)-f(n)
式中,M为根据截止频率而预先设定的时间常量,x(n)为第n帧的输入,f(n)为第n帧的低通输出,y(n)为校正后输出。
步骤S106利用云服务器对采集的数据进行云存储中,若任意由“0,1”确定的二进制系统编码矩阵为Gr·m,Gr·m为由“0,1”构成的二进制矩阵,该矩阵用于产生冗余数据,具体表示为:
根据二进制编码矩阵的行向量l1,l2,…,lr·m中“1”的个数确定出根据该向量计算校验位时所需要的XOR计算次数,并计算任意两向量la,lb之间不相同的位数。
步骤S106利用云服务器对采集的数据进行云存储中,若向量la中元素为“1”的位数为k,则系统利用该向量进行产生冗余数据需要进行k-1次XOR运算。
针对整个编码矩阵Gr·m对原始文件进行编码计算的优化流程如下:
A:根据编码矩阵中Gr·m的每一行向量中“1”的个数,确定出根据该行向量计算校验位所需要的XOR次数,行向量中“1”的个数用k来标记,则利用该行向量计算校验位所需要的XOR次数为(k-1)m,其中m为每个参与校验计算的原始数据块的大小;
B:比较编码矩阵中任意两个行向量之间的元素相同位与元素不同位的个数,记为(e/d),其中e表示两个向量中元素相同的位个数;d表示两个向量中元素不同的位个数;
C:若某一行向量li(1≤i≤r·m)所需要的XOR次数小于或等于步骤B中不同位数d,则直接根据该向量计算出该行所对应的校验数据块,并将该向量记为lj
D:利用步骤C中确定的向量lj,根据步骤B中相同位数与不同位数之比,确定下一个计算行向量,当某行向量lk与向量lj不同位数小于相同位数,且lk与向量lj不同位数与其余各个向量不同位数达到最小时,则根据向量lj已计算出的校验数据来计算由lk确定的校验数据;
E:若仍有未计算校验位,则按照步骤D中计算规则,以lk为基础向量,寻找下一待计算向量,并返回步骤D;
F:是否已确定全部校验位计算过程,若是,则保存校验位依次计算过程,若否,则按照原始对应关系进行计算。
如图2所示,本发明提供的数据采集扩展控制系统包括:数据采集模块1、主控模块2、网络通信模块3、数据分析模块4、数据加密模块5、数据库扩展模块6、云服务模块7、显示模块8。
数据采集模块1,与主控模块2连接,用于通过数据采集主机采集数据。
主控模块2,与数据采集模块1、网络通信模块3、数据分析模块4、数据加密模块5、数据库扩展模块6、云服务模块7、显示模块8连接,用于通过单片机控制各个模块正常工作。
网络通信模块3,与主控模块2连接,用于通过网卡连接互联网进行网络数据通信。
数据分析模块4,与主控模块2连接,用于通过数据分析程序对采集的数据进行分析处理。
数据加密模块5,与主控模块2连接,用于通过加密算法对采集的数据进行加密操作。
数据库扩展模块6,与主控模块2连接,用于通过扩展程序对采集数据的数据库进行扩展。
云服务模块7,与主控模块2连接,用于通过云服务器对采集的数据进行云存储。
显示模块8,与主控模块2连接,用于通过显示器显示数据采集扩展控制系统界面及采集数据内容。
本发明提供的数据库扩展模块6扩展方法包括:
1)将采集的数据存储到数据库中,创建数据库中心节点。
2)创建数据库数据节点。
3)部署中间层节点,该中间层节点根据负载权重按概率选择数据节点。
4)在所述数据库数据节点上冗余创建数据表。
5)在所述中间层节点上创建远程表。
6)通过中间层节点进行数据查询,并将数据查询结果发送至客户端。
本发明提供的中心节点用于收集数据表的分布信息,并响应中间层节点的表分布信息查询。
本发明提供的分别配置数据库数据节点和中间层节点的中心节点信息,并指定所述中心节点连接信息。
本发明提供的中心节点连接信息包括:主中心数据库服务、备用中心数据库服务、IP和端口号。
本发明提供的中间层节点用于查询中心节点远程表的数据表分布信息。
本发明提供的在多个数据库数据节点上创建数据表,其中,不同结构的数据表使用不同的名称。
以上所述仅是对本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所做的任何简单修改,等同变化与修饰,均属于本发明技术方案的范围内。

Claims (10)

1.一种数据采集扩展控制系统的数据采集方法,其特征在于,所述数据采集扩展控制系统的数据采集方法包括以下步骤:
步骤一,利用数据采集主机采集数据;
步骤二,利用网卡连接互联网进行网络数据通信;
步骤三,利用数据分析程序对采集的数据进行分析处理;
步骤四,利用加密算法对采集的数据进行加密操作;
步骤五,利用扩展程序对采集数据的数据库进行扩展;
步骤六,利用云服务器对采集的数据进行云存储;
步骤七,利用显示器显示数据采集扩展控制系统界面及采集数据内容。
2.如权利要求1所述数据采集扩展控制系统的数据采集方法,其特征在于,所述数据加密模块加密方法包括:
(1)通过数据采集主机采集数据,读取原始算法数据;
(2)从原始算法数据中选取预设范围内的算法数据,并通过加密算法得到对应的加密参数,所述加密参数包括加密系数、加密向量中的至少一种;
(3)将加密参数插入原始算法数据中的预设位置,得到加密后的算法数据。
3.如权利要求2所述数据采集扩展控制系统的数据采集方法,其特征在于,所述步骤(2)中,选取的算法数据的位宽相同,大小在预设范围内;
所述步骤(2)中,加密参数的位宽和选取的算法数据的位宽相同,加密参数的大小在预设范围内;
所述步骤(2)中的加密参数为加密系数,所述加密系数为Ai(i=1,2,3…N)中的至少一个,N为加密系数的个数,选取的算法数据B1、B2、B3…Bn对应的权值分别为α1、α2、α3…αn,且所有权值之和为1或趋向于1;加密系数Ai的获取方法为:
对权值α1、α2、α3…αn分别N种顺序进行排列,算法数据按B1、B2、B3…Bn排列;
对权值的第i种排列顺序,将所有对应位置处的权值α和算法数据B相乘后,进行求和,得到对应的加密系数Ai
4.如权利要求2所述数据采集扩展控制系统的数据采集方法,其特征在于,所述步骤(2)中的加密参数为加密向量,所述加密向量为Dj(j=1,2,3…M)中的至少一个,M为加密向量的个数,获取原始算法数据B1、B2、B3…Bn对应的权值分别为α1、α2、α3…αn,且α1、α2、α3…αn之和为1或趋向于1;
加密向量Dj的获取方法为:
对权值α1、α2、α3…αn分别N种顺序进行排列,算法数据按B1、B2、B3…Bn排列;
对权值的第i种排列顺序,将所有对应位置处的权值α和算法数据B相乘后,进行求和,得到对应的加密系数Ai
将全部或部分加密系数Ai加入原始算法数据中得到新的数据向量{C1,C2,C3,…,Cm};m为原始算法数据个数n和加入的加密系数个数之和;
获取数据向量C1、C2、C3…Cm对应的权值分别为β1、β2、β3…βm,且β1、β2、β3…βm之和为1或趋向于1;
对权值β1、β2、β3…βm分别M种顺序进行排列,数据向量按C1、C2、C3…Cm
对权值的第j种排列顺序,将所有对应位置处的权值β和数据向量C相乘后,进行求和,得到对应的加密系数Dj
所述“对权值α1、α2、α3…αn分别N种顺序进行排列”具体为:
下标n按最大到最小排列、按最小到最大排列、按某权值正向依次排列、按某数值倒向依次排列、按先奇数后偶数排列、按先偶数后奇数排列中一种或多种的组合对权值α进行排列。
5.如权利要求1所述数据采集扩展控制系统的数据采集方法,其特征在于,所述数据库扩展模块扩展方法包括:
1)将采集的数据存储到数据库中,创建数据库中心节点;
2)创建数据库数据节点;
3)部署中间层节点,该中间层节点根据负载权重按概率选择数据节点;
4)在所述数据库数据节点上冗余创建数据表;
5)在所述中间层节点上创建远程表;
6)通过中间层节点进行数据查询,并将数据查询结果发送至客户端。
6.如权利要求5所述数据采集扩展控制系统的数据采集方法,其特征在于,所述中心节点用于收集数据表的分布信息,并响应中间层节点的表分布信息查询;
所述分别配置数据库数据节点和中间层节点的中心节点信息,并指定所述中心节点连接信息。
7.如权利要求5所述数据采集扩展控制系统的数据采集方法,其特征在于,所述中心节点连接信息包括:主中心数据库服务、备用中心数据库服务、IP和端口号;
所述中间层节点用于查询中心节点远程表的数据表分布信息;
所述在多个数据库数据节点上创建数据表,其中,不同结构的数据表使用不同的名称。
8.如权利要求1所述数据采集扩展控制系统的数据采集方法,其特征在于,
步骤六利用云服务器对采集的数据进行云存储中,若任意由“0,1”确定的二进制系统编码矩阵为Gr·m,Gr·m为由“0,1”构成的二进制矩阵,该矩阵用于产生冗余数据,具体表示为:
根据二进制编码矩阵的行向量l1,l2,…,lr·m中“1”的个数确定出根据该向量计算校验位时所需要的XOR计算次数,并计算任意两向量la,lb之间不相同的位数。
9.如权利要求8所述数据采集扩展控制系统的数据采集方法,其特征在于,
步骤六利用云服务器对采集的数据进行云存储中,若向量la中元素为“1”的位数为k,则系统利用该向量进行产生冗余数据需要进行k-1次XOR运算。
10.一种如权利要求1所述数据采集扩展控制系统的数据采集方法的数据采集扩展控制系统,其特征在于,所述数据采集扩展控制系统系统包括:
数据采集模块,与主控模块连接,用于通过数据采集主机采集数据;
主控模块,与数据采集模块、网络通信模块、数据分析模块、数据加密模块、数据库扩展模块、云服务模块、显示模块连接,用于通过单片机控制各个模块正常工作;
网络通信模块,与主控模块连接,用于通过网卡连接互联网进行网络数据通信;
数据分析模块,与主控模块连接,用于通过数据分析程序对采集的数据进行分析处理;
数据加密模块,与主控模块连接,用于通过加密算法对采集的数据进行加密操作;
数据库扩展模块,与主控模块连接,用于通过扩展程序对采集数据的数据库进行扩展;
云服务模块,与主控模块连接,用于通过云服务器对采集的数据进行云存储;
显示模块,与主控模块连接,用于通过显示器显示数据采集扩展控制系统界面及采集数据内容。
CN201910331712.4A 2019-04-24 2019-04-24 一种数据采集扩展控制系统及其数据采集方法 Pending CN110109960A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910331712.4A CN110109960A (zh) 2019-04-24 2019-04-24 一种数据采集扩展控制系统及其数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910331712.4A CN110109960A (zh) 2019-04-24 2019-04-24 一种数据采集扩展控制系统及其数据采集方法

Publications (1)

Publication Number Publication Date
CN110109960A true CN110109960A (zh) 2019-08-09

Family

ID=67486414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910331712.4A Pending CN110109960A (zh) 2019-04-24 2019-04-24 一种数据采集扩展控制系统及其数据采集方法

Country Status (1)

Country Link
CN (1) CN110109960A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486059A (zh) * 2020-11-18 2021-03-12 厦门物之联智能科技有限公司 一种数据采集扩展控制系统及其数据采集方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462435A (zh) * 2014-12-15 2015-03-25 同方知网数字出版技术股份有限公司 一种分布式数据库横向扩展方法
CN106325126A (zh) * 2016-08-26 2017-01-11 广州能迪能源科技股份有限公司 一种数据采集扩展控制系统及其数据采集方法
CN106921393A (zh) * 2017-03-02 2017-07-04 湖南城市学院 一种基于计算机取证的数字证据完整性保存控制系统
CN108234111A (zh) * 2017-12-29 2018-06-29 深圳市华星光电技术有限公司 数据处理方法
CN109657494A (zh) * 2018-12-18 2019-04-19 吉林化工学院 一种基于云计算平台的数据处理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462435A (zh) * 2014-12-15 2015-03-25 同方知网数字出版技术股份有限公司 一种分布式数据库横向扩展方法
CN106325126A (zh) * 2016-08-26 2017-01-11 广州能迪能源科技股份有限公司 一种数据采集扩展控制系统及其数据采集方法
CN106921393A (zh) * 2017-03-02 2017-07-04 湖南城市学院 一种基于计算机取证的数字证据完整性保存控制系统
CN108234111A (zh) * 2017-12-29 2018-06-29 深圳市华星光电技术有限公司 数据处理方法
CN109657494A (zh) * 2018-12-18 2019-04-19 吉林化工学院 一种基于云计算平台的数据处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486059A (zh) * 2020-11-18 2021-03-12 厦门物之联智能科技有限公司 一种数据采集扩展控制系统及其数据采集方法

Similar Documents

Publication Publication Date Title
CN111125089B (zh) 时序数据存储方法、装置、服务器及存储介质
CN105184394B (zh) 基于配电网cps在线数据挖掘的优化控制方法
CN106327055A (zh) 一种基于大数据技术的电力费控方法及系统
CN107766529B (zh) 一种用于污水处理行业的海量数据存储方法
CN107330056A (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN110570030A (zh) 基于深度学习的风电集群功率区间预测的方法及系统
CN106708989A (zh) 基于空间时序数据流应用的Skyline查询方法
CN106777093A (zh) 基于空间时序数据流应用的Skyline查询系统
CN104133143B (zh) 一种基于Hadoop云计算平台的电网线路故障诊断系统及方法
CN103838649B (zh) 一种降低二进制编码存储系统中计算量的方法
CN111586091A (zh) 一种实现算力组配的边缘计算网关系统
CN109034232B (zh) 城市规划条件核实成果报告的自动化输出系统及控制方法
Dong et al. Forecasting smart meter energy usage using distributed systems and machine learning
CN110109960A (zh) 一种数据采集扩展控制系统及其数据采集方法
CN113326343B (zh) 基于多级网格和文件索引的路网数据存储方法及系统
CN104580518A (zh) 一种用于存储系统的负载均衡控制方法
CN108920110A (zh) 一种基于内存计算模式的并行处理大数据存储系统及方法
CN116316617B (zh) 多场站智能融合的新能源发电功率区域预测方法和系统
CN106127602B (zh) 一种基于约简离群点算法的窃电辨识方法及装置
CN106921393A (zh) 一种基于计算机取证的数字证据完整性保存控制系统
CN105471650A (zh) 一种针对hp2p网络系统信誉评价方法
Ye et al. A method of repairing single node failure in the distributed storage system based on the regenerating-code and a hybrid genetic algorithm
CN105608638B (zh) 一种判定智能终端与电能表的表码数据同步状态的方法及其系统
Jiang Design and implementation of smart community big data dynamic analysis model based on logistic regression model
CN115085985A (zh) 一种用于网络安全监测的内存高效范围基数测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination