CN117271647A - 一种依托分布式数据库实现服务器间数据交换系统 - Google Patents
一种依托分布式数据库实现服务器间数据交换系统 Download PDFInfo
- Publication number
- CN117271647A CN117271647A CN202311517464.5A CN202311517464A CN117271647A CN 117271647 A CN117271647 A CN 117271647A CN 202311517464 A CN202311517464 A CN 202311517464A CN 117271647 A CN117271647 A CN 117271647A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- sub
- processed
- servers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 238000007405 data analysis Methods 0.000 claims abstract description 23
- 230000010354 integration Effects 0.000 claims abstract description 22
- 230000000977 initiatory effect Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000013481 data capture Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 11
- 230000008901 benefit Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域，公开了一种依托分布式数据库实现服务器间数据交换系统，该系统包括数据采集模块、数据处理模块、数据分析模块、数据请求模块、数据交换模块和数据传输模块，通过采集不同地理位置的服务器产生的第一待处理数据，将第一待处理数据传输至分布式数据库；对采集到的第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；对第二待处理数据进行数据分析，发起数据交换请求，确定数据消费者的服务器，并获取数据消费者的服务器对应的数据通道；提取数据交换请求中携带的需求数据信息，提取数据单元；通过数据通道加密传输数据单元至数据消费者的服务器；本发明提高了数据交换的效率和安全性。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种依托分布式数据库实现服务器间数据交换系统。
背景技术
随着信息化的发展，建立统一的数据中心将成为趋势，分布式架构中包括多个节点，每个节点具有数据处理能力和数据存储能力，节点间可以共享数据资源，并发的多个数据会造成数据冲突，无法对持续产生的大量数据进行数据交换，数据交换的效率较低，因此，研究一种依托分布式数据库实现服务器间数据交换系统对于数据交换效率具有重要的意义。
发明内容
本发明的目的是为了解决上述问题，设计了一种依托分布式数据库实现服务器间数据交换系统。
本发明提供一种依托分布式数据库实现服务器间数据交换系统，所述依托分布式数据库实现服务器间数据交换系统包括数据采集模块、数据处理模块、数据分析模块、数据请求模块、数据交换模块和数据传输模块，其中，
数据采集模块，用于采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库；
数据处理模块，用于对采集到的所述第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；
数据分析模块，用于对所述第二待处理数据进行数据分析，并将分析后得到的数据进行划分，得到多个数据单元，并将所述数据单元传入到数据传输节点中；
数据请求模块，用于发起数据交换请求，基于所述数据交换请求确定数据消费者的服务器，并获取所述数据消费者的服务器对应的数据通道；
数据交换模块，用于提取所述数据交换请求中携带的需求数据信息，从所述数据传输节点中提取所述需求数据信息对应的数据单元；
数据传输模块，用于通过所述数据通道加密传输所述需求数据信息对应的数据单元至数据消费者的服务器。
可选的，在本发明第一种实现方式中，所述数据采集模块包括抽取子模块、运行子模块和抓取子模块，其中，
抽取子模块，用于建立数据抓取任务，从所述数据抓取任务中确定需要抽取的数据元素，根据所述数据元素从不同地理位置的服务器中抽取数据，得到初始数据；
运行子模块，用于对所述初始数据进行第一数据清洗，并确定数据字段，判断所述初始数据是否符合目标格式，若是，则运行数据抓取任务，通过数据抓取工具将从不同地理位置的服务器中进行抓取，得到抓取的数据；
抓取子模块，用于对所述抓取的数据进行第二数据清洗和数据处理，以去除重复项和处理缺失值，得到第一待处理数据。
可选的，在本发明第二种实现方式中，所述数据处理模块包括聚类子模块、计算子模块、求解子模块和标准化子模块，其中，
聚类子模块，用于读取所述第一待处理数据，建立多个基本聚类，计算多个基础聚类中存在相同数据点的聚类簇，得到聚类簇结果；
计算子模块，用于计算所述聚类簇结果的相似度，得到相似度结果，并基于所述相似度结果计算所述第一待处理数据的整合信息熵；
求解子模块，用于以所述整合信息熵为初始聚类中心选择标准，重复求解整合信息熵，直至不产生新的聚类，输出所述第一待处理数据的数据整合结果；
标准化子模块，用于对所述数据整合结果得到的数据进行数据标准化处理，得到第二待处理数据。
可选的，在本发明第三种实现方式中，所述数据分析模块包括初始化子模块、降序排序子模块和判断子模块，其中，
初始化子模块，用于初始化LightGBM模型参数，输入迭代步数、大梯度数据采样率、小梯度数据采样率和损失函数；
降序排序子模块，用于将梯度绝对值进行降序排序，得到排序结果生成一个大梯度样本点的子集和一个小梯度样本点的子集，合并大梯度样本与小梯度样本；
判断子模块，用于将小梯度样本与权重系数因子相乘，使用采样后的样本学习一个新的弱学习器，判断是否达到迭代次数或者模型是否收敛，若是则输出训练好的数据分析模型。
可选的，在本发明第四种实现方式中，所述判断子模块包括选取单元、计算单元、比较单元和输出单元，其中，
选取单元，用于通过均匀随机采样得到的超参数，选取前n个元素放入第一结果集合中，其中n不等于0；
计算单元，用于从所述第一结果集合中选取随机数，并计算各元素的特征值，得到第一特征值集合，将所述第一特征值集合中最小的特征值作为评判阈值；
比较单元，用于将所述第一结果集合之外的元素计算出各元素的特征值，得到第二特征值集合，将所述第二特征值集合与所述评判阈值进行比较，若所述第二特征值集合中的值大于所述评判阈值，则用所述第二特征值集合中的值所对应的元素替换所述第一结果集合中拥有最小特征值的元素；
输出单元，用于通过排序，直至将元素全部替换完成，得到最终的第二结果集合，根据超参数所对应的验证误差，将所述第二结果集合连续减半，将最后一组超参数设置作为最优超参数输出。
可选的，在本发明第五种实现方式中，所述数据请求模块包括构造子模块、转换子模块和选择子模块，其中，
构造子模块，用于获取数据消费者的服务器的神经网络处理器单元，构造决策矩阵，其中所述决策矩阵的集合至少包括神经网络处理器单元的动态参数；
转换子模块，用于选取成本权重值和效益权重值，基于所述成本权重值和效益权重值将所述矩阵转换为规范化矩阵；
选择子模块，用于计算所述规范化矩阵中可用神经网络处理器单元的加权平均值，并选择加权平均值最高的神经网络处理器单元作为所述数据消费者的服务器对应的数据通道。
可选的，在本发明第六种实现方式中，所述数据传输模块包括选择子模块、数据聚拢子模块和密文转换子模块，其中，
选择子模块，用于随机选择初始第一素数和初始第二素数，将所述初始第一素数与初始第二素数作为两个因数，并基于所述初始第一素数与初始第二素数构建数据单元中的核心数据的提取函数；
数据聚拢子模块，用于设定RSA算法的最大素数长度为100位，采用十进制机制对所述核心数据的提取函数进行数据聚拢，并数据聚拢到200位以下，得到当前第一素数和当前第二素数，将所述当前第一素数和当前第二素数作为RSA算法加密过程中的加密参数，得到所述需求数据信息对应的数据单元加密传输中的子密钥；
密文转换子模块，用于通过所述子密钥对所述需求数据信息对应的数据单元进行密文转换，得到传输密文数据，将所述传输密文数据传输至数据消费者的服务器。
可选的，在本发明第七种实现方式中，所述依托分布式数据库实现服务器间数据交换系统的运行方法包括以下步骤：
采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库；
对采集到的所述第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；
对所述第二待处理数据进行数据分析，并将分析后得到的数据进行划分，得到多个数据单元，并将所述数据单元传入到数据传输节点中；
发起数据交换请求，基于所述数据交换请求确定数据消费者的服务器，并获取所述数据消费者的服务器对应的数据通道；
提取所述数据交换请求中携带的需求数据信息，从所述数据传输节点中提取所述需求数据信息对应的数据单元；
通过所述数据通道加密传输所述需求数据信息对应的数据单元至数据消费者的服务器。
可选的，在本发明第八种实现方式中，所述采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库，包括：
建立数据抓取任务，从所述数据抓取任务中确定需要抽取的数据元素，根据所述数据元素从不同地理位置的服务器中抽取数据，得到初始数据；
对所述初始数据进行第一数据清洗，并确定数据字段，判断所述初始数据是否符合目标格式，若是，则运行数据抓取任务，通过数据抓取工具将从不同地理位置的服务器中进行抓取，得到抓取的数据。
可选的，在本发明第九种实现方式中，所述对采集到的所述第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据，包括：
读取所述第一待处理数据，建立多个基本聚类，计算多个基础聚类中存在相同数据点的聚类簇，得到聚类簇结果；
计算所述聚类簇结果的相似度，得到相似度结果，并基于所述相似度结果计算所述第一待处理数据的整合信息熵；
以所述整合信息熵为初始聚类中心选择标准，重复求解整合信息熵，直至不产生新的聚类，输出所述第一待处理数据的数据整合结果；
对所述数据整合结果得到的数据进行数据标准化处理，得到第二待处理数据。
本发明提供的技术方案中，该系统包括数据采集模块、数据处理模块、数据分析模块、数据请求模块、数据交换模块和数据传输模块，通过采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库；对采集到的所述第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；对所述第二待处理数据进行数据分析，并将分析后得到的数据进行划分，得到多个数据单元，并将所述数据单元传入到数据传输节点中；发起数据交换请求，基于所述数据交换请求确定数据消费者的服务器，并获取所述数据消费者的服务器对应的数据通道；提取所述数据交换请求中携带的需求数据信息，从所述数据传输节点中提取所述需求数据信息对应的数据单元；通过所述数据通道加密传输所述需求数据信息对应的数据单元至数据消费者的服务器；本发明提高了数据交换的效率和安全性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本发明实施例提供的依托分布式数据库实现服务器间数据交换系统的第一个结构示意图；
图2为本发明实施例提供的依托分布式数据库实现服务器间数据交换系统的第二个结构示意图；
图3为本发明实施例提供的依托分布式数据库实现服务器间数据交换系统的第三个结构示意图；
图4为本发明实施例提供的依托分布式数据库实现服务器间数据交换系统的第四个结构示意图。
具体实施方式
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、设备、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1本发明实施例提供的依托分布式数据库实现服务器间数据交换系统的第一个结构示意图，该系统包括数据采集模块、数据处理模块、数据分析模块、数据请求模块、数据交换模块和数据传输模块，其中，
数据采集模块101，用于采集不同地理位置的服务器产生的第一待处理数据，并将第一待处理数据传输至分布式数据库；
数据处理模块102，用于对采集到的第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；
数据分析模块103，用于对第二待处理数据进行数据分析，并将分析后得到的数据进行划分，得到多个数据单元，并将数据单元传入到数据传输节点中；
数据请求模块104，用于发起数据交换请求，基于数据交换请求确定数据消费者的服务器，并获取数据消费者的服务器对应的数据通道；
数据交换模块105，用于提取数据交换请求中携带的需求数据信息，从数据传输节点中提取需求数据信息对应的数据单元；
数据传输模块106，用于通过数据通道加密传输需求数据信息对应的数据单元至数据消费者的服务器。
本实施例中，数据采集模块包括抽取子模块、运行子模块和抓取子模块，其中，
抽取子模块，用于建立数据抓取任务，从数据抓取任务中确定需要抽取的数据元素，根据数据元素从不同地理位置的服务器中抽取数据，得到初始数据；
运行子模块，用于对初始数据进行第一数据清洗，并确定数据字段，判断初始数据是否符合目标格式，若是，则运行数据抓取任务，通过数据抓取工具将从不同地理位置的服务器中进行抓取，得到抓取的数据；
抓取子模块，用于对抓取的数据进行第二数据清洗和数据处理，以去除重复项和处理缺失值，得到第一待处理数据。
本实施例中，数据请求模块包括构造子模块、转换子模块和选择子模块，其中，
构造子模块，用于获取数据消费者的服务器的神经网络处理器单元，构造决策矩阵，其中决策矩阵的集合至少包括神经网络处理器单元的动态参数；
转换子模块，用于选取成本权重值和效益权重值，基于成本权重值和效益权重值将矩阵转换为规范化矩阵；
选择子模块，用于计算规范化矩阵中可用神经网络处理器单元的加权平均值，并选择加权平均值最高的神经网络处理器单元作为数据消费者的服务器对应的数据通道。
本实施例中，依托分布式数据库实现服务器间数据交换系统的运行方法包括以下步骤：
采集不同地理位置的服务器产生的第一待处理数据，并将第一待处理数据传输至分布式数据库；
对采集到的第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；
对第二待处理数据进行数据分析，并将分析后得到的数据进行划分，得到多个数据单元，并将数据单元传入到数据传输节点中；
发起数据交换请求，基于数据交换请求确定数据消费者的服务器，并获取数据消费者的服务器对应的数据通道；
提取数据交换请求中携带的需求数据信息，从数据传输节点中提取需求数据信息对应的数据单元；
通过数据通道加密传输需求数据信息对应的数据单元至数据消费者的服务器。
本实施例中，建立数据抓取任务，从数据抓取任务中确定需要抽取的数据元素，根据数据元素从不同地理位置的服务器中抽取数据，得到初始数据；对初始数据进行第一数据清洗，并确定数据字段，判断初始数据是否符合目标格式，若是，则运行数据抓取任务，通过数据抓取工具将从不同地理位置的服务器中进行抓取，得到抓取的数据；对抓取的数据进行第二数据清洗和数据处理，以去除重复项和处理缺失值，得到第一待处理数据。
本实施例中，读取第一待处理数据，建立多个基本聚类，计算多个基础聚类中存在相同数据点的聚类簇，得到聚类簇结果；计算聚类簇结果的相似度，得到相似度结果，并基于相似度结果计算第一待处理数据的整合信息熵；以整合信息熵为初始聚类中心选择标准，重复求解整合信息熵，直至不产生新的聚类，输出第一待处理数据的数据整合结果；对数据整合结果得到的数据进行数据标准化处理，得到第二待处理数据。
请参阅图2，本发明实施例提供的依托分布式数据库实现服务器间数据交换系统的第二个结构示意图，数据处理模块102包括聚类子模块、计算子模块、求解子模块和标准化子模块，其中，
聚类子模块1021，用于读取第一待处理数据，建立多个基本聚类，计算多个基础聚类中存在相同数据点的聚类簇，得到聚类簇结果；
计算子模块1022，用于计算聚类簇结果的相似度，得到相似度结果，并基于相似度结果计算第一待处理数据的整合信息熵；
求解子模块1023，用于以整合信息熵为初始聚类中心选择标准，重复求解整合信息熵，直至不产生新的聚类，输出第一待处理数据的数据整合结果；
标准化子模块1024，用于对数据整合结果得到的数据进行数据标准化处理，得到第二待处理数据。
请参阅图3，本发明实施例提供的依托分布式数据库实现服务器间数据交换系统的第三个结构示意图，数据分析模块103包括初始化子模块、降序排序子模块和判断子模块，其中，
初始化子模块1031，用于初始化LightGBM模型参数，输入迭代步数、大梯度数据采样率、小梯度数据采样率和损失函数；
降序排序子模块1032，用于将梯度绝对值进行降序排序，得到排序结果生成一个大梯度样本点的子集和一个小梯度样本点的子集，合并大梯度样本与小梯度样本；
判断子模块1033，用于将小梯度样本与权重系数因子相乘，使用采样后的样本学习一个新的弱学习器，判断是否达到迭代次数或者模型是否收敛，若是则输出训练好的数据分析模型。
本实施例中，判断子模块包括选取单元、计算单元、比较单元和输出单元，其中，
选取单元，用于通过均匀随机采样得到的超参数，选取前n个元素放入第一结果集合中，其中n不等于0；
计算单元，用于从第一结果集合中选取随机数，并计算各元素的特征值，得到第一特征值集合，将第一特征值集合中最小的特征值作为评判阈值；
比较单元，用于将第一结果集合之外的元素计算出各元素的特征值，得到第二特征值集合，将第二特征值集合与评判阈值进行比较，若第二特征值集合中的值大于评判阈值，则用第二特征值集合中的值所对应的元素替换第一结果集合中拥有最小特征值的元素；
输出单元，用于通过排序，直至将元素全部替换完成，得到最终的第二结果集合，根据超参数所对应的验证误差，将第二结果集合连续减半，将最后一组超参数设置作为最优超参数输出。
请参阅图4，本发明实施例提供的依托分布式数据库实现服务器间数据交换系统的第四个结构示意图，数据传输模块106包括选择子模块、数据聚拢子模块和密文转换子模块，其中，
选择子模块1061，用于随机选择初始第一素数和初始第二素数，将初始第一素数与初始第二素数作为两个因数，并基于初始第一素数与初始第二素数构建数据单元中的核心数据的提取函数；
数据聚拢子模块1062，用于设定RSA算法的最大素数长度为100位，采用十进制机制对核心数据的提取函数进行数据聚拢，并数据聚拢到200位以下，得到当前第一素数和当前第二素数，将当前第一素数和当前第二素数作为RSA算法加密过程中的加密参数，得到需求数据信息对应的数据单元加密传输中的子密钥；
密文转换子模块1063，用于通过子密钥对需求数据信息对应的数据单元进行密文转换，得到传输密文数据，将传输密文数据传输至数据消费者的服务器。
通过上述方案的实施，该系统包括数据采集模块、数据处理模块、数据分析模块、数据请求模块、数据交换模块和数据传输模块，本发明提高了数据交换的效率和安全性。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述依托分布式数据库实现服务器间数据交换系统包括数据采集模块、数据处理模块、数据分析模块、数据请求模块、数据交换模块和数据传输模块，其中，
数据采集模块，用于采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库；
数据处理模块，用于对采集到的所述第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；
数据分析模块，用于对所述第二待处理数据进行数据分析，并将分析后得到的数据进行划分，得到多个数据单元，并将所述数据单元传入到数据传输节点中；
数据请求模块，用于发起数据交换请求，基于所述数据交换请求确定数据消费者的服务器，并获取所述数据消费者的服务器对应的数据通道；
数据交换模块，用于提取所述数据交换请求中携带的需求数据信息，从所述数据传输节点中提取所述需求数据信息对应的数据单元；
数据传输模块，用于通过所述数据通道加密传输所述需求数据信息对应的数据单元至数据消费者的服务器。
2.如权利要求1所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述数据采集模块包括抽取子模块、运行子模块和抓取子模块，其中，
抽取子模块，用于建立数据抓取任务，从所述数据抓取任务中确定需要抽取的数据元素，根据所述数据元素从不同地理位置的服务器中抽取数据，得到初始数据；
运行子模块，用于对所述初始数据进行第一数据清洗，并确定数据字段，判断所述初始数据是否符合目标格式，若是，则运行数据抓取任务，通过数据抓取工具将从不同地理位置的服务器中进行抓取，得到抓取的数据；
抓取子模块，用于对所述抓取的数据进行第二数据清洗和数据处理，以去除重复项和处理缺失值，得到第一待处理数据。
3.如权利要求1所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述数据处理模块包括聚类子模块、计算子模块、求解子模块和标准化子模块，其中，
聚类子模块，用于读取所述第一待处理数据，建立多个基本聚类，计算多个基础聚类中存在相同数据点的聚类簇，得到聚类簇结果；
计算子模块，用于计算所述聚类簇结果的相似度，得到相似度结果，并基于所述相似度结果计算所述第一待处理数据的整合信息熵；
求解子模块，用于以所述整合信息熵为初始聚类中心选择标准，重复求解整合信息熵，直至不产生新的聚类，输出所述第一待处理数据的数据整合结果；
标准化子模块，用于对所述数据整合结果得到的数据进行数据标准化处理，得到第二待处理数据。
4.如权利要求1所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述数据分析模块包括初始化子模块、降序排序子模块和判断子模块，其中，
初始化子模块，用于初始化LightGBM模型参数，输入迭代步数、大梯度数据采样率、小梯度数据采样率和损失函数；
降序排序子模块，用于将梯度绝对值进行降序排序，得到排序结果生成一个大梯度样本点的子集和一个小梯度样本点的子集，合并大梯度样本与小梯度样本；
判断子模块，用于将小梯度样本与权重系数因子相乘，使用采样后的样本学习一个新的弱学习器，判断是否达到迭代次数或者模型是否收敛，若是则输出训练好的数据分析模型。
5.如权利要求4所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述判断子模块包括选取单元、计算单元、比较单元和输出单元，其中，
选取单元，用于通过均匀随机采样得到的超参数，选取前n个元素放入第一结果集合中，其中n不等于0；
计算单元，用于从所述第一结果集合中选取随机数，并计算各元素的特征值，得到第一特征值集合，将所述第一特征值集合中最小的特征值作为评判阈值；
比较单元，用于将所述第一结果集合之外的元素计算出各元素的特征值，得到第二特征值集合，将所述第二特征值集合与所述评判阈值进行比较，若所述第二特征值集合中的值大于所述评判阈值，则用所述第二特征值集合中的值所对应的元素替换所述第一结果集合中拥有最小特征值的元素；
输出单元，用于通过排序，直至将元素全部替换完成，得到最终的第二结果集合，根据超参数所对应的验证误差，将所述第二结果集合连续减半，将最后一组超参数设置作为最优超参数输出。
6.如权利要求1所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述数据请求模块包括构造子模块、转换子模块和选择子模块，其中，
构造子模块，用于获取数据消费者的服务器的神经网络处理器单元，构造决策矩阵，其中所述决策矩阵的集合至少包括神经网络处理器单元的动态参数；
转换子模块，用于选取成本权重值和效益权重值，基于所述成本权重值和效益权重值将所述矩阵转换为规范化矩阵；
选择子模块，用于计算所述规范化矩阵中可用神经网络处理器单元的加权平均值，并选择加权平均值最高的神经网络处理器单元作为所述数据消费者的服务器对应的数据通道。
7.如权利要求1所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述数据传输模块包括选择子模块、数据聚拢子模块和密文转换子模块，其中，
选择子模块，用于随机选择初始第一素数和初始第二素数，将所述初始第一素数与初始第二素数作为两个因数，并基于所述初始第一素数与初始第二素数构建数据单元中的核心数据的提取函数；
数据聚拢子模块，用于设定RSA算法的最大素数长度为100位，采用十进制机制对所述核心数据的提取函数进行数据聚拢，并数据聚拢到200位以下，得到当前第一素数和当前第二素数，将所述当前第一素数和当前第二素数作为RSA算法加密过程中的加密参数，得到所述需求数据信息对应的数据单元加密传输中的子密钥；
密文转换子模块，用于通过所述子密钥对所述需求数据信息对应的数据单元进行密文转换，得到传输密文数据，将所述传输密文数据传输至数据消费者的服务器。
8.如权利要求1所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述依托分布式数据库实现服务器间数据交换系统的运行方法包括以下步骤：
采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库；
对采集到的所述第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据；
对所述第二待处理数据进行数据分析，并将分析后得到的数据进行划分，得到多个数据单元，并将所述数据单元传入到数据传输节点中；
发起数据交换请求，基于所述数据交换请求确定数据消费者的服务器，并获取所述数据消费者的服务器对应的数据通道；
提取所述数据交换请求中携带的需求数据信息，从所述数据传输节点中提取所述需求数据信息对应的数据单元；
通过所述数据通道加密传输所述需求数据信息对应的数据单元至数据消费者的服务器。
9.如权利要求8所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述采集不同地理位置的服务器产生的第一待处理数据，并将所述第一待处理数据传输至分布式数据库，包括：
建立数据抓取任务，从所述数据抓取任务中确定需要抽取的数据元素，根据所述数据元素从不同地理位置的服务器中抽取数据，得到初始数据；
对所述初始数据进行第一数据清洗，并确定数据字段，判断所述初始数据是否符合目标格式，若是，则运行数据抓取任务，通过数据抓取工具将从不同地理位置的服务器中进行抓取，得到抓取的数据；
对所述抓取的数据进行第二数据清洗和数据处理，以去除重复项和处理缺失值，得到第一待处理数据。
10.如权利要求8所述的一种依托分布式数据库实现服务器间数据交换系统，其特征在于，所述对采集到的所述第一待处理数据进行数据整合及数据标准化处理，得到第二待处理数据，包括：
读取所述第一待处理数据，建立多个基本聚类，计算多个基础聚类中存在相同数据点的聚类簇，得到聚类簇结果；
计算所述聚类簇结果的相似度，得到相似度结果，并基于所述相似度结果计算所述第一待处理数据的整合信息熵；
以所述整合信息熵为初始聚类中心选择标准，重复求解整合信息熵，直至不产生新的聚类，输出所述第一待处理数据的数据整合结果；
对所述数据整合结果得到的数据进行数据标准化处理，得到第二待处理数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311517464.5A CN117271647B (zh) | 2023-11-15 | 2023-11-15 | 一种依托分布式数据库实现服务器间数据交换系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311517464.5A CN117271647B (zh) | 2023-11-15 | 2023-11-15 | 一种依托分布式数据库实现服务器间数据交换系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117271647A true CN117271647A (zh) | 2023-12-22 |
| CN117271647B CN117271647B (zh) | 2024-03-01 |
Family
ID=89214569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311517464.5A Active CN117271647B (zh) | 2023-11-15 | 2023-11-15 | 一种依托分布式数据库实现服务器间数据交换系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117271647B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473260A (zh) * | 2013-06-25 | 2013-12-25 | 北京控制工程研究所 | 一种面向并发olap的测试数据分层聚簇查询处理系统及方法 |
| WO2018219911A1 (en) * | 2017-05-31 | 2018-12-06 | Nokia Solutions And Networks Oy | Data exchange system, method and gateway module |
| US20180351949A1 (en) * | 2017-05-31 | 2018-12-06 | Intuit Inc. | Trustworthy data exchange using distributed databases |
| WO2021180585A1 (en) * | 2020-03-13 | 2021-09-16 | Siemens Aktiengesellschaft | Data exchange tool |
| CN115968541A (zh) * | 2020-08-21 | 2023-04-14 | 西门子股份公司 | 用于分布式数据库系统和设备之间的数据交换的方法、装置和系统 |
-
2023
- 2023-11-15 CN CN202311517464.5A patent/CN117271647B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473260A (zh) * | 2013-06-25 | 2013-12-25 | 北京控制工程研究所 | 一种面向并发olap的测试数据分层聚簇查询处理系统及方法 |
| WO2018219911A1 (en) * | 2017-05-31 | 2018-12-06 | Nokia Solutions And Networks Oy | Data exchange system, method and gateway module |
| US20180351949A1 (en) * | 2017-05-31 | 2018-12-06 | Intuit Inc. | Trustworthy data exchange using distributed databases |
| WO2021180585A1 (en) * | 2020-03-13 | 2021-09-16 | Siemens Aktiengesellschaft | Data exchange tool |
| CN115968541A (zh) * | 2020-08-21 | 2023-04-14 | 西门子股份公司 | 用于分布式数据库系统和设备之间的数据交换的方法、装置和系统 |
| US20230359642A1 (en) * | 2020-08-21 | 2023-11-09 | Siemens Aktiengesellschaft | Method, devices and system for data exchange between a distributed database system and devices |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117271647B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826648B (zh) | 一种利用时序聚类算法实现故障检测的方法 | |
| CN101459560B (zh) | 长流的识别方法、数据流量的测量方法及其设备 | |
| JP2019511764A (ja) | 質問を推薦する方法及び装置 | |
| CN112308124A (zh) | 一种面向用电信息采集系统的智能防窃电方法 | |
| CN116319110B (zh) | 针对工业多源异构时序数据的数据采集与治理方法 | |
| CN112559923A (zh) | 网址资源推荐方法、装置、电子设备及计算机存储介质 | |
| CN115565038A (zh) | 内容审核、内容审核模型的训练方法及相关装置 | |
| CN117271647B (zh) | 一种依托分布式数据库实现服务器间数据交换系统 | |
| CN116628728B (zh) | 一种基于特征感知的数据存储分析方法及系统 | |
| CN115757900B (zh) | 应用人工智能模型的用户需求分析方法及系统 | |
| CN113158134B (zh) | 非侵入式负荷辨识模型的构建方法、装置和存储介质 | |
| CN114117210A (zh) | 基于联邦学习的理财产品智能推荐方法及装置 | |
| CN110138303B (zh) | 一种交流电机控制性能特征识别网络模型构建方法及应用 | |
| CN111612783B (zh) | 一种数据质量评估方法及系统 | |
| CN114385436A (zh) | 服务器分组方法、装置、电子设备和存储介质 | |
| US20210271675A1 (en) | Systems and methods for enhancing time series data compression for improved data storage | |
| Huang et al. | Decentralized Federated Learning Via Mutual Knowledge Distillation | |
| Sivalakshmi et al. | Microarray image analysis using genetic algorithm | |
| CN111552808A (zh) | 一种基于卷积神经网络的行政违法案由预测方法及工具 | |
| CN111611483A (zh) | 一种对象画像构建方法、装置、设备及存储介质 | |
| CN115329118B (zh) | 一种面向垃圾图像的图像相似性检索方法及系统 | |
| CN117196996B (zh) | 一种数据资源的无接口交互管理方法及系统 | |
| CN111343165A (zh) | 基于birch和smote的网络入侵检测方法及系统 | |
| Guo et al. | Ifrat: An iot field recognition algorithm based on time-series data | |
| CN117422484B (zh) | 一种数字化营销协同数据处理系统、方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |