CN115146142A - 一种基于互联网的多源数据筛选系统 - Google Patents

Abstract

本发明公开了一种基于互联网的多源数据筛选系统，涉及数据处理技术领域，包括数据处理中心、数据筛选模块以及数据上链模块；数据处理中心接收到数据交互请求后，解析数据交互请求内容查找对应数据位置，并向交互系数最大的数据节点发送数据交互请求；以提高数据交互效率；数据节点在收到数据交互请求后，通过共享网络通道向接入该数据节点的每个网络平台获取一个数据切片返回给数据处理中心；数据筛选模块用于获取各网络平台返回的数据切片进行对象筛选，得到可信数据，实现良好的数据提取、数据处理以及数据呈现工作，提高数据真实性和用户体验感；数据处理中心还用于将获取的可信数据传输至数据上链模块进行上链存储，提高数据安全性。

Description

一种基于互联网的多源数据筛选系统

技术领域

本发明涉及数据处理技术领域，具体是一种基于互联网的多源数据筛选系统。

背景技术

伴随着计算机技术、通信技术、互联网技术的发展，数据积累的越来越多。面对激增的数据，人们希望能够挖掘出有价值的信息，从而可以更好地利用这些数据为人们服务。现代企业需要存储和处理的信息量越来越庞大，信息处理的需求也越来越复杂，应大量数据的采集和处理的需求，很多企业建立了自己的数据筛选系统；

但是现有的数据筛选系统其安防性能一般，缺乏良好的数据交互功能，难以起到良好的数据提取、数据处理以及数据呈现工作，同时各网络平台的数据相互交织，用户难以分辨真假；基于以上不足，本发明提出一种基于互联网的多源数据筛选系统。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于互联网的多源数据筛选系统。

为实现上述目的，根据本发明的第一方面的实施例提出一种基于互联网的多源数据筛选系统，包括请求上传模块、数据处理中心、节点监测模块、数据筛选模块以及数据上链模块；

所述请求上传模块用于用户发送获取跨平台数据的数据交互请求至数据处理中心；数据交互请求携带有用户标识和消息属性标识；

所述数据处理中心接收到数据交互请求后，解析数据交互请求内容查找对应数据位置，并向交互系数GHi最大的数据节点发送数据交互请求；所述数据节点在收到数据交互请求后，通过共享网络通道向接入该数据节点的每个网络平台获取一个数据切片返回给数据处理中心；其中数据切片中包含的对象均满足第一预设条件和第二预设条件；

所述数据筛选模块与数据处理中心相连接，用于获取各网络平台返回的数据切片进行对象筛选，具体筛选过程如下：

对数据切片中的所有对象进行查重分析；对被认为是同一对象的对象进行访问吸引系数比较，将访问吸引系数最大的对象作为标准对象；

统计标准对象在每个网络平台的重合数量为Li，对标准对象的可信系数TG进行评估；若TG大于可信阈值，则将对应标准对象标记为可信数据；

所述数据筛选模块用于将可信数据经数据处理中心反馈至用户终端；所述数据处理中心还用于将获取的可信数据传输至数据上链模块进行上链存储。

进一步地，所述数据处理中心包括若干个数据节点，所述节点监测模块用于对数据节点进行交互监测，具体监测步骤为：

将数据节点的接入网络平台数量标记为Ni；获取每个数据节点在当前时刻下的交互状态数据，计算得到对应数据节点的负载系数FZi；

建立负载系数FZi随时间变化的曲线图；若FZ≥负载阈值，则在对应的曲线图中截取对应的曲线段并进行标注，记为超负曲线段；根据超负曲线段的出现情况对负载偏值ZPi进行评估；利用公式

计算得到对应数据节点的交互系数GHi，其中g1、g2均为系数因子。

进一步地，负载偏值ZPi的具体评估过程为：

在预设时间段内，统计超负曲线段的数量为W1，将所有的超负曲线段对时间进行积分得到超负参考能量WE1；利用公式ZPi＝W1×b5+WE1×b6计算得到对应数据节点的负载偏值ZPi，其中b5、b6均为系数因子。

进一步地，所述第一预设条件为：与数据交互请求中的用户标识和消息属性标识相对应；所述第二预设条件为：对象的访问吸引系数大于过滤门限且对象数量不大于获取数量。

进一步地，其中，访问吸引系数的具体计算方法为：

在预设时间段内，采集数据切片中每个对象的访问记录；针对某个对象，统计该对象的访问次数为Xb；将每次访问的访问时长标记为FT，访问行为值标记为FZ；利用公式FW＝FT×g3+FZ×g4计算得到访问值FW，其中g3、g4为系数因子；统计FW大于访问阈值的次数为P1；

当FW大于访问阈值时，获取FW与访问阈值的差值并求和得到超访总值CZ；利用公式CF＝P1×g5+CZ×g6计算得到超访系数CF，其中g5、g6为系数因子；利用公式

计算得到对应对象的访问吸引系数FX，其中r1、r2为系数因子。

进一步地，若用户对该对象有分享、收藏或转发行为，则FZ＝1，否则FZ＝0。

进一步地，其中，可信系数TG的具体评估过程为：

统计标准对象在每个网络平台的重合数量为Li；统计重合数量Li大于0的网络平台数量为LS；将重合数量Li与重合阈值相比较；

统计Li大于重合阈值的次数为Lt，将对应Li与重合阈值的差值进行求和得到超重总值LZ；利用公式CS＝Lt×r3+LZ×r4计算得到超重系数CS，其中r3、r4为系数因子；利用公式TG＝LS×r5+CS×r6计算得到对应标准对象的可信系数TG，其中r5、r6为系数因子。

进一步地，所述数据上链模块的具体上链步骤为：

获取每条区块链的剩余内存并标记为Ny；在预设时间内，采集每条区块链的清理记录，针对某条区块链，统计对应区块链的清理次数为Q1；

将每次清理的清存量标记为QCn；统计QCn大于清存阈值的次数占比为Zb；当QCn大于清存阈值时，获取QCn与清存阈值的差值并求和得到清存超值QZ；利用公式CG＝Zb×a1+QZ×a2计算得到清超值CG，其中a1、a2为系数因子；利用公式DLy＝Q1×a3+CG×a4计算得到对应区块链的清理系数DLy，其中a3、a4为系数因子；

利用公式CPy＝(Ny×a5)/(DLy×a6)计算得到区块链的上链配值CPy，其中a5、a6为系数因子；选取上链配值CPy最大的区块链为选中区块链；所述数据上链模块用于将接收到的可信数据存储至选中区块链。

与现有技术相比，本发明的有益效果是：

1、本发明中所述节点监测模块与数据处理中心相连接，用于对数据节点进行交互监测；结合数据节点的接入网络平台数量和负载系数FZi随时间变化的曲线图，计算得到对应数据节点的交互系数GHi；数据处理中心接收到数据交互请求后，解析数据交互请求内容查找对应数据位置，向交互系数GHi最大的数据节点发送数据交互请求；数据节点在收到数据交互请求后，通过共享网络通道向接入该数据节点的每个网络平台获取一个数据切片返回给数据处理中心；以提高数据交互效率；

2、本发明中数据筛选模块用于获取各网络平台返回的数据切片进行对象筛选；对数据切片中的所有对象进行查重分析，对被认为是同一对象的对象进行访问吸引系数比较，将访问吸引系数最大的对象作为标准对象；根据标准对象在每个网络平台的重合数量对可信系数TG进行评估；若TG大于可信阈值，则将对应标准对象标记为可信数据；并将可信数据传输至用户终端，实现良好的数据提取、数据处理以及数据呈现工作，提高数据真实性和用户体验感；

3、本发明中数据处理中心还用于将获取的可信数据传输至数据上链模块进行上链存储，提高数据安全；结合区块链的剩余内存Ny和清理系数DLy，计算得到区块链的上链配值CPy；选取上链配值CPy最大的区块链为选中区块链；数据上链模块用于将接收到的可信数据存储至选中区块链；本发明能够根据区块链的剩余内存以及清理情况合理选择对应的区块链进行数据上链存储，减少可信数据被清理的可能性，方便其他用户查询，同时提高数据存储效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于互联网的多源数据筛选系统的系统框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种基于互联网的多源数据筛选系统，包括请求上传模块、数据处理中心、节点监测模块、数据库、数据筛选模块以及数据上链模块；

请求上传模块用于用户发送获取跨平台数据的数据交互请求至数据处理中心；其中，数据交互请求携带有用户标识和消息属性标识；

其中，数据处理中心包括若干个数据节点，节点监测模块与数据处理中心相连接，用于对数据节点进行交互监测，具体监测步骤为：

在本实施例中，每个数据节点均接入若干个网络平台，以获取跨平台数据；将数据节点的接入网络平台数量标记为Ni；

获取每个数据节点在当前时刻下的交互状态数据，交互状态数据包括CPU负载率、读写负载率和带宽负载率；将数据节点的CPU负载率、读写负载率和带宽负载率依次标记Fi、Di以及Ki；

利用公式FZi＝Fi×b1+Di×b2+Ki×b3计算得到对应数据节点的负载系数FZi，其中b1、b2、b3均为系数因子；建立负载系数FZi随时间变化的曲线图，将负载系数FZi与负载阈值相比较，若FZ≥负载阈值，则在对应的曲线图中截取对应的曲线段并进行标注，记为超负曲线段；

在预设时间段内，统计超负曲线段的数量为W1，将所有的超负曲线段对时间进行积分得到超负参考能量WE1；利用公式ZPi＝W1×b5+WE1×b6计算得到对应数据节点的负载偏值ZPi，其中b5、b6均为系数因子；

利用公式

计算得到对应数据节点的交互系数GHi，其中g1、g2均为系数因子；节点监测模块用于将数据节点的交互系数GH打上时间戳并存储至数据库；

数据处理中心接收到数据交互请求后，解析数据交互请求内容查找对应数据位置，向交互系数GHi最大的数据节点发送数据交互请求；以提高数据交互效率；

数据节点在收到数据交互请求后，通过共享网络通道向接入该数据节点的每个网络平台获取一个数据切片返回给数据处理中心；其中数据切片中包含的对象均满足第一预设条件和第二预设条件；第一预设条件为：与数据交互请求中的用户标识和消息属性标识相对应；

第二预设条件为：对象的访问吸引系数大于过滤门限且对象数量不大于获取数量；使得获取的数据更具有可信度，满足用户需求；

本发明通过传输包含一定量数据的数据切片的方式，降低在一次网络传输中数据的传输量，并减少网络传输轮次，进而提高了数据交互效率；

其中，访问吸引系数的具体计算方法为：

在预设时间段内，采集数据切片中每个对象的访问记录；针对某个对象，统计该对象的访问次数为Xb；访问记录包括访问开始时刻、访问结束时刻以及访问过程中用户分享、收藏、转发的行为特征；

将每次访问的访问时长标记为FT，访问行为值标记为FZ；其中，若用户对该对象有分享、收藏或转发行为，则FZ＝1，否则FZ＝0；利用公式FW＝FT×g3+FZ×g4计算得到访问值FW，其中g3、g4为系数因子；

将访问值FW与访问阈值相比较；统计FW大于访问阈值的次数为P1；当FW大于访问阈值时，获取FW与访问阈值的差值并求和得到超访总值CZ；利用公式CF＝P1×g5+CZ×g6计算得到超访系数CF，其中g5、g6为系数因子；利用公式

计算得到对应对象的访问吸引系数FX，其中r1、r2为系数因子；

数据筛选模块与数据处理中心相连接，用于获取各网络平台返回的数据切片进行对象筛选，具体筛选过程如下：

对数据切片中的所有对象进行查重分析，具体表现为：对数据切片中所有对象的关键词进行提取，当两个对象的关键词重合度大于等于预设重合度λ％，则认为这两个对象为同一对象；其中λ为预设值；

对被认为是同一对象的对象进行访问吸引系数比较，将访问吸引系数最大的对象作为标准对象；统计标准对象在每个网络平台的重合数量为Li；其中重合数量表示为被认为与标准对象为同一对象的对象数量；

统计重合数量Li大于0的网络平台数量为LS；将重合数量Li与重合阈值相比较；统计Li大于重合阈值的次数为Lt，将对应Li与重合阈值的差值进行求和得到超重总值LZ；利用公式CS＝Lt×r3+LZ×r4计算得到超重系数CS，其中r3、r4为系数因子；

利用公式TG＝LS×r5+CS×r6计算得到对应标准对象的可信系数TG，其中r5、r6为系数因子，其中可信系数TG越大，则表明对应标准对象在各网络平台分布越广，传播越深，可信度越高；

将可信系数TG与可信阈值相比较；若TG大于可信阈值，则将对应标准对象标记为可信数据；数据筛选模块用于将可信数据反馈至数据处理中心，数据处理中心用于将可信数据传输至用户终端，实现良好的数据提取、数据处理以及数据呈现工作，提高数据真实性和用户体验感；

数据处理中心还用于将获取的可信数据传输至数据上链模块进行上链存储，提高数据安全；数据上链模块的具体上链步骤为：

获取每条区块链的剩余内存并标记为Ny；

在预设时间内，采集每条区块链的清理记录，清理记录包括清理时刻和清存量；针对某条区块链，统计对应区块链的清理次数为Q1；

将每次清理的清存量标记为QCn；统计QCn大于清存阈值的次数占比为Zb；当QCn大于清存阈值时，获取QCn与清存阈值的差值并求和得到清存超值QZ；利用公式CG＝Zb×a1+QZ×a2计算得到清超值CG，其中a1、a2为系数因子；利用公式DLy＝Q1×a3+CG×a4计算得到对应区块链的清理系数DLy，其中a3、a4为系数因子；

利用公式CPy＝(Ny×a5)/(DLy×a6)计算得到区块链的上链配值CPy，其中a5、a6为系数因子；选取上链配值CPy最大的区块链为选中区块链；

数据上链模块用于将接收到的可信数据存储至选中区块链；本发明能够根据区块链的剩余内存以及清理情况合理选择对应的区块链进行数据上链存储，减少可信数据被清理的可能性，方便其他用户查询，同时提高数据存储效率。

上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

本发明的工作原理：

一种基于互联网的多源数据筛选系统，在工作时，请求上传模块用于用户发送获取跨平台数据的数据交互请求至数据处理中心；数据处理中心接收到数据交互请求后，解析数据交互请求内容查找对应数据位置，向交互系数GHi最大的数据节点发送数据交互请求；以提高数据交互效率；数据节点在收到数据交互请求后，通过共享网络通道向接入该数据节点的每个网络平台获取一个数据切片返回给数据处理中心；其中数据切片中包含的对象的访问吸引系数大于过滤门限且对象数量不大于获取数量；使得获取的数据更具有可信度，满足用户需求；

数据筛选模块用于获取各网络平台返回的数据切片进行对象筛选；对数据切片中的所有对象进行查重分析，对被认为是同一对象的对象进行访问吸引系数比较，将访问吸引系数最大的对象作为标准对象；根据标准对象在每个网络平台的重合数量对可信系数TG进行评估；若TG大于可信阈值，则将对应标准对象标记为可信数据；并将可信数据传输至用户终端，实现良好的数据提取、数据处理以及数据呈现工作，提高数据真实性和用户体验感；

数据处理中心还用于将获取的可信数据传输至数据上链模块进行上链存储，提高数据安全；结合区块链的剩余内存Ny和清理系数DLy，计算得到区块链的上链配值CPy；选取上链配值CPy最大的区块链为选中区块链；数据上链模块用于将接收到的可信数据存储至选中区块链；本发明能够根据区块链的剩余内存以及清理情况合理选择对应的区块链进行数据上链存储，减少可信数据被清理的可能性，方便其他用户查询，同时提高数据存储效率。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种基于互联网的多源数据筛选系统，其特征在于，包括请求上传模块、数据处理中心、节点监测模块、数据筛选模块以及数据上链模块；

所述请求上传模块用于用户发送获取跨平台数据的数据交互请求至数据处理中心；所述数据交互请求携带有用户标识和消息属性标识；

所述数据处理中心接收到数据交互请求后，解析数据交互请求内容查找对应数据位置，并向交互系数GHi最大的数据节点发送数据交互请求；

所述数据节点在收到数据交互请求后，通过共享网络通道向接入该数据节点的每个网络平台获取一个数据切片返回给数据处理中心；其中数据切片中包含的对象均满足第一预设条件和第二预设条件；

所述数据筛选模块与数据处理中心相连接，用于获取各网络平台返回的数据切片进行对象筛选，具体筛选过程如下：

对数据切片中的所有对象进行查重分析；对被认为是同一对象的对象进行访问吸引系数比较，将访问吸引系数最大的对象作为标准对象；

统计标准对象在每个网络平台的重合数量为Li，对标准对象的可信系数TG进行评估；若TG大于可信阈值，则将对应标准对象标记为可信数据；

所述数据筛选模块用于将可信数据经数据处理中心反馈至用户终端；所述数据处理中心还用于将获取的可信数据传输至数据上链模块进行上链存储。

2.根据权利要求1所述的一种基于互联网的多源数据筛选系统，其特征在于，所述数据处理中心包括若干个数据节点，所述节点监测模块用于对数据节点进行交互监测，具体监测步骤为：

将数据节点的接入网络平台数量标记为Ni；获取每个数据节点在当前时刻下的交互状态数据，计算得到对应数据节点的负载系数FZi；

建立负载系数FZi随时间变化的曲线图；若FZ≥负载阈值，则在对应的曲线图中截取对应的曲线段并进行标注，记为超负曲线段；根据超负曲线段的出现情况对负载偏值ZPi进行评估；利用公式

计算得到对应数据节点的交互系数GHi，其中g1、g2均为系数因子。

3.根据权利要求2所述的一种基于互联网的多源数据筛选系统，其特征在于，负载偏值ZPi的具体评估过程为：

在预设时间段内，统计超负曲线段的数量为W1，将所有的超负曲线段对时间进行积分得到超负参考能量WE1；利用公式ZPi＝W1×b5+WE1×b6计算得到对应数据节点的负载偏值ZPi，其中b5、b6均为系数因子。

4.根据权利要求1所述的一种基于互联网的多源数据筛选系统，其特征在于，所述第一预设条件为：与数据交互请求中的用户标识和消息属性标识相对应；所述第二预设条件为：对象的访问吸引系数大于过滤门限且对象数量不大于获取数量。

5.根据权利要求4所述的一种基于互联网的多源数据筛选系统，其特征在于，其中，访问吸引系数的具体计算方法为：

在预设时间段内，采集数据切片中每个对象的访问记录；针对某个对象，统计该对象的访问次数为Xb；将每次访问的访问时长标记为FT，访问行为值标记为FZ；利用公式FW＝FT×g3+FZ×g4计算得到访问值FW，其中g3、g4为系数因子；统计FW大于访问阈值的次数为P1；

当FW大于访问阈值时，获取FW与访问阈值的差值并求和得到超访总值CZ；利用公式CF＝P1×g5+CZ×g6计算得到超访系数CF，其中g5、g6为系数因子；利用公式

计算得到对应对象的访问吸引系数FX，其中r1、r2为系数因子。

6.根据权利要求5所述的一种基于互联网的多源数据筛选系统，其特征在于，若用户对对象有分享、收藏或转发行为，则FZ＝1，否则FZ＝0。

7.根据权利要求5所述的一种基于互联网的多源数据筛选系统，其特征在于，其中，可信系数TG的具体评估过程为：

统计标准对象在每个网络平台的重合数量为Li；统计重合数量Li大于0的网络平台数量为LS；将重合数量Li与重合阈值相比较；

统计Li大于重合阈值的次数为Lt，将对应Li与重合阈值的差值进行求和得到超重总值LZ；利用公式CS＝Lt×r3+LZ×r4计算得到超重系数CS，其中r3、r4为系数因子；利用公式TG＝LS×r5+CS×r6计算得到对应标准对象的可信系数TG，其中r5、r6为系数因子。

8.根据权利要求1所述的一种基于互联网的多源数据筛选系统，其特征在于，所述数据上链模块的具体上链步骤为：

获取每条区块链的剩余内存并标记为Ny；在预设时间内，采集每条区块链的清理记录，针对某条区块链，统计对应区块链的清理次数为Q1；

将每次清理的清存量标记为QCn；统计QCn大于清存阈值的次数占比为Zb；当QCn大于清存阈值时，获取QCn与清存阈值的差值并求和得到清存超值QZ；利用公式CG＝Zb×a1+QZ×a2计算得到清超值CG，其中a1、a2为系数因子；利用公式DLy＝Q1×a3+CG×a4计算得到对应区块链的清理系数DLy，其中a3、a4为系数因子；

利用公式CPy＝(Ny×a5)/(DLy×a6)计算得到区块链的上链配值CPy，其中a5、a6为系数因子；选取上链配值CPy最大的区块链为选中区块链；所述数据上链模块用于将接收到的可信数据存储至选中区块链。

Images