CN109857924A - 一种大数据分析监察信息处理系统及方法 - Google Patents
一种大数据分析监察信息处理系统及方法 Download PDFInfo
- Publication number
- CN109857924A CN109857924A CN201910148294.5A CN201910148294A CN109857924A CN 109857924 A CN109857924 A CN 109857924A CN 201910148294 A CN201910148294 A CN 201910148294A CN 109857924 A CN109857924 A CN 109857924A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- monitor information
- information processing
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于大数据分析监察信息处理技术领域，公开了一种大数据分析监察信息处理系统及方法；包括：数据获取模块、主控模块、数据源追踪模块、监察图绘制模块、数据检索模块、备份存储模块、监察显示模块。利用基于一致性哈希算法的分布式服务器获取网络数据资源；利用基于DAG的粗粒度溯源追踪和展现算法的追踪程序追踪数据信息来源；利用绘制程序对数据监察信息进行绘制可视化图；利用检索程序检索监察目标数据信息；利用备份服务器备份存储监察信息；利用显示器显示大数据分析监察信息处理系统界面及数据来源信息、监察可视化图。本发明可以获得更高的数据搜索成功率，并且对网络和各个节点的资源占用较低。
Description
技术领域
本发明属于大数据分析监察信息处理技术领域，尤其涉及一种大数据分析监察信息处理系统及方法。
背景技术
大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。然而，现有大数据分析监察信息处理系统在检索数据时，搜索成功率低，占用网络资源大；同时，无法备份特定的数据库对象，备份效率低。
综上所述，现有技术存在的问题是：现有大数据分析监察信息处理系统在检索数据时，搜索成功率低，占用网络资源大；同时，无法备份特定的数据库对象，备份效率低。现有大数据分析监察信息处理系统无法再监察数据的同时查看数据来源。
发明内容
针对现有技术存在的问题，本发明提供了一种大数据分析监察信息处理系统及方法。
本发明是这样实现的，一种大数据分析监察信息处理方法，所述大数据分析监察信息处理方法包括：
第一步，利用基于一致性哈希算法的分布式服务器获取网络数据资源；
第二步，利用基于DAG的粗粒度溯源追踪和展现算法的追踪程序追踪数据信息来源；利用绘制程序对数据监察信息进行绘制可视化图；利用检索程序检索监察目标数据信息；基于DAG的粗粒度溯源追踪和展现算法具体包括：
(1)接收数据集的路径地址path；
(2)根据接收到的路径地址查询缓存GlobalIndexCache，判断该记录是否存在，假如不存在则转到(3)，否则转到(7)；
(3)初始化用来存储溯源描述的DAG图G，节点表示溯源元数据节点信息，有向边表示每个模型执行前后数据的依赖关系；
(4)根据path查询溯源元数据表Metadata，查询的信息保存对象node，并将其添加到图G中，接着判断该节点node的前驱标识是否为空，若为空则表示该查询已经追溯到了源头，执行(5)，否则执行(6)；
(5)溯源追踪完毕，并将溯源图展示给用户；
(6)解析node对象的前驱标识字段，并将其和该node的关系添加到图G中，同时依次赋值给path，并转到(4)执行；
第三步，利用备份服务器备份存储监察信息；
第四步，利用显示器显示大数据分析监察信息处理系统界面及数据来源信息、监察可视化图。
进一步，所述第一步中的一致性哈希算法具体包括：
(1)将整个哈希值空间组织成一个虚拟的长度为232的整数圆环，整个空间按顺时针方向组织，0和(2^32)-1在零点中方向重合；
(2)将各个服务器的名称作为关键字使用函数H计算哈希值，将根据服务器名称的计算的哈希值将各个服务器节点放置在哈希环上；
(3)将需要缓存的数据key使用相同的函数H计算出哈希值h，在哈希环上顺时针查找距离这个key值的哈希值距离最近的服务器节点，完成key到服务器哈希的映射查找，确定此需要缓存的数据key在哈希环上的位置。
进一步，所述(2)中的函数H具体包括：
随机取一个不大于数据长度m的数p，利用数p对关键字名称求余，结果即为所述根据服务器名称计算得到的哈希值：
H(key)＝key％p,p<m。
本发明的另一目的在于提供一种实现所述大数据分析监察信息处理方法的大数据分析监察信息处理系统，所述大数据分析监察信息处理系统包括：
数据获取模块，与主控模块连接，用于通过分布式服务器获取网络数据资源；
主控模块，与数据获取模块、数据源追踪模块、监察图绘制模块、数据检索模块、备份存储模块、监察显示模块连接，用于通过单片机控制各个模块正常工作；
数据源追踪模块，与主控模块连接，用于通过追踪程序追踪数据信息来源；
监察图绘制模块，与主控模块连接，用于通过绘制程序对数据监察信息进行绘制可视化图；
数据检索模块，与主控模块连接，用于通过检索程序检索监察目标数据信息；
备份存储模块，与主控模块连接，用于通过备份服务器备份存储监察信息；
监察显示模块，与主控模块连接，用于通过显示器显示大数据分析监察信息处理系统界面及数据来源信息、监察可视化图。
本发明的另一目的在于提供一种应用所述大数据分析监察信息处理方法的信息数据处理终端。
本发明的另一目的在于提供一种应用所述大数据分析监察信息处理方法的大数据信息处理平台。
本发明的优点及积极效果为：本发明通过数据检索模块在由节点网络组成的大数据系统中，在有限的搜索时间内，提高了数据搜索的成功率，并且对网络和各个节点的资源占用较低，从而得到了一个高效且高成功率的数据搜索方法；该方法包括数据传播过程和数据搜索过程，该数据传播过程将节点的数据索引传播到一定范围的节点内，而数据搜索过程通过数据搜索消息在节点间的传播，搜索到需要的数据文件。与现有技术相比，该方法在搜索时间基本相同时，可以获得更高的数据搜索成功率,并且对网络和各个节点的资源占用较低；同时，通过备份存储模块根据识别与数据备份请求匹配的目标备份树，按照与目标备份树对应的数据页之间的逻辑关系匹配的备份规则，将与该目标备份树中包括的各个节点对应的数据页进行备份，得到备份数据页，并在连续存储空间中顺序存储各备份数据页，利用了按照一定备份规则备份并顺序存储的数据页能够保存数据页之间逻辑关系的优点，实现了对特定数据库对象进行高效、无损地数据备份效果。
本发明采用基于一致性哈希算法的分布式服务器解决了节点取余服务器数量变更导致大量缓存无法命中的问题，同时具备良好的容错性和可扩展性。同时本发明基于DAG的粗粒度进行溯源追踪和展现能够有效追踪获取网页数据的来源并进行可视化呈现。
附图说明
图1是本发明实施例提供的大数据分析监察信息处理系统结构示意图；
图中：1、数据获取模块；2、主控模块；3、数据源追踪模块；4、监察图绘制模块；5、数据检索模块；6、备份存储模块；7、监察显示模块。
图2是本发明实施例提供的大数据分析监察信息处理方法流程图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的描述。
如图1所示，本发明实施例提供的大数据分析监察信息处理系统包括：数据获取模块1、主控模块2、数据源追踪模块3、监察图绘制模块4、数据检索模块5、备份存储模块6、监察显示模块7。
数据获取模块1，与主控模块2连接，用于通过分布式服务器获取网络数据资源；
主控模块2，与数据获取模块1、数据源追踪模块3、监察图绘制模块4、数据检索模块5、备份存储模块6、监察显示模块7连接，用于通过单片机控制各个模块正常工作；
数据源追踪模块3，与主控模块2连接，用于通过追踪程序追踪数据信息来源；
监察图绘制模块4，与主控模块2连接，用于通过绘制程序对数据监察信息进行绘制可视化图；
数据检索模块5，与主控模块2连接，用于通过检索程序检索监察目标数据信息；
备份存储模块6，与主控模块2连接，用于通过备份服务器备份存储监察信息；
监察显示模块7，与主控模块2连接，用于通过显示器显示大数据分析监察信息处理系统界面及数据来源信息、监察可视化图。
本发明实施例提供的数据检索模块5检索方法如下：
(1)大数据系统中的每个节点定期向所有邻居节点发送自身数据的数据传播消息，所述数据传播消息中包括节点自身的数据文件索引表、消息标识符和初始传播长度Lmax，其中Lmax是一个预先设置的数值；
(2)当一个节点N接收到对一个数据文件的搜索请求时，该搜索请求中携带了该数据文件的哈希值HF，该节点N在自身的数据文件索引表中查找HF，如果查找到，则数据搜索过程结束，否则继续后续步骤；
(3)该节点N向所有邻居节点发送数据搜索消息，该数据搜索消息中包括该数据文件的哈希值HF、节点N的网络地址AddressN、初始搜索长度Smax，以及搜索消息标识符ID；其中Smax是一个预先设置的数值；
(4)当一个节点X接收到数据搜索消息时，根据该数据搜索消息中的搜索消息标识符ID检查是否已经收到过该数据搜索消息，如果已经收到过，则忽略该数据搜索消息；否则继续后续步骤；
(5)该节点X检查其存储的所有数据文件索引表，判断这些数据文件索引表中是否有HF，如果有，则将表中HF对应的节点地址发送给节点N，否则继续后续步骤；
(6)该节点X计算新的搜索长度Snew＝S-1，其中S是该节点X接收到的数据搜索消息中包括的搜索长度；如果Snew＝0，则该节点X不再继续传播该数据搜索消息；如果新的搜索长度Snew＞0，则该节点组装一个新的数据搜索消息，所述新的数据搜索消息包括该数据文件的哈希值HF、节点N的网络地址AddressN、新的搜索长度Snew，以及搜索消息标识符ID；
(7)该节点X获取当前所有的邻居节点，假设其共有M个邻居节点，则该节点X从中随机选择个邻居节点，再将所述新的数据搜索消息发送给所选择的邻居节点。
本发明实施例提供的备份存储模块6备份方法如下：
(1)根据监察数据备份请求，识别与监察数据备份请求匹配的目标备份树，所述目标备份树中包括至少一个节点，不同节点对应不同的数据页；
(2)按照与目标备份树对应的数据页之间的逻辑关系匹配的备份规则，将与目标备份树中包括的各个节点对应的数据页进行备份，得到备份数据页，数据页中记录有节点在目标备份树中的位置信息；
(3)在连续存储空间中顺序存储各备份数据页，存储顺序中携带有各备份数据页之间的逻辑关系。
步骤(2)中，本发明实施例提供的与目标备份树对应的数据页之间的逻辑关系匹配的备份规则具体包括：
将与目标节点对应的全部儿子节点的数据页以及所述目标节点的数据页进行顺序备份的规则，所述目标节点为具有儿子节点的中间节点和/或根节点；
相应的，在所述连续存储空间中，与同一所述目标节点对应的全部儿子节点的备份数据页顺序存储，所述目标节点的备份数据页存储于对应的所述全部儿子节点的备份数据页的存储位置的尾部，所述根节点的备份数据页存储于所述存储空间中的尾部。
步骤(2)中，本发明实施例提供的将与所述目标备份树中包括的各个节点对应的数据页进行备份，得到备份数据页，具体包括：
将所述目标备份树的根节点对应的第一数据页设置为当前页；
获取所述当前页中记录的位置信息；
如果根据所述位置信息确定所述当前页包括有未备份的儿子页，则按照设定顺序获取所述当前页中的一个所述未备份的儿子页作为新的当前页，并返回执行获取所述当前页中记录的位置信息的操作；
如果根据所述位置信息确定所述当前页未包括有未备份的儿子页，则备份所述当前页，得到备份数据页，并在确定所述当前页不为所述第一数据页时，将所述当前页的父亲页设置为新的所述当前页后，返回执行获取所述当前页中记录的位置信息的操作；
在确定所述当前页为所述第一数据页时，完成对所述目标备份树的备份。
如图2所示，本发明实施例提供的大数据分析监察信息处理方法包括：
S101：利用基于一致性哈希算法的分布式服务器获取网络数据资源；
S102：利用基于DAG的粗粒度溯源追踪和展现算法的追踪程序追踪数据信息来源；利用绘制程序对数据监察信息进行绘制可视化图；利用检索程序检索监察目标数据信息；
S103:利用备份服务器备份存储监察信息；
S104:利用显示器显示大数据分析监察信息处理系统界面及数据来源信息、监察可视化图。
步骤S101中，本发明实施例提供的一致性哈希算法具体包括：
(1)将整个哈希值空间组织成一个虚拟的长度为232的整数圆环，整个空间按顺时针方向组织，0和(2^32)-1在零点中方向重合；
(2)将各个服务器的名称作为关键字使用函数H计算哈希值，将根据服务器名称的计算的哈希值将各个服务器节点放置在哈希环上；
(3)将需要缓存的数据key使用相同的函数H计算出哈希值h，在哈希环上顺时针查找距离这个key值的哈希值距离最近的服务器节点，完成key到服务器哈希的映射查找，确定此需要缓存的数据key在哈希环上的位置。
步骤(2)中，本发明实施例提供的函数H具体包括：
随机取一个不大于数据长度m的数p，利用数p对步骤(1)中所述关键字名称求余，结果即为所述根据服务器名称计算得到的哈希值：
H(key)＝key％p,p<m
步骤S102中，本发明实施例提供的基于DAG的粗粒度溯源追踪和展现算法具体包括：
(1)接收数据集的路径地址path；
(2)根据接收到的路径地址查询缓存GlobalIndexCache，判断该记录是否存在，假如不存在则转到步骤(3)，否则转到步骤(7)；
(3)初始化用来存储溯源描述的DAG图G，节点表示溯源元数据节点信息，有向边表示每个模型执行前后数据的依赖关系；
(4)根据path查询溯源元数据表Metadata，查询的信息保存对象node，并将其添加到图G中，接着判断该节点node的前驱标识是否为空，若为空则表示该查询已经追溯到了源头，执行步骤(5)，否则执行步骤(6)；
(5)溯源追踪完毕，并将溯源图展示给用户；
(6)解析node对象的前驱标识字段，并将其和该node的关系添加到图G中，同时依次赋值给path，并转到步骤(4)执行。
本发明工作时，首先，通过数据获取模块1利用分布式服务器获取网络数据资源；其次，主控模块2通过数据源追踪模块3利用追踪程序追踪数据信息来源；通过监察图绘制模块4利用绘制程序对数据监察信息进行绘制可视化图；通过数据检索模块5利用检索程序检索监察目标数据信息；然后，通过备份存储模块6利用备份服务器备份存储监察信息；最后，通过监察显示模块7利用显示器显示大数据分析监察信息处理系统界面及数据来源信息、监察可视化图。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
Claims (6)
1.一种大数据分析监察信息处理方法，其特征在于，所述大数据分析监察信息处理方法包括：
第一步，利用基于一致性哈希算法的分布式服务器获取网络数据资源；
第二步，利用基于DAG的粗粒度溯源追踪和展现算法的追踪程序追踪数据信息来源；利用绘制程序对数据监察信息进行绘制可视化图；利用检索程序检索监察目标数据信息；基于DAG的粗粒度溯源追踪和展现算法具体包括：
(1)接收数据集的路径地址path；
(2)根据接收到的路径地址查询缓存GlobalIndexCache，判断该记录是否存在，假如不存在则转到(3)，否则转到(7)；
(3)初始化用来存储溯源描述的DAG图G，节点表示溯源元数据节点信息，有向边表示每个模型执行前后数据的依赖关系；
(4)根据path查询溯源元数据表Metadata，查询的信息保存对象node，并将其添加到图G中，接着判断该节点node的前驱标识是否为空，若为空则表示该查询已经追溯到了源头，执行(5)，否则执行(6)；
(5)溯源追踪完毕，并将溯源图展示给用户；
(6)解析node对象的前驱标识字段，并将其和该node的关系添加到图G中，同时依次赋值给path，并转到(4)执行；
第三步，利用备份服务器备份存储监察信息；
第四步，利用显示器显示大数据分析监察信息处理系统界面及数据来源信息、监察可视化图。
2.如权利要求1所述的大数据分析监察信息处理方法，其特征在于，所述第一步中的一致性哈希算法具体包括：
(1)将整个哈希值空间组织成一个虚拟的长度为232的整数圆环，整个空间按顺时针方向组织，0和(2^32)-1在零点中方向重合；
(2)将各个服务器的名称作为关键字使用函数H计算哈希值，将根据服务器名称的计算的哈希值将各个服务器节点放置在哈希环上；
(3)将需要缓存的数据key使用相同的函数H计算出哈希值h，在哈希环上顺时针查找距离这个key值的哈希值距离最近的服务器节点，完成key到服务器哈希的映射查找，确定此需要缓存的数据key在哈希环上的位置。
3.如权利要求2所述的大数据分析监察信息处理方法，其特征在于，所述(2)中的函数H具体包括：
随机取一个不大于数据长度m的数p，利用数p对关键字名称求余，结果即为所述根据服务器名称计算得到的哈希值：
H(key)＝key％p,p<m。
4.一种实现权利要求1所述大数据分析监察信息处理方法的大数据分析监察信息处理系统，其特征在于，所述大数据分析监察信息处理系统包括：
数据获取模块，与主控模块连接，用于通过分布式服务器获取网络数据资源；
主控模块，与数据获取模块、数据源追踪模块、监察图绘制模块、数据检索模块、备份存储模块、监察显示模块连接，用于通过单片机控制各个模块正常工作；
数据源追踪模块，与主控模块连接，用于通过追踪程序追踪数据信息来源；
监察图绘制模块，与主控模块连接，用于通过绘制程序对数据监察信息进行绘制可视化图；
数据检索模块，与主控模块连接，用于通过检索程序检索监察目标数据信息；
备份存储模块，与主控模块连接，用于通过备份服务器备份存储监察信息；
监察显示模块，与主控模块连接，用于通过显示器显示大数据分析监察信息处理系统界面及数据来源信息、监察可视化图。
5.一种应用权利要求1～3任意一项所述大数据分析监察信息处理方法的信息数据处理终端。
6.一种应用权利要求1～3任意一项所述大数据分析监察信息处理方法的大数据信息处理平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910148294.5A CN109857924A (zh) | 2019-02-28 | 2019-02-28 | 一种大数据分析监察信息处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910148294.5A CN109857924A (zh) | 2019-02-28 | 2019-02-28 | 一种大数据分析监察信息处理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109857924A true CN109857924A (zh) | 2019-06-07 |
Family
ID=66899315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910148294.5A Pending CN109857924A (zh) | 2019-02-28 | 2019-02-28 | 一种大数据分析监察信息处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109857924A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113485949A (zh) * | 2021-05-28 | 2021-10-08 | 浙江毫微米科技有限公司 | 数据处理方法、芯片及计算机可读存储介质 |
| CN114764405A (zh) * | 2020-12-31 | 2022-07-19 | 正链科技(深圳)有限公司 | 一种分布式应用程序的事务数据一致性存储方法 |
| CN116319095A (zh) * | 2023-05-19 | 2023-06-23 | 天津工业大学 | 一种高通量网络环境下的信标植入检测方法 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030120651A1 (en) * | 2001-12-20 | 2003-06-26 | Microsoft Corporation | Methods and systems for model matching |
| CN101179466A (zh) * | 2007-10-15 | 2008-05-14 | 北京交通大学 | 一种基于集中服务的分布式对等网络的实现方法及系统 |
| CN101527011A (zh) * | 2009-03-27 | 2009-09-09 | 西安交通大学 | 一种实时故障处理流程自动导航方法和装置 |
| CN102118433A (zh) * | 2010-12-27 | 2011-07-06 | 网宿科技股份有限公司 | 多层次的分布式集群系统 |
| CN102236670A (zh) * | 2010-04-30 | 2011-11-09 | 英业达股份有限公司 | 以关连图提示释义资料的系统及其方法 |
| US20120303627A1 (en) * | 2011-05-23 | 2012-11-29 | Kimberly Keeton | Responding to a query in a data processing system |
| CN103164614A (zh) * | 2013-01-30 | 2013-06-19 | 南京理工大学常熟研究院有限公司 | 一种支持数据重现的运行时递推数据溯源方法 |
| CN103177184A (zh) * | 2013-01-30 | 2013-06-26 | 南京理工大学常熟研究院有限公司 | 一种低存储开销的运行时递推数据溯源方法 |
| CN104050270A (zh) * | 2014-06-23 | 2014-09-17 | 成都康赛信息技术有限公司 | 一种基于一致性哈希算法的分布式存储方法 |
| CN104199978A (zh) * | 2014-09-24 | 2014-12-10 | 普元信息技术股份有限公司 | 基于NoSQL实现元数据缓存与分析的系统及方法 |
| CN104216888A (zh) * | 2013-05-30 | 2014-12-17 | 中国电信股份有限公司 | 数据处理任务关系设置方法及系统 |
| CN104239572A (zh) * | 2014-09-30 | 2014-12-24 | 普元信息技术股份有限公司 | 基于分布式缓存实现元数据分析的系统及方法 |
| CN104268254A (zh) * | 2014-10-09 | 2015-01-07 | 浪潮电子信息产业股份有限公司 | 一种安全态势分析统计方法 |
| CN104753946A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量元数据的安全分析框架 |
| CN105303456A (zh) * | 2015-10-16 | 2016-02-03 | 国家电网公司 | 电力传输设备监控数据处理方法 |
| CN106055676A (zh) * | 2016-06-03 | 2016-10-26 | 电子科技大学 | 一种基于大数据模型分析平台的数据溯源方法及系统 |
| CN106372180A (zh) * | 2016-08-30 | 2017-02-01 | 东南大学 | 支持共享共治的内容元数据标识及应用方法 |
| CN108769154A (zh) * | 2018-05-15 | 2018-11-06 | 北京工业大学 | 基于有向无环图和分布式账本的数据存储方法 |
-
2019
- 2019-02-28 CN CN201910148294.5A patent/CN109857924A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030120651A1 (en) * | 2001-12-20 | 2003-06-26 | Microsoft Corporation | Methods and systems for model matching |
| CN101179466A (zh) * | 2007-10-15 | 2008-05-14 | 北京交通大学 | 一种基于集中服务的分布式对等网络的实现方法及系统 |
| CN101527011A (zh) * | 2009-03-27 | 2009-09-09 | 西安交通大学 | 一种实时故障处理流程自动导航方法和装置 |
| CN102236670A (zh) * | 2010-04-30 | 2011-11-09 | 英业达股份有限公司 | 以关连图提示释义资料的系统及其方法 |
| CN102118433A (zh) * | 2010-12-27 | 2011-07-06 | 网宿科技股份有限公司 | 多层次的分布式集群系统 |
| US20120303627A1 (en) * | 2011-05-23 | 2012-11-29 | Kimberly Keeton | Responding to a query in a data processing system |
| CN103164614A (zh) * | 2013-01-30 | 2013-06-19 | 南京理工大学常熟研究院有限公司 | 一种支持数据重现的运行时递推数据溯源方法 |
| CN103177184A (zh) * | 2013-01-30 | 2013-06-26 | 南京理工大学常熟研究院有限公司 | 一种低存储开销的运行时递推数据溯源方法 |
| CN104216888A (zh) * | 2013-05-30 | 2014-12-17 | 中国电信股份有限公司 | 数据处理任务关系设置方法及系统 |
| CN104050270A (zh) * | 2014-06-23 | 2014-09-17 | 成都康赛信息技术有限公司 | 一种基于一致性哈希算法的分布式存储方法 |
| CN104199978A (zh) * | 2014-09-24 | 2014-12-10 | 普元信息技术股份有限公司 | 基于NoSQL实现元数据缓存与分析的系统及方法 |
| CN104239572A (zh) * | 2014-09-30 | 2014-12-24 | 普元信息技术股份有限公司 | 基于分布式缓存实现元数据分析的系统及方法 |
| CN104268254A (zh) * | 2014-10-09 | 2015-01-07 | 浪潮电子信息产业股份有限公司 | 一种安全态势分析统计方法 |
| CN104753946A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量元数据的安全分析框架 |
| CN105303456A (zh) * | 2015-10-16 | 2016-02-03 | 国家电网公司 | 电力传输设备监控数据处理方法 |
| CN106055676A (zh) * | 2016-06-03 | 2016-10-26 | 电子科技大学 | 一种基于大数据模型分析平台的数据溯源方法及系统 |
| CN106372180A (zh) * | 2016-08-30 | 2017-02-01 | 东南大学 | 支持共享共治的内容元数据标识及应用方法 |
| CN108769154A (zh) * | 2018-05-15 | 2018-11-06 | 北京工业大学 | 基于有向无环图和分布式账本的数据存储方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114764405A (zh) * | 2020-12-31 | 2022-07-19 | 正链科技(深圳)有限公司 | 一种分布式应用程序的事务数据一致性存储方法 |
| CN114764405B (zh) * | 2020-12-31 | 2024-04-26 | 正链科技(深圳)有限公司 | 一种分布式应用程序的事务数据一致性存储方法 |
| CN113485949A (zh) * | 2021-05-28 | 2021-10-08 | 浙江毫微米科技有限公司 | 数据处理方法、芯片及计算机可读存储介质 |
| CN113485949B (zh) * | 2021-05-28 | 2023-06-20 | 浙江毫微米科技有限公司 | 数据处理方法、芯片及计算机可读存储介质 |
| CN116319095A (zh) * | 2023-05-19 | 2023-06-23 | 天津工业大学 | 一种高通量网络环境下的信标植入检测方法 |
| CN116319095B (zh) * | 2023-05-19 | 2023-07-28 | 天津工业大学 | 一种高通量网络环境下的信标植入检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109739849B (zh) | 一种数据驱动的网络敏感信息挖掘与预警平台 | |
| CN110321325A (zh) | 文件索引节点查找方法、终端、服务器、系统及存储介质 | |
| Yang et al. | Towards effective partition management for large graphs | |
| Gong et al. | Clustering stream data by exploring the evolution of density mountain | |
| CN108763578B (zh) | 一种索引文件更新的方法以及服务器 | |
| JP2006127529A (ja) | 階層を考慮したウェブページのランク付け | |
| US11567681B2 (en) | Method and system for synchronizing requests related to key-value storage having different portions | |
| CN109857924A (zh) | 一种大数据分析监察信息处理系统及方法 | |
| CN106294772A (zh) | 分布式内存列式数据库的缓存管理方法 | |
| US20150019592A1 (en) | Systems, methods and software for computing reachability in large graphs | |
| Saad et al. | Archiving the web using page changes patterns: a case study | |
| CN103412883B (zh) | 基于p2p技术的语义智能信息发布订阅方法 | |
| CN109213752A (zh) | 一种基于cim的数据清洗转换方法 | |
| US11748357B2 (en) | Method and system for searching a key-value storage | |
| CN101251857B (zh) | 用于信息存储和检索的系统、设备和方法 | |
| CN106161193B (zh) | 一种邮件处理方法、装置和系统 | |
| Rashid et al. | Mining associated sensor patterns for data stream of wireless sensor networks | |
| CN102724301B (zh) | 云数据库系统以及云数据读写处理方法、设备 | |
| CN114139048A (zh) | 一种用户行为数据和页面数据的跟踪方法 | |
| CN100449534C (zh) | 信息存储和检索 | |
| CN116501947A (zh) | 语义搜索云平台的构建方法、系统及设备和存储介质 | |
| CN102799996A (zh) | 网络广告策略匹配方法及系统 | |
| Subha | P-tree oriented association rule mining of multiple data sources | |
| Li et al. | Necklace: An efficient cuckoo hashing scheme for cloud storage services | |
| Yan et al. | Cloud city traffic state assessment system using a novel architecture of big data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |