CN111597174A - 一种分布式数据统计处理系统、方法、存储介质、终端 - Google Patents

一种分布式数据统计处理系统、方法、存储介质、终端 Download PDF

Info

Publication number
CN111597174A
CN111597174A CN202010333878.2A CN202010333878A CN111597174A CN 111597174 A CN111597174 A CN 111597174A CN 202010333878 A CN202010333878 A CN 202010333878A CN 111597174 A CN111597174 A CN 111597174A
Authority
CN
China
Prior art keywords
data
processing
module
task
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010333878.2A
Other languages
English (en)
Inventor
王昌酉
王洪珂
丁昌华
袁玉兴
杨文艳
李海霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN202010333878.2A priority Critical patent/CN111597174A/zh
Publication of CN111597174A publication Critical patent/CN111597174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数据处理技术领域，公开了一种分布式数据统计处理系统、方法、存储介质、终端，包括数据采集模块用于获取待处理任务，并采集需要处理的数据；数据预处理模块用于进行数据归一化处理；数据分类模块用于进行关键词提取分析、分类；任务下发模块用于将数据处理任务划分为多个处理子任务；数据处理模块用于利用不同服务器处理不同的子任务；结果统计模块用于任务处理结果；数据库用于存储采集的数据以及处理结果；结果输出模块用于输出整体数据处理任务的处理结果；查询模块，用于通过输入指令进行数据查询。本发明不仅减轻了服务器的负载，同时降低了运算复杂度，减少了每个服务器或处理器的工作量，提高了统计处理的效率。

Description

一种分布式数据统计处理系统、方法、存储介质、终端
技术领域
本发明属于数据处理技术领域，尤其涉及一种分布式数据统计处理系统、方法、存储介质、终端。
背景技术
目前，随着自动化控制系统的技术发展，依托数据库进行数据统计处理已经成为一种趋势。现有技术主要依靠云服务器或单一服务器进行数据处理，采用云服务器或单一服务器进行数据处理，不仅负载大，且运算复杂度高，工作量大，效率慢。同时利用单一处理器或单一服务器进行数据统计处理，一旦某一步骤计算失误，则需要重新进行数据的统计处理，容错率不高。
综上所述，现有技术存在的问题是：现有数据统计处理一般依靠核心处理、单一服务器或云服务器进行数据的统计处理，负载大，且运算复杂度高，工作量大，效率低，容错率不高。
发明内容
针对现有技术存在的问题，本发明提供了一种分布式数据统计处理系统、方法、存储介质、终端。
本发明是这样实现的，一种分布式数据统计处理方法，所述分布式数据统计处理方法包括：
步骤一，获取待处理任务，并基于处理任务采集或上传需要处理的数据；对采集的相关数据进行归一化处理；
步骤二，对采集到的相关信息进行关键词提取分析，并基于得到的关键词进行分类；将数据处理任务划分为多个处理子任务，并下发至不同的服务器；所述服务器对传感器节点需要对收集的数据进行预处理，然后再向簇首节点传输数据；采用格拉布斯预准则对传感器节点所采集到的数据进行预处理假设某个簇首节点含有n个传感器节点，传感器节点收集到的数据为x1,x2,…,xn，服从正态分布，并设：
Figure BDA0002465915320000021
根据顺序统计原理，计算格拉布斯统计量：
Figure BDA0002465915320000022
给定显著性水平α＝0.05之后，测量值满足gi≤g0(n,α)，则认为测量值有效，测量值参与到下一层次的数据聚合；反之，则认为测量值无效，因此需要剔除，即不参与到下一层次的数据聚合；
步骤三，各服务器处理接收到的相应处理子任务，并得到相应子任务处理结果；网络状态差的情况下，采用基于预先存储的数据迁移方法：
1)用户登录边缘云使用云服务，系统检测边缘云中是否有该服务所需要的数据，若有转5)；
2)边缘云系统将该服务所需要的数据形成数据请求消息发送到核心云；
3)核心云接收到数据请求消息后，查找该用户的家乡云，并将该数据请求消息发送到该用户的家乡云；
4)该用户家乡云接到消息后，根据数据请求消息的信息将数据发送到用户登录的边缘云，信息包括发送地址、数据名称；
5)用户服务使用完该数据后，将数据存储在该边缘云，以便用户下次使用；
步骤四，汇总统计各个服务器子任务处理结果，得到整体数据处理任务的处理结果；
步骤五，输出整体数据处理任务的处理结果。
进一步，步骤一中，所述数据归一化处理包括：
(1)过滤采集的数据中的无效数据，重复数据以及空格；
(2)对过滤后的数据进行去噪；
(3)将去噪后的数据进行格式化处理，统一为标准格式。
进一步，步骤二中，所述数据关键词提取分析包括：
从处理好的数据中提取关键句以及关键词，基于最少切分算法进行关键词的切分处理；
所述基于最少切分算法进行关键词的切分处理包括：
1)找出关键句中所有关键词，同时结合从数据中直接提取的管件词构建关键词有向无环图；
2)寻找出关键词有向无环图的最短路径；
3)判断最短路径上的关键词是否为关键句最少切分结果，若是，则输出最短路径上的关键词，若否，则返回步骤2)。
进一步，所述分布式数据统计处理方法还包括：利用数据库存储采集的数据以及处理结果，并建立多个不同的数据表；同时可输入查询质量，通过关键词匹配进行数据查询。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：
步骤一，获取待处理任务，并基于处理任务采集或上传需要处理的数据；对采集的相关数据进行归一化处理；
步骤二，对采集到的相关信息进行关键词提取分析，并基于得到的关键词进行分类；将数据处理任务划分为多个处理子任务，并下发至不同的服务器；
步骤三，各服务器处理接收到的相应处理子任务，并得到相应子任务处理结果；
步骤四，汇总统计各个服务器子任务处理结果，得到整体数据处理任务的处理结果；
步骤五，输出整体数据处理任务的处理结果。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的分布式数据统计处理方法。
本发明的另一目的在于提供一种实施所述分布式数据统计处理方法的分布式数据统计处理系统，所述分布式数据统计处理系统包括：
数据采集模块，用于获取待处理任务，并基于处理任务采集或上传需要处理的数据；
数据预处理模块，用于对采集的相关数据进行归一化处理；
数据分类模块，用于对采集到的相关信息进行关键词提取分析、分类；
任务下发模块，用于将数据处理任务划分为多个处理子任务，并下发至数据处理模块；
数据处理模块，包括多个服务器，用于利用不同服务器处理不同的子任务；
结果统计模块，用于汇总统计各个服务器子任务处理结果，得到整体数据处理任务的处理结果；
数据库，用于存储采集的数据以及处理结果，并建立多个不同的数据表；
结果输出模块，用于输出整体数据处理任务的处理结果；
查询模块，用于通过输入指令进行数据查询。
进一步，所述数据库包括：
所述数据库用于存储采集的数据以及处理结果，并建立多个不同的数据表；
所述数据表包括：
用于实时存储采集数据的采集数据统计表；
用于存储分类数据的数据分类表；
用于存储处理数据的数据处理表；
基于采集数据统计表以及数据处理表建立的日数据表、月数据表以及年数据表。
本发明的另一目的在于提供一种终端，所述终端搭载所述的分布式数据统计处理系统。
本发明的另一目的在于提供一种自动化控制系统，所述自动化控制系统搭载所述的分布式数据统计处理系统。
综上所述，本发明的优点及积极效果为：本发明的分布式数据统计处理系统能够将复杂的大规模数据分割成多个不同的处理任务，利用多个服务器分别处理不同任务，不仅减轻了服务器的负载，同时降低了运算复杂度，减少了每个服务器或处理器的工作量，提高了统计处理的效率。同时即使某一运算出现错误，也可针对性的进行该步骤或该部分数据的处理，无需全部重新处理，容错率高。
附图说明
图1是本发明实施例提供的分布式数据统计处理系统结构示意图；
图中：1、数据采集模块；2、数据预处理模块；3、数据分类模块；4、任务下发模块；5、数据处理模块；6、结果统计模块；7、数据库；8、结果输出模块；9、查询模块。
图2是本发明实施例提供的分布式数据统计处理方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种分布式数据统计处理系统、方法、存储介质、终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的分布式数据统计处理系统包括：
数据采集模块1，用于获取待处理任务，并基于处理任务采集或上传需要处理的数据。
数据预处理模块2，用于对采集的相关数据进行归一化处理。
数据分类模块3，用于对采集到的相关信息进行关键词提取分析、分类。
任务下发模块4，用于将数据处理任务划分为多个处理子任务，并下发至数据处理模块。
数据处理模块5，包括多个服务器，用于利用不同服务器处理不同的子任务。
结果统计模块6，用于汇总统计各个服务器子任务处理结果，得到整体数据处理任务的处理结果。
数据库7，用于存储采集的数据以及处理结果，并建立多个不同的数据表。
结果输出模块8，用于输出整体数据处理任务的处理结果。
查询模块9，用于通过输入指令进行数据查询。
本发明实施例提供的数据库7包括：
所述数据库用于存储采集的数据以及处理结果，并建立多个不同的数据表。
所述数据表包括：
用于实时存储采集数据的采集数据统计表。
用于存储分类数据的数据分类表。
用于存储处理数据的数据处理表。
基于采集数据统计表以及数据处理表建立的日数据表、月数据表以及年数据表。
如图2所示，本发明实施例提供的分布式数据统计处理方法包括：
S101，获取待处理任务，并基于处理任务采集或上传需要处理的数据；对采集的相关数据进行归一化处理。
S102，对采集到的相关信息进行关键词提取分析，并基于得到的关键词进行分类；将数据处理任务划分为多个处理子任务，并下发至不同的服务器。
S103，各服务器处理接收到的相应处理子任务，并得到相应子任务处理结果。
S104，汇总统计各个服务器子任务处理结果，得到整体数据处理任务的处理结果。
S105，输出整体数据处理任务的处理结果。
本发明对采集到的相关信息进行关键词提取分析，并基于得到的关键词进行分类；将数据处理任务划分为多个处理子任务，并下发至不同的服务器；所述服务器对传感器节点需要对收集的数据进行预处理，然后再向簇首节点传输数据；采用格拉布斯预准则对传感器节点所采集到的数据进行预处理假设某个簇首节点含有n个传感器节点，传感器节点收集到的数据为x1,x2,…,xn，服从正态分布，并设：
Figure BDA0002465915320000071
根据顺序统计原理，计算格拉布斯统计量：
Figure BDA0002465915320000072
给定显著性水平α＝0.05之后，测量值满足gi≤g0(n,α)，则认为测量值有效，测量值参与到下一层次的数据聚合；反之，则认为测量值无效，因此需要剔除，即不参与到下一层次的数据聚合。
本发明各服务器处理接收到的相应处理子任务，并得到相应子任务处理结果；网络状态差的情况下，采用基于预先存储的数据迁移方法：
1)用户登录边缘云使用云服务，系统检测边缘云中是否有该服务所需要的数据，若有转5)；
2)边缘云系统将该服务所需要的数据形成数据请求消息发送到核心云；
3)核心云接收到数据请求消息后，查找该用户的家乡云，并将该数据请求消息发送到该用户的家乡云；
4)该用户家乡云接到消息后，根据数据请求消息的信息将数据发送到用户登录的边缘云，信息包括发送地址、数据名称；
5)用户服务使用完该数据后，将数据存储在该边缘云，以便用户下次使用。
步骤S101中，本发明实施例提供的数据归一化处理包括：
(1)过滤采集的数据中的无效数据，重复数据以及空格；
(2)对过滤后的数据进行去噪；
(3)将去噪后的数据进行格式化处理，统一为标准格式。
步骤S102中，本发明实施例提供的数据关键词提取分析包括：
从处理好的数据中提取关键句以及关键词，基于最少切分算法进行关键词的切分处理。
所述基于最少切分算法进行关键词的切分处理包括：
1)找出关键句中所有关键词，同时结合从数据中直接提取的管件词构建关键词有向无环图。
2)寻找出关键词有向无环图的最短路径。
3)判断最短路径上的关键词是否为关键句最少切分结果，若是，则输出最短路径上的关键词，若否，则返回步骤2)。
本发明实施例提供的分布式数据统计处理方法还包括：
利用数据库存储采集的数据以及处理结果，并建立多个不同的数据表；同时可输入查询质量，通过关键词匹配进行数据查询。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式数据统计处理方法，其特征在于，所述分布式数据统计处理方法包括：
步骤一，获取待处理任务，并基于处理任务采集或上传需要处理的数据；对采集的相关数据进行归一化处理；
步骤二，对采集到的相关信息进行关键词提取分析，并基于得到的关键词进行分类；将数据处理任务划分为多个处理子任务，并下发至不同的服务器；所述服务器对传感器节点需要对收集的数据进行预处理，然后再向簇首节点传输数据；采用格拉布斯预准则对传感器节点所采集到的数据进行预处理假设某个簇首节点含有n个传感器节点，传感器节点收集到的数据为x1,x2,…,xn，服从正态分布，并设：
Figure FDA0002465915310000011
vi＝xi-x0，
Figure FDA0002465915310000012
根据顺序统计原理，计算格拉布斯统计量：
Figure FDA0002465915310000013
给定显著性水平α＝0.05之后，测量值满足gi≤g0(n,α)，则认为测量值有效，测量值参与到下一层次的数据聚合；反之，则认为测量值无效，因此需要剔除，即不参与到下一层次的数据聚合；
步骤三，各服务器处理接收到的相应处理子任务，并得到相应子任务处理结果；网络状态差的情况下，采用基于预先存储的数据迁移方法：
1)用户登录边缘云使用云服务，系统检测边缘云中是否有该服务所需要的数据，若有转5)；
2)边缘云系统将该服务所需要的数据形成数据请求消息发送到核心云；
3)核心云接收到数据请求消息后，查找该用户的家乡云，并将该数据请求消息发送到该用户的家乡云；
4)该用户家乡云接到消息后，根据数据请求消息的信息将数据发送到用户登录的边缘云，信息包括发送地址、数据名称；
5)用户服务使用完该数据后，将数据存储在该边缘云，以便用户下次使用；
步骤四，汇总统计各个服务器子任务处理结果，得到整体数据处理任务的处理结果；
步骤五，输出整体数据处理任务的处理结果。
2.如权利要求1所述的分布式数据统计处理方法，其特征在于，步骤一中，所述数据归一化处理包括：
(1)过滤采集的数据中的无效数据，重复数据以及空格；
(2)对过滤后的数据进行去噪；
(3)将去噪后的数据进行格式化处理，统一为标准格式。
3.如权利要求1所述的分布式数据统计处理方法，其特征在于，步骤二中，所述数据关键词提取分析包括：
从处理好的数据中提取关键句以及关键词，基于最少切分算法进行关键词的切分处理；
所述基于最少切分算法进行关键词的切分处理包括：
1)找出关键句中所有关键词，同时结合从数据中直接提取的管件词构建关键词有向无环图；
2)寻找出关键词有向无环图的最短路径；
3)判断最短路径上的关键词是否为关键句最少切分结果，若是，则输出最短路径上的关键词，若否，则返回步骤2)。
4.如权利要求1所述的分布式数据统计处理方法，其特征在于，所述分布式数据统计处理方法还包括：利用数据库存储采集的数据以及处理结果，并建立多个不同的数据表；同时可输入查询质量，通过关键词匹配进行数据查询。
5.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：
步骤一，获取待处理任务，并基于处理任务采集或上传需要处理的数据；对采集的相关数据进行归一化处理；
步骤二，对采集到的相关信息进行关键词提取分析，并基于得到的关键词进行分类；将数据处理任务划分为多个处理子任务，并下发至不同的服务器；
步骤三，各服务器处理接收到的相应处理子任务，并得到相应子任务处理结果；
步骤四，汇总统计各个服务器子任务处理结果，得到整体数据处理任务的处理结果；
步骤五，输出整体数据处理任务的处理结果。
6.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～4任意一项所述的分布式数据统计处理方法。
7.一种实施权利要求1～4任意一项所述分布式数据统计处理方法的分布式数据统计处理系统，其特征在于，所述分布式数据统计处理系统包括：
数据采集模块，用于获取待处理任务，并基于处理任务采集或上传需要处理的数据；
数据预处理模块，用于对采集的相关数据进行归一化处理；
数据分类模块，用于对采集到的相关信息进行关键词提取分析、分类；
任务下发模块，用于将数据处理任务划分为多个处理子任务，并下发至数据处理模块；
数据处理模块，包括多个服务器，用于利用不同服务器处理不同的子任务；
结果统计模块，用于汇总统计各个服务器子任务处理结果，得到整体数据处理任务的处理结果；
数据库，用于存储采集的数据以及处理结果，并建立多个不同的数据表；
结果输出模块，用于输出整体数据处理任务的处理结果；
查询模块，用于通过输入指令进行数据查询。
8.如权利要求7所述的分布式数据统计处理系统，其特征在于，所述数据库包括：
所述数据库用于存储采集的数据以及处理结果，并建立多个不同的数据表；
所述数据表包括：
用于实时存储采集数据的采集数据统计表；
用于存储分类数据的数据分类表；
用于存储处理数据的数据处理表；
基于采集数据统计表以及数据处理表建立的日数据表、月数据表以及年数据表。
9.一种终端，其特征在于，所述终端搭载权利要求7所述的分布式数据统计处理系统。
10.一种自动化控制系统，其特征在于，所述自动化控制系统搭载权利要求7所述的分布式数据统计处理系统。
CN202010333878.2A 2020-04-24 2020-04-24 一种分布式数据统计处理系统、方法、存储介质、终端 Pending CN111597174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010333878.2A CN111597174A (zh) 2020-04-24 2020-04-24 一种分布式数据统计处理系统、方法、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333878.2A CN111597174A (zh) 2020-04-24 2020-04-24 一种分布式数据统计处理系统、方法、存储介质、终端

Publications (1)

Publication Number Publication Date
CN111597174A true CN111597174A (zh) 2020-08-28

Family

ID=72190565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333878.2A Pending CN111597174A (zh) 2020-04-24 2020-04-24 一种分布式数据统计处理系统、方法、存储介质、终端

Country Status (1)

Country Link
CN (1) CN111597174A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506905A (zh) * 2020-12-03 2021-03-16 国网江苏省电力有限公司 一种基于大数据的数据治理系统及其治理方法
CN112527602A (zh) * 2020-12-16 2021-03-19 平安养老保险股份有限公司 业务数据统计方法、装置、计算机设备及存储介质
CN112788143A (zh) * 2021-01-19 2021-05-11 澜途集思生态科技集团有限公司 一种基于物联网的分布式数据采集汇总方法
CN113138900A (zh) * 2021-04-27 2021-07-20 上海淇玥信息技术有限公司 一种数据采集处理方法、装置和电子设备
CN113961628A (zh) * 2021-12-20 2022-01-21 广州市腾嘉自动化仪表有限公司 一种集散式数据分析控制系统
CN115982503A (zh) * 2023-02-07 2023-04-18 梁礼津 一种基于云平台的网站信息采集方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103269364A (zh) * 2013-05-13 2013-08-28 西安电子科技大学 一种分布式云计算数据迁移方法
CN105469204A (zh) * 2015-11-20 2016-04-06 天津贝德曼科技有限公司 深度融合大数据分析技术的重装制造企业综合评价系统
CN107563220A (zh) * 2017-08-29 2018-01-09 湖南财政经济学院 一种基于计算机的大数据分析控制系统及控制方法
CN108170826A (zh) * 2018-01-08 2018-06-15 北京国信宏数科技有限责任公司 一种基于互联网大数据的宏观经济分析方法及系统
CN109298948A (zh) * 2018-10-31 2019-02-01 北京国信宏数科技有限责任公司 分布式计算方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103269364A (zh) * 2013-05-13 2013-08-28 西安电子科技大学 一种分布式云计算数据迁移方法
CN105469204A (zh) * 2015-11-20 2016-04-06 天津贝德曼科技有限公司 深度融合大数据分析技术的重装制造企业综合评价系统
CN107563220A (zh) * 2017-08-29 2018-01-09 湖南财政经济学院 一种基于计算机的大数据分析控制系统及控制方法
CN108170826A (zh) * 2018-01-08 2018-06-15 北京国信宏数科技有限责任公司 一种基于互联网大数据的宏观经济分析方法及系统
CN109298948A (zh) * 2018-10-31 2019-02-01 北京国信宏数科技有限责任公司 分布式计算方法和系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506905A (zh) * 2020-12-03 2021-03-16 国网江苏省电力有限公司 一种基于大数据的数据治理系统及其治理方法
CN112527602A (zh) * 2020-12-16 2021-03-19 平安养老保险股份有限公司 业务数据统计方法、装置、计算机设备及存储介质
CN112788143A (zh) * 2021-01-19 2021-05-11 澜途集思生态科技集团有限公司 一种基于物联网的分布式数据采集汇总方法
CN113138900A (zh) * 2021-04-27 2021-07-20 上海淇玥信息技术有限公司 一种数据采集处理方法、装置和电子设备
CN113961628A (zh) * 2021-12-20 2022-01-21 广州市腾嘉自动化仪表有限公司 一种集散式数据分析控制系统
CN115982503A (zh) * 2023-02-07 2023-04-18 梁礼津 一种基于云平台的网站信息采集方法及系统
CN115982503B (zh) * 2023-02-07 2023-10-13 深圳慧梧科技有限公司 一种基于云平台的网站信息采集方法及系统

Similar Documents

Publication Publication Date Title
CN111597174A (zh) 一种分布式数据统计处理系统、方法、存储介质、终端
CN107704539B (zh) 大规模文本信息批量结构化的方法及装置
CN106789251B (zh) 网银运行状态监控系统及方法
CN112445775B (zh) 一种光刻机的故障分析方法、装置、设备和存储介质
CN110737689B (zh) 数据标准符合性检测方法、装置、系统及存储介质
CN112559567A (zh) 适用于olap查询引擎的查询方法及装置
US10339035B2 (en) Test DB data generation apparatus
CN110765195A (zh) 一种数据解析方法、装置、存储介质及电子设备
CN109241163B (zh) 电子凭证的生成方法及终端设备
CN111475532A (zh) 数据处理的优化方法及装置、存储介质、终端
CN110929509B (zh) 一种基于louvain社区发现算法的领域事件触发词聚类方法
CN116074183A (zh) 一种基于规则引擎的c3超时分析方法、装置及设备
CN111680083A (zh) 智能化多级政府财政数据采集系统及数据采集方法
CN113138990B (zh) 一种数据血缘构建、追溯方法、装置及设备
WO2022062834A1 (zh) 数据探查方法、装置、电子设备和存储介质
CN115495587A (zh) 一种基于知识图谱的告警分析方法及装置
US11144435B1 (en) Test case generation for software development using machine learning
CN114116773A (zh) 一种结构化查询语言sql文本审核方法及装置
CN112948469A (zh) 数据挖掘方法、装置、计算机设备及存储介质
CN112015957A (zh) 基于es的数据查询方法及装置
CN112307050B (zh) 一种重复关联计算的识别方法、装置及计算机系统
CN111091473B (zh) 保险问题分析处理方法和装置
CN112612945B (zh) 一种分类搜索的方法和装置
US20230214394A1 (en) Data search method and apparatus, electronic device and storage medium
CN113934609A (zh) 大数据平台运维方法、装置、计算设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200828