CN113961628B - 一种集散式数据分析控制系统 - Google Patents
一种集散式数据分析控制系统 Download PDFInfo
- Publication number
- CN113961628B CN113961628B CN202111560862.6A CN202111560862A CN113961628B CN 113961628 B CN113961628 B CN 113961628B CN 202111560862 A CN202111560862 A CN 202111560862A CN 113961628 B CN113961628 B CN 113961628B
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- container
- processing unit
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种集散式数据分析控制系统,主要涉及数据分析技术领域,包括数据分析模块和数据处理模块。数据分析模块设置容器,用以对待分析数据进行分类并分成若干个数据容器;数据处理模块包括若干个数据处理单元,数据处理单元数量可扩展且其数量与数据容器的数量相同,每个数据处理单元均设置处理器,用以对容器内数据分别进行处理;控制模块分别与数据分析模块和数据处理模块连接,根据每个数据容器内的数据量控制数据传输过程,根据各个数据处理结果之间的耦合度控制其返回过程。本发明有益效果:提高数据使用的有效性,缩短计算周期,降低处理器负担,提高数据分析执行效率;数据分析结果的准确性和数据处理速度不受数据量的影响。
Description
技术领域
本发明涉及数据分析技术领域,尤其涉及一种集散式数据分析控制系统。
背景技术
数据分析,是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析的过程是数据管理体系的支持过程,数据分析的结论可以帮助人们作出判断,以便采取适当的行动。
随着互联网技术以及工业物联网技术的蓬勃发展,数据的爆发性增长已成为趋势;与此同时,人们为了从海量数据中挖掘到有用信息,数据分析就越来越起着至关重要的作用。尤其在工业物联网企业中,随着时间的积累,产生了大量的历史数据,但企业对其分析利用并不充分:大量的数据常常通过单数据通道进行计算和分析,导致处理器负担过重而长时间无响应;如果运行过程中单节点数据分析发生故障,则导致该数据分析停滞,直到排除故障后,数据分析过程才能继续进行,可能造成数据丢失;当所要执行的任务需要某一类数据分析结果时,海量历史数据参与数据分析和计算,导致执行效率低下,无法及时获得有效的数据分析结果。
发明内容
为此,本发明提供一种集散式数据分析控制系统,用以克服现有技术中数据分析过程中参与分析和计算的数据规模庞大、计算周期长、执行效率低的问题。
为实现上述目的,本发明提供一种集散式数据分析控制系统,包括数据分析模块和数据处理模块,其中,
所述数据分析模块与所述数据处理模块连接;
所述数据分析模块,用以对待分析数据根据数据类型进行分类,分成若干个数据容器;
所述数据处理模块,用以对数据容器内的数据分别进行处理,所述数据处理模块包括若干个数据处理单元,所述数据处理单元的数量与所述数据容器的数量相同,所述数据处理单元对数据容器内的数据进行处理后输出数据处理结果;
控制模块,分别与所述数据分析模块和所述数据处理模块连接,用以根据所述每个数据容器内的数据量以及各个数据处理结果之间的耦合关系分别控制所述数据分析模块向数据处理模块分发数据的过程以及所述数据处理模块输出的数据处理结果返回所述数据分析模块的过程;
根据所述每个数据容器内的数据量控制所述数据分析模块向数据处理模块分发数据的过程包括:
所述控制模块内预先设置有标准数据量D0,根据数据类型进行分类的过程中,若是任意数据容器内的数据量Di≥标准数据量D0,则控制模块优先将该数据容器内的数据分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回所述数据分析模块;
所述根据各个数据处理结果之间的耦合关系控制所述数据处理模块输出的数据处理结果返回所述数据分析模块的过程包括:
所述控制模块将所述数据处理单元的数据处理结果返回至所述数据分析模块后,所述控制模块根据设置的数据结果分类条件判定各个数据处理结果之间是否有数据参数的交换输入和交换输出,用以判定各个数据处理结果的耦合关系;
所述控制模块内预先设置有标准耦合度,若在进行数据处理结果返回的过程中,对于任意数据处理结果,若该数据处理结果与其他的数据处理结果的耦合度高于标准耦合度,则在返回该数据处理结果后进行耦合度高于标准耦合度的数据处理结果的传输。
进一步地,所述控制模块将所述数据容器内标准数据量D0分发到对应的数据处理单元所用时间记为TF0,控制模块将该数据处理单元的数据处理结果返回所述数据分析模块所用时间记为TH0;
在所述控制模块内设置第一溢出数据量为1.2D0,所述控制模块将所述任意数据容器内的数据量Di与所述预先设置的标准数据量D0和第一溢出数据量1.2D0进行比较,用以判断控制模块是否优先将该数据容器内的数据分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回所述数据分析模块;当D0<Di≤1.2D0时,所述控制模块判断该数据容器内数据量少量超出标准数据量,则控制模块将该数据容器内的数据分发至对应的数据处理单元较控制模块将标准数据量的数据容器内的数据分发至对应的数据处理单元提前的时间为0.2(TF0+TH0);
在所述控制模块内设置第二溢出数据量为2D0,所述控制模块将所述任意数据容器内的数据量Di与所述预先设置的标准数据量D0和第二溢出数据量2D0进行比较,用以判断控制模块是否优先将该数据容器内的数据分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回所述数据分析模块;当1.2D0<Di≤2D0时,所述控制模块判断该数据容器内数据量中等超出标准数据量,则控制模块将该数据容器内的数据分发至对应的数据处理单元较控制模块将标准数据量的数据容器内的数据分发至对应的数据处理单元提前的时间为(TF0+TH0);
当Di>2D0时,所述控制模块判断该数据容器内数据量大量超出标准数据量,则控制模块将该数据容器内的数据分为Di/D0等份,其中Di/D0结果取整,多余的数据量合并至其中一份数据中,进而将多份数据量分别分发至新的数据容器,形成该数据类型数据容器组,所述数据容器组的容器同时将数据容器内数据量分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回所述数据分析模块。
进一步地,当Di<D0时,所述控制模块判断该数据容器内数据量不足标准数据量,则控制模块将该数据容器内的数据分发至对应的数据处理单元较控制模块将标准数据量的数据容器内的数据分发至对应的数据处理单元延迟的时间为(1-k)(TF0+TH0),其中k=Di/D0。
进一步地,所述控制模块内预先设置标准耦合度,记为C0;所述数据处理结果之间具有交换输入和交换输出关系的数据参数数量及交换次数决定了各个数据处理结果的耦合度,所述控制模块将任意两个数据处理结果的耦合度记为Ci,当Ci>C0时,所述控制模块判断所述两个数据处理结果耦合度加强,则控制模块优先将数据处理结果耦合度小的数据处理单元的数据处理结果返回至数据分析模块;所述控制模块对各个数据处理结果的耦合度从小到大排序,依次按照耦合度从小到大的顺序将所述数据处理单元的数据处理结果返回至数据分析模块。
进一步地,所述数据处理单元数据处理过程如下,
s01,所述数据处理单元获取所述数据分析模块中对应的数据容器中的数据;
s02,将所述数据处理过程分组,记为st;将第一数据处理单元的数据处理过程组记为st1=(st101,st102,……,st10k),第N数据处理单元的数据处理过程组记为stn=(stn01,stn02,……,stn0k);其中k为自然数,表示所述数据处理过程组有k个数据处理步骤;其中st101,……,stn0k为所述数据处理过程中每一步所对应的计算方法和结果参数;
s03,所述数据容器将所述数据分发给对应的所述数据处理单元后,数据进入所述数据处理过程组开始进行数据处理;
s04,所述数据处理过程组内数据处理步骤分为独立处理步骤和关联处理步骤;当所述数据处理单元中数据处理步骤判断需要调取其他数据处理单元中的关联处理步骤时,所述数据分析模块中的数据容器获取所述数据处理单元发来的请求,调取关联处理步骤,并发送给发来请求的数据处理单元;
s05,所述数据处理单元完成数据处理,并将数据处理结果分别发送给所述数据分析模块和存储器;所述数据分析模块记录获取的每一条数据处理结果所用处理步骤,并同步到所述存储器中。
进一步地,所述独立处理步骤,其处理过程中使用的数据为当前数据处理单元的数据,其处理结果为当前数据处理单元的数据处理结果;所述关联处理步骤,其处理过程中使用的数据为当前数据处理单元的数据,其处理结果为其他数据处理单元中处理过程组步骤请求使用的结果,或其处理结果为本数据处理单元中处理过程组其他处理步骤请求使用的结果;
所述独立处理步骤与所述关联处理步骤在数据处理过程中,当第一数据处理单元数据处理过程中第st105步骤需要调用数据第二处理单元的数据处理过程中第st203步骤时,第一数据处理单元的数据处理过程组记为st1=(st101,st102,……,st105+st203,……,st10k);当第一数据处理单元的数据处理过程中第st105步骤需要调用本数据处理单元的数据处理过程中第st103步骤时,第一数据处理单元的数据处理过程组记为st1=(st101,st102,……,st105+st103,……,st10k)。
进一步地,所述数据处理单元具备扩展功能,当数据库中的数据需要再增加一类数据处理时,所述数据分析模块中将增加一个数据容器,用以数据容器数量与数据处理单元数量相同。
进一步地,所述数据分析模块对待分析数据根据数据类型进行分类过程包括:
步骤a,在所述数据分析模块中根据数据类型设置多个数据特征;
步骤b,根据从待分类数据中获取到至少一个特征对所述待分类数据进行检索,用以形成所述待分类数据的特征数据组;
步骤c,按照各个预定聚类个数对所述特征数据组进行聚类,并按照聚类结果对所述特征数据组进行分类,进而完成所述数据类型分类。
进一步地,所述数据分析模块还包括显示器和存储器;
所述显示器,其内部设置人机交互界面,用以显示数据和工作状态;所述存储器,其内部设置数据库,用以将所述集散式数据分析控制系统的数据存储到数据库。
与现有技术相比,本发明的有益效果在于,
(1)通过每个数据处理单元的处理器分别对分类后的数据进行处理,减轻了控制中心中央处理器的工作负担,提高了系统工作效率;
(2)数据处理单元的可扩展功能,使本发明提供的集散式数据分析控制系统的数据处理更加灵活,数据处理结果的准确性和数据处理速度都不受数据处理量的影响;
(3)通过数据类型分类,使数据处理单元的数据处理过程更加有效,数据处理结果更加精准;
(4)控制模块根据每个数据容器内的数据量控制数据分析模块向数据处理模块分发数据的过程以及所述数据处理模块输出的数据处理结果返回所述数据分析模块的过程,能够保证各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回数据分析模块,这一功能使各数据处理单元的数据处理过程保持同步;
(5)控制模块根据各个数据处理结果之间的耦合关系控制数据处理模块输出的数据处理结果返回所述数据分析模块的过程,使得数据处理单元和数据处理结果之间在具有高于标准耦合度的情况下,能够遵从数据处理的先后顺序,使数据处理过程更加顺畅,避免由于处理过程中缺少耦合关系数据而丢失数据或造成数据处理结果不准确;
(6)在数据处理过程中设置独立处理步骤与关联处理步骤,使得各数据处理单元既相互独立又相互关联,在不需要关联数据时,数据处理单元是独立的;在需要关联数据时,数据处理单元可以通过容器调用所需的精准数据,使得数据处理更加精准有效、缩短数据处理时间。
附图说明
图1为本发明所述一种集散式数据分析控制系统的结构示意图;
1、数据分析模块;2、数据处理模块;3、控制模块;4、第一数据处理单元;5、第二数据处理单元;6、第N数据处理单元;7、云服务器。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
本发明提供一种集散式数据分析控制系统,请参阅图1所示,可以按照如下方式予以实施:包括数据分析模块1和数据处理模块2,其中,数据分析模块1,用以对待分析数据根据数据类型进行分类,分成若干个数据容器;数据处理模块2,用以对数据容器内的数据分别进行处理,数据处理模块2包括若干个数据处理单元,数据处理单元的数量与数据容器的数量相同,数据处理单元对数据容器内的数据进行处理后输出数据处理结果;各个数据处理单元均包括处理器,其内部设置数据处理过程,用以对数据分析模块1发送来的数据进行数据处理。本发明提供的集散式数据分析控制系统,通过每个数据处理单元的处理器分别对分类后的数据进行处理,缩短数据处理时间,提高了系统工作效率。
具体而言,数据处理单元具备扩展功能,当数据库中的数据需要再增加一类数据处理时,所述数据分析模块中将增加一个数据容器,用以数据容器数量与数据处理单元数量相同。数据处理单元的可扩展功能,使本发明提供的集散式数据分析控制系统的数据处理更加灵活,数据处理结果的准确性和数据处理速度都不受数据处理量的影响。
具体而言,数据分析模块1对待分析数据根据数据类型进行分类过程包括:步骤a,在数据分析模块1中根据数据类型设置多个数据特征;步骤b,根据从待分类数据中获取到至少一个特征对待分类数据进行检索,用以形成待分类数据的特征数据组;步骤c,按照各个预定聚类个数对特征数据组进行聚类,并按照聚类结果对特征数据组进行分类,进而完成数据类型分类。本控制系统的数据类型分类功能,使数据处理单元的数据处理过程更加有效,数据处理结果更加精准。
控制模块3,分别与数据分析模块1和数据处理模块连接2,用以根据每个数据容器内的数据量以及各个数据处理结果之间的耦合关系分别控制数据分析模块1向数据处理模块2分发数据的过程以及所述数据处理模块2输出的数据处理结果返回所述数据分析模块1的过程。
根据每个数据容器内的数据量控制数据分析模块1向数据处理模块2分发数据的过程包括:控制模块内预先设置有标准数据量D0,根据数据类型进行分类的过程中,若是任意数据容器内的数据量Di≥标准数据量D0,则控制模块优先将该数据容器内的数据分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回数据分析模块。
具体而言,控制模块3将数据容器内标准数据量D0分发到对应的数据处理单元所用时间记为TF0,控制模块3将该数据处理单元的数据处理结果返回至数据分析模块所用时间记为TH0;
在控制模块3内设置第一溢出数据量为1.2D0,控制模块3将任意数据容器内的数据量Di与预先设置的标准数据量D0和第一溢出数据量1.2D0进行比较,用以判断控制模块3是否优先将该数据容器内的数据分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回数据分析模块;当D0<Di≤1.2D0时,控制模块3判断该数据容器内数据量少量超出标准数据量,则控制模块3将该数据容器分发至对应的数据处理单元较控制模块3将标准数据量的数据容器分发至对应的数据处理单元提前的时间为0.2(TF0+TH0);
在控制模块3内设置第二溢出数据量为2D0,控制模块3将任意数据容器内的数据量Di与预先设置的标准数据量D0和第二溢出数据量2D0进行比较,用以判断控制模块3是否优先将该数据容器内的数据分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回数据分析模块;当1.2D0<Di≤2D0时,控制模块3判断该数据容器内数据量中等超出标准数据量,则控制模块3将该数据容器分发至对应的数据处理单元较控制模块3将标准数据量的数据容器分发至对应的数据处理单元提前的时间为(TF0+TH0);
当Di>2D0时,控制模块3判断该数据容器内数据量大量超出标准数据量,则控制模块3将该数据容器内数据分为Di/D0等份,其中Di/D0结果取整,多余的数据量合并至其中一份数据中,进而将多份数据量分别分发至新的数据容器,形成该数据类型数据容器组,数据容器组的容器同时将数据容器内数据量分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回数据分析模块。
当Di<D0时,所述控制模块3判断该数据容器内数据量不足标准数据量,则控制模3将该数据容器分发至对应的数据处理单元较控制模块3将标准数据量的数据容器分发至对应的数据处理单元延迟的时间为(1-k)(TF0+TH0),其中k=Di/D0。
控制模块3根据每个数据容器内的数据量控制数据分析模块1向数据处理模块2分发数据的过程以及所述数据处理模块输出的数据处理结果返回所述数据分析模块1的过程,能够保证各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回数据分析模块1,这一功能使各数据处理单元的数据处理过程保持同步。
控制模块3根据各个数据处理结果之间的耦合关系控制数据处理模块输出的数据处理结果返回所述数据分析模块1的过程包括:控制模块3内预先设置有标准耦合度,若在进行数据处理结果返回的过程中,对于任意数据处理结果,若该数据处理结果与其他的数据处理结果的耦合度高于标准耦合度,则在返回该数据处理结果后进行耦合度高于标准耦合度的数据处理结果的传输。
控制模块3根据各个数据处理结果之间的耦合关系控制所述数据处理模块2输出的数据处理结果返回数据分析模块1的过程包括:控制模块内预先设置有标准耦合度,若在进行数据处理结果返回的过程中,对于任意数据处理结果,若该数据处理结果与其他的数据处理结果的耦合度高于标准耦合度,则在返回该数据处理结果后进行耦合度高于标准耦合度的数据处理结果的传输。
具体而言,控制模块3将数据处理单元的数据处理结果返回至数据分析模块1后,控制模块3根据设置的数据结果分类条件判定各个数据处理结果之间是否有数据参数的交换输入和交换输出,用以判定各个数据处理结果的耦合关系;
控制模块3内预先设置标准耦合度,记为C0;数据处理结果之间具有交换输入和交换输出关系的数据参数数量及交换次数决定了各个数据处理结果的耦合度,控制模块将任意两个数据处理结果的耦合度记为Ci,当Ci>C0时,控制模块判断所述两个数据处理结果耦合度加强,则控制模块优先将数据处理结果耦合度小的数据处理单元的数据处理结果返回至数据分析模块1;控制模块3对各个数据处理结果的耦合度从小到大排序,依次按照耦合度从小到大的顺序将所述数据处理单元的数据处理结果返回至数据分析模块,用以保证数据分析模块1数据处理结果的准确性。
控制模块3根据各个数据处理结果之间的耦合关系控制数据处理模块输出的数据处理结果返回所述数据分析模块1的过程,使得数据处理单元和数据处理结果之间在具有高于标准耦合度的情况下,能够遵从数据处理的先后顺序,使数据处理过程更加顺畅,避免由于处理过程中缺少耦合关系数据而丢失数据或造成数据处理结果不准确。
数据处理单元的数据处理过程如下,
s01,所述数据处理单元获取所述数据分析模块中对应的数据容器中的数据;
s02,将所述数据处理过程分组,记为st;将第一数据处理单元的数据处理过程组记为st1=(st101,st102,……,st10k),第N数据处理单元的数据处理过程组记为stn=(stn01,stn02,……,stn0k);其中k为自然数,表示所述数据处理过程组有k个数据处理步骤;其中st101,……,stn0k为所述数据处理过程中每一步所对应的计算方法和结果参数;
s03,所述数据容器将所述数据分发给对应的所述数据处理单元后,数据进入所述数据处理过程组开始进行数据处理;
s04,所述数据处理过程组内数据处理步骤分为独立处理步骤和关联处理步骤;当所述数据处理单元中数据处理步骤判断需要调取其他数据处理单元中的关联处理步骤时,所述数据分析模块中的数据容器获取所述数据处理单元发来的请求,调取关联处理步骤,并发送给发来请求的数据处理单元;
s05,所述数据处理单元完成数据处理,并将数据处理结果分别发送给所述数据分析模块和存储器;所述数据分析模块记录获取的每一条数据处理结果所用处理步骤,并同步到所述存储器中。
具体而言,独立处理步骤,其处理过程中使用的数据为当前数据处理单元的数据,其处理结果为当前数据处理单元的数据处理结果;关联处理步骤,其处理过程中使用的数据为当前数据处理单元的数据,其处理结果为其他数据处理单元中处理过程组步骤请求使用的结果,或其处理结果为本数据处理单元中处理过程组其他处理步骤请求使用的结果。
独立处理步骤与关联处理步骤在数据处理过程中,当第一数据处理单元的数据处理过程中第st105步骤需要调用第二数据处理单元的数据处理过程中第st203步骤时,第一数据处理单元的数据处理过程组记为st1=(st101,st102,……,st105+st203,……,st10k);当第一数据处理单元的数据处理过程中第st105步骤需要调用本数据处理单元的数据处理过程中第st103步骤时,第一数据处理单元的数据处理过程组记为st1=(st101,st102,……,st105+st103,……,st10k)。
在数据处理过程中设置独立处理步骤与关联处理步骤,使得各数据处理单元既相互独立又相互关联,在不需要关联数据时,数据处理单元是独立的,在需要关联数据时,数据处理单元可以通过容器调用所需的精准数据,使得数据处理更加精准有效、缩短数据处理时间。
本发明提供的集散式数据分析控制系统,其与云服务器7连接,云服务器读取控制中心的存储器数据,用以备份并时时更新控制中心的数据;云服务器提供数据上传、数据存储和数据下载功能。
具体而言,可以替换的数据备份的方式还可以采用集散式数据分析控制系统与本地服务器连接。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。 凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种集散式数据分析控制系统,其特征在于,包括数据分析模块和数据处理模块,其中,
所述数据分析模块与所述数据处理模块连接;
所述数据分析模块,用以对待分析数据根据数据类型进行分类,分成若干个数据容器;
所述数据处理模块,用以对数据容器内的数据分别进行处理,所述数据处理模块包括若干个数据处理单元,所述数据处理单元的数量与所述数据容器的数量相同,所述数据处理单元对数据容器内的数据进行处理后输出数据处理结果;
控制模块,分别与所述数据分析模块和所述数据处理模块连接,用以根据所述每个数据容器内的数据量以及各个数据处理结果之间的耦合关系分别控制所述数据分析模块向数据处理模块分发数据的过程以及所述数据处理模块输出的数据处理结果返回所述数据分析模块的过程;
根据所述每个数据容器内的数据量控制所述数据分析模块向数据处理模块分发数据的过程包括:
所述控制模块内预先设置有标准数据量D0,根据数据类型进行分类的过程中,若是任意数据容器内的数据量Di≥标准数据量D0,则控制模块优先将该数据容器内的数据分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回所述数据分析模块;
所述根据各个数据处理结果之间的耦合关系控制所述数据处理模块输出的数据处理结果返回所述数据分析模块的过程包括:
所述控制模块将所述数据处理单元的数据处理结果返回至所述数据分析模块后,所述控制模块根据设置的数据结果分类条件判定各个数据处理结果之间是否有数据参数的交换输入和交换输出,用以判定各个数据处理结果的耦合关系;
所述控制模块内预先设置有标准耦合度,若在进行数据处理结果返回的过程中,对于任意数据处理结果,若该数据处理结果与其他的数据处理结果的耦合度高于标准耦合度,则在返回该数据处理结果后进行耦合度高于标准耦合度的数据处理结果的传输。
2.根据权利要求1所述的集散式数据分析控制系统,其特征在于,所述控制模块将所述数据容器内标准数据量D0分发到对应的数据处理单元所用时间记为TF0,控制模块将该数据处理单元的数据处理结果返回所述数据分析模块所用时间记为TH0;
在所述控制模块内设置第一溢出数据量为1.2D0,所述控制模块将所述任意数据容器内的数据量Di与所述预先设置的标准数据量D0和第一溢出数据量1.2D0进行比较,用以判断控制模块是否优先将该数据容器内的数据分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回所述数据分析模块;当D0<Di≤1.2D0时,所述控制模块判断该数据容器内数据量少量超出标准数据量,则控制模块将该数据容器内的数据分发至对应的数据处理单元较控制模块将标准数据量的数据容器内的数据分发至对应的数据处理单元提前的时间为0.2(TF0+TH0);
在所述控制模块内设置第二溢出数据量为2D0,所述控制模块将所述任意数据容器内的数据量Di与所述预先设置的标准数据量D0和第二溢出数据量2D0进行比较,用以判断控制模块是否优先将该数据容器内的数据分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回所述数据分析模块;当1.2D0<Di≤2D0时,所述控制模块判断该数据容器内数据量中等超出标准数据量,则控制模块将该数据容器内的数据分发至对应的数据处理单元较控制模块将标准数据量的数据容器内的数据分发至对应的数据处理单元提前的时间为(TF0+TH0);
当Di>2D0时,所述控制模块判断该数据容器内数据量大量超出标准数据量,则控制模块将该数据容器内的数据分为Di/D0等份,其中Di/D0结果取整,多余的数据量合并至其中一份数据中,进而将多份数据量分别分发至新的数据容器,形成该数据类型数据容器组,所述数据容器组的容器同时将数据容器内数据量分发至对应的数据处理单元,以使各数据处理单元接收到数据的时间趋于一致,从而将数据处理结果返回所述数据分析模块。
3.根据权利要求1所述的集散式数据分析控制系统,其特征在于,当Di<D0时,所述控制模块判断该数据容器内数据量不足标准数据量,则控制模块将该数据容器内的数据分发至对应的数据处理单元较控制模块将标准数据量的数据容器内的数据分发至对应的数据处理单元延迟的时间为(1-k)(TF0+TH0),其中k=Di/D0。
4.根据权利要求1所述的集散式数据分析控制系统,其特征在于,所述控制模块内预先设置标准耦合度,记为C0;所述数据处理结果之间具有交换输入和交换输出关系的数据参数数量及交换次数决定了各个数据处理结果的耦合度,所述控制模块将任意两个数据处理结果的耦合度记为Ci,当Ci>C0时,所述控制模块判断所述两个数据处理结果耦合度加强,则控制模块优先将数据处理结果耦合度小的数据处理单元的数据处理结果返回至数据分析模块;所述控制模块对各个数据处理结果的耦合度从小到大排序,依次按照耦合度从小到大的顺序将所述数据处理单元的数据处理结果返回至数据分析模块。
5.根据权利要求1所述的集散式数据分析控制系统,其特征在于,所述数据处理单元数据处理过程如下,
s01,所述数据处理单元获取所述数据分析模块中对应的数据容器中的数据;
s02,将所述数据处理过程分组,记为st;将第一数据处理单元的数据处理过程组记为st1=(st101,st102,……,st10k),第N数据处理单元的数据处理过程组记为stn=(stn01,stn02,……,stn0k);其中k为自然数,表示所述数据处理过程组有k个数据处理步骤;其中st101,……,stn0k为所述数据处理过程中每一步所对应的计算方法和结果参数;
s03,所述数据容器将所述数据分发给对应的所述数据处理单元后,数据进入所述数据处理过程组开始进行数据处理;
s04,所述数据处理过程组内数据处理步骤分为独立处理步骤和关联处理步骤;当所述数据处理单元中数据处理步骤判断需要调取其他数据处理单元中的关联处理步骤时,所述数据分析模块中的数据容器获取所述数据处理单元发来的请求,调取关联处理步骤,并发送给发来请求的数据处理单元;
s05,所述数据处理单元完成数据处理,并将数据处理结果分别发送给所述数据分析模块和存储器;所述数据分析模块记录获取的每一条数据处理结果所用处理步骤,并同步到所述存储器中。
6.根据权利要求5所述的集散式数据分析控制系统,其特征在于,所述独立处理步骤,其处理过程中使用的数据为当前数据处理单元的数据,其处理结果为当前数据处理单元的数据处理结果;所述关联处理步骤,其处理过程中使用的数据为当前数据处理单元的数据,其处理结果为其他数据处理单元中处理过程组步骤请求使用的结果,或其处理结果为本数据处理单元中处理过程组其他处理步骤请求使用的结果;
所述独立处理步骤与所述关联处理步骤在数据处理过程中,当第一数据处理单元数据处理过程中第st105步骤需要调用数据第二处理单元的数据处理过程中第st203步骤时,第一数据处理单元的数据处理过程组记为st1=(st101,st102,……,st105+st203,……,st10k);当第一数据处理单元的数据处理过程中第st105步骤需要调用本数据处理单元的数据处理过程中第st103步骤时,第一数据处理单元的数据处理过程组记为st1=(st101,st102,……,st105+st103,……,st10k)。
7.根据权利要求1所述的集散式数据分析控制系统,其特征在于,所述数据处理单元具备扩展功能,当数据库中的数据需要再增加一类数据处理时,所述数据分析模块中将增加一个数据容器,用以数据容器数量与数据处理单元数量相同。
8.根据权利要求1所述的集散式数据分析控制系统,其特征在于,所述数据分析模块对待分析数据根据数据类型进行分类过程包括:
步骤a,在所述数据分析模块中根据数据类型设置多个数据特征;
步骤b,根据从待分类数据中获取到至少一个特征对所述待分类数据进行检索,用以形成所述待分类数据的特征数据组;
步骤c,按照各个预定聚类个数对所述特征数据组进行聚类,并按照聚类结果对所述特征数据组进行分类,进而完成所述数据类型分类。
9.根据权利要求1所述的集散式数据分析控制系统,其特征在于,所述数据分析模块还包括显示器和存储器;
所述显示器,其内部设置人机交互界面,用以显示数据和工作状态;所述存储器,其内部设置数据库,用以将所述集散式数据分析控制系统的数据存储到数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111560862.6A CN113961628B (zh) | 2021-12-20 | 2021-12-20 | 一种集散式数据分析控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111560862.6A CN113961628B (zh) | 2021-12-20 | 2021-12-20 | 一种集散式数据分析控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113961628A CN113961628A (zh) | 2022-01-21 |
CN113961628B true CN113961628B (zh) | 2022-03-22 |
Family
ID=79473361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111560862.6A Active CN113961628B (zh) | 2021-12-20 | 2021-12-20 | 一种集散式数据分析控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113961628B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101316295A (zh) * | 2008-07-14 | 2008-12-03 | 中兴通讯股份有限公司 | 移动终端消息类应用的界面更新方法和装置 |
CN101917331A (zh) * | 2008-09-11 | 2010-12-15 | 丛林网络公司 | 用于数据中心的系统、方法以及设备 |
CN103324154A (zh) * | 2012-06-28 | 2013-09-25 | 上海市张江高科技园区新能源技术有限公司 | 锅炉监测装置及方法 |
CN103532139A (zh) * | 2013-10-22 | 2014-01-22 | 哈尔滨工业大学 | 一种递归切割式无功电压分区控制方法 |
CN105138527A (zh) * | 2014-05-30 | 2015-12-09 | 华为技术有限公司 | 一种数据分类回归方法及装置 |
CN111581249A (zh) * | 2020-03-25 | 2020-08-25 | 仙游县六合院农业开发有限公司 | 一种用于农业生产数据分析系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007052495A (ja) * | 2005-08-15 | 2007-03-01 | Toshiba Corp | ケーブル物量集計装置、ケーブル物量集計方法およびケーブル物量集計プログラム |
US8341014B2 (en) * | 2007-12-28 | 2012-12-25 | International Business Machines Corporation | Recovery segments for computer business applications |
CN102170666A (zh) * | 2011-03-31 | 2011-08-31 | 北京新岸线无线技术有限公司 | 一种数据处理方法、装置及系统 |
DE102014115579A1 (de) * | 2014-10-27 | 2016-04-28 | SSI Schäfer PEEM GmbH | Verfahren und System zum progressiven Kommissionieren |
US20170272321A1 (en) * | 2016-03-20 | 2017-09-21 | CloudBolt Software Inc. | Cloud computing configuration form generator |
CN106095796A (zh) * | 2016-05-30 | 2016-11-09 | 中国邮政储蓄银行股份有限公司 | 分布式数据存储方法、装置及系统 |
CN111597174A (zh) * | 2020-04-24 | 2020-08-28 | 重庆科技学院 | 一种分布式数据统计处理系统、方法、存储介质、终端 |
CN111708880A (zh) * | 2020-05-12 | 2020-09-25 | 北京明略软件系统有限公司 | 类簇的识别系统及方法 |
CN112734107B (zh) * | 2021-01-08 | 2024-05-10 | 浙江大学 | 基于误差逆传播的产品协同设计任务数据分解分配方法 |
-
2021
- 2021-12-20 CN CN202111560862.6A patent/CN113961628B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101316295A (zh) * | 2008-07-14 | 2008-12-03 | 中兴通讯股份有限公司 | 移动终端消息类应用的界面更新方法和装置 |
CN101917331A (zh) * | 2008-09-11 | 2010-12-15 | 丛林网络公司 | 用于数据中心的系统、方法以及设备 |
CN103324154A (zh) * | 2012-06-28 | 2013-09-25 | 上海市张江高科技园区新能源技术有限公司 | 锅炉监测装置及方法 |
CN103532139A (zh) * | 2013-10-22 | 2014-01-22 | 哈尔滨工业大学 | 一种递归切割式无功电压分区控制方法 |
CN105138527A (zh) * | 2014-05-30 | 2015-12-09 | 华为技术有限公司 | 一种数据分类回归方法及装置 |
CN111581249A (zh) * | 2020-03-25 | 2020-08-25 | 仙游县六合院农业开发有限公司 | 一种用于农业生产数据分析系统 |
Non-Patent Citations (2)
Title |
---|
Priority control of berth allocation problem in container terminals;Evrim Ursavas;《Annals of Operations Research》;20150907;1-20 * |
基于容器集群的负载均衡平台设计与实现;张坚鑫;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200615;I139-4 * |
Also Published As
Publication number | Publication date |
---|---|
CN113961628A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110297711B (zh) | 批量数据处理方法、装置、计算机设备及存储介质 | |
AU2010336363B2 (en) | Managing queries | |
EP1421495B1 (en) | System and method for monitoring software queuing applications | |
CN110837592B (zh) | 数据归档的方法、装置和计算机可读存储介质 | |
US10331625B2 (en) | Managing sequential data store | |
CN111897638B (zh) | 分布式任务调度方法及系统 | |
CN110019469B (zh) | 分布式数据库数据处理方法、装置、存储介质及电子装置 | |
US20130086418A1 (en) | Data processing failure recovery method, system and program | |
CN108140035B (zh) | 分布式系统的数据库复制方法及装置 | |
CN111400352B (zh) | 一种可进行数据批量处理的工作流引擎 | |
CN113094431A (zh) | 读写分离方法、装置及服务器 | |
US11995099B2 (en) | System and method for switching from consistent database to an eventual consistent database replica in real time while preventing reads of past versions of the data | |
CN113961628B (zh) | 一种集散式数据分析控制系统 | |
CN114398334A (zh) | 基于ZNBase集群的Prometheus远程存储方法及系统 | |
CN105577756A (zh) | 采用交叉备份的分布式数据库日志收集与负载调节系统及其方法 | |
EP3709173B1 (en) | Distributed information memory system, method, and program | |
CN112711606A (zh) | 数据库访问方法、装置、计算机设备和存储介质 | |
US10585620B2 (en) | Storage monitoring system for monitoring components in a storage system in a distributed manner | |
CN114493602B (zh) | 区块链交易的执行方法、装置、电子设备和存储介质 | |
CN111752786A (zh) | 压力测试过程中的数据存储方法、汇总方法、设备及介质 | |
CN115587147A (zh) | 一种数据处理方法及系统 | |
CN117216011B (zh) | 文件传输方法、装置及电子设备 | |
CN117763051B (zh) | 一种可扩展的cdc方式达梦数据库同步系统及其应用 | |
CN113609199B (zh) | 数据库系统、服务器及存储介质 | |
EP4109364B1 (en) | Method and device for managing project by using data pointer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |