CN117609270B - 一种多维数据分布式并行处理方法 - Google Patents
一种多维数据分布式并行处理方法 Download PDFInfo
- Publication number
- CN117609270B CN117609270B CN202410087800.5A CN202410087800A CN117609270B CN 117609270 B CN117609270 B CN 117609270B CN 202410087800 A CN202410087800 A CN 202410087800A CN 117609270 B CN117609270 B CN 117609270B
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- parallel processing
- distributed parallel
- multidimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 162
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000012795 verification Methods 0.000 claims abstract description 47
- 230000002159 abnormal effect Effects 0.000 claims abstract description 14
- 230000005856 abnormality Effects 0.000 claims description 19
- 230000001360 synchronised effect Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000010354 integration Effects 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multi Processors (AREA)
Abstract
本发明涉及多维数据处理领域，尤其涉及一种多维数据分布式并行处理方法，包括：S1、对待处理多维数据进行初步分割获取待处理多维分割数据；S2、根据所述待处理多维分割数据建立分布式并行处理拓扑；S3、根据所述分布式并行处理拓扑对待处理多维分割数据进行处理得到分布式并行处理结果，考虑到多维数据的前后关联逻辑性，保证了多维数据分割后在并行处理中的运行稳定性，在整体的处理拓扑下，又精细化划分出时序与非时序的进程，多重设置保障最终结果的输出，又对于数据正常输出设置了多层次验证，正常输出与异常输出比值达到0.5，对于多维数据的分割整合处理有显著的改善与提升。
Description
技术领域
本发明涉及多维数据处理领域，具体涉及一种多维数据分布式并行处理方法。
背景技术
多维数据顾名思义为多维度数据，针对多维度数据的快速准确处理一直是数据处理中的一大难题，传统方案分割、实施、合并，过程简单，且占用系统线程不固定，对于系统资源也是一种浪费，同时在多维数据的同步进程实施中，进程稳定性与多维数据稳定性无法保证，进而极易导致最终数据输出的错误与异常。
发明内容
针对现有技术的不足，本发明提供了一种多维数据分布式并行处理方法，通过多维数据分割后，步步为营的验证方法提升结果输出准确性与发生异常时的精准定位。
为实现上述目的，本发明提供了一种多维数据分布式并行处理方法，包括：
S1、对待处理多维数据进行初步分割获取待处理多维分割数据；
S2、根据所述待处理多维分割数据建立分布式并行处理拓扑；
S3、根据所述分布式并行处理拓扑对待处理多维分割数据进行处理得到分布式并行处理结果。
优选的，所述对待处理多维数据进行初步分割获取待处理多维分割数据包括：
S1-1、判断所述待处理多维数据是否为单一数据形式，若是，则利用所述待处理多维数据作为待处理多维分割数据，否则，执行S1-2；
S1-2、判断所述待处理多维数据是否对应稠密矩阵，若是，则根据所述待处理多维数据的数据维度数量进行分割得到待处理多维分割数据，否则，对待处理多维数据中稀疏矩阵进行剥离处理后得到更新待处理多维数据，并返回S1-1。
进一步的，根据所述待处理多维分割数据建立分布式并行处理拓扑包括：
S2-1、判断所述待处理多维分割数据是否存在关联逻辑关系，若是，则执行S2-2，否则，根据所述待处理多维分割数据的数据维度数量建立分布式并行处理拓扑；
S2-2、判断所述存在关联逻辑关系的待处理多维分割数据是否对应全部待处理多维分割数据，若是，则根据所述待处理多维分割数据对应关联逻辑关系依次建立时序处理进程作为分布式并行处理拓扑，否则，分别获取存在关联逻辑关系的待处理多维分割数据与不存在关联逻辑关系的待处理多维分割数据，并执行S2-3；
S2-3、利用所述存在关联逻辑关系的待处理多维分割数据建立时序处理进程，利用所述不存在关联逻辑关系的待处理多维分割数据建立并行处理进程；
S2-4、根据所述时序处理进程与并行处理进程建立起始时刻同步锁；
S2-5、利用所述时序处理进程、并行处理进程与起始时刻同步锁作为分布式并行处理拓扑。
进一步的，根据所述分布式并行处理拓扑对待处理多维分割数据进行处理得到分布式并行处理结果包括：
S3-1、利用所述待处理多维分割数据根据分布式并行处理拓扑得到待处理多维分割数据实时处理结果；
S3-2、根据所述分布式并行处理拓扑得到分布式并行处理拓扑实时验证结果；
S3-3、根据所述待处理多维分割数据实时处理结果与分布式并行处理拓扑实时验证结果得到分布式并行处理结果。
进一步的，利用所述待处理多维分割数据根据分布式并行处理拓扑得到待处理多维分割数据实时处理结果包括：
S3-1-1、利用所述待处理多维分割数据根据所述分布式并行处理拓扑进行划分；
S3-1-2、获取当前时刻作为分布式并行处理同步锁；
S3-1-3、判断所述分布式并行处理拓扑是否存在时序处理进程，若是，则将所述分布式并行处理同步锁加入时序处理进程，否则，不进行处理；
S3-1-4、利用所述分布式并行处理拓扑对待处理多维分割数据进行初始处理得到待处理多维分割初始数据；
S3-1-5、判断所述待处理多维分割初始数据对应属性与待处理多维数据是否完全对应，若是，则执行S3-1-6，否则，返回S3-1-1；
S3-1-6、判断所述待处理多维分割初始数据是否对应分布式并行处理同步锁，若是，则分别根据时序处理进程与并行处理进程得到待处理多维分割数据实时处理结果，否则，执行S3-1-7；
S3-1-7、判断所述待处理多维分割初始数据的数量与分布式并行处理拓扑是否完全对应，若是，则利用所述待处理多维分割初始数据作为待处理多维分割数据实时处理结果，否则，返回S3-1-1。
进一步的，所述分别根据时序处理进程与并行处理进程得到待处理多维分割数据实时处理结果包括：
S3-1-6-1、判断所述时序处理进程对应处理结果与并行处理进程对应处理结果是否均与待处理多维数据完全对应，若是，则执行S3-1-6-2，否则，返回S3-1-1；
S3-1-6-2、判断所述待处理多维数据对应同一待处理多维分割初始数据的生成数量是否为1，若是，则执行S3-1-6-3，否则，执行S3-1-6-4；
S3-1-6-3、利用所述时序处理进程与并行处理进程对应待处理多维分割初始数据作为待处理多维分割数据实时处理结果；
S3-1-6-4、判断当前时刻待处理多维分割初始数据对应分布式并行处理拓扑划分与相邻上一时刻待处理多维分割初始数据对应分布式并行处理拓扑划分是否相同，若是，则返回S2-1，否则，利用所述当前时刻待处理多维分割初始数据作为待处理多维分割数据实时处理结果。
进一步的，根据所述分布式并行处理拓扑得到分布式并行处理拓扑实时验证结果包括：
S3-2-1、获取所述待处理多维分割数据对应分布式并行处理拓扑的处理时刻建立多维分割数据处理时刻验证集；
S3-2-2、利用所述多维分割数据处理时刻验证集对应待处理多维分割初始数据建立多维分割数据处理数据集；
S3-2-3、判断所述多维分割数据处理数据集中各子集对应属性与待处理多维数据是否完全对应，若是，则执行S3-2-4，否则，所述分布式并行处理拓扑实时验证结果为异常；
S3-2-4、判断所述多维分割数据处理数据集中各子集与待处理多维数据是否完全对应，若是，则所述分布式并行处理拓扑实时验证结果为正常，否则，所述分布式并行处理拓扑实时验证结果为异常；
其中，所述分布式并行处理拓扑的处理时刻为待处理多维分割数据在分布式并行处理拓扑进行初始处理对应时刻。
进一步的，根据所述待处理多维分割数据实时处理结果与分布式并行处理拓扑实时验证结果得到分布式并行处理结果包括：
S3-3-1、当所述分布式并行处理拓扑实时验证结果为正常时，根据所述待处理多维分割数据实时处理结果得到分布式并行处理结果；
S3-3-2、当所述分布式并行处理拓扑实时验证结果为异常时，根据所述分布式并行处理拓扑实时验证结果得到分布式并行处理结果。
进一步的，根据所述待处理多维分割数据实时处理结果得到分布式并行处理结果包括：
S3-3-1-1、判断所述待处理多维分割数据实时处理结果是否处理完毕，若是，则输出所述待处理多维分割数据实时处理结果对应待处理多维分割初始数据作为分布式并行处理结果，否则，执行S3-3-1-2；
S3-3-1-2、根据所述待处理多维分割数据实时处理结果对应分布式并行处理拓扑进行继续处理得到分布式并行多维分割数据作为分布式并行处理结果。
进一步的，根据所述分布式并行处理拓扑实时验证结果得到分布式并行处理结果包括：
S3-3-2-1、当分布式并行处理拓扑实时验证结果为属性异常时，判断所述多维分割数据处理数据集对应待处理多维数据是否变化，若是，则返回S1，否则，获取当前分布式并行处理拓扑实时验证结果对应待处理多维分割数据实时处理结果作为异常，利用S3-2-3对应时刻作为异常时刻节点，输出所述待处理多维分割数据实时处理结果与异常时刻节点作为分布式并行处理结果；
S3-3-2-2、当分布式并行处理拓扑实时验证结果为数据异常时，判断当前时刻分布式并行处理同步锁是否正常，若是，则执行S3-3，否则，返回S3-1-2；
其中，所述属性异常为多维分割数据处理数据集中各子集对应属性与待处理多维数据不完全对应，所述数据异常为多维分割数据处理数据集中各子集与待处理多维数据不完全对应。
与最接近的现有技术相比，本发明具有的有益效果：
首先是创新性的提出了多维数据分割后数据处理与验证的并行实施，同时又考虑到多维数据的前后关联逻辑性，保证了多维数据分割后在并行处理中的运行稳定性，在整体的处理拓扑下，又精细化划分出时序与非时序的进程，多重设置保障最终结果的输出，又对于数据正常输出设置了多层次验证，正常输出与异常输出比值达到0.5，对于多维数据的分割整合处理有显著的改善与提升。
附图说明
图1是本发明提供的一种多维数据分布式并行处理方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：本发明提供了一种多维数据分布式并行处理方法，如图1所示，包括：
S1、对待处理多维数据进行初步分割获取待处理多维分割数据；
S2、根据所述待处理多维分割数据建立分布式并行处理拓扑；
S3、根据所述分布式并行处理拓扑对待处理多维分割数据进行处理得到分布式并行处理结果。
S1具体包括：
S1-1、判断所述待处理多维数据是否为单一数据形式，若是，则利用所述待处理多维数据作为待处理多维分割数据，否则，执行S1-2；
S1-2、判断所述待处理多维数据是否对应稠密矩阵，若是，则根据所述待处理多维数据的数据维度数量进行分割得到待处理多维分割数据，否则，对待处理多维数据中稀疏矩阵进行剥离处理后得到更新待处理多维数据，并返回S1-1。
本实施例中，一种多维数据分布式并行处理方法，所述稠密矩阵为多维数据的基础定义，即当无法确定多维数据均存在意义时，数值为0的元素数目远远多于非0元素，则为稀疏矩阵；反之，则为稠密矩阵。
S2具体包括：
S2-1、判断所述待处理多维分割数据是否存在关联逻辑关系，若是，则执行S2-2，否则，根据所述待处理多维分割数据的数据维度数量建立分布式并行处理拓扑；
S2-2、判断所述存在关联逻辑关系的待处理多维分割数据是否对应全部待处理多维分割数据，若是，则根据所述待处理多维分割数据对应关联逻辑关系依次建立时序处理进程作为分布式并行处理拓扑，否则，分别获取存在关联逻辑关系的待处理多维分割数据与不存在关联逻辑关系的待处理多维分割数据，并执行S2-3；
S2-3、利用所述存在关联逻辑关系的待处理多维分割数据建立时序处理进程，利用所述不存在关联逻辑关系的待处理多维分割数据建立并行处理进程；
S2-4、根据所述时序处理进程与并行处理进程建立起始时刻同步锁；
S2-5、利用所述时序处理进程、并行处理进程与起始时刻同步锁作为分布式并行处理拓扑。
S3具体包括：
S3-1、利用所述待处理多维分割数据根据分布式并行处理拓扑得到待处理多维分割数据实时处理结果；
S3-2、根据所述分布式并行处理拓扑得到分布式并行处理拓扑实时验证结果；
S3-3、根据所述待处理多维分割数据实时处理结果与分布式并行处理拓扑实时验证结果得到分布式并行处理结果。
S3-1具体包括：
S3-1-1、利用所述待处理多维分割数据根据所述分布式并行处理拓扑进行划分；
S3-1-2、获取当前时刻作为分布式并行处理同步锁；
S3-1-3、判断所述分布式并行处理拓扑是否存在时序处理进程，若是，则将所述分布式并行处理同步锁加入时序处理进程，否则，不进行处理；
S3-1-4、利用所述分布式并行处理拓扑对待处理多维分割数据进行初始处理得到待处理多维分割初始数据；
S3-1-5、判断所述待处理多维分割初始数据对应属性与待处理多维数据是否完全对应，若是，则执行S3-1-6，否则，返回S3-1-1；
S3-1-6、判断所述待处理多维分割初始数据是否对应分布式并行处理同步锁，若是，则分别根据时序处理进程与并行处理进程得到待处理多维分割数据实时处理结果，否则，执行S3-1-7；
S3-1-7、判断所述待处理多维分割初始数据的数量与分布式并行处理拓扑是否完全对应，若是，则利用所述待处理多维分割初始数据作为待处理多维分割数据实时处理结果，否则，返回S3-1-1。
S3-1-6具体包括：
S3-1-6-1、判断所述时序处理进程对应处理结果与并行处理进程对应处理结果是否均与待处理多维数据完全对应，若是，则执行S3-1-6-2，否则，返回S3-1-1；
S3-1-6-2、判断所述待处理多维数据对应同一待处理多维分割初始数据的生成数量是否为1，若是，则执行S3-1-6-3，否则，执行S3-1-6-4；
S3-1-6-3、利用所述时序处理进程与并行处理进程对应待处理多维分割初始数据作为待处理多维分割数据实时处理结果；
S3-1-6-4、判断当前时刻待处理多维分割初始数据对应分布式并行处理拓扑划分与相邻上一时刻待处理多维分割初始数据对应分布式并行处理拓扑划分是否相同，若是，则返回S2-1，否则，利用所述当前时刻待处理多维分割初始数据作为待处理多维分割数据实时处理结果。
S3-2具体包括：
S3-2-1、获取所述待处理多维分割数据对应分布式并行处理拓扑的处理时刻建立多维分割数据处理时刻验证集；
S3-2-2、利用所述多维分割数据处理时刻验证集对应待处理多维分割初始数据建立多维分割数据处理数据集；
S3-2-3、判断所述多维分割数据处理数据集中各子集对应属性与待处理多维数据是否完全对应，若是，则执行S3-2-4，否则，所述分布式并行处理拓扑实时验证结果为异常；
S3-2-4、判断所述多维分割数据处理数据集中各子集与待处理多维数据是否完全对应，若是，则所述分布式并行处理拓扑实时验证结果为正常，否则，所述分布式并行处理拓扑实时验证结果为异常；
其中，所述分布式并行处理拓扑的处理时刻为待处理多维分割数据在分布式并行处理拓扑进行初始处理对应时刻。
本实施例中，一种多维数据分布式并行处理方法，根据待处理多维分割数据在分布式并行处理拓扑中处理时刻作为S3-2-1中处理时刻，对应S3-1-4实施时刻作为多维分割数据处理时刻验证集中各子集时刻，通过建立带有时序性的数据集合序列，在验证失败或需要问题溯源，快速识别问题数据同时，又能精确定位发生时刻。
S3-3具体包括：
S3-3-1、当所述分布式并行处理拓扑实时验证结果为正常时，根据所述待处理多维分割数据实时处理结果得到分布式并行处理结果；
S3-3-2、当所述分布式并行处理拓扑实时验证结果为异常时，根据所述分布式并行处理拓扑实时验证结果得到分布式并行处理结果。
S3-3-1具体包括：
S3-3-1-1、判断所述待处理多维分割数据实时处理结果是否处理完毕，若是，则输出所述待处理多维分割数据实时处理结果对应待处理多维分割初始数据作为分布式并行处理结果，否则，执行S3-3-1-2；
S3-3-1-2、根据所述待处理多维分割数据实时处理结果对应分布式并行处理拓扑进行继续处理得到分布式并行多维分割数据作为分布式并行处理结果。
S3-3-2具体包括：
S3-3-2-1、当分布式并行处理拓扑实时验证结果为属性异常时，判断所述多维分割数据处理数据集对应待处理多维数据是否变化，若是，则返回S1，否则，获取当前分布式并行处理拓扑实时验证结果对应待处理多维分割数据实时处理结果作为异常，利用S3-2-3对应时刻作为异常时刻节点，输出所述待处理多维分割数据实时处理结果与异常时刻节点作为分布式并行处理结果；
S3-3-2-2、当分布式并行处理拓扑实时验证结果为数据异常时，判断当前时刻分布式并行处理同步锁是否正常，若是，则执行S3-3，否则，返回S3-1-2；
其中，所述属性异常为多维分割数据处理数据集中各子集对应属性与待处理多维数据不完全对应，所述数据异常为多维分割数据处理数据集中各子集与待处理多维数据不完全对应。
本实施例中，一种多维数据分布式并行处理方法，所述多维数据不仅可定位为数据内容属性不同，又可以将数据自身属性作为考虑维度之一，对于高集成数据有着较为广泛的应用实施。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (5)
1.一种多维数据分布式并行处理方法，其特征在于，包括：
S1、对待处理多维数据进行初步分割获取待处理多维分割数据；
S1-1、判断所述待处理多维数据是否为单一数据形式，若是，则利用所述待处理多维数据作为待处理多维分割数据，否则，执行S1-2；
S1-2、判断所述待处理多维数据是否对应稠密矩阵，若是，则根据所述待处理多维数据的数据维度数量进行分割得到待处理多维分割数据，否则，对待处理多维数据中稀疏矩阵进行剥离处理后得到更新待处理多维数据，并返回S1-1；
S2、根据所述待处理多维分割数据建立分布式并行处理拓扑；
S2-1、判断所述待处理多维分割数据是否存在关联逻辑关系，若是，则执行S2-2，否则，根据所述待处理多维分割数据的数据维度数量建立分布式并行处理拓扑；
S2-2、判断所述存在关联逻辑关系的待处理多维分割数据是否对应全部待处理多维分割数据，若是，则根据所述待处理多维分割数据对应关联逻辑关系依次建立时序处理进程作为分布式并行处理拓扑，否则，分别获取存在关联逻辑关系的待处理多维分割数据与不存在关联逻辑关系的待处理多维分割数据，并执行S2-3；
S2-3、利用所述存在关联逻辑关系的待处理多维分割数据建立时序处理进程，利用所述不存在关联逻辑关系的待处理多维分割数据建立并行处理进程；
S2-4、根据所述时序处理进程与并行处理进程建立起始时刻同步锁；
S2-5、利用所述时序处理进程、并行处理进程与起始时刻同步锁作为分布式并行处理拓扑；
S3、根据所述分布式并行处理拓扑对待处理多维分割数据进行处理得到分布式并行处理结果；
S3-1、利用所述待处理多维分割数据根据分布式并行处理拓扑得到待处理多维分割数据实时处理结果；
S3-1-1、利用所述待处理多维分割数据根据所述分布式并行处理拓扑进行划分；
S3-1-2、获取当前时刻作为分布式并行处理同步锁；
S3-1-3、判断所述分布式并行处理拓扑是否存在时序处理进程，若是，则将所述分布式并行处理同步锁加入时序处理进程，否则，不进行处理；
S3-1-4、利用所述分布式并行处理拓扑对待处理多维分割数据进行初始处理得到待处理多维分割初始数据；
S3-1-5、判断所述待处理多维分割初始数据对应属性与待处理多维数据是否完全对应，若是，则执行S3-1-6，否则，返回S3-1-1；
S3-1-6、判断所述待处理多维分割初始数据是否对应分布式并行处理同步锁，若是，则分别根据时序处理进程与并行处理进程得到待处理多维分割数据实时处理结果，否则，执行S3-1-7；
S3-1-6-1、判断所述时序处理进程对应处理结果与并行处理进程对应处理结果是否均与待处理多维数据完全对应，若是，则执行S3-1-6-2，否则，返回S3-1-1；
S3-1-6-2、判断所述待处理多维数据对应同一待处理多维分割初始数据的生成数量是否为1，若是，则执行S3-1-6-3，否则，执行S3-1-6-4；
S3-1-6-3、利用所述时序处理进程与并行处理进程对应待处理多维分割初始数据作为待处理多维分割数据实时处理结果；
S3-1-6-4、判断当前时刻待处理多维分割初始数据对应分布式并行处理拓扑划分与相邻上一时刻待处理多维分割初始数据对应分布式并行处理拓扑划分是否相同，若是，则返回S2-1，否则，利用所述当前时刻待处理多维分割初始数据作为待处理多维分割数据实时处理结果；
S3-1-7、判断所述待处理多维分割初始数据的数量与分布式并行处理拓扑是否完全对应，若是，则利用所述待处理多维分割初始数据作为待处理多维分割数据实时处理结果，否则，返回S3-1-1；
S3-2、根据所述分布式并行处理拓扑得到分布式并行处理拓扑实时验证结果；
S3-3、根据所述待处理多维分割数据实时处理结果与分布式并行处理拓扑实时验证结果得到分布式并行处理结果。
2.如权利要求1所述的一种多维数据分布式并行处理方法，其特征在于，根据所述分布式并行处理拓扑得到分布式并行处理拓扑实时验证结果包括：
S3-2-1、获取所述待处理多维分割数据对应分布式并行处理拓扑的处理时刻建立多维分割数据处理时刻验证集；
S3-2-2、利用所述多维分割数据处理时刻验证集对应待处理多维分割初始数据建立多维分割数据处理数据集；
S3-2-3、判断所述多维分割数据处理数据集中各子集对应属性与待处理多维数据是否完全对应，若是，则执行S3-2-4，否则，所述分布式并行处理拓扑实时验证结果为异常；
S3-2-4、判断所述多维分割数据处理数据集中各子集与待处理多维数据是否完全对应，若是，则所述分布式并行处理拓扑实时验证结果为正常，否则，所述分布式并行处理拓扑实时验证结果为异常；
其中，所述分布式并行处理拓扑的处理时刻为待处理多维分割数据在分布式并行处理拓扑进行初始处理对应时刻。
3.如权利要求1所述的一种多维数据分布式并行处理方法，其特征在于，根据所述待处理多维分割数据实时处理结果与分布式并行处理拓扑实时验证结果得到分布式并行处理结果包括：
S3-3-1、当所述分布式并行处理拓扑实时验证结果为正常时，根据所述待处理多维分割数据实时处理结果得到分布式并行处理结果；
S3-3-2、当所述分布式并行处理拓扑实时验证结果为异常时，根据所述分布式并行处理拓扑实时验证结果得到分布式并行处理结果。
4.如权利要求3所述的一种多维数据分布式并行处理方法，其特征在于，根据所述待处理多维分割数据实时处理结果得到分布式并行处理结果包括：
S3-3-1-1、判断所述待处理多维分割数据实时处理结果是否处理完毕，若是，则输出所述待处理多维分割数据实时处理结果对应待处理多维分割初始数据作为分布式并行处理结果，否则，执行S3-3-1-2；
S3-3-1-2、根据所述待处理多维分割数据实时处理结果对应分布式并行处理拓扑进行继续处理得到分布式并行多维分割数据作为分布式并行处理结果。
5.如权利要求3所述的一种多维数据分布式并行处理方法，其特征在于，根据所述分布式并行处理拓扑实时验证结果得到分布式并行处理结果包括：
S3-3-2-1、当分布式并行处理拓扑实时验证结果为属性异常时，判断所述多维分割数据处理数据集对应待处理多维数据是否变化，若是，则返回S1，否则，获取当前分布式并行处理拓扑实时验证结果对应待处理多维分割数据实时处理结果作为异常，利用S3-2-3对应时刻作为异常时刻节点，输出所述待处理多维分割数据实时处理结果与异常时刻节点作为分布式并行处理结果；
S3-3-2-2、当分布式并行处理拓扑实时验证结果为数据异常时，判断当前时刻分布式并行处理同步锁是否正常，若是，则执行S3-3，否则，返回S3-1-2；
其中，所述属性异常为多维分割数据处理数据集中各子集对应属性与待处理多维数据不完全对应，所述数据异常为多维分割数据处理数据集中各子集与待处理多维数据不完全对应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410087800.5A CN117609270B (zh) | 2024-01-22 | 2024-01-22 | 一种多维数据分布式并行处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410087800.5A CN117609270B (zh) | 2024-01-22 | 2024-01-22 | 一种多维数据分布式并行处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117609270A CN117609270A (zh) | 2024-02-27 |
| CN117609270B true CN117609270B (zh) | 2024-04-09 |
Family
ID=89953824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410087800.5A Active CN117609270B (zh) | 2024-01-22 | 2024-01-22 | 一种多维数据分布式并行处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117609270B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001022621A (ja) * | 1999-07-08 | 2001-01-26 | Hitachi Ltd | 多次元データベース管理システム |
| CN104424251A (zh) * | 2013-08-28 | 2015-03-18 | 腾讯科技（深圳）有限公司 | 一种多维度拆分的计算方法以及系统 |
| CN106202387A (zh) * | 2016-07-08 | 2016-12-07 | 陈光宇 | 一种数据一致性并行维护方法 |
| CN116166846A (zh) * | 2023-04-13 | 2023-05-26 | 广东广宇科技发展有限公司 | 一种基于云计算的分布式多维数据处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3736707B1 (en) * | 2019-05-07 | 2022-07-20 | Bentley Systems, Incorporated | Techniques for concurrently editing fully connected large-scale multi-dimensional spatial data |
-
2024
- 2024-01-22 CN CN202410087800.5A patent/CN117609270B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001022621A (ja) * | 1999-07-08 | 2001-01-26 | Hitachi Ltd | 多次元データベース管理システム |
| CN104424251A (zh) * | 2013-08-28 | 2015-03-18 | 腾讯科技（深圳）有限公司 | 一种多维度拆分的计算方法以及系统 |
| CN106202387A (zh) * | 2016-07-08 | 2016-12-07 | 陈光宇 | 一种数据一致性并行维护方法 |
| CN116166846A (zh) * | 2023-04-13 | 2023-05-26 | 广东广宇科技发展有限公司 | 一种基于云计算的分布式多维数据处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 并行I/O中大型多维数据集合分配策略研究;曾碧卿;陈志刚;;计算机工程;20061005(19);44-45+48 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117609270A (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108153784B (zh) | 同步数据处理方法和装置 | |
| CN116166846B (zh) | 一种基于云计算的分布式多维数据处理方法 | |
| CN109583069B (zh) | 基于时间相关性的风速建模方法 | |
| CN116483586A (zh) | 一种基于动态数组的数据高效处理方法 | |
| CN118035265A (zh) | 一种基于动态数据库的参数记录变更动态处理方法 | |
| CN117609270B (zh) | 一种多维数据分布式并行处理方法 | |
| CN117255031B (zh) | 一种基于多重映射的网络通信认证方法 | |
| CN117278339B (zh) | 一种基于双向同步密钥池的数据独立传输验证方法 | |
| CN110570646B (zh) | 一种基于历史数据的四遥信号验收方法及系统 | |
| CN112711631A (zh) | 数字孪生信息同步方法、系统、可读存储介质及设备 | |
| CN103593249B (zh) | 一种ha预警方法及虚拟资源管理器 | |
| CN114386510A (zh) | 一种电力系统量测错误辨识方法及系统 | |
| CN117009774B (zh) | 一种多元数据快速验证方法 | |
| TWI712950B (zh) | 資料處理方法及裝置 | |
| CN113553044B (zh) | 结合pac学习理论和主动学习的时间自动机模型的生成方法 | |
| CN116150161B (zh) | 一种基于Redis数据库的多维数据处理方法 | |
| CN117061485B (zh) | 一种用于动态ip的通信线路验证方法 | |
| WO2018137146A1 (zh) | 图形组态语言转换方法及装置 | |
| Wang et al. | Empirical study on the correlation between software structural modifications and its fault-proneness | |
| CN117473200B (zh) | 一种用于网站信息数据的综合采集分析方法 | |
| CN118101999B (zh) | 一种短视频流量数据分析方法 | |
| CN113961625B (zh) | 一种异构大数据管理平台任务迁移方法 | |
| CN117453229A (zh) | 一种用于自动代码生成数据库的输出代码解析方法 | |
| CN115062083A (zh) | 一种数据处理的方法、装置、设备及介质 | |
| CN115729116A (zh) | 一种用于实现轮胎印痕仿真流程自动化系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |