CN116166846B - 一种基于云计算的分布式多维数据处理方法 - Google Patents
一种基于云计算的分布式多维数据处理方法 Download PDFInfo
- Publication number
- CN116166846B CN116166846B CN202310390439.9A CN202310390439A CN116166846B CN 116166846 B CN116166846 B CN 116166846B CN 202310390439 A CN202310390439 A CN 202310390439A CN 116166846 B CN116166846 B CN 116166846B
- Authority
- CN
- China
- Prior art keywords
- processing
- data
- distributed
- synchronous
- cloud computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 347
- 230000001360 synchronised effect Effects 0.000 claims abstract description 139
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 238000012795 verification Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 27
- 230000002146 bilateral effect Effects 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000005553 drilling Methods 0.000 claims description 3
- 238000004804 winding Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及多维数据处理领域，尤其涉及一种基于云计算的分布式多维数据处理方法，包括：S1、获取待处理多维原始数据进行初始分割处理得到多维分割数据；S2、利用所述多维分割数据进行分布式同步处理得到初始处理结果；S3、利用所述初始处理结果根据待处理多维原始数据完成分布式多维数据处理，在将多维数据正式上线处理运行前，优先进行分割、验证、发现并解决问题，在初步结果实现并达到要求后，将原始数据根据初步结果进行分布式处理，同时结合云计算，对于其中的同步数据利用云计算进行处理压力分担，在初步结果中的处理步骤也大量利用各步骤的对应时刻进行验证，与最终输出结果实现了双重验证，保证多维数据处理的准确性与高效性。
Description
技术领域
本发明涉及多维数据处理领域，具体涉及一种基于云计算的分布式多维数据处理方法。
背景技术
云计算技术从技术应用服务的场景可划分为三个层次IaaS(基础架构即服务)、PaaS(平台即服务)、SaaS(软件即服务)。多维数据的定义为不同种类、不同大小或不同属性的数据，在实际应用中在同一端口对多维数据进行处理的效率较低，而多个端口同时对多维数据进行处理又极易造成不同步的情况，因此，尝试云计算引入多维数据处理的过程中，对于多维数据处理的效果有着显著的提升。
发明内容
针对现有技术的不足，本发明提供了一种基于云计算的分布式多维数据处理方法，通过根据多维数据进行分割的节点分配，再利用节点进行初步处理，利用云计算进行处理压力分担，提升效率保证处理结果合理性。
为实现上述目的，本发明提供了一种基于云计算的分布式多维数据处理方法，包括：
获取待处理多维原始数据进行初始分割处理得到多维分割数据；
S2、利用所述多维分割数据进行分布式同步处理得到初始处理结果；
S3、利用所述初始处理结果根据待处理多维原始数据完成分布式多维数据处理。
优选的，所述获取待处理多维原始数据进行初始分割处理得到多维分割数据包括：
S1-1、获取待处理多维原始数据；
S1-2、根据所述待处理多维原始数据的数据索引得到待处理多维原始数据的多维数据内容元素；
S1-3、根据所述多维数据内容元素对待处理多维原始数据进行初始分割处理得到多维分割数据；
其中，多维数据内容元素为多维数据的内含内容，初始分割处理包括切片、切块、上卷、下钻与旋转。
优选的，利用所述多维分割数据进行分布式同步处理得到初始处理结果包括：
S2-1、判断所述多维分割数据与待处理多维原始数据是否为完整对应，若是，则根据多维分割数据的数量建立分布式节点集，否则，返回S1-1；
S2-2、判断所述多维分割数据是否存在同步处理数据，若是，则执行S2-3，否则，执行S2-4；
S2-3、判断所述多维分割数据的同步处理数据是否均为独立单元，若是，则对所述同步处理数据进行进程锁定处理得到同步数据锁定结果，否则，获取多维分割数据的同步处理数据基于云计算进行双边同步处理得到第一同步处理结果；
S2-4、利用所述分布式节点集根据所述多维分割数据进行分布式同步处理得到初始处理结果；
S2-5、利用所述分布式节点集根据所述同步数据锁定结果进行分布式处理得到初始处理结果；
S2-6、判断所述第一同步处理结果是否存在报错，若是，则返回S2-3，否则，利用所述分布式节点集根据第一同步处理结果得到初始处理结果；
其中，完整对应为多维分割数据合并后与待处理多维原始数据相同，独立单元为多维分割数据对应的独立分割单元。
进一步的，所述根据多维分割数据的数量建立分布式节点集包括：
利用云计算对应节点作为辅助节点；
利用所述多维分割数据的数量分别得到实际处理节点与虚拟备份节点；
利用所述辅助节点、实际处理节点与虚拟备份节点建立分布式节点集。
进一步的，对所述同步处理数据进行进程锁定处理得到同步数据锁定结果包括：
判断同步处理数据的数量是否为2，若是，则直接根据当前时刻获取直接同步时间戳，否则，获取同步处理数据的云计算处理状态；
利用所述直接同步时间戳根据同步处理数据进行进程锁定处理得到直接同步锁定结果；
判断所述云计算处理状态是否为参与，若是，则获取当前时刻与云计算接收时刻的一致性结果，否则，获取同步处理数据的进程时间作为间接同步时间戳；
判断所述当前时刻与云计算接收时刻的一致性结果是否为一致，若是，则利用当前时刻或云计算接收时刻作为双边同步时间戳，否则，返回S2-2；
利用所述间接同步时间戳根据同步处理数据进行进程锁定处理得到间接同步锁定结果；
利用所述双边同步时间戳根据同步处理数据进行进程锁定处理得到双边同步锁定结果；
利用所述直接同步锁定结果、间接同步锁定结果或双边同步锁定结果作为同步数据锁定结果；
其中，云计算处理状态包括参与和不参与，参与为利用云计算进行处理，不参与为不利用云计算进行处理，当前时刻与云计算接收时刻的一致性结果为当前时刻与云计算接收时刻是否相同。
进一步的，所述获取多维分割数据的同步处理数据基于云计算进行双边同步处理得到第一同步处理结果包括：
利用所述多维分割数据的同步处理数据建立云计算新建任务；
根据所述云计算新建任务的对应时刻得到双边锁定时间戳；
利用所述双边锁定时间戳对多维分割数据的同步处理数据进行进程时间修正得到双边锁定同步处理数据；
利用所述双边锁定同步处理数据基于云计算进行处理得到第一同步初始处理结果；
判断所述第一同步初始处理结果对应时刻与双边锁定时间戳是否对应，若是，则利用所述第一同步初始处理结果作为第一同步处理结果，否则，返回S2-3。
进一步的，利用所述分布式节点集根据所述多维分割数据进行分布式同步处理得到初始处理结果包括：
S2-4-1、获取S2-4对应时刻作为分布式处理验证时间戳；
S2-4-2、利用所述分布式处理验证时间戳与多维分割数据根据分布式节点集的实际处理节点进行分布式同步处理得到初始分布式同步处理结果；
S2-4-3、判断所述初始分布式同步处理结果是否存在相异分布式处理验证时间戳，若是，则执行S2-4-4，否则，输出初始分布式同步处理结果作为初始处理结果；
S2-4-4、判断所述相异分布式处理验证时间戳是否先于分布式验证处理时间戳，若是，则执行S2-4-5，否则，放弃处理；
S2-4-5、判断所述相异分布式处理验证时间戳对应节点与非相异分布式处理验证时间戳对应节点是否为同一分布式节点集，若是，则利用所述分布式节点集的虚拟备份节点根据相异分布式处理验证时间戳对应的多维分割数据进行虚拟分布式处理得到虚拟分布式处理结果，否则，放弃处理；
S2-4-6、判断所述虚拟分布式处理结果与初始分布式同步处理结果是否对应，若是，则利用所述虚拟分布式处理结果与初始分布式同步处理结果作为初始处理结果，否则，放弃处理。
优选的，利用所述初始处理结果根据待处理多维原始数据完成分布式多维数据处理包括：
S3-1、获取所述初始处理结果对应的分布式节点集；
S3-2、判断所述初始处理结果是否任意存在直接同步时间戳、间接同步时间戳与双边同步时间戳，若是，则利用所述初始处理结果对应的分布式节点集作为云计算分布式节点集，否则，删除所述初始处理结果对应的分布式节点集的辅助节点作为本地分布式节点集；
S3-3、利用所述云计算分布式节点集根据待处理多维原始数据进行分布式处理得到云计算分布式处理结果；
S3-4、利用所述本地分布式节点集根据待处理多维原始数据进行分布式处理得到本地分布式处理结果；
S3-5、利用所述本地分布式处理结果或云计算分布式处理结果作为分布式多维数据处理结果。
进一步的，利用所述云计算分布式节点集根据待处理多维原始数据进行分布式处理得到云计算分布式处理结果包括：
利用所述云计算分布式节点集根据对应初始处理结果进行节点分配对待处理多维原始数据进行分布式处理得到云计算多维原始数据初始处理结果；
获取所述云计算多维原始数据初始处理结果对应时刻作为验证时刻；
判断所述验证时刻与云计算分布式节点集的辅助节点对应时刻是否相同，若是，则直接输出云计算多维原始数据初始处理结果作为云计算分布式处理结果，否则，放弃处理。
进一步的，利用所述本地分布式节点集根据待处理多维原始数据进行分布式处理得到本地分布式处理结果包括：
利用所述本地分布式节点集根据对应初始处理结果进行节点分配对待处理多维原始数据进行分布式处理得到多维原始数据初始处理结果；
判断所述多维原始数据初始处理结果与待处理多维原始数据是否对应，若是，则利用所述多维原始数据初始处理结果作为本地分布式处理结果，否则，返回S3-2。
与最接近的现有技术相比，本发明具有的有益效果：
在将多维数据正式上线处理运行前，优先进行分割、验证、发现并解决问题，在初步结果实现并达到要求后，将原始数据根据初步结果进行分布式处理，同时结合云计算，对于其中的同步数据利用云计算进行处理压力分担，在初步结果中的处理步骤也大量利用各步骤的对应时刻进行验证，与最终输出结果实现了双重验证，保证多维数据处理的准确性与高效性。
附图说明
图1是本发明提供的一种基于云计算的分布式多维数据处理方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：本发明提供了一种基于云计算的分布式多维数据处理方法，如图1所示，包括：
S1、获取待处理多维原始数据进行初始分割处理得到多维分割数据；
S2、利用所述多维分割数据进行分布式同步处理得到初始处理结果；
S3、利用所述初始处理结果根据待处理多维原始数据完成分布式多维数据处理。
S1具体包括：
S1-1、获取待处理多维原始数据；
S1-2、根据所述待处理多维原始数据的数据索引得到待处理多维原始数据的多维数据内容元素；
S1-3、根据所述多维数据内容元素对待处理多维原始数据进行初始分割处理得到多维分割数据；
其中，多维数据内容元素为多维数据的内含内容，初始分割处理包括切片、切块、上卷、下钻与旋转。
本实施例中，一种基于云计算的分布式多维数据处理方法，进行初始分割处理将混合多维数据按不同种类或不同类型进行分类获取，为后续处理进行数据的预处理。
S2具体包括：
S2-1、判断所述多维分割数据与待处理多维原始数据是否为完整对应，若是，则根据多维分割数据的数量建立分布式节点集，否则，返回S1-1；
S2-2、判断所述多维分割数据是否存在同步处理数据，若是，则执行S2-3，否则，执行S2-4；
S2-3、判断所述多维分割数据的同步处理数据是否均为独立单元，若是，则对所述同步处理数据进行进程锁定处理得到同步数据锁定结果，否则，获取多维分割数据的同步处理数据基于云计算进行双边同步处理得到第一同步处理结果；
S2-4、利用所述分布式节点集根据所述多维分割数据进行分布式同步处理得到初始处理结果；
S2-5、利用所述分布式节点集根据所述同步数据锁定结果进行分布式处理得到初始处理结果；
S2-6、判断所述第一同步处理结果是否存在报错，若是，则返回S2-3，否则，利用所述分布式节点集根据第一同步处理结果得到初始处理结果；
其中，完整对应为多维分割数据合并后与待处理多维原始数据相同，独立单元为多维分割数据对应的独立分割单元。
本实施例中，一种基于云计算的分布式多维数据处理方法，所述存在报错为处理结果是否合理，若处理结果为不合理则会存在报错即分布式处理失败。
S2-1具体包括：
S2-1-1、利用云计算对应节点作为辅助节点；
S2-1-2、利用所述多维分割数据的数量分别得到实际处理节点与虚拟备份节点；
S2-1-3、利用所述辅助节点、实际处理节点与虚拟备份节点建立分布式节点集。
本实施例中，一种基于云计算的分布式多维数据处理方法，所述实际处理节点为运行中处理多维分割数据的节点，所述虚拟备份节点为与对应实际处理节点超负荷或需要进行其他操作时的替补作用。
S2-3具体包括：
S2-3-1、判断同步处理数据的数量是否为2，若是，则直接根据当前时刻获取直接同步时间戳，否则，获取同步处理数据的云计算处理状态；
S2-3-2、利用所述直接同步时间戳根据同步处理数据进行进程锁定处理得到直接同步锁定结果；
S2-3-3、判断所述云计算处理状态是否为参与，若是，则获取当前时刻与云计算接收时刻的一致性结果，否则，获取同步处理数据的进程时间作为间接同步时间戳；
S2-3-4、判断所述当前时刻与云计算接收时刻的一致性结果是否为一致，若是，则利用当前时刻或云计算接收时刻作为双边同步时间戳，否则，返回S2-2；
S2-3-5、利用所述间接同步时间戳根据同步处理数据进行进程锁定处理得到间接同步锁定结果；
S2-3-6、利用所述双边同步时间戳根据同步处理数据进行进程锁定处理得到双边同步锁定结果；
S2-3-7、利用所述直接同步锁定结果、间接同步锁定结果或双边同步锁定结果作为同步数据锁定结果；
其中，云计算处理状态包括参与和不参与，参与为利用云计算进行处理，不参与为不利用云计算进行处理，当前时刻与云计算接收时刻的一致性结果为当前时刻与云计算接收时刻是否相同。
S2-3-8、利用所述多维分割数据的同步处理数据建立云计算新建任务；
S2-3-9、根据所述云计算新建任务的对应时刻得到双边锁定时间戳；
S2-3-10、利用所述双边锁定时间戳对多维分割数据的同步处理数据进行进程时间修正得到双边锁定同步处理数据；
S2-3-11、利用所述双边锁定同步处理数据基于云计算进行处理得到第一同步初始处理结果；
S2-3-12、判断所述第一同步初始处理结果对应时刻与双边锁定时间戳是否对应，若是，则利用所述第一同步初始处理结果作为第一同步处理结果，否则，返回S2-3。
S2-4具体包括：
S2-4-1、获取S2-4对应时刻作为分布式处理验证时间戳；
S2-4-2、利用所述分布式处理验证时间戳与多维分割数据根据分布式节点集的实际处理节点进行分布式同步处理得到初始分布式同步处理结果；
S2-4-3、判断所述初始分布式同步处理结果是否存在相异分布式处理验证时间戳，若是，则执行S2-4-4，否则，输出初始分布式同步处理结果作为初始处理结果；
S2-4-4、判断所述相异分布式处理验证时间戳是否先于分布式验证处理时间戳，若是，则执行S2-4-5，否则，放弃处理；
S2-4-5、判断所述相异分布式处理验证时间戳对应节点与非相异分布式处理验证时间戳对应节点是否为同一分布式节点集，若是，则利用所述分布式节点集的虚拟备份节点根据相异分布式处理验证时间戳对应的多维分割数据进行虚拟分布式处理得到虚拟分布式处理结果，否则，放弃处理；
S2-4-6、判断所述虚拟分布式处理结果与初始分布式同步处理结果是否对应，若是，则利用所述虚拟分布式处理结果与初始分布式同步处理结果作为初始处理结果，否则，放弃处理。
本实施例中，一种基于云计算的分布式多维数据处理方法，相异分布式处理验证时间戳的定义，例如，存在5个分布式验证时间戳，其中，4个为A时间，一个B时间，则B时间为相异时间戳，相异不对时间先后进行判断。
S3具体包括：
S3-1、获取所述初始处理结果对应的分布式节点集；
S3-2、判断所述初始处理结果是否任意存在直接同步时间戳、间接同步时间戳与双边同步时间戳，若是，则利用所述初始处理结果对应的分布式节点集作为云计算分布式节点集，否则，删除所述初始处理结果对应的分布式节点集的辅助节点作为本地分布式节点集；
S3-3、利用所述云计算分布式节点集根据待处理多维原始数据进行分布式处理得到云计算分布式处理结果；
S3-4、利用所述本地分布式节点集根据待处理多维原始数据进行分布式处理得到本地分布式处理结果；
S3-5、利用所述本地分布式处理结果或云计算分布式处理结果作为分布式多维数据处理结果。
S3-3具体包括：
S3-3-1、利用所述云计算分布式节点集根据对应初始处理结果进行节点分配对待处理多维原始数据进行分布式处理得到云计算多维原始数据初始处理结果；
S3-3-2、获取所述云计算多维原始数据初始处理结果对应时刻作为验证时刻；
S3-3-3、判断所述验证时刻与云计算分布式节点集的辅助节点对应时刻是否相同，若是，则直接输出云计算多维原始数据初始处理结果作为云计算分布式处理结果，否则，放弃处理。
S3-4具体包括：
S3-4-1、利用所述本地分布式节点集根据对应初始处理结果进行节点分配对待处理多维原始数据进行分布式处理得到多维原始数据初始处理结果；
S3-4-2、判断所述多维原始数据初始处理结果与待处理多维原始数据是否对应，若是，则利用所述多维原始数据初始处理结果作为本地分布式处理结果，否则，返回S3-2。
本实施例中，一种基于云计算的分布式多维数据处理方法，对分布式处理中存在判断的步骤均有迭代循环处理，其中存在放弃处理的选项为处理进行死循环，无法通过回溯前序步骤进行问题解决。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (8)
1.一种基于云计算的分布式多维数据处理方法，其特征在于，包括：
S1、获取待处理多维原始数据进行初始分割处理得到多维分割数据；
S2、利用所述多维分割数据进行分布式同步处理得到初始处理结果；
S2-1、判断所述多维分割数据与待处理多维原始数据是否为完整对应，若是，则根据多维分割数据的数量建立分布式节点集，否则，返回S1-1；
S2-2、判断所述多维分割数据是否存在同步处理数据，若是，则执行S2-3，否则，执行S2-4；
S2-3、判断所述多维分割数据的同步处理数据是否均为独立单元，若是，则对所述同步处理数据进行进程锁定处理得到同步数据锁定结果，否则，获取多维分割数据的同步处理数据基于云计算进行双边同步处理得到第一同步处理结果；
S2-3-1、判断同步处理数据的数量是否为2，若是，则直接根据当前时刻获取直接同步时间戳，否则，获取同步处理数据的云计算处理状态；
S2-3-2、利用所述直接同步时间戳根据同步处理数据进行进程锁定处理得到直接同步锁定结果；
S2-3-3、判断所述云计算处理状态是否为参与，若是，则获取当前时刻与云计算接收时刻的一致性结果，否则，获取同步处理数据的进程时间作为间接同步时间戳；
S2-3-4、判断所述当前时刻与云计算接收时刻的一致性结果是否为一致，若是，则利用当前时刻或云计算接收时刻作为双边同步时间戳，否则，返回S2-2；
S2-3-5、利用所述间接同步时间戳根据同步处理数据进行进程锁定处理得到间接同步锁定结果；
S2-3-6、利用所述双边同步时间戳根据同步处理数据进行进程锁定处理得到双边同步锁定结果；
S2-3-7、利用所述直接同步锁定结果、间接同步锁定结果或双边同步锁定结果作为同步数据锁定结果；
其中，云计算处理状态包括参与和不参与，参与为利用云计算进行处理，不参与为不利用云计算进行处理，当前时刻与云计算接收时刻的一致性结果为当前时刻与云计算接收时刻是否相同
S2-4、利用所述分布式节点集根据所述多维分割数据进行分布式同步处理得到初始处理结果；
S2-5、利用所述分布式节点集根据所述同步数据锁定结果进行分布式处理得到初始处理结果；
S2-6、判断所述第一同步处理结果是否存在报错，若是，则返回S2-3，否则，利用所述分布式节点集根据第一同步处理结果得到初始处理结果；
其中，完整对应为多维分割数据合并后与待处理多维原始数据相同，独立单元为多维分割数据对应的独立分割单元；
S3、利用所述初始处理结果根据待处理多维原始数据完成分布式多维数据处理。
2.如权利要求1所述的一种基于云计算的分布式多维数据处理方法，其特征在于，所述获取待处理多维原始数据进行初始分割处理得到多维分割数据包括：
S1-1、获取待处理多维原始数据；
S1-2、根据所述待处理多维原始数据的数据索引得到待处理多维原始数据的多维数据内容元素；
S1-3、根据所述多维数据内容元素对待处理多维原始数据进行初始分割处理得到多维分割数据；
其中，多维数据内容元素为多维数据的内含内容，初始分割处理包括切片、切块、上卷、下钻与旋转。
3.如权利要求1所述的一种基于云计算的分布式多维数据处理方法，其特征在于，所述根据多维分割数据的数量建立分布式节点集包括：
利用云计算对应节点作为辅助节点；
利用所述多维分割数据的数量分别得到实际处理节点与虚拟备份节点；
利用所述辅助节点、实际处理节点与虚拟备份节点建立分布式节点集。
4.如权利要求1所述的一种基于云计算的分布式多维数据处理方法，其特征在于，所述获取多维分割数据的同步处理数据基于云计算进行双边同步处理得到第一同步处理结果包括：
利用所述多维分割数据的同步处理数据建立云计算新建任务；
根据所述云计算新建任务的对应时刻得到双边锁定时间戳；
利用所述双边锁定时间戳对多维分割数据的同步处理数据进行进程时间修正得到双边锁定同步处理数据；
利用所述双边锁定同步处理数据基于云计算进行处理得到第一同步初始处理结果；
判断所述第一同步初始处理结果对应时刻与双边锁定时间戳是否对应，若是，则利用所述第一同步初始处理结果作为第一同步处理结果，否则，返回S2-3。
5.如权利要求1所述的一种基于云计算的分布式多维数据处理方法，其特征在于，利用所述分布式节点集根据所述多维分割数据进行分布式同步处理得到初始处理结果包括：
S2-4-1、获取S2-4对应时刻作为分布式处理验证时间戳；
S2-4-2、利用所述分布式处理验证时间戳与多维分割数据根据分布式节点集的实际处理节点进行分布式同步处理得到初始分布式同步处理结果；
S2-4-3、判断所述初始分布式同步处理结果是否存在相异分布式处理验证时间戳，若是，则执行S2-4-4，否则，输出初始分布式同步处理结果作为初始处理结果；
S2-4-4、判断所述相异分布式处理验证时间戳是否先于分布式验证处理时间戳，若是，则执行S2-4-5，否则，放弃处理；
S2-4-5、判断所述相异分布式处理验证时间戳对应节点与非相异分布式处理验证时间戳对应节点是否为同一分布式节点集，若是，则利用所述分布式节点集的虚拟备份节点根据相异分布式处理验证时间戳对应的多维分割数据进行虚拟分布式处理得到虚拟分布式处理结果，否则，放弃处理；
S2-4-6、判断所述虚拟分布式处理结果与初始分布式同步处理结果是否对应，若是，则利用所述虚拟分布式处理结果与初始分布式同步处理结果作为初始处理结果，否则，放弃处理。
6.如权利要求1所述的一种基于云计算的分布式多维数据处理方法，其特征在于，利用所述初始处理结果根据待处理多维原始数据完成分布式多维数据处理包括：
S3-1、获取所述初始处理结果对应的分布式节点集；
S3-2、判断所述初始处理结果是否任意存在直接同步时间戳、间接同步时间戳与双边同步时间戳，若是，则利用所述初始处理结果对应的分布式节点集作为云计算分布式节点集，否则，删除所述初始处理结果对应的分布式节点集的辅助节点作为本地分布式节点集；
S3-3、利用所述云计算分布式节点集根据待处理多维原始数据进行分布式处理得到云计算分布式处理结果；
S3-4、利用所述本地分布式节点集根据待处理多维原始数据进行分布式处理得到本地分布式处理结果；
S3-5、利用所述本地分布式处理结果或云计算分布式处理结果作为分布式多维数据处理结果。
7.如权利要求6所述的一种基于云计算的分布式多维数据处理方法，其特征在于，利用所述云计算分布式节点集根据待处理多维原始数据进行分布式处理得到云计算分布式处理结果包括：
利用所述云计算分布式节点集根据对应初始处理结果进行节点分配对待处理多维原始数据进行分布式处理得到云计算多维原始数据初始处理结果；
获取所述云计算多维原始数据初始处理结果对应时刻作为验证时刻；
判断所述验证时刻与云计算分布式节点集的辅助节点对应时刻是否相同，若是，则直接输出云计算多维原始数据初始处理结果作为云计算分布式处理结果，否则，放弃处理。
8.如权利要求6所述的一种基于云计算的分布式多维数据处理方法，其特征在于，利用所述本地分布式节点集根据待处理多维原始数据进行分布式处理得到本地分布式处理结果包括：
利用所述本地分布式节点集根据对应初始处理结果进行节点分配对待处理多维原始数据进行分布式处理得到多维原始数据初始处理结果；
判断所述多维原始数据初始处理结果与待处理多维原始数据是否对应，若是，则利用所述多维原始数据初始处理结果作为本地分布式处理结果，否则，返回S3-2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310390439.9A CN116166846B (zh) | 2023-04-13 | 2023-04-13 | 一种基于云计算的分布式多维数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310390439.9A CN116166846B (zh) | 2023-04-13 | 2023-04-13 | 一种基于云计算的分布式多维数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116166846A CN116166846A (zh) | 2023-05-26 |
| CN116166846B true CN116166846B (zh) | 2023-08-01 |
Family
ID=86413434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310390439.9A Active CN116166846B (zh) | 2023-04-13 | 2023-04-13 | 一种基于云计算的分布式多维数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116166846B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117009774B (zh) * | 2023-09-27 | 2024-02-09 | 广东广宇科技发展有限公司 | 一种多元数据快速验证方法 |
| CN117609270B (zh) * | 2024-01-22 | 2024-04-09 | 广东广宇科技发展有限公司 | 一种多维数据分布式并行处理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678520A (zh) * | 2013-11-29 | 2014-03-26 | 中国科学院计算技术研究所 | 一种基于云计算的多维区间查询方法及其系统 |
| CN104991813A (zh) * | 2015-06-04 | 2015-10-21 | 浪潮软件集团有限公司 | 一种数据处理的方法和装置 |
| CN111339371A (zh) * | 2018-12-18 | 2020-06-26 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法及装置 |
| CN112764940A (zh) * | 2021-04-12 | 2021-05-07 | 北京一流科技有限公司 | 多级分布式数据处理部署系统及其方法 |
| CN113377816A (zh) * | 2021-06-11 | 2021-09-10 | 重庆农村商业银行股份有限公司 | 一种分布式数据存取系统 |
| WO2021208147A1 (zh) * | 2020-04-15 | 2021-10-21 | 深圳计算科学研究院 | 一种有界增量图划分方法和系统 |
| CN114691055A (zh) * | 2020-12-29 | 2022-07-01 | 深圳市度比控股有限公司 | 一种3d模型云计算切片系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2013214801B2 (en) * | 2012-02-02 | 2018-06-21 | Visa International Service Association | Multi-source, multi-dimensional, cross-entity, multimedia database platform apparatuses, methods and systems |
| US9870368B2 (en) * | 2014-10-27 | 2018-01-16 | Cohesity, Inc. | Concurrent access and transactions in a distributed file system |
| US11036705B2 (en) * | 2019-02-27 | 2021-06-15 | International Business Machines Corporation | Traversal of dispersed lockless concurrent index nodes |
-
2023
- 2023-04-13 CN CN202310390439.9A patent/CN116166846B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678520A (zh) * | 2013-11-29 | 2014-03-26 | 中国科学院计算技术研究所 | 一种基于云计算的多维区间查询方法及其系统 |
| CN104991813A (zh) * | 2015-06-04 | 2015-10-21 | 浪潮软件集团有限公司 | 一种数据处理的方法和装置 |
| CN111339371A (zh) * | 2018-12-18 | 2020-06-26 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法及装置 |
| WO2021208147A1 (zh) * | 2020-04-15 | 2021-10-21 | 深圳计算科学研究院 | 一种有界增量图划分方法和系统 |
| CN114691055A (zh) * | 2020-12-29 | 2022-07-01 | 深圳市度比控股有限公司 | 一种3d模型云计算切片系统 |
| CN112764940A (zh) * | 2021-04-12 | 2021-05-07 | 北京一流科技有限公司 | 多级分布式数据处理部署系统及其方法 |
| CN113377816A (zh) * | 2021-06-11 | 2021-09-10 | 重庆农村商业银行股份有限公司 | 一种分布式数据存取系统 |
Non-Patent Citations (1)
| Title |
|---|
| 分布式实时信息处理系统的核心执行软件的设计与研究;王敬文,韩兆轩,康继昌;计算机研究与发展(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116166846A (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116166846B (zh) | 一种基于云计算的分布式多维数据处理方法 | |
| CN109656911B (zh) | 分布式并行处理数据库系统及其数据处理方法 | |
| CN111708627B (zh) | 基于分布式调度框架的任务调度方法以及装置 | |
| CN104461693B (zh) | 一种桌面云计算环境下的虚拟机更新方法和系统 | |
| CN110750592B (zh) | 数据同步的方法、装置和终端设备 | |
| CN110677402A (zh) | 一种基于智能网卡的数据整合方法及装置 | |
| CN103634379A (zh) | 一种分布式存储空间的管理方法和分布式存储系统 | |
| CN102521051A (zh) | 应用于图算法的Map Reduce系统中的任务调度方法、装置和系统 | |
| CN118041918B (zh) | 一种用于数字化可视平台的分布式信息化数据传输方法 | |
| CN117009774B (zh) | 一种多元数据快速验证方法 | |
| CN106412088B (zh) | 一种数据同步方法及终端 | |
| CN113541923B (zh) | 一种多方安全计算的计算任务调整方法、装置及电子设备 | |
| CN104281636A (zh) | 海量报表数据并发分布式处理方法 | |
| CN117255031B (zh) | 一种基于多重映射的网络通信认证方法 | |
| CN113672692A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN103593249B (zh) | 一种ha预警方法及虚拟资源管理器 | |
| CN110083441B (zh) | 一种分布式计算系统及分布式计算方法 | |
| CN117609270B (zh) | 一种多维数据分布式并行处理方法 | |
| CN114443356A (zh) | 一种容器集群的处理方法及系统 | |
| CN104484293B (zh) | 一种在多控存储系统中实现前端协议的方法和设备 | |
| CN112532713A (zh) | 一种区块链的抗分叉检测方法及装置 | |
| CN107040564A (zh) | 云存储的数据同步方法、数据同步服务器及云存储系统 | |
| CN112306675A (zh) | 数据处理方法、相关设备以及计算机可读存储介质 | |
| KR20180031553A (ko) | 구조변이 검출 방법, 디바이스 및 시스템 | |
| CN116755938B (zh) | 计算重启方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |