CN117519993B - 基于分布式计算的高效大数据处理系统及方法 - Google Patents

基于分布式计算的高效大数据处理系统及方法 Download PDF

Info

Publication number
CN117519993B
CN117519993B CN202410015825.4A CN202410015825A CN117519993B CN 117519993 B CN117519993 B CN 117519993B CN 202410015825 A CN202410015825 A CN 202410015825A CN 117519993 B CN117519993 B CN 117519993B
Authority
CN
China
Prior art keywords
data
data processing
processed
determining
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410015825.4A
Other languages
English (en)
Other versions
CN117519993A (zh
Inventor
李伟民
刘志乐
叶宏梁
许俊勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sangda Yinluo Technology Co ltd
Original Assignee
Shenzhen Sangda Yinluo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sangda Yinluo Technology Co ltd filed Critical Shenzhen Sangda Yinluo Technology Co ltd
Priority to CN202410015825.4A priority Critical patent/CN117519993B/zh
Publication of CN117519993A publication Critical patent/CN117519993A/zh
Application granted granted Critical
Publication of CN117519993B publication Critical patent/CN117519993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0009—Details of the software in the checkout register, electronic cash register [ECR] or point of sale terminal [POS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分布式计算的高效大数据处理系统，包括：主POS收款机，包括：第一接收模块接收待处理数据集；分类模块解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果；第二接收模块接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果；第一确定模块根据分类结果及解析结果确定数据处理任务；第二确定模块根据数据处理任务确定对应的逻辑节点拓扑图；第三确定模块根据逻辑节点拓扑图中确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。实现多台联动，来完成复杂的业务，有效的利用各台POS收款机的计算资源。

Description

基于分布式计算的高效大数据处理系统及方法
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于分布式计算的高效大数据处理系统及方法。
背景技术
目前，在各种零售和服务行业中经常会使用POS收款机，POS收款机（Point ofSale）是一种用于商户接受支付的设备。它可以连接银行账户、信用卡、移动支付等多种支付方式，方便顾客进行消费，并实现资金的交易和结算。可以提供快速便捷的支付方式，增加顾客满意度，提高工作效率，同时也提供了更安全、更准确的交易记录和结算凭证。
现有技术中在同一局域网中会有多台POS收款机进行工作，但是各台POS收款机只是单独进行工作，处理简单且单一的数据运算，无法实现多台联动，来完成复杂的业务，不能有效的利用各台POS收款机的计算资源，造成计算资源的浪费。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的第一个目的在于提出一种基于分布式计算的高效大数据处理系统，实现多台联动，来完成复杂的业务，有效的利用各台POS收款机的计算资源，避免计算资源的浪费。
本发明的第二个目的在于提出一种基于分布式计算的高效大数据处理方法。
为达到上述目的，本发明第一方面实施例提出了一种基于分布式计算的高效大数据处理系统，包括：一台主POS收款机和若干台副POS收款机；
所述主POS收款机，包括：
第一接收模块，用于接收待处理数据集；
分类模块，用于解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果；
第二接收模块，用于接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果；
第一确定模块，用于根据分类结果及解析结果确定数据处理任务；
第二确定模块，用于根据数据处理任务确定对应的逻辑节点拓扑图；
第三确定模块，用于根据逻辑节点拓扑图中确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。
根据本发明的一些实施例，所述分类模块，包括：
计算模块，用于：
将若干条待处理数据映射到向量空间，确定每条待处理数据对应的特征向量；
计算每个特征向量之间的欧式距离；根据各个特征向量之间的欧式距离计算出若干条待处理数据的平均距离；
确定每条待处理数据在平均距离内包含的数据量及每条待处理数据在平均距离内包含的数据量之间的欧式距离均值，计算出数据密度值；
根据数据密度值查询预设的数据密度值-扫描半径数据表，确定目标扫描半径；
获取模块，用于：
随机选取一条待处理数据作为聚类中心，获取与所述聚类中心之间的间距未超出扫描半径的待处理数据，作为一个分类集合；
在若干条待处理数据中除分类集合外再次选取一条待处理数据作为又一个聚类中心，重复以上方法进行聚类，得到若干个分类集合，进而得到分类结果。
根据本发明的一些实施例，所述第二接收模块，包括：
转换模块，用于：
接收用户终端发送的数据处理需求，基于汤普森算法调用正则表达式集对数据处理需求进行转换，得到非确定有限状态自动机；
基于子集构造法将非确定有限状态自动机转换为确定有限状态机；
基于分割法通过将状态分组并合并等价状态来减少确定有限状态机的状态数，得到最小状态的确定有限状态机，作为目标状态机；
根据目标状态机的转换表及状态机模拟器组成词法解析器；
解析模块，用于：
基于词法解析器对数据处理需求进行解析，确定词法解析结果；
对词法解析结果基于抽象语法树进行语义分析，得到解析结果。
根据本发明的一些实施例，所述第一确定模块，包括：
查询模块，用于根据分类结果及解析结果查询预设的分类结果-解析结果-数据处理任务数据表，确定数据处理任务。
根据本发明的一些实施例，第二确定模块，包括：
划分模块，用于对数据处理任务进行划分，得到若干个子数据处理任务；
融合模块，用于：
确定每个子数据处理任务对应的子逻辑节点拓扑图；
根据若干个子逻辑节点拓扑图进行融合，得到逻辑节点拓扑图。
根据本发明的一些实施例，所述第二确定模块，包括：
判断模块，用于判断数据处理任务的处理难度等级；
查询模块，用于根据处理难度等级查询预设的处理难度等级-逻辑节点拓扑图数据表，确定对应等级的逻辑节点拓扑图。
根据本发明的一些实施例，所述判断模块，包括：
提取模块，用于获取数据处理任务，并进行特征提取，得到特征向量D，特征向量D包括N个特征值；
存储模块，用于存储预设数据处理任务数据库，在预设数据处理任务数据库中拥有不同的数据处理任务的P条数据及每条数据对应的N个特征值，基于P条数据形成矩阵A，并在每条数据后面标注该数据所对应的处理难度等级，形成向量Y；
对矩阵A进行标准化处理，得到标准化矩阵B；
其中，为标准化矩阵B中的第i行第t列的值；为矩阵A的第i行t列的值； 为向量D的第t个值； i=1、2、3……P,t=1、2、3……N；
计算标准化矩阵B的修正矩阵CY；
其中，为修正矩阵CY的第j行t列的值，t=1、2、3……N, j=1、2、3……N;
根据修正矩阵计算修正系数向量C；
其中， 为单位矩阵，求解以上等式，则能得到修正系数向量C；
根据修正系数向量及数据处理任务对应的特征向量D，计算特征向量D与第i条数据的关联系数；
其中，为特征向量D与第i条数据的关联系数；Ct为修正系数向量C的第t个值；
确定具有最大的关联系数的数据对应的处理难度等级，作为数据处理任务的处理难度等级。
为达到上述目的，本发明第二方面实施例提出了一种基于分布式计算的高效大数据处理方法，应用于基于分布式计算的高效大数据处理系统，处理系统包括：一台主POS收款机和若干台副POS收款机；所述处理方法，包括：
基于主POS收款机接收待处理数据集；
解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果；
接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果；
根据分类结果及解析结果确定数据处理任务；
根据数据处理任务确定对应的逻辑节点拓扑图；
根据逻辑节点拓扑图中确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。
根据本发明的一些实施例，解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果，包括：
将若干条待处理数据映射到向量空间，确定每条待处理数据对应的特征向量；
计算每个特征向量之间的欧式距离；根据各个特征向量之间的欧式距离计算出若干条待处理数据的平均距离；
确定每条待处理数据在平均距离内包含的数据量及每条待处理数据在平均距离内包含的数据量之间的欧式距离均值，计算出数据密度值；
根据数据密度值查询预设的数据密度值-扫描半径数据表，确定目标扫描半径；
随机选取一条待处理数据作为聚类中心，获取与所述聚类中心之间的间距未超出扫描半径的待处理数据，作为一个分类集合；
在若干条待处理数据中除分类集合外再次选取一条待处理数据作为又一个聚类中心，重复以上方法进行聚类，得到若干个分类集合，进而得到分类结果。
根据本发明的一些实施例，接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果，包括：
接收用户终端发送的数据处理需求，基于汤普森算法调用正则表达式集对数据处理需求进行转换，得到非确定有限状态自动机；
基于子集构造法将非确定有限状态自动机转换为确定有限状态机；
基于分割法通过将状态分组并合并等价状态来减少确定有限状态机的状态数，得到最小状态的确定有限状态机，作为目标状态机；
根据目标状态机的转换表及状态机模拟器组成词法解析器；
基于词法解析器对数据处理需求进行解析，确定词法解析结果；
对词法解析结果基于抽象语法树进行语义分析，得到解析结果。
本发明提出了一种基于分布式计算的高效大数据处理系统及方法，实现对待处理数据集进行分类以及对数据处理需求进行解析，准确确定数据处理任务，进而确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。实现多台联动，来完成复杂的业务，有效的利用各台POS收款机的计算资源，避免计算资源的浪费。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的基于分布式计算的高效大数据处理系统的框图；
图2是根据本发明一个实施例的分类模块的框图；
图3是根据本发明一个实施例的基于分布式计算的高效大数据处理方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明第一方面实施例提出了一种基于分布式计算的高效大数据处理系统，包括：一台主POS收款机和若干台副POS收款机；
所述主POS收款机，包括：
第一接收模块，用于接收待处理数据集；
分类模块，用于解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果；
第二接收模块，用于接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果；
第一确定模块，用于根据分类结果及解析结果确定数据处理任务；
第二确定模块，用于根据数据处理任务确定对应的逻辑节点拓扑图；
第三确定模块，用于根据逻辑节点拓扑图中确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。
上述技术方案的工作原理：主POS收款机对比副POS收款机具有丰富的功能和计算能力，包括接收待处理数据集并进行分类、接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果、确定目标副POS收款机，作为分布式节点对数据处理任务进行计算等功能，基于主POS收款机实现确定数据处理任务，并确定分布式计算方案，最后通过目标副POS收款机，作为分布式节点对数据处理任务进行计算。
该实施例中，待处理数据集为服务器或终端发送过来进行处理的数据。属性信息包括每条待处理数据对应的特征向量。
该实施例中，数据处理需求包括用户的数据处理需求，如处理速度、计算精度等等。
该实施例中，基于分类结果确定各个数据的分类集合，基于解析结果确定相应的处理要求，进而确定数据处理任务。
该实施例中，逻辑节点拓扑图为完成数据处理任务时，包含的目标副POS收款机以及各个目标副POS收款机之间的计算顺序关联。
该实施例中，目标副POS收款机为执行数据处理任务的副POS收款机。
上述技术方案的有益效果：实现对待处理数据集进行分类以及对数据处理需求进行解析，准确确定数据处理任务，进而确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。实现多台联动，来完成复杂的业务，有效的利用各台POS收款机的计算资源，避免计算资源的浪费。
如图2所示，根据本发明的一些实施例，所述分类模块，包括：
计算模块，用于：
将若干条待处理数据映射到向量空间，确定每条待处理数据对应的特征向量；
计算每个特征向量之间的欧式距离；根据各个特征向量之间的欧式距离计算出若干条待处理数据的平均距离；
确定每条待处理数据在平均距离内包含的数据量及每条待处理数据在平均距离内包含的数据量之间的欧式距离均值，计算出数据密度值；
根据数据密度值查询预设的数据密度值-扫描半径数据表，确定目标扫描半径；
获取模块，用于：
随机选取一条待处理数据作为聚类中心，获取与所述聚类中心之间的间距未超出扫描半径的待处理数据，作为一个分类集合；
在若干条待处理数据中除分类集合外再次选取一条待处理数据作为又一个聚类中心，重复以上方法进行聚类，得到若干个分类集合，进而得到分类结果。
上述技术方案的工作原理：该实施例中，将待处理数据映射到向量空间，可以使用降维技术，如主成分分析（PCA）或t分布邻域嵌入算法（t-SNE）。这些方法可以将高维数据降低到低维空间，同时保留数据的主要特征。确定每条待处理数据对应的特征向量的过程如下：首先，对原始数据进行预处理，包括去除异常值、缺失值等。然后，选择合适的降维方法，如PCA或t-SNE。使用选定的降维方法将原始数据映射到低维空间。最后，计算每条待处理数据在低维空间中的坐标，即特征向量。
该实施例中，计算每个特征向量之间的欧式距离；根据各个特征向量之间的欧式距离计算出若干条待处理数据的平均距离，实现对若干条待处理数据整体的中心范围进行划分，得到一个大致的范围。
该实施例中，基于每条待处理数据在平均距离内包含的数据量与每条待处理数据在平均距离内包含的数据量之间的欧式距离均值的比值，作为数据密度值，准确确定若干条待处理数据的数据密度值；
根据数据密度值查询预设的数据密度值-扫描半径数据表，确定目标扫描半径，目标扫描半径为进行数据分类的距离阈值。
该实施例中，基于获取模块，随机选取一条待处理数据作为聚类中心，获取与所述聚类中心之间的间距未超出扫描半径的待处理数据，作为一个分类集合；在若干条待处理数据中除分类集合外再次选取一条待处理数据作为又一个聚类中心，重复以上方法进行聚类，得到若干个分类集合，进而得到分类结果。实现对待处理数据的准确分类。
上述技术方案的有益效果：基于将映射到向量空间，确定每条待处理数据对应的特征向量，确定若干条待处理数据的整体特征值，即数据密度值，根据数据密度值查询预设的数据密度值-扫描半径数据表，确定目标扫描半径，确定进行数据分类的距离阈值，随机选取一条待处理数据作为聚类中心，获取与所述聚类中心之间的间距未超出扫描半径的待处理数据，作为一个分类集合，依次进行数据分类，提高了数据分类的效率及准确性。
根据本发明的一些实施例，所述第二接收模块，包括：
转换模块，用于：
接收用户终端发送的数据处理需求，基于汤普森算法调用正则表达式集对数据处理需求进行转换，得到非确定有限状态自动机；
基于子集构造法将非确定有限状态自动机转换为确定有限状态机；
基于分割法通过将状态分组并合并等价状态来减少确定有限状态机的状态数，得到最小状态的确定有限状态机，作为目标状态机；
根据目标状态机的转换表及状态机模拟器组成词法解析器；
解析模块，用于：
基于词法解析器对数据处理需求进行解析，确定词法解析结果；
对词法解析结果基于抽象语法树进行语义分析，得到解析结果。
上述技术方案的工作原理：该实施例中，使用Python编写一个简单的程序。首先，我们需要导入所需的库，然后定义一个函数来接收用户终端发送的数据处理需求，接着使用正则表达式集对需求进行转换，最后调用汤普森算法得到非确定有限状态自动机。
该实施例中，基于子集构造法将非确定有限状态自动机转换为确定有限状态机，包括：1、初始化一个空的确定有限状态机；2、从非确定有限状态自动机中选择一个状态作为初始状态，将其添加到确定有限状态机中；3、对于每个选择的状态，找到其所有可能的转换，并将这些转换添加到确定有限状态机中；重复步骤3，直到所有状态都被处理。
该实施例中，基于分割法的确定有限状态机（DFA）最小化算法通常包括以下步骤：1、将初始状态作为一组，将其标记为已访问。2、对于每个未访问的状态，检查其所有转换是否与已访问状态组中的任何状态具有相同的转换。如果是，则将这些状态合并到同一个新状态中。重复步骤2，直到没有更多的状态可以合并。使用合并后的状态集创建一个新的确定有限状态机，该状态机具有最小的状态数。
该实施例中，根据目标状态机的转换表及状态机模拟器组成词法解析器，包括：在词法分析器的实现中，状态机扮演了关键的角色。具体来说，词法分析器以有穷状态机来实现。其工作原理是根据目标状态机的转换表进行输入字符的逐位分析。首先，需要定义状态和转移函数。状态代表了词法分析器在解析过程中可能处于的情况，而转移函数则描述了当遇到某个字符时，词法分析器如何从一个状态转移到另一个状态。然后，需要使用一个循环来读取并处理输入字符。在每个迭代中，首先确定当前的状态，然后根据转移函数将当前状态转换为下一个状态。同时，需要使用一个变量来记录当前解析出的单词。最后，当词法分析器完成对输入字符串的解析后，它将输出一个包含了所有识别出的单词的列表。
该实施例中，基于解析模块对数据处理需求进行解析，确定词法解析结果，语义分析的目的是将抽象语法树（AST）转换为一个中间表示形式，然后对这个中间表示形式进行进一步的处理。这个中间表示形式通常被称为中间代码或者中间表示。在语义分析的过程中，对抽象语法树进行遍历，并对每个节点进行相应的处理。例如，可能需要检查变量是否已经被声明，或者检查表达式的语法是否正确等等。最后，可以使用生成的中间代码来执行程序，确定解析结果。
上述技术方案的有益效果：实现对数据处理需求的准确解析，得到准确的解析结果。
根据本发明的一些实施例，所述第一确定模块，包括：
查询模块，用于根据分类结果及解析结果查询预设的分类结果-解析结果-数据处理任务数据表，确定数据处理任务。
上述技术方案的工作原理及有益效果：基于分类结果和解析结果两个参数查询预设的分类结果-解析结果-数据处理任务数据表，便于准确的确定数据处理任务。
根据本发明的一些实施例，第二确定模块，包括：
划分模块，用于对数据处理任务进行划分，得到若干个子数据处理任务；
融合模块，用于：
确定每个子数据处理任务对应的子逻辑节点拓扑图；
根据若干个子逻辑节点拓扑图进行融合，得到逻辑节点拓扑图。
上述技术方案的工作原理及有益效果：在确定逻辑节点拓扑图时，对数据处理任务进行划分，得到若干个子数据处理任务；确定每个子数据处理任务对应的子逻辑节点拓扑图，进而数据融合，进而便于准确确定逻辑节点拓扑图。确定每个子数据处理任务对应的子逻辑节点拓扑图为基于存储的简单的任务处理逻辑生成的。
根据本发明的一些实施例，所述第二确定模块，包括：
判断模块，用于判断数据处理任务的处理难度等级；
查询模块，用于根据处理难度等级查询预设的处理难度等级-逻辑节点拓扑图数据表，确定对应等级的逻辑节点拓扑图。
上述技术方案的工作原理及有益效果：判断数据处理任务的处理难度等级，根据不同的处理难度等级查询预设的处理难度等级-逻辑节点拓扑图数据表，确定对应等级的逻辑节点拓扑图，实现对数据处理任务的快速及准确的处理。
根据本发明的一些实施例，所述判断模块，包括：
提取模块，用于获取数据处理任务，并进行特征提取，得到特征向量D，特征向量D包括N个特征值；
存储模块，用于存储预设数据处理任务数据库，在预设数据处理任务数据库中拥有不同的数据处理任务的P条数据及每条数据对应的N个特征值，基于P条数据形成矩阵A，并在每条数据后面标注该数据所对应的处理难度等级，形成向量Y；
对矩阵A进行标准化处理，得到标准化矩阵B；
其中，为标准化矩阵B中的第i行第t列的值；为矩阵A的第i行t列的值； 为向量D的第t个值； i=1、2、3……P,t=1、2、3……N；
计算标准化矩阵B的修正矩阵CY；
其中，为修正矩阵CY的第j行t列的值，t=1、2、3……N, j=1、2、3……N;
根据修正矩阵计算修正系数向量C；
其中， 为单位矩阵，求解以上等式，则能得到修正系数向量C；
根据修正系数向量及数据处理任务对应的特征向量D，计算特征向量D与第i条数据的关联系数；
其中，为特征向量D与第i条数据的关联系数；Ct为修正系数向量C的第t个值；
确定具有最大的关联系数的数据对应的处理难度等级，作为数据处理任务的处理难度等级。
上述技术方案的工作原理及有益效果：确定数据处理任务的特征向量D，特征向量D包括N个特征值；N个特征值包括任务的执行精度、时间、进度参数、效果等等。存储模块，包括不同的数据处理任务的P条数据及对应的处理难度等级。基于对矩阵A进行标准化处理，得到标准化矩阵B，对矩阵A的参数进行均衡化处理，避免因较大误差值而影响计算结果。计算标准化矩阵B的修正矩阵及根据修正矩阵计算修正系数向量，便于确定标准化矩阵B中不同数据在展现处理难度方面的系数差异及对应数据的关键特征。根据修正系数向量及数据处理任务对应的特征向量D，计算特征向量D与第i条数据的关联系数，进而准确实现数据处理任务与各条数据的匹配，确定具有最大的关联系数的数据对应的处理难度等级，作为数据处理任务的处理难度等级，准确确定数据处理任务的处理难度等级。
如图3所示，本发明第二方面实施例提出了一种基于分布式计算的高效大数据处理方法，应用于基于分布式计算的高效大数据处理系统，处理系统包括：一台主POS收款机和若干台副POS收款机；所述处理方法，包括步骤S1-S6：
S1、基于主POS收款机接收待处理数据集；
S2、解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果；
S3、接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果；
S4、根据分类结果及解析结果确定数据处理任务；
S5、根据数据处理任务确定对应的逻辑节点拓扑图；
S6、根据逻辑节点拓扑图中确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。
上述技术方案的有益效果：实现对待处理数据集进行分类以及对数据处理需求进行解析，准确确定数据处理任务，进而确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。实现多台联动，来完成复杂的业务，有效的利用各台POS收款机的计算资源，避免计算资源的浪费。
根据本发明的一些实施例，解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果，包括：
将若干条待处理数据映射到向量空间，确定每条待处理数据对应的特征向量；
计算每个特征向量之间的欧式距离；根据各个特征向量之间的欧式距离计算出若干条待处理数据的平均距离；
确定每条待处理数据在平均距离内包含的数据量及每条待处理数据在平均距离内包含的数据量之间的欧式距离均值，计算出数据密度值；
根据数据密度值查询预设的数据密度值-扫描半径数据表，确定目标扫描半径；
随机选取一条待处理数据作为聚类中心，获取与所述聚类中心之间的间距未超出扫描半径的待处理数据，作为一个分类集合；
在若干条待处理数据中除分类集合外再次选取一条待处理数据作为又一个聚类中心，重复以上方法进行聚类，得到若干个分类集合，进而得到分类结果。
上述技术方案的有益效果：基于将映射到向量空间，确定每条待处理数据对应的特征向量，确定若干条待处理数据的整体特征值，即数据密度值，根据数据密度值查询预设的数据密度值-扫描半径数据表，确定目标扫描半径，确定进行数据分类的距离阈值，随机选取一条待处理数据作为聚类中心，获取与所述聚类中心之间的间距未超出扫描半径的待处理数据，作为一个分类集合，依次进行数据分类，提高了数据分类的效率及准确性。
根据本发明的一些实施例，接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果，包括：
接收用户终端发送的数据处理需求，基于汤普森算法调用正则表达式集对数据处理需求进行转换，得到非确定有限状态自动机；
基于子集构造法将非确定有限状态自动机转换为确定有限状态机；
基于分割法通过将状态分组并合并等价状态来减少确定有限状态机的状态数，得到最小状态的确定有限状态机，作为目标状态机；
根据目标状态机的转换表及状态机模拟器组成词法解析器；
基于词法解析器对数据处理需求进行解析，确定词法解析结果；
对词法解析结果基于抽象语法树进行语义分析，得到解析结果。
上述技术方案的有益效果：实现对数据处理需求的准确解析，得到准确的解析结果。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于分布式计算的高效大数据处理系统，其特征在于，包括：一台主POS收款机和若干台副POS收款机；
所述主POS收款机，包括：
第一接收模块，用于接收待处理数据集；
分类模块，用于解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果；
第二接收模块，用于接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果；
第一确定模块，用于根据分类结果及解析结果确定数据处理任务；
第二确定模块，用于根据数据处理任务确定对应的逻辑节点拓扑图；
第三确定模块，用于根据逻辑节点拓扑图确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。
2.如权利要求1所述基于分布式计算的高效大数据处理系统，其特征在于，所述分类模块，包括：
计算模块，用于：
将若干条待处理数据映射到向量空间，确定每条待处理数据对应的特征向量；
计算每个特征向量之间的欧式距离；根据各个特征向量之间的欧式距离计算出若干条待处理数据的平均距离；
确定每条待处理数据在平均距离内包含的数据量及每条待处理数据在平均距离内包含的数据量之间的欧式距离均值，计算出数据密度值；
根据数据密度值查询预设的数据密度值-扫描半径数据表，确定目标扫描半径；
获取模块，用于：
随机选取一条待处理数据作为聚类中心，获取与所述聚类中心之间的间距未超出扫描半径的待处理数据，作为一个分类集合；
在若干条待处理数据中除分类集合外再次选取一条待处理数据作为又一个聚类中心，获取与又一个聚类中心之间的间距未超出扫描半径的待处理数据，作为又一个分类集合；对未归类的待处理数据进行迭代处理，依次进行聚类，得到若干个分类集合，进而得到分类结果。
3.如权利要求1所述基于分布式计算的高效大数据处理系统，其特征在于，所述第二接收模块，包括：
转换模块，用于：
接收用户终端发送的数据处理需求，基于汤普森算法调用正则表达式集对数据处理需求进行转换，得到非确定有限状态自动机；
基于子集构造法将非确定有限状态自动机转换为确定有限状态机；
基于分割法通过将状态分组并合并等价状态来减少确定有限状态机的状态数，得到最小状态的确定有限状态机，作为目标状态机；
根据目标状态机的转换表及状态机模拟器组成词法解析器；
解析模块，用于：
基于词法解析器对数据处理需求进行解析，确定词法解析结果；
对词法解析结果基于抽象语法树进行语义分析，得到解析结果。
4.如权利要求1所述基于分布式计算的高效大数据处理系统，其特征在于，所述第一确定模块，包括：
查询模块，用于根据分类结果及解析结果查询预设的分类结果-解析结果-数据处理任务数据表，确定数据处理任务。
5.如权利要求1所述基于分布式计算的高效大数据处理系统，其特征在于，第二确定模块，包括：
划分模块，用于对数据处理任务进行划分，得到若干个子数据处理任务；
融合模块，用于：
确定每个子数据处理任务对应的子逻辑节点拓扑图；
根据若干个子逻辑节点拓扑图进行融合，得到逻辑节点拓扑图。
6.如权利要求1所述基于分布式计算的高效大数据处理系统，其特征在于，所述第二确定模块，包括：
判断模块，用于判断数据处理任务的处理难度等级；
查询模块，用于根据处理难度等级查询预设的处理难度等级-逻辑节点拓扑图数据表，确定对应等级的逻辑节点拓扑图。
7.如权利要求6所述基于分布式计算的高效大数据处理系统，其特征在于，所述判断模块，包括：
提取模块，用于获取数据处理任务，并进行特征提取，得到特征向量D，特征向量D包括N个特征值；
存储模块，用于存储预设数据处理任务数据库，在预设数据处理任务数据库中拥有不同的数据处理任务的P条数据及每条数据对应的N个特征值，基于P条数据形成矩阵A，并在每条数据后面标注该数据所对应的处理难度等级，形成向量Y；
对矩阵A进行标准化处理，得到标准化矩阵B；
其中，为标准化矩阵B中的第i行第t列的值；/>为矩阵A的第i行t列的值；/>为向量D的第t个值； i=1、2、3……P,t=1、2、3……N；
计算标准化矩阵B的修正矩阵CY；
其中，为修正矩阵CY的第j行t列的值，t=1、2、3……N, j=1、2、3……N;
根据修正矩阵计算修正系数向量C；
其中， 为单位矩阵，求解以上等式，则能得到修正系数向量C；
根据修正系数向量及数据处理任务对应的特征向量D，计算特征向量D与第i条数据的关联系数；
其中，/>为特征向量D与第i条数据的关联系数；Ct为修正系数向量C的第t个值；
确定具有最大的关联系数的数据对应的处理难度等级，作为数据处理任务的处理难度等级。
8.一种基于分布式计算的高效大数据处理方法，其特征在于，应用于基于分布式计算的高效大数据处理系统，处理系统包括：一台主POS收款机和若干台副POS收款机；所述处理方法，包括：
基于主POS收款机接收待处理数据集；
解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果；
接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果；
根据分类结果及解析结果确定数据处理任务；
根据数据处理任务确定对应的逻辑节点拓扑图；
根据逻辑节点拓扑图确定若干台副POS收款机中对应的目标副POS收款机，作为分布式节点对数据处理任务进行计算。
9.如权利要求8所述基于分布式计算的高效大数据处理方法，其特征在于，解析待处理数据集包括的若干条待处理数据的属性信息，根据所述属性信息对若干条待处理数据进行分类，得到分类结果，包括：
将若干条待处理数据映射到向量空间，确定每条待处理数据对应的特征向量；
计算每个特征向量之间的欧式距离；根据各个特征向量之间的欧式距离计算出若干条待处理数据的平均距离；
确定每条待处理数据在平均距离内包含的数据量及每条待处理数据在平均距离内包含的数据量之间的欧式距离均值，计算出数据密度值；
根据数据密度值查询预设的数据密度值-扫描半径数据表，确定目标扫描半径；
随机选取一条待处理数据作为聚类中心，获取与所述聚类中心之间的间距未超出扫描半径的待处理数据，作为一个分类集合；
在若干条待处理数据中除分类集合外再次选取一条待处理数据作为又一个聚类中心，获取与又一个聚类中心之间的间距未超出扫描半径的待处理数据，作为又一个分类集合；对未归类的待处理数据进行迭代处理，依次进行聚类，得到若干个分类集合，进而得到分类结果。
10.如权利要求8所述基于分布式计算的高效大数据处理方法，其特征在于，接收用户终端发送的数据处理需求，对数据处理需求进行解析，得到解析结果，包括：
接收用户终端发送的数据处理需求，基于汤普森算法调用正则表达式集对数据处理需求进行转换，得到非确定有限状态自动机；
基于子集构造法将非确定有限状态自动机转换为确定有限状态机；
基于分割法通过将状态分组并合并等价状态来减少确定有限状态机的状态数，得到最小状态的确定有限状态机，作为目标状态机；
根据目标状态机的转换表及状态机模拟器组成词法解析器；
基于词法解析器对数据处理需求进行解析，确定词法解析结果；
对词法解析结果基于抽象语法树进行语义分析，得到解析结果。
CN202410015825.4A 2024-01-05 2024-01-05 基于分布式计算的高效大数据处理系统及方法 Active CN117519993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410015825.4A CN117519993B (zh) 2024-01-05 2024-01-05 基于分布式计算的高效大数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410015825.4A CN117519993B (zh) 2024-01-05 2024-01-05 基于分布式计算的高效大数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN117519993A CN117519993A (zh) 2024-02-06
CN117519993B true CN117519993B (zh) 2024-04-05

Family

ID=89746022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410015825.4A Active CN117519993B (zh) 2024-01-05 2024-01-05 基于分布式计算的高效大数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN117519993B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957186B1 (en) * 1999-05-27 2005-10-18 Accenture Llp System method and article of manufacture for building, managing, and supporting various components of a system
CN107317672A (zh) * 2017-05-10 2017-11-03 广东网金控股股份有限公司 一种轻量终端机区块链系统
CN111754216A (zh) * 2020-06-19 2020-10-09 多加网络科技(北京)有限公司 一种支付链路自动切换方法
CN113222581A (zh) * 2021-04-19 2021-08-06 深圳市昂捷信息技术股份有限公司 一种连锁零售pos系统
CN116028787A (zh) * 2021-10-22 2023-04-28 中移(苏州)软件技术有限公司 数据处理方法及装置、设备、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640627B2 (en) * 2021-04-12 2023-05-02 Block, Inc. Artificial intelligence based service recommendation
US20230184579A1 (en) * 2021-12-15 2023-06-15 Block, Inc. Auto-generated fulfillment attributes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957186B1 (en) * 1999-05-27 2005-10-18 Accenture Llp System method and article of manufacture for building, managing, and supporting various components of a system
CN107317672A (zh) * 2017-05-10 2017-11-03 广东网金控股股份有限公司 一种轻量终端机区块链系统
CN111754216A (zh) * 2020-06-19 2020-10-09 多加网络科技(北京)有限公司 一种支付链路自动切换方法
CN113222581A (zh) * 2021-04-19 2021-08-06 深圳市昂捷信息技术股份有限公司 一种连锁零售pos系统
CN116028787A (zh) * 2021-10-22 2023-04-28 中移(苏州)软件技术有限公司 数据处理方法及装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉的车牌与车辆的检测、识别与追踪技术研究;徐振博;《中国博士学位论文全文数据库工程科技II辑（月刊）》;20210915(第09期);第C034-15页 *

Also Published As

Publication number Publication date
CN117519993A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
WO2021164382A1 (zh) 针对用户分类模型进行特征处理的方法及装置
CN108985912B (zh) 数据对账
US7885915B2 (en) Analytical system for discovery and generation of rules to predict and detect anomalies in data and financial fraud
CN110458675B (zh) 一种基于大数据的票据生成凭证方法
US20030023591A1 (en) Systems and methods for discovering mutual dependence patterns
WO2022041834A1 (zh) 一种交易数据处理方法与装置
CN113221570A (zh) 基于线上问诊信息的处理方法、装置、设备及存储介质
US8650180B2 (en) Efficient optimization over uncertain data
CN115827421A (zh) 基于知识图谱的测试方法及装置
CN110807053A (zh) 一种基于改进Apriori算法找出频繁项集的方法
CN117519993B (zh) 基于分布式计算的高效大数据处理系统及方法
CN113705201B (zh) 基于文本的事件概率预测评估算法、电子设备及存储介质
CN115994331A (zh) 基于决策树的报文分拣方法及装置
US20220091818A1 (en) Data feature processing method and data feature processing apparatus
CN110765100B (zh) 标签的生成方法、装置、计算机可读存储介质及服务器
CN115168509A (zh) 风控数据的处理方法及装置、存储介质、计算机设备
CN107025547A (zh) 支付通道检测方法、装置及终端
CN112907254A (zh) 欺诈交易识别、模型训练方法、装置、设备及存储介质
CN112380321A (zh) 基于票据知识图谱的主次数据库分配方法及相关设备
CN116795357B (zh) 一种业务规则的处理方法、装置、设备及存储介质
CN111932131A (zh) 业务数据处理方法及装置
CN112507002B (zh) 一种数据图表生成系统、方法、计算机装置和存储介质
CN112633869B (zh) 一种基于电商平台的商品交易支付方法、系统及服务器
CN116204888B (zh) 一种基于隐私计算的数据源融合评估方法及系统
CN113362151B (zh) 金融业务的数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant