CN111030983B - 基于分布式分发的数据处理方法、装置及相关设备 - Google Patents

基于分布式分发的数据处理方法、装置及相关设备 Download PDF

Info

Publication number
CN111030983B
CN111030983B CN201910979525.7A CN201910979525A CN111030983B CN 111030983 B CN111030983 B CN 111030983B CN 201910979525 A CN201910979525 A CN 201910979525A CN 111030983 B CN111030983 B CN 111030983B
Authority
CN
China
Prior art keywords
data
processing
combined
processed
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910979525.7A
Other languages
English (en)
Other versions
CN111030983A (zh
Inventor
曹敏
方良秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201910979525.7A priority Critical patent/CN111030983B/zh
Publication of CN111030983A publication Critical patent/CN111030983A/zh
Priority to PCT/CN2020/105941 priority patent/WO2021073201A1/zh
Application granted granted Critical
Publication of CN111030983B publication Critical patent/CN111030983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于分布式分发的数据处理方法，所述方法包括：获取需要进行估值处理的待处理数据；根据所述待处理数据，构建多个组合数据；采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。本发明还提供一种数据处理装置及相关设备。本发明能提高估值效率。

Description

基于分布式分发的数据处理方法、装置及相关设备
技术领域
本发明涉及数据分发技术领域，尤其涉及一种基于分布式分发的数据处理方法、装置及相关设备。
背景技术
估值作为资产管理中最核心的一环，起着承上启下的重要作用。现有的估值处理系统的功能和数据比较相似，从基础数据和交易数据出发，功能包括基础设置、文件导入、交易数据、生成凭证，生成估值表，最终生成资产净值。
然而，实践中发现，所有数据都在一台服务器上运行，服务器要求很高，成本昂贵，多账户的数据处理完之后才能出估值结果，效率低运行速度慢，延长基金会计的工作时间。而且，一旦某个数据的估值流程出现阻塞，其他数据的估值将受到影响。
可见，现有的估值效率较低。
发明内容
鉴于以上内容，有必要提供一种基于分布式分发的数据处理方法、装置及相关设备，能够提高估值效率。
本发明的第一方面提供一种基于分布式分发的数据处理方法，所述方法包括：
获取需要进行估值处理的待处理数据；
根据所述待处理数据，构建多个组合数据；
采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
在一种可能的实现方式中，所述根据所述待处理数据，构建多个组合数据包括：
获取所述待处理数据的数据标识；
按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得多个组合数据。
在一种可能的实现方式中，所述根据所述待处理数据，构建多个组合数据包括：
采用预设分类算法对所述待处理数据进行分类，获得多个类别；
根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据。
在一种可能的实现方式中，所述采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上包括：
统计所述多个组合加密数据的第一数量以及所述多个处理服务器的第二数量；
对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数；
将所述模数的组合加密数据分发至每个所述处理服务器上；
根据每个所述处理服务器的最大处理数量，将所述余数的组合加密数据进行分发；
其中，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量。
在一种可能的实现方式中，所述控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程包括：
采用多线程机制，控制所述多个处理服务器并行执行估值处理流程；
针对每个所述处理服务器，控制所述处理服务器采用所述多线程机制并行处理分发至所述处理服务器上的多个组合加密数据且并行处理所述多个组合加密数据的相同估值步骤。
在一种可能的实现方式中，所述采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制包括：
当目标处理服务器上的服务需要停止运行时，采用优雅停机机制将当前正在处理的请求转移到当前处理压力最小的处理服务器上，且控制新的请求被分配到所述多个处理服务器中除了所述目标处理服务器之外的剩余处理服务器上；
针对每个所述处理服务器，采用隔离层机制对所述处理服务器所提供的多个服务进行权限控制。
在一种可能的实现方式中，所述方法还包括：
针对每个所述组合数据，采用预设中文分词算法对所述组合数据进行中文分词，获得多个初步关键词；
计算所述多个初步关键词与预设的多个业务关键词之间的匹配度；
若所述匹配度大于预设匹配度阈值，将所述多个初步关键词对应的组合数据确定为业务数据。
本发明的第二方面提供一种数据处理装置，所述装置包括：
获取模块，用于获取需要进行估值处理的待处理数据；
构建模块，用于根据所述待处理数据，构建多个组合数据；
加密模块，用于采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
分发模块，用于采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
第一控制模块，用于控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
第二控制模块，用于在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
本发明的第三方面提供一种控制服务器，所述控制服务器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的基于分布式分发的数据处理方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于分布式分发的数据处理方法。
由以上技术方案，本发明中，可以先获取需要进行估值处理的待处理数据，根据所述待处理数据，构建多个组合数据，并采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据，进一步地，采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上，控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，更进一步地，在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。可见，本发明中，采用分布式的分发方式来分发数据，采用多线程并行处理估值流程，在数据分发前对数据进行加密，以及在估值处理过程中，采用优雅停机机制以及隔离层机制，在保证服务高可用的情况下又能保证数据的安全性，同时，也提高了估值效率。
附图说明
图1是本发明公开的一种基于分布式分发的数据处理方法的较佳实施例的流程图。
图2是本发明公开的一种估值系统的架构图。
图3是本发明公开的一种数据处理装置的较佳实施例的功能模块图。
图4是本发明实现基于分布式分发的数据处理方法的较佳实施例的控制服务器的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
图1是本发明公开的一种基于分布式分发的数据处理方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S11、控制服务器获取需要进行估值处理的待处理数据。
其中，控制服务器可以是指能对网络中其它设备(如处理服务器)提供服务的计算机系统。
通常，交易账户以及财务账户层面的资产估值，可以为基于投资经理的绩效评估提供底层数据支持。多层交易账户和财务账户的估值处理可全面支持投资核算估值，估值数据准备同步各接口数据至业务表，业务表中可以将数据分为交易数据和财务数据，交易数据为周边系统提供数据支持，财务数据生成估值表，出业绩报酬数据。
本发明实施例中，所述需要进行估值处理的待处理数据主要针对的是交易数据和财务数据。
S12、控制服务器根据所述待处理数据，构建多个组合数据。
本发明实施例中，所述待处理数据都是原始数据，这些原始数据中存在多个类别，需要根据这些类别来构建组合数据，以组合数据的形式进行估值处理。
具体的，所述根据所述待处理数据，构建多个组合数据包括：
获取所述待处理数据的数据标识；
按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得多个组合数据。
在该可选的实施方式中，所述待处理数据自身携带有数据标识，所述数据标识用于唯一标识所述待处理数据的身份，比如所述数据标识为股东代码、资金账号等。可以根据所述待处理数据的数据标识，将相同数据标识的所述待处理数据划分为一类，根据不同的类别，获取多个不同的组合数据。其中，每个组合数据中既有交易数据又有财务数据。
具体的，所述根据所述待处理数据，构建多个组合数据包括：
采用预设分类算法对所述待处理数据进行分类，获得多个类别；
根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据。
其中，所述预设分类算法可以包括：K-means聚类分析算法、基于特征投票的文本分类方法等。根据预设分类算法能够对以本文形式存在的问题进行聚类分析，从而将多个问题清单中的问题进行归类，使得具有相同或者相近意思的问题归为同一类，具有不同意思的问题归为不同的类。所述K-means聚类分析算法、基于特征投票的文本分类方法均为现有技术，本文在此不再详细阐述。
在该可选的实施方式中，可以通过预设分类算法，将所述待处理数据中属于同一个类别的数据划分为一类，将每类包括的待处理数据确定为一个组合数据。
可选的，所述方法还包括：
针对每个所述组合数据，采用预设中文分词算法对所述组合数据进行中文分词，获得多个初步关键词；
计算所述多个初步关键词与预设的多个业务关键词之间的匹配度；
若所述匹配度大于预设匹配度阈值，将所述多个初步关键词对应的组合数据确定为业务数据。
其中，在获得多个组合数据的同时，还可以采用预设中文分词算法对所述组合数据进行中文分词，比如自然语言处理(Natural Language Processing，NLP)算法，对所述组合数据进行中文分词。
经过中文分词之后，会获得多个初步关键词，比如，组合数据为“交易资金为100元”，根据预设中文分词算法进行分词为“交易/资金/为/100/元”，多个初步关键词为“交易”、“资金”、“为”、“100”、“元”。
其中，可以预先设置多个业务关键词，比如资金、回购、贷款等。
可以计算所述多个初步关键词与预设的多个业务关键词之间的匹配度，如果所述匹配度大于预设匹配度阈值，则可以筛选出来，并将所述多个初步关键词对应的组合数据确定为业务数据。
其中，一个组合数据可以对应多个业务数据，即该组合数据与多个业务相关联。业务数据落地系统中的业务表即交易层数据，同时会拷贝一份数据到财务表即财务层数据，每个组合数据既有交易数据又有财务数据。
S13、控制服务器采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据。
其中，DH密钥交换协议/算法(Diffie-Hellman Key Exchange/AgreementAlgorithm)可以生成密钥，利用密钥对所述多个组合数据进行加密，获得多个组合加密数据，这样，使得后续在分发组合加密数据时，能够确保数据的安全性。
S14、控制服务器采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上。
目前，资管行业的业务量越来越大，不同的客户需求不同，业务越来越关键，如果出现单点故障，将会导致整个系统架构的可用性较差，难以维护整个系统的正常运行。
本发明实施例中，采用多台机器来应对这种大规模的应用场景，即使用分布式的系统架构来垂直或是水平的拆分业务，通过分布式架构来冗余系统，提高系统的可用性；使系统模块化，可以提高模块的重用度，同时系统的扩展性也更高，此外，软件服务模块被拆分，开发和发布可以并行，能够提高开发和发布速度。
图2是本发明公开的一种估值系统的架构图。
其中，从图2可以看出，控制服务器可以向多个处理服务器(比如处理服务器1、处理服务器2、处理服务器3……处理服务器n)分发组合数据，该多个处理服务器可以并行执行估值处理流程，各个处理服务器在处理组合加密数据时，互不影响，彼此独立。
具体的，所述采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上包括：
统计所述多个组合加密数据的第一数量以及所述多个处理服务器的第二数量；
对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数；
将所述模数的组合加密数据分发至每个所述处理服务器上；
根据每个所述处理服务器的最大处理数量，将所述余数的组合加密数据进行分发；
其中，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量。
其中，负载均衡技术的基本思想是确保各个处理服务器所处理的组合加密数据处于均衡状态，即不会出现某个处理服务器的负载过重，而某个处理服务器的负载过轻的现象发生。
本发明实施例中，可以先统计多个组合加密数据的第一数量以及所述多个处理服务器的第二数量，对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数，假设第一数量为100，第二数量为15，则模数为6，余数为10，进一步地，可以分两次进行分发，第一次每个所述处理服务器均分发6个组合加密数据，第二次，可以根据每个所述处理服务器的最大处理数量，从15个处理服务器中挑出没有超过最大处理数量的10个处理服务器，并将剩余的10个组合加密数据分发至该10个处理服务器中。
根据上述的分发方式，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量，这有利于资源的合理利用，有利于维护整个估值系统的稳定性和可用性。
S15、控制服务器控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程。
其中，在将多个组合加密数据分发完之后，可以控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，具体的，主要包括三个方面，第一是采用多线程机制使得多个处理服务器并行同步执行估值处理流程，第二是采用多线程机制使得多个组合加密数据并行同步被处理；第三是采用多线程机制使得多个组合加密数据同步执行相同估值步骤。
具体的，所述控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程包括：
采用多线程机制，控制所述多个处理服务器并行执行估值处理流程；
针对每个所述处理服务器，控制所述处理服务器采用所述多线程机制并行处理分发至所述处理服务器上的多个组合加密数据且并行处理所述多个组合加密数据的相同估值步骤。
在该可选的实施方式中，采用多线程机制，控制所述多个处理服务器并行执行估值处理流程，即多个处理服务器同时同步执行估值处理流程，其中，一般的估值流程为：数据准备→持仓计算→清算→开始估值，估值状态切换成估值中→计费→财务预处理→结转→制证→估值，估值完成。
针对每个所述处理服务器而言，所述处理服务器上的多个组合加密数据也需要采用多线程机制并行同步处理，此外，在处理时，还需要保持各个组合加密数据处理的估值步骤相同，举例来说，假设处理服务器有组合加密数据A和组合加密数据B，在进行估值处理流程时，需要同步处理组合加密数据A和组合加密数据B，而且，组合加密数据A的处理步骤和组合加密数据B的处理步骤相同，比如均为清算步骤。
通过上述方式，可以有效提高估值系统的资源使用率，同时，还可以缩短估值流程的完成时间，提高估值效率。
S16、控制服务器在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
具体的，所述采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制包括：
当目标处理服务器上的服务需要停止运行时，采用优雅停机机制将当前正在处理的请求转移到当前处理压力最小的处理服务器上，且控制新的请求被分配到所述多个处理服务器中除了所述目标处理服务器之外的剩余处理服务器上；
针对每个所述处理服务器，采用隔离层机制对所述处理服务器所提供的多个服务进行权限控制。
其中，在所述多个处理服务器上采用优雅停机机制，在服务重启时，如果已经有请求在服务上处理，将此请求重发到另一台服务器，保证每一个请求在任何时候都不会丢失，保证了数据的一致性以及幂等性。
其中，隔离层机制属于领域建模思想的一种，领域建模思想是一种面向对象的分层架构思想。采用隔离层机制，在每个服务上添加隔离层，可以对服务的访问权限进行控制，只有被允许的服务之间才可以互相访问，从而可以确保数据的安全性。
在图1所描述的方法流程中，可以先获取需要进行估值处理的待处理数据，根据所述待处理数据，构建多个组合数据，并采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据，进一步地，采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上，控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，更进一步地，在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。可见，本发明中，采用分布式的分发方式来分发数据，采用多线程并行处理估值流程，在数据分发前对数据进行加密，以及在估值处理过程中，采用优雅停机机制以及隔离层机制，在保证服务高可用的情况下又能保证数据的安全性，同时，也提高了估值效率。
以上所述，仅是本发明的具体实施方式，但本发明的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
图3是本发明公开的一种数据处理装置的较佳实施例的功能模块图。
在一些实施例中，所述数据处理装置运行于控制服务器中。所述数据处理装置可以包括多个由程序代码段所组成的功能模块。所述数据处理装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的基于分布式分发的数据处理方法中的部分或全部步骤。
本实施例中，所述数据处理装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块301、构建模块302、加密模块303、分发模块304、第一控制模块305、及第二控制模块306。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
获取模块301，用于获取需要进行估值处理的待处理数据。
通常，交易账户以及财务账户层面的资产估值，可以为基于投资经理的绩效评估提供底层数据支持。多层交易账户和财务账户的估值处理可全面支持投资核算估值，估值数据准备同步各接口数据至业务表，业务表中可以将数据分为交易数据和财务数据，交易数据为周边系统提供数据支持，财务数据生成估值表，出业绩报酬数据。
本发明实施例中，所述需要进行估值处理的待处理数据主要针对的是交易数据和财务数据。
构建模块302，用于根据所述待处理数据，构建多个组合数据。
本发明实施例中，所述待处理数据都是原始数据，这些原始数据中存在多个类别，需要根据这些类别来构建组合数据，以组合数据的形式进行估值处理。
具体的，所述构建模块302根据所述待处理数据，构建多个组合数据包括：
获取所述待处理数据的数据标识；
按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得多个组合数据。
在该可选的实施方式中，所述待处理数据自身携带有数据标识，所述数据标识用于唯一标识所述待处理数据的身份，比如所述数据标识为股东代码、资金账号等。可以根据所述待处理数据的数据标识，将相同数据标识的所述待处理数据划分为一类，根据不同的类别，获取多个不同的组合数据。其中，每个组合数据中既有交易数据又有财务数据。
具体的，所述构建模块302根据所述待处理数据，构建多个组合数据包括：
采用预设分类算法对所述待处理数据进行分类，获得多个类别；
根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据。
其中，所述预设分类算法可以包括：K-means聚类分析算法、基于特征投票的文本分类方法等。根据预设分类算法能够对以本文形式存在的问题进行聚类分析，从而将多个问题清单中的问题进行归类，使得具有相同或者相近意思的问题归为同一类，具有不同意思的问题归为不同的类。所述K-means聚类分析算法、基于特征投票的文本分类方法均为现有技术，本文在此不再详细阐述。
在该可选的实施方式中，可以通过预设分类算法，将所述待处理数据中属于同一个类别的数据划分为一类，将每类包括的待处理数据确定为一个组合数据。
加密模块303，用于采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据。
其中，DH密钥交换协议/算法(Diffie-Hellman Key Exchange/AgreementAlgorithm)可以生成密钥，利用密钥对所述多个组合数据进行加密，获得多个组合加密数据，这样，使得后续在分发组合加密数据时，能够确保数据的安全性。
分发模块304，用于采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上。
目前，资管行业的业务量越来越大，不同的客户需求不同，业务越来越关键，如果出现单点故障，将会导致整个系统架构的可用性较差，难以维护整个系统的正常运行。
本发明实施例中，采用多台机器来应对这种大规模的应用场景，即使用分布式的系统架构来垂直或是水平的拆分业务，通过分布式架构来冗余系统，提高系统的可用性；使系统模块化，可以提高模块的重用度，同时系统的扩展性也更高，此外，软件服务模块被拆分，开发和发布可以并行，能够提高开发和发布速度。
图2是本发明公开的一种估值系统的架构图。
其中，从图2可以看出，控制服务器可以向多个处理服务器(比如处理服务器1、处理服务器2、处理服务器3……处理服务器n)分发组合数据，该多个处理服务器可以并行执行估值处理流程，各个处理服务器在处理组合加密数据时，互不影响，彼此独立。
具体的，所述分发模块304采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上包括：
统计所述多个组合加密数据的第一数量以及所述多个处理服务器的第二数量；
对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数；
将所述模数的组合加密数据分发至每个所述处理服务器上；
根据每个所述处理服务器的最大处理数量，将所述余数的组合加密数据进行分发；
其中，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量。
其中，负载均衡技术的基本思想是确保各个处理服务器所处理的组合加密数据处于均衡状态，即不会出现某个处理服务器的负载过重，而某个处理服务器的负载过轻的现象发生。
本发明实施例中，可以先统计多个组合加密数据的第一数量以及所述多个处理服务器的第二数量，对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数，假设第一数量为100，第二数量为15，则模数为6，余数为10，进一步地，可以分两次进行分发，第一次每个所述处理服务器均分发6个组合加密数据，第二次，可以根据每个所述处理服务器的最大处理数量，从15个处理服务器中挑出没有超过最大处理数量的10个处理服务器，并将剩余的10个组合加密数据分发至该10个处理服务器中。
根据上述的分发方式，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量，这有利于资源的合理利用，有利于维护整个估值系统的稳定性和可用性。
第一控制模块305，用于控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程。
其中，在将多个组合加密数据分发完之后，可以控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，具体的，主要包括三个方面，第一是采用多线程机制使得多个处理服务器并行同步执行估值处理流程，第二是采用多线程机制使得多个组合加密数据并行同步被处理；第三是采用多线程机制使得多个组合加密数据同步执行相同估值步骤。
具体的，所述第一控制模块305控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程包括：
采用多线程机制，控制所述多个处理服务器并行执行估值处理流程；
针对每个所述处理服务器，控制所述处理服务器采用所述多线程机制并行处理分发至所述处理服务器上的多个组合加密数据且并行处理所述多个组合加密数据的相同估值步骤。
在该可选的实施方式中，采用多线程机制，控制所述多个处理服务器并行执行估值处理流程，即多个处理服务器同时同步执行估值处理流程，其中，一般的估值流程为：数据准备→持仓计算→清算→开始估值，估值状态切换成估值中→计费→财务预处理→结转→制证→估值，估值完成。
针对每个所述处理服务器而言，所述处理服务器上的多个组合加密数据也需要采用多线程机制并行同步处理，此外，在处理时，还需要保持各个组合加密数据处理的估值步骤相同，举例来说，假设处理服务器有组合加密数据A和组合加密数据B，在进行估值处理流程时，需要同步处理组合加密数据A和组合加密数据B，而且，组合加密数据A的处理步骤和组合加密数据B的处理步骤相同，比如均为清算步骤。
通过上述方式，可以有效提高估值系统的资源使用率，同时，还可以缩短估值流程的完成时间，提高估值效率。
第二控制模块306，用于在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
具体的，所述第二控制模块306采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制包括：
当目标处理服务器上的服务需要停止运行时，采用优雅停机机制将当前正在处理的请求转移到当前处理压力最小的处理服务器上，且控制新的请求被分配到所述多个处理服务器中除了所述目标处理服务器之外的剩余处理服务器上；
针对每个所述处理服务器，采用隔离层机制对所述处理服务器所提供的多个服务进行权限控制。
其中，在所述多个处理服务器上采用优雅停机机制，在服务重启时，如果已经有请求在服务上处理，将此请求重发到另一台服务器，保证每一个请求在任何时候都不会丢失，保证了数据的一致性以及幂等性。
其中，隔离层机制属于领域建模思想的一种，领域建模思想是一种面向对象的分层架构思想。采用隔离层机制，在每个服务上添加隔离层，可以对服务的访问权限进行控制，只有被允许的服务之间才可以互相访问，从而可以确保数据的安全性。
可选的，所述数据处理装置还包括：
分词模块，用于针对每个所述组合数据，采用预设中文分词算法对所述组合数据进行中文分词，获得多个初步关键词；
计算模块，用于计算所述多个初步关键词与预设的多个业务关键词之间的匹配度；
确定模块，用于若所述匹配度大于预设匹配度阈值，将所述多个初步关键词对应的组合数据确定为业务数据。
其中，在获得多个组合数据的同时，还可以采用预设中文分词算法对所述组合数据进行中文分词，比如自然语言处理(Natural Language Processing，NLP)算法，对所述组合数据进行中文分词。
经过中文分词之后，会获得多个初步关键词，比如，组合数据为“交易资金为100元”，根据预设中文分词算法进行分词为“交易/资金/为/100/元”，多个初步关键词为“交易”、“资金”、“为”、“100”、“元”。
其中，可以预先设置多个业务关键词，比如资金、回购、贷款等。
可以计算所述多个初步关键词与预设的多个业务关键词之间的匹配度，如果所述匹配度大于预设匹配度阈值，则可以筛选出来，并将所述多个初步关键词对应的组合数据确定为业务数据。
其中，一个组合数据可以对应多个业务数据，即该组合数据与多个业务相关联。业务数据落地系统中的业务表即交易层数据，同时会拷贝一份数据到财务表即财务层数据，每个组合数据既有交易数据又有财务数据。
在图3所描述的数据处理装置中，可以先获取需要进行估值处理的待处理数据，根据所述待处理数据，构建多个组合数据，并采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据，进一步地，采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上，控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，更进一步地，在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。可见，本发明中，采用分布式的分发方式来分发数据，采用多线程并行处理估值流程，在数据分发前对数据进行加密，以及在估值处理过程中，采用优雅停机机制以及隔离层机制，在保证服务高可用的情况下又能保证数据的安全性，同时，也提高了估值效率。
图4是本发明实现基于分布式分发的数据处理方法的较佳实施例的控制服务器的结构示意图。所述控制服务器4包括存储器41、至少一个处理器42、存储在所述存储器41中并可在所述至少一个处理器42上运行的计算机程序43及至少一条通讯总线44。
本领域技术人员可以理解，图4所示的示意图仅仅是控制服务器4的示例，并不构成对控制服务器4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述控制服务器4还可以包括输入输出设备、网络接入设备等。
所述至少一个处理器42可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器42可以是微处理器或者该处理器42也可以是任何常规的处理器等，所述处理器42是所述控制服务器4的控制中心，利用各种接口和线路连接整个控制服务器4的各个部分。
所述存储器41可用于存储所述计算机程序43和/或模块/单元，所述处理器42通过运行或执行存储在所述存储器41内的计算机程序和/或模块/单元，以及调用存储在存储器41内的数据，实现所述控制服务器4的各种功能。所述存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据控制服务器4的使用所创建的数据(比如音频数据等)等。此外，存储器41可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
结合图1，所述控制服务器4中的所述存储器41存储多个指令以实现一种基于分布式分发的数据处理方法，所述处理器42可执行所述多个指令从而实现：
获取需要进行估值处理的待处理数据；
根据所述待处理数据，构建多个组合数据；
采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。
具体地，所述处理器42对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图4所描述的控制服务器4中，可以先获取需要进行估值处理的待处理数据，根据所述待处理数据，构建多个组合数据，并采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据，进一步地，采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上，控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程，更进一步地，在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制。可见，本发明中，采用分布式的分发方式来分发数据，采用多线程并行处理估值流程，在数据分发前对数据进行加密，以及在估值处理过程中，采用优雅停机机制以及隔离层机制，在保证服务高可用的情况下又能保证数据的安全性，同时，也提高了估值效率。
所述控制服务器4集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种基于分布式分发的数据处理方法，其特征在于，所述方法包括：
获取需要进行估值处理的待处理数据；
根据所述待处理数据，构建多个组合数据，包括：获取所述待处理数据的数据标识，按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得所述多个组合数据，其中，将相同数据标识的所述待处理数据划分为一类，获得一个组合数据，每个组合数据包括交易数据和财务数据；以及采用预设分类算法对所述待处理数据进行分类，获得多个类别，其中，根据所述预设分类算法对以文本形式存在的问题进行聚类分析，将多个问题清单中的问题进行归类，使得不同意思的问题清单中的问题归为不同的类别；根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据；
采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制，其中，采用隔离层机制对所述多个处理服务器所提供的服务进行控制，包括采用所述隔离层机制对每个处理服务器所提供的多个服务进行权限控制。
2.根据权利要求1所述的方法，其特征在于，所述采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上包括：
统计所述多个组合加密数据的第一数量以及所述多个处理服务器的第二数量；
对所述第一数量和所述第二数量进行取模运算和取余运算，获得模数以及余数；
将所述模数的组合加密数据分发至每个所述处理服务器上；
根据每个所述处理服务器的最大处理数量，将所述余数的组合加密数据进行分发；
其中，在分发所述多个组合加密数据之后，所述多个处理服务器上的组合加密数据达到负载均衡且每个所述处理服务器上的组合加密数据不超过所述处理服务器的最大处理数量。
3.根据权利要求1所述的方法，其特征在于，所述控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程包括：
采用多线程机制，控制所述多个处理服务器并行执行估值处理流程；
针对每个所述处理服务器，控制所述处理服务器采用所述多线程机制并行处理分发至所述处理服务器上的多个组合加密数据且并行处理所述多个组合加密数据的相同估值步骤。
4.根据权利要求1所述的方法，其特征在于，所述采用优雅停机机制对所述多个处理服务器所提供的服务进行控制包括：
当目标处理服务器上的服务需要停止运行时，采用优雅停机机制将当前正在处理的请求转移到当前处理压力最小的处理服务器上，且控制新的请求被分配到所述多个处理服务器中除了所述目标处理服务器之外的剩余处理服务器上。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
针对每个所述组合数据，采用预设中文分词算法对所述组合数据进行中文分词，获得多个初步关键词；
计算所述多个初步关键词与预设的多个业务关键词之间的匹配度；
若所述匹配度大于预设匹配度阈值，将所述多个初步关键词对应的组合数据确定为业务数据。
6.一种数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取需要进行估值处理的待处理数据；
构建模块，用于根据所述待处理数据，构建多个组合数据，包括：获取所述待处理数据的数据标识，按照所述待处理数据的数据标识，对所述待处理数据进行分类，获得所述多个组合数据，其中，将相同数据标识的所述待处理数据划分为一类，获得一个组合数据，每个组合数据包括交易数据和财务数据；以及采用预设分类算法对所述待处理数据进行分类，获得多个类别，其中，根据所述预设分类算法对以文本形式存在的问题进行聚类分析，将多个问题清单中的问题进行归类，使得不同意思的问题清单中的问题归为不同的类别；根据每个所述类别的待处理数据，构建与所述类别匹配的组合数据；
加密模块，用于采用DH密钥交换协议/算法对所述多个组合数据进行加密，获得多个组合加密数据；
分发模块，用于采用负载均衡技术，将所述多个组合加密数据分发至多个处理服务器上；
第一控制模块，用于控制所述多个处理服务器采用多线程机制对所述多个组合加密数据执行估值处理流程；
第二控制模块，用于在所述多个处理服务器进行估值处理流程的过程中，采用优雅停机机制以及隔离层机制对所述多个处理服务器所提供的服务进行控制，其中，采用隔离层机制对所述多个处理服务器所提供的服务进行控制，包括采用所述隔离层机制对每个处理服务器所提供的多个服务进行权限控制。
7.一种控制服务器，其特征在于，所述控制服务器包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至5中任意一项所述的基于分布式分发的数据处理方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至5中任意一项所述的基于分布式分发的数据处理方法。
CN201910979525.7A 2019-10-15 2019-10-15 基于分布式分发的数据处理方法、装置及相关设备 Active CN111030983B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910979525.7A CN111030983B (zh) 2019-10-15 2019-10-15 基于分布式分发的数据处理方法、装置及相关设备
PCT/CN2020/105941 WO2021073201A1 (zh) 2019-10-15 2020-07-30 基于分布式分发的数据处理方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910979525.7A CN111030983B (zh) 2019-10-15 2019-10-15 基于分布式分发的数据处理方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN111030983A CN111030983A (zh) 2020-04-17
CN111030983B true CN111030983B (zh) 2023-05-26

Family

ID=70204846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910979525.7A Active CN111030983B (zh) 2019-10-15 2019-10-15 基于分布式分发的数据处理方法、装置及相关设备

Country Status (2)

Country Link
CN (1) CN111030983B (zh)
WO (1) WO2021073201A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111030983B (zh) * 2019-10-15 2023-05-26 深圳壹账通智能科技有限公司 基于分布式分发的数据处理方法、装置及相关设备
CN112613055A (zh) * 2020-12-24 2021-04-06 山东鑫泰洋智能科技有限公司 基于分布式云服务器和数图转换的图像处理系统及方法
CN115221543B (zh) * 2022-08-30 2022-11-29 成都瑞安信信息安全技术有限公司 一种基于档案业务多文件并发加解密方法及系统
CN115982503B (zh) * 2023-02-07 2023-10-13 深圳慧梧科技有限公司 一种基于云平台的网站信息采集方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329982A (zh) * 2017-06-01 2017-11-07 华南理工大学 一种基于分布式列式存储的大数据并行计算方法及系统
CN107977768A (zh) * 2017-10-25 2018-05-01 阿里巴巴集团控股有限公司 一种可增值资源的评估方法及装置
CN108446985A (zh) * 2018-03-21 2018-08-24 张家林 证券投资组合的分享系统及方法
CN110059293A (zh) * 2019-02-20 2019-07-26 阿里巴巴集团控股有限公司 基金估值数据的数据质量的确定方法、装置和服务器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303511A1 (en) * 2011-04-21 2012-11-29 Environmental Financial Products, LLC Method and system for determining market estimates with market based measures
CN102624562A (zh) * 2012-03-13 2012-08-01 网经科技（苏州）有限公司 网络管理系统中分布式syslog日志的安全管理方法
US10122689B2 (en) * 2015-06-16 2018-11-06 Amazon Technologies, Inc. Load balancing with handshake offload
CN106452933B (zh) * 2015-08-05 2020-03-27 腾讯科技（北京）有限公司 一种业务数据的统计方法、装置及系统
CN109144731A (zh) * 2018-08-31 2019-01-04 中国平安人寿保险股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN109165863B (zh) * 2018-09-06 2022-03-22 华泰证券股份有限公司 基于分布式数据流基金资产实时估值的方法、系统及应用
CN109615495B (zh) * 2018-10-11 2023-08-18 创新先进技术有限公司 一种数据的对账方法、装置、设备及系统
CN111030983B (zh) * 2019-10-15 2023-05-26 深圳壹账通智能科技有限公司 基于分布式分发的数据处理方法、装置及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329982A (zh) * 2017-06-01 2017-11-07 华南理工大学 一种基于分布式列式存储的大数据并行计算方法及系统
CN107977768A (zh) * 2017-10-25 2018-05-01 阿里巴巴集团控股有限公司 一种可增值资源的评估方法及装置
CN108446985A (zh) * 2018-03-21 2018-08-24 张家林 证券投资组合的分享系统及方法
CN110059293A (zh) * 2019-02-20 2019-07-26 阿里巴巴集团控股有限公司 基金估值数据的数据质量的确定方法、装置和服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘玉峰 ; .面向金融模型海量估值的复杂计算框架的建设和实践.中国金融电脑.2018,(07),全文. *

Also Published As

Publication number Publication date
CN111030983A (zh) 2020-04-17
WO2021073201A1 (zh) 2021-04-22

Similar Documents

Publication Publication Date Title
CN111030983B (zh) 基于分布式分发的数据处理方法、装置及相关设备
US11030681B2 (en) Intermediate blockchain system for managing transactions
US11546419B2 (en) Methods, devices and systems for a distributed coordination engine-based exchange that implements a blockchain distributed ledger
WO2020124317A1 (en) Multi-access edge computing node with distributed ledger
CN111742295A (zh) 区块链网络基础结构的服务管理
WO2021217863A1 (zh) 订单标识生成方法、装置、服务器及存储介质
CN107993151B (zh) 基金交易清算方法、装置、设备及计算机可读存储介质
US20190354968A1 (en) Utilization Management Method, Utilization Management System, and Node
WO2023050556A1 (zh) 一种共识智能合约算法
CN105373613A (zh) 基于策略的储存结构分布
DE112021002797T5 (de) Datenschutzerhaltende architektur für genehmigungspflichtige blockchains
WO2020147484A1 (zh) 一种交易清算方法和交易清算系统
CN110275891A (zh) 人工智能软件市场
CN108230052A (zh) 一种发票开具及上传方法和系统
US11943360B2 (en) Generative cryptogram for blockchain data management
US11876903B2 (en) Decentralized broadcast encryption and key generation facility
WO2020062119A1 (en) Method and system for incentivizing data exchange
US20220311595A1 (en) Reducing transaction aborts in execute-order-validate blockchain models
JP2022088326A (ja) ブロックチェーン・ネットワークにおけるワールドステート・データベースを選択的に更新するための方法、システム、およびコンピュータ・プログラム
CN107123051B (zh) 一种资源的同步方法和装置
CN104320457A (zh) 一种基于分布式管理的网络发票系统
CN110532807A (zh) 电子化凭证生成方法、装置、计算机设备及存储介质
WO2024007483A1 (en) Method for implementing network consensus algorithm
US20220188295A1 (en) Dynamic management of blockchain resources
US20230267518A1 (en) Intelligently managing invoice processing using blockchain and mixed reality applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant