CN113792051B - 基于多模态锁的数据处理方法、系统、设备和存储介质 - Google Patents

基于多模态锁的数据处理方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN113792051B
CN113792051B CN202111092306.0A CN202111092306A CN113792051B CN 113792051 B CN113792051 B CN 113792051B CN 202111092306 A CN202111092306 A CN 202111092306A CN 113792051 B CN113792051 B CN 113792051B
Authority
CN
China
Prior art keywords
data
data processing
lock
mode lock
cleaning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111092306.0A
Other languages
English (en)
Other versions
CN113792051A (zh
Inventor
王巨鹏
姜洪
王璐璇
黄晓薇
雷选平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Happy Consumption Finance Co ltd
Original Assignee
Hebei Happy Consumption Finance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Happy Consumption Finance Co ltd filed Critical Hebei Happy Consumption Finance Co ltd
Priority to CN202111092306.0A priority Critical patent/CN113792051B/zh
Publication of CN113792051A publication Critical patent/CN113792051A/zh
Application granted granted Critical
Publication of CN113792051B publication Critical patent/CN113792051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于多模态锁的数据处理方法、系统、设备和存储介质。所述数据处理方法包括：获取每个数据处理阶段的多模态锁，所述多模态锁是以数据处理阶段为区分界限的动态锁结构，用于提供不少于一种数据处理的组合操作；所述多模态锁包括用于数据抽取、数据清洗、数据汇总、生成报表、数据比对的多模态锁；分别根据各个数据处理阶段对应的多模态锁从源供数端抽取数据并进行清洗、汇总、生成报表、数据比对处理。本发明提供的数据处理方法通过多模态锁实现各个数据处理阶段的数据处理任务，以及根据多种数据处理任务组合对应的多模态锁同时并发执行相同属性和不同属性的数据处理任务，实现了多条线任务的并发处理，并提高了数据比对效率。

Description

基于多模态锁的数据处理方法、系统、设备和存储介质
技术领域
本发明涉及计算机应用技术领域，更为具体而言，涉及一种基于多模态锁的数据处理方法、系统、计算机设备和存储介质。
背景技术
现有消费金融行业系统建设中会采用分布式服务架构来应对日趋复杂的业务条线(如消费金融中的现金贷、场景贷等多种业务类型)，因此不可避免的造成了各个系统间数据不一致的问题，进而导致数据问题定位困难，容易出现记数核对障碍，这不满足数据最终一致性的系统建设要求。
为了达到数据最终一致性要求，需从各个系统拉取数据资源进行比对，如图1所示，现有分布式环境下的数据比对方法是通过C系统从存在差异数据的A、B系统中抽取数据并落库，进而对A、B系统落库数据进行加工落成标准格式数据，再进行比对以定位具体差异数据。并且，如图2所示，用于数据抽取(抽取资源Resource)、加工、比对的读写锁(ReadLock和WriteLock)具有读写互斥的特性，致使当前数据比对过程中会出现大量依次等待和处理依赖，使得数据比对效率低下，难以支持业务数据一致性的要求。更为具体而言，现有数据比对方法存在下述缺陷：
1、读写锁仅能满足读任务并发、写任务互斥，不适用于多读多写的情况；
2、一次只有一个线程可以占用写模式的读写锁，一个工作流/执行流进行写的时候，其他的工作流/执行流既不能写，也不能读；
3、无法根据实时流量进行传输窗口动态调节，可能影响线上业务实时响应。
因此，亟需一种高效的数据加工方案，高效完成数据加工任务。
发明内容
为解决上述现有技术存在的问题或部分问题，本发明实施方式提供了一种基于多模态锁的数据处理方法、系统、设备和存储介质，通过多模态锁实现各个数据处理阶段的数据处理任务，以及根据多种数据处理任务组合对应的多模态锁同时并发执行相同属性和不同属性的数据处理任务，实现了多条线任务的并发处理，从而提高了数据比对效率。
根据本发明的第一方面，本发明实施方式提供了一种基于多模态锁的数据处理方法，所述多模态锁是以数据处理阶段为区分界限的动态锁结构，用于提供不少于一种数据处理的组合操作，该数据处理方法包括：获取每个数据处理阶段的多模态锁，所述多模态锁包括：用于数据抽取的多模态锁、用于数据清洗的多模态锁、用于数据汇总的多模态锁、用于生成报表的多模态锁、用于数据比对的多模态锁；根据所述用于数据抽取的多模态锁从源供数端抽取原始数据，并将所述原始数据存储在临时数据表中；根据所述用于数据清洗的多模态锁对所述临时数据表中的原始数据进行清洗处理，并将所述清洗处理后的数据存入正式数据表；根据所述用于数据汇总的多模态锁对所述正式数据表中的数据进行汇总，并将汇总结果存入汇总表；根据所述用于生成报表的多模态锁将所述汇总数据表中的数据填充至本地报表；根据所述用于数据比对的多模态锁对所述正式数据表中的数据明细进行比对，并输出比对结果信息。
本发明上述实施方式通过多模态锁实现各个数据处理阶段的数据处理任务，以及根据多种数据处理任务组合对应的多模态锁同时并发执行相同属性和不同属性的数据处理任务，实现了多条线任务的并发处理，从而提高了数据比对效率，为业务数据一致性提供保障。
在本发明的一些实施方式中，根据所述每个数据处理阶段的数据处理逻辑和规则确定用于数据处理的特定参数，通过加载所述特定参数定义所述多模态锁；其中，所述用于数据抽取的多模态锁对应的特定参数包括：抽取处理的数据条数、请求资源路径、数据抽取规则的名称、数据抽取日期、数据抽取的前置检查规则、数据请求类型、临时表名称；所述用于数据清洗的多模态锁对应的特定参数包括：清洗处理的数据条数、临时表名称、清洗规则、产品名称和类型；所述用于数据汇总的多模态锁对应的特定参数包括：汇总处理的数据条数、汇总规则、产品名称和类型；所述用于生成报表的多模态锁对应的特定参数包括：报表生成的数据条数、报表模板；所述用于数据比对的多模态锁对应的特定参数包括：比对处理的数据条数、对比组配置、对账类型、产品名称和类型。
本发明上述实施方式通过配置各个数据处理阶段中进行数据处理的特定参数，定义多种数据处理组合的多模态锁，可以实现基于多模态锁的多种数据处理。
在本发明的一些实施方式中，获取每个数据处理阶段中的多模态锁包括：当至少一个多模态锁获取失败时，自动退出所述至少一个多模态锁对应的数据处理线程；通过外围调度框架重新触发所述至少一个多模态锁对应的数据处理线程。
本发明上述实施方式通过在获取多模态锁失败时采用自动退出策略，可以最大限度释放可用系统资源，并且，通过外围调度框架重新触发多模态锁对应的数据处理线程，可以减少本地排队队列的资源损耗。
在本发明的一些实施方式中，根据所述清洗多模态锁对所述临时数据表中的原始数据进行清洗处理包括：当对同一个临时数据表中的原始数据进行多个清洗处理时，分别对所述多个清洗处理的每个调度者赋予一个模态锁变量；根据所述模态锁变量确定所述多个清洗处理的处理顺序。
本发明上述实施方式通过模态锁变量确定对同一个临时数据表进行处理的前后顺序，保证多个处理线程之间不发生冲突。
在本发明的一些实施方式中，所述数据处理方法还包括：通过动态分析器监控所述每个数据处理阶段的系统变量，所述系统变量包括：线上每秒查询率(QPS)、可用内存、线程死锁量；判断所述系统变量是否到达对应数据处理阶段的预设阈值；当所述系统变量中的一个到达其对应的预设阈值时，根据所述系统变量对应的动态伸缩策略调整数据处理阶段的数据处理量。
本发明上述实施方式通过动态伸缩策略调整各个数据处理阶段的数据处理量，进而依据调整后的数据处理量分批加载数据并处理，避免系统一次性加载过多数据而导致的宕机现象。
根据本发明的第二方面，本发明实施方式提供了一种基于多模态锁的数据处理系统，所述多模态锁是以数据处理阶段为区分界限的动态锁结构，用于提供不少于一种数据处理的组合操作，该数据处理系统包括：多模态锁获取单元，用于获取每个数据处理阶段的多模态锁，所述多模态锁包括：用于数据抽取的多模态锁、用于数据清洗的多模态锁、用于数据汇总的多模态锁、用于生成报表的多模态锁、用于数据比对的多模态锁；数据抽取单元，用于根据所述用于数据抽取的多模态锁从源供数端抽取原始数据，并将所述原始数据存储在临时数据表中；数据清洗单元，用于根据所述用于数据清洗的多模态锁对所述临时数据表中的原始数据进行清洗处理，并将所述清洗处理后的数据存入正式数据表；数据汇总单元，用于根据所述用于数据汇总的多模态锁对所述正式数据表中的数据进行汇总，并将汇总结果存入汇总表；报表单元，用于根据所述用于生成报表的多模态锁将所述汇总数据表中的数据填充至本地报表；数据比对单元，用于根据所述用于数据比对的多模态锁对所述正式数据表中的数据明细进行比对，并输出比对结果信息。
本发明上述实施方式通过多模态锁实现各个数据处理阶段的数据处理任务，以及根据多种数据处理任务组合对应的多模态锁同时并发执行相同属性和不同属性的数据处理任务，实现了多条线任务的并发处理，从而提高了数据比对效率，为业务数据一致性提供保障。
在本发明的一些实施方式中，根据所述每个数据处理阶段的数据处理逻辑和规则确定用于数据处理的特定参数，通过加载所述特定参数定义所述多模态锁；其中，所述用于数据抽取的多模态锁对应的特定参数包括：抽取处理的数据条数、请求资源路径、数据抽取规则的名称、数据抽取日期、数据抽取的前置检查规则、数据请求类型、临时表名称；所述用于数据清洗的多模态锁对应的特定参数包括：清洗处理的数据条数、临时表名称、清洗规则、产品名称和类型；所述用于数据汇总的多模态锁对应的特定参数包括：汇总处理的数据条数、汇总规则、产品名称和类型；所述用于生成报表的多模态锁对应的特定参数包括：报表生成的数据条数、报表模板；所述用于数据比对的多模态锁对应的特定参数包括：比对处理的数据条数、对比组配置、对账类型、产品名称和类型。
本发明上述实施方式通过配置各个数据处理阶段中进行数据处理的特定参数，定义多种数据处理组合的多模态锁，可以实现基于多模态锁的多种数据处理。
在本发明的一些实施方式中，获取每个数据处理阶段中的多模态锁包括：当至少一个多模态锁获取失败时，自动退出所述至少一个多模态锁对应的数据处理线程；通过外围调度框架重新触发所述至少一个多模态锁对应的数据处理线程。
本发明上述实施方式通过在获取多模态锁失败时采用自动退出策略，可以最大限度释放可用系统资源，并且，通过外围调度框架重新触发多模态锁对应的数据处理线程，可以减少本地排队队列的资源损耗。
在本发明的一些实施方式中，根据所述清洗多模态锁对所述临时数据表中的原始数据进行清洗处理包括：当对同一个临时数据表中的原始数据进行多个清洗处理时，分别对所述多个清洗处理的每个调度者赋予一个模态锁变量；根据所述模态锁变量确定所述多个清洗处理的处理顺序。
本发明上述实施方式通过模态锁变量确定对同一个临时数据表进行处理的前后顺序，保证多个处理线程之间不发生冲突。
在本发明的一些实施方式中，所述数据处理系统还包括动态分析器，用于执行下述操作：监控所述每个数据处理阶段的系统变量，所述系统变量包括：线上每秒查询率(QPS)、可用内存、线程死锁量；判断所述系统变量是否到达对应数据处理阶段的预设阈值；当所述系统变量中的一个到达其对应的预设阈值时，根据所述系统变量对应的动态伸缩策略调整数据处理阶段的数据处理量。
本发明上述实施方式通过动态伸缩策略调整各个数据处理阶段的数据处理量，进而依据调整后的数据处理量分批加载数据并处理，避免系统一次性加载过多数据而导致的宕机现象。
根据本发明的第三方面，本发明实施方式提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得计算机执行如下操作：所述操作包括如上任意一种实施方式所述数据处理方法所包含的步骤。
根据本发明的第四方面，本发明实施方式提供一种包括存储器和处理器的计算机设备，所述存储器用于存储一条或多条计算机可读指令，其中，所述一条或多条计算机可读指令被所述处理器执行时能够实现如上任意一种实施方式所述的数据处理方法。
由上述可知，本发明实施方式提供的基于多模态锁的数据处理方法、系统、设备和存储介质，通过多模态锁实现各个数据处理阶段的数据处理任务，以及根据多种数据处理任务组合对应的多模态锁同时并发执行相同属性和不同属性的数据处理任务，实现了多条线任务的并发处理，从而提高了数据比对效率，为业务数据一致性提供保障。
附图说明
图1是现有技术中分布式环境下的数据比对方法的流程示意图；
图2是图1的数据比对过程中应用的读写锁示意图；
图3是根据本发明的实施例1的基于多模态锁的数据处理方法的流程示意图；
图4是根据本发明的实施例2的基于多模态锁的数据处理方法的流程示意图；
图5是根据本发明的实施例3的基于多模态锁的数据处理方法的流程示意图；
图6是根据本发明的实施例4的基于多模态锁的数据处理方法的流程示意图；
图7是根据本发明的实施例5的基于多模态锁的数据处理系统的架构图。
具体实施方式
以下结合附图和具体实施方式对本发明的各个方面进行详细阐述。其中，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。
下面对本文中使用的术语进行简要说明。
业务条线：指代业务类型，比如消金(消费金融)的多种业务类型(现金贷、场景贷等)。
多模态锁：以数据处理阶段为区分界限的动态锁结构，用于提供不少于一种数据处理的组合操作。换言之，多模态锁是根据数据处理阶段为区分界限的，赋予特定含义的动态锁结构，以提供多种组合的锁互斥或者锁并发操作实现。
QPS：Query Per Second，线上每秒查询率。
分页大小：每次处理的数据条数，例如，数据抽取阶段的分页大小即进行抽取处理的数据条数；数据清洗阶段的分页大小即进行数据清洗处理的数据条数；数据汇总阶段的分页大小即进行汇总处理的数据条数；报表生成阶段的分页大小即报表生成的数据条数；数据比对阶段的分页大小即进行比对处理的数据条数。
请求资源路径：上游供数系统的资源路径。
前置检查规则配置：数据处理前需满足的前置条件，例如数据抽取前需满足的前置条件可以为：检查源供数方是否准备完成，可以提供抽取所需数据。
XXL-JOB：一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
AQS：Abstract Quened Synchronizer，抽象的队列式同步器。AQS的技术思想包括：如果被请求的共享资源空闲，则将当前请求资源的线程设置为有效的工作线程，并将共享资源设置为锁定状态，如果被请求的共享资源被占用，那么就需要一套线程阻塞等待以及被唤醒时锁分配的机制，这个机制AQS是用CLH队列锁实现的，即将暂时获取不到锁的线程加入到队列中。
CLH(Craig，Landin，and Hagersten)队列：一个虚拟的双向队列，虚拟的双向队列即不存在队列实例，仅存在节点之间的关联关系。
ABA问题：在多线程计算/运算中，在同步过程中一个位置被读取两次时，两次读取的值相同，“值相同”用于表示“没有任何变化”。然而，另一个线程可以在两次读取之间执行并更改值，做其他工作，然后将值更改回来，从而欺骗第一个线程认为“没有任何变化”，即使第二个线程做了违反该假设的工作。
url：Uniform Resource Locator，统一资源定位器。url是WWW的统一资源定位标志，就是指网络地址。
【实施例1】
图3是根据本发明的实施例1的基于多模态锁的数据处理方法的流程示意图。
如图3所示，在本发明的一种实施方式中，所述数据处理方法可包括：步骤S31、步骤S32、步骤S33、步骤S34、步骤S35和步骤S36，下面对上述步骤进行具体的描述。
在步骤S31中，获取每个数据处理阶段的多模态锁，所述多模态锁包括：用于数据抽取的多模态锁、用于数据清洗的多模态锁、用于数据汇总的多模态锁、用于生成报表的多模态锁、用于数据比对的多模态锁。其中，所述多模态锁能够提供不少于一种数据处理的组合操作，以并发执行相同属性和不同属性的数据处理任务。举例而言，在数据清洗过程中，多条清洗任务规则对应生成多个模态锁，将所述多个模态锁进行组合得到用于同时并发执行多条数据清洗处理任务的多模态锁。
在一种实施方式中，当至少一个多模态锁获取失败时，自动退出所述至少一个多模态锁对应的数据处理线程；通过外围调度框架重新触发所述至少一个多模态锁对应的数据处理线程。通过在获取多模态锁失败时采用自动退出策略，可以最大限度释放可用系统资源，并且，通过外围调度框架重新触发多模态锁对应的数据处理线程，可以减少本地排队队列的资源损耗。其中，所述外围调度框架可以为XXL-JOB调度平台，
在一些实施方式中，根据每个数据处理阶段的数据处理逻辑和规则确定用于数据处理的特定参数，通过加载所述特定参数并定义所述多模态锁。其中，所述数据处理阶段可以包括但不限于：数据抽取、数据清洗、数据汇总、报表生成和展示、数据比对等数据加工阶段。
在进一步的实施方式中，所述用于数据抽取的多模态锁对应的特定参数包括但不限于下述一种或多种：抽取处理的数据条数(分页大小)、请求资源路径、数据抽取规则的名称、数据抽取日期、数据抽取的前置检查规则、数据请求类型、临时表名称、临时表配置；所述用于数据清洗的多模态锁对应的特定参数包括但不限于下述一种或多种：清洗处理的数据条数、临时表名称、清洗规则、产品名称和类型；所述用于数据汇总的多模态锁对应的特定参数包括但不限于下述一种或多种：汇总处理的数据条数、汇总规则、产品名称和类型；所述用于生成报表的多模态锁对应的特定参数包括但不限于下述一种或多种：报表生成的数据条数、报表模板；所述用于数据比对的多模态锁对应的特定参数包括但不限于下述一种或多种：比对处理的数据条数、对比组配置、对账类型、产品名称和类型。
在步骤S32中，根据所述用于数据抽取的多模态锁从源供数端抽取原始数据，并将所述原始数据存储在临时数据表中。
在步骤S33中，根据所述用于数据清洗的多模态锁对所述临时数据表中的原始数据进行清洗处理，并将所述清洗处理后的数据存入正式数据表。
在一种实施方式中，当对同一个临时数据表中的原始数据进行多个清洗处理时，分别对所述多个清洗处理的每个调度者赋予一个模态锁变量；根据所述模态锁变量确定所述多个清洗处理的处理顺序。由此，可以保证多个处理线程之间不发生冲突。
在进一步的实施方式中，通过自定义模态Lock变量(模态锁变量)，并使处理任务的前后顺序收敛，领域在保证任务执行顺序性的同时极大提高系统吞吐量。
在步骤S34中，根据所述用于数据汇总的多模态锁对所述正式数据表中的数据进行汇总，并将汇总结果存入汇总表。
在步骤S35中，根据所述用于生成报表的多模态锁将所述汇总数据表中的数据填充至本地报表。在一种实施方式中，将生成的本地报表进行展示，以便于业务人员监控和分析汇总数据。可选的，所述本地报表为Excel报表。
在步骤S36中，根据所述用于数据比对的多模态锁对所述正式数据表中的数据明细进行比对，并输出比对结果信息。
采用本发明实施方式的上述数据处理方法，通过多模态锁实现各个数据处理阶段的数据处理任务，以及根据多种数据处理任务组合对应的多模态锁同时并发执行相同属性和不同属性的数据处理任务，实现了多条线任务的并发处理，从而提高了数据比对效率，为业务数据一致性提供保障。
在其他实施方式中，通过动态分析器监控所述每个数据处理阶段的系统变量；判断所述系统变量是否到达对应数据处理阶段的预设阈值；当所述系统变量中的一个到达其对应的预设阈值时，根据所述系统变量对应的动态伸缩策略调整数据处理阶段的数据处理量。其中，所述系统变量包括但不限于下述一种或多种：QPS、可用内存、线程死锁量。
通过动态伸缩策略调整各个数据处理阶段的数据处理量，进而依据调整后的数据处理量分批加载数据并处理，避免系统一次性加载过多数据而导致的宕机现象，维持系统可用性。
【实施例2】
图4是根据本发明的实施例2的基于多模态锁的数据处理方法的流程示意图。
如图4所示，在本发明的一种实施方式中，所述数据处理方法可包括：
首先，通过外围调度框架(例如XXL-JOB调度平台)触发获取各个数据处理阶段的多模态锁的操作，以获取多模态锁，并且在获取至少一个多模态锁失败时自动退出所述至少一个多模态锁对应的数据处理线程，后续通过外围调度框架重新触发所述至少一个多模态锁对应的数据处理线程。其中，所述多模态锁包括但不限于下述一种或多种：用于数据抽取的多模态锁、用于数据清洗的多模态锁、用于数据汇总的多模态锁、用于生成报表的多模态锁、用于数据比对的多模态锁。其中，所述外围调度框架是相对于图中C系统而言的“外围”，C系统实现主要数据处理阶段(下述数据抽取、数据清洗、数据汇总、数据比对等数据加工阶段)的处理任务。
其次，根据用于数据抽取的多模态锁从源供数端(A系统和B系统)抽取原始数据，并将所述原始数据存储在DB(数据库)。在一种实施方式中，通过定义抽象各个系统的抽取逻辑、配置抽取规则并持久化，由此可以支持多种方式的配置抽取或多种配置的数据抽取组合操作，比如：直接连接远程数据源抽取、http网络传输抽取或两者组合的数据抽取操作。此外，还可以通过设置抽象公共校验单元对获取的用于数据抽取的多模态锁限定的抽取操作进行灵活前置校验，以保证用于数据抽取的多模态锁执行的抽取处理的合规性和准确性。并且，本领域技术人员应当理解，该抽象公共校验单元进行的校验操作也可以用于后续其他数据处理阶段对应的多模态锁。
然后，根据用于数据清洗的多模态锁对数据库中存储的原始数据进行清洗处理。其中，每个清洗任务规则对应的模态锁组合生成用于数据清洗的多模态锁。
在一种实施方式中，清洗任务可针对不同存储介质表(即实施例1中的临时数据表)，进行多线程并发操作。并且，由于不同存储介质表之间互相隔离，针对不同存储介质表加入的锁可以是类型各不相同的锁，各处理线程之间也不会互相影响。
在另一种实施方式中，清洗任务可以针对同一张存储介质表，具体的，通过赋予每个清洗任务调度者一个模态Lock变量(模态锁变量)，在多个Lock变量维持状态下，可保证多个线程任务之间没有冲突，以支持在同一张存储介质表上的可重入操作(对于同一张存储介质表的处理，通常是对同一张存储介质表加相同类型(如清洗类型)的锁，实现同类型锁的可重入性)。举例而言，在对同一张存储介质表进行处理时，根据清洗任务调度者的模态锁变量确定对哪个存储介质表的status(状态位)执行status+1操作，在该清洗任务执行完成后使处理的存储介质表的status-1，并且当status＝0时释放资源，确定对该存储介质表的操作进入下一阶段。该实施方式是基于AQS实现逻辑的拓展，仅通过赋予每个清洗任务调度者一个模态Lock变量就可以根据所述模态锁变量确定所述多个清洗处理的处理顺序。
在进一步的实施方式中，通过引入version(版本)控制机制可以解决多线程操作中的ABA问题。具体而言，每次数据修改后version(版本)加1，若某线程数据执行更新操作时发现version与本线程读取时不一致，则放弃本次更新操作，由此可以确保线程操作的数据基础没有任何变化。
再者，根据用于数据汇总的多模态锁对清洗后的数据进行汇总。在一种实施方式中，可以将汇总结果存入汇总表，并将汇总数据表中的数据填充至本地报表进行展示。
最后，根据用于数据比对的多模态锁对所述正式数据表中的数据明细进行比对，并输出比对结果信息。
此外，通过动态分析器监控前述每个数据处理阶段的系统变量(图4中仅示出了动态分析器与数据抽取处理阶段的多模态锁的联系)，判断所述系统变量是否到达对应数据处理阶段的预设阈值，进而在所述系统变量中的一个到达其对应的预设阈值时，根据所述系统变量对应的动态伸缩策略调整数据处理阶段的数据处理量，避免系统一次性加载过多数据而导致的宕机现象。其中，所述系统变量包括但不限于下述一种或多种：QPS、可用内存、线程死锁量。
在一种实施方式中，动态伸缩策略自动调整分批获取数据条数的笔数设置、流量峰值时段设置，从而最大限度维持了系统可用性。
采用本发明实施方式的上述数据处理方法，通过多模态锁实现各个数据处理阶段的数据处理任务，以及根据多种数据处理任务组合对应的多模态锁同时并发执行相同属性和不同属性的数据处理任务，实现了多条线任务的并发处理，从而提高了数据比对效率，为业务数据一致性提供保障。同时，通动态弹性计算数据流通量可以防止宕机，维持系统可用性。
【实施例3】
图5是根据本发明的实施例3的基于多模态锁的数据处理方法的流程示意图。图5所示的流程图以支付系统、平台系统交易明细数据为数据源，示出了对账中心的数据处理方法。
其中，支付系统、平台系统提供交易数据查询接口，支持分页查询，可以主键扫描的方式，抽取出一定数量的数据。对账中心进行接口调用或者直接远程sql(结构化查询语言)执行，其定义各个系统需提供标准数据要素如下表1所示：
表1
如表1所示，对账中心进行接口调用的标准数据包括核对类型、交易日期、组合系统代码、汇总类别、对账标识号、发生额等。
图5中的多模态Lock(锁)单元用于根据抽取配置、清洗汇总配置、明细比对配置、展示配置分别生成用于数据抽取的多模态锁、用于清洗汇总的多模态锁、用于比对的多模态锁。
如图5所示，所述数据处理方法可包括：
首先，对账中心(相当于图4中的C系统)远程抽取数据。
在一种实施方式中，先采用数据表的形式持久化抽取配置，然后根据抽取配置生成多模态锁。其中，多条配置可以同时请求获取多模态锁，多模态Lock有多种任务状态，包括但不限于下述一种或多种：抽取SAMPLING、清洗加工PURGE、汇总SUM、明细比对DETAIL、报表输出OUT。并且，各任务状态互相独立，可以在遵从临时存储表依赖的前提下多线程启动，并发执行，以及相同任务状态可以重复加锁。
在进一步的实施方式中，(数据)抽取配置可以包括但不限于下述功能配置中的一种或多种：请求url资源路径、约定协议、请求业务类型、分页大小、临时存储表名称等。
其中，资源路径是支付系统、平台系统(源数据系统/源供数端)的数据资源远程路径，一般以http路径为主，也支持远程sql访问路径；约定协议是接口访问或者动态多数据源访问的协议；请求业务类型包括放款、还款(交易类型)；分页大小是(某数据处理段)单批次获取数据容量的上限，通过控制分页大小可以实现平滑窗口滑动；临时存储表名称是本地临时数据库。并且，通过多种数据抽取配置可以支持多产品、多异构系统间的数据抽取，进而实现多产品、多异构系统间的数据比对。
其次，对账中心进行数据清洗加工及明细比对。
在一种实施方式中，采用数据表的形式持久化清洗配置并生成用于数据清洗的多模态锁。其中，所述清洗(加工)配置包括但不限于下述一种或多种：分页大小、临时存储表名称、清洗脚本、产品线配置等。具体而言，分页大小是单批次清洗数据容量的上限，通过控制分页大小可实现平滑窗口滑动；临时存储表名称是本地临时数据库；清洗脚本是从临时存储表中获取数据按照标准数据要素进行整合；产品配置是配置满足规则的产品线代码。
然后，对账中心输出清洗加工和明细比对后得到的报表结果。
同时，通过动态监控单元对多项业务和多项技术进行监控。其中，多项业务监控包括但不限于：监控系统QPS、判断业务方约定时间段、监控各业务线全天高低峰数据量，通过上述多项业务监控和相应处理，可以高效利用低频业务量时的系统资源；多项技术监控包括但不限于：监控可用内存、连接池数量、线程池数量等，通过上述多项技术监控可以把握重点资源的实时情况，进而动态调整分页大小阈值，消除系统大批量加载数据时的不可用性，以保证系统高可用性。
采用本发明实施方式的上述数据处理方法，可以灵活配置各个阶段的数据处理任务，实现快速部署配置迭代，进而根据配置生成的多模态锁使得对账中心并发处理多条线任务，从而提高了数据比对效率，为业务数据一致性提供保障。同时，通过动态调整分页大小可以防止宕机，维持系统可用性。
【实施例4】
图6是根据本发明的实施例4的基于多模态锁的数据处理方法的流程示意图。
如图6所示，在本发明的一种实施方式中，所述数据处理方法可包括：步骤S61、步骤S62、步骤S63、步骤S64和步骤S65，下面对上述步骤进行具体的描述。
步骤S61，抽取数据。
具体而言，首先加载临时表名称、供数方资源路径、分批读取数据量、抽取规则、产品名称与类型等参数并检查源供数方是否准备完成可以供数；其次进行数据清除，即删除上一次抽取到临时数据表的无效数据；然后分配用于数据抽取的多模态Lock(锁)，访问源供数方抽取数据并存入临时数据表后释放锁。
步骤S62，清洗数据。
具体而言，首先加载数据清洗任务配置脚本至内存预热，并检查临时数据表是否有数据；其次进行数据清除，即删除上一次清洗到正式数据表的无效数据；然后分配用于数据清洗的多模态Lock(锁)，查询临时数据表并将清洗后的数据存入正式数据表后释放锁。其中，每个产品线获取一个锁，同时通过Lock(锁)监控单元对锁的获取、释放状态进行监控，随后分页执行具体数据清洗脚本。
步骤S63，汇总数据。
具体而言，首先加载汇总规则、产品名称与类型等参数并检查清洗任务是否全部执行完成(前置检查)；其次删除上一次汇总表的数据；然后分配用于数据汇总的多模态Lock(锁)，查询正式数据表进行汇总后释放锁。
步骤S64，报表展示。
具体而言，首先加载报表模板的各项参数并检查汇总任务是否执行完成；其次删除本地Excel报表目录；然后分配用于报表生成的多模态Lock(锁)，各个sheet(页)进行数据填充后释放锁。
步骤S65，数据比对。
具体而言，首先加载对账类型、对照组规则等参数并检查汇总任务是否执行完成；其次删除历史比对结果；然后分配用于数据比对的多模态Lock(锁)，根据信号量分批比对正式数据表中两两之间的数据明细后释放锁。
采用本发明实施方式的上述数据处理方法，通过多模态锁实现各个数据处理阶段的数据处理任务，以及根据多种数据处理任务组合对应的多模态锁同时并发执行相同属性和不同属性的数据处理任务，实现了多条线任务的并发处理，从而提高了数据比对效率，为业务数据一致性提供保障。
【实施例5】
图7是根据本发明的实施例5的基于多模态锁的数据处理系统的架构图。
如图7所示，所述数据处理系统包括：
多模态锁获取单元710，用于获取每个数据处理阶段的多模态锁，所述多模态锁包括：用于数据抽取的多模态锁、用于数据清洗的多模态锁、用于数据汇总的多模态锁、用于生成报表的多模态锁、用于数据比对的多模态锁。
其中，所述多模态锁能够提供不少于一种数据处理的组合操作，以并发执行相同属性和不同属性的数据处理任务。举例而言，在数据清洗过程中，多条清洗任务规则对应生成多个模态锁，将所述多个模态锁进行组合得到用于同时并发执行多条数据清洗处理任务的多模态锁。
在一种实施方式中，当至少一个多模态锁获取失败时，自动退出所述至少一个多模态锁对应的数据处理线程；通过外围调度框架重新触发所述至少一个多模态锁对应的数据处理线程。通过在获取多模态锁失败时采用自动退出策略，可以最大限度释放可用系统资源，并且，通过外围调度框架重新触发多模态锁对应的数据处理线程，可以减少本地排队队列的资源损耗。其中，所述外围调度框架可以为XXL-JOB调度平台，
在一些实施方式中，根据每个数据处理阶段的数据处理逻辑和规则确定用于数据处理的特定参数，通过加载所述特定参数并定义所述多模态锁。其中，所述数据处理阶段可以包括但不限于：数据抽取、数据清洗、数据汇总、报表生成和展示、数据比对等数据加工阶段。
在进一步的实施方式中，所述用于数据抽取的多模态锁对应的特定参数包括但不限于下述一种或多种：抽取处理的数据条数(分页大小)、请求资源路径、数据抽取规则的名称、数据抽取日期、数据抽取的前置检查规则、数据请求类型、临时表名称、临时表配置；所述用于数据清洗的多模态锁对应的特定参数包括但不限于下述一种或多种：清洗处理的数据条数、临时表名称、清洗规则、产品名称和类型；所述用于数据汇总的多模态锁对应的特定参数包括但不限于下述一种或多种：汇总处理的数据条数、汇总规则、产品名称和类型；所述用于生成报表的多模态锁对应的特定参数包括但不限于下述一种或多种：报表生成的数据条数、报表模板；所述用于数据比对的多模态锁对应的特定参数包括但不限于下述一种或多种：比对处理的数据条数、对比组配置、对账类型、产品名称和类型。
数据抽取单元720，用于根据所述抽取多模态锁从源供数端抽取原始数据，并将所述原始数据存储在临时数据表中。
数据清洗单元730，用于根据所述清洗多模态锁对所述临时数据表中的原始数据进行清洗处理，并将所述清洗处理后的数据存入正式数据表。
在一种实施方式中，当对同一个临时数据表中的原始数据进行多个清洗处理时，分别对所述多个清洗处理的每个调度者赋予一个模态锁变量；根据所述模态锁变量确定所述多个清洗处理的处理顺序。
数据汇总单元740，用于根据所述汇总多模态锁对所述正式数据表中的数据进行汇总，并将汇总结果存入汇总表。
在一种实施方式中，将生成的本地报表进行展示，以便于业务人员监控和分析汇总数据。可选的，所述本地报表为Excel报表。
报表单元750，用于根据所述报表多模态锁将所述汇总数据表中的数据填充至本地报表。
数据比对单元760，用于根据所述对比模态锁对所述正式数据表中的数据明细进行比对，并输出比对结果信息。
动态分析器770，用于执行下述操作：监控所述每个数据处理阶段的系统变量，所述系统变量包括：QPS、可用内存、线程死锁量；判断所述系统变量是否到达对应数据处理阶段的预设阈值；当所述系统变量中的一个到达其对应的预设阈值时，根据所述系统变量对应的动态伸缩策略调整数据处理阶段的数据处理量。
采用本发明实施方式的上述系统，通过多模态锁实现各个数据处理阶段的数据处理任务，以及根据多种数据处理任务组合对应的多模态锁同时并发执行相同属性和不同属性的数据处理任务，实现了多条线任务的并发处理，从而提高了数据比对效率，为业务数据一致性提供保障。同时，通动态弹性计算数据流通量可以防止宕机，维持系统可用性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。
对应的，本发明实施方式还提供一种计算机可读存储介质，其上存储有计算机可读指令或程序，所述计算机可读指令或程序被处理器执行时，使得计算机执行如下操作：所述操作包括如上任意一种实施方式所述数据处理方法所包含的步骤，在此不再赘述。其中，所述存储介质可以包括：例如，光盘、硬盘、软盘、闪存、磁带等。
另外，本发明实施方式还提供一种包括存储器和处理器的计算机设备，所述存储器用于存储一条或多条计算机可读指令或程序，其中，所述一条或多条计算机可读指令或程序被所述处理器执行时能够实现如上任意一种实施方式所述的数据处理方法。所述计算机设备可以是，例如，服务器、台式计算机、笔记本计算机、平板电脑等。
最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。因此本发明的保护范围应以权利要求为准。

Claims (10)

1.一种基于多模态锁的数据处理方法，其特征在于，所述多模态锁是以数据处理阶段为区分界限的动态锁结构，用于提供不少于一种数据处理的组合操作；
其中，所述数据处理方法包括：
获取每个数据处理阶段的多模态锁，所述多模态锁包括：用于数据抽取的多模态锁、用于数据清洗的多模态锁、用于数据汇总的多模态锁、用于生成报表的多模态锁、用于数据比对的多模态锁；
根据所述用于数据抽取的多模态锁从源供数端抽取原始数据，并将所述原始数据存储在临时数据表中；
根据所述用于数据清洗的多模态锁对所述临时数据表中的原始数据进行清洗处理，并将所述清洗处理后的数据存入正式数据表；
根据所述用于数据汇总的多模态锁对所述正式数据表中的数据进行汇总，并将汇总结果存入汇总表；
根据所述用于生成报表的多模态锁将所述汇总表中的数据填充至本地报表；
根据所述用于数据比对的多模态锁对所述正式数据表中的数据明细进行比对，并输出比对结果信息；
其中，根据所述用于数据清洗的多模态锁对所述临时数据表中的原始数据进行清洗处理包括：
当对同一个临时数据表中的原始数据进行多个清洗处理时，分别对所述多个清洗处理的每个调度者赋予一个模态锁变量；
根据所述模态锁变量确定所述多个清洗处理的处理顺序。
2.如权利要求1所述的数据处理方法，其特征在于，
根据所述每个数据处理阶段的数据处理逻辑和规则确定用于数据处理的特定参数，通过加载所述特定参数定义所述多模态锁；
其中，所述用于数据抽取的多模态锁对应的特定参数包括：抽取处理的数据条数、请求资源路径、数据抽取规则的名称、数据抽取日期、数据抽取的前置检查规则、数据请求类型、临时表名称；
所述用于数据清洗的多模态锁对应的特定参数包括：清洗处理的数据条数、临时表名称、清洗规则、产品名称和类型；
所述用于数据汇总的多模态锁对应的特定参数包括：汇总处理的数据条数、汇总规则、产品名称和类型；
所述用于生成报表的多模态锁对应的特定参数包括：报表生成的数据条数、报表模板；
所述用于数据比对的多模态锁对应的特定参数包括：比对处理的数据条数、对比组配置、对账类型、产品名称和类型。
3.如权利要求1所述的数据处理方法，其特征在于，获取每个数据处理阶段中的多模态锁包括：
当至少一个多模态锁获取失败时，自动退出所述至少一个多模态锁对应的数据处理线程；
通过外围调度框架重新触发所述至少一个多模态锁对应的数据处理线程。
4.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
通过动态分析器监控所述每个数据处理阶段的系统变量，所述系统变量包括：线上每秒查询率、可用内存、线程死锁量；
判断所述系统变量是否到达对应数据处理阶段的预设阈值；
当所述系统变量中的一个到达其对应的预设阈值时，根据所述系统变量对应的动态伸缩策略调整数据处理阶段的数据处理量。
5.一种基于多模态锁的数据处理系统，其特征在于，所述多模态锁是以数据处理阶段为区分界限的动态锁结构；
其中，所述数据处理系统包括：
多模态锁获取单元，用于获取每个数据处理阶段的多模态锁，所述多模态锁包括：用于数据抽取的多模态锁、用于数据清洗的多模态锁、用于数据汇总的多模态锁、用于生成报表的多模态锁、用于数据比对的多模态锁；
数据抽取单元，用于根据所述用于数据抽取的多模态锁从源供数端抽取原始数据，并将所述原始数据存储在临时数据表中；
数据清洗单元，用于根据所述用于数据清洗的多模态锁对所述临时数据表中的原始数据进行清洗处理，并将所述清洗处理后的数据存入正式数据表；
数据汇总单元，用于根据所述用于数据汇总的多模态锁对所述正式数据表中的数据进行汇总，并将汇总结果存入汇总表；
报表单元，用于根据所述用于生成报表的多模态锁将所述汇总表中的数据填充至本地报表；
数据比对单元，用于根据所述用于数据比对的多模态锁对所述正式数据表中的数据明细进行比对，并输出比对结果信息；
其中，根据所述用于数据清洗的多模态锁对所述临时数据表中的原始数据进行清洗处理包括：
当对同一个临时数据表中的原始数据进行多个清洗处理时，分别对所述多个清洗处理的每个调度者赋予一个模态锁变量；
根据所述模态锁变量确定所述多个清洗处理的处理顺序。
6.如权利要求5所述的数据处理系统，其特征在于，
根据所述每个数据处理阶段的数据处理逻辑和规则确定用于数据处理的特定参数，通过加载所述特定参数定义所述多模态锁；
其中，所述用于数据抽取的多模态锁对应的特定参数包括：抽取处理的数据条数、请求资源路径、数据抽取规则的名称、数据抽取日期、数据抽取的前置检查规则、数据请求类型、临时表名称；
所述用于数据清洗的多模态锁对应的特定参数包括：清洗处理的数据条数、临时表名称、清洗规则、产品名称和类型；
所述用于数据汇总的多模态锁对应的特定参数包括：汇总处理的数据条数、汇总规则、产品名称和类型；
所述用于生成报表的多模态锁对应的特定参数包括：报表生成的数据条数、报表模板；
所述用于数据比对的多模态锁对应的特定参数包括：比对处理的数据条数、对比组配置、对账类型、产品名称和类型。
7.如权利要求5所述的数据处理系统，其特征在于，获取每个数据处理阶段的多模态锁包括：
当至少一个多模态锁获取失败时，自动退出所述至少一个多模态锁对应的数据处理线程；
通过外围调度框架重新触发所述至少一个多模态锁对应的数据处理线程。
8.如权利要求5所述的数据处理系统，其特征在于，所述数据处理系统还包括动态分析器，用于执行下述操作：
监控所述每个数据处理阶段的系统变量，所述系统变量包括：线上每秒查询率、可用内存、线程死锁量；
判断所述系统变量是否到达对应数据处理阶段的预设阈值；
当所述系统变量中的一个到达其对应的预设阈值时，根据所述系统变量对应的动态伸缩策略调整数据处理阶段的数据处理量。
9.一种计算机可读存储介质，所述计算机可读存储介质储存计算机软件指令，其特征在于，所述计算机软件指令由处理器执行以实现如权利要求1-4中任一项所述的数据处理方法。
10.一种计算机设备，其包括存储器和处理器,
所述存储器用于存储一条或多条计算机指令，其特征在于，所述处理器执行所述一条或多条计算机指令以实现如权利要求1-4中任一项所述的数据处理方法。
CN202111092306.0A 2021-09-17 2021-09-17 基于多模态锁的数据处理方法、系统、设备和存储介质 Active CN113792051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111092306.0A CN113792051B (zh) 2021-09-17 2021-09-17 基于多模态锁的数据处理方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111092306.0A CN113792051B (zh) 2021-09-17 2021-09-17 基于多模态锁的数据处理方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113792051A CN113792051A (zh) 2021-12-14
CN113792051B true CN113792051B (zh) 2023-08-25

Family

ID=79183874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111092306.0A Active CN113792051B (zh) 2021-09-17 2021-09-17 基于多模态锁的数据处理方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113792051B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647834A (zh) * 2013-12-16 2014-03-19 上海证券交易所 一种用于处理多阶段分布式任务调度的系统及方法
CN103714124A (zh) * 2013-12-10 2014-04-09 国家电网公司 超大规模低压数据处理方法
CN106325980A (zh) * 2015-06-30 2017-01-11 中国石油化工股份有限公司 一种多线程并发系统
CN107015853A (zh) * 2016-10-10 2017-08-04 阿里巴巴集团控股有限公司 多阶段任务的实现方法和装置
CN109460677A (zh) * 2018-11-12 2019-03-12 湖南中车时代通信信号有限公司 一种嵌入式环境下采用多任务技术的数据存储系统
CN113269554A (zh) * 2021-05-12 2021-08-17 河北幸福消费金融股份有限公司 数据对比方法、系统以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9293205B2 (en) * 2013-09-14 2016-03-22 Aplus Flash Technology, Inc Multi-task concurrent/pipeline NAND operations on all planes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714124A (zh) * 2013-12-10 2014-04-09 国家电网公司 超大规模低压数据处理方法
CN103647834A (zh) * 2013-12-16 2014-03-19 上海证券交易所 一种用于处理多阶段分布式任务调度的系统及方法
CN106325980A (zh) * 2015-06-30 2017-01-11 中国石油化工股份有限公司 一种多线程并发系统
CN107015853A (zh) * 2016-10-10 2017-08-04 阿里巴巴集团控股有限公司 多阶段任务的实现方法和装置
CN109460677A (zh) * 2018-11-12 2019-03-12 湖南中车时代通信信号有限公司 一种嵌入式环境下采用多任务技术的数据存储系统
CN113269554A (zh) * 2021-05-12 2021-08-17 河北幸福消费金融股份有限公司 数据对比方法、系统以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
协同CAD系统的并发控制机制的研究与实现;赵蓉;《中国优秀硕士学位论文全文数据库信息科技辑》(第4期);第I138-790页 *

Also Published As

Publication number Publication date
CN113792051A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
US10951491B2 (en) Automatic microservice problem detection in enterprise applications
CN107729139B (zh) 一种并发获取资源的方法和装置
EP1693765B1 (en) A data processing system and method
US8635250B2 (en) Methods and systems for deleting large amounts of data from a multitenant database
CN100594498C (zh) 海量数据实时处理架构及用于该架构的实时随需处理平台
US9311144B1 (en) Processing virtual transactions of a workflow in atomic manner in a workflow management computer system
US20190026188A1 (en) Techniques for implementing batch processing in a database system
CN107944000B (zh) 航班运价更新方法、装置、电子设备、存储介质
CN109067841B (zh) 基于ZooKeeper的服务限流方法、系统、服务器及存储介质
CN106919449A (zh) 一种计算任务的调度控制方法及电子设备
CN110058853B (zh) 一种基于工作流及权限控制的api流程化方法
CN111784318B (zh) 数据处理方法、装置、电子设备及存储介质
CN111126948A (zh) 用于审批流程的处理方法和装置
CN116302708A (zh) 基于负载均衡的数据备份方法、装置、设备及存储介质
US7657590B2 (en) Load balancing system and method
US20090248186A1 (en) Methods and Systems for Matching Configurable Manufacturing Capacity Requirements and Availability
CN113792051B (zh) 基于多模态锁的数据处理方法、系统、设备和存储介质
CN111353766A (zh) 分布式业务系统的业务流程处理系统及方法
CN115757356A (zh) 数据迁移方法、装置、系统、电子设备及存储介质
CN115617480A (zh) 一种任务调度方法、装置、系统及存储介质
CN115309558A (zh) 一种资源调度管理系统、方法、计算机设备及存储介质
CN114217790A (zh) 接口编排调度方法、装置、电子设备及介质
CN116503005A (zh) 流程动态修改方法、装置、系统及存储介质
CN111782482B (zh) 接口压力测试方法及相关设备
CN116756460B (zh) 组合数据获取方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant