CN116302433A - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116302433A
CN116302433A CN202310301043.2A CN202310301043A CN116302433A CN 116302433 A CN116302433 A CN 116302433A CN 202310301043 A CN202310301043 A CN 202310301043A CN 116302433 A CN116302433 A CN 116302433A
Authority
CN
China
Prior art keywords
job
information
computing platform
container
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310301043.2A
Other languages
English (en)
Inventor
王豪赞
王磊
武文轩
张帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310301043.2A priority Critical patent/CN116302433A/zh
Publication of CN116302433A publication Critical patent/CN116302433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种数据处理方法、装置、计算机设备和存储介质。涉及金融科技领域或其他相关领域。所述方法包括：获取金融业务系统中目标应用程序对应的多个作业任务，在分布式批量平台包含的函数计算平台的同一目标容器中，并发运行多个作业任务；在检测到并发运行的作业任务对应的特征信息时，通过分布式批量平台配置的分布式批量工具包拦截特征信息；在目标应用程序的作业监控信息满足预设条件的情况下，将拦截的特征信息返回至函数计算平台，以指示函数计算平台清除目标容器；预设条件为多个作业任务均处理完成。采用本方法能够实现批量函数化应用的多个作业并发运行于函数计算平台的同一容器，保证了容器中的全部作业正常处理完成。

Description

数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及金融科技领域，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在基于分布式批量框架，实现分布式批量程序落地Serverless函数计算平台的情况下，针对金融业务中多作业并发运行于同一个函数容器的需求，由于每个作业处理完成后会向函数计算平台返回return信息，而Serverless函数计算平台在接收到批量作业中第一个return信息时会销毁函数容器，导致了仍在该函数容器上运行的其它作业无法及时处理完成任务，存在金融业务处理失败的风险。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决上述问题的数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面，本申请提供了一种数据处理方法，应用于分布式批量平台，所述方法包括：
获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
在其中一个实施例中，在所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息的步骤之前，所述方法还包括：
通过增加监控线程，调整所述分布式批量平台配置的原始批量工具包，得到调整后批量工具包，作为所述分布式批量工具包；
其中，所述监控线程用于使所述分布式批量工具包拦截所述特征信息，以及获取所述目标应用程序的作业监控信息；所述作业监控信息包括以下任一项或多项：
作业运行状态信息、作业日志信息、容器使用状态信息、数据库监控信息。
在其中一个实施例中，所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息，包括：
在检测到并发运行的所述作业任务对应的特征信息时，采用仿接收器拦截所述作业任务对应的特征信息；其中，所述仿接收器为通过所述分布式批量工具包，基于用于接收所述特征信息的接收器对应的程序信息所生成的。
在其中一个实施例中，当所述作业监控信息为所述作业运行状态信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
获取预设的作业标识列表；所述作业标识列表用于在所述目标应用程序启动时，存储待并发运行的多个作业任务各自对应的标识；
针对每个拦截到的所述特征信息，从所述作业标识列表中删除所述特征信息对应的作业任务的标识，得到最新的作业标识列表，作为所述作业运行状态信息；
若检测到所述作业标识列表中不存在所述作业任务的标识，则确认满足所述预设条件。
在其中一个实施例中，当所述作业监控信息为所述作业日志信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
在所述目标容器并发运行所述多个作业任务的过程中，获取作业日志信息；所述作业日志信息用于存储所述多个作业任务中每个作业任务对应的作业开始日志和作业结束日志；
若检测到所述多个作业任务均具有对应的作业开始日志和作业结束日志，则确认满足所述预设条件。
在其中一个实施例中，当所述作业监控信息为所述容器使用状态信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
在所述目标应用程序启动完成且未执行作业时，获取所述目标容器的初始状态信息；
在所述目标容器并发运行所述多个作业任务的过程中，获取容器使用状态信息；
若检测到所述容器使用状态信息与所述初始状态信息的差值小于预设误差阈值，则确认满足所述预设条件。
在其中一个实施例中，当所述作业监控信息为所述数据库监控信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
获取所述目标应用程序的数据库关键信息；
在所述目标容器并发运行所述多个作业任务的过程中，若检测到所述数据库监控信息与所述数据库关键信息相匹配，则确认满足所述预设条件。
第二方面，本申请还提供了一种数据处理装置，应用于分布式批量平台，所述装置包括：
多作业并发运行模块，用于获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
特征信息拦截模块，用于在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
特征信息返回模块，用于在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据处理方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方法的步骤。
上述一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取金融业务系统中目标应用程序对应的多个作业任务，在分布式批量平台包含的函数计算平台的同一目标容器中，并发运行多个作业任务，该目标容器运行有目标应用程序的目标函数，然后在检测到并发运行的作业任务对应的特征信息时，通过分布式批量平台配置的分布式批量工具包拦截特征信息，该特征信息为作业任务处理完成后所生成的，且待发送至函数计算平台的信息，进而在目标应用程序的作业监控信息满足预设条件的情况下，将拦截的特征信息返回至函数计算平台，以指示函数计算平台清除目标容器，该预设条件为多个作业任务均处理完成，实现了批量函数化应用的多个作业可以并发运行于函数计算平台的同一容器，能够保证容器中的全部作业正常处理完成，提升了金融业务处理效率。
附图说明
图1为一个实施例中一种数据处理方法的流程示意图；
图2为一个实施例中一种分布式批量平台架构的示意图；
图3为一个实施例中一种监控作业运行状态步骤的流程示意图；
图4为一个实施例中另一种数据处理方法的流程示意图；
图5为一个实施例中一种数据处理装置的结构框图；
图6为一个实施例中一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据；对应的，本申请还提供有相应的用户授权入口，供用户选择授权或者选择拒绝。
在一个实施例中，如图1所示，提供了一种数据处理方法，可以应用于分布式批量平台。本实施例中，该方法包括以下步骤：
步骤101，获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；目标容器运行有目标应用程序的目标函数；
其中，分布式批量平台可以为Serverless批量平台，Serverless是云计算的一种模型，即云原生开发模型，其可以允许开发人员构建和运行应用程序而无需管理服务器，通过无服务器运算提供一个微型的架构，使得终端用户可以不需要部署、配置或管理服务器服务，代码运行所需要的服务器服务可以均由云端平台提供。
作为一示例，目标应用程序可以为批量函数化应用程序，其是基于分布式批量框架体系且实际执行器运行于函数平台的应用程序，即目标应用程序的执行器(如目标容器)可以运行于函数计算平台。
在实际应用中，为了使本领域技术人员能够更好地理解本实施例中步骤，以下结合图2对本申请实施例加以示例性说明，但应当理解的是，本申请实施例并不限于此。
如图2所示的Serverless批量平台架构以及交互流程说明示意图，该Serverless批量平台可以包括函数计算平台、Zookeeper、ServerlessDBF管理模块、批量控制器、批量数据库、批量控制台，以及运行于函数计算平台的执行器，并配置有基于Serverless的分布式批量SDK，即云原生函数批量软件开发工具包，其可以是为批量函数化应用定制化开发的SDK，可以基于原分布式批量SDK改造得到。ZooKeeper为分布式应用程序协调服务软件，其可以提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
其中，批量控制器可以在分布式批量平台中负责作业调配和作业执行流程控制；运行于函数计算平台的执行器可以在分布式批量平台中负责接收批量控制器发起作业调配指令，其可以在接收到批量控制器的指令后，对指令进行解释，进而可以根据指令中的作业实例、指令类型等信息执行相应的指令操作，如作业预处理、作业启动和作业停止；ZooKeeper可以在分布式批量平台中起到执行器和控制器之间进行通讯的作用。
在一个可选实施例中，如图2中函数上线注册步骤，应用程序可以在ServerlessDBF管理模块前台导入函数配置文件与分层参数文件，进而该ServerlessDBF管理模块可以根据导入的信息向Zookeeper注册函数信息，并可以调用函数计算平台接口创建函数，同时批量控制器可以监听到注册信息。
在一示例中，如图2中作业开始和函数触发步骤，当到达批量作业运行时间后，批量控制器可以向Zookeeper下发作业执行信息，并可以将数据库中作业状态变更为已启动，同时ServerlessDBF管理模块可以在监听到该执行信息后，携带控制器的下发信息，去触发函数计算平台接口启动函数程序实例以及执行作业，即在分布式批量平台包含的函数计算平台的同一目标容器中，并发运行多个作业任务。
步骤102，在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；
作为一示例，特征信息可以为作业任务处理完成后所生成的，且待发送至函数计算平台的信息，如返回给函数计算平台的return信息。
在具体实现中，可以通过增加监控线程，调整分布式批量平台配置的原始批量工具包(如基于Serverless的分布式批量SDK)，得到调整后批量工具包，作为分布式批量工具包(如改造后的基于Serverless的分布式批量SDK)，该监控线程可以用于使分布式批量工具包拦截特征信息，以及获取目标应用程序的作业监控信息，该作业监控信息可以包括但不限于作业运行状态信息、作业日志信息、容器使用状态信息、数据库监控信息。
在一示例中，通过分布式批量工具包可以基于用于接收特征信息的接收器对应的程序信息，生成的仿接收器，进而可以在检测到并发运行的作业任务对应的特征信息时，采用仿接收器拦截作业任务对应的特征信息。
例如，如图2中作业结束步骤，在函数执行器完成作业时，可以向Zookeeper发送执行完成信息，同时批量控制器可以监听到作业完成信息，将批量数据库中作业状态变更为已完成。由于执行器可以在向Zookeeper发完消息后，返回return信息给函数计算平台，则可以对返回的return信息(即特征信息)进行拦截。
又如，针对并发运行的每个作业任务，在每个作业任务执行结束后，执行器均会返回一条return信息；当多个作业任务下发到一个函数容器中时，会存在多个return信息，由于函数计算平台可以在接收到第一条return信息后销毁对应的函数容器，则会导致其它未完成的作业任务无法执行完成，通过将返回的return信息进行拦截，可以控制函数计算平台销毁容器的时间，使得多任务时能够确保全部任务执行完成后销毁容器，克服了批量函数化应用的多个作业无法并发运行于函数计算平台同一容器的问题。
在又一示例中，通过改造基于Serverless的分布式批量SDK，使其增加一个监控线程，该监控线程可以具备return信息拦截能力，以及监控作业运行情况、作业日志、容器CPU和内存使用率、数据库等指标的能力。从而使得批量函数化应用可以能够自行选择需要监控的指标，实现了多作业并发运行于函数平台同一容器的目的。
步骤103，在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
在实际应用中，在拦截特征信息后，由于需要将拦截的特征信息重新返回给函数计算平台，以指示函数计算平台正常销毁容器，则可以在合适的时间重新发送特征信息，使得函数计算平台将容器删除。具体地，可以通过获取目标应用程序的作业监控信息，在根据该作业监控信息确定多个作业任务均处理完成的情况下，将拦截的特征信息返回至函数计算平台。
例如，可以通过监控作业运行情况、作业日志、容器CPU和内存使用率、数据库等指标得到作业监控信息，进而可以基于该作业监控信息明确重新发送return信息的时间。
在一示例中，每个批量函数化应用程序的情况不同，可以针对各批量函数化应用程序设置对应的监控指标，如应用程序A在运行结束后会打印结束日志，可以配置日志为该应用程序A的监控指标，应用程序B在运行后CPU使用率会大幅下降，可以配置CPU使用率为该应用程序B的监控指标。从而通过改造基于Serverless的分布式批量SDK，分布式批量程序可以根据其多作业并发运行的情况，确定适合程序的任务完成标志，如日志、CPU使用率等指标；改造后SDK可以在全部或部分指标均通过验证的情况下，向函数计算平台发送return信息，能够使得多个作业并发运行于Serverless批量平台同一容器。
在又一示例中，如图2中函数下线解注册步骤，应用程序可以在ServerlessDBF管理模块前台输入指令以删除指定函数，ServerlessDBF管理模块可以在接收到指令后，删除Zookeeper对应函数的注册信息，并可以调用函数计算平台接口删除函数，即函数下线完成。
相较于传统方法，本实施例的技术方案，通过对基于Serverless的分布式批量SDK进行改造，增加监控线程，该监控线程可以实现拦截应用程序内作业任务的return信息，并可以通过监控作业运行情况、作业日志、容器CPU和内存使用率、数据库等多种方式，使得SDK在全部作业任务结束后才返回return信息给Serverless函数计算平台，从而实现了分布式批量程序能够多线程、并发地运行作业于Serverless函数计算平台的同一容器中。
上述数据处理方法中，通过获取金融业务系统中目标应用程序对应的多个作业任务，在分布式批量平台包含的函数计算平台的同一目标容器中，并发运行多个作业任务，然后在检测到并发运行的作业任务对应的特征信息时，通过分布式批量平台配置的分布式批量工具包拦截特征信息，进而在目标应用程序的作业监控信息满足预设条件的情况下，将拦截的特征信息返回至函数计算平台，以指示函数计算平台清除目标容器，实现了批量函数化应用的多个作业可以并发运行于函数计算平台的同一容器，能够保证容器中的全部作业正常处理完成，提升了金融业务处理效率。
在一个实施例中，在所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息的步骤之前，还可以包括如下步骤：
通过增加监控线程，调整所述分布式批量平台配置的原始批量工具包，得到调整后批量工具包，作为所述分布式批量工具包。
其中，监控线程可以用于使分布式批量工具包拦截特征信息，如return信息，以及获取目标应用程序的作业监控信息，该作业监控信息可以包括以下任一项或多项：作业运行状态信息、作业日志信息、容器使用状态信息(如容器CPU使用率、容器内存使用率)、数据库监控信息。
在实际应用中，使用改造后基于Serverless的分布式批量SDK，应用程序可以在程序配置文件中，根据应用程序情况设定某项功能是否开启，如监控作业运行状态的功能1、监控作业日志的功能2、监控容器CPU使用率的功能3、监控容器内存使用率的功能4、监控数据库的功能5，各功能均可由应用程序选择是否启用。
在一示例中，需要在开启return信息拦截功能的情况下，选择开启上述监控功能1-5中任何一个或多个功能，以无法实现多个作业并发运行于Serverless批量平台同一容器的目的。
在又一示例中，由于监控作业运行状态的监控准确度高于监控作业日志、容器CPU使用率、容器内存使用率的监控准确度，通过开启监控作业运行状态信息的功能1，能够提升监控准确度。
本实施例中，通过增加监控线程，调整分布式批量平台配置的原始批量工具包，得到调整后批量工具包，作为分布式批量工具包，可以对基于Serverless的分布式批量SDK进行改造，使其具备return信息拦截能力，以及监控作业运行情况、作业日志、容器CPU和内存使用率、数据库等指标的能力。
在一个实施例中，所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息，可以包括如下步骤：
在检测到并发运行的所述作业任务对应的特征信息时，采用仿接收器拦截所述作业任务对应的特征信息；其中，所述仿接收器为通过所述分布式批量工具包，基于用于接收所述特征信息的接收器对应的程序信息所生成的。
在实际应用中，针对return信息拦截功能：采用改造后基于Serverless的分布式批量SDK(即分布式批量工具包)，可以通过制作假性接收器(即仿接收器)拦截return信息(即特征信息)。
例如，当作业任务结束时，程序代码可以将return信息返回给上一层的程序，分布式批量工具包可以仿照上一层程序的代码，生成一段程序名字类似但内部逻辑不同的假性接收器代码，使得程序的return信息返回到假性接收器代码中，以实现拦截return信息；待判断全部作业任务执行完成后，可以发送return信息给Serverless函数计算平台。该功能可由应用程序选择是否启用。
本实施例中，通过在检测到并发运行的作业任务对应的特征信息时，采用仿接收器拦截作业任务对应的特征信息，能够避免批量函数化应用的多个作业无法并发运行于函数计算平台同一容器的情况。
在一个实施例中，如图3所示，当作业监控信息为作业运行状态信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，还可以包括如下步骤：
步骤301，获取预设的作业标识列表；所述作业标识列表用于在所述目标应用程序启动时，存储待并发运行的多个作业任务各自对应的标识；
步骤302，针对每个拦截到的所述特征信息，从所述作业标识列表中删除所述特征信息对应的作业任务的标识，得到最新的作业标识列表，作为所述作业运行状态信息；
步骤303，若检测到所述作业标识列表中不存在所述作业任务的标识，则确认满足所述预设条件。
在一示例中，针对监控作业运行状态的功能：改造后基于Serverless的分布式批量SDK可以通过新增作业字段(即作业标识列表)，当应用程序启动时，该作业字段可以存放全部待运行的作业任务名称(即作业任务对应的标识)；当改造后SDK拦截到一个return信息时，可以从该作业字段中移除拦截到return信息对应的作业任务名称，进而可以在监控到该作业字段内无内容时(即检测到作业标识列表中不存在作业任务的标识)，可以确认全部作业任务执行完成(即满足预设条件)。
本实施例中，通过获取预设的作业标识列表，然后针对每个拦截到的特征信息，从作业标识列表中删除特征信息对应的作业任务的标识，得到最新的作业标识列表，作为作业运行状态信息，进而若检测到作业标识列表中不存在作业任务的标识，则确认满足预设条件，可以通过监控作业运行状态判断全部作业任务是否执行完成，提升了监控准确度。
在一个实施例中，当作业监控信息为作业日志信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，还可以包括如下步骤：
在所述目标容器并发运行所述多个作业任务的过程中，获取作业日志信息；所述作业日志信息用于存储所述多个作业任务中每个作业任务对应的作业开始日志和作业结束日志；若检测到所述多个作业任务均具有对应的作业开始日志和作业结束日志，则确认满足所述预设条件。
在具体实现中，针对监控作业日志的功能：改造后基于Serverless的分布式批量SDK可以在每个作业任务开始前和结束后，分别打印一行携带作业任务名称的日志，可以根据预设时间(如每5秒扫描一次)扫描应用程序的全部日志(即作业日志信息)，直至确认每个作业任务均具有对应的两行日志，可以确认全部作业任务执行完成(即满足预设条件)。
本实施例中，通过在目标容器并发运行多个作业任务的过程中，获取作业日志信息，若检测到多个作业任务均具有对应的作业开始日志和作业结束日志，则确认满足预设条件，能够基于监控作业日志判断全部作业任务是否执行完成。
在一个实施例中，当作业监控信息为容器使用状态信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，还可以包括如下步骤：
在所述目标应用程序启动完成且未执行作业时，获取所述目标容器的初始状态信息；在所述目标容器并发运行所述多个作业任务的过程中，获取容器使用状态信息；若检测到所述容器使用状态信息与所述初始状态信息的差值小于预设误差阈值，则确认满足所述预设条件。
在一示例中，针对监控容器CPU使用率的功能：改造后基于Serverless的分布式批量SDK可以在应用程序启动完成但未执行作业时，调用系统底层指令获得当前所在容器的CPU使用率(即初始状态信息)，如记录数据为整数C，然后可以根据预设时间(如每3秒获取一次)获取容器CPU使用率(即容器使用状态信息)，当连续3次检测到CPU使用率与C值的差值小于应用程序预设的误差值(即预设误差阈值)时，如误差值可以为5％，可以确认全部作业任务执行完成(即满足预设条件)。
在又一示例中，针对监控容器内存使用率的功能：改造后基于Serverless的分布式批量SDK可以在应用程序启动完成但未执行作业时，调用系统底层指令获得当前所在容器的内存使用率(即初始状态信息)，如记录数据为整数M，然后可以根据预设时间(每3秒获取一次)获取内存使用率(即容器使用状态信息)，当连续3次检测到内存使用率与M值的差值小于应用程序预设的误差值(即预设误差阈值)时，如误差值可以为5％，可以确认全部作业任务执行完成(即满足预设条件)。
本实施例中，通过在目标应用程序启动完成且未执行作业时，获取目标容器的初始状态信息，然后在目标容器并发运行多个作业任务的过程中，获取容器使用状态信息，进而若检测到容器使用状态信息与初始状态信息的差值小于预设误差阈值，则确认满足预设条件，能够基于监控容器使用状态判断全部作业任务是否执行完成。
在一个实施例中，当作业监控信息为所述数据库监控信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，还可以包括如下步骤：
获取所述目标应用程序的数据库关键信息；在所述目标容器并发运行所述多个作业任务的过程中，若检测到所述数据库监控信息与所述数据库关键信息相匹配，则确认满足所述预设条件。
在实际应用中，针对监控数据库的功能，由于应用程序可以在运行后针对数据库写入数据，改造后基于Serverless的分布式批量SDK可以根据应用程序配置的数据库地址信息、操作语句、关键字等，根据预设时间(如每3秒)对数据库进行检查，若确认结果与关键字相符，可以确认全部作业任务执行完成(即满足预设条件)。
本实施例中，通过获取目标应用程序的数据库关键信息，进而在目标容器并发运行多个作业任务的过程中，若检测到数据库监控信息与数据库关键信息相匹配，则确认满足预设条件，能够基于监控数据库判断全部作业任务是否执行完成。
在一个实施例中，如图4所示，提供了另一种数据处理方法的流程示意图。本实施例中，该方法包括以下步骤：
在步骤401中，通过增加监控线程，调整分布式批量平台配置的原始批量工具包，得到调整后批量工具包，作为分布式批量工具包。在步骤402中，获取金融业务系统中目标应用程序对应的多个作业任务，在分布式批量平台包含的函数计算平台的同一目标容器中，并发运行多个作业任务。在步骤403中，在检测到并发运行的作业任务对应的特征信息时，采用仿接收器拦截作业任务对应的特征信息。在步骤404中，获取预设的作业标识列表；作业标识列表用于在目标应用程序启动时，存储待并发运行的多个作业任务各自对应的标识。在步骤405中，针对每个拦截到的特征信息，从作业标识列表中删除特征信息对应的作业任务的标识，得到最新的作业标识列表，作为作业运行状态信息。在步骤406中，当作业监控信息为作业运行状态信息，若检测到作业标识列表中不存在作业任务的标识，则确认满足预设条件；预设条件为多个作业任务均处理完成。在步骤407中，在目标应用程序的作业监控信息满足预设条件的情况下，将拦截的特征信息返回至函数计算平台，以指示函数计算平台清除所述目标容器。需要说明的是，上述步骤的具体限定可以参见上文对一种数据处理方法的具体限定，在此不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据处理方法的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据处理装置实施例中的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种数据处理装置，包括：
多作业并发运行模块501，用于获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
特征信息拦截模块502，用于在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
特征信息返回模块503，用于在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
在一个实施例中，所述装置还包括：
监控线程增加模块，用于通过增加监控线程，调整所述分布式批量平台配置的原始批量工具包，得到调整后批量工具包，作为所述分布式批量工具包；
其中，所述监控线程用于使所述分布式批量工具包拦截所述特征信息，以及获取所述目标应用程序的作业监控信息；所述作业监控信息包括以下任一项或多项：作业运行状态信息、作业日志信息、容器使用状态信息、数据库监控信息。
在一个实施例中，所述特征信息拦截模块502包括：
仿接收器拦截子模块，用于在检测到并发运行的所述作业任务对应的特征信息时，采用仿接收器拦截所述作业任务对应的特征信息；其中，所述仿接收器为通过所述分布式批量工具包，基于用于接收所述特征信息的接收器对应的程序信息所生成的。
在一个实施例中，当所述作业监控信息为所述作业运行状态信息，所述装置还包括：
作业标识列表获取模块，用于获取预设的作业标识列表；所述作业标识列表用于在所述目标应用程序启动时，存储待并发运行的多个作业任务各自对应的标识；
标识删除模块，用于针对每个拦截到的所述特征信息，从所述作业标识列表中删除所述特征信息对应的作业任务的标识，得到最新的作业标识列表，作为所述作业运行状态信息；
第一条件确认模块，用于若检测到所述作业标识列表中不存在所述作业任务的标识，则确认满足所述预设条件。
在一个实施例中，当所述作业监控信息为所述作业日志信息，所述装置还包括：
作业日志信息获取模块，用于在所述目标容器并发运行所述多个作业任务的过程中，获取作业日志信息；所述作业日志信息用于存储所述多个作业任务中每个作业任务对应的作业开始日志和作业结束日志；
第二条件确认模块，用于若检测到所述多个作业任务均具有对应的作业开始日志和作业结束日志，则确认满足所述预设条件。
在一个实施例中，当所述作业监控信息为所述容器使用状态信息，所述装置还包括：
容器初始信息获取模块，用于在所述目标应用程序启动完成且未执行作业时，获取所述目标容器的初始状态信息；
容器使用状态信息得到模块，用于在所述目标容器并发运行所述多个作业任务的过程中，获取容器使用状态信息；
第三条件确认模块，用于若检测到所述容器使用状态信息与所述初始状态信息的差值小于预设误差阈值，则确认满足所述预设条件。
在一个实施例中，当所述作业监控信息为所述数据库监控信息，所述装置还包括：
数据库关键信息获取模块，用于获取所述目标应用程序的数据库关键信息；
第四条件确认模块，用于在所述目标容器并发运行所述多个作业任务的过程中，若检测到所述数据库监控信息与所述数据库关键信息相匹配，则确认满足所述预设条件。
上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
在一个实施例中，处理器执行计算机程序时还实现上述其他实施例中的数据处理方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的数据处理方法的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的数据处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种数据处理方法，其特征在于，应用于分布式批量平台，所述方法包括：
获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
2.根据权利要求1所述的方法，其特征在于，在所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息的步骤之前，所述方法还包括：
通过增加监控线程，调整所述分布式批量平台配置的原始批量工具包，得到调整后批量工具包，作为所述分布式批量工具包；
其中，所述监控线程用于使所述分布式批量工具包拦截所述特征信息，以及获取所述目标应用程序的作业监控信息；所述作业监控信息包括以下任一项或多项：
作业运行状态信息、作业日志信息、容器使用状态信息、数据库监控信息。
3.根据权利要求1所述的方法，其特征在于，所述在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息，包括：
在检测到并发运行的所述作业任务对应的特征信息时，采用仿接收器拦截所述作业任务对应的特征信息；其中，所述仿接收器为通过所述分布式批量工具包，基于用于接收所述特征信息的接收器对应的程序信息所生成的。
4.根据权利要求2所述的方法，其特征在于，当所述作业监控信息为所述作业运行状态信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
获取预设的作业标识列表；所述作业标识列表用于在所述目标应用程序启动时，存储待并发运行的多个作业任务各自对应的标识；
针对每个拦截到的所述特征信息，从所述作业标识列表中删除所述特征信息对应的作业任务的标识，得到最新的作业标识列表，作为所述作业运行状态信息；
若检测到所述作业标识列表中不存在所述作业任务的标识，则确认满足所述预设条件。
5.根据权利要求2所述的方法，其特征在于，当所述作业监控信息为所述作业日志信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
在所述目标容器并发运行所述多个作业任务的过程中，获取作业日志信息；所述作业日志信息用于存储所述多个作业任务中每个作业任务对应的作业开始日志和作业结束日志；
若检测到所述多个作业任务均具有对应的作业开始日志和作业结束日志，则确认满足所述预设条件。
6.根据权利要求2所述的方法，其特征在于，当所述作业监控信息为所述容器使用状态信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
在所述目标应用程序启动完成且未执行作业时，获取所述目标容器的初始状态信息；
在所述目标容器并发运行所述多个作业任务的过程中，获取容器使用状态信息；
若检测到所述容器使用状态信息与所述初始状态信息的差值小于预设误差阈值，则确认满足所述预设条件。
7.根据权利要求2所述的方法，其特征在于，当所述作业监控信息为所述数据库监控信息，在所述在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台的步骤之前，所述方法还包括：
获取所述目标应用程序的数据库关键信息；
在所述目标容器并发运行所述多个作业任务的过程中，若检测到所述数据库监控信息与所述数据库关键信息相匹配，则确认满足所述预设条件。
8.一种数据处理装置，其特征在于，应用于分布式批量平台，所述装置包括：
多作业并发运行模块，用于获取金融业务系统中目标应用程序对应的多个作业任务，在所述分布式批量平台包含的函数计算平台的同一目标容器中，并发运行所述多个作业任务；所述目标容器运行有所述目标应用程序的目标函数；
特征信息拦截模块，用于在检测到并发运行的所述作业任务对应的特征信息时，通过所述分布式批量平台配置的分布式批量工具包拦截所述特征信息；所述特征信息为所述作业任务处理完成后所生成的，且待发送至所述函数计算平台的信息；
特征信息返回模块，用于在所述目标应用程序的作业监控信息满足预设条件的情况下，将拦截的所述特征信息返回至所述函数计算平台，以指示所述函数计算平台清除所述目标容器；所述预设条件为所述多个作业任务均处理完成。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310301043.2A 2023-03-24 2023-03-24 数据处理方法、装置、计算机设备和存储介质 Pending CN116302433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310301043.2A CN116302433A (zh) 2023-03-24 2023-03-24 数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310301043.2A CN116302433A (zh) 2023-03-24 2023-03-24 数据处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116302433A true CN116302433A (zh) 2023-06-23

Family

ID=86830446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310301043.2A Pending CN116302433A (zh) 2023-03-24 2023-03-24 数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116302433A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116796206A (zh) * 2023-06-27 2023-09-22 北京中科聚网信息技术有限公司 基于一体化平台的运营数据处理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116796206A (zh) * 2023-06-27 2023-09-22 北京中科聚网信息技术有限公司 基于一体化平台的运营数据处理方法及系统
CN116796206B (zh) * 2023-06-27 2024-04-16 北京中科聚网信息技术有限公司 基于一体化平台的运营数据处理方法及系统

Similar Documents

Publication Publication Date Title
CN112840318A (zh) 用于计算机系统的自动化操作管理
US20170083292A1 (en) Visual content development
US9003389B2 (en) Generating an encoded package profile based on executing host processes
CN114723447A (zh) 区块链系统内的基于代理的图灵完备交易集成反馈
CN107015853A (zh) 多阶段任务的实现方法和装置
CN108491254A (zh) 一种数据仓库的调度方法及装置
CN112560114B (zh) 调用智能合约的方法及装置
CN113672353B (zh) 一种基于容器的任务执行方法及装置
CN109729075B (zh) 一种云平台组件安全策略实现方法
CN116302433A (zh) 数据处理方法、装置、计算机设备和存储介质
US11663349B2 (en) System and method for managing data object creation
CN114006815B (zh) 云平台节点的自动化部署方法、装置、节点及存储介质
CN114816170A (zh) 规则方案生成方法、装置、介质及电子设备
CN114493493A (zh) 决策引擎及决策引擎实现方法
US8560572B2 (en) System for lightweight objects
CN114996955A (zh) 一种云原生混沌工程实验的靶场环境构建方法及装置
US20140189715A1 (en) Conversion of lightweight object to a heavyweight object
CN111160403B (zh) 一种api接口复用发现的方法及装置
CN110221952B (zh) 业务数据的处理方法及装置、业务数据处理系统
CN111400269B (zh) 一种ipfs文件处理方法、节点、介质和设备
CN113741868A (zh) 业务计算任务处理方法、装置、计算机设备和存储介质
CN114968525B (zh) 隐私计算和隐私数据保护的云原生任务调度方法及装置
US20100318849A1 (en) Runtime behavior alteration using behavior injection harness
CN113672352B (zh) 一种基于容器部署联邦学习任务的方法及装置
CN109344077A (zh) RestAPI特性测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination