CN117076546A - 数据处理方法、终端设备及计算机可读存储介质 - Google Patents

数据处理方法、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN117076546A
CN117076546A CN202311334393.5A CN202311334393A CN117076546A CN 117076546 A CN117076546 A CN 117076546A CN 202311334393 A CN202311334393 A CN 202311334393A CN 117076546 A CN117076546 A CN 117076546A
Authority
CN
China
Prior art keywords
data
processing
expression
task
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311334393.5A
Other languages
English (en)
Other versions
CN117076546B (zh
Inventor
彭树深
陈慧忠
马锐
章良奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xiaoying Information Technology Co ltd
Original Assignee
Shenzhen Xiaoying Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xiaoying Information Technology Co ltd filed Critical Shenzhen Xiaoying Information Technology Co ltd
Priority to CN202311334393.5A priority Critical patent/CN117076546B/zh
Publication of CN117076546A publication Critical patent/CN117076546A/zh
Application granted granted Critical
Publication of CN117076546B publication Critical patent/CN117076546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Stored Programmes (AREA)

Abstract

本申请适用于数据处理技术领域,提供了一种数据处理方法、终端设备及计算机可读存储介质,包括:获取第一业务系统对应的一组第一数据,所述第一数据为符合第一协议标准的数据,所述第一数据包括多个处理任务;根据多个所述处理任务各自对应的转换规则执行所述处理任务,得到多个所述处理任务各自的处理结果;根据多个处理任务各自的处理结果将所述第一数据转换为第二数据,其中,所述第二数据为符合第二业务系统中第二协议标准的数据。通过上述方法,使得不同系统之间的数据更加灵活,从而有效提高不同系统之间的数据转换效率。

Description

数据处理方法、终端设备及计算机可读存储介质
技术领域
本申请属于数据处理技术领域,尤其涉及一种数据处理方法、终端设备及计算机可读存储介质。
背景技术
随着业务数据的发展和变化,许多企业需要开展多个自动化业务,需要与不同的业务系统进行数据对接与数据共享。现有技术中,当业务系统与企业系统进行对接时,通常需要为该业务系统和企业系统单独设计数据对接接口,以使业务系统适应企业系统的数据标准。对于不同的业务系统,则需要分别设计该企业系统与每个业务系统之间的数据对接接口。这种方式存在大量重复工作,这种方式导致存在大量重复工作,效率较低。
发明内容
本申请实施例提供了一种数据处理方法、终端设备及计算机可读存储介质方法及装置,使得不同系统之间的数据更加灵活,从而有效提高不同系统之间的数据转换效率。
第一方面,本申请实施例提供了一种数据处理方法,包括:
获取第一业务系统对应的一组第一数据,所述第一数据为符合第一协议标准的数据,所述第一数据包括多个处理任务;
根据多个所述处理任务各自对应的转换规则执行所述处理任务,得到多个所述处理任务各自的处理结果;
根据多个处理任务各自的处理结果将所述第一数据转换为第二数据,其中,所述第二数据为符合第二业务系统中第二协议标准的数据。
在本申请实施例中,无需为不同的业务系统开发不同的数据对接接口,只需定义每个处理任务对应的转换规则。对于不同业务系统之间待转换的数据,只需将其拆分为多个处理任务,并根据每个处理任务相应的转换规则进行数据转换即可。通过上述方式,使得不同系统之间的数据更加灵活,从而有效提高不同系统之间的数据转换效率。
在第一方面的一种可能的实现方式中,根据每个所述处理任务对应的转换规则执行所述处理任务,得到所述处理任务的处理结果的步骤包括:
获取所述处理任务对应表达式的表达式参数,其中,所述表达式为对所述处理任务对应的转换规则;
根据所述表达式参数计算所述表达式,得到所述表达式的输出值,所述输出值为所述处理任务的处理结果。
在第一方面的一种可能的实现方式中,所述获取所述处理任务对应表达式的表达式参数,包括:
判断是否存在所述处理任务对应表达式的表达式参数;
若不存在所述处理任务对应表达式的表达式参数,则获取所述表达式对应的数据源,其中,所述数据源包含符合所述第二协议标准的数据属性信息;
根据所述数据源获取所述处理任务对应表达式的表达式参数。
在本申请实施例中,根据处理任务获取转换规则的转换信息,根据转换信息获取转换参数,不需要对处理的任务按照需要对接的业务系统进行接口的一一开发,只需要根据转换参数对数据进行转换即可,通过上述方式,可以提高不同业务系统之间数据的转换能力。
在第一方面的一种可能的实现方式中,所述根据所述数据源信息获取所述处理任务对应表达式的表达式参数,包括:
判断是否存在所述数据源;
若存在所述数据源,则计算所述数据源并获取计算后的数据源;
根据所述计算后的数据源获取所述第一数据对应的表达式参数。
在本申请实施例中,对于每条处理任务,根据每条处理任务获取其对应的属性信息,并根据属性信息可以获取其对应转换规则的转换参数,不需要对每条任务开发与标准数据对应的接口。通过上述方式,可以减少开发。
在第一方面的一种可能的实现方式中,所述根据多个处理任务各自的处理结果将所述第一数据转换为第二数据,包括:
将多个所述处理任务各自的处理结果输入符合所述第二协议标准的协议程序;
运行所述协议程序以获取所述第一数据转换后的第二数据。
在本申请实施例中,不需要对于不同的处理任务开发不同的协议程序,根据处理任务的输出结果运行对应的协议程序就可以对数据进行转换。通过上述方式,可以使不同业务系统之间进行数据的快速转换。
在第一方面的一种可能的实现方式中,所述根据多个所述处理任务各自对应的转换规则执行所述处理任务,得到多个所述处理任务各自的处理结果,包括:
对所述多个处理任务进行并行处理,得到多个所述处理任务各自的处理结果。
在本申请实施例中,对多个处理任务同时进行处理,不需要等待某个任务处理结束后再对另一个任务进行处理。对于数据处理系统中存在的多个待处理任务可以同时进行处理。通过上述方法,可以提高数据的吞吐量,提高不同系统之间数据的转换效率。
在第一方面的一种可能的实现方式中,所述方法还包括:
根据多个所述处理任务生成任务对接流程图,所述任务对接流程图包括多个所述处理任务执行的先后顺序以及多个所述处理任务各自的处理结果;
根据所述先后顺序以及多个处理任务各自的处理结果将所述第一数据转换为第二数据。
在本申请实施例中,将不同业务系统之间的数据转化过程生成流程图,此流程图包含任务处理的先后顺序,以及任务处理结果。通过上述方式,开发和非开发都可通过流程图等看到对接流程,清楚有多少流程,每个流程的步骤如何,便于分析定位
第二方面,本申请实施例提供了一种数据处理系统,包括:
应用接口单元,用于获取第一业务系统对应的一组第一数据,所述第一数据为符合第一协议标准的数据,所述第一数据包括多个处理任务;
运营单元,用于根据多个所述处理任务各自对应的转换规则执行所述处理任务,得到多个所述处理任务各自的处理结果;
执行单元,用于根据多个处理任务各自的处理结果将所述第一数据转换为第二数据。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的数据处理方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的数据处理方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的数据处理方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据处理方法的流程示意图;
图2是本申请实施例提供的获取任务处理结果的流程示意图;
图3是本申请实施例提供的获取表达式参数的流程示意图;
图4是本申请实施例提供任务并行处理流程示意图;
图5是本申请实施例提供任的任务对接流程图示意图;
图6是本申请实施例提供任的数据处理系统示意图;
图7是本申请实施例提供任的数据处理方法框图;
图8是本申请实施例提供终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
随着业务的发展和变化,许多机构需要开展多个自动化业务,需要与不同的业务系统进行数据对接与数据共享。现有技术中,当业务系统与企业系统进行对接时,需要单独设计并开发符合企业系统的对接协议,一般是以接口文档为蓝本,一个一个接口编码实现,对不同需求通过编码实现。这种方式存在大量重复工作,这种方式导致存在大量重复工作,效率较低。
以金融行业为例,金融机构在对外开展自动化业务时,比如放贷,都需要业务机构和金融机构进行API接口对接,金融机构接口是现有的,业务机构需要去适应。当业务机构试图扩展业务,就需要和不同的金融机构对接,并去适应相应的对接协议。
往往,不同的金融机构都有自己的对接协议标准,这样业务机构就需要开发多套系统来对接。业务机构数据一般就自身一份,如何把业务机构的数据拓展开来,适应不同的金融机构是需要解决的问题。现在,一般是以接口文档为蓝本,一个一个接口编码实现,对不同需求通过编码实现。这种方式存在大量重复工作,不便于非开发人员了解对接流程,需求调整需要重新编写代码,并重新发版,效率较低。
为了解决上述问题,本申请实施例提供了一种数据处理方法,本申请将符合第一协议标准的第一数据中按照转换规则转换为符合第二协议标准的第二数据,通过上述方法,可以提高不同系统之间数据的转换效率。
参见图1,是本申请实施例提供的数据处理方法的流程示意图,所述数据处理方法应用于数据处理系统中的运营单元,作为示例而非限定,所述方法可以包括以下步骤:
步骤S101,获取第一业务系统对应的一组第一数据,所述第一数据为符合第一协议标准的数据,所述第一数据包括多个处理任务。
在本申请实施例中,第一业务系统是指某个特定的业务系统或应用程序,获取第一业务系统对应的一组第一数据意味着从该业务系统中获取一组特定的数据。所谓符合第一协议标准的数据,是指满足第一协议标准规定的数据格式、数据结构以及数据要求的数据。第一协议可能定义了数据的类型、字段、格式等内容,符合该标准的数据可以确保在系统之间的互操作性和数据的一致性。一组第一数据通常包括多个处理任务,这意味着这些数据需要进行一系列的处理或操作。处理任务可能包括数据清洗、数据转换、数据分析等,通过这些处理任务可以使得数据更加准确、完整、及时,并满足业务需求。
示例性的,第一业务系统可以为一家银行的业务处理系统,需要处理多笔客户申请贷款的数据,这些客户申请数据都符合该银行内部使用的第一贷款申请数据标准(第一协议标准),那么这些待处理的客户申请数据,就可以看作是业务系统中的第一数据,而其中第一数据的处理过程包括多个步骤,比如数据的验证、格式转换等步骤,可以将其中的需要处理第一数据的多个步骤确定为需要处理的多个处理任务。
步骤S102,根据多个所述处理任务各自对应的转换规则执行所述处理任务,得到多个所述处理任务各自的处理结果。
在本申请实施例中,根据需要执行的处理任务,确定每个任务需要进行的具体操作和转换规则,根据任务的转换规则,对待处理的数据按照规则进行相应的操作和转换。这可能涉及到数据的过滤、清洗、格式化、计算等操作等。执行转换规则后,每个处理任务都会得到一个处理结果。处理结果可以是转换后的数据集、统计结果、计算结果等,取决于任务的具体要求。将每个处理任务的结果进行汇总,并根据需要保存结果或将其用于后续的数据分析、报告生成等操作。
示例性的,假设有两个处理任务:进件检查和影音资料。对于两个待处理任务,转换规则可能包括删除重复数据、填充缺失值、修正数据格式等操作。执行这两个处理任务后,会得到两个处理结果,最后根据两个处理结果可以对数据进行适当的处理和转换,以满足具体的业务需求,并为后续的数据分析和决策提供准确的数据基础。
在一个实施例中,参见图2,是本申请实施例提供的获取任务处理结果的流程示意图,步骤S102包括:
步骤S1021,获取所述处理任务对应表达式的表达式参数,其中,所述表达式为对所述处理任务对应的转换规则。
在本申请实施例中,第一数据中的每个处理任务在后续处理时,可能需要根据一些规则/算法来计算或判断,这些规则/算法就是表达式,表达式需要依赖于处理任务本身的一些属性或字段来计算,这些属性和字段就可以看作是表达式参数。其处理任务对应的表达式可以从数据处理系统对应的配置数据库中获取,配置数据库存在于运营系统中,运营系统可以根据第一数据中的处理任务可以从对应的配置数据库中获取其对应的表达式。
例如,在金融行业,第一数据可以为客户申请贷款的数据记录,数据记录中的某一项处理任务为审批任务时,为需要根据客户资料计算通过率表达式,这个通过率表达式的参数可能是客户收入、还款能力等字段,根据已经获取的客户申请第一数据,就可以获取这个对应的通过率表达式所需要的参数,如收入字段值。所以总结来说,根据已经获取到的第一数据中的某个待处理任务,获取它们后续处理需要的表达式规则或算法依赖的那些参数信息。这些参数信息就可以看作是第一数据中审批任务对应的表达式参数。
在一个实施例中,参见图3,是本申请实施例提供的获取表达式参数的流程示意图,步骤S1021包括:
步骤S10211,判断是否存在所述处理任务对应表达式的表达式参数。
在本申请实施例中,在配置数据中,每个执行任务都会有一个唯一的标识符,以便与其他任务进行区分。同时,每个任务的配置中会包含对应的表达式,当需要执行某个任务时,可以通过任务标识符去配置数据中查找对应的表达式。这个表达式可以是一个数学公式、逻辑判断、字符串拼接等,根据具体的任务需求而定。在获取某个执行任务对应的表达式时需要判断表达式参数是否存在,换言之就是处理任务对应的表达式是否已经进行了计算获得了计算后的结果(表达式参数)。
一种实现方式可以为:对于一条第一数据中的一条处理任务,根据这个处理任务,获取其对应的表达式参数列表,判断这个表达式参数列表是否为空,如果参数列表为空,则表示处理任务实际上没有对应的表达式参数,说明其表达式未进行计算程序,如果参数列表不为空,则表示处理任务有对应的表达式参数,则说明其表达式已经进行过计算程序,通过遍历所有处理任务并判断其表达式参数列表是否为空,就可以判断是否真的存在处理任务对应表达式的表达式参数。
另一种实现方式可以为: 获取处理任务的表达式,检查该表达式是否满足预设条件;若满足预设条件,则表示存在处理任务的表达式参数;反之,则表示不存在处理任务对应的表达式参数。其中,预设条件可以为表达式结果存储位置有结果,或者表达式的状态为“已计算”, 或者日志中存在此表达式的计算记录,或者输入参数与存储结果参数一致。所以,通过查询表达式结果、状态、日志记录等方式,可以判断一个表达式是否已经进行过计算。
通过上述方法,可以判定是否存在第一数据中处理任务对应的表达式参数。
步骤S10212,若不存在所述待处理任务对应表达式的表达式参数,则获取所述表达式对应的数据源,其中,所述数据源包含符合所述第二协议标准的数据属性信息。
在本申请实施例中,如果待处理的任务对应的表达式参数不存在,这时需要获取这个表达式对应的数据源,数据源包含符合第二协议标准的数据属性信息。
一种实现方式中,首先需要调用数据处理中处理器任务列表的处理器信息,其处理器信息可以从配置数据中获取,如properties文件或yaml文件,程序在启动时从配置文件加载这些信息。在利用处理器处理一些业务数据时需要对应的处理器特征参数,根据处理器信息可以计算出所有处理器对应的特征参数值,然后根据处理器对应的特征参数值可以计算特征参数值表达式以获取计算结果,从对应的结果中提取可以数据源。数据源系统中可以查询和提取符合第二协议标准的数据属性,这里的第二协议标准可能和第一协议标准不同,第二协议标准可以为符合数据处理系统输出数据的协议标准,它规定了什么样的数据属性是允许使用的。
步骤S10213,根据所述数据源获取所述待处理任务对应表达式的表达式参数。
在本申请实施例中,通过从表达式对应的数据源中提取出符合第二协议标准的数据属性作为结果,这些数据属性可以作为替代表达式参数使用,返回数据源查询结果,作为表达式缺失参数的替代输入,所以,当表达式参数不存在时,从表达式对应的真实数据源中,提取符合另一套标准的属性,作为替代输入,以便计算该表达式,可以得到第一数据对应的表达式参数。
上述方法中,根据处理任务获取转换规则的转换信息,根据转换信息获取转换参数,不需要对处理的任务按照需要对接的业务系统进行接口的一一对应编码开发,只需要根据转换参数对数据进行转换即可,通过上述方式,可以提高不同业务系统之间数据的转换能力。
在一个实施例中,步骤S10213包括:
判断是否存在所述数据源;若存在所述数据源,则计算所述数据源并获取计算后的数据源;根据所述计算后的数据源获取所述待处理任务对应表达式的表达式参数;若不存在所述数据源,则重新获取所述处理任务。
在本申请实施例中,在确定不存在表达式参数时,检查该表达式对应的数据源是否满足预设条件;若满足预设条件,则表示数据源存在且不包含计算结果,其中,预设条件可以为数据源结果存储位置没有结果,或者数据源的状态为“未计算”, 或者日志中存在此表达式的计算记录,或者输入参数与存储结果参数不一致。所以,通过查询表达式结果、状态、日志记录等方式,可以判断一个数据源是否已经进行过计算。若数据源存在且未进行过计算,则需要对数据源进行计算操作,并可以提取数据源的属性,提取到的数据源属性即为表达式参数。 若数据源已进行过计算,可以直接对数据源结果存储位置的数据进行属性值的提取,但是,如果待处理任务不存在数据源,需要重新获取新的处理任务按照上述步骤进行处理。
上述方法中,对于每条处理任务,根据每条处理任务获取其对应的属性信息,并根据属性信息可以获取其对应转换规则的转换参数,不需要对每条任务开发与标准数据对应的接口。通过上述方式,可以减少开发。
步骤S1022,根据所述表达式参数计算所述表达式,得到所述表达式的输出值,所述输出值为所述处理任务的处理结果。
在本申请实施例中, 将上述得到的表达式参数赋值给表达式即可以得到表达式的输出值,其实现方法可以为:如果表达式是使用占位符表示参数的字符串,可以直接用字符串替换方法替换占位符为参数值,得到新的表达式字符串,然后计算。如果表达式支持脚本语言计算,可以使用脚本引擎将参数预先定义为变量,然后计算脚本得到结果。
步骤S103,根据多个处理任务各自的处理结果将所述第一数据转换为第二数据,其中,所述第二数据为符合第二业务系统中第二协议标准的数据。
在本申请实施例中,使用处理任务的处理结果对第一数据进行转换和映射,以生成符合第二业务系统中第二协议标准的数据,第二协议可能定义了第二业务系统所需的数据格式、结构、字段要求等。通过转换后,生成的第二数据应该满足这些协议标准,以确保数据的一致性、互操作性和适应业务系统的需求。根据第二协议的验证规则,对转换后的数据进行验证,并确保数据的规范性、准确性和完整性。
在一个实施例中,步骤S103包括:
将多个所述处理任务各自的处理结果输入符合所述第二协议标准的协议程序;运行所述协议程序以获取所述第一数据转换后的第二数据。
在本申请实施例中,协议程序可以为JSON(JavaScript Object Notation)协议,JSON协议是一个轻量级的数据交换格式,它基于JavaScript的对象语法,使得JSON数据非常容易解析和生成。JSON采用完全独立于语言的文本格式,使其成为不同系统之间交换信息的理想格式,文件的解析轻量,解析成为对象对像后更易于程序处理,通过键值对的方式可以很方便地描述结构化数据,总之,JSON是一个非常流行的轻量级数据交换格式,广泛应用于Web服务与移动应用之间的数据交互。它具有格式简单、解析高效的优点,非常适合作为系统间通信的数据格式。
上述协议程序符合第二协议标准,该程序需要一个输入参数,可以将处理任务产生的中间结果作为输入,运行协议程序,在程序内部定义转换逻辑:根据输入值和定义转换规则,转换第一数据格式、结构或者值,转换后数据封装到符合第二协议标准的对象/格式,运行(调用)该协议转换程序,将表达式输出值作为参数传入程序,程序内部运行转换逻辑,输出转换后第二数据。
通过上述方法,不需要对于不同的处理任务开发不同的协议程序,根据处理任务的输出结果运行对应的协议程序就可以对数据进行转换。通过上述方式,可以使不同业务系统之间进行数据的快速转换。
在一个实施例中,所述方法还包括:
实时扫描所述数据处理系统中的多条第一数据对应的多个执行任务, 对所述多个执行任务进行并行处理,以将所述第一数据转换为所述第二数据。
在本申请实施例中,每条数据对应多个执行步骤,1条任务对应为1条记录某个步骤的一次处理,进件、放款和还款都是一种记录,每条记录由若干步骤构成,采用多线程并发机制提高效率。
示例性的,参见图4,是本申请实施例提供任务并行处理流程示意图。如图4所示,在本申请实施例中,并行处理流程可以包括以下步骤:
S401,扫描N条待处理任务。
数据处理系统通过某种方式遍历/访问API接口,以获取N条需要处理的任务,在获取N条任务对象后,会对其进行某些处理,如调用任务处理方法等。
S402,判断结果集是否为空。
在API接口进行扫描之后,需要判断扫描的结果,看扫描的结果中是否包含需要处理的任务。
S403,若结果集不为空,则进行任务分派。
若结果集为空,则结束。
若扫描结果不为空集,则说明数据处理系统包含多条待处理的任务,此时需要将多个待处理任务根据某些规则或标准进行细分,分解成多个相对独立的小任务。相反,如果扫描结果为空集,则说明数据处理系统中不包含待处理的任务则数据处理系统结束工作。
例如,如图4所示,任务分派为两个新任务A和B,每个新任务对应一个线程(线程1和线程2)。对于每个线程的处理过程见S404-S406。
S404,处理任务。
对于每条任务的处理过程可以参见上述步骤S101-S103的过程,获取每条任务对应的转换规则,根据转换规则每条执行处理任务,得到多个执行任务各自对应的处理结果,最后根据多个处理结果将第一数据转换为第二数据。
S405,告知主线程任务处理结束。
当对每条待处理的任务完成处理后,可以,通过设置标识变量、使用同步机制、回调函数等方式告知主线程(线程1和线程2)任务处理结束。
S406,判断是否有待处理的新任务。
若有,则返回至新任务A或新任务B处按照上述S404-S406重新处理待处理的新任务。
若无,则将线程处理任务结束的信息发送至线程计数器。
当处理完一个处理任务时,需要重新判断是否有新任务需要进行处理,如果有,则需要根据上述S404-S406的步骤对新任务进行处理,如果没有新任务,则需要将任务处理结束的信息发送至线程计数器。
S407,线程计数器统计当前的线程数量线程计数器是一个整型变量,用来记录和存储线程数量,每当一个线程结束时,计数器的值会自动减1。
S408,判断所有线程是否均已结束。
若是,则返回S401。若否,则等待。判断线程计数器的值是否为0,当计数器值等于0时,表示所有线程均已结束。如果不等于0则等待,数据处理系统对未处理完的任务进行处理。
通过上述多线程并发机制的方法,可以提高数据处理系统的吞吐量,提高数据转换效率。
在一个实施例中,所述方法还包括:
根据多个所述处理任务生成任务流程图,所述任务流程图包括多个所述处理任务执行的先后顺序以及多个所述处理任务各自的处理结果;
根据所述先后顺序以及多个处理任务各自的处理结果将所述第一数据转换为第二数据。
示例性的,参见图5,是本申请实施例提供任的任务对接流程图示意图。在本申请实施例中,可以把第一数据转为第二数据的任务整理成为如图5所示的流程图,流程确定之后,在页面编辑。首先定义整个对接的基本流程可以如下图5所示, 在金融行业中,业务结构与金融机构进行业务对接时,业务数据(第一数据)可以为进行、放款、还款等申请记录,而每一条申请记录又由若干步骤构成即包含多个处理任务,如在数量“进行”申请记录时,其处理步骤包含图5所示中的进件检查、上传影音资料、审批申请、查询审批申请结果、和终态结果(成功或失败)。每个步骤之间的关联用箭头表示。如对接流程图的开始为进件检查1,若进件检查成功需要进行上传影音资料2,在上述影音资料2成功后进行审批申请3,如果在审批过程中若授信失败则表示此任务处理失败,若未失败需要查询审批申请结果4,最后若审批申请结果中授信查询失败同样表示任务处理失败,若审批申请结果中可进行授信查询处理,则任务终态表示成功。最后根据任务处理结果将第一数据转换为第二数据,执行方式与上述步骤S103中实施例的执行方式相同。
示例性的,对于上述进件检查1、上述影音资料2、审批申请3以及查询审批申请结果4的处理过程成功后可以每个人任务对应的输出值,最后将每个任务对应的输出值输入至协议程序并运行,可以将多个处理任务组成的第一数据转换为第二数据,根据此逻辑,开发在配置完对应的流程步骤后就能得到如下5所示的流程图,基于此图,开发和非开发人员都可以很清楚一个具体的对接流程。对于上述每个步骤,通过协议程序进行对接,开发人员可以通过页面就完成对接协议。对接协议编辑发布后,后台系统开始根据规则来运行。
通过上述对接流程图,可以使开发人员和非开发人员清楚有多少流程,以及每个流程的步骤如何,便于分析定位。
参见图6,是本申请实施例提供任的数据处理系统示意图,如图6所示所述数据处理系统包括:
应用接口单元61,用于获取第一业务系统对应的一组第一数据,所述第一数据为符合第一协议标准的数据,所述第一数据包括多个处理任务。
运营单元62,用于根据多个所述处理任务各自对应的转换规则执行所述处理任务,得到多个所述处理任务各自的处理结果。
执行单元63,用于根据多个处理任务各自的处理结果将所述第一数据转换为第二数据。
在本申请实施例中,在本申请实施例中,应用接口(Application ProgrammingInterface,API)单元是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码或理解内部工作机制的细节。数据处理系统将输入数据传给API单元,API单元根据输入数据进行数据的转换等预处理工作,获得处理后的输入数据(第一数据),第一数据符合第一协议标准。
运营单元用于获取对应第一数据中处理任务对应的表达式的表达式参数,可以从配置数据库中读取表达式,根据处理任务从定义中匹配获取表达式参数;执行单元根据表达式参数将第一数据转换为第二数据,接收第一个单元返回的第一数据和第二个单元返回的表达式参数,根据表达式定义实现转换逻辑代码,将第一数据作为输入,根据参数执行转换计算,输出转换后的第二数据。
参见图7,是本申请实施例提供任的获取转换规则的流程示意图,如图7所示,对于数据处理系统输入的第一数据的某个处理任务t,对其进行处理时,首先需要获取处理任务t对应的表达式71,若表达式71无对应的表达式参数,此时需要获取表达式71对应的数据源72,在获取数据源之后,需要判断数据源是否已经进行过计算,若没有,需要在运营系统中的配置数据库中获取处理任务t对应的处理器信息还有处理器特征参数73。然后计算处理器特征参数及其对应的处理器特征参数表达式74,并根据其计算结果可以提取到数据源75,根据已经计算过的数据源可以提取数据源值76,并根据数据源76可以计算数据源的属性77,得到的属性值,77即为表达式71对应的表达式参数78,并对其表达式参数进行缓存,最后利用表达式71对应的表达式参数78计算表达式71可以获取输出结果,并利用执行处理器进行处理,可以获得处理结果。将多条记录按照上述方法获得多个任务处理结果,最后根据任务处理结果可以将第一数据转换为第二数据。通过上述方法可以提高不同业务系统之间数据转换的效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图8是本申请实施例提供的终端设备的结构示意图。如图8所示,该实施例的终端设备8包括:至少一个处理器80(图8中仅示出一个)处理器、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82,所述处理器80执行所述计算机程序82时实现上述任意各个数据处理方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图8仅仅是终端设备8的举例,并不构成对终端设备8的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit,CPU),该处理器80还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述终端设备8的内部存储单元,例如终端设备8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述终端设备8的外部存储设备,例如所述终端设备8上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法,包括:其特征在于,所述数据处理方法包括:
获取第一业务系统对应的一组第一数据,所述第一数据为符合第一协议标准的数据,所述第一数据包括多个处理任务;
根据多个所述处理任务各自对应的转换规则执行所述处理任务,得到多个所述处理任务各自的处理结果;
根据多个处理任务各自的处理结果将所述第一数据转换为第二数据,其中,所述第二数据为符合第二业务系统中第二协议标准的数据。
2.如权利要求1所述的数据处理方法,其特征在于,根据每个所述处理任务对应的转换规则执行所述处理任务,得到所述处理任务的处理结果的步骤包括:
获取所述处理任务对应表达式的表达式参数,其中,所述表达式为对所述处理任务对应的转换规则;
根据所述表达式参数计算所述表达式,得到所述表达式的输出值,所述输出值为所述处理任务的处理结果。
3.如权利要求2所述的数据处理方法,其特征在于,所述获取所述处理任务对应表达式的表达式参数,包括:
判断是否存在所述处理任务对应表达式的表达式参数;
若不存在所述处理任务对应表达式的表达式参数,则获取所述表达式对应的数据源,其中,所述数据源包含符合所述第二协议标准的数据属性信息;
根据所述数据源获取所述处理任务对应表达式的表达式参数。
4.如权利要求3所述的数据处理方法,其特征在于,所述根据所述数据源信息获取所述处理任务对应表达式的表达式参数,包括:
判断是否存在所述数据源;
若存在所述数据源,则计算所述数据源并获取计算后的数据源;
根据所述计算后的数据源获取所述第一数据对应的表达式参数。
5.如权利要求2所述的数据处理方法,其特征在于,所述根据多个处理任务各自的处理结果将所述第一数据转换为第二数据,包括:
将多个所述处理任务各自的处理结果输入符合所述第二协议标准的协议程序;
运行所述协议程序以获取所述第一数据转换后的第二数据。
6.如权利要求1所述的数据处理方法,其特征在于,所述根据多个所述处理任务各自对应的转换规则执行所述处理任务,得到多个所述处理任务各自的处理结果,包括:
对所述多个处理任务进行并行处理,得到多个所述处理任务各自的处理结果。
7.如权利要求2所述的数据处理方法,其特征在于,所述方法还包括:
根据多个所述处理任务生成任务流程图,所述任务流程图包括多个所述处理任务执行的先后顺序以及多个所述处理任务各自的处理结果;
根据所述先后顺序以及多个处理任务各自的处理结果将所述第一数据转换为第二数据。
8.一种数据处理系统,其特征在于,所述数据处理系统包括:
应用接口单元,用于获取第一业务系统对应的一组第一数据,所述第一数据为符合第一协议标准的数据,所述第一数据包括多个处理任务;
运营单元,用于根据多个所述处理任务各自对应的转换规则执行所述处理任务,得到多个所述处理任务各自的处理结果;
执行单元,用于根据多个处理任务各自的处理结果将所述第一数据转换为第二数据。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202311334393.5A 2023-10-16 2023-10-16 数据处理方法、终端设备及计算机可读存储介质 Active CN117076546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311334393.5A CN117076546B (zh) 2023-10-16 2023-10-16 数据处理方法、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311334393.5A CN117076546B (zh) 2023-10-16 2023-10-16 数据处理方法、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN117076546A true CN117076546A (zh) 2023-11-17
CN117076546B CN117076546B (zh) 2024-04-26

Family

ID=88706466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311334393.5A Active CN117076546B (zh) 2023-10-16 2023-10-16 数据处理方法、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN117076546B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003204824A1 (en) * 2002-06-20 2004-01-22 Canon Kabushiki Kaisha Methods for Interactively Defining Transforms and for Generating Queries by Manipulating Existing Query Data
CN1996854A (zh) * 2006-12-22 2007-07-11 中国建设银行股份有限公司 不同应用系统间数据交换的统一处理系统及方法
CN112286918A (zh) * 2020-10-23 2021-01-29 佳都新太科技股份有限公司 数据快速接入转换的方法、装置、电子设备及存储介质
CN115525629A (zh) * 2022-10-11 2022-12-27 网易(杭州)网络有限公司 数据处理方法、装置、存储介质及电子设备
CN116401025A (zh) * 2023-03-10 2023-07-07 杭州萤石软件有限公司 一种数据处理系统及数据处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003204824A1 (en) * 2002-06-20 2004-01-22 Canon Kabushiki Kaisha Methods for Interactively Defining Transforms and for Generating Queries by Manipulating Existing Query Data
CN1996854A (zh) * 2006-12-22 2007-07-11 中国建设银行股份有限公司 不同应用系统间数据交换的统一处理系统及方法
CN112286918A (zh) * 2020-10-23 2021-01-29 佳都新太科技股份有限公司 数据快速接入转换的方法、装置、电子设备及存储介质
CN115525629A (zh) * 2022-10-11 2022-12-27 网易(杭州)网络有限公司 数据处理方法、装置、存储介质及电子设备
CN116401025A (zh) * 2023-03-10 2023-07-07 杭州萤石软件有限公司 一种数据处理系统及数据处理方法

Also Published As

Publication number Publication date
CN117076546B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US10783116B2 (en) Systems and methods for managing data
CN110471949B (zh) 数据血缘分析方法、装置、系统、服务器及存储介质
CN110601880B (zh) 一种云平台、业务处理方法、命令接口及计算机设备
CN107862425B (zh) 风控数据采集方法、设备、系统及可读存储介质
CN110413507B (zh) 系统测试方法、装置、计算机设备和存储介质
CN109614327B (zh) 用于输出信息的方法和装置
CN108460068B (zh) 报表导入导出的方法、装置、存储介质及终端
CN112445866A (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN108897729B (zh) 一种交易模板共享方法、装置、电子设备及存储介质
CN112905323A (zh) 数据处理方法、装置、电子设备及存储介质
CN113806332B (zh) 一种异构系统集成数据处理方法、装置和计算机设备
CN115330540A (zh) 一种处理交易数据的方法和装置
CN112990937A (zh) 资源数据采集方法、装置、计算机设备和存储介质
CN117076546B (zh) 数据处理方法、终端设备及计算机可读存储介质
CN111045983A (zh) 核电站电子文件管理方法、装置、终端设备及介质
CN111143461A (zh) 映射关系处理系统、方法和电子设备
CN106528718B (zh) 用于处理来自第三方的数据的方法及装置
CN114896955A (zh) 数据报表加工方法、装置、计算机设备及存储介质
CN114492324A (zh) 组件数据统计方法及装置
Falkenthal et al. Requirements and enforcement points for policies in industrial data sharing scenarios
CN114691768A (zh) 一种数据处理方法、核算系统及相关设备
CN114511318A (zh) 一种账户核算方法、装置及电子设备
CN114371866A (zh) 业务系统的版本重构测试方法、装置和设备
US11909858B1 (en) System and method for generating and performing a smart contract
CN118586869A (zh) 一种发票处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant