CN113434527B - 数据处理的方法、装置、电子设备和存储介质 - Google Patents

数据处理的方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113434527B
CN113434527B CN202110770535.7A CN202110770535A CN113434527B CN 113434527 B CN113434527 B CN 113434527B CN 202110770535 A CN202110770535 A CN 202110770535A CN 113434527 B CN113434527 B CN 113434527B
Authority
CN
China
Prior art keywords
data
model
processing
data model
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110770535.7A
Other languages
English (en)
Other versions
CN113434527A (zh
Inventor
张舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Zhenshi Information Technology Co Ltd
Original Assignee
Beijing Jingdong Zhenshi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Zhenshi Information Technology Co Ltd filed Critical Beijing Jingdong Zhenshi Information Technology Co Ltd
Priority to CN202110770535.7A priority Critical patent/CN113434527B/zh
Publication of CN113434527A publication Critical patent/CN113434527A/zh
Application granted granted Critical
Publication of CN113434527B publication Critical patent/CN113434527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/73Program documentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据处理的方法、装置、电子设备和存储介质,涉及计算机技术领域。该方法的一具体实施方式包括:接收业务数据的处理请求,获取处理请求中业务数据的处理规则,以确定处理规则对应的各数据模型,从处理规则中提取各数据模型的模型参数,以输入至各数据模型的代码模板,得出数据模型代码;基于所述处理规则,确定各数据模型的执行顺序,结合所述数据模型代码生成数据处理文档,执行所述数据处理文档以得到所述业务数据对应的处理结果并返回。该实施方式能够解决因业务方的需求变更频繁,导致文档和数据系统不一致,开发的数据系统无法准确处理业务数据的问题。

Description

数据处理的方法、装置、电子设备和存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理的方法、装置、电子设备和存储介质。
背景技术
数据系统开发过程中,一般流程为研发人员基于业务方需求编写出对应的文档,开发人员根据文档进行数据系统开发。如果涉及需求变更,则可以修改文档,然后开发人员按照修改的文档对开发内容进行变更,最终输出开发完成的数据系统和对应的文档。
但是,由于在开发过程中,业务方的需求变更频繁,所以文档和开发的数据系统也需要频繁修改,很容易出现文档和开发的数据系统之间信息同步时出现信息丢失,导致文档和数据系统不一致,进而开发的数据系统无法准确处理业务数据的问题。
发明内容
有鉴于此,本发明实施例提供一种数据处理的方法、装置、电子设备和存储介质,能够解决因业务方的需求变更频繁,导致文档和数据系统不一致,开发的数据系统无法准确处理业务数据的问题。
为实现上述目的,根据本发明实施例的一个方面,提供了一种数据处理的方法。
本发明实施例的一种数据处理的方法包括:接收业务数据的处理请求,获取所述处理请求中业务数据的处理规则,以确定所述处理规则对应的各数据模型,从所述处理规则中提取各所述数据模型的模型参数,以输入至各所述数据模型的代码模板,得出数据模型代码;基于所述处理规则,确定各数据模型的执行顺序,结合所述数据模型代码生成数据处理文档,执行所述数据处理文档以得到所述业务数据对应的处理结果并返回。
在一个实施例中,生成数据处理文档,包括:
生成各所述数据模型的标识,存储每个所述数据模型对应标识、模型参数、执行顺序和数据模型代码之间的映射关系,以生成数据处理文档的数据模型关系表;
生成每个所述数据模型对应的模型图,基于所述数据模型的执行顺序,连接所述模型图,以生成数据处理文档的数据模型关系图。
在又一个实施例中,在生成所述目标模型之后,还包括:
接收查看请求,获取所述查看请求中待查看数据模型的标识;
基于所述待查看数据模型的标识,查询所述数据模型关系表,得出所述待查看数据模型对应的映射关系,通过数据表显示查询的映射关系;和/或,
基于所述待查看数据模型的标识,查询所述待查看数据模型的模型图,以及与所述待查看数据模型连接的模型图,显示查询的模型图。
在又一个实施例中,所述确定所述处理规则对应的各数据模型,包括:
识别所述处理规则中对应的数据运算标识,从预设的数据模型库中确定所述数据运算标识对应的数据模型。
在又一个实施例中,从所述处理规则中提取各所述数据模型的模型参数,包括:
基于预设的模型参数字段,从所述处理规则中提取各所述数据模型对应所述模型参数字段的字段值,以确定为对应的模型参数。
在又一个实施例中,还包括:
接收文档更新请求,获取所述文档更新请求中数据模型标识和对应的更新处理规则,从所述更新处理规则中提取所述数据模型标识对应数据模型的模型参数,以输入至对应的代码模板,进而更新所述数据模型代码;
基于所述更新处理规则更新所述数据模型的执行顺序,以结合更新的数据模型代码更新所述数据处理文档。
为实现上述目的,根据本发明实施例的另一方面,提供了一种数据处理的装置。
本发明实施例的一种数据处理的装置包括:接收单元,用于接收业务数据的处理请求,获取所述处理请求中业务数据的处理规则,以确定所述处理规则对应的各数据模型,从所述处理规则中提取各所述数据模型的模型参数,以输入至各所述数据模型的代码模板,得出数据模型代码;处理单元,用于基于所述处理规则,确定各数据模型的执行顺序,结合所述数据模型代码生成数据处理文档,执行所述数据处理文档以得到所述业务数据对应的处理结果并返回。
在一个实施例中,所述处理单元,具体用于:
生成各所述数据模型的标识,存储每个所述数据模型对应标识、模型参数、执行顺序和数据模型代码之间的映射关系,以生成数据处理文档的数据模型关系表;
生成每个所述数据模型对应的模型图,基于所述数据模型的执行顺序,连接所述模型图,以生成数据处理文档的数据模型关系图。
在又一个实施例中,所述处理单元,具体用于:
接收查看请求,获取所述查看请求中待查看数据模型的标识;
基于所述待查看数据模型的标识,查询所述数据模型关系表,得出所述待查看数据模型对应的映射关系,通过数据表显示查询的映射关系;和/或,
基于所述待查看数据模型的标识,查询所述待查看数据模型的模型图,以及与所述待查看数据模型连接的模型图,显示查询的模型图。
在又一个实施例中,所述接收单元,具体用于:
识别所述处理规则中对应的数据运算标识,从预设的数据模型库中确定所述数据运算标识对应的数据模型。
在又一个实施例中,所述接收单元,具体用于:
基于预设的模型参数字段,从所述处理规则中提取各所述数据模型对应所述模型参数字段的字段值,以确定为对应的模型参数。
在又一个实施例中,所述接收单元,还用于接收文档更新请求,获取所述文档更新请求中数据模型标识和对应的更新处理规则,从所述更新处理规则中提取所述数据模型标识对应数据模型的模型参数,以输入至对应的代码模板,进而更新所述数据模型代码;
所述装置还包括:
更新单元,用于基于所述更新处理规则更新所述数据模型的执行顺序,以结合更新的数据模型代码更新所述数据处理文档。
为实现上述目的,根据本发明实施例的再一个方面,提供了一种电子设备。
本发明实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的数据处理的方法。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例提供的数据处理的方法。
上述发明中的一个实施例具有如下优点或有益效果:本发明实施例中,处理请求可以包括业务数据的处理规则,接收业务数据的处理请求后,可以确定出处理规则对应的各数据模型,即实现处理规则所需的数据模型,进而从处理规则中提取各所述数据模型的模型参数,以得出数据模型代码;并且基于处理规则可以确定出各数据模型的执行顺序,也就是各数据模型处理数据的流向,即可以确定出各数据模型之间的连接,进而结合得出的数据模型代码可以生成数据处理文档,数据处理文档中包括了各数据模型代码和数据模型的执行顺序,所以执行数据处理文档即可实现对业务数据的处理,进而得出处理结果并返回。本发明实施例中,基于业务数据的处理规则来确定出数据模型代码和数据模型的执行顺序,从而生成可以直接执行、以对业务数据进行处理的数据处理文档,如此将文档编写和系统开发过程结合,使文档变更和系统开发可以同步实现,避免出现文档和开发的数据系统不一致,导致开发的数据系统无法准确处理业务数据的问题,保证业务数据处理的准确性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的数据处理的方法的一种主要流程的示意图;
图2是根据本发明实施例的数据处理文档的一种数据模型关系图的示意图;
图3是根据本发明实施例的数据处理文档的又一种数据模型关系图的示意图;
图4是根据本发明实施例的数据处理文档的更新方法的一种主要流程的示意图;
图5是根据本发明实施例的数据处理文档的另一种数据模型关系图的示意图;
图6是根据本发明实施例的数据处理文档的再一种数据模型关系图的示意图;
图7是根据本发明实施例的数据处理的装置的主要单元的示意图;
图8是本发明实施例可以应用于其中的一种示例性系统架构图;
图9是适于用来实现本发明实施例的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要指出的是,在不冲突的情况下,本发明中的实施例以及实施例中的特征可以互相组合。
本发明实施例提供一种数据处理系统,该系统可以用于业务数据处理的场景。
本发明实施例中,数据处理系统中可以预先设置数据模型库,包括各种数据模型,数据模型可以用于实现数据的运算处理,例如,对输入数据的求和处理、求平均值处理等等。各数据模型设置对应的代码模板,代码模板中包括待替换模型参数,在需要使用数据模型处理业务数据时可以将业务数据对应的模型参数输入至代码模板中,替换代码模板中待替换模型参数,从而可以得出用于处理业务数据的数据模型代码。
本发明实施例中,可以设置与数据运算对应的数据运算标识,并基于各数据模型所实现的数据运算,建立各数据模型与数据运算标识之间的对应关系,如此在确定业务数据处理所需的数据运算后,可以基于数据运算标识查询对应关系,进而确定出实现该数据运算的数据模型。
本发明实施例中预先设置数据模型,则基于数据模型可以得出用于业务数据处理的数据模型代码。对业务数据的处理通常需要一种或多种数据运算,或者执行一次或多次数据运算,所以对业务数据的处理有可能需要多个数据模型完成,此时各数据模型执行的先后顺序可以基于模型参数确定。具体的,模型参数中可以包括数据模型的输入数据,以及输入数据的来源,即输入数据为哪个数据模型的处理结果,如此即可确定出各数据模型的执行顺序。如此结合各数据模型的执行顺序和数据模型代码即可生成业务数据的数据处理文档。通过执行数据处理文档即可实现对业务数据的处理。
本发明实施例中,数据处理文档即可体现业务数据处理的规则,也可以实现对业务数据的处理,相当于将文档编写和系统开发过程结合,使文档变更和系统开发可以同步实现,避免出现文档和开发的数据系统不一致,导致开发的数据系统无法准确处理业务数据的问题,保证业务数据处理的准确性。
需要说明的是,执行顺序可以表示数据模型的输入数据的来源,即数据模型的输入数据来源于哪个数据模型的输出,即表示了执行时顺序位于该数据模型前一位的数据模型,所以也表示了业务数据处理时的数据加工流向。
本发明实施例提供了一种数据处理的方法,该方法可由数据处理系统执行,如图1所示,该方法包括:
S101:接收业务数据的处理请求,获取处理请求中业务数据的处理规则,以确定处理规则对应的各数据模型,从处理规则中提取各数据模型的模型参数,以输入至各数据模型的代码模板,得出数据模型代码。
其中,在业务方提出需求时,开发人员可以基于业务方的需求分析业务数据的处理规则,即业务数据的处理逻辑。数据处理系统接收业务数据的处理请求,处理请求中包括了业务数据的处理规则。具体的,业务数据的处理规则可以为文字描述,也可以为流程图描述等,本发明实施例不做限定。
本发明实施例中,在获取业务数据的处理规则后可以确定出对业务数据处理所包括的数据运算,以及数据运算的执行顺序。进而基于处理规则中的数据运算,可以从数据处理系统设置的数据模型中查询出实现处理规则中数据运算所需的数据模型,即处理规则对应的各数据模型。在查询出处理规则对应的各数据模型后,本步骤中还可以从处理规则中提取出在各数据模型的模型参数,实现数据运算所需的参数,并将其输入值数据模型对应的代码模板中,从而得出数据模型代码。
具体的,本发明实施例中,业务数据通常以数据表的格式存储,所以对业务数据的处理可以包括对数据表中业务数据通过一种或多种数据运算处理,进而得出处理结果。所以业务数据的处理规则可以为包括对业务数据如何通过一种或多种数据运算得出处理结果的过程。例如,处理规则可以为:从表A中过滤出列1中值为超市的数据,然后对过滤出的数据计算预设日期内订单量之和,由此上述处理规则可知业务数据为表A中数据,处理规则中包括的数据运算为数据过滤并求和。数据处理系统中可以设置此数据运算的数据运算标识和与该数据运算标识对应的数据模型,所以本步骤可以从处理规则中识别出数据过滤并求和的数据运算,并确定出此数据运算的数据运算标识,进而基于数据运算标识可以查询出对应的数据模型,即处理规则对应的数据模型。因此本步骤中查询处理规则对应的各数据模型可以具体执行为:识别处理规则中对应的数据运算标识,以查询数据运算标识对应的数据模型。
本发明实施例中,对各数据模型均可以预先设置模型参数字段,模型参数字段即为代码模板中待替换模型参数。如此在本步骤中查询出对应的数据模型后,即可基于预设的模型参数字段,从处理规则中提取数据模型对应模型参数字段的字段值,此字段值即为数据模型的模型参数。
例如本发明实施例中,可以设置预设模型字段可以包括数据表名、过滤条件、变化维、指标、运算逻辑(加工)、粒度、编码、对应代码。其中,数据表名表示存储该数据模型的输入数据的表名;过滤条件表示对输入数据过滤的条件,由于数据处理时可能并不是对数据表中存储的全部数据进行处理,此时可以通过过滤条件对数据表名存储数据进行过滤,以过滤出需要处理的数据;变化维表示数据处理时处理的数据范围,例如,数据处理规则为计算某个日期内订单量,则变化维可以为日期的具体值;指标表示本次数据处理结果的含义,例如本数据模型的数据处理结果为计算出订单数量和,则指标即为订单量;运算逻辑表示数据模型对应的数据运算,如求和、计算均值等;粒度表示数据处理的基本单位,例如数据处理为基于订单号来计算订单数量之和,则粒度即为订单号;编码表示数据模型的编码(标识);对应代码表示与该数据模型对应的数据模型代码,本发明实施例中数据模型对应的代码模板可以由预设的数据引擎自动生成。
如表1所示,为从数据处理规则中提取模型参数后的结果。其中,编号为00001数据模型对应的数据运算为数据过滤并求和,对应的数据处理规则为从表A中过滤出列1中值为超市的数据,然后对过滤出的数据计算日期内订单量之和,其中计算订单量之和时以订单号为处理单元,即每个订单号表示一个订单,提取出的模型参数如表1中第二行数据所示。编号为00002的数据模型对应数据运算为数据过滤并求平均值,对应数据处理规则为从表B中过滤出列2中值为百货的数据,然后对过滤出的数据计算时间内订单量均值,其中计算订单量均值时以订单号为处理单元,提取出的数据参数如表1中第三行数据所示。
表1
本发明实施例中,在提取出数据模型的模型参数后,将其输入数据模型的代码模板中,即可得出数据模型的数据模型代码。本发明实施例中在查询出处理规则对应的数据模型后,可以为各数据模型生成对应的标识和名称,以便于存储数据模型和数据模型代码之间的对应关系。由于对业务数据的处理中有可能会使用多次相同的数据运算,则此时可以对每一次数据运算确定出对应的数据模型,并提取出对应的模型参数,以得出每一次数据运算对应数据模型的数据模型代码和数据模型标识。本发明实施例中对处理规则的识别可以通过预训练的识别模型实现。
S102:基于处理规则,确定各数据模型的执行顺序,结合数据模型代码生成数据处理文档,执行数据处理文档以得到业务数据对应的处理结果并返回。
处理规则中可以包括各模型的模型参数,模型参数可以包括数据模型的输入数据的来源,即输入数据为哪个数据运算的处理结果,如此即可确定出输入数据来源于哪个数据模型,进而可以确定出数据模型之间的依赖关系,也就是各数据模型的执行顺序,即各数据模型执行时的数据加工流向。如此在确定处理业务数据所需数据模型的数据模型代码和各数据模型的执行顺序后,即可生成业务数据对应的数据处理文档。本发明实施例中业务数据处理系统可以与各业务数据生成系统建立连接,进而可以直接从业务数据生成系统中获取需要处理的业务数据,所以通过执行数据处理文档即可实现对业务数据的处理,进而得出业务数据的处理结果并返回至步骤S101中处理请求的发送端。
本发明实施例中,生成的数据处理文档可以包括数据表的形式和模型图的形式。具体的,生成数据处理文档可以执行为:生成各数据模型的标识,存储每个数据模型对应标识、模型参数、执行顺序和数据模型代码之间的映射关系,以生成数据处理文档的数据模型关系表;生成每个数据模型对应的模型图,基于数据模型的执行顺序,连接模型图,以生成数据处理文档的数据模型关系图。
步骤S101中确定了处理规则对应的数据模型代码,也就是处理业务数据的程序代码,进而结合各数据模型的执行顺序,可以基于连接顺序依次执行数据模型代码来处理业务数据,如此本发明实施例中可以存储各数据模型的标识、模型参数、执行顺序和数据模型代码之间的映射关系,以生成数据处理文档的数据模型关系表,从而通过数据模型关系表可以执行对业务数据的处理。
模型图的具体格式可以根据需求设置,例如可以为矩形框表示,本步骤中可以通过预设的模型图生成模型来生成各数据模型的模型图,生成的模型图与数据模型代码建立映射关系,从而使模型图运行时可以调用与其存在映射关系的数据模型代码。生成各数据模型的模型图后,可以基于数据模型的执行顺序,将各模型图连接起来,以体现业务数据处理的数据加工流向,进而生成数据处理文档的数据模型关系图。
本发明实施例中,数据处理文档中数据模型关系表和数据模型关系图均可以体现业务数据的处理逻辑,所以使用数据处理文档的用户可以通过数据模型关系表和数据模型关系图直接查看业务数据处理的处理逻辑,而不需要对代码进行分析,尤其对于代码了解较少用户,可以更加简单、清楚的了解业务数据的处理逻辑。
本发明实施例中,业务数据处理系统可以接收数据处理文档的查看请求。查看请求中可以包括待查看数据模型的标识,即需要查看的数据模型。接收查看请求后,可以基于数据模型的标识查询数据模型关系表,以查询出存储的待查看数据模型的映射关系,并通过数据表的方式显示,以便于对该数据模型处理逻辑的查看。具体的,如表2所示为对应待查看数据模型的映射关系进行显示的结果。
表2
其中,如表2所示,数据归集A为待查看数据模型的名称,执行顺序表示执行时顺序位于待查看数据模型前一位的数据模型的标识,模型参数表示待查看数据模型的模型参数和数据模型代码。如表2所示,执行时顺序位于数据归集A前一位的数据模型有两个。执行时顺序位于数据归集A前一位的数据模型有两个,此时可以分别以两行数据显示(如表2),也可以以一行数据显示,在此不做限定。
需要说明的是,为了便于用户了解待查看数据模型的处理逻辑,本发明实施例中还可以设置显示内容的层级。例如,将待查看数据模型作为第一等级层,将执行时顺序位于待查看数据模型前一位的数据模型作为第二等级层,并设置同时显示两个等级层中数据模型的映射关系。具体的,在表2所示内容基础上,00001表示的数据模型的名称为数据加工A,执行时顺序位于数据加工A前一位的为生成业务数据的系统,则查询出待查看数据模型的映射关系并显示的结果可以图表3所示。
表3
在表3中,L_1和L_2表示第一等级层的数据模型,即待查看数据模型,L_1_1和L_1_2表示第二等级层的数据模型,即执行时顺序位于前一位的数据模型,A系统和B系统表示生成业务数据的系统。
本发明实施例中,接收查看请求后,还可以基于查看请求中待查看数据模型的标识查询待查看数据模型的模型图,以及与待查看数据模型连接的模型图,然后显示查询的结果,即通过模型图的方式显示待查看数据模型的处理逻辑。如图2所示,为查询的模型图显示的一种结果示意图。图2中,数据归集A为待查看数据模型,数据加工A和数据加工B为执行顺序位于数据归集A前一位的数据模型,图中连线表示数据模型的执行顺序。通过图2显示的模型图可以直观、形象的了解数据归集A的处理逻辑。
需要说明的是,本发明实施例中,还可以将数据运算标识添加至模型图之间的连线上,以表示对数据处理所使用的数据运算,例如,如图2所示,数据加工A得出的数据输入数据归集A中需要进行求和运算,而求和运算对应的数据运算标识为1,则可以将1添加至数据加工A与数据归集A之间的连线上。
本发明实施例中,基于业务数据的处理规则来确定出数据模型代码和各数据模型的执行顺序,从而生成可以直接执行以对业务数据进行处理的数据处理文档,如此将文档编写和系统开发过程结合,使文档变更和系统开发可以同步实现,避免出现文档和数据系统不一致,导致开发的数据系统无法准确处理业务数据的问题,保证业务数据处理的准确性。
需要说明的是,本发明实施例中,还可以对各数据模型的基本信息进行配置,具体的配置方式可以如表4所示。在表4中,功能简述为对数据模型输出数据的概括,功能描述为对数据模型输出数据的详细描述。
表4
本发明实施例中,对各数据模型的执行顺序,也可以通过数据表存储,具体可以如表5所示。
表5
对本发明实施例中,数据处理文档中各数据模型的标识、以及存储各数据模型处理结果的数据报表的标识,均可以基于预设方式自动生成,具体生成方式不做限定。例如,对数据表可以设置如表6所示结构来生成数据表标识和数据列的标识。具体的表6中各部分标识生成方式可以如表7所示。
表6
表7
本发明实施例中,在生成数据处理文档后,如果业务方变更需求,则可以对数据处理文档进行更细,以便于数据处理文档可以适应业务方的需求。
下面结合图1所示的系统架构,对本发明实施例中数据处理文档的更新方法进行具体说明,如图4所示,该方法包括:
S401:接收文档更新请求,获取文档更新请求中数据模型标识和对应的更新处理规则,从更新处理规则中提取数据模型标识对应数据模型的模型参数,以输入至对应的代码模板,进而更新数据模型代码。
文档更新请求表示对数据处理文档更新的请求,数据更新请求中包括需要更新的数据模型标识和对应的更新处理规则,所以从更新处理规则中提取数据模型标识对应数据模型的模型参数,进而可以输入值该数据模型标识对应数据模型的代码模板,从而得出更新的数据模型代码,实现对数据模型的更新。
S402:基于更新处理规则更新数据模型的执行顺序,以结合更新的数据模型代码更新数据处理文档。
在更新数据模型的数据模型代码后,还需要对数据模型的执行顺序进行更新,具体的可以从步骤S401提取更新处理规则的模型参数中确定出各数据模型的执行顺序,进而实现对数据模型执行顺序的更新,相当于更新数据模型之间的连接,进而结合更新的数据模型代码,即可实现数据处理文档的更新。
需要说明的是,对数据模型的更新还可以包括对数据模型的删除和添加。对数据模型的删除时,文档更新请求可以包括数据模型的删除指令,此时业务数据处理系统可以直接基于数据模型的删除指令删除对应数据模型,以更新数据处理文档。对数据模型的添加时,文档更新请求可以包括数据模型的添加指令以及添加的处理规则,此时业务数据处理系统可以通过添加的处理规则确定对应数据模型,并提取对应的模型参数,以得出对应的数据模型代码和执行顺序,进而实现更新数据处理文档。
本发明实施例中,将文档编写和系统开发过程结合,使文档变更和系统开发可以同步实现,避免出现文档和数据系统不一致,导致开发的数据系统无法准确处理业务数据的问题,保证业务数据处理的准确性。
需要说明的是,本发明实施例中各数据模型对应的代码模板可以通过多种工具实现,例如可以是SQL,也可以是java,python等。
以指标维度的数据提取为例。例如,业务需求为提取单量指标相关维度信息,即A系统生成的业务数据中包括每一笔单的单量信息,B系统中生成的业务数据包括每一笔单所属的商家信息,此时需要提取出商家维度的单量指标,则需要结合两个系统中的业务数据进行处理得出。此时业务数据处理系统可以设置实现该数据运算的数据模型,该数据模型对应的代码模板可以如下所示。
上述代码模板中,变化维、粒度、加工、指标、数据表名、过滤条件等均为预设的模型参数字段,所以基于模型参数字段可以从实现上述业务需求的处理规则中提取模型参数,并输入至上述代码模板,以得出处理结果。本发明实施例中通过图1所示实施例生成上述业务需求对应的数据处理文档中数据模型关系图可以如图5所示。
本发明实施例,还可以用于收入分摊的场景中。例如,一组协作项目由10个小组共同完成,最终收入100元,如何分摊到每一个小组,以及各小组中每一个人,可以通过本发明实施例实现。处理规则中需要先抽象出数据中的分摊因子(用于计算分摊比例)、分摊维度(按区域分摊,按站点分摊等等)、分摊最细粒度等等,然后确定出具体的处理规则输入至业务数据处理系统。如图6所示,为本发明实施例中生成的一种上述业务需求对应数据处理文档的数据模型关系图。
在图6中,A1数据表示计算出分摊因子的总数,A2数据表示含有分摊因子的数据,A3数据表示计算出指定分摊维度下每一笔订单对应的分摊比例(分摊因子/分摊因子总数)、B1数据表示将待分摊数据粒度的数据按指定分摊维度数据加工、C1数据表示自动分摊规则,如此通过执行图6所示数据处理文档可以得出数据分摊的具体结果。本发明实施例中,可以预先设置实现图6所示各数据运算的数据模型,如此在生成数据处理文档时可以确定出数据模型后,通过图1所示实施例生成图6所示的数据处理文档。
本发明实施例还可以用于多种业务需求的场景,如公司成本归集、收入归集、单量归集等指标归集场景。例如,某公司需要将成本数据归集,但是其成本数据来源众多,并且每一种成本数据均来源于不同的子系统,此业务需求即为将各子系统的成本数据归集,对应的业务数据即为各子系统的成本数据,此时开发人员可以分析出一套归集方法,并确定出具体的处理规则,通过处理请求发送至业务数据处理系统,通过图1所示实施例即可生成业务数据对应的数据处理文档,进而执行此数据处理文档即可实现成本数据的归集,而数据处理文档可以记录成本归集的处理逻辑。
为了解决现有技术存在的问题,本发明实施例提供了一种数据处理的装置700,如图7所示,该装置700包括:
接收单元701,用于接收业务数据的处理请求,获取所述处理请求中业务数据的处理规则,以确定所述处理规则对应的各数据模型,从所述处理规则中提取各所述数据模型的模型参数,以输入至各所述数据模型的代码模板,得出数据模型代码;
处理单元702,用于基于所述处理规则,确定各数据模型的执行顺序,结合所述数据模型代码生成数据处理文档,执行所述数据处理文档以得到所述业务数据对应的处理结果并返回。
应理解的是,实施本发明实施例的方式与实施图1所示实施例的方式相同,在此不再赘述。
本发明实施例的一种实现方式中,所述处理单元702,具体用于:
生成各所述数据模型的标识,存储每个所述数据模型对应标识、模型参数、执行顺序和数据模型代码之间的映射关系,以生成数据处理文档的数据模型关系表;
生成每个所述数据模型对应的模型图,基于所述数据模型的执行顺序,连接所述模型图,以生成数据处理文档的数据模型关系图。
本发明实施例的又一种实现方式中,所述处理单元702,具体用于:
接收查看请求,获取所述查看请求中待查看数据模型的标识;
基于所述待查看数据模型的标识,查询所述数据模型关系表,得出所述待查看数据模型对应的映射关系,通过数据表显示查询的映射关系;和/或,
基于所述待查看数据模型的标识,查询所述待查看数据模型的模型图,以及与所述待查看数据模型连接的模型图,显示查询的模型图。
本发明实施例的又一种实现方式中,所述接收单元701,具体用于:
识别所述处理规则中对应的数据运算标识,从预设的数据模型库中确定所述数据运算标识对应的数据模型。
本发明实施例的又一种实现方式中,所述接收单元701,具体用于:
基于预设的模型参数字段,从所述处理规则中提取各所述数据模型对应所述模型参数字段的字段值,以确定为对应的模型参数。
本发明实施例的又一种实现方式中,所述接收单元701,还用于接收文档更新请求,获取所述文档更新请求中数据模型标识和对应的更新处理规则,从所述更新处理规则中提取所述数据模型标识对应数据模型的模型参数,以输入至对应的代码模板,进而更新所述数据模型代码;
所述装置700还包括:
更新单元,用于基于所述更新处理规则更新所述数据模型的执行顺序,以结合更新的数据模型代码更新所述数据处理文档。
应理解的是,实施本发明实施例的方式与实施图1或图4所示实施例的方式相同,在此不再赘述。
本发明实施例中,基于业务数据的处理规则来确定出数据模型代码和数据模型之间的连接,从而生成可以直接执行以对业务数据进行处理的数据处理文档,如此将文档编写和系统开发过程结合,使文档变更和系统开发可以同步实现,避免出现文档和数据系统不一致,导致开发的数据系统无法准确处理业务数据的问题,保证业务数据处理的准确性。
根据本发明的实施例,本发明实施例还提供了一种电子设备和一种可读存储介质。
本发明实施例的电子设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行本发明实施例所提供的数据处理的方法。
图8示出了可以应用本发明实施例的数据处理的方法或数据处理的装置的示例性系统架构800。
如图8所示,系统架构800可以包括终端设备801、802、803,网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备801、802、803通过网络804与服务器805交互,以接收或发送消息等。终端设备801、802、803上可以安装有各种客户端应用。
终端设备801、802、803可以是但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器805可以是提供各种服务的服务器,服务器可以对接收到的处理请求等数据进行分析等处理,并将处理结果(例如业务数据处理结果--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的数据处理的方法一般由服务器805执行,相应地,数据处理的装置一般设置于服务器805中。
应该理解,图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图9,其示出了适于用来实现本发明实施例的计算机系统900的结构示意图。图9示出的计算机系统仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分,上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括接收单元和处理单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,接收单元还可以被描述为“接收单元的功能的单元”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行本发明所提供的数据处理的方法。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (8)

1.一种数据处理的方法,其特征在于,包括:
接收业务数据的处理请求,获取所述处理请求中业务数据的处理规则,以确定所述处理规则对应的各数据模型,从所述处理规则中提取各所述数据模型的模型参数,以输入至各所述数据模型的代码模板,得出数据模型代码;
基于所述处理规则,确定各数据模型的执行顺序,结合所述数据模型代码生成数据处理文档,执行所述数据处理文档以得到所述业务数据对应的处理结果并返回;
所述生成数据处理文档,包括:
生成各所述数据模型的标识,存储每个所述数据模型对应标识、模型参数、执行顺序和数据模型代码之间的映射关系,以生成数据处理文档的数据模型关系表;
生成每个所述数据模型对应的模型图,基于所述数据模型的执行顺序,连接所述模型图,以生成数据处理文档的数据模型关系图。
2.根据权利要求1所述的方法,其特征在于,在生成目标模型之后,还包括:
接收查看请求,获取所述查看请求中待查看数据模型的标识;
基于所述待查看数据模型的标识,查询所述数据模型关系表,得出所述待查看数据模型对应的映射关系,通过数据表显示查询的映射关系;和/或,基于所述待查看数据模型的标识,查询所述待查看数据模型的模型图,以及与所述待查看数据模型连接的模型图,显示查询的模型图。
3.根据权利要求1所述的方法,其特征在于,所述确定所述处理规则对应的各数据模型,包括:
识别所述处理规则中对应的数据运算标识,从预设的数据模型库中确定所述数据运算标识对应的数据模型。
4.根据权利要求1所述的方法,其特征在于,从所述处理规则中提取各所述数据模型的模型参数,包括:
基于预设的模型参数字段,从所述处理规则中提取各所述数据模型对应所述模型参数字段的字段值,以确定为对应的模型参数。
5.根据权利要求1所述的方法,其特征在于,还包括:
接收文档更新请求,获取所述文档更新请求中数据模型标识和对应的更新处理规则,从所述更新处理规则中提取所述数据模型标识对应数据模型的模型参数,以输入至对应的代码模板,进而更新所述数据模型代码;
基于所述更新处理规则更新所述数据模型的执行顺序,以结合更新的数据模型代码更新所述数据处理文档。
6.一种数据处理的装置,其特征在于,包括:
接收单元,用于接收业务数据的处理请求,获取所述处理请求中业务数据的处理规则,以确定所述处理规则对应的各数据模型,从所述处理规则中提取各所述数据模型的模型参数,以输入至各所述数据模型的代码模板,得出数据模型代码;
处理单元,用于基于所述处理规则,确定各数据模型的执行顺序,结合所述数据模型代码生成数据处理文档,执行所述数据处理文档以得到所述业务数据对应的处理结果并返回;
所述处理单元,具体用于:
生成各所述数据模型的标识,存储每个所述数据模型对应标识、模型参数、执行顺序和数据模型代码之间的映射关系,以生成数据处理文档的数据模型关系表;
生成每个所述数据模型对应的模型图,基于所述数据模型的执行顺序,连接所述模型图,以生成数据处理文档的数据模型关系图。
7.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202110770535.7A 2021-07-07 2021-07-07 数据处理的方法、装置、电子设备和存储介质 Active CN113434527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110770535.7A CN113434527B (zh) 2021-07-07 2021-07-07 数据处理的方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110770535.7A CN113434527B (zh) 2021-07-07 2021-07-07 数据处理的方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113434527A CN113434527A (zh) 2021-09-24
CN113434527B true CN113434527B (zh) 2023-09-22

Family

ID=77759451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110770535.7A Active CN113434527B (zh) 2021-07-07 2021-07-07 数据处理的方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113434527B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986208A (zh) * 2021-09-27 2022-01-28 阿里云计算有限公司 数据的处理方法、计算设备及存储介质
CN114840265A (zh) * 2022-03-23 2022-08-02 阿里巴巴(中国)有限公司 一种基于可执行图的数据处理方法
CN114661772B (zh) * 2022-05-25 2022-09-13 深圳希施玛数据科技有限公司 数据处理方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408112A (zh) * 2018-09-25 2019-03-01 平安科技(深圳)有限公司 在线开发文档生成方法、装置、终端及可读存储介质
CN109783084A (zh) * 2019-01-18 2019-05-21 广州思坦德计算机信息科技有限公司 一种计算机代码自动生成方法、系统、装置和存储介质
CN112380118A (zh) * 2020-11-11 2021-02-19 平安普惠企业管理有限公司 单元测试方法、装置、介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006015352A2 (en) * 2004-07-29 2006-02-09 Portable Internet, Inc. System and method for creating distributed application

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408112A (zh) * 2018-09-25 2019-03-01 平安科技(深圳)有限公司 在线开发文档生成方法、装置、终端及可读存储介质
CN109783084A (zh) * 2019-01-18 2019-05-21 广州思坦德计算机信息科技有限公司 一种计算机代码自动生成方法、系统、装置和存储介质
CN112380118A (zh) * 2020-11-11 2021-02-19 平安普惠企业管理有限公司 单元测试方法、装置、介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向MDA的业务逻辑模型到代码的转换方法研究;王金恒;王普;李亚芬;;计算机技术与发展(第11期);第42-46页 *

Also Published As

Publication number Publication date
CN113434527A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN113434527B (zh) 数据处理的方法、装置、电子设备和存储介质
CN109213754B (zh) 一种数据处理系统及数据处理方法
US9959607B2 (en) Automatic verification of graphic rendition of JSON data
CN109903105B (zh) 一种完善目标商品属性的方法和装置
CN113485781A (zh) 报表生成方法、装置、电子设备及计算机可读介质
CN111414410A (zh) 数据处理方法、装置、设备和存储介质
CN111309721A (zh) 一种确定数据表关联关系的方法和装置
CN113220907A (zh) 业务知识图谱的构建方法及装置、介质、电子设备
CN112364617A (zh) 文件信息的处理方法、装置、电子设备和存储介质
CN110879808B (zh) 一种信息处理方法和装置
CN112433757A (zh) 一种确定接口调用关系的方法和装置
CN111339743A (zh) 一种账号生成的方法和装置
CN111488386A (zh) 数据查询方法和装置
CN111798406A (zh) 一种图片质量评价方法和系统
CN114757157B (zh) 用于生成航空器工包的方法、装置、设备和介质
CN114817347A (zh) 业务审批方法、装置、电子设备和存储介质
CN115391343A (zh) 账单数据处理方法、装置、电子设备和存储介质
CN113094415B (zh) 数据抽取方法、装置、计算机可读介质及电子设备
CN114239511A (zh) 填充数据的方法和填充数据的装置
CN115686317A (zh) 一种业务数据处理方法、装置、电子设备和存储介质
CN113990068B (zh) 交通数据的处理方法、装置、设备以及存储介质
CN109840196B (zh) 测试业务逻辑的方法和装置
CN118069647A (zh) 一种报表血缘关系的处理方法、装置、设备及存储介质
CN113760925A (zh) 一种数据处理方法和装置
CN117609570A (zh) 基于图数据库的数据查询方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant