CN110457310B - 数据归集方法以及装置 - Google Patents

数据归集方法以及装置 Download PDF

Info

Publication number
CN110457310B
CN110457310B CN201910595387.2A CN201910595387A CN110457310B CN 110457310 B CN110457310 B CN 110457310B CN 201910595387 A CN201910595387 A CN 201910595387A CN 110457310 B CN110457310 B CN 110457310B
Authority
CN
China
Prior art keywords
batch
data
service
rule
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910595387.2A
Other languages
English (en)
Other versions
CN110457310A (zh
Inventor
周洋
张锐
杜涛
陈照炀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201910595387.2A priority Critical patent/CN110457310B/zh
Publication of CN110457310A publication Critical patent/CN110457310A/zh
Application granted granted Critical
Publication of CN110457310B publication Critical patent/CN110457310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

本申请提供数据归集方法以及装置,其中所述数据归集方法包括:在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集。本申请提供的数据归集方法,通过创建归集批次,并根据批次规则属性配置创建批次的批次规则属性索引,对业务数据进行批次归集,通过配置不同的批次规则属性配置,使对业务数据的批次归集更加灵活,通用性及扩展性更强,也提升了业务数据归集的效率。

Description

数据归集方法以及装置
技术领域
本申请涉及数据处理技术领域,特别涉及一种数据归集方法。本申请同时涉及一种数据归集装置,一种计算设备,以及一种计算机可读存储介质。
背景技术
随着互联网的发展,大量的业务以网络的形式进行提交和办理,且随着业务的发展,各个项目中业务的业务量、复杂度以及它们之间的集成度也在显著提高,以至于产生出海量的业务数据,然而将这些业务数据以何种方式进行存储和归集以便于高效地获取对应的数据是难点。
目前,不同业务类型的业务数据大多以不同业务表进行存储,数据归集时通过不同业务表归集对应的业务数据即可,然而,按照业务类型创建不同的业务表,维护成本较高,新增加不同类型业务数据时,需要新建新的业务表,通用性不强,支持也不够灵活。
发明内容
有鉴于此,本申请提供了一种数据归集方法。本申请同时涉及一种数据归集装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面,提供了一种数据归集方法,包括:
在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;
获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;
根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;
根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集。
可选的,所述在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次步骤执行之前,还包括:
在检测到业务文件到达触发指令的情况下,读取所述业务文件中所述业务数据的所述业务类型及业务场景阶段集合;
获取所述业务类型及所述业务场景阶段集合对应的数据规则属性配置;
根据所述数据规则属性配置创建所述业务数据的数据规则属性索引;
将所述业务数据及所述数据规则属性索引存储于数据库中。
可选的,所述根据所述数据规则属性配置创建所述业务数据的数据规则属性索引,包括:
获取所述数据规则属性配置中的属性值;
通过将所述属性值按照所述数据规则属性配置中的属性优先级进行拼接的方式创建所述业务数据的数据规则属性索引。
可选的,所述根据所述批次规则属性配置创建所述归集批次的批次规则属性索引,包括:
获取所述批次规则属性配置中的批次属性值;
通过将所述批次属性值按照所述批次规则属性配置中的批次属性优先级进行拼接的方式创建所述归集批次的批次规则属性索引。
可选的,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集,包括:
获取与所述批次规则属性索引匹配的所述数据规则属性索引对应的业务数据;
将获取到的业务数据归集到所述批次规则属性索引对应的归集批次。
可选的,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集步骤执行之后,还包括:
对所述归集批次中的所述业务数据执行业务处理。
可选的,所述对所述归集批次中的所述业务数据执行业务处理步骤执行之后,还包括:
判断所述归集批次中是否包含所述批次业务场景阶段对应的执行状态为未完成状态的业务数据;
若是,对所述未完成状态的业务数据执行业务处理;
在所述业务处理完成的情况下,将所述未完成状态的业务数据的执行状态更新未已完成状态。
可选的,所述批次规则属性配置,包括:批次规则配置及所述批次规则配置对应的批次属性配置;
所述批次业务类型包括:父批次业务类型及子批次业务类型。
可选的,所述获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置,包括:
获取所述归集批次的父批次业务类型、子批次业务类型及批次业务场景阶段对应的批次规则配置;
根据所述批次规则配置获取对应的批次属性配置。
可选的,所述批次归集触发指令,包括下述至少一项:
所述批次归集周期触发指令、所述批次归集定时触发指令、所述批次归集新增业务数据数量触发指令。
根据本申请实施例的第二方面,提供了一种数据归集装置,包括:
创建模块,被配置为在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;
获取模块,被配置为获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;
创建索引模块,被配置为根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;
归集模块,被配置为根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集。
可选的,所述数据归集装置,还包括:
读取业务数据模块,被配置为在检测到业务文件到达触发指令的情况下,读取所述业务文件中所述业务数据的所述业务类型及业务场景阶段集合;
读取数据规则属性配置模块,被配置为获取所述业务类型及所述业务场景阶段集合对应的数据规则属性配置;
创建数据索引模块,被配置为根据所述数据规则属性配置创建所述业务数据的数据规则属性索引;
存储模块,被配置为将所述业务数据及所述数据规则属性索引存储于数据库中。
根据本申请实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;
获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;
根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;
根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集。
根据本申请实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现任意一项所述数据归集方法的步骤。
与现有技术相比,本申请具有如下优点:
本申请提供一种数据归集方法,包括:在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集。
本申请提供的数据归集方法,通过批次规则属性配置创建批次规则属性索引,并根据批次规则属性索引及业务数据对应的数据规则属性索引对业务数据进行批次归集,通过配置不同的批次规则属性配置,就可完成不同业务数据或新增业务数据的批次归集,使对业务数据的批次归集更加灵活,通用性及扩展性更强,提升了业务数据归集的效率。
附图说明
图1是本申请实施例提供的一种数据归集方法的流程图;
图2是本申请实施例提供的一种应用于信托项目的数据归集方法的处理流程图;
图3是本申请实施例提供的一种数据归集装置的结构示意图;
图4是本申请实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本发明一个或多个实施例涉及的名词术语进行解释。
数据归集:同一类数据进行归集、集合在一起。
在本申请中,提供了一种数据归集方法,本申请同时涉及一种数据归集装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
本申请提供的一种数据归集方法实施例如下:
图1示出了根据本申请实施例的一种数据归集方法的流程图,包括步骤S102至步骤S108。
步骤S102,在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次。
本申请实施例所述业务数据,可以是信托项目的业务数据、工业项目的业务数据、旅游项目的业务数据、医疗项目的业务数据、金融项目的业务数据等,本申请实施例以信托项目的业务数据为例进行说明,工业项目的业务数据、旅游项目的业务数据、医疗项目的业务数据、金融项目的业务数据的具体实现与信托项目的业务数据的具体实现类型,参照信托项目的业务数据的具体实现即可,在此不再赘述。
相应的,所述业务类型,可以是信托项目业务数据的业务类型、工业项目的业务数据业务类型、旅游项目业务数据的业务类型、医疗项目业务数据的业务类型、金融项目业务数据的业务类型等。
在实际应用中,信托项目业务数据的业务类型可以分为股权信托、债权信托、租赁信托等。
可选的,所述业务类型包括:父业务类型及子业务类型,比如在信托项目中,父业务类型是对业务的大的分类,子业务类型是对父业务类型的一个细化的分类,比如在信托项目中,父业务类型可以是股权信托、债权信托、租赁信托等,子业务类型可以是对信托项目中股权信托业务的细化分类募集确认等。
所述业务场景阶段,可以是信托项目业务数据的业务场景阶段、工业项目业务数据的业务场景阶段、旅游项目业务数据的业务场景阶段、医疗项目业务数据的业务场景阶段、金融项目业务数据的业务场景阶段等;通常不同业务类型的业务数据对应至少一个业务场景阶段,比如信托项目中业务类型为股权信托的业务数据对应的业务场景阶段有:统计阶段、指令下发阶段等。
此外,业务数据还有对应的业务场景集合,因此上述业务场景阶段还包括业务数据对应的业务场景集合中涉及的业务场景阶段,所述业务场景集合是指需要对该业务数据执行业务处理的所有业务场景阶段的集合,比如,业务数据c当前的业务场景阶段为统计阶段,然而对于业务数据c,其后还需要执行指令下发阶段,则业务数据c对应的业务场景集合为统计阶段+指令下发阶段。
所述批次归集是将业务数据按归集批次进行归集,具体的,在批次归集前,首先要根据业务数据的业务类型及业务场景阶段创建归集批次,批次归集完成后,每个归集批次对应至少一个业务数据。
实际应用中,创建归集批次后,每个归集批次有其批次业务类型和批次业务场景阶段,且批次业务类型和批次业务场景阶段是与业务数据的业务类型和业务场景阶段对应的,比如在信托项目中,与上述业务数据的业务类型和业务场景阶段相对应,批次业务类型可以分为股权信托、股权信托、租赁信托等,批次业务类型为股权信托的归集批次对应的批次业务场景业务阶段有:统计阶段、指令下发阶段等。
可选的,所述批次业务类型包括:父批次业务类型及子批次业务类型。其中父批次业务类型与上述父业务类型对应,子批次业务类型与上述子业务类型对应,比如在信托项目中,与上述父业务类型与子业务类型相对应,父批次业务类型可以是股权信托、债权信托、租赁信托等,子批次业务类型可以是对信托项目中父批次业务类型为股权信托的细化分类募集确认等。
所述批次归集触发指令,是指对业务数据进行批次归集的批次归集触发指令,可选的,所述批次归集触发指令,包括下述至少一项:所述批次归集周期触发指令、所述批次归集定时触发指令、所述批次归集新增业务数据数量触发指令,表明批次归集可以通过设置进行周期触发,定时触发,或者检测新增业务数据的数量达到一定的数量之后触发,此外,上述批次归集触发指令还包括人工触发指令,即通过人工来触发批次归集。
具体实施时,业务数据还可能以业务文件流水的形式到达,在面临这种情况时,需要将到达的业务文件流水以业务数据及数据规则属性索引进行持久化,在本申请实施例提供的一种可选实施方式中,所述在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次步骤执行之前,还包括:
1)在检测到业务文件到达触发指令的情况下,读取所述业务文件中所述业务数据的所述业务类型及业务场景阶段集合。
所述业务文件到达触发指令,是指业务文件到达时触发的指令,在实际应用中,是指需要处理的业务以业务文件流水的形式发送过来,文件流水到达时会触发业务文件到达触发指令。
以信托项目为例,检测到业务文件到达触发指令的情况下,接收业务文件A、业务文件B和业务文件C,其中业务文件A中的业务数据为业务数据a,业务文件B中的业务数据为业务数据b,业务文件C中的业务数据为业务数据c,业务数据a的业务类型为股权信托,业务场景阶段为统计阶段,业务场景阶段集合为统计阶段,业务数据b的业务类型为股权信托,业务场景阶段为指令下发阶段,业务场景阶段集合为指令下发阶段,业务数据c的业务类型为股权信托,业务场景阶段为统计阶段,业务场景阶段集合为统计阶段+指令下发阶段。
2)获取所述业务类型及所述业务场景阶段集合对应的数据规则属性配置。
所述数据规则属性配置,是指预先配置的业务数据的数据规则属性配置,具体的,数据规则属性配置包括数据规则配置及数据属性配置,根据数据规则配置可获得对应的数据属性配置,其中数据规则配置包括业务数据的业务类型、业务场景阶段集合等,数据属性配置包括产品标识、场景标识等;
具体的,数据规则配置包括规则名称和规则值,数据属性配置包括属性名称和属性值,比如规则名称可以为业务类型、业务场景阶段等,规则值可以为规则名称为业务类型、业务场景阶段对应的值,属性名称可以为产品标识,场景标识,文件名称等,属性值可以为属性名称为产品标识、场景标识、文件名称对应的值。
进一步,数据规则属性配置中的数据属性配置包含属性优先级,所述批次属性优先级,是指在批次规则属性配置中,批次规则配置相同的情况下,其对应的批次属性配置的优先级,比如归集在业务类型和业务场景阶段相同的情况下,其对应的批次属性配置中批次产品标识和批次场景标识有不同的批次属性优先级,批次业务类型和批次业务场景阶段集合相同的情况下,其对应的批次属性有不同的优先级,实际应用中,此批次属性优先级可以用数值表示,数值越低,其批次属性优先级越高。
实际应用中,数据规则属性配置中的数据规则配置和数据属性配置可在一张表内进行配置,也可在数据规则配置表和数据属性配置表进行分别配置。
此外,对于归集批次也有对应的预先配置的归集批次的批次规则属性配置,具体的,批次规则属性配置包括批次规则配置及批次属性配置,据批次规则配置可获得其对应的批次属性配置,其中,批次规则配置包括:归集批次的批次业务类型、批次业务场景阶段等,批次属性配置包括产品标识、场景标识等;
具体的,批次规则配置包括批次规则名称和批次规则值,批次属性配置包括批次属性名称和批次属性值,比如批次规则名称可以为批次业务类型、批次业务场景阶段等,批次规则值可以为批次规则名称为批次业务类型、批次业务场景阶段对应的值,批次属性名称可以为批次产品标识、批次场景标识等,批次属性值可以为批次属性名称为批次产品标识、批次场景标识对应的值。
相应的,对于归集批次,批次规则属性配置中的批次属性配置还包含批次属性优先级,所述批次属性优先级,是指在批次规则属性配置中,批次规则配置相同的情况下,其对应的批次属性配置的优先级,比如归集在业务类型和业务场景阶段相同的情况下,其对应的批次属性配置中批次产品标识和批次场景标识有不同的批次属性优先级,批次业务类型和批次业务场景阶段集合相同的情况下,其对应的批次属性有不同的优先级,实际应用中,此批次属性优先级可以用数值表示,数值越低,其批次属性优先级越高。
批次规则属性配置中的批次规则配置和批次属性配置可在一张表内进行配置,也可在批次规则配置表和批次属性配置表进行分别配置,若分别进行配置则批次规则配置表和批次属性配置表之间需要通过一个或多个字段进行关联。
实际应用中,数据规则属性配置和批次规则属性配置可共用一套配置,具体不再赘述。
以获取上述业务数据a、业务数据b、业务数据c的业务类型和业务场景阶段集合对应的数据规则属性配置为例,根据业务数据a的业务类型为股权信托,业务场景阶段集合为统计阶段,获取到的业务数据a的数据规则属性配置为业务类型:股权信托,业务场景阶段集合:统计阶段,属性名称:产品标识,属性名称为产品标识对应的属性值为W0000001,属性名称为产品标识对应的属性优先级为0,属性名称:场景标识,属性名称为场景标识对应的属性值为S01,属性名称为场景标识对应的属性优先级为1;
根据业务数据b的业务类型为股权信托,业务场景阶段集合为指令下发阶段,获取到的业务数据b的数据规则属性配置为业务类型:股权信托,业务场景阶段集合:指令下发阶段,属性名称:产品标识,属性名称为产品标识对应的属性值为W0000001,属性名称为产品标识对应的属性优先级为0,属性名称:场景标识,属性名称为场景标识对应的属性值为S10,属性名称为场景标识对应的属性优先级为1;
根据业务数据c的业务类型:股权信托,业务场景阶段集合为统计阶段+指令下发阶段,获取到的业务数据c的数据规则属性配置为业务类型:股权信托,业务场景阶段集合:统计阶段+指令下发阶段,属性名称:产品标识,属性名称为产品标识对应的属性值为W0000001,属性名称为产品标识对应的属性优先级为0,属性名称:场景标识,属性名称为场景标识对应的属性值为S11,属性名称为场景标识对应的属性优先级为1。
3)根据所述数据规则属性配置创建所述业务数据的数据规则属性索引。
具体实施时,本申请实施例提供的一种可选实施方式中,所述根据所述数据规则属性配置创建所述业务数据的数据规则属性索引,具体采用如下方式实现:
获取所述数据规则属性配置中的属性值;
通过将所述属性值按照所述数据规则属性配置中的属性优先级进行拼接的方式创建所述业务数据的数据规则属性索引。
所述数据规则属性配置中的属性值,是指根据业务数据的业务类型及业务场景阶段集合获取到的数据规则属性配置中的属性名称对应的属性值。
此外,具体实施时,对于归集批次来说,还有与批次规则属性配置中的批次属性名称对应的批次属性值。
实际应用中,若根据数据规则属性配置中的属性名对应的属性值为空,还可通过数据规则属性配置中的属性名称在业务数据中获取到对应的业务属性值,再将数据规则属性配置中的存在属性名称对应的属性值及获取到的业务属性值按照所述数据规则属性配置中的属性优先级进行拼接的方式创建业务数据的数据规则属性索引,比如,若数据规则属性配置中的属性名称为文件名称对应的属性值为空,则根据属性名称为文件名称获取业务数据中对应的文件名称值,在此不再赘述。
所述拼接,是指将数据规则属性配置中的属性值按照属性优先级的高低进行前后拼接,比如,将上述业务数据a的数据规则属性配置中属性名称为产品标识对应的属性值W0000001与属性名称为场景标识对应的属性值S01这两个属性值之间以符号“^”进行拼接,拼接后成为W0000001^S01,此外,还可以以其他符号进行拼接,具体可参照使用符号“^”进行拼接即可,在此不再赘述。
所述数据规则属性索引,是指根据业务数据对应的数据规则属性配置创建的索引,此索引用于对业务数据进行存储和批次归集。
此外,对于归集批次,还有批次规则属性索引,是指根据归集批次对应的批次规则属性配置创建的批次索引,此批次索引用于对业务数据进行批次归集。
以上述业务数据a、业务数据b和业务数据c为例,根据业务数据a、业务数据b、业务数据c的业务类型和业务场景阶段集合获取到对应的数据规则属性配置,具体如下数据规则属性配置表所示:
Figure BDA0002117489040000141
数据规则属性配置表
根据业务数据a的业务类型为股权信托,业务场景阶段集合为统计阶段,获取到的业务数据a对应的数据规则属性配置中,属性名称为产品标识对应的属性值为W0000001,属性名称为场景标识对应的属性值为S01;根据业务数据b的业务类型为股权信托,业务场景阶段集合为指令下发阶段,获取到的业务数据b对应的数据规则属性配置中,属性名称为产品标识对应的属性值为W0000001,属性名称为场景标识对应的属性值为S10,根据业务数据c的业务类型:股权信托,业务场景阶段集合为统计阶段+指令下发阶段,获取到的业务数据c对应的数据规则属性配置中,属性名称为产品标识对应的属性值为W0000001,属性名称为场景标识对应的属性值为S11;
其中,业务数据a、业务数据b和业务数据c的属性名称为产品标识对应的属性优先级为0,属性名称为场景标识对应的属性优先级为1,由于产品标识对应的属性优先级0高于场景标识对应的属性优先级1,则将数据规则属性配置中产品标识对应的属性值及场景标识对应的属性值按照所述数据规则属性配置中的属性优先级进行拼接的方式进行拼接后,业务数据a的数据规则属性索引为“W0000001^S01”,业务数据b的数据规则属性索引为“W0000001^S10”,业务数据c的数据规则属性索引为“W0000001^S11”。
本申请实施例,将数据规则属性配置中的属性值按属性优先级的次序进行拼接,使创建的数据规则属性索引更加具有规范性及可扩展性。
4)将所述业务数据及所述数据规则属性索引存储于数据库中。
具体实施时,将上述业务数据及其对应的数据规则属性索引存储于数据库同一条记录中。
上述提供的实施方式中,通过将业务文件按照数据规则属性配置创建数据规则属性索引进行持久化,从而在持久化的基础上对业务数据进行归集,使对业务数据的批次归集更灵活,通用性和扩展性也更好。
步骤S104,获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置。
以上述业务数据a、业务数据b和业务数据c为例,业务数据a、业务数据b和业务数据c的业务类型都为股权信托,业务场景阶段分别为:统计阶段,指令下发阶段,统计阶段,则根据业务数据a、业务数据b和业务数据c的业务类型和业务场景阶段可创建两个归集批次,其中,第一个归集批次的批次业务类型为股权信托,批次场景阶段为统计阶段,第二个归集批次的批次业务类型为股权信托,批次场景阶段为指令下发阶段;
根据第一个归集批次的批次业务类型及批次业务场景阶段,获取到的批次规则属性配置为批次业务类型:股权信托,批次业务场景阶段:统计阶段,批次属性名称:批次产品标识,批次属性名称为批次产品标识对应的批次属性值为W0000001,批次属性名称为批次产品标识对应的批次属性优先级为0,批次属性名称:批次场景标识,批次属性名称为批次场景标识对应的批次属性值为S01,批次属性名称为批次场景标识对应的批次属性优先级为1;
根据第二个归集批次的批次业务类型及批次业务场景阶段,获取到的批次规则属性配置为批次业务类型:股权信托,批次业务场景阶段:指令下发阶段,批次属性名称:批次产品标识,批次属性名称为批次产品标识对应的批次属性值为W0000001,批次属性名称为批次产品标识对应的批次属性优先级为0,批次属性名称:批次场景标识,批次属性名称为批次场景标识对应的批次属性值为S10,批次属性名称为批次场景标识对应的批次属性优先级为1。
进一步,本申请实施例提供的一种可选实施方式中,所述获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置,具体采用如下方式实现:
获取所述归集批次的父批次业务类型、子批次业务类型及批次业务场景阶段对应的批次规则配置;
根据所述批次规则配置获取对应的批次属性配置。
具体实施时,当批次规则配置和批次属性配置存储于不同的表中,批次规则配置和批次属性配置之间可以以至少一个字段进行关联。
以业务数据a、业务数据b和业务数据c为例,假设业务数据a、业务数据b和业务数据c的父业务类型为股权信托,子业务类型为募集确认,业务场景阶段分别为:统计阶段,指令下发阶段,统计阶段,则根据业务数据a、业务数据b和业务数据c的父业务类型、子业务类型及业务场景阶段可创建两个归集批次;
其中,第一个归集批次的父批次业务类型为股权信托,子批次业务类型为募集确认,批次业务场景阶段为统计阶段,第二个归集批次的子批次业务类型为股权信托,子批次业务类型为募集确认,批次业务场景阶段为指令下发阶段;
则根据第一个归集批次的父批次业务类型、子批次业务类型及批次业务场景阶段获得的批次规则配置如下批次规则配置表中所示,规则标识:规则001,父批次业务类型:股权信托,子批次业务类型:募集确认,批次业务场景阶段:统计阶段;
根据第二个归集批次的父批次业务类型、子批次业务类型及批次业务场景阶段获得的批次规则配置如下批次规则配置表中所示,规则标识:规则002,父批次业务类型:股权信托,子批次业务类型:募集确认,批次业务场景阶段:指令下发阶段。
规则标识 父批次业务类型 子批次业务类型 批次业务场景阶段
规则001 股权信托 募集确认 统计阶段
规则002 股权信托 募集确认 指令下发阶段
批次规则配置表
根据第一个归集批次获得的批次规则配置的规则标识字段与如下批次属性配置表进行关联,可获得的批次属性配置如下批次属性配置表中所示,规则标识:规则001,批次属性名称:批次产品标识,批次属性名称为批次产品标识对应的批次属性值为W0000001,批次属性名称为批次产品标识对应的批次属性优先级为0,批次属性名称:批次场景标识,批次属性名称为批次场景标识对应的批次属性值为S01,批次属性名称为批次场景标识对应的批次属性优先级为1;
根据第二个归集批次获得的批次规则配置的规则标识字段与如下批次属性配置表进行关联,可获得的批次属性配置如下批次属性配置表中所示,规则标识:规则002,批次属性名称:批次产品标识,批次属性名称为批次产品标识对应的批次属性值为W0000001,批次属性名称为批次产品标识对应的批次属性优先级为0,批次属性名称:批次场景标识,批次属性名称为批次场景标识对应的批次属性值为S10,批次属性名称为批次场景标识对应的批次属性优先级为1。
规则标识 批次属性名称 批次属性值 批次属性优先级
规则001 批次产品标识 W0000001 0
规则001 批次场景标识 S01 1
规则002 批次产品标识 W0000001 0
规则002 批次场景标识 S10 1
批次属性配置表
本申请实施例,在将批次业务类型分为父批次业务类型和子批次业务类型,将批次规则属性配置分为可配置的批次规则配置和可配置的批次属性配置来创建批次规则属性索引,增加了归集批次的批次业务类型的可扩展性和批次规则属性配置的灵活性。
步骤S106,根据所述批次规则属性配置创建所述归集批次的批次规则属性索引。
具体实施时,根据所述批次规则属性配置创建所述归集批次的批次规则属性索引,可以将所获得的批次规则属性配置中属性值进行拼接,得到归集批次的批次规则属性索引。
以上述两个根据归集批次的批次业务类型及批次业务场景阶段,获取到的批次规则属性配置为例,根据所述批次规则属性配置创建所述归集批次的批次规则属性索引,则第一个归集批次的批次规则属性索引为“W0000001^S01”,第二个归集批次的批次规则属性索引为“W0000001^S10”。
进一步,本申请实施例提供的一种可选实施方式中,所述根据所述批次规则属性配置创建所述归集批次的批次规则属性索引,具体采用如下方式实现:
获取所述批次规则属性配置中批次属性值;
通过将所述批次属性值按照所述批次规则属性配置中的批次属性优先级进行拼接的方式创建所述归集批次的批次规则属性索引。
所述批次规则属性配置中的批次属性值,是指根据归集批次的批次业务类型及批次业务场景阶段获取到的批次规则属性配置中的批次属性名称对应的批次属性值。
具体实施时,通过将所述批次属性值按照所述批次规则属性配置中的批次属性优先级进行拼接的方式创建所述归集批次的批次规则属性索引,是指将批次规则属性配置中的批次属性值按照属性优先级的高低进行前后拼接,比如,将上述第一个归集批次的批次规则属性配置中批次属性名称为批次产品标识对应的属性值W0000001与批次属性名称为批次场景标识对应的批次属性值S01这两个批次属性值之间以符号“^”进行拼接,拼接后成为W0000001^S01,此外,还可以以其他符号进行拼接,具体可参照使用符号“^”进行拼接即可,在此不再赘述。
以上述两个根据归集批次的批次业务类型及批次业务场景阶段,获取到的批次规则属性配置为例,根据第一个归集批次的批次业务类型及批次业务场景阶段,获取到的批次规则属性配置中的批次属性值有:批次属性名称为批次产品标识对应的批次属性值为W0000001,批次属性名称为批次场景标识对应的批次属性值为S01;
根据第二个归集批次的批次业务类型及批次业务场景阶段,获取到的批次规则属性配置中的批次属性值有:批次属性名称为批次产品标识对应的批次属性值为W0000001,批次属性名称为批次场景标识对应的批次属性值为S10。
其中,批次规则属性配置中批次属性名称为批次产品标识对应的批次属性优先级为0,批次场景标识对应的批次属性优先级为1,由于批次产品标识对应的批次属性优先级0高于批次场景标识对应的批次属性优先级1,则将批次规则属性配置中批次产品标识对应的属性值及批次场景标识对应的属性值按照所述批次规则属性配置中的属性优先级进行拼接的方式进行拼接后,第一个归集批次的批次规则属性索引为“W0000001^S01”,第二个归集批次的批次规则属性索引为“W0000001^S10”。
本申请实施例,将批次规则属性配置中的批次属性值按批次属性优先级的次序进行拼接,使创建的批次规则属性索引更加具有规范性及可扩展性。
实际应用中,根据所述批次规则属性配置创建所述归集批次的批次规则属性索引,还可以将所获得的批次规则属性配置中的全部或其中一部分规则属性以某种方式进行拼接,或者按照业务需要将所获得的批次规则属性配置中至少一个规则属性取其更大范围的值与获得批次规则属性配置中的一部分规则属性进行拼接,得到归集批次的批次规则属性索引,在此不做赘述。
步骤S108,根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集。
具体实施时,业务数据是根据上述创建的批次规则属性索引及业务数据的数据规则属性索引之间的关系进行批次归集,而批次规则属性索引及业务数据的数据规则属性索引之间的关系可以是等同关系,比如,等同关系是指在业务数据的数据规则属性索引与归集批次的批次规则属性索引等同的情况下,将业务数据归集到该归集批次。
以所述批次规则属性索引以及所述业务数据的数据规则属性索引之间为等同关系将业务数据进行批次归集为例,上述第一个归集批次的批次规则属性索引为“W0000001^S01”,第二个归集批次的批次规则属性索引为“W0000001^S10”,业务数据a的数据规则属性索引也为“W0000001^S01”,业务数据b的数据规则属性索引为“W0000001^S10”;
则第一个归集批次的批次规则属性索引与业务数据a的数据规则属性索引完全等同,第二个归集批次的批次规则属性索引与业务数据b的数据规则属性索引完全等同,则将业务数据a归集到第一个归集批次,业务数据b归集到第二个归集批次。
进一步,本申请实施例提供的一种可选实施方式中,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集,具体采用如下方式实现:
获取与所述批次规则属性索引匹配的所述数据规则属性索引对应的业务数据;
将获取到的业务数据归集到所述批次规则属性索引对应的归集批次。
具体实施时,获取与所述批次规则属性索引匹配的所述数据规则属性索引对应的业务数据,是指获取与批次规则属性索引等同的数据规则属性索引对应的业务数据,或者获取数据规则属性索引所包含的批次规则属性索引时数据规则属性索引对应的业务数据,其中,包含关系是指在实际应用中数据规则属性索引中的至少一个属性值具有比批次规则属性索引中的批次属性值更广的业务范围,而数据规则属性索引中的其他属性值与批次规则属性索引中的其他批次属性值相同,则该数据规则属性索引包含该批次规则属性索引。
比如,上述业务数据c的数据规则属性索引中属性名称为场景标识对应的属性值S11是指统计阶段+指令下发阶段,而上述第一个归集批次的批次规则属性索引中批次属性名称为批次场景标识对应的批次属性值S01是指统计阶段,上述第二个归集批次的批次规则属性索引中批次属性名称为批次场景标识对应的批次属性值S11是指指令下发阶段,同时业务数据c的数据规则属性索引中其他属性值为W0000001与第一个归集批次和第二个归集批次的批次规则属性索引中的其他批次属性值W0000001相同,则业务数据c的数据规则属性索引包含第一个归集批次和第二个归集批次的批次规则属性索引。
实际应用中,支持将同一个业务数据归集到不同归集批次中,以便后续根据不同的业务场景阶段对业务数据执行业务处理。
以对上述业务数据a、业务数据b和业务数据c进行批次归集为例,业务数据a的数据规则属性索引为“W0000001^S01”,业务数据b的数据规则属性索引为“W0000001^S10”,业务数据c的数据规则属性索引为“W0000001^S11”,第一个归集批次的批次规则属性索引为“W0000001^S01”,第二个归集批次的批次规则属性索引为“W0000001^S10”,则与第一个归集批次的批次规则属性索引匹配的数据规则属性索引为“W0000001^S01”与“W0000001^S11”,与第二个归集批次的批次规则属性索引匹配的数据规则属性索引为“W0000001^S10”与“W0000001^S11”,则将业务数据a和业务数据c归集到第一个归集批次,将业务数据b和业务数据c归集到第二个归集批次。
本申请实施例,根据归集批次的批次规则属性索引与业务数据的数据规则属性索引的匹配结果,对业务数据进行批次归集,提升了对业务数据进行批次归集的灵活性及可扩展性。
此外,实际应用中,在批次规则属性索引中所包含的数据规则属性索引的情况下,或者在批次规则属性索引为其所对应的业务数据的数据规则属性索引的列表集合的情况下,也可将该数据规则属性索引对应的业务数据归集到该批次规则属性索引对应的归集批次中在此不再赘述。
进一步,具体实施时,在对业务数据进行批次归集后,需要对归集批次中的业务数据执行业务处理,本申请实施例提供的一种可选实施方式中,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集步骤执行之后,还包括:
对所述归集批次中的所述业务数据执行业务处理。
以对上述业务数据a、业务数据b和业务数据c进行批次归集为例,业务数据a和业务数据c归集到第一个归集批次,则对第一个归集批次中的业务数据a和业务数据c执行股权信托中统计阶段对应的业务处理,业务数据b和业务数据c归集到第二个归集批次,则对第二个归集批次中的业务数据b和业务数据c执行指令下发阶段对应的业务处理。
本申请实施例,将业务数据按照不同归集批次执行业务处理,以便于对业务数据按不同归集批次的业务需要进行业务处理。
此外,在上述对归集批次中的业务数据执行业务处理的基础上,需要确认是否对归集批次中所有的业务数据都已执行业务处理完成,本申请实施例提供的一种可选实施方式中,所述对所述归集批次中的所述业务数据执行业务处理步骤执行之后,还包括:
判断所述归集批次中是否包含所述批次业务场景阶段对应的执行状态为未完成状态的业务数据;
若是,表明对所述归集批次中业务数据未完成业务处理,对所述未完成状态的业务数据执行业务处理;
在所述业务处理完成的情况下,将所述未完成状态的业务数据的执行状态更新未已完成状态;
若否,表明对所述归集批次中业务数据已完成业务处理,则所述归集批次执行完成。
所述执行状态为对业务数据的在其所归集到的归集批次中的业务场景阶段对应的执行状态,具体的,此执行状态可以为已完成状态和未完成状态进行标记,若对业务数据在其所归集到的归集批次中的业务场景阶段的业务处理未执行完成,表明对业务数据的业务处理在该归集批次中未完成业务处理,则业务数据的执行状态为未完成状态,若对业务数据在其所归集到的归集批次中的业务场景阶段的业务处理已执行完成,表明对该业务数据的业务处理在该归集批次中已完成业务处理,则更新业务数据的执行状态为已完成状态。
实际应用中判断所述归集批次中是否包含所述批次业务场景阶段对应的执行状态为未完成状态的业务数据,是对归集批次中的业务数据一个循环遍历的过程。
以对上述归集到第一个归集批次的业务数据a和业务数据c执行业务处理为例,将对业务数据a和业务数据c执行业务处理后,判断业务数据a和业务数据c在统计阶段对应的执行状态是否为未完成,判断结果为业务数据a的执行状态为未完成状态,业务数据c的执行状态为已完成状态,表明对第一个归集批次中的业务数据未完成业务处理,继续对执行状态为未完成状态的业务数据a执行业务处理,并在对业务数据a的业务处理执行完成后,将业务数据a的执行状态更新为已完成状态,当第一个归集批次中的所有业务数据执行状态都为已完成状态,则表明第一个归集批次执行完成。
本申请实施例,在对归集批次的业务数据执行业务处理后,判断业务数据的执行状态,直至归集批次中所有的业务数据全部被执行完成,以便于对业务数据的业务处理的管理。
下述结合图2,以本申请提供的数据归集方法在信托项目的应用为例,对所述数据归集方法进行进一步说明,所述数据归集方法具体包括步骤S202至步骤S222。
步骤S202,在检测到信托项目中业务文件到达触发指令的情况下,读取所述业务文件中所述业务数据的所述业务类型及业务场景阶段集合。
步骤S204,获取所述业务类型及所述业务场景阶段集合对应的数据规则属性配置。
步骤S206,根据所述数据规则属性配置创建所述业务数据的数据规则属性索引。
步骤S208,将所述业务数据及所述数据规则属性索引存储于数据库中。
步骤S210,在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次。
步骤S212,获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置。
步骤S214,获取所述批次规则属性配置中的批次属性值。
步骤S216,通过将所述批次属性值按照所述批次规则属性配置中的批次属性优先级进行拼接的方式创建所述归集批次的批次规则属性索引。
步骤S218,获取与所述批次规则属性索引匹配的所述数据规则属性索引对应的业务数据。
步骤S220,将获取到的业务数据归集到所述批次规则属性索引对应的归集批次。
步骤S222,对所述归集批次中的所述业务数据执行业务处理。
综上所述,本申请提供的数据归集方法,通过批次规则属性配置创建批次规则属性索引,并根据批次规则属性索引及业务数据对应的数据规则属性索引对业务数据进行批次归集,通过配置不同的批次规则属性配置,就可完成不同业务数据或新增业务数据的批次归集,使对业务数据的批次归集更加灵活,通用性及扩展性更强,提升了业务数据归集的效率。
本申请提供的一种数据归集装置实施例如下:
与上述方法实施例相对应,本申请还提供了数据归集装置实施例,图3示出了本申请实施例的数据归集装置的结构示意图。如图3所示,该装置包括:
创建模块302,被配置为在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;
获取模块304,被配置为获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;
创建索引模块306,被配置为根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;
归集模块308,被配置为根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集。
可选的,所述数据归集装置,还包括:
读取业务数据模块,被配置为在检测到业务文件到达触发指令的情况下,读取所述业务文件中所述业务数据的所述业务类型及业务场景阶段集合;
读取数据规则属性配置模块,被配置为获取所述业务类型及所述业务场景阶段集合对应的数据规则属性配置;
创建数据索引模块,被配置为根据所述数据规则属性配置创建所述业务数据的数据规则属性索引;
存储模块,被配置为将所述业务数据及所述数据规则属性索引存储于数据库中。
可选的,所述创建数据索引模块,包括:
读取属性值子模块,被配置为获取所述数据规则属性配置中的属性值;
创建数据规则属性索引子模块,被配置为通过将所述属性值按照所述数据规则属性配置中的属性优先级进行拼接的方式创建所述业务数据的数据规则属性索引。
可选的,所述创建索引模块306,包括:
获取批次属性值子模块,获取所述批次规则属性配置中的批次属性值;
创建批次索引子模块,被配置为通过将所述批次属性值按照所述批次规则属性配置中的批次属性优先级进行拼接的方式创建所述归集批次的批次规则属性索引。
可选的,所述归集模块308,包括:
获取业务数据子模块,被配置为获取与所述批次规则属性索引匹配的所述数据规则属性索引对应的业务数据;
归集业务数据子模块,被配置为将获取到的业务数据归集到所述批次规则属性索引对应的归集批次。
可选的,所述数据归集装置,还包括:
业务处理模块,被配置为对所述归集批次中的所述业务数据执行业务处理。
可选的,所述数据归集装置,还包括:
判断模块,被配置为判断所述归集批次中是否包含所述批次业务场景阶段对应的执行状态为未完成状态的业务数据;
若是,运行未完成业务处理模块;所述未完成业务处理模块,被配置为对所述未完成状态的业务数据执行业务处理;
更新状态模块,被配置为在所述业务处理完成的情况下,将所述未完成状态的业务数据的执行状态更新未已完成状态。
可选的,所述批次规则属性配置,包括:批次规则配置及所述批次规则配置对应的批次属性配置;
所述批次业务类型包括:父批次业务类型及子批次业务类型。
可选的,所述获取模块304,包括:
获取批次规则配置子模块,被配置为获取所述归集批次的父批次业务类型、子批次业务类型及批次业务场景阶段对应的批次规则配置;
获取批次属性配置子模块,被配置为根据所述批次规则配置获取对应的批次属性配置。
可选的,所述批次归集触发指令,包括下述至少一项:
所述批次归集周期触发指令、所述批次归集定时触发指令、所述批次归集新增业务数据数量触发指令。
上述为本实施例的一种数据归集装置的示意性方案。需要说明的是,该数据归集装置的技术方案与上述的数据归集方法的技术方案属于同一构思,数据归集装置的技术方案未详细描述的细节内容,均可以参见上述数据归集方法的技术方案的描述。
本申请提供的一种计算设备实施例如下:
图4示出了根据本申请一实施例的计算设备400的结构框图。该计算设备400的部件包括但不限于存储器410和处理器420。处理器420与存储器410通过总线430相连接,数据库450用于保存数据。
计算设备400还包括接入设备440,接入设备440使得计算设备400能够经由一个或多个网络460通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本申请的一个实施例中,计算设备400的上述以及图4中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图4所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备400可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备400还可以是移动式或静止式的服务器。
本申请提供一种计算设备,包括存储器410、处理器420及存储在存储器上并可在处理器上运行的计算机指令,所述处理器420用于执行如下计算机可执行指令:
在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;
获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;
根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;
根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集。
可选的,所述在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次步骤执行之前,还包括:
在检测到业务文件到达触发指令的情况下,读取所述业务文件中所述业务数据的所述业务类型及业务场景阶段集合;
获取所述业务类型及所述业务场景阶段集合对应的数据规则属性配置;
根据所述数据规则属性配置创建所述业务数据的数据规则属性索引;
将所述业务数据及所述数据规则属性索引存储于数据库中。
可选的,所述根据所述数据规则属性配置创建所述业务数据的数据规则属性索引,包括:
获取所述数据规则属性配置中的属性值;
通过将所述属性值按照所述数据规则属性配置中的属性优先级进行拼接的方式创建所述业务数据的数据规则属性索引。
可选的,所述根据所述批次规则属性配置创建所述归集批次的批次规则属性索引,包括:
获取所述批次规则属性配置中的批次属性值;
通过将所述批次属性值按照所述批次规则属性配置中的批次属性优先级进行拼接的方式创建所述归集批次的批次规则属性索引。
可选的,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集,包括:
获取与所述批次规则属性索引匹配的所述数据规则属性索引对应的业务数据;
将获取到的业务数据归集到所述批次规则属性索引对应的归集批次。
可选的,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集步骤执行之后,还包括:
对所述归集批次中的所述业务数据执行业务处理。
可选的,所述对所述归集批次中的所述业务数据执行业务处理步骤执行之后,还包括:
判断所述归集批次中是否包含所述批次业务场景阶段对应的执行状态为未完成状态的业务数据;
若是,对所述未完成状态的业务数据执行业务处理;
在所述业务处理完成的情况下,将所述未完成状态的业务数据的执行状态更新未已完成状态。
可选的,所述批次规则属性配置,包括:批次规则配置及所述批次规则配置对应的批次属性配置;
所述批次业务类型包括:父批次业务类型及子批次业务类型。
可选的,所述获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置,包括:
获取所述归集批次的父批次业务类型、子批次业务类型及批次业务场景阶段对应的批次规则配置;
根据所述批次规则配置获取对应的批次属性配置。
可选的,所述批次归集触发指令,包括下述至少一项:
所述批次归集周期触发指令、所述批次归集定时触发指令、所述批次归集新增业务数据数量触发指令。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据归集方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据归集方法的技术方案的描述。
本申请提供的一种计算机可读存储介质实施例如下:
本申请提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;
获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;
根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;
根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集。
可选的,所述在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次步骤执行之前,还包括:
在检测到业务文件到达触发指令的情况下,读取所述业务文件中所述业务数据的所述业务类型及业务场景阶段集合;
获取所述业务类型及所述业务场景阶段集合对应的数据规则属性配置;
根据所述数据规则属性配置创建所述业务数据的数据规则属性索引;
将所述业务数据及所述数据规则属性索引存储于数据库中。
可选的,所述根据所述数据规则属性配置创建所述业务数据的数据规则属性索引,包括:
获取所述数据规则属性配置中的属性值;
通过将所述属性值按照所述数据规则属性配置中的属性优先级进行拼接的方式创建所述业务数据的数据规则属性索引。
可选的,所述根据所述批次规则属性配置创建所述归集批次的批次规则属性索引,包括:
获取所述批次规则属性配置中的批次属性值;
通过将所述批次属性值按照所述批次规则属性配置中的批次属性优先级进行拼接的方式创建所述归集批次的批次规则属性索引。
可选的,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集,包括:
获取与所述批次规则属性索引匹配的所述数据规则属性索引对应的业务数据;
将获取到的业务数据归集到所述批次规则属性索引对应的归集批次。
可选的,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集步骤执行之后,还包括:
对所述归集批次中的所述业务数据执行业务处理。
可选的,所述对所述归集批次中的所述业务数据执行业务处理步骤执行之后,还包括:
判断所述归集批次中是否包含所述批次业务场景阶段对应的执行状态为未完成状态的业务数据;
若是,对所述未完成状态的业务数据执行业务处理;
在所述业务处理完成的情况下,将所述未完成状态的业务数据的执行状态更新未已完成状态。
可选的,所述批次规则属性配置,包括:批次规则配置及所述批次规则配置对应的批次属性配置;
所述批次业务类型包括:父批次业务类型及子批次业务类型。
可选的,所述获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置,包括:
获取所述归集批次的父批次业务类型、子批次业务类型及批次业务场景阶段对应的批次规则配置;
根据所述批次规则配置获取对应的批次属性配置。
可选的,所述批次归集触发指令,包括下述至少一项:
所述批次归集周期触发指令、所述批次归集定时触发指令、所述批次归集新增业务数据数量触发指令。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据归集方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据归集方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本申请的内容,可作很多的修改和变化。本申请选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种数据归集方法,其特征在于,包括:
在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;
获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;
根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;
根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集,其中,所述数据规则属性索引,根据所述业务数据对应的数据规则属性配置创建。
2.根据权利要求1所述的方法,其特征在于,所述在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次步骤执行之前,还包括:
在检测到业务文件到达触发指令的情况下,读取所述业务文件中所述业务数据的所述业务类型及业务场景阶段集合;
获取所述业务类型及所述业务场景阶段集合对应的数据规则属性配置;
根据所述数据规则属性配置创建所述业务数据的数据规则属性索引;
将所述业务数据及所述数据规则属性索引存储于数据库中。
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据规则属性配置创建所述业务数据的数据规则属性索引,包括:
获取所述数据规则属性配置中的属性值;
通过将所述属性值按照所述数据规则属性配置中的属性优先级进行拼接的方式创建所述业务数据的数据规则属性索引。
4.根据权利要求1所述的方法,其特征在于,所述根据所述批次规则属性配置创建所述归集批次的批次规则属性索引,包括:
获取所述批次规则属性配置中的批次属性值;
通过将所述批次属性值按照所述批次规则属性配置中的批次属性优先级进行拼接的方式创建所述归集批次的批次规则属性索引。
5.根据权利要求1所述的方法,其特征在于,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集,包括:
获取与所述批次规则属性索引匹配的所述数据规则属性索引对应的业务数据;
将获取到的业务数据归集到所述批次规则属性索引对应的归集批次。
6.根据权利要求1所述的方法,其特征在于,所述根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集步骤执行之后,还包括:
对所述归集批次中的所述业务数据执行业务处理。
7.根据权利要求6所述的方法,其特征在于,所述对所述归集批次中的所述业务数据执行业务处理步骤执行之后,还包括:
判断所述归集批次中是否包含所述批次业务场景阶段对应的执行状态为未完成状态的业务数据;
若是,对所述未完成状态的业务数据执行业务处理;
在所述业务处理完成的情况下,将所述未完成状态的业务数据的执行状态更新未已完成状态。
8.根据权利要求1所述的方法,其特征在于,所述批次规则属性配置,包括:批次规则配置及所述批次规则配置对应的批次属性配置;
所述批次业务类型包括:父批次业务类型及子批次业务类型。
9.根据权利要求8所述的方法,其特征在于,所述获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置,包括:
获取所述归集批次的父批次业务类型、子批次业务类型及批次业务场景阶段对应的批次规则配置;
根据所述批次规则配置获取对应的批次属性配置。
10.根据权利要求1所述的方法,其特征在于,所述批次归集触发指令,包括下述至少一项:
所述批次归集周期触发指令、所述批次归集定时触发指令、所述批次归集新增业务数据数量触发指令。
11.一种数据归集装置,其特征在于,包括:
创建模块,被配置为在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;
获取模块,被配置为获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;
创建索引模块,被配置为根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;
归集模块,被配置为根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集,其中,所述数据规则属性索引,根据所述业务数据对应的数据规则属性配置创建。
12.根据权利要求11所述的装置,其特征在于,还包括:
读取业务数据模块,被配置为在检测到业务文件到达触发指令的情况下,读取所述业务文件中所述业务数据的所述业务类型及业务场景阶段集合;
读取数据规则属性配置模块,被配置为获取所述业务类型及所述业务场景阶段集合对应的数据规则属性配置;
创建数据索引模块,被配置为根据所述数据规则属性配置创建所述业务数据的数据规则属性索引;
存储模块,被配置为将所述业务数据及所述数据规则属性索引存储于数据库中。
13.一种计算设备,其特征在于,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
在检测到批次归集触发指令的情况下,根据业务数据的业务类型及业务场景阶段创建归集批次;
获取所述归集批次的批次业务类型及批次业务场景阶段对应的批次规则属性配置;
根据所述批次规则属性配置创建所述归集批次的批次规则属性索引;
根据所述批次规则属性索引以及所述业务数据的数据规则属性索引将所述业务数据进行批次归集,其中,所述数据规则属性索引,根据所述业务数据对应的数据规则属性配置创建。
14.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1至10任意一项所述数据归集方法的步骤。
CN201910595387.2A 2019-07-03 2019-07-03 数据归集方法以及装置 Active CN110457310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910595387.2A CN110457310B (zh) 2019-07-03 2019-07-03 数据归集方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910595387.2A CN110457310B (zh) 2019-07-03 2019-07-03 数据归集方法以及装置

Publications (2)

Publication Number Publication Date
CN110457310A CN110457310A (zh) 2019-11-15
CN110457310B true CN110457310B (zh) 2023-05-23

Family

ID=68481973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910595387.2A Active CN110457310B (zh) 2019-07-03 2019-07-03 数据归集方法以及装置

Country Status (1)

Country Link
CN (1) CN110457310B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220290A (zh) * 2021-04-23 2021-08-06 杭州数跑科技有限公司 应用的业务功能实现方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7552145B1 (en) * 2006-02-28 2009-06-23 Sprint Communications Company L.P. Method and system of restating telecommunications data by a batch-driven integrated rules module
CN106815062A (zh) * 2015-12-02 2017-06-09 阿里巴巴集团控股有限公司 一种业务流水数据处理方法及装置
CN107016025A (zh) * 2016-11-17 2017-08-04 阿里巴巴集团控股有限公司 一种非关系型数据库索引的建立方法及装置
CN109726174A (zh) * 2018-12-28 2019-05-07 江苏满运软件科技有限公司 数据归档方法、系统、设备以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7552145B1 (en) * 2006-02-28 2009-06-23 Sprint Communications Company L.P. Method and system of restating telecommunications data by a batch-driven integrated rules module
CN106815062A (zh) * 2015-12-02 2017-06-09 阿里巴巴集团控股有限公司 一种业务流水数据处理方法及装置
CN107016025A (zh) * 2016-11-17 2017-08-04 阿里巴巴集团控股有限公司 一种非关系型数据库索引的建立方法及装置
CN109726174A (zh) * 2018-12-28 2019-05-07 江苏满运软件科技有限公司 数据归档方法、系统、设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
规则引擎在配用电辅助设计系统中的应用研究;洪毅等;《计算机光盘软件与应用》;20130301(第05期);全文 *

Also Published As

Publication number Publication date
CN110457310A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
US11244232B2 (en) Feature relationship recommendation method, apparatus, computing device, and storage medium
CN107844634B (zh) 多元通用模型平台建模方法、电子设备及计算机可读存储介质
CN110502546B (zh) 一种数据处理方法及装置
CN106982150B (zh) 一种基于Hadoop的移动互联网用户行为分析方法
CN107515878B (zh) 一种数据索引的管理方法及装置
CN104077723B (zh) 一种社交网络推荐系统及方法
CN111522968B (zh) 知识图谱融合方法及装置
CN102968430A (zh) 用于在地址簿中自动产生和管理组的方法和设备
CN112328567B (zh) 一种物联网mme日志数据的处理方法及装置
CN111815467A (zh) 审核方法以及装置
CN112364014A (zh) 数据查询方法、装置、服务器及存储介质
CN110457310B (zh) 数据归集方法以及装置
CN111309946B (zh) 一种已建立档案优化方法及装置
CN110457704A (zh) 目标字段的确定方法、装置、存储介质及电子装置
CN113191784A (zh) 异常企业识别方法、装置、电子设备及存储介质
CN111726776A (zh) 一种车联网设备的网络拨号参数自动识别方法
CN112989124B (zh) 多网联动数据协同配置方法、装置、计算设备及存储介质
US20210064660A1 (en) Graph search using index vertices
CN111723122A (zh) 数据间关联规则的确定方法、装置、设备及可读存储介质
CN110750561A (zh) 一种关联应用程序挖掘的方法及装置
CN111159311B (zh) 一种数据映射集成的方法、装置、设备及存储介质
CN114416959A (zh) 一种科研成果推送、认领方法及系统
CN110737675A (zh) 关联id查询方法、装置、电子设备和存储介质
CN111275261A (zh) 资源流动预测方法以及装置
CN113204714A (zh) 一种基于用户画像的任务推荐方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201010

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20201010

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant