CN112100250A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN112100250A CN112100250A CN202011316572.2A CN202011316572A CN112100250A CN 112100250 A CN112100250 A CN 112100250A CN 202011316572 A CN202011316572 A CN 202011316572A CN 112100250 A CN112100250 A CN 112100250A
- Authority
- CN
- China
- Prior art keywords
- rule
- service
- field
- target
- business
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书提供数据处理方法及装置,其中所述数据处理方法包括:在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
Description
技术领域
本说明书涉及数据处理技术领域,特别涉及数据处理方法及装置。
背景技术
随着互联网技术的发展,越来越多的业务在线上都得到了有效的发展,而为了能够保证业务可以通过线上向用户提供更优质的服务,业务提供方通常会针对线上业务配置较多的业务规则,以此保证用户能够得到满足使用需求的业务服务;但是现有技术中针对业务规则的配置,是由业务的相关人员根据工作经验设定的,不仅需要花费较多的资源培养出能够配置业务规则的相关人员,还需要保证相关人员的工作经验丰富性,很大程度上提高了业务规则的挖掘成本,同时由于人工配置业务规则的方式无法实现全面覆盖线上风险点,进而造成了较大的局限性,因此亟需一种有效的方案以解决上述问题。
发明内容
有鉴于此,本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种数据处理方法,包括:
在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;
确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;
基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;
根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
根据本说明书实施例的第二方面,提供了一种数据处理装置,包括:
提取模块,被配置为在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;
选择模块,被配置为确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;
验证模块,被配置为基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;
写入模块,被配置为根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;
确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;
基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;
根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述数据处理方法的步骤。
本说明书提供的数据处理方法,在进行业务规则挖掘的过程中,为了能够得到目标业务中覆盖率较高的业务规则,将在所述目标业务的事务数据库中提取目标数据,并确定目标业务对应的业务字段类型,之后确定目标数据中所述业务字段类型对应的字段取值,同时在字段取值中选择规则字段取值和条件字段取值,基于规则字段取值和条件字段取值生成业务规则,并在事务数据库中提取验证数据对所述业务规则进行验证,当验证完成后确定所述业务规则的业务分值,最后基于所述业务分值将所述业务规则写入符合业务分值的目标规则库中,实现了根据目标数据充分的挖掘出符合目标业务的业务规则,避免发生业务规则遗漏的问题,同时通过计算业务分值的方式确定业务规则的支持度和置信度,可以有效的分析出业务规则相对于目标业务的可解释性,从而得到符合目标业务配置需求的业务规则,以此保证目标业务的稳定性。
附图说明
图1是本说明书一实施例提供的一种数据处理方法的流程图;
图2是本说明书一实施例提供的一种数据处理方法中的业务规则挖掘的结构示意图;
图3是本说明书一实施例提供的一种数据处理方法中的业务规则验证过程的流程图;
图4是本说明书一实施例提供的另一种数据处理方法中的业务规则验证过程的流程图;
图5是本说明书一实施例提供的一种数据处理方法的结构示意图;
图6是本说明书一实施例提供的一种数据处理装置的结构示意图;
图7是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
实际应用中,线上业务的运行通常需要较多的业务规则进行支持,而该业务规则的设定一般是由业务相关人员根据工作经验进行设定,如在交易业务场景中,用户向商家支付费用时出现商家漏收费的故障,针对该故障的检测就需要通过相关人员设定的规则实现,从而有效的维护交易业务场景的稳定性,但是由于人力有限,并且随着业务的发展所面临的业务规则也随之增多,人工配置的业务规则将无法实现全面覆盖风险点,并且人工梳理存在局限性,因此充分的挖掘业务相关的业务规则显着尤为重要,从而才能够保证业务场景的稳定性。
本说明书提供的数据处理方法,在进行业务规则挖掘的过程中,为了能够得到目标业务中覆盖率较高的业务规则,将在所述目标业务的事务数据库中提取目标数据,并确定目标业务对应的业务字段类型,之后确定目标数据中所述业务字段类型对应的字段取值,同时在字段取值中选择规则字段取值和条件字段取值,基于规则字段取值和条件字段取值生成业务规则,并在事务数据库中提取验证数据对所述业务规则进行验证,当验证完成后确定所述业务规则的业务分值,最后基于所述业务分值将所述业务规则写入符合业务分值的目标规则库中,实现了根据目标数据充分的挖掘出符合目标业务的业务规则,避免发生业务规则遗漏的问题,同时通过计算业务分值的方式确定业务规则的支持度和置信度,可以有效的分析出业务规则相对于目标业务的可解释性,从而得到符合目标业务配置需求的业务规则,以此保证目标业务的稳定性。
在本说明书中,提供了一种数据处理方法,本说明书同时涉及一种数据处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一实施例提供的一种数据处理方法的流程图,具体包括以下步骤:
步骤S102,在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型。
具体的,所述目标业务是指需要进行业务规则挖掘的业务,包括但不限于保险业务,代理业务,交易业务等等,需要说明的是,本实施例所提到的目标业务是在线上进行开展,相应的业务规则也是为了保障目标业务在线上可以进行合理且安全的发展;相应的,所述事务数据库具体是指存储所述目标业务相关事件的数据库,如在保险业务中,事务数据库中存储的数据为:用户通过线上购险的方式参与保险的购险事件数据;或在交易业务中,事务数据库中存储的数据为:用户通过线上付款的方式购买商品的交易事件数据;相应的,所述目标数据即为挖掘所述目标业务的业务规则时提取的数据。
需要说明是,本实施例中,所述目标数据为挖掘业务规则时所使用的一条数据,基于该条数据挖掘业务规则的过程即为步骤S102~步骤S108的过程,而事务数据库中所包含的数据较多,因此基于其他条目标数据挖掘新的业务规则的过程均可参见本实施例相应的描述内容,本实施例在此不作过多赘述,从而实现通过本实施例提供的数据处理方法可以遍历事务数据库中包含的各条数据,得到各条数据对应的业务规则,以完成对目标业务的全部业务规则的挖掘,以此保证目标业务向用户提供服务时,可以保证业务稳定性的同时提供给用户较为优质的服务。
基于此,所述业务字段类型具体是指在目标业务的事务数据库中所包含的字段类型,不同的字段类型对应不同的事件信息,并且各个字段类型中包含的字段对应有“值”,通过字段对应的值可以分析出数据的变化情况,从而在目标业务中发生新的事件后,可以通过判断新的事件相关的数据中,各个字段类型中包含的字段取值分析新的事件是否符合目标业务的业务规则。如在交易业务场景中,交易业务的业务字段类型包括金额数值型(amount),流水型(flow)和状态属性型(status),通过交易数据可以确定对应金额数值型中字段的取值,流水型中字段的取值和状态属性型中字段的取值,通过各个业务字段类型中字段的取值即可确定交易事件的交易信息,以分析出当前交易事件是否发生交易故障;相应的,在其他业务场景中,各个业务字段类型中字段的取值均可以用于表示对应业务场景中的业务事件信息,具体业务字段类型可以根据实际需求进行设定,本实施例在此不作任何限定。
此外,由于针对目标业务的业务规则挖掘时,需要满足适配目标业务,即挖掘出的业务规则可以有效的对目标业务中的业务漏洞进行排查检测,因此需要在所述业务字段类型中选择表示状态的字段类型作为业务规则中的门限规则,从而使得生成的业务规则满足所述目标业务的配置需求,提高所述目标业务的稳定性。
本实施例将以所述目标业务为交易业务为例进行描述,相应的,在所述事务数据库中包含m(m1,m2……,m≥1,且m为正整数)条交易数据,包含的业务字段类型为金额数值型,流水型和状态属性型,通过上述三个业务字段类型对交易业务的业务规则挖掘过程进行描述,其他业务场景均可参见本实施例中相应的描述内容,本实施例在此不作过多赘述。
步骤S104,确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值。
具体的,在上述提取到目标数据和确定目标业务的业务字段类型之后,此时说明需要基于业务字段类型进行业务规则的挖掘,从而得到覆盖率较高的业务规则,以保证目标业务的稳定性,避免出现业务漏洞对用户产生影响。
其中,所述字段取值具体是指根据目标数据确定的在各个业务字段类型中字段的取值,所述规则字段取值具体是指在业务字段类型中选择的规则字段类型所对应的字段取值,所述条件字段取值具体是指在业务字段类型中选择的条件字段类型所对应的字段取值;并且由于事务数据库中的数据进行存储时,会按照表的形式进行存储,因此在事务数据库中将存在业务表,该表中记录有字段集合I={i1,i2……in},其中ik(1≤k≤n)表示某一业务字段类型中的字段,相应的,字段ik的字段取值为Dk=,其中k表示第几个字段,q表示该字段取值的个数,Dk表示该字段的取值。在提取目标数据时,将从上述表中提取业务字段类型对应的字段,并根据Dk确定各个字段的取值,组成所述目标数据。其中,字段和字段取值都是在该数据对应的事件发生时生成的,即字段和字段取值为历史事件发生时所对应的数据中包含的。
由于事务数据库中所包含的数据都是目标业务为发生故障所记录的数据,因此可以基于这部分历史数据进行业务规则的挖掘,当确定业务规则并针对目标业务配置完成后,当有新的事件发生,将产生新的数据,将新的数据中字段和字段取值与业务规则进行比较即可确定新的事件是否会引起故障,从而有效的对目标业务进行监控,避免对新的事件对应的用户产生影响。
基于此,在确定所述业务字段类型之后,将确定所述目标数据中与所述业务字段对应的字段取值,所述字段取值为离散化后的字段取值,具体离散化过程是指:确定字段类型为T=,此时对数据进行离散化处理,限定amount字段取值空间D={0,null,notnull},限定flow字段取值空间D={null,notnull},以及限定status字段取值空间D={null,原始值},以此来表达各个业务字段类型对应的字段取值;之后在所述字段取值中选择规则字段取值和条件字段取值,以用于后续生成业务规则。
并且在所述字段取值中选择规则字段取值和条件字段取值的过程中,可以按照业务规则的生成类型进行选择,如在交易业务场景中,需要挖掘的业务规则是漏收款业务规则,则可以选择状态属性型中的字段取值作为规则字段取值,之后将数据中的其他字段类型中的字段取值都作为待选择条件字段取值,当需要组成业务规则时,可以按照遍历条件选择一个待选择条件字段取值或两个待选择条件字段取值,再或者多个待选择条件字段取值作为条件字段取值,用于后续生成所述业务规则,而为了能够保证生成的业务规则较为全面,首先可以在待选择条件字段取值中选择每个条件字段取值分别与规则字段取值组成多个一字段业务规则,并对各个一字段业务规则进行验证之后完成一字段业务规则的写入;再从待选择条件字段取值中选择两个条件字段取值分别与规则字段取值组成多个二字段业务规则,并对各个二字段业务规则进行验证之后完成二字段业务规则的写入,以此类推,直至业务规则的组成是由全部条件字段取值和规则字段取值得到的情况下,当完成该业务规则的验证后,完成针对目标数据的业务规则的挖掘,再针对其他数据进行相同的业务规则挖掘处理即可。
进一步的,在确定所述字段取值的过程中,由于所述事务数据库对应的业务表中包含较多的字段,因此需要对所述业务表进行读取,获得目标数据的业务字段类型分别对应的业务字段,从而才能够确定各个业务字段类型的字段取值,本实施例中,具体实现方式如下所述:
读取所述事务数据库对应的业务表,并根据读取结果确定所述业务字段类型对应的业务字段;
基于所述目标数据和所述业务字段确定所述字段取值。
具体的,所述业务表具体是指记录所述事务数据库中包含的全部数据对应的字段,所述业务字段具体是指所述属于各个业务字段类型的字段,基于此,首先读取所述事务数据库对应的业务表,根据读取结果确定各个业务字段类型对应的业务字段,其中各个业务字段类型对应的业务字段包含全部数据对应该业务类型的字段,最后基于所述业务字段即可确定所述目标数据中的所述字段取值。
更进一步的,在确定所述字段取值之后,此时需要在所述字段取值中选择条件字段取值和规则字段取值,以用于后续生成所述业务规则,本实施例中,具体实现方式如下所述:
根据预设选择策略在所述业务字段中选择规则业务字段,以及在所述业务字段中选择除所述规则业务字段外的条件业务字段;
基于所述字段取值确定所述规则业务字段对应的所述规则字段取值,以及确定所述条件业务字段对应的所述条件字段取值。
具体的,所述预设选择策略具体是指选择规则业务字段和条件业务字段的策略,由于不同的业务规则对应不同的应用场景,因此在进行业务规则挖掘时,也要按照业务规则的挖掘需求进行业务规则的创建,此时即可根据需求预设所述选择策略,通过所述预设选择策略进行规则业务字段的选择和条件业务字段的选择,之后基于所述规则业务字段即可确定所述规则字段取值,以及根据所述条件字段取值即可确定所述条件字段取值,以用于后续生成所述业务规则。
实际应用中,所述预设选择策略需要与业务规则的挖掘方向匹配,从而通过本说明书提供的数据处理方法得到满足挖掘需求的业务规则,以保证所述目标业务的稳定性,所述预设选择策略可以根据实际应用场景进行设定,本实施例在此不作任何限定。
例如,在交易业务的事务数据库中包含m(m1,m2……,m≥1,且m为正整数)条交易数据,且交易业务的业务字段类型包括金额数值型,流水型和状态属性型,此时为了避免漏收款的问题发生,需要挖掘状态业务规则,以此避免用户与商家进行交易时发生漏付款/收款的问题,对参与交易的一方带来损失;基于此,选择交易业务的事务数据库中的交易数据m3作为目标数据,通过读取事务数据库对应的业务表,确定交易数据m3中金额数值型的金额数值字段A的字段取值为A3,流水型的流水字段B的字段取值为B3,状态属性型的状态属性字段C的字段取值为C3。
之后根据预设的选择策略(挖掘漏收款业务规则策略)在业务字段中进行选择,确定以状态属性字段C作为规则业务字段,将金额数值字段A和流水字段B作为条件业务字段,基于各个业务字段的字段取值,即可确定规则字段取值为A3,条件字段取值为B3和C3。以用于后续可以根据规则字段取值和条件字段取值生成业务规则,以实现挖掘出交易业务中的检测漏收款的业务规则。
综上,通过预设选择策略的方式对规则字段取值和条件字段取值的确定,不仅可以保证业务规则的挖掘方向,还能够保证业务规则与所述目标业务的契合度,进一步保证了目标业务的稳定性。
步骤S106,基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证。
具体的,在上述得到所述规则字段取值和所述条件字段取值的基础上,进一步的,此时则需要整合所述规则字段取值和所述条件字段取值,以生成所述业务规则,其中,所述业务规则的表达形式为,在生成所述业务规则之后,为了能够确保业务规则可以应用于所述目标业务,还需要对所述业务规则进行验证,通过验证的方式确定业务规则的支持度和置信度,只有当业务规则的支持度和置信度都满足预设条件的情况下,才表明所述业务规则符合配置所述目标业务的配置需求,则将该业务规则进行存储即可,如果业务规则的支持度和/或置信度不满足预设条件,表明业务规则可能存在一定的问题,则将该业务规则舍弃即可。
其中,所述验证数据具体是指所述事务数据库中除所述目标数据外的其他数据,通过使用其他数据对基于目标数据生成的业务规则进行验证,有效的保证了业务规则的挖掘的精准度和有效性,进而促进后续丰富目标规则库。
参见图2所示的业务规则挖掘的结构示意图,为了提高业务规则的挖掘效率,可以通过驱动程序(Driver)将基于规则字段取值和条件字段取值生成的全部业务规则按照所属的数据放到工作队列(Worker)的每一个任务(task)上完成,由执行模块(executor)实现并行的完成业务规则的挖掘,得到大量需要验证的业务规则进行后续的规则验证即可。
进一步的,在基于所述规则字段取值和条件字段取值生成所述业务规则的过程中,由于规则字段取值和条件字段取值在业务规则中的作用不同,因此需要按照业务规则的生成条件进行创建,本实施例中,具体实现方式如下所述:
将所述条件字段取值确定为门限条件,以及将所述规则字段条件确定为门限规则;
基于所述门限条件和所述门限规则生成所述业务规则,其中,所述门限条件优先级大于所述门限规则。
具体的,在通过业务规则对目标业务中新事件进行检测时,通常都是先判断条件再判断规则,因此在创建所述业务规则时,将选择所述条件字段取值确定为所述门限条件,以及选择所述规则字段条件确定为所述门限规则,最后基于所述门限条件和所述门限规则生成所述业务规则,其中,所述门限条件的优先级大于所述门限规则,即在进行新事件检测时,将优先判断门限条件,当门限条件符合的情况下,再进行门限规则的判断,从而确定新事件是否会触发业务漏洞,造成业务参与方的损失。
更进一步的,当完成所述业务规则的创建之后,为了避免不适配目标业务的业务规则对目标业务的稳定性造成影响,将对所述业务规则进行验证,从而选择支持度和置信度较高的业务规则进行使用,本实施例中,验证所述业务规则的过程如下所述:
在所述事务数据库中提取除所述目标数据外的所述验证数据,并确定所述验证数据中所述业务字段类型对应的验证字段取值;
基于所述验证字段取值确定所述规则业务字段对应的验证规则字段取值,以及确定所述条件业务字段对应的验证条件字段取值;
确定所述业务规则中的所述门限条件和所述门限规则,并将所述验证条件字段取值与所述门限条件进行比较;
根据比较结果筛选出满足所述门限条件的目标验证数据,并基于所述目标验证数据的验证规则字段取值对所述门限规则进行验证。
具体的,所述验证数据具体是指验证所述业务规则的数据,即所述事务数据库中除所述目标数据外的其他数据,所述验证字段取值具体是指所述验证数据中所述业务字段类型对应的字段取值,所述验证规则字段取值具体是指验证数据在规则业务字段维度所对应的字段取值,相应的,所述验证条件字段取值具体是指验证数据在条件业务字段维度所对应的字段取值。
基于此,生成所述业务规则之后,在所述事务数据库中提取除所述目标数据外的所述验证数据,同时确定所述验证数据中所述业务字段类型对应的验证字段取值,之后基于所述验证字段取值确定所述规则字段对应的验证规则字段取值,以及确定所述条件业务字段的验证条件字段取值,将所述验证条件字段取值与所述门限条件进行一次比较,之后根据比较结果筛选出满足门限条件的目标验证数据,再基于这部分目标验证数据的验证规则字段取值对所述门限规则进行验证,从而实现后续可以得到业务规则的支持度和置信度,以决定业务规则应该写入的目标规则库。
沿用上例,当确定规则字段取值为A3,条件字段取值为B3和C3之后,此时即可根据规则字段取值A3确定门限规则为A=A3,根据条件字段取值B3和C3确定门限条件为B=B3和C=C3,则基于门限条件和门限规则生成一字段业务规则包括[if(B=B3),rule(A=A3)]和[if(C=C3),rule(A=A3)],以及二字段业务规则为[if(B=B3,C=C3),rule(A=A3)],此时将对各个业务规则进行验证,在交易业务的事务数据库中提取验证数据(m条数据中除目标数据m3外的数据组成),之后确定验证数据(m1,m2,m4……m)中业务字段类型对应的验证字段取值,交易数据m1中金额数值型的金额数值字段A的字段取值为A1,流水型的流水字段B的字段取值为B1,状态属性型的状态属性字段C的字段取值为C1……交易数据m中金额数值型的金额数值字段A的字段取值为Am,流水型的流水字段B的字段取值为Bm,状态属性型的状态属性字段C的字段取值为Cm。
基于此,由于状态属性字段C为规则业务字段,而金额数值字段A和流水字段B为条件业务字段,因此确定交易数据m1的验证规则字段取值为A1,验证条件字段取值为B1和C1,交易数据m2的验证规则字段取值为A2,验证条件字段取值为B2和C2……交易数据m的验证规则字段取值为Am,验证条件字段取值为Bm和Cm。
之后先对一字段业务规则[if(B=B3),rule(A=A3)]进行验证,将各条验证数据的验证条件字段取值与一字段业务规则中门限条件if(B=B3)进行比较,即判断各条验证数据的验证条件字段取值是否与B3相等,选择验证数据中验证条件字段取值与B3相等的验证数据作为目标验证数据,同时将目标验证数据的规则字段取值与一字段业务规则中门限规则rule(A=A3)进行比较,即判断各条验证数据的验证规则字段取值是否与B3相等,从而实现对一字段业务规则的验证;同理,将按照一字段业务规则[if(B=B3),rule(A=A3)]的验证过程对一字段业务规则[if(C=C3),rule(A=A3)]和二字段业务规则[if(B=B3,C=C3),rule(A=A3)]进行验证,从而完成针对交易数据创建的业务规则的验证,后续再进行业务规则的存储时,可以根据验证结果实现,以保证业务规则的充分挖掘。
综上,通过使用验证数据同时对所述业务规则进行验证,不仅可以节省验证时间,还能够保证业务规则验证的精准度,进一步保证了业务规则挖掘的精准度,从而实现得到适合目标业务使用的业务规则。
步骤S108,根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
具体的,在上述对所述业务规则进行验证之后,进一步的,根据所述验证结果即可得到所述业务规则的业务分值,其中,所述业务分值具体是指所述业务规则得到的支持度和置信度,通过支持度反应所述业务规则针对所述目标业务的适配程度,通过所述置信度反映所述业务规则针对所述目标业务被支持的概率;此时通过所述业务分值即可分析出所述业务规则与所述目标业务的适配程度,将所述业务分值与所述预设分值阈值进行比较,即将所述业务分值中的支持度与最小支持度min_s进行比较,以及将所述业务分值中的置信度与最小置信度min_c进行比较;
若所述业务分值大于所述预设分值阈值(支持度大于最小支持度min_s,且置信度大于最小置信度min_c),表明所述业务规则符合所述目标业务的挖掘需求,则将该业务规则写入业务目标规则库即可,若所述业务分值小于等于所述预设分值阈值(支持度小于等于最小支持度min_s,或者置信度小于等于最小置信度min_c),表明所述业务规则不符合所述目标业务的挖掘需求,则将该业务规则写入非业务目标规则库即可。
其中,所述业务目标规则库具体是指存储能够适用所述目标业务的业务规则的数据库,所述非业务目标规则库具体是指存储不能够适用所述目标业务的业务规则的数据库;相应的,所述预设分值阈值可以根据实际应用场景进行设定,本实施例在此不作任何限定。
此外,参见图3所示的业务规则验证过程的流程图,在对所述业务规则进行验证时,由于所述业务规则较多,可能存在重复或者部分重复的问题,如果对各个业务规则都进行验证,将会浪费较多的验证资源,并且影响验证效率,因此可以采用逐条验证业务规则的方式进行验证,并且在验证过程中将业务规则与已经存储的业务规则比对,如果存在重复或部分重复的业务规则,就不需要进行验证了,选择下一条业务规则再进行处理即可,本实施例中,具体实现方式如步骤S302至步骤S316:
步骤S302,根据所述规则字段取值和所述条件字段取值生成n条业务规则,其中n≥1,且n为正整数;
步骤S304,在所述n条业务规则中提取第i条业务规则,其中i从1开始取值,且i∈[1,n];
步骤S306,查询所述目标规则库是否存在与所述第i条业务规则匹配的标准业务规则;若否,执行步骤S308;若是,执行步骤S314;
步骤S308,在所述事务数据库中提取所述验证数据对所述n条业务规则中的第i条业务规则进行验证;
步骤S310,根据验证结果确定所述第i条业务规则的业务分值,并基于所述业务分值将所述第i条业务规则写入所述目标规则库;
步骤S312,i自增1,判断i是否大于n;若否,执行步骤S304;若是,执行步骤S316;
步骤S314,i自增1,判断i是否大于预设遍历阈值;若否,执行步骤S304,若是,执行步骤S316;
步骤S306,结束。
具体的,所述标准业务规则具体是指已经存储在目标规则库中能够使用的业务规则;在逐条进行业务规则的验证过程中,将基于所述规则字段取值和所述条件字段取值生成n条业务规则(其中n≥1,且n为正整数),之后从n条业务规则中提取第i条业务规则进行验证(其中i从1开始取值,且i∈[1,n]),而在验证的过程中,为了能够压缩业务规则的数量,可以将存在重复或部分重复的业务规则舍弃,只保留还未被存储过的业务规则进行验证,以实现在业务规则验证过程中节省资源消耗的情况下,完成业务规则的挖掘。
基于此,将在所述目标规则库中查询是否存在与所述第i条业务规则匹配的标准业务规则,若是,说明所述第i条业务规则与目标规则库中已经存储的标准业务规则存在重复和部分重复,则可以将第i条业务规则舍弃,选择第i+1条业务规则进行验证,而由于事务数据库中包含的数据量较大,前期所能够得到的业务规则较多,随着时间的推移,能够再生成新的业务规则的概率将会随之下降,因此为了避免持续进行业务规则的生成而又无法得到新的业务规则的问题。将通过设置预设遍历阈值的方式进行收敛限定,当i+1的数值大于所述预设遍历阈值,说明已经遍历了与预设遍历阈值相等次数的业务规则而无法得到新的业务规则,则执行步骤S316即可,结束目标业务的业务规则的挖掘;当i+1的数值不大于所述预设遍历阈值,说明遍历的次数还未达到所述预设遍历阈值相等的次数,则返回执行步骤S304,在n条业务规则中提取第i+1条业务规则进行上述处理。
此外,由于前期所挖掘出的业务规则范围相对于后期挖掘的业务规则范围大(前期组成业务规则的条件字段取值少,后期组成业务规则的条件字段条件多),可能会发生前期挖据出的业务规则范围包含后期挖掘出的业务规则的范围,如果将后期挖掘出的业务规则还进行记录的话,就会出现范围重复或部分重复的问题,影响在规则挖掘时的收敛效果,因此,本实施例提供的处理方式中,将对新生成的业务规则与已经记录的业务规则进行比较,如果已经记录的业务规则包含当前阶段生成的业务规则,就把当前节点生成的业务规则舍弃,再选择下一条业务规则进行处理,以此类推,保证挖掘业务规则时可以收敛,提高挖掘业务规则的效率。
例如,目标规则库中已经存储有业务规则[if(B=B3),rule(A=A3)]和业务规则[if(C=C3),rule(A=A3)],而此时新生成的业务规则为[if(B=B3,C=C3),rule(A=A3)],通过查询目标规则库,确定新生成的业务规则[if(B=B3,C=C3),rule(A=A3)]的范围要小于[if(B=B3),rule(A=A3)]或[if(C=C3),rule(A=A3)],即业务规则[if(B=B3),rule(A=A3)]或[if(C=C3),rule(A=A3)]的检测范围都包含新生成的业务规则[if(B=B3,C=C3),rule(A=A3)]的检测范围,此时则没必要对新生成的业务规则进行存储,将新生成的业务规则舍弃即可,再选择下一条业务规则重新进行检测和验证处理即可。
进一步的,在所述目标规则库中未查询到在与所述第i条业务规则匹配的标准业务规则的情况下,说明所述第i条业务规则与目标规则库中已经存储的标准业务规则不存在重复或部分重复,表明第i条业务规则可以作为新的业务规则进行验证,此时则在所述事务数据库中提取验证数据对所述第i条业务规则进行验证,根据验证数据对所述第i条业务规则的支持度和置信度,得出所述i条业务规则的业务分值,根据所述业务分值将所述第i条业务规则写入相应的目标规则库中即可。
当完成对第i条业务规则的存储之后,此时将选择第i自增1后的业务规则再进行上述处理过程,而在此之前,还需要判断i自增1后的业务规则是否大于n,即判断i自增1后的业务规则是否已经将能够挖掘出的业务规则都完成了验证,若是,则执行步骤S316即可,若否,则返回执行步骤S304即可。
更进一步的,在查询所述目标规则库中是否存在与所述第i条业务规则匹配的标准业务规则的过程中,由于所述目标规则库中包含的标准业务规则较多,如果基于新生成的业务规则直接查询所述目标规则库,可能花费较长的时间才能够完成,而为了提高查询目标规则库的效率,可以通过设置键值的方式对字业务规则进行压缩,将长字符映射到短字符(业务规则映射到短字符),本实施例中,具体实现方式如下所述:
根据所述第i条业务规则的规则字段取值和条件字段取值,创建所述第i条业务规则对应的业务规则键值;
提取所述目标规则库中包含的多个标准规则键值,并判断所述多个标准规则键值中是否存在与所述业务规则键值匹配的标准规则键值;若是,执行步骤S314,若否,执行步骤S308。
具体实施时,为了能够压缩业务规则的占用空间,以及方便后续进行新的业务规则的重复性判断,在将满足需求的业务规则写入所述目标规则库时,将该业务规则确定为标准业务规则,同时根据标注业务规则的字段名创建标准业务规则的键值;当查询所述目标规则库中是否存在所述第i条业务规则时,为了提高查询效率,将根据所述规则字段取值和条件字段取值,创建所述第i条业务规则对应的业务规则键值,从而实现从长字符映射到短字符,通过短字符的业务规则键值查询所述目标规则库即可,如果存在与业务规则键值相同的标准业务规则键值,则说明在所述目标规则库中已经存在的第i条业务规则,则执行步骤S314即可,如果未存在与所述业务规则键值相同的标准业务规则键值,则说明在所述目标规则库中未存在与第i条业务规则相等的标准业务规则,则执行步骤S308即可。
例如,根据规则字段取值和条件字段取值生成1000条业务规则后,此时将在1000条业务规则中提取第1条业务规则对其进行验证,而在验证之前,还需要查询目标规则库中是否存在与第1条业务规则匹配的标准业务规则,查询过程具体是指:确定第1条业务规则的业务规则键值,通过业务规则键值查询目标规则库中包含的标准业务规则键值,若未存在与业务规则键值匹配的标准业务规则键值的情况下,说明第1条业务规则是新的业务规则,此时将对第1条业务规则进行验证。
验证过程具体是指:在事务数据库中提取验证数据(除目标数据外的其他数据)对第1条业务规则进行验证,根据验证结果确定第1条业务规则支持度和置信度,并确定支持度大于支持度阈值,以及置信度大于置信度阈值,此时说明第1条业务规则符合当前目标业务的配置需求,则将第1条业务规则存储至业务目标规则库中,之后选择第2-1000条业务规则重复上述过程,直至满足结束条件,完成1000条业务规则的遍历;之后再从事务数据库中提取下一条数据,重复上述过程,以此类推,直至完成全部数据的业务规则挖掘之后,即可在所述业务目标规则库中记录全部满足使用需求的业务规则,后续按照该业务目标规则库中记录的业务规则对目标业务进行配置即可。
综上,为了能够充分的挖掘出符合所述目标业务配置需求的业务规则,将循环进行业务规则的挖掘,从而遍历出大量满足使用需求的业务规则,同时在遍历业务规则额度过程中,为了提高业务规则挖掘效率,以及节省业务规则的占用空间,还可以采用压缩字符的方式进行存储和查询,从而进一步提高了业务规则挖掘的效率。
此外,参见图4所示的另一种业务规则验证过程的流程图,在根据所述验证数据对所述业务规则进行验证的过程中,为了保证业务分值确定的精准度,可以提取逐条验证数据对所述业务规则进行验证,本实施例中,具体实现方式如下所述:
步骤S402,在所述事务数据库中提取除所述目标数据外的m条验证数据,并确定m条验证数据中所述业务字段类型对应的验证字段取值;
步骤S404,基于所述验证字段取值确定所述规则业务字段对应的验证规则字段取值,以及确定所述条件业务字段对应的验证条件字段取值;
步骤S406,根据m条验证数据中的第j验证数据的验证规则字段取值和验证条件字段取值对所述业务规则进行验证,其中m≥1,且m为正整数,j从1开始取值,且j∈[1,m];
步骤S408,根据验证结果对所述业务规则的目标业务分值进行更新;
步骤S410,根据更新结果将j自增1,并判断j是否大于m;
若否,返回执行所述步骤S406;
若是,将所述目标业务分值作为所述业务分值,并执行图1中的步骤S108即可,即基于所述业务分值将所述业务规则写入目标规则库。
具体的,所述验证数据具体是指验证所述业务规则的数据,即所述事务数据库中除所述目标数据外的其他数据,所述验证字段取值具体是指所述验证数据中所述业务字段类型对应的字段取值,所述验证规则字段取值具体是指验证数据在规则业务字段维度所对应的字段取值,相应的,所述验证条件字段取值具体是指验证数据在条件业务字段维度所对应的字段取值。
基于此,生成所述业务规则之后,在所述事务数据库中提取除所述目标数据外的m条验证数据,同时确定m条验证数据中的各条验证数据中所述业务字段类型对应的验证字段取值,之后基于所述验证字段取值确定所述规则字段对应的验证规则字段取值,以及确定所述条件业务字段的验证条件字段取值,选择m条验证数据中的第j条验证数据的验证规则字段取值和验证条件字段取值对所述业务规则进行验证(其中m≥1,且m为正整数,j从1开始取值,且j∈[1,m]),根据验证结果确定第j条验证数据是否对所述业务规则支持,若是,则在业务规则的目标业务分值上+1,若否,则在业务规则的目标业务分值上+0,对业务规则的目标业务分值更新完成之后,此时将查看j+1条验证数据是否超过验证数据的总条数,若超过,说明此时已经通过m条验证数据对业务规则验证完成,则根据最后更新完成的目标业务分值确定所述业务规则的所述业务分值,根据该业务分值将所述业务规则写入对应的目标规则库即可;若未超过,说明此时还未对业务规则验证完成,则选择下一条验证数据对业务规则进行验证。
综上,通过使用逐条验证数据对所述业务规则进行验证,可以有效的保证业务分值的精准度,从而精准的筛选出满足目标业务配置需求的业务规则,以保证后续目标业务运行时的稳定性。
更进一步的,通过上述描述内容完成所述目标业务的业务规则挖掘之后,即可根据目标规则库中包含的业务规则对目标业务进行配置,从而保证目标业务的稳定性,避免出现故障对用户使用产生影响;当接收到针对目标业务提交的待检测数据后,说明此时有新的事件发生,则可以按照规则库中包含的规则对新发生的事件进行检测,从而分析出是否存在业务漏洞,本实施例中,具体实现方式如下所述:
接收针对所述目标业务提交的待检测数据;
确定所述待检测数据中所述业务字段类型对应的待检测字段取值;
确定所述待检测数据的数据类型,根据所述数据类型在所述目标规则库中确定标准业务规则表;
检测所述待检测字段取值是否满足所述标准业务规则表中包含的标准业务规则;
若否,基于所述待检测数据向所述目标业务的业务方发送反馈信息;
若是,将所述待检测数据写入事务数据库。
具体的,所述待检测数据具体是指用户参与所述目标业务的过程中产生的数据,所述反馈信息具体是指反馈目标业务存在的漏洞的信息;基于此,参见图5所示的数据处理过程的结构示意图,当通过数据源获得数据并通过业务规则挖掘引擎完成业务规则挖掘之后,会将业务规则写入数据库和存储规则树,同时根据存储规则树连接实时交易数据核对引擎完成业务规则的验证,当接收到针对所述目标业务提交的待检测数据的情况下,说明在当前目标业务场景中发生了新的事件,此时需要对新事件是否会引起业务漏洞进行检测。
基于此,通过确定所述待检测数据中所述业务字段类型对应的待检测字段取值后,同时确定所述待检测数据的数据类型,并根据所述数据类型在所述目标规则库中确定标准业务规则表;检测所述待检测字段取值是否满足所述标准业务规则表中包含的标准业务规则;若否,说明新事件将会引起业务漏洞,则基于所述待检测数据向所述目标业务的业务方发送反馈信息即可,若是,说明新事件不会引起业务漏洞,则将所述待检测数据写入事务数据库即可。
例如,在交易业务场景中,接收到用户针对甲商家进行货款支付时的交易数据,确定在本次交易中用户的交易数据中金额数值型的金额数值字段A的字段取值为Ap,流水型的流水字段B的字段取值为Bp,状态属性型的状态属性字段C的字段取值为Cp,此时确定需要对用户针对甲商家进行货款支付时的状态属性进行检测,检测用户是否出现漏付款的问题,则在目标规则库中确定的标准业务规则均为检测漏付款的业务规则,此时判断待检测数据中的字段取值是否符合检测漏付款的业务规则,如果满足,说明当前的支付过程是符合规则的,不存在漏付款的问题,则将此次交易数据直接写入事务数据库即可,如果不满足,说明当前支付过程是不符合规则的,存在漏付款的问题,则根据交易数据向交易业务的业务方反馈提醒信息,提醒业务方存在漏付款的问题发生,请尽快解决。
本说明书提供的数据处理方法,在进行业务规则挖掘的过程中,为了能够得到目标业务中覆盖率较高的业务规则,将在所述目标业务的事务数据库中提取目标数据,并确定目标业务对应的业务字段类型,之后确定目标数据中所述业务字段类型对应的字段取值,同时在字段取值中选择规则字段取值和条件字段取值,基于规则字段取值和条件字段取值生成业务规则,并在事务数据库中提取验证数据对所述业务规则进行验证,当验证完成后确定所述业务规则的业务分值,最后基于所述业务分值将所述业务规则写入符合业务分值的目标规则库中,实现了根据目标数据充分的挖掘出符合目标业务的业务规则,避免发生业务规则遗漏的问题,同时通过计算业务分值的方式确定业务规则的支持度和置信度,可以有效的分析出业务规则相对于目标业务的可解释性,从而得到符合目标业务配置需求的业务规则,以此保证目标业务的稳定性。
与上述方法实施例相对应,本说明书还提供了数据处理装置实施例,图6示出了本说明书一实施例提供的一种数据处理装置的结构示意图。如图6所示,该装置包括:
提取模块602,被配置为在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;
选择模块604,被配置为确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;
验证模块606,被配置为基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;
写入模块608,被配置为根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
一个可选的实施例中,所述验证模块606进一步被配置为:
根据所述规则字段取值和所述条件字段取值生成n条业务规则,其中n≥1,且n为正整数;在所述事务数据库中提取所述验证数据对所述n条业务规则中的第i条业务规则进行验证,其中i从1开始取值,且i∈[1,n];
相应的,所述写入模块608进一步被配置为:
根据验证结果确定所述第i条业务规则的业务分值,并基于所述业务分值将所述第i条业务规则写入所述目标规则库;i自增1,判断i是否大于n;若否,返回执行所述在所述事务数据库中提取所述验证数据对所述n条业务规则中的第i条业务规则进行验证步骤。
一个可选的实施例中,所述选择模块604进一步被配置为:
读取所述事务数据库对应的业务表,并根据读取结果确定所述业务字段类型对应的业务字段;基于所述目标数据和所述业务字段确定所述字段取值。
一个可选的实施例中,所述选择模块604进一步被配置为:
根据预设选择策略在所述业务字段中选择规则业务字段,以及在所述业务字段中选择除所述规则业务字段外的条件业务字段;基于所述字段取值确定所述规则业务字段对应的所述规则字段取值,以及确定所述条件业务字段对应的所述条件字段取值。
一个可选的实施例中,所述验证模块606进一步被配置为:
将所述条件字段取值确定为门限条件,以及将所述规则字段条件确定为门限规则;基于所述门限条件和所述门限规则生成所述业务规则,其中,所述门限条件优先级大于所述门限规则。
一个可选的实施例中,所述验证模块606进一步被配置为:
在所述事务数据库中提取除所述目标数据外的所述验证数据,并确定所述验证数据中所述业务字段类型对应的验证字段取值;基于所述验证字段取值确定所述规则业务字段对应的验证规则字段取值,以及确定所述条件业务字段对应的验证条件字段取值;根据所述验证规则字段取值和所述验证条件字段取值对所述业务规则进行验证。
一个可选的实施例中,所述验证模块606进一步被配置为:
确定所述业务规则中的所述门限条件和所述门限规则,并将所述验证条件字段取值与所述门限条件进行比较;根据比较结果筛选出满足所述门限条件的目标验证数据,并基于所述目标验证数据的验证规则字段取值对所述门限规则进行验证。
一个可选的实施例中,所述验证模块606进一步被配置为:
根据m条验证数据中的第j验证数据的验证规则字段取值和验证条件字段取值对所述业务规则进行验证,其中m≥1,且m为正整数,j从1开始取值,且j∈[1,m];
相应的,所述写入模块608进一步被配置为:
根据验证结果对所述业务规则的目标业务分值进行更新;根据更新结果将j自增1,并判断j是否大于m;若否,返回执行所述根据m条验证数据中的第j验证数据的验证规则字段取值和验证条件字段取值对所述业务规则进行验证步骤;若是,将所述目标业务分值作为所述业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
一个可选的实施例中,所述写入模块608进一步被配置为:
判断所述业务分值是否大于预设分值阈值;若是,将所述业务规则写入业务目标规则库;若否,将所述业务规则写入非业务目标规则库。
一个可选的实施例中,所述数据处理装置,还包括:
查询模块,被配置为在所述n条业务规则中提取第i条业务规则,并查询所述目标规则库是否存在与所述第i条业务规则匹配的标准业务规则;若否,则执行所述在所述事务数据库中提取所述验证数据对所述n条业务规则中的第i条业务规则进行验证步骤。
一个可选的实施例中,所述查询模块进一步被配置为:
i自增1,判断i是否大于预设遍历阈值;若否,则执行所述在所述n条业务规则中提取第i条业务规则,并查询所述目标规则库是否存在与所述第i条业务规则匹配的标准业务规则步骤;若是,则向所述目标业务的业务方发送所述目标规则库的状态信息;相应的,所述i自增1,判断i是否大于n的执行结果为否,则执行所述在所述n条业务规则中提取第i条业务规则的步骤。
一个可选的实施例中,所述数据处理装置,还包括:
检测模块,被配置为接收针对所述目标业务提交的待检测数据;确定所述待检测数据中所述业务字段类型对应的待检测字段取值;在所述待检测字段取值未满足所述目标规则库中的标准业务规则的情况下,基于所述待检测数据向所述目标业务的业务方发送反馈信息。
一个可选的实施例中,所述检测模块进一步被配置为:
确定所述待检测数据的数据类型,根据所述数据类型在所述目标规则库中确定标准业务规则表;检测所述待检测字段取值是否满足所述标准业务规则表中包含的标准业务规则;若不满足,则执行所述基于所述待检测数据向所述目标业务的业务方发送反馈信息步骤。
一个可选的实施例中,所述查询模块进一步被配置为:
根据所述第i条业务规则的规则字段取值和条件字段取值,创建所述第i条业务规则对应的业务规则键值;提取所述目标规则库中包含的多个标准规则键值,并判断所述多个标准规则键值中是否存在与所述业务规则键值匹配的标准规则键值;若否,则执行所述在所述事务数据库中提取所述验证数据对所述n条业务规则中的第i条业务规则进行验证步骤。
本说明书提供的数据处理方法,在进行业务规则挖掘的过程中,为了能够得到目标业务中覆盖率较高的业务规则,将在所述目标业务的事务数据库中提取目标数据,并确定目标业务对应的业务字段类型,之后确定目标数据中所述业务字段类型对应的字段取值,同时在字段取值中选择规则字段取值和条件字段取值,基于规则字段取值和条件字段取值生成业务规则,并在事务数据库中提取验证数据对所述业务规则进行验证,当验证完成后确定所述业务规则的业务分值,最后基于所述业务分值将所述业务规则写入符合业务分值的目标规则库中,实现了根据目标数据充分的挖掘出符合目标业务的业务规则,避免发生业务规则遗漏的问题,同时通过计算业务分值的方式确定业务规则的支持度和置信度,可以有效的分析出业务规则相对于目标业务的可解释性,从而得到符合目标业务配置需求的业务规则,以此保证目标业务的稳定性。上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
图7示出了根据本说明书一实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。
计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
其中,处理器720用于执行如下计算机可执行指令:
在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;
确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;
基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;
根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;
确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;
基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;
根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (17)
1.一种数据处理方法,包括:
在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;
确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;
基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;
根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
2.根据权利要求1所述的数据处理方法,所述基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证,包括:
根据所述规则字段取值和所述条件字段取值生成n条业务规则,其中n≥1,且n为正整数;
在所述事务数据库中提取所述验证数据对所述n条业务规则中的第i条业务规则进行验证,其中i从1开始取值,且i∈[1,n];
相应的,所述根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库,包括:
根据验证结果确定所述第i条业务规则的业务分值,并基于所述业务分值将所述第i条业务规则写入所述目标规则库;
i自增1,判断i是否大于n;
若否,返回执行所述在所述事务数据库中提取所述验证数据对所述n条业务规则中的第i条业务规则进行验证步骤。
3.根据权利要求1所述的数据处理方法,所述确定所述目标数据中所述业务字段类型对应的字段取值,包括:
读取所述事务数据库对应的业务表,并根据读取结果确定所述业务字段类型对应的业务字段;
基于所述目标数据和所述业务字段确定所述字段取值。
4.根据权利要求3所述的数据处理方法,所述在所述字段取值中选择规则字段取值和条件字段取值,包括:
根据预设选择策略在所述业务字段中选择规则业务字段,以及在所述业务字段中选择除所述规则业务字段外的条件业务字段;
基于所述字段取值确定所述规则业务字段对应的所述规则字段取值,以及确定所述条件业务字段对应的所述条件字段取值。
5.根据权利要求4所述的数据处理方法,所述基于所述规则字段取值和所述条件字段取值生成业务规则,包括:
将所述条件字段取值确定为门限条件,以及将所述规则字段条件确定为门限规则;
基于所述门限条件和所述门限规则生成所述业务规则,其中,所述门限条件优先级大于所述门限规则。
6.根据权利要求5所述的数据处理方法,所述在所述事务数据库中提取验证数据对所述业务规则进行验证,包括:
在所述事务数据库中提取除所述目标数据外的所述验证数据,并确定所述验证数据中所述业务字段类型对应的验证字段取值;
基于所述验证字段取值确定所述规则业务字段对应的验证规则字段取值,以及确定所述条件业务字段对应的验证条件字段取值;
根据所述验证规则字段取值和所述验证条件字段取值对所述业务规则进行验证。
7.根据权利要求6所述的数据处理方法,所述根据所述验证规则字段取值和所述验证条件字段取值对所述业务规则进行验证,包括:
确定所述业务规则中的所述门限条件和所述门限规则,并将所述验证条件字段取值与所述门限条件进行比较;
根据比较结果筛选出满足所述门限条件的目标验证数据,并基于所述目标验证数据的验证规则字段取值对所述门限规则进行验证。
8.根据权利要求6所述的数据处理方法,所述根据所述验证规则字段取值和所述验证条件字段取值对所述业务规则进行验证,包括:
根据m条验证数据中的第j验证数据的验证规则字段取值和验证条件字段取值对所述业务规则进行验证,其中m≥1,且m为正整数,j从1开始取值,且j∈[1,m];
相应的,所述根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库,包括:
根据验证结果对所述业务规则的目标业务分值进行更新;
根据更新结果将j自增1,并判断j是否大于m;
若否,返回执行所述根据m条验证数据中的第j验证数据的验证规则字段取值和验证条件字段取值对所述业务规则进行验证步骤;
若是,将所述目标业务分值作为所述业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
9.根据权利要求1至8任意一项所述的数据处理方法,所述基于所述业务分值将所述业务规则写入目标规则库,包括:
判断所述业务分值是否大于预设分值阈值;
若是,将所述业务规则写入业务目标规则库;
若否,将所述业务规则写入非业务目标规则库。
10.根据权利要求2所述的数据处理方法,所述根据所述规则字段取值和所述条件字段取值生成n条业务规则步骤执行之后,还包括:
在所述n条业务规则中提取第i条业务规则;
查询所述目标规则库是否存在与所述第i条业务规则匹配的标准业务规则;
若否,则执行所述在所述事务数据库中提取所述验证数据对所述n条业务规则中的第i条业务规则进行验证步骤。
11.根据权利要求10所述的数据处理方法,所述在所述n条业务规则中提取第i条业务规则,并查询所述目标规则库是否存在与所述第i条业务规则匹配的标准业务规则的执行结果为是,则执行如下步骤:
i自增1,判断i是否大于预设遍历阈值;
若否,则执行所述在所述n条业务规则中提取第i条业务规则,并查询所述目标规则库是否存在与所述第i条业务规则匹配的标准业务规则步骤;
若是,则向所述目标业务的业务方发送所述目标规则库的状态信息;
相应的,所述i自增1,判断i是否大于n的执行结果为否,则执行所述在所述n条业务规则中提取第i条业务规则的步骤。
12.根据权利要求1所述的数据处理方法,所述基于所述业务分值将所述业务规则写入目标规则库步骤执行之后,还包括:
接收针对所述目标业务提交的待检测数据;
确定所述待检测数据中所述业务字段类型对应的待检测字段取值;
在所述待检测字段取值未满足所述目标规则库中的标准业务规则的情况下,基于所述待检测数据向所述目标业务的业务方发送反馈信息。
13.根据权利要求12所述的数据处理方法,所述确定所述待检测数据中所述业务字段类型对应的待检测字段取值步骤执行之后,还包括:
确定所述待检测数据的数据类型,根据所述数据类型在所述目标规则库中确定标准业务规则表;
检测所述待检测字段取值是否满足所述标准业务规则表中包含的标准业务规则;
若不满足,则执行所述基于所述待检测数据向所述目标业务的业务方发送反馈信息步骤。
14.根据权利要求10所述的数据处理方法,所述查询所述目标规则库是否存在与所述第i条业务规则匹配的标准业务规则,包括:
根据所述第i条业务规则的规则字段取值和条件字段取值,创建所述第i条业务规则对应的业务规则键值;
提取所述目标规则库中包含的多个标准规则键值,并判断所述多个标准规则键值中是否存在与所述业务规则键值匹配的标准规则键值;
若否,则执行所述在所述事务数据库中提取所述验证数据对所述n条业务规则中的第i条业务规则进行验证步骤。
15.一种数据处理装置,包括:
提取模块,被配置为在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;
选择模块,被配置为确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;
验证模块,被配置为基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;
写入模块,被配置为根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
16.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现下述方法:
在目标业务的事务数据库中提取目标数据,并确定所述目标业务对应的业务字段类型;
确定所述目标数据中所述业务字段类型对应的字段取值,并在所述字段取值中选择规则字段取值和条件字段取值;
基于所述规则字段取值和所述条件字段取值生成业务规则,并在所述事务数据库中提取验证数据对所述业务规则进行验证;
根据验证结果确定所述业务规则的业务分值,并基于所述业务分值将所述业务规则写入目标规则库。
17.一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现权利要求1至14任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011316572.2A CN112100250B (zh) | 2020-11-23 | 2020-11-23 | 数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011316572.2A CN112100250B (zh) | 2020-11-23 | 2020-11-23 | 数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112100250A true CN112100250A (zh) | 2020-12-18 |
CN112100250B CN112100250B (zh) | 2021-03-16 |
Family
ID=73785509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011316572.2A Active CN112100250B (zh) | 2020-11-23 | 2020-11-23 | 数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112100250B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800095A (zh) * | 2021-04-13 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN114979308A (zh) * | 2022-05-11 | 2022-08-30 | 北京沃东天骏信息技术有限公司 | 一种消息处理的方法和装置 |
CN115145982A (zh) * | 2022-08-03 | 2022-10-04 | 浙江网商银行股份有限公司 | 数据处理方法以及装置 |
CN116204177A (zh) * | 2023-03-17 | 2023-06-02 | 湖北坤盈数字科技有限公司 | 一种系统业务模块开发耦合组装方法、装置及计算机设备 |
CN117591508A (zh) * | 2024-01-19 | 2024-02-23 | 云筑信息科技(成都)有限公司 | 一种大数据场景下的数据质量保障方法 |
CN117591508B (zh) * | 2024-01-19 | 2024-05-28 | 云筑信息科技(成都)有限公司 | 一种大数据场景下的数据质量保障方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276605A (zh) * | 2019-04-17 | 2019-09-24 | 阿里巴巴集团控股有限公司 | 规则生成方法、装置、电子设备及可读存储介质 |
CN110348669A (zh) * | 2019-05-23 | 2019-10-18 | 中国平安财产保险股份有限公司 | 智能规则生成方法、装置、计算机设备及存储介质 |
US20200175029A1 (en) * | 2018-11-30 | 2020-06-04 | Tata Consultancy Services Limited | Method and system for optimizing validations carried out for input data at a data warehouse |
-
2020
- 2020-11-23 CN CN202011316572.2A patent/CN112100250B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200175029A1 (en) * | 2018-11-30 | 2020-06-04 | Tata Consultancy Services Limited | Method and system for optimizing validations carried out for input data at a data warehouse |
CN110276605A (zh) * | 2019-04-17 | 2019-09-24 | 阿里巴巴集团控股有限公司 | 规则生成方法、装置、电子设备及可读存储介质 |
CN110348669A (zh) * | 2019-05-23 | 2019-10-18 | 中国平安财产保险股份有限公司 | 智能规则生成方法、装置、计算机设备及存储介质 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800095A (zh) * | 2021-04-13 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN114979308A (zh) * | 2022-05-11 | 2022-08-30 | 北京沃东天骏信息技术有限公司 | 一种消息处理的方法和装置 |
CN114979308B (zh) * | 2022-05-11 | 2024-04-16 | 北京沃东天骏信息技术有限公司 | 一种消息处理的方法和装置 |
CN115145982A (zh) * | 2022-08-03 | 2022-10-04 | 浙江网商银行股份有限公司 | 数据处理方法以及装置 |
CN116204177A (zh) * | 2023-03-17 | 2023-06-02 | 湖北坤盈数字科技有限公司 | 一种系统业务模块开发耦合组装方法、装置及计算机设备 |
CN116204177B (zh) * | 2023-03-17 | 2023-10-03 | 湖北坤盈数字科技有限公司 | 一种系统业务模块开发耦合组装方法、装置及计算机设备 |
CN117591508A (zh) * | 2024-01-19 | 2024-02-23 | 云筑信息科技(成都)有限公司 | 一种大数据场景下的数据质量保障方法 |
CN117591508B (zh) * | 2024-01-19 | 2024-05-28 | 云筑信息科技(成都)有限公司 | 一种大数据场景下的数据质量保障方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112100250B (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112100250B (zh) | 数据处理方法及装置 | |
CN108846659B (zh) | 基于区块链的转账方法、装置及存储介质 | |
US11074350B2 (en) | Method and device for controlling data risk | |
CN107122369B (zh) | 一种业务数据处理方法、装置和系统 | |
EP3859644B1 (en) | Block chain-based data check system and method, computing device, and storage medium | |
CN111222976B (zh) | 一种基于双方网络图数据的风险预测方法、装置和电子设备 | |
CN111815169B (zh) | 业务审批参数配置方法及装置 | |
CN109857373A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN112163946A (zh) | 基于分布式交易系统的账务处理方法及装置 | |
CN112700332B (zh) | 一种基于图计算的比特币账户聚类方法 | |
CN112016138A (zh) | 一种车联网自动化安全建模的方法、装置和电子设备 | |
CN114611006A (zh) | 基于用户兴趣挖掘的大数据分析方法及系统 | |
CN111951052A (zh) | 基于知识图谱的获取潜在客户方法及装置 | |
EP3361704A1 (en) | User data sharing method and device | |
CN108595579A (zh) | 联系人亲密度估算方法、装置、计算机设备和存储介质 | |
US10956914B2 (en) | System and method for mapping a customer journey to a category | |
CN112884442B (zh) | 一种基于审计模型的审计监控数据的获取方法及系统 | |
JP6721724B2 (ja) | 支払い主体の拡張を促進する方法およびデバイス | |
CN113204716A (zh) | 可疑洗钱用户交易关系确定方法及装置 | |
CN115268847A (zh) | 区块链智能合约的生成方法、装置及电子设备 | |
CN116128525A (zh) | 一种基于模式前缀共享的多模式图匹配查询方法及装置 | |
CN109120509A (zh) | 一种信息收集的方法及装置 | |
CN114841664A (zh) | 一种多任务处理顺序确定方法及装置 | |
EP3859623A1 (en) | Risk vertex identification method and apparatus | |
CN110197074B (zh) | 一种用户权限控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211209 Address after: Room 602, No. 618, Wai Road, Huangpu District, Shanghai 200010 Patentee after: Ant fortune (Shanghai) Financial Information Service Co., Ltd Address before: 801-11, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province, 310013 Patentee before: Alipay (Hangzhou) Information Technology Co.,Ltd. |
|
TR01 | Transfer of patent right |