CN113240259A - 规则策略组的生成方法、系统及电子设备 - Google Patents
规则策略组的生成方法、系统及电子设备 Download PDFInfo
- Publication number
- CN113240259A CN113240259A CN202110488036.9A CN202110488036A CN113240259A CN 113240259 A CN113240259 A CN 113240259A CN 202110488036 A CN202110488036 A CN 202110488036A CN 113240259 A CN113240259 A CN 113240259A
- Authority
- CN
- China
- Prior art keywords
- rule
- group
- financial
- generating
- rules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
Abstract
本发明提供了一种规则策略组的生成方法、系统及电子设备,涉及金融决策技术领域,该方法首先获取金融业务数据,并将金融业务数据按照金融业务标注为正样本和负样本;再根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组;然后根据初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据迭代规则组对初始规则组中的规则性能进行迭代优化;最后将已完成迭代优化的初始规则组确定为规则策略组。该方法在生成的规则组的基础上进行了迭代寻优,实现了自动生成简单有效的规则组,并可直接配置到相关金融业务决策业务中,无需专家经验,节约了大量人力。
Description
技术领域
本发明涉及金融决策技术领域,尤其是涉及一种规则策略组的生成方法、系统及电子设备。
背景技术
决策引擎常用于金融反欺诈、金融信审等金融业务决策领域,通常使用相关风控决策引擎来实现对刷单、套现、作弊等与金融相关的业务进行监控。金融业务决策的效果主要取决于专家配置的规则,比较依赖专家的业务知识水平。对于大量新业务,没有足够的历史经验可以借鉴,使得如何生成规则组成为一个难题。
同时,机器学习方法已在相关金融业务决策业务中开始被广泛使用,其不依赖任何人工经验,仅通过最优化方法来对复杂问题进行自动化求解。理论上,可以通过决策树类的方法自动化生成规则组,但是决策树类方法是深度优先型算法,直接生成的规则往往非常复杂,实用价值有限。
发明内容
有鉴于此,本发明的目的在于提供一种规则策略组的生成方法、系统及电子设备,在生成的规则组的基础上进行了迭代寻优,尽可能的使用最简单的规则达到最高的性能,兼顾了可解释性和业务效果这两个要求,实现了自动生成简单有效的规则组,并可直接配置到相关金融业务决策业务中,无需专家经验,节约了大量人力。
第一方面,本发明实施例提供了一种规则策略组的生成方法,该方法应用于金融业务决策,包括:
获取金融业务数据,并将金融业务数据按照金融业务标注为正样本和负样本;
根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组;
根据初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据迭代规则组对初始规则组中的规则性能进行迭代优化;
将已完成迭代优化的初始规则组确定为规则策略组。
在一些实施方式中,上述根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组的步骤,包括:
将金融业务数据输入至已完成训练的第一神经网络模型中;其中,第一神经网络模型至少包括:第一计算模块和第二计算模块;第一计算模块用于生成只使用一个业务指标的规则;第二计算模块用于生成使用两个业务指标的规则;
将第一计算模块以及第二计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的精简规则组中;
在金融业务数据中剔除被精简规则组中的规则命中的正样本,并将已完成剔除的金融业务数据输入至第一神经网络中进行循环计算;
当金融业务数据中的正样本均被剔除时停止循环,并将此时的精简规则组确定为初始规则组。
在一些实施方式中,上述根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组的步骤,还包括:
获取精简规则组中可配置规则的数目;
将金融业务数据输入至已完成训练的第一神经网络模型中;其中,第一神经网络模型至少包括:第一计算模块和第二计算模块;第一计算模块用于生成只使用一个业务指标的规则;第二计算模块用于生成使用两个业务指标的规则;
将第一计算模块以及第二计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的精简规则组中;
在金融业务数据中剔除被精简规则组中的规则命中的正样本,并将已完成剔除的金融业务数据输入至第一神经网络中进行循环计算;
当精简规则组中的规则数量达到可配置规则的数目时停止循环,并将此时的精简规则组确定为初始规则组。
在一些实施方式中,上述根据初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据迭代规则组对初始规则组中的规则性能进行迭代优化的步骤,包括:
将初始规则组中包含的金融业务数据输入至已完成训练的第二神经网络模型中;其中,第二神经网络模型至少包括:第三计算模块和第四计算模块;第三计算模块用于生成只使用一个业务指标的规则;第四计算模块用于生成使用两个业务指标的规则;
将第三计算模块以及第四计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的迭代规则组中进行数据更新;
将已完成数据更新的迭代规则组输入至第二神经网络模型中进行循环计算;并当迭代规则组达到预设性能阈值条件时停止循环。
在一些实施方式中,上述将第三计算模块以及第四计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的迭代规则组中进行数据更新的步骤,包括:
根据初始规则组中随机提取的规则生成临时规则组;其中,临时规则组的规则数目小于初始规则组的规则数目;
将临时规则组包含的金融业务数据输入至已完成训练的第二神经网络模型中的第三计算模块以及第四计算模块进行计算;
将第三计算模块以及第四计算模块输出的业务指标进行性能对比,并将性能最优的业务指标输入至临时规则组中进行更新;
将已更新的临时规则组包含的金融业务数据输入至已完成训练的第二神经网络模型中进行计算,直至临时规则组的数目与初始规则组的规则数目相同时停止更新。
在一些实施方式中,上述获取金融业务数据之后,方法还包括:
获取金融业务数据中的召回率和精确率;
根据召回率以及精确率确定优化函数,并利用优化函数对金融业务数据进行优化;优化函数为:
其中,recall为召回率;precision为精确率;x1为精确率的权重系数;x2为召回率的权重系数;当x1=x2时,优化函数为F1-score函数。
在一些实施方式中,上述第一神经网络和第二神经网络,通过 LightGBM和/或GBDT算法进行训练。
第二方面,本发明实施例提供了一种规则策略组的生成系统,该系统用于金融业务决策,系统包括:
数据整理模块,用于获取金融业务数据,并将金融业务数据按照金融业务标注为正样本和负样本;
初始规则组生成模块,用于根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组;
迭代优化模块,用于根据初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据迭代规则组对初始规则组中的规则性能进行迭代优化;
规则策略组生成模块,用于将已完成迭代优化的初始规则组确定为规则策略组。
第三方面,本发明实施例还提供一种电子设备,包括存储器、处理器,存储器中存储有可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现上述第一方面提到的规则策略组的生成方法的步骤。
第四方面,本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质,其中,程序代码使处理器执行上述第一方面提到的规则策略组的生成方法的步骤。
本发明实施例带来了以下有益效果:
本发明提供了一种规则策略组的生成方法、系统及电子设备,应用于金融业务决策,该方法首先获取金融业务数据,并将金融业务数据按照金融业务标注为正样本和负样本;再根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组;然后根据初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据迭代规则组对初始规则组中的规则性能进行迭代优化;最后将已完成迭代优化的初始规则组确定为规则策略组。该方法在生成的规则组的基础上进行了迭代寻优,尽可能的使用最简单的规则达到最高的性能,兼顾了可解释性和业务效果这两个要求,实现了自动生成简单有效的规则组,并可直接配置到相关金融业务决策业务中,无需专家经验,节约了大量人力。
本发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义的确定,或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施方式,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种规则策略组的生成方法的流程图;
图2为本发明实施例提供的规则策略组的生成方法中步骤S102的一种流程图;
图3为本发明实施例提供的规则策略组的生成方法中步骤S102的另一种流程图;
图4为本发明实施例提供的规则策略组的生成方法中步骤S103的流程图;
图5为本发明实施例提供的规则策略组的生成方法中步骤S402的流程图;
图6为本发明实施例提供的规则策略组的生成方法中,获取金融业务数据之后的流程图;
图7为本发明实施例提供的使用财务报表业务进行规则策略组的生成方法的流程图;
图8为本发明实施例提供的使用财务报表业务进行规则策略组的生成方法中,生成初始规则组的流程图;
图9为本发明实施例提供的使用财务报表业务进行规则策略组的生成方法中,迭代优化规则组的流程图;
图10为本发明实施例提供的一种规则策略组的生成系统的结构示意图;
图11为本发明实施例提供的一种电子设备的结构示意图。
图标:
1010-数据整理模块;1020-初始规则组生成模块;1030-迭代优化模块; 1040-规则策略组生成模块;101-处理器;102-存储器;103-总线;104-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
决策引擎常用于金融反欺诈、金融信审等金融业务决策领域,由于黑产、羊毛党行业的盛行,风控决策引擎在电商、支付、游戏、社交等领域也有了长足的发展。具体实现过程是使用相关风控决策引擎来实现对刷单、套现、作弊等与金融相关的业务进行监控。
金融业务决策的效果主要取决于专家配置的规则,比较依赖专家的业务知识水平。对于大量新业务,没有足够的历史经验可以借鉴,使得如何生成规则组成为一个难题。
机器学习方法已在相关金融业务决策业务中开始被广泛使用,其不依赖任何人工经验,仅通过最优化方法来对复杂问题进行自动化求解。理论上,可以通过决策树类的方法自动化生成规则组,但是决策树类方法是深度优先型算法,直接生成的规则往往非常复杂,实用价值有限。
基于此,本发明实施例提供的一种规则策略组的生成方法、系统及电子设备,在生成的规则组的基础上进行了迭代寻优,尽可能的使用最简单的规则达到最高的性能,兼顾了可解释性和业务效果这两个要求,实现了自动生成简单有效的规则组,并可直接配置到相关金融业务决策业务中,无需专家经验,节约大量人力。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种规则策略组的生成方法进行详细介绍。
参见图1所示的一种规则策略组的生成方法的流程图,该方法应用于金融业务决策,具体包括:
步骤S101,获取金融业务数据,并将金融业务数据按照金融业务标注为正样本和负样本。
金融业务数据的获取需根据实际业务场景进行获取,一般来说相关金融业务数据包括利润、损益、税费、分配股利、利息支付等相关金融数据。正样本和负样本为机器学习领域的指标,正样本是指属于某一类别的样本;负样本是指不属于某一类别的样本。具体的说,该步骤的正样本为与金融业务相关的财务指标,如年度报告等;负样本为其它与正样本五官的金融业务相关指标。
步骤S102,根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组。
业务指标规则表征该金融业务对应的实际规则,该规则可用于电商、支付、游戏、社交等金融业务的实现过程中。一般说来,规则中使用的业务指标越多,规则就越复杂;规则中使用的业务指标越少,规则就越简单。
精简规则组的目的是剔除金融业务数据中的正样本,该过程通过相关精简规则来实现。例如,可根据相关机器学习模型中的决策树来实现。决策树中包含多个叶子节点,不同叶子节点对应相应的业务指标。通过机器学习模型生成的规则需要对其进行性能分析,选取性能好的规则放入初始规则组中。精简规则组剔除正样本后生成初始规则组,可实现多个决策树来生成多条简单规则,有利于提升规则策略组的生成效率。
步骤S103,根据初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据迭代规则组对初始规则组中的规则性能进行迭代优化。
初始规则组可理解为进行了数据精简的金融业务数据,利用初始规则组中包含的金融业务数据的业务指标规则定义迭代规则组。迭代规则组同样可通过相关机器学习模型中的决策树来实现。决策树中包含多个叶子节点,不同叶子节点对应相应的业务指标。通过机器学习模型生成的规则进行汇总得到一个规则组,并可对该规则组的性能与初始规则组进行对比,并将二者中性能高的规则组作为新的初始规则组进行迭代优化,直至性能不再提升时停止寻优操作。
步骤S104,将已完成迭代优化的初始规则组确定为规则策略组。
通过上述实施例中的规则策略组的生成方法可知,该方法在生成的规则组的基础上进行了迭代寻优,尽可能的使用最简单的规则达到最高的性能,兼顾了可解释性和业务效果这两个要求,实现了自动生成简单有效的规则组,并可直接配置到相关金融业务决策业务中,无需专家经验,节约了大量人力。
在一些实施方式中,上述根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组的步骤S102,如图2所示,包括:
步骤S201,将金融业务数据输入至已完成训练的第一神经网络模型中;其中,第一神经网络模型至少包括:第一计算模块和第二计算模块;第一计算模块用于生成只使用一个业务指标的规则;第二计算模块用于生成使用两个业务指标的规则。
具体的说,该步骤通过两个层面对金融业务数据进行计算,即通过第一计算模块生成一条只使用一个业务指标的规则;通过第二计算模块生成一条使用两个业务指标的规则。第一计算模块中包含一个决策树,该决策树包含两个叶子节点,即只会分裂一次,只会使用一个业务指标;第二计算模块中包含一个决策树,该决策树包含三个叶子节点。一般来说,叶子节点的数量越大,生成的规则中使用的业务指标就越多,得到的规则就越复杂。叶子节点的数量需结合实际使用场景而定,叶子节点过多会导致规则过于复杂,不利于金融业务的决策。
步骤S202,将第一计算模块以及第二计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的精简规则组中。
该步骤中的已初始化的精简规则组中并不包含任何规则,获得的性能最优的业务指标对应的规则放入至精简规则组中,后续在进行迭代过程中还会有其它规则输入至该精简规则组中。
步骤S203,在金融业务数据中剔除被精简规则组中的规则命中的正样本,并将已完成剔除的金融业务数据输入至第一神经网络中进行循环计算。
在金融业务数据中剔除被规则组命中的正样本后完成金融业务数据的更新;然后将已完成剔除的金融业务数据输入至第一神经网络中进行循环计算。
步骤S204,当金融业务数据中的正样本均被剔除时停止循环,并将此时的精简规则组确定为初始规则组。
在上述初始规则组的确定过程中,循环条件是所有正样本均被剔除时;还有一种实施方式是通过初始规则组的预设最大可配置数量作为循环条件。具体的,在一些实施方式中,上述根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组的步骤S102,如图3所示,还包括:
步骤S301,获取精简规则组中可配置规则的数目。
精简规则组中的可配置规则数目可理解为该规则策略组的容量,一般来说一个规则组中不能包含过多的规则,该数目可设置为1到20之间,如可设置为6。
步骤S302,将金融业务数据输入至已完成训练的第一神经网络模型中;其中,第一神经网络模型至少包括:第一计算模块和第二计算模块;第一计算模块用于生成只使用一个业务指标的规则;第二计算模块用于生成使用两个业务指标的规则。
步骤S303,将第一计算模块以及第二计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的精简规则组中。
步骤S304,在金融业务数据中剔除被精简规则组中的规则命中的正样本,并将已完成剔除的金融业务数据输入至第一神经网络中进行循环计算。
步骤S305,当精简规则组中的规则数量达到可配置规则的数目时停止循环,并将此时的精简规则组确定为初始规则组。
由于步骤S303中将业务指标保存在精简规则组中,因此每当完成规则保存时就判断该精简规则组中的规则数量是否达到可配置的规则数目。当精简规则组中的规则数量达到可配置规则的数目时停止循环,获取此时的精简规则组,将其确定为初始规则组。
在一些实施方式中,上述根据初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据迭代规则组对初始规则组中的规则性能进行迭代优化的步骤S103,如图4所示,包括:
步骤S401,将初始规则组中包含的金融业务数据输入至已完成训练的第二神经网络模型中;其中,第二神经网络模型至少包括:第三计算模块和第四计算模块;第三计算模块用于生成只使用一个业务指标的规则;第四计算模块用于生成使用两个业务指标的规则。
第二神经网络模型与第一神经网络模型类似,均通过两个层面对金融业务数据进行计算,即通过第三计算模块生成一条只使用一个业务指标的规则;通过第四计算模块生成一条使用两个业务指标的规则。第三计算模块中包含一个决策树,该决策树包含两个叶子节点,即只会分裂一次,只会使用一个业务指标;第四计算模块中包含一个决策树,该决策树包含三个叶子节点。
步骤S402,将第三计算模块以及第四计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的迭代规则组中进行数据更新。
通过比较第三计算模块以及第四计算模块输出的业务指标,选择二者性能更好的规则放入至迭代规则组中。该步骤中的已初始化的迭代规则组中并不包含任何规则,后续在进行迭代过程中还会有其它规则输入至该迭代规则组中。
步骤S403,将已完成数据更新的迭代规则组输入至第二神经网络模型中进行循环计算;并当迭代规则组达到预设性能阈值条件时停止循环。
将已完成数据更新的迭代规则组重新输入至第二神经网络模型中,并在步骤S402中将性能最优的业务指标对应的规则输入至已初始化的迭代规则组中实现了数据迭代更新。循环计算过程的停止条件是根据性能阈值来判定的,具体的说当第三计算模块以及第四计算模块输出的业务指标的性能达到预设性能阈值时,停止迭代。除了使用性能阈值进行判定之外,还可利用循环次数作为优化条件,在此不再赘述。
在一些实施方式中,上述将第三计算模块以及第四计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的迭代规则组中进行数据更新的步骤S402,如图5所示,包括:
步骤S501,根据初始规则组中随机提取的规则生成临时规则组;其中,临时规则组的规则数目小于初始规则组的规则数目。
例如,初始规则组A中包含N条规则,随机保留小于N条规则并将其汇总成临时规则组B。
步骤S502,将临时规则组包含的金融业务数据输入至已完成训练的第二神经网络模型中的第三计算模块以及第四计算模块进行计算。
步骤S503,将第三计算模块以及第四计算模块输出的业务指标进行性能对比,并将性能最优的业务指标输入至临时规则组中进行更新。
在获得性能最优的业务指标后,将其对应的规则放入至临时规则组B 中,此时临时规则组B的规则数量增加了1个。
步骤S504,将已更新的临时规则组包含的金融业务数据输入至已完成训练的第二神经网络模型中进行计算,直至临时规则组的数目与初始规则组的规则数目相同时停止更新。
当临时规则组B中的规则数量达到初始规则组A的数量时,停止更新。该步骤可理解为对初始规则组进行性能提升操作,可通过判断初始规则组A 与临时规则组B的性能选择二者性能最优的规则组作为初始规则组,用于后续的计算。
在一些实施方式中,上述获取金融业务数据之后,如图6所示,该方法还包括:
步骤S601,获取金融业务数据中的召回率和精确率。
召回率和精确率作为综合评价指标(F-Measure)的参数,是用于信息检索和统计学分类领域的两个度量值,能够用来评价金融业务结果的质量。
步骤S602,根据召回率以及精确率确定优化函数,并利用优化函数对金融业务数据进行优化。
优化函数为:
其中,recall为召回率;precision为精确率;x1为精确率的权重系数;x2为召回率的权重系数;当x1=x2时,优化函数为F1-score函数。
在一些实施方式中,上述第一神经网络和第二神经网络,通过 LightGBM(LightGradient Boosting Machine)和/或GBDT(Gradient Boosting Decision Tree)算法进行训练。
下面结合具体案例,对上述实施例中提到的规则策略组的生成方法进行介绍。具体业务为某上市公司的财务报表,通过规则策略组的生成方法生成的策略从而发现经营问题。数据集为该公司的主要财务指标,共639 个。正样本为过去五年交易所发布的问询函的年度报告,共500份;负样本为未发布的问询函,共12000份。
规则策略组的生成方法的整体的业务流程包括四部分,具体如图7所示,包括:
步骤S701,数据整理。
数据整理步骤的基本流程包括:
提取对应业务的指标,形成原始训练数据集;并根据业务要求对数据进行标注,分为正样本和负样本。
设定一个最优化指标,由于该业务更看重召回率,因此x1=3,x2=1,所用的优化函数为:
步骤S702,生成初始规则组。
生成初始规则组的流程如图8所示,包括:
步骤S81,输入一个原始训练数据集。
在原始训练数据集输入之前,需要配置最大规则条数N,N的取值在1 至20之间,该实施例中设置为6。
步骤S82,根据两组参数训练两个模型,并生成两条新规则。
具体的说,使用两组参数对原始训练数据集进行机器学习训练,可使用LightGBM(Light Gradient Boosting Machine)算法和/或GBDT(Gradient Boosting DecisionTree)算法。训练参数设置为:训练参数1: num_iterations=1,num_leaves=2;训练参数2:num_iterations=1,num_leaves=3。其中,num_iterations代表生成的决策树只有1颗;num_leaves 代表每颗决策树的叶子节点,可表征叶子的分裂次数,并对应着业务指标个数。训练参数1会生成一条只使用一个业务指标的规则,训练参数2会生成一条使用两个业务指标的规则。
步骤S83,比较两条新规则的性能,选择性能最优的规则放入至规则组中。
步骤S84,剔除被规则组命中的正样本,得到新的数据集。
步骤S85,判断正样本是否完全剔除或者规则数量是否达到N;如果是,执行步骤S86;如果否,执行步骤S82。
步骤S86,输出规则组。
迭代完成后将此时的规则组作为初始规则组。
步骤S703,迭代优化规则组。
在初始规则组的基础上进行迭代优化的过程如图9所示,包括以下步骤:
步骤S91,输入一个原始规则组A。
该原始规则组A中包含N2条规则。
步骤S92,随机保留m条规则,形成新的规则组B。
步骤S93,利用模型生成两条规则。
将规则组B中规则已经命中的正样本剔除出原始数据集,得到新的数据集,使用2组参数对新的数据集进行机器学习方法训练。训练参数1: num_iterations=1,num_leaves=2;训练参数2:num_iterations=1, num_leaves=3。其中,num_iterations代表生成的决策树只有1颗;num_leaves 代表每颗决策树的叶子节点,可表征叶子的分裂次数,并对应着业务指标个数。训练参数1会生成一条只使用一个业务指标的规则,训练参数2会生成一条使用两个业务指标的规则。
步骤S94,比较规则性能,选择性能最优的规则放入至规则组中。
步骤S95,剔除被规则组命中的正样本,得到新的数据集。
步骤S96,判断正样本是否被完全剔除或者规则数量达到N。
如果是,执行步骤S97;如果否,执行步骤S93进行迭代,直至规则组B的规则数量也达到N2条。
步骤S97,比较规则B和规则组A的性能,如果规则组B性能优于规则组A,则将规则组B赋值给规则组A;如果规则B性能不优于规则组A,则规则组A保持不变。
步骤S98,将规则组A输入至步骤S92中进行迭代,并判断迭代k次时是否有性能提升。
如果重复k次规则组B也没有性能提升则停止迭代,执行步骤S99;如果有性能提升则执行步骤S92进行迭代。
步骤S99,输出规则组。
步骤S704,将规则组输入金融业务决策引擎部署上线。
初始规则组中,配置最大规则条数为6,生成第一条规则是单业务指标规则,命中了238个正样本;剔除这些正样本,数据集中还有500-238=262 条正样本;此时使用更新后的数据集进行重新训练,得到第二条规则,该规则命中了105条正样本,再剔除这105条正样本后继续训练,后四条规则都是双业务指标的规则,最终规则如下:
avg_3year_undist_profit_ps(近三年每股未分配利润的平均值)≤-0.19 (命中正样本的数量238);
avg_2year_profit_dedt(近两年扣除非经常性损益后的净利润的均值) ≤-115000000(命中正样本的数量105);
avg_2year_taxes_payable(近两年应交税费的均值)>62000000& avg_3year_c_paid_to_for_empl(近三年支付给职工以及为职工支付的现金的均值)≤37600000(命中正样本的数量11);
avg_3year_biz_tax_surchg(近三年减营业税金及附加的均值)≤ 19000000&avg_2year_c_pay_dist_dpcp_int_exp(近两年分配股利、利润或偿付利息支付的现金的均值)≤2350000(命中正样本的数量6);
avg_2year_taxes_payable(近两年应交税费的均值)≤ 100000000&avg_3year_ebt_yoy(近三年利润总额同比增长率的均值)≤300 (命中正样本的数量12);
avg_3year_biz_tax_surchg(近三年减营业税金及附加的均值)≤ 20000000&avg_2year_turn_days(近两年营业周期的均值)≤4000(命中正样本的数量5)。
迭代优化规则组:就是在原有规则组的基础上删掉2-4条规则,然后重新生成新规则补全规则组,最终比较新规则组和旧规则组的优劣。这样反复迭代,直到重复50组都没有更好的新规则组出现。最终结果如下:
avg_3year_undist_profit_ps(近三年每股未分配利润的平均值)≤-0.19 (命中正样本的数量238);
avg_2year_profit_dedt(近两年扣除非经常性损益后的净利润的均值) ≤-115000000(命中正样本的数量105);
avg_2year_taxes_payable(近两年应交税费的均值)>64000000& avg_3year_bps_yoy(近三年每股净资产相对年初增长率的均值)>68(命中正样本的数量16);
avg_1year_accounts_receiv(含义是最近一年应收账款)≤ 2650000&avg_3year_impai_ttm(含义是最近三年公司资产减值损失/营业总收入的平均值)>2.2(命中正样本的数量11);
avg_2year_oth_payable(含义是最近两年公司其他应付款的平均值)>280000000&avg_3year_oth_cash_recp_ral_fnc_act(含义是最近三年收到其他与筹资活动有关的现金的平均值)>3370000000(命中正样本的数量 10);
avg_3year_biz_tax_surchg(近三年减营业税金及附加的均值)>20000000 &avg_1year_surplus_rese(含义是最近一年每股盈余公积)≤30000000 (命中正样本的数量15)。
通过上述实施例中的规则策略组的生成方法可知,该方法利用机器学习的方法生成规则组,可以用于决策引擎系统;同时实现了规则组的自动迭代更新功能,不但可以优化生成的规则组,也可以对专家经验产生的规则组进行优化。该方法在生成的规则组的基础上进行了迭代寻优,尽可能的使用最简单的规则达到最高的性能,兼顾了可解释性和业务效果这两个要求,实现了自动生成简单有效的规则组,并可直接配置到相关金融业务决策业务中,无需专家经验,节约了大量人力。
第二方面,本发明实施例提供了一种规则策略组的生成系统,该系统用于金融业务决策,如图10所示,该系统包括:
数据整理模块1010,用于获取金融业务数据,并将金融业务数据按照金融业务标注为正样本和负样本。
初始规则组生成模块1020,用于根据金融业务数据中的业务指标规则确定精简规则组,并根据精简规则组剔除金融业务数据中的正样本后生成初始规则组。
迭代优化模块1030,用于根据初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据迭代规则组对初始规则组中的规则性能进行迭代优化。
规则策略组生成模块1040,用于将已完成迭代优化的初始规则组确定为规则策略组。
本发明实施例提供的规则策略组的生成系统,与上述实施例提供的规则策略组的生成方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。为简要描述,实施例部分未提及之处,可参考前述规则策略组的生成方法实施例中相应内容。
本实施例还提供一种电子设备,为该电子设备的结构示意图如图11所示,该设备包括处理器101和存储器102;其中,存储器102用于存储一条或多条计算机指令,一条或多条计算机指令被处理器执行,以实现上述规则策略组的生成方法。
图11所示的电子设备还包括总线103和通信接口104,处理器101、通信接口104和存储器102通过总线103连接。
其中,存储器102可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。总线103可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图11 中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接,将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称 ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器 102,处理器101读取存储器102中的信息,结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前述实施例的方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、设备和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种规则策略组的生成方法,其特征在于,所述方法应用于金融业务决策,包括:
获取金融业务数据,并将所述金融业务数据按照金融业务标注为正样本和负样本;
根据所述金融业务数据中的业务指标规则确定精简规则组,并根据所述精简规则组剔除所述金融业务数据中的正样本后生成初始规则组;
根据所述初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据所述迭代规则组对所述初始规则组中的规则性能进行迭代优化;
将已完成迭代优化的所述初始规则组确定为所述规则策略组。
2.根据权利要求1所述的规则策略组的生成方法,其特征在于,根据所述金融业务数据中的业务指标规则确定精简规则组,并根据所述精简规则组剔除所述金融业务数据中的正样本后生成初始规则组的步骤,包括:
将所述金融业务数据输入至已完成训练的第一神经网络模型中;其中,所述第一神经网络模型至少包括:第一计算模块和第二计算模块;所述第一计算模块用于生成只使用一个业务指标的规则;所述第二计算模块用于生成使用两个业务指标的规则;
将所述第一计算模块以及所述第二计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的所述精简规则组中;
在所述金融业务数据中剔除被所述精简规则组中的规则命中的所述正样本,并将已完成剔除的所述金融业务数据输入至所述第一神经网络中进行循环计算;
当所述金融业务数据中的正样本均被剔除时停止循环,并将此时的所述精简规则组确定为初始规则组。
3.根据权利要求1所述的规则策略组的生成方法,其特征在于,根据所述金融业务数据中的业务指标规则确定精简规则组,并根据所述精简规则组剔除所述金融业务数据中的正样本后生成初始规则组的步骤,还包括:
获取所述精简规则组中可配置规则的数目;
将所述金融业务数据输入至已完成训练的第一神经网络模型中;其中,所述第一神经网络模型至少包括:第一计算模块和第二计算模块;所述第一计算模块用于生成只使用一个业务指标的规则;所述第二计算模块用于生成使用两个业务指标的规则;
将所述第一计算模块以及所述第二计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的所述精简规则组中;
在所述金融业务数据中剔除被所述精简规则组中的规则命中的所述正样本,并将已完成剔除的所述金融业务数据输入至所述第一神经网络中进行循环计算;
当所述精简规则组中的规则数量达到可配置规则的数目时停止循环,并将此时的所述精简规则组确定为初始规则组。
4.根据权利要求1所述的规则策略组的生成方法,其特征在于,根据所述初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据所述迭代规则组对所述初始规则组中的规则性能进行迭代优化的步骤,包括:
将所述初始规则组中包含的金融业务数据输入至已完成训练的第二神经网络模型中;其中,所述第二神经网络模型至少包括:第三计算模块和第四计算模块;所述第三计算模块用于生成只使用一个业务指标的规则;所述第四计算模块用于生成使用两个业务指标的规则;
将所述第三计算模块以及所述第四计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的所述迭代规则组中进行数据更新;
将已完成数据更新的所述迭代规则组输入至所述第二神经网络模型中进行循环计算;并当所述迭代规则组达到预设性能阈值条件时停止循环。
5.根据权利要求4所述的规则策略组的生成方法,其特征在于,将所述第三计算模块以及所述第四计算模块输出的业务指标进行性能对比,将性能最优的业务指标对应的规则输入至已初始化的所述迭代规则组中进行数据更新的步骤,包括:
根据所述初始规则组中随机提取的规则生成临时规则组;其中,所述临时规则组的规则数目小于所述初始规则组的规则数目;
将所述临时规则组包含的金融业务数据输入至已完成训练的第二神经网络模型中的所述第三计算模块以及所述第四计算模块进行计算;
将所述第三计算模块以及所述第四计算模块输出的业务指标进行性能对比,并将性能最优的业务指标输入至所述临时规则组中进行更新;
将已更新的所述临时规则组包含的金融业务数据输入至已完成训练的第二神经网络模型中进行计算,直至所述临时规则组的数目与所述初始规则组的规则数目相同时停止更新。
7.根据权利要求2至5任一项所述的规则策略组的生成方法,其特征在于,所述第一神经网络和所述第二神经网络,通过LightGBM和/或GBDT算法进行训练。
8.一种规则策略组的生成系统,其特征在于,所述系统用于金融业务决策,所述系统包括:
数据整理模块,用于获取金融业务数据,并将所述金融业务数据按照金融业务标注为正样本和负样本;
初始规则组生成模块,用于根据所述金融业务数据中的业务指标规则确定精简规则组,并根据所述精简规则组剔除所述金融业务数据中的正样本后生成初始规则组;
迭代优化模块,用于根据所述初始规则组中包含的金融业务数据的业务指标规则确定迭代规则组,并根据所述迭代规则组对所述初始规则组中的规则性能进行迭代优化;
规则策略组生成模块,用于将已完成迭代优化的所述初始规则组确定为所述规则策略组。
9.一种电子设备,其特征在于,包括:处理器和存储装置;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时实现如权利要求1至7任一项所述的规则策略组的生成方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时实现上述权利要求1至7任一项所述的规则策略组的生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110488036.9A CN113240259B (zh) | 2021-04-30 | 2021-04-30 | 规则策略组的生成方法、系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110488036.9A CN113240259B (zh) | 2021-04-30 | 2021-04-30 | 规则策略组的生成方法、系统及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113240259A true CN113240259A (zh) | 2021-08-10 |
CN113240259B CN113240259B (zh) | 2023-05-23 |
Family
ID=77132111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110488036.9A Active CN113240259B (zh) | 2021-04-30 | 2021-04-30 | 规则策略组的生成方法、系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113240259B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024017177A1 (zh) * | 2022-07-18 | 2024-01-25 | 支付宝(杭州)信息技术有限公司 | 一种执行业务的方法、装置、存储介质及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160371790A1 (en) * | 2015-06-17 | 2016-12-22 | Sap Se | Extension Ledger |
CN107993139A (zh) * | 2017-11-15 | 2018-05-04 | 华融融通(北京)科技有限公司 | 一种基于动态规则库的消费金融反欺诈系统与方法 |
WO2019154162A1 (zh) * | 2018-02-12 | 2019-08-15 | 阿里巴巴集团控股有限公司 | 一种风控规则生成方法和装置 |
CN110209660A (zh) * | 2019-06-10 | 2019-09-06 | 北京阿尔山金融科技有限公司 | 欺诈团伙挖掘方法、装置及电子设备 |
CN111861738A (zh) * | 2020-08-20 | 2020-10-30 | 深圳市富之富信息科技有限公司 | 风控规则筛选方法、装置、计算机设备及存储介质 |
CN112163642A (zh) * | 2020-10-30 | 2021-01-01 | 北京云从科技有限公司 | 一种风控规则获取方法、装置、介质及设备 |
CN112581000A (zh) * | 2020-12-24 | 2021-03-30 | 广东省电信规划设计院有限公司 | 企业风险指数计算方法及装置 |
US20210103838A1 (en) * | 2019-10-04 | 2021-04-08 | Tookitaki Holding Pte. Ltd. | Explainability framework and method of a machine learning-based decision-making system |
-
2021
- 2021-04-30 CN CN202110488036.9A patent/CN113240259B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160371790A1 (en) * | 2015-06-17 | 2016-12-22 | Sap Se | Extension Ledger |
CN107993139A (zh) * | 2017-11-15 | 2018-05-04 | 华融融通(北京)科技有限公司 | 一种基于动态规则库的消费金融反欺诈系统与方法 |
WO2019154162A1 (zh) * | 2018-02-12 | 2019-08-15 | 阿里巴巴集团控股有限公司 | 一种风控规则生成方法和装置 |
CN110209660A (zh) * | 2019-06-10 | 2019-09-06 | 北京阿尔山金融科技有限公司 | 欺诈团伙挖掘方法、装置及电子设备 |
US20210103838A1 (en) * | 2019-10-04 | 2021-04-08 | Tookitaki Holding Pte. Ltd. | Explainability framework and method of a machine learning-based decision-making system |
CN111861738A (zh) * | 2020-08-20 | 2020-10-30 | 深圳市富之富信息科技有限公司 | 风控规则筛选方法、装置、计算机设备及存储介质 |
CN112163642A (zh) * | 2020-10-30 | 2021-01-01 | 北京云从科技有限公司 | 一种风控规则获取方法、装置、介质及设备 |
CN112581000A (zh) * | 2020-12-24 | 2021-03-30 | 广东省电信规划设计院有限公司 | 企业风险指数计算方法及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024017177A1 (zh) * | 2022-07-18 | 2024-01-25 | 支付宝(杭州)信息技术有限公司 | 一种执行业务的方法、装置、存储介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113240259B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107025596B (zh) | 一种风险评估方法和系统 | |
CN110009174B (zh) | 风险识别模型训练方法、装置及服务器 | |
WO2015135321A1 (zh) | 基于金融数据的社会关系挖掘的方法及装置 | |
CN108898476A (zh) | 一种贷款客户信用评分方法和装置 | |
WO2017133456A1 (zh) | 一种确定风险评估参数的方法及装置 | |
CN109635007B (zh) | 一种行为评估方法、装置及相关设备 | |
CN111090780A (zh) | 可疑交易信息的确定方法及装置、存储介质、电子设备 | |
CN110991936A (zh) | 企业评分评级方法、装置、设备及介质 | |
CN113240259A (zh) | 规则策略组的生成方法、系统及电子设备 | |
CN114782123A (zh) | 一种信用评估方法及系统 | |
CN115437965B (zh) | 适用于测试管理平台的数据处理方法 | |
CN114626940A (zh) | 数据分析方法、装置及电子设备 | |
CN110570301B (zh) | 风险识别方法、装置、设备及介质 | |
CN110458707B (zh) | 基于分类模型的行为评估方法、装置及终端设备 | |
CN112613762A (zh) | 基于知识图谱的集团评级方法、装置和电子设备 | |
CN111932131A (zh) | 业务数据处理方法及装置 | |
CN110766544A (zh) | 信用风险的检测方法及装置、存储介质、电子装置 | |
CN113177784B (zh) | 地址类型识别方法及装置 | |
CN114997879B (zh) | 一种支付路由方法、装置、设备和存储介质 | |
CN116452313B (zh) | 银行游戏客群中客户价值的计算方法、装置和电子设备 | |
CN113191877A (zh) | 数据特征获取方法、系统及电子设备 | |
CN114444592A (zh) | 特征筛选方法、设备、存储介质及程序产品 | |
CN115511428A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN117689466A (zh) | 业务办理方法、装置、计算机可读存储介质及电子设备 | |
CN117196830A (zh) | 征信基础特征自动化衍生的方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 601, Building 4, No. 165 Wuchang Avenue, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Applicant after: Hangzhou Dingxiang Technology Co.,Ltd. Address before: Room 603b, building 19, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: Top Elephant Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |