CN109582714B - 一种基于时间衰减关联的政务事项数据处理方法 - Google Patents

Abstract

本发明涉及计算机通信技术领域，特别是一种基于时间衰减关联的政务事项数据处理方法。本发明针对政务服务中事项流程复杂冗余等问题，提供了一种基于时间衰减关联规则挖掘方法，并将挖掘出的关联规则用于政务事项流程优化，从而精简政务事项优化过程。

Description

一种基于时间衰减关联的政务事项数据处理方法

技术领域

本发明涉及计算机通信技术领域，特别是一种基于时间衰减关联的政务事项数据处理方法。

背景技术

随着社会的发展和科技的进步，人们的生活越来越电子化，与此同时累积产生的数据量也正在迅速膨胀。数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。面对如此大的数据量，如何充分利用现有数据，挖掘数据中的潜在价值并服务于现有业务，是我们亟待解决的问题。

数据挖掘涉及范围非常广泛，主要是指从大型数据库或数据仓库中提取隐含的、先前未知的、对决策有潜在价值的知识和规则。它是人工智能和数据库发展相结合的产物，是国际上数据库和信息决策系统最前沿的研究方向之一。数据挖掘主要的算法有分类模式、频繁项集挖掘、序列模式、聚类模式、神经网络算法等等。频繁项集挖掘是数据挖掘中的一个非常重要的研究课题，广泛应用于各个领域，既可以检验行业内长期形成的知识模式，也能够发现隐藏的新规律。有效地发现、理解、运用频繁项集是完成数据挖掘任务的重要手段。但现有的数据挖掘还是存在权重单一，无法匹配时间因素等问题。

发明内容

本发明解决现有技术不足提供一种简化流程、快速实施的基于时间衰减关联的政务事项数据处理方法。

本发明解决其技术问题所采用的技术方案为：

一种基于时间衰减关联的政务事项数据处理方法，包括如下步骤：

a、获取所有办理事项的用户身份ID、事项名称n、办理日期t；

b、对获取的用户身份ID、事项名称n中字母和数字转化为小写半角符号，去除字段信息中空格；

c、对办理日期t以日为级数单位，起算日期记为0，距离起算日期d天，则对应的日期t记为-d；

d、对事项名称n、办理日期t进行分组，得到每一个用户办理的事项集合s，所有用户的事项集合组成了频繁模式挖掘的事务集S¹；

e、根据办理日期t，计算各事项的时间衰减权重因子decay_t＝e^0.05*t，

f、遍历事务集S¹，得到各事项的时间衰减加权计数，满足最小支持度SUP_min的事项组成频繁1-项集f₁，并按计数从大到小排列；

g、构造FP树，根节点设为null；对事务集S¹中的每个事项集合s，选取出现在频繁1-项集f₁中的元素，并按照时间衰减加权计数从大到小的顺序依次从根节点开始创建分枝；若多个事项集合s_i和s_j按照时间衰减加权计数从大到小排列后，有相同的前缀，则它们也共享FP树中的祖先节点，FP树中各节点的计数仍为节点上所有事项的时间衰减加权和；

h、从频繁1-项集f₁开始，找出每一个频繁项在FP树上的所有前缀路径，并使用前缀路径，按照步骤g创建该频繁项的条件FP树，递归的在该树上挖掘，直到前缀路径为空，得到所有频繁项的集合F，计算每个频繁子集的普遍性权重general_s；

j、使用改进的贝叶斯定理度量事项间的关联关系的置信度CONF；

k、满足最小置信度CONF_min＝0.9的关联关系即为关联规则R；

l、关联规则R中涉及的事项若有先后顺序，则对事项进行串行，优化办事流程；

m、关联规则R中涉及的事项若无先后顺序，则对事项进行合并，优化办事流程关联规则。

所述步骤e中时间衰减权重因子decay_t的计算方法为decay_t＝e^0.05*t；在关联关系的置信度采用改进的贝叶斯定理进行度量，在计算后验概率时，没有使用古典概率的计数结果进行计算，对事项的普遍性进行了度量，对计数结果引入了普遍性权重；若某一事项出现在多个高频事项子集中，则增加其权重；反之则减小其权重，普遍性权重的具体计算方法为其中，n_s表示s作为子集的频繁项集数，N表示频繁项集F的集合数。

本发明针对政务服务中事项流程复杂冗余等问题，提供了一种基于时间衰减关联规则挖掘方法，并将挖掘出的关联规则用于政务事项流程优化，从而精简政务事项优化过程。本发明通过设置权重，融合权重的序列可由用户和政务动态调节。不同于常规的平均模型融合法，本方法通过赋予不同模型不同的融合权重，更能捕捉到时间更近的数据的特征，从而达到更好的预估效果。

频繁项集挖掘方法主要有Apriori和FP-Growth，Apriori算法由于效率低下，实际中人们往往选择FP-Growth进行频繁项集的挖掘。由于数据是随着时间的推进不断产生的，因此受时间影响较大。对于短时间内产生的大量数据，FP-Growth算法得到的结果很能反映这段时间内的频繁集，但是当时间范围跨度较大时，可能会有原先频繁出现的事项后期就不那么频繁出现了，或者之前较少出现的事项由于一些原因后期会频繁出现。而现有公开的文献中并没有针对时间变化进行分析的频繁项集挖掘方法。因此本发明的算法在进行频繁项挖掘的时候，能够将时间变化因素考虑在内，从而使得到的结果能够反映出事项发生的时间特性。

附图说明

图1为本发明的处理方法示意图。

具体实施方式

一种基于时间衰减关联的政务事项数据处理方法，包括如下步骤：

a、获取所有办理事项的用户身份ID、事项名称n、办理日期t；

b、对获取的用户身份ID、事项名称n中字母和数字转化为小写半角符号，去除字段信息中空格；

c、对办理日期t以日为级数单位，起算日期记为0，距离起算日期d天，则对应的日期t记为-d；

d、对事项名称n、办理日期t进行分组，得到每一个用户办理的事项集合s，所有用户的事项集合组成了频繁模式挖掘的事务集S¹；

e、根据办理日期t，计算各事项的时间衰减权重因子decay_t＝e^0.05*t，

f、遍历事务集S¹，得到各事项的时间衰减加权计数，满足最小支持度SUP_min的事项组成频繁1-项集f₁，并按计数从大到小排列；

g、构造FP树，根节点设为null；对事务集S¹中的每个事项集合s，选取出现在频繁1-项集f₁中的元素，并按照时间衰减加权计数从大到小的顺序依次从根节点开始创建分枝；若多个事项集合s_i和s_j按照时间衰减加权计数从大到小排列后，有相同的前缀，则它们也共享FP树中的祖先节点，FP树中各节点的计数仍为节点上所有事项的时间衰减加权和；

h、从频繁1-项集f₁开始，找出每一个频繁项在FP树上的所有前缀路径，并使用前缀路径，按照步骤g创建该频繁项的条件FP树，递归的在该树上挖掘，直到前缀路径为空，得到所有频繁项的集合F，计算每个频繁子集的普遍性权重general_s；

j、使用改进的贝叶斯定理度量事项间的关联关系的置信度CONF；

k、满足最小置信度CONF_min＝0.9的关联关系即为关联规则R；

l、关联规则R中涉及的事项若有先后顺序，则对事项进行串行，优化办事流程；

m、关联规则R中涉及的事项若无先后顺序，则对事项进行合并，优化办事流程关联规则。

所述步骤e中时间衰减权重因子decay_t的计算方法为decay_t＝e^0.05*t；在关联关系的置信度采用改进的贝叶斯定理进行度量，在计算后验概率时，没有使用古典概率的计数结果进行计算，对事项的普遍性进行了度量，对计数结果引入了普遍性权重；若某一事项出现在多个高频事项子集中，则增加其权重；反之则减小其权重，普遍性权重的具体计算方法为其中，n_s表示s作为子集的频繁项集数，N表示频繁项集F的集合数。并将挖掘出的关联规则用于政务事项流程优化，从而精简政务事项优化过程。本发明通过设置权重，融合权重的序列可由用户和政务动态调节。不同于常规的平均模型融合法，本方法通过赋予不同模型不同的融合权重，更能捕捉到时间更近的数据的特征，从而达到更好的预估效果。

Claims (1)

1.一种基于时间衰减关联的政务事项数据处理方法，其特征在于包括如下步骤：

a、获取所有办理事项的用户身份ID、事项名称n、办理日期t；

b、对获取的用户身份ID、事项名称n中字母和数字转化为小写半角符号，去除字段信息中空格；

c、对办理日期t以日为级数单位，起算日期记为0，距离起算日期d天，则对应的日期t记为-d；

d、对事项名称n、办理日期t进行分组，得到每一个用户办理的事项集合s，所有用户的事项集合组成了频繁模式挖掘的事务集S¹；

e、根据办理日期t，计算各事项的时间衰减权重因子decay_t＝e^0.05*t，

f、遍历事务集S¹，得到各事项的时间衰减加权计数，满足最小支持度SUP_min的事项组成频繁1-项集f₁，并按计数从大到小排列；

g、构造FP树，根节点设为null；对事务集S¹中的每个事项集合s，选取出现在频繁1-项集f₁中的元素，并按照时间衰减加权计数从大到小的顺序依次从根节点开始创建分枝；若多个事项集合s_i和s_j按照时间衰减加权计数从大到小排列后，有相同的前缀，则它们也共享FP树中的祖先节点，FP树中各节点的计数仍为节点上所有事项的时间衰减加权和；

h、从频繁1-项集f₁开始，找出每一个频繁项在FP树上的所有前缀路径，并使用前缀路径，按照步骤g创建该频繁项的条件FP树，递归的在该树上挖掘，直到前缀路径为空，得到所有频繁项的集合F，计算每个频繁子集的普遍性权重n_s表示s作为子集的频繁项集数，N表示频繁项集F的集合数；

j、使用改进的贝叶斯定理度量事项间的关联关系的置信度CONF；

k、满足最小置信度CONFmin＝0.9的关联关系即为关联规则R；

l、关联规则R中涉及的事项若有先后顺序，则对事项进行串行，优化办事流程；

m、关联规则R中涉及的事项若无先后顺序，则对事项进行合并，优化办事流程关联规则。