CN101840423A - 基于成对下单原理与数据挖掘技术的话单准确性稽核系统 - Google Patents

Abstract

基于成对下单原理与数据挖掘技术的话单准确性稽核系统，包括五个部分：进行数据采集；数据预处理；CDR特征表示数据自适应聚类；分类算法的问题话单分拣；问题话单特征挖掘。本发明以交换机所生成的CDR话单数据作为数据源，基于交换机成对下单原理，结合国内电信企业的实际情况，提出了一种适合国内电信运营及支撑现状的基于交换系统的CDR话单准确性稽核模型，基于该模型的收入保障系统能有效控制收入的流失。

Description

基于成对下单原理与数据挖掘技术的话单准确性稽核系统

【技术领域】

本发明属于信息技术应用领域。具体是涉及在电信收入保障系统中运用数据挖掘技术分析收入流失的话单准确性稽核系统。

【背景技术】

在经历了数年的高速发展之后，目前中国的电信运营企业正面临着巨大的变革。一方面，市场的逐渐饱和以及竞争的日益激烈促使各运营商努力寻求更加先进的设备、系统和管理方法，不断开创新的业务增长点以迎接挑战；另一方面，运营利润的逐渐下降促使运营商更加重视对收入流失的控制，这使得收入保障正成为各大电信运营商近期极为关注的研究热点。

随着3G技术的引入，我国电信运营商的技术环境将进一步复杂化，通信产品、服务、流程、系统和设备的快速更新将大大增加计费遗漏、大额欺诈、和恶意欠费的风险。为了提高收入保障和管理水平、电信运营商需要实施一套全面和系统的收入保障体系。

所谓收入保障就是通过对现有业务流程与信息系统的调研诊断，确定收入流失点，从而阻止并且预防收入流失的系统实践过程。收入保障系统不但能够帮助电信运营商降低收入流失，提高企业效益，而且能够协助企业建立规范的收入保障流程提高运营效率。

电信业务收入形成过程包括以下几个主要环节：(1)客户业务受理，(2)业务开通与变更，(3)客户通话明细记录CDR(call detail record)，(4)数据采集，(5)计费账务处理，(6)结算，(7)收费等。

导致收入漏洞存在的原因，一些国际知名的行业咨询公司已经做了大量的调研和统计工作。归纳一下，主要有如下几种：(1)不准确的设备配置或低效的网络设计；(2)不能形成通话记录；(3)不准确的联机控制过程；(4)不准确的数据库；(5)不准确的计费；(6)存在相互矛盾的配置或系统等。

据Philips Group的报告，收入漏洞所造成的收入流失比例如下：

(1)记录太迟(Record too late)7％；(2)损坏的记录(Corrupted CDR)8％；(3)未能生成记录(Fail to create records)9％；(4)记录丢失(Recordlost)10％；(5)送到错误的文件(Sent to error file)12％；(6)欺诈(Fraud)18％；(7)算费不正确(Rating incorrectly)10％；(8)欠费或坏帐(Debt/write-off)15％；(9)不完整的客户记录(Incomplete customer records)11％。

从客户对支撑系统功能划分的角度看，前五个部分(46％)是在业务网络内部形成的，其他部分则是在业务运营支撑系统中营业、客户资料、计费、收费等几个环节中。特别一提的是，46％的问题发生在电信网络内部与CDR生成相关，而在后台支撑系统软件都是处理CDR，这些系统无从知道有46％收入流失已经发生。

对于我国的电信运营企业，由于目前的业务运营支撑系统中的软件都是直接处理CDR数目，这些系统无从知道CDR生成中所产生的问题，而根据统计数据大部分的收入漏洞都是发生在电信网络内部，与CDR数目的生成相关，所以现有的系统很难控制这一部分的收入流失。

【发明内容】

本发明所要解决的技术问题在于提供一种能有效控制收入流失的基于成对下单原理与数据挖掘技术的话单准确性稽核系统。

本发明采用以下技术方案解决上述技术问题：

基于成对下单原理与数据挖掘技术的话单准确性稽核系统，该系统包括五个部分：

进行数据采集：利用适配器对交换机生成的CDR话单文件进行采集，并将采集得到的数据存入到统一的原始话单数据库中；

数据预处理：即CDR数据的特征表示与建模，实现过程是先基于原始话单数据库中CDR数据，去掉冗余的话单记录，然后将剩下的有效话单记录基于构建的CDR特征表示模型，经格式转换与形式化之后分主叫话单和被叫话单分别存入到对应的主叫CDR与被叫CDR特征表示数据库之中，构造主叫CDR与被叫CDR的特征表示库；

CDR特征表示数据自适应聚类：利用所设计的自适应聚类算法，分别将主被叫CDR特征表示库中的数据进行聚类；

分类算法的问题话单分拣：基于交换机成对下单原理，利用规则库中设计的有关话单匹配规则模型，对存在问题的聚类结果类型中的记录进行比对，得到交换机的问题话单集合；

问题话单特征挖掘：具体实现过程是基于得到交换机的问题话单集合，采用设计的快速频繁模式挖掘算法，找出问题话单的频繁模式，从而得到问题话单的特征。

所述数据预处理部分中CDR数据的特征表示与建模包括：假定Ω₁表示由所有主叫话单构成的离散的样本空间，Ω₂表示由所有被叫话单构成的离散的样本空间，Ω₃表示由所有呼转话单构成的离散的样本空间；在Ω_i中：假定每条CDR记录中共包括n个不同的项目，若从中选择m个有用的项目{I_i1，I_i2，...，I_im}作为CDR的特征描述，则称m元组K＝{I_i1，I_i2，...，I_im}为Ω_i的特征表示库；其中：话单类型包括移动主叫话单，移动被叫话单，电信主叫话单，电信被叫话单，联通主叫话单，联通被叫话单；而业务类型则包括本地通话，国内长途，国际长途等；将交换机产生的原始CDR经过形式化表征之后分“主叫”、“被叫”、以及“呼转”这三种不同的类型分别存储到对应的CDR特征表示库Ω1、Ω2、Ω3中；

所述CDR特征表示数据自适应聚类包括：将特征表示库Ω1、Ω2中记录的m元组分别进行归一化，定义不同m元组之间的距离为欧氏几何距离，同时，定义类密度、最小类密度、类平均距离、以及最小类平均距离等类判决因子，并将所有定义的类判决因子通过线性组合构成一个统一的类判决函数f；设定一个较大的整数值作为类的初始数目值，然后对类数目按指数递减，分别计算不同类数目下的判决函数值并与判决阀值进行比较，当判决函数值达到拐点时，则从达到拐点之前的类数目值开始，对类数目值进行线性递减，并计算不同类数目下的判决函数值，当判决函数值再次达到拐点时，则判定在到达该次拐点之前的类数目值为最终的类数目值；基于选定的最终类数目值，得到对应的Ω1、Ω2的聚类结果；

所述分类算法的问题话单分拣包括：考虑交换机的下单延时和误差，设定合适的话单匹配规则；基于设定的匹配规则与交换机成对下单原理，对得到的特征表示库Ω1、Ω2的聚类结果，通过判别分别得到匹配话单集合、丢失话单集合、以及差错话单集合；

所述问题话单特征挖掘包括：设定一个较小的支持度值作为支持度的初始阀值，然后对支持度值按指数递增，分别计算不同支持度值下的频繁模式挖掘结果，当频繁模式挖掘结果达到拐点时，则从达到拐点之前的支持度值开始，对支持度值进行线性递增，并计算不同支持度值下的频繁模式挖掘结果，当频繁模式挖掘结果再次达到拐点时，则判定在到达该次拐点之前的支持度值为最终的支持度值；基于选定的最终支持度值，得到对应的丢失话单集合与差错话单集合的频繁模式挖掘结果。

本发明的优点在于：以交换机所生成的CDR话单数据作为数据源，基于交换机成对下单原理，结合国内电信企业的实际情况，提出了一种适合国内电信运营及支撑现状的基于交换系统的CDR话单准确性稽核模型，基于该模型的收入保障系统能有效控制收入的流失。

【附图说明】

下面参照附图结合实施例对本发明作进一步的描述。

图1是本发明CDR话单准确性稽核系统统框架图。

图2是本发明基于快速类别数目决定方法的CDR特征表示数据自适应聚类算法流程图。

图3是本发明一种用于在存在问题的聚类集合中找出问题话单的基于规则的问题话单集发现算法。

图4是本发明对CDR话单处理时采用基于搜索策略和宽度优先的快速频繁模式挖掘算法流程图。

【具体实施方式】

本发明提出一种适合国内电信运营以及支撑现状的基于交换系统的CDR话单准确性稽核模型，在该模型中，为了实现最终的话单准确性稽核，首要解决的问题是如何构建CDR的特征表示模型和特征表示库，以期利用此特征表示模型和特征表示库能方便的对产生收入流失的原因进行解释。其次是如何找到一种快速合适的方法对造成收入流失的CDR数据进行特征提取，使得电信运营商能在实际中最终找到并解决造成收入流失的问题。再次是如何在不同的电信CDR数据集中寻找出问题话单所在的聚类集合，以便能采取前面所说的特征提取方式进行处理。最后一个问题是如何进行一种有效的方式对海量的数据库中的数据进行合适的聚类，使得系统能顺利抽取存在问题的聚类话单集合。

图1所示为CDR话单准确性稽核系统统框架图，其中详细展示了CDR话单稽核系统所包括的五个部分，其中每个部分产生的结果作为下一个部分数据处理的对象。

第一个部分进行的是数据采集，得到的是原始的未经处理的庞大CDR话单数据，在第二部分中经过数据的预处理以后，冗余的话单记录被去除，剩下的有效话单记录经转换后进入数据库，原始的CDR经过形式表征之后被分为“主叫”“被叫”以及“呼转”，随后被用来构造话单数据的知识库，最终这三种不同的类型分别形成对应的CDR特征表示库Ω1、Ω2、Ω3中。第三部分，在接下来的对CDR特征表示库中数据进行特征分析的快速自适应聚类方法中，根据算法选定的最终类数目值，得到对应的Ω1、Ω2的聚类结果。第四部分，对得到的特征表示库Ω1、Ω2的聚类结果，通过判别分别得到匹配话单集合、丢失话单集合、以及差错话单集合。第五部分，在一个快速频繁模式挖掘方法中，对丢失话单集合与差错话单集合将会进行特征抽取，得到最终的知识表达。

图2为基于快速类别数目决定方法的CDR特征表示数据自适应聚类算法流程图。在把特征表示库Ω1、Ω2中记录的m元组分别进行归一化后，定义不同m元组之间的欧氏几何距离作为，同时，根据距离定义类密度、最小类密度、类平均距离、以及最小类平均距离等类判决因子，并将所有定义的类判决因子通过一个线性组合构成统一的类判决函数f。完成这些预备工作后，正式的算法流程分为以下步骤：

(类数目指数递减过程)

步骤1：取一个较大的值N作为初始的类数目，根据上述定义计算判决函数f的值γ₁；

步骤2：取N/2作为类数目，计算判决函数值γ₂，若γ₂≤γ₁，转入步骤3；

步骤3：取N/4作为类数目，计算判决函数值γ₃，若γ₃≤γ₂，转入步骤4；

……

……

步骤i：取N/2^i-1作为类数目，计算判决函数值γ_i，若γ_i≤γ_i-1，转入步骤i+1；

步骤i+1：取N/2ⁱ作为类数目，计算判决函数值γ_i+1，若γ_i+1＞γ_i，转入步骤i+2；

(类数目线性递减过程)

步骤i+2：取N/2^i-1+1作为类数目，计算判决函数值γ_i+2，若γ_i+2≤γ_i，转入步骤i+3；

步骤i+3：取N/2^i-1+2作为类数目，计算判决函数值γ_i+3，若γ_i+3≤γ_i+2，转入步骤i+4；

……

……

Step i+1+k：取N/2^i-1+K作为类数目，计算判决函数值γ_i+1+k，若γ_i+1+k＞γ_i+k，结束。

这样类数目线性递减过程结束，得到最小的判决函数值γ_i+k，以及最终类数目值N/2^i-1+K-1。以此聚类数目对对应的Ω1、Φ2、Ω3分别进行聚类。

图3为一种用于在存在问题的聚类集合中找出问题话单的基于规则的问题话单集发现算法。

对于主叫和被叫以及呼转话单的聚类结果，由于那些有着漏单或者错单项的类将在类数据的统计上出现明显差异，假定Δ1＝{C11，C12，...，C1n}表示所有有差异的主叫话单聚类中的数据所构成的离散的样本空间，Δ2＝{C21，C22，...，C2m}表示所有有差异被叫话单聚类中的数据所构成的离散的样本空间，分别取定主叫(S)，被叫(R)，通话起始时间(O)，通话结束时间(E)，以及通话时长(T)，话单类型(C)，业务类型(B)作为所有知识点，Δ3＝{C31，C32，...，C3k}表示所有呼转话单聚类所构成的离散的样本空间，其中：Cij＝＜(S，wij1)，(R，wij2)，(O，wij3)，...，(B，wij7)＞，L表示差异话单集合，δ表示时钟漂移量，针对差异话单集合，准确性稽核算法的步骤如下：

(1)L＝Φ；

(2)FOR(i＝1，i≤n，i++){

(3)a1＝C1i.w1i1，b1＝C1i.w1i2，...，g1＝C1i.w1i7；

(4)FOR(j＝1，j≤m，j++){

(5)a2＝C2j.w2j1，b2＝C2j.w2j2，...，g2＝C2j.w2j7；

(6)IF({a1＝a2}&&{b1＝b2}&&{|c1-c2|≤δ1}&&{|d1-d2|≤δ2}){

(7)IF(C2j为C1i的独立补话单&&|e1-e2|≥δ3)L＝L∪{C1i}；

(8)Break；}

(9)IF({b1＝a2}&&{|c1-c2|≤δ1}&&{|d1-d2|≤δ2}){

(10)IF(C2j为C1i的组合补话单&&|e1-e2|≥δ3)L＝L∪{C1i}；

(11)Break；}}}

显然，针对Δ1-独立话单集合，以及Δ2-独立话单集合，均可仿照上述准确性稽核算法描述，同理可得。

图4是对CDR话单处理时采用基于搜索策略和宽度优先的快速频繁模式挖掘算法流程图。该算法首先搜索出频繁1项集，在根据频繁1项集依次搜索出频繁K项集(K＝2，3，4...)，直到找不出K项集为止。频繁1项集是通过扫描知识库，将满足最小支持度阀值的项找出来，记为频繁1项集，得到频繁1项集后，假设l1和l2是频繁1项集Lk-1中的项集元素。记号li(j)表示li的第j项。为方便起见，假定事务或项集中的项按字典次序排序。执行Lk-1与自身连接；其中Lk-1的元素是可连接的，如果它们前(k-2)个项相同。即：Lk-1的元素l1和l2是可连接的，如果它们前(k-2)个项满足(l1[1]＝l2[1])^(l1[2]＝l2[2])^...^(l1[k-2]＝l2[k-2])^(l1[k-1]＜l2[k-1])。条件(l1[k-1]＜l2[k-1])是简单地保证不产生重复。连接l1和l2产生的结果项集是(l1[1]l1[2]...l1[k-2]l2[k-1]。连接后就生成了频繁2项集的候选集。然后再判断候选集的子集是不是在频繁1项集中，如果不在，就在候选集中删除该项。依次循环直到候选集中所有元素都是频繁的，就得出了频繁2项集。得出2项集之后再递归调用连接和剪枝的方法，依次得出频繁K项集，直到不再产生频繁项，该算法退出。

本发明提出一种适合国内电信运营以及支撑现状的基于交换系统的CDR话单准确性稽核模型，在该模型中，为了实现最终的话单准确性稽核，首要解决的问题是如何构建CDR的特征表示模型和特征表示库，以期利用此特征表示模型和特征表示库能方便的对产生收入流失的原因进行解释。其次是如何找到一种快速合适的方法对造成收入流失的CDR数据进行特征提取，使得电信运营商能在实际中最终找到并解决造成收入流失的问题。再次是如何在不同的电信CDR数据集中寻找出问题话单所在的聚类集合，以便能采取前面所说的特征提取方式进行处理。最后一个问题是如何进行一种有效的方式对海量的数据库中的数据进行合适的聚类，使得系统能顺利抽取存在问题的聚类话单集合。

Claims (2)

1.基于成对下单原理与数据挖掘技术的话单准确性稽核系统，其特征在于：该系统包括五个部分：

进行数据采集：利用适配器对交换机生成的CDR话单文件进行采集，并将采集得到的数据存入到统一的原始话单数据库中；

数据预处理：即CDR数据的特征表示与建模，实现过程是先基于原始话单数据库中CDR数据，去掉冗余的话单记录，然后将剩下的有效话单记录基于构建的CDR特征表示模型，经格式转换与形式化之后分主叫话单和被叫话单分别存入到对应的主叫CDR与被叫CDR特征表示数据库之中，构造主叫CDR与被叫CDR的特征表示库；

CDR特征表示数据自适应聚类：利用所设计的自适应聚类算法，分别将主被叫CDR特征表示库中的数据进行聚类；

分类算法的问题话单分拣：基于交换机成对下单原理，利用规则库中设计的有关话单匹配规则模型，对存在问题的聚类结果类型中的记录进行比对，得到交换机的问题话单集合；

问题话单特征挖掘：具体实现过程是基于得到交换机的问题话单集合，采用设计的快速频繁模式挖掘算法，找出问题话单的频繁模式，从而得到问题话单的特征。

2.如权利要求1所述的基于成对下单原理与数据挖掘技术的话单准确性稽核系统，其特征在于：

所述数据预处理部分中CDR数据的特征表示与建模包括：假定Ω₁表示由所有主叫话单构成的离散的样本空间，Ω₂表示由所有被叫话单构成的离散的样本空间，Ω₃表示由所有呼转话单构成的离散的样本空间；在Ω_i中：假定每条CDR记录中共包括n个不同的项目，若从中选择m个有用的项目{I_i1，I_i2，...，I_im}作为CDR的特征描述，则称m元组K＝{I_i1，I_i2，...，I_im}为Ω_i的特征表示库；其中：话单类型包括移动主叫话单，移动被叫话单，电信主叫话单，电信被叫话单，联通主叫话单，联通被叫话单；而业务类型则包括本地通话，国内长途，国际长途等；将交换机产生的原始CDR经过形式化表征之后分“主叫”、“被叫”、以及“呼转”这三种不同的类型分别存储到对应的CDR特征表示库Ω1、Ω2、Ω3中；

所述CDR特征表示数据自适应聚类包括：将特征表示库Ω1、Ω2中记录的m元组分别进行归一化，定义不同m元组之间的距离为欧氏几何距离，同时，定义类密度、最小类密度、类平均距离、以及最小类平均距离等类判决因子，并将所有定义的类判决因子通过线性组合构成一个统一的类判决函数f；设定一个较大的整数值作为类的初始数目值，然后对类数目按指数递减，分别计算不同类数目下的判决函数值并与判决阀值进行比较，当判决函数值达到拐点时，则从达到拐点之前的类数目值开始，对类数目值进行线性递减，并计算不同类数目下的判决函数值，当判决函数值再次达到拐点时，则判定在到达该次拐点之前的类数目值为最终的类数目值；基于选定的最终类数目值，得到对应的Ω1、Ω2的聚类结果；

所述分类算法的问题话单分拣包括：考虑交换机的下单延时和误差，设定合适的话单匹配规则；基于设定的匹配规则与交换机成对下单原理，对得到的特征表示库Ω1、Ω2的聚类结果，通过判别分别得到匹配话单集合、丢失话单集合、以及差错话单集合；

所述问题话单特征挖掘包括：设定一个较小的支持度值作为支持度的初始阀值，然后对支持度值按指数递增，分别计算不同支持度值下的频繁模式挖掘结果，当频繁模式挖掘结果达到拐点时，则从达到拐点之前的支持度值开始，对支持度值进行线性递增，并计算不同支持度值下的频繁模式挖掘结果，当频繁模式挖掘结果再次达到拐点时，则判定在到达该次拐点之前的支持度值为最终的支持度值；基于选定的最终支持度值，得到对应的丢失话单集合与差错话单集合的频繁模式挖掘结果。

Images