CN111858291B - 计费系统迁移测试中数据异常的根因确定方法、设备及系统 - Google Patents

计费系统迁移测试中数据异常的根因确定方法、设备及系统 Download PDF

Info

Publication number
CN111858291B
CN111858291B CN201910366087.7A CN201910366087A CN111858291B CN 111858291 B CN111858291 B CN 111858291B CN 201910366087 A CN201910366087 A CN 201910366087A CN 111858291 B CN111858291 B CN 111858291B
Authority
CN
China
Prior art keywords
root cause
samples
charging
ticket
charging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910366087.7A
Other languages
English (en)
Other versions
CN111858291A (zh
Inventor
邓一萌
李婧萱
谭卫国
公张睿
黄睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910366087.7A priority Critical patent/CN111858291B/zh
Publication of CN111858291A publication Critical patent/CN111858291A/zh
Application granted granted Critical
Publication of CN111858291B publication Critical patent/CN111858291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请提供了计费系统迁移测试中数据异常的根因确定方法、设备及系统，该方法包括：获取大量话单比对样本；话单比对样本包括第一版计费系统的话单字段集合与计费结果以及第二版计费系统的话单字段集合与计费结果；从大量话单比对样本中确定出少量的代表性样本；这些代表性样本能够覆盖用于表征计费结果不一致的预设数量的根因；获取这些代表性样本的人工标注的根因诊断结果；根据这些代表性样本和根因诊断结果进行模型训练，获得根因推理模型；通过根因推理模型推理需要预测的多个话单比对样本的关于计费结果不一致的根因。实施本申请能够实现在计费系统迁移测试中快速有效地确定根因，节省人力物力和时间，提高测试效率。

Description

计费系统迁移测试中数据异常的根因确定方法、设备及系统
技术领域
本发明涉及计费系统领域，尤其涉及计费系统迁移测试中数据异常的根因确定方法、设备及系统。
背景技术
随着技术进步，特别是网际互联协议(IP，Internet Protocol)技术和信息技术的发展，电信、信息技术、媒体和消费电子等行业之间逐渐融合，电信业正面临着巨大的变革。未来几年是电信业转型的一个关键时期，数字电信业务已开始逐渐替代传统电信业务。
数字电信业务的更新换代涉及到了数字电信业务相关软件/硬件的升级或者更换。在软件的升级或者更换过程中，业务能否准确无误的从源系统迁移至新系统，即迁移测试(Migration Testing，MT)过程，通常是软件交付(Software Delivery)的关注重点。
特别的，在电信业的融合计费系统(Convergent Billing System，CBS)的升级过程中，由于计费方式较为复杂，对于话单(又可称为呼叫详细记录，Call Detail Record，CDR)的迁移，需要关注话单迁移后，在新系统生成的输出是否一致，即每条话单在新系统的产品配置下生成的计费结果(又称批价结果，Rating)是否一致，当不一致时需要深度分析导致输出结果不一致的根因，才能在迁移测试时及时定位与修复新系统问题。
因此，这就要求计费系统在迁移测试中，不仅需要输入数据的字对字的逐一比对(即话单本身的数据字段，比如通话时长、主叫号码、被叫号码、订购产品)，还需要对基于输入数据而产出的输出数据(即每条话单在新系统中的计费结果)进行比对，并且追踪造成该输出差异的根因。该根因可能由多种可能性造成，例如，输入数据的差异(比如迁移时是否遗漏了某字段)，即字面比对即可得到的差异；又例如，新旧计费系统中计费产品的实例化配置差异(比如计费产品的时间精度的配置差异、计费产品在不同时间段的优先级配置差异、计费产品的计费精度配置)，导致对于同样的输入数据计算出不同的输出结果；又例如，新旧计费系统的逻辑设计差异(比如通话在超过某时长后以哪种标准拆分成多个话单进行批价；或者新旧计费系统的字段映射不同)，等等。在CBS系统升级的应用场景中，新旧计费系统数据输出是否一致会有数百个计费因子的不同组合互相影响，需要深度研究才能定位出迁移过程中的错误根因。
现有的CBS系统迁移测试采用了批价比对测试(Rating Comparison Test，RCT)的方案，当计费系统需升级时，如果相同的话单数据在新系统中的计费结果与旧计费系统的计费结果不一致，则将所有不一致话单提取出来。测试业务人员对每条话单的各个话单字段进行排查和分析，定位出导致计费结果差异的根因，进而对部分类似话单进行批量更新根因的操作，对于无法批量更新的话单，需要寻求业务经验更丰富的业务人员共同诊断和审核，确认最终根因。然而，计费系统迁移应用场景中，话单数据的特征维度通常较高，且在样本量巨大的情况下，这种方案需要耗费大量的人力物力和时间，整体效率低下。
发明内容
本发明实施例提供了计费系统迁移测试中数据异常的根因确定方法、设备及系统，能够实现在计费系统迁移测试中快速有效地确定根因，节省人力物力和时间，提高测试效率。
第一方面，本发明实施例提供了一种计费系统迁移测试中数据异常的根因确定方法，该方法包括：获取N个话单比对样本；其中各个话单比对样本包括第一版计费系统的话单字段集合与计费结果，以及，第二版计费系统的话单字段集合与计费结果；所述第一版计费系统的计费结果和所述第二版计费系统的计费结果不一致；从所述N个话单比对样本中确定出M 个代表性样本；M为大于等于2且小于等于0.5N的整数；所述M个代表性样本表示覆盖多个预设根因的M个样本，所述预设根因是针对计费结果不一致而预设的根因；获取所述M 个代表性样本各自的根因诊断结果；所述根因诊断结果分别表示所述M个代表性样本中各自的计费结果不一致的根因的标注结果；根据所述代表性样本和所述根因诊断结果进行模型训练，获得第一根因推理模型；通过所述第一根因推理模型，获得多个话单比对样本各自的根因推理结果；所述根因推理结果分别表示所述多个话单比对样本各自的计费结果不一致的根因。
本文中，第一版计费系统可以为旧版计费系统，第二版计费系统可以为新版计费系统。计费系统迁移测试则相应为对旧版计费系统的业务迁移到新版计费系统的相关测试。
其中，N至少大于4，具体的，N可以是一个数值很大的量，例如，N可以是数十万级别或数百万级别的数量。旧版计费系统的计费结果可以是旧版计费系统根据旧版计费系统的话单字段集合的相关值，利用旧版计费系统的计费规则而得到的，新版计费系统的计费结果可以是新版计费系统根据新版计费系统的话单字段集合的相关值，利用新版计费系统的计费规则而得到的
其中，根因具体表示新旧计费系统的计费结果不一致的具体原因，根因可以用以指导新旧计费系统的差异修复。为了便于覆盖不同的根因情况，还可以进一步设计M为预设根因的数量的倍数。M相比N而言可以是一个小量的数(举例说，M为10％N)。具体的，多个预设根因中的各种预设根因分别用来表示导致计费结果不一致的各种具体技术原因。
可以看到，实施本发明实施例，能够通过获取小量的代表性样本就可应用到根因推理模型的训练，代表性样本能够覆盖各种特征组合场景和覆盖各种的异常根因，人工只需要对小量的代表性样本进行诊断分析，减少了人工诊断的样本量，节省诊断工时和人力成本。另外，由于话单比对样本通常具有高维度、样本量大、特征组合复杂等特点，造成计费结果比对不一致的根因是多种多样的，可能是单变量特征的组合造成的，更有可能是由单变量特征组合得到(或衍生)的中间特征造成的。本发明通过根因推理模型建立各种特征组合(如单特征集合，特征组合衍生的中间特征，等等)与根因之间的映射逻辑，从而自动且有效地预测各种样本的根因，提升了比对测试的根因确定效率，节省人力物力和时间成本，这些根因可以用于指导迁移测试人员修复新旧计费系统或其他计费系统的数据差异，以保证计费系统的顺利升级、更换。
基于第一方面，在可能的实施例中，在一些可能的实施例中，所述多个话单比对样本例如可以是所述N个话单比对样本中除所述M个代表性样本外的N-M个话单比对样本，相应的，所述根因推理结果分别表示所述N-M个话单比对样本各自的计费结果不一致的根因。也就是说，N个话单比对样本中，M个代表性样本可通过人工方式进行标注，剩余的N-M个样本可利用训练好的根因推理模型进行根因推理，从而提升当前新旧系统迁移测试中的根因确定效率，节省人力物力和时间成本。
在又一些可能的实施例中，所述多个话单比对样本例如也可以是所述N个话单比对样本中，比所述N-M个话单比对样本更多的样本。
在又一些可能的实施例中，所述多个话单比对样本例如也可以是除所述N个话单比对样本外的其他话单比对样本。也即是说，这种情况下，本发明实施例中所训练出的根因推理模型还可以继续应用于对其他的样本进行预测。
举例来说，所述其他话单比对样本可以是，基于所述旧版计费系统和所述新版计费系统而得到的其他话单和计费结果而形成的话单比对样本。
又举例来说，所述其他话单比对样本可以是，由其他新旧系统产生的话单及相应的计费结果而形成的话单比对样本。
基于第一方面，在可能的实施例中，所述从所述N个话单比对样本中确定出M个代表性样本，包括：对所述N个话单比对样本分别进行特征抽取，获得N个高维话单特征数据；其中每个高维话单特征数据包括多个话单特征；对所述N个高维话单特征数据进行过滤处理，获得N个低维话单特征数据；其中所述低维话单特征数据中的话单特征的数量小于所述高维话单特征数据的话单特征的数量；对所述N个低维话单特征数据进行聚类，获得H个簇；根据所述H个簇，确定出所述M个代表性样本。
本发明实施例中，经过特征抽取得到的高维话单特征数据的特征维度很大，为了避免维度爆炸问题(curse of dimensionality)，以及考虑到不是所有话单特征都会影响计费结果是否一致(比如有些字段的取值变化性较小，对计费结果影响微弱，不具有参考价值)，对高维话单特征数据进行降维处理(或称过滤处理)，从而保留重要的话单特征，剔除不重要的话单特征，从而获得低维话单特征数据。
本发明实施例中，由于话单比对样本数量较大，为了既能节省人力物力和时间成本，又能保证比对测试准确度，对所述N个低维话单特征数据进行聚类，获得H个簇，从所述H个簇选择中最佳/最典型的低维话单特征数据作为所述M个代表性样本。
基于第一方面，在可能的实施例中，对所述N个话单比对样本分别进行特征抽取，获得 N个高维话单特征数据的方法包括：对于取值连续型的字段，例如，通话时间、计费结果、上网流量等字段，可以直接编码为一个话单特征。对于取值离散型的字段，比如话单数据中的绝大部分(如90％)展示的字段，其数值本质是无序的离散值，需要进行离散类型的编码，如独热编码。举例来说，某话单字段有1063种取值，则需要把该话单字段编码扩展成1063 个字段，即编码为1063个话单特征。
在一些可能的实施例中，所述对所述N个高维话单特征数据进行过滤处理，获得N个低维话单特征数据，包括：利用业务先验信息，剔除所述N个高维话单特征数据中的多个话单特征中的部分话单特征，以获得所述N个低维话单特征数据。即可业务调研得到的重要计费字段(对计费结果影响较显著的计费特征和特征取值)。这样有利于利用业务经验，提高样本中所保留话单特征的准确性，从而有助于提高后续根因推理模型的预测准确性。
在一些可能的实施例中，所述对所述N个高维话单特征数据进行过滤处理，获得N个低维话单特征数据，包括：根据所述N个高维话单特征数据中的多个话单特征(Xi)，和，各个 Xi对应的第二版计费系统的计费结果与第一版本计费系统的计费结果的差值y，计算各个Xi 的f值(f－Measure)；Xi的f值表示当Xi和y都服从正态分布时，Xi与y之间的相关程度值；剔除每个低维话单特征数据的多个话单特征中f值小于第一预设阈值的话单特征，以获得所述N个低维话单特征数据。其方法具体描述如下：
首先，可计算每一个待评价的话单特征(自变量)与计费结果的差异值(因变量)之间的f值(f-Measure)，以此评价并找出特征中对计费结果影响较大的话单特征，公式描述如下：
Figure BDA0002047992670000041
其中，
Figure BDA0002047992670000042
其中，X[:,i]代表所有话单在第i个话单特征Xi上的取值，是一个n维的列向量；y表示计费结果的差异值。内积后的ri是一个数值，ri的物理含义就是第i个字段与因变量y之间的样本相关系数，而第一个公式是为了让ri服从f(1,n-2)分布；f值的物理含义是假定Xi、y都服从正态分布时这两个变量之间的相关性(相关程度值)，f值越大，话单特征Xi和因变量y 之间的相关性就越大，因此，可以根据这个f值做特征选择。
然后，可按照话单特征Xi的f值对多个话单特征进行降序排列。在一可能实现中，选择出排在前列的R个(例如排在前列的300个)话单特征作为重要特征。在又一可能实现中，将f值大于某一预设阈值的话单特征作为重要特征。
可以看到，本发明实施例可通过算法提取未被人工识别但是也很重要的话单特征，这样，结合人工识别的话单特征，能够进一步提高样本中所保留话单特征的准确性，进一步提高后续根因推理模型的预测准确性。
基于第一方面，在可能的实施例中，根据所述M个簇，确定出所述M个代表性样本的方法包括：将所述H个簇中分别距离所述H个簇的中心点最近的M个低维话单特征数据作为所述M个代表性样本。由于簇是具有共性特征的样本的聚类，而代表性样本在簇中距离聚类中心最近(甚至代表性样本就位于聚类中心)，所以这样确定出的代表性样本就是该簇中最佳/最典型的样本，所以对于不同簇确定的M个代表性样本，通过人工标注根因后，能够有利于覆盖计费结果不一致的预设数量的根因。
在一实现中，如果M＝H，则可根据每一个簇取距离中心点最近的一个样本作为该簇的代表性样本，从而获得M个代表性样本。
在一实现中，M＞H，则在H个簇中，分别从各个簇获取一个或多个样本代表性样本，从而最终形成M个代表性样本。其中，当从某簇获取的是一个代表性样本时，该代表性样本为该在簇中距离中心点最近的样本，当从某簇获取的是多个代表性样本时，该多个代表性样本为该在簇中距离中心点最近的多个样本。
在一实现中，假如预设一个聚类数量的上限为H，M＜H，那么在对当前的N个低维话单特征数据进行聚类中，也可以以聚类数量为M进行聚合，然后分别从每个簇中获取距离中心点最近的样本，从而获得M个代表性样本。
基于第一方面，在可能的实施例中，所述对所述N个高维话单特征数据进行过滤处理，获得N个低维话单特征数据，包括：根据所述N个高维话单特征数据中的多个话单特征(Xi)，和，各个Xi对应的第二版计费系统的计费结果与第一版本计费系统的计费结果的差值y，计算各个Xi的f值(f-Measure)；Xi的f值表示当Xi和y都服从正态分布时，Xi与y之间的相关程度值；剔除每个低维话单特征数据的多个话单特征中f值小于第一预设阈值的话单特征，以获得所述N个低维话单特征数据。具体描述如下：
首先，可初始化聚类中心(或称簇中心)。根据指定的聚类数量H(即上述所指的根因种类的倍数)，初始化H个聚类中心，一般而言H远小于总样本量N，如H为10％N，M和H 相等。选择初始聚类中心的具体方法可以是完全随机或者基于某种策略的方式。
比如选择初始聚类中心可以是“选择彼此距离尽可能远的H个点”，其具体步骤包括：i. 随机选择一个点作为第一个中心点；ii.然后选择距离该点最远的那个点，作为第二个中心点；iii.再选择距离前两个点最远的点，作为第三个中心点；iv.以此类推，直至选出H个聚类(簇)的中心点。
然后，计算隶属各簇的样本(如低维话单特征数据)到聚类中心的距离。距离函数可以是欧氏距离、余弦距离等距离计算函数。此处以样本Si(i取值1到N)到聚类Cj(j取值1到H)的欧式距离计算为例，若样本Si的话单特征向量为[Si，1，Si，2，……，Si，R](其中R为用于该步骤的话单特征的数量)，聚类Cj的聚类中心的向量为[Cj，1，Cj，2，……，Cj，R]。于是距离(distance)的计算结果如下述公式所下示：
Figure BDA0002047992670000051
其中，distance(Si，Cj)表示第i个样本到第j个聚类中心的欧式距离。
得到样本Si与所有聚类中心的距离之后(如有H个距离)，可取距离最小的聚类中心，作为该样本所属的聚类，即聚类根据下述公式j的取值(即distance(Si，Cj)最小的j)确定：
Figure BDA0002047992670000052
arg minjdistance(Si，Cj)表示第i个样本到第j个聚类中心的欧式距离最小时，j的取值。
Cj表示H个聚类中第j个聚类，j为[1，H]内的整数；Si表示N个样本中第i个样本，i为[1，N]内的整数，N表示总样本量(话单比对样本的数量)。
然后，可更新各簇的聚类中心。具体的，可计算同一聚类中每个点到剩余点的总距离，选择总距离最小的点作为新的聚类中心。假设，经过上述步骤后，聚类Cj(j取值1到M)包含3个样本(S1，S2，S3)，则计算三个总距离，比如S1到剩余点的总距离为：
distance(S1，S2)+distance(S1，S3)
最后，通过迭代上述步骤直至收敛：在经过T论迭代后，算法收敛，比如可设定下述公式为优化目标，其中
Figure BDA0002047992670000053
为Si所属聚类的中心点。
Figure BDA0002047992670000054
最终目标便是使F最小，直到达到指定阈值或不再减小。
基于上述过程完成收敛后，则可确定出各个簇对应的代表性样本。
可以看到，实施本发明实施例，能够通过算法的方式自动完成对样本的聚类，并能从各个聚类中确定出用于人工标注及后续模型训练的M个代表性样本，提高了计费系统迁移测试的效率，以及提高模型预测的准确性，保证比对测试准确度。
基于第一方面，在可能的实施例中，所述多个话单特征包括：影响计费结果的单变量特征，和/或，由单变量特征组合得到的中间特征。
由于新旧计费系统的话单数据通常具有特征组合复杂的特点，对于计费结果比对不一致的话单数据，造成其不一致的根因是多种多样的，可能是单变量特征的组合造成的，更有可能是由单变量特征组合得到(或衍生)的中间特征造成的，例如复杂的特征组合中的某种差异、或者两个计费系统的配置差异等等，真正的根因并不是通过简单地计算或简单的人工分析就能够完全确定的。
而本发明实施例通过根因推理模型建立各种特征组合(如单特征集合，特征组合确定(或衍生)的中间特征)与根因之间的映射逻辑，能够自动且有效地预测各种样本的根因，提升了比对测试的根因确定效率，节省人力物力和时间成本。
基于第一方面，在可能的实施例中，所述获取所述M个代表性样本中的各个代表性样本对应的根因诊断结果之后，还包括：根据所述M个代表性样本确定一组或多组的训练集和验证集；其中，每组训练集包括K个代表性样本和所述K个代表性样本各自的根因诊断结果，每组验证集包括M-K个代表性样本和所述M-K个代表性样本各自的根因诊断结果，K为小于M且大于0.5M的整数；相应的，所述根据所述代表性样本和所述根因诊断结果进行模型训练，获得第一根因推理模型，包括：根据所述训练集进行模型训练，以及根据所述验证集进行模型评估，获得第一根因推理模型。
在可能的实施例中，所述训练集和验证集为多组，且每组的训练集都不相同，每组的验证集都不相同，可分别根据所述多组的训练集进行模型训练，获得多个第二根因推理模型；分别通过各个第二根因推理模型，获得各组训练集对应的各组验证集中的M-K个代表性样本各自的根因推理结果；比较所述M-K个代表性样本各自的根因推理结果和所述M-K个代表性样本各自的根因诊断结果，利用预设评估指标从所述多个第二根因推理模型中选出所述第一根因推理模型。
也即是说，可对M个具有根因诊断结果的代表性样本进行分组，形成多组的“训练集+ 验证集”。可根据代表性样本获得P组“训练集+验证集”，每组的样本总数都是M，每组中，训练集包括多个样本，验证集包括多个样本，而且，不同组的训练集不同，不同组的验证集也不同。具体的，还可以进一步设定每组中的训练集与验证集之间的样本比例。例如，每个分组中训练集与验证集的样本比例可以是90％:10％，80％:20％，75％:25％，60％:40％等其它任意比例，一般来说，设置训练集的样本数量多于验证集的样本数量为宜。针对P组中的每一组，可利用训练集初步训练根因推理模型，获得P个根因推理模型，分别利用各自的验证集初步验证各个根因推理模型(这里的根因推理模型可称为第二根因推理模型)，然后从从P 个根因推理模型中确定出最优的根因推理模型作为本发明实施例应用于根因推理的模型(即第一根因推理模型)。通过上述方式有利于进一步提高模型的预测准确性和性能可靠性。
基于第一方面，在可能的实施例中，所述根据所述训练集进行模型训练，以及根据所述验证集进行模型评估，获得第一根因推理模型之后，还包括：根据训练出所述第一根因推理模型的训练集对应的验证集中，M-K个代表性样本各自的根因诊断结果和通过所述第一根因推理模型获得的该M-K个代表性样本各自的根因推理结果，确定免检阈值；所述免检阈值表示使根因推理结果具有高置信度的临界值；相应的，所述获得多个话单比对样本各自的根因推理结果之后，还包括：将所述多个话单比对样本中预测概率值大于等于所述免检阈值的话单比对样本确定为免检样本；将所述多个话单比对样本中预测概率值小于所述免检阈值的话单比对样本确定为待检样本。
在可能的实施例中，所述将所述多个话单比对样本中预测概率值小于所述免检阈值的话单比对样本确定为待检样本之后，所述方法还包括：将所述待检样本发送至客户端进行核检。通过模型预测与测试业务人员诊断/核检相结合的方式，有助于确保根因分析的准确率。
具体的，利用根因推理模型对应的验证集中的每个样本进行根因推理时，能获得分属于各个预设根因种类的概率值，将这些预设根因种类的概率值中TOP1的概率值(即最大的概率值)对应的根因设置为模型最终确定的根因推理结果。各个样本的诊断根因结果中，可能存在部分代表性样本的根因推理结果和人工标注的诊断根因结果不一致。所以为了确保后续模型对其他样本数据的预测中的准确性，可进一步计算针对模型输出结果的免检阈值。免检阈值用来实现对于模型的预测结果(一般表示为预测概率值)进行筛选，并将高于此免检阈值的预测概率值对应的样本识别为免于人工核检的样本(简称免检样本)，其取值原则是使识别出的免检样本的准确度，符合目标业务期望达到的容错率(比如99％以上)。
可以看到，实施本发明实施例，有利于在不影响比对测试准确度的前提下，通过免检阈值将剩余样本分为可免检样本以及待检样本，人工只需要对待检样本进行闭环前的最后审核，找出导致差异的原因并修复减少需要人工审核的样本量，这样，显著减少比对测试后期的审核工时和工作量。
基于第一方面，在可能的实施例中，确定免检阈值的过程，包括：将所述验证集中的 M-K个代表性样本，按照所述M-K个代表性样本各自的根因诊断结果中的根因类型进行分类，确定归属各类的代表性样本；按照所述各类的代表性样本各自的根因推理结果的预测概率值的大小，对所述各类的代表性样本进行降序排列；根据所述降序排列的代表性样本确定目标代表性样本；所述目标代表性样本和所述目标代表性样本的所有前置样本的根因推理结果的统计准确率达到第二预设阈值，所述所有前置样本表示所有排序在所述目标代表性样本之前的代表性样本；将所述目标代表性样本的根因推理结果的预测概率值作为所述免检阈值。
也就是说，本发明实施例中，可基于不同类型的根因诊断结果对验证集的样本进行分类，统计各个类别下，降序排列的样本的统计准确率是否符合特定置信度(即第二预设阈值)，当该累积准确度达到预置的准确率阈值(比如以99％作为准确率阈值)，即验证集的某样本的累积准确度不小于累积准确度且该累积准确度数值上最接近准确率阈值，则选取该样本的推理根因TOP1对应的预测概率值作为免检阈值。上述方式所确定的免检阈值有利于实现对后续模型预测的指导，即确定出后续预测过程中是否有待检样本。
基于第一方面，在可能的实施例中，所述获取N个话单比对样本的方式，包括：获取所述第一版计费系统的N个话单和对应的N个计费结果；每个话单包括所述第一版计费系统的话单字段集合；根据所述第一版计费系统的话单字段集合和所述第二版计费系统的话单字段集合之间的映射关系，利用所述第一版计费系统的N个话单中的话单字段集合生成所述第二版计费系统的N个话单的话单字段集合；将所述第二版计费系统的N个话单的话单字段集合输入到所述第二版计费系统，获所述第二版计费系统的N个话单对应的N个计费结果；其中，所述第一版计费系统的计费结果和对应在所述第二版计费系统的计费结果不一致；根据所述第一版计费系统的N个话单和计费结果，和，所述第二版计费系统的N个话单和计费结果，生成所述N个话单比对样本。
基于第一方面，在可能的实施例中，所述方法应用于本发明实施例所提供的系统架构中的第一服务器，第一服务器又可称为根因分析服务器；该系统架构还包括第二服务器，第二服务器又可称为迁移测试服务器(MT服务器)，根因分析服务器获取N个话单比对样本的方式，包括：接收第二服务器发送的所述N个话单比对样本。
第二方面，本发明实施例提供了一种用于计费系统迁移测试中确定数据异常的根因的设备，该设备包括：存储单元(存储器)、通信接口及与所述存储单元和通信接口耦合的处理器；所述存储单元用于存储指令，所述处理器用于执行所述指令，所述通信接口用于在所述处理器的控制下与其他设备进行通信；所述存储单元还用于存储N个话单比对样本；其中各个话单比对样本包括第一版计费系统的话单字段集合与计费结果，以及，第二版计费系统的话单字段集合与计费结果；所述第一版计费系统的计费结果和所述第二版计费系统的计费结果不一致；所述处理器执行所述指令时执行如第一方面的任一实施例中所描述的方法。
第三方面，本发明实施例提供了一种用于计费系统迁移测试中确定数据异常的根因的系统，该系统包括：第一服务器和第二服务器；其中，所述第一服务器用于，从所述第二服务器获取N个话单比对样本；其中各个话单比对样本包括第一版计费系统的话单字段集合与计费结果，以及，第二版计费系统的话单字段集合与计费结果；所述第一版计费系统的计费结果和所述第二版计费系统的计费结果不一致；从所述N个话单比对样本中确定出M个代表性样本；M为大于等于2且小于等于0.5N的整数；所述M个代表性样本表示覆盖多个预设根因的M个样本，所述预设根因是针对计费结果不一致而预设的根因；获取所述M个代表性样本各自的根因诊断结果；所述根因诊断结果分别表示所述M个代表性样本中各自的计费结果不一致的根因的标注结果；根据所述代表性样本和所述根因诊断结果进行模型训练，获得第一根因推理模型；通过所述第一根因推理模型，获得多个话单比对样本各自的根因推理结果；所述根因推理结果分别表示所述多个话单比对样本中各自的计费结果不一致的根因。
在可能的实施例中，所述第二服务器具体用于：获取所述第一版计费系统的N个话单和对应的N个计费结果；每个话单包括所述第一版计费系统的话单字段集合；根据所述第一版计费系统的话单字段集合和所述第二版本计费系统的话单字段集合之间的映射关系，利用所述第一版计费系统的N个话单中的话单字段集合生成所述第二版计费系统的N个话单的话单字段集合；将第二版本计费系统的N个话单的话单字段集合输入到所述第二版计费系统，获所述第二版计费系统的N个话单对应的N个计费结果；其中，所述第一版计费系统的计费结果和对应在所述第二版计费系统的计费结果不一致；根据所述第一版计费系统的N个话单和计费结果，和，所述第二版计费系统的N个话单和计费结果，生成所述N个话单比对样本；将所述N个话单比对样本发送给所述第一服务器。
具体的，该系统可用于实现第一方面任一实施例所描述的方法。
第四方面，本发明实施例提供了一种用于计费系统迁移测试中确定数据异常的根因的系统，该系统包括：第一服务器和第二服务器；其中，第二服务器包括获取模块、批价模块、数据关联模块、比对模块和通信模块；第一服务器包括通信模块、代表性样本确定模块、模型训练模块、免检阈值计算模块和根因推理模块。
具体的，该系统可用于实现第一方面任一实施例所描述的方法。
第五方面，本发明实施例提供了一种计算节点(计算装置)，该计算节点(计算装置) 包括：存储单元(存储器)、及与所述存储单元耦合的处理器；所述存储单元用于存储指令，所述处理器用于执行所述指令；所述存储单元还用于存储N个话单比对样本；其中各个话单比对样本包括第一版计费系统的话单字段集合与计费结果，以及，第二版计费系统的话单字段集合与计费结果；所述第一版计费系统的计费结果和所述第二版计费系统的计费结果不一致；所述处理器执行所述指令时执行如第一方面的任一实施例中所描述的方法。
第六方面，本申请实施例提供了一种计算节点集群，包括：至少一个计算节点，每个计算节点包括处理器和存储器，所述处理器执行所述存储器中的代码执行如第一方面任一实施例所述的方法。
第七方面，本发明实施例提供了一种非易失性计算机可读存储介质；所述计算机可读存储介质用于存储第一方面所述方法的实现代码。所述程序代码被计算机执行时，所述计算机用于实现第一方面任一实施例所描述的方法。
第八方面，本发明实施例提供了一种计算机程序产品；该计算机程序产品包括程序指令，当该计算机程序产品被计算机执行时，该计算机执行前述第一方面任一实施例所描述的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第一方面的任一种可能的设计提供的方法的情况下，可以下载该计算机程序产品并在计算机上执行该计算机程序产品，以实现第一方面任一实施例所描述的方法。
可以看到，实施本发明实施例所描述的根因确定方法，一方面，在保证比对测试准确度的前提下，通过降维处理降低样本数据的体量，节省模型训练时间，提升预测效率。通过聚类算法选择小量的代表性样本，代表性样本能够覆盖各种特征组合场景和覆盖各种的异常根因，人工只需要对小量的代表性样本进行诊断分析，减少了人工诊断的样本量，显著减少比对测试前期的诊断工时。另一方面，通过根因推理模型，能够自动预测大部分样本(例如， 90％以上的样本)的根因，以便于后续提高新计费系统的计费准确性，提升了比对测试的根因确定效率，节省了人力物力和时间成本。再一方面，在不影响比对测试准确度的前提下，通过免检阈值将剩余样本分为可免检样本以及待检样本，人工只需要对待检样本进行闭环前的最后审核，找出导致差异的原因并修复减少需要人工审核的样本量，这样，显著减少比对测试后期的审核工时和工作量。综上所述，实施本发明实施例能够实现在计费系统迁移测试中快速准确有效地确定根因，节省人力物力和时间，提高测试效率。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1是本发明实施例提供的一种系统架构的示意图；
图2是本发明实施例提供的又一种系统架构的示意图；
图3是本发明实施例提供的一种端云系统架构的示意图；
图4是本发明实施例提供的迁移测试服务器、根因分析服务器、客户端的结构示意图以及包括上述三者的系统的示意图；
图5是本发明实施例提供的一种模型训练过程的场景示例图；
图6是本发明实施例提供的一种模型验证过程的场景示例图；
图7是本发明实施例提供的一种模型预测过程的场景示例图；
图8是本发明实施例提供的一种计费系统迁移测试中数据异常的根因确定方法；
图9是本发明实施例提供的又一种计费系统迁移测试中数据异常的根因确定方法；
图10是本发明实施例提供的一种对话单特征进行降序排列的场景示例图；
图11是本发明实施例提供的一种对样本进行降维处理的场景示例图；
图12是本发明实施例提供的多维坐标系映射到二维坐标系后的多个簇的场景示例图；
图13是本发明实施例提供的一种对样本进行聚类处理的场景示例图；
图14是本发明实施例提供的多组训练集和验证集的组合的场景示例图；
图15是本发明实施例提供的一计算节点(设备)的结构示意图；
图16为本发明实施例提供发一种计算节点与客户端及测试业务人员交互的示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
首先说明本发明实施例涉及的相关概念。
本发明实施例中的计费系统可以是任意的能够产生原始话单且能根据话单计算该话单在相应计费产品下产生的费用(即计费结果)的网元。具体应用中，计费系统例如可以是数字电信业务中的融合计费系统(Convergent Billing System，CBS)，还可以是具有套餐付费业务的互联网产品的计费系统，在线计费系统(Online Charge System，OCS)，业务控制点(Service Control Point，SCP)，智能网(intelligent network，IN)，等等。
其中，CBS是为预付费和/或后付费用户提供计费功能的业务实体。OCS是为预付费用户提供计费功能的业务实体。智能网是一种非被动网，智能网可具有嵌入式的分析、管理、容错和其它能保证网络流畅运行的功能，智能网例如可能是带有智能的电话网或综合业务数字网。当然，可以产生原始话单和计费结果的计费系统并不限于上述举例。
计费产品通常包括计费特征和计费规则，计费特征和计费规则互相依赖。其中在CBS业务中，计费特征(Charging Feature)例如包括：主叫归属地、主叫拜访地、漫游、主叫所属运营商、被叫归属地、被叫所属运营商、与其他计费产品相比的优先级、有效期限等等，这些共同构成了计费产品可以被使用的前提条件。计费规则表示多种计费特征组合而成的计费规则，比如计费单价、计费跳次(按分钟或者秒计算费用)、计费单位(按时长或者流量计算费用)，等等。
通过用户对计费产品的使用，计费系统可相应产生话单，一个话单通常可能包括成百上千个话单字段(CDR Field)，话单字段表示计费系统对于每条话单所记录的数据字段。话单字段包括计费特征的字段和其他字段。也就是说，计费特征是话单字段的子集，计费特征体现在话单中是对于一条话单的计费结果有影响的话单字段，不同的计费特征在通过不同的话单字段体现。话单字段中有一些对计费结果没有直接影响，但是基于其他要求，也需要被记录，例如系统版本号。
计费系统通过处理话单获得该话单对应的计费结果(Charging Amount)。具体的，计费结果是计费系统根据每条话单字段，利用相关的计费规则(Charging Rule)计算所得的该话单需要支付的费用。其中计费规则是计费系统中配置的用于计算一条话单的费用的规则。
例如，一个用户打了几分钟电话，或者上了若干流量的GPRS服务，或者发了若干短信，计费系统计算用户需要支付多少费用。比如某计费产品用于通话的计费规则是每分钟通话0.2 元，该用户打了5分钟电话，那么计费系统计算出这通电话(话单)的计费结果是1元。
又举例来说，如果用户订阅了某个包含每月100分钟免费通话的套餐，并且在该条话单发生时，该用户在该计费月份累积通话时长小于100分钟，则该条话单的计费结果可能是0 元。
本发明实施例中的网络架构主要涉及到产生用于话单的网元和迁移比对测试系统。在计费系统的升级或者更换过程中，迁移比对测试系统用于测试业务能否准确无误的从第一版计费系统迁移至第二版计费系统，验证相同的计费动作分别在这两个版本的计费系统的计费结果是否一致，找出导致这两个版本的计费系统出现结果差异的根本原因(简称根因)，以便于后续修复和提高新版计费系统准确性和兼容性。本文中，第一版计费系统可以是旧版计费系统，第二版计费系统可以是新版计费系统，后文将以此为例进行方案的相关描述。
参见图1，图1是本发明实施例提供的一种计费系统的迁移比对测试系统相关的网络架构示意图。图1所示的迁移比对测试系统可包括：第一服务器、第二服务器和客户端，第一服务器、第二服务器例如可以是应用服务器，第一服务器、第二服务器还可以是服务器集群中的服务器。客户端可以包括但不限于台式机、笔记本、膝上型电脑、显示屏、智能手机、平板电脑等终端。
本文中，可将第一服务器称为根因分析服务器，将第二服务器称为迁移测试服务器(简称MT服务器)。根因分析服务器可与MT服务器通信，根因分析服务器还可与客户端进行通信。其中：
MT服务器用于获取旧版计费系统的大量话单数据(例如，通话、上网、短信等计费产品的话单)和各话单对应的计费结果，还用于获取这些话单数据对应在新版计费系统的计费结果。如果发现异常(即相同话单在新旧系统中的计费结果不一致)，则将不一致的话单整合为话单比对样本，发送给根因分析服务器，请求根因分析服务器分析造成差异的根因。
在一些可能实施例中，承载旧版计费系统的数据库和新版计费系统的数据库可以部署在其他设备中，也可能同时部署在该MT服务器中。MT服务器可从承载旧版计费系统的数据库获取旧版计费系统输出的大量话单数据和各话单对应的计费结果，从承载新版计费系统的数据库获取这些话单数据在新版计费系统在新版计费系统的计费结果。
在又一些可能实施例中，承载旧版计费系统的数据库可以部署在其他设备中，承载新版计费系统的数据库部署在该MT服务器中。MT服务器可从承载旧版计费系统的数据库获取旧版计费系统输出的大量话单数据和各话单对应的计费结果。进而，将这些话单数据输入新版计费系统，获得这些话单数据在新版计费系统的计费结果。
根因分析服务器获得MT服务器提供的大量话单比对样本后，用于根据话单的特征进行一次代表性样本的筛选，发送代表性样本客户端，请求测试业务人员进行人工的辅助分析。基于人工标注的根因，根因分析服务器训练根因推理模型，根因推理模型用于推理大量剩余样本(即未被标注样本)的异常根因，以帮助测试业务人员高效完成根因分析的过程，大量减少测试业务人员的工作量。
客户端用于为测试业务人员呈现代表性样本，并提供操作界面和输入装置，以实现与测试业务人员的交互，获得代表性样本对应的经人工标注的根因。
本文后续实施例中将主要以图1所示网络结构为例进行技术方案的详细描述。
参见图2，图2是本发明实施例提供的又一种计费系统的迁移比对测试系统相关的网络架构示意图。图2所示的迁移比对测试系统可包括：服务器和客户端。该服务器例如可以是应用服务器，还可以是服务器集群中的服务器。客户端可以包括但不限于台式机、笔记本、膝上型电脑、显示屏、智能手机、平板电脑等终端。
图2所示的迁移比对测试系统和图1的主要区别在于，迁移比对测试系统的不同功能组件可整合部署于同一个服务器之中。也就是说，可将根因分析服务器的相关功能和MT服务器的相关功能同时整合到该服务器中。相应的，在一些可能实施例中，承载旧版计费系统的数据库和新版计费系统的数据库可以部署在其他设备中，也可能同时部署在该服务器中。在又一些可能实施例中，承载旧版计费系统的数据库可以部署在其他设备中，承载新版计费系统的数据库部署在该服务器中。有关该服务器的相关功能实现可类似参考图1实施例的相关描述，本文不再展开详述。
参见图3，图3是本发明实施例提供的一种端云系统架构300的示意图。端云系统架构 300可包括一个或多个云端服务器210，数据存储系统250，以及本地设备(如图示中的本地设备301和本地设备302)，该一个或多个云端服务器210可用于实现图1实施例所描述的根因分析服务器的相关功能和MT服务器的相关功能。本地设备可用于实现图1实施例所描述的客户端的相关功能。其中：
云端服务器210由一个或多个服务器实现，可选的，与其它计算设备配合，例如：数据存储、路由器、负载均衡器等设备；云端服务器210可以布置在一个物理站点上，或者分布在多个物理站点上。云端服务器210可以使用数据存储系统250中的数据(例如包括旧版计费系统输出的大量话单数据和各话单对应的计费结果，或者，同时包括旧版计费系统的大量话单数据和各话单对应的计费结果以及这些话单数据对应在新版计费系统的计费结果)，或者调用数据存储系统250中的程序代码实现本发明实施例所描述的计费系统迁移测试中数据异常的根因确定方法。
用户可以操作各自的用户设备(例如本地设备301和本地设备302)与云端服务器210 进行交互。每个本地设备可以表示任何计算设备，例如台式机、笔记本、膝上型电脑、显示屏、智能手机、平板电脑、个人计算机、计算机工作站、媒体消费设备、可穿戴设备等。具体的，测试业务人员可通过用户设备分析和输入代表性样本的根因，并反馈到云端服务器210。
每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与云端服务器210进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。
在一种可能实现中，云端服务器210的一个方面或多个方面也可以由每个本地设备实现，例如，本地设备301可以为云端服务器210提供话单数据。
下面基于图1所示的网络架构，进一步描述根因分析服务器、MT服务器和客户端的相关功能实现。参见图4，图4示出了根因分析服务器的模块框图，MT服务器的模块框图和客户端的模块框图，以及由上述三者构成的迁移比对测试系统的网络架构。
MT服务器(可称为第二服务器)可包含如下功能模块：
获取模块201：用于获取旧版计费系统的大量话单数据和各话单对应的计费结果。例如在一些具体实现中，在环境升级准备ok后，正式批跑前，将旧版计费系统的大量话单数据通过筛选以及预处理后，使用工具转换为新版计费系统相应的离线话单格式。如果话单数据量在百万级以上，则可以将话单数据分割为若干个小的话单文件。
批价模块202：用于获取旧版计费系统的大量话单数据对应在新版计费系统的计费结果。例如在一些具体实现中，将分割好的离线话单文件放到新版计费系统的业务对应的离线计费重批输入目录下，新版计费系统会自动扫描该目录进行离线计费，并在相应目录生成批价后的话单。
数据关联模块203：用于实现旧版计费系统的话单数据和新版计费系统的话单数据的匹配。例如在一些具体实现中，可旧版计费系统话单中挑选一个字段作为唯一序列号A(或是手动输入)，转换离线话单时传入该序列号A作为关联字段，即新版计费系统批价后话单中含有该唯一序列号。这样。旧版计费系统中的话单数据、离线话单数据、旧新版计费系统中的话单数据中都含有该唯一序列号A，可以辅助新旧系统的话单数据正确匹配，为话单比对分析提供方便，提高比对速度。
比对模块204：用于生成多个话单比对样本。例如在一些具体实现中，比对工具可以通过设定比对因子，指定比对因子在新旧系统话单中的字段位置，自动抽取话单中对应值，来比较判断两边是否一致；比如可重点关注扣费(计费结果)、批价offer、账本类型等。最后依据比对结果，生成比对结果不一致的多个话单比对样本(例如，统称为话单比对数据表)。
通信模块205，用于与根因分析服务器进行通信交互。具体的，可用于生成的多个话单比对样本发送给根因分析服务器。
根因分析服务器(可称为第一服务器)可包含如下功能模块：
通信模块211，用于与MT服务器进行通信交互，还用于与客户端进行通信交互。例如，可用于接收MT服务器发送的多个话单比对样本；还可用于将代表性样本发送客户端以及接收用户端返回的数据；还可用于将待检样本发给用户端，等等。
代表性样本确定模块212：用于根据多个话单比对样本确定代表性样本。本发明实施例中的代表性样本可以是总样本中最能覆盖不同可能的目标结果(比如费用差异幅度)的根因的样本。具体的，代表性样本的数量是M，M可以是根因数量的某个倍数(倍数可以是整数，可以是非整数)，从而使M个代表性样本能够覆盖计费结果不一致的预设数量的根因。在一些具体实现中，代表性样本确定模块212可对话单字段(如计费特征)进行过滤处理，例如通过优先级排序，选择优先级高的计费特征，从而降低特征维度；还可用于对话单比对数据表中的所有样本进行聚类，从各聚类中抽取代表性样本，这样，既极大减少了需要人工标注的样本的数量，节省人力物力和时间，同时又能确保后续模型训练模块213训练模型的准确性和可靠性。
模型训练模块213：用于根据人工标注根因的代表性样本进行模型训练和模型验证，获得根因推理模型。具体的，可将人工标注根因的代表性样本分为训练集和验证集，训练集用于训练根因推理模型，验证集用于评估该根因推理模型。
免检阈值计算模块214：用于依据推理结果的置信度(即模型的预测概率)降序排列样本，依次计算每个样本及所有前置样本(排序在此样本之前的所有样本)的推理结果符合真实结果的样本比例(统计准确率)，直至该比例达到根因推理的准确率阈值，选择该样本的推理结果的预测概率值作为免检阈值。免检阈值可用于对模型的根因推理的预测概率值进行筛选，并将高于此免检阈值的部分识别样本的可信根因(即不用人工核检)。
根因推理模块215：还用于根据根因推理模型推理剩余的话单比对样本的异常根因。具体的，可依据根因推理结果的预测概率值和上述计算所得免检阈值，把剩余的话单比对样本分为免检样本和待检样本。对于免检样本，不需人工核检；对于待检样本，后续将提供给客户端以进一步进行人工核检以确保根因准确性。
客户端可包含如下功能模块：
通信模块221，用于与根因分析服务器进行通信交互，具体的，可用于接收根因分析服务器发送的代表性样本和待检样本，还用于向根因分析服务器返回代表性样本的人工标注根因。
根因诊断模块223：主要用于为测试业务人员呈现代表性样本，请求人工分析诊断与标注根因。通过测试业务人员的及时反馈，辅助根因分析服务器更准确的完成根因分析任务。
根因核检模块222：主要用于为测试业务人员呈现模型推理后得到的待检样本和建议的备选根因，请求人工再次审核，以确保待检样本的根因准确性。
本发明实施例中，根因分析服务器所训练出的模型例如可以是深度神经网络(Deep Neural Network，DNN)模型、卷积神经网络(Convolutional Neural Networks,CNN)模型、神经分解机(Neural Factorization Machines，NFM)模型、线性回归(LinearRegression，LR)模型、决策树(Decision Tree，DT)模型、因式分解机(factorizationmachine，FM)模型，等等。具体的，可以是单个模型，也可以是多个独立模型的集合，还可以是将多种模型进行融合后得到的融合模型。
本发明实施例中，可将大量样本(话单比对样本)分为训练集、验证集和预测集。其中：
训练集为少量(例如，样本总量的9％)的人工标注根因(根因诊断结果)的样本数据的集合，即每个样本数据包括一个代表性样本和对应的根因诊断结果。训练集可用于训练根因推理模型。
验证集为更少量(例如，样本总量的1％)的人工标注根因(根因诊断结果)的样本数据的集合，每个样本数据包括一个代表性样本和对应的根因诊断结果。验证集可用于根据评估指标对训练出的根因推理模型进行评估。
预测集为大量(例如，样本总量的90％)的未经人工标注根因的样本数据的集合，预测集用于通过根因推理模型获得预测集中的各个样本数据对应的根因推理结果。
下面进一步描述本发明实施例所涉及的模型训练过程。参见图5，图5为本发明实施例提供的一种模型训练场景示意图。如图5所示，根因推理模型输入的是训练集的K个样本数据：{Y，X}，即K个代表性样本和这些代表性样本分别对应的根因诊断结果。其中，X表示任一样本数据中的多个特征向量(话单特征)，举例来说，X可包括300个话单特征{X1， X2，X3…X300}；Y表示任一样本数据对应的根因诊断结果。
具体的，根因分析服务器的模型训练模块可预先构建一个根因推理模型的基本模型(存在未知的模型参数W)，根因推理模型可用Y＝Model(X,W)表征，其中Model表示模型函数， W表示模型参数。然后，模型训练模块可利用训练集对该根因推理模型进行模型训练，计算出模型参数W，从而获得训练后的根因推理模型。
下面进一步描述本发明实施例所涉及的模型验证(评估)过程。参见图6，图6为本发明实施例提供的一种模型验证(评估)场景示意图。如图6所示，验证集包括M-K个代表性样本和这些代表性样本分别对应的根因诊断结果，其中M＞K。根因分析服务器的模型训练模块可提取验证集中的M-K个代表性样本，输入至训练好的根因推理模型，从而输出M-K 个代表性样本各自对应的根因推理结果。然后，通过比对各个代表性样本的根因诊断结果和根因推理结果，利用预设的模型评估指标来评估模型效果，模型评估指标例如可包括但不限于根因推理准确度、查全率、查准率等指标。
下面进一步描述本发明实施例所涉及的根因推理(预测)过程。参见图7，图7为本发明实施例提供的一种根因推理(预测)场景示意图。如图7所示，预测集包括N-M个话单比对样本(具体的，可以是N-M个经过特征抽取和特征过滤之后的话单比对样本)，其中N＞ M。根因分析服务器的根因推理模块可提取预测集中的N-M个话单比对样本，输入至通过上述评估的根因推理模型，从而输出N-M个话单比对样本各自对应的根因推理结果。
基于上文的描述，下面描述本发明实施例提供的计费系统迁移测试中数据异常的根因确定方法，请参见图8，图8是本发明实施例提供的一种根因确定方法的流程示意图，该方法例如可应用于本发明实施例所描述的根因分析服务器，该方法包括但不限于如下步骤：
S101：获取N个话单比对样本。
其中各个话单比对样本包括旧版计费系统(第一版计费系统)的话单字段集合与计费结果，以及，新版计费系统(第二版计费系统)的话单字段集合与计费结果；其中，旧版计费系统的计费结果可以是旧版计费系统根据旧版计费系统的话单字段集合的相关值，利用旧版计费系统的计费规则而得到的，新版计费系统的计费结果可以是新版计费系统根据新版计费系统的话单字段集合的相关值，利用新版计费系统的计费规则而得到的。其中，旧版计费系统的计费结果和所述新版计费系统的计费结果可以是不一致的，即相同的话单在这两个计费系统中所输出的费用不一致。
需要理解的是，N可以是一个数值很大的量，例如，N可以是数十万级别或数百万级别的数量。
S102：从所述N个话单比对样本中确定出M个代表性样本。
其中，所述M个代表性样本表示覆盖多个预设根因的M个样本，所述预设根因是针对计费结果不一致而预设的根因；M可以是大于等于2且小于等于0.5N的整数。也就是说，可以设计M个代表性样本为N个话单比对样本中的少量样本。具体实现中，可以通过对样本中特征的降维处理(过滤处理)和对样本数量的聚类处理，获得所述M个代表性样本。为了便于覆盖不同的根因情况，还可以进一步设计M为预设根因数量的倍数(倍数可以是整数也可以是非整数)。根因可表示新旧计费系统的计费结果不一致的具体原因，根因可以用以指导新旧计费系统的差异修复。
S103：获取所述M个代表性样本各自的根因诊断结果。
其中，所述根因诊断结果分别表示所述M个代表性样本中各自的计费结果不一致的根因的标注结果；所述所述根因诊断结果可以是通过业务测试人员的人工标注而得到的。当本发明实施例所描述方法例如应用于根因分析服务器时，所述M个代表性样本各自的根因诊断结果可以是由客户端取得并发送给所述根因分析服务器的。
S104：根据所述代表性样本和所述根因诊断结果进行模型训练，获得第一根因推理模型；
S105：通过所述第一根因推理模型，获得多个话单比对样本中各自的根因推理结果。
其中，所述根因推理结果分别表示所述多个话单比对样本中各自的计费结果不一致的根因。
在一些可能的实施例中，所述多个话单比对样本例如可以是所述N个话单比对样本中除所述M个代表性样本外的N-M个话单比对样本，相应的，所述根因推理结果分别表示所述 N-M个话单比对样本各自的计费结果不一致的根因。
在又一些可能的实施例中，所述多个话单比对样本例如也可以是所述N个话单比对样本中，比所述N-M个话单比对样本更多的样本。
在又一些可能的实施例中，所述多个话单比对样本例如也可以是除所述N个话单比对样本外的其他话单比对样本。也即是说，这种情况下，本发明实施例中所训练出的根因推理模型还可以继续应用于对其他的样本进行预测。
举例来说，所述其他话单比对样本可以是，基于所述旧版计费系统和所述新版计费系统而得到的其他话单和计费结果而形成的话单比对样本。
又举例来说，所述其他话单比对样本可以是，由其他新旧系统产生的话单及相应的计费结果而形成的话单比对样本。比如，其他新旧系统产生的话单的结构类型(例如话单字段的数量、话单设计逻辑、话单内容等等)与本发明实施例所描述的新/旧版计费系统的结构类型可以是相类似的。或者，由其他新旧系统所形成的话单比对样本在话单特征空间中的分布与本发明实施例所描述的新/旧版计费系统的话单比对样本的在话单特征空间中的分布距离小于等于预设的阈值。或者，所述其他新旧系统的设计逻辑(或功能特点)与本发明实施例所描述的新/旧版计费系统的设计逻辑本发明实施例所描述的新/旧版计费系统相类似，等等。
由于新旧计费系统的话单数据通常具有高维度、样本量大、特征组合复杂等特点，对于计费结果比对不一致的话单数据，造成其不一致的根因是多种多样的，可能是单变量特征的组合造成的，更有可能是由单变量特征组合得到(或衍生)的中间特征造成的，例如复杂的特征组合中的某种差异、或者两个计费系统的配置差异等等，一方面可能真正的根因并不是通过简单的人工分析就能够完全确定的。另一方面由于样本量巨大，通过人工分析各种根因也会消耗大量的人力物力和时间资源。
而实施本发明实施例所描述的根因确定方法，一方面，在保证比对测试准确度的前提下，通过获取小量的代表性样本就可应用到根因推理模型的训练，代表性样本能够覆盖各种特征组合场景和覆盖各种的异常根因，人工只需要对小量的代表性样本进行诊断分析，减少了人工诊断的样本量，显著减少比对测试前期的诊断工时。另一方面，通过根因推理模型建立各种特征组合(如单特征集合，特征组合衍生的中间特征，等等)与根因之间的映射逻辑，从而自动且有效地预测各种样本的根因，提升了比对测试的根因确定效率，节省人力物力和时间成本，这些根因可以用于指导迁移测试人员修复新旧计费系统或其他计费系统的数据差异，以保证计费系统的顺利升级、更换。
请参见图9，图9是本发明实施例提供的又一种根因确定方法的流程示意图，该方法包括但不限于如下步骤：
S301：MT服务器获取旧版计费系统(可简称为旧计费系统，或旧系统)的N个话单和计费结果。
具体的，在计费系统迁移测试阶段比对测试执行开始时，当需要测试旧计费系统的数据迁移至新计费系统后是否可以保证计费结果一致时，MT服务器从旧计费系统中导出N个话单和各个话单相应的计费结果。
举例来说，在一具体应用场景中，N个话单和各个话单相应的计费结果如表1所示：
表1
L_PRODUCTID L_LEGACY_VERSION L_CALLTYPE … L_TOTAL_AMT
3000003 3.3_e 3 … 36.7
3521250 3.3_e 5 … 42.5
… … … … …
其中，L_PRODUCTID、L_LEGACY_VERSION、L_CALLTYPE等表示话单中的多个话单字段，L_TOTAL_AMT表示话单对应的计费结果。表1中的每一具体取值的行均表示一个话单，例如第一个话单中的相关内容取值分别为“3000003，3.3_e，3…36.7”，第二个话单中的相关内容取值为“3521250，3.3_e，5…42.5”，等等。可以理解的，为了准确全面地进行迁移测试，表1中可以包括大量的话单。
需要说明的是，上述表1仅用于解释本发明的方案而非限定。
S302：MT服务器对旧计费系统的N个话单进行格式转换。
根据前期调研结果，可预先在MT服务器配置旧计费系统和新计费系统的话单字段映射规则，并将导出的N个话单转化为新计费系统的兼容格式，以便于将数据导入新计费系统中。
举例来说，一种经映射规则转化后的N个话单如表2所示。
表2
R_OFFER_ID - R_CALL_TYPE … R_TOTAL_AMT
3000003 空 3 … -
3521250 空 5 … -
… … … … …
相应的，“R_OFFER_ID、R_CALL_TYPE…R_TOTAL_AMT”等表示新计费系统的兼容格式中的话单字段。可以看到，旧计费系统的话单转化为新计费系统的，除了话单字段的名称可能发生变化外，还可能删减或新增话单字段。例如表1中的L_LEGACY_VERSION 字段在表2中被删减了。
需要说明的是，上述表2仅用于解释本发明的方案而非限定。
S303：MT服务器将格式转换后的话单输入至新版计费系统(可简称为新计费系统，或新系统)，获得新计费系统的N个话单和计费结果。
具体的，MT服务器将格式转换后的N个话单传入新系统，在新计费系统中执行话单批价，得出每个话单在新计费系统中的计费结果。
举例来说，在一具体应用场景中，新计费系统的N个话单和各个话单相应的计费结果如表3所示：
表3
R_OFFER_ID - R_CALL_TYPE … R_TOTAL_AMT
3000003 空 3 … 81
3521250 空 5 … 94
… … … … …
其中，R_OFFER_ID、R_CALL_TYPE等表示话单中的多个话单字段，R_TOTAL_AMT 表示话单对应的计费结果。同理，表3中的每一具体取值的行均表示一个话单，例如第一个话单中的相关内容取值分别为“3000003，3.3，3…81”，第二个话单中的相关内容取值为“3521250，3.3_e，5…94”，等等。可以理解的，新计费系统中的话单数量与旧计费系统中的话单数量一致。还可以看到，相比旧计费系统，新计费系统的话单中的部分话单字段的取值以及计费结果可能发生改变。
需要说明的是，上述表3仅用于解释本发明的方案而非限定。
S304：MT服务器根据旧计费系统的话单和计费结果，以及，新计费系统的话单和计费结果，生成N个话单比对样本。
该步骤的主要目的是选出计费结果不一致的话单，进而生成包含新旧计费系统的话单比对表格。
具体实现中，MT服务器可比较同一话单在两个计费系统中的计费结果(即旧系统计费结果是否等于新系统计费结果)。比如这里的旧计费系统的计费结果对应字段L_TOTAL_AMT 的值为36.7，新计费系统的计费结果对应字段是R_TOTAL_AMT的值为81，两个计费结果不一致。
将计费结果不一致的话单生成包含新旧计费系统的话单字段和计费结果的多个话单比对样本(如话单比对表格)，话单比对表格示例性地如表4所示：
表4
Figure BDA0002047992670000181
其中，L_PRODUCTID、L_LEGACY_VERSION、L_CALLTYPE、L_TOTAL_AMT、 R_OFFER_ID、R_CALL_TYPE、R_TOTAL_AMT等表示话单比对样本中的多个字段。同理，表4中的每一具体取值的行均表示一个话单比对样本，例如第一个话单比对样本中的相关内容取值分别为“3000003，3.3_e，3，36.7，3000003，3…”，第二个话单比对样本中的相关内容取值为“3521250，3.3_e，5，42.5，3000015，5…”，等等。并且，同一话单比对样本中，新计费系统中的计费结果与旧计费系统中的计费结果不一致。
需要说明的是，上述表4仅用于解释本发明的方案而非限定。
S305：MT服务器向根因分析服务器发送N个话单比对样本。相应的，根因分析服务器获取该话单比对样本。示例性地，根因分析服务器接收到如表4所示的话单比对表格。
S306：根因分析服务器对N个话单比对样本进行特征抽取，获得N个高维话单特征数据。
需要说明的是，在一些应用场景中，本发明实施例所称的“特征抽取”也可能被称为“特征转换”。
为了便于进行模型训练与预测，通常需要对各个话单比对样本进行特征抽取，将话单比对样本中的具体字段(如话单字段，计费结果)编码为可用于模型的特征向量。即话单比对样本的每个字段编码扩展为一个或多个话单特征(话单特征又可称为扩展字段)，从而获得高维度的话单特征数据(简称高维话单特征数据)，一个话单特征可以理解为一个特征维度。
根因分析服务器对话单比对样本中的字段进行处理，话单比对样本中计费相关的字段通常数百个，而且其中大部分为离散值，需要相应的特征编码，使特征的取值可度量，为后续模型提供有效输入(包括特征重要性排序及过滤、样本聚类、模型训练、模型验证、模型推理等)。
示例性地，对于取值连续型的字段，例如，通话时间、计费结果、上网流量等字段，可以直接编码为一个话单特征。
示例性地，对于取值离散型的字段，比如下述表5中展示的字段，看似数值类型，但其本质是无序的离散值，无法直接以这种特征的取值去比较哪些特征对于某一因变量(response variable)的影响更大。
表5
Figure BDA0002047992670000182
Figure BDA0002047992670000191
需要说明的是，上述表5仅用于解释本发明的方案而非限定。
上述特征类型可定义为假数值，即表面上特征的取值类型是连续的数值数据(continuous numeric data)，但基于业务的知识，这些取值实际上是离散的分类数据(discrete categorical data)，而这种假数值型特征的数量通常占总特征数量的绝大多数，例如通常在90％以上。这种类型的特征虽然看似数值型，但需要与离散类型的字段一样进行编码，如独热编码。假设话单字段L_PRODUCTID有1063种取值：'3000003','3521250','4100001'…，则需要把话单字段L_PRODUCTID编码扩展成1063个字段，即编码为1063个话单特征，这些话单特征如下表6所示：
表6
Figure BDA0002047992670000192
并且只有原值对应的话单特征设为1，其余都为0。比如，L_PRODUCTID的原值为“3000003”，扩展成1063个话单特征“L_PRODUCTIDXXX”后，只有话单特征“L_PRODUCTID3000003”的取值为1，其余的1062个话单特征都为0。
需要说明的是，上述表6仅用于解释本发明的方案而非限定。
这样，将各个话单比对样本的所有原始字段进行特征抽取后，所获得的各个高维话单特征数据的最终的特征维度通常会上万，示例性地如表7所示，表7表示N个高维话单特征数据形成的一个大宽表。通过这种处理之后，各个话单特征在计算距离时就具有可比较性，有利于后续特征重要性排序及过滤、样本聚类、模型训练、模型验证、模型推理等。
表7
Figure BDA0002047992670000193
Figure BDA0002047992670000201
需要说明的是，上述表7仅用于解释本发明的方案而非限定。
S307：根因分析服务器对N个高维话单特征数据进行特征过滤，获得N个低维话单特征数据。
具体的，经上述步骤S306处理过后，特征维度至少过万，为了避免维度爆炸问题(curse of dimensionality)，以及考虑到不是所有话单特征都会影响计费结果是否一致(比如有些字段的取值变化性较小，对计费结果影响微弱，不具有参考价值)。根因分析服务器从上述步骤 S306处理过后的高维话单特征数据的大量话单特征中识别重要的话单特征(简称重要特征)。
本发明实施例识别重要特征的过程又可称为特征的降维处理(或称过滤处理)，即识别出重要特征后，可将重要特征保留，而将非重要特征剔除(即过滤掉了非重要特征)，从而实现特征维度的降低。高维话单特征数据经降维或过滤后变成了低维话单特征数据。
在识别重要特征的过程中，一方面，可以参考业务先验信息，即业务调研得到的重要计费字段(对计费结果影响较显著的计费特征和特征取值)。
另一方面，可通过算法提取未被人工识别但是也很重要的特征，其方法描述如下：
首先，可计算每一个待评价的话单特征(自变量)与计费结果的差异值(因变量)之间的f值(f-Measure)，以此评价并找出特征中对计费结果影响较大的话单特征，公式描述如下：
Figure BDA0002047992670000202
其中，
Figure BDA0002047992670000203
其中，X[:,i]代表所有话单在第i个话单特征Xi上的取值，是一个n维的列向量；y表示计费结果的差异值。内积后的ri是一个数值，ri的物理含义就是第i个字段与因变量y之间的样本相关系数，而第一个公式是为了让ri服从f(1,n-2)分布；f值的物理含义是假定Xi、y都服从正态分布时这两个变量之间的相关性(相关程度值)，f值越大，话单特征Xi和因变量y 之间的相关性就越大，因此，可以根据这个f值做特征选择。
然后，如图10所示，按照话单特征Xi的f值对多个话单特征进行降序排列。在一可能实现中，选择出排在前列的R个(例如排在前列的300个)话单特征作为重要特征。在又一可能实现中，将f值大于某一预设阈值的话单特征作为重要特征。
如图11所示，经过步骤S307后，每条高维话单特征数据的话单特征一般会从上万维度降低到数十维度至数百维度。例如，每条高维话单特征数据包括53247个话单特征，经过上述降维处理，获得低维话单特征数据，低维话单特征数据例如包括300个话单特征)。可以理解的，对所有得到N个高维话单特征数据进行上述处理，可获得N个低维话单特征数据。
S308：根因分析服务器对N个低维话单特征数据进行聚类，获得M个代表性样本。所述M个代表性样本表示覆盖多个预设根因的M个样本，所述预设根因是针对计费结果不一致而预设的根因；所述M个代表性样本具体表示覆盖计费结果不一致的预设数量的根因的M个低维话单特征数据。
根因分析服务器依据前置步骤选择出的重要特征(例如人工指定的重要特征和通过算法识别的重要特征)后，对话单比对表格对应的所有样本(例如，所有的低维话单特征数据) 进行聚类，形成的每一个聚类可称为一个簇，其中聚类数(簇数)为H，H可能等于M，也可能大于M，还可能小于M，这里不做具体限定。具体实现中，可将聚类数H设为根因种类的倍数(例如可取10-50倍，倍数可以是整数也可以是非整数)，举例来说，根因有50种(即根因的预设数量为50)，H可设置为根因数量的10倍，即H为500，根因种类通常与业务场景相关，根因用于指示比如新旧计费系统的计费结果不一致的具体原因，根因可以用来指导新旧计费系统的差异修复。在样本中，具体的根因可以用根因编号来表示。示例性地，CBS 部分常见的根因如表8所示。
表8
常见根因 根因编号
3.3currentacctamt not enough,back calculte 1
3400009＝cbs5.5global plan 2
BC_ACCT_BILL_CYCLE data not efftime 3
BC_SUBSCRIBER not data 4
bc_g_member＝9 5
bc_prod_prob no data 6
Callednumber is special number 7
Cbs3.3cug cbs5.5not cug and cug status not 2 8
Cbs3.3have tax 9
Cbs3.3noe cug,cbs5.5cug 10
Cbs5.5callednumber is freenumber,cbs3.3not 11
Cug Complete Same 12
Main offer expired 13
Product not eff orr exp 14
Product status not 2 15
… …
需要说明的是，上述表8仅用于解释本发明的方案而非限定。
然后，通过欧式距离计算H个聚类(簇)中的每个聚类(簇)的中心点，将簇中距离中心点最近的一个或多个样本(低维话单特征数据)作为该簇的代表性话单，从而获得M个代表性样本。
例如，在一实现中，如果M＝H，则可根据每一个簇取距离中心点最近的一个样本作为该簇的代表性样本，从而获得M个代表性样本。
又例如，在一实现中，M＞H，则在H个簇中，分别从各个簇获取一个或多个样本代表性样本，从而最终形成M个代表性样本。其中，当从某簇获取的是一个代表性样本时，该代表性样本为该在簇中距离中心点最近的样本，当从某簇获取的是多个代表性样本时，该多个代表性样本为该在簇中距离中心点最近的多个样本。
又例如，在一实现中，假如预设一个聚类数量的上限为H，M＜H，那么在对当前的N个低维话单特征数据进行聚类中，也可以以聚类数量为M进行聚合，然后分别从每个簇中获取距离中心点最近的样本，从而获得M个代表性样本。
其中，为了计算欧式距离时，所有特征在一个可衡量的量纲上，需要对低维话单特征数据中的话单特征进行归一化的处理，这些归一化的处理具体包括：
对于连续数值类型的话单特征，比如费用、时长等话单特征，进行归一化，即把数据变为(0，1)之间的小数。这主要是为了方便数据处理，因为将数据映射到0～1范围之内，可以使处理过程更加便捷、快速。另外，经过归一化处理的数据，处于同一数量级，可以消除指标之间的量纲和量纲单位的影响，提高不同数据指标之间的可比性。
对于经过离散数值类型的话单特征，可调整偏差，例如把数据统一乘以
Figure BDA0002047992670000221
主要因为对于离散编码的特征，在计算距离时，会出现大于1的情况(正常归一化后的数据会小于等于1)，比如
Figure BDA0002047992670000222
这样就比归一化之后的特征在计算距离时，多一个偏差，所以需要进行相应的偏差调整。
经过上述归一化处理后，即可开始对样本进行聚类，聚类处理具体实现过程可描述如下：
首先，可初始化聚类中心(或称簇中心)。根据指定的聚类数量H(即上述所指的根因种类的倍数)，初始化H个聚类中心，一般而言H远小于总样本量N。选择初始聚类中心的具体方法可以是完全随机或者基于某种策略的方式。
比如选择初始聚类中心可以是“选择彼此距离尽可能远的H个点”，其具体步骤包括：
i.随机选择一个点作为第一个中心点；
ii.然后选择距离该点最远的那个点，作为第二个中心点；
iii.再选择距离前两个点最远的点，作为第三个中心点；
iv.以此类推，直至选出H个聚类(簇)的中心点。
然后，计算隶属各簇的样本(如低维话单特征数据)到聚类中心的距离。距离函数可以是欧氏距离、余弦距离等距离计算函数。此处以样本Si(i取值1到N)到聚类Cj(j取值1到H)的欧式距离计算为例，若样本Si的话单特征向量为[Si，1，Si，2，……，Si，R](其中R为用于该步骤的话单特征的数量)，聚类Cj的聚类中心的向量为[Cj，1，Cj，2，……，Cj，R]。于是距离(distance)的计算结果如下述公式所下示：
Figure BDA0002047992670000223
其中，distance(Si，Cj)表示第i个样本到第j个聚类中心的欧式距离。
得到样本Si与所有聚类中心的距离之后(如有H个距离)，可取距离最小的聚类中心，作为该样本所属的聚类，即聚类根据下述公式j的取值(即distance(Si，Cj)最小的j)确定：
Figure BDA0002047992670000224
arg minj distance(Si，Cj)表示第i个样本到第j个聚类中心的欧式距离最小时，j的取值。
Cj表示H个聚类中第j个聚类，j为[1，H]内的整数；Si表示N个样本中第i个样本，i为[1，N]内的整数，N表示总样本量(话单比对样本的数量)。
然后，可更新各簇的聚类中心。具体的，可计算同一聚类中每个点到剩余点的总距离，选择总距离最小的点作为新的聚类中心。假设，经过上述步骤后，聚类Cj(j取值1到M)包含3个样本(S1，S2，S3)，则计算三个总距离，比如S1到剩余点的总距离为：
distance(S1，S2)+distance(S1，S3)
最后，通过迭代上述步骤直至收敛：在经过T论迭代后，算法收敛，比如可设定下述公式为优化目标，其中
Figure BDA0002047992670000225
为Si所属聚类的中心点。
Figure BDA0002047992670000231
最终目标便是使F最小，直到达到指定阈值或不再减小。
收敛完成后，聚类的形式例如可参考图12所示的一个示意图的描述，图12示出了将一个高维度(例如几十维度到上百维度)的聚类投影到某二维坐标空间后的示意图，横纵坐标为样本的两个维度归一化后的话单特征取值范围。如图中示出了聚类形成的多个簇(如图示中包含簇1、簇2和簇3)，每个簇中的十字标识为表示该簇的聚类中心点，簇中围绕聚类中心点的每个小圆圈表示一个样本点。这样，该簇中，距离该簇的聚类中心点最近的一个样本或若干个样本可作为该簇的代表性样本。具体实现中可以包括更多的簇，每个簇包括更多的样本点，这里不做限定。还需要说明的是，图12仅用于解释本发明的方案而非限定。
结合图13可以看到，通过对N个样本(低维话单特征数据)进行聚类处理，相当于从大量的样本中筛选具有代表性的样本，从而使得代表性样本的数量极大减少，这样有利于极大减轻后续人工分析样本时的负担，在保证方案准确性和可靠性的前提下，极大节省人力物力和时间成本，提高测试效率。
S309：根因分析服务器向客户端发送M个代表性样本，以请求客户端诊断所述M个代表性样本的异常根因。
S310：客户端接收M个代表性样本后，对M个代表性样本进行根因诊断，获得M个代表性样本的根因诊断结果。
具体的，客户端可为测试业务人员呈现所述代表性样本，通过测试业务人员的输入操作获得代表性样本的根因诊断结果，根因推理结果用于指示样本中新旧计费系统的计费结果不一致的根因。
S311：客户端返回M个代表性样本的根因诊断结果至根因分析服务器。相应的，根因分析服务器接收所述M个代表性样本的根因诊断结果。
S312：根因分析服务器根据M个代表性样本和对应的根因诊断结果进行模型训练及模型验证。
具体的，在比对测试执行中，当根因分析服务器接收到人工标注的代表性样本的标注结果后，执行该模型训练及模型验证步骤。
具体实现中，可采用交叉验证的方式来进一步提高所训练模型的准确性和可靠性。根因分析服务器可对M个具有根因诊断结果的代表性样本进行分组，形成多组的“训练集+验证集”。可根据代表性样本获得P组“训练集+验证集”，每组的样本总数都是M，每组中，训练集包括多个样本，验证集包括多个样本，而且，不同组的训练集不同，不同组的验证集也不同。具体的，还可以进一步设定每组中的训练集与验证集之间的样本比例。
如图14所示，其中第一组“训练集+验证集”中，验证集中的样本占了M个具有根因诊断结果的代表性样本中的30％，训练集中的样本占了M个具有根因诊断结果的代表性样本中的 70％。第二组“训练集+验证集”，验证集中的样本同样占了30％，训练集中的样本占了70％。第三组“训练集+验证集”，验证集中的样本同样占了30％，训练集中的样本占了70％。而且，上述第一组、第二组和第三组中，训练集各不相同，验证集也各不相同。除第一组、第二组和第三组外的其他组的情况以此类推。
需要说明的是，图14所示分组仅仅作为示例。实际应用中，例如，每个分组中训练集与验证集的样本比例可以是90％:10％，80％:20％，75％:25％，60％:40％等其它任意比例，本申请不做具体限定，一般来说，设置训练集的样本数量多于验证集的样本数量为宜。
举例来说，假设具有根因诊断结果的代表性样本数量为1000(即M等于1000)，对于设定为7：3比例的P组“训练集+验证集”，其中的一组中的训练集的参考示例如表9所示：
表9
话单特征1 话单特征2 … 话单特征300 根因诊断结果
样本1 … … … … 根因1
… … … … … …
样本700 … … … … 根因6
可以看到，该组中的训练集包括700个样本，每个样本即包括代表性样本(由话单特征 1-话单特征300来指示)和该代表性样本对应的根因诊断结果。
相应的，该组中的验证集的参考示例如表10所示：
表10
话单特征1 话单特征2 … 话单特征300 根因诊断结果
样本700 … … … … 根因2
… … … … … …
样本1000 … … … … 根因3
可以看到，该组中的训练集包括300个样本，每个样本即包括代表性样本(由话单特征 1-话单特征300来指示)和该代表性样本对应的根因诊断结果。
需要说明的是，上述表9和表10仅用于解释本发明的方案而非限定。
后续，针对P组中的每一组，可利用训练集初步训练根因推理模型，利用验证集初步验证该根因推理模型。相关内容描述可参考前文图5、图6实施例的描述，这里不再赘述。经过上述模型训练和模型验证后，可获得P个根因推理模型。那么，进一步利用相关模型评估指标来对不同根因推理模型进行比较，从中选择性能最优的根因推理模型模型作为本发明实施例应用于根因推理的模型。模型评估指标例如可以是计算准确度、查全率、查准率等指标。
需要说明的是，本发明实施例并不限于上面所述的模型训练和模型验证过程，还可以是其他的实施过程。例如，可以把M个具有根因诊断结果的代表性样本平均分成P组，每组的具有根因诊断结果的代表性样本的数量都是M/P，每组都包括“训练集+验证集”，设定每组中的训练集与验证集之间的样本比例，不同组的训练集不同，不同组的验证集也不同，每个分组中训练集与验证集的样本比例可以是90％:10％，80％:20％，70％:30％，75％:25％，60％:40％等其它任意比例，本申请不做具体限定，一般来说，设置训练集的样本数量多于验证集的样本数量为宜。举例来说，M＝500，P＝10，即将500个具有根因诊断结果的代表性样本平均分成10组，每组50个具有根因诊断结果的代表性样本。对于每组再进一步按比例(如70％:30％) 划分出各自的训练集和验证集。
然后，根据上述不同组进行模型训练和模型认证，得到P个根因推理模型。进一步可选的，对于任一根因推理模型，还可依次替换验证集，进行进一步的评估认证。经过上述过程验证过程中，从P个根因推理模型中确定出最优的根因推理模型作为本发明实施例应用于根因推理的模型。
S313：根因分析服务器计算免检阈值。
对于通过S312确定出的最优的根因推理模型，其对根因推理模型对应的验证集中的每个样本进行根因推理时，能获得分属于各个预设根因种类的概率值，将这些预设根因种类的概率值中TOP1的概率值(即最大的概率值)对应的根因设置为模型最终确定的根因推理结果。
验证集的根因推理结果的参考示例如表11所示：
表11
话单特征1 话单特征2 … 话单特征300 诊断根因结果 根因推理结果
样本700 … … … … 根因2 根因2
… … … … … … …
样本1000 … … … … 根因3 根因4
需要说明的是，上述表11仅用于解释本发明的方案而非限定。
通过比较表11中不同可以看到，实际应用中，可能大部分代表性样本的根因推理结果都符合人工标注的诊断根因结果，但也可能存在部分代表性样本的根因推理结果和人工标注的诊断根因结果不一致。所以为了确保后续模型对其他样本数据的预测中的准确性，可进一步计算针对模型输出结果的免检阈值。
本发明实施例中，免检阈值用于对于模型的预测结果(一般表示为预测概率值)进行筛选，并将高于此免检阈值的部分识别为免于人工核检的样本(简称免检样本)，后续在系统迁移检测维护中可以直接这些根因即可。其取值原则是使识别出的免检样本的准确度，符合目标业务期望达到的容错率(比如99％以上)。
根因分析服务器计算免检阈值的过程可描述如下：
首先，对于根因推理模型对应的验证集中的所个样本(例如300个样本)，按照根因诊断结果的类型进一步进行分组，相同根因诊断结果的样本被归为一组，后续可分别计算每组对应的免检阈值。
具体的，后续对于每一组(例如根因类型为根因2的一组)的各个样本，依据根因推理的预测概率值中的TOP1预测概率值对各个样本进行降序排列。示例性地如表12所示：
表12
Figure BDA0002047992670000251
需要说明的是，上述表12仅用于解释本发明的方案而非限定。
然后，依次计算每个样本及所有前置样本的推理根因结果符合根因诊断结果的样本比例 (即累计准确度)。所述所有前置样本表示所有排列在该样本之前的样本。
例如，基于表12计算获得的各样本对应的累计准确度示例性地如表13所示：
表13
Figure BDA0002047992670000261
需要说明的是，上述表13仅用于解释本发明的方案而非限定。
如表13所示，样本705的累积准确度为1/1＝100％，样本873的累积准确度为 (1+1)/(1+1)＝100％，样本703的累积准确度为(1+1+…0+1)/(1+1+…+1+1)＝99.07％，以此类推。
最后，当该累积准确度达到预置的准确率阈值(比如以99％作为准确率阈值)，即该累积准确度不小于累积准确度且该累积准确度数值上最接近准确率阈值，则选取该样本的推理根因TOP1对应的预测概率值作为免检阈值。
比如，如表13所示，假如以99％作为准确率阈值，代表样本703的累计准确度为99.07％>99％，且最接近99％，符合要求，则将它的TOP1根因概率值85.18％作为免检阈值。
基于上面的描述，可以理解的，验证集中的不同组(每类根因)最终都会获得各自对应的免检阈值。
S314：根因分析服务器对N-M个话单比对样本使用模型进行推理，获得N-M个话单比对样本对应的根因推理结果。
具体的，在比对测试执行后期，当根因分析服务器基于人工标注的代表性样本的根因诊断结果训练完成预测模型、以及获得各根因对应的免检阈值后，可执行本步骤。该步骤的主要目的是对剩余样本进行推理，完成剩余样本的根因预测和确认。
具体实现中，根因分析服务器可使用S312所确定的根因推理模型，将N-M个话单比对样本对应的N-M个低维度特征数据输入到模型进行推理，获得N-M个话单比对样本各自对应的根因推理结果。
举例来说，使用上述步骤S312训练出的根因推理模型对剩余(未诊断过的)的话单比对样本进行推理，得出各个话单比对样本的TOP1根因及其对应的预测概率值如表14所示：
话单特征1 话单特征2 … top1根因的预测概率值 根因推理结果
话单比对样本1001 … … … 96.12％ 根因5
… … … … … …
话单比对样本98574 … … … 95.17％ 根因5
… … … … … …
话单比对样本99574 … … … 95.85％ 根因7
… … … … … …
话单比对样本100000 … … … 72.35％ 根因7
需要说明的是，上述表14仅用于解释本发明的方案而非限定。
S315：根因分析服务器根据免检阈值确定N-M个话单比对样本中的待检样本。
通过S314获得各个话单比对样本的TOP1根因及其对应的预测概率值，可利用S313所获得的各个根因对应的免检阈值，把剩余样本(即N-M个话单比对样本)分为免检样本和待检样本。
免检样本为通过模型预测根因时，TOP1根因推理结果的预测概率值大于等于免检阈值的样本，即预测可信度较高的样本。
待检样本为通过模型预测根因时，TOP1根因推理结果的预测概率值小于免检阈值的样本，即预测可信度相对低一些的样本。
假设根因5的免检阈值为85.18％，根因5的免检阈值为95.1％，根因7的免检阈值为 95.97％，则举例来说，上述表14中，话单样本1001、98574被划分为免检样本，话单样本99574、100000被划分为待检样本。以此类推。
S316：根因分析服务器发送待检样本至客户端。
对于免检样本，由于免检样本拥有高置信度(或者符合预设准确度)的根因推理结果，所以后续可以自动生成相应根因种类的清单，作为后续改进新旧计费系统的差异的参考。
对于待检样本，根因分析服务器需要发送其至客户端，以请求人工核检并判断异常根因的推理结果是否正确。
S317：客户端对待检样本进行核检。由于，根因分析服务器向客户端提供了每个待检样本所建议的TOPN异常根因，所以有利于辅助测试业务人员完成诊断过程，加速根因分析和诊断。通过模型预测与测试业务人员诊断/核检相结合的方式，有助于确保根因分析的准确率。
由于新旧计费系统的话单数据通常具有高维度、样本量大、特征组合复杂等特点，对于计费结果比对不一致的话单数据，造成其不一致的根因是多种多样的，其来源例如是复杂的特征组合中的某种差异、或者两个计费系统的配置差异等，这些根因可以用于指导迁移测试人员修复新计费系统的数据差异，以保证计费系统的顺利升级、更换。
可以看到，实施本发明实施例所描述的根因确定方法，一方面，在保证比对测试准确度的前提下，通过降维处理降低样本数据的体量，节省模型训练时间，提升预测效率。通过聚类算法选择小量的代表性样本，代表性样本能够覆盖各种特征组合场景和覆盖各种的异常根因，人工只需要对小量的代表性样本进行诊断分析，减少了人工诊断的样本量，显著减少比对测试前期的诊断工时。另一方面，通过根因推理模型，能够自动预测大部分样本(例如， 90％以上的样本)的根因，以便于后续提高新计费系统的计费准确性，提升了比对测试的根因确定效率，节省了人力物力和时间成本。再一方面，在不影响比对测试准确度的前提下，通过免检阈值将剩余样本分为可免检样本以及待检样本，人工只需要对待检样本进行闭环前的最后审核，找出导致差异的原因并修复减少需要人工审核的样本量，这样，显著减少比对测试后期的审核工时和工作量。综上所述，实施本发明实施例能够实现在计费系统迁移测试中快速准确有效地确定根因，节省人力物力和时间，提高测试效率。
上文详细阐述了本发明实施例的方法，下面继续提供了本发明实施例的相关设备。
参见图15，图15是本发明实施例提供的一种用于在计费系统迁移测试中确定数据异常的根因的计算节点800(或称设备800)的结构示意图。计算节点800包括一个或多个处理器 811、通信接口812和存储器813。其中，处理器811、通信接口812和存储器813之间可以通过总线824连接。
处理器811包括一个或者多个通用处理器，其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括中央处理器(Central Processing Unit，CPU)、微处理器、微控制器、主处理器、控制器以及ASIC(Application Specific Integrated Circuit，专用集成电路)等等。处理器811执行各种类型的数字存储指令，例如存储在存储器813中的软件或者固件程序，它能使计算节点800提供较宽的多种服务。例如，处理器811能够执行程序或者处理数据，以执行本文讨论的方法的至少一部分。
通信接口812可以为有线接口(例如以太网接口)，用于与其他计算节点或用户进行通信交互。
存储器813可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器也可以包括非易失性存储器(Non－VolatileMemory)，例如只读存储器(Read－Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive， HDD)或固态硬盘(Solid－State Drive，SSD)存储器还可以包括上述种类的存储器的组合。存储器813可以存储有程序代码以及数据(例如样本数据)。其中，程序代码例如包括各功能模块的代码。
在一些可能的实施方式中，计算节点800例如可部署于单个应用服务器或服务器集群之中。
在一些实施例中，当计算节点800为根因分析服务器时，处理器811中可以运行图4实施例中所描述的根因分析服务器的相关功能模块，或者用于执行图9实施例中根因分析服务器的相关方法步骤。
在一些实施例中，当计算节点800为MT服务器时，处理器811中可以运行图4实施例中所描述的MT服务器的相关功能模块，或者用于执行图9实施例中MT服务器的相关方法步骤。
在一些实施例中，当计算节点800为用户设备时，处理器811中可以运行图4实施例中所描述的客户端的相关功能模块，或者用于执行图9实施例中客户端的相关方法步骤。
参见图16，图16为本发明实施例提供发一种计算节点700与客户端740及测试业务人员交互的示意图。计算节点700可以包括多个处理器710以及多个存储器720。其中，多个处理器710用于运行图4实施例中所描述的根因分析服务器的相关功能模块和MT服务器的相关功能模块，或者用于执行图9实施例中根因分析服务器和MT服务器的相关方法步骤。存储器720可用于存储数据(如样本数据)。计算节点700还提供了对外的接口界面，接口界面的形态可以是多样的，例如web界面、命令行工具、REST接口等。例如面向计费系统的迁移比对测试系统的测试业务人员的用户端界面740。其中，用户端界面740可供测试业务人员进行根因诊断和根因核检，输入相关的根因诊断结果。
应当理解，计算节点700仅为本申请实施例提供的一个例子，并且，计算节点700可具有比示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者任意组合来实现。当使用软件实现时，可以全部或者部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令，在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网络站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线 (例如红外、微波等)方式向另一个网络站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，也可以是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD等)、或者半导体介质(例如固态硬盘)等等。
在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

Claims (16)

1.一种计费系统迁移测试中数据异常的根因确定方法，其特征在于，所述方法包括：
获取N个话单比对样本；其中各个话单比对样本包括第一版计费系统的话单字段集合与计费结果，以及，第二版计费系统的话单字段集合与计费结果；所述第一版计费系统的计费结果和所述第二版计费系统的计费结果不一致；
从所述N个话单比对样本中确定出M个代表性样本；M为大于等于2且小于等于0.5N的整数；所述M个代表性样本表示覆盖多个预设根因的M个样本，所述预设根因是针对计费结果不一致而预设的根因；
获取所述M个代表性样本各自的根因诊断结果；所述根因诊断结果分别表示所述M个代表性样本中各自的计费结果不一致的根因的标注结果；
根据所述代表性样本和所述根因诊断结果进行模型训练，获得第一根因推理模型；
通过所述第一根因推理模型，获得多个话单比对样本各自的根因推理结果；所述根因推理结果分别表示所述多个话单比对样本各自的计费结果不一致的根因；
所述从所述N个话单比对样本中确定出M个代表性样本，包括：
对所述N个话单比对样本分别进行特征抽取，获得N个高维话单特征数据；其中每个高维话单特征数据包括多个话单特征；
对所述N个高维话单特征数据进行过滤处理，获得N个低维话单特征数据；其中所述低维话单特征数据中的话单特征的数量小于所述高维话单特征数据的话单特征的数量；
对所述N个低维话单特征数据进行聚类，获得H个簇；
根据所述H个簇，确定出所述M个代表性样本。
2.根据权利要求1所述的方法，其特征在于，所述多个话单比对样本包括所述N个话单比对样本中的N－M个话单比对样本，所述根因推理结果分别表示所述N－M个话单比对样本各自的计费结果不一致的根因。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述H个簇，确定出所述M个代表性样本，包括：
将所述H个簇中分别距离所述H个簇的中心点最近的M个低维话单特征数据作为所述M个代表性样本。
4.根据权利要求3所述的方法，其特征在于，所述对所述N个高维话单特征数据进行过滤处理，获得N个低维话单特征数据，包括：
根据所述N个高维话单特征数据中的多个话单特征Xi，和，各个Xi对应的第二版计费系统的计费结果与第一版本计费系统的计费结果的差值y，计算各个Xi的f值(f－Measure)；Xi的f值表示当Xi和y都服从正态分布时，Xi与y之间的相关程度值；
剔除每个低维话单特征数据的多个话单特征中f值小于第一预设阈值的话单特征，以获得所述N个低维话单特征数据。
5.根据权利要求3所述的方法，其特征在于，所述对所述N个高维话单特征数据进行过滤处理，获得N个低维话单特征数据，包括：
利用业务先验信息，剔除所述N个高维话单特征数据中的多个话单特征中的部分话单特征，以获得所述N个低维话单特征数据。
6.根据权利要求3所述的方法，其特征在于，
所述多个话单特征包括：影响计费结果的单变量特征，和/或，由单变量特征组合得到的中间特征。
7.根据权利要求1或2所述的方法，其特征在于，所述获取所述M个代表性样本中的各个代表性样本对应的根因诊断结果之后，还包括：
根据所述M个代表性样本确定一组或多组的训练集和验证集；其中，每组训练集包括K个代表性样本和所述K个代表性样本各自的根因诊断结果，每组验证集包括M－K个代表性样本和所述M－K个代表性样本各自的根因诊断结果，K为小于M且大于0.5M的整数；
相应的，所述根据所述代表性样本和所述根因诊断结果进行模型训练，获得第一根因推理模型，包括：
根据所述训练集进行模型训练，以及根据所述验证集进行模型评估，获得第一根因推理模型。
8.根据权利要求7所述的方法，其特征在于，所述训练集和验证集为多组，且每组的训练集都不相同，每组的验证集都不相同；所述根据所述训练集进行模型训练，以及根据所述验证集进行模型评估，获得根因推理模型，包括：
分别根据所述多组的训练集进行模型训练，获得多个第二根因推理模型；
分别通过各个第二根因推理模型，获得各组训练集对应的各组验证集中的M－K个代表性样本各自的根因推理结果；
比较所述M－K个代表性样本各自的根因推理结果和所述M－K个代表性样本各自的根因诊断结果，利用预设评估指标从所述多个第二根因推理模型中选出所述第一根因推理模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述训练集进行模型训练，以及根据所述验证集进行模型评估，获得第一根因推理模型之后，还包括：
根据训练出所述第一根因推理模型的训练集对应的验证集中，M－K个代表性样本各自的根因诊断结果和通过所述第一根因推理模型获得的该M－K个代表性样本各自的根因推理结果，确定免检阈值；所述免检阈值表示使根因推理结果具有高置信度的临界值；
相应的，所述获得多个话单比对样本各自的根因推理结果之后，还包括：
将所述多个话单比对样本中预测概率值大于等于所述免检阈值的话单比对样本确定为免检样本；
将所述多个话单比对样本中预测概率值小于所述免检阈值的话单比对样本确定为待检样本。
10.根据权利要求9所述的方法，其特征在于，所述将所述多个话单比对样本中预测概率值小于所述免检阈值的话单比对样本确定为待检样本之后，所述方法还包括：
将所述待检样本发送至客户端进行核检。
11.根据权利要求9或10所述的方法，其特征在于，所述根据训练出所述第一根因推理模型的训练集对应的验证集中，M－K个代表性样本各自的根因诊断结果和通过所述第一根因推理模型获得的该M－K个代表性样本各自的根因推理结果，确定免检阈值，包括：
将所述验证集中的M－K个代表性样本，按照所述M－K个代表性样本各自的根因诊断结果中的根因类型进行分类，确定归属各类的代表性样本；
按照所述各类的代表性样本各自的根因推理结果的预测概率值的大小，对所述各类的代表性样本进行降序排列；
根据所述降序排列的代表性样本确定目标代表性样本；所述目标代表性样本和所述目标代表性样本的所有前置样本的根因推理结果的统计准确率达到第二预设阈值，所述所有前置样本表示所有排序在所述目标代表性样本之前的代表性样本；
将所述目标代表性样本的根因推理结果的预测概率值作为所述免检阈值。
12.根据权利要求1或2所述的方法，其特征在于，所述获取N个话单比对样本，包括：
获取所述第一版计费系统的N个话单和对应的N个计费结果；每个话单包括所述第一版计费系统的话单字段集合；
根据所述第一版计费系统的话单字段集合和所述第二版计费系统的话单字段集合之间的映射关系，利用所述第一版计费系统的N个话单中的话单字段集合生成所述第二版计费系统的N个话单的话单字段集合；
将所述第二版计费系统的N个话单的话单字段集合输入到所述第二版计费系统，获所述第二版计费系统的N个话单对应的N个计费结果；其中，所述第一版计费系统的计费结果和对应在所述第二版计费系统的计费结果不一致；
根据所述第一版计费系统的N个话单和计费结果，和，所述第二版计费系统的N个话单和计费结果，生成所述N个话单比对样本。
13.根据权利要求1或2所述的方法，其特征在于，所述方法应用于第一服务器；所述获取N个话单比对样本，包括：
接收第二服务器发送的所述N个话单比对样本。
14.一种用于计费系统迁移测试中确定数据异常的根因的设备，其特征在于，所述设备包括：存储单元、通信接口及与所述存储单元和通信接口耦合的处理器；所述存储单元用于存储指令，所述处理器用于执行所述指令，所述通信接口用于在所述处理器的控制下与其他设备进行通信；
所述存储单元还用于存储N个话单比对样本；其中各个话单比对样本包括第一版计费系统的话单字段集合与计费结果，以及，第二版计费系统的话单字段集合与计费结果；所述第一版计费系统的计费结果和所述第二版计费系统的计费结果不一致；
所述处理器执行所述指令时执行如权利要求1～13任意一项所述方法中的步骤。
15.一种用于计费系统迁移测试中确定数据异常的根因的系统，其特征在于，所述系统包括：第一服务器和第二服务器；
其中，所述第一服务器用于，从所述第二服务器获取N个话单比对样本；其中各个话单比对样本包括第一版计费系统的话单字段集合与计费结果，以及，第二版计费系统的话单字段集合与计费结果；所述第一版计费系统的计费结果和所述第二版计费系统的计费结果不一致；
从所述N个话单比对样本中确定出M个代表性样本；M为大于等于2且小于等于0.5N的整数；所述M个代表性样本表示覆盖多个预设根因的M个样本，所述预设根因是针对计费结果不一致而预设的根因；
获取所述M个代表性样本各自的根因诊断结果；所述根因诊断结果分别表示所述M个代表性样本中各自的计费结果不一致的根因的标注结果；
根据所述代表性样本和所述根因诊断结果进行模型训练，获得第一根因推理模型；
通过所述第一根因推理模型，获得多个话单比对样本各自的根因推理结果；所述根因推理结果分别表示所述多个话单比对样本中各自的计费结果不一致的根因。
16.根据权利要求15所述的系统，其特征在于，所述第二服务器具体用于：
获取所述第一版计费系统的N个话单和对应的N个计费结果；每个话单包括所述第一版计费系统的话单字段集合；
根据所述第一版计费系统的话单字段集合和所述第二版计费系统的话单字段集合之间的映射关系，利用所述第一版计费系统的N个话单中的话单字段集合生成所述第二版计费系统的N个话单的话单字段集合；
将第二版计费系统的N个话单的话单字段集合输入到所述第二版计费系统，获取所述第二版计费系统的N个话单对应的N个计费结果；其中，所述第一版计费系统的计费结果和对应在所述第二版计费系统的计费结果不一致；
根据所述第一版计费系统的N个话单和计费结果，和，所述第二版计费系统的N个话单和计费结果，生成所述N个话单比对样本；
将所述N个话单比对样本发送给所述第一服务器。
CN201910366087.7A 2019-04-30 2019-04-30 计费系统迁移测试中数据异常的根因确定方法、设备及系统 Active CN111858291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910366087.7A CN111858291B (zh) 2019-04-30 2019-04-30 计费系统迁移测试中数据异常的根因确定方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910366087.7A CN111858291B (zh) 2019-04-30 2019-04-30 计费系统迁移测试中数据异常的根因确定方法、设备及系统

Publications (2)

Publication Number Publication Date
CN111858291A CN111858291A (zh) 2020-10-30
CN111858291B true CN111858291B (zh) 2022-04-22

Family

ID=72965934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910366087.7A Active CN111858291B (zh) 2019-04-30 2019-04-30 计费系统迁移测试中数据异常的根因确定方法、设备及系统

Country Status (1)

Country Link
CN (1) CN111858291B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453338A (zh) * 2007-12-07 2009-06-10 华为技术有限公司 计费代理实体、计费方法及系统
CN101827346A (zh) * 2009-03-04 2010-09-08 中国移动通信集团上海有限公司 一种计费系统自动测试方法及装置
CN105471659A (zh) * 2015-12-25 2016-04-06 华为技术有限公司 一种故障根因分析方法和分析设备
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916147B2 (en) * 2010-08-17 2018-03-13 International Business Machines Corporation Deployment of a tool for testing migrated applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453338A (zh) * 2007-12-07 2009-06-10 华为技术有限公司 计费代理实体、计费方法及系统
CN101827346A (zh) * 2009-03-04 2010-09-08 中国移动通信集团上海有限公司 一种计费系统自动测试方法及装置
CN105471659A (zh) * 2015-12-25 2016-04-06 华为技术有限公司 一种故障根因分析方法和分析设备
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法

Also Published As

Publication number Publication date
CN111858291A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN113792825B (zh) 一种用电信息采集设备故障分类模型训练方法及装置
CN110222880B (zh) 业务风险的确定方法、模型训练方法和数据处理方法
CN108520357A (zh) 一种线损异常原因的判别方法、装置及服务器
CN109120429B (zh) 一种风险识别方法及系统
EP3475911A1 (en) Life insurance system with fully automated underwriting process for real-time underwriting and risk adjustment, and corresponding method thereof
CN108334954A (zh) 逻辑回归模型的构建方法、装置、存储介质及终端
CN111797320A (zh) 数据处理方法、装置、设备及存储介质
CN112860676B (zh) 应用于大数据挖掘和业务分析的数据清洗方法及云服务器
CN110147389A (zh) 帐号处理方法和装置、存储介质及电子装置
CN111199493A (zh) 一种基于客户缴费信息及征信信息的欠费风险识别方法
CN110188255B (zh) 基于业务数据共享融合的电力用户行为挖掘方法及系统
CN114139931A (zh) 企业数据评估方法、装置、计算机设备及存储介质
CN112016856B (zh) 综合倍率异常识别方法、装置、计量系统和存储介质
CN109598597A (zh) 业务数据归类方法、装置及存储介质、服务器
CN113283673A (zh) 一种模型性能衰减评价方法、模型训练方法及装置
CN111858291B (zh) 计费系统迁移测试中数据异常的根因确定方法、设备及系统
CN116880867A (zh) 基于策略大模型的决策引擎更新方法及装置
CN116957828A (zh) 报账审核方法、设备、存储介质及装置
CN114610590A (zh) 作业运行时长确定方法、装置、设备及存储介质
CN113987351A (zh) 基于人工智能的智能推荐方法、装置、电子设备及介质
CN113449923A (zh) 一种多模型标的物行情预测方法和装置
CN113326310B (zh) 基于nlp的调研数据标准化方法及系统
CN113065605B (zh) 金银花识别模型的训练方法、装置、计算机设备及介质
CN112101926B (zh) 一种专利年费智能支付方法及系统
CN112308608B (zh) 变电站造价的数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant