CN108243046B - 一种基于数据稽核的业务质量评估方法及装置 - Google Patents

Abstract

本发明提供了一种基于数据稽核的业务质量评估方法及装置。该方法包括：获取待稽核的第一业务平台的业务数据和第二业务平台的业务数据；比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，获取差异结果文件；根据所述差异结果文件获取业务质量畸变量；根据所述业务质量畸变量对业务质量进行评估。本发明实施例通过实时跨域的业务数据抽取，进行数据分析比对，最终根据业务质量畸变量实现业务质量评估功能，为业务质量评估提供了细化到订单粒度，弥补了之前的空白，提升了业务质量评估的速度和准确度，同时无需改造数据生产系统，降低了评估成本。

Description

一种基于数据稽核的业务质量评估方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于数据稽核的业务质量评估方法及装置。

背景技术

当前电信行业营业规模、收入总量迅速扩大，光纤宽带、3G、移动增值等业务快速增长，各个运营商开始向综合信息服务提供商转型，提供的产品及业务种类显著增加。由于业务数据涉及多个平台，各平台之间存在频繁数据交互，因各种因素会导致数据的不一致的情况，影响用户服务。

电信系统的业务质量直接关系着公司收入、客户投诉、用户体验，是运营商各大评估保障系统的出发点和最终着眼点。现有的电信系统中业务质量评估方法主要采用如下方案：

第一，基于客户热点投诉：对客户投诉进行关键信息标注，通过对投诉标签的关联分析，发现业务质量的波动情况，进而实现业务质量评估。基于客户热点投诉的业务质量评估只有系统级的评估，无法提供细化到具体业务用户级的业务质量评估。由于客户投诉的延时性，无法保障评估结果的高效和实时性，存在对业务质量恶化反应迟缓，问题定位不准确等问题。

第二，基于应用探针探测：对各大业务系统进行代码改造，植入业务探针，获取业务量、平均时长、成功率等业务指标，通过对各业务指标的统计、展示和分析实现业务质量评估目的。基于应用探针探测的方案存在系统改造量大，风险不可控的问题：通过应用探针可以较好的获取系统间各环节关键业务指标，但探针植入涉及对核心系统进行代码改造，工作量大，风险不可控。

第三，基于底层资源：对主机、数据库、应用进程部署相关的监控告警，通过主机资源利用率，数据库链接数、时延情况等获取业务质量情况。基于底层资源的业务质量监控方法中，数据是从历史备份数据库抽取的数据，历史备份库的机制导致只能提供抽取前一天的数据，与现实生产库的数据存在较大的时间差，造成比对完成后会由于此部分数据缺失产生有“假”的差异数据存在，若直接修复这些“假”差异数据后反而会把一致的数据变成不一致，影响稽核结果的准确性。而且只能实现日稽核的模式，无法提升稽核的时效性。

发明内容

本发明实施例提供一种基于数据稽核的业务质量评估方法及装置，用于解决现有的业务质量评估方法精度差、反应迟、改造量大的问题。

本发明实施例提供了一种基于数据稽核的业务质量评估方法，包括:

获取待稽核的第一业务平台的业务数据和第二业务平台的业务数据；

比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，获取差异结果文件；

根据所述差异结果文件获取业务质量畸变量；

根据所述业务质量畸变量对业务质量进行评估。

可选地，所述比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，包括：

将获取的所述第一业务平台的业务数据和所述第二业务平台的业务数据存储至分布式文件系统HDFS；

采用Reduce函数比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据。

可选地，所述方法还包括：

对所述差异结果文件进行差异去噪处理，获取可信差异结果文件；

相应地，所述根据所述差异结果文件获取业务质量畸变量，包括：

根据所述可信差异结果文件获取业务质量畸变量。

可选地，所述根据所述差异结果文件获取业务质量畸变量包括：

根据如下公式获取业务质量畸变量：

其中，A_xy表示x系统和y系统间的业务质量畸变量；n为业务数据的比对次数；R_i表示第i次比对根据差异结果文件获得的可信一致率；f_i为时间权值；P_x为x系统的业务等级值P_x,P_y为y系统的业务等级值。

可选地，所述根据所述业务质量畸变量对业务质量进行评估，包括：

当所述业务质量畸变量大于预设阈值时，则判定所述业务质量劣化；

当所述业务质量畸变量小于预设阈值时，则判定所述业务质量好转。

本发明实施例提供了一种基于数据稽核的业务质量评估装置，包括：

业务数据获取单元，用于获取待稽核的第一业务平台的业务数据和第二业务平台的业务数据；

差异结果文件获取单元，用于比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，获取差异结果文件；

业务质量畸变量获取单元，用于根据所述差异结果文件获取业务质量畸变量；

业务质量评估单元，用于根据所述业务质量畸变量对业务质量进行评估。

可选地，所述差异结果文件获取单元包括：

业务数据存储模块，用于将获取的所述第一业务平台的业务数据和所述第二业务平台的业务数据存储至分布式文件系统HDFS；

比较模块，用于采用Reduce函数比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据。

可选地，还包括：

可信差异结果文件获取单元，用于对所述差异结果文件进行差异去噪处理，获取可信差异结果文件；

相应地，所述业务质量畸变量获取单元用于：

根据所述可信差异结果文件获取业务质量畸变量。

可选地，所述业务质量畸变量获取单元进一步用于：

根据如下公式获取业务质量畸变量：

其中，A_xy表示x系统和y系统间的业务质量畸变量；n为业务数据的比对次数；R_i表示第i次比对根据差异结果文件获得的可信一致率；f_i为时间权值；P_x为x系统的业务等级值P_x,P_y为y系统的业务等级值。

可选地，所述业务质量评估单元进一步用于：

当所述业务质量畸变量大于预设阈值时，则判定所述业务质量劣化；

当所述业务质量畸变量小于预设阈值时，则判定所述业务质量好转。

本发明实施例提供的基于数据稽核的业务质量评估方法及装置，获取待稽核的第一业务平台的业务数据和第二业务平台的业务数据；比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，获取差异结果文件；根据所述差异结果文件获取业务质量畸变量；根据所述业务质量畸变量对业务质量进行评估。本发明实施例通过实时跨域的业务数据抽取，进行数据分析比对，最终根据业务质量畸变量实现业务质量评估功能，为业务质量评估提供了细化到订单粒度，弥补了之前的空白，提升了业务质量评估的速度和准确度，同时无需改造数据生产系统，降低了评估成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的基于数据稽核的业务质量评估方法的流程示意图；

图2是本发明一个实施例的基于数据稽核的业务质量评估方法的原理图；

图3是本发明一个实施例的差异去噪的原理图；

图4是本发明一个实施例的基于数据稽核的业务质量评估装置的结构示意图；

图5是本发明一个实施例的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的基于数据稽核的业务质量评估方法的流程示意图。如图1所示，该实施例的方法包括：

S11：获取待稽核的第一业务平台的业务数据和第二业务平台的业务数据；

在实际应用中，本发明实施例通过数据同步技术(对数据库提供基于底层日志复制方式)，把CRM、BOSS、计费MDB等跨域多个数据库实例上的核心数据(如图2所示)，按照定制化的采集口径，实时同步到业务质量监控中心，使业务质量监控中心的数据与生产保持同步(时延为秒级)，实现稽核处理与生产系统的物理隔离，同时也实现了对跨中心、跨域、跨系统的数据归集。

S12：比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，获取差异结果文件；

需要说明的是，本发明实施例利用大数据技术进行业务数据的稽核比对过程。

S13：根据所述差异结果文件获取业务质量畸变量；

需要说明的是，本发明实施例通过比对获得平台间的差异结果文件，根据差异结果文件的数量和业务数据总量获取业务质量畸变量。

S14：根据所述业务质量畸变量对业务质量进行评估；

可理解的是，本发明实施例的业务质量畸变量用来表示平台间的业务数据的差异程度，根据平台间的业务数据的差异程度进行业务质量的评估。

本发明实施例提供的基于数据稽核的业务质量评估方法，通过实时跨域的业务数据抽取，进行数据分析比对，最终根据业务质量畸变量实现业务质量评估功能，为业务质量评估提供了细化到订单粒度，弥补了之前的空白，提升了业务质量评估的速度和准确度，同时无需改造数据生产系统，降低了评估成本。

在本发明实施例的一种可选的实施方式中，，所述比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，包括：

将获取的所述第一业务平台的业务数据和所述第二业务平台的业务数据存储至分布式文件系统HDFS；

采用Reduce函数比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据。

具体地，本发明实施例将第一业务平台的业务数据和所述第二业务平台的业务数据存储通过SQOOP存储至HDFS系统中；由MapReduce实现数据比对，Map对各数据文件中的记录打上数据源标记，并汇集相同key值的记录传入Reduce处理；根据稽核类型库中配置的不同稽核规则，调用不同的Reduce函数，Reduce对同一key值的记录进行处理，一致性稽核比对属性字段是否一致；平衡性稽核比对属性字段是否满足给定的平衡性表达式。比对的差异结果生成差异结果文件，并通过SQOOP导出到稽核数据库中进行后续的处理。

可选地，所述方法还包括：

对所述差异结果文件进行差异去噪处理，获取可信差异结果文件；

相应地，所述根据所述差异结果文件获取业务质量畸变量，包括：

根据所述可信差异结果文件获取业务质量畸变量。

需要说明的是，由于数据同步、比对存在一定的耗时，在初步比对产生差异结果文件后，需进行差异清洗去噪工作，去除因系统间时间差而出现的差异。

本发明实施例差异去噪的实现方式主要分为两类(如图3所示)：

第一种可通过数据库直连的数据源：通过读取稽核配置，组装SQL查询语句对差异数据进行实时查询，确认当前生产系统的数据状态。

第二种需通过网络连接的外部数据源：采用HTTP请求的方式进行交互，接口协议使用HTTP协议，下游节点(服务端)为上游节点(客户端)提供访问的URL，上游节点使用HTTPPOST方法发送请求报文并得到应答报文。

可理解的是，当实时确认的真实数据状态与评估系统中状态不一致时，视为噪声差异数据，即对原始差异进行覆盖，实现差异去噪收敛。本发明实施例能够有效减少对实际生产系统的依赖，提高了数据比对的效率。对于首次比对生成的差异数据，采用实时差异去噪，在生产环境中进行直接验证来提升数据稽核的准确性，减少取数时间差造成的数据差异的影响，有效解决海量数据稽核的准确性问题。

进一步地，所述根据所述差异结果文件获取业务质量畸变量包括：

根据如下公式获取业务质量畸变量：

其中，A_xy表示x系统和y系统间的业务质量畸变量；n为业务数据的比对次数；R_i表示第i次比对根据差异结果文件获得的可信一致率；f_i为时间权值；P_x为x系统的业务等级值P_x,P_y为y系统的业务等级值。

需要说明的是，可信一致率为一致数据的数量占业务数据总量的比值；时间权值f_i和业务等级值P_x、P_y为经验值。

具体地，所述根据所述业务质量畸变量对业务质量进行评估，包括：

当所述业务质量畸变量大于预设阈值时，则判定所述业务质量劣化；

当所述业务质量畸变量小于预设阈值时，则判定所述业务质量好转。

在实际应用中，本发明实施例可根据表1对业务质量进行评估。

表1业务质量畸变量与业务质量的关系表

本发明实施例通过业务质量畸变量不同的偏移程度，映射不同的业务质量状态，及时触发工单、邮件、短信、电话等不同级别的运维响应模式，实现业务质量的量化评估。

本发明实施例创造性地将数据稽核引入到业务质量评估体系中，在不影响生产系统运行的情况下，提升了业务质量评估速度，细化了业务质量评估粒度，提供异常快速定位能力；创造性地提出了业务质量畸变量算法，由可信一致率自动化计算得到的业务质量畸变量，在不侵入系统的前提下，量化了业务的运行状态，提升了故障反应速度；创造性地引入差异去噪的稽核流程，实现了离线稽核方案和在线稽核方案优势的整合，大幅度降低对生产环境影响，提升稽核流程实时性，有效解决了稽核效率和稽核准确性的矛盾，能够提供准实时、海量数据的分钟级稽核能力。

图4是本发明一个实施例的基于数据稽核的业务质量评估装置的结构示意图。如图4所示，本发明实施例的装置包括：

业务数据获取单元41，用于获取待稽核的第一业务平台的业务数据和第二业务平台的业务数据；

差异结果文件获取单元42，用于比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，获取差异结果文件；

业务质量畸变量获取单元43，用于根据所述差异结果文件获取业务质量畸变量；

业务质量评估单元44，用于根据所述业务质量畸变量对业务质量进行评估。

本发明实施例提供的基于数据稽核的业务质量评估装置，通过实时跨域的业务数据抽取，进行数据分析比对，最终根据业务质量畸变量实现业务质量评估功能，为业务质量评估提供了细化到订单粒度，弥补了之前的空白，提升了业务质量评估的速度和准确度，同时无需改造数据生产系统，降低了评估成本。

进一步地，差异结果文件获取单元42包括：

业务数据存储模块，用于将获取的所述第一业务平台的业务数据和所述第二业务平台的业务数据存储至分布式文件系统HDFS；

比较模块，用于采用Reduce函数比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据。

可选地，还包括：

可信差异结果文件获取单元，用于对所述差异结果文件进行差异去噪处理，获取可信差异结果文件；

相应地，业务质量畸变量获取单元43用于：

根据所述可信差异结果文件获取业务质量畸变量。

业务质量畸变量获取单元43进一步用于：

根据如下公式获取业务质量畸变量：

其中，A_xy表示x系统和y系统间的业务质量畸变量；n为业务数据的比对次数；R_i表示第i次比对根据差异结果文件获得的可信一致率；f_i为时间权值；P_x为x系统的业务等级值P_x,P_y为y系统的业务等级值。

业务质量评估单元44进一步用于：

当所述业务质量畸变量大于预设阈值时，则判定所述业务质量劣化；

当所述业务质量畸变量小于预设阈值时，则判定所述业务质量好转。

本发明实施例的基于数据稽核的业务质量评估装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

图5是本发明一个实施例的电子设备的实体结构示意图。

参照图5，电子设备包括：处理器(processor)51、存储器(memory)52和总线53；其中，

处理器51和存储器52通过总线53完成相互间的通信；

处理器51用于调用存储器52中的程序指令，以执行上述各方法实施例所提供的基于数据稽核的业务质量评估方法。

此外，上述的存储器52中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于数据稽核的业务质量评估方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的基于数据稽核的业务质量评估方法。

本发明实施例提供的基于数据稽核的业务质量评估方法及装置，获取待稽核的第一业务平台的业务数据和第二业务平台的业务数据；比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，获取差异结果文件；根据所述差异结果文件获取业务质量畸变量；根据所述业务质量畸变量对业务质量进行评估。本发明实施例通过实时跨域的业务数据抽取，进行数据分析比对，最终根据业务质量畸变量实现业务质量评估功能，为业务质量评估提供了细化到订单粒度，弥补了之前的空白，提升了业务质量评估的速度和准确度，同时无需改造数据生产系统，降低了评估成本。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于数据稽核的业务质量评估方法，其特征在于，包括:

获取待稽核的第一业务平台的业务数据和第二业务平台的业务数据；

比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，获取差异结果文件；

根据所述差异结果文件获取业务质量畸变量；

根据所述业务质量畸变量对业务质量进行评估；

所述根据所述差异结果文件获取业务质量畸变量包括：

根据如下公式获取业务质量畸变量：

其中，A_xy表示x系统和y系统间的业务质量畸变量；n为业务数据的比对次数；R_i表示第i次比对根据差异结果文件获得的可信一致率；f_i为时间权值；P_x为x系统的业务等级值P_x,P_y为y系统的业务等级值。

2.根据权利要求1所述的方法，其特征在于，所述比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，包括：

将获取的所述第一业务平台的业务数据和所述第二业务平台的业务数据存储至分布式文件系统HDFS；

采用Reduce函数比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述差异结果文件进行差异去噪处理，获取可信差异结果文件；

相应地，所述根据所述差异结果文件获取业务质量畸变量，包括：

根据所述可信差异结果文件获取业务质量畸变量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述业务质量畸变量对业务质量进行评估，包括：

当所述业务质量畸变量大于预设阈值时，则判定所述业务质量劣化；

当所述业务质量畸变量小于预设阈值时，则判定所述业务质量好转。

5.一种基于数据稽核的业务质量评估装置，其特征在于，包括：

业务数据获取单元，用于获取待稽核的第一业务平台的业务数据和第二业务平台的业务数据；

差异结果文件获取单元，用于比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据，获取差异结果文件；

业务质量畸变量获取单元，用于根据所述差异结果文件获取业务质量畸变量；

业务质量评估单元，用于根据所述业务质量畸变量对业务质量进行评估；

所述业务质量畸变量获取单元进一步用于：

根据如下公式获取业务质量畸变量：

其中，A_xy表示x系统和y系统间的业务质量畸变量；n为业务数据的比对次数；R_i表示第i次比对根据差异结果文件获得的可信一致率；f_i为时间权值；P_x为x系统的业务等级值P_x,P_y为y系统的业务等级值。

6.根据权利要求5所述的装置，其特征在于，所述差异结果文件获取单元包括：

业务数据存储模块，用于将获取的所述第一业务平台的业务数据和所述第二业务平台的业务数据存储至分布式文件系统HDFS；

比较模块，用于采用Reduce函数比较所述待稽核的第一业务平台的业务数据和所述第二业务平台的业务数据。

7.根据权利要求5所述的装置，其特征在于，还包括：

可信差异结果文件获取单元，用于对所述差异结果文件进行差异去噪处理，获取可信差异结果文件；

相应地，所述业务质量畸变量获取单元用于：

根据所述可信差异结果文件获取业务质量畸变量。

8.根据权利要求5-7任一项所述的装置，其特征在于，所述业务质量评估单元进一步用于：

当所述业务质量畸变量大于预设阈值时，则判定所述业务质量劣化；

当所述业务质量畸变量小于预设阈值时，则判定所述业务质量好转。

Images