CN110852573A - 数据处理方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置、设备及介质。该方法包括：从目标数据集合中选取数据；确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值；根据评价值，确定出现目标问题的因素。本发明实施例的数据处理方法、装置、设备及介质，能够确定出出现目标问题的因素，并且未采用全量数据，能够减少资源消耗，提高运行速度，提高确定问题的原因的效率。

Description

数据处理方法、装置、设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

随着互联网技术和移动终端技术的发展，业务的种类越来越多。业务出现问题的情况也越来越多。找出问题的原因并加以解决，能够保证业务正常执行，也能够保证业务执行的准确性。比如找出交易时出现的问题的原因或页面访问出错时出现的问题原因等等。

目前，主要采用全量数据以及基于出现问题和未出现问题的二元分类法，找出问题的原因。但是，采用全量数据找出问题的原因，消耗资源多、运算速度慢，效率较低；采用基于出现问题和未出现问题的二元分类法找出问题的原因，并不能找出某一特定问题的原因。

发明内容

本发明实施例提供一种数据处理方法、装置、设备及介质，能够提高数据处理效率以及找出特定问题的原因。

一方面，本发明实施例提供了一种数据处理方法，包括：

从目标数据集合中选取数据；

确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值；

根据评价值，确定出现目标问题的因素。

另一方面，本发明实施例提供了一种数据处理装置，包括：

选取模块，用于从目标数据集合中选取数据；

第一确定模块，用于确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值；

第二确定模块，用于根据评价值，确定出现目标问题的因素。

再一方面，本发明实施例提供一种数据处理设备，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现本发明实施例提供的数据处理方法。

再一方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现本发明实施例提供的数据处理方法。

本发明实施例的数据处理方法、装置、设备及介质，能够确定出出现目标问题的因素，并且未采用全量数据，能够减少资源消耗，提高运行速度，提高数据处理效率；通过对因素进行显著性检验，还能够提高结果的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提供的数据处理方法的流程示意图；

图2示出了本发明实施例提供的各因素对应的T检验的概率示意图；

图3示出了本发明实施例提供的确定原因的原理结构示意图；

图4示出了本发明实施例提供的数据处理装置的结构示意图；

图5示出了能够实现根据本发明实施例的数据处理方法及装置的计算设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本发明实施例提供一种数据处理方法、装置、设备及存储介质。下面首先对本发明实施例提供的数据处理方法进行说明。

如图1所示，图1示出了本发明实施例提供的数据处理方法的流程示意图。数据处理方法可以包括：

S101：从目标数据集合中选取数据。

S102：确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值。

S103：根据评价值，确定出现目标问题的因素。

本发明实施例的数据处理方法，能够确定出出现目标问题的因素，并且未采用全量数据，能够减少资源消耗，提高运行速度，提高数据处理效率。

在本发明的一个实施例中，可以设置数据选取次数以及每次数据选取的数据数量。当确定问题的原因时，可以按照设置的数据选取次数以及每次数据选取的数据数量进行数据的选取。

在本发明的一个实施例中，还可以直接设置数据选取的数据数量。当确定问题的原因时，从目标数据集合中一次性选取所设置的数据数量个数据。

在本发明的一个实施例中，可以从目标数据集合中随机选取数据。本发明实施例并不对随机选取数据所采用的数据随机选取算法进行限定，任何可用的数据随机选取算法均可应用于本发明实施例中。

在本发明的一个实施例中，在确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值时，可以利用决策树。

其中，决策树是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。

在本发明的一个实施例中，可以利用决策树的算法原理，确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值。

示例性的，假设从目标数据集合中选取出5个数据，分别为数据1至数据5。出现目标问题的可能因素有10个，10个因素分别为因素1至因素10。

针对数据1至数据5，利用决策树确定出的因素1至因素10分别对应的评价值如表1所示。

表1

	数据1	数据2	数据3	数据4	数据5
						因素1	0.1	0.1	0.1	0.2	0
因素2	0	0	0	0	0.1
						因素3	0	0.1	0	0	0
因素4	0.9	1	0.9	0.9	0.8
						因素5	0.2	0.15	0.2	0.2	0.2
因素6	0.2	0.2	0.2	0.2	0
						因素7	0.5	0.5	0.4	0.3	0.5
因素8	0.25	0.25	0.25	0.24	0.26
						因素9	0.25	0.35	0.3	0.25	0.35
因素10	0.1	0.1	0.05	0.15	0.1

在本发明的一个实施例中，在根据因素的评价值，确定出现目标问题的因素时，可以根据因素的评价值，对每一个因素进行显著性检验；计算通过显著性检验的因素的平均评价值；根据平均评价值，确定出现目标问题的因素。

通过对因素进行显著性检验，能够提高问题的原因确定结果的准确性。

在本发明的一个实施例中，在根据因素的评价值，对每一个因素进行显著性检验时，可以利用T检验算法。其中，T检验主要是检测数据的显著性。

示例性的，对因素1利用T检验算法进行显著性检验为例进行说明。

由上述表1可知，因素1的平均评价值＝(0.1+0.1+0.1+0.2+0)/5＝0.1，因素1对应的标准差为0.06。因素1相对于0的T检验值＝sqrt(5-1)×(0.1-0)/0.06＝3.33。因素1对应的自由度为5-1＝4。其中，sqrt函数为求平方根。通过T检验界值表可知，因素1相对于0的显著性概率介于0.02和0.05之间。假设T检验的检验水准为0.05，则因素1通过显著性检验。

类似的，因素2至因素10相对于0的显著性概率分别介于0.2和0.4之间、0.2和0.4之间、0和0.001之间、0和0.001之间、0.01和0.02之间、0和0.001之间、0和0.001之间、0和0.001之间以及0.002和0.005之间。

则因素4至因素10通过显著性检验，因素2和因素3未通过显著性检验。

因素1至因素10对应的显著性概率如图2所示。图2示出了本发明实施例提供的各因素对应的T检验的概率示意图。

当确定出通过显著性检验的因素后，可以根据各因素对应的平均评价值，确定出现目标问题的因素。

由上述表1可知，因素1、因素4至因素10的平均评价值分别为0.1、0.9、0.19、0.16、0.44、0.25、0.3和0.1。

在本发明的一个实施例中，可以将平均评价值不小于预设评价值对应的因素，确定为出现目标问题的因素。

示例性的，假设预设评价值为0.3，则将因素4、因素7和因素9，确定为出现目标问题的因素。

在本发明的一个实施例中，还可以将通过显著性检验的因素按照平均评价值进行排序；根据因素排序结果，确定出现目标问题的因素。

将通过显著性检验的因素：因素1、因素4至因素10按照平均评价值从大到小进行排序的结果为：因素4、因素7、因素9、因素8、因素5、因素6、因素1和因素10。

假设将排序前三的因素，确定为出现目标问题的因素，则将因素4、因素7、因素9和因素8确定为出现目标问题的因素。

本发明实施例并不对平均评价值排序所采用的算法进行限定，任何可用的排序算法均可应用于本发明实施例中。比如：冒泡排序算法、选择排序算法和插入排序算法等等。

在本发明的一个实施例中，还可以将通过显著性检验的因素最大的预设数量个平均评价值对应的因素，确定为出现目标问题的因素。

假设，预设数量为3，则将因素4、因素7和因素9，确定为出现目标问题的因素。

在本发明的一个实施例中，本发明实施例在确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值之前，还可以对目标数据集合中出现目标问题的数据进行标记。

示例性的，假设目标数据集合中有10个数据，分别为数据1至数据10。其中，数据1、数据3、数据4和数据5出现的问题为问题1，数据2、数据8和数据9出现的问题为问题2，数据6、数据7和数据10出现的问题为问题3。目标问题为问题2，则对数据2、数据8和数据9进行标记。

在本发明的一个实施例中，当对出现目标问题的数据进行标记后，可以从目标数据集合中选取被标记的数据。

示例性的，选取的数据为数据2、数据8和数据9。

在本发明的一个实施例中，当对出现目标问题的数据进行标记后，还可以从目标数据集合中被标记的数据中选取数据。

示例性的，选取的数据为数据8和数据9。

在本发明的一个实施例中，当对出现目标问题的数据进行标记后，还可以过滤所选取的数据中未被标记的数据；确定过滤后得到的被标记的数据中每一数据出现目标问题的可能因素中每一个因素对应的评价值。

示例性的，假设目标数据集合中有10个数据，分别为数据1至数据10。其中，对数据2、数据8和数据9进行了标记。

从目标数据集合中选取的数据分别为：数据1、数据2、数据7、数据8和数据10。

则过滤掉未被标记的数据1、数据7和数据10。

针对过滤后得到的被标记的数据：数据2和数据8，分别确定出现目标问题的可能因素中的每一个因素对应的评价值。

在本发明的一个实施例中，在从目标数据集合中选取数据之前，还可以从目标数据集合中的数据中提取出现目标问题的可能因素。

在本发明的一个实施例中，在从目标数据集合中的数据中提取出现目标问题的可能因素时，可以根据字段的业务属性进行衍生，衍生出出现目标问题的可能因素。

提取出的出现目标问题的可能因素，比如：地区、时间、网络情况、终端设备型号、软件版本和浏览器种类等等。

具体的，不同的业务产生的数据也不相同，出现的问题也不相同，相应的，提取出的因素也不相同。

在本发明的一个实施例中，在从目标数据集合中选取数据之前，还可以对连续型数据(比如，时间)进行离散化处理。

在本发明的一个实施例中，在从目标数据集合中选取数据之前，还可以对取值分散的数据进行聚合处理。比如：某一城市的县聚合为城市，某一省下城市聚合为省。

基于上述，本发明实施例确定原因的原理结构如图3所示，图3示出了本发明实施例提供的确定原因的原理结构示意图。

首先，进行原始数据的输入，对输入的原始数据进行离散处理、聚合处理、因素提取处理和标记处理。然后，利用数据随机选取算法进行数据选取。再针对所选取的每一数据利用决策树确定出现目标问题的可能因素中的每一个因素对应的评价值。根据该评价值，利用T检验算法对每一个因素进行显著性检验并计算通过显著性检验的因素的平均评价值，进而基于该平均评价值，输出出现目标问题的因素。

本发明实施例提供的数据处理方法可以用于确定交易时出现的问题的原因，还可以用于确定页面访问出错时出现的问题的原因等等。

当确定用于交易时出现的问题的原因时，可以从交易数据集合中选择交易数据，确定所选取的交易数据中的每一交易数据出现目标问题的可能因素中每一个因素对应的评价值；根据评价值，确定出现目标问题的因素。

其中，可能因素可以包括：交易地点、交易时间、交易金额、交易额度、收单机构和发卡行等等。

与上述的方法实施例相对应，本发明实施例还提供一种数据处理装置。如图4所示，图4示出了本发明实施例提供的数据处理装置的结构示意图。

数据处理装置可以包括：

选取模块401，用于从目标数据集合中选取数据。

第一确定模块402，用于确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值。

第二确定模块403，用于根据评价值，确定出现目标问题的因素。

在本发明的一个实施例中，选取模块401，具体可以用于：

从目标数据集合中随机选取数据。

在本发明的一个实施例中，第一确定模块402，具体可以用于：

利用决策树，确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值。

在本发明的一个实施例中，第二确定模块403，可以包括：

检验单元，用于根据评价值，对每一个因素进行显著性检验；

计算单元，用于计算通过显著性检验的因素的平均评价值；

确定单元，用于根据平均评价值，确定出现目标问题的因素。

在本发明的一个实施例中，检验单元，具体可以用于：

根据评价值，利用T检验算法，对每一个因素进行显著性检验。

在本发明的一个实施例中，确定单元，具体可以用于：

将平均评价值不小于预设评价值对应的因素，确定为出现目标问题的因素。

在本发明的一个实施例中，确定单元，具体可以用于：

将通过显著性检验的因素按照平均评价值进行排序；

根据因素排序结果，确定出现目标问题的因素。

在本发明的一个实施例中，确定单元，具体可以用于：

将最大的预设数量个平均评价值对应的因素，确定为出现目标问题的因素。

在本发明的一个实施例中，本发明实施例提供的数据处理装置还可以包括：

标记模块，用于对目标数据集合中出现目标问题的数据进行标记。

在本发明的一个实施例中，选取模块401，具体可以用于：

从目标数据集合中选取被标记的数据。

在本发明的一个实施例中，第一确定模块402，具体可以用于：

过滤所选取的数据中未被标记的数据；

确定过滤后得到的被标记的数据中每一数据出现目标问题的可能因素中每一个因素对应的评价值。

在本发明的一个实施例中，本发明实施例提供的数据处理装置还可以包括：

提取模块，用于从目标数据集合的数据中提取出现目标问题的可能因素。

在本发明的一个实施例中，本发明实施例提供的数据处理装置还可以包括：

第一设置模块，用于设置数据选取次数以及每次数据选取的数据数量。

在本发明的一个实施例中，本发明实施例提供的数据处理装置还可以包括：

第二设置模块，用于设置数据选取的数据数量。

图5示出了能够实现根据本发明实施例的数据处理方法及装置的计算设备的示例性硬件架构的结构图。如图5所示，计算设备500包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505、以及输出设备506。其中，输入接口502、中央处理器503、存储器504、以及输出接口505通过总线510相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线510连接，进而与计算设备500的其他组件连接。

具体地，输入设备501接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到计算设备500的外部供用户使用。

也就是说，图5所示的计算设备也可以被实现为数据处理设备，该数据处理设备可以包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现本发明实施例提供的数据处理方法和装置。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的数据处理方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (17)

1.一种数据处理方法，其特征在于，所述方法包括：

从目标数据集合中选取数据；

确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值；

根据所述评价值，确定出现所述目标问题的因素。

2.根据权利要求1所述的方法，其特征在于，所述从目标数据集合中选取数据，包括：

从所述目标数据集合中随机选取数据。

3.根据权利要求1所述的方法，其特征在于，所述确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值，包括：

利用决策树，确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值。

4.根据权利要求1所述的方法，其特征在于，所述根据所述评价值，确定出现所述目标问题的因素，包括：

根据所述评价值，对所述每一个因素进行显著性检验；

计算通过所述显著性检验的因素的平均评价值；

根据所述平均评价值，确定出现所述目标问题的因素。

5.根据权利要求4所述的方法，其特征在于，所述根据所述评价值，对所述每一个因素进行显著性检验，包括：

根据所述评价值，利用T检验算法，对所述每一个因素进行显著性检验。

6.根据权利要求4所述的方法，其特征在于，所述根据所述平均评价值，确定出现所述目标问题的因素，包括：

将所述平均评价值不小于预设评价值对应的因素，确定为出现所述目标问题的因素。

7.根据权利要求4所述的方法，其特征在于，所述根据所述平均评价值，确定出现所述目标问题的因素，包括：

将通过显著性检验的因素按照所述平均评价值进行排序；

根据因素排序结果，确定出现所述目标问题的因素。

8.根据权利要求4所述的方法，其特征在于，所述根据所述平均评价值，确定出现所述目标问题的因素，包括：

将最大的预设数量个平均评价值对应的因素，确定为出现所述目标问题的因素。

9.根据权利要求1所述的方法，其特征在于，在所述确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值之前，所述方法还包括：

对所述目标数据集合中出现所述目标问题的数据进行标记。

10.根据权利要求9所述的方法，其特征在于，所述从目标数据集合中选取数据，包括：

从所述目标数据集合中选取被标记的数据。

11.根据权利要求9所述的方法，其特征在于，所述确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值，包括：

过滤所选取的数据中未被标记的数据；

确定过滤后得到的被标记的数据中每一数据出现目标问题的可能因素中每一个因素对应的评价值。

12.根据权利要求1所述的方法，其特征在于，在所述从目标数据集合中选取数据之前，所述方法还包括：

从所述目标数据集合的数据中提取出现所述目标问题的可能因素。

13.根据权利要求1所述的方法，其特征在于，在所述从目标数据集合中选取数据之前，所述方法还包括：

设置数据选取次数以及每次数据选取的数据数量。

14.根据权利要求1所述的方法，其特征在于，在所述从目标数据集合中选取数据之前，所述方法还包括：

设置数据选取的数据数量。

15.一种数据处理装置，其特征在于，所述装置包括：

选取模块，用于从目标数据集合中选取数据；

第一确定模块，用于确定所选取的数据中的每一数据出现目标问题的可能因素中每一个因素对应的评价值；

第二确定模块，用于根据所述评价值，确定出现所述目标问题的因素。

16.一种数据处理设备，其特征在于，所述设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至14任意一项所述的数据处理方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至14任意一项所述的数据处理方法。

Images