CN112667827A - 一种数据异常分析方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种数据异常分析方法、装置、电子设备及存储介质。该技术方案采用频繁模式算法，基于播放记录集合构建频繁模式树，通过挖掘频繁模式树可准确得到引起多媒体业务指标异常的根本原因。另外，由于仅在构建频繁模式树时扫描存储播放数据集合的磁盘，后续挖掘频繁项集仅扫描存储在内存中的频繁模式树即可，这样，提高了关联分析的效率，可快速定位多媒体业务指标异常原因，极大降低了数据分析的人力成本和时间成本。

Description

一种数据异常分析方法、装置、电子设备及存储介质

技术领域

本申请涉及数据挖掘领域，尤其涉及一种数据异常分析方法、装置、电子设备及存储介质。

背景技术

在大数据的时代，数据准确性是衡量一个数据平台好坏的核心标准。对于多媒体平台来说，多媒体播放指标，如单位时间播放量，受活动、假期等多种因素的影响会产生一系列的波动。要确定那个因素是引起业务指标波动的根本原因，通常需要数据分析师进行大量的分析工作，花费很长时间，也很难得到准确结果。

因此，急需一种分析方法，快速准确找到引起多媒体业务指标波动的根本原因。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种数据异常分析方法、装置、电子设备及存储介质。

根据本申请实施例的一个方面，提供了一种数据异常分析方法，包括：

获取预设时间范围内多媒体的播放记录集合，其中，所述播放记录集合中每条播放记录包括至少两个播放特征项，所述播放特征项用于表示多媒体播放对应的以下至少一类特征：多媒体特征、播放行为特征和用户特征；

确定待分析的异常业务指标，所述异常业务指标包括单位时间内指标值异常的多媒体业务指标；

根据所述播放记录集合构建频繁模式树；

根据所述频繁模式树确定所述异常业务指标对应的目标频繁项集；

根据所述目标频繁项集分析得到所述异常业务指标与所述播放特征项的目标关联关系。

可选的，所述确定待分析的异常业务指标，包括：

当所述播放记录包括所述多媒体业务指标时，确定指标值符合预设异常条件的多媒体业务指标为所述异常业务指标；

或，

根据所述频繁模式树统计待分析的多媒体业务指标，确定指标值符合所述预设异常条件的多媒体业务指标为所述异常业务指标；

其中，指标值符合所述预设异常条件的多媒体业务指标包括：在所述预设时间段内的指标值的变化率属于预设变化范围的所述多媒体业务指标，和/或指标值属于预设数值范围的所述多媒体业务指标。

可选的，所述根据所述播放记录集合构建频繁模式树，包括：

扫描所述播放记录集合，计算所述播放特征项的支持度；

根据所述支持度对所述播放特征项进行筛选，保留所述支持度符合第一预设条件的播放特征项作为频繁项，得到筛选后的播放记录集合，所述支持度符合第一预设条件包括：所述支持度大于或等于第一阈值，和/或按照降序排列的所述支持度中前第一个数的支持度；

将各所述播放记录中的频繁项按照所述支持度降序排列；

基于降序排列后的频繁项构建所述频繁模式树。

可选的，所述根据所述播放记录集合构建频繁模式树，还包括：

根据降序排列后的所述频繁项建立项头表，所述项头表中包括按照所述支持度降序排列的所述频繁项及所述频繁项对应的支持度；

基于所述项头表及所述频繁模式树建立节点链表，所述节点链表包括指向所述频繁项在所述频繁模式树中节点位置的指针。

可选的，根据所述频繁模式树确定所述异常业务指标对应的目标频繁项集，包括：

根据所述节点链表，在所述项头表中自下而上查找所述频繁项在所述频繁模式树中对应的条件模式基；

计算所述条件模式基中各所述频繁项的支持度；

根据所述支持度对所述频繁项进行筛选，保留所述支持度符合第二预设条件的频繁项，得到筛选后的条件模式基，所述支持度符合第二预设条件包括：所述支持度大于或等于第二阈值，和/或按照降序排列的所述支持度中前第二个数的支持度；

将筛选后的频繁项按照支持度降序排序；

根据降序排列后的频繁项构建所述条件频繁模式树；

根据所述条件频繁模式树确定所述异常业务指标对应的目标频繁项集。

可选的，所述根据所述条件频繁模式树确定所述异常业务指标对应的目标频繁项集，包括：

根据所述条件频繁模式树确定所述异常业务指标对应的候选频繁项集；

当所述候选频繁项集的项数符合第三预设条件时，确定所述候选频繁项集为所述目标频繁项集；

其中，所述候选频繁项集中的项数符合第三预设条件包括：所述项数大于或等于预设项数，和/或将所述项数降序排列后前第三个数的项数。

可选的，所述根据所述目标频繁项集分析得到所述异常业务指标与所述播放特征项的目标关联关系，包括：

计算所述目标频繁项集的置信度；

当所述置信度符合第四预设条件时，根据所述目标频繁项集生成所述目标关联关系；

其中，所述置信度符合第四预设条件包括：所述置信度大于或等于置信度阈值，和/或将所述置信度降序排列后前第四个数的置信度。

根据本申请实施例的另一个方面，提供了一种数据异常分析装置，包括：

获取模块，用于获取预设时间范围内多媒体的播放记录集合，其中，所述播放记录集合中每条播放记录包括至少两个播放特征项，所述播放特征项用于表示多媒体播放对应的以下至少一类特征：多媒体特征、播放行为特征和用户特征；

异常指标确定模块，用于确定待分析的异常业务指标，所述异常业务指标包括单位时间内指标值异常的多媒体业务指标；

构建模块，用于根据所述播放记录集合构建频繁模式树；

频繁项集确定模块，用于根据所述频繁模式树确定所述异常业务指标对应的目标频繁项集；

分析模块，用于根据所述目标频繁项集分析得到所述异常业务指标与所述播放特征项的目标关联关系。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。

根据本申请实施例的另一个方面，提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行计算机程序时，实现上述方法步骤。

根据本申请实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

采用频繁模式算法，基于播放记录集合构建频繁模式树，通过挖掘频繁模式树可准确得到引起多媒体业务指标异常的根本原因。另外，由于仅在构建频繁模式树时扫描存储播放数据集合的磁盘，后续挖掘频繁项集仅扫描存储在内存中的频繁模式树即可，这样，提高了关联分析的效率，可快速定位多媒体业务指标异常原因，极大降低了数据分析的人力成本和时间成本。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据异常分析方法的流程图；

图2为本申请另一实施例提供的一种数据异常分析方法的流程图；

图3为本申请另一实施例提供的一种数据异常分析方法的流程图；

图4为本申请实施例项头表的示意图；

图5为本申请另一实施例提供的一种数据异常分析方法的流程图；

图6为本申请另一实施例提供的一种数据异常分析方法的流程图；

图7为本申请实施例提供的频繁模式树的示意图；

图8为本申请另一实施例提供的频繁模式树的示意图；

图9为本申请另一实施例提供的频繁模式树的示意图；

图10为本申请另一实施例提供的频繁模式树的示意图；

图11为本申请另一实施例提供的频繁模式树的示意图；

图12为本申请实施例提供的一种数据异常分析装置的框图；

图13为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

多媒体平台运营过程中，重点关注的多媒体业务指标包括但不限于以下至少一项指标：

(1)播放量相关指标

多媒体播放量相关指标可以包括：实际播放量和/或对比播放量。

其中，实际播放量包括：累计播放量、分日播放量、分时播放量、周期播放量等等。

对比播放量包括：同期播放量对比、相近题材多媒体播放量对比等等。

(2)播放完成性相关指标

该指标包括以下至少一项：播完量、播完率、平均播放进度、播放时长、评价播放时长、分时调出量等等，通过不同的维度表达观众在观看多媒体时，是否会完整的看完，或者标识哪一个环节影响观众没有继续观看。

(3)互动指标

多媒体播放后，观众会观看，进一步会产应互动行为，如评论、弹幕、转发、收藏等等。因此，互动指标可以包括以下至少一项：评论量、转发量、收藏量、弹幕量、涨粉量等等。

(4)关联指标

关联指标是指由两个指标相互作用的结果反馈，如：播荐率、评论率、点赞率、转发率、收藏率、加粉率等等。

其中，播荐率＝播放量/推荐量×100％；评论率＝评论量/播放量×100％；转发率＝转发量/播放量×100％；等等。

上述多媒体业务指标可能受各种因素影响产生一系列的波动，本申请实施例，为了找到多媒体业务指标异常波动的原因，对于播放记录集合采用进行关联分析的频繁模式增长(Frequent Pattern Growth，FP-Growth)算法进行分析，找到播放记录中与多媒体业务指标异常波动具有关联关系的播放特征。

下面首先对本发明实施例所提供的一种数据异常分析方法进行介绍。

图1为本申请实施例提供的一种数据异常分析方法的流程图。如图1所示，该方法包括以下步骤：

步骤S11，获取预设时间范围内多媒体的播放记录集合，其中，播放记录集合中每条播放记录包括至少两个播放特征项，播放特征项用于表示多媒体播放对应的以下至少一类特征：多媒体特征、播放行为特征和用户特征。

其中，多媒体特征可以包括以下至少一项：多媒体主题、类型、时长、发布时间、来源等等。

播放行为特征可以包括以下至少一项：播放时间、播放时长、播放时间类型(如工作日、休息日、节假日等)等等。

用户特征可以包括以下至少一项：基础属性特征，如性别、年龄、职业、星座、教育程度、身高、体重等等；社会关系特征，如婚姻状况、有孩子、父母等等；消费能力特征，如月收入、月消费、支付方式、是否为会员等等；行为特征，如经常团购、经常加班、经常刷微博、经常上聚划算等等；心理特征，如品牌偏好、类型偏好、价格偏好等等。

举例来说，某条播放记录中包括：多媒体主题、类型、时长、播放时间、播放时长、播放时间类型、用户性别、年龄、教育程度、职业。

可选的，各播放记录中包含的播放特征项的类型可能不完全相同。尤其是用户特征，基于用户在多媒体平台上填报的信息、使用多媒体平台次数、以及多媒体平台收集用户信息权限等因素，播放记录中包含的用户特征的特征项可能存在一定差别。

可选的，播放行为特征还可以包括上述多媒体业务指标。

例如，播放记录集合包括一个月内多媒体平台的每日播放记录，播放记录包括每日播放量、多媒体类型、播放时间、用户性别及年龄。

步骤S12，确定待分析的异常业务指标，异常业务指标包括单位时间内指标值异常的多媒体业务指标。

其中，指标值异常的多媒体业务指标，指的是指标值超过正常指标值一定百分比的多媒体业务指标。正常指标值可以为一定时间段内该多媒体业务指标的平均值，或是预先设定的指标值等等。可以设置当指标值超过正常指标值50％或低于正常指标值50％时，确定该多媒体业务指标为异常业务指标。

可选的，也可设置多媒体业务指标正常的数值范围。例如，当多媒体业务指标为某视频单日播放量时，当该视频单日播放量超过3亿或低于5000万时，可确定该视频单日播放量异常。

步骤S13，根据播放记录集合构建频繁模式树。

其中，频繁模式树(Frequent Pattern Tree，FP-tree)是一种前缀树(又称字典树)，是一种有序树，用于保存关联数组。FP-tree由一个根节点(值为空指针null)、项前缀子树和项头表组成。其中，项前缀子树即为FP-tree的分支，其各节点包括三个域：item_name、count和node_link。其中，item_name记录节点表示的项的标识；count记录到达该节点的子路径的事务数；node_link用于连接树中相同标识的下一个节点，如果不存在相同标识下一个节点，则值为“null”。

该步骤中，通过扫描播放记录集合，将每条播放记录映射到FP-tree中的一条路径。FP-tree项的前缀子树中各节点包括播放记录中的播放特征项及该播放特征项在本路径上的支持度。

由于不同播放记录中可能存在相同的播放特征项，这样播放记录对应的路径部分重叠。因此，通过频繁模式树可以实现对播放记录集合的压缩。路径相互重叠的越多，则使用频繁模式树获得的压缩效果越好。当频繁模式树足够小，能够存放到内存中时，就可以直接从内存中提取频繁项集，而不必重复地扫描存放在硬盘上的数据，提高数据分析的效率。

步骤S14，根据频繁模式树确定异常业务指标对应的目标频繁项集。

基于FP-tree，可以对每一个频繁项逐个挖掘频繁项集，具体过程为：首先获得频繁项的前缀路径，然后将前缀路径作为新的数据集，以此构建前缀路径的条件FP-tree；然后对条件FP-tree中的每个频繁项，获得前缀路径并以此构建新的条件FP-tree；不断迭代，直到条件FP-tree中只包含一个频繁项为止；最终得到该频繁项对应的频繁项集。

该步骤中得到的目标频繁项集中，包含与异常业务指标相关的播放特征项，这些播放特征项在其所属项前缀子树上的支持度，体现出其与异常业务指标的关联程度。

步骤S15，根据目标频繁项集分析得到异常业务指标与播放特征项的目标关联关系。

基于挖掘得到的异常业务指标对应的所有目标频繁项集，可以分析出异常业务指标与播放特征项的目标关联关系，从而得到哪些播放特征项是引起该多媒体业务指标异常的根本原因。

通过本实施例上述步骤S11至步骤S15，采用频繁模式算法，基于播放记录集合构建频繁模式树，通过挖掘频繁模式树可准确得到引起多媒体业务指标异常的根本原因。由于仅在构建频繁模式树时扫描存储播放数据集合的磁盘，后续挖掘频繁项集仅扫描存储在内存中的频繁模式树即可，这样，提高了关联分析的效率，可快速定位多媒体业务指标异常原因，极大降低了数据分析的人力成本和时间成本。

在可选实施例中，上述步骤S12中，确定待分析的异常业务指标，包括：

当播放记录包括多媒体业务指标时，确定指标值符合预设异常条件的多媒体业务指标为异常业务指标；

或，

根据频繁模式树统计待分析的多媒体业务指标，确定指标值符合预设异常条件的多媒体业务指标为异常业务指标；

其中，指标值符合预设异常条件的多媒体业务指标包括：在预设时间段内的指标值的变化率属于预设变化范围的多媒体业务指标，和/或指标值属于预设数值范围的多媒体业务指标。

在该可选实施例中，播放记录中可包括单位时间内的多媒体业务指标，例如，播放记录集合包括一个月内多媒体平台的每日播放记录，播放记录包括每日播放量、多媒体类型、播放时间、用户性别及年龄，其中每日播放量即为单位时间内的多媒体业务指标。

或者，多媒体业务指标也可基于FP-tree统计得到，例如，播放记录中包括：多媒体主题、类型、时长、播放时间、播放时长、播放时间类型、用户性别、年龄、教育程度、职业。根据构建的FP-tree，统计得到同一播放时间的播放量，如播放时间单位为小时，则可得到每小时播放量，即得到单位时间内的多媒业务指标。

又或者，当前已有对多媒体业务指标的统计，如已统计每日播放量，则可根据预设异常条件确定异常的每日播放量，直接基于该日的播放记录集合进行数据异常分析，得到引起当日播放量异常的根本原因。

图2为本申请另一实施例提供的一种数据异常分析方法的流程图。如图2所示，上述步骤S13根据播放记录集合构建频繁模式树，包括以下步骤S21至S24：

步骤S21，扫描播放记录集合，计算播放特征项的支持度。

该步骤中，先扫描一遍播放记录集合，计算每个播放特征项的出现次数，即支持度。

步骤S22，根据支持度对播放特征项进行筛选，保留支持度符合第一预设条件的播放特征项作为频繁项，得到筛选后的播放记录集合，支持度符合第一预设条件包括：支持度大于或等于第一阈值，和/或按照降序排列的支持度中前第一个数的支持度。

基于先验原理：如果一个项集不是频繁项集，那么该项集的超集也必定不是频繁项集。则对于频繁程度较低的播放特征项来说，其所属的项前缀子树也不是频繁项集。

因此，该步骤中，通过支持度从所有播放特征项筛选出频繁项。具体的，可设定支持度阈值，将低于该支持度阈值的播放特征项剔除，或者，可以将播放特征项按照支持度降序排列后，选择支持度排在前n个的播放特征项，其中，n可以为设定的个数，也可以根据播放特征项的总个数N计算得到，如n＝60％×N。

步骤S23，将各播放记录中的频繁项按照支持度降序排列；

由于FP-tree为一棵前缀树，将频繁项按支持度降序排列，支持度越高的项距离根节点越近，从而使得更多的项可以共享前缀。

步骤S24，基于降序排列后的频繁项构建频繁模式树。

该步骤中，依次扫描每条筛选后的播放记录，基于每条播放记录构建FP-tree的项前缀子树。若当前播放记录与之前的播放记录存在相同前缀，则该前缀对应的节点支持度加一。若当前播放记录与之前播放记录都没有共同前缀，则直接在根节点下添加当前播放记录对应的节点。

通过上述步骤S21至步骤S24，基于各播放特征项的支持度对播放记录集合进行筛选，基于频繁程度较高的播放特征项来构建频繁模式树，这样，基于先验原理预先剔除非频繁项集，提高生产频繁模式树的速度以及后续挖掘频繁项集的效率。

图3为本申请另一实施例提供的一种数据异常分析方法的流程图。如图3所示，上述步骤S13根据播放记录集合构建频繁模式树，还包括以下步骤S31和步骤S32：

步骤S31，根据降序排列后的频繁项建立项头表，项头表中包括按照支持度降序排列的频繁项及频繁项对应的支持度；

步骤S32，基于项头表及频繁模式树建立节点链表，节点链表包括指向频繁项在频繁模式树中节点位置的指针。

其中，项头表是为了便于对FP-tree进行遍历而建立的一张项的头表(an itemheader table)。

图4为本申请实施例项头表的示意图，如图4所示，项头表的第一列为按照支持度降序排列的频繁项，第二列为频繁项对应的支持度。项头表中的各频繁项都是一个节点链表的头，指向FP-tree中该频繁项出现的位置，即节点链表包括指向该频繁项在FP-tree中的节点位置的指针。这样，便于查找或更新项头表和FP-tree之间的联系。并且，FP-tree中每个节点都有一个指针，用于指向名称相同的节点。

图5为本申请另一实施例提供的一种数据异常分析方法的流程图。如图5所示，上述步骤S14基于FP-tree挖掘异常业务指标对应目标频繁项集，包括以下步骤S51至步骤S56：

步骤S51，根据节点链表，在项头表中自下而上查找频繁项在频繁模式树中对应的条件模式基。

该步骤中，对于项头表中的每一项，都可挖掘到其对应的条件模式基。其中，条件模式基就是以所要挖掘的频繁项为叶子节点的FP子树。根据节点链表，查找FP-tree中以所要挖掘的频繁项为结尾的前缀子树，一般条件模式基可以不写叶子节点，即前缀子树除所要挖掘的频繁项外的节点组成条件模式基。

另外，条件模式基中各频繁项的支持度等于FP子树的支持度。

例如，以频繁项m为的FP子树有2个，分别为<(f:4)，(c:3)，(a:3)，(m:2)>和<(f:4)，(c:3)，(a:3)，(b:1)，(m:1)>。FP子树<(f:4)，(c:3)，(a:3)，(m:2)>在数据库中出现的次数为2次，即便频繁项<f，c，a>在数据库中出现3次，<f>出现4次，但它们与m一起出现的次数为2次，因此，将FP子树<(f:4)，(c:3)，(a:3)，(m:2)>记为<(f:2)，(c:2)，(a:2)，(m:2)>。同理，将FP子树<(f:4)，(c:3)，(a:3)，(b:1)，(m:1)>记为<(f:1)，(c:1)，(a:1)，(b:1)，(m:1)>。

由此，得到频繁项m的条件模式基为<(f:2)，(c:2)，(a:2)>和<(f:1)，(c:1)，(a:1)。

步骤S52，计算条件模式基中各频繁项的支持度。

将条件模式基作为一个新的数据库，计算其中各个频繁项的支持度。

例如，频繁项m的条件模式基为<(f:2)，(c:2)，(a:2)>和<(f:1)，(c:1)，(a:1)。条件模式基中各频繁项的支持度为(f:3)，(c:3)，(a:3)，(b:1)。

步骤S53，根据支持度对频繁项进行筛选，保留支持度符合第二预设条件的频繁项，得到筛选后的条件模式基，支持度符合第二预设条件包括：支持度大于或等于第二阈值，和/或按照降序排列的支持度中前第二个数的支持度。

例如，设置第二阈值为3，则筛选后频繁项m的条件模式基为(f:3)，(c:3)，(a:3)。

步骤S54，将筛选后的频繁项按照支持度降序排序。

步骤S55，根据降序排列后的频繁项构建条件频繁模式树。

例如，将频繁项m的条件模式基作为新的数据库，每一行存储m的一个前缀子树，计算每一行记录中各项的支持度，然后按照支持度降序排列，仅保留频繁项，剔除那些低于支持度阈值的项，建立频繁m的条件FP-tree。

步骤S56，根据条件频繁模式树确定异常业务指标对应的目标频繁项集。

具体地，该步骤S56包括步骤A1和步骤A2：

步骤A1，根据条件频繁模式树确定异常业务指标对应的候选频繁项集。

举例来说，若频繁项m为异常业务指标，频繁项m的条件FP-tree中有3个节点，所以需要多次递归地挖掘频繁项集mine(<(f:3)，(c:3)，(a:3)|(m:3)>)。

按照<(a:3)，(c:3)，(f:3)>的顺序递归调用mine(<(f:3)，(c:3)|a，m>)，mine(<(f:3)|c，m>)，mine(null|f，m)。由于(m:3)满足支持度第二阈值要求，所以以m结尾的频繁项集有{(m:3)}。

节点(a，m)的条件FP-tree有2个节点，需要进一步递归调用mine(<(f:3)|c，a，m>)和mine(<null|f，a，m>)。进一步递归mine(<(f:3)|c，a，m>)生成mine(<null|f，c，a，m>)。因此，以(a，m)结尾的频繁项集有{(am:3)，(fam:3)，(cam:3)，(fcam:3)}。

节点(c，m)的条件FP-tree只有1个节点，所以只需要递归调用mine(<null|f，c，m>)。因此，以(c，m)结尾的频繁项集有{(cm:3)，(fcm:3)}。同理，以(f，m)结尾的频繁项集有{(fm:3)}。

频繁项m对应的候选频繁项集包括：{(m:3)，(am:3)，(fam:3)，(cam:3)，(fcam:3)，(cm:3)，(fcm:3)，(fm:3)}。

步骤A2，当候选频繁项集中的项数符合第三预设条件时，确定候选频繁项集为目标频繁项集；

其中，候选频繁项集的项数符合第三预设条件包括：项数大于或等于预设项数，和/或将项数降序排列后前第三个数的项数。

预设项数可以为t，即选择项数大于或等于t的候选频繁项集作为目标频繁项集；或者，可以将项数降序排列后选择前n′个候选频繁项集作为目标频繁项集，其中，n′可基于候选频繁项集的个数N′计算得到，如n^′＝50％×N′。

举例来说，频繁项m对应的候选频繁项集包括：{(m:3)，(am:3)，(fam:3)，(cam:3)，(fcam:3)，(cm:3)，(fcm:3)，(fm:3)}。若预设项数为3，则目标频繁项集包括：{(fam:3)，(cam:3)，(fcam:3)，(fcm:3)}。

图6为本申请另一实施例提供的一种数据异常分析方法的流程图。如图6所示，上述步骤S15根据目标频繁项集分析得到异常业务指标与播放特征项的目标关联关系，包括以下步骤S61至步骤S62：

步骤S61，计算目标频繁项集的置信度；

对于频繁n项集来说，查找其前向(前向定义为前n-1项集)的支持度；使用频繁n项集的支持度除以前向的支持度即可得到该频繁n项集的置信度：

目标频繁项集的置信度

其中，c表示目标频繁项集的置信度，s表示该目标频繁项集的支持度，s′表示其前向的支持度。

例如，对于目标频繁项集(fam:3)，其前向(fa:4)，则

另外，目标频繁项集fam与fma、amf、afm、maf及mfa是相同的频繁项集，支持度均为3，但按照上述置信度计算方法，这6个频繁项集的置信度可能不同。因此，该步骤中，还包括对目标频繁项集进行扩充，得到包含相同频繁项但频繁项排列顺序不同的扩充频繁项集作为目标频繁项集，计算各个扩充频繁项集的置信度。

步骤S62，当置信度符合第四预设条件时，根据目标频繁项集生成目标关联关系。

其中，置信度符合第四预设条件包括：置信度大于或等于置信度阈值，和/或将置信度降序排列后前第四个数的置信度。

例如，计算得到目标频繁项集(fam:3)，(cam:3)，(fcam:3)，(fcm:3)的置信度分别为60％，60％，75％，100％。若置信度阈值为70％，则根据目标频繁项集(fcam:3)和(fcm:3)来确定目标关联关系。

下面以一个具体的实例对本申请的方法进行详细说明。

本实施例中，播放记录集合为1周内分天记录的多媒体数据，每条播放记录包括：平台每日播放量、当日播放量最多的多媒体类型、日期类型、当日占比最高的用户性别及年龄段。本实施例需要分析播放量异常上涨的根本原因，即将当日播放量作为多媒体业务指标，其他项为播放特征项。

本实施例中，将播放量划分为多个层级，1千万～1亿为第1级，1亿～3亿为第2级，3亿以上为第3级。将每日播放时间划分为工作日和休息日。将用户年龄按照每10岁划分为一个年龄段，1～10为第1年龄段，21～30为第3年龄段，31～40为第4年龄段。

播放记录集合如下表1所示，

表1

基于表1的播放记录集合，第3～5日的播放量相对于该周其他日来说异常上涨。根据每日播放记录构建FP-tree的具体过程如下：

(1)扫描播放记录集合，对于播放特征项筛选频繁项，由于每条播放记录含有多个播放特征项，可以基于其中一个播放特征项进行筛选，如基于多媒体类型或用户年龄段等。

本实施例中，按照用户年龄段筛选频繁项，由于“年龄段1”只出现一次，而其他年龄段分别出现2次及以上，将“年龄段1”对应的播放记录删除，并将其他播放记录按照多媒体类型出现次数由多到少排序，每条记录中的播放特征项则按照每个播放特征项出现次数由多到少排序，排序后的播放记录集合如下表2所示：

表2

(2)再次扫描播放记录集合，依次基于每条播放记录构建FP-tree。

初始时，新建一个根结点，标记为NULL。

1)第1条记录

根据表2筛选排序后的第1条播放记录，创建该播放记录对应的前缀子树，并设置每个节点当前支持度为1。如图7所示，在NULL节点下新建一个(工作日)节点，并依次构建(女)、(年龄段4)、(电视剧节点)、(播放量2)。

2)第2条记录

第2条记录中的项与第1条播放记录一致，如图8所示，可以将FP-tree当前前缀子树的各节点支持度加1。

3)第3条记录

第3条记录第1项为工作日。如图9所示，将(工作日)节点支持度加1在(工作日)节点，并依次增加(男)、(年龄段3)、(体育直播)、(播放量3)节点，并设置每个节点当前支持度为1。

4)第4条记录

第4条记录中的项与第3条播放记录一致，可以将(工作日)、(男)、(年龄段3)、(体育直播)、(播放量3)节点对应支持度加1。

5)第5条记录

第5条记录的前3项为工作日、男和年龄段3，如图10所示，将相应节点(工作日)、(男)和(年龄段3)的支持度加1。在(年龄段3)节点下新建年龄段3(电影)、(播放量2)节点，并将各节点的当前支持度设为1。

6)第6条记录

第6条记录的第1项分别为休息日，如图11所示，在NULL节点下增加节点(休息日)、(女)、(年龄段3)、(电视剧)、(播放量3)，将各节点的当前支持度设为1。

(3)利用该FP-tree挖掘频繁项集。

本实施例需要挖掘播放量异常时的原因，如设定播放量3为异常，则仅对播放量3所处的前缀子树进行分析。

播放量3所处的前缀子树所对应的项头表如下表3所示，

表3

播放特征项	支持度
		年龄段3	3
工作日	2
		男	2
体育直播	2
		休息日	1
女	1
		电视剧	1

若设定支持度阈值为2，则保留播放特征项(年龄段3)、(工作日)、(男)、(体育直播)。

1)找出(播放量3)的前缀子树a<(播放量3：2)，(体育直播：2)，(年龄段3：3)，(男：3)，(工作日：3)>，和前缀子树b<(播放量3：1)，(年龄段3:1)>。

对于前缀子树a，(播放量3)与(年龄段3)，(男)(工作日)同时出现的次数为2，因此前缀子树a记为<(播放量3：2)，(体育直播：2)，(年龄段3：2)，(男：2)，(工作日：2)>。

则(播放量3)对应的条件模式基为：<(体育直播：2)，(年龄段3：2)，(男：2)，(工作日：2)>和<(年龄段3:1)>。

2)将条件模式基作为一个新的数据库，计算其中各频繁项的支持度为：(年龄段3:3)，(体育直播：2)，(年龄段3：2)，(男：2)，(工作日：2)。

3)对条件模式基中的频繁项进行筛选，选择支持度大于或等于2的频繁项，并将筛选后的频繁项降序，基于最终条件模式基构建的条件FP-tree包括：<(年龄段3:3)，(体育直播：2)，(男：2)，(工作日：2)>。

4)挖掘频繁项集。

基于条件FP-tree，可以得到(播放量3)对应的目标频繁2项集为：(年龄段3，播放量3：3)，(工作日，播放量3：2)，(体育直播，播放量3：2)，(男，播放量3：2)。

(播放量3)对应的目标频繁3项集为：(年龄段3，工作日，播放量3：2)，(年龄段3，体育直播，播放量3：2)，(年龄段3，男，播放量3：2)，(工作日，体育直播，播放量3：2)，(工作日，男，播放量3：2)，(体育直播，男，播放量3：2)。

(播放量3)对应的目标频繁4项集为：(年龄段3，体育直播，男，播放量3：2)，(年龄段3，男，工作日，播放量3：2)，(年龄段3，体育直播，工作日，播放量3：2)，(体育直播，男，工作日，播放量3：2)。

(播放量3)对应的目标频繁5项集为：(年龄段3，体育直播，男，工作日，播放量3：2)。

本实施例中，若预设项数为4，则目标频繁项集为{(年龄段3，体育直播，男，播放量3：2)，(年龄段3，男，工作日，播放量3：2)，(年龄段3，体育直播，工作日，播放量3：2)，(体育直播，男，工作日，播放量3：2)，(年龄段3，体育直播，男，工作日，播放量3：2)}。

5)基于目标频繁项集的置信度来生成目标关联关系。

目标频繁项集(年龄段3，体育直播，男，播放量3：2)的置信度为100％；目标频繁项集为(年龄段3，男，工作日，播放量3：2)的置信度为100％；目标频繁项集为(年龄段3，体育直播，工作日，播放量3：2)的置信度为100％；(体育直播，男，工作日，播放量3：2)的置信度为100％；(年龄段3，体育直播，男，工作日，播放量3：2)的置信度为100％。

则可得到与播放量异常关联的播放特征项：(年龄段3)、(体育直播)、(工作日)和(男)。

由于上述数据异常分析仅使用一周7天的播放记录，为了获得更准确的分析结果，可以使用更多的播放记录，如1个月，60天甚至180天的播放记录，基于上述分析可以更加准确地得到引起播放量异常的根本原因。

下述为本申请装置实施例，可以用于执行本申请方法实施例。

图12为本申请实施例提供的一种数据异常分析装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图12所示，该数据异常分析装置包括：

获取模块71，用于获取预设时间范围内多媒体的播放记录集合，其中，所述播放记录集合中每条播放记录包括至少两个播放特征项，所述播放特征项用于表示多媒体播放对应的以下至少一类特征：多媒体特征、播放行为特征和用户特征；

异常指标确定模块72，用于确定待分析的异常业务指标，所述异常业务指标包括单位时间内指标值异常的多媒体业务指标；

构建模块73，用于根据所述播放记录集合构建频繁模式树；

频繁项集确定模块74，用于根据所述频繁模式树确定所述异常业务指标对应的目标频繁项集；

分析模块75，用于根据所述目标频繁项集分析得到所述异常业务指标与所述播放特征项的目标关联关系。

本申请实施例还提供一种电子设备，如图13所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。

存储器1503，用于存放计算机程序；

处理器1501，用于执行存储器1503上所存放的计算机程序时，实现以下上述方法实施例的步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，P C I)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下上述方法实施例的步骤。

需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据异常分析方法，其特征在于，包括：

获取预设时间范围内多媒体的播放记录集合，其中，所述播放记录集合中每条播放记录包括至少两个播放特征项，所述播放特征项用于表示多媒体播放对应的以下至少一类特征：多媒体特征、播放行为特征和用户特征；

确定待分析的异常业务指标，所述异常业务指标包括单位时间内指标值异常的多媒体业务指标；

根据所述播放记录集合构建频繁模式树；

根据所述频繁模式树确定所述异常业务指标对应的目标频繁项集；

根据所述目标频繁项集分析得到所述异常业务指标与所述播放特征项的目标关联关系。

2.根据权利要求1所述的方法，其特征在于，所述确定待分析的异常业务指标，包括：

当所述播放记录包括所述多媒体业务指标时，确定指标值符合预设异常条件的多媒体业务指标为所述异常业务指标；

或，

根据所述频繁模式树统计待分析的多媒体业务指标，确定指标值符合所述预设异常条件的多媒体业务指标为所述异常业务指标；

其中，指标值符合所述预设异常条件的多媒体业务指标包括：在所述预设时间段内的指标值的变化率属于预设变化范围的所述多媒体业务指标，和/或指标值属于预设数值范围的所述多媒体业务指标。

3.根据权利要求1所述的方法，其特征在于，所述根据所述播放记录集合构建频繁模式树，包括：

扫描所述播放记录集合，计算所述播放特征项的支持度；

根据所述支持度对所述播放特征项进行筛选，保留所述支持度符合第一预设条件的播放特征项作为频繁项，得到筛选后的播放记录集合，所述支持度符合第一预设条件包括：所述支持度大于或等于第一阈值，和/或按照降序排列的所述支持度中前第一个数的支持度；

将各所述播放记录中的频繁项按照所述支持度降序排列；

基于降序排列后的频繁项构建所述频繁模式树。

4.根据权利要求3所述的方法，其特征在于，所述根据所述播放记录集合构建频繁模式树，还包括：

根据降序排列后的所述频繁项建立项头表，所述项头表中包括按照所述支持度降序排列的所述频繁项及所述频繁项对应的支持度；

基于所述项头表及所述频繁模式树建立节点链表，所述节点链表包括指向所述频繁项在所述频繁模式树中节点位置的指针。

5.根据权利要求4所述的方法，其特征在于，根据所述频繁模式树确定所述异常业务指标对应的目标频繁项集，包括：

根据所述节点链表，在所述项头表中自下而上查找所述频繁项在所述频繁模式树中对应的条件模式基；

计算所述条件模式基中各所述频繁项的支持度；

根据所述支持度对所述频繁项进行筛选，保留所述支持度符合第二预设条件的频繁项，得到筛选后的条件模式基，所述支持度符合第二预设条件包括：所述支持度大于或等于第二阈值，和/或按照降序排列的所述支持度中前第二个数的支持度；

将筛选后的频繁项按照支持度降序排序；

根据降序排列后的频繁项构建所述条件频繁模式树；

根据所述条件频繁模式树确定所述异常业务指标对应的目标频繁项集。

6.根据权利要求5所述的方法，其特征在于，所述根据所述条件频繁模式树确定所述异常业务指标对应的目标频繁项集，包括：

根据所述条件频繁模式树确定所述异常业务指标对应的候选频繁项集；

当所述候选频繁项集的项数符合第三预设条件时，确定所述候选频繁项集为所述目标频繁项集；

其中，所述候选频繁项集中的项数符合第三预设条件包括：所述项数大于或等于预设项数，和/或将所述项数降序排列后前第三个数的项数。

7.根据权利要求1所述的方法，其特征在于，所述根据所述目标频繁项集分析得到所述异常业务指标与所述播放特征项的目标关联关系，包括：

计算所述目标频繁项集的置信度；

当所述置信度符合第四预设条件时，根据所述目标频繁项集生成所述目标关联关系；

其中，所述置信度符合第四预设条件包括：所述置信度大于或等于置信度阈值，和/或将所述置信度降序排列后前第四个数的置信度。

8.一种数据异常分析装置，其特征在于，包括：

获取模块，用于获取预设时间范围内多媒体的播放记录集合，其中，所述播放记录集合中每条播放记录包括至少两个播放特征项，所述播放特征项用于表示多媒体播放对应的以下至少一类特征：多媒体特征、播放行为特征和用户特征；

异常指标确定模块，用于确定待分析的异常业务指标，所述异常业务指标包括单位时间内指标值异常的多媒体业务指标；

构建模块，用于根据所述播放记录集合构建频繁模式树；

频繁项集确定模块，用于根据所述频繁模式树确定所述异常业务指标对应的目标频繁项集；

分析模块，用于根据所述目标频繁项集分析得到所述异常业务指标与所述播放特征项的目标关联关系。

9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述计算机程序时，实现权利要求1-7任一项所述的方法步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。

Images