CN109828995B - 一种基于视觉特征的图数据检测方法、系统 - Google Patents

Abstract

本发明涉及一种基于视觉特征的图数据检测方法和系统，包括：获取待分析的图数据，并统计该图数据的分布特征；将该分布特征输入基于视觉特征的分类模型，得到该图数据中具有相同类别的节点，通过将类别相同的该节点划分至同一分组，得到多个分组；利用基于视觉的分析模型对该分组进行聚合分析，得到每个分组的聚类特征，根据每个分组的该聚类特征进行模式总结和异常检测处理，并将每个分组的该聚类特征、模式总结结果和异常检测结果作为该图数据的检测结果。本发明不直接对大图数据的邻接矩阵或者拉普拉斯矩阵进行分解操作，处理速度快，效率高，具有更强的及时性。

Description

一种基于视觉特征的图数据检测方法、系统

技术领域

本发明涉及数据挖掘领域，特别涉及一种基于视觉特征的图数据异常检测方法、系统。

背景技术

互联网技术先是将全球“认知时钟”整齐划一，交互技术的飞跃式发展(web2.0)更以前所未见的高效能建立起新型的信赖关系，目前社交媒体已超越搜索引擎，成为互联网第一大流量来源，二者占比分别为46％和40％。图成为一种常见数据应用到许多科学和工程中，图可以表示成这样一种结构，即图G＝(V，E)是一对集合：一组顶点V表示实体和一组边E表示实体之间的关系或连接。在计算机科学中，网络包含节点和边缘；而在社会科学中，相应的术语则是行为者和关系，在本文中这两个术语具有同等意义。在2018年春节期间，微信和Wechat的合并月活跃账户数量超过10亿。这意味着微信正式成为中国首个月活跃用户超过10亿的应用，微信在除夕到初五期间共产生了2297亿条微信消息，28亿条朋友圈；另外有7.68亿用户使用了微信红包作为新年祝福。阿里巴巴2018年3月31日的财年中，首次公布全球活跃用户数量，蚂蚁金服旗下支付宝和其合作方服务用户数达到8.7。在大多数情况下，图数据是由一个或多个生成过程创建的，它们不仅能够表示系统中的活动，还能够收集实体的观察结果。社交网络是一种重要和典型的大图数据结构，以微博为例，如图1所示，微博中的各个用户构成图中的点，而用户之间的关注关系就是图中的边，用户之间的相互关注关系就构成了社交网络图，其常见的存储格式是邻接矩阵或者拉普拉斯矩阵，图1对应的邻接矩阵如图2所示，当两个节点之间右边相连时，对应的位置置为1，如果两个节点之间无边相连，对应的位置置为0，(如果是有权图，对应位置置为权值，无边相连对应位置置为极大的值，但是其特征几乎相同)。在这些数据中存在一些团体，比如用户群体中存在一些对电影爱好的人，他们之间因为电影交流而相互关系，这些人就会构成一个典型的团体，由他们组成的图数据之间的联系比较紧密。同时在这些数据中存在一些异常的行为，比如在某电商活动中，是否存在某些商家为了提高自身店铺在平台的人气及信誉，雇佣水军方式进行虚假交易，破坏了公平竞争秩序及信用。其中虚假交易指不存在、不真实的买卖行为。在互联网中，一般是指网络购物平台中卖家(商家)通过不正当的方式获取商品销量、店铺评分、信用积分等不当利益，从而妨害买家权益的行为。

当前检测异常行为的方法包括：

第一是对邻接矩阵或者拉普拉斯矩阵进行非负分解、特征值分解或者奇异值分解，通过分解的特征值等进行异常行为分析；

第二种是基于密度子图的方法，通过不断地寻找密度交大的子图，发现数据的特征与异常；

第三种是基于信号处理的方法，通过分析背景信号特征和噪音信号特征，把噪音信号从背景信号中分离出来，从而分析数据的特征与异常；

此外还有通过人为的去选取数据样本，在数据样本上进行分析，以希望发现数据特征和异常。

上述做法除了存在效率低、费时、过度依赖数据分析人员、难以定位特征和异常等问题外，加上某些特征和异常行为具有时效性，使数据特征提取、异常检测和及时处理变得不可能。发明人在进行基于大图的数据挖掘时，现有的技术与方法要进行邻接矩阵或者拉普拉斯矩阵进行特征分解或者奇异值分解，根据分解得到的结果进行数据分析，或者是对密度子图不断地归约，发现满足特定特征的密度子图。尤其是在面对大图数据时，这些方法普遍存在效率低、费时、过度依赖数据分析人员、难以定位特征和异常等不足。

发明内容

为了解决上述技术问题，本发明目的在于提供一种基于视觉的大图数据总结和异常检测方法，其核心思想是通过对输入数据的重要特征进行统计，获得包括度分布，图半径分布，节点分布直方图等统计结果。其次利用统计得到的结果，借助基于视觉的自顶向下的和分层级的识别特征分解思想，这些方法包括水位树Water Level Tree、最佳决策树等分层次方法，把性质形同的节点分到同一个分组中，并且保证性质不同的节点尽可能远。然后利用最小生成森林、自下而上粘贴Bottom-Up Pasting等的分析方法对分解的结果进行聚合分析，总结分析不同分组的特征，进行社区发现、模式总结和异常检测。最后把分析的结果返回给数据分析人员和数据开发人员。

具体地说，本发明公开了一种基于视觉特征的图数据检测方法，其中包括：

步骤1、获取待分析的图数据，并统计该图数据的分布特征；

步骤2、将该分布特征输入基于视觉特征的分类模型，得到该图数据中具有相同类别的节点，通过将类别相同的该节点划分至同一分组，得到多个分组；

步骤3、利用基于视觉的分析模型对该分组进行聚合分析，得到每个分组的聚类特征，根据每个分组的该聚类特征进行模式总结和异常检测处理，并将每个分组的该聚类特征、模式总结结果和异常检测结果作为该图数据的检测结果。

该基于视觉特征的图数据检测方法，其中该分布特征包括度分布、节点的出度分布、节点的入度分布、图的边的分布，以及节点之间的路径特征。

该基于视觉特征的图数据检测方法，其中该分类模型为水位树，该步骤2包括：

将该分布特征的区间按照等长划分为子区间，将每个区间内的节点的个数作为高度H，H[i,j]＝X表示区间[i,j]之间有X个节点，X大于0的区间作为岛屿，X等于0的区间作为水平面，初始该水位树的水位值为0，通过不断地增加水位值，使H小于水位值的区间位于水平面下，以根据水位值把区间分到相应的水位，同一水位的区间中节点具有相同类别。

该基于视觉特征的图数据检测方法，其中该分类模型为最佳决策树，该步骤2包括：

从该分布特征中挑选其中一个决定性最大的特征，作为该最佳决策树的根节点，从该根节点递归找到各分支下子数据中次大的决定性特征，直至该图数据中每一个节点数据都属于该分布特征中的某个特征。

该基于视觉特征的图数据检测方法，其中该分类模型为最佳决策树，该分析模型为最小生成森林，构建该最小生成森林的过程包括：对该水位树每一层的节点，比较根节点与孩子节点之间的差值，比较差值和预设阈值，若差值大于该预设阈值，则把该根节点与该孩子节点合并成一个节点，否则就把该根节点与该孩子节点分成不同的分组。

本发明还公开了一种基于视觉特征的图数据检测系统，其中包括：

模块1、获取待分析的图数据，并统计该图数据的分布特征；

模块2、将该分布特征输入基于视觉特征的分类模型，得到该图数据中具有相同类别的节点，通过将类别相同的该节点划分至同一分组，得到多个分组；

模块3、利用基于视觉的分析模型对该分组进行聚合分析，得到每个分组的聚类特征，根据每个分组的该聚类特征进行模式总结和异常检测处理，并将每个分组的该聚类特征、模式总结结果和异常检测结果作为该图数据的检测结果。

该基于视觉特征的图数据检测系统，其中该分布特征包括度分布、节点的出度分布、节点的入度分布、图的边的分布，以及节点之间的路径特征。

该基于视觉特征的图数据检测系统，其中该分类模型为水位树，该模块2包括：

将该分布特征的区间按照等长划分为子区间，将每个区间内的节点的个数作为高度H，H[i,j]＝X表示区间[i,j]之间有X个节点，X大于0的区间作为岛屿，X等于0的区间作为水平面，初始该水位树的水位值为0，通过不断地增加水位值，使H小于水位值的区间位于水平面下，以根据水位值把区间分到相应的水位，同一水位的区间中节点具有相同类别。

该基于视觉特征的图数据检测系统，其中该分类模型为最佳决策树，该模块2包括：

从该分布特征中挑选其中一个决定性最大的特征，作为该最佳决策树的根节点，从该根节点递归找到各分支下子数据中次大的决定性特征，直至该图数据中每一个节点数据都属于该分布特征中的某个特征。

该基于视觉特征的图数据检测系统，其中该分类模型为最佳决策树，该分析模型为最小生成森林，构建该最小生成森林的过程包括：对该水位树每一层的节点，比较根节点与孩子节点之间的差值，比较差值和预设阈值，若差值大于该预设阈值，则把该根节点与该孩子节点合并成一个节点，否则就把该根节点与该孩子节点分成不同的分组。

本发明与现有技术相比的优点在于：

(1)相对传统的矩阵分解和张量分解相比，本方法不直接对大图数据的邻接矩阵或者拉普拉斯矩阵进行分解操作，处理速度快，效率高，具有更强的及时性。

(2)本发明是基于视觉的方法，从视觉的直观感知出发，和矩阵分解、奇异值分解、置信传播、密度子图挖掘等方法相比，更加直观的对数据进行挖掘、聚类(社区发现)和异常检测，具有较强的可解释性和较好的可理解性，更加易于数据开发人员和数据分析人员掌握和理解。

(3)同基于信号处理等的方法相比，本方法不需要存储较多的中间数据，具有良好的可扩展性，能够处理包含亿级别节点的大规模图数据。

附图说明

图1是社交网络示意图；

图2是无权图的邻接矩阵图；

图3是Water Level Tree示意图；

图4是最佳决策树示意图；

图5是本发明方法的实施流程图。

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

本发明提出一种基于视觉的大图数据总结和异常检测方法，其核心思想是通过对输入图数据的重要分布特征进行统计，获得包括度分布，图半径分布，节点分布直方图等统计结果。之后利用统计得到的结果，借助基于视觉的自顶向下的和分层级的识别特征分解思想，这些方法包括Water Level Tree、最佳决策树等分层次方法，把性质相同的节点分到同一个分组中，并且保证性质不同的节点尽可能远。然后利用最小生成森林、Bottom-UpPasting等的分析方法对分解的结果进行聚合分析，总结分析不同分组的特征，进行社区发现、模式总结和异常检测。最后把分析的结果返回给数据分析人员和数据开发人员。

如图5所示：本具体实施例中，以Water Level Tree和最小生成森林为例，来对具体实施过程进行详细叙述。具体实施例如下：

步骤1，本方法设置数据统计分析模块，主要功能是统计分析大图数据的分布特征以及一些基本特征，这些分布特征包括节点间的度分布，节点的出度分布，节点的入度分布，图的边的分布，以及节点之间的路径特征等，并且把统计得到的这些分布特征作为下一步的输入数据。

步骤2，从步骤1中统计的结果出发，基于视觉的自顶向下的和分层级的识别特征分解思想，本实施例中以对度分布使用Water Level Tree来进行说明，(如图3)，根据节点的度进行划分区间，区间可以根据统计值进行划分，例如(0-5)表示节点的度在0到5之间节点个数、(6-10)表示节点的度在6到10之间节点个数，用每个区间内的节点的个数作为高度H，那么H[i,j]＝A表示度区间[i,j]之间有A个节点，A大于0构成的区间叫岛屿，A＝0的区间叫Water Level(水平面)，定义树的Water Level为0；本方法通过不断地增加WaterLevel的值，使H小于Water Level的区间位于水平面下面，就可以把区间根据不同的Water Level值分到不同的Water Level上。如图3所示，初始时，根节点的Water Level的值是0，此时根节点处于水平面下，其他节点处于水平面上(岛屿)，通过增大Water Level，是它的值达到1，那么根节点和第二层节点都处于水平面下，其余节点处在水明面上(岛屿)，大于水平面之上的节点为一组，若是有5个水平面就划分出5组节点，由于树的特征在一个树的不同分支，距离越远，性质差异越大，以把性质接近(相同)的节点分到同一个分组中，同时保证性质不同的节点尽可能远。

最佳决策树的过程是找到这些具有决定性作用的特征，根据其决定性程度来构造一个树，其中，每个分布特征具有预设的决定性作用，挑选决定性作用最大的那个特征作为根节点，然后递归找到各分支下子数据中次大的决定性特征，直至图数据中所有数据都属于某个特征，如图4中是银行对申请贷款的客户进行特征标注，首先判断年龄，得到年龄小于20岁，20岁到55岁，和年龄在55岁以上的人群，在根据小于20岁判断是否是大学生，20-50岁判断是否有固定工作以及月收入，和老年人是否有固定资产，逐步分解，得到不同类型人群的特征。在对大图数据进行分解时，Water Level Tree和最佳决策树依据节点之间的度分布，节点的出度分布，节点的入度分布，图的边的分布，以及节点之间的路径特征等，把性质相同的节点分到同一个分组中，并且保证性质不同的节点尽可能远。

步骤3根据步骤2中分组的结果，利用基于视觉的分析方法对分解的结果进行聚合分析。分析方法包括：最小生成森林和Bottom-Up Pasting方法描述。最小生成森林借助于最小生成树的思想，如果图是一个连通图，对每一层的节点，比较根节点与孩子节点之间的差值，这里的差值可以是节点之间(区间内的节点)的权值的极差、差或者平方差，或者启发式的方法，同时定义一个阈值C，当V大于C时，把根节点与子节点之间的边去掉，构成两个树，当V不大于C时，让根节点与子节点合成一个区间，构成新的叶节点。从根节点或者叶子节点开始，就可以把分解的结果聚合成不同的树。如果不是连通图，对每一个连通分量使用上述过程，就可以完成结果聚合。Bottom-Up Pasting是从叶子节点开始，自底向上进行聚合，计算每一层中的叶节点和对应的根节点、叶节点和兄弟节点的阈值，这些阈值包括minimum方法，类间距离等于两类对象之间的最小距离，若用相似度衡量，则是各类中的任一对象与另一类中任一对象的最大相似度；average方法，类间距离等于两组对象之间的平均距离；UCLUS方法，该方法为average方法的一个变种,它使用median距离。当这些阈值满足一定给定值时，把根节点与子节点之间的边去掉，构成两个树，当阈值不大于给定值时，让根节点与子节点合成一个区间，构成新的叶节点。利用此方法不断地Pasting，就可以得到一个森林，森立中每一棵树都是一个模式，同时那些规模较小的树就是属于异常的团体。利用基于视觉的分析方法对分解的结果进行聚合分析，本发明中的方法包括最小生成森林、Bottom-Up Pasting，总结分析不同分组的特征，进行社区发现、模式总结和异常检测。

本实施例中的方法是最小生成森林，差值的定义是：

V＝(X_k-Y_l)^2/N

其中X_k是Water Level Tree或者最佳决策树中第k个节点的子节点个数，Y_l是Water Level Tree或者最佳决策树中第k个节点的第l个子节点中节点的个数，,其中l可取值1，2，3…，该值取决于k节点的度。N是树高，即Water Level Tree中对应的WaterLevel的值，这个值是当前水平面的高度。根据计算出的V的值和特定阈值比较，如果V大于给定阈值，就把跟X_k和Y_l并成一个节点，否则就把X_k和Y_l分成不同的分组，也就是把根节点和子节点分成不同的分组，其中阈值可以由开发人员指定，也可以通过经验获得，总结分析不同分组的特征，这里的特征主要聚类特征，比如某些高密度聚类(节点之间联系比较紧密)，低密度聚类，以及一些相对孤立的节点或者小团体，在社区发现、模式总结以及异常检测中，这些高密度聚类、低密度聚类都是一个个社区，具有不同的特征和行为模式，而相对孤立的节点或者小团体则属于异常节点或者小团体，根据这些特征进行社区发现、模式总结和异常检测。

步骤4最后把步骤3中分析的结果返回给数据分析人员和数据开发人员，这些结果包括不同分组的特征、模式总结和异常的用户或者数据。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还公开了一种基于视觉特征的图数据检测系统，其中包括：

模块1、获取待分析的图数据，并统计该图数据的分布特征；

模块2、将该分布特征输入基于视觉特征的分类模型，得到该图数据中具有相同类别的节点，通过将类别相同的该节点划分至同一分组，得到多个分组；

模块3、利用基于视觉的分析模型对该分组进行聚合分析，得到每个分组的聚类特征，根据每个分组的该聚类特征进行模式总结和异常检测处理，并将每个分组的该聚类特征、模式总结结果和异常检测结果作为该图数据的检测结果。

该基于视觉特征的图数据检测系统，其中该分布特征包括度分布、节点的出度分布、节点的入度分布、图的边的分布，以及节点之间的路径特征。

该基于视觉特征的图数据检测系统，其中该分类模型为水位树，该模块2包括：

将该分布特征的区间按照等长划分为子区间，将每个区间内的节点的个数作为高度H，H[i,j]＝X表示区间[i,j]之间有X个节点，X大于0的区间作为岛屿，X等于0的区间作为水平面，初始该水位树的水位值为0，通过不断地增加水位值，使H小于水位值的区间位于水平面下，以根据水位值把区间分到相应的水位，同一水位的区间中节点具有相同类别。

该基于视觉特征的图数据检测系统，其中该分类模型为最佳决策树，该模块2包括：

从该分布特征中挑选其中一个决定性最大的特征，作为该最佳决策树的根节点，从该根节点递归找到各分支下子数据中次大的决定性特征，直至该图数据中每一个节点数据都属于该分布特征中的某个特征。

该基于视觉特征的图数据检测系统，其中该分类模型为最佳决策树，该分析模型为最小生成森林，构建该最小生成森林的过程包括：对该水位树每一层的节点，比较根节点与孩子节点之间的差值，比较差值和预设阈值，若差值大于该预设阈值，则把该根节点与该孩子节点合并成一个节点，否则就把该根节点与该孩子节点分成不同的分组。

Claims (10)

1.一种基于视觉特征的图数据检测方法，其特征在于，包括：

步骤1、获取社交网络的大图数据结构作为待分析的图数据，并统计该图数据的分布特征；

步骤2、将该分布特征输入基于视觉特征的分类模型，得到该图数据中具有相同类别的节点，通过将类别相同的该节点划分至同一分组，得到多个分组；

步骤3、利用基于视觉的分析模型对该分组进行聚合分析，得到每个分组的聚类特征，根据每个分组的该聚类特征进行社区发现和异常检测处理，并将每个分组的该聚类特征、社区发现结果和异常检测结果作为该社交网络的图数据检测结果；

其中该步骤3中社区发现和异常检测处理具体包括：根据阈值将聚类特征进行分类，将各类别聚类特征对应的分组集合为社区，作为该社区发现结果；将低于阈值的聚类特征对应的分组作为异常节点，作为该异常检测结果。

2.如权利要求1所述的基于视觉特征的图数据检测方法，其特征在于，该分布特征包括度分布、节点的出度分布、节点的入度分布、图的边的分布，以及节点之间的路径特征。

3.如权利要求1所述的基于视觉特征的图数据检测方法，其特征在于，该分类模型为水位树，该步骤2包括：

将该分布特征的区间按照等长划分为子区间，将每个区间内的节点的个数作为高度H，H[i,j]＝X表示区间[i,j]之间有X个节点，X大于0的区间作为岛屿，X等于0的区间作为水平面，初始该水位树的水位值为0，通过不断地增加水位值，使H小于水位值的区间位于水平面下，以根据水位值把区间分到相应的水位，同一水位的区间中节点具有相同类别。

4.如权利要求1所述的基于视觉特征的图数据检测方法，其特征在于，该分类模型为最佳决策树，该步骤2包括：

从该分布特征中挑选其中一个决定性最大的特征，作为该最佳决策树的根节点，从该根节点递归找到各分支下子数据中次大的决定性特征，直至该图数据中每一个节点数据都属于该分布特征中的某个特征。

5.如权利要求3所述的基于视觉特征的图数据检测方法，其特征在于，该分类模型为最佳决策树，该分析模型为最小生成森林，构建该最小生成森林的过程包括：对该水位树每一层的节点，比较根节点与孩子节点之间的差值，比较差值和预设阈值，若差值大于该预设阈值，则把该根节点与该孩子节点合并成一个节点，否则就把该根节点与该孩子节点分成不同的分组。

6.一种基于视觉特征的图数据检测系统，其特征在于，包括：

模块1、获取社交网络的图数据结构作为待分析的图数据，并统计该图数据的分布特征；

模块2、将该分布特征输入基于视觉特征的分类模型，得到该图数据中具有相同类别的节点，通过将类别相同的该节点划分至同一分组，得到多个分组；

模块3、利用基于视觉的分析模型对该分组进行聚合分析，得到每个分组的聚类特征，根据每个分组的该聚类特征进行社区发现和异常检测处理，并将每个分组的该聚类特征、社区发现结果和异常检测结果作为该社交网络的图数据检测结果；

其中该模块3中社区发现和异常检测处理具体包括：根据阈值将聚类特征进行分类，将各类别聚类特征对应的分组集合为社区，作为该社区发现结果；将低于阈值的聚类特征对应的分组作为异常节点，作为该异常检测结果。

7.如权利要求6所述的基于视觉特征的图数据检测系统，其特征在于，该分布特征包括度分布、节点的出度分布、节点的入度分布、图的边的分布，以及节点之间的路径特征。

8.如权利要求6所述的基于视觉特征的图数据检测系统，其特征在于，该分类模型为水位树，该模块2包括：

将该分布特征的区间按照等长划分为子区间，将每个区间内的节点的个数作为高度H，H[i,j]＝X表示区间[i,j]之间有X个节点，X大于0的区间作为岛屿，X等于0的区间作为水平面，初始该水位树的水位值为0，通过不断地增加水位值，使H小于水位值的区间位于水平面下，以根据水位值把区间分到相应的水位，同一水位的区间中节点具有相同类别。

9.如权利要求6所述的基于视觉特征的图数据检测系统，其特征在于，该分类模型为最佳决策树，该模块2包括：

从该分布特征中挑选其中一个决定性最大的特征，作为该最佳决策树的根节点，从该根节点递归找到各分支下子数据中次大的决定性特征，直至该图数据中每一个节点数据都属于该分布特征中的某个特征。

10.如权利要求8所述的基于视觉特征的图数据检测系统，其特征在于，该分类模型为最佳决策树，该分析模型为最小生成森林，构建该最小生成森林的过程包括：对该水位树每一层的节点，比较根节点与孩子节点之间的差值，比较差值和预设阈值，若差值大于该预设阈值，则把该根节点与该孩子节点合并成一个节点，否则就把该根节点与该孩子节点分成不同的分组。

Images