流量图谱的形成方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种流量图谱的形成方法和装置。
背景技术
网络流量是网络中节点相互传输的数据量。目前,主要通过三种方式监控网络流量。第一种:桑基图,它是一种特定类型的流程图,一般由节点和连线组成,节点的流量用对应的竖条长度表示,从而展示流量的转移和组成。第二种:漏斗图,通过流量的宽度在经过节点后的变化来体现流量在传递过程中转化与流失的情况。第三种:单一节点的流量监控,主要通过折线图展示单一节点的流量在时间上的变化情况,通过饼图展示流量的传入传出分布情况。
但是,以上方式均存在一定缺陷:桑基图无法展示节点的层级关系,如一个节点是由多个子节点构成的,只能展示固定层级的节点和流量,不够直观),并且一个节点在两张桑基图中的位置可能会发生较大改变,导致对两张桑基图进行对比时,不够清晰明了。另外,上述方式均无法在一张图中展示节点流量的占比情况:传入、传出、自连接流量占比等信息。而通过饼图展示上述信息时,只能针对单一节点进行展示。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种流量图谱的形成方法,该方法能够多维度地展现页面节点的层级关系,以及每个页面节点的流量传播情况,为流量监控以及流量分析提供更加清晰明了、更加立体的数据支持。
本发明的第二个目的在于提出一种流量图谱的形成装置。
为了实现上述目的,本发明第一方面实施例提出了一种流量图谱的形成方法,包括:获取多个页面中每个页面的流量数据和度数数据;以及将所述多个页面分别作为多个页面节点,以及根据每个所述页面的度数数据和流量数据生成所述多个页面节点之间的流量连接通道以形成所述流量图谱,其中,所述流量连接通道的宽度与和所述流量连接通道相连的页面节点的流量数据相关,所述流量连接通道的方向与和所述流量连接通道相连的页面节点的度数数据相关。
本发明实施例的流量图谱的形成方法,通过获取多个页面中每个页面的流量数据和度数数据,以及将多个页面分别作为多个页面节点,以及根据每个页面的度数数据和流量数据生成多个页面节点之间的流量连接通道以形成流量图谱,能够多维度地展现页面节点的层级关系,以及每个页面节点的流量传播情况,为流量监控以及流量分析提供更加清晰明了、更加立体的数据支持。
本发明第二方面实施例提出了一种流量图谱的形成装置,包括:获取模块,用于获取多个页面中每个页面的流量数据和度数数据;以及生成模块,用于将所述多个页面分别作为多个页面节点,以及根据每个所述页面的度数数据和流量数据生成所述多个页面节点之间的流量连接通道以形成所述流量图谱,其中,所述流量连接通道的宽度与和所述流量连接通道相连的页面节点的流量数据相关,所述流量连接通道的方向与和所述流量连接通道相连的页面节点的度数数据相关。
本发明实施例的流量图谱的形成装置,通过获取多个页面中每个页面的流量数据和度数数据,以及将多个页面分别作为多个页面节点,以及根据每个页面的度数数据和流量数据生成多个页面节点之间的流量连接通道以形成流量图谱,能够多维度地展现页面节点的层级关系,以及每个页面节点的流量传播情况,为流量监控以及流量分析提供更加清晰明了、更加立体的数据支持。
附图说明
图1是根据本发明一个实施例的流量图谱的形成方法的流程图一。
图2是根据本发明一个实施例的页面节点展现效果图一。
图3是根据本发明一个实施例的页面节点展现效果图二。
图4是根据本发明一个实施例的流量图谱的形成方法的流程图二。
图5是根据本发明一个实施例的页面节点合并前效果示意图。
图6是根据本发明一个实施例的页面节点合并后效果示意图。
图7是根据本发明一个实施例的流量图谱的效果示意图。
图8是根据本发明一个实施例的异常值历史数据图。
图9是根据本发明一个实施例的流量图谱的形成装置的结构示意图一。
图10是根据本发明一个实施例的流量图谱的形成装置的结构示意图二。
图11是根据本发明一个实施例的流量图谱的形成装置的结构示意图三。
图12是根据本发明一个实施例的流量图谱的形成装置的结构示意图四。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的流量图谱的形成方法和装置。
图1是根据本发明一个实施例的流量图谱的形成方法的流程图一。
如图1所示,流量图谱的形成方法可包括:
S1、获取多个页面中每个页面的流量数据和度数数据。
其中,度数数据可包括出度数据和入度数据。出度数据为本页面能够跳转到的页面的个数,入度数据为跳转到本页面的页面的个数。流量数据可包括出度流量、入度流量和自连接流量。
S2、将多个页面分别作为多个页面节点,以及根据每个页面的度数数据和流量数据生成多个页面节点之间的流量连接通道以形成流量图谱。
其中,页面节点可为圆形,圆形的半径与页面节点的最大度数相关。页面节点具有第一至第三扇形区域。其中,第一至第三扇形区域的面积分别与出度流量、入度流量和自连接流量对应。另外,页面节点还可具有第四扇形区域,第四扇形区域的面积与出度流量和入度流量之间的差值对应。举例来说,如图2所示,页面节点AB可以用饼图来表示,即页面节点用圆形来表示,如果该页面节点的入度为10,出度为8,则该页面节点的最大度数为10,由此可确定该页面节点的半径。第一扇形区域表示出度流量;第二扇形区域表示入度流量;第三扇形区域表示自连接流量,即本页面进行刷新产生的流量;第四扇形区域表示出度流量和入度流量之间的差值。
流量连接通道的宽度与和流量连接通道相连的页面节点的流量数据相关,流量连接通道的方向与和流量连接通道相连的页面节点的度数数据相关。当流量连接通道为单向时,流量连接通道为直线;当流量连接通道为双向时,流量连接通道为曲线。举例来说,如图3所示,页面节点AB、页面节点CD和页面节点E,页面节点AB和页面节点CD之间的流量连接通道为单向,即从页面节点AB跳转至页面节点CD产生流量,因此可用直线来表示,且用单向箭头表示方向。页面节点AB跳转至页面节点CD的流量较大,因此线条较粗。而页面节点AB和页面节点E之间的流量连接通道为双向,即页面节点AB和页面节点E可互相跳转,可用曲线来表示,且用双向箭头表示方向。页面节点AB和页面节点E之间的流量较小,因此线条较细。
另外,如图4所示,本发明实施例的流量图谱的形成方法,还可包括以下步骤:
S3、将流量图谱展现给用户。
S4、接收用户针对两个页面节点的合并指令,并将两个页面节点进行合并,以及根据两个页面节点的流量数据和度数数据生成合并之后的流量数据和度数数据。
举例来说,页面节点是可以有层次结构的,例如页面节点A和页面节点B可合并为页面节点AB,即页面节点A和页面节点B为页面节点AB的子节点。页面节点A和页面节点B的入度流量可相加生成页面节点AB的入度流量;同理,页面节点A和页面节点B的出度流量可相加生成页面节点AB的出度流量。页面节点A和页面节点B的最大度数相加生成页面节点AB的最大度数。
S5、根据合并之后的流量数据和度数数据确定合并之后的页面节点的半径及与合并之后页面节点相关的流量连接通道。
如图5至图6所示,用户可通过点击树状结构中的页面节点进行合并操作(也可直接在图形中对要合并的页面节点进行合并操作,如右键单击页面节点A),页面节点A与页面节点B之间的流量连接通道隐藏,页面节点A到页面节点CD的流量连接通道和页面节点B到页面节点CD的流量连接通道合并,从而生成页面节点AB到页面节点CD的流量连接通道。再根据页面节点AB的最大度数确定页面节点AB的半径。
举例来说,最终生成的流量图谱可如图7所示,可展示用户的行为例如查询行为、支付行为等产生的流量变化情况。例如:当某个页面节点流量异常的时候,流量会大幅变化,可通过流量图谱进行监控,以及为分析异常原因提供相应数据。另外,还可在不同维度间进行流量对比。维度可以是时间、人群、设备等等。此外,还能接收用户的操作,展现相应的信息,例如:用户可通过拖动鼠标,选择流量图谱中想要查看的页面节点。当然,也可通过鼠标滚轮放大或缩小图像、双击一个页面节点展现出该页面节点的子节点等等。
此外,在生成流量图谱之后,还可获取页面节点的当前流量和历史参考流量,并根据当前流量和历史参考流量计算参考绝对值产出指标,然后获取页面节点的当前流量差和历史参考流量差,再根据页当前流量差和历史参考流量差计算参考变化量产出指标,最后根据参考绝对值产出指标和参考变化量产出指标确定流量异常值。如果流量异常值大于异常阈值,则判断页面节点的流量异常。
其中,历史参考流量包括昨日本时刻流量值、上周同期本时刻流量值、上月同期本时刻流量值和上月平均流量值。
具体地,参考绝对值产出指标Ab1可通过以下公式计算:
其中,S
t为今日t时刻的流量,
为昨日t时刻流量值,
为上周同期t时刻流量值,
为上月同期t时刻流量值,
为上月平均流量值。
参考变化量产出指标Ab2可通过以下公式计算:
其中,D
t为今日t时刻与t-1时刻的流量差,即D
t=S
t-S
t-1;为昨日t时刻与t-1时
刻的流量差,即为上周同期t时刻与t-1时刻的流量差,即为上月t时刻与t-1时刻的流量差,即为上月平均流量差,即
然后,流量异常值Abnormal可通过以下公式计算:
Abnormal=αAb1+(1-α)Ab2,
其中,α为权重,可根据实际需求设置。
在计算出异常值之后,还可获取异常值历史数据。其中,异常值历史数据可包括异常值,以及异常值出现的次数。再对异常值进行分段以生成N个异常值标点。其中,N为正整数。然后分别计算第i-1段异常值标点对应的异常值出现次数和第i段异常值标点对应的异常值出现次数之间的差值。其中,i为小于等于N的正整数。如果第j-1段异常值标点对应的异常值出现次数和第j段异常值标点对应的异常值出现次数之间的差值为最大值,则将第j段异常值标点作为异常阈值。其中,j为小于等于N的正整数。
举例来说,如图8所示,假设异常值为0.2时出现次数为25次,异常值为0.3时出现次数为20次,则两者差值为5次;假设异常值为0.7时出现次数为20次,异常值为0.8时出现次数为10次,则两者差值为10次。则可将异常值为0.8作为异常阈值。通过历史数据进行机器学习的方式自动调整异常阈值,无需人工干预。
本发明实施例的流量图谱的形成方法,通过获取多个页面中每个页面的流量数据和度数数据,以及将多个页面分别作为多个页面节点,以及根据每个页面的度数数据和流量数据生成多个页面节点之间的流量连接通道以形成流量图谱,能够多维度地展现页面节点的层级关系,以及每个页面节点的流量传播情况,为流量监控以及流量分析提供更加清晰明了、更加立体的数据支持。
为实现上述目的,本发明还提出一种流量图谱的形成装置。
图9是根据本发明一个实施例的流量图谱的形成装置的结构示意图一。
如图9所示,流量图谱的形成装置可包括:获取模块110和生成模块120。
获取模块110用于获取多个页面中每个页面的流量数据和度数数据。
其中,度数数据可包括出度数据和入度数据。出度数据为本页面能够跳转到的页面的个数,入度数据为跳转到本页面的页面的个数。流量数据可包括出度流量、入度流量和自连接流量。
生成模块120用于将多个页面分别作为多个页面节点,以及根据每个页面的度数数据和流量数据生成多个页面节点之间的流量连接通道以形成流量图谱。
其中,页面节点可为圆形,圆形的半径与页面节点的最大度数相关。页面节点具有第一至第三扇形区域。其中,第一至第三扇形区域的面积分别与出度流量、入度流量和自连接流量对应。另外,页面节点还可具有第四扇形区域,第四扇形区域的面积与出度流量和入度流量之间的差值对应。举例来说,如图2所示,页面节点AB可以用饼图来表示,即页面节点用圆形来表示,如果该页面节点的入度为10,出度为8,则该页面节点的最大度数为10,由此可确定该页面节点的半径。第一扇形区域表示出度流量;第二扇形区域表示入度流量;第三扇形区域表示自连接流量,即本页面进行刷新产生的流量;第四扇形区域表示出度流量和入度流量之间的差值。
流量连接通道的宽度与和流量连接通道相连的页面节点的流量数据相关,流量连接通道的方向与和流量连接通道相连的页面节点的度数数据相关。当流量连接通道为单向时,流量连接通道为直线;当流量连接通道为双向时,流量连接通道为曲线。举例来说,如图3所示,页面节点AB、页面节点CD和页面节点E,页面节点AB和页面节点CD之间的流量连接通道为单向,即从页面节点AB跳转至页面节点CD产生流量,因此可用直线来表示,且用单向箭头表示方向。页面节点AB跳转至页面节点CD的流量较大,因此线条较粗。而页面节点AB和页面节点E之间的流量连接通道为双向,即页面节点AB和页面节点E可互相跳转,可用曲线来表示,且用双向箭头表示方向。页面节点AB和页面节点E之间的流量较小,因此线条较细。
如图10所示,流量图谱的形成装置还可包括:展现模块130、合并模块140和确定模块150。
展现模块130用于将流量图谱展现给用户。
合并模块140用于接收用户针对两个页面节点的合并指令,并将两个页面节点进行合并,以及根据两个页面节点的流量数据和度数数据生成合并之后的流量数据和度数数据。举例来说,页面节点是可以有层次结构的,例如页面节点A和页面节点B可合并为页面节点AB,即页面节点A和页面节点B为页面节点AB的子节点。页面节点A和页面节点B的入度流量可相加生成页面节点AB的入度流量;同理,页面节点A和页面节点B的出度流量可相加生成页面节点AB的出度流量。页面节点A和页面节点B的最大度数相加生成页面节点AB的最大度数。
确定模块150用于根据合并之后的流量数据和度数数据确定合并之后的页面节点的半径及与合并之后页面节点相关的流量连接通道。如图5至图6所示,用户可通过点击树状结构中的页面节点进行合并操作,页面节点A与页面节点B之间的流量连接通道隐藏,页面节点A到页面节点CD的流量连接通道和页面节点B到页面节点CD的流量连接通道合并,从而生成页面节点AB到页面节点CD的流量连接通道。再根据页面节点AB的最大度数确定页面节点AB的半径。
举例来说,最终生成的流量图谱可如图7所示,可展示用户的行为例如查询行为、支付行为等产生的流量变化情况。例如:当某个页面节点流量异常的时候,流量会大幅变化,可通过流量图谱进行监控,以及为分析异常原因提供相应数据。另外,还可在不同维度间进行流量对比。维度可以是时间、人群、设备等等。此外,还能接收用户的操作,展现相应的信息,例如:用户可通过拖动鼠标,选择流量图谱中想要查看的页面节点。当然,也可通过鼠标滚轮放大或缩小图像、双击一个页面节点展现出该页面节点的子节点等等。
如图11所示,流量图谱的形成装置还可包括判断模块160。
判断模块160可获取页面节点的当前流量和历史参考流量,并根据当前流量和历史参考流量计算参考绝对值产出指标,然后获取页面节点的当前流量差和历史参考流量差,再根据页当前流量差和历史参考流量差计算参考变化量产出指标,最后根据参考绝对值产出指标和参考变化量产出指标确定流量异常值。如果流量异常值大于异常阈值,则判断页面节点的流量异常。
其中,历史参考流量包括昨日本时刻流量值、上周同期本时刻流量值、上月同期本时刻流量值和上月平均流量值。
具体地,参考绝对值产出指标Ab1可通过以下公式计算:
其中,S
t为今日t时刻的流量,
为昨日t时刻流量值,
为上周同期t时刻流量值,
为上月同期t时刻流量值,
为上月平均流量值。
参考变化量产出指标Ab2可通过以下公式计算:
其中,D
t为今日t时刻与t-1时刻的流量差,即D
t=S
t-S
t-1;为昨日t时刻与t-1时
刻的流量差,即为上周同期t时刻与t-1时刻的流量差,即为上月t时刻与t-1时刻的流量差,即为上月平均流量差,即
然后,流量异常值Abnormal可通过以下公式计算:
Abnormal=αAb1+(1-α)Ab2,
其中,α为权重,可根据实际需求设置。
如图12所示,流量图谱的形成装置还可包括设置模块170。
设置模块170可获取异常值历史数据。其中,异常值历史数据可包括异常值,以及异常值出现的次数。再对异常值进行分段以生成N个异常值标点。其中,N为正整数。然后分别计算第i-1段异常值标点对应的异常值出现次数和第i段异常值标点对应的异常值出现次数之间的差值。其中,i为小于等于N的正整数。如果第j-1段异常值标点对应的异常值出现次数和第j段异常值标点对应的异常值出现次数之间的差值为最大值,则将第j段异常值标点作为异常阈值。其中,j为小于等于N的正整数。
举例来说,如图8所示,假设异常值为0.2时出现次数为25次,异常值为0.3时出现次数为20次,则两者差值为5次;假设异常值为0.7时出现次数为20次,异常值为0.8时出现次数为10次,则两者差值为10次。则可将异常值为0.8作为异常阈值。通过历史数据进行机器学习的方式自动调整异常阈值,无需人工干预。
本发明实施例的流量图谱的形成装置,通过获取多个页面中每个页面的流量数据和度数数据,以及将多个页面分别作为多个页面节点,以及根据每个页面的度数数据和流量数据生成多个页面节点之间的流量连接通道以形成流量图谱,能够多维度地展现页面节点的层级关系,以及每个页面节点的流量传播情况,为流量监控以及流量分析提供更加清晰明了、更加立体的数据支持。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。