CN106815123A - 一种日志数据的图形展现方法和图像展现装置 - Google Patents
一种日志数据的图形展现方法和图像展现装置 Download PDFInfo
- Publication number
- CN106815123A CN106815123A CN201510868190.3A CN201510868190A CN106815123A CN 106815123 A CN106815123 A CN 106815123A CN 201510868190 A CN201510868190 A CN 201510868190A CN 106815123 A CN106815123 A CN 106815123A
- Authority
- CN
- China
- Prior art keywords
- keyword
- level
- pie chart
- data
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种日志数据的图形展现方法和装置,该方法包括:根据预设的关键字组对指定业务的原始日志数据逐条进行分词提取处理,得到每条原始日志数据对应的一条数据并保存到指定数据库;其中,该条数据包括关键字及关键字对应的值;关键字属于关键字组,关键字对应的值是从原始日志数据中通过分词提取对应得到;预设关键字组中包含一个或多个关键字;根据用户选择的一个或多个关键字,对指定数据库中的数据进行分类统计,得到关于一个或多个关键字的分类统计结果;根据分类统计结果生成对应的饼图。本发明的技术方案将日志中各关键字的统计结果关联后以饼图的形式进行多维度、立体化的呈现,极大地提高了日志数据的可读性及实用性。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种日志数据的图形展现方法和图像展现装置。
背景技术
随着大数据在各个领域的不断普及,对于数据呈现的重视程度也越来越高,现有的方案,基于大数据图形化展示定制系统,针对海量数据,提供了多种图形展示方案,例如柱状图、线条图、气泡图等。但是,基于大数据信息的多维化、立体化要求,使得简单的柱状图、线条图形展示方式不能满足大数据呈现的复杂需求。复杂的气泡图、股票图等图形又无法体现日志数据的针对性及特殊性。按照父节点、子节点数据进行树形结构展示的方式又无法满足当前各企业对于数据可读性的基础需求,降低了大数据平台上的日志分析的可读性、实用性。
发明内容
本发明提供了一种日志数据的图形展现方法和图像展现装置,以解决现有的日志数据的图形展现方案存在的无法体现日志数据的针对性以及降低了日志分析的可读性、实用性的问题。
根据本发明的一个方面,提供了一种根据预设的关键字组对指定业务的原始日志数据逐条进行分词提取处理,得到每条原始日志数据对应的一条数据并保存到指定数据库中;
其中,该条数据包括关键字以及关键字对应的值;关键字属于关键字组,关键字对应的值是从原始日志数据中通过分词提取对应得到的;预设关键字组中包含一个或多个关键字;
根据用户选择的一个或多个关键字,对指定数据库中的数据进行分类统计,得到关于用户选择的一个或多个关键字的分类统计结果;
根据分类统计结果生成对应的饼图。
可选地,预设关键字组是根据指定业务的日志数据特性确定的。
可选地,当用户选择的关键字为多个时,对指定数据库中的数据进行按照关键字对应的值进行分类统计,得到关于用户选择的多个关键字的层级关联分类统计结果;
根据层级关联分类统计结果,生成对应的多级饼图。
可选地,当用户选择的关键字为多个时,对指定数据库中的数据进行按照关键字对应的值进行分类统计,得到关于用户选择的多个关键字的层级关联分类统计结果;根据层级关联分类统计结果,生成对应的多级饼图包括:
对指定数据库中的数据,统计第一级关键字对应的值的总数量A,并根据第一级关键字对应的值的不同进行分类统计,得到第一级关键字对应的每一类值的数量B,分别计算每一类值的数量B占总数量A的第一比例M;根据第一比例M计算第一级关键字对应的每一类值的数量B在第一级饼图中的起止角度以及所占面积,根据起止角度以及所占面积生成第一级饼图;
对指定数据库中的数据,在第一级关键字对应的每一类值的数量B内,按照第二级关键字对应的值的不同进行分类统计,得到第二级关键字对应的每一类值的数量C,分别计算第二级关键字对应的每一类值的数量C占第一级关键字对应的每一类值的数量B的第二比例N;根据第二比例N计算第二级关键字对应的每一类值的数量C在第二级饼图中的起止角度以及所占面积,根据起止角度以及所占面积生成关联的第二级饼图。
可选地,根据第一比例M计算第一级关键字对应的每一类值的数量B在第一级饼图中的起止角度以及所占面积包括:
通过如下公式计算第一级关键字对应的每一类值的数量B在第一级饼图中的起止角度:
终止角度=K+2πM,其中,K是第一级饼图的起始角度,K等于0°或者K等于第一级饼图中相邻类值的数量所对应的终止角度,M是第一比例,π为常数;
通过如下公式计算第一级关键字对应的每一类值的数量B在第一级饼图中的所占面积:
所占面积=πMr2,其中,r为第一级饼图所在的圆的半径,是一个常数,M是第一比例;
根据第二比例N计算第二级关键字对应的每一类值的数量C在第二级饼图中的起止角度以及所占面积包括:
通过如下公式计算第二级关键字对应的每一类值的数量C在第二级饼图中的起止角度:
终止角度=K+2πMN,其中,K是第二级饼图的起始角度K=0°或者K等于第二级饼图中相邻类值的数量所对应的终止角度,M是第一比例,N是第二比例,π为常数;
通过如下公式计算第二级关键字对应的每一类值的数量C在第二级饼图中的所占面积:
所占面积=πMN(R2-r2),其中,M是第一比例,N是第二比例,R是第二级饼图所在的圆的半径,为一常数,r是第一级饼图所在的圆的半径,为一常数。
根据本发明的另一个方面,提供了一种日志数据的图像展现装置,该装置包括:
数据处理单元,用于根据预设的关键字组对指定业务的原始日志数据逐条进行分词提取处理,得到每条原始日志数据对应的一条数据并保存到指定数据库中;其中,该条数据包括关键字以及关键字对应的值;关键字属于关键字组,关键字对应的值是从原始日志数据中通过分词提取对应得到的;预设关键字组中包含一个或多个关键字;
统计单元,用于根据用户选择的一个或多个关键字,对指定数据库中的数据进行分类统计,得到关于用户选择的一个或多个关键字的分类统计结果;
图形展现单元,用于根据分类统计结果生成对应的饼图。
可选地,数据处理单元,具体用于根据指定业务的日志数据特性确定预设关键字组。
可选地,统计单元包括:多个关键字统计单元;
多个关键字统计单元,用于当用户选择的关键字为多个时,对指定数据库中的数据进行按照关键字对应的值进行分类统计,得到关于用户选择的多个关键字的层级关联分类统计结果;
图形展现单元,用于根据层级关联分类统计结果,生成对应的多级饼图。
可选地,多个关键字统计单元,具体用于对指定数据库中的数据,统计第一级关键字对应的值的总数量A,并根据第一级关键字对应的值的不同进行分类统计,得到第一级关键字对应的每一类值的数量B,分别计算得到的每一类值的数量B占总数量A的第一比例M;以及,对指定数据库中的数据,在第一级关键字对应的每一类值的数量B内,按照第二级关键字对应的值的不同进行分类统计,得到第二级关键字对应的每一类值的数量C,分别计算第二级关键字对应的每一类值的数量C占第一级关键字对应的每一类值的数量B的第二比例N;
图形展现单元,用于根据第一比例M计算第一级关键字对应的每一类值在第一级饼图中的起止角度以及所占面积,根据起止角度以及所占面积生成第一级饼图;以及,根据第二比例N计算第二级关键字对应的每一类值在第二级饼图中的起止角度以及所占面积,根据起止角度以及所占面积生成关联的第二级饼图。
可选地,图形展现单元,具体用于通过如下公式计算第一级关键字对应的每一类值在第一级饼图中的起止角度:
终止角度=K+2πM,其中,K是第一级饼图的起始角度K等于0°或者K等于第一级饼图中相邻类值的数量所对应的终止角度,M是第一比例,π为常数;
通过如下公式计算第一级关键字对应的每一类值在第一级饼图中的所占面积:
所占面积=πMr2,其中,r为第一级饼图所在的圆的半径,是一个常数,M是第一比例;
根据第二比例N计算第二级关键字对应的每一类值在第二级饼图中的起止角度以及所占面积包括:
通过如下公式计算第二级关键字对应的每一类值在第二级饼图中的起止角度:
终止角度=K+2πMN,其中,K是第二级饼图的起始角度K=0°或者K等于第二级饼图中相邻类值的数量所对应的终止角度,M是第一比例,N是第二比例,π为常数;
通过如下公式计算第二级关键字对应的每一类值在第二级饼图中的所占面积:
所占面积=πMN(R2-r2),其中,M是第一比例,N是第二比例,R是第二级饼图所在的圆的半径,为一常数,r是第一级饼图所在的圆的半径,为一常数。
本发明的有益效果是:本发明实施例的这种日志数据的图形展现方法和图形展现装置,按照预设的关键字组,利用分词提取处理技术对日志监控系统中的原始日志数据进行自动切割、分离,将分离后的结果作为关键字对应的值,根据用户对关键字的选择,统计用户所选的每个关键字对应的值,得到统计结果,或者根据用户所选关键字之间的联系,形成多级关联的统计结果,然后将统计结果以对应饼图的方式展示。改变了现有技术中图形展现方式对树形结构数据的简单钻取模式,灵活的将日志数据之间的数据结构简洁、直观的展现在用户面前,增强了日志数据的统计结果的可读性及可用性。
附图说明
图1是本发明一个实施例的一种日志数据的图形展现方法的流程图;
图2是本发明又一个实施例日志数据的图形展现方法完整实现流程图;
图3是本发明一个实施例的网站访问业务的原始日志数据示意图;
图4是本发明一个实施例提供的对原始日志数据进行分词提取处理得到对应的一条数据的示意图;
图5是本发明一个实施例的多个关键字之间的结构示意图;
图6是本发明一个实施例中生成的第一级饼图的示意图;
图7是本发明一个实施例中生成的两级饼图的示意图;
图8是本发明一个实施例提供的一种日志数据的图形展现装置的框图。
具体实施方式
本发明的核心思想是:针对大数据平台下的日志数据图形展示,直观性、可读性、可用性不佳的问题,基于大数据平台下日志数据的内在结构规律,利用分词提取处理技术按照预设的关键字组对原始日志数据进行标记,获取原始日志数据对应的统计数据,根据用户对关键字的选择确定饼图的显示层级,并对统计数据进行数据钻取,获得每个关键字对应的统计结果,结合关键字之间的联系,进一步形成多级关联的统计结果,从而利用该多级关联的统计结果生成多级饼图,这样用户通过多级饼图可以直观的查看到所选关键字的分布情况和统计结果以及该关键字与其他层级关键字的统计结果之间的关联关系,一目了然,提高了日志数据的可读性和可用性。
图1是本发明一个实施例的一种日志数据的图形展现方法的流程图,参见图1,
步骤S11,根据预设的关键字组对指定业务的原始日志数据逐条进行分词提取处理,得到每条原始日志数据对应的一条数据并保存到指定数据库中;
其中,该条数据包括关键字以及所述关键字对应的值;所述关键字属于所述关键字组,所述关键字对应的值是从所述原始日志数据中通过分词提取对应得到的;所述预设关键字组中包含一个或多个关键字;
步骤S12,根据用户选择的一个或多个关键字,对所述指定数据库中的数据进行分类统计,得到关于所述用户选择的一个或多个关键字的分类统计结果;
步骤S13,根据所述分类统计结果生成对应的饼图。
经过图1所示的步骤,本发明实施例的这种日志数据的图形展现方法实现了大数据平台下对日志分析统计结果以对应的饼图展现,改善了针对大数据领域数据呈现方式单调的现状。结合大数据平台下数据种类多样化的特点,饼图展现方式突破了现有线图、柱图的局限性,灵活的将数据之间的网络结构简洁、直观的展现在用户面前。利用了日志内容的结构规律性,全面增强了对大数据平台中日志数据统计结果展示的可读性及实用性。
在图1所示的方法中,预设的关键字组是根据指定业务的特点进行确定的。也就是说,不同业务的日志数据,预设的关键字组中的关键字可能不同。以下以大数据平台中的网页访问类日志数据为例,对本发明的这种日志数据的图形展现方法进行具体说明。
图2是本发明又一个实施例日志数据的图形展现方法完整实现流程图,参见图2,本发明又一个实施例中日志数据的图形展现方法包括步骤S21至步骤S26。
流程开始,执行步骤S21,实时批量采集原始日志数据信息;
图3是本发明一个实施例的网站访问业务的原始日志数据示意图,结合图3,图3示出了一段时间内某公司内部网站访问日志数据的示意图,在图3中示出了采集到的20条原始日志数据信息。
步骤S22,按照预设的关键字组,逐条进行分词提取;
在步骤S21得到的原始日志数据信息的基础上,按照预设的关键字组,逐条进行分词提取处理,得到原始日志数据对应的一条数据,在这条数据中包括:关键字以及关键字对应的值,其中,关键字是关键字组中的关键字,而关键字对应的值则是从原始日志数据中通过分词提取技术分离出来的。
图4是本发明一个实施例提供的对原始日志数据进行分词提取处理得到对应的一条数据的示意图,结合图4,在图3所得的20条数据的基础上,逐条进行分词提取(分词提取是把原始的一条日志,按照关键词进行分词,把原始日志中的对应数据提取出来作为关键字的值,这样原始的日志数据就可以通过关键词以及关键词的值这样的一条数据来表示),得到每条原始日志数据对应的一条数据。在图4中示意出了7个关键字,分别为:timestamp、requestpath、clientip、status、method、resplen、version;
步骤S23,对属于同一条原始日志数据的不同关键字进行标记,得到原始日志数据对应的一条数据;
本实施例中,预设关键字组中包括多个关键字,对属于同一条原始日志数据的不同关键字进行标记(也就是说对一条原始的日志数据利用关键词,从这条原始日志数据中把关键词对应的值取出来,形成一条新数据,每个原始日志数据都按照这种提取过程,则每条原始日志数据都可以对应得到一条新数据,这条新数据就相当于对原始的日志数据进行了标记),从而得到属于同一条原始日志数据的不同关键字对应的值。参见图4,还示意出了7个关键字对应的值,例如关键字clientip对应的值2.2.1.1。也就是说,将原始日志数据分割成多个片段,转换成了图4中所示的一条数据。而7个关键字对应的值都来自于一条原始日志数据(如图3所示),这样对20条原始日志数据进行分词提取和标记处理后,可以对应得到20条如图4所示的数据。
需要说明的是,图4是按照预设的关键字组中的7个关键字对得到的20条原始日志数据中的每一条进行标记的示意图。在本发明的其他实施例中,可以选取不同数量的关键字将原始日志数据进行分割,不限于本实施例中的7个关键字。
步骤S24,接收用户对关键字的选择;
图5是本发明一个实施例的多个关键字之间的结构示意图,参见图5,将20条原始日志数据按照预设的7个关键字进行分词提取和标记后,得到20条对应的数据。这样一条数据中的关键字之间形成了一种网状结构。本实施例的这种关键字网状结构中每个关键字和剩余的6个关键字都是平级的关联关系,不同于现有技术的关键字之间上下级依赖关系的树形结构。这种网状结构方便用户直观选择和自由组合,用户对哪个关键字感兴趣,可以在网状结构中选择一个关键字,后续再根据该关键字的分类统计结果生成对应的饼图并展现。
步骤S25,将所选关键字按照层级关联情况统计关键字对应的值,得到层级关联统计结果;
当用户选择的关键字为多个时,对指定数据库中的数据进行按照关键字对应的值进行分类统计,得到关于用户选择的多个关键字的层级关联分类统计结果;根据层级关联分类统计结果,生成对应的多级饼图。用户选择了关键字后,根据图4所示的数据进行统计,由于关键字对应的值的不同,我们可以得到每个关键字对应的值的分类统计结果,当用户只选择了一个关键字时,例如,用户选择了clientip这个关键字后,在20条如图4所示的数据中,统计clientip对应的值的分类统计结果。后续再生成一级饼图,以饼图的形式展现出这种分类统计结果。当用户选择了多个关键字时,为了增强日志数据的可读性以及实用性,本发明的这种方法还需要根据多个关键字之间的关联关系,得到层级关联统计结果。也就是说,根据用户的选择确定关键字之间的级别,如果用户选择多个关键字,那么先确定第一级关键字,然后确定第二级关键字,根据第二级关键字的分类统计结果以及第二级关键字的与第一级关键字的关联关系,生成两级关联的统计结果。
步骤S26,根据层级关联统计结果,生成多级饼图。流程结束。
根据步骤S25中得到的层级关联统计结果生成多级饼图。这里的多级饼图是在用户选择了多个关键字时的图形展现方式,如果用户只选择了一个关键字,则可以只生成该一个关键字对应的一级饼图。对此不作限制。
以下结合图3-图5对本发明实施例的这种对日志数据的图形展现方法进行具体说明。
本实施例中用户选择的关键字为两个,对指定数据库中的数据进行按照关键字对应的值进行分类统计,得到关于用户选择的两个关键字的层级关联分类统计结果;根据层级关联分类统计结果,生成对应的多级饼图。结合图3和图5,用户在图5所示的网状结构中选择了带展现的关键字clientip和status进行分级统计,且用户选中了将关键字clientip的统计结果作为第一级展现,将关键字status的统计结果作为第二级展现。
本实施例中,对指定数据库中的数据,统计第一级关键字对应的值的总数量A,并根据第一级关键字对应的值的不同进行分类统计,得到第一级关键字对应的每一类值的数量B,分别计算得到的每一类值的数量B占总数量A的第一比例M;根据第一比例M计算第一级关键字对应的每一类值在第一级饼图中的起止角度以及所占面积,根据起止角度以及所占面积生成第一级饼图;对指定数据库中的数据,在第一级关键字对应的每一类值的数量B内,按照第二级关键字对应的值的不同进行分类统计,得到第二级关键字对应的每一类值的数量C,分别计算第二级关键字对应的每一类值的数量C占第一级关键字对应的每一类值的数量B的第二比例N;根据第二比例N计算第二级关键字对应的每一类值在第二级饼图中的起止角度以及所占面积,根据起止角度以及所占面积生成关联的第二级饼图。
这里,指定数据库中存储的数据即图4所示的数据,由于图3中批量采集的是20条日志数据,对日志数据进行分词提出的图4所示的数据是和图3所示的数据对应的,所以指定数据库中存储的数据数量也为20。本发明实施例的方法先按照第一级关键字对指定数据库中的20条数据进行统计。具体的,根据图3所示的原始日志数据信息可知,第一级关键字对应的值的总数量A等于20。clientip对应的值有两类分别为2.2.1.1和192.168.22.102,并且在图3采集到的20条日志数据中,clientip为2.2.1.1日志条数和192.168.22.102日志条数均为10(即第一级关键字对应的每一类值的数量B等于10)。计算得到每一类值的数量B占总数量A的第一比例M均为50%。
接着,对指定数据库中的数据在第一级关键字对应的每一类值的数量B(10条)内,按照第二级关键字status对应的值的不同进行分类统计,得到第二级关键字status对应的每一类值的数量C,分别计算第二级关键字对应的每一类值的数量C占第一级关键字对应的每一类值的数量B的第二比例N。具体的,clientip为2.2.1.1的10条日志数据信息中有200、302、304三种status,三种status对应的日志条数分别为8条,1条和1条,即第二级关键字对应的每一类值的数量C,分别占到了clientip为2.2.1.1的日志信息总条数的80%,10%和10%,即第二级关键字对应的每一类值的数量C占第一级关键字对应的每一类值的数量B的第二比例N;
clientip为192.168.22.102的日志数据信息有200、304两种status,两种status分别为1条和9条,即第二级关键字对应的每一类值的数量C,占到了clientip为192.168.22.102的日志信息总条数的10%和90%,即第二级关键字对应的每一类值的数量C占第一级关键字对应的每一类值的数量B的第二比例N。
得到层级关联分类统计结果信息后,根据第一比例M生成第一级关键字对应的不同值的数量B在第一级饼图中的起止角度和所占面积。具体的,通过下面的公式进行计算:
终止角度=K+2πM
其中,K为起始角度,K=0°,M是各clientip与总日志条数的比值。
例如,clientip为2.2.1.1的统计结果为10条,而总日志条数为20条,则M=50%,终止角度为180°。由此可知,clientip为2.2.1.1的统计结果在第一级饼图中的起止角度为0°至180°;
clientip为192.168.22.102的统计结果,K=180°(即相邻的clientip为2.1.1.1的数量所对应的终止角度),M=50%,终止角度为360°,由此可知,clientip为192.168.22.102的统计结果在第一级饼图中的起止角度为180°至360°。
需要说明的是,本实施例中以clientip为2.2.1.1的统计结果的起始角度为0°,可以理解在本发明的其他实施例中,可以将clientip为192.168.22.102的统计结果的起始角度作为0°,对此不作限制。
接下来,分别计算clientip为192.168.22.102的统计结果和2.2.1.1的统计结果在第一级饼图中所占的面积:
所占面积=πMr2
r为第一级饼图所在的圆的半径,是一个常数,本实施例中,r=5,M是第一比例,这里M=50%;
通过计算可知,clientip为2.2.1.1的统计结果在第一级饼图中所占面积为12.5π;clientip为192.168.22.102的统计结果在第一级饼图中所占面积为12.5π。
根据上述clientip对应的值的分类统计结果的起止角度和所占面积,生成第一级饼图。图6是本发明一个实施例中生成的第一级饼图的示意图,参见图6,图6中大圆代表总日志数量,右半圆代表关键字clientip对应的值为2.2.2.1时的统计结果,左半圆代表关键字clientip对应的值为192.168.22.102时的统计结果。
通过图6所示的饼图,可以直观、简洁的看出大数据平台下采集的原始日志数据的分类统计结果情况,更加具有直观性和可读性。
接下来,根据用户对status的选择以及status在clientip对应的值的分类统计结果的关联关系生成两级饼图。具体的,计算第二层级饼图中,status关键字对应的值的分类统计结果所对应的起止角度和所占面积:
终止角度=K+2πMN
其中,K是第二级饼图的起始角度K=0°或者K等于第二级饼图中相邻类值的数量所对应的终止角度,M是第一比例,N是第二比例,π为常数;
具体的,在clientip为2.2.1.1时的统计结果内:
关键字status对应的值为200时,起始角度K=0°,N=80%,M=50%,则终止角度为144°;
关键字status对应的值为302时,起始角度K=144°,N=10%,M=50%,则终止角度为162°;
关键字status对应的值为304时,起始角度K=162°,N=10%,M=50%,则终止角度为180°;
即clientip对应的值为2.2.1.1时,在第二级饼图中,关键字status为200的统计结果所对应的起止角度为0°至144°;
关键字status为302的统计结果所对应的起止角度为144°至162°;
关键字status为304时的统计结果所对应的起止角度为162°至180°。
在clientip为192.168.22.102时的统计结果内:
status为200时,起始角度K=180°,N=10%,M=50%,则终止角度为198°;
status为304时,起始角度K=198°,N=90%,M=50%,则终止角度为360°。
即clientip为192.168.22.102,在第二级饼图中,关键字status的值为200时的统计结果的起止角度为180°至198°;
关键字status的值为304时的统计结果所对应的起止角度为198°至360°。
通过如下公式计算第二级关键字对应的每一类值的数量在第二级饼图中的所占面积:
所占面积=πMN(R2-r2)
其中,M是第一比例,N是第二比例,R是第二级饼图所在的圆的半径,为一常数,r是第一级饼图所在的圆的半径,为一常数。
具体的,在clientip的值为2.2.1.1的统计结果内,
Status值为200时,R=7,r=5,N=80%,M=50%,则Status值为200的统计结果所占面积为9.6π;
status值为302,R=7,r=5,N=10%,M=50%,则status值为302的统计结果所占面积为1.2π;
status值为304时,R=7,r=5,N=10%,M=50%,则所占面积为1.2π。
即clientip为2.2.1.1,在第二级饼图中,status为200的关键字所占面积为9.6π;status为302的关键字所占面积为1.2π;status为304的关键字所占面积为1.2π。
在关键字clientip对应的值为192.168.22.102的统计结果内:
关键字status值为200时,R=7,r=5,N=90%,M=50%,则status值为200对应所占的面积为10.8π;
关键字status值为304时,R=7,r=5,N=10%,M=50%,则status值为304对应所占的面积为1.2π。
即clientip值为192.168.22.102时,在第二级饼图中,status为200的统计结果所占面积为10.8π;status为304的统计结果所占面积为1.2π。
根据上述第二级饼图中关键字status的分类统计结果生成第二级饼图。图7是本发明一个实施例中生成的两级饼图的示意图,参见图7,第二级饼图所在的圆与第一级饼图所在的圆之间满足同心圆的关系。
本实施例中,第二级饼图所在的圆的半径为7,而第一级饼图所在的圆的半径为5。在图6所示的一级饼图的基础上,图7所示的两级饼图上直观显示了关键字status的分布情况,及其与clientip的层级关联关系。具体的
在关键字clientip的值为2.2.1.1的统计结果对应的第一级饼图右半圆的外环上,分别展现关键字status的分类统计结果,即status值为200的统计结果分布情况、status值为302的统计结果分布情况以及status值为304的统计结果分布情况。图7灵活的将原始日志数据信息分统计分析结果简洁、直观的显示给用户,通过分层级展现更加具有可读性和可用性。
由图6和图7可知,本发明实施例的这种日志数据的图形展现方法提供一种大数据平台上对日志数据分析统计结果的多级呈现。采用多级饼图的形式将日志数据中各关键字对应的值的统计结果关联后,进行多维度、立体化的数据呈现。不局限于现有中的树形结构,通过基于关键字内在联系的网状结构,用户可以灵活的选择、组合,并经过处理后形成关键字的多级关联统计结果,最终将数据钻取的统计结果以多级饼图(或者扇形图)的方式分层级的展示在同一页面中。实现直观、形象的对日志数据进行分层级展示,极大地提高了日志数据的统计结果的可读性及可用性。
图8是本发明一个实施例提供的一种日志数据的图形展现装置的框图,参见图8,该日志数据的图形展现装置80包括:数据处理单元801,用于根据预设的关键字组对指定业务的原始日志数据逐条进行分词提取处理,得到每条原始日志数据对应的一条数据并保存到指定数据库中;其中,该条数据包括关键字以及关键字对应的值;关键字属于关键字组,关键字对应的值是从原始日志数据中通过分词提取对应得到的;预设关键字组中包含一个或多个关键字;
统计单元802,用于根据用户选择的一个或多个关键字,对指定数据库中的数据进行分类统计,得到关于用户选择的一个或多个关键字的分类统计结果;
图形展现单元803,用于根据分类统计结果生成对应的饼图。
在本发明的一个实施例中,数据处理单元801,具体用于根据指定业务的日志数据特性确定预设关键字组。
在本发明的一个实施例中,统计单元802包括:多个关键字统计单元;
多个关键字统计单元,用于当用户选择的关键字为多个时,对指定数据库中的数据进行按照关键字对应的值进行分类统计,得到关于用户选择的多个关键字的层级关联分类统计结果;
图形展现单元803,用于根据层级关联分类统计结果,生成对应的多级饼图。
在本发明的一个实施例中,多个关键字统计单元,具体用于对指定数据库中的数据,统计第一级关键字对应的值的总数量A,并根据第一级关键字对应的值的不同进行分类统计,得到第一级关键字对应的每一类值的数量B,分别计算得到的每一类值的数量B占总数量A的第一比例M;以及,对指定数据库中的数据,在第一级关键字对应的每一类值的数量B内,按照第二级关键字对应的值的不同进行分类统计,得到第二级关键字对应的每一类值的数量C,分别计算第二级关键字对应的每一类值的数量C占第一级关键字对应的每一类值的数量B的第二比例N;
图形展现单元803,用于根据第一比例M计算第一级关键字对应的每一类值在第一级饼图中的起止角度以及所占面积,根据起止角度以及所占面积生成第一级饼图;以及,根据第二比例N计算第二级关键字对应的每一类值在第二级饼图中的起止角度以及所占面积,根据起止角度以及所占面积生成关联的第二级饼图。
在本发明的一个实施例中,图形展现单元803,具体用于通过如下公式计算第一级关键字对应的每一类值在第一级饼图中的起止角度:
终止角度=K+2πM,其中,K是第一级饼图的起始角度K等于0°或者K等于第一级饼图中相邻类值的数量所对应的终止角度,M是第一比例,π为常数;
通过如下公式计算第一级关键字对应的每一类值在第一级饼图中的所占面积:
所占面积=πMr2,其中,r为第一级饼图所在的圆的半径,是一个常数,M是第一比例;
根据第二比例N计算第二级关键字对应的每一类值在第二级饼图中的起止角度以及所占面积包括:
通过如下公式计算第二级关键字对应的每一类值在第二级饼图中的起止角度:
终止角度=K+2πMN,其中,K是第二级饼图的起始角度K=0°或者K等于第二级饼图中相邻类值的数量所对应的终止角度,M是第一比例,N是第二比例,π为常数;
通过如下公式计算第二级关键字对应的每一类值在第二级饼图中的所占面积:
所占面积=πMN(R2-r2),其中,M是第一比例,N是第二比例,R是第二级饼图所在的圆的半径,为一常数,r是第一级饼图所在的圆的半径,为一常数。
需要说明的是,本实施例中的这种日志数据的图形展现装置是和前述实施例中的日志数据的图形展现方法相对应的,本实施例中的日志数据的图形展现装置的实现步骤可以具体参见前述日志数据的图形展现方法部分的说明,这里不再赘述。
综上可知,本发明实施例的技术方案基于大数据平台对日志分析统计结果的多级饼图呈现,改善了针对大数据领域数据呈现方式单调的现状。结合大数据平台下数据种类多样化的特点,本实施例的多级饼图突破了现有线图、柱图的局限性,动态选择、自由组合日志关键字的手段,改变了现有多级饼图中对树状数据结构展示的简单钻取模式,灵活的将数据之间的网络结构简洁、直观的展现在用户面前,增强了对日志数据统计结果展示的可读性及实用性。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种日志数据的图形展现方法,其特征在于,该方法包括:
根据预设的关键字组对指定业务的原始日志数据逐条进行分词提取处理,得到每条原始日志数据对应的一条数据并保存到指定数据库中;
其中,该条数据包括关键字以及所述关键字对应的值;所述关键字属于所述关键字组,所述关键字对应的值是从所述原始日志数据中通过分词提取对应得到的;所述预设关键字组中包含一个或多个关键字;
根据用户选择的一个或多个关键字,对所述指定数据库中的数据进行分类统计,得到关于所述用户选择的一个或多个关键字的分类统计结果;
根据所述分类统计结果生成对应的饼图。
2.如权利要求1所述的日志数据的图形展现方法,其特征在于,所述预设关键字组是根据所述指定业务的日志数据特性确定的。
3.如权利要求1所述的日志数据的图形展现方法,其特征在于,
当用户选择的关键字为多个时,对所述指定数据库中的数据进行按照关键字对应的值进行分类统计,得到关于所述用户选择的多个关键字的层级关联分类统计结果;
根据所述层级关联分类统计结果,生成对应的多级饼图。
4.如权利要求3所述的日志数据的图形展现方法,其特征在于,所述当用户选择的关键字为多个时,对所述指定数据库中的数据进行按照关键字对应的值进行分类统计,得到关于所述用户选择的多个关键字的层级关联分类统计结果;根据所述层级关联分类统计结果,生成对应的多级饼图包括:
对所述指定数据库中的数据,统计第一级关键字对应的值的总数量A,并根据第一级关键字对应的值的不同进行分类统计,得到第一级关键字对应的每一类值的数量B,分别计算每一类值的数量B占所述总数量A的第一比例M;
根据所述第一比例M,计算第一级关键字对应的每一类值的数量B在第一级饼图中的起止角度以及所占面积,根据所述起止角度以及所占面积生成第一级饼图;
对所述指定数据库中的数据,在第一级关键字对应的每一类值的数量B内,按照第二级关键字对应的值的不同进行分类统计,得到第二级关键字对应的每一类值的数量C,分别计算第二级关键字对应的每一类值的数量C占所述第一级关键字对应的每一类值的数量B的第二比例N;
根据所述第二比例N计算第二级关键字对应的每一类值的数量C在第二级饼图中的起止角度以及所占面积,根据所述起止角度以及所占面积生成关联的第二级饼图。
5.如权利要求4所述的日志数据的图形展现方法,其特征在于,所述根据所述第一比例M计算第一级关键字对应的每一类值的数量B在第一级饼图中的起止角度以及所占面积包括:
通过如下公式计算所述第一级关键字对应的每一类值的数量B在第一级饼图中的起止角度:
终止角度=K+2πM,其中,K是第一级饼图的起始角度K等于0°或者K等于第一级饼图中相邻类值的数量所对应的终止角度,M是第一比例,π为常数;
通过如下公式计算所述第一级关键字对应的每一类值的数量B在第一级饼图中的所占面积:
所占面积=πMr2,其中,r为第一级饼图所在的圆的半径,是一个常数,M是第一比例;
所述根据所述第二比例N计算第二级关键字对应的每一类值的数量C在第二级饼图中的起止角度以及所占面积包括:
通过如下公式计算所述第二级关键字对应的每一类值的数量C在第二级饼图中的起止角度:
终止角度=K+2πMN,其中,K是第二级饼图的起始角度K=0°或者K等于第二级饼图中相邻类值的数量所对应的终止角度,M是第一比例,N是第二比例,π为常数;
通过如下公式计算所述第二级关键字对应的每一类值的数量C在第二级饼图中的所占面积:
所占面积=πMN(R2-r2),其中,M是第一比例,N是第二比例,R是第二级饼图所在的圆的半径,为一常数,r是第一级饼图所在的圆的半径,为一常数。
6.一种日志数据的图形展现装置,其特征在于,该装置包括:
数据处理单元,用于根据预设的关键字组对指定业务的原始日志数据逐条进行分词提取处理,得到每条原始日志数据对应的一条数据并保存到指定数据库中;其中,该条数据包括关键字以及所述关键字对应的值;所述关键字属于所述关键字组,所述关键字对应的值是从所述原始日志数据中通过分词提取对应得到的;所述预设关键字组中包含一个或多个关键字;
统计单元,用于根据用户选择的一个或多个关键字,对所述指定数据库中的数据进行分类统计,得到关于所述用户选择的一个或多个关键字的分类统计结果;
图形展现单元,用于根据所述分类统计结果生成对应的饼图。
7.如权利要求6所述的日志数据的图形展现装置,其特征在于,所述数据处理单元,具体用于根据所述指定业务的日志数据特性确定所述预设关键字组。
8.如权利要求6所述的日志数据的图形展现装置,其特征在于,所述统计单元包括:多个关键字统计单元;
所述多个关键字统计单元,用于当用户选择的关键字为多个时,对所述指定数据库中的数据进行按照关键字对应的值进行分类统计,得到关于所述用户选择的多个关键字的层级关联分类统计结果;
所述图形展现单元,用于根据所述层级关联分类统计结果,生成对应的多级饼图。
9.如权利要求8所述的日志数据的图形展现装置,其特征在于,
所述多个关键字统计单元,具体用于对所述指定数据库中的数据,统计第一级关键字对应的值的总数量A,并根据第一级关键字对应的值的不同进行分类统计,得到第一级关键字对应的每一类值的数量B,分别计算每一类值的数量B占所述总数量A的第一比例M;以及,对所述指定数据库中的数据,在第一级关键字对应的每一类值的数量B内,按照第二级关键字对应的值的不同进行分类统计,得到第二级关键字对应的每一类值的数量C,分别计算第二级关键字对应的每一类值的数量C占所述第一级关键字对应的每一类值的数量B的第二比例N;
所述图形展现单元,用于根据所述第一比例M计算第一级关键字对应的每一类值的数量B在第一级饼图中的起止角度以及所占面积,根据所述起止角度以及所占面积生成第一级饼图;以及,根据所述第二比例N计算第二级关键字对应的每一类值的数量C在第二级饼图中的起止角度以及所占面积,根据所述起止角度以及所占面积生成关联的第二级饼图。
10.如权利要求9所述的日志数据的图形展现装置,其特征在于,所述图形展现单元,具体用于通过如下公式计算所述第一级关键字对应的每一类值的数量B在第一级饼图中的起止角度:
终止角度=K+2πM,其中,K是第一级饼图的起始角度,K等于0°或者K等于第一级饼图中相邻类值的数量所对应的终止角度,M是第一比例,π为常数;
通过如下公式计算所述第一级关键字对应的每一类值的数量B在第一级饼图中的所占面积:
所占面积=πMr2,其中,r为第一级饼图所在的圆的半径,是一个常数,M是第一比例;
所述根据所述第二比例N计算第二级关键字对应的每一类值的数量C在第二级饼图中的起止角度以及所占面积包括:
通过如下公式计算所述第二级关键字对应的每一类值的数量C在第二级饼图中的起止角度:
终止角度=K+2πMN,其中,K是第二级饼图的起始角度K=0°或者K等于第二级饼图中相邻类值的数量所对应的终止角度,M是第一比例,N是第二比例,π为常数;
通过如下公式计算所述第二级关键字对应的每一类值的数量C在第二级饼图中的所占面积:
所占面积=πMN(R2-r2),其中,M是第一比例,N是第二比例,R是第二级饼图所在的圆的半径,为一常数,r是第一级饼图所在的圆的半径,为一常数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510868190.3A CN106815123B (zh) | 2015-12-01 | 2015-12-01 | 一种日志数据的图形展现方法和图像展现装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510868190.3A CN106815123B (zh) | 2015-12-01 | 2015-12-01 | 一种日志数据的图形展现方法和图像展现装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106815123A true CN106815123A (zh) | 2017-06-09 |
CN106815123B CN106815123B (zh) | 2020-11-20 |
Family
ID=59108158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510868190.3A Active CN106815123B (zh) | 2015-12-01 | 2015-12-01 | 一种日志数据的图形展现方法和图像展现装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106815123B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107992622A (zh) * | 2017-12-22 | 2018-05-04 | 新奥(中国)燃气投资有限公司 | 一种资讯信息的展示方法和装置 |
CN109710585A (zh) * | 2018-08-20 | 2019-05-03 | 平安普惠企业管理有限公司 | 多系统关联预警方法、装置、设备及计算机可读存储介质 |
CN111046304A (zh) * | 2018-10-12 | 2020-04-21 | 阿里巴巴集团控股有限公司 | 数据搜索方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1975725A (zh) * | 2006-12-12 | 2007-06-06 | 华为技术有限公司 | 一种管理日志的方法及系统 |
CN101561850A (zh) * | 2009-06-10 | 2009-10-21 | 华中科技大学 | 海量多道神经信息综合处理系统及其控制方法 |
CN101719119A (zh) * | 2009-11-18 | 2010-06-02 | 上海众恒信息产业有限公司 | 一种报表管理系统及方法 |
CN102780726A (zh) * | 2011-05-13 | 2012-11-14 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
CN103166794A (zh) * | 2013-02-22 | 2013-06-19 | 中国人民解放军91655部队 | 一种具有一体化安全管控功能的信息安全管理方法 |
CN103324701A (zh) * | 2013-06-13 | 2013-09-25 | 深圳中兴网信科技有限公司 | 数据搜索装置和数据搜索方法 |
CN104572978A (zh) * | 2014-12-31 | 2015-04-29 | 国家电网公司 | 基于日志的电力调度自动化系统用户行为统计方法 |
-
2015
- 2015-12-01 CN CN201510868190.3A patent/CN106815123B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1975725A (zh) * | 2006-12-12 | 2007-06-06 | 华为技术有限公司 | 一种管理日志的方法及系统 |
CN101561850A (zh) * | 2009-06-10 | 2009-10-21 | 华中科技大学 | 海量多道神经信息综合处理系统及其控制方法 |
CN101719119A (zh) * | 2009-11-18 | 2010-06-02 | 上海众恒信息产业有限公司 | 一种报表管理系统及方法 |
CN102780726A (zh) * | 2011-05-13 | 2012-11-14 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
CN103166794A (zh) * | 2013-02-22 | 2013-06-19 | 中国人民解放军91655部队 | 一种具有一体化安全管控功能的信息安全管理方法 |
CN103324701A (zh) * | 2013-06-13 | 2013-09-25 | 深圳中兴网信科技有限公司 | 数据搜索装置和数据搜索方法 |
CN104572978A (zh) * | 2014-12-31 | 2015-04-29 | 国家电网公司 | 基于日志的电力调度自动化系统用户行为统计方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107992622A (zh) * | 2017-12-22 | 2018-05-04 | 新奥(中国)燃气投资有限公司 | 一种资讯信息的展示方法和装置 |
CN107992622B (zh) * | 2017-12-22 | 2021-10-15 | 新奥(中国)燃气投资有限公司 | 一种资讯信息的展示方法和装置 |
CN109710585A (zh) * | 2018-08-20 | 2019-05-03 | 平安普惠企业管理有限公司 | 多系统关联预警方法、装置、设备及计算机可读存储介质 |
CN111046304A (zh) * | 2018-10-12 | 2020-04-21 | 阿里巴巴集团控股有限公司 | 数据搜索方法及装置 |
CN111046304B (zh) * | 2018-10-12 | 2023-10-13 | 阿里巴巴集团控股有限公司 | 数据搜索方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106815123B (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230244365A1 (en) | Automated predictive scoring in event collection | |
CN103138986B (zh) | 一种基于可视分析的网站异常访问行为的检测方法 | |
Shi et al. | 1.5 D egocentric dynamic network visualization | |
CN104011720B (zh) | 行动属性分析方法以及装置 | |
CN104915455B (zh) | 一种基于用户行为的网站异常访问识别方法及系统 | |
CN105843909A (zh) | 金融信息的推送方法及装置 | |
CN106056407A (zh) | 基于用户行为分析的网银用户画像方法及设备 | |
CN106570008A (zh) | 推荐方法及装置 | |
CN105868237A (zh) | 媒体数据推荐方法及服务器 | |
EP3073393A1 (en) | Data processing method and device | |
CN108170692A (zh) | 一种热点事件信息处理方法和装置 | |
CN106682212A (zh) | 一种基于用户移动行为的社会关系分类方法与装置 | |
CN104794341B (zh) | 一种中西医联合用药禁忌预警系统 | |
CN106227828B (zh) | 一种同构层次数据对比可视分析方法和应用 | |
CN107563621A (zh) | 一种网站用户流失情况分析方法及装置 | |
CN106446073A (zh) | 一种用户等级划分方法及装置 | |
CN106815123A (zh) | 一种日志数据的图形展现方法和图像展现装置 | |
CN104572726A (zh) | 一种广告分析方法 | |
CN107678808A (zh) | 页面信息选取方案生成方法及装置 | |
CN109636337A (zh) | 一种基于大数据的人才库构建方法及电子设备 | |
CN106302568B (zh) | 一种用户行为评价方法、装置及系统 | |
CN103714120B (zh) | 一种从用户url访问记录中提取用户兴趣话题的系统 | |
CN107480279A (zh) | 一种网络家谱体例的生成方法 | |
Wang et al. | Hierarchical visualization of geographical areal data with spatial attribute association | |
CN110020152A (zh) | 应用推荐方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 818, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080 Applicant after: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd. Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building 6 storey block A Room 601 Applicant before: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |