CN110471962B - 活跃数据报表的生成方法和系统 - Google Patents
活跃数据报表的生成方法和系统 Download PDFInfo
- Publication number
- CN110471962B CN110471962B CN201910606317.2A CN201910606317A CN110471962B CN 110471962 B CN110471962 B CN 110471962B CN 201910606317 A CN201910606317 A CN 201910606317A CN 110471962 B CN110471962 B CN 110471962B
- Authority
- CN
- China
- Prior art keywords
- statistical
- caliber
- active data
- statistical caliber
- active
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002159 abnormal effect Effects 0.000 claims abstract description 107
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 abstract description 13
- 230000008520 organization Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域,本发明提供一种活跃数据报表的生成方法和系统,所述方法包括:获取树形结构中底层子节点对应的活跃数据和原始统计口径;将原始统计口径划分为标准统计口径和异常统计口径,并获得异常统计节点;按照树形结构由底层子节点往父节点的方向以标准统计口径对活跃数据进行汇总统计,生成标准统计口径的第一活跃数据报表;计算异常统计节点的第二活跃指标,将第二活跃指标添加至第一活跃数据报表,形成第二活跃数据报表。上述方法可以根据多个统计口径对树形结构的节点进行汇总统计,生成兼具标准统计口径和异常统计口径下活跃指标的第二活跃数据报表,第二活跃数据报表的准确性高,提高了多统计口径下活跃数据处理的效果。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,本发明涉及一种活跃数据报表的生成方法、活跃数据报表的生成系统、计算机设备和存储介质。
背景技术
对于一些具有丰富上层节点和下层节点的树形结构,通过有序地由上而下进行管理和数据统计,可以快速简便地实现对树形结构中各个节点的数据统计。例如可以将形如树形结构的公司中各个直属的下辖机构将其对应的活跃数据和活跃指标汇总至上级机构,逐层完成公司树形结构的活跃指标的统计。
树形结构中由下向上的数据统计中,一般采用一个标准的统计口径进行汇总统计。例如在公司树形架构的数据统计中,一般是基于同一个统计口径对下辖机构的统计数据进行汇总统计,可以快速简便地完成公司树形架构的数据统计。
但是实际上,由于公司树形架构中上级机构和下辖机构的职责和功能会存在一定的差异,因此上级机构和下辖机构对于数据统计的关注方向会有所不同,导致上级机构和下辖机构、以及同层的机构之间对活跃数据的统计口径会出现区别对待的情况。此时,树形结构中节点出现具有需要区别对待的统计口径,传统现有方式下树形结构下活跃数据统计的准确性低。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一,特别是活跃数据统计的准确性低的技术缺陷。
本发明提供一种活跃数据报表的生成方法,包括如下步骤:
获取树形结构中底层子节点对应的活跃数据,并获取所述树形结构中各层父节点的原始统计口径;
将所述原始统计口径划分为标准统计口径和异常统计口径,并将所述异常统计口径对应的父节点作为异常统计节点;
按照所述树形结构由所述底层子节点往所述父节点的方向以所述标准统计口径对所述活跃数据进行汇总统计,得到各层父节点的第一活跃指标,并根据所述第一活跃指标生成所述标准统计口径的第一活跃数据报表;
根据所述树形结构、所述异常统计口径和所述活跃数据,计算所述异常统计节点的第二活跃指标,将所述第二活跃指标添加至所述第一活跃数据报表,形成第二活跃数据报表。
在一个实施例中,所述获取树形结构中底层子节点对应的活跃数据的步骤,包括:
对目标应用程序进行数据埋点,获取所述数据埋点的原始活跃数据以及所述原始活跃数据集对应的对象基本信息;根据所述树形结构的结构属性信息确定所述底层子节点的目标对象信息;根据所述目标对象信息和所述对象基本信息,从所述原始活跃数据中获取所述底层子节点对应的活跃数据。
在一个实施例中,所述根据所述树形结构的结构属性信息确定所述底层子节点的目标对象信息的步骤,包括:
根据所述树形结构的结构属性信息提取各所述层的基本层属性信息;从所述基本层属性信息中获取目标层的目标层属性信息,其中,所述目标层为与所述底层子节点相关联的父节点所在的层;根据所述目标层属性信息建立所述底层子节点的用户画像;根据所述底层子节点的用户画像确定所述底层子节点的目标对象信息。
在一个实施例中,所述将所述原始统计口径划分为标准统计口径和异常统计口径的步骤,包括:
根据统计口径优先级列表确定所述原始统计口径的优先级,其中,所述统计口径优先级列表用于按照优先级顺序记录统计口径;将优先级最高的一个原始统计口径作为所述标准统计口径,并将与所述标准统计口径不同的原始统计口径作为异常统计口径。
在一个实施例中,所述将所述原始统计口径划分为标准统计口径和异常统计口径的步骤,包括:
统计相同的原始统计口径的出现次数;将出现次数最多的一个原始统计口径作为所述标准统计口径,并将与所述标准统计口径不同的原始统计口径作为异常统计口径。
在一个实施例中,所述将所述原始统计口径划分为标准统计口径和异常统计口径的步骤,包括:
将具有相同统计口径的原始统计口径作为同类统计口径;获取该同类统计口径对应的各个节点的节点权重,对所述节点权重进行求和,获得该同类统计口径的结构重要系数;根据各个同类统计口径的结构重要系数,将最大的结构重要系数对应的同类统计口径作为所述标准统计口径,并将与所述标准统计口径不同的原始统计口径作为异常统计口径。
在一个实施例中,所述计算所述异常统计节点的第二活跃指标的步骤,包括:
从所述树形结构提取所述异常统计节点的子树;按照所述子树由所述底层子节点往所述父节点的方向以所述异常统计口径对所述子树中底层子节点的活跃数据进行汇总统计,得到所述第二活跃指标。
本发明还提供一种活跃数据报表的生成系统,包括:
获取模块,用于获取树形结构中底层子节点对应的活跃数据,并获取所述树形结构中各层父节点的原始统计口径;
划分模块,用于将所述原始统计口径划分为标准统计口径和异常统计口径,并将所述异常统计口径对应的父节点作为异常统计节点;
汇总统计模块,用于按照所述树形结构由所述底层子节点往所述父节点的方向以所述标准统计口径对所述活跃数据进行汇总统计,得到各层父节点的第一活跃指标,并根据所述第一活跃指标生成所述标准统计口径的第一活跃数据报表;
结合模块,用于根据所述树形结构、所述异常统计口径和所述活跃数据,计算所述异常统计节点的第二活跃指标,将所述第二活跃指标添加至所述第一活跃数据报表,形成第二活跃数据报表。
本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例所述活跃数据报表的生成方法的步骤。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述活跃数据报表的生成方法的步骤。
上述的活跃数据报表的生成方法、系统、计算机设备和存储介质,可以根据多个统计口径对树形结构的节点进行汇总统计,生成兼具标准统计口径和异常统计口径下活跃指标的第二活跃数据报表,提高了多统计口径下活跃数据处理的效果,第二活跃数据报表的准确性高;同时,以标准统计口径对树形结构所有节点进行汇总统计后,再对异常统计口径的单独加工处理,可以避免重新根据异常统计口径对所有节点进行汇总统计,可以大大减少获取第二统计报表中活跃指标的工作量。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为一个实施例中树形结构的结构示意图;
图2为一个实施例中活跃数据报表的生成方法的流程图;
图3为另一个实施例中活跃数据报表的生成方法的流程图;
图4为一个实施例中活跃数据报表的生成系统的结构示意图;
图5为一个实施例中计算机设备的内部结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
如图1所示,图1为一个实施例中树形结构的结构示意图,该树形结构是由节点所形成的拓扑结构,树形结构具有多个层,树形结构的节点包括底层子节点110和各个层的父节点120。图1中所示的树形结构包括A、B、C和D层,A层中包括A1至A19的底层子节点110,B层中包括B1至B8的父节点120,C层包括C1、C2和C3的父节点120,D层包括D1的父节120点;A层为底层,B层高于A层,C层高于B层,D层高于C层。各个节点代表着相应的统计范围,相关联节点的统计范围之间存在特定联系。在实际需求中,可以根据实际数据处理的需要,根据应用场景确定该场景所匹配的树形结构以及树形结构中各个节点的意义。在一个例子中,如对行业、公司或组织机构的相关数据,在按照所属下辖机构的关系进行汇总统计时,可以将行业、公司或组织机构中下辖机构之间形成的树形架构作为树形结构。
在一个实施例中,如图2所示,图2为一个实施例中活跃数据报表的生成方法的流程图,本实施例中提出了一种活跃数据报表的生成方法,具体可以包括以下步骤:
步骤S210:获取树形结构中底层子节点对应的活跃数据,并获取树形结构中各层父节点的原始统计口径。
树形结构可以是根据底层子节点和各层的父节点按照节点之间的层级关系所形成,该树形结构可以记录汇总统计的方向和各次汇总下数据来源的节点。树形结构中,最底层的子节点为底层子节点,最底层之上的层中节点为父节点。本步骤中,原始统计口径可以是为该父节点统计活跃数据并生成活跃指标所采用的标准。活跃数据可以是应用程序或互联网网络产品中活跃用户、操作次数、流量等的数据,底层子节点对应的活跃数据可以是某个统计范围内的活跃数据,树形结构也因此可以反映各个节点的统计范围之间的联系。
步骤S220:将原始统计口径划分为标准统计口径和异常统计口径,并将异常统计口径对应的父节点作为异常统计节点。
本步骤中,可以从原始统计口径中,将大部分相同的统计口径作为标准统计口径,该标准统计口径在树形结构中所占的比例或比重较高,将小部分特殊的统计口径作为异常统计口径,进行区分。
步骤S230:按照树形结构由底层子节点往父节点的方向以标准统计口径对活跃数据进行汇总统计,得到各层父节点的第一活跃指标,并根据第一活跃指标生成标准统计口径的第一活跃数据报表。
本步骤中,可以按照从底层子节点往父节点的方向,以标准统计口径来汇总统计活跃数据并生成低层的第一活跃指标,以标准统计口径来汇总统计低一层父节点的第一活跃指标并生成高一层父节点的第一活跃指标,逐层对树形结构中各个父节点的第一活跃指标进行汇总统计,生成该标准统计口径下各个父节点的第一活跃指标。
步骤S240:根据树形结构、异常统计口径和活跃数据,计算异常统计节点的第二活跃指标,将第二活跃指标添加至第一活跃数据报表,形成第二活跃数据报表。
第二活跃数据报表中包括第二活跃指标,第二活跃数据报表可以兼具标准统计口径和异常统计口径的活跃指标,以便于同时展示多种统计口径的活跃指标,第二活跃数据报表可以更好地展现活跃数据处理的效果,第二活跃数据报表的准确性高。
本步骤中,对属于该异常统计节点的底层子节点的活跃数据,按照异常统计口径进行汇总统计,生成该异常统计节点在异常统计口径下的第二活跃指标。
具体地,步骤S240中计算异常统计节点的第二活跃指标的步骤,可以包括:
S241:从树形结构提取异常统计节点的子树。
本步骤中,在树形结构中提取以异常统计节点为最高层父节点的分支,将该分支作为子树,并获取子树中底层子节点对应的活跃数据,即获取属于该异常统计节点的底层子节点的活跃数据。
S242:按照子树由底层子节点往父节点的方向以异常统计口径对子树中底层子节点的活跃数据进行汇总统计,得到第二活跃指标。
本步骤中,按照从底层子节点往父节点的方向,以异常统计口径来汇总统计活跃数据并生成低层的活跃指标,以异常统计口径来汇总统计低一层父节点的活跃指标并生成高一层父节点的活跃指标,逐层对子树中各个父节点的活跃指标进行汇总统计,生成异常统计节点的第二活跃指标。
上述活跃数据报表的生成方法,可以根据多个统计口径对树形结构的节点进行汇总统计,生成兼具标准统计口径和异常统计口径下活跃指标的第二活跃数据报表,提高了多统计口径下活跃数据处理的效果,第二活跃数据报表的准确性高;同时,以标准统计口径对树形结构所有节点进行汇总统计后,再对异常统计口径的单独加工处理,可以避免重新根据异常统计口径对所有节点进行汇总统计,可以大大减少获取第二统计报表中活跃指标的工作量。
实际应用中,当统计数据处理中所涉及的节点多,且节点之间存在层级归属所形成的树形结构的高度高,数据统计复杂,很有必要快速获取树形结构对应的统计报表,同时尽量降低按照异常统计口径统计部分数据指标的工作量。复杂的统计不仅存在与大型企业的管理架构所对应的树形结构,面对产品数据流量统计过程也存在复杂的统计,此时对应的树形结构与该产品在数据处理流程的节点有关。特别是大型数据处理的项目,所需要统计的节点异常多,树形结构的高度和层数多,导致树形结构复杂,在面对部分节点存在异常统计口径时,很有必要提高活跃指标统计的效率。通过上述活跃数据报表的生成方法可以有效且快速地获取异常统计口径的活跃指标,以及减少生成包括异常统计口径的数据报表的工作量。
下面以一个具体场景下的树形结构的一种实施方式具体说明各层父节点的活跃指标的生成,以图1所示的树形结构中C3父节点的分支为例:C3的下一层包含B6、B7和B8的父节点,B6的分支下包含A12和A13的底层子节点,B7的分支下包含A14、A15和A16的底层子节点,B8的分支下包含A17、A18和A19的底层子节点。可以根据A12和A13的活跃数据进行汇总统计,得到B6的活跃指标;可以根据A14、A15和A16的活跃数据进行汇总统计,得到B7的活跃指标;可以根据A17、A18和A19的活跃数据进行汇总统计,得到B8的活跃指标;可以根据B6、B7和B8的活跃指标进行汇总统计,得到C3的活跃指标。
对于活跃数据的获取,在一个实施例中,步骤S210中获取树形结构中底层子节点对应的活跃数据的步骤,可以包括:
S211:对目标应用程序进行数据埋点,获取数据埋点的原始活跃数据以及原始活跃数据集对应的对象基本信息。
本步骤中,可以通过数据埋点采集原始活跃数据和对应的对象基本信息。
S212:根据树形结构的结构属性信息确定底层子节点的目标对象信息。
树形结构的结构属性信息可以是用于描述该树形结构中各个层的统计范围和各个节点的统计范围的相关信息。本步骤中,可以根据层与层和层与节点之间的关系,以及树形结构的结构属性,分析底层子节点对应的统计范围,得出符合该统计范围的目标对象信息。
具体地,步骤S212中根据树形结构的结构属性信息确定底层子节点的目标对象信息的步骤,可以包括:
S2121:根据树形结构的结构属性信息提取各层的基本层属性信息。
基本层属性信息可以用于表示该层所对应的统计范围或统计类型。
S2122:从基本层属性信息中获取目标层的目标层属性信息,其中,目标层为与底层子节点相关联的父节点所在的层。
确定与底层子节点相关联的父节点所在目标层,从基本层属性信息中获取目标层的目标层属性信息。
S2123:根据目标层属性信息建立底层子节点的用户画像。
将目标层属性信息作为特征,逐层分析并限缩统计范围,得到用于描述底层子节点统计范围的用户画像。
S2124:根据底层子节点的用户画像确定底层子节点的目标对象信息。
根据用户图像进一步确定可以表征底层子节点的目标对象信息。
上述确定底层子节点的目标对象信息的方式,可以根据逐层明确和细化目标对象信息,可以提高数据的颗粒度。
S213:根据目标对象信息和对象基本信息,从原始活跃数据中获取底层子节点对应的活跃数据。
本步骤中,查找与目标对象信息匹配的对象基本信息,从原始活跃数据中筛选并统计与该匹配的对象基本信息对应的原始活跃数据,得到底层子节点的活跃数据。
上述活跃数据报表的生成方法,通过数据埋点采集原始活跃数据,并对原始活跃数据进行初步筛选,得到底层子节点的活跃数据。
获得活跃数据之后,需要根据合适的标准统计口径和异常统计口径进行对应的汇总统计。可以通过以下的实施例确定合适的标准统计口径,将大部分相同的或重要程度高的统计口径作为标准统计口径。再将该标准统计口径以外的统计口径作为异常统计口径。
在一个实施例中,步骤S220中将原始统计口径划分为标准统计口径和异常统计口径的步骤,可以包括:
A10:根据统计口径优先级列表确定原始统计口径的优先级,其中,统计口径优先级列表用于按照优先级顺序记录统计口径。
统计口径优先级列表中记录着各种统计口径的优先级,可以根据统计口径优先级列表的记录内容,查找和确定原始统计口径的优先级。
A20:将优先级最高的一个原始统计口径作为标准统计口径,并将与标准统计口径不同的原始统计口径作为异常统计口径。
上述活跃数据报表的生成方法,优先级顺序较高的原始统计口径的重要性较高,将最重要的优先级最高的原始统计口径作为标准统计口径,并确定其他相应的异常统计口径。
在一个实施例中,步骤S220中将原始统计口径划分为标准统计口径和异常统计口径的步骤,可以包括:
B10:统计相同的原始统计口径的出现次数。
B20:将出现次数最多的一个原始统计口径作为标准统计口径,并将与标准统计口径不同的原始统计口径作为异常统计口径。
上述活跃数据报表的生成方法,将出现次数最多,即相同数量最多的原始统计口径作为标准统计口径,将大部分相同的统计口径作为标准统计口径,并确定其他相应的异常统计口径。
在一个实施例中,步骤S220中将原始统计口径划分为标准统计口径和异常统计口径的步骤,可以包括:
C10:将具有相同统计口径的原始统计口径作为同类统计口径。
确定需要后续进行比较的各个类型的同类统计口径。
C20:获取该同类统计口径对应的各个节点的节点权重,对节点权重进行求和,获得该同类统计口径的结构重要系数。
确定每个类型的统计口径对应的结构重要系数,结构重要系数用于衡量该同类统计口径在树形结构中的比重,还用于后续进行同类统计口径之间的比较。
C30:根据各个同类统计口径的结构重要系数,将最大的结构重要系数对应的同类统计口径作为标准统计口径,并将与标准统计口径不同的原始统计口径作为异常统计口径。
上述活跃数据报表的生成方法,将在该树形结构中所占比重最大的统计口径作为标准统计口径,并确定其他相应的异常统计口径。特别是面对巨型的树形结构,层数、分支和节点的数量非常大的树形结构,原始统计口径之间存在的规律不太明显,按照简单的出现次数对标准统计口径进行判断,会大大降低标准统计口径的准确性。好比如,当树形结构中部分重要分支所涉及的节点少于次要分支的节点,按照出现次数判读,会忽视重要分支的原始统计口径,生成错误的标准统计口径。
在另一个实施例中,如图3所示,图3为另一个实施例中活跃数据报表的生成方法的流程图。本实施例中提出了一种活跃数据报表的生成方法,具体可以包括以下步骤:
S310:获取树形结构中底层子节点对应的活跃数据和各层父节点的原始统计口径。
树形结构可以用于按照公司的架构。对目标应用程序进行数据埋点,获取数据埋点的原始活跃数据以及原始活跃数据集对应的对象基本信息。根据树形结构的结构属性信息确定底层子节点的目标对象信息:根据树形结构的结构属性信息提取各层的基本层属性信息,从基本层属性信息中获取目标层的目标层属性信息,其中,目标层为与底层子节点相关联的父节点所在的层,根据目标层属性信息建立底层子节点的用户画像,根据底层子节点的用户画像确定底层子节点的目标对象信息。根据目标对象信息和对象基本信息,从原始活跃数据中获取底层子节点对应的活跃数据。
获取预先设置的各层父节点的原始统计口径。
S320:将原始统计口径划分为标准统计口径和异常统计口径,并将异常统计口径对应的父节点作为异常统计节点。
将大部分相同的统计口径作为标准统计口径,该标准统计口径在树形结构中所占的比例或比重较高,将小部分特殊的统计口径作为异常统计口径。例如,可以根据统计口径优先级列表确定原始统计口径的优先级,其中,统计口径优先级列表用于按照优先级顺序记录统计口径,将优先级最高的一个原始统计口径作为标准统计口径,并将与标准统计口径不同的原始统计口径作为异常统计口径。或者,可以统计相同的原始统计口径的出现次数,将出现次数最多的一个原始统计口径作为标准统计口径,并将与标准统计口径不同的原始统计口径作为异常统计口径。或者,可以将具有相同统计口径的原始统计口径作为同类统计口径,获取该同类统计口径对应的各个节点的节点权重,对节点权重进行求和,获得该同类统计口径的结构重要系数,根据各个同类统计口径的结构重要系数,将最大的结构重要系数对应的同类统计口径作为标准统计口径,并将与标准统计口径不同的原始统计口径作为异常统计口径。
S330:统计第一活跃指标和生成第一活跃数据报表。按照树形结构由底层子节点往父节点的方向以标准统计口径对活跃数据进行汇总统计,得到各层父节点的第一活跃指标,并根据第一活跃指标生成标准统计口径的第一活跃数据报表。
S340:计算异常统计节点的第二活跃指标,并将第二活跃指标与第一活跃数据报表融合。根据树形结构、异常统计口径和活跃数据,计算异常统计节点的第二活跃指标,例如可以将第二活跃指标添加至第一活跃数据报表,形成第二活跃数据报表。
上述活跃数据报表的生成方法,可以根据多个统计口径对树形结构的节点进行汇总统计,生成兼具标准统计口径和异常统计口径下活跃指标的第二活跃数据报表,提高了多统计口径下活跃数据处理的效果,第二活跃数据报表的准确性高;同时,以标准统计口径对树形结构所有节点进行汇总统计后,再对异常统计口径的单独加工处理,可以避免重新根据异常统计口径对所有节点进行汇总统计,可以大大减少获取第二统计报表中活跃指标的工作量。
如图4所示,图4为一个实施例中活跃数据报表的生成系统的结构示意图,本实施例中提供一种活跃数据报表的生成系统,具体可以包括获取模块410、划分模块420、汇总统计模块430和结合模块440,其中:
获取模块410,用于获取树形结构中底层子节点对应的活跃数据,并获取树形结构中各层父节点的原始统计口径。
树形结构可以是根据底层子节点和各层的父节点按照节点之间的层级关系所形成,该树形结构可以记录汇总统计的方向和各次汇总下数据来源的节点。树形结构中,最底层的子节点为底层子节点,最底层之上的层中节点为父节点。获取模块410中的原始统计口径可以是为该父节点统计活跃数据并生成活跃指标所采用的标准。活跃数据可以是应用程序或互联网网络产品中活跃用户、操作次数、流量等的数据,底层子节点对应的活跃数据可以是某个统计范围内的活跃数据,树形结构也因此可以反映各个节点的统计范围之间的联系。
划分模块420,用于将原始统计口径划分为标准统计口径和异常统计口径,并将异常统计口径对应的父节点作为异常统计节点。
划分模块420可以从原始统计口径中,将大部分相同的统计口径作为标准统计口径,该标准统计口径在树形结构中所占的比例或比重较高,将小部分特殊的统计口径作为异常统计口径,进行区分。
汇总统计模块430,用于按照树形结构由底层子节点往父节点的方向以标准统计口径对活跃数据进行汇总统计,得到各层父节点的第一活跃指标,并根据第一活跃指标生成标准统计口径的第一活跃数据报表。
汇总统计模块430可以按照从底层子节点往父节点的方向,以标准统计口径来汇总统计活跃数据并生成低层的第一活跃指标,以标准统计口径来汇总统计低一层父节点的第一活跃指标并生成高一层父节点的第一活跃指标,逐层对树形结构中各个父节点的第一活跃指标进行汇总统计,生成该标准统计口径下各个父节点的第一活跃指标。
结合模块440,用于根据树形结构、异常统计口径和活跃数据,计算异常统计节点的第二活跃指标,将第二活跃指标添加至第一活跃数据报表,形成第二活跃数据报表。
第二活跃数据报表中包括第二活跃指标,第二活跃数据报表可以兼具标准统计口径和异常统计口径的活跃指标,以便于同时展示多种统计口径的活跃指标,第二活跃数据报表可以更好地展现活跃数据处理的效果,第二活跃数据报表的准确性高。结合模块440可以对属于该异常统计节点的底层子节点的活跃数据,按照异常统计口径进行汇总统计,生成该异常统计节点在异常统计口径下的第二活跃指标。
上述活跃数据报表的生成系统,可以根据多个统计口径对树形结构的节点进行汇总统计,生成兼具标准统计口径和异常统计口径下活跃指标的第二活跃数据报表,提高了多统计口径下活跃数据处理的效果,第二活跃数据报表的准确性高;同时,以标准统计口径对树形结构所有节点进行汇总统计后,再对异常统计口径的单独加工处理,可以避免重新根据异常统计口径对所有节点进行汇总统计,可以大大减少获取第二统计报表中活跃指标的工作量。
关于活跃数据报表的生成系统的具体限定可以参见上文中对于活跃数据报表的生成方法的限定,在此不再赘述。上述活跃数据报表的生成系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
如图5所示,图5为一个实施例中计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机程序,该计算机程序被处理器执行时,可使得处理器实现一种活跃数据报表的生成方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器执行一种活跃数据报表的生成方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提出了一种计算机设备,计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一实施例中活跃数据报表的生成方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例中活跃数据报表的生成方法的步骤。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种活跃数据报表的生成方法,其特征在于,包括如下步骤:
获取树形结构中底层子节点对应的活跃数据,包括:对目标应用程序进行数据埋点,获取所述数据埋点的原始活跃数据以及所述原始活跃数据集对应的对象基本信息;根据所述树形结构的结构属性信息提取各层的基本层属性信息;从所述基本层属性信息中获取目标层的目标层属性信息,其中,所述目标层为与所述底层子节点相关联的父节点所在的层;根据所述目标层属性信息建立所述底层子节点的用户画像;根据所述底层子节点的用户画像确定所述底层子节点的目标对象信息;根据所述目标对象信息和所述对象基本信息,从所述原始活跃数据中获取所述底层子节点对应的活跃数据;
获取所述树形结构中各层父节点的原始统计口径;
将所述原始统计口径划分为标准统计口径和异常统计口径,并将所述异常统计口径对应的父节点作为异常统计节点;
按照所述树形结构由所述底层子节点往所述父节点的方向以所述标准统计口径对所述活跃数据进行汇总统计,得到各层父节点的第一活跃指标,并根据所述第一活跃指标生成所述标准统计口径的第一活跃数据报表;
根据所述树形结构、所述异常统计口径和所述活跃数据,计算所述异常统计节点的第二活跃指标,包括:从所述树形结构提取所述异常统计节点的子树;按照所述子树由所述底层子节点往所述父节点的方向以所述异常统计口径对所述子树中底层子节点的活跃数据进行汇总统计,得到所述第二活跃指标;
将所述第二活跃指标添加至所述第一活跃数据报表,形成第二活跃数据报表。
2.根据权利要求1所述的活跃数据报表的生成方法,其特征在于,所述将所述原始统计口径划分为标准统计口径和异常统计口径的步骤,包括:
根据统计口径优先级列表确定所述原始统计口径的优先级,其中,所述统计口径优先级列表用于按照优先级顺序记录统计口径;
将优先级最高的一个原始统计口径作为所述标准统计口径,并将与所述标准统计口径不同的原始统计口径作为异常统计口径。
3.根据权利要求1所述的活跃数据报表的生成方法,其特征在于,所述将所述原始统计口径划分为标准统计口径和异常统计口径的步骤,包括:
统计相同的原始统计口径的出现次数;
将出现次数最多的一个原始统计口径作为所述标准统计口径,并将与所述标准统计口径不同的原始统计口径作为异常统计口径。
4.根据权利要求1所述的活跃数据报表的生成方法,其特征在于,所述将所述原始统计口径划分为标准统计口径和异常统计口径的步骤,包括:
将具有相同统计口径的原始统计口径作为同类统计口径;
获取该同类统计口径对应的各个节点的节点权重,对所述节点权重进行求和,获得该同类统计口径的结构重要系数;
根据各个同类统计口径的结构重要系数,将最大的结构重要系数对应的同类统计口径作为所述标准统计口径,并将与所述标准统计口径不同的原始统计口径作为异常统计口径。
5.一种活跃数据报表的生成系统,其特征在于,应用于权利要求1-4中任一项所述的方法,所述系统包括:
获取模块,用于获取树形结构中底层子节点对应的活跃数据,并获取所述树形结构中各层父节点的原始统计口径;
划分模块,用于将所述原始统计口径划分为标准统计口径和异常统计口径,并将所述异常统计口径对应的父节点作为异常统计节点;
汇总统计模块,用于按照所述树形结构由所述底层子节点往所述父节点的方向以所述标准统计口径对所述活跃数据进行汇总统计,得到各层父节点的第一活跃指标,并根据所述第一活跃指标生成所述标准统计口径的第一活跃数据报表;
结合模块,用于根据所述树形结构、所述异常统计口径和所述活跃数据,计算所述异常统计节点的第二活跃指标,将所述第二活跃指标添加至所述第一活跃数据报表,形成第二活跃数据报表。
6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述活跃数据报表的生成方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述活跃数据报表的生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910606317.2A CN110471962B (zh) | 2019-07-05 | 2019-07-05 | 活跃数据报表的生成方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910606317.2A CN110471962B (zh) | 2019-07-05 | 2019-07-05 | 活跃数据报表的生成方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110471962A CN110471962A (zh) | 2019-11-19 |
CN110471962B true CN110471962B (zh) | 2023-11-03 |
Family
ID=68507520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910606317.2A Active CN110471962B (zh) | 2019-07-05 | 2019-07-05 | 活跃数据报表的生成方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110471962B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309919A (zh) * | 2012-03-06 | 2013-09-18 | 国际商业机器公司 | 在树结构中呈现数据的方法与系统 |
CN105610616A (zh) * | 2015-12-29 | 2016-05-25 | 赛尔网络有限公司 | 基于icp活跃度的接入网单个ip平均流量统计方法及系统 |
CN107643956A (zh) * | 2017-08-22 | 2018-01-30 | 北京京东尚科信息技术有限公司 | 定位异常数据的异常起源的方法和装置 |
CN108062350A (zh) * | 2017-11-08 | 2018-05-22 | 深圳市金立通信设备有限公司 | 一种数据处理方法、节点设备及计算机可读介质 |
CN109308284A (zh) * | 2018-09-28 | 2019-02-05 | 中国平安财产保险股份有限公司 | 报表菜单生成方法、装置、计算机设备及存储介质 |
-
2019
- 2019-07-05 CN CN201910606317.2A patent/CN110471962B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309919A (zh) * | 2012-03-06 | 2013-09-18 | 国际商业机器公司 | 在树结构中呈现数据的方法与系统 |
CN105610616A (zh) * | 2015-12-29 | 2016-05-25 | 赛尔网络有限公司 | 基于icp活跃度的接入网单个ip平均流量统计方法及系统 |
CN107643956A (zh) * | 2017-08-22 | 2018-01-30 | 北京京东尚科信息技术有限公司 | 定位异常数据的异常起源的方法和装置 |
CN108062350A (zh) * | 2017-11-08 | 2018-05-22 | 深圳市金立通信设备有限公司 | 一种数据处理方法、节点设备及计算机可读介质 |
CN109308284A (zh) * | 2018-09-28 | 2019-02-05 | 中国平安财产保险股份有限公司 | 报表菜单生成方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110471962A (zh) | 2019-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684181B (zh) | 告警根因分析方法、装置、设备及存储介质 | |
CN110471916B (zh) | 数据库的查询方法、装置、服务器及介质 | |
CN103176974B (zh) | 优化数据库中访问路径的方法和装置 | |
US8782219B2 (en) | Automated discovery of template patterns based on received server requests | |
CN113612749B (zh) | 一种面向入侵行为的溯源数据聚类方法及装置 | |
CN109684052B (zh) | 事务分析方法、装置、设备及存储介质 | |
US9135280B2 (en) | Grouping interdependent fields | |
US10061678B2 (en) | Automated validation of database index creation | |
CN110457175B (zh) | 业务数据处理方法、装置、电子设备及介质 | |
CN111552570B (zh) | 物联网数据处理资源的自适应分配方法及云计算服务器 | |
CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
US20210374163A1 (en) | Scanning for information according to scan objectives | |
CN115147092A (zh) | 资源审批方法、随机森林模型的训练方法及装置 | |
US8732323B2 (en) | Recording medium storing transaction model generation support program, transaction model generation support computer, and transaction model generation support method | |
Picado et al. | Survivability of cloud databases-factors and prediction | |
CN110471962B (zh) | 活跃数据报表的生成方法和系统 | |
US8285752B1 (en) | System and method for maintaining a plurality of summary levels in a single table | |
Li et al. | MicroSketch: Lightweight and adaptive sketch based performance issue detection and localization in microservice systems | |
CN110991241A (zh) | 异常识别方法、设备及计算机可读介质 | |
CN112732690B (zh) | 一种用于慢病检测及风险评估的稳定系统及方法 | |
CN115102848A (zh) | 日志数据的提取方法、系统、设备及介质 | |
Chen et al. | BALANCE: Bayesian Linear Attribution for Root Cause Localization | |
CN115114806B (zh) | 自主式交通系统架构自主演进仿真方法 | |
CN111783835A (zh) | 一种数据降维方法、装置及系统 | |
CN117332212B (zh) | 一种基于混沌工程故障实验的智能化风险探索方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |