CN107395418A - 网络行为数据的统计处理方法、系统及服务器 - Google Patents

网络行为数据的统计处理方法、系统及服务器 Download PDF

Info

Publication number
CN107395418A
CN107395418A CN201710601360.0A CN201710601360A CN107395418A CN 107395418 A CN107395418 A CN 107395418A CN 201710601360 A CN201710601360 A CN 201710601360A CN 107395418 A CN107395418 A CN 107395418A
Authority
CN
China
Prior art keywords
data
information
classification
client
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710601360.0A
Other languages
English (en)
Inventor
郭景阳
王丁
王一丁
邱胜科
张鹏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Storm Group Ltd By Share Ltd
Original Assignee
Storm Group Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Storm Group Ltd By Share Ltd filed Critical Storm Group Ltd By Share Ltd
Priority to CN201710601360.0A priority Critical patent/CN107395418A/zh
Publication of CN107395418A publication Critical patent/CN107395418A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络行为数据的统计处理方法、系统及服务器,该方法包括:接收信息配置策略,解析所述信息配置策略得到依赖关系信息和执行策略;根据信息配置策略中依赖关系信息分析原始网络数据分类存储表,获取所述依赖关系信息对应的客户端作为配置客户端,其中,所述原始网络数据分类存储表是根据用户网络行为数据按照设定规则生成的;根据所述信息配置策略中的执行策略处理所述配置客户端获取所述配置客户端的标识信息,将所述配置客户端的标识信息按照预设的展现形式进行展示。本发明能够收集所有类型的客户端数据形成分层次的多维度数据存储表,为不同数据需求方案提供支持。

Description

网络行为数据的统计处理方法、系统及服务器
技术领域
本发明涉及数据管理领域,更具体地,涉及一种网络行为数据的统计处理方法、系统及服务器。
背景技术
随着互联网通讯的快速发展,为用户通过互联网购物、观看视频、社交甚至在线医疗、保健等方面都提供了极大的方便;而用户在这些互联网行为活动过程中都会产生许多的网络数据,这些数据都反应了用户在购物或社交过程中的兴趣爱好,通过统计这些数据并合理分类,可以为用户行为特征的采集提供诸多的数据支持,如可以为个性化推送提供数据上的依据。
尤其是在移动网络及应用程序(APP)的兴起之后,用户通过移动终端随时随地地进行网络行为活动,使得日常生活、工作得到了更大的便捷性。用户在APP或者网站上有各种各样的行为,这些数据可以作为日常统计类分析;还可以用于用户的标签、画面类统计,也可以用于实时的数据服务,例如,针对特定的需求商提供特定的数据统计分类并展现的策略,通过用户日常的网络行为数据统计得到该用户或该类型用户的爱好特性,再向该用户或该类型的用户定向推送符合其特性的产品,避免了用户需要手动从如此庞杂的数据中搜索、查找自己想要产品过程中准确性低、查看数据量大的问题,为用户的个性化推送提供数据支持。
但是,不同商家所需要的数据类型及数据量不一样,如有的需要爱好视频类型的用户数据,有的需要喜欢资讯类型的用户数据,有的需要在特定的某个特定区域内的用户数据,有的需要整个系统中的用户数据;如果都采用现有技术中系统所设定的固定的、相同的用户特性统计、分析模式进行用户特性解析,对于一些商家来讲就会出现分析误差较大的问题,而要是针对每个商家都制定一个特定的数据统计、解析策略(如现有技术中每个视频数据处理平台都建立一套自身的个性化视频推送系统),对于数据统计服务来讲无疑会增加运营成本。
因此,提供一种网络行为数据的统计处理方案是本领域亟待解决的问题。
发明内容
有鉴于此,有必要提供一种网络行为数据的统计处理方法、系统及服务器,以解决现有技术中不能对网络行为数据的进行自动的统计处理同时不能以分层次的多维度的方式为各种不同数据需求方案提供数据支持的技术问题。
为了解决上述技术问题,本发明提出一种网络行为数据的统计处理方法,包括:接收信息配置策略,解析所述信息配置策略得到依赖关系信息和执行策略;根据信息配置策略中依赖关系信息分析原始网络数据分类存储表,获取所述依赖关系信息对应的客户端作为配置客户端,其中,所述原始网络数据分类存储表是根据用户网络行为数据按照设定规则生成的;根据所述信息配置策略中的执行策略处理所述配置客户端获取所述配置客户端的标识信息,将所述配置客户端的标识信息按照预设的展现形式进行展示。
进一步地,在所述接收信息配置策略、解析所述信息配置策略得到依赖关系信息和执行策略之前还包括:收集客户端的用户的网络行为日志,解析所述网络行为日志得到所述客户端的用户的原始网络数据;根据预设的数据存储表分类规则将所述用户的原始网络数据分类填入原始网络数据分类存储表的各个表单,其中,所述原始网络数据分类存储表的数据分类类型包括数据层类型、事实类型、数据特征类型、数据统计类型。
进一步地,所述根据预设的数据存储表分类规则将所述用户的原始网络数据分类填入原始网络数据分类存储表的各个表单包括:根据预设的数据层类型将原始网络数据的分类填入原始数据层表;根据预设的事实类型将原始网络数据分类填入事实表;根据预设的特征分类将原始网络数据分类填入数据特征表;根据预设的数据统计策略将原始网络数据分类填入统计表;其中,所述原始数据层表、事实表、数据特征表及统计表中每个表项中包括下一级的内容分类表标识。
进一步地,所述根据预设的数据存储表分类规则将所述原始网络数据分类填入原始网络数据分类存储表之前还包括:接收新增原始网络数据分类存储表分类的新增指令;分析所述新增指令得到新增分类策略;存储所述新增分类策略;根据新增分类策略将客户端的原始网络数据填入新增的分类表中。
进一步地,所述依赖关系信息包括:配置客户端的配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息与所述原始网络数据分类存储表的数据层类型、事实类型、数据特征类型、数据统计类型的依赖关系。
进一步地,所述依赖关系信息还包括:数据的来源信息、对所述数据的预处理策略信息及所述数据预处理后的去向信息。
进一步地,所述根据信息配置策略中依赖关系信息分析所述原始网络数据分类存储表,获取所述依赖关系对应的客户端作为配置客户端包括:将配置数据层类型信息、配置事实类型信息、配置特征类型信息及配置数据统计信息与原始网络数据存储表中分类存储的原始数据层表、事实表、数据特征表及数据统计表相对比,遍历数据层表、事实表、数据特征表、数据统计表获取与配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息中数据分类类型相匹配的客户端作为配置客户端。
进一步地,所述收集客户端的网络行为日志包括:根据客户端标识从网站或应用程序中获取所述客户端的网络行为日志,和/或接收所述客户端在网络交互平台上的所述网络行为日志。
另一方面,本发明还提供一种网络行为数据的统计处理系统,包括:信息配置策略解析模块、分类存储表分析模块及配置客户端标识信息展现模块;其中,所述信息配置策略解析模块,用于接收信息配置策略,解析所述信息配置策略得到依赖关系信息和执行策略;所述分类存储表分析模块,用于根据信息配置策略中依赖关系信息分析原始网络数据分类存储表,获取所述依赖关系信息对应的客户端作为配置客户端,其中,所述原始网络数据分类存储表是根据用户网络行为数据按照设定规则生成的;所述配置客户端标识信息展现模块,用于根据所述信息配置策略中的执行策略处理所述配置客户端获取所述配置客户端的标识信息,将所述配置客户端的标识信息按照预设的展现形式进行展示。
进一步地,该系统还包括:原始网络数据获取模块及原始网络数据存储模块;其中,所述原始网络数据获取模块,用于收集客户端的用户的网络行为日志,解析所述网络行为日志得到所述客户端的用户的原始网络数据;所述原始网络数据存储模块,用于根据预设的数据存储表分类规则将所述用户的原始网络数据分类填入原始网络数据分类存储表的各个表单,其中,所述原始网络数据分类存储表的数据分类类型包括数据层类型、事实类型、数据特征类型、数据统计类型。
进一步地,所述原始网络数据存储模块包括:数据层类型存储单元、事实类型存储单元、特征分类存储单元及数据统计策略存储单元;其中,所述数据层类型存储单元,用于根据预设的数据层类型将原始网络数据的分类填入原始数据层表;所述事实类型存储单元,用于根据预设的事实类型将原始网络数据分类填入事实表;所述特征分类存储单元,用于根据预设的特征分类将原始网络数据分类填入数据特征表;所述数据统计策略存储单元,用于根据预设的数据统计策略将原始网络数据分类填入统计表;其中,所述原始数据层表、事实表、数据特征表及统计表中每个表项中包括下一级的内容分类表标识。
进一步地,该系统还包括:分类存储表分类新增模块,用于:接收新增原始网络数据分类存储表分类的新增指令;分析所述新增指令得到新增分类策略;存储所述新增分类策略;根据新增分类策略将客户端的原始网络数据填入新增的分类表中。
进一步地,所述依赖关系信息包括:配置客户端的配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息与所述原始网络数据分类存储表的数据层类型、事实类型、数据特征类型、数据统计类型的依赖关系。
进一步地,所述依赖关系信息还包括:数据的来源信息、对所述数据的预处理策略信息及所述数据预处理后的去向信息。
进一步地,所述分类存储表分析模块用于:将配置数据层类型信息、配置事实类型信息、配置特征类型信息及配置数据统计信息与原始网络数据存储表中分类存储的原始数据层表、事实表、数据特征表及数据统计表相对比,遍历数据层表、事实表、数据特征表、数据统计表获取与配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息中数据分类类型相匹配的客户端作为配置客户端。
进一步地,所述原始网络数据获取模块包括:网络行为日志获取单元及原始网络数据获取单元;其中,所述网络行为日志获取单元,用于根据客户端标识从网站或应用程序中获取所述客户端的网络行为日志,和/或
接收所述客户端在网络交互平台上的所述网络行为日志;所述原始网络数据获取单元,用于解析所述网络行为日志得到所述客户端的用户的原始网络数据。
本发明还提供一种网络行为数据的统计处理服务器,包括如上任一所述的网络行为数据的统计处理系统。
与现有技术相比,本发明的网络行为数据的统计处理方法、系统及服务器,实现了如下的有益效果:
(1)本发明所述的网络行为数据的统计处理方法、系统及服务器,通过收集客户端的网络行为数据,按照预设的分类策略将行为数据进行分类后存储在预设的分类表中,并对各个分类表中的各个表单元格项设置下一级的更详细维度分类表,以此策略重复,得到分层次的多维度数据存储表,能收集所有类型的客户端数据,为不同数据需求方案提供支持。
(2)本发明所述的网络行为数据的统计处理方法、系统及服务器,根据输入的数据信息配置策略,为原始数据层表、事实表、数据特征表及统计表中各个分类数据配置需要的处理策略,并按预设的执行策略执行筛选需要的客户端,可以基于同一个分类表的数据存储库为各个不同需求策略提供筛选方案,筛选数据全面且不用每种筛选策略都单独设立一个数据库,大大节省了成本。
(3)本发明所述的网络行为数据的统计处理方法、系统及服务器,客户端的各类数据收集后统一管理,相对于设立多个数据存储库,大大降低了数据管理及系统维护的繁琐性,节省数据管理成本。
当然,实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1为本发明实施例中所述网络行为数据的统计处理方法的流程示意图;
图2为本发明实施例中的获取原始网络数据的流程示意图;
图3为本发明实施例中原始网络数据处理的流程示意图;
图4为本发明实施例中获取原始网络数据的步骤B的流程示意图;
图5为本发明中的网络行为数据的统计处理系统的结构示意图;
图6为本发明实施例中原始网络数据获取模块的结构示意图;
图7为本发明实施例中原始网络数据存储模块的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1为本发明一个实施例的所述网络行为数据的统计处理方法的流程示意图;如图1所示,该方法包括如下的步骤:
步骤101、接收信息配置策略,解析所述信息配置策略得到依赖关系信息和执行策略。
步骤102、根据信息配置策略中依赖关系信息分析原始网络数据分类存储表,获取所述依赖关系信息对应的客户端作为配置客户端,其中,所述原始网络数据分类存储表是根据用户网络行为数据按照设定规则生成的。
步骤103、根据所述信息配置策略中的执行策略处理所述配置客户端获取所述配置客户端的标识信息,将所述配置客户端的标识信息按照预设的展现形式进行展示。
需要说明的是,本发明中的信息配置策略,是数据需求方根据自身需求所制定的对用户网络行为数据进行分析处理的策略,数据存储平台通过执行该信息配置策略即可为数据需求方输出其希望得到的数据结果。信息配置策略中包括:配置数据层信息、配置事实信息、配置特征信息、配置统计信息及存储表数据的依赖关系信息。所谓配置数据层信息、配置事实信息、配置特征信息、配置统计信息是指数据需求方所希望的用户网络行为数据层类型、用户网络行为事实类型、用户网络行为特征类别、用户网络行为统计类别。
所谓存储表数据的依赖关系信息是指数据需求方预设的各种分类的数据表的前、后执行数据表的关系信息,例如,某个数据需求方希望先执行配置事实信息、再执行配置统计信息,最后执行配置特征信息,那么配置统计信息的依赖关系信息就是在其之前执行配置事实信息,在其之后执行配置特征信息。在本实施例中,存储表数据是指原始网络数据存储至原始数据层表、事实表、数据特征表及统计表后在这些存储表中每一表格项内所对应的数据。
每一项数据分析策略或推送策略都需要在客户端历史的网络行为数据进行分析得到客户端爱好特性的基础上,才能精准推送。因此,每一种推送策略需要的客户端网络数据内容是不相同的,对筛选数据的处理方式也不一样。
在一个实施例中,依赖关系信息包括:配置客户端的配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息与所述原始网络数据分类存储表的数据层类型、事实类型、数据特征类型、数据统计类型的依赖关系。
在一个实施例中,依赖关系信息包括:数据的来源信息、对所述数据的预处理策略信息及所述数据预处理后的去向信息。
在一个实施例中,依赖关系信息包括:配置客户端的配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息与所述原始网络数据分类存储表的数据层类型、事实类型、数据特征类型、数据统计类型的依赖关系;同时依赖关系信息包括:数据的来源信息、对所述数据的预处理策略信息及所述数据预处理后的去向信息。
需要说明的是,上述的数据的来源信息,即上述信息配置策略中在该数据之前执行的数据信息;该数据预处理后的去向信息,即上述信息配置策略中在该数据之后执行的数据信息;对该数据的预处理策略信息,即为数据需求方预先设定的期望对该数据进行分析、筛选、变形等处理的处理策略信息,对该数据进行预处理之后才将其用于执行后续策略的输入数据。如此能够根据各个不同需求方的要求执行对应策略得到各自所需求的数据结果。
在一些可选的实施例中,在步骤101之前还包括获取原始网络数据的步骤,图2给出了本发明实施例中获取原始网络数据的流程示意图,如图2所示,在步骤101之前的获取原始网络数据的步骤,包括:
步骤A:收集客户端的用户的网络行为日志,解析所述网络行为日志得到所述客户端的用户的原始网络数据。
步骤B:根据预设的数据存储表分类规则将所述用户的原始网络数据分类填入原始网络数据分类存储表的各个表单。
其中,所述原始网络数据分类存储表的数据分类类型包括数据层类型、事实类型、数据特征类型、数据统计类型。
需要说明的是,上述的原始网络数据,是指用户通过客户端在进行网络行为过程中记载用户网络行为的日志数据,该数据仅仅是记录了客户端的网络行为,不具备用户网络行为日志数据的分类。
在一个实施例中,步骤A中的收集客户端的网络行为日志包括:根据客户端标识从网站或应用程序中获取所述客户端的网络行为日志。
在一个实施例中,步骤A中的收集客户端的网络行为日志包括:接收所述客户端在网络交互平台上的所述网络行为日志。
在一个实施例中,步骤A中的收集客户端的网络行为日志包括:根据客户端标识从网站或应用程序中获取所述客户端的网络行为日志;和接收所述客户端在网络交互平台上的所述网络行为日志。
用户通过客户端在网络数据通讯过程中会产生网络行为日志的信息,这些行为日志记录了用户的各种行为信息数据,如:用户的浏览行为、点击行为、观看行为等。网络行为日志信息在一定程度上反映了用户的某些爱好特性,通过解析这些日志数据可以得到用户的爱好特性,便于个性化精准投放。
在一些可选的实施例中,在步骤B之前还包括原始网络数据处理的步骤,图3给出了本发明实施例中原始网络数据处理的流程示意图,如图3所示,在步骤B之前的原始网络数据处理,包括如下步骤:
步骤B01:接收新增原始网络数据分类存储表分类的新增指令。
步骤B02:分析所述新增指令得到新增分类策略。
步骤B03:存储所述新增分类策略。
步骤B04:根据新增分类策略将客户端的原始网络数据填入新增的分类表中。
通过在步骤B之前增加上述步骤B01~B04,能够为新增数据分类形式提供方便,因为用户网络行为数据存储表中的各个表项分类也不是一成不变的,也有可能需要增添新形式的分类表项,如果完全推翻现有的存储表再重新建立新的存储表,费时费力,还会影响用户的使用。通过设定接收来自管理端口的自动新增数据分类指令,根据指令中的新增分类表项及其对应的表项位置进行自动扩展数据分类,能够为新增数据分类形式提供方便。新增分类表是根据新增分类策略中预先设置的分类类型信息、分类层次结构等自动生成的用于按照该预设存储形式存储的分类表。
在一些可选的实施例中,步骤B的流程示意图如图4所示,本发明实施例中获取原始网络数据的步骤B包括如下步骤:
步骤B001:根据预设的数据层类型将原始网络数据的分类填入原始数据层表。
进一步地,预设的数据层次类型,是为便于自动化统计用户行为数据而预先为原始网络数据设置的数据分层信息,如:某个视频类型预设的数据层次类型可以是视频数据层—综艺视频层—娱乐综艺视频层。
步骤B002:根据预设的事实类型将原始网络数据分类填入事实表。
进一步地,预设的事实类型,是为便于自动化统计用户行为数据而预先为原始网络数据设置的事实分类信息,如:某个原始网络数据预设的事实类型,可能是浏览、点击、执行或评论。
步骤B003:根据预设的特征分类将原始网络数据分类填入数据特征表。
进一步地,预设的特征分类,是为便于自动化统计用户行为数据而预先为原始网络数据设置的特征信息,如:某个原始网络数据预设的特征分类,可能包括:北京地区、每天晚8点到10点、男性、35到45岁之间等特征分类内容。
步骤B004:根据预设的数据统计策略将原始网络数据分类填入统计表。
进一步地,预设的数据统计策略,是为便于自动化统计用户行为数据而预先为原始网络数据设置的统计策略信息,如:某个原始网络数据预设的数据统计策略,可以为统计浏览次数在100到200次之间的原始网络数据。
其中,所述原始数据层表、事实表、数据特征表及统计表中每个表项中包括下一级的内容分类表标识。
需要说明的是,本发明中的原始数据层,是指在统计用户网络行为数据的平台上预设的数据初级分类层次,可以包括:视频数据层、资讯数据层、社交数据层等;事实表,是指统计用户网络行为数据中用户执行的行为事实统计表,可以包括:浏览、点击、评论、交互等;数据特征表,是指所存储的用户网络行为数据的属性特性分类表,可以包括:地域、时间、用户性别、用户年龄段等属性数据分类;统计表,是指对所存储用户网络行为次数及频率等进行分段统计存储的记录表。
原始数据层表、事实表、数据特征表及统计表中每个表项还包括有多种不同的分类维度,如果将每个表项内的内容都罗列在一个统计表格中,会造成存储表的臃肿,且在分析遍历存储数据时,要遍历到更多的数据,降低了数据的分析效率,本实施例中将每个表项中的分类维度以分散式的下级内容分类表进行存储并扩散,有利于层次性且全面性地存储用户的网络行为数据。通过统计表中每个表项中下一级的内容分类表标识可以直接进入到或调取对应的下一级的内容分类表的内容。
通过依次设置叠合形式的多维度数据存储方式,方便通过分类信息及时查找到所需要的数据。对网络数据分类的维度层次越严密、数量越多,通过同类型网络数据反映出的共同爱好特性程度越准确。在步骤B001~步骤B004中,通过各种类型的分类表记录存储客户端的网络行为信息数据,能够集中统计、分类并管理所有客户端的数据。
在一些可选的实施例中,步骤102为:将配置数据层类型信息、配置事实类型信息、配置特征类型信息及配置数据统计信息与原始网络数据存储表中分类存储的原始数据层表、事实表、数据特征表及数据统计表相对比,遍历数据层表、事实表、数据特征表、数据统计表获取与配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息中数据分类类型相匹配的客户端作为配置客户端。
用户在网络上执行各种行为操作就会产生相应的网络行为的记录数据,这些记录用户在网络上行为的数据即为网络行为数据,包括:用户在网络上的通讯交互数据、存储用户信息的相关数据及记录用户网络行为的网络行为日志数据等等。
根据配置数据层信息、配置事实信息、配置特征信息及配置统计信息与原始数据层、事实表、特征表及统计表对比,遍历原始数据层、事实表、特征表及统计表获取与配置数据层信息、配置事实信息、配置特征信息及配置统计信息中数据类别相同的客户端作为配置客户端。
例如,配置数据层信息为综艺视频数据、配置事实信息为评论、配置特征信息为湖南省内25-28岁女性、配置统计信息为观看频率为每周一次。平台就自动遍历存储表并进行对比获取与该需求相符合的客户端作为配置客户端。
在上述分类统计所有客户端网络行为数据的前提下,步骤102设置接收需求方发送的信息配置策略,根据信息配置策略筛选出所需要的数据,并根据实际需求进行前后依赖性配置,将每个特性数据与其它特性数据联系起来,以特定的执行方式运行,进而从配置客户端中筛选出需要的特定客户端。步骤103中,预设的展现形式要求对于某个配置客户端的标识信息按照年龄段、地域、交互时间段等条件以柱状图的形式进行展示,系统会将收集到的配置客户端的标识信息对应到预设的各个年龄段、地域、交互时间段等条件下,并叠加成柱状形成柱状图进行展示,如此,通过该柱状图可以直观地看出年龄段、地域、交互时间段条件下的用户数量及用户的标识信息。
本实施例提供的网络行为数据的统计处理方法,本实施例提供的网络行为数据的统计处理系统,通过收集客户端的网络行为数据,按照预设的分类策略将行为数据进行分类后存储在预设的分类表中,并对各个分类表中的各个表单元格项设置下一级的更详细维度分类表,以此策略重复,得到分层次的多维度数据存储表,能收集所有类型的客户端数据,为不同数据需求方案提供支持;并根据输入的数据信息配置策略,为原始数据层表、事实表、数据特征表及统计表中各个分类数据配置需要的处理策略,并按预设的执行策略执行筛选需要的客户端,可以基于同一个分类表的数据存储库为各个不同需求策略提供筛选方案,筛选数据全面且不用每种筛选策略都单独设立一个数据库,大大节省了成本;同时,客户端的各类数据收集后统一管理,相对于设立多个数据存储库,大大降低了数据管理及系统维护的繁琐性,节省数据管理成本。
图5为本发明另一个实施例中所述网络行为数据的统计处理系统的结构示意图,如图5所示,该系统包括:信息配置策略解析模块201、分类存储表分析模块202、及配置客户端标识信息展现模块203。
信息配置策略解析模块201用于:接收信息配置策略,解析所述信息配置策略得到依赖关系信息和执行策略。
在一个实施例中,上述依赖关系信息包括:配置客户端的配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息与所述原始网络数据分类存储表的数据层类型、事实类型、数据特征类型、数据统计类型的依赖关系。
在一个实施例中,上述依赖关系信息包括:数据的来源信息、对所述数据的预处理策略信息及所述数据预处理后的去向信息。
在一个实施例中,上述依赖关系信息包括:配置客户端的配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息与所述原始网络数据分类存储表的数据层类型、事实类型、数据特征类型、数据统计类型的依赖关系;同时上述依赖关系信息还包括:数据的来源信息、对所述数据的预处理策略信息及所述数据预处理后的去向信息。
分类存储表分析模块202用于:根据信息配置策略中依赖关系信息分析原始网络数据分类存储表,获取所述依赖关系对应的客户端作为配置客户端,其中,所述原始网络数据分类存储表是根据用户网络行为数据按照设定规则生成的。
在一些可选的实施例中,分类存储表分析模块202还用于:将配置数据层类型信息、配置事实类型信息、配置特征类型信息及配置数据统计信息与原始网络数据存储表中分类存储的原始数据层表、事实表、数据特征表及数据统计表相对比,遍历数据层表、事实表、数据特征表、数据统计表获取与配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息中数据分类类型相匹配的客户端作为配置客户端。
配置客户端标识信息展现模块203用于:根据所述信息配置策略中的执行策略处理所述配置客户端获取所述配置客户端的标识信息,将所述配置客户端的标识信息按照预设的展现形式进行展示。
在一些可选的实施例中,该系统还包括:原始网络数据获取模块204及原始网络数据存储模块205。
原始网络数据获取模块204用于:收集客户端的用户的网络行为日志,解析所述网络行为日志得到所述客户端的用户的原始网络数据。
图6给出了原始网络数据获取模块的结构示意图,如图6所示,在一些可选的实施例中,原始网络数据获取模块204可以包括:网络行为日志获取单元2041及原始网络数据获取单元2042。
在一个实施例中,网络行为日志获取单元2041,用于根据客户端标识从网站或应用程序中获取所述客户端的网络行为日志。
在一个实施例中,网络行为日志获取单元2041,用于接收所述客户端在网络交互平台上的所述网络行为日志。
在一个实施例中,网络行为日志获取单元2041,用于根据客户端标识从网站或应用程序中获取所述客户端的网络行为日志,和接收所述客户端在网络交互平台上的所述网络行为日志。
所述原始网络数据获取单元2042,用于解析所述网络行为日志得到所述客户端的用户的原始网络数据。
原始网络数据存储模块205用于:根据预设的数据存储表分类规则将所述用户的原始网络数据分类填入原始网络数据分类存储表的各个表单。
其中,所述原始网络数据分类存储表的数据分类类型包括数据层类型、事实类型、数据特征类型、数据统计类型。
图7给出了原始网络数据存储模块的结构示意图,如图7所示,在一些可选的实施例中,原始网络数据存储模块205可以包括:数据层类型存储单元2051、事实类型存储单元2052、特征分类存储单元2053及数据统计策略存储单元2054。其中,
数据层类型存储单元2051用于:根据预设的数据层类型将原始网络数据的分类填入原始数据层表;事实类型存储单元2052用于:根据预设的事实类型将原始网络数据分类填入事实表;特征分类存储单元2053用于:根据预设的特征分类将原始网络数据分类填入数据特征表;数据统计策略存储单元2054用于:根据预设的数据统计策略将原始网络数据分类填入统计表。其中,原始数据层表、事实表、数据特征表及统计表中每个表项中包括下一级的内容分类表标识。
在一些可选的实施例中,该系统还包括:分类存储表分类新增模块206。
分类存储表分类新增模块206,用于:接收新增原始网络数据分类存储表分类的新增指令;分析所述新增指令得到新增分类策略;存储所述新增分类策略;根据新增分类策略将客户端的原始网络数据填入新增的分类表中。
本实施例提供的网络行为数据的统计处理系统,通过收集客户端的网络行为数据,按照预设的分类策略将行为数据进行分类后存储在预设的分类表中,并对各个分类表中的各个表单元格项设置下一级的更详细维度分类表,以此策略重复,得到分层次的多维度数据存储表,能收集所有类型的客户端数据,为不同数据需求方案提供支持;并根据输入的数据信息配置策略,为原始数据层表、事实表、数据特征表及统计表中各个分类数据配置需要的处理策略,并按预设的执行策略执行筛选需要的客户端,可以基于同一个分类表的数据存储库为各个不同需求策略提供筛选方案,筛选数据全面且不用每种筛选策略都单独设立一个数据库,大大节省了成本;同时,客户端的各类数据收集后统一管理,相对于设立多个数据存储库,大大降低了数据管理及系统维护的繁琐性,节省数据管理成本。
本发明的又一实施例提供了一种网络行为数据的统计处理服务器,该服务器包括上述实施例中所述的任一网络行为数据的统计处理系统。
通过上述实施例可知,本发明的网络行为数据的统计处理方法、系统及服务器,达到了如下的有益效果:
(1)本发明所述的网络行为数据的统计处理方法、系统及服务器,通过收集客户端的网络行为数据,按照预设的分类策略将行为数据进行分类后存储在预设的分类表中,并对各个分类表中的各个表单元格项设置下一级的更详细维度分类表,以此策略重复,得到分层次的多维度数据存储表,能收集所有类型的客户端数据,为不同数据需求方案提供支持。
(2)本发明所述的网络行为数据的统计处理方法、系统及服务器,根据输入的数据信息配置策略,为原始数据层表、事实表、数据特征表及统计表中各个分类数据配置需要的处理策略,并按预设的执行策略执行筛选需要的客户端,可以基于同一个分类表的数据存储库为各个不同需求策略提供筛选方案,筛选数据全面且不用每种筛选策略都单独设立一个数据库,大大节省了成本。
(3)本发明所述的网络行为数据的统计处理方法、系统及服务器,客户端的各类数据收集后统一管理,相对于设立多个数据存储库,大大降低了数据管理及系统维护的繁琐性,节省数据管理成本。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (15)

1.一种网络行为数据的统计处理方法,其特征在于,包括:
接收信息配置策略,解析所述信息配置策略得到依赖关系信息和执行策略;
根据所述信息配置策略中依赖关系信息分析原始网络数据分类存储表,获取所述依赖关系信息对应的客户端作为配置客户端,其中,所述原始网络数据分类存储表是根据用户网络行为数据按照设定规则生成的;
根据所述信息配置策略中的执行策略处理所述配置客户端获取所述配置客户端的标识信息,将所述配置客户端的标识信息按照预设的展现形式进行展示。
2.根据权利要求1所述的网络行为数据的统计处理方法,其特征在于,在所述接收信息配置策略、解析所述信息配置策略得到依赖关系信息和执行策略之前还包括:
收集客户端的用户的网络行为日志,解析所述网络行为日志得到所述客户端的用户的原始网络数据;
根据预设的数据存储表分类规则将用户的所述原始网络数据分类填入原始网络数据分类存储表的各个表单,
其中,所述原始网络数据分类存储表的数据分类类型包括数据层类型、事实类型、数据特征类型、数据统计类型。
3.根据权利要求2所述的网络行为数据的统计处理方法,其特征在于,所述根据预设的数据存储表分类规则将所述用户的原始网络数据分类填入原始网络数据分类存储表的各个表单包括:
根据预设的数据层类型将所述原始网络数据的分类填入原始数据层表;
根据预设的事实类型将所述原始网络数据分类填入事实表;
根据预设的特征分类将所述原始网络数据分类填入数据特征表;
根据预设的数据统计策略将所述原始网络数据分类填入统计表;
其中,所述原始数据层表、事实表、数据特征表及统计表中每个表项中包括下一级的内容分类表标识。
4.根据权利要求2所述的网络行为数据的统计处理方法,其特征在于,所述根据预设的数据存储表分类规则将所述原始网络数据分类填入原始网络数据分类存储表之前还包括:
接收新增原始网络数据分类存储表分类的新增指令;
分析所述新增指令得到新增分类策略;
存储所述新增分类策略;
根据所述新增分类策略将客户端的所述原始网络数据填入新增的分类表中。
5.根据权利要求1所述的网络行为数据的统计处理方法,其特征在于:
所述依赖关系信息包括:配置客户端的配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息与所述原始网络数据分类存储表的数据层类型、事实类型、数据特征类型、数据统计类型的依赖关系;
和\或
所述依赖关系信息还包括:数据的来源信息、对所述数据的预处理策略信息及所述数据预处理后的去向信息。
6.根据权利要求1-5任一所述的网络行为数据的统计处理方法,其特征在于,所述根据信息配置策略中依赖关系信息分析所述原始网络数据分类存储表,获取所述依赖关系信息对应的客户端作为配置客户端包括:
将配置数据层类型信息、配置事实类型信息、配置特征类型信息及配置数据统计信息与原始网络数据存储表中分类存储的原始数据层表、事实表、数据特征表及数据统计表相对比,遍历数据层表、事实表、数据特征表、数据统计表获取与配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息中数据分类类型相匹配的客户端作为配置客户端。
7.根据权利要求2所述的网络行为数据的统计处理方法,其特征在于,所述收集客户端的网络行为日志包括:
根据客户端标识从网站或应用程序中获取所述客户端的网络行为日志,
和/或
接收所述客户端在网络交互平台上的所述网络行为日志。
8.一种网络行为数据的统计处理系统,其特征在于,包括:信息配置策略解析模块、分类存储表分析模块及配置客户端标识信息展现模块;其中,
所述信息配置策略解析模块,用于接收信息配置策略,解析所述信息配置策略得到依赖关系信息和执行策略;
所述分类存储表分析模块,用于根据所述信息配置策略中所述依赖关系信息分析原始网络数据分类存储表,获取所述依赖关系信息对应的客户端作为配置客户端,其中,所述原始网络数据分类存储表是根据用户的网络行为数据按照设定规则生成的;
所述配置客户端标识信息展现模块,用于根据所述信息配置策略中的执行策略处理所述配置客户端获取所述配置客户端的标识信息,将所述配置客户端的标识信息按照预设的展现形式进行展示。
9.根据权利要求8所述的网络行为数据的统计处理系统,其特征在于,还包括:原始网络数据获取模块及原始网络数据存储模块;其中,
所述原始网络数据获取模块,用于收集客户端的用户的网络行为日志,解析所述网络行为日志得到所述客户端的用户的原始网络数据;
所述原始网络数据存储模块,用于根据预设的数据存储表分类规则将用户的所述原始网络数据分类填入原始网络数据分类存储表的各个表单,
其中,所述原始网络数据分类存储表的数据分类类型包括数据层类型、事实类型、数据特征类型、数据统计类型。
10.根据权利要求9所述的网络行为数据的统计处理系统,其特征在于,所述原始网络数据存储模块包括:数据层类型存储单元、事实类型存储单元、特征分类存储单元及数据统计策略存储单元;其中,
所述数据层类型存储单元,用于根据预设的数据层类型将所述原始网络数据的分类填入原始数据层表;
所述事实类型存储单元,用于根据预设的事实类型将所述原始网络数据分类填入事实表;
所述特征分类存储单元,用于根据预设的特征分类将所述原始网络数据分类填入数据特征表;
所述数据统计策略存储单元,用于根据预设的数据统计策略将所述原始网络数据分类填入统计表;
其中,所述原始数据层表、事实表、数据特征表及统计表中每个表项中包括下一级的内容分类表标识。
11.根据权利要求9所述的网络行为数据的统计处理系统,其特征在于,还包括:分类存储表分类新增模块,用于:
接收新增原始网络数据分类存储表分类的新增指令;
分析所述新增指令得到新增分类策略;
存储所述新增分类策略;
根据所述新增分类策略将客户端的所述原始网络数据填入新增的分类表中。
12.根据权利要求8所述的网络行为数据的统计处理系统,其特征在于:
所述依赖关系信息包括:配置客户端的配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息与所述原始网络数据分类存储表的数据层类型、事实类型、数据特征类型、数据统计类型的依赖关系;
和\或
所述依赖关系信息还包括:数据的来源信息、对所述数据的预处理策略信息及所述数据预处理后的去向信息。
13.根据权利要求8-12任一所述的网络行为数据的统计处理系统,其特征在于,所述分类存储表分析模块用于:
将配置数据层类型信息、配置事实类型信息、配置特征类型信息及配置数据统计信息与原始网络数据存储表中分类存储的原始数据层表、事实表、数据特征表及数据统计表相对比,遍历数据层表、事实表、数据特征表、数据统计表获取与配置数据层类型信息、配置事实类型信息、配置特征类型信息、配置数据统计信息中数据分类类型相匹配的客户端作为配置客户端。
14.根据权利要求9所述的网络行为数据的统计处理系统,其特征在于,所述原始网络数据获取模块包括:网络行为日志获取单元及原始网络数据获取单元;其中,
所述网络行为日志获取单元,用于根据客户端标识从网站或应用程序中获取所述客户端的网络行为日志,
和/或
接收所述客户端在网络交互平台上的所述网络行为日志;
所述原始网络数据获取单元,用于解析所述网络行为日志得到所述客户端的用户的所述原始网络数据。
15.一种网络行为数据的统计处理服务器,其特征在于,包括如权利要求8至14中任意一项所述的网络行为数据的统计处理系统。
CN201710601360.0A 2017-07-21 2017-07-21 网络行为数据的统计处理方法、系统及服务器 Pending CN107395418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710601360.0A CN107395418A (zh) 2017-07-21 2017-07-21 网络行为数据的统计处理方法、系统及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710601360.0A CN107395418A (zh) 2017-07-21 2017-07-21 网络行为数据的统计处理方法、系统及服务器

Publications (1)

Publication Number Publication Date
CN107395418A true CN107395418A (zh) 2017-11-24

Family

ID=60336742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710601360.0A Pending CN107395418A (zh) 2017-07-21 2017-07-21 网络行为数据的统计处理方法、系统及服务器

Country Status (1)

Country Link
CN (1) CN107395418A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866722A (zh) * 2019-11-12 2020-03-06 上海燕汐软件信息科技有限公司 业务处理系统及方法
CN111897807A (zh) * 2020-07-01 2020-11-06 拉扎斯网络科技(上海)有限公司 一种数据处理方法以及策略引擎系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197876A (zh) * 2006-12-06 2008-06-11 中兴通讯股份有限公司 一种对消息类业务数据进行多维分析的方法和系统
CN102467559A (zh) * 2010-11-19 2012-05-23 金蝶软件(中国)有限公司 多层次多维度的数据属性分析方法及装置
CN102693307A (zh) * 2012-05-24 2012-09-26 上海克而瑞信息技术有限公司 一种网站用户的访问行为记录分析系统
CN105574188A (zh) * 2015-12-23 2016-05-11 武汉璞华大数据技术有限公司 一种数据分维度分层次管理的方法及系统
US20160191361A1 (en) * 2014-12-31 2016-06-30 Nicira, Inc. System for aggregating statistics associated with interfaces
CN105843803A (zh) * 2015-01-12 2016-08-10 上海悦程信息技术有限公司 大数据安全可视化交互分析系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197876A (zh) * 2006-12-06 2008-06-11 中兴通讯股份有限公司 一种对消息类业务数据进行多维分析的方法和系统
CN102467559A (zh) * 2010-11-19 2012-05-23 金蝶软件(中国)有限公司 多层次多维度的数据属性分析方法及装置
CN102693307A (zh) * 2012-05-24 2012-09-26 上海克而瑞信息技术有限公司 一种网站用户的访问行为记录分析系统
US20160191361A1 (en) * 2014-12-31 2016-06-30 Nicira, Inc. System for aggregating statistics associated with interfaces
CN105843803A (zh) * 2015-01-12 2016-08-10 上海悦程信息技术有限公司 大数据安全可视化交互分析系统及方法
CN105574188A (zh) * 2015-12-23 2016-05-11 武汉璞华大数据技术有限公司 一种数据分维度分层次管理的方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866722A (zh) * 2019-11-12 2020-03-06 上海燕汐软件信息科技有限公司 业务处理系统及方法
CN111897807A (zh) * 2020-07-01 2020-11-06 拉扎斯网络科技(上海)有限公司 一种数据处理方法以及策略引擎系统

Similar Documents

Publication Publication Date Title
CN109189951B (zh) 一种多媒体资源推荐方法、设备及存储介质
CN105912587A (zh) 一种数据采集方法和系统
EP2560111A2 (en) Systems and methods for facilitating the gathering of open source intelligence
US20150134401A1 (en) In-memory end-to-end process of predictive analytics
US20170193531A1 (en) Intelligent Digital Media Content Creator Influence Assessment
US20140068676A1 (en) Method and system for video collection management, invalid video replacement and continuous video replay
CN111291191B (zh) 一种广电知识图谱构建方法及装置
CN108647235A (zh) 一种基于数据仓库的数据分析方法、设备以及介质
CN114331566A (zh) 一种基于标签分群的推送方法、系统及装置
CN114071237A (zh) 一种基于用户画像的智能电视个性化专题推荐方法
CN106604068B (zh) 一种更新媒体节目的方法及其系统
US20180137198A1 (en) Data retrieval system
WO2024193216A1 (zh) 推送对象的处理方法、对象推送模型的训练方法和装置
CN107395418A (zh) 网络行为数据的统计处理方法、系统及服务器
CN113886711A (zh) 内容推荐方法、装置、服务器及存储介质
de Amo et al. Mining contextual preference rules for building user profiles
US9785404B2 (en) Method and system for analyzing data in artifacts and creating a modifiable data network
CN111159435A (zh) 多媒体资源处理方法、系统、终端及计算机可读存储介质
CN110826845B (zh) 一种多维组合成本分摊装置及方法
CN107145427A (zh) 一种自动分类监控应用服务日志的方法及系统
Kalatzis et al. Social media and google trends in support of audience analytics: Methodology and architecture
CN115510289A (zh) 一种数据立方体配置方法、装置、电子设备及存储介质
Wasilewski et al. Are you reaching your audience? Exploring item exposure over consumer segments in recommender systems
JPH0934957A (ja) ユーザ振る舞いの解析方法及び装置
CN114817754A (zh) 一种vr学习系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination