CN113468246B - 一种基于oltp的智能数据统计及订阅系统及方法 - Google Patents

Abstract

本发明公开了一种基于OLTP的智能数据统计及订阅系统及方法，涉及数据应用技术领域。本发明包括大数据统计及订阅系统以及数据仓库存储系统；大数据统计及订阅系统包括引擎规则配置模块、邮件订阅配置模块、智能邮件订阅模块以及数据聚合服务引擎；数据仓库存储系统包括基础数据仓库和智能调度引擎；基础数据仓库分为基础层、KN1层、KN2层、PL层。本发明为企业提供高效快速的数据服务，进而提高业务决策的效率；系统提供了每小时维度的原始数据采集，提供基于分钟粒度的数据调度机制，并提供自定义维度的邮件结果调度，实现了效率极大的提升，极大的简化了内部流程的周期。

Description

一种基于OLTP的智能数据统计及订阅系统及方法

技术领域

本发明属于数据应用技术领域，特别是涉及一种基于OLTP的智能数据统计及订阅系统及方法。

背景技术

因装修行业数据分析需要及公司内部创新决策需要，需要对关联的数据进行多维度的聚合对比分析，形成数据结果，并通知到相关的技术决策人。传统的技术方案主要靠人工处理为主，不仅耗时耗力，如果数据量超过一定的数量级，人工很难进行处理，而且容易出现数据错乱；在装修行业数字化转型的大趋势下，营销决策部门对数据的需求越来越高，而且有较多时效性的要求，通过人工的方式不能满足这类核心诉求。

现有技术具有以下不足：对于大数据量的统计分析，比如超过几千万的流量数据，传统人工方式无法支持，需要编写代码脚本来实现，而且复用率很低；对于多维度的系统对比分析，因复杂度高，传统人工通过Excel的方式很难进行关联统计；很多基础的OLTP数据是实时增量出来的，传统人工处理无法保证时效性；关于结果集的订阅和发送，主要以人工发送邮件为主，因为数据的维度和分析要求不同，且种类繁多，增加了额外的运营成本。

发明内容

本发明提供了一种基于OLTP的智能数据统计及订阅系统及方法，解决了以上问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明的一种基于OLTP的智能数据统计及订阅系统及方法，包括大数据统计及订阅系统以及数据仓库存储系统；所述大数据统计及订阅系统包括引擎规则配置模块、邮件订阅配置模块、智能邮件订阅模块以及数据聚合服务引擎；所述数据仓库存储系统包括基础数据仓库和智能调度引擎；

所述基础数据仓库分为基础层、KN1层、KN2层、PL层；

所述擎规则配置模块和邮件订阅配置模块分别用于配置员对大数据统计及订阅系统进行引擎规则的配置和邮件订阅的配置；所述智能邮件订阅模块用于实现邮件订阅的配置，提供业务订阅人员进行实时查看报表以及接受邮件订阅的结果，并获取来自数据聚合服务引擎的事件订阅数据；所述数据聚合服务引擎用于提供各种不同维度的实时聚合结果，经过数据仓库存储系统中的智能调度引擎后，数据已经被处理成基础层、KN1层、KN2层、PL层四种业务粒度的统计结果集；

所述智能调度引擎用于负责基础层、KN1层、KN2层、PL层的数据计算逻辑，系统通过定时任务启动，所有的定时任务配置由管理员进行配置，支持包括定时启动、延迟启动，多时间周期循环执行的模式。

进一步地，所述基础层主要进行原始数据的存储，数据的来源为通过Storm处理的每小时流量总表，采用大宽列表存储，格式为k1:v1，K2：v2，k3：v3....。

进一步地，所述KN1层用于实现基础的流量映射维度数据，包含Kn1_traf_event事件流量、非事件流量、kn1_traf_dimension、kn1_traf_app_detail；所述Kn1_traf_event事件流量包括点击、追踪、曝光；所述非事件流量具体为kn1_traf_detail,记录停留时间；所述kn1_traf_dimension具体为非app流量渠道标签；所述kn1_traf_app_detail具体为app流量记录停留时间。

进一步地，所述K2层主要为Kn1层的数据+关联表，形成的二级维度结果集；其中关联维度表包含地址维度表、团购或者装修时间维度表、移动端IP数据维度表、app配置表：区分渠道，URL分类维度表，积分维度表，活动维度表；

所述Kn2的结果集表包含了APP用户方位行为数据集、APP流量合并用户数据集、渠道流量数据集、渠道标签数据集、事件标签数据集、文章流量明细数据集、文章流量分析数据集、虚拟流量数据集、移动流量数据集。

进一步地，所述PL层数据集是在Kn2层的数据集聚合业务维度的数据结果集；其中，数据集聚合业务维度的数据结果集包含企业合作信息维度、网盟合作维度、最新SEO维度、用户维度、特定业务维度，所述特定业务维度包括收藏、点赞、评论、关注。

进一步地，所述PL层的数据包含：关键词PV、文章PV、投放数据、页面流量、图片热度、加盟流量及转化数据、全流量统计、单页面流量分析、点击曝光数据、分站区分业务分布。

进一步地，所述智能邮件订阅模块所配置的信息包括邮件标题、分组、邮件发送时间、邮件接收人、抄送人、状态、关联的数据报表编号；其中，所述数据报表编号为数据聚合引擎中的报表编号。

进一步地，所述定时任务的配置可以随时修改，暂停，恢复，并支持手工点击，立即执行功能；配置好邮件订阅设置后，系统会按执行时间启动任务，并将报表的聚合结果发送给执行接收人。

一种基于OLTP的智能数据统计及订阅方法，包括如下步骤：

S01、OLTP数据通过采集到基础层进行存储；

S02、基础层数据+通用的维度配置，输出KN1层结果集；

S03、KN1层结果集+业务的维度配置，输出KN2层结果集；

S04、KN2层结果集+业务的维度配置，输出PL层结果集；

S05、数据聚合服务，根据报表需要，聚合基础层、KN1层、KN2层、PL层，提供汇总结果；

S06、邮件订阅系统，订阅数据聚合及智能调度的结果，发送给业务人员。

本发明相对于现有技术包括有以下有益效果：

1、本发明过简单配置，就可以对装修行业OLTP数据进行在线数据分析、数据挖掘和结果集订阅的系统及方法，简化相关人员的数据处理流程，压缩数据收集到输入的时间，为企业提供高效快速的数据服务，进而提高业务决策的效率；

2、本发明通过ODS(Operational Data Store)来存储多个OLTP数据源业务数据的系统，然后输入到数据仓库中进行分析，在数据仓库中进行KN1层和KN2层数据处理，进入P1层通过智能调度引擎进行多维度的分析处理，处理好的结果集通过数据聚合服务引擎输出到报表系统，并智能邮件调度系统进行结果的订阅，系统提供了每小时维度的原始数据采集，提供基于分钟粒度的数据调度机制，并提供自定义维度的邮件结果调度，相比传统的方式，实现了效率极大的提升；

3、本发明的系统以装修行业数据为基础，提供了针对行业数据的关键维度数据挖掘及分析机制，填补了装修行业的空白，在此基础上，系统提供了更加灵活配置的方法，可以通过简单的配置完成高复杂维度的数据聚合及结果订阅服务；系统支持亿级大数据分析及存储，并实现结果集自定义订阅功能。

4、本发明从技术觉得来看，系统实现了实时的数据处理，数据结果分析出来后通过事件订阅机制，能够最快速度的反馈给业务决策人员，极大的简化了内部流程的周期；系统还支持对历史数据的全量回测分析，给业务决策提供了巨大的灵活性。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于OLTP的智能数据统计及订阅系统的结构原理图；

图2为本发明一种基于OLTP的智能数据统计及订阅方法的步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明的一种基于OLTP的智能数据统计及订阅系统及方法，包括大数据统计及订阅系统以及数据仓库存储系统；大数据统计及订阅系统包括引擎规则配置模块、邮件订阅配置模块、智能邮件订阅模块以及数据聚合服务引擎；数据仓库存储系统包括基础数据仓库和智能调度引擎；

基础数据仓库分为基础层、KN1层、KN2层、PL层；

擎规则配置模块和邮件订阅配置模块分别用于配置员对大数据统计及订阅系统进行引擎规则的配置和邮件订阅的配置；智能邮件订阅模块用于实现邮件订阅的配置，提供业务订阅人员进行实时查看报表以及接受邮件订阅的结果，并获取来自数据聚合服务引擎的事件订阅数据；数据聚合服务引擎用于提供各种不同维度的实时聚合结果，经过数据仓库存储系统中的智能调度引擎后，数据已经被处理成基础层、KN1层、KN2层、PL层四种业务粒度的统计结果集；

(1)这类的结果可以直接通过页面报表的形式提供实时查询；

(2)对于一些更多复杂的业务，可能需要根据多数据源进行聚合，比如根据KN2层与PL层2个结果集，再进行加工处理，这类数据的聚合，由数据聚合引擎来实现；

(3)数据聚合引擎提供SQL解析器，实现分组、聚合、多层聚合嵌套逻辑；

举例：

KN2层支持平台维度+应用维度的PV计算结果集。

PL层支持分站维度+频道维度的PV计算结果集。

经过数据集合后，可以支持平台维度+应用维度+分站维度+频道维度的数据聚合，并提供基于4个维度的实时查询报表。业务人员可以选择4个维度的任意数据进行查询、结果集导出、邮件订阅。

比如：

平台维度：{百度|合作平台|福利社|齐家AI|设计师APP|装修APP}

应用维度：{订阅号|小程序|PC|公众号|WAP|MIP|CRM}

分站维度：{直营|电销|渠道|城市大区}

渠道维度：{BD|SEM|SEO|SNS|阿拉丁|寻客|地推|短信|合作|推广}；

智能调度引擎用于负责基础层、KN1层、KN2层、PL层的数据计算逻辑，系统通过定时任务启动，所有的定时任务配置由管理员进行配置，支持包括定时启动、延迟启动，多时间周期循环执行的模式；智能调度引擎内置SQL语法解析器及JS代码片段解析器，通过SQL语法或者JS语法片段实现数据计算规则；

举例：

(1)基础层有基础流量数据表A，属性包含编号，系统，页面，动作，时间，执行人，状态，用户编号，金额；

(2)维度配置表B，属性包含报名、预约、下单、退款；

(3)数据表A的数据实时增量从OLTP业务中抽取同步；

(4)配置定时任务周期为1小时，执行一次，调度服务；

(5)提供JS代码片段，时间表A与表B的简单数据聚合计算；(集合算法根据各维度需要，自行定制，

(6)目前系统中已经有上千个计算逻辑)；

(7)在定时任务的执行时间，引擎加载JS处理代码片段，并读取表A的数据，与B表的数据进行计算；

(8)系统在读取数据是，会计算本次数据表A的数据量，启动分布式计算逻辑，将数据分片，启动多的处理进程进行并行计算，从而保证数据计算在较短的时间内完成；

(9)基础层→KN1层，KN1层→KN2层，KN2层→PL层，均采用同一类计算引擎。

(10)定时任务的配置可以随时修改，暂停，恢复，并支持手工点击，立即执行功能。

其中，基础层主要进行原始数据的存储，数据的来源为通过Storm处理的每小时流量总表，采用大宽列表存储，格式为k1:v1，K2：v2，k3：v3....。

其中，KN1层用于实现基础的流量映射维度数据，包含Kn1_traf_event事件流量、非事件流量、kn1_traf_dimension、kn1_traf_app_detail；Kn1_traf_event事件流量包括点击、追踪、曝光；非事件流量具体为kn1_traf_detail,记录停留时间；kn1_traf_dimension具体为非app流量渠道标签；kn1_traf_app_detail具体为app流量记录停留时间。

其中，K2层主要为Kn1层的数据+关联表，形成的二级维度结果集；其中关联维度表包含地址维度表、团购或者装修时间维度表、移动端IP数据维度表、app配置表：区分渠道，URL分类维度表，积分维度表，活动维度表；

Kn2的结果集表包含了APP用户方位行为数据集、APP流量合并用户数据集、渠道流量数据集、渠道标签数据集、事件标签数据集、文章流量明细数据集、文章流量分析数据集、虚拟流量数据集、移动流量数据集。

其中，PL层数据集是在Kn2层的数据集聚合业务维度的数据结果集；其中，数据集聚合业务维度的数据结果集包含企业合作信息维度、网盟合作维度、最新SEO维度、用户维度、特定业务维度，特定业务维度包括收藏、点赞、评论、关注。

其中，PL层的数据包含：

关键词PV：天，周，月周期；

文章PV，uv：天，周，月周期；

投放数据：天，周，月周期；

页面流量：小时，天，周，月周期；

图片热度：小时，天，周，月周期；

加盟流量及转化数据：小时，天，周，月周期；

全流量统计：小时，天，周，月周期；

单页面流量分析：小时，天，周，月周期；

点击曝光数据：小时，天，周，月周期；

分站区分业务分布：小时，天，周，月周期等。

其中，智能邮件订阅模块所配置的信息包括邮件标题、分组、邮件发送时间、邮件接收人、抄送人、状态、关联的数据报表编号；其中，数据报表编号为数据聚合引擎中的报表编号。

其中，定时任务的配置可以随时修改，暂停，恢复，并支持手工点击，立即执行功能；配置好邮件订阅设置后，系统会按执行时间启动任务，并将报表的聚合结果发送给执行接收人，通过该种机制实现了数据结果的订阅，相比传统的模式，效率得到了极大的提升，比如接收人可以设置每日、每周、每月固定时间订阅接收指定数据结果。

如图2所示，一种基于OLTP的智能数据统计及订阅方法，包括如下步骤：

S01、OLTP数据通过采集到基础层进行存储；

S02、基础层数据+通用的维度配置，输出KN1层结果集；

S03、KN1层结果集+业务的维度配置，输出KN2层结果集；

S04、KN2层结果集+业务的维度配置，输出PL层结果集；

S05、数据聚合服务，根据报表需要，聚合基础层、KN1层、KN2层、PL层，提供汇总结果；

S06、邮件订阅系统，订阅数据聚合及智能调度的结果，发送给业务人员。

装修行业细分领域众多、布局分散，主要以中小型公司为主，很难形成全国性的头部平台及公司，该类公司主要以制造及销售业务为主，而针对行业OLTP数据的分析又是行业业务决策的必要条件，行业现状主要以人工分析为主，本发明系统以装修行业数据为基础，提供了针对行业数据的关键维度数据挖掘及分析机制，填补了装修行业的空白。在此基础上，系统提供了更加灵活配置的方法，可以通过简单的配置完成高复杂维度的数据聚合及结果订阅服务；系统支持亿级大数据分析及存储，并实现结果集自定义订阅功能。

从技术觉得来看，系统实现了实时的数据处理，数据结果分析出来后通过事件订阅机制，能够最快速度的反馈给业务决策人员，极大的简化了内部流程的周期。系统还支持对历史数据的全量回测分析，给业务决策提供了巨大的灵活性。

有益效果：

1、本发明过简单配置，就可以对装修行业OLTP数据进行在线数据分析、数据挖掘和结果集订阅的系统及方法，简化相关人员的数据处理流程，压缩数据收集到输入的时间，为企业提供高效快速的数据服务，进而提高业务决策的效率；

2、本发明通过ODS(Operational Data Store)来存储多个OLTP数据源业务数据的系统，然后输入到数据仓库中进行分析，在数据仓库中进行KN1层和KN2层数据处理，进入P1层通过智能调度引擎进行多维度的分析处理，处理好的结果集通过数据聚合服务引擎输出到报表系统，并智能邮件调度系统进行结果的订阅，系统提供了每小时维度的原始数据采集，提供基于分钟粒度的数据调度机制，并提供自定义维度的邮件结果调度，相比传统的方式，实现了效率极大的提升；

3、本发明的系统以装修行业数据为基础，提供了针对行业数据的关键维度数据挖掘及分析机制，填补了装修行业的空白，在此基础上，系统提供了更加灵活配置的方法，可以通过简单的配置完成高复杂维度的数据聚合及结果订阅服务；系统支持亿级大数据分析及存储，并实现结果集自定义订阅功能。

4、本发明从技术觉得来看，系统实现了实时的数据处理，数据结果分析出来后通过事件订阅机制，能够最快速度的反馈给业务决策人员，极大的简化了内部流程的周期；系统还支持对历史数据的全量回测分析，给业务决策提供了巨大的灵活性。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (2)

1.一种基于OLTP的智能数据统计及订阅系统，包括大数据统计及订阅系统以及数据仓库存储系统；所述大数据统计及订阅系统包括引擎规则配置模块、邮件订阅配置模块、智能邮件订阅模块以及数据聚合服务引擎；所述数据仓库存储系统包括基础数据仓库和智能调度引擎；所述基础数据仓库分为基础层、KN1层、KN2层、PL层；

所述引擎规则配置模块和邮件订阅配置模块分别用于配置员对大数据统计及订阅系统进行引擎规则的配置和邮件订阅的配置；所述智能邮件订阅模块用于实现邮件订阅的配置，提供业务订阅人员进行实时查看报表以及接受邮件订阅的结果，并获取来自数据聚合服务引擎的事件订阅数据，其特征在于：

所述数据聚合服务引擎用于提供各种不同维度的实时聚合结果，经过数据仓库存储系统中的智能调度引擎后，数据已经被处理成基础层、KN1层、KN2层、PL层四种业务粒度的统计结果集；

所述智能调度引擎用于负责基础层、KN1层、KN2层、PL层的数据计算逻辑，系统通过定时任务启动，所有的定时任务配置由管理员进行配置，支持包括定时启动、延迟启动，多时间周期循环执行的模式；

所述KN1层用于实现基础的流量映射维度数据，包含Kn1_traf_event事件流量、非事件流量、kn1_traf_dimension、kn1_traf_app_detail；所述Kn1_traf_event事件流量包括点击、追踪、曝光；所述非事件流量具体为kn1_traf_detail,记录停留时间；所述kn1_traf_dimension具体为非app流量渠道标签；所述kn1_traf_app_detail具体为app流量记录停留时间；

所述KN2层主要为Kn1层的数据+关联表，形成的二级维度结果集；其中关联维度表包含地址维度表、团购或者装修时间维度表、移动端IP数据维度表、app配置表：区分渠道，URL分类维度表，积分维度表，活动维度表；

所述KN2的结果集表包含了APP用户方位行为数据集、APP流量合并用户数据集、渠道流量数据集、渠道标签数据集、事件标签数据集、文章流量明细数据集、文章流量分析数据集、虚拟流量数据集、移动流量数据集；

所述PL层数据集是在KN2层的数据集聚合业务维度的数据结果集；其中，数据集聚合业务维度的数据结果集包含企业合作信息维度、网盟合作维度、最新SEO维度、用户维度、特定业务维度，所述特定业务维度包括收藏、点赞、评论、关注；

所述PL层的数据包含：关键词PV、文章PV、投放数据、页面流量、图片热度、加盟流量及转化数据、全流量统计、单页面流量分析、点击曝光数据、分站区分业务分布。

2.一种基于OLTP的智能数据统计及订阅方法，其特征在于，采用如权利要求1所述的一种基于OLTP的智能数据统计及订阅系统实现，包括如下步骤：

S01、OLTP数据通过采集到基础层进行存储；

S02、基础层数据+通用的维度配置，输出KN1层结果集；

S03、KN1层结果集+业务的维度配置，输出KN2层结果集；

S04、KN2层结果集+业务的维度配置，输出PL层结果集；

S05、数据聚合服务，根据报表需要，聚合基础层、KN1层、KN2层、PL层，提供汇总结果；

S06、邮件订阅系统，订阅数据聚合及智能调度的结果，发送给业务人员。

Images