CN109977547A

CN109977547A - 基于动态建模的大数据简报生成方法

Info

Publication number: CN109977547A
Application number: CN201910236587.9A
Authority: CN
Inventors: 栾润峰; 李跃海; 杜康; 李福荣; 张秋; 李晶
Original assignee: Beijing Gold And Network Ltd Co
Current assignee: Beijing Gold And Network Ltd Co
Priority date: 2019-03-27
Filing date: 2019-03-27
Publication date: 2019-07-05

Abstract

本发明公开了一种基于动态建模的大数据简报生成方法，包括：从公共数据环境提取数据，高内聚、低耦合整合成统一化表达的有效数据，并构建记录业务过程的事实表和与事实表相关的多个维度表，进行反规范化处理，构建星型模型；关联星型模型的有效数据，根据权限对应预设的条件筛选数据子集，结合简报需求计算各主语名称对应的数据量，通过文本模板、图表模板分别与数据量拼接，形成文本及图表，生成简报。本发明能够快速分析、查询数据，应对各地区人性化展示简报内容。

Description

基于动态建模的大数据简报生成方法

技术领域

本发明涉及一种基于维度建模的动态简报技术。更具体地说，本发明涉及一种基于动态建模的大数据简报生成方法。

背景技术

以往的前端数据产品直接依托传统关系型数据库，辅以java、.net等编程语言编写业务逻辑达到前端展示的目的。这种完全依赖编程语言处理数据的方式，面对涉及众多不同业务的数据往往无所适从，开发及维度的难度极大。即使开发完成，数据的响应速度也不能达到预期。因此目前亟需一种高效的数据组织、存储、展示方法。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种基于动态建模的大数据简报生成方法，其能够快速分析、查询数据，应对各地区人性化展示简报内容。

为了实现根据本发明的这些目的和其它优点，提供了一种基于动态建模的大数据简报生成方法，包括：

从公共数据环境提取数据，高内聚、低耦合整合成统一化表达的有效数据，并构建记录业务过程的事实表和与事实表相关的多个维度表，进行反规范化处理，构建星型模型；

关联星型模型的有效数据，根据权限对应预设的条件筛选数据子集，结合简报需求计算各主语名称对应的数据量，通过文本模板、图表模板分别与数据量拼接，形成文本及图表，生成简报。

优选的是，公共数据环境包括业务采集、政府提供、企业入驻平台。

优选的是，有效数据的命名规范统一，相同和相似的字段的字段类型统一，公共代码及代码值的数据类型、命名方式统一，业务含义相同的表的统一。

优选的是，根据地区管理级别权限对应的地区数据集合筛选辖区的数据子集。

优选的是，简报需求包括主语名称对应的总量、分量、占比、周平均、上周新增、前周新增、上周环比、前周环比。

优选的是，生成简报时，如出现并列文本，将多个并列文本编号并排序拼接。

本发明至少包括以下有益效果：

本发明与传统以业务逻辑为出发点不同，传统的实现方式直接从操作型数据库获取数据，编写程序实现复杂的业务逻辑处理达到目的，其数据与业务逻辑联系紧密。本发明以数据模型为基础，辅以业务逻辑的实现，其核心是数据模型。这种实现方式在操作型数据库与业务逻辑之间增加了一层，即数据模型。将数据按照统一的模式进行处理，再根据业务需求实现业务逻辑。将数据与业务逻辑分离，达到高内聚低耦合的效果。本发明适用于数据产品，其价值在于对应灵活多变的业务需求。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明的一个实例的维度建模示意图；

图2为本发明的一个实例的门店维度表示意图；

图3为本发明的一个实例的星型模型示意图。

具体实施方式

下面结合实例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得。

本发明提供一种基于动态建模的大数据简报生成方法，包括：

从公共数据环境提取数据，公共数据环境包括业务部门数据库、政府提供、企业入驻平台提供，依据高内聚、低耦合的理念将源数据清洗整合成统一化表达的有效数据，体现在有效数据的命名规范统一，相同和相似的字段的字段类型统一，公共代码及代码值的数据类型、命名方式统一，业务含义相同的表的统一，并构建记录业务过程的事实表和与事实表相关的多个维度表，将维度的属性层次合并到单个维度中，进行反规范化处理，构建星型模型；

关联星型模型的有效数据，形成多条数据集合，根据用户权限(例如用户地区管理级别的高低)对应预设的条件(级别高、低对应的辖区范围不同)筛选管辖区域的数据子集，结合简报需求(主语名称对应的总量、分量、占比、周平均、上周新增、前周新增、上周环比、前周环比)计算各主语名称对应的数据量，通过文本模板、图表模板分别与数据量拼接，形成文本及图表，生成简报，生成简报时，如出现并列文本，将多个并列文本编号并排序拼接。

在上述技术方案中，建立数据模型是构造数据仓库重要步骤之一。数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。为了快速的应对分析需求，采用维度建模理论构建数据仓库。有了数据仓库平台作为基础，获取数据相对简单很多，就简报的内容来说可分为4类：1、固定文本(文本模板、图表模板)；2、动态文本(计算各主语名称对应的数据量)；3、罗列文本(并列文本的处理和展示)；4、图表数据。简报的数据内容基于这4个分类考虑。

数据集成是数据仓库最重要的一个特性，由于实际业务是逐步开展并不断完善的，且时间跨度长，往往也是由不同人开发，造成业务的操作性关系数据库存在如下多方面的差异：应用在编码、命名习惯、度量单位等方面会存在很大的差异，如不同企业的企业ID含义相同，但字段名称不同，有Id、NewStore Id等；应用出于性能和扩展性的考虑，采用不同的物理实现，不同的应用数据采用不同的关系型数据库存储。数据由操作性数据库进入数据仓库，需要进行数据集成。

表1

表格名称	表格描述
		ods_lvp_StoreClaim	待认领表
ods_lvp_BusinessEnter	企业自主登记表
		ods_lvp_OperMiddle	入驻中间过程表
ods_lvp_NewStoreInfo	已入驻门店表
		ods_lvp_StoreAttr	门店属性表

如表1所示，有如下门店相关表格，这几个门店表都包含门店的基本信息或状态信息，需分别对每个字段进行分析，集成为唯一的门店表，这个唯一的门店表包含每个门店的全部信息及状态信息。具体如下(部分示例)：

SELECT*，

CONVERT(VARCHAR(10)，iif(ISDATE(LicenseExpire)＝1，CONVERT(DATETIME，LicenseExpire)，NULL)，20)LicenseExpireFormatted from[ods].[dbo].ods_lvp_NewStoreInfo

对许可证有效期进行格式化处理。如果是符合日期格式，则格式化为YYYY-MM-DD的统一格式，若不符合日期格式，则设置为NULL。

select*，

iif(FoodManagentImg is null or FoodManagentImg＝”，1，0)FoodManagentReplying，

iif(FoodCrculationImg is null or FoodCrculationImg＝”，1，0)BusinessLicenseReplying，

iii(LevelImg is null or LevelImg＝”，1，0)LevelReplying，

iif(PersonnelHealthImgis null or PersonnelHealthImg＝”，1，0)PersonnelHealthReplying，

iif(PersonnelHealthImg is null or PersonnelHealthImg＝”，0，len(PersonnelHealthImg)-len(replace(PersonnelHealthImg，’，’，”))+1)PersonnelHealthNum，

iif(mainSupplierImg is null or mainSupplierImg＝”，1，0)mainSupplierReplying，

iif(mainSupplierImg isnull or mainSupplierImg＝”，0，len(mainSupplierImg)-len(replace(mainSupplierImg，’，’，”))+1)mainSupplierNum

from[ods].[dbo].ods_lvp_storeAttr

对门店属性表中的食品经营许可证、健康证、主要供应商等上传证件状态进行一致性处理，证件的上传状态有空字符、NULL、1、0这4中状态，其中空字符、NULL与状态为1含义-致，将空字符、NULL进行判断之后置为状态1。上传的证件图片的存放方式是由逗号分隔的图片地址构成，通过统计逗号的数量，对证件数量进行统计。

d.BusinessStatus_value BusinessStatus，

e.BusinessTime，

d.OpenCount，

IIF(e.RestaurSize is not null，e.RestaurSize，iif(f.RestaurSize isnotnull，f.RestaurSize，b.RestaurSize))RestaurSize，

IIF(e.BusNet is not null，e.BusNet，iif(f.BusNetis not null，f.BusNet，b.NetworkManagement))BusNet，

IIF(d.MealTel is not null，d.MealTel，iif(f.MealTel is not null，f.MealTel，b.MealTei))MealTel，

IIF(e.CollDistr is not null，e.CoilDistr，iif(f.CollDistr is not null，f.CollDistr，b.CollDistr))CollDistr，

IIF(e.OperateTypeId is not null，e.OperateTypeId，iif(f.OperateTypeIdis not null，f.OperateTypeId，b.OperateTypeId))OperateTypeId，

IIF(d.Longitude is not null，d.Longitude，iif(f.Longitude is not null，f.Longitude，b.Longitude))Longitude，

IIF(d.Latitude is not null，d.Latitude，iif(f.Latitude is not null，f.Latitude，b.Latitude))Latitude，

IIF(e.LocationId is not null，e.LocationId，iif(f.LocationId is notnull，f.LocationId，b.LocationId))LocationId，

IIF(d.Address is not null，d.Address，iif(f.Address is not null，f.Address，b.Address))Address，

IIF(d.LinkName is not null，d.LinkName，iif(f.LinkName is not null，f.LinkName，b.ContactName))LinkName，

IIF(d.LinkTel is not null，d.LinkTel，iif(f.LinkTel is not null，f.LinkTel，b.LinkTel))LinkTel，

IIF(d.CompanyName is not null，d.CompanyName，iif(f.CompanyName is notnull，f.CompanyName，b.CompanyName))CompanyName，

集成每个表的数据，保留每个字段的有效数据，每个字段可能在多个表中都有，需根据实际业务过程判断有效数据。如RestaurSize字段在ods_lvp_StoreClaim别名b、ods_lvp_BusinessEnter别名f、ods_lvp_StoreAttr别名e中均存在，则对其判断，如果在e中存在(不为NULL)，则该字段为e中的值；如果不存在，则在f中查找是否存在，如果存在，则该字段为f中的值；如果不存在，则该字段为b中的值(可能为NULL)。其顺序根据业务先后顺序，后生成的表优先。其他字段以此类推。

系统数据主要由政府导入、企业自主登记这2个入口，其入驻成为正式门店的方式也有所不同。由于政府的数据系统并不统一，企业自主登记校验不严格，可能存在数据格式、准确性、数据粒度等不统一的情况。这就需要对不符合要求的数据进行处理，对不一致的数据进行转换。不符合要求的数据主要包括不完整的数据、错误的数据、重复的数据；数据转换主要进行不一致的数据转换、数据粒度的转换，以及一些商务规则的计算。

信息世界中的大多数数据本质上是多维的，维度建模技术就是为了多角度、多层次地反映数据之间的这个联系，通过对数据进行重组与综合，组织和建立起数据的多维结构，为决策分析提供数据的多维视图。维度模型一般有两种不同性质的表：事实表和维度表。通常采用星型模型把事实表和维度表融合在一起。将维度的属性层次合并到单个维度中的操作称为反规范化。为了更方便的统计分析，在维度建模的过程中大量采用了反规范化处理，使得数据模型方便、易用且性能好。

如图1-2所示，门店维度雪花模型规范化处理。门店维度被实例化为一系列维度，即业态维度、门店维度、地区维度，将重复属性(业态维度、地区维度)移植至其自身所属的表中，删除冗余数据。

对维度的属性层次合并到单个维度中，即反规范化处理。将业态维度、地区维度合并到门店维度表中。与规范化处理保留相同的的信息和关系，从分析的角度来看，没有丢失任何信息，但复杂度降低了。

如图3所示，将维表进行范规范化处理减低复杂度，形成星型模型。

在实际的业务环境中，维度建模需根据实际业务和外部环境而定，各种不同的处理方式都有其优缺点。采用雪花模型，可以节约一部分存储空间，但现阶段存储的成本非常低，出于易用性和性能的考虑，反规范化的处理很常见。在实际的应用的，几乎总是实用维表的空间来换取简明性和查询性能。有了数据仓库作为基础，获取数据相对容易很多，且数据都是规格统一，经过清洗的有效数据。经过高内聚、低耦合的理念将表整合之后，业务含义相同的表高度统一，对于简报这样涉及多个不同业务的数据也不需要太复杂的关联操作。简报有如下几个步骤获取：

1)数据筛选

根据业务需求关联星型模型相关表(门店维表、设备维表、自检自查维表、巡查维表、直播查看维表)，关联之后形成一个所需所有维度的宽表，再通过不同的参数(AppId、UserId及地区码)去筛选出一个子集(一个地区的宽表)，之后所有的都可以通过这个子集直接或间接得到。

2)数值计算

结合简报需要的具体数据，包含主语名称、总量、分量、占比、周平均、上周新增、前周新增、上周环比、前周环比。另外还有2个按主语分组排序字段NumberRank、LastRatioRank分别对分量、上周环比进行降序排名，最大值排名为1，越小排名越靠后。统一计算各主语对应的数据量及排序，如表2所示。

表2

3)简报文本拼接

将简报文本按句拆分，针对简报文本内容通过主语名称筛选获取相应内容再结合固定文本拼接成句。

SELECT @Text＝’上线点位数累计达’+Number+’个，上周上线’+LastWeek+’个’+IIF(LastRatio is null，’。’，’，环比前一周涨幅为’+LastRatio+’％。’)

FROM#BriefReportData_String where Subject＝’Camera’

SET@TotalContent＝@TotalContent+@Text

PRINT@Text

SELECT@Text＝’餐饮类企业总数达’+Number+’家，上周入驻’+LastWeek+’家’+IIF(LastRatio is null，’。’，’，环比前一周涨幅为’+LastRatio+’％。’)

FROM#BriefReportData_String where Subject＝’Catering’

SET@TotalContent＝@TotalContent+@Text

PRINT@Text

例如从表2中筛选内容进行拼接，拼接成如下语句：

上线点位数累计达4168个，上周上线25个，环比前一周涨幅为-56％。

餐饮类企业总数达29882家，上周入驻26家，环比前一周涨幅为-64％。

要实现上诉语句需获取3个数据，即总量、上周新增、上周环比。通过where语句定位“Camera”获取上线点位数的相关数据，定位“Catering”获取餐饮类企业相关数据。再通过“+”连接符对文本进行拼接，其中对上周新增数据可能存在的NULL值进行处理。

针对罗列文本，需对其编号排序方可循环拼接相应文本。最后将其每一个拼接好的文本拼接到一起即可。

IF EXISTS(select Number from#BriefReportData_String where Subject＝’OperateType’)

BEGIN

SET@Text＝’其他业态情况如下，’

SET@TotalContent＝@TotalContent+@Text

PRINT@Text

END

set@i＝1

SELECT@Times＝count(1)from#BriefReportData_Stringwhere Subject＝’OperateType’

WHILE@i＜＝@Times and EXISTS(SELECT Number FROM#BriefReportData_String WHERE Subject＝’OperateType’and NumberRank＝@i)

besin

SELECT@Text＝Name+’企业’+Number+’家，’FROM#BriefReportData_Stringwhere Subject＝’OperateType’and NumberRank＝@i

SET@TotalContent＝@TotalContent+@Text

PRINT@Text

SET@i＝@i+1

end

print@TotalContent

罗列其他业态企业数量如下：

其他业态情况如下，

食品-销售企业20家，

药品企业9家，

化妆品企业1家，

首先判断存在其他业态有企业数据，之后获取其他业态数量，上例中其他业态数量为3，然后where语句定位“OperateType”筛选表2中的业态相关数据。通过while循环将分量排序逐个筛选拼接，最终达到如上效果。

其他文本拼接虽细节各有不同，但基本方法都是一致的，概不赘述。

最终得到的文本内容示例如表3所示：

表3

4)简报图表数据

通过主语名称筛选计算好的相应内容及字段即可。

select Subject，Name，Number，LastWeek，BeforeLastWeek，isnull(LastRatio，’-’)LastRatio，isnuil(BeforeRatio，’-’)BeforeRatio from#BriefReportData_String where LastRatioRank＜＝10

and Subject in(’LastWeek’，’BeforeLastWeek’，’Supervise’，’Catering’，’NotCatering’，’ShineInfoNum’，’ShineProcessNum’，’Camera’，’SelfInspect’，’Inspect’，’StoreOpenCount’)

union all

select*from

(

select top 10Subject，Name，Number，LastWeek，BeforeLastWeek，isnull(LastRatio，’-’)LastRatio，isnull(BeforeRatio，’-’)BeforeRatio from#BriefReportData_String where

Subject in(’LocationUpDownList’)order by cast(LastWeek as int)desc

)a

从表2中通过where in组合筛选主语并指定需要的字段，获取相应的数据。对环比为NULL的数据进行处理，置为短横岗，表示没有意义。通过条件判断上周环比排序需小于等于10，即只获取TOP10数据。针对需要排序的主语“LocationUpDownList”进行单独处理，获取TOP10数据并排序，最后UNION ALL为同一个结果集。通过上述过程即得到应用于表格的数据，示例如表4：

表4

5)细节调整

a)Null值处理

由于没有相关数据，导致文字拼接结果为null，需进行特殊处理，如下：

set@Text＝’下降的街道有：’

set@LocationContent＝@LocationContent+@Text

print@Text

select@Times＝count(1)from#BriefReportData_String where Subject＝’LocationUpDownList’and cast(LastRatio as int)＜0

if@Times＝0

begin

set@Text＝’无，’

set@LocationContent＝@LocationContent+@Text

print@Text

end

若没有下降的街道，则显示为“无”，不会空着什么都不显示。

b)环比分母为0处理

若前一周数据为0，则环比的时候造成分母为0的情况，需进行判断处理，如：

INSERTINTO#BriefReportData select’Inspect’Subject，’执法巡检次数环比’Name，Number，null，null，LastWeek/7WeekAverage，

LastWeek，BeforeLastWeek，BigBeforeLastWeek，

CASE

WHEN BeforeLastWeek＝0THEN null

ELSE(LastWeek-BeforeLastWeek)*1.0/BeforeLastWeek*1.0

END LastRatio，

CASE

WHEN BigBeforeLastWeek＝0THEN null

ELSE(BeforeLastWeek-BigBeforeLastWeek)*1.0/BigBeforeLastWeek*1.0

END BeforeRatio

前一周巡检数据为0，则处理为null，若不为零，则计算环比。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实例。

Claims

1.基于动态建模的大数据简报生成方法，其特征在于，包括：

2.如权利要求1所述的基于动态建模的大数据简报生成方法，其特征在于，公共数据环境包括业务采集、政府提供、企业入驻平台。

3.如权利要求1所述的基于动态建模的大数据简报生成方法，其特征在于，有效数据的命名规范统一，相同和相似的字段的字段类型统一，公共代码及代码值的数据类型、命名方式统一，业务含义相同的表的统一。

4.如权利要求1所述的基于动态建模的大数据简报生成方法，其特征在于，根据地区管理级别权限对应的地区数据集合筛选辖区的数据子集。

5.如权利要求1所述的基于动态建模的大数据简报生成方法，其特征在于，简报需求包括主语名称对应的总量、分量、占比、周平均、上周新增、前周新增、上周环比、前周环比。

6.如权利要求1所述的基于动态建模的大数据简报生成方法，其特征在于，生成简报时，如出现并列文本，将多个并列文本编号并排序拼接。