CN108229825A

CN108229825A - 一种基于开发流程闭环的bi管理系统

Info

Publication number: CN108229825A
Application number: CN201810006818.2A
Authority: CN
Inventors: 杨朋坦; 苏清清
Original assignee: Focus Technology Co Ltd
Current assignee: Focus Technology Co Ltd
Priority date: 2018-01-04
Filing date: 2018-01-04
Publication date: 2018-06-29

Abstract

基于BI开发流程闭环的BI管理系统，权限管理模块，根据不同的项目赋予开发人员不同的权限；权限管理分为组织架构管理、用户组管理、角色管理、用户管理单元；其中组织架构管理单元是对公司不同事业部的管理，用户组管理单元为事业部下的子部门管理单元；不同测试人员可以看到对应的测试界面，在测试界面中完成测试任务；数据源管理模块；ETL开发管理模块，提供ETL开发和调试界面，将开发好的ETL和相关语句上传到ETL开发管理模块的控制系统，然后发布到相关平台，由审核人员审核通过后进行调度，保证数据的更新；开发流程管理模块；流量监控模块和部门项目绩效管理模块。

Description

一种基于开发流程闭环的BI管理系统

技术领域

本发明涉及对BI开发流程进行管理系统，尤其涉及一种高效的实现开发流程闭环管理的BI管理系统。

背景技术

很多企业在发展经营的过程中会产生大量的相关数据，这些数据隐藏着巨大的商业价值，而商业智能(BI)就是利用数据库技术、ETL技术、OLAP分析以及数据挖掘技术对企业业务活动产生的数据进行有效的整合，快速准确进行分析并提取有用信息，帮助企业做出明智的业务经营决策的一整套的解决方案。而在这个过程中会出现如下的问题：

1.数据源管理，ETL开发等开发流程碎片化，对流程缺少必要的监控和质量把控。

2.普通开发过程缺少权限管理，即：管理员权限，开发者权限，测试者权限，查看权限等多角色、多用户、多分组权限管理。

3.开发过程缺少流程管理，缺少对不同开发者在开发过程中的各个阶段的管理。

4.缺少外部数据库引入的操作，而在现实开发场景中经常会需要引入外部数据库，以及外部数据库数据的操作。

5.没有对流量进行监控告警。

6.部门项目缺少系统的管理，造成维护成本高、效率低的状况。

如果BI管理系统不能提供完整完善的BI管理流程，那么碎片化的独立开发可能造成项目管理困难，开发效率低下，出错率高、数据安全存在风险等问题。本专利提供一种新型的基于BI开发流程闭环管理的BI管理系统，通过本管理系统，BI开发过程涉及到的收集、管理数据，用户的权限分配，ETL开发与发布，开发流程管理，多数据源管理，监控与告警提，项目管理，开发流程管理，绩效管理等操作都有了保证，能够准确、安全与高效地完成开发。

ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。于是，企业如何通过各种技术手段，并把数据转换为信息、知识，已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。

做数据仓库系统，ETL是关键的一环。ETL是数据传递的工具，也是数据整合解决方案。ETL技术用到的工具，常用的有Informatica、Datastage、Beeload、Kettle等。如kettle是一款国外开源的ETL工具，纯java编写，可在Window、Linux、Unix上运行。kettle运行需要机器有JRE环境。

Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么。

Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

发明内容

本发明目的是，提出一种基于开发流程闭环的BI管理系统，创建一种高效、安全的BI管理系统，解决BI开发过程可能遇到的各种问题。

本发明的技术方案是，一种基于BI开发流程闭环的BI管理系统，包括：

1)权限管理模块，根据不同的项目赋予开发人员不同的权限；

权限管理分为组织架构管理、用户组管理、角色管理、用户管理单元；其中组织架构单元是对公司不同事业部的管理，用户组管理单元为事业部下的子部门管理单元，角色管理单元包含不同(分工)角色管理，如测试与开发人员；用户管理单元是给用户添加管理角色，不同的用户有不同权限，能看到对应权限下的管理界面；根据角色管理单元，不同开发人员可以看到对应角色权限的开发项目及所需的开发界面，在开发界面中完成项目开发；不同测试人员可以看到对应的测试界面，在测试界面中完成测试任务；

2)数据源管理模块，BI管理系统提供的多数据源管理功能，能对主流的Mysql、Oracle、DB2等数据库通过地址和端口号的方式添加，并在线查看数据库表及表中内容；系统的数据源管理模块提供sql语句编写、语句执行和操作数据库等功能，同时也支持图表和报表等多种形式的数据源数据展现；

3)ETL开发管理模块，提供ETL开发和调试界面，将开发好的ETL和相关语句上传到ETL开发管理模块的控制系统，然后发布到相关平台，由审核人员审核通过后进行调度，保证数据的更新；

4)开发流程管理模块，管理从项目的提出到项目的提交，项目经理(管理员)能设定开发过程的开发人员和测试人员，监控项目各阶段的完成情况，监管完成的效果；开发人员在接到任务时开发流程管理模块会有邮件或者短信提醒；如果在设定的时间范围内没有完成指定任务，开发流程管理模块也将通过短信或邮件提醒；

5)流量监控模块，如果公司网站出现点击量突增或异常、登录异常等情况，平台可以实现实时监管，并通过邮件或短信通知相关负责人。

6)部门项目绩效管理模块，对项目从立项到完成的整个生命周期监管，监控项目的完成情况，提示即将过期的项目，跟踪延期的项目。项目提出人(上游)，项目推广人通过进入评价系统给完成的项目做评价，量化项目成果分级。通过权重计算公式，计算出项目绩效。添加用户的查看权限。

7)指标集管理模块，指标集统一管理，支持指标集依赖管理。

有益效果：本发明将BI开发流程中涉及的开发过程和管理过程包含在BI管理系统中，系统提供数据源管理，数据仓库管理、ETL开发，权限管理，流程控制，流量监控，外部数据引入、指标集管理等。该管理系统能够记录BI开发周期并且高效管理BI开发过程，大大提高了开发效率。上述BI管理系统完成了包含BI开发各个业务过程的闭环管理。将开发项目的开发过程汇集到BI管理系统中，把零散的管理文件、数据库、开发过程纳入系统进行统一管理。

附图说明

图1是本发明实施例中的使用流程示意图。

图2是本发明实施例中报表开发流程示意图。

图3是本发明实施例中数据仓库开发流程-ODS全量加载流程图。

图4是本发明实施例中数据仓库开发流程-ODS增量加载流程图；

图5是本发明实施例中数据仓库开发流程-DW增量加载ETL开发流程图；

图6是本发明实施例中数据仓库开发流程-DM增量加载ETL开发流程图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。

本发明将BI开发流程中涉及的开发过程和管理过程包含在BI管理系统中，管理系统提供数据源管理(包括数据仓库管理、外部数据引入)、ETL开发，权限管理，流程控制，流量监控，指标集管理等。该管理系统能够记录BI开发周期并且管理BI开发过程，参阅图1所示，本发明实施例的BI管理系统使用流程，具体步骤为：

步骤1-1：超级管理员登录系统，为管理系统添加组织架构、用户组、角色、用户。为用户赋予相应的权限，如查看操作对应数据源、开发、测试、监控等权限。为开发完成的报表(QV_ETL&FORM_NAME)添加可见权限(OA_EMPLOYEES)。

步骤1-2：管理员登录系统，查看任务列表(TASK_LIST)、分配任务(TAST_DISTR)。根据项目需求，为任务添加数据如引入外部数据源、业务数据库、文本日志、Excel、网络数据或其他数据。

步骤1-3：用户(开发人员ROLE_DEV_NAME)登录系统，根据其被赋予的权限，他可以看到自己的项目(TASK_NAME)，开发所需的数据，在开发页面中编写代码，调试程序，查看结果，调试成功后，将代码提交或将报表或图表提交。

步骤1-4：用户(测试人员ROEL_TEST_NAME)登录系统，根据被赋予的权限，他可以看到自己测试任务，根据测试要求，检查代码运行结果或图表报表中的数据。如果测试通过，则开发任务测试通过，任务发布。

步骤1-5：管理员根据项目属性，将开发出来的程序提交给相关人或管理员为ETL添加调度，为已经发布的任务添加流量监控(监控规则MONITOR_RULE_LIST)评估数据质量(DATA_QUALITY)、为图表报表添加可见权限(VISUAL_RIGHT_ROLE)。

步骤1-6：有指标集管理控制权限的人员可以对指标集管理。前端以表单形式展现，提供增删改查等操作。指标有指标分类(INDICATOR_TYPE_NAME)，指标集记录每个指标分类的子指标有指标名称(INDICATOR_NAME)，指标描述(INDICATOR_DESC)；项目(PROJECT_NAME)可以有多个项目子模块(PROJECT_MODULE)，每个子模块可以查看QV情况(QV_NAME)，每个项目可以添加不同的项目指标(PROJECT_INDICATOR)；

步骤1-7：有绩效管理权限的用户，可以进入绩效管理界面，查看项目进度(PROJECT_SCHEDULE)，为开发完成的项目打分(PROJECT_SCORE)，计算出绩效(PERFORMANCE)。项目绩效指的是项目得分，项目得分是根据项目级别得到的，不同级别项目得分不同。项目级别是由项目实施难度和实施效果评定的，有1～8八个级别。实施难度根据项目规模和技术难度可以评定为C、C+、B、B+、A和A+六个级别。项目规模根据项目所用时间划分，具体划分为>6人月、<＝6人月、<＝3人月、<＝1人月、<＝1/2人月、<＝1/4人月，技术难度根据项目使用的技术部门可以胜任的人的占比确定，只有15％的人能解决的定义为困难，有50％的人能解决的定义为中上，有80％的人能解决的定义为中等，有100％人能解决的定义为简单。而项目的实施效果根据项目性质确定的，如果是报表项目，用户数>150的评为A，用户数>50的评为B，用户数>+10的评为C，用户数<10的评为D；如果是技术研究项目，作为支持性平台的评为A，作为支持性平台中的某部分的评为B,作为支持性平台的某一个点的评为C。根据实施效果和技术难度可以对应到不同的项目级别，即项目绩效。

参阅图2，本发明实施例的BI管理系统中BI报表开发流程，具体步骤为：

步骤2-1：根据项目的需求，做需求描述，需求由接口人提出，或者由项目经理整理提出，经项目负责人确认需求后，项目正式启动，进入项目开发阶段。

步骤2-2：开发人员根据业务背景和业务需求，选用适当的模型进行维度建模，例如星型模型和雪花模型。

步骤2-3：开发人员在ETL开发阶段，先进行表结构设计，然后确定更新策略，全量更新或是增量更新，最后根据需要选择相应的数据库进行ETL开发。

步骤2-4：开发完成后，由测试人员进行ETL测试，测试分为常规测试和业务逻辑测试。

步骤2-5：常规测试分为ETL脚本测试，测试脚本是否可以运行。可以运行的ETL脚本编码是否符合技术规范。

步骤2-6：业务逻辑测试需要先确定指标设计是否合理，然后进行数据量测试：目标表数据量与数据源数据量是否一致；唯一性检测：检查重复调度是否会产生重复数据；效率测试等。

参阅图3-6，本发明实施例的BI管理系统中数据仓库一般分为ODS、DW、DM三层，下面为三层各自的ETL开发过程。

步骤3-1：一般的数据仓库可分为ODS、DW、DM三层，这三层分别都有ETL开发。我们根据不同的BI项目和企业业务主题划分不同的ETL包，根据项目进度安排包的开发，同一主题共用一个包，这样数据的统一性比较好；然后根据表之间的数据传递关系建立表依赖关系。ODS层作为数据仓库的数据源从业务系统取数据，全部同步业务系统的数据，不做任何修改，事实上是记录业务数据的，包括全量加载、增量加载。全量加载的ETL开发流程是先清空ODS目标表，将数据源的数据全量插入目标表，无论是否成功写入日志；增量加载是先清空ODS临时表，将数据源增量数据插入临时表，删除目标表与临时表重复的数据，再将将临时表数据全量插入目标表；最后完成日志写入。增量加载每次只更新历史数据中没有更新的记录，并且载入历史数据中没有的新数据。

步骤3-2：DW层是中间层，我们一般根据尽可能多地满足项目取数据需要的原则创建DW表，在ODS层数据基础上建立，是在结果集层面建立的，可以作为一般项目的基础表使用。DW层先更新事实表，再更新维度表。DW层全量加载与ODS层方法类似、增量加载ETL开发先将增量数据按照历史数据的ROENUM排序，然后将增量数据插入临时表，然后将ODS源数据表与临时表关联，将数据插入维表中，最后写入日志(log)，需要注意将维表字段改成维表的代理关键字。

步骤3-3：DM层是根据项目需要创建的表，一般来说一个项目开发的DM表在别的项目中不会用到，因为它是根据具体需求建的表，是在结果集层面建立的，为项目服务，争对查询，不具有扩展性。DM层全量加载与ODS层方法类似、增量加载ETL开发流程是根据指标是否取自不同的DW表，在根据时间戳的不同范围，做增量数据按照业务时间插入临时表，以及临时数据的插入处理。

DM(data mart)数据集指包含企业数据的一个子集,对于特定用户是有用的,其范围限于选定的主题,其包含的数据通常是汇总的.

ODS全称为Operational Data Store，即操作型数据存储数据被操作产生的，例如电商交易数据(客户买东西订单)行业订单工单数据(客户投诉数据)，或者也叫运营数据仓储，是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合，用来满足企业综合的、集成的以及操作型的处理需求”。ODS是数据仓库体系结构中的一个可选部分，是DB(数据库)与DW之间的中间层，ODS具备数据仓库的部分特征和OLTP系统的部分特征。

ODS；是在业务系统和数据仓库之间形成一个隔离层；数据仓库DW和ods的区别还有一点是ods基本只做数据层面的基础分析，而数据仓库会有涉及到业务模型的需要依靠数据挖掘；数据仓库DW，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。

为了更好地为前端应用服务，数据仓库的效率足够高。数据仓库的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。

数据仓库的数据质量特点：数据仓库所提供的各种信息，肯定要准确的数据，但由于数据仓库流程通常分为多个步骤，包括数据清洗，装载，查询，展现等等，复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。

数据仓库的扩展性。之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就不能运行。

ODS与DW的区别：

1、数据的当前性

ODS包括的是当前或接近当前的数据，ODS反映的是当前业务条件的状态，ODS的设计与用户或业务的需要是有关联的，而DW则是更多的反映业务条件的历史数据。

2、数据的更新或加载

ODS中的数据是可以进行修改的，而DW中的数据一般是不进行更新的。ODS的更新是根据业务的需要进行操作的，而没有必要立即更新，因此它需要一种实时或近实时的更新机制。另外，DW中的数据是按照正常的或预先指定的时间进行数据的收集和加载的。

3、数据的汇总性

ODS主要是包括一些细节数据，但是由于性能的需要，可能还包括一些汇总数据，如果包括汇总数据，可能很难保证数据的当前性和准确性。ODS中的汇总数据生命周期比较短，所以可称作为动态汇总数据，如果细节数据经过了修改，则汇总数据同样需要修改。而DW中的数据可称为静态的汇总数据。

4、数据建模

ODS是站在记录层面访问的角度而设计的，DW或DM则是站在结果集层面访问的角度而设计的。ODS支持快速的数据更新，DW作为一个整体是面向查询的。

5、查询的事务

ODS中的事务操作比较多，可能一天中会不断的执行相同的事务，而DW中事务的到达是可以预测的。

6、用途

ODS用于每一天的操作型决策，是一种短期的；DW可以获取一种长期的合作广泛的决策。ODS是策略型的，DW是战略型的。

ODS全量加载(清空ODS目标表，将数据源的数据全量插入目标表、插入无论是否成功均写入日志)、ODS增量加载(将数据源的增量数据插入临时表、删除目标表与临时表重复的数据、将临时表数据全量插入目标表、插入无论是否成功均写入日志)、DW层增量加载(将数据源增量数据按历史数据的ROENUM排序，将增量数据插入临时表、清空DW表、将ODS源数据与临时表关联，将ODS源数据插入维表中、插入无论是否成功均写入日志)、DM层增量加载(清空临时表、判断是否还有指标取自不同的DW表、如是转31、否转40；31取出数据表中时间戳范围内的不同业务时间，32循环处理，33将增量数据按照业务时间插入临时表、34结束循环；40取出数据表中时间戳范围内的不同业务时间，41将第一临时表的数据按照维度字段汇总到第二临时表中，43删除目标表与第二临时表重复的数据、44将第二临时表的数据插入目标表、45插入无论是否成功均写入日志)。

以上所述仅为本发明的一种实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均以包含在本发明的保护范围之内。

Claims

1.一种基于BI开发流程闭环的BI管理系统，其特征是包括：

权限管理分为组织架构管理、用户组管理、角色管理、用户管理单元；其中组织架构管理单元是对公司不同事业部的管理，用户组管理单元为事业部下的子部门管理单元，角色管理单元包含不同(分工)角色管理；用户管理单元是给用户添加管理角色，不同的用户有不同权限，能看到对应权限下的管理界面；根据角色管理单元，不同开发人员可以看到对应角色权限的开发项目及所需的开发界面，在开发界面中完成项目开发；不同测试人员可以看到对应的测试界面，在测试界面中完成测试任务；

2)数据源管理模块，BI管理系统提供的多数据源管理功能，能对主流的Mysql或Oracle数据库通过地址和端口号的方式添加，并在线查看数据库表及表中内容；系统的数据源管理模块提供sql语句编写、语句执行和操作数据库等功能，同时也支持图表和报表等多种形式的数据源数据展现；

5)流量监控模块，如果公司网站出现点击量突增或异常、登录异常等情况，平台实现实时监管，并通过邮件或短信通知相关负责人；

6)部门项目绩效管理模块，对项目从立项到完成的整个生命周期监管，监控项目的完成情况，提示即将过期的项目，跟踪延期的项目；项目提出人(上游)，项目推广人通过进入评价系统给完成的项目做评价，量化项目成果分级；通过权重计算公式，计算出项目绩效；添加用户的查看权限。

2.根据权利要求1所述的基于BI开发流程闭环的BI管理系统，其特征是BI管理系统中，管理系统提供数据仓库管理中，数据仓库分为ODS、DW、DM三层，为三层各自的ETL开发过程：

步骤3-1：数据仓库分为ODS、DW、DM三层，这三层分别都有ETL开发，开发人员根据业务背景和业务需求，选用适当的模型(星形模型和雪花模型)进行维度建模。维度建模设计有4步过程，第一步选择业务过程，例如获得订单、处理服务电话、处理索赔等；第二步声明粒度，例如客户销售事务上的每个产品在一行，销售人员开具的票据的列表内容项采用一行表示等；第三步确定维度，维度解决的问题是如何描述来自业务过程度量事件的数据，常见的维度包括日期、产品、设备、城市等；第四步确定事实，不同粒度的事实必须放在不同的事实表中。综合考虑业务用户需求和数据来源的实际情况，根据以上步骤来建模数据；建立模型之后需要确定数据的更新策略是全量加载还是增量加载；ODS层包括全量加载、增量加载，全量加载的ETL开发流程是将数据源的数据全量插入目标表，增量加载是将数据源增量数据插入临时表，再将将临时表数据全量插入目标表；最后完成日志写入；

步骤3-2：DW层全量加载与ODS层方法类似、增量加载ETL开发先将增量数据按照历史数据的ROENUM排序，然后将增量数据插入临时表，然后将ODS源数据表与临时表关联，将数据插入维表中，最后写入日志(log)；

步骤3-3：DM层全量加载与ODS层方法类似、增量加载ETL开发流程是根据指标是否取自不同的DW表，在根据时间戳的不同范围，做增量数据按照业务时间插入临时表，以及临时数据的插入处理。

3.根据权利要求2所述的基于BI开发流程闭环的BI管理系统，其特征是ODS层包括全量加载、增量加载的ETL流程如下，ODS全量加载：清空ODS目标表，将数据源的数据全量插入目标表、插入无论是否成功均写入日志；

ODS增量加载：将数据源的增量数据插入临时表、删除目标表与临时表重复的数据、将临时表数据全量插入目标表、插入无论是否成功均写入日志。

4.根据权利要求3所述的基于BI开发流程闭环的BI管理系统，其特征是DW层增量加载ETL流程如下：将数据源增量数据按历史数据的ROENUM排序，将增量数据插入临时表、清空DW表、将ODS源数据与临时表关联，将ODS源数据插入维表中、插入无论是否成功均写入日志。

5.根据权利要求3所述的基于BI开发流程闭环的BI管理系统，其特征是DM层增量加载ETL流程如下：清空临时表、判断是否还有指标取自不同的DW表、如是转31、否转40；31取出数据表中时间戳范围内的不同业务时间，32循环处理，33将增量数据按照业务时间插入临时表、34结束循环；40取出数据表中时间戳范围内的不同业务时间，41将第一临时表的数据按照维度字段汇总到第二临时表中，43删除目标表与第二临时表重复的数据、44将第二临时表的数据插入目标表、45插入无论是否成功均写入日志。