CN109947737A - 针对多源异构数据的多维决策分析及可视化系统 - Google Patents

Abstract

本发明公开了一种针对多源异构数据的多维决策分析及可视化系统，该系统包括：数据源模块、数据自动抽取与格式转换模块、决策基础数据库模块、基于专题的多维决策分析模块以及多形式的可视化展示模块；其中，所述数据源模块通过互联网与所述数据自动抽取与格式转换模块相连；所述数据自动抽取与格式转换模块将处理后的数据送至所述决策基础数据库模块；所述基于专题的多维决策分析模块从所述决策基础数据库模块中获取待分析的数据进行决策分析，并将分析结果传送至所述多形式的可视化展示模块。本发明方案最大限度地克服了当前分析技术维数不够和可视化单调的不足，大大地提升了对历史数据的使用水平，提高了专题科学决策的有效性。

Description

针对多源异构数据的多维决策分析及可视化系统

技术领域

本发明属于大数据的多维决策分析及可视化技术领域，涉及一种针对多源异构数据的多维决策分析及可视化系统。

背景技术

随着各行业各业务系统的不断建设和部署，由于各系统建设的时间不同、使用的开发技术不同以及研发单位不同，导致各系统处于自我封闭状态，且其中绝大部分的业务系统属于信息处理系统，故每天会产生大量的交易业务数据。

因此，如何快速有效地从海量各信息孤岛的多源异构数据中进行信息集成和加工处理，提取出高于各业务系统的更有价值的高层决策信息，才是当今信息处理技术的关键。

现有技术存在以下不足：首先是没有采用本地数据库技术，故存在处理的数据量有限且分析深度不足的缺陷；其次，缺乏专题决策的功能，因现有系统数据来源相对单一，考虑分析的效率存在历史数据的时间间隔相对较短，故无法实现特定专题决策所需的数据；再者，分析结果的展示方式单一，多以表格方式呈现，没有实现多种图表并存展示的可视化技术；最后，没有实现无用户管理的多用户并发分析，基本以单机单用户方式进行分析。

发明内容

本发明目的在于提供一种针对多源异构数据的多维决策分析及可视化系统，为了克服行业内海量多源异构历史数据分析与处理问题，引入数据自动抽取与格式转换技术以及基于专题的多维决策分析技术，有效地克服了现有系统分析维数不够和可视化单调的不足，大大地提升了对历史数据的使用水平，提高了专题科学决策的有效性。

为解决上述技术问题，本发明采用如下的技术方案：一种针对多源异构数据的多维决策分析及可视化系统，该系统包括：数据源模块、数据自动抽取与格式转换模块、决策基础数据库模块、基于专题的多维决策分析模块以及多形式的可视化展示模块；其中，所述数据源模块通过互联网与所述数据自动抽取与格式转换模块相连；所述数据自动抽取与格式转换模块将处理后的数据送至所述决策基础数据库模块；所述基于专题的多维决策分析模块从所述决策基础数据库模块中获取待分析的数据进行决策分析，并将分析结果传送至所述多形式的可视化展示模块。

进一步地，所述数据源模块包含了目前主流的数据来源，归纳为四大类，分别是远程FTP服务器、远程数据库服务器、局域网数据库服务器以及本地数据服务器。

进一步地，所述数据自动抽取与格式转换模块由实时控制监测层、实时抽取格式处理层以及实时存储层组成，分别用来实现多数据源的数据检测、处理及存储功能。

进一步地，所述决策基础数据库模块用来临时存储数据清洗后的海量数据。

进一步地，所述基于专题的多维决策分析模块用于进行专题分析需求设定、专题多维统计与分析处理以及专题决策信息的分类入库。

进一步地，所述多形式的可视化展示模块用于有效展示数据背后隐含的重要信息以及增进决策专家对数据的理解。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对行业内海量多源异构历史数据分析与处理问题，引入数据自动抽取与格式转换技术以及基于专题的多维决策分析技术，最大限度地克服了当前分析技术维数不够和可视化单调的不足，大大地提升了对历史数据的使用水平，提高了专题科学决策的有效性。

附图说明

图1是针对多源异构数据的多维决策分析及可视化系统的整体框架图。

图2是数据自动抽取与格式转换模块的组成框架图。

图3是基于专题的多维决策分析模块的组成框架图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种针对多源异构数据的多维决策分析及可视化系统，该系统包括：数据源模块、数据自动抽取与格式转换模块、决策基础数据库模块、基于专题的多维决策分析模块以及多形式的可视化展示模块；其中，所述数据源模块通过互联网与所述数据自动抽取与格式转换模块相连；所述数据自动抽取与格式转换模块将处理后的数据送至所述决策基础数据库模块；所述基于专题的多维决策分析模块从所述决策基础数据库模块中获取待分析的数据进行决策分析，并将分析结果传送至所述多形式的可视化展示模块。

经调研，目前主流的数据来源可归纳为四大类，分别是远程FTP服务器、远程数据库服务器、局域网数据库服务器和本地数据服务器。其中：(1)FTP服务器方式是指通过互联网获取连接到一台或多台FTP服务器的数据；(2)远程数据库服务器方式是指从物理距离较远的多台远程数据库服务器获取数据；(3)局域网数据库服务器是指从局域网或企业网上的数据库服务器获取相应的数据，与第二类的差别主要在网络跨度上；(4)本地数据服务器方式是指从本地服务器上获取本地的数据文件等。

不论是哪种方式获取，由于各自治系统建设的时间、研发单位、采用的技术和具体业务的特定要求等，导致了数据的存储方式、数据类型以及更新频次等不同，进而呈现出数据异构、来源多样和海量数据等诸多特点，同时也给在各自治系统之上的数据统一集成和专题数据加工带来前所未有的挑战。

针对各自治系统提供数据方式的不同以及部分数据具有实时性等特点，将数据自动抽取与格式转换模块设计成如图2所示。

该模块包括实时控制监测层、实时抽取格式处理层以及实时存储层等。其中：实时控制监测层主要完成多源数据的访问权限的配置与管理、访问的方式配置、访问频次设定以及异常处理等，目的是与各数据来源建立合法可靠的数据访问机制。实时自动抽取与格式转换处理层主要完成对实时监测到的数据进行正确性检查，根据各异构数据的不同抽取规则对实时在线获取的数据进行分类多线程的自动抽取，并结合决策基础数据库的存储设计要求进行相应格式转换，形成具体统一规范的数据格式，此层显然是最核心的处理层，在设计时要特别注意转换的效率和转换的正确性，是后期应用的基础性工作。实时存储层主要是完成对产品数据的保存和数据的实时被利用，同时也方便以后历史数据的查询和统计分析等。

为了简化本系统使用的复杂性，改善用户体验效果，结合实际业务的特点与使用习惯，使用了一种多用户并发处理技术，其特点是在无用户管理的情况下，能实现多用户并发访问并不相互干扰的多用户访问方法。

从技术实现上说，采用用户首次连接系统时的服务器时间戳进行该用户的身份标识，当然在专题分析中使用的各种中间临时表以及最终结果数据表在设计时，需增加一个时间戳字段，用来区分各用户，达到互不干扰的效果。

海量多源异构数据通过数据自动抽取与格式转换模块处理后，形成了本地统一集成的决策基础数据库，接着，通过多维决策分析模块，围绕某一决策专题，形成用户定制的各类专题统计决策信息。具体来说可分为三步走，依次是专题分析的需求设定，专题多维统计与分析处理，专题决策信息的保存入库，如图3所示。

专题分析的需求设定子模块主要实现由用户根据决策基础数据库中数据进行收集的情况，围绕用户本次专题决策的目标，通过可视化界面灵活方便地对专题分析的需求进行设计，也是后一阶段专题数据统计与分析的依据。比如设定统计的数据集和数据属性，统计的方式以及统计的时间范围和空间范围等。

专题多维统计与分析子模块主要负责对设定的专题分析需求，进行临时表的初始化、多表数据的二次抽取、数据的多维统计和复杂决策分析、形成专题决策数据。以物价历史资料的多维分析为例，通过客户端对不同物价要素录入所需专题分析的条件，服务器根据录入的条件参数触发多维分析处理算法，调用不同的中间物理表和视图，采用存储过程对数据进行包括时间维、地区维和种类维在内的多维分析处理，生成物价专题决策数据。

专题决策信息的保存入库子模块相对比较简单，主要功能完成对前一过程生成的专题决策数据进行实时格式转换，并正确存入相应的各临时专题库。

各类专题决策分析的结果可视化是海量多源异构数据多维决策分析系统的一种非常重要的组成部分，可视化的效果直接影响到数据背后隐含重要信息的有效展示以及决策专家对数据的理解。以物价数据处理为例，决策多维分析的结果可分为一维数据、二维数据、多维数据、文本与超文本、层次和图形等多种形式。在可视化时，本发明以多种形式展示给客户端，为达到更直观和更友好展示的效果，采用.NET专业展示组件，用包括直线图、折线图、饼状图在内的图形形式进行展示，以及以各种汇总表的方式进行展示；考虑到后期方便对决策信息的进一步利用，系统在设计时提供了与决策相关的数据信息和图片信息的导出保存功能。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.针对多源异构数据的多维决策分析及可视化系统，其特征在于，所述系统包括：数据源模块、数据自动抽取与格式转换模块、决策基础数据库模块、基于专题的多维决策分析模块以及多形式的可视化展示模块；其中，所述数据源模块通过互联网与所述数据自动抽取与格式转换模块相连；所述数据自动抽取与格式转换模块将处理后的数据送至所述决策基础数据库模块；所述基于专题的多维决策分析模块从所述决策基础数据库模块中获取待分析的数据进行决策分析，并将分析结果传送至所述多形式的可视化展示模块。

2.根据权利要求1所述的针对多源异构数据的多维决策分析及可视化系统，其特征在于，所述数据源模块包含了目前主流的数据来源，归纳为四大类，分别是远程FTP服务器、远程数据库服务器、局域网数据库服务器以及本地数据服务器。

3.根据权利要求1所述的针对多源异构数据的多维决策分析及可视化系统，其特征在于，所述数据自动抽取与格式转换模块由实时控制监测层、实时抽取格式处理层以及实时存储层组成，分别用来实现多数据源的数据检测、处理及存储功能。

4.根据权利要求1所述的针对多源异构数据的多维决策分析及可视化系统，其特征在于，所述决策基础数据库模块用来临时存储数据清洗后的海量数据。

5.根据权利要求1所述的针对多源异构数据的多维决策分析及可视化系统，其特征在于，所述基于专题的多维决策分析模块用于进行专题分析需求设定、专题多维统计与分析处理以及专题决策信息的分类入库。

6.根据权利要求1所述的针对多源异构数据的多维决策分析及可视化系统，其特征在于，所述多形式的可视化展示模块用于有效展示数据背后隐含的重要信息以及增进决策专家对数据的理解。