CN114579651A - 一种审计数据采集系统 - Google Patents

Abstract

本发明公开了一种审计数据采集系统，包括系统支撑模块、物理支撑模块以及主站，系统支撑模块用于提供审查数据采集系统的具体运行环境，物理支撑模块用于处理审计数据采集系统中的各种业务逻辑，其中，审计数据采集系统通过物理支撑模块访问系统支撑模块，物理支撑模块访问系统支撑模块并提供业务对象给主站，从而使主站与底层运行环境分离，主站用于响应用户操作，以实现采集数据，查看数据挖掘结果，并通过服务器识别系统支撑模块中的控制参数，将数据加载到数据仓库内，以创建多维模型、分析多维数据，得到审计结果通过服务器的控制写入系统支撑模块中。本发明建立了一个安全准确、使用灵活的审计数据采集系统。

Description

一种审计数据采集系统

技术领域

本发明涉及电力信息审计领域，尤其涉及一种审计数据采集系统。

背景技术

电力行业作为国家关键性行业，对国家正常的经济运行起到重大的支撑作用，数据库是所有电力信息系统的运行基础，记录有大量的用户信息、生产数据等关键信息，是最具有战略性的资产。其中对审计数据采集处理也显得尤为重要，但目前审计数据的采集处理多是直接通过采集器采集数据然后直接进行处理，容易出现采集错误数据或者带有病毒的数据，而不能及时发现并及时切断采集，导致数据错乱和不准确。

发明内容

本发明基于以上问题，本发明公开了一种审计数据采集系统。

为实现上述目的，本发明所采用的技术方案如下：

一种审计数据采集系统，包括系统支撑模块、物理支撑模块以及主站，所述系统支撑模块用于提供审查数据采集系统的具体运行环境，所述物理支撑模块用于处理所述审计数据采集系统中的各种业务逻辑，其中，所述审计数据采集系统通过物理支撑模块访问所述系统支撑模块，所述物理支撑模块访问所述系统支撑模块并提供业务对象给所述主站，从而使所述主站与底层运行环境分离，所述主站用于响应用户操作，以实现采集数据，查看数据挖掘结果，并通过服务器识别所述系统支撑模块中的控制参数，将数据加载到数据仓库内，以创建多维模型、分析多维数据，得到审计结果通过所述服务器的控制写入所述系统支撑模块中。

可选的，所述系统支撑模块包括用以支撑所述审计数据采集系统的操作系统以及数据库，其中，所述数据库包括普通二维数据库以及SSAS多维数据库。

可选的，所述物理支撑模块包括业务逻辑Webservice以及基础支撑API库。

可选的，所述主站包括数据ETL模块、OLAP展示模块以及数据挖掘模块，所述数据ETL模块用于采集界面控制、读取模板信息、采集状态控制、提交界面控制以及提交状态控制，所述OLAP展示模块用于Cube构建、多维数据注册、模型树管理、分析展现界面、透视交互展现以及自定义拖放控制，所述数据挖掘模块用于挖掘模型管理以及算法的实现与展现。

可选的，所述数据ETL模块包括采集界面控制模块、数据源与模板选择控制模块、数据采集模块、待提交数据选择模块以及数据提交确认模块。

可选的，所述采集界面控制模块用于数据采集时窗口、页面的选择判断以及状态消息报送，所述数据源与模板选择控制模块用于指定数据源地址，加载模板信息，输入变量，为数据采集作准备，所述数据采集模块用于在加载窗口选择模板后，与所述数据库通信，读取配置好的数据采集、转化规则，所述待提交数据选择模块用于连接存放采集数据的中间数据库，显示采集到的数据记录，等待用户选择要数据记录，并进入提交确认状态，所述数据提交确认模块用于与所述数据库通信，按照采集字段的关联规则，检索中间数据库表中是否有与数据仓库中相同的记录。

可选的，所述OLAP展示模块包括多维数据注册模块、模型分析树管理模块、多维数据分析功能界面模块、透视图表交互控制数据展现模块、自定义拖放区域模块。

可选的，所述多维数据注册模块用于在所述审计数据采集系统在需要时连接和注册Cube，所述模型分析树管理模块用于连接所述普通二维数据库以及所述SSAS多维数据库，获得注册的Cube信息，以创建、修改、删除应用模型，所述多维数据分析功能界面模块用于运行基础模型或应用模型时的数据分析界面控制，所述透视图表交互控制数据展现模块用于封装OWC组件，重写透视表及透视图，形成接口控件，并实现有关透视图和透视表的拖放和钻透操作，所述自定义拖放区域模块用于自定义四个区域，分别放置行、列、筛选和度量值字段。

可选的，所述数据挖掘模块包括数据挖掘结果展现模块以及模型管理模块。

可选的，所述数据挖掘结果展现模块用于数据挖掘算法在所述审计数据采集系统中的应用，所述模型管理模块用于在所述审计数据采集系统读取所述数据库中保存的模型信息，并将模型列表展示在模型树下。

本发明与现有技术相比，所取得的技术进步在于：

本发明通过撑模块、物理支撑模块以及主站，建立了一个安全准确、使用灵活的审计数据采集系统。同时通过多维模型分析过程清晰、管理有效，合理利用开放资源，节约开发成本，提高开发效率，在此基础上，充分发挥OLAP特性，将数据关系全方位、多角度呈现给用户。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明的系统结构图。

具体实施方式

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

实施例1

一种审计数据采集系统，包括系统支撑模块、物理支撑模块以及主站，其中系统支撑模块提供审计数据采集系统的具体运行环境，其中包括操作系统和数据库，数据库中包括普通二维数据库以及SSAS多维数据库。

物理支撑模块物理支撑模块主要负责处理系统中的各种业务逻辑，其主要包括业务逻辑Webservice和基础支撑API库，审计数据采集系统通过物理支撑模块访问数据库，物理支撑模块访问数据库并提供业务对象给主站，从而使主站与底层运行环境分离。

主站主站主要负责响应用户操作，展示结果数据，其包括可定制的一系列应用模块，不同模块专门处理不同的用户操作，在本实施例中，主站无法直接访问数据库或其他系统支撑模块中的资源，只能通过业务逻辑层去访问。在主站，用户可以采集数据，后台通过服务器识别系统数据库中的控制参数，将数据加载到数据仓库；还可以创建多维模型、分析多维数据，查看数据挖掘结果，得到的最终结果通过服务器的控制，写入系统数据库中。具体开发流程就是要实现上述应用：通过采集程序开发和模板程序配置实现数据ETL过程；通过封装OWC组件，建立Cube和开发应用平台、通讯组件实现OLAP分析；通过开发数据挖掘算法和接口程序，实现数据挖掘。

实施例2

主站包括数据ETL模块、OLAP展示模块以及数据挖掘模块，所述数据ETL模块用于采集界面控制，即负责数据采集时窗口、页面的选择；加载采集文件信息和模板信息；提取变量值；显示初始配置信息。读取模板信息，即在加载窗口选择模板后，与系统数据库通信，读取配置好的数据采集、转化规则，包括目的表名称、临时表名称、Excel中的Sheet页名称、采集起始行和过滤条件等基本信息；按照既定格式，匹配程序中的SQL语句和模板字段信息及采集方式、数据类型。采集状态控制，即在实施采集过程中，连接暂存文件，跟踪采集情况，报告结果。采集成功则将数据写入暂存文件，否则提示错误并选择返回。提交界面控制，即与系统数据库通信，检索暂存文件中是否有与数据仓库中相同的记录，报告是否重复，有“插入”、“更新”、“取消”三种操作供选择。提交状态控制，即与系统数据库通信，按照采集字段的关联规则，将数据从暂存文件中写入数据仓库，之后删除暂存文件中的数据。采集实际数据时，还要按照“读取模板信息”模块制定的规则进行模板的配置，连同提交控制的信息预先写入系统数据库中。

实施例3

OLAP展示模块用于Cube构建，即按照XMLA文件的语言规范，建立Cube；也可以通过SSAS建立Cube：新建工程文件后，指定数据源，在数据源中选择数据表建立视图并指定依赖关系，然后设置维度，最后创建Cube，同时生成了度量值；通过MDX语言定义计算方法、KPI算法和钻透。

多维数据注册，即管理员通过其特有的功能，添加多维数据库地址，将多维数据库中的Cube添加到系统数据库中，供普通用户查看多维展现信息。

模型树管理，即连接多维数据库或系统数据库，显示注册的Cube信息，可以创建、修改、删除多维模型，可以切换模型显示视图，还有新建文件夹和调整Cube上下结构顺序的功能，并可以将模型提交到审核机构审核，或将模型导出为XMLA文件进行代码分析。

分析展现界面，即初始化各个功能组件；从模型分析树创建应用模型、修改模型，保存模型并更新模型树；加载Cube结构透视字段列表；构造结果展现图表。

透视交互展现，即封装OWC组件，重写透视表及透视图方法，将透视图和透视表关联；设置行、列、筛选和度量值拖拽区，捕获OWC命令控制消息；旋转行、列和筛选区域观察不同结构方式下的数据；调整展现窗口布局；展开或收缩级别显示汇总数据；选择图表样式；对选中的数据导出为Excel文件；保存模型到系统数据库。

自定义拖放控制，即除OWC组件提供的字段拖放空间外，自定义四个区域，分别放置行、列、筛选和度量值字段，拖放字段时产生图标阴影和位置界定线，增加立体感。另外，还要通过IIS(Internet信息服务)部署服务器信息和OLAP服务，才能使主站发出的查询信息到达服务器，保障服务器与系统数据库和多维数据库的信息交互，达到传递数据的目的。

数据挖掘模块用于挖掘模型管理，即连接多维数据库，根据系统数据库中的注册信息在挖掘模型树下显示模型记录。算法实现与展现，即直接将算法针对数据仓库或Cube进行应用，每次浏览挖掘模型时自动执行算法，调用图形接口直接展现挖掘结果。

实施例4

数据ETL模块包括采集界面控制模块、数据源与模板选择控制模块、数据采集模块、待提交数据选择模块以及数据提交确认模块，其中，采集界面控制模块主要功能是负责数据采集时窗口、页面的选择判断，状体消息报送等。程序结构主要包括两类窗体：主窗体、状态判断控件。主窗体是数据采集时显示的用户对话框，它通过状态判断控件选择加载程序执行时的各个界面，并在具体的任务完成后给出状体信息；状态判断控件则具体负责状态选择，在触发某事件时加载正确的界面。

数据源与模板选择控制模块主要功能是：指定数据源地址，加载模板信息，输入变量，为数据采集作准备。

本实施例涉及的数据库文件是[ICSS_REPORT_MODULE]，它有[MODULEID]，[MODULENAME]，[MODULEXML]3个关键属性。[MODULEID]用于形成下拉列表，[MODULENAME]是显示的模板名称，[MODULEXML]则存储了模板信息，它是以XML形式保存的。

在整个采集信息配置过程中，各个部分以用户控件的形式存在，并且它们都是继承WizardPage类，实现的不同功能。

数据采集模块在加载窗口选择模板后，与系统数据库通信，读取配置好的数据采集、转化规则，这些规则包括目的表名称、临时表名称、Excel中的Sheet页名称、采集起始行和过滤条件等基本信息；按照既定格式，匹配程序中的SQL语句和模板字段信息及采集方式、数据类型。在实施采集过程中，连接暂存文件，跟踪采集情况，报告结果。采集成功则将数据写入暂存文件，否则提示错误并选择返回。

待提交数据选择模块用于连接存放采集数据的中间数据库，显示采集到的数据记录，等待用户选择要数据记录，并进入提交确认状态。窗体界面由类FrmBusinessManager实现，除实现基本的刷新、删除、提交、全选、全清、反选和块选外，它还调用数据勾选类OperationCommon来辅助完成数据有选择地提交。

数据提交确认模块用于执行数据库操作，与系统数据库通信，按照采集字段的关联规则，检索中间数据库表中是否有与数据仓库中相同的记录，报告是否重复，有“插入”、“更新”、“取消”三种操作供选择。确认提交后，将数据从中间数据库表中写入数据仓库，之后删除中间数据库表中的数据。

采集实际数据时，还要按照“读取模板信息”模块制定的规则进行模板的配置，连同提交控制的信息预先写入系统数据库中。涉及到此模块的系统控制数据库文件包括：[ICSS_INPUT_TABLEDES]，功能是将中间数据库表与数据仓库的目的表名对应；[ICSS_INPUT_COLUMN]，功能是将提交字段与提交表对应。

实施例5

OLAP展示模块包括多维数据注册模块、模型分析树管理模块、多维数据分析功能界面模块、透视图表交互控制数据展现模块、自定义拖放区域模块，其中，多维数据注册模块用于在建立好Cube后，数据分析系统要加载它就需要对其进行连接和注册。此模块主要负责Cube的注册，供系统使用。具体实现包括应用窗体类FrmRegisterCube和用户控件类CtrlCubesRegister。FrmRegisterCube用于加载主程序窗体，同时调用CtrlCubesRegister实现注册界面展示；CtrlCubesRegister用于提供多维数据库和Cube注册的接口，并实现注册功能，多维数据库注册信息保存在系统控制数据表[ICSS_MODEL_MDDREGIST]中，Cube注册信息保存在控制表[ICSS_MODEL_AUDIT_BASEMODELREGISTER]中。

模型分析树管理模块用于连接多维数据库或系统数据库，获得注册的Cube信息，可以创建、修改、删除应用模型，可以切换模型显示视图，还有新建文件夹和调整Cube上下结构顺序的功能，并可以将模型提交到审核机构审核，或将模型导出为XMLA文件进行代码分析。

在模型树上，有两级固定节点，一级固定节点为基础模型和应用模型两个节点，基础模型节点下挂接按业务分类的基础模型；应用模型节点下挂接二级固定节点，二级固定节点包括审计署模型、审计机构模型和审计师模型三个节点，其下挂接各自级别的模型。

模型树的主要组成是文件夹和多维模型，主要功能就是建立和管理Cube信息，在界面打开后初始化模型树结构，等待用户操作命令到来，为多维数据分析提供友好的界面支持。模型分析树的展现结构保存在系统控制数据表[ICSS_MODEL_AUDIT_BUSTYPE]中。此模块主要功能操作有：FrmBaseModelRegister类，实现基础模型从多维模型的再次注册，此处相关的数据控制表是[ICSS_MODEL_AUDIT_BASEMODELREGISTER]；ModelTreeControl类，负责从数据库中读取模型树结构并初始化模型树；Model类，实现分析模型在模型树上的挂接；ModelFolder类，实现文件夹在模型树上的挂接；RunModelHandler类，运行模型，展现模型内容。

多维数据分析功能界面模块用于实现运行基础模型或应用模型时的数据分析界面控制，主要功能是：初始化各个功能组件；从模型分析树创建应用模型、修改模型，保存模型并更新模型树；加载Cube结构透视字段列表；构造结果展现图表。

透视图表交互控制数据展现模块用于通过封装OWC11组件，重写透视表及透视图方法，形成有利于本系统功能开发的优化接口控件，之后通过CtrlPivotTableChart类实现有关透视图和透视表的拖放和钻透操作，同时还截获了原控件功能菜单，形成针对本系统功能的菜单，另外增加了模型关联等功能。

自定义拖放区域模块为方便用户使用字段拖放功能，除OWC组件提供的字段拖放空间外，自定义四个区域，分别放置行、列、筛选和度量值字段，实现的功能与OWC组件提供的功能相似，但给用户清晰明确的定位。在这个模块中，定义四个控件对象cmColumnTreeMenu、cmFilterTreeMenu、cmRowTreeMenu和cmTotalTreeMenu，分别代表四个区域，按照各自的属性定义不同的功能。在构造透视图表对象时，同时将它们对应到封装好的拖放控件功能里，内部的操作不影响整个数据分析结果，如调整各自区域里的数据位置等，但在区域内拖放数据仍然影响结果展现。

实施例6

数据挖掘模块包括数据挖掘结果展现模块以及模型管理模块，其中，数据挖掘结果展现模块用于实现数据挖掘算法在审计分析系统中的应用。用户点击在系统中注册过的模型就可以看到数据挖掘结果，结果以数字、图表的方式全面展现。模型管理模块在数据挖掘模型建立好后，将其存储在系统数据库中，之后在系统运行时读取系统数据库中保存的模型信息，通过模型管理将模型列表展示在模型树下。

在确定选择关联规则算法实现预期的模型功能后，具体实现时采用改进Apriori算法来完成与审计方法的结合。在实现通过审计方法对Apriori算法的改进过程中，大致沿用了该算法的思路，对样本的目标字段求出频繁项集，再求候选项集，直至产生关联规则结果。运行模型时，直接将算法针对数据分析表进行应用，每次浏览挖掘模型时自动执行算法，调用图形接口直接展现挖掘结果。

具体的实现过程为：Step1：第一次扫描数据库D计算出各个1项集的支持度，从而得到频繁1项集构成的集合。

Step2：为了产生频繁k项集构成的集合Lk，预先生成一个潜在频繁k项集的候选集合Ck。潜在频繁项集的集合由连接运算得到。若p，q∈Lk，p＝{p1，p2，…，pk-2，pk-1}，q＝{q1，q2，…，qk-2，qk-1}。并且当1≤i≤k-2时，pi＝qi，当i＝k-1时，pk-1≠qk-1，则p∪q＝{p1，p2，…，pk-1，qk-1}是潜在频繁k项集的候选集合Ck中的元素。这里的候选集合Ck是指由有可能成为频繁k项集的项集组成的集合。

Step3：由于Ck是Lk的超集，可能有些元素不是频繁的。Ck很庞大时会带来巨大的计算量，为减少Ck的规模，Apriori遵从下列性质：任何非频繁的(k-1)项集必定不是频繁k项集的子集。所以，当潜在k项集的某个(k-1)子集不是Lk-1中的成员时，则该潜在频繁项集不可能是频繁的，可以从Ck中移去。

Step4：扫描数据库D，计算Ck中各个项集的支持度。

Step5：将Ck中不满足最小支持度的项集剔除，形成由频繁k项集构成的集合Lk。

通过迭代循环，重复Step2～Step5，直到不能产生新的频繁项集的集合(非空集合)时为止，Apriori算法求出所有满足最小支持度的频繁项集，此时作为审计分析的数据也将呈现出某种状态的关联。

具体实现时由calculate_Click方法响应开始计算，执行GetItemL1方法取得频繁1项集，之后在各个级别频繁项目个数范围内进行Lk到Ck间的转换，最终由ShowResult方法显示出计算结果。

最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明权利要求保护的范围之内。

Claims (10)

1.一种审计数据采集系统，其特征在于：包括系统支撑模块、物理支撑模块以及主站，所述系统支撑模块用于提供审查数据采集系统的具体运行环境，所述物理支撑模块用于处理所述审计数据采集系统中的各种业务逻辑，其中，所述审计数据采集系统通过物理支撑模块访问所述系统支撑模块，所述物理支撑模块访问所述系统支撑模块并提供业务对象给所述主站，从而使所述主站与底层运行环境分离，所述主站用于响应用户操作，以实现采集数据，查看数据挖掘结果，并通过服务器识别所述系统支撑模块中的控制参数，将数据加载到数据仓库内，以创建多维模型、分析多维数据，得到审计结果通过所述服务器的控制写入所述系统支撑模块中。

2.根据权利要求1所述的审计数据采集系统，其特征在于：所述系统支撑模块包括用以支撑所述审计数据采集系统的操作系统以及数据库，其中，所述数据库包括普通二维数据库以及SSAS多维数据库。

3.根据权利要求2所述的审计数据采集系统，其特征在于：所述物理支撑模块包括业务逻辑Webservice以及基础支撑API库。

4.根据权利要求3所述的审计数据采集系统，其特征在于：所述主站包括数据ETL模块、OLAP展示模块以及数据挖掘模块，所述数据ETL模块用于采集界面控制、读取模板信息、采集状态控制、提交界面控制以及提交状态控制，所述OLAP展示模块用于Cube构建、多维数据注册、模型树管理、分析展现界面、透视交互展现以及自定义拖放控制，所述数据挖掘模块用于挖掘模型管理以及算法的实现与展现。

5.根据权利要求4所述的审计数据采集系统，其特征在于：所述数据ETL模块包括采集界面控制模块、数据源与模板选择控制模块、数据采集模块、待提交数据选择模块以及数据提交确认模块。

6.根据权利要求5所述的审计数据采集系统，其特征在于：所述采集界面控制模块用于数据采集时窗口、页面的选择判断以及状态消息报送，所述数据源与模板选择控制模块用于指定数据源地址，加载模板信息，输入变量，为数据采集作准备，所述数据采集模块用于在加载窗口选择模板后，与所述数据库通信，读取配置好的数据采集、转化规则，所述待提交数据选择模块用于连接存放采集数据的中间数据库，显示采集到的数据记录，等待用户选择要数据记录，并进入提交确认状态，所述数据提交确认模块用于与所述数据库通信，按照采集字段的关联规则，检索中间数据库表中是否有与数据仓库中相同的记录。

7.根据权利要求6所述的审计数据采集系统，其特征在于：所述OLAP展示模块包括多维数据注册模块、模型分析树管理模块、多维数据分析功能界面模块、透视图表交互控制数据展现模块、自定义拖放区域模块。

8.根据权利要求7所述的审计数据采集系统，其特征在于：所述多维数据注册模块用于在所述审计数据采集系统在需要时连接和注册Cube，所述模型分析树管理模块用于连接所述普通二维数据库以及所述SSAS多维数据库，获得注册的Cube信息，以创建、修改、删除应用模型，所述多维数据分析功能界面模块用于运行基础模型或应用模型时的数据分析界面控制，所述透视图表交互控制数据展现模块用于封装OWC组件，重写透视表及透视图，形成接口控件，并实现有关透视图和透视表的拖放和钻透操作，所述自定义拖放区域模块用于自定义四个区域，分别放置行、列、筛选和度量值字段。

9.根据权利要求8所述的审计数据采集系统，其特征在于：所述数据挖掘模块包括数据挖掘结果展现模块以及模型管理模块。

10.根据权利要求9所述的审计数据采集系统，其特征在于：所述数据挖掘结果展现模块用于数据挖掘算法在所述审计数据采集系统中的应用，所述模型管理模块用于在所述审计数据采集系统读取所述数据库中保存的模型信息，并将模型列表展示在模型树下。

Images