CN109308310B - 一种用于资产管理平台的子系统数据互联处理方法 - Google Patents

Abstract

本发明涉及一种用于资产管理平台的子系统数据互联处理方法，与现有技术相比解决了子系统之间数据传输速度低下的缺陷。本发明包括以下步骤：投资管理子系统的数据获取；子系统之间的数据交互处理；基础数据子系统的数据处理；虚拟互联平台的数据缓存处理；虚拟互联平台的数据输送；管理子系统的日志备份。本发明加入了虚拟互联平台的设计，通过虚拟互联平台进行各子系统之间的数据互联，使得子系统在传输过程产生的大量临时文件直接存放在虚拟互联平台，不占用子系统资源，从而提高了数据传输速度和效率。

Description

一种用于资产管理平台的子系统数据互联处理方法

技术领域

本发明涉及数据传输处理技术领域，具体来说是一种用于资产管理平台的子系统数据互联处理方法。

背景技术

资产管理平台是金融管理系统的核心，其涉及管理多个子系统，通过多个子系统的数据交互实现庞大的资产管理平台。目前，在资产管理平台中，各个子系统之间通过CAS单点登录实现各个子系统之间的Session共享和跳转，也可以通过需求方统一认证平台认证后，从Cookie里面取出认证信息，按照指定的KEY取出SSO用户名，在资产管理平台中存在的情况下，自动复制Cookie里面的认证信息+自动生成CAS认证信息用来生成认证信息，存储在Session中以实现各个子系统之间的Session共享和跳转。

其中，基础数据子系统提供从万得、外汇交易中心等获取基础数据的功能，通过行方数据仓库(ODS)获取基础数据。基础数据子系统提供标准接口，从数据仓库获取数据的接口程序需要单独开发。系统管理子系统和基础数据子系统均作为基础JAR包提供给投资管理子系统或者估值核算子系统调用。

在现有的资产管理平台中，各子系统之间的数据互联通信均是直接进行交互处理，而在实际应用中，资产管理所涉及的算法量、数据量非常庞大，利用传统的子系统直接交互处理，导致数据交互速度较慢、效率较低。

特别是，子系统传输过程中生成大量的临时文件。随着时间的累积，大量的临时文件占用了子系统的大量资源。而出于子系统的稳定性考虑，子系统内临时文件又难以全面清除，最终导致子系统系统垃圾较多、运行缓慢。

因此，如何针对于资产管理平台中的多个子系统，研究出一种能够提高响应速度的子系统数据互联方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中子系统之间数据传输速度低下的缺陷，提供一种用于资产管理平台的子系统数据互联处理方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种用于资产管理平台的子系统数据互联处理方法，资产管理平台包括基础数据子系统、管理子系统和投资管理子系统，还包括虚拟互联平台，所述的基础数据子系统、管理子系统和投资管理子系统均与虚拟互联平台进行数据交互处理，

子系统数据互联处理方法包括以下步骤：

投资管理子系统的数据获取，投资管理子系统通过浏览器获得界面的数据内容；

子系统之间的数据交互处理，虚拟互联平台对投资管理子系统与基础数据子系统进行数据交互作业；

基础数据子系统的数据处理，基础数据子系统以工作流方式对其系统内的数据进行调用处理；

虚拟互联平台的数据缓存处理，虚拟互联平台对基础数据子系统的数据进行数据缓存作业；

虚拟互联平台的数据输送，虚拟互联平台以批处理方式将基础数据子系统的反馈数据传送给投资管理子系统；

管理子系统的日志备份，管理子系统对此次互联处理进行日志记录，虚拟互联平台清空平台处理数据。

所述投资管理子系统的数据获取包括以下步骤：

浏览器获取界面内容信息；

WEB服务器通过BootStrap框架、LayUI控制库和Echatrs图标控件库获取界面内容信息；

WEB服务器的逻辑控制层通过SpringMVC框架获取界面内容信息的数据内容，放入投资管理子系统的Service类。

所述子系统的数据交互处理包括以下步骤：

虚拟互联平台调取投资管理子系统的Service类；

虚拟互联平台将所需调取的数据内容通知基础数据子系统。

所述基础数据子系统的数据处理包括以下步骤：

基础数据子系统进行工作流模板配置，启动工作流，其具体步骤如下：

基础数据子系统调用各个业务画面Service的doInsert方法，完成业务表数据的登陆；

基础数据子系统利用Activiti提供的工作流模板配置功能配置工作流模板；

调用startWorkFlow方法启动工作流；

工作流监听类监听到启动工作流后，调用Activiti框架的基础类将流程信息、节点信息、处理人信息等登录到Activiti的表中，并且调用二次封装的共通类将业务表和Activiti表之间的关联关系登录到业务流程表里；

基础数据子系统对工作流模板加载数据后，进行ActiveMQ封装，生成系统共通类和消息处理类；

封装后的系统共通类送入MQ队列；

调用二次封装的共通类检索业务流程表以及Activiti表，获得业务流程表里面登陆的业务Service类名反射调用该Service类的getBusinessInfo方法，通过工作流代码取到相应的业务详细信息，通过消息处理类利用多线程机制对MQ队列进行处理，获得处理结果；

处理结果送至虚拟互联平台的Service类。

所述虚拟互联平台的数据缓存处理包括以下步骤：

虚拟互联平台通过ehcache.xml文件定义其获取基础数据子系统数据的缓存存储为磁盘存储，在XML文件中定义缓存刷新时间，并定义缓存名称；

虚拟互联平台定义数据缓存类，并在spring-web.xml内加载，设定管理子系统调用时，将数据字典、产品信息数据放入EhCache缓存；

虚拟互联平台在缓存类中加载Service类中的数据项，并且放入ehcache.xml里面定义的缓存名称。

所述虚拟互联平台的数据输送包括以下步骤：

虚拟互联平台批处理方式的设定，设定Spring Batch框架为批处理的基础框架，系统任务表分配各个批之间的优先级、父子关系和BEAN ID；

管理子系统从虚拟互联平台的缓存类调取数据至批处理线程中；

管理子系统按线程单位，向投资管理子系统进行批处理数据传送；

投资管理子系统根据系统任务表对批处理数据进行处理，调用系统内的Service类进行数据变更。

所述管理子系统的日志备份包括以下步骤：

设定管理子系统采取slf4j+logback记录日志文件，通过xml文件定义日志输出规则、日志归档规则；

管理子系统通过Spring的拦截器对虚拟互联平台的批处理文件进行拦截记录，将操作信息写入操作日志表；

管理子系统将批处理文件中二次封装的共通类记录到管理子系统的数据库中，并生成批处理处理日志；

虚拟互联平台清空Service类和缓存类。

有益效果

本发明的一种用于资产管理平台的子系统数据互联处理方法，与现有技术相比加入了虚拟互联平台的设计，通过虚拟互联平台进行各子系统之间的数据互联，使得子系统在传输过程产生的大量临时文件直接存放在虚拟互联平台，不占用子系统资源，从而提高了数据传输速度和效率。

本发明通过管理子系统的日志备份，对虚拟互联平台的任务行为进行有效监控，避免了虚拟互联平台数据释放(清空缓存)带来的数据丢失，利用虚拟互联平台技术实现了各子系统之间数据传输的合理分配。

附图说明

图1为本发明的结构示意图；

图2为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，资产管理平台包括基础数据子系统、管理子系统和投资管理子系统,为了减少各系统之间的传输量，提高资产管理平台的传输速度，在此设计虚拟互联平台。虚拟互联平台用于各子系统之间的互联通信，实现各子系统之间的数据传输，基础数据子系统、管理子系统和投资管理子系统均与虚拟互联平台进行数据交互处理。

如图2所示，本发明所述的一种用于资产管理平台的子系统数据互联处理方法，包括以下步骤：

第一步，投资管理子系统的数据获取，投资管理子系统通过浏览器获得界面的数据内容。在此，投资管理子系统可以为实际应用中的其他子系统，如估值核算子系统，其用于了解客户需要。其具体步骤如下：

(1)浏览器获取界面内容信息。

(2)WEB服务器通过BootStrap框架、LayUI控制库和Echatrs图标控件库获取界面内容信息。

(3)WEB服务器的逻辑控制层通过SpringMVC框架获取界面内容信息的数据内容，放入投资管理子系统的Service类，以后期的计算操作过程中，即是针对投资管理子系统的Service类数据进行计算处理，处理结果再返回至投资管理子系统的Service类中进行更新。

第二步，子系统之间的数据交互处理，虚拟互联平台对投资管理子系统与基础数据子系统进行数据交互作业。其具体步骤如下：

(1)虚拟互联平台调取投资管理子系统的Service类；

(2)虚拟互联平台将所需调取的数据内容通知基础数据子系统。

第三步，基础数据子系统的数据处理，基础数据子系统以工作流方式对其系统内的数据进行调用处理。在此，基础数据子系统采用工作流方式进行内部系统处理，通过工作流模板和引擎的生成处理，能够提升基础数据子系统内部的处理速度，进一步提升资产管理平台的响应速度。其具体步骤如下：

(1)基础数据子系统进行工作流模板配置，启动工作流，其具体步骤如下：

A1)基础数据子系统调用各个业务画面Service的doInsert方法，完成业务表数据的登陆；

A2)基础数据子系统利用Activiti提供的工作流模板配置功能配置工作流模板；

A3)调用startWorkFlow方法启动工作流。

(2)工作流监听类监听到启动工作流后，调用Activiti框架的基础类将流程信息、节点信息、处理人信息等登录到Activiti的表中，此为相关属性信息；并调用二次封装的共通类将业务表和Activiti表之间的关联关系登录到业务流程表里，此为相关数据和任务信息。

(3)基础数据子系统对工作流模板加载数据后，进行ActiveMQ封装，生成系统共通类和消息处理类，共通类即为待处理内容。

(4)封装后的系统共通类送入MQ队列；

(5)调用二次封装的共通类检索业务流程表以及Activiti表，获得业务流程表里面登陆的业务Service类名反射调用该Service类的getBusinessInfo方法，即获取到对共通类进行处理的方法。

通过工作流代码取到相应的业务详细信息，通过消息处理类利用多线程机制对MQ队列进行处理，获得处理结果。

(6)处理结果送至虚拟互联平台的Service类。

第四步，虚拟互联平台的数据缓存处理，虚拟互联平台对基础数据子系统的数据进行数据缓存作业。由于子系统之间所涉及的数据量比较庞大，为了避免传输过程中出现数据堆集状态，在此，对虚拟互联平台采用数据缓存技术，以避免资产管理平台的数据堆集出现。其具体步骤如下：

(1)虚拟互联平台通过ehcache.xml文件定义其获取基础数据子系统数据的缓存存储为磁盘存储，在XML文件中定义缓存刷新时间，并定义缓存名称。

(2)虚拟互联平台定义数据缓存类，并在spring-web.xml内加载，设定管理子系统调用时，将数据字典、产品信息数据放入EhCache缓存。

(3)虚拟互联平台在缓存类中加载Service类中的数据项，并且放入ehcache.xml里面定义的缓存名称。

第五步，虚拟互联平台的数据输送，虚拟互联平台以批处理方式将基础数据子系统的反馈数据传送给投资管理子系统。为了提高虚拟互联平台的处理速度，采用批处理方式进行反馈数据的传输。其具体步骤如下：

(1)虚拟互联平台批处理方式的设定，设定Spring Batch框架为批处理的基础框架，系统任务表分配各个批之间的优先级、父子关系和BEAN ID。

(2)管理子系统从虚拟互联平台的缓存类调取数据至批处理线程中。

(3)管理子系统按线程单位，向投资管理子系统进行批处理数据传送。

(4)投资管理子系统根据系统任务表对批处理数据进行处理，调用系统内的Service类进行数据变更。

第六步，管理子系统的日志备份，管理子系统对此次互联处理进行日志记录，以备后期调用，同时，虚拟互联平台清空平台处理数据，以备下次使用，始终保持虚拟互联平台不受临时文件占用系统资源。其具体步骤如下：

(1)设定管理子系统采取slf4j+logback记录日志文件，通过xml文件定义日志输出规则、日志归档规则。

(2)管理子系统通过Spring的拦截器对虚拟互联平台的批处理文件进行拦截记录，将操作信息写入操作日志表。

(3)管理子系统将批处理文件中二次封装的共通类记录到管理子系统的数据库中，并生成批处理处理日志。

(4)虚拟互联平台清空Service类和缓存类。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种用于资产管理平台的子系统数据互联处理方法，资产管理平台包括基础数据子系统、管理子系统和投资管理子系统，其特征在于：还包括虚拟互联平台，所述的基础数据子系统、管理子系统和投资管理子系统均与虚拟互联平台进行数据交互处理，

子系统数据互联处理方法包括以下步骤：

11)投资管理子系统的数据获取，投资管理子系统通过浏览器获得界面的数据内容；

12)子系统之间的数据交互处理，虚拟互联平台对投资管理子系统与基础数据子系统进行数据交互作业；

13)基础数据子系统的数据处理，基础数据子系统以工作流方式对其系统内的数据进行调用处理；

14)虚拟互联平台的数据缓存处理，虚拟互联平台对基础数据子系统的数据进行数据缓存作业；

15)虚拟互联平台的数据输送，虚拟互联平台以批处理方式将基础数据子系统的反馈数据传送给投资管理子系统；

16)管理子系统的日志备份，管理子系统对此次互联处理进行日志记录，虚拟互联平台清空平台处理数据；

所述投资管理子系统的数据获取包括以下步骤：

21)浏览器获取界面内容信息；

22)WEB服务器通过BootStrap框架、LayUI控制库和Echatrs图标控件库获取界面内容信息；

23)WEB服务器的逻辑控制层通过SpringMVC框架获取界面内容信息的数据内容，放入投资管理子系统的Service类；

所述子系统的数据交互处理包括以下步骤：

31)虚拟互联平台调取投资管理子系统的Service类；

32)虚拟互联平台将所需调取的数据内容通知基础数据子系统。

2.根据权利要求1所述的一种用于资产管理平台的子系统数据互联处理方法，其特征在于，所述基础数据子系统的数据处理包括以下步骤：

41)基础数据子系统进行工作流模板配置，启动工作流，其具体步骤如下：

411)基础数据子系统调用各个业务画面Service的doInsert方法，完成业务表数据的登陆；

412)基础数据子系统利用Activiti提供的工作流模板配置功能配置工作流模板；

413)调用startWorkFlow方法启动工作流；

42)工作流监听类监听到启动工作流后，调用Activiti框架的基础类将流程信息、节点信息、处理人信息登录到Activiti的表中，并且调用二次封装的共通类将业务表和Activiti表之间的关联关系登录到业务流程表里；

43)基础数据子系统对工作流模板加载数据后，进行ActiveMQ封装，生成系统共通类和消息处理类；

44)封装后的系统共通类送入MQ队列；

45)调用二次封装的共通类检索业务流程表以及Activiti表，获得业务流程表里面登陆的业务Service类名反射调用该Service类的getBusinessInfo方法，通过工作流代码取到相应的业务详细信息，通过消息处理类利用多线程机制对MQ队列进行处理，获得处理结果；

46)处理结果送至虚拟互联平台的Service类。

3.根据权利要求1所述的一种用于资产管理平台的子系统数据互联处理方法，其特征在于，所述虚拟互联平台的数据缓存处理包括以下步骤：

51)虚拟互联平台通过ehcache.xml文件定义其获取基础数据子系统数据的缓存存储为磁盘存储，在XML文件中定义缓存刷新时间，并定义缓存名称；

52)虚拟互联平台定义数据缓存类，并在spring-web.xml内加载，设定管理子系统调用时，将数据字典、产品信息数据放入EhCache缓存；

53)虚拟互联平台在缓存类中加载Service类中的数据项，并且放入ehcache.xml里面定义的缓存名称。

4.根据权利要求1所述的一种用于资产管理平台的子系统数据互联处理方法，其特征在于，所述虚拟互联平台的数据输送包括以下步骤：

61)虚拟互联平台批处理方式的设定，设定Spring Batch框架为批处理的基础框架，系统任务表分配各个批之间的优先级、父子关系和BEAN ID；

62)管理子系统从虚拟互联平台的缓存类调取数据至批处理线程中；

63)管理子系统按线程单位，向投资管理子系统进行批处理数据传送；

64)投资管理子系统根据系统任务表对批处理数据进行处理，调用系统内的Service类进行数据变更。

5.根据权利要求1所述的一种用于资产管理平台的子系统数据互联处理方法，其特征在于，所述管理子系统的日志备份包括以下步骤：

71)设定管理子系统采取slf4j+logback记录日志文件，通过xml文件定义日志输出规则、日志归档规则；

72)管理子系统通过Spring的拦截器对虚拟互联平台的批处理文件进行拦截记录，将操作信息写入操作日志表；

73)管理子系统将批处理文件中二次封装的共通类记录到管理子系统的数据库中，并生成批处理处理日志；

74)虚拟互联平台清空Service类和缓存类。