CN103179203A - 在异构自治系统间实时共享数据的系统 - Google Patents

Abstract

本发明公开了在异构自治系统间实时共享数据的系统，属于无线通信的技术领域。所述在异构自治系统间实时共享数据的系统包括实时监测模块、文件审核模块、文件优先级审核模块、实时处理模块、实时推送模块。本发明通过审核数据文件的正确性以及实时性，按照优先级处理数据文件得到直接共享数据，提高了数据共享的效率。

Description

在异构自治系统间实时共享数据的系统

技术领域

本发明公开了在异构自治系统间实时共享数据的系统，属于无线通信的技术领域

背景技术

随着社会的信息化发展，很多部门也逐步建立各自的业务信息系统，但由于部门间共享理念和共享技术方面的原因，导致位于不同地理位置的各部门虽然都各自拥有足够充分的数据，但这些数据仍然没有被有效共享而集中利用起来。而且即使在同一部门中，由于各业务系统建立时间和提供商不同，各系统的数据存在形式、来源和记录格式也各不相同，这也为异构自治系统间实现数据共享带来不便。同时，随着社会高速发展，很多企业部门对数据的“实时性”需求也越来越高，因为数据实时性越高，将更有利于企业部门高层做出更及时、更准确的决策。因此综上所述，在这些企业部门间建立一个整合了各系统数据的“实时数据共享云”，以实现完成各部门、各系统的数据实时共享，对各企业部门的高端决策具有很大意义。目前关于通过多系统间数据集成最终实现数据共享的方法与系统也有很多，但是这些方法与系统对数据共享的实时性都还不高。

发明内容

本发明所要解决的技术问题是针对上述背景技术的不足，提供了在异构自治系统间实时共享数据的系统。

本发明为实现上述发明目的采用如下技术方案：

在异构自治系统间实时共享数据的系统，包括实时监测模块、文件审核模块、实时处理模块；

所述实时监测模块，用于实时监测异构自治系统的数据更新情况，将获取的实时数据传输至文件审核模块；

所述文件审核模块，用于从获取的实时数据中挑选目标数据文件，审核目标数据文件的正确性以及实时性，将通过目标文件正确性以及实时性审核的目标数据文件传输至实时处理模块；

所述实时处理模块，用于根据目标数据文件格式提取需要的数据，审核数据正确性、删除重复数据，将唯一正确的数据传输至数据共享云。

所述在异构自治系统间实时共享数据的系统中，实时处理模块得到唯一正确数据后，按照异构自治系统对共享数据的需求把唯一正确的数据处理为直接共享的数据。

所述在异构自治系统间实时共享数据的系统，还包括文件优先级审核模块；

所述文件优先级审核模块，用于向通过文件审核模块审核的目标数据文件添加优先级信息，实时处理模块根据目标数据文件携带的优先级信息按序处理目标数据文件。

所述在异构自治系统间实时共享数据的系统，还包括实时推送模块；

所述实时推送模块，用于将实时处理模块得到的数据实时推送至异构自治系统。

本发明采用上述技术方案，具有以下有益效果：根据各异构自治系统数据的存储形式和数据特征，制定相应监测方案实时监测各类数据，并通过审核数据文件的正确性以及实时性，按照优先级处理数据文件得到直接共享数据，提高了异构自治系统间实时数据共享的效率。

附图说明

图1为在异构自治系统间实时共享数据的系统的架构图。

 图2为实时监测模块实时监测数据更新的示意图。

 图3文件审核模块审核实时数据文件示意图。

 图4为实时处理模块处理数据文件的示意图。

图5为实时推送模块推送数据的示意图。

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

在异构自治系统间实时共享数据的系统，如图1所示。异构自治系统中，部门一有系统1、系统2，部门二由系统3、系统4，部门M有系统1、系统2、系统k,，部门N有系统m、系统n。每一个子系统中的数据构成目标数据源。

实时监测模块、文件审核模块、文件优先级审核模块、实时处理模块、实时推送模块构成本发明所述的在异构自治系统间实时共享数据的系统。实时监测模块，用于实时监测异构自治系统的数据更新情况，将获取的实时数据传输至文件审核模块。文件审核模块，用于从获取的实时数据中挑选目标数据文件，审核目标数据文件的正确性以及实时性，将通过目标文件正确性以及实时性审核的目标数据文件传输至文件优先级审核模块。文件优先级审核模块向通过文件审核模块审核的目标数据文件添加优先级信息，实时处理模块根据目标数据文件携带的优先级信息按序处理目标数据文件。实时处理模块根据目标数据文件格式：提取需要的数据、审核数据正确性、删除重复数据得到唯一正确的数据，将唯一正确的数据处理为直接共享的数据，将直接共享的数据传输至数据共享云。实时推送模块将实时处理模块得到的数据实时推送至异构自治系统。

系统安全性模块，是在系统在与目标数据源进行数据传输前需完成的一个安全认证模块，以确保各部门系统数据使用过程中的安全性，当系统在初始时通过了安全性认证，那么后续模块都不再需要进行认证，对系统其余模块“透明”。

实时监测模块如图2所示，根据目标数据源的格式采取各种数据格式对应的监测方式监测数据更新：

（1）本地数据文件：可采用本地文件监测，目前几种框架都支持对本地文件的实时监测方法，比如.NET Framework中FileSystemWatcher类可以侦听文件系统更改通知，并在目录或目录中的文件发生更改时引发事件；

（2）异地数据文件：可采用将异地数据文件路径以“映射盘”的形式映射为本地路径，然后再采用（1）方法；

（3）FTP数据文件：主要是采用“定时扫描”的方式，即指每隔指定时间后对所有文件进行一次扫描，以发现这段时间内是否有新增文件或文件发生变化。系统主要结合FTP文件更新频率设置系统定时扫描频率。对于具有固定文件更新频率（即每隔固定时间更新一次文件）的FTP服务器，系统主要按照文件的更新频率设置系统扫描频率。而对于没有固定文件更新频率的FTP服务器，系统扫描频率主要根据实时性要求和系统与FTP服务器负荷而定。系统扫描频率就越高，对系统与FTP服务器负荷就越大，所以在保证系统和FTP服务器正常运行的前提下，实时性要求越高，扫描频率就越高，反之相反；

（4）数据库数据：针对不同要求，可以分为两种，一种是数据库主动通知的方法，主要包括：触发器法、日志法、广播法，还有一种为被动式的方法，由其他系统定时扫描数据库以发现最近更新的目标数据。

文件审核模块按照图3所示流程审核实时数据文件：

（1）目标文件审核模块：从实时数据文件中挑选目标数据文件，通过目标文件审核的实时数据进入下一步骤；否则，停止处理数据；

（2）文件正确性初审模块：检测目标数据文件的正确性，对于错误数据不再进行处理，对于正确数据进行下一步骤审核；

（3）文件实时性审核模块：对于有实时性限制的数据（如：预警数据），设置最大实时时延值，将数据文件“生存时间”与最大实时时延值对比，其中文件的“生存时间”由系统实际处理时间减去文件最后更新时间得到，若该数据文件的“生存时间”大于最大实时时延值则不处理该数据文件；否则，将该数据文件传输至文件优先级审核模块。

由于系统可能会出现某一时间段需要处理的文件过多且数据处理较为复杂，占用系统资源较大，导致超过系统的实际负荷，所以系统在文件审核模块后添加了“文件优先级审核模块”，该模块将按照制定一定的“并行处理策略”以实现各数据文件“有序的”并行实时处理。具体的“并行处理策略”可以按照各部门对数据实时性的需求来制定，本发明主要通过以下几方面考虑：

（1）设置系统最多同时并行处理指定数量的数据文件。具体数量由系统能承担的负荷和实际文件更新频率而定；

（2）制定文件“处理优先级”。其中，根据客户对各数据的实时需求，实时需求较高的“处理优先级”较高，反之，实时需求较低的“处理优先级”也较低；

（3）对于同一“处理优先级”的多个数据文件，根据文件的更新时间，优先处理较早更新的数据文件，根据各数据的不同需求，也可以优先处理更新时间较近的文件。

实时处理模块按照图5所示的流程图处理数据文件。经过文件优先级审核模块，已赋予了文件优先级的各数据文件已被交予实时处理模块，该模块将按照各文件的优先级进行有序的并行实时处理。而各文件的具体处理细节将按照各数据文件的要求而不同，各业务部门也将按照各自对数据的需求添加相对应的处理细节。一般对数据文件的处理主要包括以下几个步骤：

(1)数值提取：由于涉及部门之广、系统之多，数据类型和格式也各不一样，所以本步骤主要按照各数据文件的格式从文件中提取所需要的数据。

(2)数据正确性审核：当完成对数据文件的数值提取后，还需要经过数据的正确性审核。由于包括多个部门多个系统的数据，数据的类型各不一样，所以各数据具体的审核标准也需要按照各数据的正确性标准而定，因此数据类型不同，数据的审核标准也各不一样。

(3)数据去重：由于一个部门中不同的系统间也会存在相同的数据，甚至在不同的部门间也会发生数据重复的情况，所以基于“数据唯一性”以及“节省系统资源”等方面考虑，需要将重复的数据进行删除。

(4)数据处理：当完成数据的提取、正确性审核和去重后，因不同系统的数据需求，有的数据可以直接保存到“实时数据共享云”中，也有部分数据还需要经过一系列的处理才能被其他使用，主要包括：

a数据简单处理：主要包括数值计算和数值统计等处理；

b数据复杂处理：对于一些具有业务特性的数据，所做的处理也会相对复杂。比如对于具有时空特性的空间数据，一般还要包括插值计算、提取等值线/等值面、平滑和图层叠加等处理。

经过实时处理模块处理后的数据将被统一保存到实时数据共享云中，实现了完成各部门、各自治系统间的数据实时共享。

实时推送模块如图5所示，对于部分系统数据对于数据“高实时性”的要求，在经过数据实时处理模块的实时处理后，数据实时推送模块将实时将完成把各部门系统所需要的指定数据“实时主动地”推送到各对应的系统，或者实时发出消息通知系统去“实时数据共享云”中获取指定的数据。

综上所述，本发明具有以下优点：

（1）文件审核模块通过正确性验证滤除错误数据，减少了资源浪费；对于有实时性限制的数据进行实时性审核，略去没有实时性的数据，这也减少了资源浪费；

（2）文件优先级审核模块给待共享数据文件排序，缓解了数据共享高峰时系统的负荷，提高了数据共享效率；

（3）实时处理模块对于已经挑选出的目标数据根据异构自治系统需求处理目标数据得到可以直接共享的数据，不需要异构自治系统处理目标数据才能得到共享数据，使得数据共享更加直接；

（4）实施推送模块及时推送数据只需求异构自治系统，提高了数据共享效率。

Claims (4)

1.在异构自治系统间实时共享数据的系统，其特征在于，包括实时监测模块、文件审核模块、实时处理模块；

所述实时监测模块，用于实时监测异构自治系统的数据更新情况，将获取的实时数据传输至文件审核模块；

所述文件审核模块，用于从获取的实时数据中挑选目标数据文件，审核目标数据文件的正确性以及实时性，将通过目标文件正确性以及实时性审核的目标数据文件传输至实时处理模块；

所述实时处理模块，用于根据目标数据文件格式提取需要的数据，审核数据正确性、删除重复数据，将唯一正确的数据传输至数据共享云。

2.根据权利要求1所述的在异构自治系统间实时共享数据的系统，其特征

在于，所述实时处理模块得到唯一正确数据后，按照异构自治系统对共享数据的需求把唯一正确的数据处理为直接共享的数据。

3.根据权利要求2所述在异构自治系统间实时共享数据的系统，其特征

在于，所述在异构自治系统间实时共享数据的系统还包括文件优先级审核模块；

所述文件优先级审核模块，用于向通过文件审核模块审核的目标数据文件添加优先级信息，实时处理模块根据目标数据文件携带的优先级信息按序处理目标数据文件。

4.根据权利要求2或3所述的在异构自治系统间实时共享数据的系统，其特征在于，所述在异构自治系统间实时共享数据的系统还包括实时推送模块；

所述实时推送模块，用于将实时处理模块得到的数据实时推送至异构自治系统。

Images