CN103220184B - 应用系统数据统一采集同步系统 - Google Patents
应用系统数据统一采集同步系统 Download PDFInfo
- Publication number
- CN103220184B CN103220184B CN201310160075.1A CN201310160075A CN103220184B CN 103220184 B CN103220184 B CN 103220184B CN 201310160075 A CN201310160075 A CN 201310160075A CN 103220184 B CN103220184 B CN 103220184B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- management module
- application system
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及数字信息传输技术领域，公开一种应用系统数据统一采集同步系统。该同步系统包括网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块以及系统设置模块。该系统对被监控客户机的网络数据包进行读取并过滤，将符合过滤条件的数据包进行解析，识别出要同步的数据，并将需要同步的数据进行重新组合，转发给目标应用系统，从而实现不同应用系统之间数据的同步。
Description
技术领域
本发明涉及数字信息传输技术领域，尤其是涉及一种可将不同应用系统之间数据进行同步的系统。
背景技术
随着科学技术特别是信息技术的飞速发展，政府、企业信息化程度越来越高。然而很多应用系统都是独立设计独立建设，没有从全局方面考虑，造成各平台间的数据难以同步和共享。企事业单位各个部门的子应用系统均已经建设完成，在短期内全面整合升级系统或者重新规划建设变得相当困难。如何快速地在不改变现有平台、应用系统的运行情况以及网络环境下，低成本、高效率的保证数据同步成为很多单位所共同面临的问题。
目前网络上也有了很多网络抓包工具如Wireshark、SpyNet3、SnifferPortable，主要应用于网络分析、网络安全检测、监测等领域，但均没有涉及不同应用系统之间数据同步问题的解决方案。
发明内容
本发明主要为了在不修改原有应用系统程序和网络环境的情况下，解决不同应用系统之间相同数据的同步问题。
本发明通过以下技术方案实现：
一种应用系统数据统一采集同步系统，包括：网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块以及系统设置模块；
其中，网络监控管理模块，用于读取并过滤被监控客户机的网络数据包；此处过滤方法包括通过被监控应用系统的地址以及具体监控表单后台处理接口地址来判断，若网络数据包符合过滤条件则转发至数据包解析转发模块，不符合则过滤不处理；
数据包解析转发模块，用于接收网络监控模块中监控到的数据，读取并进行内容解析，识别出要同步的数据，并将需要同步的数据根据要转发到的目标应用系统的数据接收要求进行重新组合，然后转发给模拟表单提交模块及目标应用系统；
模版定制管理模块，用于监控功能模版的增加、删除及修改；模版中包括被监控系统的登录信息，被监控系统至少一个功能的后台处理地址，以及解析目标应用系统对转发数据相应的后台处理地址；并将模版中的信息提升为可配置，从而达到增强同步系统的适用性的目的；
模拟表单提交模块，用于接收数据包解析转发模块发送的数据包，并根据模版定制管理模块的配置将表单数据进行提交；
系统设置模块，用于设置同步系统的运行参数。
所述网络监控管理模块包括数据存储模块，用于临时存储网络监控模块接收到的不完整数据；待数据存储模块中临时存储的数据完整后，由网络监控管理模块进行转发。
所述应用系统数据统一采集同步系统还包括日志管理模块，日志管理模块用于对系统运行日志进行管理。
相对于现有技术，本发明的有益效果为：
1、可以快速的解决不同系统之间的数据同步问题。
2、无需升级原有系统或者重新建设系统，节省建设成本。
3、无需开放原有系统数据库，降低风险。
4、不对原有系统的操作习惯、运行环境、网络状况等产生任何影响。
附图说明
图1为本发明第一实施例的组成图。
图2为本发明第二实施例的组成图。
图3为本发明第二实施例对不同系统进行数据同步的流程图。
具体实施方式
为了便于本领域技术人员理解，下面将结合附图以及实施例对本发明进行进一步描述。
图1所示为本发明应用系统数据统一采集同步系统的第一实施例。该同步系统包括：网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块以及系统设置模块；
其中，网络监控管理模块，用于读取并过滤被监控客户机的网络数据包；此处过滤方法包括通过被监控应用系统的地址以及具体监控表单后台处理接口地址来判断，若网络数据包符合过滤条件则转发至数据包解析转发模块，不符合则过滤不处理；
数据包解析转发模块，用于接收网络监控模块中监控到的数据，读取并进行内容解析，识别出要同步的数据，并将需要同步的数据根据要转发到的目标应用系统的数据接收要求进行重新组合，然后转发给模拟表单提交模块及目标应用系统；
模版定制管理模块，用于监控功能模版的增加、删除及修改；模版中包括被监控系统的登录信息，被监控系统至少一个功能的后台处理地址，以及解析目标应用系统对转发数据相应的后台处理地址；并将模版中的信息提升为可配置，从而达到增强同步系统的适用性的目的；
模拟表单提交模块，用于接收数据包解析转发模块发送的数据包，并根据模版定制管理模块的配置将表单数据进行提交；
系统设置模块，用于设置同步系统的运行参数。
所述同步系统安装于各应用系统的客户机上，在被监控客户机上完成数据解析及重组，再转发至目标应用系统。
图2所示为本发明应用系统数据统一采集同步系统的第二实施例。该同步系统包括：网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块、系统设置模块、日志管理模块；
其中，网络监控管理模块，用于读取并过滤被监控客户机的网络数据包；此处过滤方法包括通过被监控应用系统的地址以及具体监控表单后台处理接口地址来判断，若网络数据包符合过滤条件则将网络数据包转存为xml文件，并转发至数据包解析转发模块，不符合则过滤不处理；所述网络监控管理模块包括数据存储模块，用于临时存储网络监控模块接收到的不完整数据；待数据存储模块中临时存储的数据完整后，由网络监控管理模块进行转发；
数据包解析转发模块，用于接收网络监控模块中监控到的数据，读取并进行内容解析，识别出要同步的数据，调用同步系统信息配置表与解析得到的数据进行对比，找到需要同步的目标应用系统，并将需要同步的数据根据要转发到的目标应用系统的数据接收要求进行重新组合，然后转发给模拟表单提交模块及目标应用系统；
模版定制管理模块，用于监控功能模版的增加、删除及修改；模版中包括被监控系统的登录信息，被监控系统至少一个功能的后台处理地址，以及解析目标应用系统对转发数据相应的后台处理地址；并将模版中的信息提升为可配置，从而达到增强同步系统的适用性的目的；
模拟表单提交模块，用于接收数据包解析转发模块发送的数据包，并根据模版定制管理模块的配置将表单数据进行提交；
系统设置模块，用于设置同步系统的运行参数；
日志管理模块，用于对系统运行日志进行管理。
所述同步系统分为客户端与服务器端两部分，其中客户端包括网络监控管理模块、系统设置模块、日志管理模块；服务器端包括数据包解析转发模块、模版定制管理模块以及模拟表单提交模块。各应用系统的客户机上部署同步系统的客户端，在中心服务器上部署同步系统的服务器端。
该同步系统对不同系统进行数据同步的流程如图3，客户端对进出客户机的所有网络数据包进行监控，读取并过滤被监控客户机的网络数据包，当监控到网络数据包的数据符合过滤条件时，客户端对该网络数据包进行封装并转存成文件，如xml文件，然后转发到同步系统的服务器端。服务器端收到客户端转发的数据后，根据相应的规则对其进行解析，并调用同步系统信息配置表与解析得到的数据进行对比，找到需要同步的目标应用系统，然后将解析后的数据按照目标应用系统的业务规则进行重新组装，并发送至目标应用系统并提交表单数据；目标应用系统接收数据后，按自己的逻辑进行处理，即完成了不同应用系统之间数据的同步。
该同步系统采用客户端数据抓取分析、服务器解析同步的部署方式。通过在客户端将数据过滤，降低服务器端网络流量，减轻数据处理压力，同时又可以在服务器端进行统一的同步管理。所有同步操作均在服务器端进行，容易管理控制，提高数据同步的安全性和灵活性。
以上所述实施例仅表达了本发明的两种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种应用系统数据统一采集同步系统，其特征在于，包括：网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块以及系统设置模块；
其中，网络监控管理模块，用于读取并过滤被监控应用系统的网络数据包；此处过滤方法包括通过被监控应用系统的地址以及具体监控表单后台处理接口地址来判断，若网络数据包符合过滤条件则转发至数据包解析转发模块，不符合则过滤不处理；
数据包解析转发模块，用于接收网络监控管理模块中监控到的数据，读取并进行内容解析，识别出要同步的数据，并将需要同步的数据根据要转发到的目标应用系统的数据接收要求进行重新组合，然后转发给模拟表单提交模块及目标应用系统；所述数据包解析转发模块通过调用同步系统信息配置表与解析得到的数据进行对比，找到需要同步的目标应用系统；
模版定制管理模块，用于监控功能模版的增加、删除及修改；模版中包括被监控应用系统的登录信息，被监控应用系统至少一个功能的后台处理地址，以及解析目标应用系统对转发数据相应的后台处理地址；并将模版中的信息提升为可配置，从而达到增强同步系统的适用性的目的；
模拟表单提交模块，用于接收数据包解析转发模块发送的数据包，并根据模版定制管理模块的配置将表单数据进行提交；
系统设置模块，用于设置同步系统的运行参数。
2.根据权利要求1所述的应用系统数据统一采集同步系统，其特征在于：所述网络监控管理模块包括数据存储模块，用于临时存储网络监控管理模块接收到的不完整数据；待数据存储模块中临时存储的数据完整后，由网络监控管理模块进行转发。
3.根据权利要求2所述的应用系统数据统一采集同步系统，其特征在于：包括日志管理模块，日志管理模块用于对系统运行日志进行管理。
4.根据权利要求3所述的应用系统数据统一采集同步系统，其特征在于：所述同步系统分为客户端与服务器端两部分，其中客户端包括网络监控管理模块、系统设置模块、日志管理模块；服务器端包括数据包解析转发模块、模版定制管理模块以及模拟表单提交模块；所述客户端部署在各应用系统的客户机上，所述服务器端部署在中心服务器上。
5.根据权利要求3所述的应用系统数据统一采集同步系统，其特征在于：所述同步系统安装于各应用系统的客户机上。
6.根据权利要求4或5所述的应用系统数据统一采集同步系统，其特征在于：所述网络监控管理模块将网络数据包转存为xml文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310160075.1A CN103220184B (zh) | 2013-05-03 | 2013-05-03 | 应用系统数据统一采集同步系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310160075.1A CN103220184B (zh) | 2013-05-03 | 2013-05-03 | 应用系统数据统一采集同步系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103220184A CN103220184A (zh) | 2013-07-24 |
| CN103220184B true CN103220184B (zh) | 2016-06-15 |
Family
ID=48817668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310160075.1A Active CN103220184B (zh) | 2013-05-03 | 2013-05-03 | 应用系统数据统一采集同步系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103220184B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101631039A (zh) * | 2009-08-13 | 2010-01-20 | 中兴通讯股份有限公司 | 一种网络资源评估系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001067679A1 (fr) * | 2000-03-10 | 2001-09-13 | Shenzhen Liming Network Systems Co., Ltd. | Plate-forme de commutateur d'informations |
-
2013
- 2013-05-03 CN CN201310160075.1A patent/CN103220184B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101631039A (zh) * | 2009-08-13 | 2010-01-20 | 中兴通讯股份有限公司 | 一种网络资源评估系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 异构数据库同步中间件技术的研究与实现;杨鹏;《中国优秀硕士学位论文全文数据库（电子期刊）》;20090715;正文第二章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103220184A (zh) | 2013-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109542865B (zh) | 分布式集群系统配置文件同步方法、装置、系统及介质 | |
| CN108683668B (zh) | 内容分发网络中的资源校验方法、装置、存储介质及设备 | |
| US10686807B2 (en) | Intrusion detection system | |
| US20230096032A1 (en) | Hybrid Approach To Data Governance | |
| CN111800443B (zh) | 数据处理系统和方法、装置以及电子设备 | |
| CN104219316A (zh) | 一种分布式系统中的调用请求处理方法及装置 | |
| CN103051725A (zh) | 应用识别方法、数据挖掘方法、装置及系统 | |
| CN104838620A (zh) | 电信网中的事件管理 | |
| US20160147622A1 (en) | Enhanced error detection in data synchronization operations | |
| CN105574109A (zh) | 一种数据库同步方法、同步设备及系统 | |
| CN109361525B (zh) | 重启分布式部署多服务的方法、装置、控制终端及介质 | |
| WO2014166265A1 (en) | Method, terminal, cache server and system for updating webpage data | |
| CN104572727A (zh) | 一种数据查询方法及装置 | |
| CN103532838A (zh) | 一种隔离网间实现数据交换的方法及系统 | |
| CN105302920A (zh) | 一种云存储数据的优化管理方法和系统 | |
| CN105743730A (zh) | 为移动终端的网页服务提供实时监控的方法及其系统 | |
| CA2896865A1 (en) | Method and system for using a recursive event listener on a node in hierarchical data structure | |
| CN103401698A (zh) | 用于服务器集群运算中对服务器状况报警的监控系统 | |
| CN111740868A (zh) | 告警数据的处理方法和装置及存储介质 | |
| CN103248522B (zh) | 一种性能数据的上报方法及装置 | |
| CN104618142A (zh) | 消息订阅方法、处理节点设备和总线设备 | |
| US20200257813A1 (en) | Digital Data Processing System For Efficiently Storing, Moving, And/Or Processing Data Across A Plurality of Computing Clusters | |
| CN102902905A (zh) | 一种文件处理方法和系统 | |
| CN103220184B (zh) | 应用系统数据统一采集同步系统 | |
| CN114450920A (zh) | 分布式安全检测系统、方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP02 | Change in the address of a patent holder |
Address after: 510000 Guangzhou, Panyu District, Panyu Avenue, North Hill, No. 537 on the center of the building, No. 1, building No. 3, building 8, floor Patentee after: Guangzhou O.CN Network Technology Co., Ltd. Address before: China and Hong Kong Commercial Building 140 No. 510000 Guangdong city of Guangzhou province Tianhe District Zhongshan Avenue Road, 25 floor Patentee before: Guangzhou O.CN Network Technology Co., Ltd. |