CN103220184A - 应用系统数据统一采集同步系统 - Google Patents
应用系统数据统一采集同步系统 Download PDFInfo
- Publication number
- CN103220184A CN103220184A CN2013101600751A CN201310160075A CN103220184A CN 103220184 A CN103220184 A CN 103220184A CN 2013101600751 A CN2013101600751 A CN 2013101600751A CN 201310160075 A CN201310160075 A CN 201310160075A CN 103220184 A CN103220184 A CN 103220184A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- application system
- packet
- masterplate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及数字信息传输技术领域，公开一种应用系统数据统一采集同步系统。该同步系统包括网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块以及系统设置模块。该系统对被监控客户机的网络数据包进行读取并过滤，将符合过滤条件的数据包进行解析，识别出要同步的数据，并将需要同步的数据进行重新组合，转发给目标应用系统，从而实现不同应用系统之间数据的同步。
Description
技术领域
本发明涉及数字信息传输技术领域，尤其是涉及一种可将不同应用系统之间数据进行同步的系统。
背景技术
随着科学技术特别是信息技术的飞速发展，政府、企业信息化程度越来越高。然而很多应用系统都是独立设计独立建设，没有从全局方面考虑，造成各平台间的数据难以同步和共享。企事业单位各个部门的子应用系统均已经建设完成，在短期内全面整合升级系统或者重新规划建设变得相当困难。如何快速地在不改变现有平台、应用系统的运行情况以及网络环境下，低成本、高效率的保证数据同步成为很多单位所共同面临的问题。
目前网络上也有了很多网络抓包工具如Wireshark、SpyNet3、Sniffer Portable，主要应用于网络分析、网络安全检测、监测等领域，但均没有涉及不同应用系统之间数据同步问题的解决方案。
发明内容
本发明主要为了在不修改原有应用系统程序和网络环境的情况下，解决不同应用系统之间相同数据的同步问题。
本发明通过以下技术方案实现：
一种应用系统数据统一采集同步系统，包括：网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块以及系统设置模块；
其中，网络监控管理模块，用于读取并过滤被监控客户机的网络数据包；此处过滤方法包括通过被监控应用系统的地址以及具体监控表单后台处理接口地址来判断，若网络数据包符合过滤条件则转发至数据包解析转发模块，不符合则过滤不处理；
数据包解析转发模块，用于接收网络监控模块中监控到的数据，读取并进行内容解析，识别出要同步的数据，并将需要同步的数据根据要转发到的目标应用系统的数据接收要求进行重新组合，然后转发给模拟表单提交模块及目标应用系统；
模版定制管理模块，用于监控功能模版的增加、删除及修改；模版中包括被监控系统的登录信息，被监控系统至少一个功能的后台处理地址，以及解析目标应用系统对转发数据相应的后台处理地址；并将模版中的信息提升为可配置，从而达到增强同步系统的适用性的目的；
模拟表单提交模块，用于接收数据包解析转发模块发送的数据包，并根据模版定制管理模块的配置将表单数据进行提交；
系统设置模块，用于设置同步系统的运行参数。
所述网络监控管理模块包括数据存储模块，用于临时存储网络监控模块接收到的不完整数据；待数据存储模块中临时存储的数据完整后，由网络监控管理模块进行转发。
所述应用系统数据统一采集同步系统还包括日志管理模块，日志管理模块用于对系统运行日志进行管理。
相对于现有技术，本发明的有益效果为：
1、可以快速的解决不同系统之间的数据同步问题。
2、无需升级原有系统或者重新建设系统，节省建设成本。
3、无需开放原有系统数据库，降低风险。
4、不对原有系统的操作习惯、运行环境、网络状况等产生任何影响。
附图说明
图1为本发明第一实施例的组成图。
图2为本发明第二实施例的组成图。
图3为本发明第二实施例对不同系统进行数据同步的流程图。
具体实施方式
为了便于本领域技术人员理解，下面将结合附图以及实施例对本发明进行进一步描述。
图1所示为本发明应用系统数据统一采集同步系统的第一实施例。该同步系统包括：网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块以及系统设置模块；
其中，网络监控管理模块，用于读取并过滤被监控客户机的网络数据包；此处过滤方法包括通过被监控应用系统的地址以及具体监控表单后台处理接口地址来判断，若网络数据包符合过滤条件则转发至数据包解析转发模块，不符合则过滤不处理；
数据包解析转发模块，用于接收网络监控模块中监控到的数据，读取并进行内容解析，识别出要同步的数据，并将需要同步的数据根据要转发到的目标应用系统的数据接收要求进行重新组合，然后转发给模拟表单提交模块及目标应用系统；
模版定制管理模块，用于监控功能模版的增加、删除及修改；模版中包括被监控系统的登录信息，被监控系统至少一个功能的后台处理地址，以及解析目标应用系统对转发数据相应的后台处理地址；并将模版中的信息提升为可配置，从而达到增强同步系统的适用性的目的；
模拟表单提交模块，用于接收数据包解析转发模块发送的数据包，并根据模版定制管理模块的配置将表单数据进行提交；
系统设置模块，用于设置同步系统的运行参数。
所述同步系统安装于各应用系统的客户机上，在被监控客户机上完成数据解析及重组，再转发至目标应用系统。
图2所示为本发明应用系统数据统一采集同步系统的第二实施例。该同步系统包括：网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块、系统设置模块、日志管理模块；
其中，网络监控管理模块，用于读取并过滤被监控客户机的网络数据包；此处过滤方法包括通过被监控应用系统的地址以及具体监控表单后台处理接口地址来判断，若网络数据包符合过滤条件则将网络数据包转存为xml文件，并转发至数据包解析转发模块，不符合则过滤不处理；所述网络监控管理模块包括数据存储模块，用于临时存储网络监控模块接收到的不完整数据；待数据存储模块中临时存储的数据完整后，由网络监控管理模块进行转发；
数据包解析转发模块，用于接收网络监控模块中监控到的数据，读取并进行内容解析，识别出要同步的数据，调用同步系统信息配置表与解析得到的数据进行对比，找到需要同步的目标应用系统，并将需要同步的数据根据要转发到的目标应用系统的数据接收要求进行重新组合，然后转发给模拟表单提交模块及目标应用系统；
模版定制管理模块，用于监控功能模版的增加、删除及修改；模版中包括被监控系统的登录信息，被监控系统至少一个功能的后台处理地址，以及解析目标应用系统对转发数据相应的后台处理地址；并将模版中的信息提升为可配置，从而达到增强同步系统的适用性的目的；
模拟表单提交模块，用于接收数据包解析转发模块发送的数据包，并根据模版定制管理模块的配置将表单数据进行提交；
系统设置模块，用于设置同步系统的运行参数；
日志管理模块，用于对系统运行日志进行管理。
所述同步系统分为客户端与服务器端两部分，其中客户端包括网络监控管理模块、系统设置模块、日志管理模块；服务器端包括数据包解析转发模块、模版定制管理模块以及模拟表单提交模块。各应用系统的客户机上部署同步系统的客户端，在中心服务器上部署同步系统的服务器端。
该同步系统对不同系统进行数据同步的流程如图3，客户端对进出客户机的所有网络数据包进行监控，读取并过滤被监控客户机的网络数据包，当监控到网络数据包的数据符合过滤条件时，客户端对该网络数据包进行封装并转存成文件，如xml文件，然后转发到同步系统的服务器端。服务器端收到客户端转发的数据后，根据相应的规则对其进行解析，并调用同步系统信息配置表与解析得到的数据进行对比，找到需要同步的目标应用系统，然后将解析后的数据按照目标应用系统的业务规则进行重新组装，并发送至目标应用系统并提交表单数据；目标应用系统接收数据后，按自己的逻辑进行处理，即完成了不同应用系统之间数据的同步。
该同步系统采用客户端数据抓取分析、服务器解析同步的部署方式。通过在客户端将数据过滤，降低服务器端网络流量，减轻数据处理压力，同时又可以在服务器端进行统一的同步管理。所有同步操作均在服务器端进行，容易管理控制，提高数据同步的安全性和灵活性。
以上所述实施例仅表达了本发明的两种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种应用系统数据统一采集同步系统，其特征在于，包括：网络监控管理模块、数据包解析转发模块、模版定制管理模块、模拟表单提交模块以及系统设置模块；
其中，网络监控管理模块，用于读取并过滤被监控客户机的网络数据包；此处过滤方法包括通过被监控应用系统的地址以及具体监控表单后台处理接口地址来判断，若网络数据包符合过滤条件则转发至数据包解析转发模块，不符合则过滤不处理；
数据包解析转发模块，用于接收网络监控模块中监控到的数据，读取并进行内容解析，识别出要同步的数据，并将需要同步的数据根据要转发到的目标应用系统的数据接收要求进行重新组合，然后转发给模拟表单提交模块及目标应用系统；
模版定制管理模块，用于监控功能模版的增加、删除及修改；模版中包括被监控系统的登录信息，被监控系统至少一个功能的后台处理地址，以及解析目标应用系统对转发数据相应的后台处理地址；并将模版中的信息提升为可配置，从而达到增强同步系统的适用性的目的；
模拟表单提交模块，用于接收数据包解析转发模块发送的数据包，并根据模版定制管理模块的配置将表单数据进行提交；
系统设置模块，用于设置同步系统的运行参数。
2.根据权利要求1所述的应用系统数据统一采集同步系统，其特征在于：所述网络监控管理模块包括数据存储模块，用于临时存储网络监控模块接收到的不完整数据；待数据存储模块中临时存储的数据完整后，由网络监控管理模块进行转发。
3.根据权利要求2所述的应用系统数据统一采集同步系统，其特征在于：包括日志管理模块，日志管理模块用于对系统运行日志进行管理。
4.根据权利要求3所述的应用系统数据统一采集同步系统，其特征在于：所述同步系统分为客户端与服务器端两部分，其中客户端包括网络监控管理模块、系统设置模块、日志管理模块；服务器端包括数据包解析转发模块、模版定制管理模块以及模拟表单提交模块；所述客户端部署在各应用系统的客户机上，所述服务器端部署在中心服务器上。
5.根据权利要求3所述的应用系统数据统一采集同步系统，其特征在于：所述同步系统安装于各应用系统的客户机上。
6.根据权利要求4或5所述的应用系统数据统一采集同步系统，其特征在于：所述网络监控管理模块将网络数据包转存为xml文件。
7.根据权利要求6所述的应用系统数据统一采集同步系统，其特征在于：所述数据包解析转发模块通过调用同步系统信息配置表与解析得到的数据进行对比，找到需要同步的目标应用系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310160075.1A CN103220184B (zh) | 2013-05-03 | 2013-05-03 | 应用系统数据统一采集同步系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310160075.1A CN103220184B (zh) | 2013-05-03 | 2013-05-03 | 应用系统数据统一采集同步系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103220184A true CN103220184A (zh) | 2013-07-24 |
| CN103220184B CN103220184B (zh) | 2016-06-15 |
Family
ID=48817668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310160075.1A Active CN103220184B (zh) | 2013-05-03 | 2013-05-03 | 应用系统数据统一采集同步系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103220184B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030081617A1 (en) * | 2000-03-10 | 2003-05-01 | Liming Network Systems Co., Ltd. | Information switching platform |
| CN101631039A (zh) * | 2009-08-13 | 2010-01-20 | 中兴通讯股份有限公司 | 一种网络资源评估系统及方法 |
-
2013
- 2013-05-03 CN CN201310160075.1A patent/CN103220184B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030081617A1 (en) * | 2000-03-10 | 2003-05-01 | Liming Network Systems Co., Ltd. | Information switching platform |
| CN101631039A (zh) * | 2009-08-13 | 2010-01-20 | 中兴通讯股份有限公司 | 一种网络资源评估系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨鹏: "异构数据库同步中间件技术的研究与实现", 《中国优秀硕士学位论文全文数据库（电子期刊）》, 15 July 2009 (2009-07-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103220184B (zh) | 2016-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103166933B (zh) | 一种数据安全交换系统及方法 | |
| CN105024855A (zh) | 分布式集群管理系统和方法 | |
| CN105574082A (zh) | 基于Storm的流处理方法及系统 | |
| CN108139964B (zh) | 云服务配置方法、装置、存储介质及云服务系统 | |
| CN103152352A (zh) | 一种基于云计算环境的全信息安全取证监听方法和系统 | |
| CN103546343B (zh) | 网络流量分析系统的网络流量展示方法和系统 | |
| CN103780610A (zh) | 基于协议特征的网络数据恢复方法 | |
| CN105052076B (zh) | 一种基于云计算的网元管理系统及网元管理方法 | |
| CN103763121A (zh) | 一种网络配置信息快速下发的方法及装置 | |
| CN104243198B (zh) | 一种基于网络配置协议的网络管理方法和系统 | |
| CN106685685A (zh) | 一种跨安全分区的交换机性能监测方法及系统 | |
| CN110912731A (zh) | 基于nfv采用dpi技术实现业务识别和拓扑分析的系统和方法 | |
| CN102970376A (zh) | 集群配置方法和装置 | |
| EP2916616A2 (en) | M2m gateway device and applying method thereof | |
| KR20130140508A (ko) | 로그 정보 수집 장치 | |
| EP3096492B1 (en) | Page push method and system | |
| CN108696390A (zh) | 一种软件定义的网络安全设备和方法 | |
| CN103763150A (zh) | 数据采集系统 | |
| CN105337781A (zh) | 网络管理系统、方法及网络系统 | |
| CN112769814B (zh) | 综合联动协调网络安全设备的方法及系统 | |
| CN103220184A (zh) | 应用系统数据统一采集同步系统 | |
| CN110430098B (zh) | 数据处理系统 | |
| WO2016062050A1 (zh) | 一种微模块管理的方法、装置及系统 | |
| CN112822054A (zh) | 一种多个相关设备利用同一网元的远程管理方法及系统 | |
| US20230300141A1 (en) | Network security management method and computer device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP02 | Change in the address of a patent holder |
Address after: 510000 Guangzhou, Panyu District, Panyu Avenue, North Hill, No. 537 on the center of the building, No. 1, building No. 3, building 8, floor Patentee after: Guangzhou O.CN Network Technology Co., Ltd. Address before: China and Hong Kong Commercial Building 140 No. 510000 Guangdong city of Guangzhou province Tianhe District Zhongshan Avenue Road, 25 floor Patentee before: Guangzhou O.CN Network Technology Co., Ltd. |