CN102594889B - 一种基于数据召测的数据同步与分析系统 - Google Patents
一种基于数据召测的数据同步与分析系统 Download PDFInfo
- Publication number
- CN102594889B CN102594889B CN201210035424.2A CN201210035424A CN102594889B CN 102594889 B CN102594889 B CN 102594889B CN 201210035424 A CN201210035424 A CN 201210035424A CN 102594889 B CN102594889 B CN 102594889B
- Authority
- CN
- China
- Prior art keywords
- data
- survey
- call
- subsystem
- calling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种基于数据召测的数据同步与分析系统，包括：数据源同步子系统、同步辅助子系统和数据分析子系统；所述数据源同步子系统按照数据交互协议与同步辅助子系统进行数据交互，所述数据分析子系统对同步辅助子系统获取的数据进行分析和综合展现。本系统通过细化技术特性和业务需求，以数据召测的形式进行数据同步，在提高数据响应时间的同时，在较大程度上减少了维护工程量，提高了数据同步的效率。
Description
技术领域
本发明涉及一种实时数据处理方法，具体来说涉及一种基于数据召测的数据同步与分析系统。
背景技术
随着计算机技术的快速发展，越来越多的企业和政府部门逐渐加大了信息化系统的建设力度。但是为了避免重复建设和数据冗余，新建设的信息化系统需要和原有的其它信息化系统进行数据同步。这里说的数据同步不是一次性的数据导入和导出，而是按照特定的业务需求，某些数据需要每小时同步一次，某些数据需要每天同步一次，某些数据需要每月同步一次。此外，数据同步还必须考虑到跨数据库(如Oracle、Sybase、DB2等)跨网络。
比较常用的数据同步方法就是定时抽取、主动上送。实现过程如下：有两个信息化系统S1和S2(下同)，其中S1需要按照一定的业务需求向S2传送数据。那么在S1的接口机上部署一套数据抽取程序(含压缩程序)，主要负责数据抽取和压缩，在S2的接口上部署一套数据入库程序(含解压程序)，主要负责数据解压和入库。S1的接口机和S2的接口机通过FTP进行压缩文件的传输。这种定时抽取、主动上送的数据同步方法存在以下两个方面的问题：
·数据实时性差且难以监控
系统S1存储的原始数据可能是硬件采集器采集的，也有可能是系统自身生成的，又或者是触发存储过程或定时调度存储过程生成的。不论哪一种情况，数据生成或插入时间的不确定性就决定了定时抽取需要延迟数个小时才能确保抽取到数据。这样就会出现系统S1有数据，而系统S2没有数据展示的数据实时性差的问题。此外，从S1的接口机进行数据抽取和压缩，再通过FTP到S2的接口机进行数据解压和入库，如果中间哪一个环节出了问题，系统S2也会没有数据。
·维护工作量大且工作效率低
对于系统S1的数据抽取程序，需要有专人进行维护。特别地，如果系统有数据补录或数据修复，很难及时地进行数据重抽，因为数据补录是指定的责任人，而数据修复是其它的责任人等。另一方面，系统S2发现了数据异常或数据缺失，需要联系S1的责任人进行处理，但很多情形下系统S1中的数据已经进行了修复。这样来来往往不仅维护工作量大，而且工作效率也非常低。
发明内容
本发明的目的在于提供一种基于数据召测的数据同步与分析系统，本系统通过细化技术特性和业务需求，以数据召测的形式进行数据同步，在提高数据响应时间的同时，在较大程度上减少了维护工程量，提高了数据同步的效率。
本发明的目的可通过以下的技术措施来实现：
一种基于数据召测的数据同步与分析系统，包括：数据源同步子系统、同步辅助子系统和数据分析子系统；所述数据源同步子系统按照数据交互协议与同步辅助子系统进行数据交互，所述数据分析子系统对同步辅助子系统获取的数据进行分析和综合展现；
所述数据源同步子系统包含召测服务器、文件压缩器和FTP服务器；所述同步辅助子系统包括召测客户端、FTP客户端、文件解压器、文件入库器；
所述召测服务器负责侦听来自召测客户端的数据召测请求，对于小数据量的召测请求，则直接实时返回召测结果；对于大数据量的召测请求，则生成相应的文本文件，然后通过文件压缩器生成压缩文件后以FTP方式上传至FTP服务器；
所述召测客户端根据实际需求或者数据分析子系统的配置向召测服务器发送召测请求；对于实时返回的召测结果，由召测客户端进行数据入库；对于召测服务器上传到FTP服务器上的压缩文件，由所述FTP客户端进行实时扫描和获取，然后由文件解压器进行解压，最后由文件入库器进行数据入库。
所示数据分析子系统对数据进行分析和综合展现，且，如果数据缺失或者异常，则所述数据分析子系统对缺失或异常的数据进行召测。
所述实时返回的招测结果和压缩文件均按照数据交互协议进行封装。
所示数据交互协议是指两个或者多个信息系统之间信息交互过程、交互内容及交互格式。
本发明对比现有技术，有如下优点：本方法实现电网企业海量实时数据在平台内部的移动，能够明确数据的分布、移动、应用方式，支撑实时数据的集中管控，提升企业范围内数据的价值。
附图说明
图1是本发明的数据同步与分析系统的结构图。
具体实施方式
本发明提供一种基于数据召测的数据同步与分析系统，包括：数据源同步子系统、同步辅助子系统和数据分析子系统；数据源同步子系统按照数据交互协议与同步辅助子系统进行数据交互，数据分析子系统对同步辅助子系统获取的数据进行分析和综合展现；
数据源同步子系统包含召测服务器、文件压缩器和FTP服务器；同步辅助子系统包括召测客户端、FTP客户端、文件解压器、文件入库器；
召测服务器负责侦听来自召测客户端的数据召测请求，对于小数据量的召测请求，则直接实时返回召测结果；对于大数据量的召测请求，则生成相应的文本文件，然后通过文件压缩器生成压缩文件后以FTP方式上传至FTP服务器；
召测客户端根据实际需求或者数据分析子系统的配置向召测服务器发送召测请求；对于实时返回的召测结果，由召测客户端进行数据入库；对于召测服务器上传到FTP服务器上的压缩文件，由FTP客户端进行实时扫描和获取，然后由文件解压器进行解压，最后由文件入库器进行数据入库。
数据分析子系统主要对数据进行分析和综合展现，且，如果数据缺失或者异常，则数据分析子系统对缺失或异常的数据进行召测，再对召测回来的数据进行分析。
实时返回的招测结果和压缩文件均按照数据交互协议进行封装。数据交互协议是指两个或者多个信息系统之间信息交互过程、交互内容及交互格式。交互过程是指数据同步如何进行，交互内容是指哪些业务数据需要交互，交互格式是指交互数据的格式。
本方法具体实施过程如下：
首先制定了数据交互协议，即以XML格式进行数据传输，传输的内容及频率依具体业务需求而定。如进行终端在线率的数据传输，约定该接口的标识为DIXX_YYY，那么传输的内容如下表1所示：
| 属性名称 | 属性标识 | 值类型 | 是否主键 | 备注 |
| 归属供电局 | powerBureauId | String | 是 | |
| 终端类型 | Unittype | String | 是 | |
| 厂家 | manufacturer | String | 是 | |
| 统计日期 | Statdate | String | 是 | 格式yyyy-mm-dd |
| 总数 | Sum | String | ||
| 在线数量 | Onlinenum | String |
表1 终端在线率内容表
文件命名规则为：地市编码_YYYYMMDD_DIXX_YYY.xml。传输的频率为日全量。所有其它需要同步的数据均可在此基础上进行拓展即可。
数据召测服务器提供WebService接口即服务方法供召测客户端进行调用。服务方法中前2个参数依次为验证码和召测类型，其余参数如数据标识、数据时间等可根据实际情况进行拓展。验证码是保证系统的安全性，防止非授权用户的侵入和机密信息的泄漏。召测类型共有2种，分为实时召测和同步召测，在数据分析子系统的数据召测页面进行配置。实时召测为实时返回召测结果数据，适用于小规模的数据传输；同步召测是按照数据交互协议生成文件，进行压缩后以FTP的方式进行数据传输，适用于大规模的数据传输。
召测服务器提供的服务方法定义如：string DataCall(string userid, string callType, string interType, string beginTime, string endTime)。
如果召测服务器验证到召测参数合法，并且interType=”DIXX_YYY”，即表明进行终端在线率的数据召测，则按照表1给出的内容进行XML格式封装和召测客户端进行数据交互。
数据召测客户端实时扫描数据库的召测任务表，一旦发现有数据召测任务就开始下发召测请求，如果在预设的时间(默认60秒)内没有接收到返回结果，就认为召测超时。如果没有超时，就把召测的结果数据插入到指定的数据库表中。
数据分析子系统提供特定类型数据的召测及分析功能，有数据召测配置页面和召测数据分析页面。在数据召测页面，可以对各地市、接口及时间等操作参数进行配置，然后下发召测任务。这里的下发只是往数据库插入召测任务，然后由召测客户端进行数据召测。在召测数据分析页面，可以将召测回来的新数据进行分析和综合展现。
本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。
Claims (4)
1.一种基于数据召测的数据同步与分析系统，其特征在于包括：数据源同步子系统、同步辅助子系统和数据分析子系统；所述数据源同步子系统按照数据交互协议与同步辅助子系统进行数据交互，所述数据分析子系统对同步辅助子系统获取的数据进行分析和综合展现；
所述数据源同步子系统包含召测服务器、文件压缩器和FTP服务器；所述同步辅助子系统包括召测客户端、FTP客户端、文件解压器和文件入库器；
所述召测服务器负责侦听来自召测客户端的数据召测请求，对于小数据量的召测请求，则直接实时返回召测结果；对于大数据量的召测请求，则生成相应的文本文件，然后通过文件压缩器生成压缩文件后以FTP方式上传至FTP服务器；
所述召测客户端根据实际需求或者数据分析子系统的配置向召测服务器发送召测请求；对于实时返回的召测结果，由召测客户端进行数据入库；对于召测服务器上传到FTP服务器上的压缩文件，由所述FTP客户端进行实时扫描和获取，然后由文件解压器进行解压，最后由文件入库器进行数据入库。
2.根据权利要求1所述的基于数据召测的数据同步与分析系统，其特征在于：所述数据分析子系统对数据进行分析和综合展现，且，如果数据缺失或者异常，则所述数据分析子系统对缺失或异常的数据进行召测。
3.根据权利要求2所述的基于数据召测的数据同步与分析系统，其特征在于：所述实时返回的召测结果和压缩文件均按照数据交互协议进行封装。
4.根据权利要求3所述的基于数据召测的数据同步与分析系统，其特征在于：所述数据交互协议是指至少两个信息系统之间信息交互过程、交互内容及交互格式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210035424.2A CN102594889B (zh) | 2012-02-17 | 2012-02-17 | 一种基于数据召测的数据同步与分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210035424.2A CN102594889B (zh) | 2012-02-17 | 2012-02-17 | 一种基于数据召测的数据同步与分析系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102594889A CN102594889A (zh) | 2012-07-18 |
| CN102594889B true CN102594889B (zh) | 2014-07-16 |
Family
ID=46483084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210035424.2A Active CN102594889B (zh) | 2012-02-17 | 2012-02-17 | 一种基于数据召测的数据同步与分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102594889B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107291764A (zh) * | 2016-04-05 | 2017-10-24 | 中兴通讯股份有限公司 | 一种大数据交换方法及装置、系统 |
| CN108073635B (zh) * | 2016-11-18 | 2021-08-27 | 中国电力科学研究院有限公司 | 一种电力信息系统数据场景加载的系统及其加载方法 |
| CN109726363B (zh) * | 2017-10-31 | 2020-05-29 | 阿里巴巴集团控股有限公司 | 一种数据统计方法和装置 |
| CN109857075B (zh) * | 2019-02-18 | 2021-09-14 | 河南省水文水资源局 | 基于移动终端的水资源监控平台运行维护管理系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1983952A (zh) * | 2005-12-14 | 2007-06-20 | 中兴通讯股份有限公司 | 网络优化系统中的网管数据同步方法及网管数据同步系统 |
| CN101324637A (zh) * | 2008-07-24 | 2008-12-17 | 武汉钢铁(集团)公司 | 远程召测与分析系统 |
| CN102355497A (zh) * | 2011-09-28 | 2012-02-15 | 中国铁道科学研究院电子计算技术研究所 | 数据同步方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7362713B2 (en) * | 2004-01-20 | 2008-04-22 | Sbc Knowledge Ventures, Lp. | System and method for accessing digital subscriber line data |
| CN100531055C (zh) * | 2006-04-10 | 2009-08-19 | 华为技术有限公司 | 数据同步系统及其方法 |
-
2012
- 2012-02-17 CN CN201210035424.2A patent/CN102594889B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1983952A (zh) * | 2005-12-14 | 2007-06-20 | 中兴通讯股份有限公司 | 网络优化系统中的网管数据同步方法及网管数据同步系统 |
| CN101324637A (zh) * | 2008-07-24 | 2008-12-17 | 武汉钢铁(集团)公司 | 远程召测与分析系统 |
| CN102355497A (zh) * | 2011-09-28 | 2012-02-15 | 中国铁道科学研究院电子计算技术研究所 | 数据同步方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《大规模大客户负荷管理系统数据采集方案研究》;肖勇等;《电测与仪表》;20091231;第46卷(第12A期);全文 * |
| 肖勇等.《大规模大客户负荷管理系统数据采集方案研究》.《电测与仪表》.2009,第46卷(第12A期), |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102594889A (zh) | 2012-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101609610B (zh) | 一种航班信息数据采集器及其处理方法 | |
| CN103559217B (zh) | 一种面向异构数据库的海量组播数据入库实现方法 | |
| CN107729366A (zh) | 一种普适多源异构大规模数据同步系统 | |
| CN102508908B (zh) | 一种下级财政业务数据的采集方法和系统 | |
| CN109739818B (zh) | 一种便捷式高吞吐量大数据采集方法及系统 | |
| CN111160869A (zh) | 一种基于社区网格化的智能预警关怀系统 | |
| CN107798037A (zh) | 用户特征数据的获取方法及服务器 | |
| CN107103064B (zh) | 数据统计方法及装置 | |
| CN101853287A (zh) | 数据压缩快速检索文件系统及其方法 | |
| CN102594889B (zh) | 一种基于数据召测的数据同步与分析系统 | |
| CN110750650A (zh) | 企业知识图谱的构建方法及装置 | |
| CN112685433B (zh) | 元数据更新方法、装置、电子设备及计算机可读存储介质 | |
| CN104036365A (zh) | 一种企业级数据服务平台建设方法 | |
| CN102902777A (zh) | 跨数据源查询装置和跨数据源查询方法 | |
| CN109325077A (zh) | 一种基于canal和kafka实现实时数仓的系统 | |
| CN105472412A (zh) | 一种区分智能电视状态的大数据处理方法 | |
| CN104899278A (zh) | 一种Hbase数据库数据操作日志的生成方法及装置 | |
| CN109039817A (zh) | 一种用于流量监控的信息处理方法和装置 | |
| Hongqian et al. | Cloud-based data management system for automatic real-time data acquisition from large-scale laying-hen farms | |
| CN109857808B (zh) | 基于中立数据结构的纵向数据同步系统及方法 | |
| CN101324637A (zh) | 远程召测与分析系统 | |
| CN106534272A (zh) | 一种燃煤机组参数处理系统及方法 | |
| CN104281980A (zh) | 基于分布式计算的火力发电机组远程诊断方法及系统 | |
| CN103440302B (zh) | 实时数据交换的方法和系统 | |
| CN104063468A (zh) | 一种数据报表自动生成及提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 510080 Dongfeng East Road, Dongfeng, Guangdong, Guangzhou, Zhejiang Province, No. 8 Patentee after: Electric Power Research Institute of Guangdong Power Grid Co.,Ltd. Address before: 510080 Dongfeng East Road, Dongfeng, Guangdong, Guangzhou, Zhejiang Province, No. 8 Patentee before: ELECTRIC POWER RESEARCH INSTITUTE OF GUANGDONG POWER GRID Corp. |
|
| CP01 | Change in the name or title of a patent holder |