CN110032548B - 电力通信网监控平台非结构化数据分布式管理方法及系统 - Google Patents
电力通信网监控平台非结构化数据分布式管理方法及系统 Download PDFInfo
- Publication number
- CN110032548B CN110032548B CN201910313338.5A CN201910313338A CN110032548B CN 110032548 B CN110032548 B CN 110032548B CN 201910313338 A CN201910313338 A CN 201910313338A CN 110032548 B CN110032548 B CN 110032548B
- Authority
- CN
- China
- Prior art keywords
- application server
- unstructured data
- database
- synchronization
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了电力通信网监控平台非结构化数据分布式管理方法及系统,解决了非结构化数据的存储、集成和管理,同步性差、稳定性不高、效率低的问题。本发明方法包括如下步骤:步骤S1:源应用服务器接收用户的非结构化数据操作请求,通知数据库记录该操作,同时进行非结构化数据本地存储;步骤S2:源应用服务器收到数据库监听的变化指令,向资源池中的其他应用服务器广播加密消息;步骤S3:在线的其他应用服务器收到请求后,立即启动SFTP进行源应用服务器的非结构化数据同步到其对应的本地存储;步骤S4:在线的其他应用服务器完成同步后,通知数据库记录已完成该非结构化数据的更新,用于同步失败的应用服务器的后续获取源。
Description
技术领域
本发明涉及分布式管理技术领域,具体涉及电力通信网监控平台非结构化数据分布式管理方法及系统。
背景技术
随着电力通信网的迅速发展,电力通信网已经进入智能大数据时代,其中海量的数据差异巨大,且数据结构不统一,具体的数据结构包括结构化、半结构化和非结构化三种,而非结构化数据占比是最大的,比例已达到数据总量的85%以上。比如,图片,视频、文本等都属于非结构化数据,非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据,更不适合存储在数据库磁盘阵列中,这是由于磁盘阵列成本价格比较贵。
目前,针对非结构化数据的存储、集成和管理问题:同步性差、稳定性不高、效率低等,我们需要一种基于电力通信网监控平台非结构化数据分布式管理方法及系统来实现对电力通信网的非结构化数据进行分布式存储与管理,实现同步性高、稳定性好、且效率优的存储与管理。
发明内容
本发明所要解决的技术问题是:针对非结构化数据的存储、集成和管理,同步性差、稳定性不高、效率低的问题,本发明提供了解决上述问题的电力通信网监控平台非结构化数据分布式管理方法及系统。
本发明通过下述技术方案实现:
电力通信网监控平台非结构化数据的分布式管理方法,该方法包括如下步骤:
步骤S1:资源池中的源应用服务器接收用户的非结构化数据操作请求,通知数据库记录该操作,同时进行非结构化数据本地存储,其中,接收用户的非结构化数据操作请求的应用服务器记作源应用服务器;
步骤S2:源应用服务器收到数据库监听的变化指令,向资源池中的其他应用服务器广播加密消息,其中,加密消息内容包括用户请求的非结构化数据ID和校验码;
步骤S3:在线的其他应用服务器收到请求后,立即启动SFTP进行源应用服务器的非结构化数据同步到其对应的本地存储;
步骤S4:在线的其他应用服务器完成同步后,通知数据库记录已完成该非结构化数据的更新,用于同步失败的应用服务器的后续获取源。
用户前端进行非结构化数据操作(如:文件的上传,删除,更新操作)请求,由资源池中的应用服务器进行响应处理,通过上述步骤完成非结构化数据存储,同步更新和管理,保证任意一台应用服务器写入,其他任意一台应用服务器实时更新,数据实时同步,轻量,快捷;而对于同步失败或者不在线的应用服务器进一步执行如下步骤:
步骤S41:根据数据库设置的定时任务定时地对比服务器清单列表与已完成同步的非结构化数据之间的差异,获取同步失败的应用服务器,同步失败的应用服务器接收存在差异的非结构化数据ID和其邻机同步成功的应用服务器IP;
步骤S42:同步失败的应用服务器收到数据库通知后,根据提供的非结构化差异数据ID和邻机IP发起同步任务;
步骤S43:邻机同步成功的应用服务器接收请求后,启动SFTP进行同步,将其本地存储的非结构化数据同步到同步失败的应用服务器的对应目录下;
步骤S44:同步失败的应用服务器完成同步后,由数据库记录该应用服务器的更新状态。
进一步地,步骤S1中用户的非结构化数据操作请求包括非结构化数据的上传、更改、删除操作,非结构化数据的信息包括上传的应用服务器IP、保存路径、实际名称、虚拟名称、状态、操作时间。
进一步地,步骤S1中用户的非结构化数据操作请求由负载均衡装置分配资源池中的应用服务器进行响应处理。
进一步地,步骤S1中资源池中的应用服务器采用应用服务器集群的形式,至少包括2个应用服务器,每个应用服务器均包括应用服务和本地存储;应用服务器集群采用负载均衡分布式服务器部署。
进一步地,所述数据库为关系型数据库,采用分布式共享存储结构,冗余低,并且可分担数据流,读写快,效率高。
电力通信网监控平台非结构化数据的分布式管理系统,包括数据库、应用服务器集群和负载均衡装置,数据库包括存储单元、数据库服务集群,其中,
存储单元,用于存储结构化数据;
数据库服务集群,用于管理所述存储单元中存储的结构化数据,数据库服务集群包括至少两个数据库服务器;
应用服务器集群,用于为各应用服务器提供相同版本的应用服务,为非结构化数据进行本地存储并且保持实时同步;应用服务器集群包括至少2个应用服务器,每个应用服务器均包括应用服务和本地存储;
负载均衡装置,用于负责从应用服务器集群中分配应用服务器对用户的非结构化数据操作请求进行响应处理。
其中,应用服务采用分布式应用服务器集群,数据库采用数据库服务集群,这样做备份,数据源存在多份,保证即使某台应用服务器或者某台数据库服务异常,迅速可以切换到对应的应用服务器集群中的其他应用服务器和数据库服务集群中的其他数据库服务器上,保证不会影响本系统功能正常使用,稳定性高。
进一步地,所述数据库为关系型数据库,采用分布式共享存储结构,冗余低,并且可分担数据流,读写快,效率高。
进一步地,所述存储单元采用磁盘阵列,磁盘阵列通过在多个磁盘上同时存储和读取数据来大幅提高数据吞吐量,提高了传输速率,还通过数据校验提供容错功能。
SFTP安全文件传送协议属于现有技术,作为本发明方法中用于非结构化数据的安全传输方式,在此不再详述。
本发明具有如下的优点和有益效果:
1、本发明用户前端进行非结构化数据操作请求,由资源池中的应用服务器进行响应处理,根据电力通信网监控平台非结构化数据的分布式管理方法完成非结构化数据存储,同步更新和管理,保证任意一台应用服务器写入,其他任意一台应用服务器实时更新,数据实时同步,轻量,快捷;
2、本发明针对同步失败或者不在线的应用服务器进行进一步地同步更新保证,保证应用服务器进群中的所有应用服务器均同步更新非结构化数据的存储;
3、本发明应用服务采用分布式应用服务器集群,数据库采用数据库服务集群,这样做备份,数据源存在多份,保证即使某台应用服务器或者某台数据库服务异常,迅速可以切换到对应的应用服务器集群中的其他应用服务器和数据库服务集群中的其他数据库服务器上,保证不会影响本系统功能正常使用,稳定性高;数据库采用分布式共享存储,冗余低,并且可分担数据流,读写快;
4、本发明实现了非结构化数据轻量级同步,方法简单,快捷。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明电力通信网监控平台非结构化数据的分布式管理方法的非结构数据操作数据流程图。
图2为本发明电力通信网监控平台非结构化数据的分布式管理方法的同步失败或者不在线应用服务器数据流程图。
图3为本发明电力通信网监控平台非结构化数据的分布式管理系统的系统架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1
如图1、图2所示,电力通信网监控平台非结构化数据的分布式管理方法,该方法包括如下步骤:
步骤S1:资源池中的源应用服务器接收用户的非结构化数据操作请求,通知数据库记录该操作,同时进行非结构化数据本地存储,其中,接收用户的非结构化数据操作请求的应用服务器记作源应用服务器;
步骤S2:源应用服务器收到数据库监听的变化指令,向资源池中的其他应用服务器广播加密消息,其中,加密消息内容包括用户请求的非结构化数据ID和校验码;
步骤S3:在线的其他应用服务器收到请求后,立即启动SFTP进行源应用服务器的非结构化数据同步到其对应的本地存储;
步骤S4:在线的其他应用服务器完成同步后,通知数据库记录已完成该非结构化数据的更新,用于同步失败的应用服务器的后续获取源。
图1为本发明方法的非结构数据操作数据流程图,根据以上步骤,详细步骤如图1所示:(1)、用户进行非结构化数据操作;(2A)、由负载均衡装置分配资源池中的应用服务器进行响应处理,通知数据库记录该操作;比如,负载均衡装置选择了应用服务器B进行响应处理,应用服务器B即为源应用服务器,这时应用服务器B接收用户的非结构化数据操作请求,并通知数据库记录该操作;(2B)、与步骤2A的同时,由应用服务器B进行非结构化数据本地存储;(3)、数据库通过触发器实现监听到应用服务器的变化;(4)、应用服务器B向资源池中的其他应用服务器(应用服务器A、C、…、N)广播加密消息,其中,加密消息内容包括用户请求的非结构化数据ID和校验码;(5)、在线的其他应用服务器(假如所有的都在线,应用服务器A、C、…、N)收到请求后,立即启动SFTP进行应用服务器B的非结构化数据同步到其对应的本地存储;(6)、在线的其他应用服务器完成同步后,通知数据库记录已完成该非结构化数据的更新,用于同步失败的应用服务器的后续获取源。
用户前端进行非结构化数据操作(如:文件的上传,删除,更新操作)请求,由资源池中的应用服务器进行响应处理,通过上述步骤完成非结构化数据存储,同步更新和管理,保证任意一台应用服务器写入,其他任意一台应用服务器实时更新,数据实时同步,轻量,快捷;而对于同步失败或者不在线的应用服务器进一步执行如下步骤:
步骤S41:根据数据库设置的定时任务定时地对比服务器清单列表与已完成同步的非结构化数据之间的差异,获取同步失败的应用服务器,同步失败的应用服务器接收存在差异的非结构化数据ID和其邻机同步成功的应用服务器IP;
步骤S42:同步失败的应用服务器收到数据库通知后,根据提供的非结构化差异数据ID和邻机IP发起同步任务;
步骤S43:邻机同步成功的应用服务器接收请求后,启动SFTP进行同步,将其本地存储的非结构化数据同步到同步失败的应用服务器的对应目录下;
步骤S44:同步失败的应用服务器完成同步后,由数据库记录该应用服务器的更新状态。
图2为本发明方法的同步失败或者不在线应用服务器数据流程图,假如经过图1的步骤后应用服务器D是同步失败的应用服务器,而其邻机应用服务器C是同步成功的应用服务器,根据以上步骤,详细步骤如图2所示,(1)、数据库设置有定时任务,每10分钟定时对比服务器清单和已完成同步的非结构化数据差异,获取到同步失败的应用服务器D,同步失败的应用服务器D接收存在差异的非结构化数据ID和其邻机同步成功的应用服务器C的IP;(2)、同步失败的应用服务器D收到数据库通知后,根据提供的非结构化差异数据ID和邻机应用服务器C的IP发起同步任务;(3)、邻机同步成功的应用服务器C接收请求后,启动SFTP进行同步,将其本地存储的非结构化数据同步到同步失败的应用服务器D的对应目录下;(4)、同步失败的应用服务器D完成同步后,由数据库记录该应用服务器的更新状态,由同步失败的状态更新为同步成功的状态。
本实施例中,步骤S1中用户的非结构化数据操作请求包括非结构化数据的上传、更改、删除操作,非结构化数据的信息包括上传的应用服务器IP、保存路径、实际名称、虚拟名称、状态、操作时间。
步骤S1中用户的非结构化数据操作请求由负载均衡装置分配资源池中的应用服务器进行响应处理。
步骤S1中资源池中的应用服务器采用应用服务器集群的形式,至少包括2个应用服务器,每个应用服务器均包括应用服务和本地存储;应用服务器集群采用负载均衡分布式服务器部署。
所述数据库为关系型数据库,本实施例中可以采用Oracle数据库或者其他关系型数据库即可,采用分布式共享存储结构,冗余低,并且可分担数据流,读写快,效率高。
实施例2
如图3所示,本实施例与实施例1的区别在于,电力通信网监控平台非结构化数据的分布式管理系统,包括数据库、应用服务器集群和负载均衡装置,数据库包括存储单元、数据库服务集群,本电力通信网监控平台非结构化数据的分布式管理系统支持上述电力通信网监控平台非结构化数据的分布式管理方法,其中,
存储单元,用于存储结构化数据;
数据库服务集群,用于管理所述存储单元中存储的结构化数据,数据库服务集群包括至少两个数据库服务器;
应用服务器集群,用于为各应用服务器提供相同版本的应用服务,为非结构化数据进行本地存储并且保持实时同步;应用服务器集群包括至少2个应用服务器,每个应用服务器均包括应用服务和本地存储;
负载均衡装置,用于负责从应用服务器集群中分配应用服务器对用户的非结构化数据操作请求进行响应处理。
其中,应用服务采用分布式应用服务器集群,数据库采用数据库服务集群,这样做备份,数据源存在多份,保证即使某台应用服务器或者某台数据库服务异常,迅速可以切换到对应的应用服务器集群中的其他应用服务器和数据库服务集群中的其他数据库服务器上,保证不会影响本系统功能正常使用,稳定性高。
本实施例中,所述数据库为关系型数据库,采用分布式共享存储结构,冗余低,并且可分担数据流,读写快,效率高。
所述存储单元采用磁盘阵列,磁盘阵列通过在多个磁盘上同时存储和读取数据来大幅提高数据吞吐量,提高了传输速率,还通过数据校验提供容错功能。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.电力通信网监控平台非结构化数据的分布式管理方法,其特征在于:该方法包括如下步骤:
步骤S1:资源池中的源应用服务器接收用户的非结构化数据操作请求,通知数据库记录该操作,同时进行非结构化数据本地存储,其中,接收用户的非结构化数据操作请求的应用服务器记作源应用服务器;
步骤S2:源应用服务器收到数据库监听的变化指令,向资源池中的其他应用服务器广播加密消息,其中,加密消息内容包括用户请求的非结构化数据ID和校验码;
步骤S3:在线的其他应用服务器收到请求后,立即启动SFTP进行源应用服务器的非结构化数据同步到其对应的本地存储;
步骤S4:在线的其他应用服务器完成同步后,通知数据库记录已完成该非结构化数据的更新,用于同步失败的应用服务器的后续获取源;
步骤4中的同步失败的应用服务器执行如下步骤:
步骤S41:根据数据库设置的定时任务定时地对比服务器清单列表与已完成同步的非结构化数据之间的差异,获取同步失败的应用服务器,同步失败的应用服务器接收存在差异的非结构化数据ID和其邻机同步成功的应用服务器IP;
步骤S42:同步失败的应用服务器收到数据库通知后,根据提供的非结构化差异数据ID和邻机IP发起同步任务;
步骤S43:邻机同步成功的应用服务器接收请求后,启动SFTP进行同步,将其本地存储的非结构化数据同步到同步失败的应用服务器的对应目录下;
步骤S44:同步失败的应用服务器完成同步后,由数据库记录该应用服务器的更新状态;
步骤S1中用户的非结构化数据操作请求由负载均衡装置分配资源池中的应用服务器进行响应处理。
2.根据权利要求1所述的电力通信网监控平台非结构化数据的分布式管理方法,其特征在于:步骤S1中用户的非结构化数据操作请求包括非结构化数据的上传、更改、删除操作,非结构化数据的信息包括上传的应用服务器IP、保存路径、实际名称、虚拟名称、状态、操作时间。
3.根据权利要求1所述的电力通信网监控平台非结构化数据的分布式管理方法,其特征在于:步骤S1中资源池中的应用服务器采用应用服务器集群的形式,至少包括2个应用服务器,每个应用服务器均包括应用服务和本地存储;应用服务器集群采用负载均衡分布式服务器部署。
4.根据权利要求1所述的电力通信网监控平台非结构化数据的分布式管理方法,其特征在于:所述数据库为关系型数据库,采用分布式共享存储结构。
5.电力通信网监控平台非结构化数据的分布式管理系统,其特征在于:包括数据库、应用服务器集群和负载均衡装置,数据库包括存储单元、数据库服务集群,其中,
存储单元,用于存储结构化数据;
数据库服务集群,用于管理所述存储单元中存储的结构化数据,数据库服务集群包括至少两个数据库服务器;
应用服务器集群,用于为各应用服务器提供相同版本的应用服务,为非结构化数据进行本地存储并且保持实时同步;应用服务器集群包括至少2个应用服务器,每个应用服务器均包括应用服务和本地存储;
负载均衡装置,用于负责从应用服务器集群中分配应用服务器对用户的非结构化数据操作请求进行响应处理。
6.根据权利要求5所述的电力通信网监控平台非结构化数据的分布式管理系统,其特征在于:所述数据库为关系型数据库,采用分布式共享存储结构。
7.根据权利要求5所述的电力通信网监控平台非结构化数据的分布式管理系统,其特征在于:所述存储单元采用磁盘阵列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910313338.5A CN110032548B (zh) | 2019-04-18 | 2019-04-18 | 电力通信网监控平台非结构化数据分布式管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910313338.5A CN110032548B (zh) | 2019-04-18 | 2019-04-18 | 电力通信网监控平台非结构化数据分布式管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110032548A CN110032548A (zh) | 2019-07-19 |
CN110032548B true CN110032548B (zh) | 2023-07-14 |
Family
ID=67238985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910313338.5A Active CN110032548B (zh) | 2019-04-18 | 2019-04-18 | 电力通信网监控平台非结构化数据分布式管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110032548B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112835972B (zh) * | 2019-11-22 | 2024-04-16 | 北京中电普华信息技术有限公司 | 非结构化数据的同步方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9256622B2 (en) * | 2012-12-21 | 2016-02-09 | Commvault Systems, Inc. | Systems and methods to confirm replication data accuracy for data backup in data storage systems |
CN104184756A (zh) * | 2013-05-21 | 2014-12-03 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、装置及系统 |
CN104219288B (zh) * | 2014-08-14 | 2018-03-23 | 中国南方电网有限责任公司超高压输电公司 | 基于多线程的分布式数据同步方法及其系统 |
CN106933891A (zh) * | 2015-12-31 | 2017-07-07 | 华为技术有限公司 | 访问分布式数据库的方法和分布式数据服务的装置 |
-
2019
- 2019-04-18 CN CN201910313338.5A patent/CN110032548B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110032548A (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10764369B2 (en) | Data storage method and server applicable to distributed server cluster | |
CN101334797B (zh) | 一种分布式文件系统及其数据块一致性管理的方法 | |
EP3039549B1 (en) | Distributed file system using consensus nodes | |
US9785691B2 (en) | Method and apparatus for sequencing transactions globally in a distributed database cluster | |
US9424272B2 (en) | Distributed file system using consensus nodes | |
CN109739919B (zh) | 一种用于电力系统的前置机和采集系统 | |
CN101583024B (zh) | 分布式网络视频监控系统及其注册控制方法 | |
US8856091B2 (en) | Method and apparatus for sequencing transactions globally in distributed database cluster | |
CN104506625A (zh) | 一种提升云数据库元数据节点可靠性的方法 | |
CN103488546A (zh) | 一种支持多级别数据和数据库在线并发备份与恢复方法 | |
US9058304B2 (en) | Continuous workload availability between sites at unlimited distances | |
CN103440290A (zh) | 大数据加载系统和方法 | |
US20120259968A1 (en) | Continuous availability between sites at unlimited distances | |
CN103428288B (zh) | 基于分区状态表和协调节点的副本同步方法 | |
CN110851527B (zh) | 一种主备服务器的数据同步方法 | |
CN114363350A (zh) | 一种服务治理系统及方法 | |
CN110032548B (zh) | 电力通信网监控平台非结构化数据分布式管理方法及系统 | |
CN108259569A (zh) | 一种基于ipsan共享存储的无代理连续数据保护方法 | |
CN107577564A (zh) | 一种基于块同步技术实现双活系统的方法 | |
US20210326224A1 (en) | Method and system for processing device failure | |
JP2013065120A (ja) | 負荷分散システム、データアクセス装置、及び負荷分散方法 | |
US20240061754A1 (en) | Management of logs and cache for a graph database | |
CN102982033A (zh) | 小文件的存储方法及系统 | |
CN105302817A (zh) | 分布式文件系统管理方法和装置 | |
CN109302319B (zh) | 报文池分布式集群及其管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |