CN110059133A - 一种基于优化架构提升访问性能和数据共享能力的方法 - Google Patents
一种基于优化架构提升访问性能和数据共享能力的方法 Download PDFInfo
- Publication number
- CN110059133A CN110059133A CN201810089016.2A CN201810089016A CN110059133A CN 110059133 A CN110059133 A CN 110059133A CN 201810089016 A CN201810089016 A CN 201810089016A CN 110059133 A CN110059133 A CN 110059133A
- Authority
- CN
- China
- Prior art keywords
- data
- performance
- read
- library
- business
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000005457 optimization Methods 0.000 title claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 230000001737 promoting effect Effects 0.000 claims abstract description 3
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 12
- WVCHIGAIXREVNS-UHFFFAOYSA-N 2-hydroxy-1,4-naphthoquinone Chemical compound C1=CC=C2C(O)=CC(=O)C(=O)C2=C1 WVCHIGAIXREVNS-UHFFFAOYSA-N 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 8
- 238000000926 separation method Methods 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010937 topological data analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于优化架构提升访问性能和数据共享能力的方法,本方法是从数据库层面将操作类业务与管理类业务分离，由生产库承担电网所需的高频度和高并发应用负荷，由管理库(只读库)承担电网所需的资源高耗型应用负荷。采用生产库和只读库，实现读写分离，分散数据库读写压力。本发明通过作业层和管理分析层在数据库层面和访问控制层面的分离，实现业务访问性能和数据共享能力的提升。
Description
技术领域
本发明涉及一种基于优化架构提升访问性能和数据共享能力的方法，属于信息技术领域。
背景技术
当前的电网G I S平台实现全电压等级电网设备设施的图形、拓扑、台帐的一体化维护，在省级推广过程中存在数据量多，业务应用压力大，性能不够理想，主要原因在于业务应用与查询分析应用未作物理隔离，造成数据库I O性能不理想。同时对于各类图形应用场景性能要求比较高，关系型数据需要对每种图都得进行重新组装，对性能有较大影响。
发明内容
从数据库层面将操作类业务与管理类业务分离，由生产库承担电网所需的高频度和高并发应用负荷，由管理库(只读库)承担电网所需的资源高耗型应用负荷。采用生产库和只读库，实现读写分离，分散数据库读写压力。通过作业层和管理分析层的在数据库层面和访问控制层面的分离，实现业务访问性能和数据共享能力的提升。
具体如下：
1、通过OTG或其他高级数据库复制技术来建设只读库，初步分析业务与数据关系，分区、分类控制只读库数据同步频率，并基于现有应用进行对比测试及性能论证。
2、数据写方面：根据业务特性定义数据转移的范围和频次，适当地牺牲实时性来换取读取性能，同时引入ETL过程和相关机制提高数据写性能。
3、数据读方面：研究HANA内存数据库技术、Hadoop分布式技术架构等技术，融入GI S平台以提升数据读取性能。
4、读写分离验证工作包含数据同步的时效和同步过程对主库性能影响情况。
同步时效验证：在主库和同步库时间绝对一致的前提下，选取部分业务数据表增加一个时间戳字段，该字段为数据写入自动读取当前时间戳作为标记，且不通过同步工具或者ETL同步该字段内容。通过对比主库和同步库同一条记录的时间差可判断出同步时效指标。
性能影响验证：在主库和同步库同时部署NMON主机性能指标采集。每分钟采集一次，形成同步前和同步后的数据对比。主要关注带宽使用率、I/O使用率、内存使用率、CPU使用率指标。
预期结果：在千兆网络环境下，数据同步时效指标必须达到100毫秒以内，同步过程中对主从两端主机综合性能指标影响低于20％。
有益效果
解决了平台由于数据量多，业务应用压力大，数据共享能力差、性能不够理想等瓶颈及问题。
附图说明
图1为本发明示意图。
具体实施方式
本发明的方法是基于优化平台体系架构，提升访问性能和数据共享能力，具体实施过程分两阶段进行，如下：
步骤1).通过OTG或其他高级数据库复制技术来建设只读库，初步分析业务与数据关系，分区、分类控制只读库数据同步频率，并基于现有应用进行对比测试及性能论证。
步骤2).数据写方面，根据业务特性定义数据转移的范围和频次，适当地牺牲实时性来换取读取性能，同时引入ETL过程和相关机制提高数据写性能。
步骤3).数据读方面，研究HANA内存数据库技术、Hadoop分布式技术架构等技术，融入G I S平台以提升数据读取性能。
步骤4).服务应用方面，通过研究G I S服务的整体简化工作，如拓扑、栅格等服务的云服务分片部署、根据应用场景简化服务背景、拓扑分析异常数据自校验、简化作图过程等。以减少数据读取需求，提升整体性能。
生产库向管理库单向同步,具体同步机制如下：
生产库至管理库:将生产库的公共类数据、电网资源类数据(包含G I S)，采用同步软件实时同步至管理库，依据业务同步频率将运行类数据采用系统程序接口同步至管理库。一般保留一年的运行数据(特殊情况除外)，依据业务数据保留特性，采用系统程序删除生产库已同步到管理库的运行类数据。
Claims (4)
1.一种基于优化架构提升访问性能和数据共享能力的方法，其特征在于，包括如下步骤：
1)、通过OTG或其他高级数据库复制技术来建设只读库，初步分析业务与数据关系，分区、分类控制只读库数据同步频率，并基于现有应用进行对比测试及性能论证；
2)、数据写方面：根据业务特性定义数据转移的范围和频次，适当地牺牲实时性来换取读取性能，同时引入ETL过程和相关机制提高数据写性能；
3)、数据读方面：研究HANA内存数据库技术、Hadoop分布式技术架构技术，融入GIS平台以提升数据读取性能；
4)、读写分离验证工作包含数据同步的时效和同步过程对主库性能影响情况。
2.如权利要求1所述的方法，其特征在于，步骤4)中，
同步的时效的验证：在主库和同步库时间绝对一致的前提下，选取部分业务数据表增加一个时间戳字段，该字段为数据写入自动读取当前时间戳作为标记，且不通过同步工具或者ETL同步该字段内容；通过对比主库和同步库同一条记录的时间差判断出同步时效指标。
3.如权利要求1所述的方法，其特征在于，步骤4)中，同步过程对主库性能影响验证：在主库和同步库同时部署NMON主机性能指标采集；每分钟采集一次，形成同步前和同步后的数据对比；主要关注带宽使用率、I/O使用率、内存使用率、CPU使用率指标。
4.如权利要求1所述的方法，其特征在于，步骤4)中，预期结果：在千兆网络环境下，所述数据同步时效指标必须达到100毫秒以内，所述同步过程中对主从两端主机综合性能指标影响低于20％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810089016.2A CN110059133A (zh) | 2018-01-30 | 2018-01-30 | 一种基于优化架构提升访问性能和数据共享能力的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810089016.2A CN110059133A (zh) | 2018-01-30 | 2018-01-30 | 一种基于优化架构提升访问性能和数据共享能力的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110059133A true CN110059133A (zh) | 2019-07-26 |
Family
ID=67315312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810089016.2A Pending CN110059133A (zh) | 2018-01-30 | 2018-01-30 | 一种基于优化架构提升访问性能和数据共享能力的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059133A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622427A (zh) * | 2012-02-27 | 2012-08-01 | 杭州闪亮科技有限公司 | 读写分离数据库的方法及系统 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
-
2018
- 2018-01-30 CN CN201810089016.2A patent/CN110059133A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622427A (zh) * | 2012-02-27 | 2012-08-01 | 杭州闪亮科技有限公司 | 读写分离数据库的方法及系统 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈慧 等: "电网营销系统升级改造中的性能优化研究", 《现代国企研究》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111897863B (zh) | 多源异构数据融合汇聚方法 | |
| CN104599032A (zh) | 一种面向资源管理的分布式内存电网构建方法及系统 | |
| CN111460024A (zh) | 基于Elasticsearch的实时业务系统 | |
| CN101937435B (zh) | 面向电力系统的分布式实时数据库在线同步方法 | |
| CN104598610A (zh) | 一种分步式数据库数据分发上传同步方法 | |
| CN104573100A (zh) | 一种带自增量标识的分步式数据库同步方法 | |
| CN102752372A (zh) | 一种基于文件的数据库同步方法 | |
| CN102262563B (zh) | 调度子系统数据交互及建模的方法 | |
| CN106126601A (zh) | 一种社保大数据分布式预处理方法及系统 | |
| CN109471861A (zh) | 一种基于MySql的数据分布式储存系统 | |
| CN103399888B (zh) | 电网模型数据的差分同步方法及系统 | |
| CN104298726A (zh) | 一种基于数据库的bms数据存储系统及其方法 | |
| CN106156318A (zh) | 一种实现多节点数据库高可用的系统及方法 | |
| CN113986873A (zh) | 一种海量物联网数据模型化的处理、存储与共享方法 | |
| CN105912691A (zh) | 基于分布式存储的电网模型多版本多租户管理系统和方法 | |
| CN103825930A (zh) | 一种分布式环境下的实时数据同步方法 | |
| CN105677915A (zh) | 一种基于引擎的分布式业务数据存取方法 | |
| CN109657000B (zh) | 一种轨道交通综合监控系统的实时数据同步方法及装置 | |
| CN103441988B (zh) | 跨gis平台数据迁移方法 | |
| KR101191832B1 (ko) | 네트워크 패킷 분석을 통한 데이터베이스 복제 방법 및 시스템 | |
| CN102622415A (zh) | 一种用于多平台的电能质量监测数据同步传输方法 | |
| CN110059133A (zh) | 一种基于优化架构提升访问性能和数据共享能力的方法 | |
| CN102413154B (zh) | 一种系统之间数据信息同步的方法及装置 | |
| CN108920728B (zh) | 数据路由方法、数据路由网络及其数据访问方法、系统 | |
| CN115827777A (zh) | 一种多数据源的自适应同步与差异识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 225009 Weiyang Road, Jiangsu, China, No. 179, No. Applicant after: YANGZHOU POWER SUPPLY BRANCH OF STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. Applicant after: XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY Co.,Ltd. Applicant after: STATE GRID CORPORATION OF CHINA Address before: 225009 Weiyang Road, Jiangsu, China, No. 179, No. Applicant before: YANGZHOU POWER SUPPLY BRANCH OF STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. Applicant before: XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY Co.,Ltd. Applicant before: State Grid Corporation of China |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |