CN113485975A - 一种电网数据的日志管理系统及方法 - Google Patents

一种电网数据的日志管理系统及方法 Download PDF

Info

Publication number
CN113485975A
CN113485975A CN202110821427.8A CN202110821427A CN113485975A CN 113485975 A CN113485975 A CN 113485975A CN 202110821427 A CN202110821427 A CN 202110821427A CN 113485975 A CN113485975 A CN 113485975A
Authority
CN
China
Prior art keywords
log
service
configuration information
centralized control
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110821427.8A
Other languages
English (en)
Inventor
梁志博
化高峰
马世林
冯凯滨
王浩
胡道栋
易甜甜
陈无难
余勇
张玉垒
李民
朱俊瑞
李燕
崔丽艳
张亚萍
徐怡山
杨晓楠
张卫华
郝宁飞
王志轩
杨明伟
周昊
李建
王世奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI XJ ELECTRIC CO Ltd
Xuji Group Co Ltd
XJ Electric Co Ltd
Xuchang XJ Software Technology Co Ltd
Original Assignee
SHANGHAI XJ ELECTRIC CO Ltd
Xuji Group Co Ltd
XJ Electric Co Ltd
Xuchang XJ Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI XJ ELECTRIC CO Ltd, Xuji Group Co Ltd, XJ Electric Co Ltd, Xuchang XJ Software Technology Co Ltd filed Critical SHANGHAI XJ ELECTRIC CO Ltd
Priority to CN202110821427.8A priority Critical patent/CN113485975A/zh
Publication of CN113485975A publication Critical patent/CN113485975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs

Abstract

本发明涉及一种电网数据的日志管理系统及方法，通过利用日志配置模块对集控系统中所有服务的日志配置信息通过界面统一进行录入，并自动生成日志配置文件分发到指定位置，提高了录入效率，减少出错的可能性；配置人员可以集中注意力到配置内容，而不用关心配置文件的格式和存放位置。并且通过日志管理模块可以实现在任意一台工作站进行整个集控系统中服务的日志文件的管理操作，极大的减少了问题排查工作难度，进一步提高了运维效率。

Description

一种电网数据的日志管理系统及方法
技术领域
本发明涉及电网集中控制系统中的系统运行维护管理技术领域，尤其涉及一种电网数据的日志管理系统及方法。
背景技术
随着科技的发展进步，电网规模也迅速壮大，对智能化电网集控站管理提出越来越高的要求，集控站系统中各模块的正常运行依赖于底层服务的正常运行，底层服务的正常运行及运维管理离不开各服务模块的日志管理系统。集控站系统部署的底层服务运行日志对整个集控系统健康、稳定运行至关重要，另外出现异常问题后问题的排查也依赖于各服务的运行日志，所以运维过程中各个服务的日志生成及管理是集控站系统运维管理的关键技术之一，目前各个底层服务的日志配置需要专业的技术人员进行人工配置，且需要每个服务单独配置，工作量大，非常容易出错；另外，各服务单独配置日志配置文件存下严重的缺陷：如果多个模块存在相互加载，且某个模块中日志系统初始化不当时，会造成某个服务模块的日志无法产生的问题，而各个服务模块的相互调用在集控站系统中是不可避免的。
随着集控站系统功能的增加，相应依赖的服务也逐渐增多，日志配置管理及运维工作量激增，因此亟需一种能够对集控站系统进行日志配置和管理的方法及工具，以减少工作人员的配置难度及运维工作量，降低排查问题的难度。
发明内容
基于现有技术的上述情况，本发明的目的在于提供一种电网数据的日志管理系统及方法，解决了目前集控站系统中所有服务的日志配置复杂且工作量大、个别服务相互加载导致的日志无法生成、不同服务器不同服务的日志文件管理操作复杂、对技术人员技术水平要求高的问题，同时解决了系统运维过程中对底层服务的日志配置、日志管理(浏览、备份、删除)分散化的问题。
为达到上述目的，根据本发明的一个方面，提供了一种电网数据的日志管理系统，该系统包括数据中心、工作站、以及若干个集控系统服务器；其中，
各个集控系统服务器包括运维过程中需要生成日志的若干个服务；
所述工作站对各集控系统服务器中各服务的日志配置信息进行配置并将该日志配置信息保存至数据中心；
每个所述集中控制系统服务器包括日志配置文件自动生成模块，其根据数据中心保存的日志配置信息自动生成服务日志文件并分发至指定位置。
进一步的，所述工作站包括日志配置模块和日志管理模块；
所述日志配置模块对各集控系统服务器中各服务的日志配置信息进行配置并生成日志配置文件；
所述日志管理模块用于对已经生成的服务日志文件进行日志管理操作。
进一步的，所述日志配置信息包括服务名称、Loggername、日志级别、日志滚动方式、日志滚动周期或大小、日志滚动次数以及日志格式。
进一步的，同一个服务支持多个Loggername的配置。
进一步的，所述日志管理操作包括日志浏览、日志备份和日志删除。
进一步的，所述日志配置模块还用于修改已经配置的日志配置信息并重新生成日志配置文件。
进一步的，所述数据中心包括key/value存储数据库、以及若干个consul服务器；
所述key/value存储数据库用于保存配置后的日志配置信息。
根据本发明的另一个方面，提供了一种电网数据的日志管理系统的管理方法，该系统为如本发明第一个方面所述的系统，包括步骤：
工作站中的日志配置模块对各集控系统服务器中各服务的日志配置信息进行配置，并将该日志配置信息保存至数据中心；
集中控制系统服务器中的日志配置文件自动生成模块，根据该数据中心保存的日志配置信息自动生成服务日志文件并分发至指定位置。
进一步的，所述服务包括各个集控系统服务器运维过程中需要生成日志的若干个服务。
进一步的，所述日志配置信息包括服务名称、Loggername、日志级别、日志滚动方式、日志滚动周期或大小、日志滚动次数以及日志格式。
综上所述，本发明提供了一种电网数据的日志管理系统及方法，通过利用日志配置模块对集控系统中所有服务的日志配置信息通过界面统一进行录入，并自动生成日志配置文件分发到指定位置，提高了录入效率，减少出错的可能性；配置人员可以集中注意力到配置内容，而不用关心配置文件的格式和存放位置。并且通过日志管理模块可以实现在任意一台工作站进行整个集控系统中服务的日志文件的管理操作，极大的减少了问题排查工作难度，进一步提高了运维效率。
附图说明
图1是本发明电网数据的日志管理系统的构成框图；
图2是日志配置文件自动生成模块的构成框图；
图3是日志配置模块的构成框图；
图4是日志管理模块的构成框图；
图5是本发明电网数据的日志管理方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
对本发明中出现的一些名词进行解释。
Consul：consul是一个分布式高可用的开源项目，可以为基础设施提供服务注册和key/value存储服务。
key/value存储数据库：是一种NoSQL(非关系型数据库)模型，其数据按照键值对的形式进行组织、索引和存储。
Consul_template：是基于consul的模板服务，能够配合模板文件及consul中的配置信息自动生成相应的文件。
节点：指运行服务的服务器或工作站。
日志配置文件：指存放系统服务运行过程中产生日志信息的配置文件。
下面对结合附图对本发明的技术方案进行详细说明。根据本发明的一个实施例，提供了一种电网数据的日志管理系统，该系统的构成框图如图1所示，该系统包括数据中心、工作站、以及若干个集控系统服务器。
所述数据中心包括key/value存储数据库、以及若干个consul服务器。在该日志管理系统中部署consul数据中心，数据中心包括若干个consul服务器，在本实施例中例如使用3个consul服务器的集群，并且consul集群服务器可以与集控系统服务器共用。
各个集控系统服务器包括运维过程中需要生成日志的若干个服务。每个所述集中控制系统服务器包括日志配置文件自动生成模块，其根据数据中心保存的日志配置文件自动生成服务日志文件并分发至指定位置。在每台需要自动生成日志配置文件的集控系统服务器上部署日志配置文件自动生成模块，该日志配置文件自动生成模块的构成框图如图2所示，该模块是基于consul Template开发的。用于当服务的日志配置信息发生变化时，相应的日志配置文件能够自动重新生成，避免了手动修改日志配置文件，极大的减少了日志运维工作量，提高了运维工作效率，同时可以提高系统的可靠性。其中，consul Template提供了一个方便的方式从consul获取数据，通过consul-template的后台程序，根据模板文件和数据中心中的日志配置信息，生成相应的日志配置文件。
所述工作站对各集控系统服务器中各服务的日志配置信息进行配置将配置信息保存至数据中心。所述工作站包括日志配置模块和日志管理模块，所述日志配置模块对各集控系统服务器中各服务的日志配置信息进行配置并生成日志配置文件。日志配置模块的构成框图如图3所示，其中，所述日志配置信息包括服务名称、Loggername、日志级别、日志滚动方式、日志滚动周期或大小、日志滚动次数以及日志格式，其中，Loggername是log4cxx中的日志记录器名称，同一个服务支持多个Loggername的配置。所述日志配置模块还用于修改已经配置的日志配置信息并重新生成日志配置文件。日志配置文件存入consul数据中心的key/value存储数据库后，日志配置文件自动生成模块(所有服务器)监视到value值发生变化，触发日志配置文件自动重新生成，产生服务日志配置文件并自动分发到指定位置；所有服务的日志文件目前已经可以正常生成。所述日志管理模块用于对已经生成的服务日志文件进行日志管理操作。所述日志管理操作包括日志浏览、日志备份和日志删除。日志管理模块可以实现对整个集控系统中所有服务器上的所有服务的日志文件进行高效的管理，目前主要能够进行日志浏览、日志备份、日志删除等操作。系统运行过程中可以通过日志配置模块修改服务的日志配置信息，修改保存后，相应的日志配置文件会自动重新生成。该日志管理模块的构成框图如图4所示。
根据本发明的另一个实施例，提供了一种电网数据的日志管理系统的管理方法，该系统为如本发明第一个实施例所述的系统，该方法的流程图如图5所示，该方法包括如下步骤：
工作站中的日志配置模块各服务的日志配置信息进行配置并将配置信息保存至数据中心。
集中控制系统服务器中的日志配置文件自动生成模块，根据该数据中心保存的日志配置信息自动生成服务日志文件并分发至指定位置。
其中，所述服务包括各个集控系统服务器运维过程中需要生成日志的若干个服务。所述日志配置信息包括服务名称、Loggername、日志级别、日志滚动方式、日志滚动周期或大小、日志滚动次数以及日志格式。
综上所述，本发明涉及一种电网数据的日志管理系统及方法，与现有技术集控系统中服务的日志管理方法相比，首先，本发明提供的系统及方法利用日志配置模块对集控系统中所有服务的日志配置信息通过界面统一进行录入，日志配置信息录入后相应的日志配置文件可以自动生成并分发到指定位置，通过界面进行配置信息的录入可以提高工作效率，减少出错的可能性，另外配置人员可以集中注意力到配置内容，而不用关心配置文件的格式和存放位置。集控系统所需的服务大约为120个左右(集群运行)，每个服务都有日志配置文件，修改配置文件工作量大，易出错。通过界面统一进行配置并自动生成分发配置文件可以很好的解决上述问题并大幅减少工作量，提高工作效率。其次，系统运行过程难免需要对某个服务的日志文件进行分析和管理，传统做法是首先远程到相应服务器，其次针对某个服务查找其日志文件存放路径，然后进行日志文件查询，此方法操作麻烦、不易于归档，易出错。该方法中通过日志管理模块可以实现在任意一台工作站进行整个集控系统中服务的日志文件的管理操作，极大的减少了问题排查工作难度。提高了运维效率。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种电网数据的日志管理系统，其特征在于，该系统包括数据中心、工作站、以及若干个集控系统服务器；其中，
各个集控系统服务器包括运维过程中需要生成日志的若干个服务；
所述工作站对各集控系统服务器中各服务的日志配置信息进行配置并将该日志配置信息保存至数据中心；
每个所述集中控制系统服务器包括日志配置文件自动生成模块，其根据数据中心保存的日志配置信息自动生成服务日志文件并分发至指定位置。
2.根据权利要求1所述的系统，其特征在于，所述工作站包括日志配置模块和日志管理模块；
所述日志配置模块对各集控系统服务器中各服务的日志配置信息进行配置并生成日志配置文件；
所述日志管理模块用于对已经生成的服务日志文件进行日志管理操作。
3.根据权利要求2所述的系统，其特征在于，所述日志配置信息包括服务名称、Loggername、日志级别、日志滚动方式、日志滚动周期或大小、日志滚动次数以及日志格式。
4.根据权利要求3所述的系统，其特征在于，同一个服务支持多个Loggername的配置。
5.根据权利要求4所述的系统，其特征在于，所述日志管理操作包括日志浏览、日志备份和日志删除。
6.根据权利要求5所述的系统，其特征在于，所述日志配置模块还用于修改已经配置的日志配置信息并重新生成日志配置文件。
7.根据权利要求1所述的系统，其特征在于，所述数据中心包括key/value存储数据库、以及若干个consul服务器；
所述key/value存储数据库用于保存配置后的日志配置信息。
8.一种电网数据的日志管理系统的管理方法，该系统为如权利要求1-7中任意一项所述的系统，其特征在于，包括步骤：
工作站中的日志配置模块对各集控系统服务器中各服务的日志配置信息进行配置，并将该日志配置信息保存至数据中心；
集中控制系统服务器中的日志配置文件自动生成模块，根据该数据中心保存的日志配置信息自动生成服务日志文件并分发至指定位置。
9.根据权利要求8所述的方法，其特征在于，所述服务包括各个集控系统服务器运维过程中需要生成日志的若干个服务。
10.根据权利要求9所述的方法，其特征在于，所述日志配置信息包括服务名称、Loggername、日志级别、日志滚动方式、日志滚动周期或大小、日志滚动次数以及日志格式。
CN202110821427.8A 2021-07-20 2021-07-20 一种电网数据的日志管理系统及方法 Pending CN113485975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110821427.8A CN113485975A (zh) 2021-07-20 2021-07-20 一种电网数据的日志管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110821427.8A CN113485975A (zh) 2021-07-20 2021-07-20 一种电网数据的日志管理系统及方法

Publications (1)

Publication Number Publication Date
CN113485975A true CN113485975A (zh) 2021-10-08

Family

ID=77942573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110821427.8A Pending CN113485975A (zh) 2021-07-20 2021-07-20 一种电网数据的日志管理系统及方法

Country Status (1)

Country Link
CN (1) CN113485975A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475535A (zh) * 2013-08-23 2013-12-25 汉柏科技有限公司 云计算服务器日志管理系统
CN110780857A (zh) * 2019-10-23 2020-02-11 杭州涂鸦信息技术有限公司 一种统一日志组件
CN112328320A (zh) * 2020-10-14 2021-02-05 许继集团有限公司 一种基于consul的电网调度系统配置管理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475535A (zh) * 2013-08-23 2013-12-25 汉柏科技有限公司 云计算服务器日志管理系统
CN110780857A (zh) * 2019-10-23 2020-02-11 杭州涂鸦信息技术有限公司 一种统一日志组件
CN112328320A (zh) * 2020-10-14 2021-02-05 许继集团有限公司 一种基于consul的电网调度系统配置管理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柯小琳: "集控站自动化系统研究", 山东电力技术, no. 01, 25 January 2003 (2003-01-25), pages 4 *

Similar Documents

Publication Publication Date Title
CN109656911A (zh) 分布式并行处理数据库系统及其数据处理方法
CN106878363A (zh) 一种信息处理方法、装置及系统
CN113595761A (zh) 电力系统信息通信一体化调度平台的微服务组件优化方法
CN106648771B (zh) 一种Openstack云平台自定义部署系统及部署方法
CN108829545B (zh) 一种实现分布式数据库备份的方法
CN108848132A (zh) 一种基于云的配电调度主站系统
CN105653401A (zh) 应用系统灾备、运维、监控和应急启停调度方法及装置
CN107506381A (zh) 一种大数据分布式调度分析方法、系统装置及存储介质
CN111930716A (zh) 一种数据库扩容方法、装置及系统
CN112328320B (zh) 一种基于consul的电网调度系统配置管理装置
CN101937334A (zh) 计算支持方法及系统
CN107016050B (zh) 数据处理方法及装置
CN115080533A (zh) 基于大数据用于数据交换与共享的中台系统
CN113485975A (zh) 一种电网数据的日志管理系统及方法
CN104378239A (zh) 基于集群框架的快速可靠性指标统计系统及方法
CN112783892A (zh) 一种通过事件驱动模型实现的链式任务执行引擎
CN114579364A (zh) 一种基于混合云的云原生数据库备份方法
CN113742030A (zh) 跨区服务配置方法、装置和存储介质
CN109840184B (zh) 电网设备投运展示的调度方法、系统及设备
CN112614017A (zh) 停电信息管理系统、停电信息管理方法及存储介质
CN113282484B (zh) 基于自动和手动两种模式下的模型方式匹配校验方法及装置
CN116996513B (zh) 一种设备资产管理系统的资源调度方法
CN111143280B (zh) 一种数据调度方法、系统、装置及存储介质
CN111666338B (zh) 数据复制方法、控制节点及电子设备
CN115328624A (zh) 基于配置的触发式任务调度装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination