CN113344738A - 一种适用于数据密集型监控的访问管理方法和系统 - Google Patents

一种适用于数据密集型监控的访问管理方法和系统 Download PDF

Info

Publication number
CN113344738A
CN113344738A CN202110644679.8A CN202110644679A CN113344738A CN 113344738 A CN113344738 A CN 113344738A CN 202110644679 A CN202110644679 A CN 202110644679A CN 113344738 A CN113344738 A CN 113344738A
Authority
CN
China
Prior art keywords
data
access
terminal
unit department
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110644679.8A
Other languages
English (en)
Other versions
CN113344738B (zh
Inventor
李晓磊
朱晶然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinzhou Power Supply Bureau of Guangxi Power Grid Co Ltd
Original Assignee
Beijing Jiuhe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiuhe Technology Co ltd filed Critical Beijing Jiuhe Technology Co ltd
Priority to CN202110644679.8A priority Critical patent/CN113344738B/zh
Publication of CN113344738A publication Critical patent/CN113344738A/zh
Application granted granted Critical
Publication of CN113344738B publication Critical patent/CN113344738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提出了一种适用于数据密集型监控的访问管理方法和系统，所述方法包括：所述电力监控系统将采集到的电力监控数据发送至数据管理终端；利用与各单位部门对应的单位部门终端向所述数据管理终端发送访问请求；所述数据管理终端在接收到所述单位部门终端发送的数据访问请求时，指示所述单位部门终端进行登录名和密码的身份验证；所述单位部门终端通过身份验证之后，向数据管理终端访问、查询和调取所需数据；所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据。所述系统包括与所述方法步骤对应的模块。

Description

一种适用于数据密集型监控的访问管理方法和系统
技术领域
本发明提出了一种适用于数据密集型监控的访问管理方法和系统，属于数据访问技术领域。
背景技术
电力系统是由发电厂、送变电线路、供配电所和用电等环节组成的电能生产与消费系统。它的功能是将自然界的一次能源通过发电动力装置转化成电能，再经输电、变电和配电将电能供应到各用户。为实现这一功能，电力系统在各个环节和不同层次还具有相应的信息与控制系统，对电能的生产过程进行测量、调节、控制、保护、通信和调度，以保证用户获得安全、优质的电能。由于电力系统工作所接入的设备非常多，所以导致其产生大量的数据，在数据调取过程中，常存在多个部门单位同时进行数据调用或密集进行数据调用导致数据存储效率降低的问题发生。
发明内容
本发明提供了一种适用于数据密集型监控的访问管理方法和系统，用以解决防止多个部门单位同时进行数据调用或密集进行数据调用，数据管理终端由于数据吞吐量过大而造成的数据存储效率降低的问题：
一种适用于数据密集型监控的管理方法，所述方法包括：
所述电力监控系统将采集到的电力监控数据发送至数据管理终端，其中，所述数据管理终端进行数据存储过程中，对每个数据均标注其对应的数据生成时间；
电力监控的各单位部门需要访问数据管理终端时，利用与各单位部门对应的单位部门终端向所述数据管理终端发送访问请求；
所述数据管理终端在接收到所述单位部门终端发送的数据访问请求时，指示所述单位部门终端进行登录名和密码的身份验证；
所述单位部门终端通过身份验证之后，向数据管理终端访问、查询和调取所需数据；
所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据；
将所述预备数据发送至与所述单位部门终端对应的数据缓存模块，所述单位部门终端后续在规定时间内进行的数据访问、查询和调用操作直接与所述数据缓存模块进行对接操作。
进一步地，所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据，包括：
所述数据管理终端在与所述单位部门终端进行身份验证时，设置当前此次单位部门终端进行数据访问的访问时间段；
所述单位部门终端对所述数据管理终端的数据进行访问时，所述数据管理终端实时监控单位部门终端的数据采集，并记录在访问时间段内的数据访问、查询和调取的频率和次数；通过数据访问、查询和调取的频率和次数获取数据访问指标：并将所述数据访问指标与预先设置的指标阈值进行比较；
当所述数据访问指标超过预先设置的指标阈值时，向所述单位部门终端发出“是否继续进行数据访问”的提示，如果所述单位部门终端选择为继续进行数据访问，则根据所述单位部门终端根据所述单位部门终端进行数据访问、查询和调取的数据类型和数据生成时间，获取预备数据。
进一步地，所述数据管理终端在与所述单位部门终端进行身份验证时，设置当前此次单位部门终端进行数据访问的访问时间段，包括：
所述数据管理终端在与所述单位部门终端进行身份验证时，调取所述单位部门中的历史数据访问记录，并记录历史数据访问记录中显示的时间信息；
利用所述时间信息设置当前此次单位部门终端进行数据访问的访问时间段。
进一步地，所述访问时间段通过如下公式获取：
Figure BDA0003108671180000021
Figure BDA0003108671180000022
其中，Tg表示时间信息变化量对应的时间指标；Tzi表示第i次所述单位部门终端进行数据访问所用的访问总时长；n表示单位部门终端进行数据访问所用的访问总次数；Tzmax表示所述单位部门终端进行数据访问所用的访问总时长的最大值；Tzmin表示所述单位部门终端进行数据访问所用的访问总时长的最小值；T0表示预先设置的访问时间段基础时长。
进一步地，所述数据访问指标通过如下公式获取：
Figure BDA0003108671180000023
其中，H表示数据访问指标，F表示所述单位部门终端进行数据访问的频率、数据查询的频率和数据调取的频率的总和；Fmax表示所述单位部门终端进行数据访问的频率、数据查询的频率和数据调取的频率中的频率最大值；Fmin表示所述单位部门终端进行数据访问的频率、数据查询的频率和数据调取的频率中的频率最小值；C表示所述单位部门终端进行数据访问的次数、数据查询的次数和数据调取的次数的总和；Cmax表示所述单位部门终端进行数据访问的次数、数据查询的次数和数据调取的次数中的次数最大值；Cmin表示所述单位部门终端进行数据访问的次数、数据查询的次数和数据调取的次数中的次数最小值。
进一步地，根据所述单位部门终端根据所述单位部门终端进行数据访问、查询和调取的数据类型和数据生成时间，获取预备数据，包括：
根据所述单位部门终端当前进行数据访问、查询和调取的数据生成时间，获取一个或多个数据生成时间范围：
根据所述单位部门终端当前进行数据访问、查询和调取的数据类型，获取在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据，并将所述在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据作为预备数据。
进一步地，所述数据生成时间范围的获取包括：
所述单位部门终端当前进行将数据访问、查询和调取的数据生产时间之间的时间间隔不超过3天的数据作为一个数据簇，根据单位部门终端当前的数据访问、查询和调取情况，获得多个数据簇；
获取每个数据簇的最早数据生成时间和最晚数据生成时间；
通过如下公式设置数据生成时间延展期对应的时间段：
Figure BDA0003108671180000031
其中，Ty表示数据生成时间延展期对应的时间段；Tamax表示每个数据簇中，各数据的数据生成时间之间的时间间隔的天数最大值；Tamin表示每个数据簇中，各数据的数据生成时间之间的时间间隔的天数最小值；Tc表示每个数据簇中，除去时间间隔的天数最小值和天数最大值之后，剩余的各数据的数据生成时间之间的时间间隔的天数值；Tci表示每个数据簇内，除去时间间隔的天数最小值和天数最大值之后，剩余的各数据中，第i+1个数据与第i个数据之间的时间间隔对应的天数；k表示每个数据簇内，除去时间间隔的天数最小值和天数最大值之后，剩余的数据的个数；
将每个数据簇最早数据生产时间向前延长数据生成时间延展期对应的时间段，获得数据生成时间范围的起始时间点；
将每个数据簇最晚数据生产时间向后延长数据生成时间延展期对应的时间段，获得数据生成时间范围的终止时间点。
一种适用于数据密集型监控的访问管理系统，所述系统包括：
数据发送模块，用于所述电力监控系统将采集到的电力监控数据发送至数据管理终端，其中，所述数据管理终端进行数据存储过程中，对每个数据均标注其对应的数据生成时间；
请求发送模块，用于电力监控的各单位部门需要访问数据管理终端时，利用与各单位部门对应的单位部门终端向所述数据管理终端发送访问请求；
指示模块，用于所述数据管理终端在接收到所述单位部门终端发送的数据访问请求时，指示所述单位部门终端进行登录名和密码的身份验证；
数据查询访问模块，用于所述单位部门终端通过身份验证之后，向数据管理终端访问、查询和调取所需数据；
预备数据模块，用于所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据；
缓存发送模块，用于将所述预备数据发送至与所述单位部门终端对应的数据缓存模块，所述单位部门终端后续在规定时间内进行的数据访问、查询和调用操作直接与所述数据缓存模块进行对接操作。
进一步地，所述预备数据模块包括：
设置模块，用于所述数据管理终端在与所述单位部门终端进行身份验证时，设置当前此次单位部门终端进行数据访问的访问时间段；
比较模块，用于所述单位部门终端对所述数据管理终端的数据进行访问时，所述数据管理终端实时监控单位部门终端的数据采集，并记录在访问时间段内的数据访问、查询和调取的频率和次数；通过数据访问、查询和调取的频率和次数获取数据访问指标：并将所述数据访问指标与预先设置的指标阈值进行比较；
获取模块，用于当所述数据访问指标超过预先设置的指标阈值时，向所述单位部门终端发出“是否继续进行数据访问”的提示，如果所述单位部门终端选择为继续进行数据访问，则根据所述单位部门终端根据所述单位部门终端进行数据访问、查询和调取的数据类型和数据生成时间，获取预备数据。
进一步地，所述设置模块包括：
调取模块，用于所述数据管理终端在与所述单位部门终端进行身份验证时，调取所述单位部门中的历史数据访问记录，并记录历史数据访问记录中显示的时间信息；
访问时间段获取模块，用于利用所述时间信息设置当前此次单位部门终端进行数据访问的访问时间段。
所述获取模块包括：
时间范围获取模块，用于根据所述单位部门终端当前进行数据访问、查询和调取的数据生成时间，获取一个或多个数据生成时间范围：
预备数据生成模块，用于根据所述单位部门终端当前进行数据访问、查询和调取的数据类型，获取在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据，并将所述在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据作为预备数据。
本发明有益效果：
本发明提出的一种适用于数据密集型监控的访问管理方法和系统能够在大数据电力监控系统的数据管理终端进行高频率和大数据量的数据访问和调取过程中，有效降低数据管理终端与单位部门终端之间的数据交互率，从而有效降低大数据电力监控系统的资源占用量和对外信息交互过程中的资源及信道占用量，有效提高大数据电力监控系统运行过程中的资源节省率。
附图说明
图1为本发明所述方法的流程图；
图2为本发明所述系统的系统框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提出一种适用于数据密集型监控的管理方法，如图1所示，所述方法包括：
S1、所述电力监控系统将采集到的电力监控数据发送至数据管理终端，其中，所述数据管理终端进行数据存储过程中，对每个数据均标注其对应的数据生成时间；
S2、电力监控的各单位部门需要访问数据管理终端时，利用与各单位部门对应的单位部门终端向所述数据管理终端发送访问请求；
S3、所述数据管理终端在接收到所述单位部门终端发送的数据访问请求时，指示所述单位部门终端进行登录名和密码的身份验证；
S4、所述单位部门终端通过身份验证之后，向数据管理终端访问、查询和调取所需数据；
S5、所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据；
S6、将所述预备数据发送至与所述单位部门终端对应的数据缓存模块，所述单位部门终端后续在规定时间内进行的数据访问、查询和调用操作直接与所述数据缓存模块进行对接操作。
上述技术方案的效果为：能够在大数据电力监控系统的数据管理终端进行高频率和大数据量的数据访问和调取过程中，有效降低数据管理终端与单位部门终端之间的数据交互率，从而有效降低大数据电力监控系统的资源占用量和对外信息交互过程中的资源及信道占用量，有效提高大数据电力监控系统运行过程中的资源节省率。
本发明的一个实施例，所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据，包括：
S501、所述数据管理终端在与所述单位部门终端进行身份验证时，设置当前此次单位部门终端进行数据访问的访问时间段；
S502、所述单位部门终端对所述数据管理终端的数据进行访问时，所述数据管理终端实时监控单位部门终端的数据采集，并记录在访问时间段内的数据访问、查询和调取的频率和次数；通过数据访问、查询和调取的频率和次数获取数据访问指标：并将所述数据访问指标与预先设置的指标阈值进行比较；
S503、当所述数据访问指标超过预先设置的指标阈值时，向所述单位部门终端发出“是否继续进行数据访问”的提示，如果所述单位部门终端选择为继续进行数据访问，则根据所述单位部门终端根据所述单位部门终端进行数据访问、查询和调取的数据类型和数据生成时间，获取预备数据。
其中，所述数据管理终端在与所述单位部门终端进行身份验证时，设置当前此次单位部门终端进行数据访问的访问时间段，包括：
S5011、所述数据管理终端在与所述单位部门终端进行身份验证时，调取所述单位部门中的历史数据访问记录，并记录历史数据访问记录中显示的时间信息；
S5012、利用所述时间信息设置当前此次单位部门终端进行数据访问的访问时间段。
上述技术方案的效果为：通过上述方式能够有效获取预备数据，使预备数据基本上能够满足单位部门终端的数据需求，有效提高预备数据与单位部门终端所需数据的匹配度。当单位部门终端后续需要调取的数据不再预备数据中，则所述数据缓存模块，直接将单位部门终端需要调取的数据信息要求发送至数据管理终端，重现建立数据管理终端与单位部门终端之间的数据连接，并根据新调取的数据重新获取预备数据。通过这种方式能够通过预备数据的更新进一步提高预备数据包与单位部门终端所需数据的匹配度。
本发明的一个实施例，所述访问时间段通过如下公式获取：
Figure BDA0003108671180000071
Figure BDA0003108671180000072
其中，Tg表示时间信息变化量对应的时间指标；Tzi表示第i次所述单位部门终端进行数据访问所用的访问总时长；n表示单位部门终端进行数据访问所用的访问总次数；Tzmax表示所述单位部门终端进行数据访问所用的访问总时长的最大值；Tzmin表示所述单位部门终端进行数据访问所用的访问总时长的最小值；T0表示预先设置的访问时间段基础时长。
上述技术方案的效果为：通过上述公式获取的访问时间段能够提供足够的时间针对单位部门终端的数据访问、查询和调用数据实际情况的要素进行采集，提高后续数据访问指标和数据生成时间延展期对应的时间段设置的准确率，进而提高获取的预备数据与所述单位部门终端所需数据的匹配度。
本发明的一个实施例，所述数据访问指标通过如下公式获取：
Figure BDA0003108671180000073
其中，H表示数据访问指标，F表示所述单位部门终端进行数据访问的频率、数据查询的频率和数据调取的频率的总和；Fmax表示所述单位部门终端进行数据访问的频率、数据查询的频率和数据调取的频率中的频率最大值；Fmin表示所述单位部门终端进行数据访问的频率、数据查询的频率和数据调取的频率中的频率最小值；C表示所述单位部门终端进行数据访问的次数、数据查询的次数和数据调取的次数的总和；Cmax表示所述单位部门终端进行数据访问的次数、数据查询的次数和数据调取的次数中的次数最大值；Cmin表示所述单位部门终端进行数据访问的次数、数据查询的次数和数据调取的次数中的次数最小值。
上述技术方案的效果为：通过上述公式获取的数据访问指标能够准确体现单位部门终端对数据访问、查询及调用的真实需求，进而能够提高是否进行预备数据获取判断的准确率。
本发明的一个实施例，根据所述单位部门终端根据所述单位部门终端进行数据访问、查询和调取的数据类型和数据生成时间，获取预备数据，包括：
S5031、根据所述单位部门终端当前进行数据访问、查询和调取的数据生成时间，获取一个或多个数据生成时间范围：
S5032、根据所述单位部门终端当前进行数据访问、查询和调取的数据类型，获取在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据，并将所述在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据作为预备数据。
其中，所述数据生成时间范围的获取包括：
步骤1、所述单位部门终端当前进行将数据访问、查询和调取的数据生产时间之间的时间间隔不超过3天的数据作为一个数据簇，根据单位部门终端当前的数据访问、查询和调取情况，获得多个数据簇；
步骤2、获取每个数据簇的最早数据生成时间和最晚数据生成时间；
步骤3、通过如下公式设置数据生成时间延展期对应的时间段：
Figure BDA0003108671180000081
其中，Ty表示数据生成时间延展期对应的时间段；Tamax表示每个数据簇中，各数据的数据生成时间之间的时间间隔的天数最大值；Tamin表示每个数据簇中，各数据的数据生成时间之间的时间间隔的天数最小值；Tc表示每个数据簇中，除去时间间隔的天数最小值和天数最大值之后，剩余的各数据的数据生成时间之间的时间间隔的天数值；Tci表示每个数据簇内，除去时间间隔的天数最小值和天数最大值之后，剩余的各数据中，第i+1个数据与第i个数据之间的时间间隔对应的天数；k表示每个数据簇内，除去时间间隔的天数最小值和天数最大值之后，剩余的数据的个数；
步骤4、将每个数据簇最早数据生产时间向前延长数据生成时间延展期对应的时间段，获得数据生成时间范围的起始时间点；
步骤5、将每个数据簇最晚数据生产时间向后延长数据生成时间延展期对应的时间段，获得数据生成时间范围的终止时间点。
上述技术方案的效果为：通过上述方式获取的预备数据能够有效提高预备数据与单位部门终端数据需求的匹配度，并提高预备数据获取的效率，同时，通过上述公式获取的预备数据，能够有效结合单位部门终端所访问、查询和调用的数据的时间信息获取的延展期对应的时间段，能够提高确定预备数据的时间界限的准确性，极大程度上提高了预备数据与单位部门终端所需数据的匹配性，同时，能够有效减低预备数据重新确定获取的概率，进而进一步降低数据管理终端的资源使用率。
本发明实施例提出了一种适用于数据密集型监控的访问管理系统，如图2所示，所述系统包括：
数据发送模块，用于所述电力监控系统将采集到的电力监控数据发送至数据管理终端，其中，所述数据管理终端进行数据存储过程中，对每个数据均标注其对应的数据生成时间；
请求发送模块，用于电力监控的各单位部门需要访问数据管理终端时，利用与各单位部门对应的单位部门终端向所述数据管理终端发送访问请求；
指示模块，用于所述数据管理终端在接收到所述单位部门终端发送的数据访问请求时，指示所述单位部门终端进行登录名和密码的身份验证；
数据查询访问模块，用于所述单位部门终端通过身份验证之后，向数据管理终端访问、查询和调取所需数据；
预备数据模块，用于所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据；
缓存发送模块，用于将所述预备数据发送至与所述单位部门终端对应的数据缓存模块，所述单位部门终端后续在规定时间内进行的数据访问、查询和调用操作直接与所述数据缓存模块进行对接操作。
其中，所述预备数据模块包括：
设置模块，用于所述数据管理终端在与所述单位部门终端进行身份验证时，设置当前此次单位部门终端进行数据访问的访问时间段；
比较模块，用于所述单位部门终端对所述数据管理终端的数据进行访问时，所述数据管理终端实时监控单位部门终端的数据采集，并记录在访问时间段内的数据访问、查询和调取的频率和次数；通过数据访问、查询和调取的频率和次数获取数据访问指标：并将所述数据访问指标与预先设置的指标阈值进行比较；
获取模块，用于当所述数据访问指标超过预先设置的指标阈值时，向所述单位部门终端发出“是否继续进行数据访问”的提示，如果所述单位部门终端选择为继续进行数据访问，则根据所述单位部门终端根据所述单位部门终端进行数据访问、查询和调取的数据类型和数据生成时间，获取预备数据。
所述设置模块包括：
调取模块，用于所述数据管理终端在与所述单位部门终端进行身份验证时，调取所述单位部门中的历史数据访问记录，并记录历史数据访问记录中显示的时间信息；
访问时间段获取模块，用于利用所述时间信息设置当前此次单位部门终端进行数据访问的访问时间段。
所述获取模块包括：
时间范围获取模块，用于根据所述单位部门终端当前进行数据访问、查询和调取的数据生成时间，获取一个或多个数据生成时间范围：
预备数据生成模块，用于根据所述单位部门终端当前进行数据访问、查询和调取的数据类型，获取在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据，并将所述在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据作为预备数据。
上述技术方案的效果为：能够在大数据电力监控系统的数据管理终端进行高频率和大数据量的数据访问和调取过程中，有效降低数据管理终端与单位部门终端之间的数据交互率，从而有效降低大数据电力监控系统的资源占用量和对外信息交互过程中的资源及信道占用量，有效提高大数据电力监控系统运行过程中的资源节省率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种适用于数据密集型监控的管理方法，其特征在于，所述方法包括：
所述电力监控系统将采集到的电力监控数据发送至数据管理终端，其中，所述数据管理终端进行数据存储过程中，对每个数据均标注其对应的数据生成时间；
电力监控的各单位部门需要访问数据管理终端时，利用与各单位部门对应的单位部门终端向所述数据管理终端发送访问请求；
所述数据管理终端在接收到所述单位部门终端发送的数据访问请求时，指示所述单位部门终端进行登录名和密码的身份验证；
所述单位部门终端通过身份验证之后，向数据管理终端访问、查询和调取所需数据；
所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据；
将所述预备数据发送至与所述单位部门终端对应的数据缓存模块，所述单位部门终端后续在规定时间内进行的数据访问、查询和调用操作直接与所述数据缓存模块进行对接操作。
2.根据权利要求1所述方法，其特征在于，所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据，包括：
所述数据管理终端在与所述单位部门终端进行身份验证时，设置当前此次单位部门终端进行数据访问的访问时间段；
所述单位部门终端对所述数据管理终端的数据进行访问时，所述数据管理终端实时监控单位部门终端的数据采集，并记录在访问时间段内的数据访问、查询和调取的频率和次数；通过数据访问、查询和调取的频率和次数获取数据访问指标：并将所述数据访问指标与预先设置的指标阈值进行比较；
当所述数据访问指标超过预先设置的指标阈值时，向所述单位部门终端发出“是否继续进行数据访问”的提示，如果所述单位部门终端选择为继续进行数据访问，则根据所述单位部门终端根据所述单位部门终端进行数据访问、查询和调取的数据类型和数据生成时间，获取预备数据。
3.根据权利要求2所述方法，其特征在于，所述数据管理终端在与所述单位部门终端进行身份验证时，设置当前此次单位部门终端进行数据访问的访问时间段，包括：
所述数据管理终端在与所述单位部门终端进行身份验证时，调取所述单位部门中的历史数据访问记录，并记录历史数据访问记录中显示的时间信息；
利用所述时间信息设置当前此次单位部门终端进行数据访问的访问时间段。
4.根据权利要求2所述方法，其特征在于，所述访问时间段通过如下公式获取：
Figure FDA0003108671170000021
Figure FDA0003108671170000022
其中，Tg表示时间信息变化量对应的时间指标；Tzi表示第i次所述单位部门终端进行数据访问所用的访问总时长；n表示单位部门终端进行数据访问所用的访问总次数；Tzmax表示所述单位部门终端进行数据访问所用的访问总时长的最大值；Tzmin表示所述单位部门终端进行数据访问所用的访问总时长的最小值；T0表示预先设置的访问时间段基础时长。
5.根据权利要求2所述方法，其特征在于，所述数据访问指标通过如下公式获取：
Figure FDA0003108671170000023
其中，H表示数据访问指标，F表示所述单位部门终端进行数据访问的频率、数据查询的频率和数据调取的频率的总和；Fmax表示所述单位部门终端进行数据访问的频率、数据查询的频率和数据调取的频率中的频率最大值；Fmin表示所述单位部门终端进行数据访问的频率、数据查询的频率和数据调取的频率中的频率最小值；C表示所述单位部门终端进行数据访问的次数、数据查询的次数和数据调取的次数的总和；Cmax表示所述单位部门终端进行数据访问的次数、数据查询的次数和数据调取的次数中的次数最大值；Cmin表示所述单位部门终端进行数据访问的次数、数据查询的次数和数据调取的次数中的次数最小值。
6.根据权利要求2所述方法，其特征在于，根据所述单位部门终端根据所述单位部门终端进行数据访问、查询和调取的数据类型和数据生成时间，获取预备数据，包括：
根据所述单位部门终端当前进行数据访问、查询和调取的数据生成时间，获取一个或多个数据生成时间范围：
根据所述单位部门终端当前进行数据访问、查询和调取的数据类型，获取在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据，并将所述在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据作为预备数据。
7.根据权利要求6所述方法，其特征在于，所述数据生成时间范围的获取包括：
所述单位部门终端当前进行将数据访问、查询和调取的数据生产时间之间的时间间隔不超过3天的数据作为一个数据簇，根据单位部门终端当前的数据访问、查询和调取情况，获得多个数据簇；
获取每个数据簇的最早数据生成时间和最晚数据生成时间；
通过如下公式设置数据生成时间延展期对应的时间段：
Figure FDA0003108671170000031
其中，Ty表示数据生成时间延展期对应的时间段；Tamax表示每个数据簇中，各数据的数据生成时间之间的时间间隔的天数最大值；Tamin表示每个数据簇中，各数据的数据生成时间之间的时间间隔的天数最小值；Tc表示每个数据簇中，除去时间间隔的天数最小值和天数最大值之后，剩余的各数据的数据生成时间之间的时间间隔的天数值；Tci表示每个数据簇内，除去时间间隔的天数最小值和天数最大值之后，剩余的各数据中，第i+1个数据与第i个数据之间的时间间隔对应的天数；k表示每个数据簇内，除去时间间隔的天数最小值和天数最大值之后，剩余的数据的个数；
将每个数据簇最早数据生产时间向前延长数据生成时间延展期对应的时间段，获得数据生成时间范围的起始时间点；
将每个数据簇最晚数据生产时间向后延长数据生成时间延展期对应的时间段，获得数据生成时间范围的终止时间点。
8.一种适用于数据密集型监控的访问管理系统，其特征在于，所述系统包括：
数据发送模块，用于所述电力监控系统将采集到的电力监控数据发送至数据管理终端，其中，所述数据管理终端进行数据存储过程中，对每个数据均标注其对应的数据生成时间；
请求发送模块，用于电力监控的各单位部门需要访问数据管理终端时，利用与各单位部门对应的单位部门终端向所述数据管理终端发送访问请求；
指示模块，用于所述数据管理终端在接收到所述单位部门终端发送的数据访问请求时，指示所述单位部门终端进行登录名和密码的身份验证；
数据查询访问模块，用于所述单位部门终端通过身份验证之后，向数据管理终端访问、查询和调取所需数据；
预备数据模块，用于所述数据管理终端实时单位部门终端进行数据访问、查询和调取的频率和次数，并根据单位部门终端进行数据访问、查询和调取的频率和次数，获取与所述单位部门终端对应的预备数据；
缓存发送模块，用于将所述预备数据发送至与所述单位部门终端对应的数据缓存模块，所述单位部门终端后续在规定时间内进行的数据访问、查询和调用操作直接与所述数据缓存模块进行对接操作。
9.根据权利要求8所述系统，其特征在于，所述预备数据模块包括：
设置模块，用于所述数据管理终端在与所述单位部门终端进行身份验证时，设置当前此次单位部门终端进行数据访问的访问时间段；
比较模块，用于所述单位部门终端对所述数据管理终端的数据进行访问时，所述数据管理终端实时监控单位部门终端的数据采集，并记录在访问时间段内的数据访问、查询和调取的频率和次数；通过数据访问、查询和调取的频率和次数获取数据访问指标：并将所述数据访问指标与预先设置的指标阈值进行比较；
获取模块，用于当所述数据访问指标超过预先设置的指标阈值时，向所述单位部门终端发出“是否继续进行数据访问”的提示，如果所述单位部门终端选择为继续进行数据访问，则根据所述单位部门终端根据所述单位部门终端进行数据访问、查询和调取的数据类型和数据生成时间，获取预备数据。
10.根据权利要求9所述系统，其特征在于，所述设置模块包括：
调取模块，用于所述数据管理终端在与所述单位部门终端进行身份验证时，调取所述单位部门中的历史数据访问记录，并记录历史数据访问记录中显示的时间信息；
访问时间段获取模块，用于利用所述时间信息设置当前此次单位部门终端进行数据访问的访问时间段。
所述获取模块包括：
时间范围获取模块，用于根据所述单位部门终端当前进行数据访问、查询和调取的数据生成时间，获取一个或多个数据生成时间范围：
预备数据生成模块，用于根据所述单位部门终端当前进行数据访问、查询和调取的数据类型，获取在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据，并将所述在所述数据生成时间范围与所述数据类型对应的数据管理终端中存储的对应数据作为预备数据。
CN202110644679.8A 2021-06-09 2021-06-09 一种适用于数据密集型监控的访问管理方法和系统 Active CN113344738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110644679.8A CN113344738B (zh) 2021-06-09 2021-06-09 一种适用于数据密集型监控的访问管理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110644679.8A CN113344738B (zh) 2021-06-09 2021-06-09 一种适用于数据密集型监控的访问管理方法和系统

Publications (2)

Publication Number Publication Date
CN113344738A true CN113344738A (zh) 2021-09-03
CN113344738B CN113344738B (zh) 2022-11-29

Family

ID=77475828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110644679.8A Active CN113344738B (zh) 2021-06-09 2021-06-09 一种适用于数据密集型监控的访问管理方法和系统

Country Status (1)

Country Link
CN (1) CN113344738B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116345694B (zh) * 2023-05-08 2024-02-06 江西嘉鸣科技电子有限公司 一种配电控制方法和配电控制系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487557B1 (en) * 1997-12-26 2002-11-26 Casio Computer Co., Ltd. Network-access management system and method applied to network and computer program product including computer program recorded on storage medium for creating display data
JP2009187393A (ja) * 2008-02-07 2009-08-20 Nec Corp アクセス頻度の高い情報を事前にキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム
CN108173898A (zh) * 2016-12-08 2018-06-15 北京京东尚科信息技术有限公司 用于资源访问服务的方法、装置及终端设备
CN109240126A (zh) * 2018-11-21 2019-01-18 国网湖北省电力有限公司电力科学研究院 一种具有模拟操作功能的分布式应用服务监测系统及方法
CN110990227A (zh) * 2019-12-04 2020-04-10 哈尔滨工程大学 一种数值水池应用特征性能采集和监控系统及其运行方法
CN111245656A (zh) * 2020-01-10 2020-06-05 浪潮商用机器有限公司 一种通过移动设备远程监控的方法及系统
CN112925673A (zh) * 2021-02-18 2021-06-08 北京九贺科技有限公司 一种用于电力监控的大数据存储管理方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487557B1 (en) * 1997-12-26 2002-11-26 Casio Computer Co., Ltd. Network-access management system and method applied to network and computer program product including computer program recorded on storage medium for creating display data
JP2009187393A (ja) * 2008-02-07 2009-08-20 Nec Corp アクセス頻度の高い情報を事前にキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム
CN108173898A (zh) * 2016-12-08 2018-06-15 北京京东尚科信息技术有限公司 用于资源访问服务的方法、装置及终端设备
CN109240126A (zh) * 2018-11-21 2019-01-18 国网湖北省电力有限公司电力科学研究院 一种具有模拟操作功能的分布式应用服务监测系统及方法
CN110990227A (zh) * 2019-12-04 2020-04-10 哈尔滨工程大学 一种数值水池应用特征性能采集和监控系统及其运行方法
CN111245656A (zh) * 2020-01-10 2020-06-05 浪潮商用机器有限公司 一种通过移动设备远程监控的方法及系统
CN112925673A (zh) * 2021-02-18 2021-06-08 北京九贺科技有限公司 一种用于电力监控的大数据存储管理方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINHWAN CHOI等: ""Learning-based dynamic cache management in a cloud"", 《JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING》 *
张超等: ""基于协作小小区与流行度预测的在线热点视频缓存更新策略"", 《计算机应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116345694B (zh) * 2023-05-08 2024-02-06 江西嘉鸣科技电子有限公司 一种配电控制方法和配电控制系统

Also Published As

Publication number Publication date
CN113344738B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
US7539755B2 (en) Real-time heartbeat frequency regulation system and method utilizing user-requested frequency
WO2018188477A1 (zh) 数据传输方法及装置、电力线通信网络、电力系统
US9219621B2 (en) Dynamic rate heartbeating for inter-node status updating
CN111795488A (zh) 一种分布式机房温度的智能调控系统及方法
CN113344738B (zh) 一种适用于数据密集型监控的访问管理方法和系统
CN108599992A (zh) 一种数据处理系统及方法
CN113688001B (zh) 服务器硬盘功耗动态均衡方法、装置、终端及存储介质
CN116112557A (zh) 一种基于确定数据的多种报文格式适配方法和系统
CN114567600B (zh) 流量管理方法及相关设备
CN113891336A (zh) 通信网络减频退网方法、装置、计算机设备和存储介质
CN111935310A (zh) 应用于物联网终端的数据上报系统及数据上报方法
CN115048274B (zh) 一种基于大数据的运维系统
WO2023051318A1 (zh) 模型训练方法、无线资源调度方法及其装置及电子设备
CN106330567A (zh) 一种服务器集群的服务器管理控制方法及系统
CN115660791A (zh) 一种差旅服务的订单处理方法及系统
US10631188B2 (en) Wi-Fi adoption index
WO2016065646A1 (zh) 一种功率估计的方法及装置
CN110535612B (zh) 一种基于心跳反馈数据周期的分层自适应处理方法
CN116471002B (zh) 一种工业互联网数据传输方法及系统
CN115292683B (zh) 一种配电自动化终端加密证书管理系统
CN117279019B (zh) 频谱效率的预测方法、装置、电子设备及存储介质
CN118115129B (zh) 一种应用于通用智慧实验室的应急监控方法、设备及介质
CN112269834B (zh) 一种公安大数据分布式管控系统及方法
WO2024078076A1 (zh) 基站节能方法、设备及存储介质
CN107222425B (zh) 一种基于电价的非实时数据传输调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221115

Address after: No.1 Sanyan Road, Qinzhou City, Guangxi Zhuang Autonomous Region

Applicant after: QINZHOU POWER SUPPLY BUREAU OF GUANGXI POWER GRID Co.,Ltd.

Address before: 100080 1505-270, 15th floor, 1 Zhongguancun Street, Haidian District, Beijing

Applicant before: Beijing Jiuhe Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant