CN117118742B - 基于访问频率监测的政务数据运营方法及系统 - Google Patents

基于访问频率监测的政务数据运营方法及系统 Download PDF

Info

Publication number
CN117118742B
CN117118742B CN202311331821.9A CN202311331821A CN117118742B CN 117118742 B CN117118742 B CN 117118742B CN 202311331821 A CN202311331821 A CN 202311331821A CN 117118742 B CN117118742 B CN 117118742B
Authority
CN
China
Prior art keywords
file
server
access
government affair
government
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311331821.9A
Other languages
English (en)
Other versions
CN117118742A (zh
Inventor
涂旭青
王磊
李桑榆
辜雅敏
邹小玲
方小荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Provincial Information Center Jiangxi Provincial E Government Network Management Center Jiangxi Provincial Credit Center Jiangxi Provincial Big Data Center
Thinvent Digital Technology Co Ltd
Original Assignee
Jiangxi Provincial Information Center Jiangxi Provincial E Government Network Management Center Jiangxi Provincial Credit Center Jiangxi Provincial Big Data Center
Thinvent Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Provincial Information Center Jiangxi Provincial E Government Network Management Center Jiangxi Provincial Credit Center Jiangxi Provincial Big Data Center, Thinvent Digital Technology Co Ltd filed Critical Jiangxi Provincial Information Center Jiangxi Provincial E Government Network Management Center Jiangxi Provincial Credit Center Jiangxi Provincial Big Data Center
Priority to CN202311331821.9A priority Critical patent/CN117118742B/zh
Publication of CN117118742A publication Critical patent/CN117118742A/zh
Application granted granted Critical
Publication of CN117118742B publication Critical patent/CN117118742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于访问频率监测的政务数据运营方法及系统，属于网络数据共享技术领域。在该方法中，若访问频率大于第一频率参数，政务服务器创建第二文件的副本并存储至另一存储节点，并调整该第二文件的第一频率参数。任意第二行政端修改第二文件后，政务服务器校验该第二行政端的修改权限并记录修改第二文件的全局时间戳。云服务器校验不同存储节点的第二文件，云服务器基于全局时间戳将第二文件发送至用户端。政务服务器根据内置的第二时钟确定创建第二文件副本的阈值，避免用户端短期的高爆发访问造成文件频繁复制与删除。本发明创建副本的速度由政务服务器控制，提高政务服务器对系统的运营控制能力。

Description

基于访问频率监测的政务数据运营方法及系统
技术领域
本发明涉及网络数据共享技术领域，尤其涉及一种基于访问频率监测的政务数据运营方法及系统。
背景技术
政务运营平台利用信息技术对行政数据进行信息化改造，承担行政服务管理职能，可以面向普通公众提供政务数据，协助行政机关完成多种任务。政务运营平台的基本架构可以参照在中国专利申请CN108173872A公开的那种基于数据共享交换的政务信息系统的访问控制方法。在该方法中，行政机关通过各类政务平台连接数据仓库，客户端通过云端数据共享中心访问数据仓库。该架构有利于区分管理行政机关与客户端，提高数据协同效率。近年随着分布式系统的普及，数据仓库逐渐被分布式存储系统代替。CN113127267A公开了一种分布式存储环境下强一致性多副本数据访问回应方法，该方法在访问次数升高时择优选取节点存储副本，在后续用户访问时提供网络质量最佳的节点。政务数据的共享具有时间性，数据访问次数经常发生波动，现有的共享方案容易造成短时间内不断创建副本，随后又不断删除副本的情形，严重浪费网络资源。鉴于此，有必要提供一种适用于访问政务波动性的数据运营方法。
发明内容
为了解决上述现有技术存在的缺陷，本发明提出了一种基于访问频率监测的政务数据运营方法及系统。本发明的政务数据运营方法通过在政务服务器中设置第二时钟，在瞬时访问频率增加时，通过调整政务服务器的第一频率参数使得创建副本过程不断收敛。进一步，本发明可以避免行政端修改数据后存储节点响应延迟，造成用户端访问出错的情形。
本发明的技术方案是这样实现的：
一种基于访问频率监测的政务数据运营方法，包括以下步骤：
步骤1：第一行政端创建第一文件，政务服务器根据所述第一文件确定第一频率参数，并基于第一文件生成任务表；
步骤2：政务服务器根据任务表将第一文件发送至多个第二行政端，第二行政端创建第二文件，政务服务器将第二文件存储至存储节点；
步骤3：多个用户端经云服务器访问存储节点的第二文件，云服务器在第一时钟的监测周期内监测第二文件的访问频率并生成访问日志，若访问频率大于云服务器的第二频率参数，将该访问频率发送至政务服务器；
步骤4：政务服务器激活第二时钟，若在第二时钟的监测周期内访问频率大于第一频率参数，政务服务器创建第二文件的副本并存储至另一存储节点，调整该第二文件的第一频率参数；
步骤5：任意第二行政端修改第二文件，政务服务器校验该第二行政端的修改权限并记录修改第二文件的全局时间戳；
步骤6：政务服务器重置该第二文件的第一频率参数，并将修改的第二文件同步至具有该第二文件的存储节点；
步骤7：云服务器校验不同存储节点的第二文件，云服务器基于全局时间戳将第二文件发送至用户端；
步骤8：云服务器生成任意存储节点中第二文件的访问热度，基于访问热度删除第二文件，返回至步骤3。
在本发明中，在步骤1中，政务服务器提取第一文件中行政任务的任务类别，根据第一文件的任务类别确定第一频率参数，所述任务表包含参与该行政任务的多个第二行政端的身份标识。
在本发明中，在第一时钟的监测周期内，云服务器统计用户端访问第二文件的次数并计算访问频率，第二时钟的监测周期小于第一时钟的监测周期。
在本发明中，在步骤4中，提取可供放置第二文件的多个存储节点，根据访问日志计算各存储节点的加权链路质量，生成各存储节点的期望值，选择期望值最大的存储节点存储第二文件。
在本发明中，在步骤4中，获取每一存储节点的最大链接数，基于当前的访问频率与最大链接数建立频率优化函数，根据频率优化函数调整第一频率参数。
在本发明中，在步骤7中，云服务器校验第二文件的多个副本的全局时间戳，保留全局时间戳最大的第二文件，再通过哈希运算获得第二文件的文本校验值，根据文本校验值筛选异常存储节点，并重新向政务服务器申请第二文件。
在本发明中，在步骤7中，云服务器截取全局时间戳后的访问日志，将第二文件发送至该访问日志对应的用户端。
在本发明中，在步骤8中，云服务器根据任意存储节点中第二文件的访问次数计算该存储节点中第二文件的访问热度，删除访问热度小于预设热度的第二文件。
一种根据所述基于访问频率监测的政务数据运营方法的政务数据运营系统，包括：第一行政端、政务服务器、第二行政端、云服务器、存储节点以及用户端，
第一行政端用于创建第一文件；
政务服务器用于生成任务表；
第二行政端用于响应政务服务器并创建第二文件；
存储节点用于存储第二文件；
用户端用于经云服务器访问存储节点的第二文件，
其中，云服务器在第一时钟的监测周期内监测第二文件的访问频率并生成访问日志，若访问频率大于云服务器的第二频率参数，将该访问频率发送至政务服务器，政务服务器激活第二时钟，若在第二时钟的监测周期内访问频率大于第一频率参数，政务服务器创建第二文件的副本并存储至另一存储节点，调整该第二文件的第一频率参数。
在本发明中，所述云服务器连接至一NTP服务器，NTP服务器为云服务器提供第一时钟，政务服务器具有Chrony时间单元，Chrony时间单元提供第二时钟。
实施本发明的这种基于访问频率监测的政务数据运营方法及系统，具有以下有益效果：云服务器提供用户端的存储与访问路径，第二文件的复制与修改指令由政务服务器发起，提高政务数据的安全性。政务服务器根据内置的第二时钟确定创建第二文件副本的阈值，避免用户端短期的高爆发访问造成文件频繁复制与删除。创建副本的速度由政务服务器控制，提高政务服务器对系统的运营控制能力。云服务器根据访问日志重新发送第二文件，避免第二行政端修改第二文件与存储节点修改第二文件产生的时间差，造成用户端访问第二文件的错误版本。进一步，云服务器检测每一存储节点的访问热度，根据访问热度删除第二文件，避免文件冗余。
附图说明
图1为本发明基于访问频率监测的政务数据运营方法的网络拓扑图；
图2为本发明基于访问频率监测的政务数据运营方法的流程图；
图3为本发明的任务表的示意图；
图4为本发明的用户端访问第二文件的数据流转示意图；
图5为本发明选择放置副本的存储节点的方法的流程图；
图6为本发明调整第一频率参数的方法的流程图；
图7为本发明基于访问频率监测的政务数据运营方法的政务数据运营系统的框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
政务运营平台可以完成不同种类的行政任务，实现行政部门与社会公众的文件共享。任务类别例如是财税申报、政策发布等。政务数据的访问次数具有很高的波动。例如在每个报税期，创建财税申报的任务后较短时间内，财税文件的访问呈现高并发特性，并在余下时间内财税文件访问频率快速降低。本发明的政务服务器根据内置的第二时钟确定创建第二文件副本的阈值，避免用户端短期高爆发访问造成文件频繁增删。相对于现有技术采用云服务器根据网络情况自身调节，本发明可以由政务服务器控制文件增删。
实施例一
如图1所示，本发明的基于访问频率监测的政务数据运营方法采用政务服务器与云服务器独立架构，云服务器提供用户端与存储节点的访问路径，第一行政端与第二行政端输出的数据经政务服务器加密处理后发送至存储节点，第二文件的复制与修改由政务服务器完成。政务服务器与云服务器之间通过防火墙隔离，处于虚线框内的第一行政端与第二行政端不与云服务器交换数据，提高政务数据的安全性与独立性。参照图2至图4，本发明基于访问频率监测的政务数据运营方法包括以下步骤。
步骤1：第一行政端创建第一文件，政务服务器根据所述第一文件确定第一频率参数，并基于第一文件生成任务表。第一文件用于激活行政任务，第一文件具有任务类别的标签，政务服务器提取标签确定任务类别。不同的任务类别需要不同的第二行政端参与，政务服务器生成对应的任务表。如图3所示，所述任务表包含参与该行政任务的多个第二行政端的身份标识，财税申报的行政任务对应的任务表包含第二行政端001（税务部门）、002（审计部门）、003（财政部门）等。根据第一文件的任务类别确定第一频率参数，第一频率参为创建副本的阈值。第一频率参数通常为1.5赫兹，即每分钟访问90次。本发明不限制第一频率参数的取值。通常用户端范围较大的任务类别可以选择较大的第一频率参数。用户端范围较小的任务类别可以选择较小的第一频率参数。
步骤2：政务服务器根据任务表将第一文件发送至多个第二行政端，第二行政端创建第二文件，政务服务器将第二文件存储至存储节点。第二行政端收到启动行政任务的通知后，创建的第二文件包含执行行政任务的相关数据。在本实施例中，首次存储第二文件的存储节点可以是随机节点。在另一实施例中，可以根据历史数据预测访问第二文件的用户端的区域，选择区域所在地网络质量较好的存储节点放置第二文件。存储节点的容量可以设置为64Mkb。
步骤3：多个用户端经云服务器访问存储节点的第二文件，云服务器在第一时钟的监测周期内监测第二文件的访问频率并生成访问日志，若访问频率大于云服务器的第二频率参数，将该访问频率发送至政务服务器。若访问频率小于等于第二频率参数，继续监测访问频率。云服务器访问元数据的节点映射表，提取存储节点的访问路径。云服务器的具体结构可以参照现有的分布式存储系统。第一时钟为基于Network Time Protocol的协议，每一第二文件具有独立的访问频率，第二频率参数为1赫兹。第一时钟的监测周期例如是1分钟。在第一时钟的监测周期内，云服务器统计任意用户端访问第二文件的次数并计算访问频率。
如图4所示，本实施例公开了用户端访问第二文件的数据流转示意图。数据流1：用户端向云服务器递交访问申请。数据流2：云服务器解析访问申请确定对应的第二文件，向元数据节点申请查找该第二文件的节点映射表。数据流3：元数据节点将节点映射表的存储索引反馈至云服务器。数据流4：云服务器向对应存储节点申请第二文件。数据流5：存储节点将第二文件反馈至云服务器。数据流6：用户端接收第二文件。数据流7：云服务器将用户端申请访问第二文件的访问日志存储至主日志节点。数据流8：主日志节点将访问日志共享至两组从日志节点。由于访问日志的修改次数较多，本实施例通过两组从日志节点提升访问日志的容错性。当主日志节点无法访问时，推举一从日志节点代替主日志节点，并补充新的从日志节点。
步骤4：政务服务器激活第二时钟，若在第二时钟的监测周期内访问频率大于第一频率参数，政务服务器创建第二文件的副本并存储至另一存储节点，调整该第二文件的第一频率参数。因政务服务器为自有服务器，通常无法在24小时内连续工作，本发明基于chrony3.2源码编译生成第二时钟。在非工作时间，第二时钟处于休眠状态，第二时钟激活后，可以迅速同步时间。为了提高政务服务器的相应速度，第一时钟的监测周期通常是第二时钟的监测周期的整数倍，本实施例的第二时钟的监测周期可以取15秒。政务服务器创建第二文件的副本后，可以就近选择存储节点，也可以采用实施例二所述的方法选择存储节点。若在第二时钟的监测周期内访问频率小于等于第一频率参数，返回至步骤3，继续监测访问频率。为保证副本的增删速度快速收敛，创建副本后，修改第一频率参数。
步骤5：任意第二行政端修改第二文件，政务服务器校验该第二行政端的修改权限并记录修改第二文件的全局时间戳。在本实施例中，第二行政端可以修改其创建的第二文件。第二行政端提交修改后，政务服务器记录此时的全局时间并生成全局时间戳。由于本发明的全局时间戳用于后续的版本校验，为避免全局时间戳被修改，政务服务器优选的基于MD5算法加密全局时间戳。
步骤6：政务服务器重置该第二文件的第一频率参数，并将修改的第二文件同步至具有该第二文件的存储节点。重置后的第一频率参数等于初始值。政务服务器将修改的第二文件发送至云服务器，云服务器根据节点映射表查找具有该第二文件的全部存储节点，同步替换相应的第二文件。
步骤7：云服务器校验不同存储节点的第二文件，云服务器基于全局时间戳将第二文件发送至用户端。由于同一第二文件可能经过多次增删，为了保持文件一致，云服务器校验同一第二文件的多个副本的全局时间戳，保留全局时间戳最大的第二文件，再通过哈希运算获得第二文件的文本校验值，根据文本校验值筛选异常存储节点并重新向政务服务器申请第二文件。
云服务器截取全局时间戳后的访问日志，提取全局时间戳后访问该第二文件的用户端，将第二文件发送至该访问日志的用户端。该步骤可以避免第二行政端修改第二文件与存储节点修改第二文件的时间差，造成用户端访问第二文件的错误版本。
步骤8：云服务器生成任意存储节点中第二文件的访问热度，基于访问热度删除第二文件，返回至步骤3。云服务器根据第二文件的访问次数计算该存储节点中第二文件的访问热度。本实施例中，该存储节点中第二文件i的访问热度，N为当前监测周期序号，Ai k为监测周期k时第二文件i的访问次数，Si k为监测周期k时第二文件i的尺寸。随着监测周期的增加，历史访问次数对热度的影响逐渐降低。该算法将第二文件的容量作为计算访问热度的参数，避免大文件的重复链接引起系统误操作。删除访问热度小于预设热度的第二文件，预设热度例如是0.01。本发明的云服务器检测每一存储节点的访问热度，根据访问热度删除第二文件，可以避免文件冗余。需要说明的是，本步骤的访问热度基于独立的存储节点生成，用于预测存储节点中第二文件的被访问的情况，即删除无访问需求的第二文件，避免存储资源浪费。
实施例二
如图5，本实施例进一步公开了选择放置副本的存储节点的方法。本方法将加权链路质量与第二文件的尺寸作为选择副本的参数，可以使得存储节点的选择更准确。
在步骤4中，提取可供放置副本的多个存储节点。可供放置副本的存储节点的剩余容量大于第二文本的尺寸。
根据访问日志计算各存储节点的加权链路质量。本实施例通过存储节点与用户端之间的地理位置和网络位置关系估计加权链路质量。访问日志记录历史时间访问第二文件的用户端，对于任意用户端v与存储节点j的地理位置关系为xjv，网络位置关系为yjv。用户端v与存储节点j的链路质量为。存储节点j的加权链路质量Dj=/>，访问日志中用户端的数量为U。
现有技术通常采用QoS评价链路质量，计算QoS的过程复杂。为了选择存储节点而浪费大量资源计算QoS不值得。本实施例通过设置分段函数，估计链路质量。虽然该方法计算结果不如QoS准确，但是可以显著降低对云服务器的计算资源的占用，提高副本更新速度。
在本实施例中，提取用户端v与存储节点j的地理位置，地理位置关系的分段函数。提取用户端v与存储节点j的网络地址，网络位置关系的分段函数。
生成各存储节点的期望值。存储节点j的期望值，m为可用存储节点的总数，Lj为存储节点j的负载，ω1为负载权重。Si为第二文件i的尺寸，Zj为存储节点j的剩余容量，ω2为容量权重。Bj为分配给存储节点j的通信带宽，ω3为带宽权重。Dj为存储节点j的加权链路质量，ω4为网络权重。本实施例不限制式中各权重的取值，可以结合具体实施确定。
选择期望值最大的存储节点存储第二文件的副本。本实施例可以设置第二文件的副本上限，防止该第二文件占用过多存储资源。在另一实施例中可以按序排列期望值，在所有期望值大于基础期望值的存储节点中均放置副本。
实施例三
如图6，本实施例进一步公开了调整第一频率参数的方法。
在步骤6中，获取每一存储节点的最大链接数。最大链接数是指具有该第二文件的存储节点的允许链接数之和。可以通过分布式系统的接口参数确定存储节点j的允许链接数Pj，最大链接数为。
基于当前访问频率与最大链接数建立频率优化函数。本实施例中，频率优化函数为迭代函数，第一频率参数。f为当前访问频率。
根据频率优化函数调整第一频率参数。第一频率参数的增加可以提高创建副本的阈值，从而避免高爆发访问造成副本频繁增删。访问频率f与最大链接数的比值越大，第一频率参数迭代速度越慢。当访问频率f接近最大链接数时，访问需求较高，第一频率参数的迭代速度接近为零，第一频率参数/>。
进一步的，结合实施例一的步骤8，删除存储节点的第二文件后， 根据修改后的最大链接数再次调整第一频率参数。
实施例四
如图7所示，本发明根据所述基于访问频率监测的政务数据运营方法的政务数据运营系统，包括：第一行政端、政务服务器、第二行政端、云服务器、存储节点、NTP服务器以及用户端。第一行政端用于创建第一文件。政务服务器用于生成任务表。第二行政端用于响应政务服务器并创建第二文件。存储节点用于存储第二文件。用户端用于经云服务器访问存储节点的第二文件。所述云服务器连接至NTP服务器，NTP服务器为云服务器提供第一时钟。政务服务器具有Chrony时间单元，Chrony时间单元激活后，向NTP服务器申请同步，再向政务服务器提供第二时钟。
云服务器在第一时钟的监测周期内监测访问频率并生成第二文件的访问日志，若访问频率大于云服务器的第二频率参数，将该访问频率发送至政务服务器。政务服务器激活第二时钟，若在第二时钟的监测周期内访问频率大于第一频率参数，政务服务器创建第二文件的副本并存储至另一存储节点，调整该第二文件的第一频率参数。政务服务器根据内置的第二时钟确定创建第二文件副本的时间，避免用户端短期的高爆发访问造成文件反复增删。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改，等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于访问频率监测的政务数据运营方法，其特征在于，包括以下步骤：
步骤1：第一行政端创建第一文件，政务服务器根据所述第一文件确定第一频率参数，并基于第一文件生成任务表；
步骤2：政务服务器根据任务表将第一文件发送至多个第二行政端，第二行政端创建第二文件，政务服务器将第二文件存储至存储节点；
步骤3：多个用户端经云服务器访问存储节点的第二文件，云服务器在第一时钟的监测周期内监测第二文件的访问频率并生成访问日志，若访问频率大于云服务器的第二频率参数，将该访问频率发送至政务服务器；
步骤4：政务服务器激活第二时钟，若在第二时钟的监测周期内访问频率大于第一频率参数，政务服务器创建第二文件的副本并存储至另一存储节点，调整该第二文件的第一频率参数；
步骤5：任意第二行政端修改第二文件，政务服务器校验该第二行政端的修改权限并记录修改第二文件的全局时间戳；
步骤6：政务服务器重置该第二文件的第一频率参数，并将修改的第二文件同步至具有该第二文件的存储节点；
步骤7：云服务器校验不同存储节点的第二文件，云服务器基于全局时间戳将第二文件发送至用户端；
步骤8：云服务器生成任意存储节点中第二文件的访问热度，基于访问热度删除第二文件，返回至步骤3。
2.根据权利要求1所述的基于访问频率监测的政务数据运营方法，其特征在于，在步骤1中，政务服务器提取第一文件中行政任务的任务类别，根据第一文件的任务类别确定第一频率参数，所述任务表包含参与该行政任务的多个第二行政端的身份标识。
3.根据权利要求1所述的基于访问频率监测的政务数据运营方法，其特征在于，在第一时钟的监测周期内，云服务器统计用户端访问第二文件的次数并计算访问频率，第二时钟的监测周期小于第一时钟的监测周期。
4.根据权利要求1所述的基于访问频率监测的政务数据运营方法，其特征在于，在步骤4中，提取可供放置第二文件的多个存储节点，根据访问日志计算各存储节点的加权链路质量，生成各存储节点的期望值，选择期望值最大的存储节点存储第二文件。
5.根据权利要求4所述的基于访问频率监测的政务数据运营方法，其特征在于，在步骤4中，获取每一存储节点的最大链接数，基于当前的访问频率与最大链接数建立频率优化函数，根据频率优化函数调整第一频率参数。
6.根据权利要求1所述的基于访问频率监测的政务数据运营方法，其特征在于，在步骤7中，云服务器校验第二文件的多个副本的全局时间戳，保留全局时间戳最大的第二文件，再通过哈希运算获得第二文件的文本校验值，根据文本校验值筛选异常存储节点，并重新向政务服务器申请第二文件。
7.根据权利要求6所述的基于访问频率监测的政务数据运营方法，其特征在于，在步骤7中，云服务器截取全局时间戳后的访问日志，将第二文件发送至该访问日志对应的用户端。
8.根据权利要求1所述的基于访问频率监测的政务数据运营方法，其特征在于，在步骤8中，云服务器根据任意存储节点中第二文件的访问次数计算该存储节点中第二文件的访问热度，删除访问热度小于预设热度的第二文件。
9.一种根据权利要求1所述基于访问频率监测的政务数据运营方法的政务数据运营系统，其特征在于，包括：第一行政端、政务服务器、第二行政端、云服务器、存储节点以及用户端，
第一行政端用于创建第一文件；
政务服务器用于生成任务表；
第二行政端用于响应政务服务器并创建第二文件；
存储节点用于存储第二文件；
用户端用于经云服务器访问存储节点的第二文件，
其中，云服务器在第一时钟的监测周期内监测第二文件的访问频率并生成访问日志，若访问频率大于云服务器的第二频率参数，将该访问频率发送至政务服务器，政务服务器激活第二时钟，若在第二时钟的监测周期内访问频率大于第一频率参数，政务服务器创建第二文件的副本并存储至另一存储节点，调整该第二文件的第一频率参数。
10.根据权利要求9所述的政务数据运营系统，其特征在于，所述云服务器连接至一NTP服务器，NTP服务器为云服务器提供第一时钟，政务服务器具有Chrony时间单元，Chrony时间单元提供第二时钟。
CN202311331821.9A 2023-10-16 2023-10-16 基于访问频率监测的政务数据运营方法及系统 Active CN117118742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311331821.9A CN117118742B (zh) 2023-10-16 2023-10-16 基于访问频率监测的政务数据运营方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311331821.9A CN117118742B (zh) 2023-10-16 2023-10-16 基于访问频率监测的政务数据运营方法及系统

Publications (2)

Publication Number Publication Date
CN117118742A CN117118742A (zh) 2023-11-24
CN117118742B true CN117118742B (zh) 2024-01-12

Family

ID=88813040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311331821.9A Active CN117118742B (zh) 2023-10-16 2023-10-16 基于访问频率监测的政务数据运营方法及系统

Country Status (1)

Country Link
CN (1) CN117118742B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541198B (zh) * 2024-01-09 2024-04-30 贵州道坦坦科技股份有限公司 一种综合办公协作管理系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078999A (ja) * 2003-11-28 2004-03-11 Hitachi Ltd ディスクストレージのアクセスシステム
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法
JP2013161351A (ja) * 2012-02-07 2013-08-19 International Universal Menu Association 行政業務管理システム、方法およびプログラム
CN103997512A (zh) * 2014-04-14 2014-08-20 南京邮电大学 一种面向云存储系统的数据副本数量确定方法
US9606937B1 (en) * 2014-02-28 2017-03-28 Veritas Technologies Llc Cache insertion based on threshold access frequency
CN107294931A (zh) * 2016-04-11 2017-10-24 北京京东尚科信息技术有限公司 调整限制访问频率的方法和装置
CN110677387A (zh) * 2019-08-30 2020-01-10 视联动力信息技术股份有限公司 一种政务办理方法和政务系统
CN111552664A (zh) * 2020-03-24 2020-08-18 福建天泉教育科技有限公司 存储系统冷热智能调度的方法、存储介质
CN113361937A (zh) * 2021-06-10 2021-09-07 北京新国信软件评测技术有限公司 电子政务系统一体化质量测评方法
WO2022096137A1 (en) * 2020-11-09 2022-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Methods, system, and devices for managing consistency between replicas
CN114666159A (zh) * 2022-04-20 2022-06-24 青岛聚好联科技有限公司 一种云服务系统、方法、装置、设备和介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544481B1 (ko) * 2010-12-31 2015-08-24 주식회사 케이티 클라우드스토리지 시스템에서 복제본 저장장소를 동적으로 선정하는 방법 및 시스템

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078999A (ja) * 2003-11-28 2004-03-11 Hitachi Ltd ディスクストレージのアクセスシステム
JP2013161351A (ja) * 2012-02-07 2013-08-19 International Universal Menu Association 行政業務管理システム、方法およびプログラム
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法
US9606937B1 (en) * 2014-02-28 2017-03-28 Veritas Technologies Llc Cache insertion based on threshold access frequency
CN103997512A (zh) * 2014-04-14 2014-08-20 南京邮电大学 一种面向云存储系统的数据副本数量确定方法
CN107294931A (zh) * 2016-04-11 2017-10-24 北京京东尚科信息技术有限公司 调整限制访问频率的方法和装置
CN110677387A (zh) * 2019-08-30 2020-01-10 视联动力信息技术股份有限公司 一种政务办理方法和政务系统
CN111552664A (zh) * 2020-03-24 2020-08-18 福建天泉教育科技有限公司 存储系统冷热智能调度的方法、存储介质
WO2022096137A1 (en) * 2020-11-09 2022-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Methods, system, and devices for managing consistency between replicas
CN113361937A (zh) * 2021-06-10 2021-09-07 北京新国信软件评测技术有限公司 电子政务系统一体化质量测评方法
CN114666159A (zh) * 2022-04-20 2022-06-24 青岛聚好联科技有限公司 一种云服务系统、方法、装置、设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于热度分析的动态副本创建算法;饶磊;杨凡德;李新明;刘东;;计算机应用(第S2期);全文 *

Also Published As

Publication number Publication date
CN117118742A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
US9906598B1 (en) Distributed data storage controller
CN117118742B (zh) 基于访问频率监测的政务数据运营方法及系统
US9465819B2 (en) Distributed database
KR20120072907A (ko) 오브젝트를 복수 개의 데이터 노드들의 위치에 기반하여 분산 저장하는 분산 저장 시스템 및 그 위치 기반 분산 저장 방법 및 컴퓨터에 의하여 독출 가능한 저장 매체
WO2006046486A1 (ja) 資源管理システム、資源情報提供方法、及び、プログラム
CN103533023B (zh) 基于云服务特征的云服务应用集群同步系统及同步方法
CN103180842A (zh) 云计算系统和用于该云计算系统的数据同步方法
CN103607418B (zh) 基于云服务数据特征的大规模数据分割系统及分割方法
CN108228393A (zh) 一种可扩展的大数据高可用的实现方法
EP4293510A1 (en) Data migration method and apparatus, and device, medium and computer product
CN106326372A (zh) Git中央仓库管理系统及控制方法
US11683316B2 (en) Method and device for communication between microservices
CN114385561A (zh) 文件管理方法和装置及hdfs系统
CN113489784A (zh) 分布式存储的非对称逻辑单元访问多路径实现方法及系统
CN113342746A (zh) 文件管理系统、文件管理方法、电子设备和存储介质
CN103561092A (zh) 私有云环境下管理资源的方法及装置
CN108366087B (zh) 一种基于分布式文件系统的iscsi服务实现方法和装置
Alshammari et al. Data backup and recovery with a minimum replica plan in a multi-cloud environment
CN111064643B (zh) 一种节点服务器及其数据交互方法和相关装置
CN107168820A (zh) 一种数据镜像方法及存储系统
CN110471897A (zh) 文件管理方法及装置
CN116346834A (zh) 一种会话同步方法、装置、计算设备及计算机存储介质
JP2024514467A (ja) 地理的に分散されたハイブリッドクラウドクラスタ
CN107231394A (zh) 一种数据源地址分发树的构造方法和用于复制数据的方法
CN106850345B (zh) 一种网络用户状态的监测及查询方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant