CN116051156B - 一种基于数字孪生的新能源动态电价数据管理系统 - Google Patents

一种基于数字孪生的新能源动态电价数据管理系统 Download PDF

Info

Publication number
CN116051156B
CN116051156B CN202310341321.7A CN202310341321A CN116051156B CN 116051156 B CN116051156 B CN 116051156B CN 202310341321 A CN202310341321 A CN 202310341321A CN 116051156 B CN116051156 B CN 116051156B
Authority
CN
China
Prior art keywords
data
window
substrings
electricity price
new energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310341321.7A
Other languages
English (en)
Other versions
CN116051156A (zh
Inventor
郑晓芬
罗卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Heilongjiang Electric Power Co Ltd Harbin Power Supply Co
State Grid Corp of China SGCC
Original Assignee
Beijing Zhiyi Yangfan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhiyi Yangfan Technology Co ltd filed Critical Beijing Zhiyi Yangfan Technology Co ltd
Priority to CN202310341321.7A priority Critical patent/CN116051156B/zh
Publication of CN116051156A publication Critical patent/CN116051156A/zh
Application granted granted Critical
Publication of CN116051156B publication Critical patent/CN116051156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0206Price or cost determination based on market factors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及数据压缩存储领域,具体涉及一种基于数字孪生的新能源动态电价数据管理系统,该系统包括:数据采集模块、数据分组模块、数据分层模块、数据压缩模块、数据预测模块,采集不同类别的新能源动态电价数据,根据每个数据的编码位数,将每个类别的数据划分为多个分组数据;将分组数据转换为分组矩阵,根据分组矩阵的窗口对应的窗口序列以及目标子串获取窗口的优选程度,根据优选程度对应的窗口将分组矩阵分为多个分层数据;获取分层数据的多个第一子串以及第二子串,进一步得到分层数据的最优滑动窗口大小,根据最优滑动窗口大小对分层数据进行压缩,得到压缩结果,根据压缩结果进预测。本发明压缩率高,压缩速度快。

Description

一种基于数字孪生的新能源动态电价数据管理系统
技术领域
本发明涉及数据压缩存储领域,具体涉及一种基于数字孪生的新能源动态电价数据管理系统。
背景技术
随着新能源项目的数量越来越多,政策执行类型繁杂,业务线性处理量大、重复性劳动高频出现,因此需要新能源动态电价结算数智化管理平台,提高数据的稽核效率。
新能源动态电价结算数智化管理平台线上获取电费结算单中的上网电量,结合补助项目与电费结算机组之间的对应关系,形成各项目补贴电量,根据发电量、上网电量等电量数据,自动计算应付补助资金,以结算台账为载体自动实现电量、电价、电费数据归集与更新,达到自动化管理的目的。
新能源动态电价结算数智化管理平台在自动化管理的过程中伴随着大量的数据生成,为了更好的进行数据管理,需要对海量的数据进行压缩处理。由于新能源动态电价数据的精度要求较高,在进行数据压缩时需要进行无损压缩,又由于新能源动态电价数据的冗余程度较小,故传统压缩算法对新能源动态电价数据的压缩率较小。
针对上述情况,本发明提出了一种基于数字孪生的新能源动态电价数据管理系统,通过对新能源动态电价数据进行分组处理,将同组的新能源动态电价数据进行自适应分层处理,通过自适应选择每层最优窗口进行最优压缩。
发明内容
为了解决上述问题,本发明提供一种基于数字孪生的新能源动态电价数据管理系统,所述系统包括:
数据采集模块,采集不同类别的新能源动态电价数据;
数据分组模块,获取类别中每个数据的编码位数;将类别中第一个数据作为基础数据;
对类别中基础数据之后的数据依次进行判断操作,包括:
将基础数据的编码位数作为基础位数,当出现连续的预设数量个数据的编码位数均小于基础位数,或出现一个数据的编码位数大于基础位数时,获取结束数据,将基础数据到结束数据之间的数据划分为一组;
将结束数据的后一个数据作为新的基础数据,重复对类别中新的基础数据之后的数据依次进行判断操作,直到类别中所有数据都已遍历时停止迭代,得到多个组的数据;根据每个组的数据获取分组数据;
数据分层模块,将分组数据转换为分组矩阵;
对分组矩阵进行分层,包括:
为分组矩阵建立多个窗口,获取每个窗口的窗口序列以及目标子串;根据窗口序列以及目标子串获取每个窗口的优选程度;将优选程度最大的窗口对应的窗口序列作为一个层次的数据,获取新的分组矩阵;
重复对新的分组矩阵进行分层,直到不存在新的分组矩阵时停止迭代,得到多个层次的数据;根据每个层次的数据获取多个分层数据;
数据压缩模块,获取分层数据的多个第一子串以及第二子串;根据第一子串以及第二子串获取分层数据的最优滑动窗口大小;根据最优滑动窗口大小对分层数据进行压缩,得到压缩结果;
数据预测模块,对压缩结果解压,根据解压结果利用数字孪生模型进行预测。
优选的,所述获取类别中每个数据的编码位数,包括的步骤为:
将类别的每个数据的整数部分对应二进制数字的位数,作为每个数据的编码位数。
优选的,所述获取结束数据,包括的步骤为:
当出现连续的预设数量个数据的编码位数小于基础位数,将所述连续的预设数量个数据的前一个数据作为结束数据;当出现数据的编码位数大于基础位数时,将编码位数大于基础位数的数据的前一个数据作为结束数据。
优选的,所述根据每个组的数据获取分组数据,包括的步骤为:
将每个组中的所有数据转换为定长的二进制数据,并将一个组的所有二进制数据构成的序列作为一个分组数据。
优选的,所述为分组矩阵建立多个窗口,包括的步骤为:
将分组矩阵的大小记为n×m,为分组矩阵依次建立n×1、n×2、…、n×(m-1)以及n×m大小的窗口。
优选的,所述获取每个窗口的窗口序列以及目标子串,包括的步骤为:
将窗口的每一行的所有元素组成的二进制数作为一个二进制子段,将所有二进制子段构成的序列作为窗口序列;将相同的二进制子段视作一个类型,获取窗口序列占比最大的类型作为目标类型;获取窗口序列的多个子串,作为目标子串,所述目标子串只由目标类别组成。
优选的,所述根据窗口序列以及目标子串获取每个窗口的优选程度,包括的步骤为:
其中为当前窗口的优选程度,为分组数据中二进制数据的个数;为窗口序 列中属于目标类型的二进制子段的个数;为所有目标子串的平均长度;为分组数据中每 个二进制数据的长度;为每个二进制子段的长度。
优选的,所述获取新的分组矩阵,包括的步骤为:
将分组矩阵中优选程度最大的窗口未覆盖的位置的元素构成新的分组矩阵。
优选的,所述获取分层数据的多个第一子串以及第二子串,包括的步骤为:
将分层数据中相同的数据作为一个数据类别,获取分层数据的多个第一子串,每个第一子串只由同一种数据类别组成;获取分组数据的多个第二子串,每个第二子串中所有相邻两个数据的数据类别都不同。
优选的,所述根据第一子串以及第二子串获取分层数据的最优滑动窗口大小,包括的步骤为:
其中为分层数据的最优滑动窗口大小,为第一子串的个数;为第个第一子串 的长度;为所有第一子串的长度的最大值;为所有第一子串的长度的最小值;为 第二子串的个数;为第个第二子串的长度;为所有第二子串的长度的最大值; 为所有第二子串的长度的最小值;为向上取整符号。
本发明实施例至少具有如下有益效果:
本发明根据数据的编码位数来对数据进行分组,尽可能将编码位数相同的数据分为一组,使得数据编码时补0的数量较小,有利数据的压缩存储;本发明通过构建分组矩阵的窗口,结合窗口对应的窗口序列以及目标子串获取窗口的优选程度,根据优选程度最大的窗口对分组数据进行分层,使得每个分层数据的冗余程度尽可能大,根据分层数据进行压缩时效率更高;本发明通过获取分层数据中第一子串与第二子串,结合第一子串与第二子串的特征自适应获取分层数据的最优滑动窗口大小,使得根据最优滑动窗口大小对分层数据进行压缩时,同时兼顾压缩率与压缩速度,确保了压缩率高、压缩速度快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于数字孪生的新能源动态电价数据管理系统的系统框图;
图2为本发明一个实施例提供的新能源动态电价数据示例;
图3为本发明一个实施例提供的窗口扩展示意图;
图4为本发明一个实施例提供的压缩过程示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于数字孪生的新能源动态电价数据管理系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于数字孪生的新能源动态电价数据管理系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于数字孪生的新能源动态电价数据管理系统,该系统包括以下模块:
数据采集模块S101,采集新能源动态电价数据。
需要说明的是,新能源动态电价结算数智化管理平台上新能源动态电价数据包含电量、电价、电费等多种类别的数据。此些类别的数据通常为数字类型,但不同类别的数据量度不同,为了便于后续压缩,对不同类别的数据分开采集。
新能源动态电价数据中的部分数据如图2所示。
数据分组模块S102,对每个类别的数据进行自适应分组,获得分组数据。
需要说明的是,新能源动态电价数据的冗余程度低,且每个类别的数据的极大值与极小值差异较大,例如图2中补助电量的极小值为96.1673万千瓦时,极大值为1563.7063万千瓦时。此时若对每个类别的数据进行定长编码,会对较小的数据进行大量补0,导致数据量增加,不利于最终的压缩存储。因此需要根据每个数据的编码位数对每个类别的数据进行自适应分组,由于新能源动态电价数据的单位较大,会存在小数,为了便于分组,在分组时仅考虑数据的整数部分。由于新能源动态电价数据中每个类别的数据存在局部相似性,即每个类别中,连续的多个数据的整数部分的编码位数基本相同,若出现连续的若干个数据的整数部分的编码位数不同,则需要进行分组。
在本发明实施例中,对每个类别的数据进行分组的方法相同,因此以一个类别为例进行分组的说明,具体为:
获取类别中每个数据的整数部分对应二进制数字的位数,作为每个数据的编码位数。
将类别中第一个数据作为基础数据。对类别中基础数据之后的数据依次进行判断操作:将基础数据的编码位数作为基础位数,当出现连续的z个数据的编码位数小于基础位数时,将此连续的z个数据的前一个数据作为结束数据,或出现一个数据的编码位数大于基础位数时,将该数据的前一个数据作为结束数据。将基础数据到结束数据之间的数据划分为一组,包含基础数据与结束数据。其中z为预设阈值,在本发明实施例中z=3,在其他实施例中,实施人员可根据实际情况设置预设阈值z的值。
此时将结束数据的后一个数据作为新的基础数据,将新的基础数据的编码位数作为新的基础位数,对类别中基础数据之后的数据依次进行判断操作。如此可实现将类别中的数据划分为多个组。
例如类别中所有数据的编码位数依次为8、8、8、4、9、9、4、4、4。此时第一个数据为基数数据,基础位数为8。第5个数据的编码位数9大于基础位数8,则将第4个数据作为结束数据,将基础数据到结束数据之间的数据划分为一组,即将第一个数据到第4个数据划分为一组;将第5个数据作为新的基础数据,基础位数为9。第7、8、9个数据的编码位数4都小于基础位数9,此时出现连续3个数据的编码位数小于基础位数,则将第6个数据作为结束数据。第5个数据到第6个数据划分为一组;将第7个数据作为新的基础数据,基础位数为4,第8、9个数据的编码位数4与基础位数4相同,第7、8、9个数据划分为一组。
至此,完成了每个类别的数据的分组。需要说明的是,对于连续的z个数据的编码位数小于基础位数,若此时将此连续的z个数据与之前的数据分为一组,则会造成此z个数据的高位补0,不利于最终的压缩存储。对于一个数据的编码位数大于基础位数,此时若将该数据与之前的数据分为一组,则会造成之前的数据的高位补0,不利于最终的压缩存储。因此本发明实施例根据数据的编码位数来进行分组,尽可能将编码位数相同的数据分为一组,使得数据补0较少,有利于最终的压缩存储。
需要说明的是,新能源动态电价数据为十进制数据,十进制的新能源动态电价数据的冗余程度较低,分组之后,同一组的新能源动态电价数据的差异性较小,但冗余程度仍然较低。但同一组的新能源动态电价数据对应的二进制数据的高位存在高度相似性,因此可结合该特征进行后续的压缩。
在本发明实施例中,将每组中的所有数据转换为定长的二进制数据,并将一个组的所有二进制数据构成的序列作为一个分组数据。二进制数据的转换为现有技术,此处不予以详细概述。
至此,获取了分组数据。
数据分层模块S103,对分组数据进行自适应分层,获得分层数据。
需要说明的是,将每组的十进制数据转换为二进制数据后,同一组的二进制数据的高位的冗余程度较大,例如:序列{229,228,237,227,250}对应的二进制数据为{11100101,11100100,11101101,11100011,11111010},其中所有二进制数据的前3位均为111,此时二进制数据的高位冗余程度很大,若对所有二进制数据的前3位进行单独压缩,压缩比将大大增加。因此本发明实施例结合分组数据中所有二进制数据的特征,对分组数据进行分层,使得每个层次的数据的冗余度尽可能大。
在本发明实施例中,对每个分组数据进行分层的方法相同,因此以一个分组数据为例进行分层的说明,具体为:
将分组数据转换为一个大小为的矩阵,作为分组矩阵,其中分组数据中每个 二进制数据的每个比特位作为分组矩阵中的每个元素,m为分组数据中每个二进制数据的 长度,n表示分组数据中二进制数据的个数。
对分组矩阵进行分层,具体为:
为分组矩阵的建立一个初始大小为的窗口,覆盖分组矩阵的第一列。将窗口 的每一行的所有元素组成的二进制数作为一个二进制子段,将所有二进制子段构成的序列 作为窗口序列。将相同的二进制子段视作一个类型,获取窗口序列占比最大的类型作为目 标类型。获取窗口序列的多个子串,作为目标子串,目标子串只由目标类别组成且目标子串 尽可能取最长,例如窗口序列为{1,1,1,0,1,1,1,1},则目标类型为1,目标子串为{1,1,1} 和{1,1,1,1}。需要说明的是,子串是指窗口序列中连续的一段。将所有目标子串的平均长 度记为连续平均长度。
根据目标类型以及连续平均长度获取当前窗口的优选程度
其中为当前窗口的优选程度,为分组数据中二进制数据的个数;为窗口序 列中属于目标类型的二进制子段的个数;为连续平均长度;为分组数据中每个二进制数 据的长度;为每个二进制子段的长度,最大取作为增益系数,即后续根据优选程度进 行分层时,分层的层数越少,对数据压缩的计算量越小、计算速度越快;当滑窗序列中二进 制子段的类型越单一,目标子串的长度越长,当前窗口的优选程度越大。
将窗口向前扩展一列,使得窗口大小变为,覆盖分组矩阵的第1列和第2列,此 时计算当前窗口的优选程度。同理,分别计算窗口大小为、…、时的优选程 度。窗口扩展示意图参见图3。
将优选程度最大的窗口对应的窗口序列作为一个层次的数据,将分组矩阵中优选程度最大的窗口未覆盖的位置的元素构成新的分组矩阵。
至此,完成了分组矩阵的首次分层,获得了分层数据与新的分组矩阵。
同理,重复对新的分组矩阵进行分层,直到不存在新的分组矩阵时停止迭代。此时,得到了多个层次的数据。
为便于后续压缩处理,将每个层次的所有数据转换为十进制数据,并将一个层次的所有十进制数据作为一个分层数据。例如第一个层次的数据为{111,111,111,111,111},则对应的分层数据为{7,7,7,7,7}。
至此,完成了分组数据的自适应分层,获得了分层数据。
需要说明的是,本发明实施例通过计算窗口的优选程度,根据优选程度最大的窗口对分组数据进行分层,使得每个分层数据的冗余程度尽可能大,使得后续根据分层数据进行压缩时效率更高。
数据压缩模块S104,对分层数据进行压缩,获得压缩数据。
需要说明的是,LZ77编码是一种基于滑动窗口的无损压缩算法,LZ77编码通过对 前向缓冲区的数据与滑动窗口中的数据进行数据段匹配,若在滑动窗口中找不到匹配字符 时,则将未匹配的字符编码为标记符号;若在滑动窗口中找到匹配数据段时,则对匹配数据 段利用滑动窗口字典中的偏移量以及匹配数据段的长度进行编码。LZ77编码对存在冗余的 序列压缩效果较好,如序列,压缩后变为,压缩 过程示意图参见图4。压缩后的数据会比原始序列L小,而对于冗余程度低的序列压缩效果 较差。采用LZ77编码对数据进行压缩时,数据的最终压缩比跟滑动窗口的大小有关。同时 LZ77编码在对数据进行压缩时,需要花费大量的时间进行搜索匹配,寻找滑动窗口内与前 向缓冲区匹配的数据段。
需要进一步说明的是,通过对分组数据进行自适应分层后,得到的分层数据的冗余程度增大,利用LZ77编码对分层数据进行压缩,可以保证较好的压缩率。但LZ77编码的压缩时间效率与滑动窗口的大小相关,因此本发明实施例结合每个分层数据的特征,自适应获取每个分层数据的最优滑动窗口大小,使得对每个分层数据的压缩率与压缩时间效率尽可能达到最大。
在本发明实施例中,获取每个分层数据的最优滑动窗口大小的方法相同,因此以一个分层数据为例进行最优滑动窗口大小获取方法的说明,具体为:
将分层数据中相同的数据作为一个数据类别,获取分层数据的多个第一子串,每个第一子串只由同一种数据类别组成,且第一子串尽可能取最长。第一子串表示分层数据中连续相同的数据段;获取分组数据的多个第二子串,每个第二子串中所有相邻两个数据的数据类别都不同,且第二子串尽可能取最长。第二子串表示分层数据中连续不相同的数据段。
根据第一子串以及第二子串获取分层数据的最优滑动窗口大小L:
其中为分层数据的最优滑动窗口大小,为第一子串的个数;为第个第一子串 的长度;为所有第一子串的长度的最大值;为所有第一子串的长度的最小值;为 第二子串的个数;为第个第二子串的长度;为所有第二子串的长度的最大值; 为所有第二子串的长度的最小值;为向上取整符号;当分层数据的冗余程度较大,且连续 相同的数据段的长度基本一致,即第一子串的长度基本一致时,滑动窗口可以选择较大,此 时进行搜索时可以兼顾压缩率与压缩时间效率;当分层数据的冗余程度较小,且连续相同 的数据段的长度相差较大,即第一子串的长度相差较大时,此时压缩率本身较小,为了保证 压缩时间效率,此时滑动窗口应较小。
至此,获取了分层数据的最优滑动窗口大小。
通过每个分层数据的最优滑动窗口大小,利用LZ77编码对每个分层数据进行压缩,获得每个分层数据的压缩结果。将所有分层数据的压缩结果按照分层顺序进行存储。
数据预测模块S105,根据压缩数据进行存储。
当需要调用相应的新能源动态电价数据时,获取对应分组的压缩数据,并对压缩数据进行解压缩,解压时对每个分层数据的压缩结果利用LZ77编码进行解压,得到所有分层数据。将每个分层数据中的每个十进制数据转换为二进制数据,并将所有分层数据对应的二进制数据按照分层顺序进行拼接,并将得到的结果转换为十进制数据,如此得到一个十进制数序列,该序列即为需要调用的新能源动态电价数据。
需要说明的是,由于采集的新能源动态电价数据的某些类型的数据不是实时数据,为了获取较为准确的新能源电价数据动态调整结果,需要利用数字孪生模型进行预测。而解压得到的新能源动态电价数据为真实采集的数据,将解压得到的新能源动态电价数据输入数字孪生模型中,通过数字孪生模型进行预测电量数据,根据预测结果对新能源电价数据进行动态调整。
综上所述,本发明的系统包括数据采集模块、数据分组模块、数据分层模块、数据压缩模块、数据预测模块。本发明实施例根据数据的编码位数来对数据进行分组,尽可能将编码位数相同的数据分为一组,使得数据编码时补0的数量较小,有利数据的压缩存储;本发明实施例通过构建分组矩阵的窗口,结合窗口对应的窗口序列以及目标子串获取窗口的优选程度,根据优选程度最大的窗口对分组数据进行分层,使得每个分层数据的冗余程度尽可能大,根据分层数据进行压缩时效率更高;本发明实施例通过获取分层数据中第一子串与第二子串,结合第一子串与第二子串的特征自适应获取分层数据的最优滑动窗口大小,使得根据最优滑动窗口大小对分层数据进行压缩时同时兼顾压缩率与压缩速度,确保了压缩率高,压缩速度快。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述系统包括:
数据采集模块,采集不同类别的新能源动态电价数据;
数据分组模块,获取类别中每个数据的编码位数;将类别中第一个数据作为基础数据;
对类别中基础数据之后的数据依次进行判断操作,包括:
将基础数据的编码位数作为基础位数,当出现连续的预设数量个数据的编码位数均小于基础位数,或出现一个数据的编码位数大于基础位数时,获取结束数据,将基础数据到结束数据之间的数据划分为一组;
将结束数据的后一个数据作为新的基础数据,重复对类别中新的基础数据之后的数据依次进行判断操作,直到类别中所有数据都已遍历时停止迭代,得到多个组的数据;根据每个组的数据获取分组数据;
数据分层模块,将分组数据转换为分组矩阵;
对分组矩阵进行分层,包括:
为分组矩阵建立多个窗口,获取每个窗口的窗口序列以及目标子串;根据窗口序列以及目标子串获取每个窗口的优选程度;将优选程度最大的窗口对应的窗口序列作为一个层次的数据,获取新的分组矩阵;
重复对新的分组矩阵进行分层,直到不存在新的分组矩阵时停止迭代,得到多个层次的数据;根据每个层次的数据获取多个分层数据;
数据压缩模块,获取分层数据的多个第一子串以及第二子串;根据第一子串以及第二子串获取分层数据的最优滑动窗口大小;根据最优滑动窗口大小对分层数据进行压缩,得到压缩结果;
数据预测模块,对压缩结果解压,根据解压结果利用数字孪生模型进行预测。
2.根据权利要求1所述的一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述获取类别中每个数据的编码位数,包括的步骤为:
将类别的每个数据的整数部分对应二进制数字的位数,作为每个数据的编码位数。
3.根据权利要求1所述的一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述获取结束数据,包括的步骤为:
当出现连续的预设数量个数据的编码位数小于基础位数,将所述连续的预设数量个数据的前一个数据作为结束数据;当出现数据的编码位数大于基础位数时,将编码位数大于基础位数的数据的前一个数据作为结束数据。
4.根据权利要求1所述的一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述根据每个组的数据获取分组数据,包括的步骤为:
将每个组中的所有数据转换为定长的二进制数据,并将一个组的所有二进制数据构成的序列作为一个分组数据。
5.根据权利要求1所述的一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述为分组矩阵建立多个窗口,包括的步骤为:
将分组矩阵的大小记为n×m,为分组矩阵依次建立n×1、n×2、…、n×(m-1)以及n×m大小的窗口。
6.根据权利要求1所述的一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述获取每个窗口的窗口序列以及目标子串,包括的步骤为:
将窗口的每一行的所有元素组成的二进制数作为一个二进制子段,将所有二进制子段构成的序列作为窗口序列;将相同的二进制子段视作一个类型,获取窗口序列占比最大的类型作为目标类型;获取窗口序列的多个子串,作为目标子串,所述目标子串只由目标类别组成。
7.根据权利要求1所述的一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述根据窗口序列以及目标子串获取每个窗口的优选程度,包括的步骤为:
其中为当前窗口的优选程度,/>为分组数据中二进制数据的个数;/>为窗口序列中属于目标类型的二进制子段的个数;/>为所有目标子串的平均长度;/>为分组数据中每个二进制数据的长度;/>为每个二进制子段的长度。
8.根据权利要求1所述的一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述获取新的分组矩阵,包括的步骤为:
将分组矩阵中优选程度最大的窗口未覆盖的位置的元素构成新的分组矩阵。
9.根据权利要求1所述的一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述获取分层数据的多个第一子串以及第二子串,包括的步骤为:
将分层数据中相同的数据作为一个数据类别,获取分层数据的多个第一子串,每个第一子串只由同一种数据类别组成;获取分组数据的多个第二子串,每个第二子串中所有相邻两个数据的数据类别都不同。
10.根据权利要求1所述的一种基于数字孪生的新能源动态电价数据管理系统,其特征在于,所述根据第一子串以及第二子串获取分层数据的最优滑动窗口大小,包括的步骤为:
其中为分层数据的最优滑动窗口大小,/>为第一子串的个数;/>为第/>个第一子串的长度;/>为所有第一子串的长度的最大值;/>为所有第一子串的长度的最小值;/>为第二子串的个数;/>为第/>个第二子串的长度;/>为所有第二子串的长度的最大值;/>为所有第二子串的长度的最小值;/>为向上取整符号。
CN202310341321.7A 2023-04-03 2023-04-03 一种基于数字孪生的新能源动态电价数据管理系统 Active CN116051156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310341321.7A CN116051156B (zh) 2023-04-03 2023-04-03 一种基于数字孪生的新能源动态电价数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310341321.7A CN116051156B (zh) 2023-04-03 2023-04-03 一种基于数字孪生的新能源动态电价数据管理系统

Publications (2)

Publication Number Publication Date
CN116051156A CN116051156A (zh) 2023-05-02
CN116051156B true CN116051156B (zh) 2023-07-25

Family

ID=86127683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310341321.7A Active CN116051156B (zh) 2023-04-03 2023-04-03 一种基于数字孪生的新能源动态电价数据管理系统

Country Status (1)

Country Link
CN (1) CN116051156B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312613B (zh) * 2023-10-07 2024-03-08 杭州易靓好车互联网科技有限公司 基于云计算的订单数据智能管理方法及系统
CN117216022B (zh) * 2023-11-07 2024-02-02 湖南省致诚工程咨询有限公司 一种数字化工程咨询数据管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115296862A (zh) * 2022-07-14 2022-11-04 南京问量网络科技有限公司 一种基于数据编码的网络数据安全传输方法
CN115514375A (zh) * 2022-11-18 2022-12-23 江苏网进科技股份有限公司 一种缓存数据压缩方法
CN115544811A (zh) * 2022-11-23 2022-12-30 北京中航路通科技有限公司 应用于数字孪生模型的数据管理方法
CN115834887A (zh) * 2023-02-17 2023-03-21 济南霍兹信息科技有限公司 一种计算机系统的数据压缩存储方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650261B2 (en) * 2001-09-06 2003-11-18 Xerox Corporation Sliding window compression method utilizing defined match locations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115296862A (zh) * 2022-07-14 2022-11-04 南京问量网络科技有限公司 一种基于数据编码的网络数据安全传输方法
CN115514375A (zh) * 2022-11-18 2022-12-23 江苏网进科技股份有限公司 一种缓存数据压缩方法
CN115544811A (zh) * 2022-11-23 2022-12-30 北京中航路通科技有限公司 应用于数字孪生模型的数据管理方法
CN115834887A (zh) * 2023-02-17 2023-03-21 济南霍兹信息科技有限公司 一种计算机系统的数据压缩存储方法

Also Published As

Publication number Publication date
CN116051156A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN116051156B (zh) 一种基于数字孪生的新能源动态电价数据管理系统
CN114244373B (zh) Lz系列压缩算法编解码速度优化方法
CN116192971B (zh) 智能云能源运维服务平台数据管理方法
CN116681036B (zh) 基于数字孪生的工业数据存储方法
KR101049699B1 (ko) 데이터의 압축방법
EP0438955B1 (en) Data compression method
CN115204754B (zh) 一种基于大数据的热力供需信息管理平台
US20060069857A1 (en) Compression system and method
CN110868223B (zh) 一种哈夫曼编码的数值运算实现方法及电路
CN117155407B (zh) 一种智慧镜柜消毒日志数据优化存储方法
CN107565973A (zh) 一种结点可扩展的哈夫曼编码的实现方法及电路结构
CN103974066B (zh) 视频编码方法和设备
CN102724505B (zh) Jpeg_ls游程编码fpga实现方法
CN116961672A (zh) 基于Transformer编码器的无损数据压缩方法
CN116934487A (zh) 一种金融清算数据优化存储方法及系统
CN116109714A (zh) 基于神经网络的数据编码存储方法及系统
US20130222159A1 (en) Entropy method of binary-ternary lossless data coding
CN114095035A (zh) 一种依托云字典基于字节的无损压缩方法
CN114429200A (zh) 规范化哈夫曼编解码方法及神经网络计算芯片
CN116405037B (zh) 一种面向天文星表的压缩预处理编码器、应用
EP4014128A1 (en) Semi-sorting compression with encoding and decoding tables
Vatedka et al. Local decoding and update of compressed data
Shu et al. A two-stage data compression method for real-time database
CN115765751A (zh) 一种基于异或幂与取模运算的数据压缩算法
CN117156014B (zh) 一种工程造价数据优化存储方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Han Xiao

Inventor after: Yu Jiao

Inventor after: Ren Zheng

Inventor after: Huang Yi

Inventor after: Wang Dong

Inventor after: Zheng Xiaofen

Inventor after: Luo Wei

Inventor before: Zheng Xiaofen

Inventor before: Luo Wei

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231218

Address after: 188 Shangzhi street, Daoli District, Harbin City, Heilongjiang Province

Patentee after: STATE GRID HEILONGJIANG ELECTRIC POWER CO., LTD., HARBIN POWER SUPPLY Co.

Patentee after: STATE GRID CORPORATION OF CHINA

Address before: Building 2, Building 1, Yard 1, Jiuqiao Road, Daxing District, Beijing, 100000-101-77

Patentee before: Beijing Zhiyi Yangfan Technology Co.,Ltd.