CN117938886A - 基于强化学习的跨链区块多源选择存储方法及系统 - Google Patents
基于强化学习的跨链区块多源选择存储方法及系统 Download PDFInfo
- Publication number
- CN117938886A CN117938886A CN202410341075.XA CN202410341075A CN117938886A CN 117938886 A CN117938886 A CN 117938886A CN 202410341075 A CN202410341075 A CN 202410341075A CN 117938886 A CN117938886 A CN 117938886A
- Authority
- CN
- China
- Prior art keywords
- storage
- block
- overhead
- cross
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000002787 reinforcement Effects 0.000 title claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000005457 optimization Methods 0.000 claims abstract description 28
- 230000007704 transition Effects 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 5
- 230000009471 action Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Accounting & Taxation (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Algebra (AREA)
- Economics (AREA)
- Probability & Statistics with Applications (AREA)
- Technology Law (AREA)
- Development Economics (AREA)
- Computational Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于强化学习的跨链区块多源选择存储方法及系统，对区块链系统中影响存储位置的因素进行定义；构造优化目标函数；将优化目标转化为马尔科夫决策过程，基于马尔科夫决策过程定义状态空间、操作空间、状态迁移函数和奖励函数四元组；基于所述四元组，构造深度强化学习算法，在每个时刻接收来自环境的反馈并计算奖励，通过观察区块链账本选择区块链，确定存储位置，进而优化本地和云端的区块存储策略。
Description
技术领域
本发明专利涉及移动设备较多且事务交互密集的区块链系统，具体涉及一种基于强化学习的跨链区块多源选择存储方法及系统。
背景技术
区块链网络中的每个对等方都维护着账本的完整副本，并通过共识进行更新。这种完全复制方法给对等端的存储空间带来了负担。尤其是在频发交易的移动终端或IOT终端，将很快超过存储容量的限制。
目前的解决方案是本地区块与云区块集成的办法，即允许本地存储与云存储交互，共同维护区块链账本。但问题是，哪些区块存储在本地，哪些区块存储在云端。在交互性强的区块链系统，存在三种不同的查询情况且情况随机，即固定频次的查询、线性衰减/增长的频次的查询和指数衰减/增长的频次查询。因为，本地访存的效率高于云端，而如何平衡本地和云端的区块存储策略是对区块链系统性能的挑战。
发明内容
本发明要解决的技术问题是：提供一种基于强化学习的跨链区块多源选择存储方法及系统，能够优化本地和云端的区块存储策略。
本发明为解决上述技术问题所采取的技术方案为：一种基于强化学习的跨链区块多源选择存储方法，包括以下步骤：
S1、对区块链系统中影响存储位置的因素进行定义；所述的影响存储位置的因素包括访问频率、云存储开销、本地存储开销和跨链交易开销；
S2、基于所述因素的定义，构造优化目标函数，其中将目标块从本地移动到云端和从云端移动到本地的优化目标一致；
S3、将优化目标转化为马尔科夫决策过程，基于马尔科夫决策过程定义状态空间、操作空间、状态迁移函数和奖励函数四元组，四元组中的参数均来自所述优化目标函数，其中，
所述的优化目标为从区块链总数中选择M个转移到云上存储；M为转移的理想区块个数；
状态空间由每一次动作的状态构成，每一次动作的状态包括访问频率、区块大小和区块状态的集合；
操作空间由操作动作构成，每个操作动作定义一次性操作区块的数量；
状态迁移函数定义了通过操作动作把区块链账本从状态空间中的一个状态转换到另一个状态的条件概率；
奖励函数依据所述访问频率、云存储开销、本地存储开销和跨链交易开销的目标构造奖励规则建立；
S4、基于所述四元组，构造深度强化学习算法，在每个时刻接收来自环境的反馈并计算奖励，通过观察区块链账本选择区块链，确定存储位置；所述的环境为存储在区块链账本中的区块链；所述的环境的反馈通过所述状态迁移函数得到。
按上述方案，本方法在交易的空闲时间，每个区块链系统中的对等体上完成。
按上述方案，所述的访问频率具体包括固定频次访问、线性变化频次访问和指数变化频次访问三种情况下的交易频次和卸载概率；
所述的云存储开销利用代价函数建立，由存储代价和带有权衡因子的延迟开销组合构成；
所述的本地存储开销根据本地能够存储的最大区块数和准备存储的区块数得到；
所述的跨链交易开销根据跨链交易初始开销、每一次跨链交易请求的增量开销、跨链交易请求次数和一个预设的极大常数得到。
按上述方案，所述的访问频率具体定义如下：
其中，是初始频次，t是时间，/>和/>是常数，/>为区块的交易频次，即区块被创造的频次；
表示第k个区块的卸载频率，t=0的时候为初始频率，被访问的频次越高说明被卸载的概率越低，N为所有区块链的区块总数；/>表示M个被选中的区块的卸载概率和；表示归一化后第k个区块的卸载概率；k是0到N之间滑动的待卸载区块链数量。
按上述方案，所述的云存储开销具体定义如下：
式中，为延迟开销，/>表示网络连接建立引起的往返时间，/>为区块的存储大小，B表示带宽；/>为存储代价，由静态代价和请求代价两部分构成，/>表示云存储单元平均代价，/>表示本地链中服务请求的次数，/>表示请求单元平均代价，每个请求单元包括区块链的单元信息和区块大小；/>为云存储开销，/>为权衡因子， M为转移的理想区块个数。
按上述方案，所述的本地存储开销具体定义如下：
式中，为本地能够存储的最大的区块数量，D表示本地可用存储空间，/>表示平均每个区块的大小，M为转移的理想区块个数，N为区块链的区块总数。
按上述方案，所述的跨链交易开销具体定义如下：
式中，为跨链交易开销，c是预设的极大常数，表示跨链交易初始开销，/>表示第i次请求的增量开销，i为第i次请求，r表示跨链服务请求的次数。
按上述方案，构造的优化目标函数具体如下：
式中，为区块的卸载概率的优化目标，由以下公式得到：
按上述方案，所述的状态空间定义如下：
,/>,/>
式中，为状态空间；/>为访问频率，即所述的/>，/>-/>分别为第1-N个区块的访问频率；/>为区块的存储大小，即所述的/>，/>-/>分别为第1-N个区块的存储大小；为区块状态，类型包括本地块和跨链块，/>-/>分别为第1-N个区块的区块状态；
所述的操作空间定义如下：
即当k的数量在1-N之间时，一次性操作k个区块，否则不操作；
所述的奖励函数具体定义如下：
式中，为云存储最大的开销；R为奖励，/>为t时刻的奖励；/>为本地已经被占用的存储，/>表示本地最大可使用的物理存储，/>表示云上最大可用的开销，/>表示云上区块的开销；/>表示不同开销下对应的权值，且/>；
所述的状态迁移函数具体定义如下：
式中，为区块链账本状态；/>为通过动作/>把账本状态s转换到s’的条件概率；/>为本地链的动作/>把账本状态s转换到s’的条件概率；/>为跨链的动作/>把账本状态s转换到s’的条件概率；/>表示滤波操作，即没有发生跨链请求时不响应；/>表示经过动作/>把账本状态s转换到/>，/>表示反向操作。
基于强化学习的跨链区块多源选择存储系统，本系统包括控制单元和存储单元，存储单元中存有计算机程序供所述控制单元调用，以完成所述的基于强化学习的跨链区块多源选择存储方法。
本发明的有益效果为：
1、通过对区块链系统中影响存储位置的因素进行定义及优化，将划分区块存储位置的目标优化问题转化为马尔科夫决策过程，利用深度强化学习算法对马尔科夫决策过程进行求解，从而决策区块的存储位置——本地存储或云上存储，进而优化本地和云端的区块存储策略。
2、本方法在交易的空闲时间完成，从而保证系统性能稳定，进一步提高访存效率。
附图说明
图1为本发明一实施例的原理图。
图2为区块选择的马尔科夫决策过程示意图。
图3为本发明一实施例的方法流程图。
具体实施方式
下面结合具体实例和附图对本发明作进一步说明。
区块链是去中心的对等系统，每个操作都是在对等双方之间开展的，操作方需要操作资源方的资源。而资源方的资源可能储存在云端或者本地，这就需要优化存储策略解决操作效率问题。由于各个终端可能处于不同的网络和组织，有着各自的区块链系统。数据之间的交互会存在跨链情况，本地和云端可能存储了不同链的账本，这就给带块的选择策略来了难度。为避免求解全局最优解带来的系统性能问题，本发明采取求解每个对等体的单个最优解的策略，实现计算的可行性。
应用系统向本地链发起提交或查询交易。本地链上的对等服务根据业务类型，能够处理本地链交易或者跨链交易，从而产生区块或者接收区块。基于区块存储位置对区块链系统性能的影响。
具体的，本发明提供一种基于强化学习的跨链区块多源选择存储方法，如图3所示，包括以下步骤：
S1、对区块链系统中影响存储位置的因素进行定义；所述的影响存储位置的因素包括访问频率、云存储开销、本地存储开销和跨链交易开销。
在交互性强的区块链系统，存在三种不同的访问情况且情况随机，即固定频次的访问，线性衰减/增长的频次的访问和指数衰减/增长的频次访问。所述的访问频率具体包括固定频次访问、线性变化频次访问和指数变化频次访问三种情况下的交易频次和卸载概率，具体定义如下：
其中，是初始频次，t是时间，/>和/>是常数，根据具体环境确定，/>为区块的交易频次，即区块被创造的频次；
表示第k个区块的卸载频率，t=0的时候为初始频率，被访问的频次越高说明被卸载的概率越低，N为所有区块链的区块总数，包括本地存储区块链和云端存储区块链；表示M个被选中的区块的卸载概率和，用于归一化；/>表示归一化后第k个区块的卸载概率；k是0到N之间滑动的待卸载区块链数量，例如：若k=1，则从第1到M个区块存储到云端；若k=3，则从第3到M+2个区块存储到云端。
所述的云存储开销利用代价函数建立，由存储代价和带有权衡因子的延迟开销组合构成，具体定义如下：
式中，为延迟开销，/>表示网络连接建立引起的往返时间，/>为区块的存储大小，B表示带宽；/>为存储代价，由静态代价和请求代价两部分构成，/>表示云存储单元平均代价，/>表示本地链中服务请求的次数，/>表示请求单元平均代价，每个请求单元包括区块链的单元信息和区块大小；/>为云存储开销，/>为权衡因子， M为转移的理想区块个数。时延越小代价越高，时延越大代价越接近0。
所述的本地存储开销根据本地能够存储的最大区块数和准备存储的区块数得到，具体定义如下：
式中，为本地能够存储的最大的区块数量，D表示本地可用存储空间，/>表示平均每个区块的大小，M为转移的理想区块个数，N为区块链的区块总数。
跨链交易发生概率一般远小于本地交易发生的概率，如果出现连续跨链请求开销会极具增加,但会由于跨链中继等机制收敛到一个常数。所述的跨链交易开销根据跨链交易初始开销、每一次跨链交易请求的增量开销、跨链交易请求次数和一个预设的极大常数得到，具体定义如下：
式中，为跨链交易开销，c是预设的极大常数（注：跨链系统不可能发生的巨大开销），表示跨链交易初始开销，/>表示第i次请求的增量开销，i为第i次请求，r表示跨链服务请求的次数，跨链交易跨链交易发生概率一般远小于本地交易发生的概率。
S2、基于所述因素的定义，构造优化目标函数，其中将目标块从本地移动到云端和从云端移动到本地的优化目标一致。
构造的优化目标函数具体如下：
式中，为区块的卸载概率的优化目标，由以下公式得到：
S3、将优化目标转化为马尔科夫决策过程(Markov Decision Process ，MDP)，基于马尔科夫决策过程定义状态空间、操作空间、状态迁移函数和奖励函数四元组，四元组中的参数均来自所述优化目标函数。其中，
所述的优化目标为从区块链总数中选择M个转移到云上存储；M为转移的理想区块个数。
状态空间由每一次动作的状态构成，每一次动作的状态包括访问频率、区块大小和区块状态的集合；所述的状态空间定义如下：
,/>,/>
式中，为状态空间；/>为访问频率，即所述的/>，/>-/>分别为第1-N个区块的访问频率；/>为区块的存储大小，即所述的/>，/>-/>分别为第1-N个区块的存储大小；为区块状态，类型包括本地块和跨链块，/>-/>分别为第1-N个区块的区块状态。
操作空间由操作动作构成，每个操作动作定义一次性操作区块的数量；操作空间定义如下：
即当k的数量在1-N之间时，一次性操作k个区块，否则不操作。
奖励函数依据所述访问频率、云存储开销、本地存储开销和跨链交易开销的目标构造奖励规则建立，具体定义如下：
式中，为云存储最大的开销，动态得到，每次得到云存储开销后进行比较，其中的最大值；R为奖励，/>为t时刻的奖励；/>为本地已经被占用的存储，/>表示本地最大可使用的物理存储，/>表示云上最大可用的开销，/>表示云上区块的开销；/>表示不同开销下对应的权值，且/>。
状态迁移函数定义了通过操作动作把区块链账本从状态空间中的一个状态转换到另一个状态的条件概率。
S4、基于所述四元组，构造深度强化学习算法（deep reinforcement learning，DRL)，在每个时刻接收来自环境的反馈并计算奖励，通过观察区块链账本选择区块链，确定存储位置；所述的环境为存储在区块链账本中的区块链；所述的环境的反馈通过所述状态迁移函数得到。
所述的状态迁移函数具体定义如下：
式中，为区块链账本状态；/>为通过动作/>把账本状态s转换到s’的条件概率；/>为本地链的动作/>把账本状态s转换到s’的条件概率；/>为跨链的动作/>把账本状态s转换到s’的条件概率；/>表示滤波操作，即没有发生跨链请求时不响应；/>表示经过动作/>把账本状态s转换到/>，/>表示反向操作。
如图2所示，账本状态S0通过动作a0转换到S1的状态，其奖励为R(S0,a0,S1), 账本状态S1通过反向动作a0转换到S0的状态。
本发明支持任意的策略作为DRL的策略。
本发明还提供一种基于强化学习的跨链区块多源选择存储系统，本系统包括控制单元和存储单元，存储单元中存有计算机程序供所述控制单元调用，以完成所述的基于强化学习的跨链区块多源选择存储方法。
如图1所示，本发明能够通过强化学习代理与账本存储环境交互，分析账本状态决策区块是在本地存储或云上存储，即支持块在云上或本地的双向移动。综合考虑查询成本，动态选择区块链实现自适应，解决应用中不断变化的块查询需求。我们通过马尔科夫决策过程选择区块，根据链上的区块状态、可用的操作以及该操作产生的回报来建模区块链环境。由于其决策是在空闲时间进行的，因此不会引起系统性能问题。
进一步的，本发明将区块选择的多目标优化问题转化为马尔科夫决策过程加以解决。采用深度强化学习的方法，找到最优的马尔科夫决策过程。其中，本发明支持任意的策略作为深度强化学习的策略，来解决块选择问题，分析并实现其性能增益。本发明基于强化学习的自适应自决策的分布式区块选择方法为时间敏感的区块链环境提供了自适应和动态的解决方案。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于强化学习的跨链区块多源选择存储方法，其特征在于：包括以下步骤：
S1、对区块链系统中影响存储位置的因素进行定义；所述的影响存储位置的因素包括访问频率、云存储开销、本地存储开销和跨链交易开销；
S2、基于所述因素的定义，构造优化目标函数，其中将目标块从本地移动到云端和从云端移动到本地的优化目标一致；
S3、将优化目标转化为马尔科夫决策过程，基于马尔科夫决策过程定义状态空间、操作空间、状态迁移函数和奖励函数四元组，四元组中的参数均来自所述优化目标函数，其中，
所述的优化目标为从区块链总数中选择M个转移到云上存储；M为转移的理想区块个数；
状态空间由每一次动作的状态构成，每一次动作的状态包括访问频率、区块大小和区块状态的集合；
操作空间由操作动作构成，每个操作动作定义一次性操作区块的数量；
状态迁移函数定义了通过操作动作把区块链账本从状态空间中的一个状态转换到另一个状态的条件概率；
奖励函数依据所述访问频率、云存储开销、本地存储开销和跨链交易开销的目标构造奖励规则建立；
S4、基于所述四元组，构造深度强化学习算法，在每个时刻接收来自环境的反馈并计算奖励，通过观察区块链账本选择区块链，确定存储位置；所述的环境为存储在区块链账本中的区块链；所述的环境的反馈通过所述状态迁移函数得到。
2.根据权利要求1所述的基于强化学习的跨链区块多源选择存储方法，其特征在于：本方法在交易的空闲时间，每个区块链系统中的对等体上完成。
3.根据权利要求1所述的基于强化学习的跨链区块多源选择存储方法，其特征在于：所述的访问频率具体包括固定频次访问、线性变化频次访问和指数变化频次访问三种情况下的交易频次和卸载概率；
所述的云存储开销利用代价函数建立，由存储代价和带有权衡因子的延迟开销组合构成；
所述的本地存储开销根据本地能够存储的最大区块数和准备存储的区块数得到；
所述的跨链交易开销根据跨链交易初始开销、每一次跨链交易请求的增量开销、跨链交易请求次数和一个预设的极大常数得到。
4.根据权利要求3所述的基于强化学习的跨链区块多源选择存储方法，其特征在于：所述的访问频率具体定义如下：
其中，是初始频次，t是时间，/>和/>是常数，/>为区块的交易频次，即区块被创造的频次；
表示第k个区块的卸载频率，t=0的时候为初始频率，被访问的频次越高说明被卸载的概率越低，N为所有区块链的区块总数；/>表示M个被选中的区块的卸载概率和；/>表示归一化后第k个区块的卸载概率；k是0到N之间滑动的待卸载区块链数量。
5.根据权利要求4所述的基于强化学习的跨链区块多源选择存储方法，其特征在于：所述的云存储开销具体定义如下：
式中，为延迟开销，/>表示网络连接建立引起的往返时间，/>为区块的存储大小，B表示带宽；/>为存储代价，由静态代价和请求代价两部分构成，/>表示云存储单元平均代价，/>表示本地链中服务请求的次数，/>表示请求单元平均代价，每个请求单元包括区块链的单元信息和区块大小；/>为云存储开销，/>为权衡因子， M为转移的理想区块个数。
6.根据权利要求5所述的基于强化学习的跨链区块多源选择存储方法，其特征在于：所述的本地存储开销具体定义如下：
式中，为本地能够存储的最大的区块数量，D表示本地可用存储空间，/>表示平均每个区块的大小，M为转移的理想区块个数，N为区块链的区块总数。
7.根据权利要求6所述的基于强化学习的跨链区块多源选择存储方法，其特征在于：所述的跨链交易开销具体定义如下：
式中，为跨链交易开销，c是预设的极大常数，表示跨链交易初始开销，/>表示第i次请求的增量开销，i为第i次请求，r表示跨链服务请求的次数。
8.根据权利要求7所述的基于强化学习的跨链区块多源选择存储方法，其特征在于：构造的优化目标函数具体如下：
式中，为区块的卸载概率的优化目标，由以下公式得到：
。
9. 根据权利要求8所述的基于强化学习的跨链区块多源选择存储方法，其特征在于：所述的状态空间定义如下：
,/>,/>
式中，为状态空间；/>为访问频率，即所述的/>，/>-/>分别为第1-N个区块的访问频率；/>为区块的存储大小，即所述的/>，/>-/>分别为第1-N个区块的存储大小；/>为区块状态，类型包括本地块和跨链块，/>-/>分别为第1-N个区块的区块状态；
所述的操作空间定义如下：
即当k的数量在1-N之间时，一次性操作k个区块，否则不操作；
所述的奖励函数具体定义如下：
式中，为云存储最大的开销；R为奖励，/>为t时刻的奖励；/>为本地已经被占用的存储，/>表示本地最大可使用的物理存储，/>表示云上最大可用的开销，/>表示云上区块的开销；/>表示不同开销下对应的权值，且/>；
所述的状态迁移函数具体定义如下：
式中，为区块链账本状态；/>为通过动作/>把账本状态s转换到s’的条件概率；/>为本地链的动作/>把账本状态s转换到s’的条件概率；/>为跨链的动作/>把账本状态s转换到s’的条件概率；/> 表示滤波操作，即没有发生跨链请求时不响应；表示经过动作/>把账本状态s转换到/>，/>表示反向操作。
10.基于强化学习的跨链区块多源选择存储系统，其特征在于：本系统包括控制单元和存储单元，存储单元中存有计算机程序供所述控制单元调用，以完成权利要求1至9中任意一项所述的基于强化学习的跨链区块多源选择存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410341075.XA CN117938886B (zh) | 2024-03-25 | 2024-03-25 | 基于强化学习的跨链区块多源选择存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410341075.XA CN117938886B (zh) | 2024-03-25 | 2024-03-25 | 基于强化学习的跨链区块多源选择存储方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117938886A true CN117938886A (zh) | 2024-04-26 |
| CN117938886B CN117938886B (zh) | 2024-07-26 |
Family
ID=90765120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410341075.XA Active CN117938886B (zh) | 2024-03-25 | 2024-03-25 | 基于强化学习的跨链区块多源选择存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117938886B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190173666A1 (en) * | 2017-12-01 | 2019-06-06 | International Business Machines Corporation | Hierarchical blockchain consensus optimazation scheme |
| CN111245886A (zh) * | 2019-11-29 | 2020-06-05 | 武汉烽火信息集成技术有限公司 | 一种基于区块链的多方协作系统、方法及存储介质 |
| CN111414431A (zh) * | 2020-04-28 | 2020-07-14 | 武汉烽火技术服务有限公司 | 基于区块链技术的网络运维数据容灾备份管理方法及系统 |
| CN112699416A (zh) * | 2021-01-04 | 2021-04-23 | 烽火通信科技股份有限公司 | 文件存储方法、文件验证方法及电子设备 |
| US20210352134A1 (en) * | 2020-01-19 | 2021-11-11 | Bernt Erik Bjontegard | Contextual intelligence of every-thing communication platform integrating edge computation, augmented intelligence and distributed ledger data storage nodes and tokens for real world data interactions across internet of things with payment integration |
| CN114138711A (zh) * | 2021-12-02 | 2022-03-04 | 东软集团股份有限公司 | 文件迁移方法、装置、存储介质及电子设备 |
| CN115248811A (zh) * | 2021-12-10 | 2022-10-28 | 长沙理工大学 | 一种可扩展的协作式区块链区块存储方法以及装置 |
| CN116055488A (zh) * | 2023-01-10 | 2023-05-02 | 北京邮电大学 | 面向物联网中基于区块链技术的联邦学习能效优化方法 |
| CN116827515A (zh) * | 2023-06-28 | 2023-09-29 | 苏州中析生物信息有限公司 | 一种基于区块链和强化学习的雾计算系统性能优化算法 |
-
2024
- 2024-03-25 CN CN202410341075.XA patent/CN117938886B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190173666A1 (en) * | 2017-12-01 | 2019-06-06 | International Business Machines Corporation | Hierarchical blockchain consensus optimazation scheme |
| CN111245886A (zh) * | 2019-11-29 | 2020-06-05 | 武汉烽火信息集成技术有限公司 | 一种基于区块链的多方协作系统、方法及存储介质 |
| US20210352134A1 (en) * | 2020-01-19 | 2021-11-11 | Bernt Erik Bjontegard | Contextual intelligence of every-thing communication platform integrating edge computation, augmented intelligence and distributed ledger data storage nodes and tokens for real world data interactions across internet of things with payment integration |
| CN111414431A (zh) * | 2020-04-28 | 2020-07-14 | 武汉烽火技术服务有限公司 | 基于区块链技术的网络运维数据容灾备份管理方法及系统 |
| CN112699416A (zh) * | 2021-01-04 | 2021-04-23 | 烽火通信科技股份有限公司 | 文件存储方法、文件验证方法及电子设备 |
| CN114138711A (zh) * | 2021-12-02 | 2022-03-04 | 东软集团股份有限公司 | 文件迁移方法、装置、存储介质及电子设备 |
| CN115248811A (zh) * | 2021-12-10 | 2022-10-28 | 长沙理工大学 | 一种可扩展的协作式区块链区块存储方法以及装置 |
| CN116055488A (zh) * | 2023-01-10 | 2023-05-02 | 北京邮电大学 | 面向物联网中基于区块链技术的联邦学习能效优化方法 |
| CN116827515A (zh) * | 2023-06-28 | 2023-09-29 | 苏州中析生物信息有限公司 | 一种基于区块链和强化学习的雾计算系统性能优化算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117938886B (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhong et al. | A deep reinforcement learning-based framework for content caching | |
| CN106095589B (zh) | 一种分配分区的方法、装置及系统 | |
| CN113098714B (zh) | 基于强化学习的低时延网络切片方法 | |
| US20110161294A1 (en) | Method for determining whether to dynamically replicate data | |
| CN112118312A (zh) | 一种面向边缘服务器的网络突发负载疏散方法 | |
| CN104166630A (zh) | 一种面向内容中心网络中基于预测的最优化缓存放置方法 | |
| CN110209693A (zh) | 高并发数据查询方法、装置、系统、设备及可读存储介质 | |
| CN113411826A (zh) | 一种基于注意力机制强化学习的边缘网络设备缓存方法 | |
| CN101801036A (zh) | 网络流量管理方法及系统、普通节点 | |
| CN117938886B (zh) | 基于强化学习的跨链区块多源选择存储方法及系统 | |
| CN116489712A (zh) | 一种基于深度强化学习的移动边缘计算任务卸载方法 | |
| CN111241052B (zh) | 一种基于凸优化方法的分布式文件系统数据放置方法 | |
| CN110336706B (zh) | 网络报文传输处理方法和装置 | |
| CN113115362A (zh) | 协同边缘缓存方法及装置 | |
| Kamali et al. | Dynamic data allocation with replication in distributed systems | |
| EP3955128B1 (en) | Optimization of files compression | |
| JP3645135B2 (ja) | 並列多目標追尾装置 | |
| CN116389266A (zh) | 一种基于强化学习的数字孪生网络切片的方法和装置 | |
| CN109600432A (zh) | 内容中心移动边缘网络用户动态接入方法 | |
| Hatami et al. | Online caching policy with user preferences and time-dependent requests: A reinforcement learning approach | |
| CN112363676A (zh) | 基于低访问延迟分布式存储系统的控制方法及系统 | |
| Huang et al. | CRMS: a centralized replication management scheme for cloud storage system | |
| JP2009217602A (ja) | ファイル複製要否判定方法、通信装置、コンピュータプログラム及びピアツーピア型通信システム | |
| CN116320843B (zh) | 弹性光网络的队列请求调动方法和装置 | |
| Bienkowski et al. | Optimal algorithms for page migration in dynamic networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |