CN110968458A - 一种面向非易失处理器的基于增强学习的备份系统及方法 - Google Patents

一种面向非易失处理器的基于增强学习的备份系统及方法 Download PDF

Info

Publication number
CN110968458A
CN110968458A CN201911174721.3A CN201911174721A CN110968458A CN 110968458 A CN110968458 A CN 110968458A CN 201911174721 A CN201911174721 A CN 201911174721A CN 110968458 A CN110968458 A CN 110968458A
Authority
CN
China
Prior art keywords
backup
action
state
energy
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911174721.3A
Other languages
English (en)
Other versions
CN110968458B (zh
Inventor
赵梦莹
范玮
申兆岩
蔡晓军
贾智平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201911174721.3A priority Critical patent/CN110968458B/zh
Publication of CN110968458A publication Critical patent/CN110968458A/zh
Application granted granted Critical
Publication of CN110968458B publication Critical patent/CN110968458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明公开了一种面向非易失处理器的基于增强学习的备份系统及方法，包括：能量获取模块，被配置为从外界能量源中获取能量并为自身电源进行充电；数据处理模块，被配置为处理和存储数据和指令；备份控制器，被配置为根据电源的当前电量以及由数据处理模块提供的需要备份的数据的数量信息，并结合记录了对之前在某一状态下进行的选择的评估值的历史信息Q表和对本次执行结果的即时奖赏，向数据处理模块发送执行备份动作指令或者继续执行当前动作指令。本发明有益效果：基于增强学习的备份方法不需要线下分析，可以在运行程序的时候动态决定备份的时机，达到推进程序执行进度，提高能量利用率的效果。

Description

一种面向非易失处理器的基于增强学习的备份系统及方法
技术领域
本发明涉及自供能嵌入式系统技术领域，尤其涉及一种面向非易失处理器的基于增强学习的备份系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
自供能嵌入式系统通过收集环境中的能量(Energy Harvesting)，如太阳能、风能等作为嵌入式设备的能量输入，该系统可以克服电池供电带来的体积大、重量大、安全性差以及频繁充电的问题，在可穿戴/植入设备和部署在森林、高山上的物联网终端中广泛应用。从环境中收集的能量环保、可持续生成，但是其却是不稳定的。在不稳定的能量供应下，断电后自供能设备会丢失易失(Volatile)数据，程序执行过程被中断。恢复供电之后，由于存储在易失存储器中的数据丢失，处理器不得不重新执行程序，如果被执行的程序是一个比较大的程序，在不稳定的能量输入环境中，它会不断被重复执行甚至永远无法完成。
为了使自供能设备能够在能量收集环境中进行间断计算(IntermittentComputing)，也就是在不稳定的供电情况下，可以在恢复供电之后接着断电之前的程序执行进度继续执行，非易失处理器(Non-Volatile Processor)应运而生。非易失处理器在断电之前把易失数据备份(Backup)到一块非易失存储器(Non-Volatile Memory)中，非易失存储器中的数据是掉电不丢失的，在来电之后，再将非易失存储器中的数据恢复(Resume)回去，这样处理器就可以继续执行之前的程序了。由于数据备份需要消耗能量，所以非易失处理器需要确定备份的时间，以预留出足够的能量给备份操作，防止因备份操作无法完成而产生的数据不一致问题，保证程序执行的正确性。而如果备份操作被触发的过早，会有部分本来能用于执行指令的能量被浪费。因此，备份操作应在能量剩余充足的时候被触发，同时又要保证在备份之后剩余的能量尽可能的少，以减少能量浪费，让更多的能量用于执行程序，推进程序的执行进度。那么在非易失处理器中，决定备份的时机就特别重要了。而且由于环境的多变性，非易失处理器希望在运行时进行备份决策而无需线下分析，以适应不同的环境，提高实用性。
为了确保备份能够成功完成，一种保守的备份方式是立即备份(InstantBackup)，即当电容器中的能量一旦少于最坏情况下备份需要消耗的能量时，备份操作被触发。立即备份可以保证备份的正确性，但是由于备份阈值设置的较高，会频繁触发备份操作，造成能量的浪费。还有一种方法是减少需要备份的内容，降低备份阈值，以提高能量的利用率，常见的有选择备份(即只备份被修改的数据)、压缩备份(即把需要备份的内容进行压缩)、栈大小感知的备份方法(即通过线下分析找到需要备份的内容较少的时机备份)。为了进一步将更多的能量用于执行程序，一些已有的设计欲在能量到达预设的阈值后，在备份之前利用剩余的能量再多执行几条指令。这种动态决策方法大多需要线下分析来确定一个安全的备份位置。
发明内容
为了解决上述问题，本发明提出了一种面向非易失处理器的基于增强学习的备份系统及方法，可以进行线上备份决策，在能量多的时候尽可能多地执行程序，能量少且可以保证成功备份的时候选择备份操作，达到提升程序执行进度的效果。
在一些实施方式中，采用如下技术方案：
一种面向非易失处理器的基于增强学习的备份系统，包括：
能量获取模块，被配置为从外界能量源中获取能量并为自身电源进行充电；
数据处理模块，被配置为处理和存储数据和指令；
备份控制器，被配置为根据电源的当前电量以及由数据处理模块提供的需要备份的数据的数量信息，并结合记录了对之前在某一状态下进行的选择的评估值的历史信息Q表和对本次执行结果的即时奖赏，向数据处理模块发送执行备份动作指令或者继续执行当前动作指令。
在另一些实施方式中，采用如下技术方案：
一种面向非易失处理器的基于增强学习的备份方法，包括：
根据设定类型数据的数量、电源的剩余电量以及下一条指令类型的状态信息，在存储有状态-动作对(State-action Pair)对应的Q值的非易失的Q表中，匹配出最优的动作；
根据匹配出的动作给出奖赏或惩罚，根据接收到的奖赏或惩罚计算相应的状态-动作对的Q值并存储在非易失的Q表中，作为下一次在该状态下选择动作的参考。
与现有技术相比，本发明的有益效果是：
(1)针对备份决策的问题，将Q-learning(Q学习)算法应用在非易失处理器中，提出了一种基于Q-learning的动态备份决策方法，将更多的能量用于执行程序，在保证成功备份的同时推进程序的执行进度；基于增强学习的备份方法不需要线下分析，可以在运行程序的时候动态决定备份的时机，达到推进程序执行进度，提高能量利用率的效果。
(2)将非易失处理器的备份决策问题规范化到Q-learning算法中，通过多角度分析影响备份决策问题的因素，定义了Q-learning中的动作和状态，使得分析结果更加精确。
(3)设计了一种奖励函数，以适应非易失处理器中的备份决策问题。
(4)针对备份失败或者指令执行失败的情况，设计了一种惩罚机制。通过惩罚，智能体可以有效规避备份失败或指令执行失败的情况，保证备份数据的正确性。
附图说明
图1是本发明实施例一中面向非易失处理器的基于增强学习的备份系统结构示意图；
图2是本发明实施例一中面向非易失处理器的基于增强学习的备份系统工作过程示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
在一个或多个实施方式中，公开了一种面向非易失处理器的基于增强学习的备份系统，参照图1，包括：
能量获取模块，被配置为从外界能量源中获取能量并为自身电源进行充电；
能量获取模块包括串联连接的稳压器和电容，能量获取模块可以从外界多种能量源中收集能量，如太阳能、风能等，经过稳压器转换后给电容充电，电容可以作为整个系统的供电模块。
数据处理模块，被配置为处理和存储数据和指令。
数据处理模块主要由处理单元、易失性高速缓存(cache)、非易失性主存(MainMemory)和一个用于存储备份数据的非易失存储器组成。
处理单元，用于控制指令的执行和处理数据；
易失性高速缓存(cache)，用于缓存处理器经常访问到的指令和数据；
非易失性主存(Main Memory)，用于存储数据和指令；
非易失存储器，用于存储备份数据；
为了减少需要备份的内容，在本实施例中我们采用选择备份的方法，即仅备份高速缓存中的“脏(Dirty)”数据。
备份控制器，被配置为根据电源的当前电量以及由数据处理模块提供的需要备份的数据的数量信息，并结合记录了对之前在某一状态下进行的选择的评估值的历史信息Q表和对本次执行结果的即时奖赏，向数据处理模块发送执行备份动作指令或者继续执行当前动作指令。
示例性的，参照图2，备份控制器包括智能体和非易失的Q表；非易失的Q表用于存储根据接收到的奖赏或惩罚计算出的相应状态-动作对的Q值。
智能体用于根据接收到的状态-动作对的奖赏或惩罚反馈信息，结合历史信息评估该状态-动作对的质量，并将所述质量值(QValue)保存到非易失的Q表中；
智能体根据学习到的策略，在某一状态集下匹配最优的动作；动作包括备份和不备份；状态集中至少包括：设定类型数据的数量、电源的剩余电量以及下一条指令的类型。
Q-learning的智能体根据环境的状态(State)，实施动作给环境，然后将环境反馈回来的给该状态-动作对的奖赏记录在Q表中作为以后动作选取的参考。通过对奖赏进行设置，使其与问题中要优化的目标一致，在一定时间的学习后，智能体可以根据Q表中的信息选择出在某一状态下能得到较大的奖赏的动作，最终在到达结束态时智能体可以得到一个可以最大化奖赏的策略。该策略可以帮助人们找到解决某一问题的最优解。在本实施例中，我们通过设置与决策备份问题相契合的状态、动作和奖赏，让Q-learning在若干次迭代学习之后得到一个较优的可以帮助我们决策备份时机的策略，以达到推进程序执行进度的目标。
(1)智能体的设计。
智能体是整个系统的“大脑”，它的主要工作是根据学习到的策略，在某一状态下选择合适的动作。环境会对其执行的动作将奖赏或惩罚反馈给智能体，智能体利用反馈信息和历史信息评估该状态-动作对的质量，同时将利用奖赏或惩罚值计算出来的Q值存在Q表中作为下一次在该状态下选择动作的参考。
在学习结束后，智能体可以给出一个最大化整体奖赏的策略，用于指导某一状态下的动作选择。
对于智能体来说，本发明实施例的工作重点集中在选择状态-动作对质量的评估方式，即如何计算状态-动作对的Q值，以及动作选择策略的设计上。
公式(1)是本发明实施例采用的状态-动作对质量评估公式，由即时奖励Rt+1和历史信息(st,at)共同决定。
在选择动作时，智能体可以简单地选择Q值大的动作，也可以通过随机的方式选择动作，以避免局部最优解。公式(2)展示了上述的动作选择策略。
Figure BDA0002289658190000071
Figure BDA0002289658190000072
(2)状态和动作的定义。
由于Q-learning用于决策非易失处理器是否进行备份操作，所以动作的设定可以简单地定义为备份和不备份。状态会直接影响备份操作的选择，因此状态的设置需要考虑影响备份决策的因素。电容器中的剩余能量和需要备份的“脏”数据的数量会直接影响备份的决策。
进一步来说，指令的类型也会影响是否备份的选择。对于计算型指令来说，它仅仅会改变寄存器中的内容，而访存指令会改变cache中“脏”数据的数量。因此如果下一条指令的类型是计算型，由于计算型指令不会改变需要备份的数据的数量，那么备份控制器倾向于选择继续执行。如若下一条指令是访存指令，它可能会增加“脏”数据的数量，为了确保备份的成功完成，备份控制器倾向于选择备份操作。所以为了区分这两种指令类型对备份决策带来的影响，本实施例将指令类型这一元素加入到状态中。这样，在本实施例中，动作集被定义为<备份，不备份>，状态集被定义为<“脏”数据的数量，电容中剩余的能量，指令类型>。
(3)奖赏和惩罚的定义。
奖赏和惩罚都是用于评价某一状态-动作对的质量，本发明认为当程序执行的尽可能远的同时，在断电之前保证了成功备份，这种情况是自供能系统要达到的目标，所以这种情形会被赋予一个较大的奖赏。并且，由于备份失败会带来数据丢失或者数据不一致的问题，以及指令的执行失败会导致程序回滚(Rollback)，所以如果在前期的学习过程中出现了剩余能量不足以支撑备份或者继续执行指令，而导致备份失败或执行失败的情况，我们需要给予这个状态-动作对一个惩罚，防止这种情况再次出现。
公式(3)是本发明设计的奖赏函数。当剩余能量较多时，动作“不备份”会收获较大的奖赏，这样系统就会继续执行程序。而随着能量不断消耗和程序的不断推进，动作“备份”的奖赏会逐渐超过“不备份”，通过实验调节参数p和q，这个奖赏函数就可以帮助智能体在不同的状态(结合剩余的能量和需要备份的内容)下找到合适的备份点。学习过程中，若剩余能量无法支撑备份甚至是执行一条指令，环境会给出一个惩罚，指导智能体下次在该状态时不要选择“坏”的动作，公式(4)是本发明设计的惩罚函数。
Figure BDA0002289658190000081
Qt+1(st,at)＝极小的负数(4)
本发明实施例针对备份决策的问题，将Q-learning算法应用在非易失处理器中，将更多的能量用于执行程序，在保证成功备份的同时推进程序的执行进度。
本发明实施例通过多角度分析影响备份决策问题的因素，定义了Q-learning中的动作和状态，保证了分析结果的全面、准确。
本发明实施例设计了一种奖励函数，以适应非易失处理器中的备份决策问题。
本发明实施例针对备份失败或者指令执行失败的情况，设计了一种惩罚机制。通过惩罚，智能体可以有效规避备份失败或指令执行失败的情况，保证备份数据的正确性。
实施例二
在一个或多个实施方式中，公开了一种面向非易失处理器的基于增强学习的备份方法，包括：
根据设定类型数据的数量、电源的剩余电量以及下一条指令类型的状态信息，在存储有状态-动作对应的Q值的非易失的Q表中，匹配出最优的动作；
根据匹配出的动作给出奖赏或惩罚，根据接收到的奖赏或惩罚计算相应的状态-动作对的Q值并存储在非易失的Q表中，作为下一次在该状态下选择动作的参考。
具体的工作步骤如下：
(1)当电容器中的能量不足时，备份控制器开始工作。
(2)环境提供当前的状态信息给智能体。
(3)智能体根据环境提供的状态信息，利用按照历史信息存储了状态-动作对的Q值的Q表，查找当前状态的动作集中的Q值较大的动作。
(4)环境根据智能体选择的动作给出反馈奖赏或惩罚。
(5)智能体根据收到的奖赏或惩罚更新Q表中相应的状态-动作对的Q值。
(6)若选择的动作是备份，备份结束后，待电容器中的电量充满后恢复数据，接着上次断电的位置继续执行。
上述方法的具体实现过程参照实施例一给出的说明。
本发明提出的备份方法可以动态地决策备份时机，在学习过程中，通过环境的状态输入根据Q表选择Q值较大的动作。执行动作后根据得到的奖赏或惩罚算出某一状态-动作对的Q值，并将该Q值更新到Q表中相应的位置。在本发明设计的Q-learning备份方法的学习过程结束后，可以得出一个用于指导非易失处理器进行备份决策的Q表。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种面向非易失处理器的基于增强学习的备份系统，其特征在于，包括：
能量获取模块，被配置为从外界能量源中获取能量并为自身电源进行充电；
数据处理模块，被配置为处理和存储数据和指令；
备份控制器，被配置为根据电源的当前电量以及由数据处理模块提供的需要备份的数据的数量信息，并结合记录了对之前在某一状态下进行的选择的评估值的历史信息Q表和对本次执行结果的即时奖赏，向数据处理模块发送执行备份动作指令或者继续执行当前动作指令。
2.如权利要求1所述的一种面向非易失处理器的基于增强学习的备份系统，其特征在于，所述能量获取模块包括：稳压器以及与其连接的电容；所述稳压器接收外界能量源的能量并转换为电压信号为电容充电。
3.如权利要求1所述的一种面向非易失处理器的基于增强学习的备份系统，其特征在于，所述数据处理模块包括：
处理单元，用于控制指令的执行和处理数据；
易失性高速缓存，用于缓存处理器经常访问到的指令和数据；
非易失性主存，用于存储数据和指令；
非易失存储器，用于存储备份数据。
4.如权利要求1所述的一种面向非易失处理器的基于增强学习的备份系统，其特征在于，所述备份控制器包括智能体和非易失的Q表；
所述智能体用于根据接收到的状态-动作对的奖赏或惩罚反馈信息，结合历史信息评估该状态-动作对的质量，并将所述质量值保存到非易失的Q表中；
所述智能体根据学习到的策略，在某一状态集下匹配最优的动作；所述动作包括备份和不备份；所述状态集中至少包括：设定类型数据的数量、电源的剩余电量以及下一条指令的类型。
5.如权利要求4所述的一种面向非易失处理器的基于增强学习的备份系统，其特征在于，所述智能体用于根据接收到的状态-动作对的奖赏或惩罚反馈信息，结合历史信息评估该状态-动作对的质量，具体为：
Figure FDA0002289658180000021
其中，st表示当前的状态，at表示执行的动作，st+1表示执行完动作后进入的下一个状态，Qt+1(st,at)表示本次对状态-动作对(st,at)的质量评估，Qt(st,at)表示Q表中存储的上次根据上述公式对该状态-动作对(st,at)的质量评估，α为学习率(Learning Rate)表示先前的学习信息对当前选择的影响，Rt+1表示即时奖励，γ为衰减因子(Discount Factor)表示下一个状态的质量对当前状态-动作对质量的影响。
6.如权利要求4所述的一种面向非易失处理器的基于增强学习的备份系统，其特征在于，所述智能体根据学习到的策略，在某一状态集下匹配最优的动作，具体为：
Figure FDA0002289658180000022
其中，ζ表示一个随机数；ε表示一个预设的值，其决定了随机选择动作的概率。
7.一种面向非易失处理器的基于增强学习的备份方法，其特征在于，包括：
根据设定类型数据的数量、电源的剩余电量以及下一条指令类型的状态信息，在存储有状态-动作对应的Q值的非易失的Q表中，匹配出最优的动作；
根据匹配出的动作给出奖赏或惩罚，智能体根据接收到的奖赏或惩罚计算相应的状态-动作对的Q值并存储在非易失的Q表中，作为下一次在该状态下选择动作的参考。
8.如权利要求7所述的一种面向非易失处理器的基于增强学习的备份方法，其特征在于，根据匹配出的动作给出奖赏，具体为：
Figure FDA0002289658180000031
其中，p和q为两个正数控制了剩余能量和程序执行进度对奖赏的影响程度，使用者可以通过调节这两个参数的大小来控制对不同动作的相对奖赏大小；剩余能量为电容器中的剩余能量；程序执行进度为当前位置距上次备份点执行的指令条数；
对某一状态-动作对(st,at)的惩罚的作用为下次在遇见状态st时不选择动作at，具体为：
Qt+1(st,at)＝极小的负数。
CN201911174721.3A 2019-11-26 2019-11-26 一种面向非易失处理器的基于增强学习的备份系统及方法 Active CN110968458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911174721.3A CN110968458B (zh) 2019-11-26 2019-11-26 一种面向非易失处理器的基于增强学习的备份系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911174721.3A CN110968458B (zh) 2019-11-26 2019-11-26 一种面向非易失处理器的基于增强学习的备份系统及方法

Publications (2)

Publication Number Publication Date
CN110968458A true CN110968458A (zh) 2020-04-07
CN110968458B CN110968458B (zh) 2022-03-29

Family

ID=70031758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911174721.3A Active CN110968458B (zh) 2019-11-26 2019-11-26 一种面向非易失处理器的基于增强学习的备份系统及方法

Country Status (1)

Country Link
CN (1) CN110968458B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737053A (zh) * 2020-06-22 2020-10-02 山东大学 一种基于指令分析的非易失处理器备份方法及系统
CN111752756A (zh) * 2020-06-24 2020-10-09 厦门靠谱云股份有限公司 一种自主学习设置数据库备份策略的方法
CN113946428A (zh) * 2021-11-02 2022-01-18 Oppo广东移动通信有限公司 一种处理器动态控制方法、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844101A (zh) * 2017-01-16 2017-06-13 山东大学 基于Cache感知的NVP性能优化备份方法及系统
CN106844103A (zh) * 2017-01-16 2017-06-13 山东大学 非易失处理器备份容量设定、内存备份方法及系统
US9754221B1 (en) * 2017-03-09 2017-09-05 Alphaics Corporation Processor for implementing reinforcement learning operations
CN107678887A (zh) * 2017-10-09 2018-02-09 首都师范大学 非易失性处理器中基于维持态的能量分配方法及系统
CN108512894A (zh) * 2018-02-05 2018-09-07 集能芯成科技（北京）有限公司 一种面向自供能传感网的分布式负载均衡方法及系统
CN108604310A (zh) * 2015-12-31 2018-09-28 威拓股份有限公司 用于使用神经网络架构来控制分配系统的方法、控制器和系统
CN108733508A (zh) * 2017-04-17 2018-11-02 伊姆西Ip控股有限责任公司 用于控制数据备份的方法和系统
CN109116968A (zh) * 2018-08-06 2019-01-01 清华大学 写策略控制方法、系统及其适用的电子设备
CN109144214A (zh) * 2018-08-06 2019-01-04 清华大学 能量管理系统、方法、电子设备、装置及非易失处理器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604310A (zh) * 2015-12-31 2018-09-28 威拓股份有限公司 用于使用神经网络架构来控制分配系统的方法、控制器和系统
CN106844101A (zh) * 2017-01-16 2017-06-13 山东大学 基于Cache感知的NVP性能优化备份方法及系统
CN106844103A (zh) * 2017-01-16 2017-06-13 山东大学 非易失处理器备份容量设定、内存备份方法及系统
US9754221B1 (en) * 2017-03-09 2017-09-05 Alphaics Corporation Processor for implementing reinforcement learning operations
CN108733508A (zh) * 2017-04-17 2018-11-02 伊姆西Ip控股有限责任公司 用于控制数据备份的方法和系统
CN107678887A (zh) * 2017-10-09 2018-02-09 首都师范大学 非易失性处理器中基于维持态的能量分配方法及系统
CN108512894A (zh) * 2018-02-05 2018-09-07 集能芯成科技（北京）有限公司 一种面向自供能传感网的分布式负载均衡方法及系统
CN109116968A (zh) * 2018-08-06 2019-01-01 清华大学 写策略控制方法、系统及其适用的电子设备
CN109144214A (zh) * 2018-08-06 2019-01-04 清华大学 能量管理系统、方法、电子设备、装置及非易失处理器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICHAL PRAUZEK: "Q-learning Algorithm for Energy Management in Solar Powered Embedded Monitoring Systems", 《2018 IEEE CONGRESS ON EVOLUTIONARY COMPUTATION (CEC)》 *
李静: "基于Cache感知的自供能NVP系统备份方案的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737053A (zh) * 2020-06-22 2020-10-02 山东大学 一种基于指令分析的非易失处理器备份方法及系统
CN111737053B (zh) * 2020-06-22 2024-01-05 山东大学 一种基于指令分析的非易失处理器备份方法及系统
CN111752756A (zh) * 2020-06-24 2020-10-09 厦门靠谱云股份有限公司 一种自主学习设置数据库备份策略的方法
CN113946428A (zh) * 2021-11-02 2022-01-18 Oppo广东移动通信有限公司 一种处理器动态控制方法、电子设备和存储介质
CN113946428B (zh) * 2021-11-02 2024-06-07 Oppo广东移动通信有限公司 一种处理器动态控制方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN110968458B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN110968458B (zh) 一种面向非易失处理器的基于增强学习的备份系统及方法
EP3314363B1 (en) Opportunistic power management for managing intermittent power available to data processing device having semi-non-volatile memory or non-volatile memory
US9063864B2 (en) Storing data in presistent hybrid memory
KR101759690B1 (ko) 메모리 액세스 테이블 저장 및 복원 시스템 및 방법
US10936038B2 (en) Power control for use of volatile memory as non-volatile memory
Aouda et al. Incremental checkpointing of program state to NVRAM for transiently-powered systems
CN107678887B (zh) 非易失性处理器中基于维持态的能量分配方法及系统
Choi et al. Compiler-directed high-performance intermittent computation with power failure immunity
CN111708427A (zh) 管理终端的方法和终端
US9625970B2 (en) Information processing apparatus, operation state control method, and computer program product
Singla et al. A survey and experimental analysis of checkpointing techniques for energy harvesting devices
US20130173885A1 (en) Processor and Methods of Adjusting a Branch Misprediction Recovery Mode
KR20180102057A (ko) 휘발성 메모리를 비휘발성 메모리로 사용하는 기법
CN106844101B (zh) 基于Cache感知的NVP性能优化备份方法及系统
KR101455085B1 (ko) 저장 오퍼레이션에 대한 완료 시간을 추정하는 방법 및 저장 디바이스
WO2021145923A1 (en) Model-based capacity and resistance correction for rechargeable battery fuel gauging
Sun et al. Deep reinforcement-learning-guided backup for energy harvesting powered systems
CN113190473B (zh) 基于能量收集非易失性处理器的缓存数据管理方法、介质
Zhan et al. Adaptive energy budgeting for atomic operations in intermittently-powered systems
US11226667B2 (en) Microcontroller operable in a battery-less wireless device
Chen et al. Short-term and long-term idle time detectors for reducing long-tail latency in solid-state drives
CN111723411A (zh) 一种固态硬盘异常下电时写缓存的处理方法、系统及装置
EP3258367B1 (en) Data write control apparatus and method
US10496303B2 (en) Method for reducing power consumption memory, and computer device
CN103677202B (zh) 休眠管理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant