CN104025066B - 用于能量高效计算的异构存储器晶片堆叠 - Google Patents

用于能量高效计算的异构存储器晶片堆叠 Download PDF

Info

Publication number
CN104025066B
CN104025066B CN201180076050.2A CN201180076050A CN104025066B CN 104025066 B CN104025066 B CN 104025066B CN 201180076050 A CN201180076050 A CN 201180076050A CN 104025066 B CN104025066 B CN 104025066B
Authority
CN
China
Prior art keywords
chips
pcms
cpu
period
dram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180076050.2A
Other languages
English (en)
Other versions
CN104025066A (zh
Inventor
P.D.沃格特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104025066A publication Critical patent/CN104025066A/zh
Application granted granted Critical
Publication of CN104025066B publication Critical patent/CN104025066B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G11C5/025—Geometric lay-out considerations of storage- and peripheral-blocks in a semiconductor storage device
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/06—Arrangements for interconnecting storage elements electrically, e.g. by wiring
    • G11C5/063—Voltage and signal distribution in integrated semi-conductor memory access lines, e.g. word-line, bit-line, cross-over resistance, propagation delay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Semiconductor Memories (AREA)
  • Retry When Errors Occur (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

描述了提供异构存储器晶片堆叠用于能量高效计算的方法和设备。在一个实施例中，具有开关的相变存储器（PCMS）晶片耦合于动态随机存取存储器（DRAM）晶片和中央处理单元（CPU）晶片。CPU检查点设置状态数据首先存储在PCMS晶片中，之后在稍后且更加延长的时间将检查点设置数据传输到备份介质。还公开其他实施例并且对其要求保护。

Description

用于能量高效计算的异构存储器晶片堆叠
技术领域
本公开一般涉及电子器件领域。更具体地，本发明的一些实施例一般涉及预备异构存储器晶片（die）堆叠用于能量高效计算。
背景技术
为了提高性能，Exascale计算使成千上万个CPU（中央处理单元）互连来交付Exaflop级性能。在24小时模拟（例如天气预报）期间，CPU中的若干个可能失效。检查点设置（checkpointing）技术典型地用于定期保存问题数据集的图像使得在出现失效时，机器可后退到最后保存的数据集副本并且继续从该点计算。这样，即使每天可能出现许多失效，问题可结束。越经常对数据集进行检查点设置，机器需要后退到检查点时失去的时间越少。然而将Exascale系统中的数据集保存至备份介质所花的时间可消耗机器运行的时间的大部分，从而使性能下降。
附图说明
参考附图提供详细描述。在图中，标号最左边的数字标识该标号首次出现所在的图。在不同的图中使用相同的标号指示相似或相同的项目。
图1、4和5图示计算系统（可用于实现本文论述的各种实施例）的实施例的框图。
图2图示根据实施例的集成电路晶片组件的透视图。
图3图示根据本发明的实施例的方法的流程图。
具体实施方式
在下列描述中，阐述许多具体细节以便提供对各种实施例的全面理解。然而，本发明各种实施例可在没有这些具体细节的情况下实践。在其它实例中，未详细描述众所周知的方法、规程、部件和电路以便不混淆本发明的特定实施例。此外，本发明的实施例的各种方面可使用例如集成半导体电路（“硬件”）、组织到一个或多个程序（“软件”）内的计算机可读指令或硬件和软件的一定组合等各种手段来执行。为了该公开的目的，对“逻辑”的引用应意指硬件、软件或其一定组合。
在一些实施例中，提供低功率和/或高带宽技术来允许对状态数据进行检查点设置（例如，在Exascale计算机系统或其他类型的计算系统中，其包括例如智能电话、平板电脑、便携式游戏控制台等移动计算设备）。如本文论述的，检查点设置一般指定期保存关于问题或程序的状态的数据来提供容错的技术。在出现失效时，最近存储的状态数据可复原以实现从失效恢复并且继续处理问题而不必从头开始。如上文论述的。在当前机器中检查点设置是耗时的过程，其使系统的性能下降并且可使用硬盘驱动器以在很长的时期内存储大容量数据。
在实施例中，状态数据集的快照可在相对较短的第一时期（例如，小于10秒）期间保存并且然后在延长的第二时期内（例如，逐渐）复制到备份介质。因此，第二时期可比第一时期长得多。此外，在复制快照时，机器（例如，CPU）可继续执行指令并且处理问题。这些技术可使为了存储器检查点设置而失去的性能减少到相对可忽略的量。
本发明的实施例还可在手持计算设备中使用来以大大减少的功率交付高带宽存储器。例如，DRAM（动态随机存取存储器）和例如PCMS（具有开关的相变存储器）晶片等非易失性存储器的异构堆叠可用于实现集成的二级存储器（2LM）系统。因此，本文论述的技术可应用于从手持设备到Exascale HPC（高性能计算）的一系列计算设备，来提供高带宽和/或低功率异构存储器分层结构，其由DRAM和PCMS设备组成。
此外，本文论述的存储器技术可在各种计算系统中提供，例如参考图1-5论述的那些。更特定地，图1图示根据本发明的实施例的计算系统100的框图。该系统100可包括一个或多个处理器102-1至102-N（在本文一般称为“多个处理器102”或“处理器102”）。处理器102可经由互连或总线104而通信。每个处理器可包括各种部件，其中的一些为了清楚起见仅参考处理器102-1论述。因此，余下的处理器102-2至102-N中的每个可包括参考处理器102-1论述的相同或相似部件。
在实施例中，处理器102-1可包括一个或多个处理器核106-1至106-M（在本文称为“多个核106”，或更一般地称为“核106”）、高速缓存108（其在各种实施例中可以是共享高速缓存或专用高速缓存）和/或路由器110。处理器核106可在单个集成电路（IC）芯片上实现。此外，芯片可包括一个或多个共享和/或专用高速缓存（例如高速缓存108）、总线或互连（例如总线或互连112）、存储器控制器（例如参考图4-5论述的那些）或其他部件。
在一个实施例中，路由器110可用于在处理器102-1和/或系统100的各种部件之间的通信。此外，处理器102-1可包括超过一个路由器110。此外，大量路由器110可通信以在处理器102-1内部或外部的各种部件之间实现数据路由。
高速缓存108可存储由处理器102-1的一个或多个部件（例如核106）使用的数据（例如，其包括指令）。例如，高速缓存108可将存储在存储器114中的数据进行本地高速缓存以被处理器102的部件更快访问。如在图1中示出的，存储器114可经由互连104而与处理器102通信。在实施例中，高速缓存108（其可被共享）可具有各种级别，例如，高速缓存108可以是中级高速缓存和/或最后级别高速缓存（LLC）。核106中的每个还可包括级1（L1）高速缓存（116-1）（在本文一般称为“L1高速缓存116”）。处理器102-1的各种部件可直接、通过总线（例如，总线112）和/或存储器控制器或中枢而与高速缓存108通信。
如在图1中示出的，存储器114可通过存储器控制器120而耦合于系统100的其他部件。在一些实施例中，存储器114可包括非易失性存储器，例如PCMS存储器。即使存储器控制器120示出为在互连102与存储器114之间耦合，存储器控制器120可定位在系统100中的别处。例如，在一些实施例中，存储器控制器120或它的部分可在处理器102中的一个内提供。而且在一些实施例中，系统100还可包括采用最佳的方式向存储器114发出读或写请求的逻辑（例如，PCMS控制器逻辑125）。
图2图示根据实施例的集成电路晶片组件200的透视图。如示出的，晶片组件200可包括在PCMS晶片204顶部堆叠的DRAM晶片202，该PCMS晶片204在CPU晶片206顶部堆叠。DRAM和CPU可以与本文论述（例如参考图1或4-5）的DRAM和CPU/处理器相同或相似。晶片组件200还可包括接口208（其在实施例中可以是光学的），用于促进与计算系统（例如，参考图1或4-5论述的那些）的其他部件的通信。其他类型的接口/互连也可如本文论述的那样使用。而且在各种实施例中，超过一个DRAM晶片、PCMS晶片和/或CPU晶片也可在晶片组件200上存在。
如在图2中示出的，一个或多个DRAM晶片和一个或多个PCMS晶片在SOC（芯片上系统）或CPU晶片顶部堆叠。晶片可使用直通硅通孔（TSV）互连来提供很大数量的非常短电连接。这些互连上的数据速率可以是十分高的并且互连的电容可以是十分低的。该组合以非常低的功率交付非常高的带宽。
堆叠中的PCMS设备用于将状态数据集的副本暂时存储在低成本位中，这些低成本位可以以实际上零功率保持数据，因为数据位不必像DRAM位一样被刷新。PCMS设备还可用于保存相邻CPU/存储器节点的状态数据集来提供分布的检查点设置资源。如果整个节点失效，该方法将是有益的，但从延迟、占用空间等方面成本更高。在实施例中，检查点设置可采用分级方式执行以周期性地使数据从一个数据架（rack）移到另一个（或从较接近/本地PCMS晶片移到其他PCMS节点/设备）。
PCMS设备可定位在CPU与DRAM设备之间的数据路径互连上。CPU到DRAM数据路径典型地是非常高的带宽，用于交付高性能计算（HPC）所需要的带宽。通过将PCMS设备放置在该相同的互连上，使数据从DRAM移到PCMS存储器的时间量可最小化，从而提高机器的计算效率。短的互连长度还允许数据以非常低的功率传输，这在具有成千上万个节点Label1的机器中是非常重要的。
实施例通过使用PCMS存储器以采用成本有效的方式快速存储状态数据集并且允许数据迁移到相邻节点或备份介质（例如，其他（更便宜或更高容量）非易失性存储器（例如参考图4或5论述的那些），包括例如硬盘驱动器、网络附连存储（NAS））（例如作为后台过程）而解决检查点设置性能/功率问题。因此，PCMS设备的独特延迟和带宽特性实现该本地检查点设置架构。
在一个实施例中，在CPU、DRAM与PCMS设备之间共同数据总线的使用实现时间和/或功率高效的直接DRAM到PCMS数据传输。在实施例中，PCMS晶片在CPU晶片与DRAM晶片之间的物理放置使DRAM晶片温度能够保持明显低于CPU晶片温度。此外，因为DRAM晶片一般最接近热方案而定位并且CPU晶片最远离地定位，PCMS晶片将像允许DRAM晶片温度保持明显低于CPU晶片温度的绝缘层一样起作用。使DRAM保持冷却减少DRAM位单元中的电流泄漏，其允许延长DRAM刷新期；从而减少功耗。PCMS晶片的效率还通过提升PCMS单元的温度而增强，从而需要较少的功率来实现用于将数据写入PCMS单元的温度。在备选实施例中，DRAM放置在CPU与PCMS设备之间使得DRAM与PCMS设备之间的电连接可以被隔离以减少DRAM到CPU互连上的电容加载。该备选配置将对于在CPU与DRAM之间传输数据产生更低的功耗。
如上文论述的，当前系统未使用本地非易失性存储用于检查点设置。当前系统通过若干设备在DRAM晶片与备份存储媒体之间传输DRAM数据，从而浪费电力。而且当前系统未创建状态数据集的快照并且然后逐渐将数据传输到备份介质。
图3图示根据本发明的实施例实现用于切换到不同修整概况的决策树的方法300的流程图。在实施例中，参考图1-3和4-5论述的各种部件可用于执行参考图3论述的操作中的一个或多个。
参考图1-3，在操作302，收集CPU检查点设置状态数据并且将其存储（例如，在DRAM晶片202中并且然后从DRAM晶片202到PCMS晶片204或备选地直接到PCMS晶片204）。在实施例中，操作302可定期进行（例如，基于计时器到期（其可响应于应用类型而能配置）、每用户输入，等）。在操作304，可确定（例如，由逻辑125）数据传输带宽在使PCMS晶片（例如，经由接口208）耦合于备份介质的互连/总线上是否可用。如果没有带宽可用，操作306可继续周期检查点设置（这如果在PCMS晶片中没有额外的空间可用于新的检查点设置数据的话则有时可覆盖较旧的检查点设置数据）。在一些实施例中，决策树将定期执行检查点并且在带宽变成可用时缓慢传输数据直到传输完整的状态数据集。
在操作304，如果传输带宽可用，则操作308（例如，由逻辑125）可如本文论述的那样将状态数据传输到备份介质。在一些实施例中，状态数据可被压缩（例如，在将它存储在DRAM中之前、在将它存储在PCMS中之前、在将它存储在备份介质中之前、在将它存储在一个或多个远程节点中之前，等）。压缩的数据然后可在复原（例如由于失效）之前被解压。
图4图示根据本发明的实施例的计算系统400的框图。该计算系统400可包括经由互连网络（或总线）404而通信的一个或多个中央处理单元（CPU）402或处理器。这些处理器402可包括通用处理器、网络处理器（其处理通过计算机网络403而传送的数据）、应用处理器（例如在蜂窝电话、智能电话等中使用的那些）或其他类型的处理器（其包括精简指令集计算机（RISC）处理器或复杂指令集计算机（CISC））。可使用各种类型的计算机网络403，其包括有线（例如，以太网、吉比特、光纤，等）或无线网络（例如蜂窝、3G（第三代蜂窝电话技术或第三代无线格式（UWCC））、4G、低功率嵌入式（LPE），等）。此外，处理器402可具有单核或多核设计。具有多核设计的处理器402可使不同类型的处理器核在相同的集成电路（IC）晶片上集成。具有多核设计的处理器402也可实现为对称或不对称多处理器。
在实施例中，处理器402中的一个或多个可与图1的处理器102相同或相似。例如，处理器402中的一个或多个可包括核106中的一个或多个和/或高速缓存108。参考图1-3论述的操作还可由系统400中的一个或多个部件执行。
芯片集406还可与互连网络404通信。芯片集406可包括图形和存储器控制中枢（GMCH）408。GMCH 408可包括存储器控制器410（其在实施例中可与图1的存储器控制器120相同或相似，例如包括逻辑125），其与存储器114通信。存储器114可存储数据，其包括由CPU402或计算系统400中所包括的任何其他设备执行的指令序列。在本发明的一个实施例中，存储器114可包括一个或多个易失性存储（或存储器）设备，例如随机存取存储器（RAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、静态RAM（SRAM）或其他类型的存储设备。还可使用非易失性存储器，例如硬盘。额外的设备（例如多个CPU和/或多个系统存储器）可经由互连网络404而通信。
GMCH 408还可包括图形接口414，其与图形加速器416通信。在本发明的一个实施例中，图形接口414可经由加速图形端口（AGP）而与图形加速器416通信。在本发明的实施例中，显示器（例如平板显示器）可通过例如信号转换器而与图形接口414通信，该信号转换器将存储在例如视频存储器或系统存储器等存储设备中的图像的数字表示转化成由显示器解释并且显示的显示信号。由显示设备产生的这些显示信号可在由显示器解释并且随后在其上显示之前经过各种控制设备。
中枢接口418可允许GMCH 408和输入/输出控制中枢（ICH）420通信。ICH 420可提供通向I/O设备（其与计算系统400通信）的接口。ICH 420可通过例如外围部件互连（PCI）桥、通用串行总线（USB）或其他类型的外围桥或控制器等外围桥（或控制器）424而与总线422通信。桥424可在CPU 402与外围设备之间提供数据路径。可使用其他类型的拓扑。多个总线还可与ICH 420通信，例如通过多个桥或控制器。此外，与ICH 420通信的其他外设在本发明的各种实施例中可包括集成驱动电子器件（IDE）或小型计算机系统接口（SCSI）硬驱动器、USB端口、键盘、鼠标、并行端口、串行端口、软盘驱动器、数字输出支持（例如，数字视频接口（DVI））或其他设备。
总线422可与音频设备426、一个或多个盘驱动器428和网络接口设备430（其与计算机网络403通信）通信。其他设备可经由总线422而通信。在本发明的一些实施例中，各种部件（例如网络接口设备430）还可与GMCH 408通信。另外，处理器402和GMCH 408可组合来形成单个芯片。此外，在本发明的其他实施例中，图形加速器416可包括在GMCH 408内。
此外，计算系统400可包括易失性和/或非易失性存储器（或存储）。例如，非易失性存储器可包括下列中的一个或多个：只读存储器（ROM）、可编程ROM（PROM）、可擦除PROM（EPROM）、电EPROM（EEPROM）、盘驱动器（例如，428）、软盘、压缩盘ROM（CD-ROM）、数字多功能盘（DVD）、闪速存储器、磁光盘或能够存储电子数据（例如，其包括指令）的其他类型的非易失性机器可读介质。
图5图示根据本发明的实施例采用点到点（PtP）配置而设置的计算系统500。特别地，图5示出这样的系统，其中处理器、存储器和输入/输出设备通过若干点到点接口而互连。参考图1-4论述的操作可由系统500的一个或多个部件执行。
如在图5中图示的，系统500可包括若干处理器，为了清楚起见仅示出其中的两个处理器502和504。处理器502和504每个可包括本地存储器控制器中枢（MCH）506和508，用于实现与存储器510和512的通信。存储器510和/或512可存储各种数据，例如参考图1和/或4的存储器114论述的那些。在一些实施例中，MCH 506和508还可包括图1的存储器控制器120和/或逻辑125。
在实施例中，处理器502和504可以是参考图4论述的处理器402中的一个。处理器502和504可分别使用PtP接口电路516和518经由点到点（PtP）接口514来交换数据。处理器502和504每个还可使用点到点接口电路526、528、530和532经由个体PtP接口522和524而与芯片集520交换数据。芯片集520可进一步经由高性能图形接口536例如使用PtP接口电路537而与高性能图形电路534交换数据。
如在图5中示出的，图1的核106中的一个或多个和/或高速缓存108可定位在处理器502和504内。然而，本发明的其他实施例可在图5的系统500内的其他电路、逻辑单元或设备中存在。此外，本发明的其他实施例可遍布图5中图示的若干电路、逻辑单元或设备而分布。
芯片集520可使用PtP接口电路541而与总线540通信。总线540可具有与它通信的一个或多个设备，例如总线桥542和I/O设备543。经由总线544，总线桥543可与例如键盘/鼠标545、通信设备546（例如调制解调器、网络接口设备，或可与计算机网络403通信的其他通信设备）、音频I/O设备和/或数据存储设备548等其他设备通信。数据存储设备548可存储代码549，其可由处理器502和/或504执行。
在本发明的各种实施例中，例如参考图1-5在本文论述的操作可实现为硬件（例如，电路）、软件、固件、微代码或其组合，其可作为计算机程序产品而提供，例如包括具有存储在其上用于对计算机编程来执行本文论述的过程的指令（或软件规程）的有形（例如，非暂时性）机器可读或计算机可读介质。通过示例，术语“逻辑”还可包括软件、硬件或软件和硬件的组合。机器可读介质可包括存储设备，例如关于图1-5论述的那些。
另外，这样的计算机可读介质可被下载作为计算机程序产品，其中程序可经由通信链路（例如，总线、调制解调器或网络连接）通过数据信号（例如在载波或其它传播介质中）从远程计算机（例如，服务器）传递到请求计算机（例如，客户端）。
在说明书中对“一个实施例”或“实施例”的引用意指连同实施例描述的特定特征、结构或特性可包括在至少一个实现中。短语“在一个实施例中”在说明书中各种地方的出现可以全指相同的实施例或可以并不全指相同的实施例。
在描述和权利要求中，还可使用术语“耦合”和“连接”连同它们的派生词。在本发明的一些实施例中，“连接”用于指示两个或以上的元件彼此直接物理或电接触。“耦合”可意指两个或以上的元件直接物理或电接触。然而，“耦合”还可意指两个或以上的元件可彼此不直接接触，但仍可彼此配合或相互作用。
因此尽管本发明的实施例已经用结构特征和/或方法论动作所特定的语言描述，要理解要求保护的主旨可不限于描述的特定特征或动作。相反，特定特征和动作作为实现要求保护的主旨的示例形式而公开。

Claims (40)

1.一种集成电路设备，其包括：
具有开关的相变存储器PCMS晶片，其耦合于动态随机存取存储器DRAM晶片和中央处理单元CPU晶片；
其中CPU检查点设置状态数据在第一时期期间被存储在所述PCMS晶片中，并且存储在所述PCMS晶片中的CPU检查点设置状态数据在第二时期期间被传输到备份介质；
其中所述第二时期在所述第一时期之后并且所述第二时期比所述第一时期要长。
2.如权利要求1所述的设备，其中所述PCMS、DRAM和CPU晶片中的一个或多个通过直通硅通孔（TSV）而互连。
3.如权利要求1所述的设备，所述PCMS晶片存储相邻CPU或存储器节点的状态数据集来提供分布式检查点设置资源。
4.如权利要求1所述的设备，其中所述PCMS晶片定位在所述CPU晶片与所述DRAM晶片之间互连的数据路径上。
5.如权利要求1所述的设备，其中所述PCMS晶片将所述DRAM晶片和所述CPU晶片热绝缘。
6.如权利要求1所述的设备，其中所述PCMS晶片与所述DRAM晶片与所述CPU晶片之间的互连电隔离。
7.如权利要求1所述的设备，其中所述CPU晶片在所述第二时期期间执行指令以继续处理问题。
8.如权利要求1所述的设备，其中所述备份介质包括硬盘驱动器、磁光盘驱动器、闪速存储器或网络附连存储中的一个或多个。
9.如权利要求1所述的设备，其进一步包括多个PCMS晶片。
10.如权利要求1所述的设备，其进一步包括多个DRAM晶片。
11.如权利要求1所述的设备，其进一步包括多个CPU晶片。
12.如权利要求1所述的设备，其进一步包括接口，用于促进所述集成电路设备与一个或多个计算系统部件之间的通信。
13.如权利要求12所述的设备，其中所述接口包括光学接口。
14.如权利要求1所述的设备，其中所述CPU晶片包括多个处理器核。
15.如权利要求1所述的设备，其进一步包括PCMS控制器逻辑，用于向所述PCMS晶片发出读或写请求。
16.如权利要求1所述的设备，其中所述PCMS晶片在芯片上系统（SOC）晶片顶部堆叠。
17.一种异构存储器晶片堆叠的方法，其包括：
在第一时期期间将CPU检查点设置状态数据存储在PCMS晶片中，所述PCMS晶片耦合于DRAM晶片和CPU晶片；以及
在第二时期期间将存储在所述PCMS晶片中的CPU检查点设置状态数据传输到备份介质，
其中所述第二时期在所述第一时期之后并且所述第二时期比所述第一时期要长。
18.如权利要求17所述的方法，其进一步包括压缩所述CPU检查点设置状态数据。
19.如权利要求17所述的方法，其中所述PCMS、DRAM和CPU晶片中的一个或多个通过直通硅通孔（TSV）而互连。
20.如权利要求17所述的方法，其进一步包括所述PCMS晶片存储相邻CPU或存储器节点的状态数据集来提供分布式检查点设置资源。
21.如权利要求17所述的方法，其中所述PCMS晶片定位在所述CPU晶片与所述DRAM晶片之间互连的数据路径上。
22.如权利要求17所述的方法，其中所述PCMS晶片将所述DRAM晶片和所述CPU晶片热绝缘。
23.如权利要求17所述的方法，其中所述PCMS晶片与所述DRAM晶片与所述CPU晶片之间的互连电隔离。
24.如权利要求17所述的方法，其进一步包括所述CPU晶片在所述第二时期期间执行指令以继续处理问题。
25.如权利要求17所述的方法，其中所述备份介质包括硬盘驱动器、磁光盘驱动器、闪速存储器或网络附连存储中的一个或多个。
26.一种异构存储器晶片堆叠的系统，其包括：
CPU晶片，其具有多个处理器核；
PCMS晶片，其耦合于DRAM晶片和所述CPU晶片；
其中CPU检查点设置状态数据在第一时期期间被存储在所述PCMS晶片中，并且存储在所述PCMS晶片中的CPU检查点设置状态数据在第二时期期间被传输到备份介质；
其中所述第二时期在所述第一时期之后并且所述第二时期比所述第一时期要长。
27.如权利要求26所述的系统，其中所述PCMS、DRAM和CPU晶片中的一个或多个通过直通硅通孔（TSV）而互连。
28.如权利要求26所述的系统，所述PCMS晶片存储相邻CPU或存储器节点的状态数据集来提供分布式检查点设置资源。
29.如权利要求26所述的系统，其中所述PCMS晶片定位在所述CPU晶片与所述DRAM晶片之间互连的数据路径上。
30.如权利要求26所述的系统，其进一步包括音频设备。
31.一种机器可读介质，已经在其上存储了指令，所述指令在被执行时使得计算设备执行根据权利要求17-25中任一项的方法。
32.一种异构存储器晶片堆叠的装置，其包括：
用于在第一时期期间将CPU检查点设置状态数据存储在PCMS晶片中的部件，所述PCMS晶片耦合于DRAM晶片和CPU晶片；以及
用于在第二时期期间将存储在所述PCMS晶片中的CPU检查点设置状态数据传输到备份介质的部件，
其中所述第二时期在所述第一时期之后并且所述第二时期比所述第一时期要长。
33.如权利要求32所述的装置，其进一步包括用于压缩所述CPU检查点设置状态数据的部件。
34.如权利要求32所述的装置，其中所述PCMS、DRAM和CPU晶片中的一个或多个通过直通硅通孔（TSV）而互连。
35.如权利要求32所述的装置，其进一步包括所述PCMS晶片存储相邻CPU或存储器节点的状态数据集来提供分布式检查点设置资源。
36.如权利要求32所述的装置，其中所述PCMS晶片定位在所述CPU晶片与所述DRAM晶片之间互连的数据路径上。
37.如权利要求32所述的装置，其中所述PCMS晶片将所述DRAM晶片和所述CPU晶片热绝缘。
38.如权利要求32所述的装置，其中所述PCMS晶片与所述DRAM晶片与所述CPU晶片之间的互连电隔离。
39.如权利要求32所述的装置，其进一步包括所述CPU晶片在所述第二时期期间执行指令以继续处理问题。
40.如权利要求32所述的装置，其中所述备份介质包括硬盘驱动器、磁光盘驱动器、闪速存储器或网络附连存储中的一个或多个。
CN201180076050.2A 2011-12-29 2011-12-29 用于能量高效计算的异构存储器晶片堆叠 Expired - Fee Related CN104025066B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/067797 WO2013101038A1 (en) 2011-12-29 2011-12-29 Heterogeneous memory die stacking for energy efficient computing

Publications (2)

Publication Number Publication Date
CN104025066A CN104025066A (zh) 2014-09-03
CN104025066B true CN104025066B (zh) 2018-07-24

Family

ID=48698275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180076050.2A Expired - Fee Related CN104025066B (zh) 2011-12-29 2011-12-29 用于能量高效计算的异构存储器晶片堆叠

Country Status (4)

Country Link
US (2) US9841920B2 (zh)
CN (1) CN104025066B (zh)
TW (1) TWI486778B (zh)
WO (1) WO2013101038A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104025066B (zh) 2011-12-29 2018-07-24 英特尔公司 用于能量高效计算的异构存储器晶片堆叠
US10001948B2 (en) 2013-05-13 2018-06-19 Rambus Inc. Buffer circuit with data bit inversion
US9280383B2 (en) 2014-06-12 2016-03-08 International Business Machines Corporation Checkpointing for a hybrid computing node
GB2533342A (en) * 2014-12-17 2016-06-22 Ibm Checkpointing module and method for storing checkpoints
US20160188414A1 (en) * 2014-12-24 2016-06-30 Intel Corporation Fault tolerant automatic dual in-line memory module refresh
CN104657229A (zh) * 2015-03-19 2015-05-27 哈尔滨工业大学 基于高可用性硬件检查点的多核处理器卷回恢复系统及其卷回恢复方法
US10832127B2 (en) * 2015-11-30 2020-11-10 Samsung Electronics Co., Ltd. Three-dimensional integration of neurosynaptic chips
KR102467698B1 (ko) * 2016-07-26 2022-11-16 삼성전자주식회사 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법
US10216657B2 (en) 2016-09-30 2019-02-26 Intel Corporation Extended platform with additional memory module slots per CPU socket and configured for increased performance
US9818457B1 (en) 2016-09-30 2017-11-14 Intel Corporation Extended platform with additional memory module slots per CPU socket
KR102482896B1 (ko) 2017-12-28 2022-12-30 삼성전자주식회사 이종 휘발성 메모리 칩들을 포함하는 메모리 장치 및 이를 포함하는 전자 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096546A (ja) * 1995-06-19 1997-01-10 Toshiba Corp ディスク制御システム
US7734578B2 (en) * 2003-11-13 2010-06-08 Comm Vault Systems, Inc. System and method for performing integrated storage operations
US9286198B2 (en) * 2005-04-21 2016-03-15 Violin Memory Method and system for storage of data in non-volatile media
US20070033356A1 (en) * 2005-08-03 2007-02-08 Boris Erlikhman System for Enabling Secure and Automatic Data Backup and Instant Recovery
US20070290333A1 (en) * 2006-06-16 2007-12-20 Intel Corporation Chip stack with a higher power chip on the outside of the stack
US7778728B2 (en) * 2006-07-13 2010-08-17 Lockheed Martin Corporation Apparatus and method for positioning objects/mailpieces
US7400033B1 (en) * 2006-12-29 2008-07-15 Intel Corporation Package on package design to improve functionality and efficiency
US20080270811A1 (en) * 2007-04-26 2008-10-30 Super Talent Electronics Inc. Fast Suspend-Resume of Computer Motherboard Using Phase-Change Memory
KR101416315B1 (ko) * 2007-11-09 2014-07-08 삼성전자주식회사 내부 전압 제어 방법 및 그 방법을 이용하는 멀티 칩패키지 메모리
JP5244430B2 (ja) * 2008-03-21 2013-07-24 株式会社日立製作所 ストレージ装置及びその制御方法
EP2271987A4 (en) 2008-05-01 2011-04-20 Hewlett Packard Development Co STORING CONTROL POINT DATA IN NON-VOLATILE MEMORY
US9104617B2 (en) * 2008-11-13 2015-08-11 International Business Machines Corporation Using accelerators in a hybrid architecture for system checkpointing
US9123409B2 (en) * 2009-06-11 2015-09-01 Micron Technology, Inc. Memory device for a hierarchical memory architecture
US8468379B2 (en) * 2009-06-26 2013-06-18 Seagate Technology Llc Systems, methods and devices for control and generation of programming voltages for solid-state data memory devices
EP2499667B1 (en) * 2009-11-13 2018-08-08 SK hynix Inc. PARALLELIZED CHECK POINTING USING MATs AND THROUGH SILICON VIAs (TSVs)
US8788879B2 (en) * 2010-01-08 2014-07-22 International Business Machines Corporation Non-volatile memory for checkpoint storage
US20160246711A9 (en) * 2010-01-28 2016-08-25 Hewlett-Packard Development Company, L. P. Interface methods and apparatus for memory devices
US8392761B2 (en) * 2010-03-31 2013-03-05 Hewlett-Packard Development Company, L.P. Memory checkpointing using a co-located processor and service processor
US9448938B2 (en) * 2010-06-09 2016-09-20 Micron Technology, Inc. Cache coherence protocol for persistent memories
KR101710658B1 (ko) 2010-06-18 2017-02-27 삼성전자 주식회사 관통 전극을 갖는 3차원 적층 구조의 반도체 장치 및 그 반도체 장치의 시그널링 방법
US8547769B2 (en) * 2011-03-31 2013-10-01 Intel Corporation Energy efficient power distribution for 3D integrated circuit stack
CN104025066B (zh) 2011-12-29 2018-07-24 英特尔公司 用于能量高效计算的异构存储器晶片堆叠

Also Published As

Publication number Publication date
US20140310490A1 (en) 2014-10-16
US20180210674A1 (en) 2018-07-26
TWI486778B (zh) 2015-06-01
US9841920B2 (en) 2017-12-12
WO2013101038A1 (en) 2013-07-04
TW201346569A (zh) 2013-11-16
CN104025066A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
CN104025066B (zh) 用于能量高效计算的异构存储器晶片堆叠
CN108351813B (zh) 用于在非易失性存储器快速（NVMe）控制器的不同网络地址上使能个别的NVMe输入/输出（IO）队列的方法和装置
CN101604226B (zh) 一种基于虚拟raid构建动态缓存池提高存储系统性能的方法
CN104781794B (zh) 用于非易失性存储器中的数据结构的暂时和持久状态之间的原地改变
US7971029B2 (en) Barrier synchronization method, device, and multi-core processor
CN105164635B (zh) 针对固态存储设备在运行中的性能调整
US11442652B1 (en) Replication handling during storage system transportation
JP2015532985A (ja) 大規模なデータ記憶および受け渡しシステム
CN107077303A (zh) 分配和配置持久存储器
CN102521014B (zh) 虚拟机的部署方法及装置
CN105103144A (zh) 用于存储器的自适应控制的设备及方法
CN101369241A (zh) 一种机群容错系统、装置及方法
CN103870312B (zh) 建立虚拟机共享存储缓存的方法及装置
TW201222236A (en) Transparently increasing power savings in a power management environment
CN109344090A (zh) 数据中心中kvm虚拟机的虚拟硬盘系统及数据中心
CN107003712A (zh) 当计算元件活动时启用系统低功率状态
CN103019804B (zh) OpenVZ虚拟化的VPS快速迁移方法
CN107408018A (zh) 用于在固态驱动器中适应垃圾收集资源分配的机制
US11010054B1 (en) Exabyte-scale data processing system
CN103279386A (zh) 一种计算机作业调度系统高可用的方法
AU2003286813A1 (en) Methods and apparatus for distributing system management signals
CN105045531A (zh) 一种存储双控制器间缓存同步机制
US20050039090A1 (en) Non-volatile memory with network fail-over
Xu et al. Rethink the storage of virtual machine images in clouds
CN107122316A (zh) 一种soc备电方法以及soc

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180724

Termination date: 20211229

CF01 Termination of patent right due to non-payment of annual fee