CN102027428B - 3d封装和冷却系统的管理 - Google Patents

Abstract

在一种管理至少一个三维封装件和具有配置成冷却该至少一个三维封装件的至少一个主动冷却机构的冷却系统的方法中，识别至少一个三维封装件上的工作负载和该三维封装件上或周围的环境条件中的至少一者。另外，基于识别的工作负载和环境条件中的至少一者控制主动冷却机构和三维封装件中的至少一者。

Description

3D封装和冷却系统的管理

相关申请的交叉引用

本申请涉及与本申请同日提交的题为“Cooling ProvisioningManagement in a Three Dimensional Package(三维封装中的冷却供应管理)”的美国专利申请S/N TBD(委托案号No.200703299)，其公布内容全部援引包含于此。

背景技术

半导体技术最近的趋势已集中在集成电路芯片系统的微型化。这已导致高密度电子封装模块的研发，例如由排列成一叠的多个管芯构成的三维(3D)多管芯结构，以显著减小管芯在系统中占据的占地面积量。对于传统管芯，用于驱动层叠管芯的部分电能被转化成热能并作为热量耗散。管芯温度大大地影响其性能。同样，高效的热量消除通常是设计和运行3D多管芯电子封装模块中的重要考虑因素。

一般通过使用被动的冷却供应从管芯消除热量，例如定位以将热从一个管芯传递至另一个管芯或传递至散热装置的热传导材料。也提出通过使用具有安装在各管芯之间的P型材料板和N型材料板的热电冷却器主动冷却管芯的技术。然而，随着由于管芯具有不断增长的运行速度而令电子封装模块不断变得越来越密集，用于散发由3D多管芯电子封装模块中的管芯产生的热量的传统技术可能无法充分地冷却管芯，这可能导致性能下降和过早失效。当多个3D多管芯电子封装模块配置在一起时，控制热消除产生额外的难题。

由此应当理解，消除从3D多管芯电子封装模块中的管芯散发的热量的改进将是有益的。

附图简述

本发明的特征可由本领域内技术人员参照附图从下面的详细描述中清楚得出，在附图中：

图1示出根据本发明的一实施例的电子结构的图；

图2A示出根据本发明一个实施例的包含多个层叠管芯和具有多个主动冷却机构的冷却系统的三维封装件的简化示意图；

图2B示出根据本发明另一实施例的包含多个层叠管芯和具有多个主动冷却机构的三维封装件的冷却系统的简化示意图；

图3A-3C分别示出根据本发明实施例的图1描述的电子结构的一部分的简化示意图；

图4示出根据本发明一个实施例的由四个单元114构成的图1所示电子结构的简化示意图；

图5示出根据本发明一个实施例的用于管理至少一个3D封装件和具有至少一个主动冷却机构的冷却系统的方法的流程图；

图6示出根据本发明一个实施例增进图5所示方法的管理至少一个3D封装件和具有至少一个主动冷却机构的冷却系统的方法的流程图；

图7示出根据本发明一个实施例增进图5所示方法的控制不同类型主动冷却机构的方法的流程图；

图8示出根据本发明一个实施例增进图5所示方法的管理多个3D封装件和具有至少一个主动冷却机构的冷却系统的方法的流程图；

图9示出根据本发明一个实施例增进图5所示方法的管理多个3D封装件和具有至少一个主动冷却机构的冷却系统的方法的流程图；

图10示出根据本发明一个实施例增进图5所示方法的管理多个3D封装件和具有至少一个主动冷却机构的冷却系统的方法的流程图；

图11示出根据本发明一个实施例增进图5所示方法的管理多个3D封装件和具有至少一个主动冷却机构的冷却系统的方法的流程图；

图12示出根据本发明一个实施例的在执行图5-11描述的流程图中包含的一些或全部步骤时用来执行图1所示控制器的各种功能的计算机系统。

详细说明

为了简化和阐述的目的，主要参照其示例性实施例对本发明进行说明。在以下描述中，陈述许多具体细节以提供对本发明的透彻理解。然而，将对本领域技术人员明显的是，本发明的实现不局限于这些具体细节。在其他情形中，众所周知的方法和结构并未予以详细描述以免不必要地混淆本发明。

本文披露一种管理至少一个三维(3D)封装件和具有配置成冷却至少一个3D封装件的主动冷却机构的冷却系统的方法。另外本文披露一种包含至少一个3D封装件和冷却系统的电子结构。

通过本文披露的方法和电子结构的应用，可控制3D封装件和冷却系统中的一者或两者以显著最小化能耗并同时为3D封装件提供足够的冷却。

首先参见图1，图中示出根据一个示例的电子结构100的图。应当理解，电子结构100可包括附加组件，并可去除和/或改变本文描述的一个或多个组件而不脱离电子结构100的范围。

总地来说，电子结构100包括设置在底板112上的多个三维(3D)封装件110。3D封装件110由多个层叠管芯构成，这些管芯通常配置成执行一个或多个操作，例如处理、数据存储等。下文中将更详细地描述3D封装件110。

3D封装件110可通过任何合适的手段连接于底板112。在一个示例中，底板112可包括印刷电路板基板，该印刷电路板基板具有连接到3D封装件110的电连接。另外，3D封装件110可通过与底板112制造在一起的连接从例如AC或DC电源的电源120接收电能。就此而言，底板112可提供对3D封装件110的结构支承和连接性两者。

3D封装件110和底板112图示为容纳在单元114中。单元114一般包括例如配置成保护3D封装件110不受外部条件影响的封套。单元114还允许各种配置的3D封装件110和底板基本彼此分离并由此提供各3D封装件110之间清楚的外形描绘。然而替代地，3D封装件110和底板112可由单元114单独支承。作为又一种替代，单元114可在附加的一个或多个底板112上容纳多个底板112和附加的3D封装件110。

单元114可代表相对小的结构或相对大的结构。例如，单元114可具有类似于传统蜂窝电话的尺寸、类似于传统服务器的尺寸、类似于传统闸刀服务器的尺寸、类似于传统运输集装箱的尺寸、类似于小型数据中心或大型数据中心等。如此，应当理解本文描述的各个示例适用于具有众多不同尺寸的电子结构100。

单元114还图示为包括具有系统水平激活的冷却机构118的冷却系统。在图1所示例子中，系统水平激活冷却机构118包括风扇。然而应当理解，系统水平激活冷却机构118可包括其它类型的冷却机构而不脱离本文公开的电子结构100的范围。其它合用的系统水平激活冷却机构118的示例将在下文中予以更详细的说明。如同样在下文中更详细说明的那样，冷却系统116可包括例如散热装置、热导管等被动冷却机构以及封装件水平冷却机构。

电子结构100图示为包括通过底板112连接于3D封装件110的控制器130。如前所述，底板112可包括类似印刷电路板的多个电连接，籍此控制器120可与3D封装件110相互作用。控制器130通常配置成执行电子结构100中的各种操作。在一个示例中，控制器130包括一个或多个3D封装件110或者一个或多个3D封装件110中的一个或多个管芯。在另一示例中，控制器130包括位于3D封装件110远端的计算设备或处理器。在又一示例中，控制器130包括存储在计算机可读存储介质上的软件，当执行该软件时就能执行电子结构100的各种操作。

同样如图1所示，控制器130被配置成从一个或多个传感器140和工作负载监测器150接收输入。尽管控制器130图示为从传感器140和工作负载监测器150两者接收输入，然而应当理解，控制器130可接收来自传感器140和负载监测器150的任何一者或两者的输入而不会脱离电子结构100的范围。在任何情况下，控制器130配置成基于来自传感器140和工作负载监测器150中的一个或两者的输入控制系统水平主动冷却机构118和至少一个3D封装件110中的一者或两者。

根据一个示例，控制器130可通过本质上改变其工作水平而控制系统水平主动冷却机构118。例如，当在单元114中检测到的例如温度的环境条件低于一预定水平——例如安全工作温度水平——时，控制器130可停用系统水平主动冷却机构118。作为附加或替代，控制器130可通过改变3D封装件110间的工作负载分配来控制一个或多个3D封装件110。在某些情形下，控制器130可将工作负载分配给位于不同单元114中的3D封装件110。

在任何情况下，控制器130可将接收到的输入存储在存储器160中，存储器也可包括一个或多个3D封装件110或一个或多个在3D封装件110中的一个或多个管芯。在一个示例中，控制器130可访问存储在存储器160中的程序或算法以确定如何基于包含在输入中的数据控制系统水平主动冷却机构118。在另一示例中，控制器130可访问存储在存储器160中的程序或算法以基于包含在输入中的数据确定如何将工作负载布置到各3D封装件110上。存储在存储器160中的各程序或算法将参照流程图在下文中予以描述。

传感器140可配置和定位成检测一个或多个3D封装件110上或周围的一个或多个环境条件，例如温度、振动、气流、光学条件等。在一个示例中，传感器140可定位以检测一个或多个3D封装件110处的温度。该例可包括检测一个或多个3D封装件110中的温度，例如一个或多个3D封装件在管芯上的具体位置、管芯的已知热点或3D封装件110外的其它位置上的温度。作为附加或替代，传感器140可位于单元112内的一个或多个其它位置，例如在远离3D封装件110的多个位置检测流过单元112的空气的温度的位置。此外，传感器140可位于单元112的入口122和出口124中的任何一者或两者处。作为附加或替代，传感器140可监测一种状态，这种状态可经计算以确定关联的状态。例如，传感器140可监测电阻并可通过监测到的电阻计算出温度。

作为附加或替代，控制器130可基于从工作负载监测器150接收的信息来确定每个3D封装件110中的工作负载。工作负载监测器150可包括例如配置成预测工作负载和跟踪工作负载中的至少一者并确定哪些3D封装件110能执行所请求的工作负载的硬件和/或软件。工作负载监测器150因此可将工作负载请求传达给控制器130，而控制器130可基于下面描述的一个或多个考虑因素来确定将工作负载分配给哪些3D封装件110。

在讨论控制器130工作的各种方式前，先对3D封装件110进行讨论。

首先参见图2A，图中示出根据一个示例的包含多个层叠管芯202-206和具有多个封装件水平主动冷却机构230a-230n的封装件水平冷却系统的3D封装件的简化示意图。应当理解，3D封装件110可包括附加组件，并可去除和/或改变本文描述的一些组件而不脱离本文描述的3D封装件110的范围。

如图2A所示，三维封装件110包括多个管芯202-206。管芯202-206可包括配置成执行任何理论上合意的功能的集成电路芯片。例如，第一管芯202可包括处理器管芯而第二和第三管芯204、206可包括闪存管芯。在另一示例中，三维封装件110可包括固态存储封装件，其中管芯202-206各自包括闪存。

第一管芯202图示为通过多个焊点212安装在底板112上。然而作为替代，第一管芯202可安装在不同基板上，然后将该基板安装在底板112上。第二管芯204图示为通过粘合材料220附连于第一管芯202，该粘合材料220可包括导热性材料。另外，第三管芯206图示为通过另一种粘合材料222附连于第二管芯204，所述另一种粘合材料222也可包含导热性材料。第二管芯204和第三管芯206也图示为通过各种互连结构224连接于底板112，所述互连结构224可包括引线接合、倒装芯片互连、光子互连等，其配置成允许功率信号或电信号的至少一者在管芯204、206和底板112之间传达。作为附加或替代，第三管芯206可连接于第二管芯204，所述第二管芯204连接于底板112。管芯202-206进一步图示为支承在模制组合物226内，该模制组合物226用来保护管芯202-206并籍此散发管芯202-206中产生的一些热量。

在一个示例中，由3D封装件110产生的全部热量可通过系统水平主动冷却机构118的运行来散发并因此不配备主动冷却机构。在其它示例中，一个或多个3D封装件110可具有一个或多个封装件水平主动冷却机构230a-230n，其中“n”是大于或等于零的整数，所述冷却机构230a-230n位于粘合材料220中。尽管图2A中未示出，然而一些或全部的主动冷却机构230a-230n可集成在一个或多个管芯202-206中而不脱离本文描述的三维封装件110的范围。一个或多个封装件水平主动冷却机构230a-230n可将额外的冷却提供给具有相对较大密度并因此需要额外冷却的3D封装件110。

封装件水平主动冷却机构230a-230n一般可定义为在其工作过程中消耗电能并通常相比被动冷却机构在消除热量方面更为有效的冷却机构。由此可通过提供给封装件水平主动冷却机构230a-230n的电能变化而控制密封件水平主动冷却机构230a-230n。根据一个示例，封装件水平主动冷却机构230a-230n包括热电冷却器，该热电冷却器包括P型材料板和N型材料板。P型材料板和N型材料板可通过珀耳帖效应工作以从第一管芯202汲取热量并将热量传递至用来散热的第二管芯204。在该例中，封装件水平主动冷却机构230a-230n可电连接于底板112以接收直流(DC)电源。

根据另一示例，封装件水平主动冷却机构230a-230n包括一个或多个其它类型的冷却机构，例如从中泵送冷却流体的冷却板。在该例中，电子控制的泵(未示出)可工作以改变通过冷却板的冷却流体流动并由此改变从管芯202-206消除的热量。作为附加或替代，冷却板可包括例如从中泵送以改变在管芯202-206之间传递的热量的绝缘材料。

在任何情况下，封装件水平主动冷却机构230a-230n可战略地部署在相对于管芯202-206的各个位置。各个位置可包括已知散发最大量热量的那些位置，例如一个或多个管芯202-206上的局部热点。就此而言，目标是从管芯202-206消除热量，由此显著优化运行封装件水平主动冷却机构230a-230n时的能效。

尽管封装件水平主动冷却机构230a-230n已图示为位于第一管芯202和第二管芯204之间，然而封装件水平主动冷却机构230a-230n也可位于第二管芯204和第三管芯206之间、第一管芯102和第三管芯106之间、横跨多个管芯102-106等。另外，3D封装件110可包括任何合理合需数量的管芯和封装件水平主动冷却机构230a-230n而不脱离本文公开的3D封装件110的范围。

3D封装件110也可配有其它类型的冷却机构，不管是主动的还是被动的。被动冷却机构一般可定义为配置成散发由一个或多个管芯202-206或3D封装件110本身产生的热量的机构而不需要电能。图2B中示出了这些主动和被动冷却机构中的一些。如本文所示，例如散热装置240的被动冷却机构可沿3D封装件110的各轴线定位。尽管未示出，例如热导管、环形热虹吸管等其它类型被动冷却机构也可位于两个或更多个管芯202-206之间并热连接于一个或多个散热装置240以将热量从管芯202-206传递至一个或多个散热装置240。

同样如图2B所示，一些或全部的封装件水平主动冷却机构230a-230n可与管芯202-206中的至少一个整体地形成。封装件水平主动冷却机构230a-230n进一步图示为包括电子控制风扇250，该电子控制风扇250配置成向一个或多个3D封装件110提供空气流。风扇250除图1所示的系统水平主动冷却机构118外还包括一主动冷却机构。

封装件水平主动冷却机构230a-230n也可包括一个或多个喷嘴260，用于将液体或空气的冷却流体提供给一个或多个3D封装件110。在一个示例中，喷嘴260可配置并工作以将十分精确的冷却流体提供给3D封装件110上的要求位置。在另一示例中，可根据3D封装件110中产生的热量控制喷嘴260传递冷却流体的提供量。

应当理解，可对图2B所示的各3D封装件110和冷却供给结构作出改型而不脱离本文描述的3D封装件110和冷却系统的范围。

现在参见图3A-3C，图中示出根据三个示例的电子结构100的一部分的简化示意图。应当理解，电子结构100可包括额外的组件并可去除和/或改变本文描述的一些组件而不脱离本文描述的电子结构100的范围。例如，图3A-3C所示的电子结构100可包括任何合理合意数量的3D封装件110，这些3D封装件110排列成任何合理合意的结构。

首先参见图3A，电子结构100图示为包括横跨底板112配置的多个3D封装件110。另外图3A示出横跨多个3D封装件110的散热装置240。在这种结构中，例如通过3D封装件110产生的热量可通过由主动冷却机构118产生的流过散热装置240的空气流散发。

现在参见图3B，电子结构100图示为包括层叠在另一3D封装件110顶部的3D封装件110。基板300也图示为位于3D封装件110之间。基板300可电连接于底板112以允许将控制信号和电力传递给上层3D封装件110。另外，上层3D封装件110图示为包括散发由两个3D封装件110产生的热量的散热装置240。在本例中，由下层3D封装件110产生的热量可通过上层3D封装件110传递并进入进行散热的散热装置240。然而，作为替代，热导管(未示出)的位置可设计成将热量直接从下层3D封装件110传至散热装置240。

根据一个例子，在图3A和3B所示的任一个或两个电子结构100中，一些或全部3D封装件110可包括相对较不密集的结构并因此相比相对较密集的3D封装件110要求较少的热消除。这些相对较不密集的3D封装件110可位于接受相对低程度冷却的电子结构100的区域内。例如，参见图3A，相对较不密集的3D封装件110可位于相对更密集的3D封装件110的下游。又如，参见图3B，相对较不密集的3D封装件110可位于层叠封装件110的更低位置。

作为附加或替代，可为具有相对更密集结构的3D封装件110和/或在位于接受较少冷却供给的区域内的那些3D封装件110提供一个或多个封装件水平主动冷却机构230a-230n。

现在参见图3C，电子结构100图示为包括沿底板112设置的多个3D封装件110。另外，冷却系统116的主动冷却机构118图示为具有多个泵310a-310d和多个冷却板320。主动冷却机构118还包括泵310a-310d可用来将例如水、冷凝剂等冷却流体送入和排出冷却板320的进口管线322和出口管线324。就此而言，冷却板320配置有通道(未示出)，冷却流体流过该通道以将由3D封装件110散发的热量去除。

泵310a-310d也图示为受控制器130控制。控制器130由此以基本独立的方式控制泵310a-310d以确保每个3D封装件110接受足够量的冷却。

图3A-3C所示的一些或全部实施例可一起用于同一单元114。就此而言，单元114可包括要求3D封装件110不同程度冷却的各个区域。例如，单元114的第一区域可包括配置成产生相对较低热量的3D封装件110而单元114的第二区域可包括配置成产生相对较高热量的3D封装件110。在本例中，位于第一区域内的3D封装件110可如图3A和3B所示那样配有散热装置240，而位于第二区域内的3D封装件110可如图3C所示那样配有主动冷却机构118。

作为附加或替代，电子结构100可包括多个单元114，其中这些单元114可包括如图4所示的不同的主动冷却机构118配置。图4更具体地示出根据一个示例的由四个单元114构成的电子结构100的简化示意图。尽管在图4中示出四个单元114，然而应当理解该电子结构100可包括任何合理合意数量的单元，包括单个单元，而不脱离本文所述的范围。

如图4所示，从左侧起最先两个单元114包括图1所示的主动冷却机构118。第三个单元114包括主动冷却机构118的组合，其中包括风扇和冷却板320。第四个单元114包括没有风扇的冷却板320。

根据一个示例，3D封装件110基于例如密集度、由3D封装件110执行的工作负载的临界性等3D封装件110的特性配置在一个或多个单元114中和/或一个或多个单元114的各个区域内。更具体地，例如3D封装件110例如根据要求的工作负载性能等分层次地基于3D封装件110的类别配置成预定结构。在该例中，3D封装件110可根据其各自的特征分类。

作为特定示例，相比配置成执行具有较低临界水平的工作负载的3D封装件110，配置成执行具有较高临界水平的工作负载的这些3D封装件110被定位在相对更容易够到的区域。同样，可能执行更大量的操作并因此更可能失效的那些3D封装件110被定位在相对更容易够到的区域。

又如，可能存储关键信息的那些3D封装件110被设置在为冗余目的的相同3D封装件110附近。另外，冗余3D封装件110通过具有相对短的长度的互连结构相连。

再如，可能存储关键信息的那些3D封装件110被设置在相对更靠近一个或多个系统水平主动冷却机构118的位置。作为附加或替代，可能存储关键信息的那些3D封装件110被设置在更靠近多个系统水平主动冷却机构118的位置以提供冗余度。

再如，可能存储关键信息或具有相对高密集度的结构的那些3D封装件110配有封装件水平冷却机构230a-230n。另外，包含封装件水平冷却机构230a-230n的那些3D封装件110位于离系统水平冷却机构118更远的位置。

根据又一示例，系统水平主动冷却机构118具有不同程度的临界性。不同程度的临界性可基于例如3D封装件110的数目、配有主动冷却机构118来冷却的3D封装件110的临界性等。因此，例如具有较高程度临界性的那些主动冷却机构118可位于壳体或底板的相对更容易够到的区域。

现在参见图5，图中示出根据一个示例的管理至少一个3D封装件110和具有至少一个主动冷却机构118的冷却系统116的方法500的流程图。应当理解，方法500可包括附加步骤，并可去除和/或改变本文描述的一个或多个步骤而不脱离方法500的范围。

方法500的描述参照图1-4所示的电子结构100进行并因此对电子结构100中包含的元件作出具体引用。然而要理解，方法500可实现在与电子结构100不同的电子结构中而不脱离方法500的范围。

总地来说，控制器202可实现方法500以管理电子结构100中冷却资源的提供和/或工作负载的分配，该电子结构100包括至少一个3D封装件和至少一个主动冷却机构。在一个示例中，可通过根据至少一个3D封装件110处或周围的环境条件和该3D封装件110上的工作负载中的一者或两者有选择地激活一个或多个主动冷却机构118而高效地管理冷却资源供给。在另一示例中，可通过将例如数据存储的工作负载有选择地布置在可由至少一个主动冷却机构118以最低能耗冷却运作的那些3D封装件110而高效地管理冷却资源供给。

再次具体参见图5，在步骤502，控制器130识别在至少一个3D封装件110上的工作负载或在该3D封装件处或周围的环境条件(EC)中的至少一者。根据一个示例，控制器130可通过从一个或多个传感器140接收的EC数据识别工作负载。在本例中，控制器130可将例如温度数据的EC数据关联于具体工作负载水平。例如，温度水平和工作负载水平之间的关联可作为查找表存储在存储器160中，控制器130在识别工作负载时可访问该工作表。根据另一示例，控制器130可简单地存储从一个或多个传感器140接收的环境条件数据。

根据又一示例，控制器130可从接收自工作负载监视器150的数据识别工作负载。在本例中，工作负载监视器150可追踪或预测已经或计划分配至至少一个3D封装件110的工作负载，并将该信息传达至控制器130。

在步骤504，控制器130基于所识别的工作负载和EC中的至少一者来控制主动冷却机构118和3D封装件110中的至少一者。

可重复步骤502和504以连续识别至少一个3D封装件110上的工作负载和/或其所处位置或周围的EC，并基于所识别的工作负载和/或EC连续更新至少一个主动控制机构118和至少一个3D封装件110的控制。

根据一个示例，在步骤504，可控制多个3D封装件以通过将相同工作负载分配给多个3D封装件110来执行相同工作负载，从而例如提供工作负载性能的冗余。例如，在工作负载包含数据存储的情形下，可将数据存储在多个3D封装件上以提供数据的存储冗余。

根据其中一个或多个3D封装件110包括封装件水平主动冷却机构230a-230n的又一示例，在步骤502，控制器130可进一步识别在形成一个或多个3D封装件110的多个管芯上的工作负载或管芯处或周围的环境条件中的至少一者。另外，在步骤504，控制器130可基于所识别的工作负载和环境条件中的一者或两者来进一步控制封装件水平主动冷却机构230a-230n。

现在参见图6，图中示出根据一个示例作为图5所示方法500的进一步改进的用于管理多个3D封装件110和具有至少一个主动冷却机构118的冷却系统116的方法的流程图。在方法600中，步骤604和606是图5步骤504的示例的更详细阐述。

在步骤602，对于每个3D封装件110，控制器130将识别的工作负载与预定工作负载阈值(PWT)范围比较并将识别的环境条件(EC)与预定阈值(PT)范围比较。例如当各3D封装件110配置成工作在同一EC周围时，PWT范围和PT范围对于每个ED封装件110可以是相同的。替代地，例如当一个或多个3D封装件110配置成执行不同种类的工作负载时，对于一个或多个3D封装件110，PWT范围和PT范围的一者或两者可以是不同的。

在步骤602，如果在一个3D封装件110上识别的工作负载超出PWT范围和/或在一个3D封装件110处或其周围识别的EC超出PT范围，则控制器130激活一个或多个主动控制机构118以增加提供给至少一个3D封装件110的冷却供给，如步骤604所指出的那样。然而，如果识别的3D封装件110上的工作负载低于PWT范围和/或识别的至少一个3D封装件110处或周围的EC低于PT范围，且如果至少一个主动冷却机构118当前是激活的，则在步骤606控制器130停用一个或多个主动冷却机构118以减少提供给至少一个3D封装件110的冷却供给。

在图6所示示例中，控制器130以“按需”为基础控制至少一个主动冷却机构118，由此显著最小化与运作至少一个主动冷却机构118相关的能量。另外，控制器130可分别控制多个主动冷却机构118以提供显著集中的冷却供给，这也显著最小化了能耗。换句话说，控制器130可激活一个或多个主动冷却机构118，同时根据例如3D封装件110的位置和管芯102-106是否需要附加冷却或可工作在较少的冷却量下而停用其它主动冷却机构118。

在任何情况下，在步骤604和606中的任一或两个步骤之后，可重复步骤602以再次识别至少一个3D封装件110上的工作负载和/或其所在或周围的EC，并可重复步骤602-606以基于至少一个3D封装件110中或其周围的条件变化而基本连续地监视工作负载和/或EC并基本连续地控制主动冷却机构118。

根据上面针对具有封装件水平主动冷却机构230a-230n的一个或多个3D封装件110描述的示例，可选择控制器130以在步骤604和606激活或停用系统水平主动冷却机构118和封装件水平主动控制机构230a-230n中的任一者或两者。作为示例，控制器130可在步骤604激活特定3D封装件110的封装件水平主动控制机构230a-230n，如果这种激活可能导致充分冷却的话。

根据一个示例，冷却系统116包括多个主动冷却机构118、230a-230n，且控制器130配置成将工作负载与多个PWT范围比较和/或将EC与多个PT范围比较。在本例中，在方法600的第一次重复中，在步骤502识别的工作负载和/或EC在步骤602与第一PWT范围和第一PT范围中的至少一者进行比较，并响应识别的工作负载超出第一PWT范围和/或EC超出第一PT范围在步骤604和606控制主动冷却机构118、230a-230n中的至少一者。另外，例如当识别的工作负载超出第一PWT范围和/或EC超出第一PT范围时，在方法600的第二次重复中，将识别的工作负载与第二PWT范围比较和/或将EC与第二PT范围比较，所述第二PWT范围和第二PT范围相比第一PWT范围和第一PT范围具有更高的阈值。基于此比较，在步骤604和606控制一个或多个第二主动冷却机构118、230a-230n。例如在步骤604，可响应识别的工作负载超出第二PWT范围而激活第二主动冷却机构118以将更大的冷却供给提供给一个或多个3D封装件110。

现在参见图7，图中示出根据一个示例作为图5所示方法的改进的控制不同种类主动冷却机构118的方法的流程图。应当理解，方法700可包括附加步骤，并可去除和/或改变本文描述的一个或多个步骤而不脱离方法700的范围。

在步骤702，识别多个3D封装件110的特性的水平。所述特性可包括例如3D封装件110的密集度、由3D封装件110执行的工作负载的临界性等。在步骤704，根据其特性水平分层次地配置3D封装件110。3D封装件110可以物理和例示意义中的任一者或两者的方式分层地配置。换句话说，在步骤704，例如具有相同特性水平的一些或全部3D封装件110可位于同一单元114或同一单元114区域内。作为附加或替代，3D封装件110的特性水平可以例示方式——即不物理移动的方式——配置以识别这些水平如何相互比较。

在任何情形下，在步骤706，将第一类型主动冷却机构118、230a-230n利用在识别为具有第一特性水平的3D封装件110上。另外，在步骤708，将第二类型的主动冷却机构118、230a-230n利用在识别为具有第二特性水平的3D封装件110上。尽管未示出，附加类型的主动冷却机构118、230a-230n可利用在具有其它特性水平的3D封装件110上。在任何情况下，在类似于方法500的步骤504的步骤710，控制器130基于步骤502识别的工作负载和/或EC控制第一和第二类型的主动冷却机构中的一者或两者。

作为示例，特征水平可包括3D封装件110的密集性水平，第一类型主动冷却机构118可包括附连于具有第一密集型水平的3D封装件110的可变流量液体冷却板，而第二类型的主动冷却机构118可包括可变流量的风扇。在本例中，控制器130能控制可变流量液体冷却板以冷却在层中具有相对较高密集度水平的3D封装件110，并可控制可变流量风扇以冷却在层中具有相对较低密集度水平的3D封装件110。

在另一示例中，特性水平可包括由3D封装件110执行的工作负载的临界水平。在本例中，控制器130可控制可变流量液体冷却板来冷却在层中具有相对较高工作负载临界水平的3D封装件110，并可控制可变流量风扇来冷却在层中具有相对较低工作负载临界水平的3D封装件110。

根据又一示例，特性水平可包括第一类型主动冷却机构和第二类型主动冷却机构的冷却能力。在本例中，控制器130可在步骤504根据分层方案将工作负载分配到多个3D封装件110。此外，在步骤502，控制器130可识别3D封装件110上的工作负载，且控制器130可接收分配给一个或多个3D封装件110的至少一个附加工作负载。在步骤504，控制器130可基于3D封装件110上的当前工作负载将至少一个附加工作负载分配到一个或多个3D封装件110。

现在参见图8，图中示出根据一个示例作为图5所示方法500的进一步改进的用于管理多个3D封装件110和冷却系统116的方法800的流程图。应当理解，方法800可包括附加步骤，并可去除和/或改变本文描述的一个或多个步骤而不脱离方法800的范围。

如图所示，在步骤802确定每个3D封装件110的功率耗散水平。可从根据3D封装件110制造者提供的每个3D封装件110的额定功率耗散水平确定或识别该功率耗散水平。作为附加或替代，功率耗散水平可通过3D封装件110的测试而确定。

在步骤804，确定与各3D封装件110关联的冷却功率。各3D封装件110的冷却功率可定义为主动冷却机构118、230a-230n在各3D封装件110分别冷却时消耗的功率量。因此，例如冷却功率可以是由3D封装件110产生的热量、3D封装件110上的被动冷却机构的效率、3D封装件110上的各主动冷却机构118、230a-230n的效率和功效等的函数。

另外，在步骤806，可从各3D封装件110的功耗水平和冷却功率水平确定3D封装件110的总功率耗散水平，即3D封装件110的功率耗散水平和冷却功率水平之组合。

在步骤808，控制器130形成能基本最小化3D封装件110总功耗水平的工作负载布局配置。更具体地，例如控制器130可以分层方式配置3D封装件110的总功耗水平以判断哪些3D封装件110能在消耗最少量总功率的同时执行这些工作负载，既包括功率耗散水平又包括冷却功率。另外，在步骤810，控制器130通过根据在步骤808形成的工作负载布局配置将工作负载分配给各3D封装件110而进一步控制3D封装件110(图5中的步骤504)。

步骤802-808可在图5的步骤502之前执行而步骤810可取代图5的步骤504执行。

在步骤810之后，可执行步骤502和504以基于步骤810分配的工作负载更新至少一个主动控制机构和层叠管芯的控制。

现在参见图9，图中示出根据一个示例作为图5所示方法500的进一步改进的用于管理多个3D封装件110和冷却系统116的方法900的流程图。应当理解，方法900可包括附加步骤，并可去除和/或改变本文描述的一个或多个步骤而不脱离方法900的范围。

在步骤902，识别主动冷却机构118、230a-230n的冷却能力。冷却能力可定义为能提供给3D封装件10的冷却主动冷却机构118、230a-230n的工作水平和/或最大水平。因此，例如一个或多个主动冷却机构118、230a-230n可配置成相比其它几个主动冷却机构118、230a-230n提供更大的冷却供给水平。

在步骤904，将各3D封装件110关联于主动冷却机构118、230a-230n中的一个或多个。3D封装件110和主动冷却机构118、230a-230n之间的“关联”可定义为主动冷却机构118、230a-230n对每个3D封装件110的影响程度。作为示例，3D封装件110可关联于在提供给3D封装件110的冷却供给中至少具有预定最小程度影响的一个或多个主动冷却机构118、230a-230n。根据一个示例，该关联可通过改变主动控制机构118、230a-230n的操作并监视那些变化是否对3D封装件110至少具有预定程度的影响来确定。

在步骤906，控制器130基于主动冷却机构118、230a-230n中的哪些关联于哪些3D封装件110来确定3D封装件110间的分层关系。作为示例，控制器130可将与具有最高冷却能力的主动冷却机构118、230a-230n关联的那些3D封装件110设置在最高层并将与具有最低冷却能力的主动冷却机构118、230a-230n关联的那些3D封装件110设置在分层的最下层。

在步骤908，控制器130接收由3D封装件110执行的工作负载。另外，在步骤910，控制器130通过根据主动冷却机构118、230a-230n的冷却能力分层地将工作负载分配给3D封装件110来控制3D封装件(图5中的步骤504)。作为示例，在步骤910，控制器130将工作负载分配给分层中最高层的3D封装件110，并随后根据3D封装件110在分层中的位置将剩下的工作负载分配给剩下的3D封装件110。

步骤902、908可在图5中的步骤502之前执行而步骤910可代替图5中的步骤504执行。另外，在步骤910之后，可执行步骤502和504(步骤910)以基于步骤906确定的3D封装件110的分层来更新对至少一个主动冷却机构118、230a-230n和3D封装件110的控制结构。

现在参见图10，图中示出根据一个示例作为图5所示方法500的进一步改进的用于管理多个3D封装件110和冷却系统116的方法1000的流程图。应当理解，方法1000可包括附加步骤，并可去除和/或改变本文描述的一个或多个步骤而不脱离方法1000的范围。

在步骤1002，控制器130确定各3D封装件1000过去已执行的工作负载的数量。因此，例如控制器130可追踪各3D封装件110在其使用寿命中已执行了多少次操作。

在步骤1004，控制器130接收由至少一个3D封装件110执行的工作负载。另外，在步骤1006，控制器130基于确定为已由各3D封装件110执行过的工作负载的数目通过将工作负载分配给3D封装件110来控制3D封装件110(图5中的步骤504)。作为示例，在步骤1006，控制器130首先将工作负载分配给例如已执行过最少数目的工作负载的3D封装件110，以延长各3D封装件110的使用寿命。

步骤1002、1004可在图5中的步骤502之前执行而步骤1006可代替图5中的步骤504执行。另外，在步骤1006之后，可执行步骤502和504(步骤1006)以基于步骤906确定的3D封装件110的分层结构来更新对至少一个主动冷却机构118、230a-230n和3D封装件110的控制。

现在参见图11，图中示出根据一个示例作为图5所示方法500的进一步改进的用于管理多个3D封装件110和一个冷却系统116的方法1100的流程图。应当理解，方法1100可包括附加步骤，并可去除和/或改变本文描述的一个或多个步骤而不脱离方法1100的范围。

在步骤1102，识别多个主动冷却机构118、230a-230n的冷却能力。这些冷却能力可以任何合理合意的方式识别，例如前面针对步骤902(图9)描述的方式。在步骤1104，识别3D封装件110的功率耗散水平。同样，这些功率耗散水平可以任何合理合意的方式识别，例如前面针对步骤802(图8)描述的方式。

在步骤1106，主动控制机构118、230a-230n根据在步骤1102识别的主动冷却机构118、230a-230n的冷却能力和步骤1104识别的3D封装件110的功率耗散水平而耦合于各3D封装件110。作为示例，具有最高冷却能力的主动冷却机构118、230a-230n可物理地耦合于具有最高功率耗散水平的3D封装件110。

在例如电子结构100的最初构造阶段或在电子结构100的重构操作中，步骤1102-1106可在图5中的步骤502之前执行。另外，随后的步骤1106，步骤502和504可如上所述针对图5那样执行。

方法500-1100中阐述的一些操作可作为一个或多个应用、程序或子程序包含在任何合需的计算机可访问或可读介质中。另外，方法500-1100可通过以主动和被动的多种形式存在的计算机程序表现。例如，它可作为由源代码、目标代码、可执行代码或其它形式的程序指令构成的软件程序存在。上述任何内容可表现在计算机可读介质上，该计算机可读介质包括压缩或非压缩形式的存储设备和信号。

示例性计算机可读存储设备包括传统计算机系统RAM、ROM、EPROM、EEPROM和磁盘或光盘或磁带。示例性计算机可读信号，不管是否使用载波调制，是存有或运行计算机程序的计算机系统能够访问的信号，包括从因特网或其它网络下载的信号。前述内容的具体示例包括分布在CDROM上或经由因特网下载的程序。某种意义上说，作为抽象实体的因特网本身也是计算机可读介质。对计算机网络来说通常也是如此。因此要理解，能执行前述功能的任何电子设备都能实现前面列举的那些功能。

图12示出根据一个例子的计算机系统1200，该计算机系统1200可用来执行控制器130上文中描述的各种功能。在这方面，计算机系统1200可用作执行上面针对控制器130描述的一种或多种功能的平台。

计算机系统1200包括处理器1202，该处理器1202可用来执行方法500-1100中描述的一些或全部步骤。来自处理器1202的命令和数据可在通信总线1204上通信。计算机系统900还包括运行过程中可在其上执行程序代码的例如随机存取存储器(RAM)的主存储器1206，以及辅助存储器1208。辅助存储器1208包括例如一个或多个硬盘驱动器1210和/或可移动存储驱动器1212，其代表有软盘驱动器、磁带驱动器、光盘驱动器等，其中存储用于管理至少一个三维封装件和一个冷却系统的程序代码的副本。

可移动存储驱动器1210以公知方式读/写可移动存储单元1214。用户输入/输出设备可包括键盘1216、鼠标1218和显示器1220。显示适配器1222可与通信总线1204和显示器1220接口并可从处理器902接收显示数据并将显示数据转换成显示器1220用显示命令。另外，处理器1202可通过网络适配器1224在例如因特网、LAN等网络上进行通信。

本领域内技术人员很清楚，可将其它已知的电子器件添加或替换入计算机系统1200。另外，计算机系统1200可包括用于数据中心机架中的的系统板或闸刀式板、传统“白盒”服务器或计算设备等内。另外，图12中的一个或多个组件是可选用的(例如用户输入设备、辅助存储器等)。

在本文中已描述和阐述了本发明的优选实施例及其某些变例。本文中使用的术语、表述和数字仅以示例方式给出并且没有限制的意思。本领域内技术人员将发现，在由所附权利要求书及其等效物定义的本发明范围内可以有许多变例，其中所有术语具有其最宽的合理含义，除非另有规定。

Claims (21)

1.一种管理至少一个三维封装件和具有配置成冷却所述至少一个三维封装件的至少一个主动冷却机构的冷却系统的方法，所述方法包括：

识别以下至少一者：在所述至少一个三维封装件上的工作负载、和所述至少一个三维封装件处或周围的环境条件；以及

基于所识别出的工作负载和环境条件中的至少一者控制主动冷却机构和三维封装件，

其中，所述至少一个三维封装件是多个三维封装件，并且所述至少一个主动冷却机构是多个主动冷却机构，

其中，所述多个主动冷却机构中的至少两个主动冷却机构具有不同的冷却能力，并且

其中，控制主动冷却机构和三维封装件还包括根据所述多个主动冷却机构的冷却能力而将多个工作负载分层地分配到多个三维封装件。

2.如权利要求1所述的方法，其特征在于，还包括：

比较以下至少一者：将所识别出的工作负载与预定工作负载阈值(PWT)范围比较、以及将所识别出的环境条件与预定的阈值(PT)范围比较；并且

其中控制主动冷却机构和三维封装件还包括：响应于以下至少一者而激活所述多个主动冷却机构中的一个或多个：所识别出的工作负载超出所述预定工作负载阈值范围、以及所识别出的环境条件超出所述预定的阈值范围，并响应于以下至少一者而停用所述多个主动冷却机构中的一个或多个：所识别出的工作负载降至所述预定工作负载阈值范围以下、以及所识别出的环境条件降至所述预定的阈值范围以下。

3.如权利要求2所述的方法，其特征在于，其中所述多个主动冷却机构包括系统水平主动冷却机构和包括在所述至少一个三维封装件中的至少一个封装件水平主动冷却机构，所述方法还包括：

识别以下至少一者：在形成所述至少一个三维封装件的一个管芯上的工作负载、和所述一个管芯处或其周围的环境条件；以及

基于所识别出的所述一个管芯上的工作负载和所述一个管芯处或其周围的环境条件中的至少一者来控制所述封装件水平主动冷却机构。

4.如权利要求3所述的方法，其特征在于，控制主动冷却机构和三维封装件还包括控制所述系统水平主动冷却机构和所述封装件水平主动冷却机构中的至少一者。

5.如权利要求1所述的方法，其特征在于，所述多个主动冷却机构包括第一类型的主动冷却机构和第二类型的主动冷却机构，所述方法还包括：

识别所述多个三维封装件的特性的水平；

将所述多个三维封装件根据其各自的所述特性的水平来分层地布局；

将所述第一类型的主动冷却机构应用在所述特性具有第一水平的所述三维封装件上；以及

将所述第二类型主动冷却机构应用在所述特性具有第二水平的所述三维封装件上。

6.如权利要求1所述的方法，其特征在于，所述至少两个主动冷却机构中的第一主动冷却机构被安放成冷却第一三维封装件并且第二主动冷却机构被安放成冷却第二三维封装件，其中控制主动冷却机构和三维封装件还包括：

根据分层方案将工作负载分配到所述多个三维封装件，所述分层方案基于所述第一主动冷却机构和所述第二主动冷却机构的冷却能力。

7.如权利要求6所述的方法，其特征在于，还包括：

识别所述多个三维封装件上的当前工作负载；

接收至少一个附加工作负载；并且

其中分配所述工作负载还包括基于所述多个三维封装件上的当前工作负载而将所述至少一个附加工作负载分配到所述多个三维封装件。

8.如权利要求6所述的方法，其特征在于，还包括：

确定所述多个三维封装件的功率耗散水平；

确定与所述三维封装件关联的冷却功率；

基于所述三维封装件的功率耗散水平和所述冷却功率确定与所述三维封装件关联的总功耗；

形成使得在所述三维封装件上执行工作负载时的总功耗最小化的工作负载布局安排；并且

其中控制主动冷却机构和三维封装件还包括根据所形成的工作负载布局安排将工作负载分配给多个三维封装件。

9.如权利要求1所述的方法，其特征在于，所述方法还包括：

识别所述多个主动冷却机构的冷却能力；

将所述多个三维封装件中的每一个关联于各主动冷却机构；

接收要由所述多个三维封装件执行的多个工作负载；并且

其中根据所述主动冷却机构的冷却能力而将多个工作负载分层地分配到多个三维封装件包括根据与所述多个三维封装件关联的主动冷却机构的冷却能力而将所述多个工作负载分层地分配到多个三维封装件。

10.如权利要求1所述的方法，其特征在于，所述方法还包括：

确定过去由所述多个三维封装件中的每个封装件执行过的工作负载的数目；

接收要由所述多个三维封装件中的至少一个执行的工作负载；并且

其中控制主动冷却机构和三维封装件还包括基于由所述多个三维封装件中的每个执行过的工作负载的数目而将工作负载分配给所述多个三维封装件中的至少一个。

11.如权利要求1所述的方法，其特征在于，形成所述至少一个三维封装件的多个层叠管芯中的至少两个管芯具有不同的功率耗散水平，所述方法还包括：

识别所述多个主动冷却机构的冷却能力；以及

将具有最高冷却能力的主动冷却机构耦合于所述三维封装件中具有最高功率耗散水平的一个或更多个三维封装件。

12.一种电子设备，包括：

至少一个由多个层叠管芯构成的三维封装件；

具有至少一个主动冷却机构的冷却系统，用于主动地耗散由所述至少一个三维封装件产生的热量；

控制器，用于管理所述冷却系统和所述至少一个三维封装件；以及

输入装置，用于将以下至少一者输入至所述控制器：所述至少一个三维封装件上的工作负载、和所述至少一个三维封装件处或其周围的环境条件，

其中所述控制器配置成基于从一个或更多个输入装置接收的所述输入来执行以下至少一者：评估和改变所述冷却系统和所述至少一个三维封装件的操作，

其中，所述至少一个三维封装件是多个三维封装件，并且所述至少一个主动冷却机构是多个主动冷却机构，

其中，所述多个主动冷却机构中的至少两个主动冷却机构具有不同的冷却能力，并且

其中，所述控制器配置成还根据所述多个主动冷却机构的冷却能力而将多个工作负载分层地分配到多个三维封装件。

13.如权利要求12所述的电子设备，其特征在于，所述输入装置包括配置成执行以下至少一者的工作负载监视器：预测和追踪所述至少一个三维封装件上的工作负载，并且其中所述控制器进一步配置成从所述工作负载监视器接收所预测和跟踪的工作负载中的所述至少一者。

14.如权利要求12所述的电子设备，其特征在于，所述多个主动冷却机构包括系统水平主动冷却机构和包括在所述至少一个三维封装件中的至少一个封装件水平主动冷却机构，并且其中所述控制器进一步配置成控制所述系统水平主动冷却机构和所述封装件水平主动冷却机构中的至少一者。

15.如权利要求12所述的电子设备，其特征在于，所述电子设备包括容纳底板的壳体，其中所述多个三维封装件根据配置成由所述三维封装件分别执行的工作负载的特性来被归类，并且其中所述多个三维封装件根据经归类的三维封装件的预定分层结构在所述底板上布局。

16.如权利要求15所述的电子设备，其特征在于，所述壳体和所述底板包括相对不易够到和相对较易够到的区域，其中所述工作负载的所述特性包括所述工作负载的关键性，并且其中那些具有较大关键性的三维封装件被安放在所述底板和壳体的所述相对较易够到的区域中，并且那些具有较小关键性的三维封装件被安放在所述底板和壳体的相对不易够到的区域中。

17.如权利要求12所述的电子设备，其特征在于，所述电子设备包括具有相对不易够到和相对较易够到的区域的壳体，其中所述冷却系统包括具有不同关键性的多个主动冷却机构，并且其中那些具有相对较大关键性的主动冷却机构被安放在所述壳体的所述相对较易够到的区域中，并且那些具有相对较小关键性的主动冷却机构被安放在所述壳体的所述相对不易够到的区域中。

18.如权利要求12所述的电子设备，其特征在于，所述电子设备还包括：

多个单元，所述多个单元中的每一个单元容纳各自的底板和由连接于各自底板的多个层叠管芯构成的所述多个三维封装件，所述多个单元中的每个单元包括所述具有至少一个主动冷却机构的冷却系统；并且

对于所述多个单元中的每个单元个体而言，所述控制器配置成控制所述冷却系统、和将工作负载分配到所述多个三维封装件。

19.如权利要求18所述的电子设备，其特征在于，所述多个单元中的至少一个单元的所述冷却系统包括第一主动冷却机构，并且所述多个单元中的至少另一个单元的所述冷却系统包括第二主动冷却机构，其中所述第一主动冷却机构设计成排除相比所述第二主动冷却机构而言更大量的热。

20.如权利要求19所述的电子设备，其特征在于，所述多个单元中包括所述第一主动冷却机构的所述至少一个单元包括相比所述多个单元中包括所述第二主动冷却机构的所述至少另一个单元而言相对较高密集度的三维封装件。

21.一种用于管理至少一个三维封装件和具有配置成冷却所述至少一个三维封装件的至少一个主动冷却机构的冷却系统的系统，包括：

识别以下至少一者的装置：在所述至少一个三维封装件上的工作负载、和所述至少一个三维封装件处或其周围的环境条件；以及

基于所识别出的工作负载和环境条件中的至少一者控制主动冷却机构和三维封装件的装置，

其中，所述至少一个三维封装件是多个三维封装件，并且所述至少一个主动冷却机构是多个主动冷却机构，

其中，所述多个主动冷却机构中的至少两个主动冷却机构具有不同的冷却能力，并且

其中，控制主动冷却机构和三维封装件还包括根据所述多个主动冷却机构的冷却能力而将多个工作负载分层地分配到多个三维封装件。

Images