CN109840876B

CN109840876B - 兼具渲染功能的图形存储器

Info

Publication number: CN109840876B
Application number: CN201711188053.0A
Authority: CN
Inventors: 张国飙
Original assignee: Chengdu Haicun IP Technology LLC
Current assignee: Chengdu Haicun IP Technology LLC
Priority date: 2017-11-24
Filing date: 2017-11-24
Publication date: 2023-04-18
Anticipated expiration: 2037-11-24
Also published as: CN109840876A

Abstract

本发明提出一种兼具渲染功能的图形存储器。它含有多个储算单元，每个储算单元都含有一本地渲染电路和至少一三维存储（3D‑M）阵列。本地渲染电路形成在衬底中并实现至少部分渲染操作，3D‑M阵列堆叠在本地渲染电路上方并存储至少部分模型数据，它们之间通过层间连接通道孔实现储算连接。

Description

兼具渲染功能的图形存储器

技术领域

本发明涉及集成电路领域，更确切地说，涉及兼具渲染功能的图形存储器。

背景技术

计算机图形（computer graphics）利用计算机产生图形，它广泛应用于计算机辅助设计、计算机辅助教学、计算机动画、管理和办公自动化、国土信息和自然资源显示与绘制、科学计算可视化、视频游戏（包括网游、手游）、虚拟现实（包括增强现实）等领域。计算机图形包括二维计算机图形和三维计算机图形。二维计算机图形采用物体的二维模型，而三维计算机图形采用物体的三维模型。三维模型是三维物体的一种数学表示，技术上来说，它并不是一种可显示的二维图形。

渲染是计算机图形的最后一道工序，它将二维或三维模型转换为可显示的图形。模型含有一个虚拟场景的几何、纹理、光照和着色等信息。在渲染过程中，模型数据被传输到一个图形处理器中，通过一个渲染程序的处理，输出到一个数码图形文件中。图形处理器是一种专门为复杂渲染计算设计的处理器。渲染包含多种渲染效果，包括着色（shading）、纹理填充（texture mapping）、凸凹填充（bump mapping）、雾化（fogging）、阴影（shadow）、透明度（transparency）、透澈度（translucency）、折射（refraction）、衍射（diffraction）、景深（depth of field）、动态模糊（motion blur）等。

为了获得较高的逼真度，线下渲染（如电影制作）需要大量的存储和计算资源。比如说，电影“阿凡达”的一些镜头含有50-500亿个多边形。虽然阿凡达使用的渲染集群(render farm)使用了4352台电脑（包括34816个处理器核、104TB内存和3PB外存），阿凡达仍花了四年时间才完成渲染。漫长的渲染时间部分是由冯·诺依曼架构造成的。在冯·诺依曼架构中，存储器和处理器是分离的，模型首先要从图形存储器中读出，再送到图形处理器中处理。图形存储器和图形处理器之间较少的系统总线数目及较低的带宽限制了渲染速度。规模宏大的渲染集群和漫长的渲染时间使高质量计算机图形的制作成本极其昂贵。另一方面，对于实时渲染（如视频游戏、模拟现实）来说，低效的渲染导致图形逼真度低。因此，实时计算机图形的图形质量一般较差。

发明内容

本发明的主要目的是提高计算机图形的渲染效率。

本发明的另一目的是提高渲染速度。

本发明的另一目的是降低渲染成本。

本发明的另一目的是减少线下渲染的时间。

本发明的另一目的是提高实时渲染的图形质量。

为了实现这些以及别的目的，本发明提出一种兼具渲染功能的图形存储器。与传统存储器相比，传统存储没有“智能”，而本发明中的图形存储器具有“智能”，即兼具渲染功能：除了存储模型外，该图形存储器还能至少部分地渲染该模型。

该图形存储器含有至少一三维存储器（three-dimensional memory，简称为3D-M）芯片。每个3D-M芯片含有多个存储处理单元（简称为储算单元）。每个储算单元含有一形成在衬底中的本地渲染电路和至少一堆叠在本地渲染电路上方的3D-M阵列。3D-M阵列存储模型数据，本地渲染电路实现至少部分渲染操作。由于兼具渲染功能，本发明中的3D-M被称为3D-M_RC。

3D-M阵列通过多个层间连接通道孔与本地渲染电路耦合。这些层间连接通道孔被统称为储算连接。由于每个3D-M_RC芯片含有数千（甚至上万）个储算单元，且每个储算单元含有上千个层间连接通道孔，3D-M_RC芯片中层间连接通道孔的数目达到数百万（甚至上千万）。换句话说，3D-M_RC芯片中储算连接的宽度有数百万位，这比传统计算机中系统总线（等效于储算连接）的宽度（64位）多了好几个数量级。因此，3D-M_RC芯片中储算连接的带宽远高于传统计算机。很明显，基于3D-M_RC技术的计算机具有更高的渲染速度，这对线下渲染和实时渲染都是好消息。此外，基于3D-M_RC技术的渲染集群需要较少的计算机，因此具有较低的渲染成本。

存储内计算（in-memory computing，或computation-in-memory）被认为将极大提高渲染速度。对于存储内计算，处理电路（如本地渲染电路）和存储电路在存储芯片的衬底上肩并肩地排列。由于肩并肩排列，这类集成被称为二维集成。与三维集成（在下一段中详细描述）比较，二维集成中存储电路与处理电路之间的连接尺度较长（数十微米到数百微米）且数量较少（数百到数千位）。此外，在存储芯片中增加处理电路将增大芯片面积，导致较高的芯片成本。

在本发明中的3D-M_RC芯片中，由于3D-M阵列堆叠在本地渲染电路上方，这类集成被称为三维集成。三维集成（3D-M_RC）相对于二维集成（存储内计算）有很多优势。采用三维集成后，3D-M阵列和本地渲染电路之间的层间连接通道孔尺度较短（微米级）且数量较多（数百万到数千万位）。因此，3D-M_RC芯片中储算连接的带宽远高于存储内计算。此外，由于本地渲染电路形成在3D-M阵列下方，在3D-M_RC芯片中增加渲染电路并不会增大芯片面积。对于相同计算能力，3D-M_RC芯片比存储内计算芯片面积小，芯片成本低。

3D-M_RC芯片还有一个优势：从3D-M的角度来看，增加的渲染功能是几乎“免费”的。由于3D-M阵列的周边电路不管怎样都要在衬底中形成，在形成周边电路的同时形成渲染电路并不会改变芯片的工艺流程，故不会增加晶圆成本。对于相同的存储容量，具有“智能”的3D-M_RC（即兼具渲染功能）与不具“智能”的3D-M成本接近。

相应地，本发明提出一种一种兼具渲染功能的图形存储器(200)，其特征在于含有一半导体衬底(0)及多个储算单元 (100aa-100mn)，每个储算单元(100ij)含有：一本地渲染电路(180)，所述本地渲染电路(180)位于该半导体衬底(0)中并实现至少部分渲染操作；至少一三维存储（3D-M）阵列(170)，所述3D-M阵列(170)堆叠在该本地渲染电路(180)上方并存储至少部分模型数据；所述本地渲染电路(180) 和所述3D-M阵列(170)通过多个层间连接通道孔(1av, 3av)实现储算连接(160)。

本发明还提出一种渲染系统(500)，其特征在于含有：一图形存储器(200)，所述图形存储器(200)含有至少一存储阵列(170*)和至少一本地渲染电路(180)，该存储阵列(170*)存储至少部分模型数据，该本地渲染电路(180)实现至少部分渲染操作并产生一部分渲染图形；一与该图形存储器(200)耦合的外部渲染电路(280)，该外部渲染电路(280)将该部分渲染图形转化为一完全渲染图形。

在本发明中，“计算机”指任何具有处理器和存储器的设备；“耦合”指任何形式的、从一个部件到另一部件的信号传输；“/”指“和”与“或”的关系。“形成在衬底中的电路”是指该电路的有源元件（晶体管/二极管）形成在衬底中。“形成在衬底上的电路”是指电路的有源元件（晶体管/二极管）形成在衬底上方，不在衬底中。

附图说明

图1是一种兼具渲染功能的3D-M（3D-M_RC）的电路框图。

图2A-图2C是三种储算单元的电路框图。

图3是一种含有三维可写存储器（three-dimensional writable memory，简称为3D-W）的储算单元之截面图。

图4是一种储算单元的透视图。

图5是一种含有三维印录存储器（three-dimensional printed memory，简称为3D-P）的储算单元之截面图。

图6A-图6C是三种储算单元的衬底电路布局图。

图7A是一种兼具渲染功能的存储卡的透视图；图7B是一种兼具渲染功能的固态硬盘的透视图。

图8是一种渲染系统的电路框图。

注意到，这些附图仅是概要图，它们不按比例绘图。为了显眼和方便起见，图中的部分尺寸和结构可能做了放大或缩小。在不同实施例中，数字后面的字母后缀表示同一类结构的不同实例；相同的数字前缀表示相同或类似的结构。

具体实施方式

图1表示一种兼具渲染功能的图形存储器200。该实施例是一个兼具渲染功能的三维存储器（3D-M_RC）芯片200。该3D-M_RC芯片200含有m x n个储算单元100aa-100mn，所有这些储算单元100aa-100mn均形成在一半导体衬底0上。每个储算单元存储至少部分模型数据，并能在本地实现至少部分渲染操作。输入110传输至少一渲染参数，输出120传输至少部分渲染图形。3D-M_RC芯片200含有成千上万个储算单元100aa-100mn，它们能同时进行渲染计算。因此，3D-M_RC芯片200支持大规模平行计算，其平行度远大于CPU或GPU。

图2A-图2C是三种储算单元100ij的电路框图。每个储算单元100ij含有一本地渲染电路180和至少一3D-M阵列170（或170A-170D、170W-170Z），它们之间通过储算连接160（或160A-160D、160W-170Z）耦合。3D-M阵列170存储至少部分模型数据，本地渲染电路180实现至少部分渲染操作。在这些实施例中，本地渲染电路180为不同数量的3D-M阵列170渲染。图2A中的本地渲染电路180为一个3D-M阵列170渲染；图2B中的本地渲染电路180为四个存储阵列170A-170D渲染：图2C中的本地渲染电路180为八个存储阵列170A-170D和170W-170Z渲染。从图6A-图6C可以看出，本地渲染电路180渲染的3D-M阵列越多，它就可以具有更大的物理面积和更强的功能。

图3是一种储算单元100ij的截面图。3D-M芯片含有一半导体衬底，多个相互堆叠的存储元，这些存储元堆叠在该半导体衬底上方且与该半导体衬底耦合。最常见的3D-M是三维只读存储器（3D-ROM），它是一种非易失性存储器。

基于存储元的方向，3D-M可分为横向3D-M和纵向3D-M。在横向3D-M中，所有的地址线都是水平且平行于衬底，存储元形成多个存储层，这些存储层相互堆叠。一种被业界熟知的横向3D-M是3D-XPoint。在纵向3D-M中，至少有一组地址线垂直于衬底，存储元形成多个存储串，这些存储串在衬底上排列。一种被业界熟知的纵向3D-M是3D-NAND。

适合存储模型数据为可写的3D-M，即3D-W，其存储元的状态可编程。基于其可编程的次数，3D-W又分为三维一次编程存储器（three-dimensional one-time-programmablememory，简称为3D-OTP）和三维多次编程存储器（three-dimensional multiple-time-programmable memory，简称为3D-MTP）。常见的3D-MTP包括三维闪存（如3D-NAND）、三维阻变存储器（RRAM或ReRAM）、三维相变存储器（PCM，如3D-XPoint）、三维可编程金属化存储器（PMC）、三维导电桥存储器（CBRAM）等。

图3中的储算单元100ij含有一半导体衬底0。在半导体衬底中形成了一衬底电路0K。存储层16A堆叠在衬底电路0K之上，存储层16B堆叠在存储层16A之上。衬底电路层0K含有存储层16A、16B的周边电路以及本地渲染电路180，它包括晶体管0t及其互连线0M。每个存储层（如16A）含有多条第一地址线（如2a，沿y方向）、多条第二地址线（如1a，沿x方向）和多个3D-W存储元（如1aa）。存储层16A、16B分别通过层间连接通道孔1av, 3av与衬底0耦合。由于层间连接通道孔1av, 3av将3D-M阵列170和本地渲染电路180耦合，它被称为储算连接160。

在该实施例中，3D-W存储元5aa含有一层编程膜12和一层二极管膜14。编程膜12可以是一次编程膜（如反熔丝膜，用于3D-OTP），也可以是多次编程膜（如相变膜，用于3D-MTP）。二极管膜14具有如下的广义特征：在读电压下，其电阻较小；当外加电压小于读电压或者与读电压方向相反时，其电阻较大。二极管膜可以是半导体（如p-i-n）二极管，也可以是金属氧化物（如TiO₂）二极管等。

图4从另一个角度披露表示储算单元100ij。本地渲染电路180位于半导体衬底0中，3D-M阵列170堆叠在本地渲染电路180之上，并至少覆盖部分本地渲染电路180。由于采用三维集成，储算单元100ij的物理面积等于3D-M阵列170和本地渲染电路180中较大那个的物理面积。这比二维集成要小很多。在二维集成中，芯片面积是存储电路和处理电路的面积之和。

除了芯片面积较小，三维集成的性能也较佳。在二维集成中，存储电路和处理电路之间的连接尺度较长（数十到数百微米）且数量较少（数百到数千位）。而在三维集成中，3D-M阵列170和本地渲染电路180之间的层间连接通道孔尺度较短（微米级）且数量较多（数百万到数千万位）。因此，3D-M_RC中的储算连接160具有较大带宽。

3D-M_RC芯片还有一个优势：从3D-M的角度来看，增加的渲染功能是几乎“免费”的。由于采用三维集成，本地渲染电路180形成在3D-M阵列170下方，在3D-M_RC芯片200中增加渲染电路180并不会增大芯片面积。注意到，由于3D-M阵列170的周边电路占用的衬底面积很小，大部分衬底面积可以用来形成渲染电路180。更妙的是，由于3D-M阵列170的周边电路不管怎样都要在衬底0上形成，在形成周边电路的同时形成渲染电路180并不会改变芯片的工艺流程，故不会增加晶圆成本。对于相同的存储容量，具有“智能”的3D-M_RC（即兼具渲染功能）与不具“智能”的3D-M成本接近。

本地渲染电路180实现至少部分渲染操作。在一个实施例中，该渲染操作计算一定视角下形成的图形。在另一实施例中，该渲染操作对一部分图形进行着色操作。渲染电路180的基本计算为加法和乘法。相应地，本地渲染电路180含有至少一加法器和/或一乘法器。

由于渲染操作经常需要的进行三角函数的计算，本地渲染电路180最好能快速有效地进行三角函数计算。为了减少本地渲染电路180的物理面积，三角函数通过读出存储在3D-M阵列中的查找表（LUT）并进行插值来实现。该实现方法在图5中具体描述。与图3不同之处是，第一存储层16A`用于存储三角函数的查找表，第二存储层16B才用于存储模型数据。

在该实施例中，存储层16A`中的存储元3aa, 3ac存储固定信息，它是3D-P存储元。3D-P存储的信息是在工厂生产过程中采用印刷方式录入的（印录法）。这些信息是永久固定的，出厂后不能改变。比如说，高阻存储元3aa（代表数码’0’）含有一层二极管膜14和一层高阻膜13; 在低阻存储元3ac（代表数码’1’）中的高阻膜13在工艺流程中通过印录法除去。印录法可以是光刻（photo-lithography）、纳米压印法（nano-imprint）、电子束扫描曝光（e-beam lithography）、DUV扫描曝光、激光扫描曝光(laser programming)等。常见的3D-P有三维掩膜编程只读存储器（3D-MPROM），它通过光刻法经过掩膜编程录入数据。由于它没有编程要求，在读时可以加较高的读电压，因此3D-P的读速度比3D-W快。很明显，三角函数的查找表也可以存储在3D-W阵列中。另外，在存储层16A`上可以堆叠不止一个存储层16B。除了三角函数，其它超越函数（如指数函数、对数函数等）也可以采用查找表来实现。

图6A-图6C披露了三种储算单元100ij的具体实现方式。图6A的实施例对应于图2A中储算单元100ij。本地渲染电路180为一个3D-M阵列170渲染，它被3D-M阵列170完全覆盖。在该实施例中，3D-M阵列170含有四个周边电路，包括X解码器15、15`和Y解码器（包括读出电路）17、17`，本地渲染电路180位于这四个周边电路之间。在图6A中，由于3D-M阵列170位于衬底电路0K上方，不在衬底电路0K中，在此用虚线表示其在衬底0上的投影。

图6B的实施例对应于图2B中储算单元100ij。在该实施例中，一个本地渲染电路180为四个3D-M阵列170A-170D渲染。每个3D-M阵列（如170A）只有两个周边电路（如X解码器15A和Y解码器17A）。在这四个3D-M阵列170A-170D下方，衬底电路0K可以自由布局，形成一本地渲染电路180。很明显，图6B中的本地渲染电路180的物理面积可以是图6A的四倍大，它能实现较复杂的渲染功能。

图6C的实施例对应于图2C中储算单元100ij。在该实施例中，一个本地渲染电路180为八个3D-M阵列170A-170D和170W-170Z渲染。这八个3D-M阵列分为两组150A、150B。每组（如150A）包括四个3D-M阵列（如170A-170D）。在第一组150A的四个3D-M阵列170A-170D下方，衬底电路可以自由布局，形成第一本地渲染电路组件A 180A。类似地，在第二组150B的四个3D-M阵列170W-170Z下方，衬底电路也可以自由布局，形成第二本地渲染电路组件B180B。第一本地渲染电路组件180A和第二本地渲染电路组件180B构成本地渲染电路180。在本实施例中，在相邻周边电路之间（如相邻X解码器15A, 15C之间；在相邻的Y解码器17A,17B之间；在相邻的Y解码器17C, 17D之间）留有物理间隙（如G），以形成布线通道190Xa,190Ya, 190Yb，供不同本地渲染电路组件150A, 150B之间、或不同本地渲染电路之间实现通讯。很明显，图6C中的本地渲染电路180的物理面积可以是图6A的八倍大，它能实现更复杂的渲染功能。

与闪存类似，本发明中的3D-M_RC芯片200还可以进一步构成兼具渲染功能的存储卡（如SD卡）、或兼具渲染功能的固态硬盘（SSD）。图7A表示一种兼具渲染功能的存储卡300。它含有两个相互堆叠的3D-M_RC芯片200a, 200b。3D-M_RC芯片200b相对于3D-M_RC芯片200a有一定位移，这样使芯片200a的接触垫320被暴露出来。引线310a, 310b将芯片200a, 200b与封装衬底330耦合。芯片200a, 200b被一起装在封装壳340中。另一方面，图7B表示一种兼具渲染功能的固态硬盘。它含有多个兼具渲染功能的存储卡300a, 300b。这些存储卡300a, 300b装在外壳430中，并与接口450耦合。

图8表示一种渲染系统500。它含有一兼具渲染功能的图形存储器（包括图形存储芯片）200以及一外部渲染电路280。外部渲染电路280可以是一CPU和/或一GPU。图形存储芯片200含有至少一存储阵列170*和至少一本地渲染电路180。存储阵列170*最好是3D-M阵列，这样图形存储芯片200也就是3D-M_RC芯片。存储阵列170*存储至少部分模型数据，本地渲染电路180实现至少部分渲染操作，并产生一部分渲染图形120。该部分渲染图形120被送到外部渲染电路280以产生完全渲染图形160。通过在图形存储芯片200中实现部分渲染，需要从图形存储芯片200中输出的数据量会少很多。这可以降低对图形存储芯片200和外部渲染电路280之间的带宽要求。

应该了解，在不远离本发明的精神和范围的前提下，可以对本发明的形式和细节进行改动，这并不妨碍它们应用本发明的精神。因此，除了根据附加的权利要求书的精神，本发明不应受到任何限制。

Claims

1.一种兼具渲染功能的图形存储器(200)，其特征在于含有一半导体衬底(0)及多个储算单元 (100aa-100mn)，每个储算单元(100ij)含有：

一本地渲染电路(180)，所述本地渲染电路(180)位于所述半导体衬底(0)中并实现至少部分渲染操作；

至少一三维存储3D-M阵列(170)，所述3D-M阵列(170)堆叠在该本地渲染电路(180)上方、不位于所述半导体衬底(0)中，并存储至少部分模型数据；

所述本地渲染电路(180) 和所述3D-M阵列(170)通过多个层间连接通道孔(1av, 3av)实现储算连接(160)。

2.根据权利要求1所述的图形存储器(200)，其特征还在于：所述本地渲染电路(180)含有至少一加法器和/或一乘法器。

3.根据权利要求1所述的图形存储器(200)，其特征还在于：所述3D-M阵列含有一三维可写存储3D-W阵列。

4.根据权利要求1所述的图形存储器(200)，其特征还在于：所述3D-M阵列存储至少一函数的查找表LUT。

5.根据权利要求1所述的图形存储器(200)，其特征还在于：所述图形存储器(200)是一兼具渲染功能的存储卡(300)的一部分、或一兼具渲染功能的固态硬盘(400)的一部分。

6.根据权利要求1所述的图形存储器(200)，其特征还在于：所述图形存储器(200)为一渲染系统(500)的一部分，所述渲染系统(500)还含有一与所述图形存储器(200)耦合的外部渲染电路(280)；所述本地渲染电路(180)产生一部分渲染图形，所述外部渲染电路(280)将所述部分渲染图形转化为一完全渲染图形。

7.根据权利要求1所述的图形存储器(200)，其特征还在于：所述图形存储器(200)是一兼具渲染功能的存储卡(300)的一部分、或一兼具渲染功能的固态硬盘(400)的一部分。