CN109146763A - 用于图像识别的处理器 - Google Patents

Abstract

本发明提出一种用于图像识别的处理器，它是一种含有三维存储（3D‑M）阵列的分布式模式处理器。该处理器含有多个存储处理单元，每个单元都含有一模式处理电路和至少一3D‑M阵列。该3D‑M阵列堆叠在模式处理电路上方，并存储图像模型库等。模式处理电路根据该图像模型库对输入的用户图像数据进行模式识别。

Description

用于图像识别的处理器

技术领域

本发明涉及集成电路领域，更确切地说，涉及用于图像识别的处理器。

背景技术

模式匹配和模式识别指在目标模式（被检索的模式，target pattern）中查找与检索模式（用于检索的模式，search pattern）相同或接近的模式。其中，模式匹配要求查找到相同的模式，模式识别仅要求查找到接近的模式。除了特别说明，本说明书不区分模式匹配和模式识别，并用模式处理来统称各种对模式进行的操作。

模式处理（包括模式匹配和模式识别）应用广泛。常用的模式处理包括字符串匹配、代码匹配、语音识别和图像识别等。字符串匹配广泛用于大数据分析（如金融数据分析、电商数据分析、生物信息学）等领域：从大数据（目前多为文本数据库，含有目标字符串）中查找检索字符串，并进行统计分析。代码匹配广泛用于防恶意软件（anti-malware，如网络安全、计算机杀毒）等领域：从网络数据包中查找病毒标识（virus signature）或检查网络数据包是否符合网络规范（network rules），从而决定网络数据包是否安全。语音识别将通过语音传感器搜集到、或存储在语音档案库中的语音信号与声学模型库和语言模型库匹配。图像识别将通过图像传感器搜集到、或存储到图像档案库中的图像信号与图像模型库匹配。

随着大数据时代的到来，传统的模式库（包括检索模式库和目标模式库）已成为大型数据库（TB级到PB级，甚至EB级）：检索模式库（包括所有用于检索的模式）的数据量已经很大，而目标模式库（包括所有被检索的模式，通常为用户数据库）的数据量则更为巨大。目前计算机采用的von Neumann架构已不能满足大数据时代对模式处理的要求。在vonNeumann架构中，用于处理模式的处理器和用来存储模式的存储器是分离的：存储器（如硬盘、光盘、磁带等）仅用作存储模式数据，而不能对它进行任何模式处理；所有的模式处理都由外置处理器（如CPU、GPU）来完成。众所周知，分离的处理器和存储器之间带宽有限，光是从模式库中读出所有数据就需要很长时间，更何况对它们进行处理分析。因此，对大型模式库的模式处理需要耗费很长时间。

模式处理的一个典型应用是图像识别。图像识别的一种手段是根据图像模型库对用户图像进行模式识别。其中，图像模型库存储大量的图像模型。在识别时，模式处理器将用户图像数据与图像模型库中的图像模型一一比较，寻找最接近的图像模型。由于传统图像处理器（如CPU、GPU）内核数量有限、模式识别平行度较低，且图像模型库存储在外存（如硬盘）中、图像处理器获取图像模型耗时较长，故传统图像处理器在处理图像识别时效率低下。

发明内容

本发明的主要目的是提高图像识别的效率。

本发明的另一目的是提供一种能高效地进行图像识别的处理器。

为了实现这些以及别的目的，本发明提出一种用于图像识别的处理器，它是一种含有三维存储（three-dimensional memory，简称为3D-M）阵列的分布式模式处理器：该处理器不仅能存储模式数据，还能对它实施模式处理。一个模式处理器芯片含有多个存储处理单元，每个单元都含有一模式处理电路和至少一存储至少一模式（目标模式或检索模式）的3D-M阵列。3D-M阵列与模式处理电路的垂直集成带来很多优势：由于3D-M阵列不占衬底面积，它可以集成在模式处理电路上，这能增加存储容量、减少芯片面积。更重要的是，由于3D-M阵列和模式处理电路处于同一芯片中且距离很近，它们之间能实现一大带宽电连接。通过采用大规模平行计算（每个分布式模式处理器芯片可以含有上万个存储处理单元），分布式模式处理器能对大型模式库实现快速模式处理。

相应地，本发明提出一种用于图像识别的处理器(200)，其特征在于含有：一传输至少一用户图像数据的输入总线(110)；一半导体衬底(0)及多个存储处理单元(100aa-100mn)，所述多个存储处理单元与该输入总线(110)耦合，每个存储处理单元(100ij)含有至少一三维存储 (3D-M)阵列(170)和一模式处理电路(180)，其中：所述3D-M阵列(170)堆叠在该衬底(0)上方，该3D-M阵列(170)存储至少一图像模型；所述模式处理电路(180)位于该衬底(0)中，该模式处理电路(180)根据该图像模型对该用户图像数据进行模式识别；所述3D-M阵列(170)和所述模式处理电路(180)通过多个接触通道孔(1av, 3av)耦合。

附图说明

图1是一种分布式模式处理器的电路框图。

图2A-图2C是三种存储处理单元的电路框图；

图3A是一种三维可写存储器（three-dimensional writable memory，简称为3D-W）及基于3D-W的存储处理单元的截面图；图3B是一种三维印录存储器（three-dimensionalprinted memory，简称为3D-P）及基于3D-P的存储处理单元的截面图。

图4是一种存储处理单元的透视图。

图5A-图5C是三种存储处理单元的衬底电路布局图。

注意到，这些附图仅是概要图，它们不按比例绘图。为了显眼和方便起见，图中的部分尺寸和结构可能做了放大或缩小。在不同实施例中，数字后面的字母后缀表示同一类结构的不同实例；相同的数字前缀表示相同或类似的结构。在本说明书中，“/”表示“和/或”。

具体实施方式

图1表示一种用于图像识别的处理器200，它是一种分布式模式处理器芯片。该处理器200含有m x n个存储处理单元100aa-100mn。这些存储处理单元100aa-100mn均形成在衬底0上。输入总线110与各个存储处理单元耦合，输出总线120与各个存储处理单元耦合。注意到，分布式模式处理器芯片200可以含有上万个存储处理单元100aa-100mn。如此数量众多的存储处理单元100aa-100mn可以保证大规模平行计算，以实现高速模式处理。

每个存储处理单元100ij都含有一模式处理电路170和至少一存储至少一模式的3D-M阵列180。图2A-图2C是三种存储处理单元100ij的电路框图。在这些实施例中，一个模式处理电路180为不同数量的3D-M阵列170服务。图2A中的模式处理电路180为一个3D-M阵列170服务：存储在3D-M阵列170中的模式数据通过大带宽电连接160（参见图3A-图4）送入模式处理电路180，与输入模式数据110进行模式匹配或模式识别，并产生输出模式数据120。图2B中的模式处理电路180为四个存储阵列170A-170D服务：存储在3D-M阵列170A-170D中的模式数据通过大带宽电连接160A-160D（参见图3A-图4）送入模式处理电路180，并与输入模式数据110进行模式匹配或模式识别。图2C中的模式处理电路180为八个存储阵列170A-170D和170W-170Z服务：存储在3D-M阵列170A-170D和170W-170Z中的模式数据通过大带宽电连接160A-160D和160W-160Z（参见图3A-图4）送入模式处理电路180，并与输入模式数据110进行模式匹配或模式识别。从以后的图5A-图5C可以看出，为更多3D-M阵列服务的模式处理电路180具有更大的面积和更强的功能。

图3A-图3B表示两种典型3D-M。图3A是一种基于3D-W的存储处理单元100ij的截面图。3D-W存储的信息采用电编程录入。常见的3D-W有3D-XPoint。其它3D-W包括memristor、阻变存储器（RRAM）、相变存储器（PCM）、programmable metallization cell（PMC）、conductive bridging random-access memory （CBRAM）等。根据其可编程的次数，3D-W又分为三维一次编程存储器（three-dimensional one-time-programmable memory，简称为3D-OTP）和三维多次编程存储器（three-dimensional multiple-time-programmablememory，简称为3D-MTP）。顾名思义，3D-OTP能编程一次，3D-MTP能编程多次（包括重复编程）。3D-OTP工艺成熟，它可存储检索模式库（如病毒标识库、网络规范库、声学模型库、语言模型库等），这些模式库中的模式数据只增加不修改。3D-MTP是一种通用存储器，它可用来存储目标模式库，如用户数据（包括用户代码）等。

基于3D-W的存储处理单元100ij含有一形成在衬底0上的衬底电路层0K。存储层16A堆叠在衬底电路0K之上，存储层16B堆叠在存储层16A之上。衬底电路层0K含有存储层16A、16B的周边电路，它包括晶体管0t及互连线0M。每个存储层（如16A）含有多条第一地址线（如2a，沿y方向）、多条第二地址线（如1a，沿x方向）和多个3D-W存储元（如1aa）。存储层16A、16B分别通过接触通道孔1av, 3av与衬底0耦合。

3D-W存储元5aa含有一层编程膜12和一层二极管膜14。编程膜12可以是反熔丝膜（用于3D-OTP），也可以是其它多次编程膜（用于3D-MTP）。二极管膜14具有如下的广义特征：在读电压下，其电阻较小；当外加电压小于读电压或者与读电压方向相反时，其电阻较大。二极管膜可以是P-i-N二极管，也可以是金属氧化物（如TiO₂）二极管等。

图3B是一种基于3D-P的存储处理单元100ij的截面图。3D-P存储的信息是在工厂生产过程中采用印刷方式录入的（印录法）。这些信息是永久固定的，出厂后不能改变。印录法可以是光刻（photo-lithography）、纳米压印法（nano-imprint）、电子束扫描曝光（e-beam lithography）、DUV扫描曝光、激光扫描曝光(laser programming)等。常见的3D-P有三维掩膜编程只读存储器（3D-MPROM），它通过光刻法经过掩膜编程录入数据。3D-P的读速度比3D-W快，它适合存储固定的模式库（如声学模型库和语言模型库等），并实现高性能模式处理（如实现自然语言处理和实时语言翻译等）。

3D-P含有至少两种存储元5aa, 6aa。存储元6aa是一种低阻存储元，存储元5aa是一种高阻存储元。低阻存储元6aa含有一层二极管膜14，高阻存储元5aa比低阻存储元6aa多含一层高阻膜12。作为一个简单的例子，高阻膜12可以是一层二氧化硅膜。该高阻膜12在工艺流程中利用印录法在存储元6aa处被物理移除。

在图3A-图3B的3D-M（包括3D-W和3D-P）中，每个存储层含有多个3D-M阵列。3D-M阵列是在一个存储层中所有共享了至少一条地址线的存储元之集合。在一个3D-M阵列中，所有地址线是连续的，并不与不同3D-M阵列共享任何地址线。另一方面，一个3D-M芯片含有多个3D-M模块。每个3D-M模块含有3D-M中的所有存储层，其顶存储层仅含一个3D-M阵列，而且该3D-M阵列在衬底上的投影决定了该3D-M模块的边界。

图4从另一个角度披露了存储处理单元100ij的结构。存储模式的3D-M阵列170堆叠在衬底0的上方，处理模式的模式处理电路180位于衬底0中，并被3D-M阵列170至少部分覆盖。3D-M阵列170和模式处理电路180之间通过由大量接触通道孔1av、3av构成的大带宽电连接160实现通讯。由于接触通道孔1av、3av数量众多（可以上万个）且长度很短（微米级），芯片内电连接160的带宽远高于芯片间的通讯带宽。

3D-M阵列170与模式处理电路180的垂直集成带来很多优势：由于3D-M阵列170不占衬底面积0，它可以集成在模式处理电路180上，这能增加存储容量、减少芯片面积。更重要的是，由于3D-M阵列170和模式处理电路180处于同一芯片200中且距离很近，它们之间能实现较大带宽。通过采用大规模平行计算，分布式模式处理器200能对大型模式库实现快速模式处理。

图5A-图5C披露了三种存储处理单元的具体实现方式。图5A的实施例对应于图2A中存储处理单元100ij。模式处理电路180为一个3D-M阵列170服务，它被3D-M阵列170完全覆盖。在该实施例中，3D-M阵列170含有四个周边电路，包括X解码器15、15`和Y解码器（包括读出电路）17、17`，模式处理电路180位于这四个周边电路之间。在图5A中，由于3D-M阵列170位于衬底电路0K上方，不在衬底电路0K中，在此用虚线表示其在衬底0上的投影。

在本实施例中，模式处理电路180被局限在四个周边电路之间，其面积不能超过3D-M阵列170的面积，故其面积较小、功能有限。该实施例较适于实现较简单的模式处理（如字符串匹配和代码匹配）。很明显，较复杂的模式处理（如语音识别、图像识别）需要更大的电路，这需要在3D-M阵列170下腾出更大的衬底面积，以便模式处理电路180的布局。图5B-图5C披露了两种具有更大面积和更强功能的模式处理电路180。

图5B的实施例对应于图2B中存储处理单元100ij。在该实施例中，一个模式处理电路180为四个3D-M阵列170A-170D服务。每个3D-M阵列（如170A）只有两个周边电路（如X解码器15A和Y解码器17A）。在这四个3D-M阵列170A-170D下方，衬底电路0K可以自由布局，形成一模式处理电路180。很明显，图5B中的模式处理电路180可以是图5A的四倍大，它能实现较复杂的模式处理功能。

图5C的实施例对应于图2C中存储处理单元100ij。在该实施例中，一个模式处理电路180为八个3D-M阵列170A-170D和170W-170Z服务。这八个3D-M阵列分为两组150A、150B。每组（如150A）包括四个3D-M阵列（如170A-170D）。在第一组150A的四个3D-M阵列170A-170D下方，衬底电路可以自由布局，形成第一模式处理电路组件A 180A。类似地，在第二组150B的四个3D-M阵列170W-170Z下方，衬底电路也可以自由布局，形成第二模式处理电路组件B180B。第一模式处理电路组件180A和第二模式处理电路组件180B构成模式处理电路180。在本实施例中，在相邻周边电路之间（如相邻X解码器15A, 15C之间；在相邻的Y解码器17A,17B之间；在相邻的Y解码器17C, 17D之间）留有间隙（如G），以形成布线通道190Xa, 190Ya,190Yb，供不同模式处理电路组件150A, 150B之间、或不同模式处理电路之间实现通讯。很明显，图5C中的模式处理电路180可以是图5A的八倍大，它能实现更复杂的模式处理功能。

在本发明的一些实施例中，模式处理电路180仅需完成部分模式处理功能。比如说，模式处理电路180仅需完成简单模式处理（如简单特征的提取和处理）。经过该简单模式处理筛选后的模式将进一步通过输出总线120送到更强大的外置处理器（如CPU、GPU）中完成最终模式处理。由于模式库中的大部分模式会被简单模式处理筛选掉，输出的模式仅占模式库的小部分，这能降低输出总线120的带宽压力。

在分布式模式处理器200中，存储处理单元100ij可以采用两种模式处理方式——类处理器方式和类存储器方式。对于类处理器方式，存储处理单元100ij对外界来说就像一个能用其自带的检索模式库、对外来用户数据进行模式处理的处理器。具体说来，存储处理单元100ij的3D-M阵列170存储检索数据库；存储处理单元100ij的输入数据110是用户数据（包括用户代码），这些用户数据一般说来是实时产生的，如网络数据包；存储处理单元100ij将用户数据110与检索模式库进行模式匹配或模式识别。由于3D-M阵列170与模式处理器180之间具有大带宽连接160，这种模式处理方式比传统的、检索模式库存储于分离存储器的模式处理方式效率高。

对于类存储器方式，存储处理单元100ij对外界来说像一个主要用于存储用户数据、且能利用自带模式处理电路进行模式处理的存储器。具体说来，用户数据长久存储在存储处理单元100ij的3D-M阵列170中；存储处理单元100ij的输入数据110是检索模式数据；存储处理单元100ij将检索模式数据110与其用户数据进行模式匹配或模式识别。注意到，多个采用类存储器方式的分布式模式处理器芯片200可以像闪存芯片一样封装成存储卡（如SD卡、TF卡）和固态硬盘，用于存储海量的用户数据（如用户数据档案）。由于每个分布式模式处理器芯片200中的每个存储处理单元100ij都自带一个模式处理电路180，这个模式处理电路180仅需处理该存储处理单元100ij中3D-M阵列170存储的数据。因此，不论存储卡和固态硬盘的容量有多大，其模式处理的时间都接近单一模式处理电路180处理与其耦合的3D-M阵列170中存储的数据之时间。这个巨大的优势对传统处理器来说不可想象。

在类存储器方式中，存储处理单元100ij是用户数据的最终存储器件。这与传统的、含有嵌入式存储器的处理器不同：传统处理器中的嵌入式存储器仅临时存储用户数据，用户数据的最终存储器件还是外置存储器（如硬盘、光盘、磁带等）。如果用户数据长久存储在传统处理器中，则该传统处理器仅能为这些数据服务，而无法为其它数据服务。也就是说，大量用户数据需要使用很多处理器。由于传统处理器非常昂贵，这种处理方式代价过于高昂。与之比较，在本发明提出的存储处理单元100ij中，模式处理电路180集成在3D-M阵列170下方，与3D-M阵列的周边电路（如解码器）同时形成。由于3D-M本来就要形成周边电路，且周边电路只在衬底0上占很小面积（参见图5A-图5C），大部分衬底面积可以用来形成模式处理电路180，模式处理电路180对于3D-M来说是免费的。因此，在分布式模式处理器芯片200上可以形成大量近似免费的模式处理电路180，每个模式处理电路180为特定的数据（存储在与之耦合的3D-M阵列170中）服务。

以下就分布式模式处理器的应用做一简单介绍。作为一个例子，分布式模式处理器200是一防恶意软件（anti-malware）处理器，它主要用于网络安全和计算机杀毒。网络安全可采用类处理器方式：分布式模式处理器200的输入数据110是网络数据包，3D-M阵列170存储网络规范库和病毒标识库，模式处理电路180对它们进行模式匹配。计算机杀毒可采用类处理器方式和类存储器方式：对于类处理器方式，计算机中存储的用户数据作为输入数据110传输至分布式模式处理器200，3D-M阵列170存储病毒标识库，模式处理电路180对它们进行模式匹配；对于类存储器方式，病毒标识作为输入数据110传送至分布式模式处理器200，用户数据存储在3D-M阵列170中，模式处理电路180对它们进行模式匹配。在类处理器方式中，3D-M可以是3D-OTP或3D-MTP，它用于存储网络规范库和病毒标识库。在类存储器方式中，3D-M最好是3D-MTP，它存储用户数据库。

作为另一个例子，分布式模式处理器200可用于大数据分析（如金融数据分析、电商数据分析、生物信息学）。大数据分析涉及非结构化数据或半结构化数据。传统的、采用关系型数据库（relational database）的分析方法对此无能为力。分布式模式处理器200能提高大数据分析能力。为了提高效率，最好采用类存储器方式：大数据作为档案存储在3D-M阵列170中，用于数据分析的关键词作为输入模式数据110送至分布式模式处理器200，模式处理电路180对它们进行模式匹配。在大数据分析中，3D-M最好是3D-MTP，它用于存储用户数据。

分布式模式处理器200还可以用于语音识别和/或图像识别。在识别过程中，可以采用类处理器方式和类存储器方式。对于类处理器方式，用户产生的语音/图像数据作为输入数据110送至分布式模式处理器200，3D-M阵列170存储各种识别模型库（如声学模型库、语言模型库、图像模型库等），之后模式处理器180进行识别。对类存储器方式，用户产生的语音/图像数据作为档案存储在3D-M阵列170中，需要查找的语言信号或图像信号作为输入数据110送至分布式模式处理器200，之后模式处理电路180进行识别和查找。在类处理器方式中，3D-M可以是3D-P、3D-OTP或3D-MTP，它存储声学模型库、语言模型库、图像模型库等。在类存储器方式中，3D-M最好是3D-MTP，它存储语音/图像档案库。

应该了解，在不远离本发明的精神和范围的前提下，可以对本发明的形式和细节进行改动，这并不妨碍它们应用本发明的精神。因此，除了根据附加的权利要求书的精神，本发明不应受到任何限制。

Claims (10)

1.一种用于图像识别的处理器(200)，其特征在于含有：

一传输至少一用户图像数据的输入总线(110)；

一半导体衬底(0)及多个存储处理单元(100aa-100mn)，所述多个存储处理单元与该输入总线(110)耦合，每个存储处理单元(100ij)含有至少一三维存储 (3D-M)阵列(170)和一模式处理电路(180)，其中：

所述3D-M阵列(170)堆叠在该衬底(0)上方，该3D-M阵列(170)存储至少一图像模型；

所述模式处理电路(180)位于该衬底(0)中，该模式处理电路(180)根据该图像模型对该用户图像数据进行模式识别；

所述3D-M阵列(170)和所述模式处理电路(180)通过多个接触通道孔(1av, 3av)耦合。

2.根据权利要求1所述的处理器(200)，其特征还在于：所述3D-M为三维可写存储元（3D-W）。

3.根据权利要求1所述的处理器(200)，其特征还在于：所述3D-M阵列是一三维一次编程存储器（3D-OTP）阵列。

4.根据权利要求1所述的处理器(200)，其特征还在于：所述3D-M阵列是一三维多次编程存储器（3D-MTP）阵列。

5.根据权利要求1所述的处理器(200)，其特征还在于：所述3D-M阵列是3D-XPoint、memristor、阻变存储器（RRAM）、相变存储器（PCM）、programmable metallization cell（PMC）、或conductive bridging random-access memory （CBRAM）。

6.根据权利要求1所述的处理器(200)，其特征还在于：该3D-M阵列(170)覆盖至少部分所述模式处理电路(180)。

7.根据权利要求1所述的处理器(200)，其特征还在于：所述模式处理电路(180)被至少两个3D-M阵列(170A, 170B)覆盖。

8.根据权利要求1所述的处理器(200)，其特征还在于：所述模式处理电路(180)被至少四个3D-M阵列(170A-170D)覆盖。

9.根据权利要求1所述的处理器(200)，其特征还在于：所述模式处理电路(180)被至少八个3D-M阵列(170A-170D、170W-170Z)覆盖。

10.根据权利要求1所述的处理器(200)，其特征还在于：所述多个接触通道孔(1av,3av)构成一大带宽电连接。