DE112016003571B4

DE112016003571B4 - Dreidimensionale Integration von neurosynaptischen Chips

Info

Publication number: DE112016003571B4
Application number: DE112016003571.3T
Authority: DE
Inventors: Fei Liu; Qing Cao; Kangguo Cheng; Zhengwen Li
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2015-11-30
Filing date: 2016-11-22
Publication date: 2023-11-02
Anticipated expiration: 2036-11-23
Also published as: GB2560480A; GB201810430D0; CN107851215B; CN107851215A; US10832127B2; GB2560480B; JP6943847B2; WO2017093848A1; JP2019505065A; US20170154257A1; DE112016003571T5

Abstract

Verfahren, das aufweist:Bilden von einer oder mehreren Neuronenschichten, die eine Mehrzahl von Datenverarbeitungselementen aufweisen;Bilden von einer Mehrzahl von Synapsenschichten, die auf einer der einen oder der mehreren Neuronenschichten gestapelt sind und jeweils eine Anordnung von Speicherelementen aufweisen, auf der einen oder den mehreren Neuronenschichten, wobei die Anordnung eine Mehrzahl von Zeilen und eine Mehrzahl von Spalten umfasst; undBilden einer Mehrzahl von versetzt angeordneten Durchkontaktierungen durch Silicium (TSVs), wobei jede der versetzt angeordneten TSVs die eine Neuronenschicht mit jeweils einer Synapsenschicht der Mehrzahl von Synapsenschichten verbindet, wobei sich jede der versetzt angeordneten TSVs senkrecht von der Neuronenschicht aus erstreckt, wobei ein erster Satz der Mehrzahl der TSVs horizontal versetzt von einem zweiten Satz der Mehrzahl der TSVs und von einem dritten Satz der Mehrzahl der TSVs angeordnet ist, wobei ein Teil der horizontal versetzt angeordneten TSVs jeweils gestaffelte vertikale Höhen haben und wobei weiterhin ein Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Zeile der Anordnung der entsprechenden Synapsenschicht auf eine links-rechts-versetzte Weise verbunden ist und ein anderer Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Spalte der Anordnung der entsprechenden Synapsenschicht auf eine von unten nach oben versetzte Weise verbunden ist;wobei die Mehrzahl von versetzt angeordneten TSVs als Datenübertragungsverbindungen zwischen einem oder mehreren Datenverarbeitungselementen in der einen oder den mehreren Neuronenschichten und einem oder mehreren Speicherelementen in der Mehrzahl von Synapsenschichten fungiert.

Description

HINTERGRUND
Im Gehirn kommunizieren Neuronen durch als Spikes bezeichnete binäre Nachrichten, die auf dem Axon eines erzeugenden Neurons an die Dendriten von empfangenden Neuronen übertragen werden. Die Kontaktstelle zwischen einem Axon und einem Dendriten wird als Synapse bezeichnet, die eine bestimmte Stärke hat, die die Wirksamkeit eines Spikes von einem präsynaptischen Quellenneuron auf ein postsynaptisches Zielneuron festlegt.
Ein neuromorphes (oder kognitives) Datenverarbeitungssystem ahmt die Verarbeitung des Gehirns für spezifische Anwendungen nach. Ein neuromorphes Datenverarbeitungssystem ist insofern probabilistisch, als es nicht nur Antworten auf numerische Probleme erzeugt, sondern Hypothesen, begründete Argumente und Empfehlungen zu komplexeren - und sinnvollen - Datenkörpern. Ähnlich wie das Gehirn besteht ein neuromorphes Datenverarbeitungssystem aus einem umfangreichen Netzwerk aus Neuron- (Verarbeitungs-) Einheiten und anpassungsfähigen Synapsen- (Speicher-) Einheiten. Die Neuroneinheit hat zwei Hauptfunktionen. Die erste Hauptfunktion besteht darin, ein Eingangssignal von verbundenen Synapseneinheiten zu empfangen. Wenn das Eingangssignal über einem festgelegten Eingangsschwellenwert liegt, erzeugt die Neuroneinheit ein spikeähnliches Ausgangssignal, das als Teil des größeren Netzes von Neuroneinheiten verarbeitet wird, das sodann eine computergestützte Entscheidung trifft. Dieser Prozess wird als spikezeitabhängige Plastizität (spike-timing dependent plasticity, STDP) bezeichnet. Die zweite Hauptfunktion der Neuroneinheit besteht darin, den Zustand von einer oder mehreren verbundenen Synapseneinheiten zu ändern, wobei jede Synapseneinheit in diesem Fall als Speichereinheit fungiert.
Neuron- und Synapseneinheiten wurden in einem integrierten Schaltkreis implementiert, der als neurosynaptischer Chip bekannt ist. In einer bekannten Implementierung handelt es sich bei den Synapseneinheiten um Einheiten auf der Basis vom Silicium, z.B. vertauschbare statische Direktzugriffsspeichereinheiten mit Acht-Transistor-Zellen (transposable 8-transistor cell static random access memory (8-T SRAM) devices), die in einer Kreuzschienenanordnung angeordnet sind. Zu anderen Implementierungen gehören magnetische RAM-Speicher (MRAM) oder Phasenwechselspeicher (phase change memory, PCM). Bei neurosynaptischen Chips handelt es sich um Schlüsselbausteine einer modularen neuromorphen Architektur.
US 2010/241601 A1 beschreibt eine künstliche Synapsenanordnung und einen virtuellen neuronalen Raum. Insbesondere werden ein kognitives Sensorsystem und eine Methode offenbart, die einen parallelen Faltungsprozessor umfassen, der beispielsweise in der Lage ist, hervorstechende Merkmale in einer interessierenden Szene situationsabhängig zu identifizieren, indem er die kortikale Hierarchie in der menschlichen Netzhaut und im visuellen Kortex nachahmt.
US 2014/310490 A1 beschreibt Methoden und Geräte für heterogenes Speicher-Chip-Stacking für energieeffizientes Rechnen. In einer Ausführungsform ist ein PCMS-Chip (Phase Change Memory with Switch) mit einem DRAM-Chip (Dynamic Random Access Memory) und einem CPU-Chip (Central Processing Unit) gekoppelt. CPU-Checkpointing-Statusdaten werden zunächst im PCMS-Chip gespeichert, bevor die Checkpointing-Daten zu einem späteren und längeren Zeitpunkt auf ein Sicherungsmedium übertragen werden. Hierbei sind der PCMS-Chip, der DRAM-Chip und der CPU-Chip mittels Durchkontaktierungen durch Silicium (through-silicon vias, TSVs) verbunden.
US2012/162947 A1 beschreibt ein integriertes Schaltkreissystem, das eine erste aktive Schicht auf einer Vorderseite eines Halbleiterchips und eine zweite vorgefertigte Schicht auf einer Rückseite des Halbleiterchips enthält und darin eingebettete elektrische Komponenten aufweist, wobei die elektrischen Komponenten mindestens eine diskrete passive Komponente umfassen. Das integrierte Schaltkreissystem umfasst außerdem mindestens einen elektrischen Pfad, der die erste aktive Schicht und die zweite vorgefertigte Schicht koppelt.
US 2013/307160 A1 offenbart Schaltkreise mit dreidimensionaler Integration und Verfahren zu ihrer Herstellung. Ein Schaltkreis umfasst hierbei eine untere Schicht und mehrere obere Schichten. Die untere Schicht umfasst einen unteren Landeplatz, der mit Funktionskomponenten in der unteren Schicht verbunden ist. Darüber hinaus werden die oberen Schichten über der unteren Schicht gestapelt. Jede der oberen Schichten umfasst einen jeweiligen oberen Landeplatz, der mit jeweiligen Funktionskomponenten in der jeweiligen oberen Schicht verbunden ist. Die Landeplätze sind durch eine einzige leitende Durchkontaktierung verbunden und in einem Stapel aus der unteren Schicht und den oberen Schichten so ausgerichtet, dass jeder der Landeplätze von jedem der Landeplätze in einer benachbarten Schicht im Stapel um mindestens eine vorher festgelegte Größe versetzt ist.
KURZDARSTELLUNG
Ausführungsformen stellen Techniken für eine dreidimensionale (3-D-) Integration von neurosynaptischen Chips bereit. In einer Ausführungsform weist ein Verfahren zum Beispiel Bilden von einer oder mehreren Neuronenschichten auf, wobei jede eine Mehrzahl von Verarbeitungseinheiten aufweist, Bilden von einer Mehrzahl von Synapsenschichten, die auf einer der einen oder der mehreren Neuronenschichten gestapelt sind und jeweils eine Anordnung von Speicherelementen aufweisen, auf der einen oder den mehreren Neuronenschichten, wobei die Anordnung eine Mehrzahl von Zeilen und eine Mehrzahl von Spalten umfasst, und Bilden einer Mehrzahl von versetzt angeordneten Durchkontaktierungen durch Silicium (through-silicon vias, TSVs), wobei jede der versetzt angeordneten TSVs die eine Neuronenschicht mit jeweils einer Synapsenschicht der Mehrzahl von Synapsenschichten verbindet, wobei sich jede der versetzt angeordneten TSVs senkrecht von der Neuronenschicht aus erstreckt, wobei ein erster Satz der Mehrzahl der TSVs horizontal versetzt von einem zweiten Satz der Mehrzahl der TSVs und von einem dritten Satz der Mehrzahl der TSVs angeordnet ist, wobei ein Teil der horizontal versetzt angeordneten TSVs jeweils gestaffelte vertikale Höhen haben und wobei weiterhin ein Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Zeile der Anordnung der entsprechenden Synapsenschicht auf eine links-rechts-versetzte Weise verbunden ist und ein anderer Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Spalte der Anordnung der entsprechenden Synapsenschicht auf eine von unten nach oben versetzte Weise verbunden ist,wobei die Mehrzahl von versetzt angeordneten TSVs als Datenübertragungsverbindungen zwischen einer oder mehreren Verarbeitungseinheiten in der einen oder den mehreren Neuronenschichten und einer oder mehreren Speichereinheiten in der Mehrzahl von Synapsenschichten fungieren.
KURZDARSTELLUNG DER ZEICHNUNGEN
Ausführungsformen der vorliegenden Erfindung werden nun lediglich beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:

1 eine Architekturabstraktion eines Netzes aus neurosynaptischen Kernen ist.
2A eine schematische Draufsicht einer eine Anordnung von Speichereinheiten aufweisenden Synapsenschicht gemäß einer ersten Ausführungsform der Erfindung ist. 2B ist eine schematische Querschnittsseitenansicht einer
3-D-Synapsenstruktur, die die Synapsenschicht von 2A aufweist, gemäß einer ersten Ausführungsform der Erfindung.
3A eine schematische Querschnittsseitenansicht einer 3-D-Synapsenstruktur gemäß einer zweiten Ausführungsform der Erfindung ist.
3B eine schematische Draufsicht einer Synapsenschaltkreisschicht gemäß einer zweiten Ausführungsform der Erfindung ist.

AUSFÜHRLICHE BESCHREIBUNG
Ausführungsformen der vorliegenden Erfindung betreffen neurosynaptische Chips und insbesondere Techniken für eine dreidimensionale (3-D-) Integration von neurosynaptischen Chips. Außerdem stellen Ausführungsformen der vorliegenden Erfindung eine skalierbare neurosynaptische 3-D-Architektur für neuronale Netzwerkschaltkreise bereit. Es versteht sich, dass es sich bei den in den beigefügten Zeichnungen gezeigten verschiedenen Schichten, Strukturen und/oder Bereichen um schematische Darstellungen handelt, die nicht unbedingt maßstabsgetreu gezeichnet sind. Außerdem werden eine oder mehrere Schichten, Strukturen und Bereiche eines häufig verwendeten Typs zum Bilden von Schaltkreiseinheiten oder -strukturen zur Vereinfachung der Erläuterung in einer gegebenen Zeichnung möglicherweise nicht ausdrücklich dargestellt. Dies bedeutet nicht, dass Schichten, Strukturen und Bereiche, die nicht ausdrücklich gezeigt werden, in den tatsächlichen Schaltkreisstrukturen weggelassen werden.
Außerdem werden in den Zeichnungen durchgehend die gleichen oder ähnliche Bezugsziffern verwendet, um die gleichen oder ähnliche Merkmale, Elemente, Schichten, Bereiche oder Strukturen zu bezeichnen, und folglich wird eine ausführliche Erläuterung der gleichen oder ähnlichen Merkmale, Elemente, Schichten, Bereiche oder Strukturen nicht für jede der Zeichnungen wiederholt. Es versteht sich, dass die Begriffe „etwa“ oder „im Wesentlichen“, wie sie hierin in Bezug auf Dicken, Breiten, Prozentangaben, Messbereiche usw. verwendet werden, nahe bei oder ungefähr, jedoch nicht exakt, bedeuten sollen. Zum Beispiel bedeutet der Begriff „etwa“ oder „im Wesentlichen“, wie er hierin verwendet wird, dass eine geringe Fehlerspanne vorhanden ist, beispielsweise 1 % oder weniger als der angegebene Betrag. Außerdem soll der in den Figuren dargestellte Maßstab einer Schicht, einer Struktur und/oder eines Bereichs im Verhältnis zu einer anderen Schicht, einer anderen Struktur und/oder eines anderen Bereichs nicht unbedingt einen tatsächlichen Maßstab darstellen.
In der kognitiven Datenverarbeitungsforschung besteht ein wachsendes Interesse am Entwickeln einer elektronischen neuromorphen Maschinentechnologie, die biologischen Gegebenheiten angepasst ist. Von daher besteht ein wachsendes Interesse, neurosynaptische Chips als Bausteine für kognitive Systeme zu verwenden. Dem aktuellen Stand der Technik bei neurosynaptischen Chips entspricht zum Beispiel ein neurosynaptischer Kern mit 256 digitalen Integrieren-und-Feuern-Neuronen und einem (1024 x 256)-Bit statischen Direktzugriffsspeicher in Kreuzschienenanordnung für Synapsen unter Verwendung des IBM 45 nm Silicon-on-Insulator- (SOI-) Prozesses und einer auf einem Phasenwechselspeicher beruhenden Synapse in einem ultradichten umfangreichen neuromorphen System (ultra-dense large scale neuromorphic system), in dem verschiedene Chalkogenid-Materialien beschrieben wurden, um synaptisches Verhalten zu demonstrieren. Obgleich der neueste neurosynaptische Chip von IBM mit der Bezeichnung TrueNorth 5,4 Milliarden Transistoren enthält und 1 Million programmierbare Neuronen und 256 Millionen programmierbare Synapsen aufweist, schafft er es dennoch nicht, ein durchschnittliches menschliches Gehirn mit 100 Milliarden Neuronen und 100 bis 150 Billionen Synapsen vollständig nachzuahmen. Selbstverständlich wächst die Größe eines Synapsenchips, der solche Merkmale unterbringen soll, exponentiell.
Dementsprechend veranschaulichen Ausführungsformen der vorliegenden Erfindung Techniken für eine 3-D-Integration/Architektur für einen Synapsenschaltkreis. Vorteilhafterweise verringert eine solche 3-D-Struktur die Grundfläche eines Synapsenchips beträchtlich, wohingegen die Anzahl von Axonverbindungen zwischen Synapsen und Neuronen erhöht wird. Außerdem ermöglicht eine 3-D-Integration eine fehlertolerante Struktur und eine heterogene Integration von Synapsenchips (komplementärer Metalloxid-Halbleiter- (complementary metal-oxide semiconductor, CMOS-) oder nichtflüchtiger Speicher) und Neuronchips.
Ausführungsformen, die solche Vorteile veranschaulichen, werden im Folgenden unter Bezugnahme auf die 2A bis 3B ausführlicher beschrieben.
Unter Bezugnahme auf 1 wird nun eine Architekturabstraktion eines Netzwerks aus neurosynaptischen Kernen veranschaulicht, das umfangreiche spikende neuronale Netze implementieren kann, die leistungsfähig, skalierbar und flexibel sind. 1 ist ein konzeptioneller Entwurf einer Architektur, bei der wie im Gehirn Speicherplatz, Berechnungs- und Datenübertragungsfunktionen in verteilten Modulen, die parallel arbeiten und über ein ereignisgesteuertes Netzwerk Daten austauschen, dicht integriert sind.
2A zeigt eine Draufsicht einer neurosynaptischen Schaltkreisstruktur gemäß einer ersten Ausführungsform der Erfindung. Zum Beispiel weist eine Struktur 200 eine Neuronenschicht 202 auf. Die Neuronenschicht 202 weist eine Mehrzahl von Neuronen (Verarbeitungseinheiten, in 2A nicht gezeigt) auf, und die Mehrzahl von Neuronen kann unter Verwendung einer beliebigen herkömmlichen Konfiguration wie beispielsweise einer N-mal-N-Anordnung (N by N array) in der Neuronenschicht 202 verteilt sein. Ein Neuron kann zum Beispiel eine nach dem Stand der Technik bekannte beliebige herkömmliche Verarbeitungs- oder Datenverarbeitungseinheit aufweisen, die hinsichtlich Größe, Funktionalität und/oder Funktionseigenschaften höchst unterschiedlich ausfallen kann. In einigen Ausführungsformen kann eine neurosynaptische Schaltkreisstruktur eine Mehrzahl von Neuronenschichten aufweisen, und jede aus der Mehrzahl von Neuronenschichten kann eine entsprechende Mehrzahl von Neuronen aufweisen, die in N-mal-N-Anordnungen verteilt sind.
Die Struktur 200 weist außerdem eine Synapsenschicht 210 auf. Die Synapsenschicht 210 weist eine Anordnung von Synapsen (Speichereinheiten) auf. Eine Synapse kann zum Beispiel eine beliebige herkömmliche, nach dem Stand der Technik bekannte Speichereinheit aufweisen wie PCM-, resistive Direktzugriffsspeicher- (resistive random-access memory, RRAM-) oder CMOS-Speichereinheiten. In einer Ausführungsform kann eine neurosynaptische Schaltkreisstruktur eine Mehrzahl von Synapsenschichten aufweisen, und jede aus der Mehrzahl von Synapsenschichten kann eine entsprechende Anordnung von Synapsen aufweisen. In einer solchen Ausführungsform kann jede Synapsenschicht eine Synapsenanordnung mit unterschiedlicher Größe aufweisen. Eine Synapsenschicht kann zum Beispiel eine 5-mal-5-Anordnung von Synapsen aufweisen, wohingegen eine andere Synapsenschicht eine 6-mal-6-Anordnung von Synapsen aufweisen kann. Außerdem kann jede Synapsenanordnung die gleichen oder unterschiedliche PCM-, RRAM- oder CMOS-Speichereinheiten aufweisen. In einer alternativen Ausführungsform kann eine Synapsenschicht eine Mehrzahl von Synapsenanordnungen aufweisen.
Jede der Zeilen und Spalten einer Synapsenanordnung in einer beliebigen gegebenen Synapsenschicht erstreckt sich über die Synapsen hinaus und ist mit einer oder mehreren Durchkontaktierungen durch Silicium (TSVs) verbunden, die sich senkrecht von einer Neuronenschicht aus erstreckt. In der Struktur 200 weist die Synapsenschicht 210 zum Beispiel eine 6-mal-6-Anordnung von Synapsen auf, und jede Zeile und Spalte der Anordnung ist mit entsprechenden TSVs (TSV 212-A bis TSV 212-L) verbunden, die sich senkrecht von der Neuronenschicht 202 aus erstreckt.
Gemäß einer Ausführungsform sind TSVs auf versetzte Weise angeordnet. „Versetzte TSVs“ können wie hierin verwendet eine Mehrzahl von TSVs bezeichnen, die in einer zickzackförmigen Anordnung oder im Wechsel auf jeder Seite eines mittleren Bereichs angeordnet sind. In der Struktur 200 sind die TSVs 212-A bis 212-F beispielsweise auf eine links-rechts-versetzte Weise mit jeder Zeile der Anordnung verbunden, und ebenso sind die TSVs 212-G bis 212-L auf eine von unten nach oben versetzte Weise mit jeder Spalte der Anordnung verbunden. Folglich können die TSVs 212-A bis 212-L insgesamt als eine Mehrzahl von versetzt angeordneten TSVs bezeichnet werden.
Unter Bezugnahme auf 2B zeigt nun eine Struktur 200' eine Querschnittsseitenansicht der Struktur 200 von 2A entlang der AA-Achse. 2B veranschaulicht, dass die Struktur 200' die Neuronenschicht 202 und die Synapsenschicht 210 aufweist. 2B zeigt außerdem, dass die Struktur 200' unterhalb der Synapsenschicht 210 zwei zusätzliche Synapsenschichten aufweist (als Synapsenschicht 220 und Synapsenschicht 230 bezeichnet), die in 2A nicht gezeigt wurden. Beide Synapsenschichten 220 und 230 weisen entsprechende Anordnungen von Synapsen auf.
2B veranschaulicht außerdem, dass Struktur 200' die TSV 212-E aufweist. Es sei darauf hingewiesen, dass die in 2A gezeigten TSVs 212-C und 212-A in 2B verborgen sind, da sie sich in der Perspektive von 2B direkt hinter der TSV 212-E befinden. Lediglich zur Vereinfachung der Figur sind in 2B außerdem die TSVs 212-G, 212-H, 212-I, 212-J, 212-K, 212-L, 212-F, 212-D und 212-B weggelassen. 2B veranschaulicht außerdem, dass die Struktur 200' zusätzliche TSVs 222-E und 232-E aufweist. Die TSV 222-E erstreckt sich im rechten Winkel von der Neuronenschicht 202 aus nach oben und ist mit der Synapsenschicht 220 verbunden, wohingegen sich die TSV 232-E senkrecht von der Neuronenschicht 202 aus nach oben erstreckt und mit der Synapsenschicht 230 verbunden ist. Es sei außerdem darauf hingewiesen, dass die TSV 222-E Teil einer Mehrzahl von versetzt angeordneten TSVs (222-A bis 222-L, in 2B nicht gezeigt) ist, die mit jeder Zeile und Spalte der Synapsenanordnung in der Synapsenschicht 220 verbunden sind, und die TSV 232-E Teil einer Mehrzahl von versetzt angeordneten TSVs (232-A bis 232-L, in 2B nicht gezeigt) ist, die mit jeder Zeile und Spalte der Synapsenanordnung in der Synapsenschicht 230 verbunden sind.
Es ist wichtig darauf hinzuweisen, dass in 2B die TSVs 212-E, 222-E und 232-E vertikal versetzt angeordnet sind. „Versetzt angeordnete TSVs“ können wie hierin verwendet auch eine Mehrzahl von TSVs bezeichnen, die horizontal von einer weiteren Mehrzahl von TSVs versetzt sind. Außerdem kann „versetzt angeordnete TSVs“ wie hierin verwendet einen Satz von horizontal versetzten TSVs mit gestaffelten vertikalen Höhen bezeichnen. Zum Beispiel haben eine erste Mehrzahl von versetzt angeordneten TSVs (212-A bis 212-L), eine zweite Mehrzahl von versetzt angeordneten TSVs (222-A bis 222-L) und eine dritte Mehrzahl von versetzt angeordneten TSVs (232-A bis 232-L) jeweils gestaffelte vertikale Höhen, um entsprechende Synapsenschichten zu erreichen.
Schließlich veranschaulicht 2B, dass die Struktur 200' eine Umverteilungsschicht (redistribution layer) 204 aufweist, die direkt über der Neuronenschicht 202 platziert ist. Die Umverteilungsschicht 204 kann als Routing-Schicht (routing layer) fungieren, um ein selektives Verbinden von einer oder mehreren TSVs mit dem einen oder den mehreren in der Neuronenschicht 202 verteilten Neuronen zu steuern.
Wie sowohl in 2A als auch in 2B gezeigt wird, werden Mehrzahlen von versetzt angeordneten TSVs in einer äußeren Begrenzung der Neuronenschicht 202 platziert. In einigen Ausführungsformen kann es vorgezogen werden, eine Mehrzahl von versetzt angeordneten TSVs so zu platzieren, dass sie mit der untersten Synapsenschicht in der äußersten Begrenzung einer Neuronenschicht verbunden sind, und eine Mehrzahl von versetzt angeordneten TSVs so zu platzieren, dass sie mit der obersten Synapsenschicht in der innersten Begrenzung einer Neuronenschicht verbunden sind. Eine solche Konfiguration ermöglicht einen leistungsfähigen Kompromiss zwischen horizontaler und vertikaler Durchlaufzeit. Eine solche Darstellung soll den Schutzumfang der Erfindung jedoch in keiner Weise einschränken. In alternativen Ausführungsformen könnten eine Synapsenschicht eine Mehrzahl von Synapsenanordnungen aufweisen und TSVs nicht nur in äußeren Begrenzungen der Anordnungen, sondern auch durch eine oder mehrere und zwischen einer oder mehreren Synapsenanordnungen in der gegebenen Synapsenschicht verteilt sein.
Jede der oben beschriebenen Ausführungsformen kann in ihrer Gesamtheit übereinander gestapelt werden. Zum Beispiel kann ein zusätzlicher Satz von Neuronenschicht, Umverteilungsschicht, Synapsenschicht und TSVs über der Struktur 200' gestapelt werden, wie in 2B gezeigt wird. In einer solchen Struktur erstrecken sich TSVs, die aus einer gegebenen Neuronenschicht hervorgehen, auch auf eine oder mehrere Neuronenschichten, die über dieser angeordnet sind, und fungieren als Datenübertragungsverbindungen zwischen einer oder mehreren Datenverarbeitungseinheiten in einer beliebigen der Neuronenschichten und einer oder mehreren Speichereinheiten in einer beliebigen der Synapsenschichten.
In keiner der oben beschriebenen Ausführungsformen muss eine Anordnung von Synapsen unbedingt eine quadratische Anordnung der Größe N x N sein. Zum Beispiel kann eine Mehrzahl von Synapsen in einer Synapsenschicht in einer Anordnung der Größe N x M verteilt sein, wobei N > M.
In einigen Ausführungsformen kann eine Neuronenschicht einen größer bemessenen Bereich als eine beliebige der über dieser angeordneten Synapsenschichten aufweisen. Eine Neuronenschicht kann zum Beispiel eine Ausdehnung von 20 mm x 20 mm haben und eine Mehrzahl von Synapsenschichten kann jeweils eine Abmessung von 19 mm x 19 mm haben. In solchen Ausführungsformen kann die Mehrzahl von Synapsenschichten konzentrisch auf der Neuronenschicht angeordnet sein, und eine Mehrzahl von TSVs kann sich an einer äußeren Begrenzung der Neuronenschicht senkrecht von der Neuronenschicht aus erstrecken, wobei sie die Mehrzahl von Synapsenschichten einschließt. Beispielhafte Ausführungsformen einer solchen Konfiguration werden in den 2A und 2B gezeigt.
Es sei darauf hingewiesen, dass alle der obigen Beispiele hinsichtlich der Anzahl und der Größe der Anordnungen oder der Anzahl von darin enthaltenen Neuronen oder Synapsen lediglich beispielhaft sind. Außerdem sind die obigen Beispiele hinsichtlich der Anzahl, der Form, der Anordnung oder der Verteilung der TSVs lediglich beispielhaft und sollen den Schutzumfang der Erfindung in keiner Weise einschränken.
In allen offenbarten Ausführungsformen der vorliegenden Erfindung ist es möglich, eine heterogene Integration von Synapsenschichten zu erzielen. Zum Beispiel kann in einer gegebenen Mehrzahl von Synapsenschichten eine erste Schicht eine Anordnung von PCM-Einheiten aufweisen, wohingegen eine zweite Schicht eine Anordnung von RRAM-Einheiten aufweisen kann. Eine Synapsenschicht kann eine Anordnung von Speichereinheiten aufweisen, die PCM- und/oder RRAM- und/oder CMOS-Speichereinheiten aufweisen. Außerdem können TSVs in jeder der offenbarten Ausführungsformen aus Wolfram, Kupfer oder beliebigen anderen geeigneten Materialien bestehen. Zum Beispiel kann ein 3-D-Bonden (3-D bonding) durch Cu-Cu-Bonden (Cu-Cu Bonding), Polymer-Bonden (polymer bonding), Oxid-Bonden (oxide bonding) oder Hybrid-Bonden (hybrid bonding) erzielt werden. Bei hochintegrierten 3-D-Integrationsstrukturen wird Oxid-Bonden bevorzugt.
In einer beispielhaften Veranschaulichung kann ein herkömmlicher 2-D-Synapsenchip 256 Neuroneinheiten mit 1024 Axonverbindungen aufweisen, was insgesamt 1024 x 256 Synapseneinheiten ergibt. Die Synapseneinheiten können in einer Anordnung der Größe 1024 x 256 verteilt sein, wobei 1024 Zeilen den Axonverbindungen entsprechen und 256 Spalten den Neuroneinheiten entsprechen. Im Gegensatz zu einem herkömmlichen 2-D-Synapsenchip weist eine Ausführungsform der vorliegenden Erfindung eine Neuronenschicht auf, die 256 Neuroneinheiten enthält. Durch Stapeln von 4 Synapsenschichten auf der Neuronenschicht, wobei jede Schicht Synapseneinheiten in einer Anordnung der Größe 256 x 256 aufweist, könnte die gleiche Anzahl von Synapseneinheiten in einem deutlich kleineren Bereich untergebracht werden. Beispielsweise kann die Basisgröße einer 3-D-Struktur einfach die Größe der Neuronenschicht sein, die nur in etwa die gleiche Größe wie die Synapseneinheiten haben muss. Alternativ wäre durch Stapeln von 16 Synapsenschichten, von denen jede Synapseneinheiten in einer Anordnung der Größe 128 x 128 aufweist, ein Unterbringen einer gleichen Anzahl von Synapseneinheiten in einem noch kleinen Bereich möglich. Daher wird die Grundfläche eines Synapsenchips durch die 3-D-Integrationsstruktur erheblich verringert. Außerdem kann Stapeln von mehr Synapsenschichten zu mehr Axonverbindungen zwischen mehr Neuroneinheiten und mehr Synapseneinheiten führen.
Gemäß einer zweiten Ausführungsform zeigt 3A eine Querschnittsseitenansicht einer Struktur 300, wobei im Gegensatz zu der in 2B gezeigten Struktur 200' eine Neuronenschicht durch eine Synapsenchip-Kernschicht (synapse chip core layer) 302 ersetzt ist. Anstelle eines Stapelns einer Mehrzahl von Synapsenschichten, die jeweils eine Anordnung von Synapsen aufweisen, wie in 2B gezeigt wird, veranschaulicht die Struktur 300 außerdem ein Stapeln einer Mehrzahl von parallelgeschalteten Synapsenschaltkreisschichten 304-1, 304-2, ... 304-N (insgesamt als parallelgeschaltete Synapsenschaltkreisschichten 304 bezeichnet). Ähnlich den unter Bezugnahme auf die 2A und 2B gezeigten Strukturen ist die Synapsenchip-Kernschicht 302 funktionsmäßig so konfiguriert, dass sie über eine Mehrzahl von versetzt angeordneten TSVs mit jeder parallelgeschalteten Synapsenschaltkreisschicht Daten austauscht. Die Struktur 300 weist außerdem eine Umverteilungsschicht 306 auf. Die Umverteilungsschicht 306 kann als Routing-Schicht fungieren, um einen Punkt in der Synapsenchip-Kernschicht 302 an eine Stelle in einer bestimmten parallelgeschalteten Synapsenschaltkreisschicht 304 zu leiten.
Unter Bezugnahme auf 3B sind nun TSVs, wie sie in der Struktur 300' gezeigt werden, auf eine im Wesentlichen ähnliche Weise konfiguriert und funktionsfähig wie bei der ersten Ausführungsform, die oben unter Bezugnahme auf die 2A und 2B offenbart wurde. Außerdem sind Techniken zum Stapeln einer Mehrzahl von parallelgeschalteten Synapsenschaltkreisschichten auf der Synapsenchip-Kernschicht sowie zum Stapeln einer Mehrzahl von Synapsenchip-Kernschichten, die jeweils eine entsprechende Mehrzahl von parallelgeschalteten Synapsenschaltkreisschichten aufweisen, im Wesentlichen ähnlich den oben unter Bezugnahme auf die erste Ausführungsform offenbarten Techniken. Folglich sind Offenbarungen bezüglich spezifischer Anordnungen und Konfigurationen zur Vereinfachung der Beschreibung weggelassen worden.

Claims

Verfahren, das aufweist: Bilden von einer oder mehreren Neuronenschichten, die eine Mehrzahl von Datenverarbeitungselementen aufweisen; Bilden von einer Mehrzahl von Synapsenschichten, die auf einer der einen oder der mehreren Neuronenschichten gestapelt sind und jeweils eine Anordnung von Speicherelementen aufweisen, auf der einen oder den mehreren Neuronenschichten, wobei die Anordnung eine Mehrzahl von Zeilen und eine Mehrzahl von Spalten umfasst; und Bilden einer Mehrzahl von versetzt angeordneten Durchkontaktierungen durch Silicium (TSVs), wobei jede der versetzt angeordneten TSVs die eine Neuronenschicht mit jeweils einer Synapsenschicht der Mehrzahl von Synapsenschichten verbindet, wobei sich jede der versetzt angeordneten TSVs senkrecht von der Neuronenschicht aus erstreckt, wobei ein erster Satz der Mehrzahl der TSVs horizontal versetzt von einem zweiten Satz der Mehrzahl der TSVs und von einem dritten Satz der Mehrzahl der TSVs angeordnet ist, wobei ein Teil der horizontal versetzt angeordneten TSVs jeweils gestaffelte vertikale Höhen haben und wobei weiterhin ein Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Zeile der Anordnung der entsprechenden Synapsenschicht auf eine links-rechts-versetzte Weise verbunden ist und ein anderer Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Spalte der Anordnung der entsprechenden Synapsenschicht auf eine von unten nach oben versetzte Weise verbunden ist; wobei die Mehrzahl von versetzt angeordneten TSVs als Datenübertragungsverbindungen zwischen einem oder mehreren Datenverarbeitungselementen in der einen oder den mehreren Neuronenschichten und einem oder mehreren Speicherelementen in der Mehrzahl von Synapsenschichten fungiert.
Verfahren nach Anspruch 1, wobei die Mehrzahl von versetzt angeordneten TSVs in einer äußeren Begrenzung der Mehrzahl von Synapsenschichten gebildet wird.
Verfahren nach Anspruch 2, wobei die Mehrzahl von versetzt angeordneten TSVs in der äußeren Begrenzung auf eine zickzackförmige Weise gebildet wird, wobei abwechselnd Zeilen und Spalten der Anordnung von Speicherelementen mit den TSVs auf jeweils gegenüberliegenden Seiten verbunden sind.
Verfahren nach Anspruch 1, wobei mindestens eine der Synapsenschichten eine Mehrzahl von Anordnungen von Speicherelementen aufweist, wobei die Mehrzahl von versetzt angeordneten TSVs in einer äußeren Begrenzung und durch jedes und zwischen jedem aus der Mehrzahl von Speicherelementen gebildet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei jede Mehrzahl von versetzt angeordneten TSVs mit einer entsprechenden Synapsenschicht verbunden ist und wobei jede Mehrzahl von versetzt angeordneten TSVs vertikal versetzt angeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zwei oder mehrere der Synapsenschichten heterogene Synapsenschichten sind, wobei mindestens eine Synapsenschicht eine Anordnung von Speicherelementen aufweist, die einen ersten Typ von Speicherelementen aus Phasenwechselspeicher- (PCM-) Elementen und/oder resistiven Direktzugriffsspeicher- (RRAM-) Elementen und/oder komplementären Metalloxid-Halbleiter- (CMOS-) Speicherelementen aufweisen, und mindestens eine weitere Synapsenschicht eine Anordnung von Speicherelementen aufweist, die einen zweiten Typ von Speicherelementen aus PCM-Elementen und/oder RRAM-Elementen und/oder CMOS-Speicherelementen aufweisen, die sich vom ersten Typ von Speicherelementen unterscheiden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anordnung von Speicherelementen eine heterogene Anordnung von Speicherelementen ist, die zwei oder mehrere aus Phasenwechselspeicher- (PCM-) Elementen und/oder resistiven Direktzugriffsspeicher- (RRAM-) Elementen und/oder komplementären Metalloxid-Halbleiter-(CMOS-) Speicherelementen aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, das außerdem ein Bilden einer Umverteilungsschicht auf der einen oder den mehreren Neuronenschichten aufweist, wobei die Mehrzahl von versetzt angeordneten TSVs in der Umverteilungsschicht selektiv mit dem einen oder den mehreren Datenverarbeitungselementen der einen oder mehreren Neuronenschichten verbunden ist.
Verfahren nach einem der vorhergehenden Ansprüche, das außerdem ein Wiederholen der Schritte des Bildens aufweist, um eine Mehrzahl von einer oder mehreren Neuronenschichten zu bilden, und die Mehrzahl von einer oder mehreren Neuronenschichten jeweils einen entsprechenden Satz von einer oder mehreren Synapsenschichten aufweist, die jeweils eine Anordnung von Speicherelementen aufweisen, wobei die Mehrzahl von versetzt angeordneten TSVs als Datenübertragungsverbindungen zwischen einem oder mehreren Datenübertragungselementen in einer beliebigen der Neuronenschichten und einem oder mehreren Speicherelementen in einer beliebigen der Synapsenschichten fungiert.
Vorrichtung, die aufweist: eine oder mehrere Neuronenschichten, die jeweils eine Mehrzahl von Datenverarbeitungselementen aufweisen; eine Mehrzahl von Synapsenschichten, die auf einer der einen oder der mehreren Neuronenschichten gestapelt werden, wobei jede der Mehrzahl von Synapsenschichten eine Anordnung von Speicherelementen aufweist, wobei die Anordnung eine Mehrzahl von Zeilen und eine Mehrzahl von Spalten umfasst; und eine Mehrzahl von versetzt angeordneten Durchkontaktierungen durch Silicium (TSVs), die die eine Neuronenschicht mit jeweils einer der Mehrzahl an Synapsenschichten verbindet, wobei sich jede der versetzt angeordneten TSVs senkrecht von der Neuronenschicht aus erstreckt, wobei ein erster Satz der Mehrzahl der TSVs horizontal versetzt von einem zweiten Satz der Mehrzahl der TSVs und von einem dritten Satz der Mehrzahl der TSVs angeordnet ist, wobei ein Teil der horizontal versetzt angeordneten TSVs jeweils gestaffelte vertikale Höhen haben und wobei weiterhin ein Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Zeile der Anordnung der entsprechenden Synapsenschicht auf eine links-rechts-versetzte Weise verbunden ist und ein anderer Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Spalte der Anordnung der entsprechenden Synapsenschicht auf eine von unten nach oben versetzte Weise verbunden ist; wobei die Mehrzahl von versetzt angeordneten TSVs als Datenübertragungsverbindungen zwischen einem oder mehreren Datenverarbeitungselementen in der einen oder den mehreren Neuronenschichten und einem oder mehreren Speicherelementen in der Mehrzahl von Synapsenschichten fungiert.
Vorrichtung nach Anspruch 10, wobei die Mehrzahl von versetzt angeordneten TSVs in einer äußeren Begrenzung der Mehrzahl von Synapsenschichten gebildet wird.
Vorrichtung nach Anspruch 11, wobei die Mehrzahl von versetzt angeordneten TSVs in der äußeren Begrenzung auf eine zickzackförmige Weise gebildet wird, wobei abwechselnd Zeilen und Spalten der Anordnung von Speicherelementen mit den TSVs auf jeweils gegenüberliegenden Seiten verbunden sind.
Vorrichtung nach Anspruch 10, wobei mindestens eine der Synapsenschichten eine Mehrzahl von Anordnungen von Speicherelementen aufweist, wobei die Mehrzahl von TSVs in äußeren Begrenzungen von jedem aus der Mehrzahl von Anordnungen von Speicherelementen versetzt angeordnet ist.
Vorrichtung nach einem der Ansprüche 10 bis 13, wobei jede Mehrzahl von versetzt angeordneten TSVs mit einer entsprechenden Synapsenschicht verbunden ist und wobei jede Mehrzahl von versetzt angeordneten TSVs vertikal versetzt angeordnet ist.
Vorrichtung nach einem der Ansprüche 10 bis 14, wobei zwei oder mehrere der Synapsenschichten heterogene Synapsenschichten sind, wobei mindestens eine Synapsenschicht eine Anordnung von Speicherelementen aufweist, die einen ersten Typ von Speicherelementen aus Phasenwechselspeicher- (PCM-) Elementen und/oder resistiven Direktzugriffsspeicher- (RRAM-) Elementen und/oder komplementären Metalloxid-Halbleiter- (CMOS-) Speicherelementen aufweisen, und mindestens eine weitere Synapsenschicht eine Anordnung von Speicherelementen aufweist, die einen zweiten Typ von Speicherelementen aus PCM-Elementen und/oder RRAM-Elementen und/oder CMOS-Speicherelementen aufweisen, die sich vom ersten Typ von Speicherelementen unterscheiden.
Vorrichtung nach einem der Ansprüche 10 bis 15, wobei die Anordnung von Speicherelementen eine heterogene Anordnung von Speicherelementen ist, die zwei oder mehrere aus Phasenwechselspeicher- (PCM-) Elementen und/oder resistiven Direktzugriffsspeicher- (RRAM-) Elementen und/oder komplementären Metalloxid-Halbleiter- (CMOS-) Speicherelementen aufweist.
Vorrichtung nach einem der Ansprüche 10 bis 16, die außerdem eine Umverteilungsschicht aufweist, die auf der einen oder den mehreren Neuronenschichten gebildet ist, wobei die Mehrzahl von versetzt angeordneten TSVs in der Umverteilungsschicht selektiv mit einem oder mehreren Datenverarbeitungselementen der einen oder mehreren Neuronenschichten verbunden ist.
Vorrichtung nach einem der Ansprüche 10 bis 17, die außerdem eine Mehrzahl von einer oder mehreren Neuronenschichten aufweist und die Mehrzahl von einer oder mehreren Neuronenschichten jeweils einen entsprechenden Satz von einer oder mehreren Synapsenschichten aufweist, die jeweils eine Anordnung von Speicherelementen aufweisen, wobei die Mehrzahl von versetzt angeordneten TSVs als Datenübertragungsverbindungen zwischen einem oder mehreren Datenübertragungselementen in einer beliebigen der Neuronenschichten und einem oder mehreren Speicherelementen in einer beliebigen der Synapsenschichten fungiert.
Verfahren, das aufweist: Bilden einer Synapsenchip-Kernschicht; Bilden von einer Mehrzahl von parallelgeschalteten Synapsenschaltkreisschichten auf der Synapsenchip-Kernschicht, wobei jede der Mehrzahl von parallelgeschalteten Synapsenschaltkreisschichten eine Anordnung von Synapsenschaltkreisen aufweist, wobei die Anordnung eine Mehrzahl von Zeilen und eine Mehrzahl von Spalten umfasst; und Bilden einer Mehrzahl von versetzt angeordneten Durchkontaktierungen durch Silicium (TSVs), die jede der parallelgeschalteten Synapsenschaltkreisschichten mit der Synapsenchip-Kernschicht verbinden, wobei ein erster Satz der Mehrzahl der TSVs horizontal versetzt von einem zweiten Satz der Mehrzahl der TSVs und von einem dritten Satz der Mehrzahl der TSVs angeordnet ist, wobei ein Teil der horizontal versetzt angeordneten TSVs jeweils gestaffelte vertikale Höhen haben und wobei weiterhin ein Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Zeile der Anordnung der entsprechenden Synapsenschaltkreisschicht auf eine links-rechts-versetzte Weise verbunden ist und ein anderer Teil von jedem des ersten Satzes der Mehrzahl an TSVs, des zweiten Satzes der Mehrzahl an TSVs und des dritten Satzes der Mehrzahl an TSVs mit jeder Spalte der Anordnung der entsprechenden Synapsenschaltkreisschicht auf eine von unten nach oben versetzte Weise verbunden ist; wobei die Mehrzahl von versetzt angeordneten TSVs als Datenübertragungsverbindungen zwischen der Synapsenchip-Kernschicht und jeder der Mehrzahl von parallelgeschalteten Synapsenschaltkreisschichten fungiert.