DE112008003510T5

DE112008003510T5 - Im Mikro- und/oder Nanobereich liegende Neuromorphe integrierte Hybridschaltung

Info

Publication number: DE112008003510T5
Application number: DE112008003510T
Authority: DE
Inventors: Gregory Palo Alto Singer
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2007-12-05
Filing date: 2008-05-22
Publication date: 2010-11-04
Also published as: KR20100099256A; CN101889343B; WO2009075694A1; CN101889343A; JP2011507232A; US20100277232A1; KR101438469B1; US8332340B2

Abstract

Eine neuromorphe integrierte Schaltung, die Folgendes umfasst:
ein Array von analogen Rechenzellen, die auf einem Integrierte-Schaltung-Substrat hergestellt sind, wobei der analoge elektronische Schaltungsaufbau in jeder Rechenzelle mit einem oder mehreren Anschlussstiften eines ersten Typs und mit einem oder mehreren Anschlussstiften eines zweiten Typs verbunden ist, die sich ungefähr vertikal von den Rechenzellen aus erstrecken; und
eine oder mehrere Nanodraht-Verbindungsschichten oberhalb des Arrays von analogen Rechenzellen, wobei jede Nanodraht-Verbindungsschicht Folgendes umfasst:
eine erste Teilschicht von ungefähr parallelen Nanodrähten, wobei jeder Nanodraht der ersten Teilschicht mit einem einzelnen Rechenzellenanschlussstift des ersten Typs verbunden ist,
eine memristive Teilschicht, und
eine zweite Teilschicht von ungefähr parallelen Nanodrähten, wobei jeder Nanodraht der zweiten Teilschicht mit einem einzelnen Rechenzellenanschlussstift des zweiten Typs verbunden ist, wobei die Nanodrähte der zweiten Teilschicht in einer Richtung orientiert sind, die zu der Richtung der Nanodrähte der ersten Teilschicht nicht parallel ist.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Die vorliegende Anmeldung nimmt die Priorität der nicht-provisorischen Patentanmeldung Nr. 60/992,663, die am 5. Dezember 2007 eingereicht wurde, in Anspruch.
TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf Implementierungen von Materialwissenschaft und elektronischen Schaltungen und insbesondere auf eine Architektur einer im Mikro- und/oder Nanobereich liegenden integrierten Hybridschaltung zum Implementieren einer großen Vielzahl verschiedener komplexer elektronischer Schaltungen, Verarbeitungssysteme und Rechenvorrichtungen, einschließlich neuromorpher Schaltungen, die einen biologischen Nervenschaltungsaufbau nachahmen.
HINTERGRUND DER ERFINDUNG
Derzeitige Lösungsansätze zum Implementieren eines im Mikrobereich liegenden Schaltungsaufbaus für Computerprozessoren, Speicher und sonstige Rechengeräte führten in den vergangenen 50 Jahren zu spektakulären, exponentiellen Zunahmen der Schaltungsdichte und Rechenleistung. Jedoch beginnt sich die steile, zweifache Zunahme der Verarbeitungsleistung und Strukturelementdichte, die sich alle zwei Jahre vollzieht, seit vielen Jahren die Entwicklung von Computern kennzeichnet und als „Moores Gesetz” bezeichnet wird, abzuflachen, wobei weitere Abnahmen der Strukturelementgröße nun an physische Grenzen und praktische Beschränkungen stoßen, einschließlich eines zunehmenden spezifischen elektrischen Widerstandes mit abnehmender Größe der Signalleitungen, zunehmender Schwierigkeiten beim Ableiten von Wärme von Prozessoren, die auf Grund von Zunahmen der Kapazität von Strukturelementen, die bei sinkenden Strukturelementgrößen auftreten, zunehmende Mengen an Wärme erzeugen, höherer Fehler- und Ausfallraten bei Prozessor- und Speicherkomponenten auf Grund von Schwierigkeiten, auf die man bei der Herstellung immer kleinerer Strukturelemente stößt, und Schwierigkeiten beim Entwerfen von Herstellungseinrichtungen und -methodologien zum weiteren Verringern der Strukturelementgrößen. Da sich nun weitere Verringerungen der Strukturelementgrößen in integrierten Schaltungen als immer schwieriger erweisen, werden mittlerweile eine Vielzahl alternativer Lösungsansätze bezüglich eines Erhöhens der Rechenleistung elektronischer Vorrichtungen auf der Basis integrierter Schaltungen eingesetzt. Ein Beispiel besteht darin, dass Lieferanten von Prozessoren Mehrkernprozessoren erzeugen, die Rechenleistung erhöhen, indem sie die Berechnung auf mehrere Kerne verteilen, die verschiedene Aufgaben parallel ausführen. Andere Bemühungen umfassen ein Herstellen eines Schaltungsaufbaus im Nanobereich, eine Verwendung verschiedener Molekularelektroniktechniken und ein Angehen von Fehler- und Zuverlässigkeitsproblemen durch Anwenden theoretischer Lösungsansätze, die auf Informatik beruhen, ähnlich der Verwendung von Fehlerkorrekturcodes, um eine fehlerhafte Übertragung von Datensignalen durch elektronische Kommunikationsmedien zu verbessern. Weitere Bemühungen richten sich auf die Entwicklung eines im Nanobereich liegenden Schaltungaufbaus, der als „neuromorpher Schaltungsaufbau” bezeichnet wird und der einen biologischen neuralen bzw. neuronalen Schaltungsaufbau nachahmt, der biologische Organismen mit einem spektakulär effizienten, geringe Energie erfordernden Parallelrechenmechanismus ausstattet. Jedoch verwenden viele aktuelle Lösungsansätze herkömmliche Logik, die in Komplementärer-Metalloxid-Halbleiter-Technologien („CMOS”-Technologien, CMOS = complementary metal oxide semiconductor) implementiert wird, um Neuromorpher-Schaltungsaufbau-Äquivalente zu Synapsen zu implementieren, wodurch die Dichte, mit der die Neuromorpher-Schaltungsaufbau-Äquivalente zu Neuronen hergestellt werden können, stark beschränkt wird – allgemein auf einige wenige tausend Neuronen pro Quadratzentimeter einer Halbleiterchipoberfläche. Forscher und Entwickler eines neuromorphen Schaltungsaufbaus haben deshalb erkannt, dass zum Erzeugen eines ausreichend dichten neuromorphen Schaltungsaufbaus neue Techniken und neue Architekturen benötigt werden.
ZUSAMMENFASSUNG DER ERFINDUNG
Ausführungsbeispiele der vorliegenden Erfindung umfassen im Mikro- und/oder Nanobereich liegende neuromorphe integrierte Hybridschaltungen, die ein Array von analogen Rechenzellen umfassen, die auf einem Integrierte-Schaltung-Substrat hergestellt sind. Der analoge elektronische Schaltungsaufbau in jeder Rechenzelle ist mit einem oder mehreren Anschlussstiften eines ersten Typs und mit einem oder mehreren Anschlussstiften eines zweiten Typs verbunden, die sich von den Rechenzellen aus ungefähr vertikal erstrecken.
Die Rechenzellen sind zusätzlich durch eine oder mehrere Nanodraht-Verbindungsschichten miteinander verbunden, wobei jede Nanodraht-Verbindungsschicht zwei Nanodraht-Teilschichten auf jeder Seite einer memristiven Teilschicht umfasst, wobei jeder Nanodraht in jeder Nanodraht-Teilschicht einer Verbindungsschicht mit einem einzelnen Rechenzellenanschlussstift und mit einer Anzahl von Nanodrähten in der anderen Nanodraht-Teilschicht der Verbindungsschicht verbunden ist. Die die vorliegende Erfindung betreffende Architektur einer im Mikro- und/oder Nanobereich liegenden neuromorphen Hybridschaltung kann dazu verwendet werden, eine sehr große Anzahl von verschiedenen komplexen elektronischen Schaltungen, Rechensystemen und Rechenvorrichtungen, einschließlich neuromorpher laminarer kortikaler Schaltungen, zu implementieren.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt eine elementare Rechenzelle einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
2 veranschaulicht einen memristiven Übergang bzw. eine memristive Verbindung zwischen zwei Nanodrähten, der ein Synapsenverhalten bei verschiedenen Ausführungsbeispielen der vorliegenden Erfindung modelliert.
3A–B veranschaulichen die wesentlichen elektronischen Eigenschaften von memristiven Übergängen, die zum Modellieren von Synapsen bei verschiedenen Ausführungsbeispielen der vorliegenden Erfindung verwendet werden.
4 zeigt eine neuronale Zelle, die bei verschiedenen Ausführungsbeispielen einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung der vorliegenden Erfindung als elementare Recheneinheit dient.
5A–E veranschaulichen die innere Funktionsweise einer ohne weiteres veranschaulichten neuronalen Zelle, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
6 veranschaulicht den allgemeinen inneren Schaltungsaufbau einer neuronalen Zelle gemäß verschiedenen Ausführungsbeispielen der vorliegenden Erfindung.
7 zeigt eine Habituatives-Übertragungsgatter-Rechenzelle bzw. Gewöhnungsübertragungsgatter-Rechenzelle, die bei im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltungen, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, verwendet wird.
8 veranschaulicht eine Modifizierung durch eine Habituatives-Übertragungsgatter-Rechenzelle eines Eingangssignals gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
9 veranschaulicht Beispiele zweier zusätzlicher Arten von Rechenzellen, einschließlich einer Eingangsrechenzelle und einer Augangsrechenzelle, die bei im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltungen, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, verwendet werden.
10 veranschaulicht Eingangs- und Ausgangssignale für eine im Mikro- und/oder Nanobereich liegenden Eingangsrechenzelle einer neuromorphen Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
11A–B veranschaulichen eine Verbindung von Rechenzellen in einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
12A–F veranschaulichen eine Herstellung einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
13 veranschaulicht bidirektionale Signale, die durch Nanodrähte der Nanodraht-Verbindungsschichten einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, hindurch übertragen werden.
14 veranschaulicht Änderungen des Leitwerts bei einem memristiven Nanodraht-Übergang, durch den ein präsynaptisches Neuron und ein postsynaptisches Neuron miteinander verbunden sind.
15 veranschaulicht eine Implementierung eines sechs Rechenzellen umfassenden Dipols, der ein analoges Verhalten ähnlich einem Digitallogik-Flipflop aufweist, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
16 veranschaulicht eine zweite Art eines mehrere Rechenzellen umfassenden Moduls, das bei einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, verwendet werden kann.
17 veranschaulicht eine hierarchische Verbindung von Rechenzellen in einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt.
18 veranschaulicht eine zweite Art von logischer Struktur, die bei einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, implementiert werden kann.
19 veranschaulicht ein Laminare-Kortikale-Schaltung-Modul, das gemäß der vorliegenden Erfindung hergestellt werden kann und zusammen mit einer Anzahl benachbarter Laminare-Kortikalschicht-Module bzw. Laminare-Rindenschicht-Module verwendet werden kann, um eine neuromorphe Laminare-Kortikalschicht-Schaltung zu implementieren.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Ausführungsbeispiele der vorliegenden Erfindung sind auf im Mikro- und/oder Nanobereich liegende neuromorphe integrierte Hybridschaltungen gerichtet, die einen extrem dichten, wenig Leistung verbrauchenden analogen neuromorphen Schaltungsaufbau zum Implementieren einer im Wesentlichen unbegrenzten Anzahl verschiedener elektronischer Schaltungen, Rechensysteme und Rechenvorrichtungen liefern. Der Begriff „Mikrobereich bzw. Mikroscale” bezieht sich auf im Mikrobereich und im Submikrobereich liegende Komponenten und Strukturelemente, die anhand verschiedener Techniken zum Erzeugen integrierter Schaltungen, einschließlich Photolithographie, Dotieren, Ätzen und Linearisierung in einer siliziumbasierten Integrierte-Schaltung-Schicht oder in einer auf einer anderen Halbleitersubstanz basierten Integrierte-Schaltung-Schicht implementiert sind und eine geringste Abmessung von einigen wenigen Mikrometern bis hinunter zu zwischen 10 und 100 Nanometern aufweisen. Der Begriff „Nanobereich bzw. Nanoscale” bezieht sich auf kleinere Strukturelemente und Komponenten, wobei sich die kleinsten Abmessungen zwischen einigen wenigen zehn Nanometern bis hinunter zu weniger als 10 Nanometern bewegen, wobei sie unter Verwendung verschiedener Verfahren zum Erzeugen von Nanodrähten und verschiedenen Nanodrahtstrukturen, einschließlich Netzen und Kreuzschienen, implementiert werden.
Biologische Neuroschaltungsaufbauten und neuromorphe elektronische Schaltungsaufbauten, die zum Emulieren eines biologischen Schaltungsaufbaus hergestellt werden, basieren auf neuronalen Zellen bzw. auf Neuronrecheneinheiten, die durch Synapsen mit anderen neuronalen Zellen verbunden sind. Die Aktivitätspegel von Neuronen implementieren allgemein das Kurzzeitgedächtnis, eine Verringerung einer neuronalen Anregung infolge eines ausgedehnten Stimulus und andere habituative Antworten implementieren allgemein das Mittelzeitgedächtnis, und Synapsengewichte implementieren das Langzeitgedächtnis. Allgemein kann bei einem biologischen Neuroschaltungsaufbau ein gegebenes Neuron durch bis zu 10.000 oder mehr Synapsen mit anderen Neuronen verbunden sein. Wie oben erwähnt wurde, führten Versuche, einen neuromorphen Schaltungsaufbau aus im Mikro- und Submikrobereich liegenden elektronischen Komponenten in integrierten Schaltungen zu bilden, bisher auf Grund dessen, dass bei im Submikrobereich liegenden logischen Schaltungen ein beträchtlicher Teil der integrierten Schaltung darauf verwendet wird, eine Synapsenfunktionalität zu simulieren, allgemein zu relativ niedrigen Neuronendichten. Da so viel mehr Synapsen benötigt werden als Neuronen, ist bei vielen Entwürfen von neuromorphen integrierten Schaltungen ein Großteil der Oberfläche der neuromorphen integrierten Schaltung einer Implementierung einer großen Anzahl von Synapsenverbindungen zwischen einer viel kleineren Anzahl von Neuronen gewidmet.
Ausführungsbeispiele der vorliegenden Erfindung liefern neuromorphe integrierte Schaltungen mit hoher Neuronendichte, indem sie Synapsen als memristive Übergänge zwischen Nanodrähten implementieren. Die Synapsen sowie durch Synapsen miteinander verbundene Nanodrahtsignalleitungen ahmen Dendriten und Axone eines biologischen Neuroschaltungsaufbaus nach und werden in Nanodrahtverbindungsschichten oberhalb der Integrierte-Halbleiterschaltung-Schicht hergestellt, wodurch die Oberfläche der integrierten Halbleiterschaltung zur Implementierung von Neuronenrechenzellen, die in der folgenden Erörterung als „neuronale Zellen” bezeichnet werden, und von mehrere Rechenzellen umfassende Module bewahrt werden. Somit verwenden im Mikro- und/oder Nanobereich liegende neuromorphe integrierte Hybridschaltungen, die gemäß der vorliegenden Erfindung entworfen und hergestellt werden, memristische Nanodraht-Übergänge statt eines logischen Schaltungsaufbaus, um Synapsen zu implementieren, und Synapsen und synapsen basierte Verbindungen zwischen neuronalen Zellen sind in Nanodrahtverbindungsschichten oberhalb der Integrierte-Halbleiterschaltung-Schicht implementiert, wodurch sie bei einer dreidimensionalen Architektur einer im Mikro- und/oder Nanobereich liegenden neuromorphen Hybridschaltung eine weitaus größere Dichte an neuronalen Zellen liefern.
1 zeigt eine elementare Rechenzelle einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Die Rechenzelle umfasst eine regelmäßige Fläche einer Integrierte-Halbleiterschaltung-Schicht 102, von der aus sich vier leitfähige Anschlussstifte 104 107 vertikal erstrecken. Horizontale Nanodrähte, z. B. Nanodraht 108 in 1, verbinden sich durch kontaktstellenartige Strukturen, z. B. kontaktstellenartige Struktur 110, mit den leitfähigen Anschlussstiften und erstrecken sich auf lineare Weise über eine Anzahl von Rechenzellen innerhalb einer Nachbarschaft der Rechenzelle 102 in einem zweidimensionalen Array von Rechenzellen einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung. Wie nachstehend näher erörtert wird, umfasst die Integrierte-Halbleiterschaltung-Schicht der Rechenzelle 102 verschiedene Verbindungen und analoge Komponenten, die ein Modell eines Neurons oder einer anderen fundamentalen Rechenvorrichtung implementieren, von denen Bestimmte nachstehend ausführlicher beschrieben werden. Die vier vertikalen Anschlussstifte 104–107 dienen dazu, die analogen Komponenten und den Schaltungsaufbau in dem Integrierte-Halbleiterschaltung-Schicht-Abschnitt der Rechenzelle 102 mit Schichten von Nanodrähten, z. B. des Nanodrahtes 108, zu verbinden. Die Nanodrähte wiederum können die Rechenzelle durch Nanodrähte und memristive Übergänge, die Synapsen modellieren, mit benachbarten Rechenzellen verbinden.
2 veranschaulicht einen memristiven Übergang zwischen zwei Nanodrähten, der ein Verhalten bei verschiedenen Ausführungsbeispielen der vorliegenden Erfindung modelliert. In 2 ist eine erste Rechenzelle 202 neben einer benachbarten Rechenzelle 204 positioniert gezeigt. Ein erster Nanodraht 206 ist mit einem vertikalen Anschlussstift 208 der angrenzenden, benachbarten Rechenzelle 204 verbunden. Ein zweiter Nanodraht 210 ist mit einem vertikalen Anschlussstift 212 der Rechenzelle 202, im Vordergrund der 2 gezeigt, elektronisch verbunden. Der erste Nanodraht 206 und der zweite Nanodraht 210 überlappen einander in der Region, die durch den kleinen gestrichelten Kreis 214 in 2 abgegrenzt ist, wobei die Überlappungsregion in dem Nebenbild 216 vergrößert ist. Zwischen dem ersten Nanodraht 206 und dem zweiten Nanodraht 210 liegt eine kleine Schicht aus memoristischem Material 218, die den ersten Nanodraht mit dem zweiten Nanodraht elektronisch verbindet. Der memoristische Übergang zwischen den zwei Nanodrähten kann, wie in dem Nebenbild 218 gezeigt ist, symbolisch durch ein Memristorsymbol 220 dargestellt sein, das die zwei Signalleitungen 222 und 224 miteinander verbindet. Wie nachstehend näher erörtert wird, kann jeder Nanodraht in einer Verbindungsschicht durch memristive Übergänge mit vielen verschiedenen Nanodrähten verbunden sein.
3A–B veranschaulichen die wesentlichen elektronischen Eigenschaften von memristiven Übergängen, die bei verschiedenen Ausführungsbeispielen der vorliegenden Erfindung zum Modellieren von Synapsen verwendet werden. Beide 3A und 3B zeigen Strom/Spannung-Auftragungen für einen memristiven Übergang. Spannung ist bezüglich einer horizontalen Achse 302 aufgetragen, und Strom ist bezüglich einer vertikalen Achse 304 aufgetragen. In 3A ist eine Spannungsablenkung gezeigt. Die kontinuierlichen Spannungsänderungen, die die Spannungsablenkung umfassen, sind durch den Spannungspfad 312 dargestellt, der bezüglich einer zweiten Spannungsachse 314 aufgetragen ist, die sich in Deckung mit der Strom-/Spannungsauftragung 316 in 3A befindet und unterhalb derselben liegt. Wie in 3A gezeigt ist, wird eine Spannungsablenkung durchgeführt, indem Spannung ausgehend von einer Spannung von null 306 stetig bis auf eine Spannung V + / max 308 erhöht wird und indem die Spannung anschließend kontinuierlich auf eine negative Spannung V – / max 310 verringert wird und indem die Spannung anschließend wieder auf 0 (306 in 3A) erhöht wird. Die Strom-/Spannungsauftragung veranschaulicht, wie sich die Leitfähigkeit des memristiven Materials während der Spannungsablenkung ändert.
Anfänglich befindet sich das memristive Material in einem Zustand geringer Leitfähigkeit, so dass der Strom in einem ersten Abschnitt der Auftragung 318 betragsmäßig relativ niedrig bleibt, während Spannung von 0 (306 in 3A) auf knapp unterhalb V + / max 308 erhöht wird. Nahe bei V + / max beginnt der Strom rasch anzusteigen 320, während der Widerstandswert des memristiven Materials auf nicht-lineare Weise dramatisch abfällt oder die Leitfähigkeit auf nicht-lineare Weise zunimmt. Während die Spannung anschließend von V + / max bis auf V – / max 310 verringert wird, bleibt die Leitfähigkeit des memristiven Materials hoch, wie man aus den Strömen eines relativ hohen Betrags ersehen kann, die durch das memristive Material für entsprechende Spannungswerte in Abschnitten der Auftragung 322 und 324 durchgelassen werden. Nahe bei der negativen Spannung V – / max beginnt der Leitwert des memristiven Materials plötzlich steil abzusinken 326. Das memristive Material wird in einen Zustand eines niedrigen Leitwerts versetzt, bei V – / max, der beibehalten wird, während die Spannung erneut in Richtung 0 (328 in 3A) erhöht wird. Wie in 3B gezeigt ist, erhöht eine zweite Spannungsablenkung 330 den Leitwert des memristiven Materials bezüglich des während der ersten Spannungsablenkung erzeugten Leitwerts, durch gestri chelte Linien 332 angegeben. Zusätzliche Spannungsablenkungen können den Leitwert des memristiven Materials bezüglich des während der vorherigen Spannungsablenkung erzeugten Leitwerts weiter erhöhen. Somit weist das memristive Material bei einer kontinuierlich ansteigenden oder abfallenden angelegten Spannung bezüglich seines Leitwerts eine Nicht-Linearität auf und weist zusätzlich ein Gedächtnis bzw. eine Erinnerung für an vorherige Leitwertszustände auf. Mit anderen Worten ändert sich für verschiedene Arten von memristiven Materialien, die bei Ausführungsbeispielen der vorliegenden Erfindung verwendet werden, der physikalische Zustand des memristiven Materials w in Bezug auf die Zeit in Abhängigkeit sowohl von dem aktuellen physikalischen Zustand des memristiven Materials als auch der angelegten Spannung: dwdt = f(w, V).
Der Strom i, der bei Ausführungsbeispielen der vorliegenden Erfindung seitens eines memristiven Übergangs durchgelassen wird, ist eine Funktion der angelegten Spannung und des Leitwerts des Materials, wobei der Leitwert g eine Funktion sowohl des aktuellen Zustands des memristiven Materials als auch der angelegten Spannung ist: i = g(w, v)V.
Wie in 3A–B gezeigt ist, hängt der Leitwert des memristiven Übergangs von der derzeit angelegten Spannung sowie von der Historie angelegter Spannungen über ein vorhergehendes Zeitintervall hinweg ab.
Eine Synapse erzeugt allgemein eine Verstärkung oder Abschwächung eines Signals, das durch ein präsynaptisches Neuron i erzeugt und durch die Synapse zu einem postsynaptischen Neuron j geleitet wird. Bei bestimmten Modellen liegt die Verstärkung bzw. das Gewicht einer Synapse zwischen 0,0 und 1,0, wobei die Verstärkung 0,0 eine vollständige Abschwächung des Signals darstellt und die Verstärkung 1,0 keine Abschwächung des Signals darstellt. Bei diesen Modellen weisen Neuronen Aktivitäten auf, und wenn die Aktivität eines Neurons i, x_i, größer ist als ein Schwellwert, emittiert das Neuron ein Ausgangssignal. Das mathematische Modell für ein Neuronenverhalten wird in einem nachfolgenden Absatz dargestellt. Ein mathematisches Modell für die Änderungsrate einer Verstärkung z_ij für eine Synapse, die ein präsynaptisches Neuron i mit einem postsynaptischen Neuron j verbindet, wird wie folgt ausgedrückt:
wobei

z_ij: das Gewicht der Synapse ij bzw. die durch die Synapse erzeugte Verstärkung ist, wobei die Synapse ij das präsynaptische Neuron i mit dem postsynaptischen Neuron j verbindet;
ε: eine Lerngeschwindigkeit ist;
ω: eine Vergessensgeschwindigkeit ist;
f(x_j): eine nicht-lineare Funktion der Aktivität des Neurons i ist;
g(x_i): eine nicht-lineare Funktion der Aktivität des Neurons j ist; und
t: die Zeit ist.

Bei vielen Ausführungsbeispielen der vorliegenden Erfindung sind f() und g() allgemein S-förmig. Eine exemplarische S-förmige Funktion ist tanh(). Wenn sowohl das präsynaptische Neuron als auch das postsynaptische Neuron eine hohe Aktivität aufweisen, nimmt die Verstärkung z_ij rasch zu. Der Ausdruck –ωz_ij gewährleistet, dass die Verstärkung einer Synapse über die Zeit hinweg abnimmt, wenn der Term –ωz_ij einen Betrag aufweist, der größer ist als die aktuellen Werte der nicht-linearen Funktion der Aktivität des postsynaptischen Neurons g(x_i). Das Gewicht einer Synapse kann auf Grund des Rückkopplungsterms –ωz_ij, der dahin gehend fungiert, das Gewicht der Synapse zu verringern, wenn sich das Synapsengewicht der Synapse an 1,0 annähert, und der immer weniger Rückkopplung erzeugt, wenn sich das Gewicht der Synapse an 0,0 annähert, nicht in unbegrenzter Weise zunehmen oder abnehmen. Das mathematische Modell für ein Synapsenverhalten hängt von dem mathematischen Modell für Neuronenaktivität ab, und die Modelle liefern sich gegenseitig Rückkopplung. Wie aus einem Vergleich des mathematischen Modells für eine Synapsenverstärkung mit den obigen Ausdrücken, die Leitfähigkeitsänderungen eines memristiven Übergangs, insbesondere die Leitwertfunktion g(w, v), beschreiben, hervorgeht, kann der Leitwert eines memristiven Übergangs ein physikalisches Ausführungsbeispiel einer Verstärkungsfunktion liefern, deren Zeitableitung als das obige mathematische Modell ausgedrückt wird, da die nicht-linearen Funktionen der Neuronenaktivitäten f(x_i) und g(x_i) des Synapsenmodells auf die physikalische Spannung zwischen Neuronen und der Verstärkung z_ij zu einem gegebenen Zeitpunkt bezogen sind auf die Historie von Spannungen, die an den memristiven Übergang angelegt werden, bezogen ist. Der funktionale Ausdruck für einen Leitwert eines memristiven Nanodraht-Übergangs hängt somit von den aktuellen Aktivitäten von präsynaptischen und postsynaptischen Neuronen, die durch den memristiven Nanodraht-Übergang verbunden sind, sowie von der jüngsten Angelegte-Spannung-Historie des memristiven Nanodraht-Übergangs ab. Somit liefern bei verschiedenen Ausführungsbeispielen der vorliegenden Erfindung memristive Nanodraht- Übergänge, die Nanodrähte miteinander verbinden, physikalische Charakteristika zum Durchlassen von Stromsignalen, die zum Modellieren eines Synapsenverhaltens, wie es durch das obige mathematische Modell ausgedrückt wird, geeignet sind.
4 zeigt eine neuronale Zelle, die bei verschiedenen Ausführungsbeispielen einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung der vorliegenden Erfindung als elementare Recheneinheit dient. Eine neuronale Zelle ist eine Art Rechenzelle in einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung. Wie oben erörtert wurde, umfasst die neuronale Zelle 402 vier vertikal-leitfähige Anschlussstifte 404–407. Die Anschlussstifte werden anhand ihrer Kompassrichtungen bezeichnet, wobei ein Kompassdiagramm 410 auf der rechten Seite der Rechenzelle in 4 gezeigt ist. Der NW-Anschlussstift 404 und der SO-Anschlussstift 405 leiten Ausgangssignale von der neuronalen Zelle zu Nanodrähten, die mit dem NW-Anschlussstift 404 und dem SO-Anschlussstift 405 verbunden sind. Sowohl der SW-Anschlussstift 406 als auch der NO-Anschlussstift 407 leiten Signale, die von mit den Anschlussstiften verbundenen Nanodrähten in die Anschlussstifte eingegeben werden, an die neuronale Zelle 402. Der SW-Anschlussstift 406 leitet inhibitorische bzw. hemmende Signale in die neuronale Zelle, während der NO-Anschlussstift 407 exzitatorische bzw. anregende Eingangssignale in die neuronale Zelle leitet. Exzitatorische Eingangssignale erhöhen tendenziell die Aktivität einer neuronalen Zelle, während inhibitorische Signale die Aktivität einer neuronalen Zelle tendenziell verringern.
Die in 4 gezeigte elementare neuronale Zelle 402 implementiert im Allgemeinen eines von zahlreichen verschiedenen mathematischen Modellen für ein Neuron. Allgemein gilt, dass dann, wenn die Frequenz und die Anzahl von empfangenen exzitatorischen Signalen die Frequenz und die Anzahl von inhibitorischen Signalen beträchtlich überschreitet, die Aktivität eines Neurons allgemein über einen Schwellenaktivitätswert hinaus ansteigt, wobei das Neuron an diesem Punkt Ausgangssignale durch die Ausgangsanschlussstifte 404 und 405 emittiert.
Die eingegebenen exzitatorischen Signale und die eingegebenen inhibitorischen Signale werden durch synapsenartige memristive Nanodraht-Übergänge von anderen neuronalen Zellen einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung empfangen, und Ausgangssignale, die durch die neuronale Zelle 402 emittiert werden, werden durch synapsenartige memristive Nanodraht-Übergänge zu anderen Rechenzellen einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung geleitet. Neuronale Zellen und neuromorphe Schaltungen umfassen allgemein verschiedene Rückkopplungsmechanismen und weisen ein nicht-lineares Verhalten auf, das die Aktivitäten einzelner neuronaler Zellen innerhalb einer neuromorphen Schaltung steuert und einschränkt. Sogar neuromorphe Schaltungen einer bescheidenen Größe, die lediglich eine relativ geringe Anzahl an neuronalen Zellen enthalten, die durch Synapsen dicht miteinander verbunden sind, können eine ziemlich komplexe Funktionalität aufweisen, die oft unter Verwendung von geschlossenen mathematischen Ausdrücken nicht modelliert werden kann und die bei digitalen Logikschaltungen, die auf einer traditionellen Booleschen Logik beruhen, schwierig zu implementieren wäre. Bei 4 geben Eingang 412 und Ausgang 412 an, dass eine neuronale Zelle zusätzlich zu einem Empfangen von Signalen und einem Senden von Signalen durch die vier vertikalen Anschlussstifte durch zusätzliche im Mikro- oder Submikrobereich liegende Signalleitungen, die auf der Ebene einer integrierten Halbleiterschaltung einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung implementiert sind, gänzlich mit angrenzenden Rechenzellen verbunden sein kann.
5A–E veranschaulichen die innere Funktionsweise einer ohne weiteres veranschaulichten neuronalen Zelle, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. Wie in 5A gezeigt ist, werden alle exzitatorischen Eingänge, z. B. der exzitatorische Eingang 502, in den NO-Eingangsanschlussstift (407 in 4) anhand eines Summierungsvorgangs 504 summiert. Desgleichen werden alle inhibitorischen Eingangssignale, z. B. das inhibitorische Eingangssignal 506, anhand eines ähnlichen Summierungsvorgangs 508 summiert. Zusätzliche Eingänge von der Integrierte-Halbleiterschaltung-Schicht, z. B. der Eingang 412 in 4, können in dem Summierungsvorgang enthalten sein oder können in funktionale Komponenten eingegeben werden, die spätere Stufen einer neuronalen Zellenverarbeitung implementieren. Die Summierungskomponenten 504 und 508 können einfach Eingangsanschlussstifte sein, mit denen Eingangsnanodrahtsignalleitungen verbunden sind, oder sie können Verstärkungskomponenten oder andere elektronische Komponenten umfassen. Die Summe der exzitatorischen Signale und die Summe der inhibitorischen Signale wird anschließend in eine Signalerzeugungs-Funktionskomponente 510 eingegeben, die ein analoges Spannungssignal erzeugt, durch die Signal/Zeit-Auftragung 512 in 5A dargestellt.
Wie in 5B gezeigt ist, umfasst die exemplarische neuronale Zelle eine Leckintegrator-Funktionskomponente, die das Signal, das durch die Signalerzeugungsfunktion oder den Signalerzeugungsvorgang erzeugt wird (in 5A gezeigt), über ein gewisses Zeitintervall, das der aktuellen Zeit vorausgeht und diese umfasst, kontinuierlich integriert. Wie in 5B gezeigt ist, kann die Leckintegration dahin gehend betrachtet werden, dass das analoge Signal 522 mit einer Zeitfensterfunktion 520 überlagert wird und dass dieser Teil des analogen Signals unterhalb der Zeitfensterfunktion 520 integriert wird. In 5B und in nachfolgenden Figuren ist das analoge Signal der Einfachheit der Veranschaulichung halber so dargestellt, dass es einen einheitlich positiven Wert aufweist, in Wirklichkeit kann das analoge Signal aber entweder positiv, 0 oder negativ sein.
Wie in 5C gezeigt ist, gibt die funktionale Leckintegration-Funktionskomponente bzw. Leaky-Integration-Funktionskomponente ein integriertes Signal 528 an eine Schwellwertbestimmungsfunktionskomponente 530 aus. Wenn das integrierte Signal einen Wert aufweist, der größer als ein Schwellwert ist, wie durch die Schwellwertbestimmungsfunktionskomponente ermittelt wird, emittiert die neuronale Zelle ein Ausgangssignal, das in 5C als Folge von Ausschlägen bzw. Spike-Train 532 gezeigt ist. Andernfalls emittiert die neuronale Zelle kein Signal, wie durch eine Auftragung einer Konstant-0-Funktion 534 in 5C angegeben ist. Die Schwellwertbestimmungsfunktionskomponente kann dahin gehend angesehen werden, dass sie eine Ausgangssignalerzeugungskomponente aktiviert oder alternativ dazu eine Ausgangssignalerzeugungskomponente umfasst.
Eine Funktionsweise einer neuronalen Zelle kann alternativ dazu, wie in 5D gezeigt ist, als Faltungsvorgang 540 an dem analogen Signal 542 und als Zeitfensterfunktion ψ 544, um die gefaltete Funktion 546 zu erzeugen, angesehen werden. Der gefalteten Funktion 546 wird dann eine Schwelle 548 auferlegt, oder die gefaltete Funktion wird durch einen Schwellenabstand nach unten verschoben, um eine entsprechende Aktivitätsfunktion 550 zu erzeugen. Somit ist die neuronale Zelle während der Zeitintervalle, in denen eine Leckintegration des Eingangssignals einen Wert oberhalb eines Schwellwerts erzeugt, beispielsweise während der Zeitintervalle 552 und 554, aktiv, wie durch die neuronale Zellenaktivitätsauftragung 550 in 5D gezeigt ist.
5E fasst eine innere Funktionsweise einer neuronalen Zelle gemäß verschiedenen Ausführungsbeispielen der vorliegenden Erfindung zusammen. Exzitatorische Eingänge 560 werden summiert 562 und in eine Signalerzeugungsfunktion 564 eingegeben. Desgleichen werden inhibitorische Signale 566 durch eine Summierungsfunktion 568 summiert und in die Signalerzeugungsfunktion 564 eingegeben. Die Signalerzeugungsoperation kann auf der Basis der kombinierten, summierten Eingänge gemäß beliebiger von verschiedenen mathematischen Modellen für Neuronverhalten ein analoges Signal erzeugen. Beispielsweise kann die Signalerzeugungsfunktion eine nicht-lineare Funktion sowohl auf die summierten exzitatorischen Eingangssignale als auch auf die summierten inhibitorischen Eingangssignale anwenden und anschließend die Ergebnisse der Anwendung der nicht-linearen Funktionen linear kombinieren. Die Signalerzeugungsfunktion 564 gibt ein analoges Signal an eine Leckintegratorfunktion 570 aus, die ein integriertes Signal über ein vorhergehendes Zeitintervall an eine Schwellwertbestimmungsfunktion 572 ausgibt, die be stimmt, ob die neuronale Zelle aktiv genug ist, ein Ausgangssignal zu emittieren, oder nicht.
Wie nachstehend erörtert wird, ist eine Leckintegration ein Spezialfall eines neuronalen Schaltungsaufbaus, und sie ist in den Beispielen der 5A–E als beispielhafte neuronale Schaltung gezeigt, da sie relativ einfach zu veranschaulichen ist. Außerdem kann ein funktional leistungsfähigerer und flexiblerer Neuronenschaltungsaufbau eingesetzt werden, einschließlich eines Schaltungsaufbaus, der ein Hodgkin-Huxley-Neuronenmodell und ein Nebenschlussmodell implementiert, nachfolgend erörtert. Es ist zu betonen, dass bei diesen funktional leistungsfähigeren und flexibleren neuronalen Schaltungen eventuell keine Schwellwertbestimmungskomponente benötigt wird. Ein Schwellwertbestimmer ist sinnvoll, wenn bei bestimmten neuromorphen Schaltungen Spike-Trains als Signale zwischen Neuronen erzeugt werden, bei anderen Modellen können Signalausschläge bzw. Signal-Spikes jedoch ohne Schwellwertbestimmungskomponenten erzeugt werden, oder alternativ dazu können Signale kontinuierlicher sein statt Spike-Trains zu umfassen.
6 veranschaulicht den allgemeinen inneren Schaltungsaufbau einer neuronalen Zelle gemäß verschiedenen Ausführungsbeispielen der vorliegenden Erfindung. Die neuronale Zelle 602 gibt Signale über Ausgangsanschlussstifte 604 und 606 an benachbarte Rechenzellen einer neuromorphen Schaltung durch memristive, synapsenartige Nanodraht-Übergänge aus, die durch die Memristorsymbole, z. B. Memristorsymbol 608, dargestellt sind. Die neuronale Zelle empfängt inhibitorische Signale durch einen ersten Eingangsanschlussstift 610 und exzitatorische Signale durch einen zweiten Eingangsanschlussstift 612. Die Zuweisung von Anschlussstiften zu Ausgangssignalen, inhibitorischen Eingangssignalen und exzitatorischen Eingangssignalen in 6 ist identisch mit der unter Bezugnahme auf 4 erörterten, obwohl bei alternativen Ausführungsbeispielen andere Zuweisungen vorgenommen werden können, und eine gegebene im Mikro- und/oder Nanobereich liegende neuromorphe integrierte Hybridschaltung kann diverse unterschiedliche Anschlussstiftzuweisungen für Rechenzellen verwenden. Bei der in 6 gezeigten neuronalen Zelle werden einfache auf Operationsverstärkern basierende Summierungsschaltungen 614 und 616 dazu verwendet, die exzitatorischen Eingangssignale und die inhibitorischen Eingangssignale zu summieren, um ein Summierte-Exzitatorische-Signale-Eingangssignal 620 zu erzeugen und ein Summierte-Inhibitorische-Signale-Eingangssignal 622 zu erzeugen, die in den inneren Schaltungsaufbau der neuronalen Zelle 624 eingegeben werden, die die oben unter Bezugnahme auf 5A–E erörterten Signalerzeugungs-, Integrations- und Schwellwertbestimmungsfunktionen implementiert. Die genaue Beschaffenheit der für eine Leckintegration, Signalsynthese und Schwellwertbestimmung verwendeten Schaltungen hängt von der Beschaffenheit von durch die neuronale Zelle empfangenen Eingangssignalen und von einem durch die neuronale Zelle implementierten genauen mathematischen Modell ab. Beispielsweise kann eine Integrationsschaltung, die auf einem Operationsverstärker und Kondensator basiert, für eine Leckintegration verwendet werden, und verschiedene Arten von auf Operationsverstärkern basierenden Summierungsschaltungen können dazu verwendet werden, die zwei summierten Eingangssignale 620 und 622 für eine Signalsynthese linear zu kombinieren.
Es gibt diverse unterschiedliche Arten von mathematischen Modellen für neuronale Zellen. Bei einer beliebigen gegebenen neuromorphen Schaltung können mehrere verschiedene Arten von neuronalen Zellen, die verschiedene mathematische Modelle von Neuronen implementieren, verwendet werden, um eine gewünschte höhere Funktionalität ordnungsgemäß zu emulieren oder implementieren. Ein mathematisches Modell für eine neuronale Zelle kann wie folgt ausgedrückt werden:
wobei

i: das modellierte Neuron ist;
x_i: die Aktivität des Neurons i ist;
t: die Zeit ist;
f_j(x_j): eine nicht-lineare Funktion der Aktivität des Neurons j ist;
z_ji: das Gewicht einer Synapse zwischen den Neuronen j und i ist;
g_j: eine nicht-lineare Funktion der Aktivität des Neurons j ist;
n: die Anzahl von Neuronen ist, die durch exzitatorische Eingänge mit einem Knoten i verknüpft sind;
m: die Anzahl von Neuronen ist, die durch inhibitorische Eingänge mit dem Knoten i verknüpft sind; und
A und B: Konstanten sind.

Bei diesem Modell ist die Aktivität einer bestimmten neuronalen Zelle i eine lineare Kombination eines ersten passiven Abfallterms –Ax_i, eines zweiten Terms, der die Summe von exzitatorischen Eingängen, die durch einen Rückkopplungsterm reflektiert wird, widerspiegelt,
und eines dritten Terms, der die Summe der inhibitorischen Eingänge, die durch einen Rückkopplungsterm modifiziert wird, reflektiert,
Bei diesem Modell liegt die Aktivität eines Neurons i, x_i zwischen 0,0 und 1,0. Wenn die Neuronenaktivität hoch ist und sich an 1,0 annähert, dienen Rückkopplungsterme in der Gleichung dazu, eine weitere Erhöhung der Aktivität zu begrenzen und die Aktivität nach unten zu drücken. Wenn dagegen die Aktivität des Neurons i, x_i gering ist und nahe bei 0,0 liegt, so nehmen die Rückkopplungsterme an Bedeutung ab, und die neuronale Zelle spricht mit einer hohen Empfindlichkeit auf exzitatorische Eingänge und mit einer geringen Empfindlichkeit auf inhibitorische Eingänge an, wodurch die Aktivität der neuronalen Zelle erhöht wird. Wie oben erörtert wurde, gilt, dass, wenn die Aktivität einer neuronalen Zelle auf über einen Schwellwert ansteigt, die neuronale Zelle Ausgangssignale durch synapsenartige memristive Nanodraht-Übergänge an benachbarte Rechenzellen emittiert und auch Ausgangssignale durch Integrierte-Halbleiterschaltung-Schicht-Signalleitungen an angrenzende Rechenzellen ausgeben kann. Wie oben erörtert wurde, sind viele verschiedene mögliche mathematische Modelle für eine Funktionsweise einer neuronalen Zelle möglich, und viele verschiedene Modelle können in einer einzelnen neuromorphen Schaltung verwendet werden, wobei neuronale Zellen auf verschiedenen logischen Ebenen innerhalb einer hierarchischen neuromorphen Schaltung verschiedene mathematische Modelle eines Verhaltens neuronaler Zellen implementieren.
7 zeigt eine Habituatives-Übertragungsgatter-Rechenzelle, die bei neuromorphen integrierten Hybridschaltungen im Mikro- und/oder Nanobereich, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, verwendet wird. Eine Habituatives-Übertragungsgatter-Zelle („HTG”-Zelle, HTG = habituative transmitter gate, habituatives Übertragungsgatter), wie sie in 7 gezeigt ist, verwendet nicht die vertikalen Anschlussstifte, die dazu verwendet werden, neuronale Zellen durch synapsenartige memristive Nanodraht-Übergänge mit anderen neuronalen Zellen zu verbinden. Stattdessen empfängt ein HTG 702 einen Eingang 704 von angrenzenden Rechenzellen, und erzeugt einen Ausgang 706 an angrenzende Rechenzellen in einer neuromorphen Schaltung durch Integrierte-Halbleiterschaltung-Signalleitungen. Ein HTG erzeugt einen Effekt mit einer relativ längeren Dauer auf Eingangssignale als diejenigen, die von neuronalen Zellen ansprechend auf inhibitorische und exzitatorische Eingänge erzeugt werden. 8 veranschaulicht eine Modifikation anhand einer Habituatives-Übertragungsgatter-Rechenzelle eines Eingangssignals gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In 8 ist das Eingangssignal bei einer ersten Auftragung einer Signalstärke gegenüber der Zeit 802 aufgetragen, und das entsprechende Ausgangssignal ist in einer zweiten Auftragung einer Signalstärke gegenüber der Zeit 804 aufgetragen. Die zwei Auftragungen in 8 sind bezüglich der Zeitachsen 806 bzw. 808 ausgerichtet. Wenn das Eingangssignal 810 eine positive Spannungsspitze 812 umfasst, umfasst das Ausgangssignal 814 ebenfalls eine positive Spannungsspitze 816, die der positiven Spannungsspitze 812 in dem Eingangssignal entspricht. Jedoch erreicht die Spannung bei dem Ausgangssignal allge mein bei einer beträchtlich geringeren Spannung ihren Höhepunkt und fällt dann über einen an die positive Spannungsspitze anschließenden Zeitraum hinweg auf eine negative Spannung 818 ab. Ein HTG modelliert das Prinzip eines biologischen neuronalen Schaltungsaufbaus, das besagt, dass postsynaptische Neuronen anfänglich für einen exzitatorischen Eingang empfindlich sind, die Empfindlichkeit von postsynaptischen Neuronen jedoch mit anhaltenden exzitatorischen Eingang rasch abnimmt.
Ein mögliches mathematisches Modell für ein HTG wird als Nächstes dargestellt:
wobei

z_i: eine Verstärkung ist, die durch das habituative Übertragungsgatter auf ein Eingangssignal angewendet wird;
t: die Zeit ist;
y_i: ein Eingang in ein habituatives Übertragungsgatter ist;
T: eine Gleichrichtungsfunktion ist;
f([T(y_i)]): eine nicht-lineare Funktion des gleichgerichteten Eingangs ist; und
A und B: Konstanten sind.

Bei dieser Gleichung ist z_i die Verstärkung, die auf das Ausgangssignal einer HTG-Zelle relativ zu dem Eingangssignal angewendet wird. Bei diesem Modell liegt die Verstärkung zwischen 0,0 und 1,0. Der erste Term, A(1 – z_i), liefert eine relativ langfristige Wiederherstellung der Verstärkung eines HTG, während der zweite Term, –Bf[T(y_i)]z_i, eine rasche Ausgangssignalabschwächung und ein anschließendes negatives Signal einer längeren Dauer liefert, wenn ein positives Signal in das HTG eingegeben wird. Bei einer beliebigen neuromorphen integrierten Schaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, kann sich das jeweilige mathematische Modell, das für ein beliebiges gegebenes HTG verwendet wird, bezüglich der Werte der Konstanten A und B oder bezüglich der gesamten mathematischen Formel für das HTG unterscheiden. Allgemein jedoch werden HTG-Zellen dazu verwendet, die Effekte von anhaltenden exzitatorischen oder inhibitorischen Signalen, die durch neuronale Zellen ausgegeben oder empfangen werden, zu dämpfen.
9 veranschaulicht Beispiele zweier weiterer Arten von Rechenzellen, einschließlich einer Eingangsrechenzelle und einer Augangsrechenzelle, die bei neuromorphen integrierten Hybridschaltungen im Mikro- und/oder Nanobereich, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, verwendet werden. Eine Eingangsrechenzelle 902 emp fängt ein Eingangssignal 904 von einer Signalsendeentität, die außerhalb einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung liegt, und nach einem Verarbeiten des Eingangssignals gibt sie verarbeitete Signale 906 und 908 über die Ausgangssignalanschlussstifte 910 und 912 aus. Eine Ausgangsrechenzelle 914 empfängt exzitatorische 916 und inhibitorische 918 Signale von externen Rechenzellen einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung durch Eingangssignalanschlussstifte 920 und 922 und verarbeitet die Eingangssignale, um ein verarbeitetes Signal 924 zu erzeugen, das an Signalempfangsentitäten, die außerhalb der neuromorphen integrierten Schaltung liegen, auszugeben. Ausgangsrechenzellen können zusätzlich einen Eingang durch Integrierte-Halbleiterschaltung-Schicht-Signalleitungen empfangen, und Eingangsrechenzellen können zusätzlich Signale an Integrierte-Halbleiterschaltung-Schicht-Signalleitungen emittieren. Außerdem können Eingangsrechenzellen und Ausgangsrechenzellen dazu verwendet werden, zwei verschiedene interne analoge Signalen innerhalb einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung ineinander umzuwandeln.
10 veranschaulicht Eingangs- und Ausgangssignale für eine Eingangsrechenzelle einer im Mikro- und/oder Nanobereich liegenden neuromorphen Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. In vielen Fällen kann das Eingangssignal 1002 ein paketbasiertes digitales Signal sein, bei dem Pakete einer feststehenden Länge oder einer variierenden Länge, die Sequenzen von Binärziffern enthalten, von einer externen Entität an die Eingangsrechenzelle gesendet werden. Die Eingangsrechenzelle führt eine Digital-Zu-Analog-Signalumwandlung durch, um ein analoges Spannungs- oder Stromsignal zu erzeugen, in der Signal-Gegenüber-Zeit-Auftragung 1004 in 10 gezeigt. Desgleichen empfängt eine Ausgangsrechenzelle (914 in 9) analoge Signale und führt eine Analog-Zu-Digital-Signalumwandlung durch, um ein paketbasiertes digitales Signal 1002 auszugeben. Es gibt viele verschiedene mögliche Arten von digitalen Signalen, und diverse unterschiedliche Implementierungen von neuromorphen Schaltungen können unterschiedliche Arten von analogen Signalen verwenden. Deshalb ist der innere Schaltungsaufbau von Eingangsrechenzellen und Ausgangsrechenzellen stark sowohl von den Arten von digitalen Signalen, die durch eine im Mikro- und/oder Nanobereich liegende neuromorphe integrierte Hybridschaltung empfangen und von einer solchen exportiert werden, als auch von den verschiedenen Arten von analogen Signalen, die innerhalb einer integrierten neuromorphen integrierten Schaltung verwendet werden, abhängig.
11A–B veranschaulichen eine Verbindung von Rechenzellen innerhalb einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. 11A zeigt ein 3 × 3- Array von 4-Anschlussstift-Rechenzellen. Wie oben erörtert wurde, umfasst jede Rechenzelle, z. B. die Rechenzelle 1102, zwei Ausgangsanschlussstifte 1104 und 1106, einen inhibitorischen Eingangsanschlussstift 1108 und einen exzitatorischen Eingangsanschlussstift 1110. 11B zeigt das 3 × 3-Array von Rechenzellen, wie in 11A gezeigt ist, oberhalb dessen eine Verbindungsschicht, die zwei Teilschichten von parallelen Nanodrähten und eine Teilschicht aus memristivem Material umfasst, implementiert wurde. In 11B bildet jeder Eingangsanschlussstift, z. B. der Eingangsanschlussstift 1110 der Rechenzelle 1102, eine Schnittstelle mit einer Kontaktstelle 1112, die einen linken, ungefähr horizontalen Nanodraht 1114 mit einem rechten, ungefähr horizontalen Nanodraht 1116 verbindet und sowohl den linken als auch den rechten Nanodraht 1114 und 1116 mit dem Eingangsanschlussstift 1112 verbindet. Somit bilden alle Nanodrähte, die mit Eingangsanschlussstiften in dem Array von Rechenzellen verbunden sind, eine erste Teilschicht von parallelen Nanodrähten. Wie in 11B gezeigt ist, sind die Nanodrähte bezüglich der Richtung des oberen 1118 und des unteren 1120 horizontalen Randes des 3 × 3-Arrays von Rechenzellen leicht gedreht. Diese Drehung ermöglicht, dass sich Nanodrähte sowohl in die linke als auch in die rechte Richtung horizontal erstrecken und viele benachbarte Rechenzellen überspannen, ohne zusätzliche vertikale Anschlussstifte innerhalb oder außerhalb der Rechenzelle, mit der die Nanodrähte über eine Kontaktstelle und einen vertikalen Anschlussstift verbunden sind, zu überlagern. Die Ausgangsanschlussstifte, z. B. der Ausgangsanschlussstift 1104 in der Rechenzelle 1102, sind jeweils auf ähnliche Weise mit einem ungefähr vertikalen Nanodraht verbunden. Somit bilden die Nanodrähte, die mit Ausgangsanschlussstiften in dem 3 × 3-Array von Rechenzellen verbunden sind, eine zweite Teilschicht von ungefähr parallelen Nanodrähten, wobei die Nanodrähte der zweiten Teilschicht ungefähr orthogonal zu den Nanodrähten der ersten Teilschicht sind.
In 11B sind memristive Nanodraht-Übergänge zwischen Nanodrähten als kleine ausgefüllte Scheiben, z. B. ausgefüllte Scheibe 1124, an dem Schnittpunkt zwischen zwei Nanodrähten gezeigt. Der memristive Nanodraht-Übergang 1124 modelliert eine Synapse, die eine präsynaptische neuronale Zelle 1126 und eine postsynaptische neuronale Zelle 1128 miteinander verbindet. Der memristive Nanodraht-Verknüpfungspunkt 1124 verbindet den Ausgangsanschlussstift 1130 der präsynaptischen Rechenzelle 1126 mit dem inhibitorischen Eingangsanschlussstift 1132 der postsynaptischen neuronalen Zelle 1128. Gemäß der vorliegenden Erfindung können viele Nanodraht-Verbindungsschichten oberhalb der Integrierte-Halbleiterschaltung-Schicht einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung implementiert sein. Viele Verbindungsschichten ermöglichen, dass neuronale Zellen durch synapsenartige memristive Nanodraht-Übergänge auf mehreren hierarchischen, logischen Ebenen miteinander verbunden sind. Die die vorliegende Erfindung darstellende, eine Mehrverbindungsschicht umfassende Architektur neuromorpher integrierter Schaltungen seht eine extrem hohe Anzahl von verschiedenen möglichen Verbindungskonfigurationen von Rechenzellen vor und liefert somit eine extrem flexible und leistungsstarke Verbindungsarchitektur zum Implementieren einer sehr hohen Anzahl verschiedener möglicher neuromorpher Schaltungen.
Bei bestimmten Ausführungsbeispielen von neuromorphen integrierten Hybridschaltungen im Mikro- und/oder Nanobereich der vorliegenden Erfindung können Nanodraht-Übergänge während der Herstellung dahin gehend konfiguriert werden, oder sie können anschließend dahin gehend programmiert werden, sich in einem EIN- und in einem AUS-Zustand zu befinden, wobei lediglich diejenigen Nanodraht-Übergänge, die dahin gehend konfiguriert sind, EIN (EINGESCHALTET) zu sein, Strom durchzulassen und ein synapsenartiges Verhalten aufweisen, während diejenigen Nanodraht-Übergänge, die dahin gehend konfiguriert sind, AUS (AUSGESCHALTET) zu sein, als offene Schalter fungieren. Bei anderen Ausführungsbeispielen von neuromorphen integrierten Hybridschaltungen im Mikro- und/oder Nanobereich der vorliegenden Erfindung sind die Nanodraht-Übergänge allesamt dahin gehend konfiguriert, sich in dem EIN-Zustand zu befinden, und der Leitwert jedes Nanodraht-Überganges wird ausschließlich durch die Spannungssignale, die durch denselben verlaufen, bestimmt.
12A–F veranschaulichen eine Herstellung einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. 12A–F veranschaulichen eine Herstellung der neuromorphen integrierten Schaltung bezüglich einer einzelnen Rechenzelle. Wie oben erörtert wurde, enthält eine im Mikro- und/oder Nanobereich liegende neuromorphe integrierte Hybridschaltung jedoch eine sehr hohe Anzahl von Rechenzellen, die zusammen die Oberfläche der im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung fliesenartig bedecken. Bei bestimmten Ausführungsbeispielen können mehrere zehn bis zu Hunderten von Millionen einzelner Rechenzellen auf jedem Quadratzentimeter eines Halbleitersubstrats hergestellt werden. Die in den 12A–F veranschaulichten Herstellungsverfahren werden allgemein gleichzeitig auf alle Rechenzellen einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung angewendet.
Wie in 12A gezeigt ist, wird jede Rechenzelle 1202 unter Verwendung eines von verschiedenen Verfahren einer Herstellung integrierter Schaltungen, einschließlich Photolithographie-, Dotierungs-, Ätz- und Planarisierungstechniken, hergestellt. Die Oberfläche der Rechenzelle 1204 umfasst vier leitfähige Basen 1206–1209 für die vier oben beschriebenen vertikalen leitfähigen Anschlussstifte. Rechenzellen können beliebige von verschie denen Formen und Größen aufweisen, je nach Herstellungsverfahren und den mathematischen Modellen für Rechenzellenverhalten, das anhand bestimmter Anwendungen implementiert werden muss. Übliche Formen für Zellen umfassen Quadrate, Rechtecke, Sechsecke und gleichseitige Dreiecke, die allesamt in zweidimensionalen Arrays entworfen sein können, um die Oberfläche eines Halbleitersubstrats vollständig fliesenartig zu bedecken. Bei einem ersten Schritt, der auf eine Herstellung der zu Grunde liegenden integrierten Schaltung folgt, wie in 12B gezeigt ist, wird eine erste Teilschicht 1210 von Nanodrähten oberhalb der Oberfläche der integrierten Schaltung eingeprägt oder anhand anderer Verfahren hergestellt, wobei jeder Nanodraht einen einzelnen vertikalen Anschlussstift durch eine kontaktstellenartige Struktur, z. B. eine Kontaktstelle 1212, kontaktiert und sich in entgegengesetzten Richtungen von der Kontaktstelle erstreckt, um einen einzelnen Nanodraht zu bilden. Wie in 12B gezeigt ist, sind die Nanodrähte der ersten Teilschicht von Nanodrähten parallel zueinander und sind mit beiden Eingangsanschlussstiften oder mit beiden Ausgangsanschlussstiften der zu Grunde liegenden Rechenzelle verbunden, wobei ein einzelner Nanodraht einer gegebenen Teilschicht mit höchstens einem Anschlussstift verbunden ist. Die vertikalen Anschlussstifte, die nicht mit Nanodrähten der ersten Teilschicht verbunden sind, erstrecken sich in der ersten Teilschicht 1214 und 1216 als Durchkontaktierungen, die die zu Grunde liegenden leitfähigen Vertikaler-Anschlussstift-Basen (1207 und 1209 in 12A) überlappen.
Als Nächstes wird, wie in 12C gezeigt ist, eine dünne Schicht aus memristivem Material 1220 auf die obere Oberfläche der ersten Nanodraht-Teilschicht 1210 aufgebracht. Dieses memristive Material bildet die memristiven Nanodraht-Übergänge zwischen Nanodrähten der ersten Teilschicht 1210 und Nanodrähten der zweiten Teilschicht, die in einem folgenden Schritt addiert werden. Man beachte, dass die leitfähigen Anschlussstifte durch eingebettete Durchkontaktierungen 1222–1225 durch die memristive Materialschicht hindurch fortgesetzt werden. Wie in 12D gezeigt ist, wird als Nächstes eine zweite Teilschicht von Nanodrähten 1230 oberhalb der memristiven Schicht 1220 hinzugefügt. Die Nanodrähte der zweiten Teilschicht von Nanodrähten sind parallel, und jeder Nanodraht ist mit einem einzelnen vertikalen Anschlussstift verbunden. Wenn die erste Nanodraht-Teilschicht mit Ausgangsanschlussstiften verbunden ist, ist die zweite Nanodraht-Teilschicht mit Eingangsanschlussstiften verbunden, und umgekehrt. Man beachte, dass die Nanodrähte der zweiten Teilschicht ungefähr orthogonal zu den Nanodrähten der ersten Teilschicht sind. Wie in 12E gezeigt ist, wird als Nächstes eine isolierende Schicht 1240 oberhalb der zweiten Nanodraht-Teilschicht 1230 hinzugefügt, wobei sich die vertikalen Anschlussstifte wiederum an eingebettete Durchkontaktierungen 1242–1245 anschließen.
Wie in 12F gezeigt ist, kann eine zusätzliche Nanodraht-Verbindungsschicht 1250 auf der ersten isolierenden Schicht 1240 hergestellt werden. Im Mikro- und/oder Nanobereich liegende neuromorphe integrierte Hybridschaltungen, die Ausführungsbeispiele der vorliegenden Erfindung darstellen, können eine im Wesentlichen beliebige Anzahl von Verbindungsschichten umfassen, wobei die oberste isolierende Schicht 1252 die darunter liegenden Verbindungsschichten allgemein vollständig isoliert und somit keine eingebetteten Durchkontaktierungen umfasst, an die sich die vertikalen Anschlussstifte zu der Oberfläche der abschließenden isolierenden Schicht hin anschließen könnten. Wiederum veranschaulichen die 12A–F den Herstellungsprozess von dem Standpunkt einer einzelnen Rechenzelle, für nützliche Vorrichtungen werden bei der in 12A–F veranschaulichten Serie von Schritten jedoch auf jedem Quadratzentimeter einer Substratoberfläche viele Millionen, viele zehn Millionen oder Hunderte von Millionen von Rechenzellen miteinander hergestellt.
13 veranschaulicht bidirektionale Signale, die durch Nanodrähte der Nanodraht-Verbindungsschichten einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, übertragen werden. In 13 ist eine erste neuronale Zelle 1302 über einen ersten Nanodraht 1306, einen zweiten Nanodraht 1308 und einen memristiven Nanodraht-Übergang 1310, der den ersten Nanodraht 1306 mit dem zweiten Nanodraht 1308 verbindet, mit einer zweiten neuronalen Zelle 1304 verbunden. Der erste Nanodraht ist mit einem Ausgangsanschlussstift 1312 der ersten, präsynaptischen neuronalen Zelle 1302 verbunden, und der zweite Nanodraht 1310 ist mit einem Eingangsanschlussstift 1314 der zweiten, postsynaptischen neuronalen Zelle 1304 verbunden. Wie oben erörtert wurde, emittiert die präsynaptische neuronale Zelle dann, wenn die präsynaptische neuronale Zelle eine Aktivität aufweist, die höher ist als eine Schwellenaktivität, Vorwärtssignale, die in 13 durch einen Richtungspfeil 1316 dargestellt sind. Desgleichen emittiert die postsynaptische Zelle dann, wenn die postsynaptische Zelle eine Aktivität oberhalb eines zweiten Schwellenaktivitätspegels aufweist, Rückwärtssignale, die in 13 durch einen Pfeil 1318 dargestellt sind, durch Eingangsanschlussstifte hin zu der präsynaptischen neuronalen Zelle 1302. Eine Emission von sowohl Vorwärtssignalen als auch Rückwärtssignalen der neuronalen Zellen sieht bei bestimmten Ausführungsbeispielen der vorliegenden Erfindung Zustandsänderungen bei dem memristiven Material des Nanodraht-Überganges vor, die ein Synapsenverhalten modellieren, wie oben erörtert wurde.
14 veranschaulicht Leitwertsänderungen bei einem memristiven Nanodraht-Übergang, durch den ein präsynaptisches Neuron und ein postsynaptisches Neuron miteinander verbunden sind. In 14 sind die verschiedenen Auftragungen von Signalen ver tikal bezüglich der Zeit vertikal ausgerichtet, wobei sie in allen Fällen bezüglich einer horizontalen Zeitachse, z. B. der Zeitachse 1402, aufgetragen sind. Die verschiedenen Auftragungen in 14 veranschaulichen Signale und Zustandsänderungen bei einem memristiven Nanodraht-Übergang 1404, der eine erste Signalleitung 1406 mit einer zweiten Signalleitung 1408 verbindet. Eine erste Auftragung 1410 trägt das Vorwärtssignal auf, das durch die erste Signalleitung 1406 übertragen wird, die aus einem präsynaptischen Knoten (1302 in 13), der mit der ersten Signalleitung verbunden ist, hervorgeht. Eine zweite Auftragung 1412 trägt das Rückwärtssignal auf, das durch die zweite Signalleitung übertragen wird, die aus einem postsynaptischen Knoten (1304 in 13), der mit der zweiten Signalleitung verbunden ist, hervorgeht. Die dritte Auftragung 1414 veranschaulicht den Spannungsabfall an dem Memristor 1404 zu jedem Zeitpunkt, und die abschließende Auftragung 1416 zeigt den Leitwert des Memristors zu jedem Zeitpunkt. Gestrichelte vertikale Linien, z. B. die gestrichelte vertikale Linie 1418, zeigen bestimmte Zeitpunkte in jeder der verschiedenen Auftragungen 1410, 1412, 1414 und 1416.
Wenn das Vorwärtssignal eine positive Spannungsspitze 1422 oder eine negative Spannungsspitze 1424 aufweist, während das Rückwärtssignal flach ist, treten über den Memristor hinweg ein relativ geringer negativer Spannungsabfall 1426 bzw. ein relativ geringer positiver Spannungsabfall 1428 auf. Diese geringen Spannungsabfälle erzeugen eine entsprechende geringe Verringerung 1430 und eine geringe Erhöhung 1432 des Leitwerts des Memristors. Wenn sowohl bei den Vorwärts- als auch bei den Rückwärtssignalen 1434 und 1436 und 1438 und 1440 Spannungsspitzen mit gleichem Vorzeichen und gleichem Betrag auftreten, wird über den memristiven Nanodraht-Übergang hinweg kein Spannungsabfall 1442 und 1444 erzeugt, und deshalb ändert sich der Leitwert des Memristors nicht. Wenn jedoch bei dem Vorwärtssignal eine positive Spitze 1450 auftritt und bei dem Rückwärtssignal zum gleichen Zeitpunkt eine negative Spitze 1452 auftritt, tritt über den Memristor hinweg ein relativ großer negativer Spannungsabfall 1454 auf, der einen entsprechend großen Abfall 1456 des Leitwerts bewirkt. Desgleichen erzeugt eine negative Spannungsspitze 1460 bei dem Vorwärtssignal, die einer positiven Spitze 1462 in dem Rückwärtssignal zeitlich entspricht, einen relativ großen positiven Spannungsabfall 1464 über den Memristor hinweg, was zu einem entsprechenden großen Leitwertsanstieg 1466 der memristiven Substanz führt. Somit können neuronale Zellen dadurch, dass sie bestimmte Arten von Vorwärts- und Rückwärtssignalen erzeugen, bewirken, dass ein verbindender memristiver Nanodraht-Übergang leitfähige Änderungen aufweist, die das oben mathematisch beschriebene Synapsenverhalten modellieren. Unter Verwendung geeigneter Signalverläufe vor Vorwärts- und Rückwärtssignale kann das memristive Material veranlasst werden, zu Zeiten, zu denen das postsynaptische Neuron eine hohe Aktivität aufweist, die unmittelbar auf eine durch eine hohe Aktivität bewirkte Übertragung eines Vorwärts signals durch die präsynaptische neuronale Zelle folgt, große Leitfähigkeitsveränderungen aufzuweisen, gemäß einem Hebbschen Lernmodell für Synapsenverhalten. Ferner reflektiert die Leitfähigkeit der memristiven Nanodraht-Übergänge vergangene Muster von Aktivitätspegeln und einer Signalemission von den präsynaptischen und postsynaptischen neuronalen Zellen, die sie miteinander verbinden.
Eine Vielzahl verschiedener Funktionsmodule, die mehrere angrenzende Rechenzellen aufweisen, können in einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung gemäß Ausführungsbeispielen der vorliegenden Erfindung hergestellt werden. 15 veranschaulicht eine Implementierung eines sechs Rechenzellen umfassenden Dipols, der ein analoges Verhalten, das dem eines Digitallogik-Flipflops ähnelt, aufweist, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Dipolmodul 1502 wird gänzlich in der Integrierte-Schaltung-Schicht einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, hergestellt. Neuronale Zellen 1504 und 1506 stellen Eingangsknoten des Dipols dar, und neuronale Zellen 1508 und 1510 stellen Ausgangsknoten des Dipols dar. Bei dem Dipol weist ein Ausgangsknoten tendenziell eine hohe Aktivität auf, wenn der andere Ausgangsknoten eine niedrige Aktivität aufweist, und umgekehrt, und die Aktivitätszustände der Ausgangsknoten bleiben bei einem konstanten Eingang in Eingangsknoten oder bei einem fehlenden Eingang in Eingangsknoten tendenziell konstant. Somit arbeitet der Dipol als analoges Flipflop und speichert im Wesentlichen einen von zwei möglichen Aktivitätspegelzuständen der Ausgangsknoten zwischen. Der Eingangsknoten 1504 überträgt exzitatorische Signale über eine Signalleitung 1512 an den Ausgangsknoten 1508 und überträgt inhibitorische Signale über eine Signalleitung 1514 an den Ausgangsknoten 1510. Der Eingangsknoten 1506 folgt einem ähnlichen, jedoch entgegengesetzten Signalübertragungsmuster. Die Ausgangsknoten geben positive Rückkopplungssignale 1518 und 1520 durch HTG-Knoten 1524 und 1526 an Eingangsknoten 1504 und 1506 aus. Wenn der Eingangsknoten 1504 eine hohe Aktivität aufweist, weist der Ausgangsknoten 1408 somit tendenziell eine hohe Aktivität auf und verstärkt tendenziell die hohe Aktivität des Eingangsknotens 1504. Wenn der Eingangsknoten 1506 eine hohe Aktivität aufweist, weist der Ausgangsknoten 1510 tendenziell eine hohe Aktivität auf und verstärkt tendenziell die hohe Aktivität des Eingangsknotens 1506. Die linke Spalte der Rechenknoten 1504 und 1508 befindet sich somit mit der rechten Spalte von Rechenzellen 1506 und 1510 im Wettstreit um einen Zustand hoher Aktivität.
16 veranschaulicht eine zweite Art von Mehrrechenzellenmodul, das bei einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, verwendet werden kann.
Das in 16 gezeigte Modul ist eine Neun-Rechenzellen-Umgebung bzw. -Surrounds, bei der die acht peripheren Rechenzellen 1602–1609, wenn sie aktiv sind, inhibitorische laterale Signale an die zentrale Rechenzelle 1610 übertragen. Eine Vielzahl von verschiedenen Arten von Umgebungen, einschließlich einer Vielzahl unterschiedlicher Anzahlen von Rechenzellen, können in einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt, hergestellt werden. In bestimmten Fällen kann ein kleiner, angrenzender Ring von Rechenzellen exzitatorische Signale an die zentrale Zelle übertragen, während ein größerer, umgebender Ring von peripheren Rechenzellen inhibitorische Signale an eine zentrale Rechenzelle übertragen kann, oder umgekehrt. Bei zusätzlichen Arten von Umgebungen können Rückkopplungssignale von der zentralen Zelle an periphere Zellen übertragen werden und umgekehrt. In bestimmten Fällen können mehrere zentrale Zellen von einem oder mehreren Ringen von Umgebungszellen umgeben sein, von denen jede eine andere Art oder einen anderen Pegel von Vorwärtssignalrückkopplung liefert. Umgebungen werden häufig zum Implementieren verschiedener Arten von Mustererkennungsschaltungen und Orientierungskarten verwendet.
17 veranschaulicht eine hierarchische Verbindung von Rechenzellen in einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Ausführungsbeispiel der vorliegenden Erfindung darstellt. 17 zeigt ein 24 × 28-Array von Rechenzellen 1702. Jede Zelle ist einer logischen Ebene zugewiesen, gemäß dem unterhalb des Arrays vorgesehenen Logische-Ebene-Schlüssel 1704. Beispielsweise bilden die schraffierten Rechenzellen, z. B. die schraffierte Rechenzelle 1706, eine erste logische Ebene. Derartige hierarchische logische Anordnungen von Rechenzellen können durch Verwendung einer Nanodraht-Verbindungsschicht, um neuronale Zellen jeder Ebene miteinander zu verbinden, implementiert werden. Beispielsweise können die Rechenzellen der ersten Ebene durch Nanodrähte und memristive Nanodraht-Übergänge innerhalb einer ersten Nanodraht-Verbindungsschicht lateral miteinander verbunden werden. Zellen der zweiten logischen Ebene können analog dazu durch eine zweite Nanodraht-Verbindungsschicht miteinander verbunden werden. Außerdem können Vorwärts- und Rückwärtsverbindungen mehrere Verbindungsebenen durchqueren und somit für einen Austausch von Signalen zwischen logischen Ebenen sorgen. Hierarchisch geordnete Schichten von Rechenzellen sind bei verschiedenen Arten von neuromorphen Mustererkennungsschaltungen und Inferenzmaschinen, die Schlüsse aus mehreren Eingängen ziehen, sinnvoll.
18 veranschaulicht eine zweite Art einer logischen Struktur, die bei einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung, die ein Aus führungsbeispiel der vorliegenden Erfindung darstellt, implementiert werden kann. Eine laminare Kortikalschicht, die in 18 gezeigt ist, kann eine Anzahl von Sensoreingangsrechenzellen einer niedrigeren Ebene, z. B. Rechenzelle 1802, umfassen, von denen jede mit einem Dipolmodul, z. B. dem Dipolmodul 1804, das eine einfache Zelle einer laminaren Kortikalschichtmodelliert, verbunden ist. Die Dipolmodule sind wiederum sowohl miteinander als auch mit komplexen Zellen, z. B. einer komplexen Zelle 1806, verbunden, die Signale an Rechenzellen einer höheren Ebene oder an Ausgangszellen ausgeben. Laminare Kortikalschichten finden bei Perzeptronen und vielen anderen Arten von neuromorphen Schaltungen Anwendung. 19 veranschaulicht ein Laminare-Kortikale-Schaltung-Modul, das gemäß der vorliegenden Erfindung hergestellt werden kann und das zusammen mit einer Anzahl von angrenzenden Laminare-Kortikalschicht-Modulen eingesetzt werden kann, um eine neuromorphe Laminare-Kortikalschicht-Schaltung zu implementieren. Das Laminare-Kortikalschicht-Modul 1902 umfasst einen sechs Rechenzellen umfassenden Dipol, der ausgehend von den sechs Rechenzellen 1904–1909 implementiert wird. Eine Eingangsrechenzelle 1910 stellt einen Sensoreingang dar, und das Paar von Rechenzellen 1912 und 1914 stellt eine komplexe Zelle der laminaren Kortikalschicht dar. Größere Module können zusätzliche Sensoreingangszellen umfassen, um mehrere Sensoreingänge an den Dipol, der die Rechenzellen 1904–1909 umfasst, zu liefern. Verbindungen zwischen den Zellen können entweder ausschließlich in der Integrierte-Halbleiterschaltung-Schicht hergestellt werden, oder sie können zusätzlich eine oder mehrere Nanodraht-Verbindungsschichten verwenden.
Obwohl die vorliegende Erfindung anhand bestimmter Ausführungsbeispiele beschrieben wurde, ist nicht beabsichtigt, dass die Erfindung auf diese Ausführungsbeispiele beschränkt sei. Fachleuten werden Modifikationen innerhalb der Wesensart der Erfindung einleuchten. Beispielsweise können Rechenzellen zusätzlich zu Neuronen, Eingangszellen, Ausgangszellen und HTG-Zellen verschiedene Zellentypen implementieren. Während 4-Anschlusstift-Recheneinheiten für viele Arten von neuromorphen Schaltungen eine angemessene Verbindbarkeit zu liefern scheinen, kann bei verschiedenen alternativen Ausführungsbeispielen eine größere Anzahl oder eine kleinere Anzahl von Eingangs- und Ausgangsanschlussstiften verwendet werden. Wie oben erörtert wurde, können gemäß Ausführungsbeispielen der vorliegenden Erfindung zusätzliche Signalleitungen und andere auf eine Signalübertragung bezogene Komponenten in der Integrierte-Schaltung-Ebene einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung hergestellt werden. Integrierte-Halbleiterschaltung-Schicht-Signalleitungen können dazu verwendet werden, eine zusätzliche Verbindbarkeit zwischen den Rechenzellen von mehrere Rechenzellen umfassenden Modulen und anderen logischen Einheiten innerhalb einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung bereitzustellen. Die Integrierte-Halbleiterschaltung-Schicht einer im Mikro- und/oder Nanobereich liegenden neuromorphen integrierten Hybridschaltung kann in beliebigen von diversen unterschiedlichen Arten von Halbleitersubstraten unter Verwendung beliebiger einer großen Anzahl von Techniken zur Herstellung integrierter Schaltungen hergestellt werden. Neuromorphe integrierte Schaltungen können mit verschiedenen Abmessungen und Flächen hergestellt werden und können eine zusätzliche Funktionalität beinhalten, einschließlich einer Fehlererfassungs-, einer Fehlerverbesserungs- und einer Fehlertoleranzfunktionalität, um defekte Rechenzellen in einem Array von Rechenzellen zu berücksichtigen. Eine neuromorphe integrierte Schaltung kann sowohl Strom- als auch Spannungssignale intern einsetzen und kann verschiedene Arten von externen Signalen, einschließlich digitaler paketbasierter Signale, empfangen und exportieren. Bei vielen Ausführungsbeispielen der vorliegenden Erfindung umfassen interne Neuromorphe-Integrierte-Schaltung-Signale sowohl analoge Strom- als auch analoge Spannungssignale. Obwohl verschiedene Arten von Vorwärts- und Rückwärts-Analogsignalmustern, die biologischen axonalen Ausschlägen ähneln, bei neuromorphen integrierten Schaltungen verwendet werden können, können neuromorphe integrierte Schaltungen auch auf der Basis von einfachen Spannungspegel- und/oder Strompegelsignalen arbeiten. Eine neuromorphe integrierte Schaltung kann zusätzliche Funktionen umfassen, einschließlich Taktsignalausbreitungsfunktionen, um Zeitgebungssignale an Eingangsrechenzellen und Ausgangsrechenzellen zu liefern. Eine neuromorphe integrierte Schaltung kann zusätzlich mehrere Integrierte-Schaltung-Schichten umfassen, die jeweils mit zugeordneten mehreren Nanodraht-Verbindungsschichten verbunden sind.
Zu Erläuterungszwecken verwendete die vorstehende Beschreibung eine spezifische Nomenklatur, um ein fundiertes Verständnis der Erfindung zu vermitteln. Jedoch wird Fachleuten einleuchten, dass die spezifischen Einzelheiten nicht erforderlich sind, um die Erfindung zu praktizieren. Die vorstehenden Beschreibungen spezifischer Ausführungsbeispiele der vorliegenden Erfindung sind zu Veranschaulichungs- und Beschreibungszwecken präsentiert. Sie sollen nicht erschöpfend sein oder die Beschränkung auf die genauen offenbarten Formen beschränken. Angesichts der obigen Lehren sind viele Modifikationen und Variationen möglich. Die Ausführungsbeispiele sind gezeigt und beschrieben, um die Prinzipien der Erfindung und ihre praktischen Anwendungen am besten zu erläutern, um dadurch andere Fachleute zu befähigen, die Erfindung und verschiedene Ausführungsbeispiele mit diversen Modifikationen, wie sie für die jeweilige beabsichtigte Verwendung geeignet sind, am besten zu nutzen. Es ist beabsichtigt, dass der Schutzumfang der Erfindung durch die folgenden Patentansprüche und deren Äquivalente definiert werde:
ZUSAMMENFASSUNG
Ausführungsbeispiele der vorliegenden Erfindung umfassen im Mikro- und/oder Nanobereich liegende neuromorphe integrierte Hybridschaltungen, die ein Array von analogen Rechenzellen umfassen, die auf einem Integrierte-Schaltung-Substrat hergestellt sind. Der analoge elektronische Schaltungsaufbau in jeder Rechenzelle ist mit einem oder mehreren Anschlussstiften eines ersten Typs und mit einem oder mehreren Anschlussstiften eines zweiten Typs verbunden, die sich von den Rechenzellen aus ungefähr vertikal erstrecken. Die Rechenzellen sind zusätzlich durch eine oder mehrere Nanodraht-Verbindungsschichten miteinander verbunden, wobei jede Nanodraht-Verbindungsschicht zwei Nanodraht-Teilschichten auf jeder Seite einer memristiven Teilschicht umfasst, wobei jeder Nanodraht in jeder Nanodraht-Teilschicht einer Verbindungsschicht mit einem einzelnen Rechenzellenanschlussstift und mit einer Anzahl von Nanodrähten in der anderen Nanodraht-Teilschicht der Verbindungsschicht verbunden ist.

Claims

Eine neuromorphe integrierte Schaltung, die Folgendes umfasst: ein Array von analogen Rechenzellen, die auf einem Integrierte-Schaltung-Substrat hergestellt sind, wobei der analoge elektronische Schaltungsaufbau in jeder Rechenzelle mit einem oder mehreren Anschlussstiften eines ersten Typs und mit einem oder mehreren Anschlussstiften eines zweiten Typs verbunden ist, die sich ungefähr vertikal von den Rechenzellen aus erstrecken; und eine oder mehrere Nanodraht-Verbindungsschichten oberhalb des Arrays von analogen Rechenzellen, wobei jede Nanodraht-Verbindungsschicht Folgendes umfasst: eine erste Teilschicht von ungefähr parallelen Nanodrähten, wobei jeder Nanodraht der ersten Teilschicht mit einem einzelnen Rechenzellenanschlussstift des ersten Typs verbunden ist, eine memristive Teilschicht, und eine zweite Teilschicht von ungefähr parallelen Nanodrähten, wobei jeder Nanodraht der zweiten Teilschicht mit einem einzelnen Rechenzellenanschlussstift des zweiten Typs verbunden ist, wobei die Nanodrähte der zweiten Teilschicht in einer Richtung orientiert sind, die zu der Richtung der Nanodrähte der ersten Teilschicht nicht parallel ist.
Die neuromorphe integrierte Schaltung gemäß Anspruch 1, bei der die Nanodrähte der zweiten Teilschicht Nanodrähte der ersten Teilschicht überlappen, wobei sie memristive Nanodraht-Übergänge bilden, von denen jeder einen Nanodraht der zweiten Teilschicht durch die memristive Teilschicht mit einem Nanodraht der ersten Teilschicht verbindet, was Synapsen modelliert.
Die neuromorphe integrierte Schaltung gemäß Anspruch 2, bei der ein memristiver Nanodraht-Übergang ein Modell implementiert, das wie folgt ausgedrückt werden kann:
wobei z_ij das Gewicht der Synapse ij bzw. die durch die Synapse ij erzeugte Verstärkung ist, wobei die Synapse ij das präsynaptische Neuron i mit dem postsynaptischen Neuron j verbindet; ε eine Lerngeschwindigkeit ist; ω eine Vergessensgeschwindigkeit ist; f(x_j) eine nicht-lineare Funktion der Aktivität des Neurons i ist; g(x_i) eine nicht-lineare Funktion der Aktivität des Neurons j ist; und t die Zeit ist.
Die neuromorphe integrierte Schaltung gemäß Anspruch 2, bei der die Rechenzellen Folgendes umfassen: Neuronenrechenzellen; Eingangsrechenzellen; und Ausgangsrechenzellen.
Die neuromorphe integrierte Schaltung gemäß Anspruch 4, bei der jede Neuronenrechenzelle Folgendes umfasst: eine erste Summierungsfunktionskomponente, die eine Summe von exzitatorischen Signalen, die in die Neuronenrechenzelle eingegeben werden, ausgibt; eine zweite Summierungsfunktionskomponente, die eine Summe von inhibitorischen Signalen, die in die Neuronenrechenzelle eingegeben werden, ausgibt; eine Signalerzeugungsfunktionskomponente, die die Ausgänge aus der ersten und der zweiten Summierungsfunktionskomponente kombiniert, um ein analoges Signal auszugeben; eine Leckintegrator-Funktionskomponente, die den Ausgang der Signalerzeugungsfunktionskomponente über ein vorhergehendes Zeitintervall hinweg integriert, um ein integriertes Signal auszugeben; und eine Schwellwertbestimmungsfunktionskomponente, die dann, wenn das integrierte Signal einen Schwellwert übersteigt, eine Ausgangssignalemission aus der Neuronenrechenzelle aktiviert.
Die neuromorphe integrierte Schaltung gemäß Anspruch 4, bei der die Neuronenrechenzelle ein Modell implementiert, das wie folgt ausgedrückt werden kann:
wobei i das modellierte Neuron ist; x_i die Aktivität des Neurons i ist; t die Zeit ist; f_j(x_j) eine nicht-lineare Funktion der Aktivität des Neurons j ist; z_ji das Gewicht einer Synapse zwischen den Neuronen j und i ist; g_j eine nicht-lineare Funktion der Aktivität des Neurons j ist; n die Anzahl von Neuronen ist, die durch exzitatorische Eingänge mit einem Knoten i verknüpft sind; m die Anzahl von Neuronen ist, die durch inhibitorische Eingänge mit dem Knoten i verknüpft sind; und A und B Konstanten sind.
Die neuromorphe integrierte Schaltung gemäß Anspruch 4, bei der jede Eingangsrechenzelle Folgendes umfasst: eine Codierschaltung, die ein externes Signal empfängt und das empfangene Signal in ein analoges Signal umwandelt, das an eine oder mehrere Rechenzellen der neuromorphen integrierten Schaltung ausgegeben wird.
Die neuromorphe integrierte Schaltung gemäß Anspruch 7, bei der das externe Signal ein digitales, paketbasiertes Signal ist, das die Codierschaltung entweder in ein analoges Spannungssignal oder in ein analoges Stromsignal umwandelt.
Die neuromorphe integrierte Schaltung gemäß Anspruch 4, bei der jede Ausgangsrechenzelle Folgendes umfasst: eine Decodierschaltung, die ein analoges Signal, das aus analogen Signalen erzeugt wird, die durch eine oder mehrere Rechenzellen der neuromorphen integrierten Schaltung in die Ausgangsrechenzelle eingegeben werden, in ein externes Signal umwandelt, das an eine außerhalb der neuromorphen integrierten Schaltung liegende Entität ausgegeben wird.
Die neuromorphe integrierte Schaltung gemäß Anspruch 9, bei der das externe Signal ein digitales, paketbasiertes Signal ist.
Die neuromorphe integrierte Schaltung gemäß Anspruch 2, bei der Rechenzellen ferner Habituatives-Übertragungsgatter-Zellen umfassen.
Die neuromorphe integrierte Schaltung gemäß Anspruch 11, bei der jede Habituatives-Übertragungsgatter-Zelle zwei Rechenzellen unter Verwendung von Signalleitungen in der Integrierte-Schaltung-Schicht der neuromorphen integrierten Schaltung miteinander verbindet, wobei sie eine multiplikative Verstärkung auf ein Eingangssignal anwendet, um ein Ausgangssignal zu erzeugen.
Die neuromorphe integrierte Schaltung gemäß Anspruch 11, bei der jede Habituatives-Übertragungsgatter-Zelle ein Modell implementiert, das wie folgt ausgedrückt werden kann:
wobei z_i eine Verstärkung ist, die durch das habituative Übertragungsgatter auf ein Eingangssignal angewendet wird; t die Zeit ist; y_i ein Eingang in ein habituatives Übertragungsgatter ist; T eine Gleichrichtungsfunktion ist; f([T(y_i)]) eine nicht-lineare Funktion des gleichgerichteten Eingangs ist; und A und B Konstanten sind.
Die neuromorphe integrierte Schaltung gemäß Anspruch 11, bei der zwei oder mehr Rechenzellen miteinander kombiniert sind, um Module zu erzeugen, einschließlich: Dipole; Umgebungen beziehungsweise Surrounds; und Laminare-Kortikale-Schaltung-Untereinheiten.
Die neuromorphe integrierte Schaltung gemäß Anspruch 11, bei der Rechenzellen in hierarchische Schichten organisiert sind, wobei die Zellen jeder hierarchischen Schicht durch eine Nanodraht-Verbindungsschicht, die der hierarchischen Schicht entspricht, miteinander kommunizieren.