DE112020006162T5

DE112020006162T5 - Neuronaler verstärker, neuronales netzwerk und sensorelement

Info

Publication number: DE112020006162T5
Application number: DE112020006162.0T
Authority: DE
Inventors: Fridolin Michel
Original assignee: Ams International AG
Current assignee: Ams International AG
Priority date: 2019-12-16
Filing date: 2020-11-16
Publication date: 2022-09-29
Also published as: JP2023505822A; TW202131627A; CN115087990A; US20230013459A1; WO2021121820A1; JP7461477B2; EP3839833A1

Abstract

Ein differenzieller neuronaler Verstärker mit geschalteten Kapazitäten weist eine Abtaststufe (SMP) mit einer Vielzahl von Differenzeingängen zum Empfang einer Vielzahl von Eingangsspannungen und mit mindestens einem Paar von digital einstellbaren Ladungsspeichern zum Abtasten der Vielzahl von Eingangsspannungen auf, eine Summierstufe (SM) zum Aufsummieren von Ladungen, die sich aus der abgetasteten Vielzahl von Eingangsspannungen ergeben, um ein Summationssignal zu erzeugen, wobei die Summierstufe (SM) der Abtaststufe (SMP) nachgeschaltet ist, und eine Puffer- und Aktivierungsstufe (ACB), die dazu eingerichtet ist, eine Aktivierungsfunktion anzuwenden und eine gepufferte Ausgangsspannung an einem Differenzausgang zu erzeugen, die auf dem Summationssignal basiert.

Description

Die vorliegende Offenbarung betrifft einen differentiellen neuronalen Verstärker mit geschalteten Kapazitäten, beispielsweise zur Verwendung in einem analogen künstlichen neuronalen Netzwerk, ein analoges künstliches neuronales Netzwerk mit einem oder mehreren solcher neuronaler Verstärker und ein Sensorelement mit einem solchen neuronalen Netzwerk.
Ein neuronales Netz ist eine Kaskade von Neuronenschichten, die miteinander verbunden sind. Ein künstliches neuronales Netz (hier einfach als neuronales Netz bezeichnet) ist ein Rechensystem, das beim maschinellen Lernen verwendet wird. Das neuronale Netz kann auf Schichten verbundener Knoten beruhen, die als Neuronen bezeichnet werden und die Neuronen in einem biologischen Gehirn nachbilden können. Das Grundelement eines neuronalen Netzes ist ein einzelnes Neuron, das die gewichtete Summe seiner Eingaben berechnet. Es hat sich gezeigt, dass jede oder fast jede Funktion über ein neuronales Netz implementiert werden kann, wenn die individuellen Neuronengewichte richtig eingestellt werden, was auch als Training bezeichnet wird.
Jede Schicht kann mehrere Neuronen aufweisen. Neuronen zwischen verschiedenen Schichten sind über Verbindungen verbunden, die den Synapsen in einem biologischen Gehirn entsprechen. Ein Neuron in einer ersten Schicht kann über eine Verbindung zwischen diesen beiden Neuronen ein Signal an ein anderes Neuron in einer anderen Schicht übermitteln. Das über eine Verbindung übertragene Signal kann eine reelle Zahl sein. Das andere Neuron der anderen Schicht kann das empfangene Signal (d. h. die reelle Zahl) verarbeiten und dann das verarbeitete Signal an weitere Neuronen weiterleiten. Die Ausgabe jedes Neurons kann durch eine nichtlineare Funktion auf der Grundlage der Eingaben des Neurons berechnet werden.
Im Grunde führt ein Neuron eine Reihe von multiplen Akkumulationsoperationen (MAC) an seinen Eingängen durch. Folglich müssen neuronale Netze mit einer großen Anzahl von Neuronen und hoher Verbindung eine große Anzahl von MAC-Operationen durchführen. Heutzutage werden neuronale Netze überwiegend digital implementiert, und da eine digitale MAC-Operation rechenintensiv ist, wird eine beträchtliche Menge an Rechenleistung benötigt. Daher werden herkömmliche neuronale Netze in der Regel nicht auf batteriebetriebenen Bauelementen am Rand implementiert.
Herkömmliche analoge Neuron-Implementierungen haben zwar den Anspruch, energieeffizienter zu sein, erfordern aber einen hohen Implementierungsaufwand, der exponentiell mit der Anzahl der Eingänge des jeweiligen Neurons steigt. Zudem weist die Genauigkeit der MAC-Operationen des analogen Neurons einen Einfluss auf die Gesamtgenauigkeit und Präzision des analogen neuronalen Netzes auf, insbesondere mit zunehmender Anzahl von Neuronen und/oder der Anzahl von Verbindungen zwischen den Neuronen. Herkömmliche analoge Neuronen weisen in dieser Hinsicht Defizite auf.
Eine Aufgabe besteht darin, ein verbessertes Konzept für analoge neuronale Netze mit verbesserter Leistung und/oder Flexibilität vorzusehen.
Diese Aufgabe wird mit dem Gegenstand der unabhängigen Ansprüche erreicht. Ausführungsformen und Weiterentwicklungen des verbesserten Konzepts sind in den abhängigen Ansprüchen definiert.
Das verbesserte Konzept basiert auf der Erkenntnis, dass zwei Grundfunktionen eines analogen Neurons effizient realisiert werden müssen, die unterschiedliche Implementierungsanforderungen aufweisen, nämlich die Gewichtung mehrerer Eingangssignale und deren Summierung. Während beispielsweise die Summierung von Signalen im Strombereich leicht zu bewerkstelligen ist, erfordert die Gewichtung von Stromsignalen einen wesentlich größeren Implementierungsaufwand, der mit der Anzahl der Gewichte skaliert.
Das verbesserte Konzept schlägt daher einen analogen neuronalen Verstärker mit zwei Grundstufen vor, die jeweils effizient und mit hoher Präzision implementiert werden können. Eine erste Stufe ist eine Abtaststufe mit einer Vielzahl von Eingängen zum Empfang einer Vielzahl von Eingangsspannungen und mit einem oder mehreren digital einstellbaren Ladungsspeichern zum Abtasten der Vielzahl von Eingangsspannungen. Beispielsweise wird jeder der digital einstellbaren Ladungsspeicher in Abhängigkeit von der jeweiligen Gewichtung der Eingangsspannung, die der Ladungsspeicher abtastet, eingestellt. Vorzugsweise sind die Eingangsspannungen als Differenzspannungen vorgesehen, so dass die Vielzahl von Eingangsspannungen Differenzeingänge sind. Eine zweite Stufe ist eine Summierstufe zum Aufsummieren von Ladungen, die sich aus der abgetasteten Vielzahl von Eingangsspannungen ergeben, um ein Summationssignal zu erzeugen. Insbesondere ist die Summierstufe der Abtaststufe nachgeschaltet. Die Summierstufe weist beispielsweise zumindest ein Paar von Ladungsspeichern zur Speicherung der aufsummierten Ladungen auf.
Weitere Stufen des analogen neuronalen Verstärkers können eine Puffer- und Aktivierungsstufe aufweisen, die eine Aktivierungsfunktion anwenden und auf der Grundlage des Summationssignals bzw. der aufsummierten Ladungen eine gepufferte Ausgangsspannung am Differenzausgang erzeugen kann.
Die Nutzung einer Schaltkondensatortechnologie für den analogen neuronalen Verstärker ermöglicht es, eine effiziente Grenzfläche zwischen den verschiedenen Stufen des Verstärkers vorzusehen, die mit vertretbarem Aufwand implementiert werden kann und dennoch einen hochpräzisen Betrieb gewährleistet. Die Verwendung eines Differenzsignalansatzes verbessert des Weiteren die Genauigkeit des neuronalen Verstärkers, beispielsweise durch die Verringerung von Effekten der Ladungsinjektion, die sich nachteilig auf die Genauigkeit eines Gesamtberechnungsergebnisses auswirken können.
Das verbesserte Konzept sieht eine Implementierung für einen differenziellen neuronalen Verstärker mit geschalteten Kapazitäten vor, der beispielsweise für den Einsatz in einem analogen künstlichen neuronalen Netzwerk geeignet ist. Der neuronale Verstärker weist die Abtaststufe mit einer Vielzahl von Differenzeingängen zum Empfang einer Vielzahl von Eingangsspannungen und mit zumindest einem Paar von digital einstellbaren Ladungsspeichern zum Abtasten der Vielzahl von Eingangsspannungen auf. Der neuronale Verstärker weist des Weiteren die Summierstufe zum Aufsummieren von Ladungen auf, die sich aus der abgetasteten Vielzahl von Eingangsspannungen ergeben, um ein Summationssignal zu erzeugen. Die Summierstufe ist der Abtaststufe nachgeschaltet. Eine Puffer- und Aktivierungsstufe ist dazu eingerichtet, eine Aktivierungsfunktion anzuwenden und eine gepufferte Ausgangsspannung an einem Differenzausgang zu erzeugen, die auf dem Summationssignal basiert. Wie bereits erwähnt, kann jeder digital einstellbare Ladungsspeicher gemäß einer jeweiligen Gewichtung eingestellt werden, die für die abzutastende Eingangsspannung zu realisieren ist.
Es sollte ersichtlich sein, dass die Summierstufe die Summieroperation im analogen Bereich durchführt, so dass insbesondere keine Umwandlung oder Operation im digitalen Bereich erforderlich ist. Das Summationssignal wird also als analoges Signal erzeugt.
Es gibt verschiedene Implementierungen in Bezug auf gegensätzliche Differenzeingänge und Paare von digital einstellbaren Ladungsspeichern und deren jeweilige Verbindungen. Beispielsweise entspricht in einigen Implementierungen eine Anzahl der Differenzeingänge einer Anzahl von Paaren der digital einstellbaren Ladungsspeicher. Mit anderen Worten: Für jeden der Differenzeingänge ist ein bestimmtes Paar digital einstellbarer Ladungsspeicher vorgesehen. Dies bedeutet, dass alle differentiellen Eingangsspannungen gleichzeitig an dem jeweils assoziierten Paar von Ladungsspeichern abgetastet werden können, was einen schnelleren Betrieb des Summationssignals und damit des gesamten neuronalen Verstärkers ermöglicht. Dies hat jedoch zur Folge, dass der Implementierungsaufwand des neuronalen Verstärkers aufgrund der höheren Anzahl von Ladungsspeicherpaaren flächenmäßig erhöht wird.
In einer alternativen Implementierung weist die Abtaststufe zumindest einen Multiplexer auf, um die Vielzahl von Differenzeingängen selektiv mit dem zumindest einen Paar digital einstellbarer Ladungsspeicher zu verbinden. Dementsprechend kann für die Abtastung der differentiellen Eingangsspannungen an den digital einstellbaren Ladungsspeichern ein Zeitmultiplex angewendet werden, d. h. dasselbe Paar einstellbarer Ladungsspeicher wird für mehrere unterschiedliche Eingangsspannungen wiederverwendet.
Beispielsweise entspricht die Anzahl der Multiplexer der Anzahl der Paare von digital einstellbaren Ladungsspeichern. So könnte beispielsweise ein einziges Paar digital einstellbarer Ladungsspeicher zusammen mit einem einzigen Multiplexer vorgesehen werden, der alle Differenzeingänge mit dem Paar von Ladungsspeichern verbindet. Dies würde zu einem geringeren Aufwand für die Implementierung der digital einstellbaren Ladungsspeicher bei einem angemessenen Aufwand für den Multiplexer führen. Dennoch können sich durch den Zeitmultiplex die Verfahren zeitlich verlängern.
Erhöht sich jedoch die Anzahl der Paare von digital einstellbaren Ladungsspeichern und assoziierten Multiplexern, kann die Verarbeitungszeit bei geringfügig erhöhtem Aufwand für die Ladungsspeicher reduziert werden, so dass sich Aufwand und Geschwindigkeit die Waage halten.
Die Summierstufe gemäß verschiedenen Ausführungsformen weist beispielsweise einen differenziellen Integrationsverstärker mit einem Paar integrierender Ladungsspeicher in einem differenziellen Rückkopplungspfad des Integrationsverstärkers auf. Beispielsweise ist der Integrationsverstärker als Operations-Transkonduktanzverstärker (OTA) ausgeführt. Ein differenzieller Integrationsverstärker ermöglicht eine effektive Übertragung der gespeicherten Ladungen in der Abtaststufe auf die Summierstufe und deren Integration, d. h. Summierung, über die integrierenden Ladungsspeicher.
In einigen dieser Implementierungen weist die Summierstufe beispielsweise des Weiteren ein Paar doppelter Abtastladungsspeicher auf, die schaltbar mit dem integrierenden Verstärker verbunden sind. In einer solchen Implementierung ist der neuronale Verstärker z.B. so eingerichtet, dass er während einer ersten Doppelabtastphase ein Null-Eingangssignal an dem Paar von Doppelabtast-Ladungsspeichern abtastet, z.B. indem er das zumindest eine Paar von digital einstellbaren Ladungsspeichern auf einen Nullwert einstellt, und die aus dem abgetasteten Null-Eingangssignal resultierenden Ladungen zusammen mit den in dem Paar von integrierenden Ladungsspeichern gespeicherten Ladungen der Puffer- und Aktivierungsstufe vorsieht.
So geht beispielsweise einer Neuronensignal-Summierung eine Null-Eingangssignal-Summierung voraus, die dadurch erreicht werden kann, dass die einstellbaren Ladungsspeicher so eingestellt werden, dass sie nicht die jeweilige Eingangsspannung, sondern z.B. eine Nullspannung oder eine Gleichtaktspannung abtasten. Auf diese Weise kann ein Offset der Abtaststufe und des Integrationsverstärkers extrahiert und während einer abschließenden Ladungsübertragung zur Puffer- und Aktivierungsstufe subtrahiert werden, d. h. es wird ein korreliertes Doppelabtastschema implementiert.
Der neuronale Verstärker weist beispielsweise in einigen anderen derartigen Implementierungen mit einem differenziellen Integrationsverstärker innerhalb und vor der Summierstufe eine Zerhackungsschaltung auf, die Ladungsinjektionsfehler aufgrund von Restfehlern verschiedener Komponenten reduzieren kann.
Der neuronale Verstärker weist des Weiteren für jeden der mindestens einen Multiplexer einen ersten differentiellen Zerhackerblock auf, der zwischen einem Ausgang des jeweiligen Multiplexers und dem verbundenen Paar von Ladungsspeichern angeschlossen ist. Der neuronale Verstärker weist des Weiteren einen zweiten und einen dritten differentiellen Zerhackerblock auf, wobei der zweite differentielle Zerhackerblock ein erstes Ende der Rückkopplungsstrecke des integrierenden Verstärkers mit einer Eingangsseite des integrierenden Verstärkers koppelt, während der dritte Zerhackerblock ein zweites Ende der Rückkopplungsstrecke mit einer Ausgangsseite des integrierenden Verstärkers koppelt. Vorzugsweise werden der zweite und der dritte Zerhackerblock koordiniert gesteuert. Auch der erste differentielle Zerhackerblock für jeden der Multiplexer kann in koordinierter Weise mit dem zweiten und dritten Zerhackerblock gesteuert werden. Beispielsweise kann jeder Zerhackerblock zwischen einer direkten und einer gekreuzten Verbindung der Differenzsignalleitungen umschalten. Durch das Chopping können alle verbleibenden Offsets von allen Eingangsabtastschaltern aufgehoben werden, so dass eine nahezu beliebige Anzahl von Eingängen des neuronalen Verstärkers möglich ist.
In einigen Implementierungen weist der Differenz-Integrationsverstärker der Summierstufe einen Schaltkreis zum selektiven Aufladen des Paares von integrierenden Ladungsspeichern mit der Eingangsoffsetspannung des Integrationsverstärkers plus dem Eingangsoffset der Puffer- und Aktivierungsstufe auf. Beispielsweise ermöglicht die Schaltschaltung das selektive Laden eines Paares von integrierenden Ladungsspeichern mit einer ersten Offsetspannung an der Eingangsseite des integrierenden Verstärkers und einer zweiten Offsetspannung an einer Eingangsseite der Puffer- und Aktivierungsstufe. Beispielsweise ermöglicht eine solche Implementierung, dass während einer Summierung ein Offset des integrierenden Verstärkers an der Ausgangsseite des integrierenden Verstärkers entfernt wird und ein Offset der Puffer- und Aktivierungsstufe angewendet wird, um den Offset der Puffer- und Aktivierungsstufe zu kompensieren.
Beispielsweise werden die erste und die zweite Offsetspannung an den integrierenden Ladungsspeichern während eines Zeitraums abgetastet, in dem keine Summierung stattfindet und nur die jeweiligen Offsetspannungen vorliegen, die sich aus den jeweiligen Einstellungen der Schaltkreise ergeben. Während einer tatsächlichen Summierung der Ladungen der Abtaststufe heben sich die abgetasteten Offset-Spannungen auf, wobei diese Offset-Spannungen auch während einer solchen Summierungsphase vorhanden sind.
In einigen Implementierungen weisen die Puffer- und Aktivierungsstufe eine Pufferstufe mit einem kapazitiven Differenzverstärker mit einem weiteren Paar von Ladungsspeichern und einem weiteren differenziellen Rückkopplungspfad des kapazitiven Verstärkers auf. Eine solche Implementierung ermöglicht beispielsweise eine einfache Übertragung der summierten und in den integrierenden Ladungsspeichern gespeicherten Ladungen zur Pufferstufe, um die Erzeugung der gepufferten Ausgangsspannung zu ermöglichen. Ähnlich wie die Summierstufe kann auch der kapazitive Differenzverstärker der Pufferstufe als OTA implementiert werden.
In einigen dieser Implementierungen kann die Aktivierungsfunktion der Puffer- und Aktivierungsstufe durch Limitierung einer Versorgungsspannung des kapazitiven Verstärkers und/oder der Pufferstufe realisiert werden. Beispielsweise kann auf diese Weise eine Begrenzungsfunktion als Aktivierungsfunktion implementiert werden, die die Ausgangsspannung zwischen positiven und negativen Versorgungsspannungen begrenzt.
In einigen alternativen Implementierungen weist die Puffer- und Aktivierungsstufe ferner eine Begrenzungsstufe auf, die der Pufferstufe vor- oder nachgeschaltet ist, wobei die Aktivierungsfunktion durch die Begrenzungsstufe implementiert wird. Dies ermöglicht beispielsweise die Implementierung von anspruchsvolleren Begrenzungsfunktionen.
Beispielsweise ist die Begrenzungsstufe der Pufferstufe nachgeschaltet und so eingerichtet, dass sie eine Differenzspannung an einem Ausgang der Pufferstufe mit einer Referenzdifferenzspannung vergleicht. Die Begrenzungsstufe kann die differentielle Referenzspannung am differentiellen Ausgang ausgeben, wenn die differentielle Spannung am Ausgang der Pufferstufe die differentielle Referenzspannung entweder in positiver oder in negativer Richtung überschreitet. Andernfalls gibt die Begrenzungsstufe am Differenzausgang die Differenzspannung am Ausgang der Pufferstufe aus, z. B. ohne Begrenzung.
In verschiedenen Implementierungen des neuronalen Verstärkers kann jeder digital einstellbare Ladungsspeicher des zumindest einen Paares digital einstellbarer Ladungsspeicher einen ersten und einen zweiten Anschluss und eine Vielzahl gewichteter Ladungsspeicher aufweisen, von denen jeder ein erstes Ende hat, das mit dem ersten Anschluss verbunden ist, und ein zweites Ende, das selektiv mit dem zweiten Anschluss oder mit einem Gleichtaktanschluss verbunden ist, abhängig von einem digitalen Einstellwort. Beispielsweise entspricht das digitale Einstellwort der gewünschten Gewichtung, die auf die jeweilige Eingangsspannung anzuwenden ist.
Beispielsweise wird die Vielzahl der gewichteten Ladungsspeicher binär so gewichtet, dass sich benachbarte Ladungsspeicher in ihrer Kapazität um den Faktor zwei unterscheiden. In anderen Implementierungen können alle Ladungsspeicher das gleiche Gewicht bzw. die gleiche Kapazität aufweisen und somit z.B. ein lineares Gewichtungsschema implementieren. Zudem können lineare und binäre Gewichtung kombiniert werden. Bevorzugt sind die einstellbaren Ladungsspeicher eines Paares entsprechend zueinander ausgeführt, insbesondere nominell identisch, und werden gemeinsam so gesteuert, dass sie während der Abtastung die gleiche Kapazität aufweisen.
Der neuronale Verstärker kann in den verschiedenen Ausführungsformen des Weiteren eine Steuerschaltung zur Steuerung einer Schaltkondensatorfunktion des neuronalen Verstärkers und/oder zur Einstellung des mindestens einen Paares von digital einstellbaren Ladungsspeichern aufweisen. Dies kann ggf. die Steuerung von Multiplexern und/oder Zerhackerstufen enthalten.
Der neuronale Verstärker gemäß einer der obigen Ausführungen kann in einem analogen künstlichen neuronalen Netz, z. B. einem rekurrenten neuronalen Netz, verwendet werden. Der neuronale Verstärker kann eine Vielzahl solcher neuronaler Verstärker aufweisen, wobei der Differenzausgang mindestens eines der neuronalen Verstärker mit einem der Differenzeingänge desselben oder eines anderen neuronalen Verstärkers verbunden ist. Der neuronale Verstärker kann mehrere Schichten aufweisen, z. B. eine Eingabeschicht, eine Ausgabeschicht und eine oder mehrere versteckte Schichten, die jeweils einen oder mehrere der oben beschriebenen neuronalen Verstärker aufweisen. Die analoge Implementierung des neuronalen Netzes ermöglicht aufgrund ähnlicher Verfahren eine effiziente Implementierung zusammen mit z. B. analogen Sensoren. Der Stromverbrauch ist im Vergleich zu herkömmlichen digitalen neuronalen Netzen geringer, da beispielsweise keine Analog-Digital-Wandler und keine neuronalen Netzwerkprozessoren benötigt werden.
Dementsprechend schlägt das verbesserte Konzept auch ein Sensorelement vor, das einen oder mehrere Sensoren, z.B. analoge Sensoren, und ein analoges künstliches neuronales Netz, wie zuvor beschrieben, aufweist, wobei die Ausgangssignale des einen oder der mehreren Sensoren mindestens einem der neuronalen Verstärker zugeführt werden.
Das Training des neuronalen Netzes kann online, d.h. während des Betriebs des Netzes, offline, z.B. durch Simulation des neuronalen Netzes zur Ermittlung der jeweiligen Gewichtungsfaktoren, oder selbst eine Kombination aus einem Offline-Training mit einer anschließenden Online-Kalibrierung durchgeführt werden, beispielsweise. Andere Implementierungen werden durch diese Beispiele nicht ausgeschlossen.
Das verbesserte Konzept wird im Folgenden für mehrere Ausführungsformen unter Bezugnahme auf die Zeichnungen näher beschrieben. Identische Bezugszeichen bezeichnen Signale, Elemente oder Komponenten mit identischen Funktionen. Wenn Signale, Elemente oder Komponenten in ihrer Funktion übereinstimmen, wird ihre Beschreibung nicht unbedingt in jeder der folgenden Figuren wiederholt.
In den Zeichnungen zeigen:

1 eine beispielhafte Implementierung eines analogen neuronalen Verstärkers;
2 eine Beispielimplementierung eines neuronalen Netzes;
3 eine Beispielimplementierung eines neuronalen Verstärkers gemäß dem verbesserten Konzept;
4 ein Beispieldiagramm von Steuersignalen, die auf den neuronalen Verstärker gemäß 3 angewendet werden können;
5 eine Beispielimplementierung eines digital einstellbaren Ladungsspeichers;
6 eine Beispielimplementierung einer Abtaststufe eines neuronalen Verstärkers;
7 ein Beispieldiagramm von Steuersignalen, die auf einen gemäß 6 implementierten neuronalen Verstärker angewendet werden können;
8 ein weiteres Beispiel für die Implementierung eines neuronalen Verstärkers gemäß dem verbesserten Konzept;
9 ein Beispieldiagramm von Steuersignalen, die auf den neuronalen Verstärker gemäß 8 angewendet werden können;
10 ein weiteres Implementierungsbeispiel für einen neuronalen Verstärker gemäß dem verbesserten Konzept;
11 ein Beispieldiagramm von Steuersignalen, die auf den neuronalen Verstärker gemäß 10 angewendet werden können;
12 ein weiteres Implementierungsbeispiel für einen neuronalen Verstärker gemäß dem verbesserten Konzept;
13 ein Beispieldiagramm von Steuersignalen, die auf den neuronalen Verstärker gemäß 10 angewendet werden können;
14A bis 14D mehrere Beispielphasen, die auf einen neuronalen Verstärker gemäß dem verbesserten Konzept angewendet werden können;
15 eine Beispielimplementierung eines operativen Transkonduktanzverstärkers, der in einem neuronalen Verstärker verwendet werden kann;
16 eine Beispielimplementierung einer Begrenzungsstufe, die in einem neuronalen Verstärker verwendet werden kann;
17 ein Beispieldiagramm von Steuersignalen, die auf die Begrenzungsstufe gemäß 14 angewendet werden können; und
18 eine Beispielimplementierung eines Sensorelements mit einem analogen künstlichen neuronalen Netzwerk.

1 zeigt eine Beispielimplementierung eines analogen neuronalen Verstärkers mit einer Vielzahl von Eingängen in₁ , in₂ , in₃ , ..., in_n , die mit einer entsprechenden Anzahl von Gewichtungselementen w₁ , w₂ , w₃ , ..., w_n verbunden sind. Die Ausgänge der Gewichtungselemente sind mit Eingängen einer Summierstufe zur Bereitstellung eines Summationssignals verbunden. Grundsätzlich führt die Summierstufe zusammen mit den Gewichtungselementen eine Anzahl von multiplen Akkumulationsoperationen (MAC) an den mehreren Eingängen in₁ , in₂ , in₃ , ..., in_n durch. Es sollte ersichtlich sein, dass die Summationsstufe die Summationsoperation im analogen Bereich durchführt, so dass insbesondere keine Umwandlung oder Operation im digitalen Bereich erforderlich ist. Das analoge Summationssignal am Ausgang der Summationsstufe SM wird einer Aktivierungsstufe ACT zugeführt, um eine Aktivierungsfunktion, z.B. eine Begrenzungsfunktion oder dergleichen, auf das Summationssignal anzuwenden. Ein Ausgang der Aktivierungsstufe ACT wird einer Pufferstufe BUF zugeführt, um ein gepuffertes Ausgangssignal, z. B. eine Ausgangsspannung an einem Ausgang OUT des neuronalen Verstärkers, bereitzustellen. 1 beschreibt die grundlegende Funktion eines neuronalen Verstärkers, der beispielsweise in einem analogen neuronalen Netz verwendet werden kann.
Ein neuronales Netz ist zum Beispiel eine Kaskade von Neuronenschichten, die miteinander verbunden sind. 2 zeigt eine Beispielimplementierung eines solchen neuronalen Netzes mit einer Vielzahl von Neuronen, die über mehrere Schichten verteilt sind und in 2 durch Kreise dargestellt werden. Das neuronale Netz besteht zum Beispiel aus einer Eingabeschicht, einer Ausgabeschicht und mehreren versteckten Schichten. Ein Ausgang jedes Neurons kann mit einem oder mehreren anderen Neuronen des neuronalen Netzes verbunden sein, was durch Pfeile angezeigt wird, die von den jeweiligen Neuronen ausgehen. Folglich kann jedes Neuron mit dem Ausgang eines oder mehrerer anderer Neuronen oder sogar mit seinem eigenen Ausgang verbunden sein, wodurch ein rekurrenter Pfad entsteht.
Wie bereits erwähnt, müssen neuronale Netze mit einer großen Anzahl von Neuronen und hoher Interkonnektivität eine große Anzahl von MAC-Operationen durchführen. Heutzutage werden neuronale Netze meist digital implementiert, was eine beträchtliche Menge an Rechenleistung erfordert. Im Gegensatz dazu ist eine analoge MAC-Operation im Prinzip eine Ein-Schuss-Operation. Während Werte im digitalen Bereich durch eine Reihe von Bits dargestellt werden, ist im analogen Bereich nur eine einzige Speichereinheit erforderlich, um den Wert unabhängig von der Auflösung zu speichern. Daher gibt es zunehmend Bestrebungen, MAC-Operationen in den analogen Bereich zu verlagern, was das Feld der analogen neuronalen Netze eröffnet. Analoge neuronale Netze sind nicht auf Sub-Nanometer-Technologieknoten angewiesen, um eine wettbewerbsfähige Leistung zu erzielen. Die Geschwindigkeit wird durch die Ausnutzung analoger Eigenschaften erreicht, die nicht mit der Technologie skalieren. Dies unterstützt die Implementierung in älteren, kostengünstigen und analog optimierten Technologien. Analoge neuronale Netze sind daher eine attraktive Option für die Ko-Integration mit z. B. analogen Sensorausleseschaltungen.
Die Implementierung eines analogen Neurons für ein rekurrentes neuronales Netz erfordert einen Verstärker, der seine Eingänge summieren kann, während er den vorherigen Wert hält und gleichzeitig andere Neuroneneingänge steuert. Die Leistung kann sogar noch gesteigert werden, indem ein geringer Offset- und Verstärkungsfehler implementiert wird, der die Akkumulation von Fehlern über verschiedene Zyklen hinweg verhindert. In rekurrenten neuronalen Netzen werden beispielsweise die Ergebnisse über entsprechende rekurrente Pfade an die vorhergehenden Neuronen zurückgeführt, wie in 2 dargestellt.
Im Folgenden werden mehrere Beispielimplementierungen eines analogen neuronalen Verstärkers nach dem verbesserten Konzept beschrieben, die für eine effiziente Implementierung eines analogen neuronalen Netzwerks mit oder ohne rekurrente Pfade geeignet sind. Das verbesserte Konzept ermöglicht eine analoge Neuron-Implementierung mit differentieller Signalverarbeitung und einem Switched-Capacitor-Ansatz, der die Auswirkungen der Ladungsinjektion reduziert und damit die Position eines analogen Neurons und folglich eines mit solchen Neuronen implementierten analogen neuronalen Netzwerks verbessert. Die Leistung kann weiter verbessert werden, indem ein Schema zur Injektion von Schaltladungen und/oder zur Aufhebung des Verstärker-Offsets eingeführt wird. Zusammenfassend lässt sich sagen, dass eine große Anzahl von Neuronen mit einem einzigen Summierknoten verbunden werden kann, sogar in einem rekurrenten Betrieb ohne signifikante Offset-Akkumulation. Da Offset- und Verstärkungsfehler vernachlässigbar sind, stellen entsprechende Drifts über PVT kein Problem dar. Folglich ist eine periodische Nachschulung oder Kalibrierung nicht erforderlich.
3 zeigt eine beispielhafte Implementierung eines analogen neuronalen Verstärkers mit einer Abtaststufe SMP, einer Summierstufe SM und einer Puffer- und Aktivierungsstufe ACB. Wie im Zusammenhang mit 1 angedeutet, wird in 3 eine Abtaststufe mit n Eingängen mit n parallelen Abtaststrukturen realisiert, von denen aus Gründen der besseren Übersicht nur eine Beispielstruktur gezeigt wird. Die Abtaststruktur hat ein differentielles Eingangspaar V_ini ⁺ , V_ini ^- , das den Eingang i von n möglichen Eingängen darstellt. Jede Struktur umfasst ferner ein Paar digital einstellbarer Ladungsspeicher C_sia , C_sib , deren erster Anschluss über entsprechende Schalter S_2a , S_2b mit dem Differenzsignaleingang V_ini ⁺ , V_ini ^- verbunden ist. Der erste Anschluss der Ladungsspeicher C_sia , C_siab ist ebenfalls über entsprechende Schalter S_3a , S_3b mit einem Gleichtaktanschluss V_CM gekoppelt.
Zweite Anschlüsse der Ladungsspeicher C_sia , C_sib sind über weitere jeweilige Schalter S_1a , S_1b mit dem Gleichtaktanschluss V_CM und über jeweilige Schalter S_4a , S_4b mit der Summierstufe SM gekoppelt. Während das Paar der Ladungsspeicher C_sia , C_sib und die entsprechenden Schalter S_2a , S_2b , S_3a , S_3b in der Abtaststufe SMP mehrfach, d. h. n-mal vorhanden sind, können die Schalter S_1a , S_1b , S_4a , S_4b allen derartigen Abtaststrukturen gemeinsam sein und nur einmal vorhanden sein, ohne jedoch ein mehrfaches Vorhandensein auszuschließen.
Die Ladungsspeicher C_sia , C_sib sind digital einstellbar, insbesondere zur Einstellung eines jeweiligen Gewichts für den zugehörigen Eingang V_ini ⁺ , V_ini ^- , an dem eine Differenzeingangsspannung empfangen werden kann.
Die Summierstufe SM besteht z.B. aus einem Verstärker, z.B. einem Operations-Transkonduktanz-Verstärker, OTA, mit einem Paar integrierender Ladungsspeicher C_fb1a , C_fb1b in einem Rückkopplungspfad des integrierenden Verstärkers. Zu den integrierenden Ladungsspeichern C_fb1a , C_fb1b sind entsprechende Schalter parallel geschaltet, um sie zurückzusetzen. Die Summierstufe arbeitet im analogen Bereich, so dass insbesondere keine Umwandlung oder Operation im digitalen Bereich erforderlich ist und ein analoges Summationssignal ausgegeben wird.
Der Summierstufe SM ist die Puffer- und Aktivierungsstufe ACB nachgeschaltet, die zur Anwendung einer Aktivierungsfunktion und zur Erzeugung einer gepufferten Ausgangsspannung V_out ⁺ , V_out ^- am Differenzausgang auf der Basis eines in der Summierstufe SM erzeugten Summationssignals konfiguriert ist.
4 zeigt ein Beispieldiagramm von Steuersignalen, die auf den neuronalen Verstärker gemäß 3 angewendet werden können. In 4 sind insbesondere die Schaltsteuersignale φ₁ , φ_1D , φ₂ und φ_2D dargestellt. Beispielsweise werden in den Zeiten, in denen sowohl φ₁ als auch φ_1D , was eine leicht verzögerte Version von φ₁ ist, einen hohen Zustand haben, die jeweiligen von diesen Signalen gesteuerten Schalter geschlossen, so dass die einstellbaren Ladungsspeicher jeweils über die Schalter S_1a , S_1b zwischen den jeweiligen Eingangsanschluss V_ini ⁺ bzw. V_ini ^- und den Gleichtaktanschluss V_CM geschaltet werden. Außerdem werden die integrierenden Ladungsspeicher C_fb1a und C_fb1b zurückgesetzt.
Während der hohen Zeiten der Schaltsignale φ₂ und leicht verzögert φ_2D sind die jeweiligen ersten Anschlüsse der einstellbaren Ladungsspeicher mit dem Gleichtaktanschluss V_CM verbunden, während die zweiten Anschlüsse über die Schalter S_4a , S_4b mit der Summationsstufe verbunden sind. Durch den differenziellen Ansatz werden die Auswirkungen der Ladungsträgheit, die sich aus den verschiedenen Schaltern ergeben, reduziert.
5 zeigt eine Beispielimplementierung des digital einstellbaren Ladungsspeichers, der z. B. in den verschiedenen Abtaststrukturen der Abtaststufe SMP verwendet werden kann. Der Ladungsspeicher umfasst beispielsweise einen ersten Ladeanschluss V₁ und einen zweiten Ladeanschluss V₂ sowie eine Vielzahl gewichteter Ladungsspeicher, von denen jeder mit einem ersten Ende an den ersten Ladeanschluss V₁ und mit einem zweiten Ende wahlweise an den zweiten Ladeanschluss V₂ oder an den Gleichtaktanschluss V_CM angeschlossen ist, je nach einem digitalen Einstellwort. In dem Beispiel von 5 sind die Ladungsspeicher binär gewichtet, beginnend mit einem ersten Ladungsspeicher mit einem Kapazitätswert Cu und einem Ladungsspeicher nth mit einem Kapazitätswert 2^n-1 •Cu. Die jeweiligen Schalter werden durch das digitale Einstellwort gesteuert, das die einzelnen Bits weight<0> , ..., weight<n-2> , weight<n-1> enthält. Anstelle eines binären Gewichtungsschemas können auch andere Gewichtungsschemata verwendet werden.
Die Implementierung von 5 kann als Digital-AnalogWandler (DAC) für Probenkondensatoren bezeichnet werden, da das digitale Einstellwort in einen analogen Kapazitätswert umgewandelt wird, insbesondere mit dem binären Gewichtungsschema.
Zurück zu 3: Wenn alle n Neuroneneingänge auf einmal abgetastet und summiert werden sollen, beträgt die Gesamtzahl der einzelnen Routing-Leitungen n*n_adj , wobei n_adj die Anzahl der Bits des Einstellworts des einstellbaren Ladungsspeichers bezeichnet.
In der Praxis steigt die Routing-Komplexität mit der Anzahl der differentiellen Eingänge und mit der Anzahl der Gewichtsauflösung n_adj . Um eine Routing-Komplexität von O(n) zu erreichen, kann ein Multiplexing der differentiellen neuronalen Eingänge durchgeführt werden, so dass z. B. verschiedene differentielle Eingangsspannungen abgetastet und in nachfolgenden Phasen summiert werden. Dies bedeutet auch, dass die Paare von digital einstellbaren Ladungsspeichern oder Kondensator-DACs für mehrere differentielle Eingänge wiederverwendet werden.
Mit Verweis auf 6 ist dort eine Beispielimplementierung eines Teils der Abtaststufe SMP dargestellt, insbesondere eine andere Implementierung der parallelen Abtaststrukturen auf der Eingangsseite der Abtaststufe SMP. Im Allgemeinen basiert diese Beispielimplementierung auf der Implementierung von 3, aber es wird mindestens ein Multiplexer MUX zwischen mehreren der Differenzeingänge und einem zugehörigen Ladungsspeicherpaar C_sia , C_sib eingeführt.
In dieser Beispielimplementierung werden n_x Eingänge mit einem Paar einstellbarer Ladungsspeicher C_sia , C_sib gemultiplext, wodurch sich die Komplexität der Leitweglenkung verringert. Es sei darauf hingewiesen, dass die Anzahl der parallelen Abtaststrukturen daher auf n/n_x reduziert wird, verglichen mit n Abtaststrukturen in 3. Wenn zum Beispiel für n_adj der Gewichtsauflösung ein Multiplexfaktor n_x gesetzt wird, n_x = n_adj , steigt der Routing-Overhead linear mit n_adj .
Mit Verweis auf 7 ist dort ein Beispieldiagramm von Steuersignalen dargestellt, die auf einen neuronalen Verstärker gemäß 6 angewendet werden können. Für beide Erklärungen wird im Allgemeinen auf 4 verwiesen, in der das grundlegende Schema zwischen den verschiedenen Schalterstellungen, die durch die Signale φ₁ , φ_1D , φ₂ und φ_2D gesteuert werden, dargestellt ist. In 7 steuert das Auswahlsignal SEL den Multiplexer MUX, um anschließend mehrere Eingänge mit den einstellbaren Ladungsspeichern zu verbinden. In diesem Beispiel wird n_x ohne Verlust der Verallgemeinerung als 4 gewählt.
Folglich wird die Routing-Komplexität gegen die Wandlungszeit eingetauscht. Aufgrund der mehrphasigen Wandlung steht das von der Summierstufe gelieferte Summationssignal und damit auch die gepufferte Ausgangsspannung nicht für die Ansteuerung der Ausgangs- bzw. Differenzeingänge anderer Neuronenverstärker während aufeinanderfolgender Zyklen zur Verfügung. Daher wird das Summationssignal der Summationsstufe nach der letzten Summationsphase von der Puffer- und Aktivierungsstufe ACB abgetastet. Die gepufferte Ausgangsspannung kann dann die Differenzeingänge anderer neuronaler Verstärker oder einen seiner eigenen Differenzeingänge während eines nächsten Wiederholungszyklus ansteuern.
Durch die differentielle Struktur werden die Fehler bei der Ladungsinjektion auch bei einer hohen Anzahl von Eingangsverbindungen zum neuronalen Verstärker erheblich reduziert. Es können jedoch Restfehler bei der Ladungsinjektion verbleiben, z. B. aus Offset-Fehlern, die sich zu einem nicht vernachlässigbaren Betrag summieren können, der in einem rekurrenten Betriebsmodus weiter akkumuliert werden kann, abhängig von der Anzahl der Differenzeingänge eines einzelnen neuronalen Verstärkers und der Anzahl der im neuronalen Netz verwendeten Neuronen.
Mit Verweis auf 8 ist dort eine Weiterentwicklung des verbesserten Konzepts für einen neuronalen Verstärker dargestellt, die auf den Implementierungen von 3 und 6 basiert. In dieser Beispielimplementierung wird zur Eliminierung des Offsets durch den Eingangsabtaster und den Summationsverstärker eine korrelierte Doppelabtastung, CDS, verwendet. Zu diesem Zweck umfasst die Summierstufe SM ferner ein Paar von Doppelabtastungs-Ladungsspeichern C_CDsa , C_CDSb , die über ein Paar von entsprechenden Schaltern, die durch ein Doppelabtastungs-Steuersignal φ_CDS gesteuert werden, mit der Ausgangsseite des Integrierverstärkers verbunden sind. Darüber hinaus ist das Paar der Doppelabtast-Ladungsspeicher C_CDSa , C_CDSb über entsprechende Differenzelemente mit einer Eingangsseite der Puffer- und Aktivierungsstufe verbunden, um die in den Doppelabtast-Ladungsspeichern C_CDSa , C_CDSb gespeicherten Ladungen von den in den integrierenden Ladungsspeichern C_fb1a und C_fb1b gespeicherten Ladungen zu subtrahieren.
Während des Betriebs kann dies im neuronalen Verstärker durch Abwahl aller Einheiten der Kondensator-DACs realisiert werden, z. B. durch Verbindung mit dem Gleichtaktanschluss V_CM , wodurch effektiv ein Nullsignal abgetastet wird. Mit anderen Worten, für die einstellbaren Ladungsspeicher kann in dieser Phase eine Nullgewichtung gewählt werden. Das entsprechende Ausgangssignal des neuronalen Verstärkers ist somit äquivalent zu seinem Ausgangsoffset und kann von dem eigentlichen Ausgangssignal des neuronalen Verstärkers mit neuronalen Eingangssignalen subtrahiert werden. Da der Ausgang des neuronalen Verstärkers jedoch analog ist, kann diese Operation nicht digital realisiert werden und wird während der Ladungsübertragung zum Puffer durchgeführt. Dies erfordert die zusätzlichen Doppelabtastungs-Ladungsspeicher C_CDSa , C_CDSb am Summenverstärkerausgang, um die Null-Eingangssignal-Summenausgänge während der nachfolgenden neuronalen Eingangsumwandlung zu halten.
Ein Problem bei der korrelierten Doppelabtastung ist jedoch die Verringerung der Wandlungsrate um 2. Außerdem können durch die Subtraktion des analogen Offsets zusätzliche Fehlerquellen entstehen.
Mit Verweis auf 9 ist dort ein Beispieldiagramm von Steuersignalen gezeigt, die an den neuronalen Verstärker gemäß 8 angelegt werden können.
Mit Verweis auf 10 wird nun eine Weiterentwicklung des verbesserten Konzepts für einen neuronalen Verstärker gezeigt, die auf den Implementierungen von 3 und 6 basiert. Zusätzlich zu den vorherigen Implementierungen wird ein Zerhackungsschema hinzugefügt, insbesondere durch Einbeziehung mehrerer Zerhackungsblöcke ch1, ch2 und ch3 in den neuronalen Verstärker. Die Einführung eines Zerhackungsschema (manchmal auch als Swapping bezeichnet) ist aufgrund des mehrphasigen Abtastschemas in Verbindung mit dem Multiplexer möglich.
Der erste Zerhackerblock ch1 ist beispielsweise in jeder parallelen Abtaststruktur zwischen dem Multiplexer MUX und dem angeschlossenen Paar von einstellbaren Ladungsspeichern C_sia , C_sib vorgesehen. Darüber hinaus ist ein zweiter differentieller Zerhackerblock ch2 in der Summierstufe SM implementiert und koppelt das erste Ende des differentiellen Rückkopplungspfades einschließlich der integrierenden Ladungsspeicher C_fb1a , C_fb1b mit einer Eingangsseite des integrierenden Verstärkers. In ähnlicher Weise koppelt ein dritter differenzieller Zerhackerblock ch3 das zweite Ende des differenziellen Rückkopplungspfades mit einer Ausgangsseite des integrierenden Verstärkers.
Die Zerhackungsblöcke ch1, ch2, ch3 werden durch ein Zerhackungssteuersignal φ_chop gesteuert und haben die Funktion, entweder den differentiellen Pfad zwischen ihrer Eingangs- und Ausgangsseite direkt zu verbinden oder die differentiellen Pfade zu kreuzen, was im Grunde einer Invertierung des differentiellen Signals entspricht. Wenn die Zerhackungsphasen gleichmäßig über die verschiedenen Schaltphasen verteilt sind, kann die Zerhackung alle Restabweichungen von allen Eingangsabtastschaltern ausgleichen, was eine nahezu beliebige Anzahl von Differenzeingängen ermöglicht.
Mit Verweis auf 11 ist nun ein Beispieldiagramm von Steuersignalen gezeigt, die an den neuronalen Verstärker gemäß 10 angelegt werden können. Es wird erneut auf die vorangegangenen Erläuterungen zu den Beispieldiagrammen in 4 und 7 verwiesen. Zusätzlich zu dem Schaltschema in 7 ist beispielsweise das Zerhackersignal φ_chop während der ersten Hälfte der Summierungsphasen gleich Null, so dass der Offset des integrierenden Verstärkers negativ akkumuliert wird, wohingegen während der zweiten Hälfte, in der φ_chop hoch ist, der Offset des integrierenden Verstärkers positiv akkumuliert wird. Daher hebt sich die gesamte übertragene Offset-Ladung auf C_fb1a , C_fb1b gegenseitig auf, was zumindest theoretisch zu einer Null-Ladung führt. Durch das einmalige Zerhacken während der Summierungsphasen wird der durch die Zerhacker-Schalter selbst verursachte Rest-Offset reduziert, da deren Beitrag nur einmal addiert wird.
Die Wirksamkeit des Zerhackungsschemas wird im Zusammenhang mit dem neuronalen Verstärker weiter unterstützt, wenn der gesamte äquivalente Offset, der sich aus der Summe der einzelnen Neuroneneingangsoffsets und dem Offset des integrierenden Verstärkers ergibt, konstant und damit unabhängig von den einzelnen Neuroneneingangswellen ist, die die digital einstellbaren Ladungsspeicher in allen Phasen steuern. Wenn beispielsweise, wie in 5 dargestellt, alle Einheitskondensatoren des digital einstellbaren Ladungsspeichers, die nicht für die Eingangsabtastung ausgewählt sind, d. h. nicht mit dem zweiten Anschluss V₂ verbunden sind, mit dem Gleichtaktanschluss V_CM verbunden werden, bleiben die entsprechenden Einheitskondensatoren aktiv, aber effektiv mit einem Eingang von Null. Darüber hinaus wird die Ladungsinjektion von allen Abtastschaltern S_1a , S_1b unabhängig von den verschiedenen Gewichtungen bzw. Kondensatoreinstellungen in den verschiedenen Phasen addiert.
Trotz der Zerhackung kann die Genauigkeit des neuronalen Verstärkers weiter erhöht werden, wenn es die jeweilige Anwendung, z. B. die Komplexität des neuronalen Netzes, erforderlich macht. So kann z.B. an einem Ausgang der Summierstufe SM nach der letzten Summierphase φ₂ ein Ausgangsoffset auftreten, d.h. die letzte Eingangsspannung wurde gewichtet und aufsummiert, es sei denn, die Summierstufe SM selbst ist offsetkompensiert.
Dies kann durch eine Weiterentwicklung des neuronalen Verstärkers gemäß dem in 12 gezeigten verbesserten Konzept erreicht werden, das auf der in 10 gezeigten Implementierung basiert (siehe 12). Insbesondere entspricht die Abtaststufe SMP der 12 vollständig der Abtaststufe der 10.
In der Summierstufe SM wird ein Schalterpaar S_5a , S_5b eingeführt, das durch das Schaltsignal φ_4xn gesteuert wird und den Differenzeingang des integrierenden Verstärkers OTA1 über den zweiten Zerhackerblock ch2 mit einem ersten Ende der integrierenden Ladungsspeicher C_fb1a , C_fb1b verbindet. Die Schalter S_6a , S_6b , die durch das Schaltsignal φ_4DD gesteuert werden, entsprechen dem Reset-Schalter von 10. Die durch Schaltsignale φ_4D gesteuerten Schalter S_7a , S_7b koppeln den ersten Anschluss der integrierenden Ladungsspeicher C_fb1a , C_fb1b mit einem Differenzeingang eines kapazitiven Verstärkers OTA2 der Pufferstufe BUF. Eine zur Puffer- und Aktivierungsstufe ACB gehörende Aktivierungsstufe ist aus Gründen der besseren Übersichtlichkeit hier nicht dargestellt.
Die Pufferstufe BUF umfasst ein weiteres Paar von Ladungsspeichern C_fb2a , C_fb2b , deren erstes Ende mit dem Differenzeingang des kapazitiven Verstärkers OTA2 verbunden ist. Ein zweites Ende der Ladungsspeicher C_fb2a , C_fb2b ist über Schalter S_8a , S_8b , die von Schaltsignalen φ₃ gesteuert werden, mit dem Gleichtaktanschluss V_CM und über Schalter S_9a , S_9b , die von Schaltsignalen φ_3DDn gesteuert werden, mit den differentiellen Ausgangsanschlüssen der Pufferstufe BUF verbunden. Eingang und Ausgang des Verstärkers OTA2 sind über entsprechende Schalter S_10a , S_10b verbunden, die von Schaltsignalen φ_3D gesteuert werden. Am Differenzausgang des Verstärkers OTA2 wird eine gepufferte Differenzausgangsspannung Vout_buf+, Vout_bufbereitgestellt.
13 zeigt ein Beispieldiagramm von Steuersignalen, die auf den neuronalen Verstärker nach 12 angewendet werden können. Zur Funktion der Schaltsignale φ_chop , φ₁ , φ_1D , φ₂ , φ_2D und sel wird auf die jeweiligen Erläuterungen in Verbindung mit 7 und 11 verwiesen. Zu den Schaltsignalen φ₃ , φ_3D und φ_3DDn ist anzumerken, dass φ_3D eine leicht verzögerte Version von φ_3D und φ_3DDn eine weiter verzögerte Version von φ₃ ist, die ebenfalls negiert wird. Insgesamt gehören sie zu einer Puffer-Offset-Kompensationsphase, die weiter unten in Verbindung mit den 14A bis 14D näher erläutert wird.
In ähnlicher Weise entsprechen die Schaltsignale φ_4xn , φ_4D und φ_4DD einer Phase für den Ladungstransfer zum Puffer und die Offset-Abtastung, die weiter unten ebenfalls näher erläutert wird.
Wie in 13 zu sehen ist, entsprechen die Phasen φ1 und φ₂ im Allgemeinen einer Abtast- und Summierungsphase, während die Schaltsignale mit dem Index 3 und 4 dem Ladungstransfer zum Puffer entsprechen. Es sei ferner darauf hingewiesen, dass auch im Beispieldiagramm von 13 n_x für jede der Erklärungen als 4 gewählt wurde, ohne dass andere Werte für n_x in Frage kommen.
Mit Verweis auf die 14A bis 14D sind dort die zuvor erwähnten einzelnen Phasen dargestellt. Die Summationsphasen sind jeweils in eine Abtastphase φ₁ und eine Ladungstransferphase φ₂ unterteilt. 14A zeigt beispielsweise eine tatsächliche elektrische Konfiguration des neuronalen Verstärkers gemäß 12 mit den jeweiligen Schalterstellungen von φ₁ . Während φ₁ werden also die Eingangsspannungen an den Differenzeingängen, z. B. den Neuroneneingängen, auf die ausgewählten Einheitskondensatoren der einstellbaren Ladungsspeicher bzw. des jeweiligen Kondensator-DACs in Abhängigkeit von dem entsprechenden digitalen Einstellwort abgetastet.
Wie bereits erwähnt, können nicht ausgewählte Einheitskondensatoren an den Gleichtaktanschluss V_CM angeschlossen werden, wodurch zwar keine Signalladung abgetastet wird, aber dennoch Ladungsinjektion und Offset-Ladung des ersten integrierenden Verstärkers OTA1 eingeführt werden. Dadurch kann der gesamte Eingangs-Offset unabhängig von den Gewichten bzw. Einstellworten werden. Er wird also durch Zerhacken aufgehoben. Da das Schaltpaar S_2a , S_2b von einem verzögerten Takt φ1D gesteuert wird, trägt es nicht zum Ladungsinjektions-Offset bei. Auch der erste Zerhackerblock ch1 trägt nicht dazu bei, da er während der überlappungsfreien Zeit von φ₁ und φ₂ geschaltet wird, so dass keine Ladungen aus dem Schaltvorgang im Zerhackerblock ch1 übertragen werden können. Bei dem zweiten Zerhackerblock ch2 kann es zu einer Ladungsinjektion kommen, da die Ladung auf den internen Knoten nla, nlb, mit denen der zweite Zerhackerblock ch2 verbunden ist, gefangen bleibt. Dieser Zerhackerblock ch2 schaltet jedoch nur einmal während aller Summierungsphasen um, so dass sein Beitrag gering und vernachlässigbar ist.
Mit Verweis auf 14B ist dort die Schaltkonfiguration während der Ladungstransferphase φ₂ des neuronalen Verstärkers aus 12 dargestellt. Demnach werden während φ₂ die Abtastkondensatoren C_sia , C_sib entladen und ihre Ladung auf die integrierenden Ladungsspeicher C_fb1a , C_fb1b übertragen. Außerdem wird eine auf den Eingangsoffset des integrierenden Verstärkers OTA1 bezogene Ladung Q_off übertragen mit $Q_{o f f} = C_{s_t o t a l} \cdot V_{o f f 1} .$
Da die nicht ausgewählten Einheitsabtastkondensatoren des einstellbaren Ladungsspeichers nicht schwebend gehalten werden, sondern mit der Gleichtaktklemme V_CM verbunden sind, ist die Gesamtabtastkapazität während der Ladungsübertragungsphase φ₂ konstant, so dass Q_off durch das Zerhacken effektiv aufgehoben wird. Darüber hinaus führen die Schalter S_4a , S_4b zu einer Ladungsinjektion, die ebenfalls durch das Zerhacken aufgehoben wird. Die Schalter S_3a , S_3b tragen aufgrund des verzögerten Schaltsignals φ_2D nicht zur Ladungsinjektion bei.
Mit Verweis auf 14C ist dort der elektrische Aufbau des Neuralverstärkers aus 12 während der Pufferoffsetkompensationsphase φ₃ dargestellt. Insbesondere wird während dieser Phase φ₃ der kapazitive Differenzverstärker OTA2 mit den Ladungsspeichern C_fb2a , C_fb2b zurückgesetzt. Durch weitere Konfiguration des integrierenden Verstärkers OTA1 in Einheitsrückkopplung wird dieser auf die Offsetspannung der Eingangsseite der Pufferstufe BUF vorgeladen, um diese nach der Phase φ3 am kapazitiven Verstärker OTA2 bzw. dessen Ausgang zu löschen. Da die Schalter S_7a , S_7b während dieser Phase φ3 offen sind, wird die Ladungsinjektion von den Schaltern S_8a , S_8b , S_9a , S_9b , S_10a , S_10b hauptsächlich zum niederohmigen Ausgang des Verstärkers OTA2 gezogen, wodurch die Restladungsinjektion gering ist. Außerdem wird eine solche Ladungsinjektion nur einmal pro Umwandlung hinzugefügt, was ihren Beitrag weiter reduziert.
Mit Verweis auf 14D ist dort die elektrische Konfiguration des neuronalen Verstärkers gemäß 12 während der Phase φ₄ „Ladungsübertragung zum Puffer und Offsetabtastung“ dargestellt. Insbesondere sind während dieser Phase φ₄ die integrierenden Ladungsspeicher C_fb1a , C_fb1b mit der Eingangsseite der Pufferstufe bzw. dem Verstärker OTA2 verbunden, während der integrierende Verstärker OTA1 in Einheitsrückkopplung konfiguriert ist, wodurch die Ladung auf den integrierenden Ladungsspeichern C_fb1a , C_fb1b gezwungen wird, auf die Ladungsspeicher C_fb2a , C_fb2b übertragen zu werden. Da die integrierenden Ladungsspeicher C_fb1a , C_fb1b in der vorangegangenen Phase φ4 auf die Differenz zwischen der ersten Offsetspannung am Verstärker OTA1 und der zweiten Offsetspannung des Verstärkers OTA2 vorgeladen wurden, wird keine Offsetladung auf die Ladungsspeicher C_fb2a , C_fb2b übertragen.
Es kann jedoch zu einer gewissen Ladungsinjektion durch die Schalter S_5a , S_5b kommen. Da diese Schalter S_5a , S_5b immer auf einem virtuellen Massepotential liegen, ist diese Ladung nicht signalabhängig und führt, wenn überhaupt, nur zu einem gewissen Rest-Offset. Da diese Ladung außerdem nur einmal pro Umwandlung hinzugefügt wird, wäre ihre Auswirkung gering. Die Implementierung des neuronalen Verstärkers gemäß 12 vermeidet jegliche Signalschwankungen am Eingang der beiden Verstärker OTA1, OTA2, so dass es keine signalabhängigen Ladungseffekte in Abhängigkeit von den jeweiligen Eingangskapazitäten der Verstärker OTA1, OTA2 gibt, die zu einem Verstärkungsfehler führen würden.
Darüber hinaus gibt es keine signalabhängige Ladungsinjektion, die zum Ausgang durchsickert, so dass der Verstärkungsfehler ausschließlich von einer offenen Schleifenverstärkung der Verstärker und von der Kondensatoranpassung von C_fb1a , C_fb1b , C_fb2a , C_fb2b und C_sia , C_sib abhängt.
In verschiedenen Implementierungen kann ein Beitrag der Verstärker, insbesondere wenn sie als OTAs implementiert sind, durch die Verwendung einer Topologie mit hoher Verstärkung, wie z. B. in 15 gezeigt, gering gehalten werden, wodurch der Verstärkungsfehler unempfindlich gegenüber PVT-Schwankungen wird.
15 zeigt eine Beispielimplementierung eines Transkonduktanz-Operationsverstärkers mit einer Differenzeingangsstufe und einer Differenzeingangsstufe mit Signalausgängen, die zwischen ein Paar PMOS- und NMOS-Kaskodentransistoren geschaltet sind, die durch entsprechende Kaskodenvorspannungen Vcasp bzw. Vcasn angesteuert werden, die durch eine geeignete Vorspannungsschaltung erzeugt werden können. Die differentielle Ausgangsspannung wird auch für eine Gleichtaktrückkopplungsschaltung CM verwendet, die den Strom in den Ausgangsstrompfaden steuert.
Wie bereits erwähnt, implementiert die Puffer- und Aktivierungsstufe ASB außerdem eine Aktivierungsfunktion, die eine Begrenzungsfunktion sein kann. Die Begrenzung kann durch Begrenzung der Versorgungsspannung des kapazitiven Verstärkers OTA2 und/oder der Pufferstufe BUF selbst erfolgen. Die Begrenzung kann aber auch durch eine eigene Begrenzungsstufe realisiert werden.
Mit Verweis auf 16 ist dort eine beispielhafte Implementierung einer solchen Begrenzungsstufe ACT dargestellt, die an die Pufferstufe BUF angeschlossen werden kann. In 16 erfolgt die Begrenzung durch Vergleich der Pufferausgangsspannungen Vout_buf⁺ , Vout_buf^- mit einer vordefinierten Referenzspannung, insbesondere einer Differenzspannung, und durch Multiplexen zwischen den Pufferspannungen Vout_buf⁺ , Vout_buf^- und einer Referenzspannung, die den Begrenzungspegel definiert. Liegt der Pufferausgang unterhalb der Referenz, wird der Pufferausgang zur Ansteuerung des Ausgangs des Neuralverstärkers verwendet, d. h. zur Bereitstellung der gepufferten Ausgangsspannung. Diese Spannung kann zur Ansteuerung anderer neuronaler Verstärker oder ggf. eines Eingangspaars desselben neuronalen Verstärkers verwendet werden, wenn ein rekurrentes neuronales Netz implementiert ist.
Ansonsten werden die Referenzspannungen V_ref ⁺ , V_ref ^- als Ausgangsspannungen V_out ⁺ , V_out ^- verwendet.
Da die Begrenzungsfunktion sowohl in positiver als auch in negativer Richtung angewendet werden muss, erfolgt die Begrenzung in zwei Schritten, wobei derselbe Komparator verwendet wird und ein durch ein Steuersignal φ_{chop_clip} gesteuerter Begrenzungsblock zum Einsatz kommt. Insbesondere wird zunächst die Begrenzung im positiven Bereich durch Vergleich mit dem positiven Referenzwert V_ref ⁺ überprüft, während φ_{chop_clip} wie in 17 dargestellt Null ist. Wird eine Begrenzung festgestellt, wird die positive Referenz auf den Ausgang V_out ⁺ , V_out ^- umgeschaltet und der Begrenzungsvorgang ist beendet. Der Vergleich wird durch den Komparator durchgeführt und anschließend in ein Flip-Flop gelegt, das einen getakteten Betrieb auf der Grundlage des Taktsignals clk ermöglicht.
Liegt keine positive Begrenzung vor, wird der Sollwert durch Setzen des Steuersignals φ_{chop_clip} auf 1 für einen Vergleich mit dem negativen Sollwert unter Verwendung desselben Komparators umgedreht. Wird eine negative Begrenzung festgestellt, wird der negative Sollwert an den Ausgang geleitet, andernfalls wird der Pufferausgang Vout_buf⁺ , Vout_buf^- verwendet.
Der eigentliche Vergleich wird durchgeführt, indem die Kapazitäten vor dem Komparator mit den Referenzspannungen vorgeladen werden und anschließend die gepufferten Ausgangsspannungen Vout_buf⁺ , Vout_buf^- an die abgetastete Spannung angelegt werden, um zu erkennen, ob diese höher oder niedriger als die vorgeladenen Spannungen sind.
Wie bereits erwähnt, besteht eine alternative Implementierung der Begrenzung darin, die Pufferausgangsstufe über die Referenz zu versorgen. Daher begrenzt der Puffer von sich aus den Ausgang auf die gewünschten Pegel. Dies kann zur Folge haben, dass für alle neuronalen Verstärker die gleichen Begrenzungspegel gelten, wenn die Referenzen oder alle neuronalen Verstärker beispielsweise von einem gemeinsamen Spannungsregler versorgt werden. Dadurch wird die Verschiebung der Begrenzungsschwelle aufgrund des Komparator-Offsets vermieden. Allerdings kann die versorgungsbasierte Begrenzung keine harte Begrenzung erreichen, sondern ist weich und ähnelt einer logistischen Aktivierungsfunktion.
Bei den verschiedenen oben beschriebenen Implementierungen des neuronalen Verstärkers kann im Vergleich zu herkömmlichen Ansätzen neuronaler Verstärker ein geringer Offset- und Verstärkungsfehler erreicht werden, insbesondere bei einer hohen Anzahl von Neuroneneingängen, indem beispielsweise Schaltungstechniken in einem volldifferenziellen neuronalen Verstärker angewendet werden. Die Verringerung der Schaltungsfehler führt dazu, dass die Drift weniger problematisch ist. Außerdem ist eine regelmäßige Neukalibrierung nicht erforderlich. Spezifische Implementierungen mit der offsetkompensierten Pufferstufe, die beispielsweise in Verbindung mit den 12 bis 14 beschrieben werden, verbessern die Anwendbarkeit des neuronalen Verstärkers für neuronale Netze in einem rekurrenten Betriebsmodus, bei dem die Ausgangsspannungen zu den Eingängen desselben oder anderer neuronaler Verstärker zurückgeführt werden.
Mehrere Instanzen eines neuronalen Verstärkers, wie oben beschrieben, können verwendet werden, um ein neuronales Netzwerk zu bilden, wie zum Beispiel in Verbindung mit 2 beschrieben. Solche neuronalen Netze können in jeder Schaltung verwendet werden, die eine gewichtete oder ungewichtete analoge Summierung von Eingangsspannungen mit hoher Präzision erfordert und gleichzeitig eine parallele Ansteuerungsmöglichkeit bietet, die zum Beispiel in den erwähnten analogen neuronalen Netzen genutzt werden kann. Analoge neuronale Netze sind zum Beispiel eine interessante Option für die Klassifizierung von Sensordaten mit versteckten oder kaum sichtbaren Mustern.
Mit Verweis auf 18 ist dort ein Beispiel für eine Sensorvorrichtung dargestellt, die einen oder mehrere Sensoren AS1, AS2 und ein analoges künstliches neuronales Netzwerk NN mit einem oder mehreren neuronalen Verstärkern, wie oben beschrieben, umfasst. Beispielsweise werden die Ausgangssignale des einen oder der mehreren Sensoren AS1, AS2 den Differenzeingängen der neuronalen Verstärker zugeführt, die wie in 2 als Kreise dargestellt sind.
Das Training des neuronalen Netzes kann online, d.h. während des Betriebs des Netzes, offline, z.B. durch Simulation des neuronalen Netzes zur Ermittlung der jeweiligen Gewichtungsfaktoren, oder auch z.B. durch eine Kombination aus einem Offline-Training mit einer anschließenden Online-Kalibrierung erfolgen. Andere Implementierungen werden durch diese Beispiele nicht ausgeschlossen.

Claims

Ein differentieller neuronaler Verstärker mit geschalteten Kapazitäten, insbesondere zur Verwendung in einem analogen künstlichen neuronalen Netzwerk, wobei der neuronale Verstärker Folgendes umfasst - eine Abtaststufe (SMP) mit einer Vielzahl von Differenzeingängen zum Empfang einer Vielzahl von Eingangsspannungen und mit zumindest einem Paar von digital einstellbaren Ladungsspeichern zum Abtasten der Vielzahl von Eingangsspannungen; - eine Summierstufe (SM) zum Aufsummieren von Ladungen, die sich aus der abgetasteten Vielzahl von Eingangsspannungen ergeben, um ein Summationssignal zu erzeugen, wobei die Summierstufe (SM) der Abtaststufe (SMP) nachgeschaltet ist; und - eine Puffer- und Aktivierungsstufe (ACB), die eingerichtet ist, um eine Aktivierungsfunktion anzuwenden und eine gepufferte Ausgangsspannung an einem Differenzausgang zu erzeugen, die auf dem Summationssignal basiert.
Der neuronale Verstärker gemäß Anspruch 1, wobei eine Anzahl der Differenzeingänge einer Anzahl von Paaren der digital einstellbaren Ladungsspeicher entspricht.
Der neuronale Verstärker gemäß Anspruch 1, wobei die Abtaststufe (SMP) zumindest einen Multiplexer (MUX) zum selektiven Verbinden der Vielzahl von Differenzeingängen mit dem zumindest einen Paar von digital einstellbaren Ladungsspeichern aufweist.
Der neuronale Verstärker gemäß Anspruch 3, wobei eine Anzahl der Multiplexer einer Anzahl von Paaren der digital einstellbaren Ladungsspeicher entspricht.
Der neuronale Verstärker gemäß einem der Ansprüche 3 oder 4, wobei die Summierstufe (SM) einen differenziellen integrierenden Verstärker (OTA1) mit einem Paar von integrierenden Ladungsspeichern (Cfb1a, Cfb1b) in einem differenziellen Rückkopplungsweg des integrierenden Verstärkers aufweist, wobei der neuronale Verstärker des Weiteren aufweist - für jeden der zumindest einen Multiplexer einen ersten differentiellen Zerhackerblock (ch1), der zwischen einem Ausgang des jeweiligen Multiplexers und dem verbundenen Paar von Ladungsspeichern verbunden ist; - einen zweiten differentiellen Zerhackerblock (ch2), der ein erstes Ende des Rückkopplungspfades mit einer Eingangsseite des integrierenden Verstärkers koppelt; und - einen dritten differenziellen Zerhackerblock (ch3), der ein zweites Ende des Rückkopplungspfades mit einer Ausgangsseite des integrierenden Verstärkers koppelt.
Der neuronale Verstärker gemäß Anspruch 5, wobei der differenzielle integrierende Verstärker der Summierstufe (SM) eine Schaltschaltung zum selektiven Laden des Paares von integrierenden Ladungsspeichern mit einer ersten Offset-Spannung an der Eingangsseite des integrierenden Verstärkers und einer zweiten Offset-Spannung an einer Eingangsseite der Puffer- und Aktivierungsstufe (ACB) aufweist, insbesondere derart, dass während einer Summierung ein Offset des integrierenden Verstärkers an der Ausgangsseite des integrierenden Verstärkers entfernt wird und ein Offset der Puffer- und Aktivierungsstufe (ACB) angewendet wird, um den Offset der Puffer- und Aktivierungsstufe (ACB) zu kompensieren.
Der neuronale Verstärker gemäß Anspruch 5 oder 6, wobei die Puffer- und Aktivierungsstufe (ACB) eine Pufferstufe (BUF) mit einem kapazitiven Differenzverstärker (OTA2) mit einem weiteren Paar von Ladungsspeichern (Cfb2a, Cfb2b) in einem weiteren differenziellen Rückkopplungsweg des kapazitiven Verstärkers aufweist.
Der neuronale Verstärker gemäß Anspruch 7, wobei die Aktivierungsfunktion durch Limitierung einer Versorgungsspannung des kapazitiven Verstärkers und/oder der Pufferstufe realisiert wird.
Der neuronale Verstärker gemäß Anspruch 7, wobei die Puffer- und Aktivierungsstufe (ACB) des Weiteren eine Begrenzungsstufe aufweist, die der Pufferstufe (BUF) vor- oder nachgeschaltet ist, und wobei die Aktivierungsfunktion durch die Begrenzungsstufe implementiert wird.
Der neuronale Verstärker gemäß Anspruch 9, wobei die Begrenzungsstufe (ACT) - - der Pufferstufe (BUF) nachgeschaltet ist; und - - dazu eingerichtet ist - eine differentielle Spannung an einem Ausgang der Pufferstufe mit einer differentiellen Referenzspannung zu vergleichen; - die differentielle Referenzspannung an dem differentiellen Ausgang auszugeben, wenn die differentielle Spannung an dem Ausgang der Pufferstufe die differentielle Referenzspannung entweder in einer positiven oder einer negativen Richtung überschreitet; und - am Differenzausgang die Differenzspannung am Ausgang der Pufferstufe auszugeben, wenn dies nicht der Fall ist.
Der neuronale Verstärker gemäß einem der Ansprüche 2 bis 4, wobei die Summierstufe (SM) einen differenziellen integrierenden Verstärker (OTA1) mit einem Paar von integrierenden Ladungsspeichern (Cfb1a, Cfb1b) in einem differenziellen Rückkopplungspfad des integrierenden Verstärkers und mit einem Paar von Doppelabtast-Ladungsspeichern (CCDSa, CCDSb) aufweist, die schaltbar dem integrierenden Verstärker nachgeschaltet sind, wobei der neuronale Verstärker dazu eingerichtet ist - ein Null-Eingangssignal an dem Paar von Doppelabtast-Ladungsspeichern (CCDSa, CCDSb) während einer ersten Doppelabtastphase abzutasten, insbesondere durch Einstellen des mindestens einen Paares von digital einstellbaren Ladungsspeichern auf einen Nullwert; und - die Ladungen, die sich aus dem abgetasteten Null-Eingangssignal ergeben, der Puffer- und Aktivierungsstufe (ACB) zusammen mit Ladungen, die in dem Paar von integrierenden Ladungsspeichern (Cfb1a, Cfb1b) gespeichert sind, bereitzustellen.
Der neuronale Verstärker gemäß einem der vorhergehenden Ansprüche, wobei jeder digital einstellbare Ladungsspeicher des mindestens einen Paares digital einstellbarer Ladungsspeicher einen ersten und einen zweiten Anschluss und eine Vielzahl gewichteter Ladungsspeicher aufweist, von denen jeder ein erstes Ende hat, das mit dem ersten Anschluss verbunden ist, und ein zweites Ende, das in Abhängigkeit von einem digitalen Einstellwort selektiv mit dem zweiten Anschluss oder mit einem Gleichtaktanschluss verbunden ist.
Der neuronale Verstärker gemäß einem der vorhergehenden Ansprüche, der ferner eine Steuerschaltung zum Steuern einer Schaltkondensatorfunktion des neuronalen Verstärkers und/oder zum Einstellen des mindestens einen Paares von digital einstellbaren Ladungsspeichern aufweist.
Der neuronale Verstärker gemäß einem der vorhergehenden Ansprüche, wobei die Summierstufe das Summationssignal im analogen Bereich als ein analoges Summationssignal erzeugt.
Ein analoges künstliches neuronales Netzwerk, insbesondere rekurrentes neuronales Netzwerk, das eine Vielzahl von neuronalen Verstärkern gemäß einem der vorhergehenden Ansprüche aufweist, wobei der Differenzausgang mindestens eines der neuronalen Verstärker mit einem der Differenzeingänge desselben oder eines anderen der neuronalen Verstärker verbunden ist.
Ein Sensorelement, das einen oder mehrere Sensoren und ein analoges künstliches neuronales Netzwerk gemäß dem vorhergehenden Anspruch aufweist, wobei Ausgangssignale des einen oder der mehreren Sensoren an mindestens einen der neuronalen Verstärker bereitgestellt werden.