DE69030907T2

DE69030907T2 - Datenverarbeitungsanlage

Info

Publication number: DE69030907T2
Application number: DE69030907T
Authority: DE
Inventors: Ryohei Kumagai; Koji Matsumoto; Sunao Takatori; Makoto Yamamoto
Original assignee: Yozan Inc; Sharp Corp
Current assignee: Yozan Inc; Sharp Corp
Priority date: 1989-09-28
Filing date: 1990-09-27
Publication date: 1997-09-25
Anticipated expiration: 2010-09-28
Also published as: JPH03113667A; EP0420254A3; DE69030907D1; EP0420254B1; EP0420254A2

Description

ERFINDUNGSGEBIET

Die vorliegende Erfindung betrifft ein Datenverarbeitungssystem, das auf einem neuralen Netzwerk basiert.

STAND DER TECHNIK

Das neurale Netz in einem Datenverarbeitungssystem des neuralen Netzwerktyps ist in einer Schichtausführung unter Verwendung des Neuronenmodells in Fig. 6 in einer parallelen Andordnung wie in Fig. 7 gezeigt aufgebaut. Das Neuron 1 betreffend werden von außen eingegebene Daten DI1, DI2, DI3, ..., DIn jeweils mit den Gewichten W1, W2, W3, ..., Wn multipliziert. Daten D0 werden nach Maßgabe des Vergleichs zwischen der Summe der Produkte und der Schwelle θ ausgegeben. Obwohl es möglich ist, verschiedene Arten von Verfahren zum Vergleichen zu verwenden, wird vereinbart, daß die Ausgangsdaten Dθ "1" werden, wenn die Summe größer als oder gleich einer Schwelle θ ist, und die Daten Dθ "0" werden, wenn die Summe kleiner als die Schwelle θ ist.
Herkömmliche neurale Netze bilden die neurale Schicht, indem Neuronen parallel angeordnet werden. Gleichzeitig wird sie gebildet, indem die neuralen Schichten in Reihe geschaltet werden: das Neuron in jeder Schicht ist mit allen Neuronen in angrenzenden Schichten verbunden.
Das Dokument NEURAL NETWORKS, Band 1, Nr. 2, 1988, Seiten 119-130, Elmsford, NY, US; K. FUKUSHIMA: "Neocognition: A hierarchical neural network capable of visual pattern recognition" offenbart ein hierarchisches mehrlagiges Netzwerk mit veränderlichen Verbindungen zwischen den Zellen in angrenzenden Schichten. Das Netzwerk kann trainiert werden, einen Satz von Mustern zu erkennen. Sobald der Lernprozeß beendet ist, wird die Mustererkennung auf das Basis von Ähnlichkeit in der Form zwischen Mustern durchgeführt und wird weder durch Deformation, noch durch Änderungen in der Größe noch durch Verschiebungen in der Position der Eingabe der Muster beeinflußt.
Das Dokument EP-A-0 411 341 offenbart ein DPS mit einer Mehrzahl neuraler Schichten, deren Zahl gleich dem Abstraktionsgrad zwischen Eingangs- und Ausgangsdaten ist.

ZUSAMMENFASSUNG DER ERFINDUNG

Weil in jeder Schicht zahlreiche Neuronen vorhanden sind, wird die Anzahl von Verbindungen durch das Verbinden eines Neurons mit allen Neuronen in angrenzenden Schichten gewaltig. Ein durch ein solches neurales Netzwerk aufgebautes Datenverarbeitungssystem wird folglich sehr groß.
Die vorliegende Erfindung beabsichtigt, die obigen Probleme des Standes der Technik zu lösen, und hat die Aufgabe, ein Datenverarbeitungssystem zustandezubringen, das durch Begrenzen der Zahl von Verbindungen zwischen Neuronen eine kleine Größe aufweist.
Ein erfindungsgemäßes Datenverarbeitungssystem ist wie in den Ansprüchen 1 und 2 dargelegt gekennzeichnet.

KURZBESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 (a) zeigt ein Schema der ersten Ausführung eines Datenverarbeitungssystems.
Fig. 1 (b) zeigt ein Schema der zweiten Ausführung eines Datenverarbeitungssystems.
Fig. 1 (c) zeigt ein Schema der dritten Ausführung eines Datenverarbeitungssystems.
Fig. 2 (a) zeigt ein Schema der vierten Ausführung eines Datenverarbeitungssystems.
Fig. 2 (b) zeigt ein Schema der fünften Ausführung eines Datenverarbeitungssystems.
Fig. 2 (c) zeigt ein Schema der sechsten Ausführung eines Datenverarbeitungssystems.
Fig. 3 (a) zeigt ein Schema der siebten Ausführung eines Datenverarbeitungssystems.
Fig. 3 (b) zeigt ein Schema der achten Ausführung eines Datenverarbeitungssystems.
Fig. 3 (c) zeigt ein Schema der neunten Ausführung eines Datenverarbeitungssystems.
Fig. 4 (a) zeigt ein Schema der zehnten Ausführung eines Datenverarbeitungssystems.
Fig. 4 (b) zeigt ein Schema der elften Ausführung eines Datenverarbeitungssystems.
Fig. 4 (c) zeigt ein Schema der zwölften Ausführung eines Datenverarbeitungssystems.
Fig. 5 ist ein Schema eines Beispiels, das die Beziehung zwischen neuralen Netzwerken und neuralen Zellen zeigt.
Fig. 6 zeigt ein neurales Modell.
Fig. 7 zeigt ein Beispiel einer neuralen Schicht.
Fig. 8 zeigt neurale Zellen.
Fig. 9 zeigt die Schichten von neuralen Zellen in Fig. 8.
Fig. 10 zeigt die Struktur von neuralen Zellen und die von neuralen Schichten für die Nachverarbeitung.
Fig. 11 zeigt ein Kantenextraktionsverarbeitungssystem aus neuralen Zellen in Fig. 10.
Fig. 12 ist ein Schema eines Eckenextraktionsverarbeitungssystems aus neuralen Zellen in Fig. 10.
Fig. 13 zeigt ein Schema einer Abwandlung von Fig. 11.
Fig. 14 zeigt ein Schema eines Integrationsverarbeitungssystems in einer späteren Stufe des neuralen Verarbeitungssystems.
Fig. 15 ist ein Diagramm zum Zeigen von Pseudoecken in einer Figur.
Fig. 16 ist ein Schema zum Zeigen der Beziehung zwischen Neuronen in der Ebene.
Fig. 17 ist ein Diagramm zum Zeigen der Beziehung zwischen Abstand und Gewicht von Neuronen.

BEVORZUGTE AUSFÜHRUNG DER VORLIEGENDEN ERFINDUNG

Nachstehend wird eine Ausführung des erfindungsgemäßen Datenverarbeitungssystems mit Verweis auf die anliegenden Zeichnungen beschrieben.
In Fig. 8 umfaßt ein Datenverarbeitungssystem eine Vielzahl mit NC bezeichneter neuraler Zellen, die in einer hexagonalen Konfiguration gebildet sind, die als Ganzes gesehen eine Honigwabenform bildet.
Bei der Bildverarbeitung wird die Verarbeitung gewöhnlich durchgeführt, indem ein Bild in Flächeneinheiten geteilt wird. Die Flächeneinheit ist eine quadratische oder rechteckige Fläche von z.B. 3 x 3 Pixels, die durch die Beschränkung der Hardware zum Abtasten eines Bildes hervorgerufen wird. Die beste Weise, diese Flächeneinheit zu verwenden, ist, ihre Grenze mit gleicher Beschaffenheit von so vielen Flächeneinheiten wie möglich in peripherer Beziehung zueinander zu teilen. Die Honigwabenstruktur ergibt folgliche einen vorteilhaften Verarbeitungszustand. Da die Struktur der neuralen Schicht unabhängig von der Bildabtasthardware festgelegt werden kann, können solche günstigen Flächeneinheiten festgelegt werden. Das heißt, es ist möglich, die Art der Verarbeitung anzupassen, indem verschiedene Flächeneinheiten auf der Seite des neuralen Netzes festgelegt werden, nicht im Eingabesystem. Digitale Pixeldaten werden über das Eingabesystem in ein Datenverarbeitungssystem eingegeben. In Fig. 8 wird ein Dreieck F in das Datenverarbeitungssystem eingeben.
Jede neurale Zelle (NC) umfaßt mehrere neurale Schichten (Fig. 9), die durch paralleles Anordnen mehrerer Neuronen N gebildet werden. Fig. 9 zeigt den Aufbau einer neuralen Zelle. In diesem Beispiel ist das Neuron NR in jeder neuralen Schicht mit allen Neuronen NR in angrenzenden neuralen Schichten verbunden. Ein Ausgang der n-ten neuralen Schicht wird ein Eingang der (n+1)-ten neuralen Schicht. Die eingegebenen Daten werden nacheinander durch jede neurale Schicht verarbeitet, was es ermöglicht, den letzten Ausgang zu erlangen.
Fig. 10 zeigt die Beziehung zwischen neuralen Schichten 11, 12, 13, 14 und 20 als ein Modell, das eine Vielzahl hexagonaler Zellen zeigt. Die neurale Schicht 20 ist für neurale Zellen und Nachverarbeitung (wird später mit Verweis auf Fig. 16 beschrieben).
In Fig. 10 sind mehrere neurale Schichten 11, 12, 13 und 14 in hexagonale neurale Zellen NC geteilt. Das heißt, jede neurale Zelle NC umfaßt mehrere neurale Schichten 11, 12, 13 und 14, wobei jede der neuralen Schichten eine Mehrzahl Neuronen zur Datenverarbeitung umfaßt. In jeder neuralen Zelle NC ist ein Neuron mit einem Neuron in angrenzenden neuralen Schichten verbunden, aber nicht mit einem in einer anderen neuralen Zelle NC enthaltenen Neuron verbunden. Die neuralen Zellen NC sind nicht miteinander verbunden: Daten werden in nur einer neuralen Zelle gegeben und empfangen. Eine neurale Zelle NC muß nicht unbedingt alle gewöhnlich in Datenverarbeitungssystemen einschließlich neuraler Netzwerke bereitgestellten neuralen Schichten enthalten: eine neurale Zelle NC kann z.B. eingerichtet sein, nur zwei neurale Schichten zu umfassen.
Das Datenverarbeitungssystem besitzt eine Verarbeitungsfunktion, die die sich durch Lernen nach Maßgabe des Objekts verändert. Der Fall zum Erkennen einer einfachen geometrischen Figur wird unten erklärt.
Ein Beispiel einer neuralen Schicht, die benutzt wird, um eine Kante zu extrahieren, wird in Fig. 11 gezeigt. In Fig. 11 werden Neuronen A bis I für 3x3 Pixels gezeigt. Diese Neuronen erzeugen eine Ausgabe "1" für eine Eingabe hoher Helligkeit. Die Ausgänge der Neuronen A bis I als A bis I angenommen kann das Vörhandensein der Kante mit Ausnahme des isolierten Punktes in Formel (1) ausgedrückt werden.
Die Ausgänge A bis I werden in das Neuron N1 eingegeben, und die Ausgänge A bis D und F bis I werden in das Neuron N2 eingegeben. Die Ausgänge der Neuronen N1 und N2 werden in das Neuron N3 eingegeben. Die Gewichte und die Schwelle der Neuronen N1 bis N3 werden z.B. wie in Tabelle 1 bis 3 gezeigt festgelegt. Tabelle 1 Gewichte und Schwelle von Neuron N1 Tabelle 2 Gewichte und Schwelle von Neuron N2 Tabelle 3 Gewichte und Schwelle von Neuron N3
Das Neuron N1 führt die Verarbeitung gemäß Formel (2) durch.
Das Neuron N2 führt die Verarbeitung gemäß Formel (3) durch.
Das Neuron N3 entspricht einer UND-Logik zwischen den Formeln (2) und (3).
Das Neuron N3 erzeugt daher einen Ausgang "1", wenn eine Kante einer Figur in das Neuron E projiziert wird.
Ein Beipsiel eines neuralen Netzwerks zum Extrahieren einer Ecke wird unten gemäß Fig. 12 erklärt. Der Eingang des neuralen Netzwerks ist der Ausgang des Neurons N3 in Fig. 11. In Fig. 12 werden Neuronen N3 von A' bis I', die Neuronen von A bis 1 entsprechen, gezeigt. Die Logik zum Extrahieren der Ecke ist wie in Formel (4).
Die Neuronen N401 bis N424 und N425 sind für die Verarbeitung bestimmt. Die Ausgänge A' bis D', F' bis I' werden mit der in Tabelle 4 gezeigten Kombination in die Neuronen N401 bis N424 eingegeben. Die Gewichte und Schwellen, die diesen Eingängen entsprechen, werden in der Tabelle gezeigt. Tabelle 4
Die Ausgänge N401 bis N424 werden in das Neuron N425 eingegeben. Sein Gewicht und seine Schwelle werden in Tabelle 5 gezeigt. Tabelle 5
Dies ist gleichbedeutend mit einer ODER-Logik.
Der Ausgang von Neuron N425 und E' werden in das Neuron N426 eingegeben. Ihre Gewichte und Schwellen werden in Tabelle 6 gezeigt. Tabelle 6
Dies ist gleichbedeutend mit einer UND-Logik.
Das Festlegen der obigen Gewichte erfolgt in einem Datenverarbeitungssystem automatisch durch Lernen, und die günstigste Zuordnung kann durch geeignetes Lernen zustandegebracht werden. Indem festgelegt wird, welche Daten in jede Schicht im voraus einzugeben sind, kann die Wirkung eines Neurons verbessert werden. Was z.B. das neurale Netzwerk in Fig. 5 angeht kann, wenn die Daten E' gleichzeitig mit A' bis D' und F' bis I' in die erste neurale Schicht eingegeben werden, ein neurales Netzwerk mit derselben Funktion wie das in Fig. 11 gebildet werden (Fig. 13). In diesem Fall kann die Anzahl von Schichten um eine Schicht verringert werden, aber die Anzahl von Synapsen in der ersten neuralen Schicht wird um 24 erhöht, und die Anzahl von Verbindungsleitungen wird merklich erhöht. Das heißt, man kann sich vorstellen daß: da der Eingang E' auf das Ergebnis der logischen Berechnung (A'B'+...) Einfluß nimmt, hat er denselben Abstraktionsgrad der logischen Berechnung in den Klammern: und die Wirksamkeit der Tätigkeit eine Neurons kann verbessert werden, indem nach Maßgabe des Datenabstraktionsgrades festgelegt wird, in welche Schicht Daten im voraus einzugeben sind.
Den Gedanken des Datenabstraktionsgrades einführend werden die Definitionen unten in Betracht gezogen.
1. Der Datenabstraktionsgrad nimmt nach Verarbeitung einer neuralen Schicht um eins zu.
2. Jeder Eingang in dieselbe neurale Schicht hat denselben Datenabstraktionsgrad.
Nach diesen Definitionen ist die benötigte Anzahl neuraler Schichten 4 (wenn die Strukturen in Fig. 11 und Fig. 13 angenommen werden) oder 5 (wenn die Strukturen in Fig. 11 und Fig. 12 angenommen werden). Angenommen, der Abstraktionsgrad der Pixeldaten (Eingänge in Neuronen A bis I) ist 0, dann ist der Grad des letzten Ausgangs 4 oder 5.
Der Ausgang, der analysiert wird, um zu bestimmen, ob eine Kante oder eine Ecke erfaßt wird, wird in jeder neuralen Zelle unter Verwendung der oben beschriebenen Verarbeitung erzeugt. Der Beurteilungsausgang wird in die neurale Schichtgruppe zur Integration INT eingegeben, wie in Fig. 14 gezeigt. Die in der neuralen Schichtgruppe INT zu verarbeitenden Daten haben eine höheren Abstraktionsgrad als die in der vorherigen neuralen Schicht.
Die neurale Schichtgruppe INT umfaßt eine Mehrzahl von Verarbeitungssystemen P1 bis Pn, von denen jedes eine Schichtstruktur aufweist, die aus einer Mehrzahl neuraler Schichten besteht. Die Verarbeitungssysteme P1 bis Pn werden z.B. nach der zu erkennenden Figur klassifiziert. Das bedeutet z.B., P1 nimmt an preiecken teil, P2 nimmt an Rechtecken teil, ... Pn nimmt an Figuren mit (n+2) Seiten teil.
Der Ausgang von der neuralen Zelle in der neuralen Schicht vor der neuralen Schichtgruppe zur Integration INT ist das Signal, das das Vorhandensein oder Nichtvorhandensein einer Kante einer zu erkennenden Figur in der neuralen Zelle anzeigt (nachstehend "ES"), und das Signal, das das Vorhandensein einer Ecke anzeigt (nachstehend "CS"). Pseudoecken wie X1 und X2 in Fig. 15 können jedoch auf einer Seite durch Unregelmäßigkeit einer Figur selbst oder Rauschen auch auf einem einfachen Dreieck erzeugt werden.
Bezüglich des Verarbeitungssystems für ein Dreieck wird ein solches falsches Eckensignal entfernt, die ursprünglichen Ecken A, B und C werden hervorgehoben und Koordinatenwerte usw. werden ausgegeben. Fig. 15 kann man sich für ein neurales Netzwerk vorstellen, um die Betonung der Ecken A, B und C und der Pseudoecke zu tilgen.
Das neurale Netzwerk in Fig. 16 umfaßt das Neuron, das der neuralen Zelle NC entspricht. Jedes Neuron ist mit allen neuralen Zellen NC in der nächsten Schicht wie Neuron 21 in Fig. 10 verbunden. Das Gewicht jedes Neurons ist das Maximum für den Eingang seiner entsprechenden neuralen Zelle CS minus dem Gewicht des maximalen Absolutwertes für periphere neurale Zellen seiner entsprechenden neuralen Zelle und je weiter entfernt um so stärker gewichtet. Diese Beziehung wird in der Graphik von Fig. 17 ausgedrückt.
Die auf einer Seite erzeugten Eckensignale der Pseudoecke werden abgeschwächt vnd die der Ecken A, B und C werden hervorgehoben. In Fig. 17 können, obwohl die Beziehung zwischen Abstand und Gewicht ungefähr eine Kurve zweiter Ordnung aufweist, andere monotonisch zunehmende Kurven angenommen werden.
Rosenblatt's "Perceptrons" schlägt die Struktur vor, um das Hervorheben der Kontur eines Zündungsmusters durchzuführen, indem eine Verbindung des Dampfungstyps dem Rückkopplungssystem gegeben wird, die von der Reaktionsschicht zur Vereinigungsschicht ist, aber es gibt keinen Vorschlag, der eine vorwärtskopplungsartige Verbindung des Dämpfungstyps betrifft.
Die Daten, die jedem Verarbeitungssystem der neuralen Schichtgruppe zur Integration INT zu geben sind, sind die abstrahierten in einer neuralen Zelle, das heißt, ein höherer Grad von Daten als die in die neurale Zelle NC eingegebenen Daten. Wenn ein Bildverarbeitungssystem mit der Fähigkeit, Daten von Ecken und Kanten zu abstrahieren, als Eingabesystem benutzt wird, können Daten in eine neurale Schichtgruppe zur Integration INT der neuralen Schichtgruppe eingegeben werden. Wenn Pixeldaten und Merkmaldaten nebeneinander bestehen, kann die Neuronentätigkeit wirksamer sein, indem ein höherer Datenabstraktionsgrad wie Ecke in einem späteren Schritt in die neurale Schicht eingegeben wird. Indem im voraus die Differenz der Abstraktionsgrade zwischen Eingangsdaten und den letztlich auszugebenden Daten berechnet wird, kann eine minimale Zahl neuraler Schichten erlangt werden: nämlich, das erwartete Ziel kann erreicht werden.
Was das die vorliegende Erfindung betreffende Datenverarbeitungssystem angeht, werden aneinander angrenzende Neuronen in festgelegten Teilen nicht kombiniert, wie später mit Verweis auf Fig. 1 bis 4 beschrieben. Die Anzahl von Verbindungen zwischen Neuronen, das heißt, die Anzahl von Synapsen, wird auf das Minimum gebracht.
Fig. 1 (a) zeigt die erste Ausführung. Das Datenverarbeitungssystem in dieser Ausführung umfaßt neurale Zellen NC1 bis NC4 auf der Eingangsseite, das heißt, in der ersten Verarbeitungsstufe, und neurale Schichten L1 bis L4 auf der Ausgangsseite, das heißt, in den späteren Verarbeitungsstufen. Eine neurale Zelle umfaßt eine Mehrzahl neuraler Schichten, wie mit Verweis auf Fig. 9 erklärt, und jede neurale Schicht umfaßt eine Mehrzahl von Neuronen. Ein Neuron in jeder neuralen Schicht ist mit allen Neuronen in angrenzenden neuralen Schichten verbunden, ist aber nicht mit den in anderen neuralen Zellen enthaltenen Neuronen verbunden. Mit anderen Worten, die neuralen Zellen NC1 bis NC4 sind unabhängig und zwischen den neuralen Zellen NC1 bis NC4 werden keine Daten übertragen.
Die neuralen Zellen NC1 bis NC4 sind mit der neuralen Schicht L1 verbunden. Nur aneinandergrenzende Neuronen sind in den neuralen Schichten L1 bis L4 verbunden. Neuronen in den neuralen Zellen NC1 bis NC4 sind nur mit einem Teil der in der neuralen Schicht L1 enthaltenen Neuronen verbunden, und in der neuralen Schicht L1 enthaltene Neuronen sind mit einem Teil der in der neuralen Schicht L2 enthaltenen Neuronen verbunden. Die Anzahl von Verbindungen zwischen den in der neuralen Schicht L1 bzw. L2 enthaltenen Neuronen ist höher als die zwischen den in der neuralen Schicht L1 und den neuralen Zellen NC1 und NC4 enthaltenen Neuronen. In derselben Weise sind die in der neuralen Schicht L2 enthaltenen Neuronen mit einem Teil der in der neuralen Schicht L3 enthaltenen Neuronen verbunden, und die Anzahl von Verbindungen zwischen den in den Schichten L2 bzw. L3 enthaltenen Neuronen ist höher als die zwischen den in den neuralen Schichten L1 bzw. L2 enthaltenen Neuronen. Die in der neuralen Schicht L3 enthaltenen Neuronen sind mit allen in der neuralen Schicht L4 enthaltenen Neuronen verbunden. Die Anzahl von Verbindungen zwischen neuralen Schichten nimmt mit jeder weiteren neuralen Schicht zu.
Eine solche Struktur, wo die Anzahl von Verbindungen mit jeder weiteren neuralen Schicht zunimmt, ist wirkungsvoll, wenn es erforderlich ist, Signale in viele Neuronen in angrenzenden neuralen Schichten einzugeben, z.B. der Fall, wo die verarbeitete und geteilte Information wirksam integriert wird, weil die Beziehung zwischen an weitere Neuronen auszugebenden Daten in späteren Verarbeitungsschritten, die durch weitere neurale Schichten durchgeführt werden, enger wird, obwohl sie in früheren Verarbeitungsschritten der neuralen Schichten nicht eng ist. Die Verbindungen zwischen Neuronen ohne Einfluß auf Daten, die tatsächlich verarbeitet werden, werden weggelassen, und daher ist es möglich, die Anzahl von Verbindungen auf das kleinstmögliche zu bringen, und die Größe des Datenverarbeitungssystems kann folglich reduziert werden.
Fig. 1 (b) zeigt die zweite Ausführung, ein Datenverarbeitungssystem, das keine neuralen Zellen, sondern neurale Schichten L1 bis L6 umfaßt. In der neuralen Schicht L1 enthaltene Neuronen sind mit einem Teil der in der neuralen Schicht L2 enthaltenen Neuronen verbunden. Desgleichen sind in der neuralen Schicht L2 enthaltene Neuronen mit einem Teil der in der neuralen Schicht L3 enthaltenen Neuronen verbunden: die Anzahl von Verbindungen ist höher als die zwischen der neuralen Schicht L1 und L2. In der neuralen Schicht L3 enthaltene Neuronen sind mit einem Teil der in der neuralen Schicht L4 enthaltenen Neuronen verbunden: die Anzahl von Verbindungen ist höher als die der vorherigen. In der neuralen Schicht L4 enthaltene Neuronen sind mit allen in der neuralen Schicht L5 enthaltenen Neuronen verbunden, und in der neuralen Schicht L5 enthaltene Neuronen sind mit allen in der neuralen Schicht L6 enthaltenen Neuronen verbunden.
Auch in diesem Beispiel nimmt die Anzahl von Verbindungen zwischen Neuronen von angrenzenden neuralen Schichten in durch weitere neurale Schichten durchgeführten späteren Verarbeitungsschritten zu.
Die zweite Ausführung ist daher ebenfalls in dem Fall wirkungsvoll, wo die Beziehung zwischen von Neuronen ausgegebenen Daten in späteren Verarbeitungsschritten enger wird. Die Anzahl von Verbindungen kann auf das kleinstmögliche eingeschränkt werden, und die Größe des Datenverarbeitungssystems kann verringert werden, indem die Verbindungen zwischen Neuronen, die an der Datenverarbeitung nicht beteiligt sind, weggel assen werden.
Fig. 1 (c) zeigt die dritte Ausführung. Das Datenverarbeitungssystem gemäß dieser Ausführung umfaßtneurale Zellen NC1 bis NC4 und neurale Schichtew: L1 bis L3. In jeder neuralen Zelle enthaltene Neuronen sind mit einem Teil der in anderen neuralen Zellen enthaltenen Neuronen verbunden, was diese Verbindung von der in Fig. 1 (a) gezeigten Verbindung unterscheidet. Die Neuronen in jeder Zelle sind vollständig von anderen Neuronen in derselben Zelle getrennt, aber mit einem Teil der Neuronen in einer anderen neuralen Zelle verbunden, was aber in einem weiteren Verarbeitungsschritt innerhalb der neuralen Zelle stattfindet: die Anzahl von Verbindungen nimmt in späteren Verarbeitungsschritten zu.
Was die in den neuralen Schichten L1 bis L3 enthaltenen Neuronen betrifft, ist jedes Neuron mit allen in angrenzenden neuralen Schichten enthaltenen Neuronen verbunden.
Indem diese Struktur angenommen wird, kann die Anzahl von Verbindungen auf das kleinstmögliche gesteuert werden, und die Größe des Datenverarbeitungssystems kann verringert werden, indem die Verbindungen zwischen Neuronen, die an der Datenverarbeitung nicht beteiligt sind, weggelassen werden, selbst wenn in einer neuralen Zelle enthalten Neuronen eine gegenseitige Beziehung haben und in einem späteren Verarbeitungsschritt miteinander verbunden werden.
Fig. 2 (a) bis 2 (c) zeigen die Struktur, wo näher an der Ausgangsseite, das heißt, späteren Verarbeitungsschritten, plazierte neurale Schichten eine kleine Zahl von Verbindungen zwischen Neuronen von angrenzenden Schichten haben, das heißt, das Gegenteil der in Fig. 1 (a) bis 1 (c) gezeigten Strukturen.
Fig. 2 (a) zeigt die vierte Ausführung. Das Datenverarbeitungssystem dieser Ausführung umfaßt neurale Schichten L1, bis L4 auf der Eingangsseite und neurale Zellen NC1 bis NC4 auf der Ausgangsseite. Die neurale Zelle umfaßt eine Mehrzahl neuraler Schichten in der derselben Weise wie in der ersten Ausführung gezeigt. Ein Neuron in jeder neuralen Schicht ist mit allen Neuronen in angrenzenden neuralen Schichten verbunden, ist aber nicht mit den Neuronen in anderen neuralen Zellen verbunden.
In den neuralen Schichten L1 bis L4 sind in angrenzenden Schichten enthaltene Neuronen miteinander verbunden. Der letzte Verarbeitungsschritt, neurale Schicht L4, ist mit den neuralen Zellen NC1 bis NC4 verbunden. Jedes in der neuralen Schicht L1 enthaltene Neuron ist mit allen in der neuralen Schicht L2 enthaltenen Neuronen verbunden, deren Neuronen mit einem Teil der in der neuralen Schicht L3 enthaltenen Neuronen verbunden sind. Desgleichen sind die in der neuralen Schicht L3 enthaltenen Neuronen nur mit einem Teil der in der neuralen Schicht L4 enthaltenen Neuronen verbunden. Die Zahl von Verbindungen zwischen jeder neuralen Schicht nimmt in späteren Verarbeitungsschritten ab.
Diese Struktur, wo die Anzahl von Verbindungen in späteren Verarbeitungsschritten abnimmt, ist in dem Fall wirkungsvoll, wo die Beziehung zwischen auszugebenden Daten eng ist, aber in späteren Verarbeitungsschritten weniger wirkungsvoll wird, und es nicht erforderlich ist, Daten in viele Neuronen in angrenzenden neuralen Schichten einzugeben, z.B. in dem Fall, wo viele unabhängige Parameter ausgegeben werden, die weiter in ein getrenntes Steuersystem eingegeben werden. Die Verbindung zwischen Neuronen, die keinen Einfluß auf die Datenverarbeitung haben, wird weggelassen. Die Anzahl von Verbindungen kann folglich auf das kleinstmögliche gesteuert werden, und daher ist es möglich, die Größe des Datenverarbeitungssystems zu verringern.
Fig. 2 (b) zeigt die fünfte Ausführung. Dieses Datenverarbeitungssystem umfaßt keine neuralen Zellen, sondern umfaßt neurale Schichten L1 bis L6. Die Neuronen in der neuralen Schicht L1 sind mit allen Neuronen in der neuralen Schicht L2 verbunden, deren Neuronen mit allen Neuronen in der neuralen Schicht L3 verbunden sind. Die Neuronen in den neuralen Schichten L3, L4 und L5 sind mit einem Teil der Neuronen in den neuralen Schichten L4, L5 bzw. L6 verbunden.
Auch bei dieser Ausführung nimmt die Zahl der Verbindungen zwischen Neuronen von jeweiligen neuralen Schichten in späteren Verarbeitungsschritten ab, und dies ist wirkungsvoll in dem Fall, wo die Beziehung zwischen auszugebenden Daten in späteren Verarbeitungsschritten schwächer wird. Es ist möglich, die Anzahl von Verbindungen auf das Mindestmaß zu steuern und die Größe des Datenverarbeitungssystems zu verringern, indem die Verbindung zwischen Neuronen, die an der Datenverarbeitung nicht beteiligt sind, weggelassen wird. Vergleicht man die Ausführung in Fig 2 (a) mit der vorliegenden Ausführung, so kann die Struktur der vorliegenden Ausführung Parameter trennen, während die Anzahl von Schichten und Synapsen verringert wird, weil die Trennung von unabhängigen Parametern nach und nach durchgeführt wird.
Fig. 2 (c) zeigt die sechste Ausführung. Das Datenverarbeitungssystem dieser Ausführung umfaßt neurale Schichten L1 bis L3 und neurale Zellen NC1 bis NC4. Abweichend von Fig. 2 (a) sind Neuronen in einer neuralen Zelle mit einem Teil der in einer anderen neuralen Zelle enthaltenen Neuronen verbunden. Die Anzahl von Verbindungen nimmt in späteren Schritten und im letzten Schritt ab, sie sind nicht mit in anderen neuralen Zellen enthaltenen Neuronen verbunden. Andererseits ist jedes in den neuralen Schichten L1 bis L3 enthaltene Neuron mit allen in angrenzenden neuralen Schichten enthaltenen Neuronen verbunden.
Wenn Neuronen in einer neuralen Zelle in einem vorangehenden Verarbeitungschritt verbunden werden, kann folglich die Anzahl von Verbindungen auf das mögliche Minimum eingeschränkt werden, und die Größe des Datenverarbeitungssystems kann durch Weglassen der Verbingungen zwischen Neuronen, die nicht an der Datenverarbeitung beteiligt sind, in der gleichen Weise wie bei der in Fig. 2 (b) gezeigten Ausführung verringert werden.
Fig. 3 (a) zeigt die siebte Ausführung. Das Datenverarbeitungssystem dieser Ausführung umfaßt neurale Zellen NC1 bis NC4 auf der Eingangsseite, NC5 bis NCB auf der Ausgangsseite und neurale Schichten L1 bis L5 in der Mitte. Die neuralen Zellen NC1 bis NC8 besitzen dfe gleiche Struktur wie die in der ersten und vierten Ausführung gezeigte. Das heißt, die neuralen Zellen NC1 bis NC4 sind voneinander getrennt, und die darin enthaltenen Neuronen sind nicht mit anderen in anderen neuralen Zellen enthaltenen Neuronen verbunden.
Die neuralen Zellen NC1 bis NC4 sind mit der neuralen Schicht L1 verbunden, und die neuralen Zellen NC5 bis NC8 sind mit der neuralen Schicht L5 verbunden. In den neuralen Schichten L1 bis L5 enthaltene Neuronen sind jeweils mit in angrenzenden Schichten enthaltenen Neuronen verbunden. Neuronen in den neuralen Zellen NC1 bis NC4 sind nur mit einem Teil der in der neuralen Schicht L1 enthaltenen Neuronen verbunden, und in der neuralen Schicht L1 enthaltene Neuronen sind ebenfalls nur mit einem Teil der in der neuralen Schicht L2 enthaltenen Neuronen verbunden. Die Zahl der Verbindungen zwischen den neuralen Schichten L1 und L2 ist hher als die zwischen den neuralen Zellen NC1 bis NC4 und der neuralen Schicht L1. In der gleichen Weise sind in der neuralen Schicht L2 enthaltene Neuronen nur mit einem Teil der in der neuralen Schicht L3 enthaltenen Neuronen verbunden: die Zahl der Verbindungen ist höher als die zwischen den neuralen Schichten L1 und L2. In diesem Fall nimmt die Zahl der Verbindungen zwischen Neuronen in späteren Verarbeitungsschritten zu. Die Zahl der Verbindungen zwischen in den neuralen Schichten L3 und L4 enthaltenen Neuronen ist dieselbe wie die zwischen in den neuralen Schichten L2 und L3 enthaltenen Neuronen. Die Zahl der Verbindungen zwischen in den neuralen Schichten L4 und L5 ist kleiner als die zwischen in den neuralen Schichten L3 und L4 enthaltenen Neuronen. Die Zahl der Verbindungen zwischen in der neuralen Schicht L5 enthaltenen Neuronen und den neuralen Zellen NC5 bis NC8 ist noch kleiner als die zwischen in den neuralen Schichten L4 und L5 enthaltenen Neuronen.
Bei der vorliegenden Ausführung nimmt die Zahl der Verbindungen zwischen Neuronen in der Nachbarschaft der ersten Verarbeitungsstufe in späteren Verarbeitungsstufen zu, und die Zahl der Verbindungen zwischen Neuronen in der Nachbarschaft der letzten Verarbeitungsstufe nimmt in spteren Verarbeitungsstufen ab.
Eine solche Struktur ist in dem Fall wirkungsvoll, wo die Beziehung zwischen von jedem Neuron ausgegebenen Daten in der ersten und letzten Verarbeitungsstufe schwach ist. Die Größe des Datenverarbeitungssystems kann verringert werden, indem die Verbindung zwischen Neuronen, die keinen Einfluß auf die Datenverarbeitung haben, weggelassen wird.
Fig. 3 (b) zeigt die achte Ausführung. Dieses Datenverarbeitungssystem umfaßt keine neuralen Zellen, sondern neurale Schichten L1 bis L8. Neuronen in der neuralen Schicht L1 sind nur mit einem Teil der Neuronen in der neuralen Schicht L2 verbunden. Desgleichen sind in den neuralen Schichten L2 und L3 enthaltene Neuronen mit einem Teil der in den neuralen Schichten L3 bzw. L4 enthaltenen Neuronen verbunden. Die Zahl der Verbindungen zwischen in angrenzenden neuralen Schichten enthaltenen Neuronen nimmt in späteren Verarbeitungsstufen zu, das heißt, von der neuralen Schicht L1 hin zur neuralen Schicht L4. Alle in der neuralen Schicht L4 enthaltenen Neuronen sind mit allen Neuronen in L5 verbunden.
Die in der neuralen Schicht L5 enthaltenen Neuronen sind nur mit einem Teil der Neuronen in L6 verbunden, und die in der neuralen Schicht L6 enthaltenen Neuronen sind nur mit einem Teil der in der neuralen Schicht L7 enthaltenen Neuronen verbunden. Die Zahl der Verbindungen zwischen in den neuralen Schichten L6 bzw. L7 enthaltenen Neuronen nimmt bezug auf die Zahl der Verbindungen zwischen in den neuralen Schichten L5 und L6 enthaltenen Neuronen ab. Ähnlich sind in der neuralen Schicht L7 enthaltene Neuronen nur mit einem Teil der in L8 enthaltenen Neuronen verbunden: die Zahl der Verbindungen ist kleiner als die zwischen in den neuralen Schichten L6 und L7 enthaltenen Neuronen. In späteren Verarbeitungsschritten, die nach der neuralen Schicht L5 geschehen, nimmt die Zahl der Verbindungen in Richtung auf die letzte Verarbeitungsstufe ab.
Bei der in der achten Ausführung gezeigten Struktur wird die Größe des Datenverarbeitungssystems durch Weglassen der Verbindung zwischen Neuronen, die an der Datenverarbeitung nicht beteiligt sind, ebenfalls verringert, falls die Beziehung zwischen von jedem Neuron auszugebenden Daten im ersten und letzten Verarbeitungsschritt schwach ist.
Fig. 3 (c) zeigt die neunte Ausführung. Das in dieser Ausführung gezeigte Datenverarbeitungssystem umfaßt neurale Zellen NC1 bis NC4 auf der Eingangsseite, neurale Zellen NC5 bis NC8 auf der Ausgangsseite und neurale Schichten L1 bis L3 in der Mitte. Die neuralen Zellen NC1 bis NC4 sind mit der neuralen Schicht L1 verbunden, und die neuralen Zellen NC5 bis NC8 sind mit der neuralen Schicht L3 verbunden.
Die in Fig. 3 (c) gezeigten neuralen Zellen unterscheiden sich von den neuralen Zellen der in Fig. 3 (a) gezeigten Ausführung. Die in Fig. 3 (c) gezeigten neuralen Zellen sind mit einem Teil der Neuronen in angrenzenden neuralen Zellen verbunden. Obwohl die Neuronen in den neuralen Zellen NC1 bis NC4 von in anderen neuralen Zellen enthaltenen Neuronen im ersten Schritt vollständig getrennt sind, sind sie mit einem Teil der in anderen neuralen Zellen enthaltenen Neuronen in späteren Verarbeitungsschritten verbunden: die Zahl der Verbindungen nimmt in späteren Verarbeitungsschritten zu. Obwohl Neuronen in den neuralen Zellen NC5 bis NC8 vollkommen von in anderen neuralen Zellen enthaltenen Neuronen im letzten Verarbeitungsschritt getrennt sind, sind sie unterdessen mit einem Teil der in anderen neuralen Zellen enthaltenen Neuronen in vorangehenden Verarbeitungsschritten verbunden: die Zahl der Verbindungen nimmt in Richtung auf vorangehende Verarbeitungsschritte zu.
Jedes in den neuralen Schichten L1 bsi L3 enthaltene Neuron ist mit allen in angrenzenden neuralen Schichten enthaltenen Neuronen verbunden. Jedes in den neuralen Zellen NC1 bis NC4 enthaltene Neuron ist mit allen in der neuralen Schicht L1 enthaltenen Neuronen verbunden, und jedes in den neuralen Zellen NC5 bis NC8 enthaltene Neuron ist mit allen in der neuralen Schicht L3 enthaltenen Neuronen verbunden.
Indem diese Struktur angenommen wird, kann die Größe des Datenverarbeitungssystems durch Weglassen der Verbindungen zwischen nicht an der Datenverarbeitung beteiligten Neuronen verringert werden, wo die Beziehung zwischen Neuronen in späteren Verarbeitungsschritten stärker wird als die, die den neuralen Zellen NC1 bis NC4 entspricht, und wo sie in späteren Verarbeitungsschritten nahe den neuralen Zellen NC5 bis NC8 schwächer wird.
Fig. 4 (a) zeigt die zehnte Ausführung. Das Datenverarbeitungssystem dieser Ausführung umfaßt neurale Schichten L1 bis L3 auf der Eingangsseite, neurale Schichten L4 bis L6 auf der Ausgangsseite und neurale Zellen NC1 bis NC4 in der Mitte. Die neuralen Schichten L3 und L4 sind mit den neuralen Zellen NC1 bis NC4 verbunden.
Die Neuronen in der neuralen Schicht L1 sind mit allen Neuronen in der neuralen Schicht L2 verbunden, deren Neuronen mit nur einem Teil der Neuronen in der neuralen Schicht L3 verbunden sind. Die größte Anzahl von Verbindungen kommt zwischen in den neuralen Schichten L1 bzw. L2 enthaltenen Neuronen vor, und die kleinste Anzahl von Verbindungen kommt zwischen in den neuralen Zellen NC1 bis NC4 enthaltenen Neuronen vor. Die Zahl der Verbindungen zwischen Neuronen nimmt nämlich in späteren Verarbeitungsschritten nahe den neuralen Zellen NC1 bis NC4 ab.
Die Neuronen in den neuralen Zellen NC1 bis NC4 sind nur mit einem Teil der Neuronen in der neuralen Schicht L4 verbunden, deren Neuronen ebenfalls nur mit einem Teil der Neuronen in der neuralen Schicht L5 verbunden sind. Vergleicht man die Zahl ihrer Verbindungen, so ist die Zahl der Verbindungen zwischen in den neuralen Schichten L4 und L5 enthaltenen Neuronen die höchste. Jedes in der neuralen Schicht L5 enthaltene Neuron ist mit allen in der neuralen Schicht L6 enthaltenen Neuronen verbunden. Die Zahl der Verbindungen zwischen Neuronen nimmt in späteren Verarbeitungsschritten von den neuralen Zellen NC1, NC2, NC3 und NC4 zur neuralen Schicht L6 zu.
Die neuralen Zellen NC1 bis NC4 sind wie in der siebten Ausführung gezeigt vollständig voneinandergetrennt. Kein in einer neuralen Zelle enthaltenes Neuron ist mit den in anderen neuralen Zellen enthaltenen Neuronen verbunden.
In der vorliegenden Ausführung ändert sich die Zahl der Verbindungen in den neuralen Schichten in der Mitte in Richtung auf den ersten und den letzten Verarbeitungsschritt.
Die Größe des Datenverarbeitungssystems kann durch Weglassen der Verbindungen zwischen nicht an der Datenverarbeitung beteiligten Neuronen verringert werden, wo die Beziehung zwischen von jedem Neuron auszugebenden Daten in der Mitte schwach ist und in Richtung auf den ersten und den letzten Verarbeitungsschritt stärker wird.
Fig. 4 (b) zeigt die elfte Ausführung. Das in Fig. 4 (b) gezeigte Datenverarbeitungssystem umfaßt keine neurale Zelle, sondern neurale Schichten L1 bis L6. Die in der neuralen Schicht L1 enthaltenen Neuronen sind mit allen in der neuralen Schicht L2 enthaltenen Neuronen verbunden. Die in den neuralen Schichten L2 und L3 enthaltenen Neuronen sind nur mit einem Teil der in den neuralen Schichten L3 bzw. L4 enthaltenen Neuronen verbunden. Die Zahl der Verbindungen nimmt ab, sowie sich der Verarbeitungsschritt L4 nähert.
Die in der neuralen Schicht L4 enthaltenen Neuronen sind nur mit einem Teil der in der neuralen Schicht L5 enthaltenen Neuronen verbunden: die Zahl der Verbindungen ist höher als die zwischen den neuralen Schichten L3 und L4. Die in der neuralen Schicht L5 enthaltenen Neuronen sind mit allen in L6 enthaltenen Neuronen verbunden. Die Zahl der Verbindungen nimmt von der neuralen Schicht L1 und von der neuralen Schicht L4 zur neuralen Schicht L6 zu.
Die Größe des in der elften Ausführung gezeigten Datenverarbeitungssystems kann durch Weglassen der Verbindungen zwischen an der Datenverarbeitung nicht beteiligten Neuronen in dem Fall verringert werden, wo die Beziehung zwischen von jedem Neuron auszugebenden Daten in der Mitte schwach ist und in Richtung auf den ersten und den letzten Verarbeitungsschritt stärker wird.
Fig. 4 (c) zeigt die zwölfte Ausführung. Das in Fig. 4 (c) gezeigte Datenverarbeitungssystem umfaßt neurale Schichten L1 und L2 auf der Eingangsseite, neurale Schichten L3 und L4 auf der Ausgangsseite und neurale Zellen NC1 bis NC4 in der Mitte. Die in der neuralen Schicht L1 enthaltenen Neuronen sind mit allen in der neuralen Schicht L2 enthaltenen Neuronen verbunden, deren Neuronen mit allen in den neuralen Zellen NC1 bis NC4 enthaltenen Neuronen verbunden sind. In derselben Weise sind Neuronen in den neuralen Zellen NC1 bis NC4 mit allen in der neuralen Schicht L3 enthaltenen Neuronen verbunden, deren Neuronen mit allen in der neuralen Schicht L4 enthaltenen Neuronen verbunden sind. Die in den neuralen Zellen NC1 bis NC4 enthaltenen Neuronen sind nur mit einem Teil der in anderen neuralen Zellen enthaltenen Neuronen in einer von der in der Ausführung in Fig. 4 (a) gezeigten Struktur abweichenden Weise verbunden.
Die in den neuralen Zellen NC1 bis NC4 enthaltenen Neuronen sind mit einem Teil der in anderen neuralen Zellen, die näher an der neuralen Schicht L2 liegen, enthaltenen Neuronen verbunden. Die kleinste Zahl von Verbindungen kommt in der Mitte vor: sie nimmmt in Richtung auf die neuralen Schichten L1 bzw. L4 zu.
Indem diese Struktur angenommen wird, ist es möglich, die Größe des Datenverarbeitungssystems durch Weglassen der Verbindungen zwischen nicht an der Datenverarbeitung beteiligten Neuronen und Einschränken der Zahl der Verbindungen auf das mögliche Minimum in dem Fall zu verringern, wo die Beziehung zwischen Neuronen in der Mitte innerhalb der Grenzen der neuralen Zellen NC1 bis NC4 schwach ist.
Es gibt eine andere Möglichkeit, die Ausführung von Fig. 4 (a) zu verwirklichen. Das heißt, Extrahieren der Ausgangsdaten der neuralen Zellen NC1 bis NC4, die in der Mitte eines Datenverarbeitungssystems plaziert sind, und Eingeben derselben in ein anderes neurales Netzwerk.
Fig. 5 zeigt eine Ausführung, bei der neurale Zellen in der Mitte einer Mehrzahl neuraler Netzwerke angeordnet sind. In dieser Abbildung sind die in dem ersten bis dritten neuralen Netzwerk, d.h., den neuralen Netzwerken N1 bis N3, enthaltenen Neuronen mit den Neuronen in der ersten bis dritten neuralen Zelle, d.h., den neuralen Zellen C1 bis C3, verbunden. Die in den neuralen Zellen eins bis drei, d.h., den neuralen Zellen C1 bis C3, enthaltenen Neuronen sind mit dem vierten neuralen Netzwerk N4 verbunden. Bei dieser Ausführung sind die in jedem neuralen Netzwerk enthaltenen Neuronen mit allen in angrenzenden neuralen Schichten enthaltenen Neuronen verbunden. Die neuralen Zellen C1 bis C3 sind nicht miteinander verbunden, und die in den neuralen Zellen C1 bis C3 enthaltenen Neuronen sind nicht mit den in anderen neuralen Zellen enthaltenen Neuronen verbunden. Die Zahl der Verbindungen wird folglich auf das Minimum verringert, und die Datenverarbeitung kann effektiver sein.
Wie oben erwähnt schränkt das erfindungsgemäße Datenverarbeitungssystem die Zahl der Verbindungen zwischen Neuronen ein, da in dem Datenverarbeitungssystem enthaltene Neuronen nicht mit allen in angrenzenden neuralen Schichten enthaltenen Neuronen verbunden sind. Folglich ist es möglich, die Größe des Datenverarbeitungssystems zu verringern.

Claims

1. Datenverarbeitungssystem mit:

einer Vielzahl von Neuronenschichten, von denen jede eine Vielzahl von Neuronen enthält, die sich in einer ersten Schicht, zumindest einer mittleren Schicht und einer letzten Schicht befinden, wobei die erste Schicht Eingangsdaten empfängt und die Eingangsdaten verarbeitet, um ein Verarbeitungsergebnis zumindest an eine mittlere Schicht zu übertragen, wobei jede mittlere Schicht Daten empfängt, die von einer vorhergehenden Schicht verarbeitet wurden und diese Daten verarbeitet, um Daten in Form eines Verarbeitungsergebnisses auszugeben, wobei die letzte Schicht so verbunden ist, daß sie Daten empfängt, die von einer vorhergehenden Schicht verarbeitet wurden, um diese Daten zu verarbeiten und als Ausgangsdaten auszugeben,

wobei eine Vielzahl von Gruppen von Neuronen für jede Neuronenschicht definiert ist und eine Vielzahl von hexagonal geformten Gruppen von neuronalen Zellen, die in einer Vielzahl von neuronalen Schichten enthalten sind, durch die Gruppen definiert werden, wobei die neuronalen Zellen nicht miteinander verbunden sind und jedes Neuron, das in einer neuronalen Zelle vorhanden ist, mit einem Neuron einer angrenzenden Schicht verbunden ist, aber nicht mit Neuronen, die in anderen neuronalen Zellen enthalten sind, und wobei die Anzahl der neuronalen Schichten verringert ist, indem vorher die Differenz des Datenabstraktionsgrades zwischen Eingangsdaten und den schließlich ausgegebenen Daten berechnet wird und wobei zum Minimieren der Anzahl der Verbindungen zwischen Neuronen diejenigen Verbindungen zwischen Neuronen weggelassen werden, die nicht in die Datenverarbeitung mit einbezogen sind, und

wobei die Eingangsdaten Bilddaten darstellen, die in eine Vielzahl von lokalen Bereichen mit hexagonaler Form aufgeteilt sind; und

einer Einrichtung zum Ausführen einer hexagonalen Bildfaltungsverarbeitung zwischen den hexagonalförmigen Eingangsdaten und der Vielzahl von hexagonalen neuronalen Zellen, wobei weiterhin ein neuronales Netzwerk mit einer Vielzahl von Schichten vorgesehen ist, das mit der letzten neuronalen Schicht verbunden ist, um die Ausgangsdaten zu empfangen und um Ergebnisdaten von den Ausgangsdaten zu extrahieren, wobei die Anzahl der Verbindungen zwischen Neuronen, die in angrenzenden Schichten des neuronalen Netzwerks vorhanden sind, in bezug auf eine Referenzschicht zur Eingangsschicht oder zur Ausgangsschicht hin zunehmen oder abnehmen

2. Datenverarbeitungssystem mit:

wobei die Eingangsdaten Bilddäten darstellen, die in eine Vielzahl von lokalen Bereichen mit hexagonaler Form aufgeteilt sind; und

einer Einrichtung zum Ausführen einer hexagonalen Bildfaltungsverarbeitung zwischen den hexagonalförmigen Eingangsdaten und der Vielzahl von hexagonalen neuronalen Zellen, wobei weiterhin ein neuronales Netzwerk mit einer Vielzahl von Schichten vorgesehen ist, das mit der zweiten neuronalen Schicht verbunden ist, um die Eingangsdaten für die erste Schicht zu empfangen, wobei die Anzahl der Verbindungen zwischen Neuronen, die in angrenzenden Schichten des neuronalen Netzwerks vorhanden sind, in bezug auf eine Referenzschicht zur Eingangsschicht oder zur Ausgangsschicht hin zunehmen oder abnehmen.

3. Datenverarbeitungssystem nach Anspruch 1 oder 2, wobei die Anzahl der Verbindungen zwischen Neuronen, die in angrenzenden Schichten des neuronalen Netzwerkes enthalten sind, monoton zunehmen

4. Datenverarbeitungssystem nach Anspruch 1 oder 2, wobei die Anzahl der Verbindungen zwischen Neuronen, die in angrenzenden Schichten des neuronalen Netzwerkes enthalten sind, monoton abnehmen.