DE112016007312T5

DE112016007312T5 - Netzwerk-bildungsvorrichtung und netzwerk-bildungsverfahren

Info

Publication number: DE112016007312T5
Application number: DE112016007312.7T
Authority: DE
Inventors: Toshisada Mariyama; Kunihiko Fukushima; Wataru Matsumoto
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-10-03
Filing date: 2016-10-03
Publication date: 2019-07-04
Also published as: KR20190039329A; TW201814595A; US20190251399A1; KR102027107B1; US11373110B2; TWI643138B; JP6150964B1; CN109804386A; JPWO2018066032A1; WO2018066032A1

Abstract

Eine Elementbildungseinheit (13) vergleicht Ausgabewerte eines oder mehrerer in einer Zwischenschicht (2) enthaltener Elemente, die durch eine Ausgabewert-Berechnungseinheit (12) berechnet wurden, mit einem Schwellenwert, und die Anzahl von in der Zwischenschicht (2) enthaltenen Elementen wird aufrecht erhalten, wenn irgendeiner der Ausgabewerte aus den Ausgabewerten des einen oder der mehreren Elemente, die in der Zwischenschicht (2) enthalten sind, größer als der Schwellenwert ist, und die Anzahl von in der Zwischenschicht (2) enthaltenen Elemente wird erhöht, wenn alle Ausgabewerte des einen oder der mehreren Elemente, die in der Zwischenschicht (2) enthalten sind, gleich dem oder kleiner als der Schwellenwert sind.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Netzwerk-Bildungsvorrichtung und ein Netzwerk-Bildungsverfahren zum Bilden eines Neuronennetzes.
STAND DER TECHNIK
Ein Neuronennetz ist ein Netzwerk, bei dem eine Eingangsschicht, eine Zwischenschicht und eine Ausgangsschicht kaskadenmäßig verbunden sind.
Das Neuronennetz ist eine Art von Annäherungsunktion zum Vorhersagen von Ausgangsdaten entsprechend beliebigen Eingangsdaten, wenn beliebige Eingangsdaten gegeben sind, indem eine Korrelation zwischen Eingangsdaten und Ausgangsdaten vorher gelernt werden.
Eine Struktur eines Neuronennetzes wie die Anzahl von in der Zwischenschicht enthaltenen Elementen wird häufig von einem Designer eines Neuronennetzes manuell bestimmt, aber es ist für einen Designer, der mit dem Neuronennetz nicht vertraut ist, schwierig, die Struktur des Neuronennetzes ordnungsgemäß zu bestimmen.
In dem folgenden Nichtpatentdokument 1 wird ein Netzwerk-Bildungsverfahren zum automatischen Bestimmen einer Struktur eines Neuronennetzes durch Verwendung einer Technik, die als „Add if Silent“ (AiS) bezeichnet wird, offenbart.
Dieses Neuronennetz ist ein Neuronennetz, das visuelle Informationsverarbeitung von Organismen, die als Neocognitron bezeichnet werden, imitiert, und ein in der Zwischenschicht dieses Neuronennetzes enthaltenes Element ist ein Element, dessen Eingabe/Ausgabe-Antwort durch eine normierte lineare Funktion bestimmt wird.
ZITIERUNGSLISTE
NICHTPATENTLITERATUR
Nichtpatentdokument 1: Fukushima, K.: „Artificial vision by multi-layered neural networks: Neocognitron and its advances", Neural Networks, Band 37, Seiten 103 -119 (2013).
KURZFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Da das herkömmliche Netzwerk-Bildungsverfahren wie vorstehend beschrieben konfiguriert ist, kann, wenn das in der Zwischenschicht enthaltene Element ein Element ist, dessen Eingabe/Ausgabe-Antwort durch eine normierte lineare Funktion bestimmt ist, die Anzahl von in der Zwischenschicht und dergleichen enthaltenen Elementen automatisch bestimmt werden. Jedoch ist ein Problem dahingehend aufgetreten, dass in einem Fall, in welchem das in der Zwischenschicht enthaltene Element ein Element ist, dessen Eingabe/Ausgabe-Antwort durch eine gaußsche Funktion bestimmt wird, selbst wenn die als AiS bezeichnete Technik verwendet wird, die Anzahl von in der Zwischenschicht und dergleichen enthaltenen Elementen nicht automatisch bestimmt werden kann.
Die vorliegende Erfindung wurde gemacht, um das vorgenannte Problem zu lösen, und es ist eine Aufgabe, eine Netzwerk-Bildungsvorrichtung und ein Netzwerk-Bildungsverfahren zu erhalten, die in der Lage sind, die Anzahl von in der Zwischenschicht enthaltenen Elementen selbst dann automatisch zu bestimmen, wenn das in der Zwischenschicht enthaltene Element ein Element ist, dessen Eingabe/Ausgabe-Antwort durch eine gaußsche Funktion bestimmt wird.
LÖSUNG DES PROBLEMS
Eine Netzwerk-Bildungsvorrichtung nach der vorliegenden Erfindung ist versehen mit: einer Ausgabewert-Berechnungseinheit zum Berechnen von Ausgabewerten eines oder mehrerer Elemente, die in einer Zwischenschicht eines Neuronennetzes enthalten sind, gemäß einem Ausgabewert eines Elements, das in einer Eingangsschicht des Neuronennetzes enthalten ist, wenn das Neuronennetz enthaltend die Zwischenschicht enthaltend ein Element, dessen Eingabe/Ausgabe-Antwort durch eine gaußsche Funktion bestimmt wird, und eine Elementbildungseinheit vergleicht die Ausgabewerte des einen oder der mehreren Elemente, die durch die Ausgabewert-Berechnungseinheit berechnet wurden, mit einem Schwellenwert, und hält eine Anzahl von Elementen, die in der Zwischenschicht enthalten sind, aufrecht, wenn ein Ausgabewert von irgendeinem der Elemente aus den Ausgabewerten des einen oder der mehreren Elemente, die in der Zwischenschicht enthalten sind, größer als der Schwellenwert ist, und führt eine Elementbildungsverarbeitung des Erhöhens der Anzahl von in der Zwischenschicht enthaltenen Elementen durch, wenn alle Ausgabewerte des einen oder der mehreren Elemente, die in der Zwischenschicht enthalten sind, gleich dem oder kleiner als der Schwellenwert sind.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Gemäß der vorliegenden Erfindung vergleicht die Elementbildungseinheit die Ausgabewerte des einen oder der mehreren Elemente, die von der Ausgabewert-Berechnungseinheit berechnet wurden, mit einem Schwellenwert, und hält eine Anzahl von Elementen, die in der Zwischenschicht enthalten sind, aufrecht, wenn ein Ausgabewert von irgendeinem der Elemente aus den Ausgangswerten des einen oder der mehreren Elemente, die in der Zwischenschicht enthalten sind, größer als der Schwellenwert ist, und führt eine Elementbildungsverarbeitung des Erhöhens der Anzahl von Elementen, die in der Zwischenschicht enthalten sind, durch, wenn alle Ausgabewerte des einen oder der mehreren Elemente, die in der Zwischenschicht enthalten sind, gleich dem oder kleiner als der Schwellenwert sind, so dass die Wirkung erhalten wird, dass die Anzahl von in der Zwischenschicht enthaltenen Elementen automatisch bestimmt werden kann, selbst wenn das in der Zwischenschicht enthaltene Element ein Element ist, dessen Eingabe/Ausgabe-Antwort durch eine gaußsche Funktion bestimmt wird.
Figurenliste

1 ist ein Konfigurationsdiagramm, das eine Netzwerk-Bildungsvorrichtung nach einem ersten Ausführungsbeispiel der vorliegenden Erfindung illustriert.
2 ist ein Hardware-Konfigurationsdiagramm der Netzwerk-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung.
3 ist ein erläuterndes Diagramm, das ein Beispiel für ein Neuronennetz illustriert, bei dem die Netzwerk-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung angewendet wird.
4 ist ein Hardware-Konfigurationsdiagramm eines Computers in einem Fall, in welchem die Netzkwerk-Bildungsvorrichtung durch Software, Firmware oder dergleichen implementiert wird.
5 ist ein Flussdiagramm, das ein Netzwerk-Bildungsverfahren illustriert, das einen Verarbeitungsvorgang in einem Fall, in welchem die Netzwerk-Bildungsvorrichtung durch Software, Firmware oder dergleichen implementiert wird, ist.
6 ist ein Flussdiagramm, das ein Netzwerk-Bildungsverfahren illustriert, das ein Verarbeitungsvorgang in dem Fall, in welchem die Netzwerk-Bildungsvorrichtung durch Software, Firmware oder dergleichen implementiert wird, ist.
7 ist ein erläuterndes Diagramm, das ein Beispiel für ein Neuronennetz illustriert, bei dem eine Netzwerk-Bildungsvorrichtung nach einem zweiten Ausführungsbeispiel der vorliegenden Erfindung angewendet wird.
8 ist ein Flussdiagramm, das ein Netzwerk-Bildungsverfahren illustriert, das ein Verarbeitungsvorgang in einem Fall, in welchem die Netzwerk-Bildungsvorrichtung durch Software, Firmware oder dergleichen implementiert wird, ist.
9 ist ein Konfigurationsdiagramm, das eine Netzwerk-Bildungsvorrichtung nach einem dritten Ausführungsbeispiel der vorliegenden Erfindung illustriert.
10 ist ein Hardware-Konfigurationsdiagramm der Netzwerk-Bildungsvorrichtung nach dem dritten Ausführungsbeispiel der vorliegenden Erfindung.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Nachfolgend werden, um die vorliegende Erfindung im Einzelnen zu erläutern, Ausführungsbeispiele zum Durchführen der vorliegenden Erfindung mit Bezug auf die begleitenden Zeichnungen beschrieben.
In einem Fall, in welchem die Eingabe/Ausgabe-Antwort eines in einer Zwischenschicht eines Neuronennetzes enthaltenen Elements eine normierte lineare Funktion ist, wenn beispielsweise positive Daten, die stark von einem angenommenen Bereich abweichen, in die Zwischenschicht eingegeben werden, wird angenommen, dass große positive Daten von der Zwischenschicht ausgegeben werden. Als ein Ergebnis wird angenommen, dass große positive Daten auch von einer Ausgangsschicht ausgegeben werden.
Somit werden, wenn beispielsweise Daten, die von dem angenommenen Bereich stark abweichen, in die Zwischenschicht eingegeben werden, große positive Daten von der Ausgangsschicht des Neuronennetzes ausgegeben, so dass eine Vorrichtung auf der Ausgangsseite des Neuronennetzes stark beeinträchtigt werden kann.
In einem Fall, in welchem die Eingabe/Ausgabe-Antwort des in der Zwischenschicht des Neuronennetzes enthaltenen Elements eine gaußsche Funktion ist, wenn beispielsweise positive oder negative Daten, die stark von dem angenommenen Bereich abweichen, in die Zwischenschicht eingegeben werden, werden Daten nahe null von der Zwischenschicht ausgegeben. Als eine Folge werden Daten nahe null auch von der Ausgangsschicht ausgegeben.
Somit werden, selbst wenn beispielsweise die Daten, die stark von dem angenommenen Bereich abweichen, in die Zwischenschicht eingegeben werden, die Daten nahe null von der Ausgangsschicht des Neuronennetzes ausgegeben, so dass die Vorrichtung auf der Ausgangsseite des Neuronennetzes einen großen Einfluss vermeiden kann.
Erstes Ausführungsbeispiel
1 ist ein Konfigurationsdiagramm, das eine Netzwerk-Bildungsvorrichtung nach einem ersten Ausführungsbeispiel der vorliegenden Erfindung illustriert, und FIG. ist ein Hardware-Konfigurationsdiagramm der Netzwerk-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung.
3 ist ein erläuterndes Diagramm, das ein Beispiel für ein Neuronennetz illustriert, bei dem die Netzwerk-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung angewendet wird.
In den 1 bis 3 enthält das Neuronennetz eine Eingangsschicht 1, eine Zwischenschicht 2 und eine Ausgangsschicht 3.
Bei dem ersten Ausführungsbeispiel wird als ein Beispiel, bei dem die Anzahl von Zwischenschichten 2 gleich eins ist, beschrieben, und ein Beispiel, bei dem die Anzahl von Zwischenschichten 2 zwei oder mehr ist, wird in einem zweiten Ausführungsbeispiel beschrieben.
Die Eingangsschicht 1 enthält I (I ist eine ganze Zahl gleich oder größer als 1) Elemente a_i(i= 1, ..., I), und beispielsweise M (M ist eine ganze Zahl gleich oder größer als 1) Stücke von Lerndaten x^m=(x₁ ^m, x₂ ^m, ..., x₁ ^m) werden aufeinanderfolgend von einem Sensor oder dergleichen gegeben. Das hochgestellte m stellt m = 1, 2, ..., M dar.
Die Anzahl von Dimensionen der Lerndaten x^m ist I, und x₁ ^m(i = 1, ..., I), die in den Lerndaten x^m enthalten sind, werden als Komponentendaten bezeichnet.
Wenn das i-te Komponentendatenstück x_i ^m(i= 1, ..., I) der Lerndaten X₁ ^m zu dem i-ten Element a_i(i= 1, ..., I) gegeben ist, gibt die Eingangsschicht 1 y₁ = x₁ ^m als einen Ausgabewert des i-ten Elements a_i für das j-te Element b_j(j = 1, ..., J), das in der Zwischenschicht 2 enthalten ist, aus.
Die Zwischenschicht 2 enthält J (J ist eine ganze Zahl gleich oder größer als 1) Elemente b_j(j = 1, ..., J), und das j-te Element b_j ist ein Element, dessen Eingabe/Ausgabe-Antwort durch eine gaußsche Funktion bestimmt wird.
Jedoch wird bei dem ersten Ausführungsbeispiel zur Vereinfachung der Beschreibung angenommen, dass die Anzahl von Elementen, die in der Zwischenschicht 2 enthalten sind, vor der Bildung des Netzwerks durch die Netzwerk-Bildungsvorrichtung gleich null ist. Dies ist lediglich ein Beispiel, und die Zwischenschicht 2 kann sogar vor der Bildung des Netzwerks durch die Netzwerk-Bildungsvorrichtung ein oder mehrere Elemente enthalten.
Wenn der Ausgabewert y_i (i = 1, .., I) der I Elemente a_i, die in der Eingangsschicht 1 enthalten sind, zu dem j-ten Element b_j gegeben wird, berechnet die Zwischenschicht 2 einen Ausgabewert z_j (j = 1, ..., J) des j-ten Elements b_j anhand des Ausgabewerts y_i der I Elemente a_i, und gibt den Ausgabewert z_j des Elements b_j zu der Ausgangsschicht 3 aus.
Die Ausgangsschicht 3 enthält ein Element c, und das Element c berechnet beispielsweise eine Summe von Produkten der Ausgangswerte z_j (j = 1, ..., J) der J Elemente b_j, die in der Zwischenschicht 2 enthalten sind, und einem Gewicht v_j (j = 1, ..., J) zwischen der Zwischenschicht 2 und der Ausgangsschicht 3, und gibt die Summe aus.
3 illustriert ein Beispiel, bei dem die Anzahl der Elemente c, die in der Ausgangsschicht 3 enthalten sind, gleich eins ist; jedoch können mehrere Elemente c enthalten sein.
Eine Anfangssetzeinheit 11 wird beispielsweise durch eine Anfangssetzschaltung 21 in 2 implementiert.
Die Anfangssetzeinheit 11 führt eine Verarbeitung des Initialisierens von Parametern der auf das Element b_j bezogenen gaußschen Funktion für jedes in der Zwischenschicht 2 enthaltene Element durch.
Die Anfangssetzeinheit 11 initialisiert als die Parameter der gaußschen Funktion beispielsweise einen Standardabweichungswert σ_ij einer gaußschen Verteilung, einen Mittenkoordinate µ_ij der gaußschen Funktion und ein Gewicht W_i,j zwischen dem i-ten Element a_i, das in der Eingangsschicht 1 enthalten ist, und dem j-ten Element b_j, das in der Zwischenschicht 2 enthalten ist.
Der Standardabweichungswert σ_ij der gaußschen Verteilung ist ein Standardabweichungswert von beispielsweise den Ausgabewerten y_i (i = 1, ..., I) der I-Elemente a_i für das j-te Element b_j, das in der Zwischenschicht 2 enthalten ist.
Die Mittenkoordinate µ_i,j der gaußschen Funktion ist eine Komponente der Mitte des j-ten Elements b_j, das in der Zwischenschicht 2 enthalten ist.
Eine Ausgabewert-Berechnungseinheit 12 wird beispielsweise durch eine Ausgabewert-Berechnungsschaltung 22 in 2 implementiert.
Als anfängliche Werte der Parameter der gaußschen Funktion sind der Standardabweichungswert σ_i,j der gaußschen Verteilung, die Mittenkoordinate µ_i,j der gaußschen Funktion und das Gewicht W_i,j von der Anfangssetzeinheit 11 zu der Ausgabewert-Berechnungseinheit 12 gegeben.
Die Ausgabewert-Berechnungseinheit 12 führt eine Bearbeitung des Berechnens des Ausgabewerts z_j (j = 1, ..., J) des j-ten Elements b_j durch Substituieren beispielsweise der Ausgabewerte y_i (i = 1, ..., I) der I-Elemente a_i, die in der Eingangsschicht 1 enthalten sind, in die gaußsche Funktion mit den Anfangswerten der Parameter, die von der Anfangssetzeinheit 11 gegeben sind.
Eine Elementbildungseinheit 13 wird beispielsweise durch eine Elementbildungsschaltung 23 in 2 implementiert.
Die Elementbildungseinheit 13 vergleicht die Ausgabewerte z_j (J = 1, ..., J) der J Elemente b_j, die von der Ausgabewert-Berechnungseinheit 12 berechnet wurden, mit einem vorher gesetzten Schwellenwert Th, und hält die Anzahl von Elementen b_j, die in der Zwischenschicht 2 enthalten sind, aufrecht, wenn der Ausgabewert z_j jedes der Elemente b_j der Ausgabewerte z_j der in der Zwischenschicht 2 enthaltenen J Elemente b_j größer als der Schwellenwert Th ist.
Zusätzlich führt, wenn alle Ausgabewerten z_j der J Elemente b_j gleich dem oder kleiner als der Schwellenwert Th sind, die Elementbildungseinheit 13 eine Elementbildungsverarbeitung des Erhöhens der Anzahl von Elementen b_j, die in der Zwischenschicht 2 enthalten sind, durch.
Eine Datenspeichereinheit 14 wird beispielsweise durch eine Datenspeicherschaltung 24 in 2 implementiert.
Die Datenspeichereinheit 14 speichert die Parameter der gaußschen Funktion, die auf das Element b_j sind und durch die Anfangssetzeinheit 11 initialisiert wurden, und den Ausgabewert z_j des Elements b_j, der durch die Ausgabewert-Berechnungseinheit 12 berechnet wurde, zusätzlich zu der Anzahl J der in der Zwischenschicht 2 enthaltenen Elemente b_j.
Eine Parameteraktualisierungseinheit 15 wird beispielsweise durch eine Parameteraktualisierungsschaltung 25 in 2 implementiert.
Die Parameteraktualisierungseinheit 15 aktualisiert das Gewicht v_j zwischen dem in der Zwischenschicht 2 enthaltenen j-ten Element b_j und dem in der Ausgangsschicht 3 enthaltenen Element c, und die in der Datenspeichereinheit 14 gespeicherten Parameter der gaußschen Funktion, indem ein überwachtes Lernen zum Lernen der Parameter der gaußschen Funktion durchgeführt wird, wenn die Lerndaten zu der Eingabeschicht 1 gegeben werden, nachdem die Elementbildungsverarbeitung durch die Elementbildungseinheit 13 durchgeführt wurde.
Zusätzlich führt die Parameteraktualisierungseinheit 15 eine Verarbeitung des Aktualisierens des Gewichts W_i,j zwischen dem in der Eingangsschicht 1 enthaltenen i-ten Element a_i und dem in der Zwischenschicht 2 enthaltenen j-ten Element b_j durch, indem das überwachte Lernen durchgeführt wird.
In 1 wird eine Netzwerk-Bildungsvorrichtung angenommen, bei der die Anfangssetzeinheit 11, die Ausgabewert-Berechnungseinheit 12, die Elementbildungseinheit 13, die Datenspeichereinheit 14 und die Parameteraktualisierungseinheit 5, die Komponenten der Netzwerk-Bildungsvorrichtung sind, jeweils durch dedizierte Hardwareschaltungen implementiert sind, die die Anfangssetzschaltung 21, die Ausgabewert-Berechnungsschaltung 22, die Elementbildungsschaltung 23, die Datenspeicherschaltung 24 und die Parameteraktualisierungsschaltung 25 sind, wie in 2 illustriert ist.
Hier enthalten Beispiele für die Datenspeichereinheit 24 einen nichtflüchtigen oder flüchtigen Halbleiterspeicher wie einen Speicher mit wahlfreiem Zugriff (RAM), einen Festwertspeicher (ROM), einen Flashspeicher, einen löschbaren programmierbaren Festwertspeicher (EPROM) und einen elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM); eine magnetische Disk, eine flexible Disk, eine optische Disk, eine Kompaktdisk, eine Minidisk, eine Digital Versatile Disc (DVD), und dergleichen.
Zusätzlich enthalten Beispiele für die Anfangssetzschaltung 21, die Ausgabewert-Berechnungsschaltung 22, die Elementbildungsschaltung 23 und die Parameteraktualisierungsschaltung 25 eine Einzelschaltung, eine zusammengesetzte Schaltung, einen programmierten Prozessor, einen parallel programmierten Prozessor, eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate Array (FPGA) oder eine Kombination von diesen.
Jedoch sind die Komponenten der Netzwerk-Bildungsvorrichtung nicht auf die durch dedizierte Hardware implementierten beschränkt, und die Netzwerk-Bildungsschaltung kann durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert sein.
Software und Firmware werden als Programme in einem Speicher eines Computers gespeichert. Der Computer bedeutet Hardware zum Ausführen eines Programms, und seine Beispiele enthalten eine zentrale Verarbeitungseinheit (CPU), eine zentrale Verarbeitungsvorrichtung, eine Verarbeitungsvorrichtung, eine arithmetische Vorrichtung, einen Mikroprozessor, einen Mikrocomputer, einen Prozessor, einen digitalen Signalprozessor (DSP) und dergleichen.
4 ist ein Hardware-Konfigurationsdiagramm eines Computers in einem Fall, in welchem die Netzwerk-Bildungsvorrichtung durch Software, Firmware oder dergleichen implementiert wird.
In dem Fall, in welchem die Netzwerk-Bildungsvorrichtungen durch Software, Firmware oder dergleichen implementiert wird, ist es ausreichend, dass die Datenspeichereinheit 14 in einem Speicher 31 des Computers konfiguriert ist, und ein Programm zum bewirken, dass der Computer Verarbeitungsvorgänge der Anfangssetzeinheit 11, der Ausgabewert-Berechnungseinheit 12, der Elementbildungseinheit 13 und der Parameteraktualisierungseinheit 15 ausführt, ist in dem Speicher 31 gespeichert, und ein Prozessor 32 des Computers führt das in dem Speicher 31 gespeicherte Programm aus.
Die 5 und 6 sind Flussdiagramme, die jeweils ein Netzwerk-Bildungsverfahren illustrieren, das ein Verarbeitungsvorgang in dem Fall ist, in welchem die Netzwerk-Bildungsvorrichtungen durch Software, Firmware oder dergleichen implementiert wird.
Zusätzlich illustriert 2 ein Beispiel, in welchem jede der Komponenten der Netzwerk-Bildungsvorrichtung durch dedizierte Hardware implementiert ist, und 4 illustriert ein Beispiel, in welchem die Netzwerk-Bildungsvorrichtung durch Software, Firmware oder dergleichen implementiert ist; jedoch können einige Komponenten der Bildungsvorrichtung durch dedizierte Hardware implementiert sein und die verbleibenden Komponenten können durch Software, Firmware oder dergleichen implementiert sein.
Als nächstes wird die Arbeitsweise beschrieben.
Verarbeitungsinhalte der Netzwerk-Bildungsvorrichtung nach dem ersten Ausführungsbeispiel werden grob in zwei Verarbeitungsinhalte geteilt.
Ein erster Verarbeitungsinhalt ist ein Verarbeitungsinhalt zum Bestimmen einer Struktur der Zwischenschicht 2, das heißt, ein Verarbeitungsinhalt zum Bestimmen der Anzahl J der in der Zwischenschicht 2 enthaltenen Elemente b_j und zum Initialisieren der Parameter der auf das Element b_j bezogenen gaußschen Funktion (Schritt ST1 in 5).
Ein zweiter Verarbeitungsinhalt ist ein Verarbeitungsinhalt zum Aktualisieren der initialisierten Parameter der gaußschen Funktion und des Gewichts W_i,j zwischen dem i-ten Element a_i, das in der Eingangsschicht 1 enthalten ist, und dem j-ten Element b_j, das in der Zwischenschicht 2 enthalten ist, indem das überwachte Lernen durchgeführt wird (Schritt ST2 in 5).
Nachfolgend wird der erste Verarbeitungsinhalt mit Bezug auf 6 spezifisch beschrieben.
Bei dem ersten Ausführungsbeispiel wird angenommen, dass ein anfänglicher Wert der Anzahl J der in der Zwischenschicht 2 enthaltenen Elemente b_j gleich Null ist.
Bei der Durchführung des ersten Verarbeitungsinhalts bestimmt die Elementbildungseinheit 13, ob das Element b_j in der Zwischenschicht 2 enthalten ist oder nicht.
Das heißt, die Elementbildungseinheit 13 bestimmt, ob die Anzahl J der in der Zwischenschicht 2 enthaltenen b_j gleich Null ist oder nicht (Schritt ST11 in 6).
Wenn bestimmt wird, dass die Anzahl J der in der Zwischenschicht enthaltenen Elemente b_j gleich Null ist (Schritt ST11 in 6: JA), fügt die Elementbildungseinheit 13 ein Element b_j in der Zwischenschicht 2 neu hinzu. Das heißt, die Elementbildungseinheit 13 schafft ein Element b₁ in der Zwischenschicht 2 (Schritt ST12 in 6).
Wenn bestimmt wird, dass die Anzahl J der in der Zwischenschicht 2 enthalten Elemente b_j nicht gleich Null ist (ST11 in 6: NEIN), führt in dieser Stufe die Elementbildungseinheit 13 keine Verarbeitung des Hinzufügens des neuen Elements b_j zu der Zwischenschicht 2 hin durch. Bei dem ersten Ausführungsbeispiel schafft, da der Anfangswert der Anzahl J der in der Zwischenschicht 2 enthaltenen Elemente b_j auf Null gesetzt ist, die Elementbildungseinheit 13 hier das Element b₁ in der Zwischenschicht 2.
Wenn die Elementbildungseinheit 13 das Element b₁ in der Zwischenschicht 2 schafft, bestimmt die Anfangssetzeinheit 11, ob alle der M Stücke von Lerndaten x^m = (x₁ ^m, x₂ ^m, ..., x_I ^m) bereits erworben wurden oder nicht (Schritt ST13 in 6).
Wenn die M Stücke von Lerndaten x^m bereits erworben wurden (Schritt ST13 in 6: JA), beendet die Anfangssetzeinheit 11 den ersten Verarbeitungsinhalt zum Bestimmen der Struktur der Zwischenschicht 2.
Wenn die M Stücke von Lerndaten x^m noch nicht erworben wurden (Schritt ST13 in 6: NEIN), erwirbt die Anfangssetzeinheit 11 die Lerndaten x^m, die noch nicht erworben wurden (Schritt ST14 in 6).
Bei dem ersten Ausführungsbeispiel erwirbt, da die M Stücke von Lerndaten x^m in dieser Stufe noch nicht erworben wurden, die Anfangssetzeinheit M erste Lerndaten x¹ = (x₁ ¹, x₂ ¹, ..., x_I ¹) als die Lerndaten x^m, die noch nicht erworben wurden.
Wenn die ersten Lerndaten x¹ = (x₁ ¹, x₂ ¹, ..., x_I ¹) erworben sind, initialisiert die Anfangssetzeinheit 11 Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b₁ bezogen sind, von einem Ausgabewert y_i = x_i ¹ des i-ten Elements a_i, das in der Eingangsschicht 1 enthalten ist (ST15 in 6).
Das heißt, die Anfangssetzeinheit 11 initialisiert einen Standardabweichungswert σ_i,1 (i = 1, ..., I) der gaußschen Verteilung als einen der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b₁ bezogen ist.
Der Standardabweichungswert σ_i,1 der gaußschen Verteilung ist ein Standardabweichungswert der Ausgabewerte y_i = x_i ¹ der I Elemente a_i für das in der Zwischenschicht 2 Element b₁, und wird anhand der Ausgabewerte y_i = x_i ¹ der I Elemente a_i, die in der Eingangsschicht 1 enthalten sind, berechnet. Da die Verarbeitung des Berechnens des Standardabweichungswerts a_i,1 selbst eine bekannt Technik ist, wird eine detaillierte Beschreibung hiervon weggelassen.
Zusätzlich initialisiert die Anfangssetzeinheit 11 eine Mittenkoordinate µ_i,1 (i = 1, ..., I) der gaußschen Funktion als einen der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b₁ bezogen ist.
Die Mittenkoordinate µ_i,1 der gaußschen Funktion ist der Ausgabewert y_i = x_i ¹ des in der Eingabeschicht 1 enthaltenen i-ten Elements a_i, wie in dem folgenden Ausdruck (1) angezeigt ist. $μ_{i,1} = x_{i}^{1}$
Weiterhin initialisiert die Anfangssetzeinheit ein Gewicht w_i,1(i = 1, ..., I) zwischen dem in der Eingangsschicht 1 enthaltenen i-ten Element a_i und dem in der Zwischenschicht 2 enthaltenen Element b₁ als einen der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b₁ bezogen ist, wie in dem folgenden Ausdruck (2) angezeigt ist. $W_{i,1} = 1$
Hier wird ein Beispiel beschrieben, in welchem das Gewicht W_i,1 auf 1 gesetzt ist; jedoch ist dies lediglich ein Beispiel und ein anderer Wert als 1 kann gesetzt werden.
Wenn die Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b₁ bezogen ist, initialisiert sind, gibt die Anfangssetzeinheit 11 die Anfangswerte der Parameter zu der Ausgabewert-Berechnungseinheit 12 aus und speichert die Anfangswerte der Parameter in der Datenspeichereinheit 14.
Die Ausgabewert-Berechnungseinheit 12 erwirbt die Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b₁ bezogen ist, von der Anfangssetzeinheit 11.
Zusätzlich erwirbt die Ausgabewert-Berechnungseinheit 12 die ersten Lerndaten x¹ = (x₁ ¹, x₂ ¹, ..., x_I ¹).
Wenn die ersten Lerndaten x¹ erworben sind, berechnet die Ausgabewert-Berechnungseinheit 12 einen Ausgabewert z₁ des in der Zwischenschicht 2 enthaltenen Elements b₁ (Schritt ST16 in 6).
Das heißt, die Ausgabewert-Berechnungseinheit 12 berechnet den Ausgabewert z₁ des in der Zwischenschicht 2 enthaltenen Elements b₁ durch Substituieren der Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Elemente b₁ bezogen ist, und des Ausgabewerts y_i = x_i ¹ der in der Eingangsschicht 1 enthaltenen I Elemente a_i zu der in dem folgenden Ausdruck (3) anzeigten gaußschen Funktion. $z_{1} = e x p (- \sum_{i = 1}^{I} \frac{{(W_{i,1} y_{i} - μ_{i,1})}^{2}}{σ_{i,1}^{2}})$
Wenn der Ausgabewert z1 des in der Zwischenschicht 2 enthaltenen Elements b1 berechnet ist, gibt die Ausgabewert-Berechnungseinheit 12 den Ausgabewert z1 des Elements b₁ zu der Elementbildungseinheit 13 aus und speichert den Ausgabewert z₁ des Elements b₁ in der Datenspeichereinheit 14.
Wenn der Ausgabewert z₁ des Elements b₁ von der Ausgabewert-Berechnungseinheit 12 empfangen ist, vergleich die Elementbildungseinheit 13 den Ausgabewert z₁ des Elements b₁ mit dem vorher gesetzten Schwellenwert Th (Schritt ST17 in 6).
Da der Ausgabewert z₁ des Elements b₁ maximal 1 ist, ist, als der Schwellenwert Th, eine positive reelle Zahl gleich oder kleiner als 1 oder eine positive reelle Zahl gleich oder größer als e^-0,25 und gleich oder kleiner als 1 denkbar.
Wenn der Ausgabewert z₁ des Elements b₁, das in der Zwischenschicht 2 enthalten ist, größer als der Schwellenwert Th (Schritt ST17 in 6: NEIN), hält die Elementbildungseinheit 13 die Anzahl J (J = 1) der in der Zwischenschicht 2 enthaltenen Elemente. Wenn der Ausgabewert z₁ des in der Zwischenschicht 2 enthaltenen Elements b₁ größer als der Schwellenwert Th ist, kann gesagt werden, dass das in der Zwischenschicht 2 enthaltene Element b₁ ein Element entsprechend einem Ausgabewert y₁ eines in der Eingangsschicht 1 enthaltenen Elements a₁ ist. Das heißt, es kann gesagt werden, dass das in der Zwischenschicht 2 enthaltene Element b₁ ein Element ist, das die Mittenkoordinate der gaußschen Verteilung in der gaußschen Funktion darstellt. Aus diesem Grund besteht keine Notwendigkeit, ein neues Element b₂ zu der Zwischenschicht 2 hinzuzufügen, so dass die Elementbildungseinheit 13 die die Anzahl J (J = 1) der in der Zwischenschicht 2 enthaltenen Element aufrecht erhält.
Wenn der Ausgabewert z₁ des in der Zwischenschicht 2 enthaltenen Elements b₁ gleich dem oder kleiner als der Schwellenwert Th ist (Schritt ST17 in 6: JA), fügt die Elementbildungseinheit 13 das neue Element b₂ zu der Zwischenschicht 2 hinzu, so dass die Anzahl der in der Zwischenschicht 2 enthaltenen Elemente erhöht wird (ST18 in 6). Wenn der Ausgabewert z₁ des Elements b₁, das in der Zwischenschicht 2 enthalten ist, gleich dem oder kleiner als der Schwellenwert Th ist, kann nicht gesagt werden, dass das Element b₁, das in der Zwischenschicht 2 enthalten ist, das dem Ausgabewert y₁ des in der Eingangsschicht 1 enthaltenen Elements a₁ entsprechende Element ist. Aus diesem Grundfügt die Elementbildungseinheit 13 der Zwischenschicht 2 das neue Element b₂ hinzu.
Bei dem ersten Ausführungsbeispiel ist zur Vereinfachung der Beschreibung der Ausgabewert z₁ des in der Zwischenschicht 2 enthaltenen Elements b₁ gleich dem oder kleiner als der Schwellenwert Th, so dass das neue Element b₂ zu der Zwischenschicht 2 hinzugefügt wird.
Wenn die Elementbildungseinheit 13 das neue Element b₂ zu der Zwischenschicht 2 hinzufügt, oder die Anzahl J der in der Zwischenschicht 2 enthaltenen Elemente aufrechterhält, bestimmt die Anfangssetzeinheit 11, ob sämtliche der M Stücke von Lerndaten x^m = (x₁ ^m, x₂ ^m, ..., x_I ^m) bereits erworben wurden oder nicht (Schritt ST13 in 6).
Wenn die M Stücke von Lerndaten x^m bereits erworben wurden (Schritt ST13 in 6: JA), beendet die Anfangssetzeinheit 11 den ersten Verarbeitungsinhalt zum Bestimmen der Struktur der Zwischenschicht 2.
Wenn die M Stücke von Lerndaten x^m noch nicht erworben wurden (Schritt ST13 in 6: NEIN), erwirbt die Anfangssetzeinheit 11 die Lerndaten x^m, die noch nicht erworben wurden (ST14 von 6).
Bei dem ersten Ausführungsbeispiel erwirbt, da die M Stücke von Lerndaten x^m in dieser Stufe noch nicht erworben wurden, die Anfangssetzeinheit 11 zweite Lerndaten x² = (x₁ ², x₂ ², ..., x_I ²) als die Lerndaten x^m, die noch nicht erworben wurden.
Wenn die zweiten Lerndaten x²= (x₁ ², x₂ ², ..., x_I ²) erworben sind, initialisiert die Anfangssetzeinheit 11 die Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ und b₂ bezogen ist, anhand des Ausgabewerts y_i = x_i ² des in der Eingangsschicht 1 enthaltenen i-ten Elements a_i (Schritt ST15 in 6).
Das heißt, die Anfangssetzeinheit 11 berechnet den Standardabweichungswert σ_i,j (i = 1, ..., I: j = 1, 2) der gaußschen Verteilung anhand der Ausgabewerte y_i = x_i ² der in der Eingangsschicht 1 enthaltenen I Elemente a_i als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ und b₂ bezogen ist.
Zusätzlich initialisiert die Anfangssetzeinheit 11 den Ausgabewert y_j = x_i ² des in der Eingangsschicht 1 enthaltenen i-ten Elements a_i zu der Mittenkoordinate µ_i,j (i = 1, ..., I: j= 1, 2) der gaußschen Funktion als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ und b₂ bezogen ist, wie in dem folgenden Ausdruck (4) angezeigt ist. $μ_{i, j} = x_{i}^{2}$
Weiterhin initialisiert die Anfangssetzeinheit 11 das Gewicht W_i,j zwischen dem in der Eingangsschicht 1 enthaltenen i-ten Element a_i (i = 1, ..., I) und dem in der Zwischenschicht 2 enthaltenen j-ten Element b_j (j= 1, 2) als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ und b₂ bezogen ist, wie in der folgenden Gleichung (5) angezeigt. $W_{i, j} = 1$
Hier wird ein Beispiel beschrieben, in welchem das Gewicht W_i,j auf 1 gesetzt ist; jedoch ist dies lediglich ein Beispiel und ein anderer Wert als 1 kann gesetzt werden.
Wenn die Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ und b₂ bezogen ist, initialisiert sind, gibt die Anfangssetzeinheit 11 die Anfangswerte der Parameter zu der Ausgabewert-Berechnungseinheit 12 aus und speichert die Anfangswerte der Parameter in der Datenspeichereinheit 14.
Die Ausgabewert-Berechnungseinheit 12 erwirbt die Anfangswerte der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b1 und b2 bezogen ist, von der Anfangssetzeinheit 11.
Zusätzlich erwirbt die Ausgabewert-Berechnungseinheit 12 die zweiten Lerndaten x² = (x1², x2²,..., xi2).
Wenn die zweiten Lerndaten x² erworben sind, berechnet die Ausgabewert-Berechnungseinheit 12 den Ausgabewert z₁ des in der Zwischenschicht 2 enthaltenen Elements b₁ (Schritt ST16 in 6).
Das heißt, die Ausgabewert-Berechnungseinheit 12 berechnet den Ausgabewert z₁ des in der in der Zwischenschicht 2 enthaltenen Elements b₁ durch Substituieren der anfänglichen Werte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b₁ bezogen ist, und die Ausgabewerte y_i = x_i ² der I Elemente a_i, die in der Eingangsschicht 1 enthalten sind, zu der in dem folgenden Ausdruck (6) angezeigten gaußschen Funktion.
Die Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b₁ bezogen ist, sind der Standardabweichungswert σ_i,1 (i = 1, ..., I) der gaußschen Verteilung, die Mittenkoordinate µ_i,1 (i = 1,..., I) und das Gewicht W_i,1 (i = 1, ..., I).
Zusätzlich berechnet die Ausgabewert-Berechnungseinheit 12 einen Ausgabewert z₂ des in der Zwischenschicht 2 enthaltenen Elements b₂ durch Substituieren der Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht enthaltene Element b₂ bezogen ist, und die Ausgabewerte y_i = x_i ² der in der Eingangsschicht 1 enthaltenen I Elemente a_i zu der gaußschen Funktion, die in dem folgenden Ausdruck (6) angezeigt ist.
Die Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene b₂ bezogen ist, sind ein Standardabweichungswert σ_i,2 (i = 1, ..., I) der gaußschen Verteilung, eine Mittenkoordinate µ_i,2 (i = 1, ..., I) der gaußschen Funktion und ein Gewicht W_i,2 (i = 1, ..., I). $z_{j} = e x p (- \sum_{i = 1}^{I} \frac{{(W_{i, j} y_{i} - μ_{i, j})}^{2}}{σ_{i, j}^{2}})$
Hier sind in dem Ausdruck (6) I = 1, ..., I, und j = 1, 2.
Wenn der Ausgabewert z₁ des Elements b₁ und der Ausgabewert z₂ des Elements b₂, die in der Zwischenschicht 2 enthalten sind, berechnet werden, gibt die Ausgabewert-Berechnungseinheit 12 die Ausgabewerte z₁ und z₂ der Elemente b₁ und b₂ zu der Elementbildungseinheit 13 aus und speichert die Ausgabewerte z₁ und z₂ der Elemente b₁ und b₂ in der Datenspeichereinheit 14.
Wenn die Ausgabewerte z₁ und z₂ der Elemente b₁ und b₂ von der Ausgabewert-Berechnungseinheit 12 empfangen sind, vergleicht die Elementbildungseinheit 13 die Ausgabewerte z₁ und z₂ der Elemente b₁ und b₂ mit dem Schwellenwert Th (Schritt ST17 in 6).
Wenn irgendeiner der Ausgabewerte z₁ und z₂ der Elemente b₁ und b₂ die in der Zwischenschicht 2 enthalten sind, größer als der Schwellenwert Th ist (Schritt ST17 in 6: NEIN), hält die Elementbildungseinheit 13 die Anzahl J (J = 2) der in der Zwischenschicht 2 enthaltene Elemente aufrecht. Wenn jeder der Ausgabewerte z₁ und z₂ der Elemente b₁ und b₂, die in der Zwischenschicht 2 enthalten sind, größer als der Schwellenwert Th ist, kann gesagt werden, dass ein Element, dessen Ausgabewert größer als der Schwellenwert Th ist, ein Element entsprechend dem Ausgabewert eines in der Eingangsschicht 1 enthalten Elements ist. Aus diesem Grund besteht keine Notwendigkeit, ein neues Element b₃ zu der Zwischenschicht 2 hinzuzufügen, so dass die Elementbildungseinheit 13 die Anzahl J (J = 2) der in der Zwischenschicht 2 enthaltenen Elemente aufrechterhält.
Wenn alle Ausgabewerte z₁ und z₂ der in der Zwischenschicht 2 enthaltenen Elemente b₁ und b₂ gleich dem oder kleiner als der Schwellenwert Th sind (Schritt ST17 in 6: JA), fügt die Elementbildungseinheit 13 der Zwischenschicht 2 das neue Element b₃ hinzu, so dass die Anzahl der in der Zwischenschicht 2 enthaltenen Elemente erhöht wird (Schritt ST18 in 6). Wenn alle Ausgabewerte z₁ und z₂ der in der Zwischenschicht 2 enthaltenen Elemente b₁ und b₂ gleich dem oder kleiner als der Schwellenwert Th sind, kann nicht gesagt werden, dass jedes in der Zwischenschicht 2 enthaltene Element ein Element entsprechend dem Ausgabewert eines in der Eingangsschicht 1 enthaltenen Elements ist. Aus diesem Grund fügt die Elementbildungseinheit 13 der Zwischenschicht 2 das neue Element b₃ das neue Element hinzu.
Bei dem ersten Ausführungsbeispiel sind zur Vereinfachung der Beschreibung alle Ausgabewerte z₁ und z₂ der Elemente b₁ und b₂, die in der Zwischenschicht 2 enthalten sind, gleich dem oder kleiner als der Schwellenwert Th, so dass das neue Element b₂ der Zwischenschicht 2 hinzugefügt wird.
Nachfolgend wird die Beschreibung unter der Annahme gegeben, dass die Anzahl von Elementen, die gegenwärtig in der Zwischenschicht 2 enthalten sind, gleich groß J (J ≥ 3) ist.
Wenn die Elementbildungseinheit 13 der Zwischenschicht 2 ein neues Element hinzufügt oder die Anzahl J der in der Zwischenschicht 2 enthaltenen Element aufrechterhält, bestimmt die Anfangssetzeinheit 11, ob sämtliche der M Stück von Lerndaten x^m (x₁ ^m, x₂ ^m, ..., x_I ^m) bereits erworben wurden oder nicht (Schritt ST13 in 6).
Wenn die M Stücke von Lerndaten x^m bereits erworben wurden (Schritt ST13 in 6: JA), beendet die Anfangssetzeinheit 11 den ersten Verarbeitungsinhalt zum Bestimmen der Struktur der Zwischenschicht 2.
Wenn die M Stücke von Lerndaten x^m noch nicht erworben wurden (Schritt ST13 von 6: NEIN), erwirbt die Anfangssetzeinheit 11 die Lerndaten x^m, die noch nicht erworben wurden (Schritt ST14 von 6).
Wenn beispielsweise die m-ten Lerndaten x^m der M Stücke von Lerndaten x^m noch nicht erworben wurden, erwirbt die Anfangssetzeinheit 11 die m-ten Lerndaten x^m.
Wenn die m-ten Lerndaten x^m erworben sind, initialisiert die Anfangssetzeinheit 11 die Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J bezogen ist, anhand des Ausgabewerts y_i = x_i ^m des in der Eingangsschicht 1 enthaltenen i-ten Elements a_i (Schritt ST15 in 6).
Das heißt, die Anfangssetzeinheit 11 berechnet den Standardabweichungswert σ_i,j (i = 1, ..., I: j = 1, ..., J) der gaußschen Verteilung anhand der Ausgabewerte y_i = x_i ^m der in der Eingangsschicht 1 enthaltenen I Elemente a_i als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J bezogen ist.
Zusätzlich initialisiert die Anfangssetzeinheit 11 den Ausgabewert y_i = x_i ^m des in der Eingangsschicht 1 enthaltenen i-ten Elements a_i zu der Mittenkoordinate µ_i,j der gaußschen Funktion als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J bezogen ist, wie in dem Ausdruck (4) angezeigt ist.
Weiterhin initialisiert die Anfangssetzeinheit 11 das Gewicht W_i,j zwischen dem i-ten Element a_i (i = 1, ..., J), das in der Eingangsschicht 1 enthalten ist, und dem j-ten Element b_j (j = 1, ..., J), das in der Zwischenschicht 2 enthalten ist, als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J bezogen ist, wie in dem Ausdruck (5) angezeigt ist.
Hier wird ein Beispiel beschrieben, in welchem das Gewicht W_i,j auf 1 gesetzt ist; jedoch ist dies lediglich ein Beispiel und ein anderer Wert als 1 kann gesetzt werden.
Wenn die Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J bezogen ist, initialisiert sind, gibt die Anfangssetzeinheit 11 die Anfangswerte der Parameter zu der Ausgabewert-Berechnungseinheit 12 aus und speichert die Anfangswerte der Parameter in der Datenspeichereinheit 14.
Die Ausgabewert-Berechnungseinheit 12 erwirbt die Anfangswerte der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J bezogen ist, von der Anfangssetzeinheit 11.
Zusätzlich erwirbt die Ausgabewert-Berechnungseinheit 12 die m-ten Lerndaten X^m = (x₁ ^m, x₂ ^m ..., x_I ^m).
Wenn die m-ten Lerndaten x^m = (x₁ ^m, x₂ ^m, ..., x_I ^m) erworben sind, berechnet die Ausgabewert-Berechnungseinheit 12 die Ausgabewerte z₁ bis z_J der in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J (Schritt ST16 in 6). Das heißt, die Ausgabewert-Berechnungseinheit 12 berechnet den Ausgabewert z_j (j = 1, ..., J) des in der Zwischenschicht 2 enthaltenen Elements b_j durch Substituieren der Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b_j (j = 1, ..., J) bezogen ist, und der Ausgabewerte y_i = x_i ^m der in der Eingangsschicht 1 enthaltenen I Elemente a_i zu der in dem Ausdruck (6) angezeigten gaußschen Funktion.
Die Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2 enthaltene Element b_j bezogen ist, sind der Standardabweichungswert σ_i,j (i = 1, ..., I: j = 1, ..., J) der gaußschen Verteilung, die Mittenkoordinate µ_i,j (i = 1, ..., I: j = 1, ..., J) der gaußschen Funktion und das Gewicht W_i,j (i = 1, ..., I:j = 1, ..., J).
Wenn die Ausgabewerte z₁ bis z_J der in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J berechnet werden, gibt die Ausgabewert-Berechnungseinheit 12 die Ausgabewerte z₁ bis z_J der Elemente b₁ bis b_J zu der Elementbildungseinheit 13 aus und speichert die Ausgabewerte z₁ bis z_J der Elemente b₁ bis b_J in der Datenspeichereinheit 14.
Wenn die Ausgabewerte z₁ bis z_J der Elemente b₁ bis b_J von der Ausgabewert-Berechnungseinheit 12 empfangen sind, vergleich die Elementbildungseinheit 13 die Ausgabewerte z₁ bis z_J der Elemente b₁ bis b_J mit dem Schwellenwert Th (Schritt ST17 in 6).
Wenn irgendeiner der Ausgabewerte z₁ bis z_J der in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J größer als der Schwellenwert Th ist (Schritt ST17 in 6: NEIN), hält die Elementbildungseinheit 13 die Anzahl j der in der Zwischenschicht 2 enthaltenen Elemente aufrecht.
Wenn alle Ausgabewerte z₁ bis z_J der in der Zwischenschicht 2 enthaltenen Elemente b₁ bis b_J gleich dem oder kleiner als der Schwellenwert Th sind (Schritt ST17 in 6: JA), fügt die Elementbildungseinheit 13 ein neues Element zu der Zwischenschicht 2 hinzu, so dass die Anzahl von in der Zwischenschicht 2 enthaltenen Elementen erhöht wird (Schritt ST18 in 6).
Die Verarbeitung der Schritt ST13 bis ST18 wird wiederholt durchgeführt, bis sämtliche der M Stücke von Lerndaten x^m erworben sind, und wenn in der Bestimmungsverarbeitung des Schritts ST13 „JA“ bestimmt wird, wird der erste Verarbeitungsinhalt beendet.
Nachdem der erste Verarbeitungsinhalt beendet ist, führt die Parameteraktualisierungseinheit 15 den zweiten Verarbeitungsinhalt durch.
Das heißt, die Parameteraktualisierungseinheit 15 aktualisiert die Parameter der gaußschen Funktion, die in der Datenspeichereinheit 14 gespeichert sind, und das Gewicht v_j zwischen dem in der Zwischenschicht 2 enthaltenen j-ten Element b_j und dem in der Ausgangsschicht 3 enthaltenen Element c, indem ein überwachtes Lernen zum Lernen der Parameter der gaußschen Funktion, die in der Speichereinheit 14 gespeichert sind, durchgeführt wird, das heißt, die Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen J Elemente b_j (j = 1, ..., J) bezogen ist, jedes Mal, wenn die M Stücke von Lerndaten x^m = (x₁ ^m, x₂ ^m, ..., x_I ^m) aufeinander folgend gegeben werden, nachdem der erste Verarbeitungsinhalt beendet ist.
Zusätzlich aktualisiert die Parameteraktualisierungseinheit 15 das Gewicht W_i,j zwischen dem in der Eingangsschicht 1 enthaltenen i-ten Element a_i und dem in der Zwischenschicht 2 enthaltenen j-ten Element b_j, indem das überwachte Lernen durchgeführt wird.
Da überwachtes Lernen selbst eine bekannte Technik ist, wird eine detaillierte Beschreibung weggelassen, aber beispielsweise kann überwachtes Lernen durch Verwendung eines bekannten Rückfortpflanzungsverfahrens durchgeführt werden.
Es ist zu beachten, dass die Parameteraktualisierungseinheit 15 alle Parameter in der gaußschen Funktion aktualisieren kann, aber sie kann auch nur einige Parameter in der gaußschen Funktion aktualisieren.
Beispielsweise kann ein Verfahren A betrachtet werden, in welchem aus dem Standardabweichungswert σ_i,j der gaußschen Verteilung, der Mittenkoordinate µ_i,j der gaußschen Funktion und dem Gewicht W_i,j die Mittenkoordinate µ_i,j der gaußschen Funktion fixiert ist und der Standardabweichungswert σ_i,j und das Gewicht W_i,kj aktualisiert werden.
Zusätzlich kann ein Verfahren B betrachtet werden, bei dem der Standardabweichungswert σ_i,j der gaußschen Verteilung fixiert ist und die Mittenkoordinate µ_i,j der gaußschen Funktion und das Gewicht W_i,j aktualisiert werden, und ein Verfahren C kann betrachtet werden, bei dem das Gewicht W_i,j fixiert ist und der Standardabweichungswert σ_i,j der gaußschen Verteilung und die Mittenkoordinate µ_i,j der gaußschen Funktion aktualisiert werden.
Wie aus der vorstehenden Beschreibung ersichtlich ist, vergleicht gemäß dem ersten Ausführungsbeispiel die Elementbildungseinheit 13 den Ausgabewert z_j von einem oder mehreren Elementen b_j, die in der Zwischenschicht 2 enthalten sind, der von der Ausgabewert-Berechnungseinheit 12 berechnet wurde, und des Schwellenwerts Th, und hält die Anzahl von Elementen b_j, die in der Zwischenschicht 2 enthalten sind, aufrecht, wenn jeder der Ausgabewerte z_j aus den Ausgabewerten z_j des einen oder der mehreren Elemente b_j, die in der Zwischenschicht 2 enthalten sind, größer als der Schwellenwert Th ist und erhöht die Anzahl von Elementen b_j, die in der Zwischenschicht 2 enthalten sind, wenn sämtliche der Ausgabewerte z_j des einen oder der mehreren Elemente b_j, die in der Zwischenschicht 2 enthalten sind, gleich dem oder kleiner als der Schwellenwert Th sind, so dass die Wirkung besteht, dass die Anzahl von in der Zwischenschicht 2 enthaltenen Elementen b_j des Neuronennetzes selbst dann automatisch bestimmt werden kann, wenn das in der Zwischenschicht 2 des Neuronennetzes enthaltene Element b_j ein Element ist, dessen Eingabe/Ausgabe-Antwort durch die gaußsche Funktion bestimmt wird.
Zweites Ausführungsbeispiel
In dem ersten Ausführungsbeispiel wird ein Beispiel beschrieben, bei dem die Anzahl von Zwischenschichten 2, die in dem Neuronennetz enthalten sind, gleich eins ist.
In diesem zweiten Ausführungsbeispiel wird ein Beispiel beschrieben, in welchem die Anzahl von Zwischenschichten 2, die in dem Neuronennetz enthalten sind, gleich zwei oder mehr sind.
7 ist ein erläuterndes Diagramm, das ein Beispiel für ein Neuronennetz illustriert, bei dem eine Netzwerk-Bildungsvorrichtung nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung angewendet wird. In 7 wird, da die gleichen Bezugszahlen wie diejenigen in 3 die gleichen oder entsprechenden Teile bezeichnen, die Beschreibung von diesen weggelassen.
Zwischenschichten 2-1 bis 2-G sind zwischen der Eingangsschicht 1 und der Ausgangsschicht 3 kaskadenmäßig verbunden.
Die g-te Zwischenschicht 2-g (g = 1, 2, ... G) enthält J (J ist eine ganze Zahl gleich oder größer als 1) Elemente b_j ^g (j = 1, 2, ..., J)und das j-te Element b_j ^g ist ein Element, dessen Eingabe/Ausgabe-Antwort durch eine gaußsche Funktion bestimmt wird.
Wenn die Ausgabewerte y_i = x_i ^m der I-Elemente a_i, die in der Eingangsschicht 1 enthalten sind, zu dem j-ten Element b_j ¹ gegeben werden, ähnlich wie bei der Zwischenschicht 2 in 3, berechnet die erste Zwischenschicht 2-1 einen Ausgabewert z_j ^m des j-ten Elements b_j ^m aus den Ausgabewerten y_i der I Elemente a_i und gibt den Ausgangswert z_j ^m des Elements b_j ^m zu der zweiten Zwischenschicht 2-2 aus.
Wenn die Ausgabewerte z_j ^g-1 aller Elemente b_j ^g-1, die in der (g-1)-ten Zwischenschicht 2-(g - 1) enthalten sind, zu dem j-ten Element b_j ^g gegeben werden, berechnet die g-te Zwischenschicht 2-g (g = 2, 3, ..., G-1) den Ausgabewert z_j ^g des j-ten Elements b_j ^g aus den Ausgabewerten z_j ^g-1 aller Elemente b_j ^g-1 und gibt den Ausgabewert z_j ^g des Elements b_j ^g zu der G-ten Zwischenschicht 2-G aus.
Wenn die Ausgabewerte z_j ^G-1 aller Elemente b_j ^G-1, die in der (G-1)-ten Zwischenschicht 2-(G - 1) enthalten sind, zu dem j-ten Element b_j ^G gegeben werden, berechnet die G-te Zwischenschicht 2-G den Ausgabewert z_j ^G des j-ten Elements b_j ^G aus den Ausgabewerten z_j ^G-1 aller Elemente b_j ^G-1 und gibt den Ausgabewert des z_j ^G des Elements b_j ^G zu der Ausgabeschicht 3 aus.
In 7 ist, obgleich die Anzahlen der Elementen, die in den Zwischenschichten 2-1 bis 2-G enthalten sind, sämtlich als einander gleich illustriert sind, es selbstverständlich, dass die Anzahlen von Elementen, die in den Zwischenschichten 2-1 bis 2-G enthalten sind, als voneinander verschieden in Abhängigkeit von der Arbeitsweise der später beschriebenen Elementbildungseinheit 13 bestimmt sein können.
Als nächstes wird die Arbeitsweise beschrieben.
Bei dem ersten Ausführungsbeispiel wurde ein Beispiel beschrieben, bei dem die Struktur der Zwischenschicht 2 bestimmt wird, bevor das überwachte Lernen durchgeführt wird; jedoch wird bei dem zweiten Ausführungsbeispiel ein Beispiel beschrieben, bei dem Strukturen der Zwischenschichten 2-1 bis 2-G bestimmt werden, bevor das überwachte Lernen durchgeführt wird.
Bei dem zweiten Ausführungsbeispiel wird die Struktur der Zwischenschicht 2-g in Reihenfolge von der Zwischenschicht 2-g (g = 1, 2, ..., G) auf der Seite der Eingangsschicht 1 aus den Zwischenschichten 2-1 bis 2-G bestimmt.
8 ist ein Flussdiagramm, das ein Netzwerk-Bildungsverfahren illustriert, das ein Verarbeitungsvorgang in dem Fall ist, in welchem die Netzwerk-Bildungsvorrichtung durch Software, Firmware oder dergleichen implementiert wird.
Die Verarbeitung des Bestimmens der Struktur der Zwischenschicht 2-1 aus den Zwischenschichten 2-1 bis 2-G, die der Seite der Eingangsschicht 1 am nächsten ist, ist die gleiche wie die Verarbeitung des Bestimmens der Struktur der Zwischenschicht 2 in 3, so dass die Beschreibung hiervon weggelassen wird.
Nachfolgend werden mit Bezug auf 8 die Verarbeitungsinhalte des Bestimmens der Struktur der Zwischenschicht 2-g (g = 2, 3, ..., G) beschrieben.
Bei dem zweiten Ausführungsbeispiel wird angenommen, dass ein anfänglicher Wert der Anzahl J von in der Zwischenschicht 2-g enthaltenen Elemente b_j ^g gleich Null ist.
Zusätzlich wird angenommen, dass die Anzahl J der in der Zwischenschicht 2-(g - 1) enthaltenen Elemente b_j ^g-1 bereits als K bestimmt wurde und der Ausgabewert z_k ^g-1 des l-ten Elements b_k ^g-1 (k = 1, ..., K), das in der Zwischenschicht 2-(g - 1) enthalten ist, berechnet wurde.
Bei der Ausführung des ersten Verarbeitungsinhalts bestimmt die Elementbildungseinheit 13, ob das Element b_j ^g in der Zwischenschicht 2-g enthalten ist oder nicht.
Das heißt, die Elementbildungseinheit 13 bestimmt, ob die Anzahl J der Elemente b_j ^g, die in der Zwischenschicht 2-g enthalten sind, gleich Null ist oder nicht (Schritt ST21 in 8).
Wenn bestimmt wird, dass die Anzahl J der Elemente b_j ^g, die in der Zwischenschicht 2-g enthalten sind, gleich Null ist (Schritt ST21 in 8: JA), fügt die Elementbildungseinheit 13 ein Element b_j ^g in der Zwischenschicht 2-g neu hinzu. Das heißt, die Elementbildungseinheit 13 schafft ein Element b₁ ^g in der Zwischenschicht 2-g (Schritt ST22 in 8).
Wenn bestimmt wird, dass die Anzahl J der Elemente b_j ^g, die in der Zwischenschicht 2-g enthalten sind, nicht gleich Null ist (Schritt ST21 in 8: NEIN), führt in dieser Stufe die Elementbildungseinheit 13 keine Verarbeitung des Hinzufügens des neuen Elements b_j ^g in der Zwischenschicht 2-g durch. bei dem zweiten Ausführungsbeispiel schafft, da der Anfangswert der Anzahl J der in der Zwischenschicht 2-g enthaltenen Elemente b_j ^g auf Null gesetzt ist, die Elementbildungseinheit 13 hier das Element b₁ ^g in der Zwischenschicht 2-g.
Wenn die Elementbildungseinheit 13 das Element b₁ ^g in der Zwischenschicht 2-g schafft, bestimmt die Anfangssetzeinheit 11, ob oder nicht die M Stücke von Lerndaten x^m = (x₁ ^m, x₂ ^m, ..., x_I ^m) (m = 1, ..., M) zu der Eingangsschicht 1 gegeben wurden, und Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g - 1) enthalten sind, auf der Grundlage der M -ten Lerndaten x^M erworben wurden (Schritt ST23 in 8).
wenn die Ausgabewerte z_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g - 1) enthalten sind, auf der Grundlage der M-ten Lerndaten x^M erworben wurden (Schritt ST23) in 8: JA), beendet die Anfangssetzeinheit den ersten Verarbeitungsinhalt für die Bestimmung der Struktur der Zwischenschicht 2-g.
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der unmittelbar vorhergehenden Mittelschicht 2-(g - 1) enthalten sind, auf der Grundlage der M-ten Lerndaten x^M noch nicht erworben wurden, Schritt ST23 in 8: NEIN), erwirbt die Anfangssetzeinheit 11 die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der unmittelbar vorhergehenden Zwischenschicht 2-(g - 1) enthalten sind, die noch nicht erworben wurden (Schritt ST24 in 8).
Bei dem zweiten Ausführungsbeispiel erwirbt, da die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der ersten Lerndaten x¹ in dieser Stufe nicht erworben wurden, die Anfangssetzeinheit 11 die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der unmittelbar vorhergehenden Zwischenschicht 2-(g - 1) enthalten sind, auf der Grundlage der ersten Lerndaten x¹.
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der unmittelbar vorhergehenden Zwischenschicht 2-(g - 1) enthalten sind, auf der Grundlage der ersten Lerndaten x¹ erworben sind, initialisiert die Anfangssetzeinheit 11 die Parameter der gaußschen Funktion, die auf das Element b₁ ^g, das in der Zwischenschicht 2-g enthalten ist, bezogen ist, aus den Ausgabewerten z_k ^g-1 der K Elemente b_k ^g-1, die in der Zwischenschicht 2-(g - 1) enthalten sind (Schritt ST25 in 8).
Das heißt, die Anfangssetzeinheit berechnet einen Standardabweichungswert σ_k,1 ^g (k = 1, ...K) der gaußschen Verteilung aus den Ausgabewerten z_k ^g-1 der K Elemente b_k ^g-1, die in der Zwischenschicht 2-(g - 1) enthalten sind, als einen der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b₁ ^g bezogen ist.
Zusätzlich initialisiert die Anfangssetzeinheit 11 eine Mittenkoordinate µ_k,1 ^g (k = 1, ..., K) der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b_k ^g-1 bezogen ist.
Die Mittenkoordinate µ_k,1 ^g der gaußschen Funktion ist der Ausgabewert z_k ^g-1 des k-ten Elements b_k ^g-1, das in der Zwischenschicht 2-(g - 1) enthalten ist, wie in dem folgenden Ausdruck (7) angezeigt ist, $μ_{k,1}^{g} = z_{k}^{g - 1}$
Weiterhin initialisiert die Anfangssetzeinheit 11 ein Gewicht W_k,1 ^g zwischen den k-ten Element b_k ^g-1, das in der Zwischenschicht 2(g - 1) enthalten ist, und das Element b₁ ^g, das in der Zwischenschicht 2-g enthalten ist, als einen der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b₁ ^g gezogen ist, wie in dem folgenden Ausdruck (8) angezeigt ist.
W_k,1 ^g = 1
Hier wird ein Beispiel beschrieben, in welchem das Gewicht W_k,1 ^g auf 1 gesetzt ist; jedoch ist dies lediglich ein Beispiel, und ein anderer Wert als 1 kann gesetzt werden.
Wenn die Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b₁ ^g bezogen ist, initialisiert werden, gibt die Anfangssetzeinheit 11 die anfänglichen Werte der Parameter zu der Ausgabewert-Berechnungseinheit 12 aus und speichert die anfänglichen Werte der Parameter in der Datenspeichereinheit 14.
Die Ausgabewert-Berechnungseinheit 12 erwirbt die anfänglichen Werte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b₁ ^g bezogen ist, von der Anfangssetzeinheit 11.
Zusätzlich erwirbt die Ausgabewert-Berechnungseinheit 12 die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der unmittelbar vorhergehenden Zwischenschicht 2-(g - 1) enthalten sind, auf der Grundlage der ersten Lerndaten x¹.
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der ersten Lerndaten x¹ erworben sind, berechnet die Ausgabewert-Berechnungseinheit 12 einen Ausgabewert z₁ ^g des in der Zwischenschicht 2-g enthaltenen Elements b₁ ^g (Schritt ST26 in 8)
Das heißt, die Ausgabewert-Berechnungseinheit 12 berechnet den Ausgabewert z₁ ^g des in der Zwischenschicht 2-g enthaltenen Elements b₁ ^g durch Substituieren der Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b₁ ^g bezogen ist, und der Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, das in der Zwischenschicht 2-(g-1) enthalten ist, zu der in dem folgenden Ausdruck (9) angezeigten gaußschen Funktion. $z_{1}^{g} = e x p (- \sum_{k = 1}^{K} \frac{{(W_{k,1}^{g} z_{k}^{g - 1} - μ_{k,1}^{g})}^{2}}{{(σ_{k,1}^{g})}^{2}})$
Wenn der Ausgabewert z₁ ^g des in der Zwischenschicht 2-g enthaltenen Elements b₁ ^g berechnet ist, gibt die Ausgabewert-Berechnungseinheit 12 den Ausgabewert z₁ ^g des Elements b₁ ^g an die Elementbildungseinheit 13 aus und speichert den Ausgabewert z₁ ^g des Elements b₁ ^g in der Datenspeichereinheit 14.
Wenn der Ausgabewert z₁ ^g des Elements b₁ ^g von der Ausgabewert-Berechnungseinheit 12 empfangen ist, vergleicht die Elementbildungseinheit 13 den Ausgabewert z₁ ^g des Elements b₁ ^g mit dem vorher gesetzten Schwellenwert Th (Schritt ST27 in 8).
Da der Ausgabewert z₁ ^g des Elements b₁ ^g maximal 1 ist, ist als der Schwellenwert Th eine positive reelle Zahl gleich oder kleiner als 1 oder eine positive reelle Zahl gleich oder größer als e^-0,25 und gleich oder kleiner als 1 denkbar.
Wenn der Ausgabewert z₁ ^g des in der Zwischenschicht 2-g enthaltenen Elements b₁ ^g größer als der Schwellenwert Th ist (Schritt ST27 in 8: NEIN), hält die Elementbildungseinheit 13 die Anzahl J (J = 1) der in der Zwischenschicht 2-g enthaltenen Elemente aufrecht.
Wenn der Ausgabewert z₁ ^g des in der Zwischenschicht 2-g enthaltenen Elements b₁ ^g gleich dem oder kleiner als der Schwellenwert Th ist (Schritt ST27 in 8: JA), fügt die Elementbildungseinheit 13 ein neues Element b₂ ^g zu der Zwischenschicht 2-g hinzu, so dass die Anzahl von in der Zwischenschicht 2-g enthaltenen Elementen erhöht wird (Schritt ST28 in 8).
Bei dem zweiten Ausführungsbeispiel ist zur Vereinfachung der Beschreibung der in der Zwischenschicht 2-g enthaltene Ausgabewert z₁ ^g des Elements b₁ ^g gleich dem oder kleiner als der Schwellenwert Th, so dass das neue Element b₂ ^g zu der Zwischenschicht 2-g hinzugefügt wird.
Wenn die Elementbildungseinheit 13 das neue Element b₂ ^g zu der Zwischenschicht 2-g hinzufügt oder die Anzahl J der in der Zwischenschicht 2-g enthaltenen Elemente aufrechterhält, bestimmt die Anfangssetzeinheit 11, ob die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der M-ten Lerndaten x^M bereits erworben wurden oder nicht (Schritt ST23 in 8).
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der M-ten Lerndaten x^M bereits erworben wurden (Schritt ST23 in 8: JA), beendet die Anfangssetzeinheit 11 den ersten Verarbeitungsinhalt zum Bestimmen der Struktur der Zwischenschicht 2.
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der M-ten Lerndaten x^M noch nicht erworben wurden (Schritt ST23 in 8: NEIN), erwirbt die Anfangssetzeinheit 11 die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, die noch nicht erworben wurden (Schritt ST24 in 8).
Bei dem zweiten Ausführungsbeispiel erwirbt, da die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Schicht 2-(g-1) enthalten sind, auf der Grundlage der zweiten Lerndaten x² in dieser Stufe nicht erworben wurden, die Anfangssetzeinheit 11 die Ausgabewert z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der zweiten Lerndaten x².
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Schicht 2-(g-1) enthalten sind, auf der Grundlage der zweiten Lerndaten x² erworben sind, initialisiert die Anfangssetzeinheit 11 die Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g und b₂ ^g bezogen ist, anhand der Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Schicht 2-(g-1) enthalten sind, auf der Grundlage der zweiten Lerndaten x² (Schritt ST25 in 8).
Das heißt, die Anfangssetzeinheit 11 berechnet einen Standardabweichungswert σ_k,j ^g (k = 1, ..., K: j = 1, 2) der gaußschen Verteilung anhand der Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der Zwischenschicht 2-(g-1) enthalten sind, als einen der Parameter der gaußschen Funktion, die auf die Elemente b₁ ^g und b₂ ^g, die in der Zwischenschicht 2-g enthalten sind, bezogen ist.
Zusätzlich initialisiert die Anfangssetzeinheit 11 den Ausgabewert z_k ^g-1 des k-ten Elements b_k ^g-1 das in der Zwischenschicht 2-(g-1) enthalten ist, zu einer Mittenkoordinate µ_k,j ^g (k = 1, ..., K: j = 1, 2) der gaußschen Funktion als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b_i ^g und b₂ ^g bezogen ist, wie in dem folgenden Ausdruck (10) angezeigt ist: $μ_{k, j}^{g} = z_{k}^{g - 1}$
Weiterhin initialisiert die Anfangssetzeinheit 11 ein Gewicht W_k,j ^g (k = 1, ... , K: J = 1, 2) zwischen dem in der Zwischenschicht 2-(g-1) enthaltenen k-ten Element b_k ^g-1 und dem in der Zwischenschicht 2-g enthaltenen j-ten Element b_j ^g (j = 1, 2) als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g und b₂ ^g bezogen ist, wie in dem folgenden Ausdruck (11) angezeigt ist: $W_{k, j}^{g} = 1$
Hier ist ein Beispiel beschrieben, in welchem W_k,j ^g auf 1 gesetzt ist; jedoch ist dies lediglich ein Beispiel, und ein anderer Wert als 1 kann gesetzt werden.
Wenn die Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g und b₂ ^g bezogen ist, initialisiert sind, gibt die Anfangssetzeinheit 11 die Anfangswerte der Parameter an die Ausgabewert-Berechnungseinheit 12 aus und speichert die Anfangswerte der Parameter in der Datenspeichereinheit 14.
Die Ausgabewert-Berechnungseinheit 12 erwirbt die Anfangswerte der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g und b₂ ^g bezogen ist, von der Anfangssetzeinheit 11.
Zusätzlich erwirbt die Ausgabewert-Berechnungseinheit 12 die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der zweiten Lerndaten x².
Wenn die Ausgabewerte z_k ^g-1 der in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthaltenen K Elemente b_k ^g-1 auf der Grundlage der zweiten Lerndaten x² erworben sind, berechnet die Ausgabewert-Berechnungseinheit 12 den Ausgabewert z₁ ^g des Elements b₁ ^g und einen Ausgabewert z₂ ^g des in der Zwischenschicht 2-g enthaltenen Elements b₂ ^g (Schritt ST26 in 8).
Das heißt, die Ausgabewert-Berechnungseinheit 12 berechnet den Ausgabewert z₁ ^g des in der Zwischenschicht 2-g enthaltenen Elements b₁ ^g durch Substituieren der Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b₁ ^g bezogen ist, und der Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der Zwischenschicht 2-(g-1) enthalten sind, in die in dem folgenden Ausdruck (12) angezeigte gaußsche Funktion.
Die Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b₁ ^g bezogen ist, sind der Standardabweichungswert σ_k,1 ^g (k = 1, ..., K) der gaußschen Verteilung, die Mittenkoordinate µ_k,1 ^g (k = 1, ..., K) der gaußschen Funktion und das Gewicht W_k,1 ^g (k = 1, ..., K).
Zusätzlich berechnet die Ausgabewert-Berechnungseinheit 12 den Ausgabewert z₂ ^g des Elements b₂ ^g, das in der Zwischenschicht 2-g enthalten ist, durch Substituieren der Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b₂ ^g bezogen ist, und der Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der Zwischenschicht 2-(g-1) enthalten sind, in die in dem folgenden Ausdruck (12) angezeigte gaußsche Funktion.
Die Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b₂ ^g bezogen ist, sind ein Standardabweichungswert σ_ak,2 ^g (k = 1, ..., K) der gaußschen Verteilung, ein Mittenwert µ_k,2 ^g (k = 1, ..., K) der gaußschen Funktion und ein Gewicht W_k,2 ^g (k = 1, ..., K). $z_{j}^{g} = e x p (- \sum_{k = 1}^{K} \frac{{(W_{k, j}^{g} y_{k}^{g - 1} - μ_{k, j}^{g})}^{2}}{{(σ_{k, j}^{g})}^{2}})$
Hier ist j = 1, 2 in dem Ausdruck (12).
Wenn der Ausgabewert z₁ ^g des Elements b₁ ^g und der Ausgabewert z₂ ^g des Elements b₂ ^g, das in der Zwischenschicht 2-g enthalten ist, berechnet sind, gibt die Ausgabewert-Berechnungseinheit 12 die Ausgabewerte z₁ ^g und z₂ ^g der Elemente b₁ ^g und b₂ ^g an die Elementbildungseinheit 13 aus und speichert die Ausgabewerte z₁ ^g und z₂ ^g der Elemente b₁ ^g und b₂ ^g in der Datenspeichereinheit 14.
Wenn die Ausgabewerte z₁ ^g und z₂ ^g der Elemente b₁ ^g und b₂ ^g von der Ausgabewert-Berechnungseinheit empfangen sind, vergleicht die Elementbildungseinheit 13 die Ausgabewerte z₁ ^g und z₂ ^g der Elemente b₁ ^g und b₂ ^g mit dem Schwellenwert Th (Schritt ST27 in 8).
Wenn irgendeine der Ausgabewerte z₁ ^g und z₂ ^g der Elemente b₁ ^g und b₂ ^g, die in der Zwischenschicht 2-g enthalten sind, größer als der Schwellenwert Th ist (Schritt ST27 in 8: NEIN), hält die Elementbildungseinheit 13 die Anzahl J (J = 2) der in der Zwischenschicht 2-g enthaltenen Elemente aufrecht.
Wenn alle Ausgabewerte z₁ ^g und z₂ ^g der Elemente b₁ ^g und b₂ ^g, die in der Zwischenschicht 2-g enthalten sind, gleich dem oder kleiner als der Schwellenwert Th sind (Schritt ST28 in 8: JA), fügt die Elementbildungseinheit 13 ein neues Element b₃ ^g zu der Zwischenschicht 2-g hinzu, so dass die Anzahl von in der Zwischenschicht 2-g enthaltenen Elementen erhöht wird (Schritt ST28 in 8).
Bei dem zweiten Ausführungsbeispiel sind zur Vereinfachung der Beschreibung alle Ausgabewerte z₁ ^g und z₂ ^g der Elemente b₁ ^g und b₂ ^g, die in der Zwischenschicht 2-g enthalten sind, gleich dem oder kleiner als der Schwellenwert Th, so dass das neue Element b₃ ^g zu der Zwischenschicht 2 hinzugefügt wird.
In der nachfolgenden Beschreibung wird angenommen, dass die Anzahl von Elementen, die gegenwärtig in der Zwischenschicht 2-g enthalten sind, gleich J (J ≥ 3) ist.
Wenn die Elementbildungseinheit 13 ein neues Element zu der Zwischenschicht 2-g hinzufügt oder die Anzahl J von in der Zwischenschicht 2-g enthaltenen Elementen beibehält, bestimmt die Anfangssetzeinheit 11, ob die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der M-ten Lerndaten x^M bereits erworben wurden oder nicht (Schritt ST23 in 8).
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der M-ten Lerndaten x^M bereits erworben wurden (Schritt S23 in 8: JA), beendet die Anfangssetzeinheit 11 den ersten Verarbeitungsinhalt zum Bestimmen der Struktur der Zwischenschicht 2.
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der M-ten Lerndaten x^m noch nicht erworben wurden (Schritt S23 in 8: NEIN), erwirbt die Anfangssetzeinheit 11 den Ausgabewert z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, der noch nicht erworben wurde (Schritt ST24 in 8).
Bei dem zweiten Ausführungsbeispiel erwirbt, da die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der m-ten Lerndaten x^m aus den M Stücken von Lerndaten in dieser Stufe noch nicht erworben wurden, die Anfangssetzeinheit 11 den Ausgabewert z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der m-ten Lerndaten x^m.
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der m-ten Lerndaten x^m erworben sind, initialisiert die Anfangssetzeinheit 11 die Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g bis b_J ^g bezogen ist, anhand der Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der m-ten Lerndaten x^m (Schritt ST25 in 8).
Das heißt, die Anfangssetzeinheit berechnet den Standardabweichungswert σ_k,j ^g (k = 1, ..., K: J: j = 1, ..., J) der gaußschen Verteilung anhand der Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der Zwischenschicht 2-(g-1) enthalten sind, als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g bis b_J ^g bezogen ist.
Zusätzlich initialisiert die Anfangssetzeinheit 11 den Ausgabewert z_k ^g-1 des k-ten Elements b_k ^g-1, das in der Zwischenschicht 2-(g-1) enthalten ist, zu der Mittenkoordinate µ_k,j ^g (k = 1, ..., K: j = 1, ..., J) der gaußschen Funktion als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g bis b_J ^g bezogen ist, wie in dem Ausdruck (10) angezeigt ist.
Weiterhin initialisiert die Anfangssetzeinheit das Gewicht W_k,j ^g (k = 1, ..., K: J: j = 1, ..., J) zwischen dem in der Zwischenschicht 2-(g-1) enthaltenen k-ten Element b_k ^g-1 und dem in der Zwischenschicht 2-g enthaltenen J-ten Element b_j ^g (j = 1, ..., J) als einen der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g bis b_J ^g bezogen ist, wie in dem Ausdruck (11) angezeigt ist.
Hier wird ein Beispiel beschrieben, in welchem W_k,j ^g auf 1 gesetzt ist; jedoch ist dies lediglich ein Beispiel, und ein anderer Wert als 1 kann gesetzt werden.
Wenn die Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g bis b_J ^g bezogen ist, initialisiert sind, gibt die Anfangssetzeinheit 11 die anfänglichen Werte der Parameter an die Ausgabewert-Berechnungseinheit 12 aus und speichert die anfänglichen Werte der Parameter in der Datenspeichereinheit 14.
Die Ausgabewert-Berechnungseinheit 12 erwirbt die anfänglichen Werte der Parameter der gaußschen Funktion, die auf die in der Zwischenschicht 2 enthaltenen Elemente b₁ ^g bis b_J ^g bezogen ist, von der Anfangssetzeinheit 11.
Zusätzlich erwirbt die Ausgabewert-Berechnungseinheit 12 die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der m-ten Lerndaten x^m.
Wenn die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der m-ten Lerndaten x^m erworben sind, berechnet die Ausgabewert-Berechnungseinheit 12 die Ausgabewerte z₁ ^g bis z_j ^g der in der Zwischenschicht 2-g enthaltenen Elemente b₁ ^g bis b_J ^g (Schritt ST26 in 8).
Das heißt, die Ausgabewert-Berechnungseinheit 12 berechnet den Ausgabewert z_j ^g (j = 1, ..., J) des in der Zwischenschicht 2-g enthaltenen Elements b_j ^g durch Substituieren der Anfangswerte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b_j ^g (j = 1, ..., J) bezogen ist, und der Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1, die in der Zwischenschicht 2-(g-1) enthalten sind, in die in dem Ausdruck (12) angezeigte gaußsche Funktion.
Die anfänglichen Werte der Parameter der gaußschen Funktion, die auf das in der Zwischenschicht 2-g enthaltene Element b_j ^g bezogen ist, sind der Standardabweichungswert σ_k,j ^g (k = 1, ..., K: j = 1, ..., J) der gaußschen Verteilung, die Mittenkoordinate µ_k,j ^g (k = 1, ..., K: j = 1, ..., J) der gaußschen Funktion und das Gewicht W_k,j ^g (k = 1, ...; K: j = 1, ..., J).
Wenn die Ausgabewerte z₁ ^g bis z_J ^g der Elemente b₁ ^g bis b_J ^g, die in der Zwischenschicht 2-g enthalten sind, berechnet werden, gibt die Ausgabewert-Berechnungseinheit 12 die Ausgabewerte z₁ ^g bis z_J ^g der Elemente b₁ ^g bis b_J ^g an die Elementbildungseinheit 13 aus und speichert die Ausgabewerte z₁ ^g bis z_J ^g der Elemente b₁ ^g bis b_J ^g in der Datenspeichereinheit 14.
Wenn die Ausgabewerte z₁ ^g bis z_J ^g der Elemente b₁ ^g bis b_J ^g von der Ausgabewert-Berechnungseinheit 12 empfangen werden, vergleicht die Elementbildungseinheit 13 die Ausgabewerte z₁ ^g bis z_J ^g der Elemente b₁ ^g bis b_J ^g mit dem Schwellenwert Th (Schritt ST27 in 8).
Wenn jeder der Ausgabewerte z₁ ^g bis z_J ^g der Elemente b₁ ^g bis b_J ^g, die in der Zwischenschicht 2-g enthalten sind, größer als der Schwellenwert Th ist (Schritt ST27 in 8: NEIN), hält die Elementbildungseinheit 13 die Anzahl J der in der Zwischenschicht 2-g enthaltenen Elemente aufrecht.
Wenn alle Ausgabewerte z₁ ^g bis z_J ^g der Elemente b₁ ^g bis b_J ^g, die in der Zwischenschicht 2-g enthalten sind, gleich dem oder kleiner als der Schwellenwert Th sind (Schritt ST27 in 8: JA), fügt die Elementbildungseinheit 13 ein neues Element zu der Zwischenschicht 2-g hinzu, so dass die Anzahl von in der Zwischenschicht 2-g enthaltenen Elementen erhöht wird (Schritt ST28 in 8).
Die Verarbeitung der Schritte ST23 bis ST28 wird wiederholt durchgeführt, bis die Ausgabewerte z_k ^g-1 der K Elemente b_k ^g-1 (k = 1, ..., K), die in der unmittelbar vorhergehenden Zwischenschicht 2-(g-1) enthalten sind, auf der Grundlage der M Stücke von Lerndaten x^m (m = 1, ..., M) erworben sind, und wenn in der Bestimmungsverarbeitung des Schritts ST23 „JA“ bestimmt wird, ist der erste Verarbeitungsinhalt beendet.
Nachdem der erste Verarbeitungsinhalt beendet ist, führt die Parameteraktualisierungseinheit 15 den zweiten Verarbeitungsinhalt durch.
Das heißt, wie bei dem ersten Ausführungsbeispiel aktualisiert die Parameteraktualisierungseinheit 15 die Parameter der gaußschen Funktion, die in der Datenspeichereinheit 14 gespeichert sind, und aktualisiert das Gewicht v_j zwischen dem j-ten Element b_j ^g, das in der Zwischenschicht 2-G enthalten ist, und dem Element c, das in der Ausgabeschicht 3 enthalten ist, indem ein überwachtes Lernen zum Lernen der Parameter der gaußschen Funktion, die auf die in den Zwischenschichten 2-1 bis 2-G enthaltenen Elemente bezogen ist, jedes Mal durchgeführt wird, wenn die M Stücke von Lerndaten x^m = (x₁ ^m, x₂ ^m, ..., x_l ^m) aufeinanderfolgend gegeben werden, nachdem die Strukturen der Zwischenschichten 2-1 bis 2-G bestimmt wurden.
Zusätzlich aktualisiert die Parameteraktualisierungseinheit 15 ein Gewicht W_i,j ¹ zwischen dem i-ten Element a_i, das in der Eingabeschicht 1 enthalten ist, und dem j-ten Element b_i ¹, das in der Zwischenschicht 2-1 enthalten ist, und das Gewicht W_k,j ^g zwischen dem k-ten Elementen b_k ^g-1 (k = 1, ..., K), das in der Zwischenschicht 2-(g-1) enthalten ist, und dem j-ten Element b_j ^g (j = 1, ..., J), das in der Zwischenschicht 2-g enthalten ist, in dem das überwachte Lernen durchgeführt wird.
Das heißt, in dem das überwachte Lernen zum Lernen der Parameter der gaußschen Funktion, die auf die in den Zwischenschichten 2-1 bis 2-g enthaltenen Elemente bezogen ist, durchgeführt wird, werden die Parameter der gaußschen Funktion, die in der Datenspeichereinheit 14 gespeichert sind, und die Gewichte aktualisiert.
Wie aus der vorstehenden Beschreibung ersichtlich ist, wird gemäß dem zweiten Ausführungsbeispiel die Wirkung erhalten, das die Anzahl von Elementen b_j ^g, die in der Zwischenschicht 2-g des Neuronennetzes enthalten sind, automatisch bestimmt werden kann, selbst wenn das Neuronennetz zwei oder mehr Zwischenschichten 2-g enthält.
Drittes Ausführungsbeispiel
In dem zweiten Ausführungsbeispiel wurde ein Beispiel beschrieben, bei dem die Anzahl von Zwischenschichten 2-g, die in dem Neuronennetz enthalten sind, auf G fixiert ist.
In diesem dritten Ausführungsbeispiel wird ein Beispiel beschrieben, bei dem die Anzahl von Zwischenschichten 2-g, die in dem Neuronennetz enthalten sind, so wie erforderlich bestimmt.
9 ist ein Konfigurationsdiagramm, das eine Netzwerk-Bildungsvorrichtung nach dem dritten Ausführungsbeispiel der vorliegenden Erfindung illustriert, und 10 ist ein Hardware-Konfigurationsdiagramm, der Netzwerk-Bildungsvorrichtung nach dem dritten Ausführungsbeispiel der vorliegenden Erfindung.
In den 9 und 10 ist, da die gleichen Bezugszahlen wie diejenigen in den 1 und 2 die gleichen oder entsprechenden Teile bezeichnen, die Beschreibung von diesen weggelassen.
Eine Schichtenanzahl-Bestimmungseinheit 16 ist beispielsweise durch eine Schichtenanzahl-Bestimmungsschaltung 26 in 10 implementiert, und sie führt eine Verarbeitung des Bestimmens der Anzahl G der Zwischenschichten 2-g, die in dem Neuronennetz enthalten sind, durch.
In 9 wird eine Netzwerk-Bildungsvorrichtung angenommen, bei der die Anfangssetzeinheit 11, die Ausgabewert-Berechnungseinheit 12, die Elementbildungseinheit 13, die Datenspeichereinheit 14, die Parameteraktualisierungseinheit 15 und die Schichtenanzahl-Bestimmungseinheit 16, die Komponenten der Netzwerk-Bildungsvorrichtung sind, jeweils durch dedizierte Hardwareschaltungen implementiert sind, die die Anfangssetzschaltung 21, die Ausgabewert-Berechnungsschaltung 22, die Elementbildungsschaltung 23, die Datenspeicherschaltung 24, die Parameteraktualisierungsschaltung 25 und die Schichtenanzahl-Bestimmungsschaltung 26 sind, wie in 10 illustriert ist.
Hier enthalten Beispiele für die Datenspeichereinheit 24 einen nicht flüchtigen oder flüchtigen Halbleiterspeicher wie einen RAM, ROM, Flashspeicher, EPROM und EEPROM; eine magnetische Disc, eine flexible Disc, eine optische Disc, eine Kompaktdisc, eine Minidisk, eine DVD und dergleichen.
Zusätzlich enthalten Beispiele für die Anfangssetzschaltung 21, die Ausgabewert-Berechnungsschaltung 22, die Elementbildungsschaltung 23, die Parameteraktualisierungsschaltung 25 und die Schichtenanzahl-Bestimmungsschaltung 26 eine einzelne Schaltung, eine zusammengesetzte Schaltung, einen programmierten Prozessor, einen parallel programmierten Prozessor, eine ASIC, ein FBGA oder eine Kombination von diesen.
Jedoch sind die Komponenten der Netzwerk-Bildungsvorrichtung nicht auf solche beschränkt, die durch dedizierte Hardware implementiert sind, und die Netzwerk-Bildungsvorrichtung kann durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert sein.
In dem Fall, in welchem die Netzwerk-Bildungsvorrichtung durch Software, Firmware oder dergleichen implementiert ist, ist es ausreichend, dass die Datenspeichereinheit 14 in dem in 4 illustrierten Speicher 31 des Computers konfiguriert ist, und ein Programm zum Bewirken, dass der Computer die Verarbeitungsvorgänge der Anfangssetzeinheit 11, der Ausgabewert-Berechnungseinheit 12, der Elementbildungseinheit 13, der Parameteraktualisierungseinheit 15 und der Schichtenanzahl-Bestimmungseinheit 16 durchführt, ist in dem Speicher 31 gespeichert, und der Prozessor 32 des in 4 illustrierten Computers führt das in dem Speicher 31 gespeicherte Programm aus.
Zusätzlich illustriert 10 ein Beispiel, in welchem jede der Komponenten der Netzwerk-Bildungsvorrichtung durch dedizierte Hardware implementiert ist, und 4 illustriert ein Beispiel, in welchem die Netzwerk-Bildungsvorrichtung durch Software, Firmware oder dergleichen implementiert ist; jedoch können einige Komponenten der Bildungsvorrichtung durch dedizierte Hardware implementiert sein und die verbleibenden Komponenten können durch Software, Firmware oder dergleichen implementiert sein.
Als nächstes wird die Arbeitsweise beschrieben.
Da die Arbeitsweise die gleiche wie die des zweiten Ausführungsbeispiels mit der Ausnahme, dass die Schichtenanzahl-Bestimmungseinheit 16 ist, ist, wird hier nur ein Verarbeitungsinhalt der Schichtenanzahl-Bestimmungseinheit 16 geschrieben.
Wenn die Anfangssetzeinheit 11, die Ausgabewert-Berechnungseinheit 12 und die Elementbildungseinheit 13 eine Struktur einer Zwischenschicht 2-g in der gleichen Weise wie bei dem zweiten Ausführungsbeispiel bestimmen, verbindet die Schichtenanzahl-Bestimmungseinheit 16 die Zwischenschicht 2-g, deren Struktur zwischen der Eingangsschicht 1 und der Ausgangsschicht 3 bestimmt wurde, zu jeder Zeit der Bestimmung.
Beispielsweise sind in einer Stufe, in der die Bestimmung von Strukturen von drei Zwischenschichten 2-1 bis 2-3 beendet ist, die drei Zwischenschichten 2-1 bis 2-3 zwischen die Eingangsschicht und die Ausgangsschicht 3 geschaltet.
Zusätzlich sind in einer Stufe, in der die Bestimmung von Strukturen von vier Zwischenschichten 2-1 bis 2-4 beendet ist, die vier Zwischenschichten 2-1 bis 2-4 zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschaltet.
Wenn eine Zwischenschicht 2-g, deren Struktur neu bestimmt ist, zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschaltet ist, gibt die Schichtenanzahl-Bestimmungseinheit 16 beliebige Daten zu der Eingangsschicht 1. Dann misst die Schichtenanzahl-Bestimmungseinheit 16 eine Zeit von der Eingabe von Daten in die Eingangsschicht 1 bis zur Ausgabe von Daten von der Ausgabeschicht 3 als eine Eingabe/Ausgabe-Zeit Ta der Daten in dem Neuronennetz. $Ta = T_{OUT} - T_{IN}$
In dem Ausdruck (13) ist T_IN eine Zeit, zu der Daten in die Eingangsschicht 1 eingegeben werden, und T_OUT ist eine Zeit, zu der Daten von der Ausgangsschicht 3 ausgegeben werden.
Wenn die Eingangs/Ausgangs-Zeit Ta der Daten in dem Neuronennetz gemessen wird, vergleicht die Schichtenanzahl-Bestimmungseinheit 16 die Eingangs/Ausgangs-Zeit Ta mit einer zulässigen Zeit Tb der Eingangs/Ausgangs-Zeit.
Die zulässige Zeit Tb der Eingangs/Ausgangszeit ist eine Zeit, die durch die Netzwerk-Bildungsvorrichtung zugelassen ist, und ist eine im Voraus gesetzte Zeit.
In einem Fall, in welchem die Eingangs/Ausgangs-Zeit Ta der Daten in dem Neuronennetz kürzer als die zulässige Zeit Tb der Eingangs/Ausgangs-Zeit ist, berechnet die Schichtenanzahl-Bestimmungseinheit 16 anhand der Eingangs/Ausgangs-Zeit Ta der Daten eine Eingangs/Ausgangs-Zeit Ta/E der Zwischenschicht 2-g pro zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteter Schicht.
E ist die Anzahl der in dem gegenwärtigen Zeitpunkt zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g.
In einem Fall, in welchem dem folgenden Ausdruck (14) genügt ist, ist es sehr wahrscheinlich, dass die Eingangs/Ausgangs-Zeit Ta der Daten in dem Neuronennetz innerhalb der zulässigen Zeit Tb ist, selbst wenn die Anzahl von zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g um 1 erhöht ist, so dass die Schichtenanzahl-Bestimmungseinheit 16 eine Zunahme der Anzahl der zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g um 1 zulässt.
Somit führen die Anfangssetzeinheit 11, die Ausgabewert-Berechnungseinheit 12 und die Elementbildungseinheit 13 eine Verarbeitung des Bestimmens einer Struktur einer neu hinzugefügten Zwischenschicht 2-g in der gleichen Weise wie bei dem zweiten Ausführungsbeispiel durch. $Tb > Ta + Ta/E$
In einem Fall, in welchem dem Ausdruck (14) nicht genügt ist, wenn die Anzahl von zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g um 1 erhöht wird, ist es sehr wahrscheinlich, dass die Eingangs/Ausgangs-Zeit Ta der Daten in dem Neuronennetz die zulässige Zeit Tb überschreitet, so dass die Schichtenanzahl-Bestimmungseinheit 16 die Erhöhung der Anzahl von zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g zurückweist.
Somit wird die Anzahl E der zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g als die Anzahl G der Zwischenschichten 2-g des Neuronennetzes zum gegenwärtigen Zeitpunkt bestimmt.
Wie aus der vorstehenden Beschreibung ersichtlich ist, bestimmt gemäß dem dritten Ausführungsbeispiel die Schichtenanzahl-Bestimmungseinheit 16 die Anzahl G der Zwischenschichten 2-g anhand der Eingangs/Ausgangs-Zeit Ta der Daten in dem Neuronennetz und der zulässigen Zeit Tb der Eingangs/Ausgangs-Zeit, so dass die Wirkung erhalten wird, dass die Eingangs/Ausgangs-Zeit Ta der Daten in dem Neuronennetz als innerhalb der zulässigen Zeit Tb gesetzt werden kann.
In dem dritten Ausführungsbeispiel wurde ein Beispiel beschrieben, bei dem die Schichtenanzahl-Bestimmungseinheit 16 di Eingangs/Ausgangs-Zeit Ta der Daten in dem Neuronennetz misst und die Anzahl G der Zwischenschichten 2 anhand der Eingangs/Ausgangs-Zeit Ta und der zulässigen Zeit Tb bestimmt; jedoch ist dies keine Beschränkung.
Beispielsweise kann die Schichtenanzahl-Bestimmungseinheit 16 eine Lernzeit Tc des Neuronennetzes messen und die Anzahl G der Zwischenschichten 2 anhand der Lernzeit Tc und einer zulässigen Zeit Td für die Lernzeit bestimmen.
Spezifisch ist dies wie folgt:
Wenn die Zwischenschicht 2-g, deren Struktur neu bestimmt ist, zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschaltet ist, bewirkt die Schichtenanzahl-Bestimmungseinheit 16, dass das Neuronennetz lernen durchführt. in dem Lerndaten zu der Eingangsschicht 1 gegeben werden. Dann misst beispielsweise die Schichtenanzahl-Bestimmungseinheit 16 eine Zeit von der Eingabe von Lerndaten in die Eingangsschicht 1 bis zur Ausgabe von Daten aus der Ausgabeschicht 3 als die Lernzeit Tc des Neuronennetzes. $Tc = T_{OUT} - T_{IN}$
In dem Ausdruck (15) ist T_IN eine Zeit, zu der Lerndaten in die Eingangsschicht 1 eingegeben werden, und T_OUT ist eine Zeit, zu der Daten von der Ausgangsschicht 3 ausgegeben werden.
Wenn die Lernzeit Tc des Neuronennetzes gemessen ist, vergleicht die Schichtenanzahl-Bestimmungseinheit 16 die Lernzeit Tc mit der zulässigen Zeit Td der Lernzeit.
Die zulässige Zeit Td der Lernzeit ist eine Zeit, die durch die Netzwerk-Bildungsvorrichtung zugelassen ist, und sie ist eine vorher gesetzte Zeit.
In einem Fall, in welchem die Lernzeit Tc des Neuronennetzes kürzer als die zulässige Zeit Td der Lernzeit ist, berechnet die Schichtenanzahl-Bestimmungseinheit 16 anhand der Lernzeit Tc des Neuronennetzes eine Lernzeit Tc/E der Zwischenschichten 2-g pro zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschaltete Schicht.
E ist die Anzahl der Zwischenschichten 2-g, die zum gegenwärtigen Zeitpunkt zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschaltet sind.
In einem Fall, in welchem dem folgenden Ausdruck (16) genügt ist, ist es sehr wahrscheinlich, dass die Lernzeit Tc des Neuronennetzes innerhalb der zulässigen Zeit Td selbst dann liegt, wenn die Anzahl von Zwischenschichten 2-g, die zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschaltet sind, um 1 erhöht ist, so dass die Schichtenanzahl-Bestimmungseinheit 16 zulässt, dass die Anzahl von zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g um 1 erhöht wird.
Somit führen die Anfangssetzeinheit 11, die Ausgabewert-Berechnungseinheit 12 und die Elementbildungseinheit 13 eine Verarbeitung des Bestimmens einer Struktur einer neu eingefügten Zwischenschicht 2-g in der gleichen Weise wie bei dem zweiten Ausführungsbeispiel durch. $Td > Tc + Tc/E$
In einem Fall, in welchem dem Ausdruck (16) nicht genügt ist, wenn die Anzahl von zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g um 1 erhöht ist, ist es sehr wahrscheinlich, dass die Lernzeit Tc des Neuronennetzes die zulässige Zeit Td überschreitet, so dass die Schichtenanzahl-Bestimmungseinheit 16 die Erhöhung der Anzahl von zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g zurückweist. Auf diese Weise wird die Anzahl E der zwischen die Eingangsschicht 1 und die Ausgangsschicht 3 geschalteten Zwischenschichten 2-g als die Anzahl E der Zwischenschichten 2-g des Neuronennetzes zu dem gegenwärtigen Zeitpunkt bestimmt.
In einem Fall, in welchem die Schichtenanzahl-Bestimmungseinheit 16 die Lernzeit Tc des Neuronennetzes misst und die Anzahl G der Zwischenschichten 2 anhand der Lernzeit Tc und der zulässigen Zeit Td bestimmt, wird die Wirkung erhalten, dass die Lernzeit Tc des Neuronennetzes innerhalb der zulässigen Zeit Td gesetzt werden kann.
Es ist zu beachten, dass bei der Erfindung der vorliegenden Anmeldung innerhalb des Bereichs der Erfindung eine freie Kombination jedes Ausführungsbeispiels, eine Modifikation einer beliebigen Komponente jedes Ausführungsbeispiels oder das Weglassen einer beliebigen Komponente bei jedem Ausführungsbeispiel möglich sind.
Gewerbliche Anwendbarkeit
Die vorliegende Erfindung ist geeignet für eine Netzwerk-Bildungsvorrichtung und ein Netzwerk-Bildungsverfahren zum Bilden eines Neuronennetzes.
Bezugszeichenliste

1: Eingangsschicht
2, 2-1 to 2-G: Zwischenschicht
3: Ausgangsschicht
11: Anfangssetzeinheit
12: Ausgabewert-Berechnungseinheit
13: Elementbildungseinheit
14: Datenspeichereinheit
15: Parameteraktualisierungseinheit
16: Schichtenanzahl-Bestimmungseinheit
21: Anfangssetzschaltung
22: Ausgabewert-Berechnungsschaltung
23: Elementbildungsschaltung
24: Datenspeicherschaltung
25: Parameteraktualisierungsschaltung
26: Schichtenanzahl-Bestimmungsschaltung
31: Speicher
32: Prozessor

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Fukushima, K.: „Artificial vision by multi-layered neural networks: Neocognitron and its advances“, Neural Networks, Band 37, Seiten 103 -119 (2013) [0007]

Claims

Netzwerk-Bildungsvorrichtung, welche aufweist: eine Ausgabewert-Berechnungseinheit zum Berechnen von Ausgabewerten von einem oder mehreren Elementen, die in einer Zwischenschicht eines Neuronennetzes enthalten sind, gemäß einem Ausgabewert eines Elements, das in einer Eingangsschicht des Neuronennetzes enthalten ist, wenn das Neuronennetz gebildet wird, wobei das Neuronennetz die Zwischenschicht, die ein Element enthält, dessen Eingabe/Ausgabe-Antwort durch eine gaußsche Funktion bestimmt ist, enthält; und eine Elementbildungseinheit zum Vergleichen der Ausgabewerte des einen oder der mehreren Elemente, die durch die Ausgabewert-Berechnungseinheit berechnet wurden, mit einem Schwellenwert, und zum Aufrechterhalten einer Anzahl von in der Zwischenschicht enthaltenen Elementen, wenn ein Ausgabewert irgendeines der Elemente aus den Ausgabewerten des einen oder der mehreren Elemente, die in der Zwischenschicht enthalten sind, größer als der Schwellenwert ist, und zum Durchführen einer Elementbildungsverarbeitung des Erhöhens der Anzahl von in der Zwischenschicht enthaltenen Elementen, wenn alle Ausgabewerte des einen oder der mehreren Elemente, die in der Zwischenschicht enthalten sind, gleich dem oder kleiner als der Schwellenwert sind.
Netzwerk-Bildungsvorrichtung nach Anspruch 1, weiterhin aufweisend eine Anfangssetzeinheit zum Initialisieren, für jedes in der Zwischenschicht enthaltene Element, von Parametern der gaußschen Funktion, die auf das Element bezogen ist, wobei die Ausgabewert-Berechnungseinheit einen Ausgabewert jedes Elements, das in der Zwischenschicht enthalten ist, berechnet durch Substituieren eines Ausgabewerts eines Elements, das in der Eingangsschicht enthalten ist, zu der gaußschen Funktion mit Parametern, die durch die Anfangssetzeinheit initialisiert wurden.
Netzwerk-Bildungsvorrichtung nach Anspruch 2, weiterhin aufweisend eine Parameteraktualisierungseinheit zum Aktualisieren der Parameter der gaußschen Funktion und zum Aktualisieren eines Gewichts zwischen einem Element, das in der Zwischenschicht enthalten ist, und einem Element, das in einer Ausgangsschicht enthalten ist, indem ein überwachtes Lernen zum Lernen der Parameter der gaußschen Funktion durchgeführt wird, wenn Lerndaten in die Eingangsschicht eingegeben werden, nachdem die Elementbildungsverarbeitung durch die Elementbildungseinheit durchgeführt wurde.
Netzwerk-Bildungsvorrichtung nach Anspruch 3, bei der die Parameteraktualisierungseinheit ein Gewicht zwischen einem Element, das in der Eingangsschicht enthalten ist, und einem Element, dass in der Zwischenschicht enthalten ist, durch Durchführen des überwachten Lernens aktualisiert.
Netzwerk-Bildungsvorrichtung nach Anspruch 2, bei der die Ausgabewert-Berechnungseinheit einen Standardabweichungswert einer gaußschen Verteilung in der gaußschen Funktion für individuelle Elemente, die in der Zwischenschicht enthalten sind, als einen der Parameter der gaußschen Funktion verwendet.
Netzwerk-Bildungsvorrichtung nach Anspruch 5, bei der die Ausgabewert-Berechnungseinheit einen Standardabweichungswert von Ausgabewerten mehrerer in der Eingangsschicht enthaltener Elemente als den Standardabweichungswert der gaußschen Verteilung für die individuellen Elemente, die in der Zwischenschicht enthalten sind, verwendet.
Netzwerk-Bildungsvorrichtung nach Anspruch 5, bei der die Ausgabewert-Berechnungseinheit eine positive reelle Zahl als den Standardabweichungswert der gaußschen Verteilung für die individuellen Elemente, die in der Zwischenschicht enthalten sind, verwendet.
Netzwerk-Bildungsvorrichtung nach Anspruch 1, bei der die Elementbildungseinheit eine positive reelle Zahl gleich oder kleiner als 1 als den Schwellenwert verwendet.
Netzwerk-Bildungsvorrichtung nach Anspruch 1, bei der die Elementbildungseinheit eine positive reelle Zahl gleich oder größer als e^-0,25 und gleich oder kleiner als 1 als den Schwellenwert verwendet.
Netzwerk-Bildungsvorrichtung nach Anspruch 3, bei der die Parameteraktualisierungseinheit einen oder mehrere Parameter aus einem Parameter, der den Standardabweichungswert der gaußschen Verteilung in der gaußschen Funktion anzeigt, und einen Parameter, der eine Mittenkoordinate der gaußschen Funktion anzeigt, als die Parameter der gaußschen Funktion aktualisiert.
Netzwerk-Bildungsvorrichtung nach Anspruch 1, bei der: das Neuronennetz G Zwischenschichten enthält, wobei G eine ganze Zahl gleich oder größer als 2 ist und die G Zwischenschichten zwischen der Eingangsschicht und der Ausgangsschicht in Kaskade verbunden sind, die Ausgabewert-Berechnungseinheit Ausgabewerte eines oder mehrerer Elemente, die in einer ersten Zwischenschicht enthalten sind, gemäß einem Ausgabewert eines in der Eingangsschicht enthaltenen Elements ausgibt, wenn der Ausgabewert des in der Eingangsschicht enthaltenen Elements in das eine oder die mehreren Elemente, die in der ersten Zwischenschicht enthalten sind, eingegeben wird, und Ausgabewerte von einem oder mehreren Elementen, die in einer g-ten Zwischenschicht enthalten sind, wobei g = 2, ..., G ist, gemäß einem Ausgabewert eines Elements, das in einer (g-1)-ten Zwischenschicht enthalten ist, wobei g = 2, ..., G ist, berechnet, wenn der Ausgabewert des in der (g-1)-ten Zwischenschicht, wobei g = 2, ..., G ist, enthaltenen Elements zu dem einen oder den mehreren Elementen, die in der g-ten Zwischenschicht, wobei g = 2, ..., G ist, enthalten sind, gegeben wird, und die Elementbildungseinheit die Ausgabewerte des einen oder der mehreren Elemente, die in der g-ten Zwischenschicht, wobei g = 1 ist, enthalten sind, die von der Ausgabewert-Berechnungseinheit berechnet wurden, mit dem Schwellenwert vergleicht und eine Anzahl von in der g-ten Zwischenschicht, wobei g = 1, ..., G ist, enthaltenen Elementen aufrecht erhält, wenn ein Ausgabewert irgendeines der Elemente aus den Ausgangswerten des einen oder der mehreren Elemente, die in der g-ten Zwischenschicht, wobei g = 1, ..., G ist, enthalten sind, größer als der Schwellenwert ist, und eine Elementbildungsverarbeitung des Erhöhens der Anzahl von Elementen, die in der g-ten Zwischenschicht, wobei g = 1, ..., G ist, enthalten sind, durchführt, wenn alle Ausgabewerte des einen oder der mehreren Elemente, die in der g-ten Zwischenschicht, wobei g = 1, ..., G ist, enthalten sind, gleich dem oder kleiner als der Schwellenwert sind.
Netzwerk-Bildungsvorrichtung nach Anspruch 11, weiterhin aufweisend eine Parameteraktualisierungseinheit zum Aktualisieren von Parametern der gaußschen Funktion, die auf ein in einer G-ten Zwischenschicht enthaltenes Element bezogen ist, wobei G eine ganze Zahl gleich oder größer als 2 ist, und zum Aktualisieren eines Gewichts zwischen einem in der G-ten Zwischenschicht enthaltenen Element und einem in der Ausgangsschicht enthaltenen Element, in dem ein überwachtes Lernen zum Lernen der Parameter der gaußschen Funktion durchgeführt wird, wenn Lerndaten zu der Eingangsschicht gegeben werden, nachdem die Elementbildungsverarbeitung durch die Elementbildungseinheit durchgeführt wurde.
Netzwerk-Bildungsvorrichtung nach Anspruch 12, bei der die Parameter-Aktualisierungseinheit ein Gewicht zwischen einem Element, das in der (g-1)-ten Zwischenschicht enthalten ist, wobei g = 2, ..., G ist, und einem Element, das in der g-ten Zwischenschicht enthalten ist, wobei g = 2, ..., G ist, aktualisiert, indem das überwachte Lernen durchgeführt wird.
Netzwerk-Bildungsvorrichtung nach Anspruch 12, bei der die Parameteraktualisierungseinheit ein Gewicht zwischen einem in der Eingangsschicht enthaltenen Element und einem in der ersten Zwischenschicht enthaltenen Element aktualisiert, indem das überwachte Lernen durchgeführt wird.
Netzwerk-Bildungsvorrichtung nach Anspruch 11, weiterhin aufweisend eine Schichtenanzahl-Bestimmungseinheit zum Bestimmen einer Anzahl der in dem Neuronennetz enthaltenen Zwischenschichten.
Netzwerk-Bildungsvorrichtung nach Anspruch 15, bei der die Schichtenanzahl-Bestimmungseinheit die Anzahl der Zwischenschichten anhand der Eingabe/Ausgabe-Zeit von Daten in dem Neuronennetz und einer zulässigen Zeit für die Eingabe/Ausgabe-Zeit bestimmt.
Netzwerk-Bildungsvorrichtung nach Anspruch 15, bei der die Schichtenanzahl-Bestimmungseinheit die Anzahl der Zwischenschichten anhand einer Lernzeit des Neuronennetzes und einer zulässigen Zeit für die Lernzeit bestimmt.
Netzwerk-Bildungsverfahren, welches aufweist: Berechnen, durch eine Ausgabewert-Berechnungseinheit, von Ausgabewerten von einem oder mehreren Elementen, die in einer Zwischenschicht eines Neuronennetzes enthalten sind, gemäß einem Ausgabewert eines in einer Eingangsschicht des Neuronennetzes enthaltenen Elements, wenn das Neuronennetz gebildet wird, wobei das Neuronennetz die Zwischenschicht enthält, die ein Element enthält, dessen Eingabe/Ausgabe-Antwort durch eine gaußsche Funktion bestimmt ist; und Vergleichen der Ausgabewerte des einen oder der mehreren Elemente, die von der Ausgabewert-Berechnungseinheit berechnet wurden, mit einem Schwellenwert, und Aufrechterhalten einer Anzahl von in der Zwischenschicht enthaltenen Elementen, wenn ein Ausgabewert irgendeines der Elemente aus den Ausgabewerten des einen oder der mehreren in der Zwischenschicht enthaltenen Elemente größer als der Schwellenwert ist, und durch Durchführen einer Elementbildungsverarbeitung des Erhöhens der Anzahl von in der Zwischenschicht enthaltenen Elementen, wenn alle Ausgabewerte des einen oder der mehreren Elemente, die in der Zwischenschicht enthalten sind, gleich dem oder kleiner als der Schwellenwert sind, durch eine Elementbildungseinheit.
Netzwerk-Bildungsverfahren nach Anspruch 18, bei dem eine Anfangssetzeinheit für jedes in der Zwischenschicht enthaltene Element Parameter der gaußschen Funktion, die auf das Element bezogen ist, initialisiert, und die Ausgabewert-Berechnungseinheit einen Ausgabewert jedes in der Zwischenschicht enthaltenen Elements berechnet durch Substituieren eines Ausgabewerts eines in der Eingangsschicht enthaltenen Elements in der gaußschen Funktion, die durch die Anfangssetzeinheit initialisierte Parameter hat.
Netzwerk-Bildungsverfahren nach Anspruch 19, bei dem eine Parameteraktualisierungseinheit die Parameter der gaußschen Funktion aktualisiert und ein Gewicht zwischen einem in der Zwischenschicht enthaltenen Element und einem in einer Ausgangsschicht enthaltenen Element aktualisiert, indem ein überwachtes Lernen zum Lernen der Parameter der gaußschen Funktion durchgeführt wird, wenn Lerndaten zu der Eingangsschicht gegeben werden, nachdem die Elementbildungsverarbeitung durch die Elementbildungseinheit durchgeführt wurde.