DE112016007411T5

DE112016007411T5 - Fuzzy-eingabe für autoencoder

Info

Publication number: DE112016007411T5
Application number: DE112016007411.5T
Authority: DE
Inventors: Bruno Sielly Jales Costa
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-12-02
Filing date: 2016-12-02
Publication date: 2019-08-14
Also published as: CN110199300A; US20200074277A1; WO2018101958A1

Abstract

Systeme, Methoden und Geräte zur Reduzierung der Dimensionalität und zur Verbesserung des neuronalen Netzbetriebs im Lichte von Unsicherheiten oder Geräuschen werden hier offengelegt. Eine Methode zur Reduzierung der Dimensionalität und zur Verbesserung des neuronalen Netzbetriebs im Lichte von Unsicherheiten oder Geräuschen ist der Empfang von Rohdaten einschließlich einer Vielzahl von Proben, wobei jede Probe eine Vielzahl von Eingangsmerkmalen enthält. Die Methode beinhaltet die Erzeugung von unscharfen Daten auf der Basis der Rohdaten. Die Methode beinhaltet die Eingabe der Rohdaten und der unscharfen Daten in eine Eingangsschicht eines neuronalen Netzwerk-Autoencoders.

Description

GEBIET
Die Offenbarung bezieht sich in der Regel auf Methoden, Systeme und Apparate für die Ausbildung und Nutzung neuronaler Netzwerke und insbesondere auf die Bereitstellung von unscharfen Input für neuronale Netzwerke mit einer oder mehreren Autoencoder-Schichten. hintergrund
Der Fluch der Dimensionalität ist seit Jahrzehnten ein sehr bekanntes Problem für eine Vielzahl von technischen Anwendungen. Die Maßkultur-Reduktionstechniken spielen daher in vielen Studienbereichen eine sehr wichtige Rolle, insbesondere im Zeitalter von Big Data und Echtzeitanwendungen. Das kürzlich eingeführte Konzept der „Autoencoder“ hat große Aufmerksamkeit erregt und sehr vielversprechende Ergebnisse erzielt. Doch ähnlich wie bei den traditionellen neuronalen Netzwerken sind Autoencoder deterministische Strukturen, die sich nicht sehr gut für den Umgang mit Datenunsicherheit eignen, ein sehr wichtiger Aspekt der realen Anwendungen.
Figurenliste
Nicht einschränkende und nicht erschöpfende Implementierungen der vorliegenden Offenbarung werden mit Bezug auf die folgenden Zahlen beschrieben, wobei sich ähnliche Referenzzähne auf ähnliche Teile in den verschiedenen Ansichten beziehen, es sei denn, es wird etwas anderes angegeben. Die Vorteile der vorliegenden Offenbarung werden im Hinblick auf die folgende Beschreibung und die dazugehörigen Zeichnungen besser verstanden, wobei:

1 ist ein schematisches Blockdiagramm, das eine Fuzzifizierungsschicht nach einer Implementierung veranschaulicht;
2 ist ein grafisches Diagramm, das Datenpunkte und-cluster nach einer Implementierung veranschaulicht;
3 ist ein grafisches Diagramm, das Cluster nach einer Implementierung illustriert;
4 ist ein grafisches Diagramm, das Cluster und entsprechende Mitgliederfunktionen nach einer Implementierung veranschaulicht;
5 ist ein schematisches Diagramm, das einen Autoencoder nach einer Implementierung illustriert;
6 ist ein schematisches Diagramm, das die Erstellung eines tiefen Stapels von Autoencodern nach einer Implementierung veranschaulicht;
7 ist ein schematisches Diagramm, das einen unscharfen tiefen Stapel von Autoencodern nach einer Implementierung illustriert;
8 ist ein schematisches Flow-Diagramm, das eine Methode zur Schulung und Verarbeitung von Daten in einem neuronalen Netzwerk mit unscharfen Eingaben nach einer Implementierung veranschaulicht; und
9 ist ein schematisches Blockdiagramm, das Beispielkomponenten einer neuronalen Netzwerkverarbeitungskomponente 900 nach einer Implementierung veranschaulicht;
10 ist ein schematisches Flow-Diagramm, das eine Methode zur Schulung und Verarbeitung von Daten in einem neuronalen Netzwerk mit unscharfen Eingaben nach einer Implementierung veranschaulicht; und
11 ist ein schematisches Fließdiagramm, das eine Methode zur Schulung und Verarbeitung von Daten in einem neuronalen Netzwerk mit unscharfen Eingaben nach einer Implementierung veranschaulicht; und
12 ist ein schematisches Flow-Diagramm, das eine Methode zur Schulung und Verarbeitung von Daten in einem neuronalen Netzwerk mit unscharfen Eingaben nach einer Implementierung veranschaulicht; und
13 ist ein schematisches Blockdiagramm, das ein Rechensystem nach einer Implementierung illustriert.

DETAILLIERTE BESCHREIBUNG
Die Bewerber haben Systeme, Methoden und Geräte entwickelt, die unscharfe Systeme nutzen, um Unsicherheiten in den Daten zu bewältigen. In einer Verkörperung können fuzversorgte Eingänge mit einem zuvor ausgeführten Fuzzifizierungsschritt einem regulären Autoencoder hinzugefügt werden. Vorgeschlagene Mehrmodellautocoder können knackige Eingänge und automatisch generierte Unschärfe verschmelzen.
Ein Beispiel für die Ausführungsform ist ein System, ein Gerät oder eine Methode zur Reduzierung der Dimensionalität und zur Verbesserung des neuronalen Netzbetriebs im Lichte von Ungewissheit oder Lärm, der Rohdaten einschließlich einer Vielzahl von Proben enthält, wobei jede Probe eine Pluralität von Eingabefunktionen. Die Methode beinhaltet die Erzeugung von unscharfen Daten auf der Basis der Rohdaten. Das System, das Gerät oder die Methode gibt die Rohdaten und die unscharfen Daten in eine Eingangsschicht eines neuronalen Netzwerkautoencoders ein.
Ein System, ein Gerät oder eine Methode bestimmen nach einem anderen Beispiel eine Aktivierungsstufe, die auf einer Stichprobe für mindestens eine Mitgliedschaftsfunktion basiert, wobei die Mitgliederfunktion einer Gruppe oder einem Cluster entspricht, der auf der Grundlage von Trainingsdaten bestimmt wird. Das System, das Gerät oder die Methode gibt die Funktionen für eine Probe in einen ersten Satz von Eingangsknoten eines neuronalen Netzwerks ein, wobei das neuronale Netzwerk eine oder mehrere Autoencoder-Ebenen und eine Eingabeschicht einschließlich des ersten Sets von Eingangsknoten und einer zweiten Reihe von Eingangsknoten enthält. Das System, das Gerät oder die Methode gibt die Aktivierungsstufe in den zweiten Satz der Eingangsknoten des neuronalen Netzwerks ein. Nach einem weiteren Ausführungsbereich enthält ein System eine Trainings-Datenkomponente, eine Clustering-Komponente, eine Mitgliedschaftsunkomponente, eine Aktivierungsstand-Komponente, eine knackige Eingangskomponente und eine unscharfe Eingangskomponente. Die Trainings-Datenkomponente ist so konfiguriert, dass Rohdaten inklusive einer Vielzahl von Schulungsproben gewonnen werden. Die Clusterkomponente ist so konfiguriert, dass eine Vielzahl von Gruppen oder Clustern innerhalb der Rohdaten identifiziert werden kann. Die Komponente der Mitgliederfunktion ist so konfiguriert, dass eine Pluralität der Mitgliederfunktionen festgelegt wird, wobei die Pluralität der Mitgliederfunktionen eine Mitgliederfunktion für jede der Gruppen oder Cluster beinhaltet. Die Aktivierungsstand-Komponente ist so konfiguriert, dass eine Aktivierungsstufe für mindestens eine Mitgliedschaftsfunktion anhand von Funktionen einer Probe festgelegt wird. Die knackige Eingangskomponente ist so konfiguriert, dass die Funktionen der Probe in einen ersten Satz von Eingangsknoten eines Autoencoders eingegeben werden. Die unscharfe Eingangskomponente ist so konfiguriert, dass die Aktivierungsstufe in einen zweiten Satz von Eingangsknoten des Autoencoders eingegeben wird.
Ein Autoencoder ist ein spezieller Fall von neuronalen Netzwerken, der darauf abzielt, seine Eingabe auf seine Ausgabe zu kopieren. Es hat eine Eingangsschicht, eine versteckte Ebene und eine Ausgabeschicht. Die Anzahl der Einheiten in der versteckten Ebene ist per Definition niedriger als in den Ein-und Ausgangsschichten. Eingangs-und Ausgangschichten haben die gleiche Größe. Siehe 5 illustriert eine generische Darstellung eines Autoencoders. Autoencoder wurden unter anderem für unbeaufsichtigtes Lernen, Feature-Extraktion, Dimensionality Reduction und Datenkompression eingesetzt. Ein Autoencoder wird in der Regel verwendet, um eine Ausgabe so ähnlich wie möglich zu einem Eingang aus einer komprimierten Darstellung zu erstellen (z.B. die Ebene, die die geringere Anzahl von Eingängen hat). Seine Struktur ermöglicht ein einfaches Stapeln für die Erstellung von tiefen autoencoder Netzwerken. Alternativ könnte ein Autoencoder als Teil anderer Strukturen, wie etwa Klassifizierer, verwendet werden, mit dem Zusatz einer sequenziellen Schicht für überwachtes Lernen.
Eines der Hauptprobleme der Standard-neuronalen Netzwerke ist die Unfähigkeit, mit Datenunsicherheiten umzugehen, obwohl oft Mechanismen für stochastische Verhaltensweisen eingesetzt werden. Angesichts der Eigenschaften von unscharfen Systemen für den Umgang mit Datenunsicherheiten schlagen zumindest einige Ausführungsformen eine erweiterte Struktur für einen Autogeber vor, die die komprimierte Darstellung der Eingabe verbessert, insbesondere im Umgang mit lauten Daten, durch Eine Reihe von Eingängen. Die hinzugefügten Eingänge werden künstlich mit einem Fuzzifizierungsvorgang, bei oder vor einer ersten Schicht (oder Eingangsschicht) eines Autoencoders erzeugt. Zumindest einige Ausführungsformen können in vielen Konfigurationen verwendet werden und ersetzen transparent jeden herkömmlichen Autogeber.
In einer Ausführungsform füttern die originalen knackigen Eingänge (Roh-oder Originaldaten wie empfing) die erste Schicht des Autoencoders, wie üblich. Diese Eingänge speisen aber auch ein unscharfes System mit Struktur, die durch die Ausgabe eines Clusteralgorithmus bestimmt wird. Die Ausgabe des Fuzzy-Systems wird auch als Eingabe in die erste Ebene des Autoencoders verwendet, was zu einem transparenten Ersatz für einen traditionellen Autoencoder (gleiche Schnittstelle) führt, obwohl er für unsichere Daten viel besser geeignet ist. In einer Verkörperung kann ein Satz der vorgeschlagenen Autoencoder (oder Ebenen, die mit einem Autoencoder trainiert werden) nahtlos als tiefe neuronale Netzwerkstruktur (DNN) mit einer oder mehreren zusätzlichen Ebenen für die Durchführung einer entsprechenden Klassifizierungsaufgabe gestapelt werden. Prägungen, die hier offenbart werden, bieten erhebliche Vorteile. So werden beispielsweise die Ergebnisse für Klassifizierungsaufgaben mit vorgeschlagenen Strukturen, insbesondere bei lauten Testdaten, deutlich verbessert.
Weitere Ausführungsformen und Beispiele werden in Bezug auf die folgenden Zahlen diskutiert.
1 ist ein schematisches Blockdiagramm, das eine Fuzzifizierungsschicht 100 illustriert, mit der knackige Daten und unscharfe Daten in eine Eingangsschicht eines Autoencoders oder eines anderen neuronalen Netzwerks eingegeben werden können. Die Fuzzifizierungsschicht 100 kann knackige Daten erhalten. Die knackigen Daten können Sensordaten oder andere Daten enthalten, die von einem neuronalen Netzwerk verarbeitet werden sollen, wie zum Beispiel für die Klassifizierung. Das Clustern 102 wird auf den knackigen Daten durchgeführt (die eine große Anzahl von beschrifteten oder nicht labetierten Trainingsproben enthalten können), und es werden Funktionen für die Mitgliedschaft mit 104, die die Cluster beschreiben, erzeugt. In einer Ausführungsform wird die Clusterung von 102 und der Generation 104 der Mitgliederfunktionen separat durchgeführt und Informationen über die Mitgliedschaftsfunktionen werden verwendet, um unscharfe Eingaben zu generieren. Während des Trainings und der Nutzung eines neuronalen Netzwerkes kann die Fuzzifizierungsschicht 100 die Eigenschaften einer einzelnen Probe als knackige Daten erhalten. Auf Basis der knackigen Daten werden die Mitgliedschaftsfunktionen 104 genutzt, um für jede Mitgliedschaftsfunktion eine Aktivierungsstufe zu generieren. Die verschmolzenen Daten 106 der Fuzzifizierungsschicht 100 können ausgegeben werden. Die verschmolzenen Daten können die ursprünglichen knackigen Datenmerkmale sowie einen oder mehrere zusätzliche unscharfe Dateneingänge enthalten. Wenn zum Beispiel jedes Beispiel 50 Funktionen enthält, kann die Fuzzifizierungsschicht 100 5 unscharfe Funktionen bestimmen. Die 50 Funktionen der Probe sowie die 5 unscharfen Funktionen werden von der Fuzzifizierungsschicht 100 an Eingangsknoten eines Autoencoders oder eines anderen neuronalen Netzwerks ausgegeben. Die zusätzlichen unscharfen Eingänge, die durch die Fuzzifizierungsschicht 100 erzeugt werden, können einen größeren Autogeber oder eine Anzahl von Eingangsknoten erfordern (z.B. 55 versus 50 im obigen Beispiel), aber die daraus resultierende Qualität der Ausgabe, sowie die Verringerung der Dimensionalität, die von einem oder Mehr Autoencoder-Schichten, kann eine Nettoverbesserung sowohl in der Effizienz als auch in der Qualität der Leistung. Zum Beispiel kann ein neuronales Netz mit Autoencoder-Schichten, das unscharfe Eingaben verwendet, die Robustheit in Bezug auf Geräusche oder unsichere Daten erhöht haben.
Ein Fuzzifizierungs-Prozess, der von der Fuzzifizierungsschicht 100 durchgeführt wird, kann zwei allgemeine Schritte umfassen: (1) räumliche Gruppierung oder Clusterstellung von Daten im Trainingssatz; Und (2) Generierung von Mitgliederfunktionen für die Gruppierungen oder Cluster. 2 veranschaulicht die Gruppierung von Trainingsproben. Konkret werden zweidimensionale Proben (z.B. Proben mit je zwei Merkmalen) in Bezug auf eine vertikale und horizontale Achse als Punkte dargestellt. Ein Cluster-oder Gruppierungsalgorithmus oderprozess kann den ersten Cluster 202, den zweiten Cluster 204 und den dritten Cluster 206 von Proben identifizieren. Die Anzahl der Proben kann anhand der Daten automatisch ermittelt oder von einem Nutzer angegeben werden. Es gibt zahlreiche bekannte Clusteralgorithmen, die in verschiedenen Ausführungsformen verwendet werden können, wie zum Beispiel die Partitionierung von basierten Clusteralgorithmen, Data-Mining-Clustering-Algorithmen, hierarchisch basierte Clustering-Algorithmen, dichtbasierte Clusteralgorithmen, Modellbasierte Clusteralgorithmen, netzbasierte Clusteralgorithmen und dergleichen. Zu den Beispielalgorithmen gehören K-means, Fuzzy Clustering, density-based Spacial Clustering von Anwendungen mit Rauschen (DBSCAN), K-Mediods, ausgewogener iterativer Reduktion und Clustering mit Hierarchien (BIRCH) oder dergleichen. Die Art der verwendeten Clusterbildung kann von der Art der Daten, der gewünschten Nutzung der Daten oder einer anderen solchen Überlegung abhängen. In einer Ausführungsform wird die Clusterbildung separat auf einer großen Menge von beschrifteten und/oder nicht gekennzeichneten Daten durchgeführt, um Cluster vor dem Training eines Autoencoder-Netzwerks oder einer Ebene zu erzeugen. Als Ergebnis eines Clusteralgorithmus, tEr Zentren der Cluster und einen Durchmesser oder eine Breite in einer oder mehreren Dimensionen finden. Das Center and/oder die Breiten können verwendet werden, um unscharfe Mitgliedschaftsfunktionen zu erstellen.
3 zeigt eine Grafik von drei Clustern, die sich aus einem Cluster-Algorithmus ergeben können, der auf Trainingsdaten durchgeführt wird. Die drei Cluster umfassen einen ersten Cluster 302, einen zweiten Cluster 304 und einen dritten Cluster 306, der in Bezug auf eine vertikale Achse gezeigt wird, die Merkmal A und eine horizontale Achse, die Merkmal B darstellt. Die Cluster 302, 304, 306 werden ohne Punkte gezeigt, die die Proben für Klarheit darstellen. Zu illustrativen Zwecken werden nur zwei Dimensionen gezeigt. Die hier offenbarten Prinzipien und Ausführungsformen gelten jedoch auch für viele dimensionale Datensätze mit Zehn-, Hunderttausenden, Millionen oder anderen Merkmalen. Auf Basis der Cluster 302, 304, 306 können Mitgliedschaftsfunktionen generiert werden. Auch hier können Mitgliederfunktionen im Vorfeld der Ausbildung eines neuronalen Netzwerks generiert werden, das auf einer großen Anzahl von Trainingsdaten basiert, einschließlich beschrifteter und/. oder nicht beschrifteter Proben.
4 anschaulich illustriert Mitgliederfunktionen, die auf der Grundlage der Cluster 302, 304 und 306 der 3 erzeugt werden können. In einer Verkörperung können die Cluster-Informationen in Mitgliederfunktionen umgewandelt werden. Zum Beispiel kann der erste Cluster 302 in Mitgliedschaftsfunktionen umgewandelt werden, einschließlich Gleichungen für MF-A2 und MF-B2, der zweite Cluster 304 kann in Mitgliedschaftsfunktionen umgewandelt werden, einschließlich MF-A1 und MF-B1, und der dritte Cluster 306 kann in Mitgliedschaftsfunktionen umgewandelt werden. Die Mitgliedschaftsfunktionen einschließlich der Gleichungen für MF-A3 und MF-B3, wie gezeigt. 4 stellt die Mitgliederfunktionen als Gaußsche Funktionen dar, da sie den ovalen Formen der Cluster entsprechen. Es kann jedoch jede Art von Mitgliederfunktion verwendet werden (z.B. Dreiecks-, Trapez-, Glocken-, Cauchy-, Square oder ähnliches). Die Zentren der Mitgliederfunktionen stimmen die Zentren der Cluster in jeder der Dimensionen überein. Wie bereits erwähnt, ist das abgebildete Beispiel für 2-dimensinoale Daten (Features A und B), kann aber auf jede Dimensionalität und beliebig viele Cluster anwendbar sein.
Anhand der Mitgliederfunktionen kann ein Aktivierungsgrad einer bestimmten Stichprobe ermittelt werden. In einer Ausführungsform können Regeln für die Bestimmung der Aktivierungsstufe festgelegt werden. Für das vorgestellte Beispiel von 3 und 4 können wir bis zu 9 unscharfe Regeln erstellen (d.h. 9 unscharfe Eingänge in das neuronale Netz zusätzlich zu den 2 bereits vorhandenen). Diese Beispielregeln können wie folgt strukturiert werden: 1) wenn das Merkmal A MF-A1 ist und das Feature dann MF-B1 ist (...); 2) wenn das Merkmal A MF-A1 ist und das Feature MF-B2 dann (...); 3) wenn das Merkmal A MF-A1 ist und das Feature dann MF-B3 ist (...); ...; Und 9), wenn das Merkmal A MF-A3 ist und das Feature dann MF-B3 (...). In den meisten Fällen ist die maximale Anzahl möglicher Regeln nicht erforderlich. Die Ausgabe jeder Regel, die in der vorherigen Folie als (...) markiert ist, ist der Aktivierungsgrad der Regel. Jede Regel wird durch die Werte der Eingabe in Bezug auf die Mitgliedschaftsfunktionen aktiviert.
Als Beispiel für die vorgegebene Regel, wenn das Merkmal A MF-A1 ist und das Feature dann (...) MF-B1 ist, wenn der Wert der Funktion A für eine Probe genau auf der Mitte des zweiten Clusters 304 liegt und der Wert des Merkmals B für die Probe genau auf der Mitte des zweiten Cluster 304, dann kann die Aktivierung der Regel sehr nahe oder gleich 1 (maximale Mitgliedschaft) sein. Auf der anderen Seite, wenn die Stichprobenwerte für beide Zentren sehr weit entfernt liegen, kann der Aktivierungsgrad sehr nahe oder gleich 0 (Mindestmitgliedschaft) sein. In einer Verkörperung lässt sich der Aktivierungsgrad einer Regel unter anderem durch das Produkt zwischen allen einzelnen Mitgliedschaften berechnen. So spiegeln zusätzliche unscharfe Daten, die aus knackigen Daten in der Fuzzifizierungsschicht generiert werden können, die Mitgliedergrade dieser speziellen Datenprobe zu allen möglichen Clustern in Ihrem Problem wider. Wieder einmal können die Mitgliederfunktionen und Fuzzy-Regeln im Voraus ermittelt und dann in die Fuzzifizierungsschicht zur Verarbeitung von knackigen Daten und zur Generierung von unscharfen Dateneingaben aufgenommen werden.
5 ist ein schematisches Diagramm, das einen traditionellen Autoencoder 500 illustriert. Der Autoencoder 500 enthält eine Eingangsschicht 502 mit einer gleichen Anzahl von Knoten wie eine Ausgabespicht 504. Eine versteckte Schicht 506 wird zwischen der Eingangsschicht 502 und der Ausgangsschicht 504 positioniert. In einer Ausführungsform kann der Autoencoder 500 trainiert werden, bis die Ausgabe der Ausgangsschicht 504 übereinstimmt oder eine erforderliche Annäherung an den Eingang an die Eingangsschicht 502 erreicht.
6 veranschaulicht die Erstellung eines tiefen Stapels von Autoencodern. Ein Autoencoder 500 kann so lange trainiert werden, bis die Ausgabe ausreichend entspricht oder einer Eingabe entspricht. Dann wird eine Ausgabeschicht des Autoencoders 500 entfernt, wie in 600a gezeigt, und ein zusätzlicher Autoencoder 600b wird hinzugefügt. Der zusätzliche Autogeber 600b verwendet die versteckte Schicht des bisherigen Autoencoders 500 als Eingangsschicht. Der zusätzliche Autoencoder 600b kann dann trainiert werden, um eine Ausgabe zu erzeugen, die eine Eingabe wesentlich stimmt oder annähert. Dieser Trainingsprozess, die Entlassung der Ausgangsschicht und das Hinzufügen einer zusätzlichen Schicht können beliebig oft wiederholt werden, um die Dimensionalität deutlich zu reduzieren. Das Training und die Zugabe von Autoencoder-Schichten kann mit einer Fuzzifizierungsschicht (wie in 1) durchgeführt werden, um knackige Daten zu erhalten und während des Trainings unscharfe Eingaben für jede Probe zu erzeugen.
7 zeigt ein neuronales Netzwerk 700 mit einer Fuzzifizierungsschicht 702. Zum Beispiel, nach der Ausbildung von Auto-Encodern and/oder Klassifikationsschichten, wie im Vergleich zu den vorherigen Zahlen diskutiert, die Der resultierende Stapel von Autoencodern kann eine Struktur haben, die dem neuronalen Netzwerk 700 ähnelt. In einer Verkörperung kann man, nachdem jeder Autoencoder separat mit nicht beschrifteten Daten (unbeaufsichtigtes Lernen) trainiert wurde, die verfügbaren beschrifteten Daten verwenden, um den Stapel von Autoencodern zu verfeinern (überwachtes Lernen). In einer Verkörperung werden Autoencoder, wenn sie unbeaufsichtigt trainiert werden, versucht, die Eingabe an der Ausgabe mit reduzierter Anzahl von Funktionen nachzubilden. So werden die Auto-Encoder während des Trainings versuchen, die Ausgabe so nah wie möglich von der Eingabe zu treiben, ohne dass externe Rückmeldungen über ihre Ausgabe gegeben werden (keine beschrifteten Daten benötigt. In einer Verkörperung wird vor der Ausbildung von Autoencodern oder der Verwendung der Fuzzifizierungsschicht 702 eine Reihe von Trainingsdaten zu Clustern und Mitgliederfunktionen verarbeitet. Zumindest einige dieser Daten können dann in die Fuzzifikationsschicht 702 aufgenommen werden, um unscharfe Daten für jede Probe auszugeben, die während des Trainings oder der realen Verwendung in einen Autoencoder eingegeben werden.
Nach dem Training kann die Struktur die Fuzzifizierungsschicht 702 und eine oder mehrere Autogeber Schichten 704 umfassen. Eine Klassifikationsschicht 706 (z.B. ein Softmax-Klassifizierer) kann am Ende der Autoencoder-Schichten 704 verwendet werden, um den vorhandenen Fehler zwischen der geschätzten Ausgabe (aus dem Netzwerk) und der tatsächlichen Ausgabe (aus den Etiketten) zurückzuverbreiten. Nach diesem Schritt hat der Autoencoder nun, anstatt nur ähnliche Daten zu gruppieren, einige Informationen darüber, was die Eingabe eigentlich bedeutet. Dies kann besonders nützlich sein, wenn man viele nicht beschriftete Daten hat, aber nur wenige beschriftete Proben. Zum Beispiel ist es für die Klassifizierung von Verkehrszeichen viel einfacher, einfach zu fahren und stundenlange Daten mit Kameras zu sammeln, als auch alle Fälle von Verkehrszeichen, möglicherweise einschließlich ihrer Standorte und Bedeutungen, manuell zu kennzeichnen. Prägungen, die hier besprochen werden, können in dieser Situation ein hochpräzises Training ermöglichen, auch wenn nur ein relativ kleiner Teil der Verkehrszeichen tatsächlich beschriftet ist.
Prägungen, die hier offenbart werden, können einen erheblichen Nutzen und Nutzen für das maschinelle Lernen oder andere neuronale Netzwerknutzungsfälle bieten. Zum Beispiel können für die Feature-Extraktion große Datenmengen mit nur begrenzten Funktionen dargestellt werden. Für die Datenkompression werden am Ende des tiefen Stapels von Autoencodern deutlich reduzierte Abmessungen erreicht, die zu einfacheren Klassifizierungsschichten und verbesserter Qualitätstraining und kürzeren Trainingszeiten führen. Prägungen sorgen zudem für eine verbesserte Lärmminderung. Zum Beispiel beim Komprimieren von Daten wird der Autoencoder den weniger wichtigen Teil, der in der Regel Rauschen ist, loswerden. Prägungen verbessern auch die Initialisierung anderer neuronaler Netzwerke. Konkret kann der Autoencoder, anstatt die Netzwerke nach dem Zufallsprinzip zu initialisieren, ähnliche Daten zusammenfassen und ein mächtiges Werkzeug für die Konvergenz von Netzwerken sein. Der unscharfe Ansatz für die Autoencoder-Eingabe kann all diese Anwendungen adressieren und verbessern, mit dem Zusatz, dass die Daten in der gleichen geringen Menge an Speicherplatz besser dargestellt werden können, da er dem Datensatz qualitative Informationen hinzufügt. Der unscharfe Ansatz (Fuzzy input generation) kann sich vor allem mit Ungewissheit verbessern (z.B. Eingänge, die beim Training noch nie zuvor zu sehen waren - Beispiel der vorherigen Seite, Unklarheiten und Geräusche).
8 ist ein schematisches Fließdiagramm, das eine Methode 800 für die Schulung und Verarbeitung von Daten über ein neuronales Netzwerk mit unscharfen Eingaben veranschaulicht. Die Methode 800 kann von einem oder mehreren Rechensystemen oder von einer neuronalen Netzwerkverarbeitungskomponente durchgeführt werden, wie zum Beispiel der neuronalen Netzwerkverarbeitungskomponente 900 von 9.
Die Methode 800 beinhaltet die Erzeugung von 802 Clustern, die auf den Trainingsdaten basieren. Zum Beispiel kann ein Clusteralgorithmus verwendet werden, um Parameter für einen oder mehrere Cluster zu identifizieren und zu generieren, die innerhalb von Trainingsdaten identifiziert werden. Die Methode 800 beinhaltet die Bestimmung von 804 Mitgliedschaftsfunktionen für Cluster. Die Methode 800 beinhaltet die Speicherung von 806 unscharfen Regeln oder Mitgliedschaftsfunktionen in Fuzzifizierungsschicht. Zum Beispiel kann eine Gleichung oder Angabe der Mitgliedschaftsfunktion in der Fuzzifizierungsschicht gespeichert werden, so dass die Fuzzifizierungsschicht verwendet werden kann, um unscharfe Eingaben auf der Grundlage einer einzigen Probe zu erzeugen (eine einzelne Probe kann eine Vielzahl von Funktionen enthalten). Die Methode 800 beinhaltet das Training von 808 oder mehreren Autoencoder-Schichten mit Fuzzifizierungsschicht. Zum Beispiel können Trainingsproben einzeln in die Fuzzifizierungsschicht eingegeben werden, die dann die ursprünglichen Trainingsprobendaten (knackige Daten) eingibt und unscharfe Eingaben in eine Eingangssäule eines Autoencoders erzeugt. Die Rückenausbreitung kann verwendet werden, um die Autoencoder oder Autoencoder-Schichten mit der Fuzzifizierungsschicht zu trainieren. Die Methode 800 beinhaltet das Training von 810 oder mehreren zusätzlichen Ebenen mit Autoencoder-Schicht (n) und Fuzzification. Zum Beispiel, nachdem ein tiefer Stapel von Autoencodern erstellt wurde, können eine oder mehrere Klassifikationsschichten oder andere Ebenen hinzugefügt werden und eine Ausgabe. Das Training kann durch das Einsetzen von Proben in die Fuzzifizierungsschicht und den Verbreitungsfehler im Rücken erfolgen, um die Werte in den Knoten der zusätzlichen Ebenen und die Knoten im tiefen Stapel von Autoencodern zu trainieren. Die Methode 800 umfasst auch die Verarbeitung von 812 Proben aus der realen Welt mit Fuzzifizierungsschicht, Autoencoder-Schicht (n) und zusätzlichen Layern (n). Zum Beispiel, nachdem die Autoencoder-Schichten und zusätzlichen Schichten trainiert wurden, kann das neuronale Netzwerk verwendet werden, um Klassifizierungen, Vorhersagen oder andere Ausgaben auf Basis von realen Proben bereitzustellen. Die Proben der realen Welt können in eine Fuzzifizierungsschicht eingegeben werden, so dass unscharfe Daten als Eingabe auch während der Verarbeitung von Daten aus der realen Welt in einer Verkörperung erzeugt werden.
In einer Verkörperung kann die Clusterbildung auf einem großen Teil der Trainingsdaten durchgeführt werden. Nachdem Cluster-und Mitgliederfunktionen festgelegt wurden, können die gleichen Proben einzeln verwendet werden, um Autogenge-Schichten mit einer Fuzzifizierungsschicht zu trainieren, die auf der Grundlage der Cluster-und Mitgliederfunktionen unscharfe Eingaben erzeugt. Dann können beschriftete Trainingsdaten verwendet werden, um den Autoencoder oder zusätzliche Ebenen (z.B. eine Ausgabe-oder Klassifikationsschicht) zu trainieren. So können Trainingsdaten zur Bestimmung von Parametern für eine Fuzzifikationsschicht verwendet werden, um unscharfe Daten zu erzeugen, um Werte für Knoten in einer oder mehreren Autoencoder-Ebenen zu bestimmen, und/oder um Werte für Knoten in einer Ausgabe, Klassifizierung oder anderen Ebene zu bestimmen.
Auf 9 wird ein schematisches Blockdiagramm gezeigt, das Komponenten einer neuronalen Netzwerkverarbeitungskomponente 900 nach einer Ausführungsform illustriert. Die neuronale Netzwerkverarbeitungskomponente 900 kann die Schulung von neuronalen Netzwerken und die Verarbeitung von Daten über ein neuronales Netzwerk gemäß einer der hier diskutierten Ausführungsformen oder Funktionen ermöglichen. Die neuronale Netzwerkverarbeitungskomponente 900 umfasst eine Trainingsdatenkomponente 902, eine Clustering-Komponente 904, eine Mitgliederfunktionskomponente 906, eine Aktivierungsstufe Komponente 908, eine knackige Eingangskomponente 910, eine unscharfe Eingangskomponente 912, eine Klassifizierung Komponente 914, Trainingskomponente 916 und Online-Komponente 918. Die Bauteile 902-918 sind nur als Abbildung gegeben und können nicht alle in alle Ausführungsformen aufgenommen werden. In der Tat, einige Ausführungsformen können nur eine oder eine Kombination von zwei oder mehr der Komponenten 902-918 enthalten. Zum Beispiel können einige der Komponenten 902-918 außerhalb oder getrennt von der neuronalen Netzwerkverarbeitungskomponente 900 liegen. Die Schulungsdatenkomponente 902 ist so konfiguriert, dass Rohdaten inklusive einer Vielzahl von Schulungsproben gewonnen werden. So kann die Trainingsdatenkomponente 902 beispielsweise Trainingsdaten aus der Speicherung speichern oder abrufen. Die Clusterkomponente 904 ist so konfiguriert, dass eine Vielzahl von Gruppen oder Clustern innerhalb der Rohdaten identifiziert werden kann. Die Clusterkomponente 904 kann Clustering auf einem vollständigen Teil von Trainingsdaten (z.B. einer Vielzahl von Proben von Trainingsdaten) durchführen, um festzustellen, wie die Daten zusammengelegt werden. Die Mitgliederunkomponente 906 ist so konfiguriert, dass eine Pluralität der Mitgliederfunktionen ermittelt wird, wobei die Pluralität der Mitgliederfunktionen eine Mitgliederfunktion für jede der Gruppen oder Cluster beinhaltet. In einer Ausführungsform wird die Cluster-Information oder-Mitgliederfunktion in einer Fuzzifizierungsschicht oder-Eingangsschicht für ein neuronales Netzwerk gespeichert. Die Cluster-und Mitglieder-und Mitgliederfunktionen können im Vorfeld der Ausbildung von neuronalen Netzwerken eines Autoencoders oder eines anderen Knotens des neuronalen Netzwerks ermittelt werden.
Die Aktivierungsstufe Komponente 908 ist so konfiguriert, dass eine Aktivierungsstufe für mindestens eine Mitgliedschaftsfunktion auf der Grundlage von Funktionen einer Probe ermittelt wird. Zum Beispiel kann die Aktivierungsstufe Komponente 908 eine Aktivierungsstufe bestimmen, die auf einer Unschärfegel oder einem anderen Parameter basiert, der durch die Mitgliedschaftsunkomponente 906 bestimmt wird. Die knackige Eingangskomponente 910 ist so konfiguriert, dass die Eingabefunktionen der Probe in einen ersten Satz von Eingangsknoten eines Autoencoders eingegeben werden, und die unscharfe Eingangskomponente 912 ist so konfiguriert, dass die Aktivierungsstufe in einen zweiten Satz von Eingangsknoten des Autoencoders eingegeben wird. So kann der knackige und unscharfe Eingang auf einer Probe per Probenbasis in einen Eingangsknoten eines neuronalen Netzwerks eingefügt werden. In einer Ausführungsform enthält eine Fuzzifizierungsschicht die Aktivierungsstand-Komponente 908, die knackige Eingangskomponente 910 und die Fuzzy-Eingangskomponente 912. So kann jede Probe (mit einer Vielzahl von Funktionen) während des Trainings oder der Online-Nutzung durch die Aktivierungsstandlage Komponente 908, die knackige Eingangskomponente 910 und die verschwommene Eingangskomponente 912 verarbeitet werden, um die Eingabe in ein neuronales Netzwerk zu ermöglichen.
Die Klassifikationskomponente 914 ist so konfiguriert, dass eine Ausgabe aus einer automatischen Encoderschicht verarbeitet und eine Klassifizierung mit einer Klassifikationsschicht erzeugt und ausgegeben wird. Die Klassifikationsschicht kann an oder in der Nähe eines Ausgangs eines tiefen Stapels von Autoencodern positioniert werden, um eine Klassifizierung eines Probeneinsatzes auf den tiefen Stapel von Autoencodern zu ermöglichen. In einer Ausführungsform können die Klassifikationskomponente 914 und andere Knoten eines neuronalen Netzwerks mit Rückverbreitung trainiert werden, um eine Klassifizierung auf der Grundlage von beschrifteten Musterdaten zu ermöglichen.
Die Trainingskomponente 916 ist eine Trainingskomponente, die so konfiguriert ist, dass die Aktivierungsstandskomponente, die knackige Eingangskomponente und die unscharfe Eingangskomponente während des Trainings einer oder mehrerer Autoencoder-Levels auf den Trainingsproben arbeiten. Zum Beispiel kann die Fuzzifizierungsschicht beim Training einer oder mehrerer Autoencoder-Schichten and/oder während des Trainings mit beschrifteten Daten verwendet werden. Die Online-Komponente 918 ist so konfiguriert, dass die Aktivierungsstandlage, die knackige Eingangskomponente und die unscharfe Eingangskomponente dazu führen, dass die Daten der realen Welt für die Eingabe in ein neuronales Netzwerk einschließlich einer oder mehrerer Autoencoder-Levels verarbeitet werden. Zum Beispiel kann die Fuzzifizierungsschicht verwendet werden, um Proben aus der realen Welt zu verarbeiten, um unscharfe Daten für die Eingabe in ein neuronales Netzwerk zu erzeugen. In einer Ausführungsform dürfen die Cluster-Komponente 904 und die Mitgliederfunktionskomponente 906 bei der Online-Verarbeitung von Daten durch ein neuronales Netzwerk mit Fuzzifizierungsschicht nicht verwendet werden.
10 ist ein schematisches Fließdiagramm, das eine Methode 1000 zur Reduzierung der Dimensionalität und zur Verbesserung des neuronalen Netzbetriebs unter Berücksichtigung von Unsicherheiten oder Geräuschen veranschaulicht. Die Methode 1000 kann durch ein Computersystem oder eine neuronale Netzwerkverarbeitungskomponente durchgeführt werden, wie zum Beispiel die neuronale Netzwerkverarbeitungskomponente 900 von 9. Die Methode beginnt und eine neuronale Netzwerkverarbeitungskomponente 900 erhält 1002 Rohdaten, die eine Vielzahl von Proben enthalten, wobei jede Probe eine Vielzahl von Eingangsmerkmalen enthält. Eine Aktivierungsstand-Komponente 908 generiert auf Basis der Rohdaten 1004 unscharfe Daten. Zum Beispiel können die unscharfen Daten eine Aktivierungsstufe für eine Mitgliedschaftsfunktion oder einen Cluster enthalten. Eine knackige Eingangskomponente 910 und die unscharfe Eingangskomponente 912 geben 1006 die Rohdaten und die unscharfen Daten in eine Eingangsschicht eines neuronalen Netzwerk-Autoencoders ein.
11 ist ein schematisches Flow-Diagramm, das eine Methode 1100 für die Verarbeitung von Daten über ein neuronales Netzwerk zeigt. Die Methode 1100 kann während der Ausbildung und Verarbeitung von realen Eingängen verwendet werden. Die Methode 1100 kann durch ein Computersystem oder eine neuronale Netzwerkverarbeitungskomponente durchgeführt werden, wie zum Beispiel die neuronale Netzwerkverarbeitungskomponente 900 von 9.
Die Methode 1100 beginnt und eine Aktivierungsstufe Komponente 908 bestimmt 1102 eine Aktivierungsstufe, die auf einer Stichprobe für mindestens eine Mitgliedschaftsfunktion basiert, wobei die Mitgliederfunktion einer Gruppe oder einem Cluster entspricht, der auf der Grundlage von Trainingsdaten bestimmt wird. Eine knackige Eingangskomponente 910 gibt 1104 Funktionen für eine Probe in einen ersten Satz von Eingangsknoten eines neuronalen Netzwerks ein. In einer Ausführungsform enthält das neuronale Netzwerk eine oder mehrere Autoencoder-Ebenen und eine Eingangsschicht mit dem ersten Satz von Eingangsknoten und einem zweiten Satz von Eingangsknoten. Eine unscharfe Eingangskomponente 912 gibt 1106 die Aktivierungsstufe in den zweiten Satz von Eingangsknoten des neuronalen Netzwerks ein. 12 ist ein schematisches Flow-Diagramm, das eine Methode 1200 zur Datenverarbeitung über ein neuronales Netzwerk veranschaulicht. Die Methode 1200 kann bei der Ausbildung und Verarbeitung von realen Eingängen verwendet werden. Die Methode 1200 kann durch ein Computersystem oder eine neuronale Netzwerkverarbeitungskomponente durchgeführt werden, wie zum Beispiel die neuronale Netzwerkverarbeitungskomponente 900 von 9. Die Methode 1200 beginnt eine Trainingsdatenkomponente 902 erhält 1202 Rohdaten inklusive einer Vielzahl von Schulungsproben. Eine Clusterkomponente 904 identifiziert 1204 eine Vielzahl von Gruppen oder Clustern innerhalb der Rohdaten. Eine Mitgliederunkomponente 906 bestimmt 1206 eine Pluralität der Mitgliederfunktionen, wobei die Pluralität der Mitgliederfunktionen für jede der Pluralität von Gruppen oder Clustern eine Mitgliederfunktion beinhaltet. Eine Aktivierungsstufe Komponente 908 bestimmt 1208 eine Aktivierungsstufe für mindestens eine Mitgliedschaftsfunktion, die auf den Eigenschaften einer Probe basiert. Eine knackige Eingangskomponente 910 bringt 1210 Funktionen der Probe in einen ersten Satz von Eingangsknoten eines Autoencoders ein. Eine unscharfe Eingangskomponente 912 gibt 1212 die Aktivierungsstufe in einen zweiten Satz von Eingangsknoten des Autoencoders ein.
Auf 13 wird nun ein Blockdiagramm eines Beispielrechnungsgerätes 1300 dargestellt. Computergerät 1300 kann verwendet werden, um verschiedene Verfahren durchzuführen, wie die hier diskutierten. Rechengerät 1300 kann als neuronale Netzwerkverarbeitungskomponente 900 oder ähnliches funktionieren. Das Rechengerät 1300 kann verschiedene Funktionen erfüllen, wie hier beschrieben, wie zum Beispiel die Schulung, Clusterbildung, Fuzzifizierung und Verarbeitungsfunktionen. Computer-Gerät 1300 kann jede der verschiedensten Computer-Geräte, wie ein Desktop-Computer, In-Dash-Fahrzeug-Computer, Fahrzeugsteuerung, ein Notebook-Computer, ein Server-Computer, ein Handheld-Computer, Tablet-Computer und dergleichen.
Das Rechengerät 1300 enthält einen oder mehrere Prozessor (s) 1302, Ein oder mehrere Speichergeräte (s) 1304, eine oder mehrere Schnittstellen (s) 1306, ein oder mehrere Massenspeichergeräte (s) 1308, ein oder mehrere Input/Output (I/O) Geräte (s) 1310, und ein Display-Gerät 1330, die alle mit Ein Bus 1312. Prozessor (s) 1302 umfasst einen oder mehrere Prozessoren oder Controller, die Anweisungen ausführen, die in Speichergeräten (s) 1304 and/oder Massenspeichergerät (s) 1308 gespeichert sind. Prozessor (s) 1302 kann auch verschiedene Arten von computerlesbaren Medien, wie Cache-Speicher.
Speichergerät (s) 1304 enthält verschiedene computerlesbare Medien, wie zum Beispiel volatilen Speicher (z.B. zufälliger Zugriff (RAM) 1314) and/oder nichtvolatiler Speicher (z.B. nur lesbarer Speicher (ROM) 1316). Speichergerät (s) 1304 kann auch wiederbeschreibbares ROM, wie Flash-Speicher, enthalten.
Massenspeicher (s) 1308 enthalten verschiedene computerlesbare Medien, wie magnetische Bänder, magnetische Festplatten, optische Festplatten, Festkörperspeicher (z.B. Flash-Speicher) und so weiter. Wie in 13 gezeigt, ist ein bestimmtes Massenspeichergerät eine Festplatte 1324. Verschiedene Laufwerke können auch in Massenspeichergeräten (s) 1308 enthalten sein, um das Lesen von and/oder schriftlich auf die verschiedenen computerlesbaren Medien zu ermöglichen. Massenspeicher (s) 1308 enthalten abnehmbare Medien 1326 und/oder nicht abnehmbare Medien.
I/O-Geräte (s) 1310 enthalten verschiedene Geräte, die es erlauben, Daten und andere Informationen zu eingeben oder von einem Computergerät 1300 abzurufen. Zu den Beispiel I/O-Geräte (s) 1310 gehören Cursor-Steuergeräte, Tastaturen, Tastaturen, Tastaturen, Mikrofone, Monitore oder andere Anzeigegeräte, Lautsprecher, Drucker, Netzwerkkarten, Modems und ähnliches.
Das Display-Gerät 1330 umfasst alle Gerätetypen, die in der Lage sind, Informationen an einen oder mehrere Benutzer des Computergeräts 1300 anzuzeigen. Beispiele für das Displaygerät 1330 sind ein Monitor, ein Display-Terminal, ein Videoprojektionsgerät und dergleichen. Interface (s) 1306 umfasst verschiedene Schnittstellen, die es dem Computergerät 1300 ermöglichen, mit anderen Systemen, Geräten oder Computerumgebungen zu interagieren. Beispielschnittstelle (s) 1306 kann beliebig viele verschiedene Netzwerkschnittstellen 1320 umfassen, wie Schnittstellen zu lokalen Netzwerken (LANs), Breitband-Netzwerken (WANs), drahtlose Netzwerke und das Internet. Weitere Schnittstellen sind die Benutzeroberfläche 1318 und die Peripheriegeräte-Schnittstelle 1322. Die Schnittstelle (s) 1306 kann auch ein oder mehrere Benutzeroberflächen 1318 enthalten. Die Schnittstelle (s) 1306 kann auch eine oder mehrere Peripherieschnittstellen enthalten, wie Schnittstellen für Drucker, Zeigegeräte (Mäuse, Spur-Pad, oder eine geeignete Benutzeroberfläche, die jetzt denen von gewöhnlicher Kompetenz im Feld bekannt ist, oder später entdeckt wurde), Tastaturen und die mögen.
Bus 1312 ermöglicht es den Prozessoren (s) 1302, Speichergerät (s) 1304, Interface (s) 1306, Massenspeichergerät (s) 1308 und I/O-Gerät (s) 1310, miteinander zu kommunizieren, sowie andere Geräte oder Komponenten, die mit Bus 1312 gekoppelt sind. Bus 1312 stellt eine oder mehrere Arten von Busstrukturen dar, wie zum Beispiel einen Systembus, PCI-Bus, IEEE-Bus, USB-Bus und so weiter.
Zur Veranschaulichung werden Programme und andere ausführbare Programmkomponenten hier als diskrete Blöcke dargestellt, obwohl man davon überzeugt ist, dass solche Programme und Komponenten zu verschiedenen Zeiten in verschiedenen Speicherkomponenten des Computergerätes 1300 liegen können, Und werden von Prozessor (s) 1302 ausgeführt. Alternativ können die hier beschriebenen Systeme und Verfahren in Hardware oder einer Kombination aus Hardware, Software, and/oder Firmware implementiert werden. So können beispielsweise ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) so programmiert werden, dass eines oder mehrere der hier beschriebenen Systeme und Verfahren durchgeführt werden.
Beispiele
Die folgenden Beispiele beziehen sich auf weitere Ausführungsformen.
Beispiel 1 ist eine Methode zur Reduzierung der Dimensionalität und zur Verbesserung des neuronalen Netzbetriebs bei Ungewissheit oder Lärm. Die Methode beinhaltet den Empfang von Rohdaten, einschließlich einer Vielzahl von Proben, wobei jede Probe eine Vielzahl von Eingangsmerkmalen enthält. Die Methode beinhaltet die Erzeugung von unscharfen Daten auf der Basis der Rohdaten. Die Methode beinhaltet die Eingabe der Rohdaten und der unscharfen Daten in eine Eingangsschicht eines neuronalen Netzwerk-Autoencoders.
In Beispiel 2 beinhaltet die Generierung der unscharfen Daten wie in Beispiel 1 die Bestimmung einer Vielzahl von Clustern, die auf einer Reihe von Trainingsdaten einschließlich einer Vielzahl von Proben basieren.
In Beispiel 3 beinhaltet die Generierung der unscharfen Daten wie in Beispiel 2 die Generierung einer Pluralität der Mitgliederfunktionen, wobei die Pluralität der Mitgliederfunktionen eine Mitgliederfunktion für jede der Clustergruppen beinhaltet.
In Beispiel 4 beinhaltet die Generierung der unscharfen Daten wie in Beispiel 3 die Berechnung eines Aktivierungsgrades für eine oder mehrere der Pluralität der Mitgliedschaftsfunktionen für eine bestimmte Probe, wobei die spezifische Probe eine Trainingsprobe oder eine reale Stichprobe enthält.
In Beispiel 5 beinhaltet die Eingabe der unscharfen Daten wie in Beispiel 4 die Eingabe des Aktivierungsgrades für eine oder mehrere der Pluralität der Mitgliedschaftsfunktionen in einen oder mehrere Eingangsknoten in eine Eingangsschicht des Autoencoders.
In Beispiel 6 beinhaltet die Generierung der unscharfen Daten wie in Beispiel 1 die Berechnung eines Aktivierungsgrades für eine oder mehrere auf der Grundlage von Trainingsdaten ermittelte Aktivierungsfunktionen, wobei die spezifische Probe eine Trainingsprobe oder eine reale Stichprobe enthält.
In Beispiel 7 beinhaltet die Eingabe der unscharfen Daten wie in allen Beispielen 1 oder 6 die Eingabe des Aktivierungsgrades für einen oder mehrere der Pluralität der Mitgliedschaftsfunktionen in einen oder mehrere Eingangsknoten in eine Eingangsschicht des Autoencoders.
In Beispiel 8 enthält die Eingabe der Rohdaten und der unscharfen Daten wie in jedem der Beispiele 1-7 die Eingabe während der Ausbildung von Autocoder.
In Beispiel 9 beinhaltet eine Methode, wie in jedem der Beispiele 1-8, das Entfernen einer Ausgabeschicht des Autoencoders und das Hinzufügen einer oder mehrerer zusätzlicher neuronaler Netzschichten und das Training der verbleibenden Autoencoder-Schichten und der einen oder anderen zusätzlichen neuronalen Netzschichten für eine gewünschte Ausgabe.
In Beispiel 10 enthalten die eine oder mehrere zusätzliche neuronale Netzschichten wie in Beispiel 9 eine oder mehrere Klassifikationsschichten und wobei die gewünschte Ausgabe eine Klassifizierung beinhaltet.
In Beispiel 11 enthält eine Methode, wie in jedem der Beispiele 1-10, auch das Stapeln einer oder mehrerer Autoencoder-Schichten während des Trainings, um einen tiefen Stapel von Autocodern zu erstellen.
Beispiel 12 ist ein System, das eine Trainings-Datenkomponente, eine Clustering-Komponente, eine Mitgliedschaftsfunktionskomponente, eine Aktivierungsstand-Komponente, eine knackige Eingangskomponente und eine unscharfe Eingangskomponente enthält. Die Trainings-Datenkomponente ist so konfiguriert, dass Rohdaten inklusive einer Vielzahl von Schulungsproben gewonnen werden. Die Clusterkomponente ist so konfiguriert, dass eine Vielzahl von Gruppen oder Clustern innerhalb der Rohdaten identifiziert werden kann. Die Komponente der Mitgliederfunktion ist so konfiguriert, dass eine Pluralität der Mitgliederfunktionen festgelegt wird, wobei die Pluralität der Mitgliederfunktionen eine Mitgliederfunktion für jede der Gruppen oder Cluster beinhaltet. Die Aktivierungsstand-Komponente ist so konfiguriert, dass eine Aktivierungsstufe für mindestens eine Mitgliedschaftsfunktion anhand von Funktionen einer Probe festgelegt wird. Die knackige Eingangskomponente ist so konfiguriert, dass die Funktionen der Probe in einen ersten Satz von Eingangsknoten eines Autoencoders eingegeben werden. Die unscharfe Eingangskomponente ist so konfiguriert, dass die Aktivierungsstufe in einen zweiten Satz von Eingangsknoten des Autoencoders eingegeben wird.
In Beispiel 13 enthält die Probe wie in Beispiel 12 eine Trainingsprobe der Pluralität von Trainingsproben. Das System enthält darüber hinaus eine Trainingskomponente, die so konfiguriert ist, dass die Aktivierungsstand-Komponente, die knackige Eingangskomponente und die unscharfe Eingangskomponente während des Trainings eines oder mehrerer Autoencoder-Levels auf den Trainingsproben arbeiten.
In Beispiel 14 enthält die Probe wie in Beispiel 12 eine reale Stichprobe. Das System enthält darüber hinaus eine Online-Komponente, die so konfiguriert ist, dass sie die reale Welt sammelt. Die Online-Komponente ist weiter so konfiguriert, dass die Aktivierungsstandlage, die knackige Eingangskomponente und die unscharfe Eingangskomponente die realen Daten für die Eingabe in ein neuronales Netzwerk einschließlich einer oder mehrerer Autoencoder-Levels verarbeiten.
In Beispiel 15 enthält das System, wie in jedem der Beispiele 12-14, eine Klassifikationskomponente, die so konfiguriert ist, dass eine Ausgabe aus einer automatischen Encoderschicht verarbeitet wird und eine Klassifizierung mit einer Klassifikationsschicht, der Klassifikationsschicht einschließlich Ein oder mehrere Knoten.
In Beispiel 16 werden die knackige Eingangskomponente und die unscharfe Eingangskomponente wie in jedem der Beispiele 12-15 so konfiguriert, dass sie an eine Eingangsschicht eines neuronalen Netzwerks ausgegeben werden, das neuronale Netzwerk, das eine Vielzahl von Auto-Encoder-Ebenen enthält.
In Beispiel 17 enthält das neuronale Netzwerk wie in Beispiel 16 weitere eine oder mehrere Klassifikationsschichten, wobei die Klassifikationsschichten eine Ausgabe liefern, die eine Klassifizierung für die knackige Eingabe einer Probe anzeigt.
Beispiel 18 ist computerlesbare Speichermedien-Speicheranweisungen, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, dazu führen, dass der eine oder andere Prozessorabarbeiter eine Aktivierungsstufe ermittelt, die auf einer Probe für mindestens eine Mitgliedschaftsfunktion basiert, wobei die Mitgliedschaft Die Funktion entspricht einer Gruppe oder einem Cluster, der auf der Grundlage von Trainingsdaten ermittelt wird. Die Anweisungen führen dazu, dass der eine oder andere Prozessorvorgang Funktionen für eine Probe in einen ersten Satz von Eingangsknoten eines neuronalen Netzwerks eingibt, wobei das neuronale Netzwerk eine oder mehrere Autoencoder-Ebenen und eine Eingabeschicht einschließlich des ersten Sets von Eingangsknoten und einer zweiten se enthält. t der Eingang-Knoten. Die Anweisungen führen dazu, dass der eine oder andere Prozessorablauf die Aktivierungsstufe in den zweiten Satz von Eingabeknoten des neuronalen Netzwerks einfügt. In Beispiel 19 führen die Anweisungen wie in Beispiel 18 dazu, dass der eine oder andere Prozessor eine Vielzahl von Gruppen oder Clustern auf der Grundlage der Trainingsdaten ermittelt, wobei die Vielzahl von Gruppen oder Clustern die Gruppe oder den Cluster einschließt.
In Beispiel 20 führen die Anweisungen wie in Beispiel 19 dazu, dass der eine oder andere Prozessor eine Pluralität der Mitgliederfunktionen für die Pluralität von Gruppen oder Clustern generiert, wobei die Pluralität der Mitgliederfunktionen die Mitgliederfunktion einschließt. Beispiel 21 ist ein System oder ein Gerät, das Mittel zur Implementierung einer Methode oder zur Realisierung eines Systems oder Geräts in einem der Beispiele 1-20 enthält.
In der obigen Offenbarung wurde auf die dazugehörigen Zeichnungen verwiesen, die hiervon einen Teil bilden und in denen anschaulich spezifische Umsetzungen gezeigt werden, in denen die Offenbarung praktiziert werden kann. Es ist davon auszugehen, dass andere Implementierungen genutzt werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Anwendungsbereich der vorliegenden Offenbarung abzuweichen. Hinweise in der Spezifikation auf „eine Verkörperung,“ „eine Verkörperung,“ „eine Beispielausführungsform“ usw. deuten darauf hin, dass die beschriebene Verkörperung ein bestimmtes Merkmal, eine Struktur oder ein bestimmtes Merkmal enthalten kann, aber jede Verkörperung nicht unbedingt die Besonderes Merkmal, Struktur oder Charakteristik. Zudem beziehen sich solche Sätze nicht unbedingt auf die gleiche Verkörperung. Wenn ein bestimmtes Merkmal, eine Struktur oder ein Merkmal im Zusammenhang mit einer Ausführungsform beschrieben wird, wird ferner darauf hingewiesen, dass es im Wissen eines Fachmanns liegt, dieses Merkmal, diese Struktur oder dieses Merkmal in Verbindung mit anderen zu beeinflussen. Ausführungsformen, ob explizit beschrieben.
Die Implementierung der hier offenbarten Systeme, Geräte und Methoden kann einen speziellen oder universellen Computer einschließlich Computer-Hardware umfassen oder nutzen, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, wie hier besprochen. Die Umsetzung im Rahmen der vorliegenden Offenbarung kann auch physische und andere computerlesbare Medien zum Tragen oder Speichern von computerausführbaren Anweisungen und/Datenstrukturen umfassen. Solche computerlesbaren Medien können alle verfügbaren Medien sein, auf die man mit einem allgemeinen oder einem speziellen Computersystem zugreifen kann. Computerlesbare Medien, die computerausführbare Anweisungen speichern, sind Computerspeichermedien (Geräte). Computerlesbare Medien, die computerausführbare Anweisungen tragen, sind Übertragungsmedien. So können beispielsweise und nicht nur Einschränkungen, die Implementierungen der Offenbarung mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (Geräte) und Übertragungsmedien.
Computerspeichermedien (Geräte) umfassen RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke („SSDs“) (z.B. auf RAM basierende), Flash-Speicher, Phasenwechselspeicher („PCM“), andere Speichertypen, andere optische Festplattenspeicher, magnetische Festplattenspeicher oder andere magnetische Speicher Geräte oder ein anderes Medium, mit dem gewünschte Programmcodes gespeichert werden können, bedeutet in Form von computerausführbaren Anweisungen oder Datenstrukturen und das über einen allgemeinen oder speziellen Computer zugänglich ist.
Eine Implementierung der hier offenbarten Geräte, Systeme und Methoden kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ wird als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Geräten ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder Hardwired, Wireless oder eine Kombination aus Hardwired oder Wireless) an einen Computer übertragen oder bereitgestellt werden, sieht der Computer die Verbindung als Übertragungsmedium. Übertragungsmedien können ein Netzwerk and/oder Datenlinks enthalten, mit denen gewünschte Programmcode-Mittel in Form von computerausführbaren Anweisungen oder Datenstrukturen übertragen werden können und die durch einen allgemeinen oder speziellen Computer abgerufen werden können. Die Kombinationen der oben genannten Mittel sollten auch in den Bereich der computerlesbaren Medien einbezogen werden.
Computer-ausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie an einem Prozessor ausgeführt werden, dazu führen, dass ein Universal-Computer, ein Spezialcomputer oder ein spezielles Zweckverarbeitungsgerät eine bestimmte Funktion oder eine bestimmte Gruppe von Funktionen. Die ausführbaren Anweisungen des Computers können zum Beispiel Binärdateien, Zwischengutungen wie Montagesprache oder sogar Quellcode sein. Obwohl der Gegenstand in einer Sprache beschrieben wurde, die speziell für strukturelle Merkmale und/oder methodische Handlungen ist, ist zu verstehen, dass der Gegenstand, der in den beigefügten Ansprüchen definiert ist, nicht unbedingt auf die beschriebenen Merkmale oder Handlungen beschränkt ist. oben beschrieben. Vielmehr werden die beschriebenen Merkmale und Handlungen als Beispielformen der Umsetzung der Ansprüche offengelegt.
Diejenigen, die in der Technik wissen, werden zu schätzen wissen, dass die Offenlegung in Netzwerk-Computer-Umgebungen mit vielen Arten von Computer-Systemkonfigurationen praktiziert werden kann, darunter ein In-Dash-Fahrzeug-Computer, Personal Computer, Desktop-Computer, Laptop-Computer, Message-Prozessoren, Handheld-Geräte, Multi-Prozessor-Systeme, mikroprozessorbasierte oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Mainframe-Computer, Mobiltelefone, PDAs, Tablets, Pager, Router, Schalter, diverse Speicher Geräte, und dergleichen. Die Offenlegung kann auch in verteilten Systemumgebungen praktiziert werden, in denen lokale und entfernte Computersysteme, die (entweder durch Hardwired-Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus Hardwier-und WLAN-Datenverbindungen) über ein Netzwerk miteinander verbunden sind, beide miteinander verbunden sind. Aufgaben erfüllen. In einer verteilten Systemumgebung können sich Programmmodule sowohl in lokalen als auch in entfernten Speichergeräten befinden.
Darüber hinaus können gegebenenfalls die hier beschriebenen Funktionen in einer oder mehreren Funktionen ausgeführt werden: Hardware, Software, Firmware, digitale Komponenten oder analoge Komponenten. So können beispielsweise ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) so programmiert werden, dass eines oder mehrere der hier beschriebenen Systeme und Verfahren durchgeführt werden. Bestimmte Begriffe werden in der Beschreibung verwendet und behaupten, sich auf bestimmte Systemkomponenten zu beziehen. Die Begriffe „Module“ und „Komponenten“ werden in den Namen bestimmter Komponenten verwendet, um ihre Implementierungsunabhängigkeit in Software, Hardware, Schaltkreise, Sensoren oder dergleichen zu reflektieren. Wie ein Fachmann einschätzen wird, können Bauteile mit verschiedenen Namen bezeichnet werden. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, die sich im Namen unterscheiden, aber nicht funktionieren.
Es ist zu beachten, dass die oben beschriebenen Sensorausführungsformen aus Computerhardware, Software, Firmware oder einer beliebigen Kombination bestehen können, um zumindest einen Teil ihrer Funktionen auszuführen. Zum Beispiel kann ein Sensor einen Computercode enthalten, der in einem oder mehreren Prozessoren ausgeführt werden kann, und eine Hardware-Logik-/elektrische Schaltung, die durch den Computercode gesteuert wird. Diese Beispielgeräte werden hier zur Veranschaulichung bereitgestellt und sind nicht dazu bestimmt, sie zu begrenzen. Prägungen der vorliegenden Offenbarung können in weiteren Gerätetypen umgesetzt werden, wie es Fachleuten mit den entsprechenden Grafiken bekannt wäre.
Zumindest einige Ausführungsformen der Offenbarung wurden auf Computerprogrammprodukte gerichtet, die eine solche Logik (z.B. in Form von Software) enthalten, die auf jedem computernutzbaren Medium gespeichert ist. Eine solche Software, wenn sie in einem oder mehreren Datenverarbeitungsgeräten ausgeführt wird, führt dazu, dass ein Gerät so funktioniert, wie es hier beschrieben wird.
Während verschiedene Ausführungsformen der vorliegenden Offenbarung oben beschrieben wurden, ist zu verstehen, dass sie nur als Beispiel und nicht als Beschränkung dargestellt wurden. Für Fachmann wird es offensichtlich sein, dass darin verschiedene Änderungen in Form und Detail vorgenommen werden können, ohne von Geist und Umfang der Offenbarung abzuweichen. Die Breite und der Umfang der vorliegenden Offenbarung sollten daher nicht durch eine der oben beschriebenen vorbildlichen Ausführungsformen eingeschränkt werden, sondern nur nach den folgenden Ansprüchen und deren Äquivalenten definiert werden. Die vorstehende Beschreibung wurde zur Illustration und Beschreibung vorgelegt. Sie soll nicht erschöpfend sein oder die Offenbarung auf die genaue Form beschränken. Viele Änderungen und Variationen sind im Lichte der oben genannten Lehre möglich. Ferner ist anzumerken, dass eine oder alle der oben genannten alternativen Implementierungen in jeder Kombination verwendet werden können, die Sie als zusätzliche hybride Implementierungen der Offenbarung wünschen.
Auch wenn konkrete Umsetzungen der Offenbarung beschrieben und illustriert wurden, ist die Offenbarung nicht auf die spezifischen Formen oder Anordnungen von Teilen zu beschränken, die so beschrieben und illustriert sind. Der Umfang der Offenbarung ist durch die hierzulanken Ansprüche, etwaige künftige Ansprüche, die hier und in verschiedenen Anträgen eingereicht werden, und deren Entsprechungen zu definieren..

Claims

Eine Methode zur Reduzierung der Dimensionalität und zur Verbesserung des neuronalen Netzbetriebs im Lichte von Unsicherheiten oder Geräuschen, die Methode umfasst: Der Empfang von Rohdaten, die eine Vielzahl von Proben enthalten, wobei jede Probe eine Vielzahl von Eingangsmerkmalen enthält; Erzeugung von unscharfen Daten auf der Basis der Rohdaten; und Die Rohdaten und die unscharfen Daten in eine Eingangsschicht eines neuronalen Netzwerk-Autoencoders einfügen.
Die Methode des Anspruchs 1, bei der die unscharfen Daten erzeugt werden, umfasst die Bestimmung einer Vielzahl von Clustern, die auf einem Körper von Trainingsdaten basieren, der eine Vielzahl von Proben umfasst.
Die Methode des Anspruchs 2, bei der die unscharfen Daten weiter generiert werden, besteht darin, eine Pluralität der Mitgliederfunktionen zu generieren, wobei die Pluralität der Mitgliederfunktionen für jede der Clustergruppen eine Mitgliederfunktion umfasst.
Die Methode des Anspruchs 3, bei der die unscharfen Daten generiert werden, besteht darin, einen Grad der Aktivierung für eine oder mehrere der Pluralität der Mitgliedschaftsfunktionen für eine bestimmte Probe zu berechnen, wobei die spezifische Probe eine Trainingsprobe oder eine reale Stichprobe umfasst.
Die Methode des Anspruchs 4, bei der die unscharfen Daten eingefügt werden, besteht darin, den Aktivierungsgrad für eine oder mehrere der Pluralität der Mitgliedschaftsfunktionen in einen oder mehrere Eingangsknoten in eine Eingangsschicht des Autoencoders einzugeben.
Die Methode des Anspruchs 1, bei der die unscharfen Daten generiert werden, besteht darin, einen Grad der Aktivierung für eine oder mehrere Mitgliederfunktionen zu berechnen, der auf der Grundlage von Trainingsdaten ermittelt wird, wobei die spezifische Probe eine Trainingsprobe oder eine reale Stichprobe umfasst.
Die Methode des Anspruchs 6, bei der die unscharfen Daten eingefügt werden, besteht darin, den Aktivierungsgrad für eine oder mehrere der Pluralität der Mitgliedschaftsfunktionen in einen oder mehrere Eingangsknoten in eine Eingangsschicht des Autoencoders einzugeben.
Die Methode des Anspruchs 1, bei der die Rohdaten und die unscharfen Daten eingegeben werden, umfasst die Eingabe während der Ausbildung des Autoencoders.
Die Methode des Anspruchs 1, die weiter umfasst: Eine Ausgabeschicht des Autoencoders entfernen und eine oder mehrere zusätzliche neuronale Netzwerkschichten hinzufügen; und Schulung der verbleibenden Autoyder-Schichten und der einen oder anderen zusätzlichen neuronalen Netzschichten für eine gewünschte Ausgabe.
Die Methode des Anspruchs 9, bei der die eine oder mehrere zusätzliche neuronale Netzschichten eine oder mehrere Klassifikationsschichten umfassen und wobei die gewünschte Ausgabe eine Klassifizierung enthält.
Die Methode des Anspruchs 1, die das Stapeln einer oder mehrerer Autoencoder-Schichten während des Trainings zusätzlich beinhaltet, um einen tiefen Stapel von Autocodern zu erstellen.
Ein System, das Eine Schulungsdatenkomponente, die so konfiguriert ist, dass Rohdaten eine Vielzahl von Schulungsproben erhalten; Eine Clusterkomponente, die so konfiguriert ist, dass eine Vielzahl von Gruppen oder Clustern innerhalb der Rohdaten identifiziert werden; Eine Komponente der Mitgliedschaftsfunktion, die so konfiguriert ist, dass eine Pluralität der Mitgliedschaftsfunktionen ermittelt wird, wobei die Pluralität der Mitgliedschaftsfunktionen für jede der Pluralität von Gruppen oder Clustern eine Mitgliederfunktion umfasst; Eine Aktivierungsstand-Komponente, die so konfiguriert ist, dass sie eine Aktivierungsstufe für mindestens eine Mitgliedschaftsfunktion ermittelt, die auf den Eigenschaften einer Probe basiert; Eine knackige Eingangskomponente, die so konfiguriert ist, dass die Funktionen der Probe in einen ersten Satz von Eingangsknoten eines Autoencoders eingegeben werden; und Eine unscharfe Eingangskomponente, die so konfiguriert ist, dass die Aktivierungsstufe in einen zweiten Satz von Eingangsknoten des Autoencoders eingegeben wird.
Das System des Anspruchs 12, in dem die Probe eine Schulungsmuster der Pluralität der Trainingsproben enthält, besteht das System weiter aus einer Trainingskomponente, die so konfiguriert ist, dass die Aktivierungsstufe Komponente, die knackige Eingangskomponente und die unscharfe Eingangskomponente zu einer Arbeiten Sie an den Trainingsproben während des Trainings eines oder mehrerer Autoencoder-Stufen.
Das System des Anspruchs 12, in dem die Probe eine reale Stichprobe enthält, das System besteht weiter aus einer Online-Komponente, die konfiguriert ist, um die reale Welt zu sammeln, die Online-Komponente weiter konfiguriert, um die Aktivierungsstufe Komponente, knackige Eingaben Komponente und unscharfe Eingangskomponente, um die realen Daten für die Eingabe in ein neuronales Netzwerk zu verarbeiten, das eine oder mehrere Autoencoder-Levels umfasst.
Das System des Anspruchs 12, das darüber hinaus eine Klassifikationskomponente enthält, die so konfiguriert ist, dass eine Ausgabe aus einer automatischen Encoder-Ebene verarbeitet wird und eine Klassifizierung mit einer Klassifikationsschicht erzeugt und ausgegeben wird, die Klassifikationsschicht besteht aus zwei oder mehr Knoten.
Das System des Anspruchs 12, in dem die knackige Eingangskomponente und die unscharfe Eingangskomponente so konfiguriert sind, dass sie in eine Eingangsschicht eines neuronalen Netzwerks ausgegeben wird, das neuronale Netzwerk, das eine Vielzahl von Auto-Encoder-Ebenen umfasst.
Das System des Anspruchs 16, in dem das neuronale Netz weiter eine Klassifikationsschicht umfasst, wobei die Klassifikationsschicht eine Ausgabe liefert, die eine Klassifizierung für die knackige Eingabe einer Probe anzeigt.
Computerlesbare Speichermedien speichern Anweisungen, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder mehrere Prozessoren verursachen: Ermittlung einer Aktivierungsstufe, die auf einer Stichprobe für mindestens eine Mitgliedschaftsfunktion basiert, wobei die Mitgliederfunktion einer Gruppe oder einem Cluster entspricht, der auf der Grundlage von Trainingsdaten ermittelt wird; Eingabefunktionen für eine Probe in einen ersten Satz von Eingangsknoten eines neuronalen Netzwerks, in dem das neuronale Netzwerk eine oder mehrere Autoencoder-Schichten und eine Eingangsschicht umfasst, die den ersten Satz von Eingangsknoten und einen zweiten Satz von Eingangsknoten enthält; und Geben Sie die Aktivierungsstufe in den zweiten Satz der Eingangsknoten des neuronalen Netzwerks ein.
Die computerlesbaren Speichermedien des Anspruchs 18, in denen die Anweisungen den einen oder anderen Prozessoren dazu bringen, eine Vielzahl von Gruppen oder Clustern auf der Grundlage der Trainingsdaten zu bestimmen, wobei die Pluralität von Gruppen oder Clustern die Gruppe oder den Cluster umfasst.
Die computerlesbaren Speichermedien des Anspruchs 19, in denen die Anweisungen weiter dazu führen, dass der eine oder andere Prozessor eine Vielzahl von Mitgliederfunktionen für die Pluralität von Gruppen oder Clustern generiert, wobei die Pluralität der Mitgliederfunktionen die Mitgliederfunktion.