DE112020007472T5

DE112020007472T5 - Lernnutzungssystem, nutzungsvorrichtung, lernvorrichtung, programm und lernnutzungsverfahren

Info

Publication number: DE112020007472T5
Application number: DE112020007472.2T
Authority: DE
Inventors: Susumu IINO; Misato NAITO; Kiyoyasu Maruyama
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-07-28
Filing date: 2020-07-28
Publication date: 2023-05-11
Also published as: CN116134447A; JP7438365B2; WO2022024211A1; US20230260270A1; JPWO2022024211A1

Abstract

Eine Nutzungsvorrichtung (130) umfasst: eine nutzungsseitige Inferenzeinheit (136), die ein nutzungsseitiges Inferenznetzwerk nutzt, um eine Inferenz aus den Zieldaten auszuführen; und eine nutzungsseitige Übertragungseinheit (138), die die Zieldaten an einer Lernvorrichtung (110) überträgt, wenn der Grad von Sicherheit des Inferenzergebnisses, das durch das nutzungsseitige Inferenznetzwerk abgeleitet wurde, niedriger als ein vorbestimmtes Kriterium ist. Die Lernvorrichtung (110) umfasst: eine lernseitige Inferenzeinheit (114), die ein Lernnetzwerk nutzt, das als ein Lehrermodell eines nutzungsseitigen Inferenznetzwerks funktioniert, um eine Inferenz aus den empfangenen Zieldaten auszuführen, um Lerndaten zu erzeugen; eine Lerneinheit (115), die aktualisierte Gewichtungskoeffizientinformationen erzeugt, die Gewichtungskoeffizienten angeben, die durch Neulernen des lernseitigen Inferenznetzwerks, das die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, unter Verwendung der Lerndaten aktualisiert wurden; und eine lernseitige Übertragungseinheit (116), die die aktualisierten Gewichtungskoeffizientinformationen an die Nutzungsvorrichtung (130) überträgt, um das nutzungsseitige Inferenznetzwerk um die Nutzungsvorrichtung (130) zu aktualisieren.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft ein Lernnutzungssystem, eine Nutzungsvorrichtung, eine Lernvorrichtung, ein Programm und ein Lernnutzungsverfahren.
STAND DER TECHNIK
In letzten Jahren hat ein tiefes neuronales Netzwerk (Deep Neural Network, DNN) die Genauigkeit von Bilderkennungstechnologie bemerkenswert verbessert, und es wird erwartet, dass diese Technologie auf entfernte Vorrichtungen angewendet wird, beispielsweise Überwachungskameras, um ein fortschrittliches Sicherheitssystem zu implementieren.
Andererseits ist für das DNN eine große Menge an Lerndaten erforderlich, um unter Verwendung zufällig gesammelter Daten eine ausreichende Genauigkeit zu erreichen, und der Lernprozess ist im Wesentlichen zeitaufwendig. Darüber hinaus gibt es im DNN einen Fall, in dem eine Bilderkennungsvorrichtung, die unter Verwendung breit gesammelter Daten erlernt hat, in einer bestimmten Installationsumgebung nicht mit einer erwarteten Erkennungsgenauigkeit arbeitet.
Als eine Maßnahme für diese Probleme offenbart Patentdokument 1 eine Technik, die aus den gesammelten Daten auf der Grundlage des Konfidenzwerts zur Klassifizierung eine Auswahl trifft und das neuronale Netzwerk neu lernt, wobei nur die Lerndaten mit einem niedrigen Konfidenzwert verwendet werden, um die für den Lernprozess erforderliche Zeit und die erforderliche Speichergröße zu reduzieren, wodurch die Effizienz des Lernprozesses verbessert wird.
STAND DER TECHNIK
PATENTREFERENZ
Patentdokument 1: Internationale Veröffentlichung Nr. WO 2017/145960
ABRISS DER ERFINDUNG
TECHNISCHE AUFGABE DER ERFINDUNG
Obwohl die im Patentdokument 1 offenbarte Technik die Erkennungsgenauigkeit durch Auswählen von in eine Bilderkennungsvorrichtung eingegebenen Lerndaten auf der Grundlage des von der Bilderkennungsvorrichtung ausgegebenen Konfidenzwerts verbessern kann, kann sie keine Daten nutzen, deren korrekte Antwort unbekannt ist.
Folglich ist es eine Aufgabe eines oder mehrerer Aspekte der vorliegenden Offenbarung, die Erkennungsgenauigkeit unter Verwendung von Daten, deren korrekte Antwort unbekannt ist, zu verbessern.
MITTEL ZUR LÖSUNG DER AUFGABE
Ein Lernnutzungssystem gemäß einem Aspekt der vorliegenden Offenbarung ist ein Lernnutzungssystem, das eine Nutzungsvorrichtung und eine Lernvorrichtung umfasst. Die Nutzungsvorrichtung umfasst eine Datenerfassungseinheit, die dazu eingerichtet ist, Zieldaten zu erfassen; eine nutzungsseitige Speichereinheit, die dazu eingerichtet ist, ein nutzungsseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches für Inferenz in der Nutzungsvorrichtung genutzt wird, zu speichern; eine nutzungsseitige Inferenzeinheit, die dazu eingerichtet ist, das nutzungsseitige Inferenznetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen; eine Feststellungseinheit, die dazu eingerichtet ist, festzustellen, ob ein Grad von Sicherheit des von dem nutzungsseitigen Inferenznetzwerk abgeleiteten Inferenzergebnisses niedriger als ein vorbestimmtes Kriterium ist; und eine nutzungsseitige Übertragungseinheit, die dazu eingerichtet ist, die Zieldaten an die Lernvorrichtung zu übertragen, wenn der Grad niedriger als das vorbestimmte Kriterium ist. Die Lernvorrichtung umfasst: eine lernseitige Empfangseinheit, die dazu eingerichtet ist, die Zieldaten zu empfangen; eine lernseitige Speichereinheit, die dazu eingerichtet ist, ein Lernnetzwerk, das ein neuronales Netzwerk ist, welches als ein Lehrermodell des nutzungsseitigen Inferenznetzwerks funktioniert, und ein lernseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches dieselbe Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, zu speichern; eine lernseitige Inferenzeinheit, die dazu eingerichtet ist, das Lernnetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen, um Lerndaten, welche die Zieldaten und das von dem Lernnetzwerk abgeleitete Inferenzergebnis enthalten, zu erzeugen; eine Lerneinheit, die dazu eingerichtet ist, das lernseitige Inferenznetzwerk unter Verwendung der Lerndaten neu zu lernen, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren und aktualisierte Gewichtungskoeffizientinformationen, welche die aktualisierten Gewichtungskoeffizienten angeben, zu erzeugen; und eine lernseitige Übertragungseinheit, die dazu eingerichtet ist, die aktualisierten Gewichtungskoeffizientinformationen an die Nutzungsvorrichtung zu übertragen. Die Nutzungsvorrichtung umfasst ferner: eine nutzungsseitige Empfangseinheit, die dazu eingerichtet ist, die aktualisierten Gewichtungskoeffizientinformationen zu empfangen; und eine Anwendungseinheit, die dazu eingerichtet ist, die durch die aktualisierten Gewichtungskoeffizientinformationen angegebenen aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige Inferenznetzwerk anzuwenden.
Eine Nutzungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung umfasst: eine Datenerfassungseinheit, die dazu eingerichtet ist, Zieldaten zu erfassen; eine nutzungsseitige Speichereinheit, die dazu eingerichtet ist, ein nutzungsseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches für Inferenz genutzt wird, zu speichern; eine nutzungsseitige Inferenzeinheit, die dazu eingerichtet ist, das nutzungsseitige Inferenznetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen; eine Feststellungseinheit, die dazu eingerichtet ist, festzustellen, ob ein Grad von Sicherheit des von dem nutzungsseitigen Inferenznetzwerk abgeleiteten Inferenzergebnisses niedriger als ein vorbestimmtes Kriterium ist oder nicht; eine nutzungsseitige Übertragungseinheit, die dazu eingerichtet ist, die Zieldaten an die Lernvorrichtung zu übertragen, wenn der Grad niedriger als das vorbestimmte Kriterium ist; eine nutzungsseitige Empfangseinheit, die dazu eingerichtet ist, aktualisierte Gewichtungskoeffizientinformationen, die aktualisierte Gewichtungskoeffizienten angeben, von der Lernvorrichtung zu empfangen, wobei die aktualisierten Gewichtungskoeffizienten durch Neulernen des lernseitigen Inferenznetzwerks unter Verwendung von Lerndaten erzeugt werden, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren, wobei das lernseitige Inferenznetzwerk ein neuronales Netzwerk ist, das die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, wobei die Lerndaten durch Ausführen von Inferenz unter Verwendung eines Lernnetzwerks, das ein neuronales Netzwerk ist, welches als ein Lehrermodell des nutzungsseitigen Inferenznetzwerks funktioniert, erzeugt werden, wobei die Lerndaten die Zieldaten und das durch das Lernnetzwerk abgeleitete Inferenzergebnis umfassen; und eine Anwendungseinheit, die dazu eingerichtet ist, die durch die aktualisierten Gewichtungskoeffizientinformationen angegebenen aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige Inferenznetzwerk anzuwenden.
Eine Lernvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung umfasst: eine lernseitige Empfangseinheit, die dazu eingerichtet ist, von einer Nutzungsvorrichtung Zieldaten zu empfangen, die ein Ziel von Inferenz in der Nutzungsvorrichtung sind; eine lernseitige Speichereinheit, die dazu eingerichtet ist, ein Lernnetzwerk, das als ein Lehrermodell eines nutzungsseitigen Inferenznetzwerks, das ein für Inferenz in der Nutzungsvorrichtung genutztes neuronales Netzwerk ist, funktioniert, zu speichern, und ein lernseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches dieselbe Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist; eine lernseitige Inferenzeinheit, die dazu eingerichtet ist, das Lernnetzwerk zu nutzen, um eine Inferenz ausden Zieldaten auszuführen, um Lerndaten, welche die Zieldaten und das von dem Lernnetzwerk abgeleitete Inferenzergebnis enthalten, zu erzeugen; eine Lerneinheit, die dazu eingerichtet ist, das lernseitige Inferenznetzwerk unter Verwendung der Lerndaten neu zu lernen, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren und aktualisierte Gewichtungskoeffizientinformationen zu erzeugen, welche die aktualisierten Gewichtungskoeffizienten angeben; und eine lernseitige Übertragungseinheit, die dazu eingerichtet ist, die aktualisierten Gewichtungskoeffizientinformationen an die Nutzungsvorrichtung zu übertragen.
Ein Programm gemäß einem Aspekt der vorliegenden Offenbarung ist ein Programm, das einen Computer veranlasst zu funktionieren als: eine Datenerfassungseinheit, die dazu eingerichtet ist, Zieldaten zu erfassen; eine nutzungsseitige Speichereinheit, die dazu eingerichtet ist, ein nutzungsseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches für Inferenz genutzt wird, zu speichern; eine nutzungsseitige Inferenzeinheit, die dazu eingerichtet ist, das nutzungsseitige Inferenznetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen; eine Feststellungseinheit, die dazu eingerichtet ist, festzustellen, ob ein Grad von Sicherheit des von dem nutzungsseitigen Inferenznetzwerk abgeleiteten Inferenzergebnisses niedriger als ein vorbestimmtes Kriterium ist oder nicht; eine nutzungsseitige Übertragungseinheit, die dazu eingerichtet ist, die Zieldaten an die Lernvorrichtung zu übertragen, wenn der Grad niedriger als das vorbestimmte Kriterium ist; eine nutzungsseitige Empfangseinheit, die dazu eingerichtet ist, aktualisierte Gewichtungskoeffizientinformationen, die aktualisierte Gewichtungskoeffizienten angeben, von der Lernvorrichtung zu empfangen, wobei die aktualisierten Gewichtungskoeffizienten durch Neulernen des lernseitigen Inferenznetzwerks unter Verwendung von Lerndaten erzeugt werden, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren, wobei das lernseitige Inferenznetzwerk ein neuronales Netzwerk ist, das die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, wobei die Lerndaten durch Ausführen von Inferenz unter Verwendung eines Lernnetzwerks, das ein neuronales Netzwerk ist, welches als ein Lehrermodell des nutzungsseitigen Inferenznetzwerks funktioniert, erzeugt werden, wobei die Lerndaten die Zieldaten und das durch das Lernnetzwerk abgeleitete Inferenzergebnis umfassen; und eine Anwendungseinheit, die dazu eingerichtet ist, die durch die aktualisierten Gewichtungskoeffizientinformationen angegebenen aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige Inferenznetzwerk anzuwenden.
Ein Programm gemäß einem Aspekt der vorliegenden Offenbarung ist ein Programm, das einen Computer veranlasst, zu funktionieren als: eine lernseitige Empfangseinheit, die dazu eingerichtet ist, von einer Nutzungsvorrichtung Zieldaten zu empfangen, die ein Ziel von Inferenz in der Nutzungsvorrichtung sind; eine lernseitige Speichereinheit, die dazu eingerichtet ist, ein Lernnetzwerk, das als ein Lehrermodell eines nutzungsseitigen Inferenznetzwerks, welches ein für Inferenz in der Nutzungsvorrichtung genutztes neuronales Netzwerk ist, funktioniert, und ein lernseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches dieselbe Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, zu speichern; eine lernseitige Inferenzeinheit, die dazu eingerichtet ist, das Lernnetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen, um Lerndaten, welche die Zieldaten und das von dem Lernnetzwerk abgeleitete Inferenzergebnis enthalten, zu erzeugen; eine Lerneinheit, die dazu eingerichtet ist, das lernseitige Inferenznetzwerk unter Verwendung der Lerndaten u zu lernen, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren und aktualisierte Gewichtungskoeffizientinformationen zu erzeugen, welche die aktualisierten Gewichtungskoeffizienten angeben; und eine lernseitige Übertragungseinheit, die dazu eingerichtet ist, die aktualisierten Gewichtungskoeffizientinformationen an die Nutzungsvorrichtung zu übertragen.
Ein Lernnutzungsverfahren gemäß einem Aspekt der vorliegenden Offenbarung umfasst: Erfassen von Zieldaten; Nutzen des nutzungsseitigen Inferenznetzwerks, das ein neuronales Netzwerk ist, das für Inferenz genutzt wird, um eine Inferenz aus den Zieldaten auszuführen; Feststellen, ob der Grad von Sicherheit des Inferenzergebnisses niedriger als ein vorbestimmtes Kriterium ist oder nicht; wenn der Grad niedriger als das vorbestimmte Kriterium ist, Nutzen eines Lernnetzwerks, das ein neuronales Netzwerk ist, das als ein Lehrermodell des nutzungsseitigen Inferenznetzwerks funktioniert, um eine Inferenz aus den Zieldaten auszuführen, um Lerndaten, welche die Zieldaten und das von dem Lernnetzwerk abgeleitete Inferenzergebnis enthalten, zu erzeugen; Neulernen eines lernseitigen Inferenznetzwerks, das ein neuronales Netzwerk ist, welches die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, durch Nutzen der Lerndaten zum Aktualisieren von Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks; und Anwenden der aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige Inferenznetzwerk.
WIRKUNGEN DER ERFINDUNG
Ein oder mehrere Aspekte der vorliegenden Offenbarung können unter Verwendung von Daten, deren korrekte Antwort unbekannt ist, die Erkennungsgenauigkeit verbessern.
Figurenliste

1 ist ein Blockdiagramm, das eine Konfiguration eines Lernnutzungssystems gemäß Ausführungsform 1 schematisch veranschaulicht.
2 ist ein Blockdiagramm, das eine Konfiguration eines Computers, der einer Lernvorrichtung entspricht, schematisch veranschaulicht.
Die 3A und 3B sind Diagramme zur Erläuterung des Konfidenzwerts des Inferenzergebnisses.
4 ist ein Diagramm, das eine Objektexistenzwahrscheinlichkeitsverteilung veranschaulicht.
5 ist ein Blockdiagramm, das eine Konfiguration eines Computers, der einer Nutzungsvorrichtung entspricht, schematisch veranschaulicht.
6 ist ein Ablaufdiagramm, das einen Anfangsprozess des Lernnutzungssystems gemäß Ausführungsform 1 angibt.
7 ist ein Ablaufdiagramm, das Inferenz- und Datenauswahlprozesse in einer Nutzungsvorrichtung gemäß Ausführungsform 1 angibt.
8 ist ein Ablaufdiagramm, das einen Neulernprozess eines zweiten Netzwerks in der Lernvorrichtung gemäß Ausführungsform 1 angibt.
9 ist ein Ablaufdiagramm, das einen Anwendungsprozess aktualisierter Gewichtungskoeffizienten auf der Nutzungsvorrichtungsseite in Ausführungsform 1 angibt.
10 ist ein Blockdiagramm, das eine Konfiguration eines Lernnutzungssystems gemäß Ausführungsform 2 schematisch veranschaulicht.
11 ist ein Ablaufdiagramm, das Inferenz- und Datenauswahlprozesse in einer Nutzungsvorrichtung gemäß Ausführungsform 2 angibt.
12 ist ein Ablaufdiagramm, das einen Neulernprozess eines zweiten Netzwerks in der Lernvorrichtung gemäß Ausführungsform 2 angibt.

MODUS ZUR AUSFÜHRUNG DER ERFINDUNG
Ausführungsform 1
1 ist ein Blockdiagramm, das eine Konfiguration eines Lernnutzungssystems 100 gemäß Ausführungsform 1 schematisch veranschaulicht.
In Ausführungsform 1 wird ein Beispiel, in dem das Lernnutzungssystem 100 als ein Bilderkennungssystem zum Ausführen von Bilderkennung genutzt wird, erläutert.
Das Lernnutzungssystem 100 umfasst eine Lernvorrichtung 110 und eine Nutzungsvorrichtung 130.
Die Lernvorrichtung 110 ist eine zentrale Vorrichtung, die Daten von der Nutzungsvorrichtung 130 erfasst und Lernen eines zweiten Netzwerks durch Verwendung eines ersten Netzwerks, das ein Lehrermodell ist, ausführt.
In Ausführungsform 1 ist zur einfachen Erläuterung nur eine Lernvorrichtung 110 im Lernnutzungssystem 100 installiert, doch es kann eine Vielzahl von Lernvorrichtungen 110 installiert sein.
Im Allgemeinen ist die Lernvorrichtung 110 eine Vorrichtung, die eine Anwendung ausführt, die der Installationszweck des Lernnutzungssystems 100 ist, von der Nutzungsvorrichtung 130 erhaltene Ergebnisse verwaltet und integriert, und die Inferenzergebnisse dem Nutzer präsentiert. Da eine solche Funktion jedoch vom Umfang von Ausführungsform 1 abweicht, wird deren Beschreibung weggelassen. Nachfolgend wird die Anwendung, die der Installationszweck des Lernnutzungssystems 100 ist, als eine normale Anwendung bezeichnet.
Die Nutzungsvorrichtung 130 ist eine entfernte Vorrichtung, die an einem Ort installiert ist, der für den Zweck der Installation des Lernnutzungssystems 100 notwendig ist. In Ausführungsform 1 beispielsweise ist die Nutzungsvorrichtung 130 eine Vorrichtung, die an ihrem Installationsort Bilderkennung ausführt. Als konkretes Beispiel ist die Nutzungsvorrichtung 130 eine Bilderkennungsvorrichtung, mit anderen Worten, eine Überwachungskamera, die eine Inferenzeinheit enthält.
Die Nutzungsvorrichtung 130 überträgt ein Inferenzergebnis an die Lernvorrichtung 110 zur Ausführung der normalen Anwendung, und überträgt, wenn der aus dem Inferenzergebnis berechnete Konfidenzwert innerhalb eines vorbestimmten Bereichs liegt, die ursprünglichen Zieldaten, die das Ziel von Inferenz sind, zusammen mit Inferenzergebnisdaten, die das Inferenzergebnis angeben, an die Lernvorrichtung 110. Die Definition des Konfidenzwerts wird später beschrieben.
In der folgenden Beschreibung wird davon ausgegangen, dass die Nutzungsvorrichtung 130 eine Bilderkennungsvorrichtung ist, doch die Nutzungsvorrichtung 130 ist nicht auf ein solches Beispiel beschränkt.
Die Lernvorrichtung 110 umfasst eine lernseitige Empfangseinheit 111, eine Datenverarbeitungseinheit 112, eine lernseitige Speichereinheit 113, eine lernseitige Inferenzeinheit 114, eine Lerneinheit 115 und eine lernseitige Übertragungseinheit 116.
Die lernseitige Empfangseinheit 111 ist eine Empfangseinheit, die von der Nutzungsvorrichtung 130 übertragene Daten empfängt. Die empfangenen Daten werden an die Datenverarbeitungseinheit 112 übermittelt.
Wenn die Bilddaten als Zieldaten in den von der lernseitigen Empfangseinheit 111 übermittelten Daten enthalten sind, übermittelt die Datenverarbeitungseinheit 112 die empfangenen Bilddaten an die lernseitige Inferenzeinheit 114.
Ferner übermittelt die Datenverarbeitungseinheit 112 die Inferenzergebnisdaten, die in den von der lernseitigen Empfangseinheit 111 übermittelten Daten enthalten sind, an die normale Anwendung (nicht gezeigt). Die Beschreibung von Prozessen in der normalen Anwendung wird weggelassen.
Die lernseitige Speichereinheit 113 ist eine Speichereinheit zum Speichern eines ersten Netzwerks, das gelernt wurde, und eines lernseitigen zweiten Netzwerks, das erlernt wurde. Hier wird das erste Netzwerk auch als ein Lernnetzwerk bezeichnet, und das lernseitige zweite Netzwerk wird auch als ein lernseitiges Inferenznetzwerk bezeichnet.
Das erste Netzwerk funktioniert als ein Lehrermodell für das lernseitige zweite Netzwerk. Das erste Netzwerk ist ein neuronales Netzwerk, das dazu ausgelegt ist, den von der normalen Anwendung geforderten Spezifikationen zu entsprechen, und wird unter Verwendung bekannter Lerndaten im Voraus erlernt. Das erste Netzwerk muss generell eine wesentlich höhere Generalisierungsleistung als das lernseitige zweite Netzwerk aufweisen.
Das lernseitige zweite Netzwerk ist in Bezug auf das erste Netzwerk ein Studentenmodell, und ist ein neuronales Netzwerk, in dem mindestens die Formen der Eingangsschicht und der Ausgangsschicht dem ersten Netzwerk gleichen. Normalerweise sind die Anzahl der Zwischenschichten, die weder die Eingangsschicht noch die Ausgangsschicht sind, und die Anzahl der Gewichtungskoeffizienten im lernseitigen zweiten Netzwerk dazu ausgelegt, dass sie kleiner als jene im ersten Netzwerk sind, das ein Lehrermodell ist. Ein solcher Entwurf ist jedoch nicht wesentlich. Hier ist das lernseitige zweite Netzwerk ein neuronales Netzwerk mit der gleichen Netzwerkstruktur wie das nutzungsseitige zweite Netzwerk, das in der Nutzungsvorrichtung 130 genutzt wird.
Die lernseitige Inferenzeinheit 114 ist eine Inferenzeinheit oder eine Lerndatenerzeugungseinheit, die Inferenz unter Verwendung des ersten Netzwerks ausführt, das von den von der Datenverarbeitungseinheit 112 übermittelten Bilddaten erlernt wurde, und erzeugt Lerndaten, in denen das Inferenzergebnis den ursprünglichen Bilddaten zugeordnet ist. Die Lerndaten sind ein Paar von Inferenzzielbilddaten und eines Inferenzergebnisses und werden zum Lernen eines lernseitigen zweiten Netzwerks genutzt. Das Inferenzergebnis kann hier nicht nur der finale Ausgang des ersten Netzwerks sein, sondern auch ein Zwischenausgang, oder kann einen Zwischenausgang enthalten.
Der finale Ausgang und der Zwischenausgang des ersten Netzwerks und des lernseitigen zweiten Netzwerks unterscheiden sich in Abhängigkeit vom Inhalt der Inferenz. In Ausführungsform 1 sind zwei Fälle definiert: ein Fall besteht darin, dass der Inferenzinhalt Bildklassifikation ist, und der andere Fall besteht darin, dass der Inferenzinhalt Objekterkennung ist. Der Bereich der Werte, die durch den nachfolgend verwendeten Begriff „Wahrscheinlichkeit“ angegeben werden, liegt zwischen 0 % und 100 %, kann jedoch von 0 bis 1 reichen.
Wenn die Inferenz durch das erste Netzwerk durchgeführt wird und das lernseitige zweite Netzwerk Bildklassifikation ist, ist der von der normalen Anwendung angeforderte Ausgang ein Identifikationscode, der die Klasse angibt, zu welcher das Subjekt des durch die Bilddaten repräsentierten Bildes gehört.
Andererseits, im Bildklassifikationsproblem, berechnet das neuronale Netzwerk die Wahrscheinlichkeit, dass ein Inferenzzielbild zu jeder Klasse gehört, als eine Verteilung für jede der bekannten Klassen, und wählt den Identifikationscode mit der höchsten Wahrscheinlichkeit unter ihnen aus und gibt ihn aus.
Folglich ist im Bildklassifikationsproblem dieser Identifikationscode der Klasse mit der maximalen Wahrscheinlichkeit als der finale Ausgang definiert, und der Zwischenausgang ist als die Verteilung der für jede Klasse berechneten Wahrscheinlichkeiten definiert.
Wenn die Inferenz mit dem ersten Netzwerk ausgeführt wird und das lernseitige zweite Netzwerk Objekterkennung ist, besteht der von der normalen Anwendung benötigte Ausgang in existierenden Positionen und existierenden Bereichen von Objekten im Inferenzzielbild und der Klasse der Objekte.
Im Allgemeinen berechnet ein neuronales Netzwerk in einem Objekterkennungsproblem eine Verteilung von Objektexistenzwahrscheinlichkeit in einem Zielbild und eine Verteilung von Klassen, zu der eine kleine Region in jeder Position in dem Zielbild gehört, und gibt einen Bereich einer Region, wo die Verteilung von Objektexistenzwahrscheinlichkeit einen bestimmten Wert überschreitet, und eine Objektklasse in dem Bereich aus.
Folglich sind im Objekterkennungsproblem die Regioninformationen mit einer Existenzwahrscheinlichkeit, die einen bestimmten Wert überschreitet, und die Objektklasse als der finale Ausgang definiert, und der Zwischenausgang ist als die Objektexistenzwahrscheinlichkeitsverteilung und die Klassenverteilung definiert.
Die Lerneinheit 115 lernt das lernseitige zweite Netzwerk unter Verwendung der Lerndaten, die von der lernseitigen Inferenzeinheit 114 erhalten wurden, neu, um die Gewichtungskoeffizienten des lernseitigen zweiten Netzwerks zu aktualisieren, und erzeugt aktualisierte Gewichtungskoeffizientinformationen, welche die aktualisierten Gewichtungskoeffizienten angeben.
Beispielsweise nutzt die Lerneinheit 115 die von der lernseitigen Inferenzeinheit 114 erhaltenen Lerndaten, um die Gewichtungskoeffizienten des lernseitigen zweiten Netzwerks zu aktualisieren, sodass der Ausgang des lernseitigen zweiten Netzwerks für die in den Lerndaten enthaltenen Bilddaten mit dem in den Lerndaten enthaltenen Inferenzergebnis übereinstimmt. Dann erzeugt die Lerneinheit 115 die aktualisierten Gewichtungskoeffizientinformationen, die aktualisierte Gewichtungskoeffizienten angeben, wobei es sich um den Gewichtungskoeffizienten nach dem Aktualisieren handelt. Die erzeugten aktualisierten Gewichtungskoeffizientinformationen werden an die lernseitige Übertragungseinheit 116 übermittelt.
Die lernseitige Übertragungseinheit 116 ist eine Übertragungseinheit, die die aktualisierten Gewichtungskoeffizientinformationen des lernseitigen zweiten Netzwerks, die von der Lerneinheit 115 erhalten wurden, an die Nutzungsvorrichtung 130 überträgt.
Die oben beschriebene Lernvorrichtung 110 kann durch einen Computer 150 implementiert sein, wie in 2 gezeigt.
2 ist ein Blockdiagramm, das eine Konfiguration des Computers 150 schematisch veranschaulicht.
Der Computer 150 umfasst eine Kommunikationsvorrichtung 151, eine Zusatzspeichervorrichtung 152, einen Speicher 153 und einen Prozessor 154.
Die Kommunikationsvorrichtung 151 kommuniziert mit der Nutzungsvorrichtung 130. Wenn beispielsweise die Lernvorrichtung 110 und die Nutzungsvorrichtung 130 mit einem Netzwerk verbunden sind, kann die Nutzungsvorrichtung 151 durch eine Netzwerkschnittstellenkarte (Network Interface Card, NIC) implementiert sein.
Die Zusatzspeichervorrichtung 152 speichert Daten und Programme, die für Prozesse in der Lernvorrichtung 110 notwendig sind. Beispielsweise kann die Zusatzspeichervorrichtung 152 durch ein Festplattenlaufwerk (Hard Disk Drive, HDD) oder ein Festkörperlaufwerk (Solid State Drive, SSD) implementiert sein.
Der Speicher 153 speichert zeitweilig Daten oder Programme und stellt einen Arbeitsbereich für den Prozessor 154 bereit. Der Speicher 153 kann durch einen flüchtigen Speicher oder einen nicht flüchtigen Speicher implementiert sein.
Der Prozessor 154 lädt das in der Zusatzspeichervorrichtung 152 gespeicherte Programm in den Speicher 153 und führt das Programm aus, um den Prozess in der Lernvorrichtung 110 auszuführen. Der Prozessor 154 kann beispielsweise durch eine zentrale Verarbeitungseinheit (Central Processing Unit, CPU) implementiert sein.
Beispielsweise können die lernseitige Empfangseinheit 111 und die lernseitige Übertragungseinheit 116 durch die Kommunikationsvorrichtung 151 implementiert sein.
Die lernseitige Speichereinheit 113 kann durch die Zusatzspeichervorrichtung 152 implementiert sein.
Die Datenverarbeitungseinheit 112, die lernseitige Inferenzeinheit 114 und die Lerneinheit 115 können durch den Prozessor 154 implementiert sein, der ein in der Zusatzspeichervorrichtung 152 gespeichertes Programm in den Speicher 153 lädt und das Programm ausführt.
Nochmals Bezug nehmend auf 1, umfasst die Nutzungsvorrichtung 130 eine nutzungsseitige Empfangseinheit 131, eine Anwendungseinheit 132, eine nutzungsseitige Speichereinheit 133, eine Eingangseinheit 134, eine Datenerfassungseinheit 135, eine nutzungsseitige Inferenzeinheit 136, eine Datenauswahleinheit 137 und eine nutzungsseitige Übertragungseinheit 138.
Die nutzungsseitige Empfangseinheit 131 ist eine Empfangseinheit, die von der Lernvorrichtung 110 Gewichtungskoeffizientinformationen empfängt. Die empfangenen aktualisierten Gewichtungskoeffizientinformationen werden an die Anwendungseinheit 132 übermittelt.
Die Anwendungseinheit 132 wendet die aktualisierten Gewichtungskoeffizienten, die durch die empfangenen aktualisierten Gewichtungskoeffizientinformationen angegeben werden, auf das nutzungsseitige zweite Netzwerk an, das in der nutzungsseitigen Speichereinheit 133 gespeichert ist. Das nutzungsseitige zweite Netzwerk wird auch als ein nutzungsseitiges Inferenznetzwerk bezeichnet.
Die nutzungsseitige Speichereinheit 133 ist eine Speichereinheit zum Speichern eines nutzungsseitigen zweiten Netzwerks, das ein neuronales Netzwerk ist, welches für Inferenz in der Nutzungsvorrichtung 130 genutzt wird.
Das nutzungsseitige zweite Netzwerk weist die gleiche Netzwerkstruktur wie das lernseitige zweite Netzwerk auf. Die durch das Lernen des lernseitigen zweiten Netzwerks erhaltenen aktualisierten Gewichtungskoeffizienten werden durch die Anwendungseinheit 132 auf das nutzungsseitige zweite Netzwerk angewendet.
Die Eingangseinheit 134 empfängt einen Eingang von Zieldaten, die ein Ziel von Inferenz durch die Nutzungsvorrichtung 130 sind. Die Eingangszieldaten werden an die Datenerfassungseinheit 135 übermittelt. In der Ausführungsform 1 wird davon ausgegangen, dass die Zieldaten Bilddaten sind. Hier wird davon ausgegangen, dass die Bilddaten von einer Überwachungskamera eingegeben werden, die eine Bilderfassungsvorrichtung ist, die mit der Nutzungsvorrichtung 130 verbunden ist, doch die Ausführungsform 1 ist nicht auf ein solches Beispiel beschränkt. Beispielsweise kann die Nutzungsvorrichtung 130 als eine Überwachungskamera implementiert sein. In einem solchen Fall funktioniert die Eingangseinheit 134 als eine Bilderfassungseinheit, die einen Bildsensor umfasst, beispielsweise als eine ladungsgekoppelte Vorrichtung (Charge Coupled Device, CCD) oder ein komplementärer Metalloxidhalbleiter (Complementary Metal-Oxide-Semiconductor, CMOS).
Die Datenerfassungseinheit 135 erfasst Zieldaten durch die Eingangseinheit 134. Die Zieldaten sind das Ziel von Inferenz, die durch die Nutzungsvorrichtung 130 ausgeführt wird. Die Zieldaten werden an die nutzungsseitige Inferenzeinheit 136 und die Datenauswahleinheit 137 übermittelt.
Die nutzungsseitige Inferenzeinheit 136 ist eine Inferenzeinheit, die das in der nutzungsseitigen Speichereinheit 133 gespeicherte nutzungsseitige zweite Netzwerk nutzt, um von den von der Datenerfassungseinheit 135 übermittelten Zieldaten eine Inferenz auszuführen. Hier führt die nutzungsseitige Inferenzeinheit 136 Bilderkennung von Bilddaten, die Zieldaten sind, aus. Das Inferenzergebnis wird an die Datenauswahleinheit 137 übermittelt.
Die Datenauswahleinheit 137 funktioniert als eine Feststellungseinheit, um festzustellen, ob ein Grad von Sicherheit des von dem nutzungsseitigen zweiten Netzwerk abgeleiteten Inferenzergebnisses niedriger als ein vorbestimmtes Kriterium ist.
Beispielsweise ordnet die Datenauswahleinheit 137 das Inferenzergebnis der nutzungsseitigen Inferenzeinheit 136 den Inferenzzielbilddaten zu, berechnet den Konfidenzwert mit Bezug auf die Inferenzzielbilddaten, und wenn der Konfidenzwert innerhalb eines vorbestimmten Bereichs liegt, übermittelt sie die Inferenzergebnisdaten, die das Inferenzergebnis angeben, und die Bilddaten an die nutzungsseitige Übertragungseinheit 138. Hier gibt der Konfidenzwert die Sicherheit des vom nutzungsseitigen zweiten Netzwerk abgeleiteten Inferenzergebnisses an. Der vorbestimmte Bereich ist ein Bereich, der den niedrigsten Wert des Konfidenzwerts angibt. Folglich ist, wenn der Konfidenzwert innerhalb des vorbestimmten Bereichs liegt, der Grad von Sicherheit niedriger als ein vorbestimmtes Kriterium.
Liegt der Konfidenzwert nicht innerhalb des vorbestimmten Bereichs, übermittelt die Datenauswahleinheit 137 nur die Inferenzergebnisdaten, die das Inferenzergebnis angeben, an die nutzungsseitige Übertragungseinheit 138.
Hier, wie vorstehend erwähnt, ist auch der durch die Datenauswahleinheit 137 berechnete Konfidenzwert in zwei Fällen definiert, d. h., im Fall der Bildklassifikation und im Fall der Objekterkennung.
Wenn die von dem nutzungsseitigen zweiten Netzwerk ausgeführte Inferenz Bildklassifikation ist, kann der Konfidenzwert des Zwischenausgangs des nutzungsseitigen zweiten Netzwerks als qualitativ hoch gelten, wenn im Zwischenergebnis die Wahrscheinlichkeit einer bestimmten Klasse ausreichend hoch ist und die Wahrscheinlichkeit anderer Klassen niedrig ist, wie in 3A gezeigt.
Wenn im Gegenteil, wie in 3B gezeigt, die Wahrscheinlichkeit in der Klasse mit der maximalen Wahrscheinlichkeit niedrig ist und die Differenz in der Wahrscheinlichkeit zwischen Klassen niedrig ist, kann der Konfidenzwert des Zwischenausgangs des nutzungsseitigen zweiten Netzwerks als niedrig gelten.
Mit anderen Worten, der Konfidenzwert des Ausgangs des neuronalen Netzwerks kann als hoch gelten, wenn die Tendenz zu einer bestimmten Klasse im Zwischenausgang groß ist, und der Konfidenzwert kann als niedrig gelten, wenn die Tendenz gering ist.
Folglich kann beispielsweise der maximale Wert der Wahrscheinlichkeitsverteilung als der Konfidenzwert definiert sein, und der vorbestimmte Bereich des Konfidenzwerts kann als 0 % oder mehr und N-mal der durch Dividieren von 100 % durch die Anzahl der Klassen erhaltene Wert oder weniger festgelegt sein. Der Wert von N kann durch den Benutzer willkürlich bestimmt werden oder in der Installationsumgebung des Systems experimentell bestimmt werden.
Alternativ kann beispielsweise die Differenz zwischen der höchsten Wahrscheinlichkeit und der zweithöchsten Wahrscheinlichkeit als der Konfidenzwert definiert sein, und der vorbestimmte Bereich des Konfidenzwerts kann als 0 % oder mehr und x % oder weniger definiert sein. Der Wert von x kann durch den Benutzer willkürlich bestimmt werden oder in der Installationsumgebung des Systems experimentell bestimmt werden.
Ferner kann z. B. der Wert der statistischen Varianz in der Wahrscheinlichkeitsverteilung, welcher der Zwischenausgang, d. h., die Summe der quadrierten Werte der Differenzen zwischen der Wahrscheinlichkeit in jeder Klasse und dem Klassenwahrscheinlichkeitsdurchschnittswert ist, als der Konfidenzwert definiert sein, und der vorbestimmte Bereich des Konfidenzwerts kann als 0 % oder mehr und y % oder weniger definiert sein. Der Wert von y kann durch den Benutzer willkürlich bestimmt werden oder in der Installationsumgebung des Systems experimentell bestimmt werden.
Zusätzlich zum Vorstehenden können alle Maßnahmen der Tendenz in Richtung einer bestimmten Klasse in dem Zwischenausgang als der Konfidenzwert genutzt werden.
Wenn die vom nutzungsseitigen zweiten Netzwerk ausgeführte Inferenz Objekterkennung ist, kann der Konfidenzwert des von dem nutzungsseitigen zweiten Netzwerk ausgegebenen Ergebnisses definiert werden, z. B. auf Grundlage des Werts der Objektexistenzwahrscheinlichkeitsverteilung im Zielbild. Wie in 4 für die Positionen AR1, AR2 und AR3, wo die Existenzwahrscheinlichkeit in der Objektexistenzwahrscheinlichkeitsverteilung nahe 0 % ist, gezeigt, kann festgestellt werden, dass der Konfidenzwert, der den Fall angibt, in dem das Objekt nicht existiert, hoch ist. Im Gegensatz hierzu kann für die Position AR4, wo die Existenzwahrscheinlichkeit nahe 100 % ist, festgestellt werden, dass der Konfidenzwert, der den Fall angibt, in dem ein Objekt an dieser Position existiert, hoch ist. Andererseits sind für die Position AR5, wo die Wahrscheinlichkeit einer Existenz bei etwa 50 % liegt, der Konfidenzwert, der den Fall angibt, in dem ein Objekt an der Position existiert, und der Konfidenzwert, der den Fall angibt, in dem ein Objekt nicht existiert, halb und halb, mit anderen Worten, es kann festgestellt werden, dass der Konfidenzwert für ein Objekt niedrig ist.
Folglich kann der minimale absolute Wert des Werts, der durch Subtrahieren von 50 % von der Existenzwahrscheinlichkeit an jeder Position der Objektexistenzwahrscheinlichkeitsverteilung erhalten wird, als der Konfidenzwert des Inferenzergebnisses definiert sein, und der vorbestimmte Bereich des Konfidenzwerts kann beispielsweise als z % oder weniger, mit anderen Worten, die Existenzwahrscheinlichkeit von 50 - z) % oder mehr und (50 + z) % oder weniger, definiert sein. Der Wert von z kann durch den Benutzer willkürlich bestimmt werden oder in der Installationsumgebung des Systems experimentell bestimmt werden.
Nochmals Bezug nehmend auf 1, ist die nutzungsseitige Übertragungseinheit 138 eine Übertragungseinheit, die die von der Datenauswahleinheit 137 an die Lernvorrichtung 110 übermittelten Daten überträgt.
Die oben beschriebene Nutzungsvorrichtung 130 kann durch einen Computer 160 implementiert sein, wie in 5 gezeigt.
5 ist ein Blockdiagramm, das die Konfiguration des Computers 160 schematisch veranschaulicht.
Der Computer 160 umfasst eine Kommunikationsvorrichtung 161, eine Zusatzspeichervorrichtung 162, eine Verbindungsvorrichtung 163, einen Speicher 164 und einen Prozessor 165.
Die Kommunikationsvorrichtung 161 kommuniziert mit der Lernvorrichtung 110. Wenn beispielsweise die Lernvorrichtung 110 und die Nutzungsvorrichtung 130 mit einem Netzwerk verbunden sind, kann die Nutzungsvorrichtung 161 durch eine NIC implementiert sein.
Die Zusatzspeichervorrichtung 162 speichert Daten und Programme, die für Prozesse in der Nutzungsvorrichtung 130 notwendig sind. Beispielsweise kann die Zusatzspeichervorrichtung 162 durch ein HDD oder ein SSD implementiert sein.
Die Verbindungsvorrichtung 163 verbindet sich mit einer Bilderfassungsvorrichtung, beispielsweise einer Kamera, und überträgt Daten an die und empfängt Daten von der Bilderfassungsvorrichtung. Die Verbindungsvorrichtung 163 kann durch eine Verbindungsschnittstelle gemäß einem Universellen Seriellen Bus (USB) implementiert sein.
Der Speicher 164 speichert zeitweilig Daten oder Programme und stellt einen Arbeitsbereich für den Prozessor 165 bereit. Der Speicher 164 kann durch einen flüchtigen Speicher oder einen nicht flüchtigen Speicher implementiert sein.
Der Prozessor 165 lädt das in der Zusatzspeichervorrichtung 162 gespeicherte Programm in den Speicher 164 und führt das Programm aus, um den Prozess in der Lernvorrichtung 110 auszuführen. Der Prozessor 165 kann beispielsweise durch eine CPU implementiert sein.
Die Eingangseinheit 134 kann beispielsweise durch die Verbindungsvorrichtung 163 implementiert sein.
Die nutzungsseitige Übertragungseinheit 138 kann durch die Kommunikationsvorrichtung 161 implementiert sein.
Die nutzungsseitige Speichereinheit 133 kann durch die Zusatzspeichervorrichtung 162 implementiert sein.
Die Anwendungseinheit 132, die nutzungsseitige Inferenzeinheit 136, die Datenerfassungseinheit 135 und die Datenauswahleinheit 137 können durch den Prozessor 165 implementiert sein, der ein in der Zusatzspeichervorrichtung 162 gespeichertes Programm in den Speicher 164 lädt und das Programm ausführt.
Obwohl 5 ein Beispiel zeigt, in dem die Nutzungsvorrichtung 130 der Computer 160 ist, ist Ausführungsform 1 nicht auf ein solches Beispiel beschränkt. Wenn beispielsweise die Eingangseinheit 134 als eine Bilderfassungseinheit funktioniert, kann die Nutzungsvorrichtung 130 anstelle des Computers 160 durch eine Kamera implementiert sein. In diesem Fall ist es ausreichend, dass die Kamera mit einer Bilderfassungsvorrichtung versehen ist, die anstelle einer Verbindungsvorrichtung 163 im Computer 160, gezeigt in 5, ein Bildgebungselement umfasst.
Nachfolgend wird der Verarbeitungsfluss des gesamten Systems beschrieben.
Vor der Beschreibung des grundlegenden Verarbeitungsflusses wird der im System erforderliche Anfangsprozess unter Bezugnahme auf 6 beschrieben.
6 ist ein Ablaufdiagramm, das einen Anfangsprozess des Lernnutzungssystems 100 gemäß Ausführungsform 1 angibt.
Zuerst, im Schritt S10, in der Lernvorrichtung 110, speichert die lernseitige Speichereinheit 113 ein erstes Netzwerk und ein lernseitiges zweites Netzwerk, das dazu ausgelegt ist, die Anforderungen der normalen Anwendung zu erfüllen, und die lernseitige Inferenzeinheit 114 und die Lerneinheit 115 lernen das erste Netzwerk und das lernseitige zweite Netzwerk unter Verwendung bekannter Lerndaten. Ähnlich speichert die nutzungsseitige Speichereinheit 133 in der Nutzungsvorrichtung 130 das nutzungsseitige zweite Netzwerk, das dafür vorgesehen ist, den Anforderungen der normalen Anwendung zu entsprechen.
Die bekannten Lerndaten sind ein Paar von Bilddaten und korrekten Antwortinformationen, die erzeugt wurden, um ein gewünschtes Erkennungsergebnis zu erreichen.
Obwohl ein Beispiel des Lernens in der Lernvorrichtung 110 gezeigt ist, kann Lernen durch eine separat vorbereitete Lernvorrichtung ausgeführt werden.
Nachfolgend, im Schritt S11, erzeugt die Lerneinheit 115 aktualisierte Gewichtungskoeffizientinformationen, die aktualisierte Gewichtungskoeffizienten angeben, die die Gewichtungskoeffizienten nach dem Aktualisieren in dem lernseitigen zweiten Netzwerk sind, und überträgt die aktualisierten Gewichtungskoeffizientinformationen über die lernseitige Übertragungseinheit 116 an die Nutzungsvorrichtung 130. Die Anwendungseinheit 132 der Nutzungsvorrichtung 130 erfasst die aktualisierten Gewichtungskoeffizientinformationen über die nutzungsseitige Empfangseinheit 131 und wendet die durch die empfangenen aktualisierten Gewichtungskoeffizientinformationen angegebenen aktualisierten Gewichtungskoeffizienten auf das in der nutzungsseitigen Speichereinheit 133 gespeicherte nutzungsseitige zweite Netzwerk an.
Obwohl ein Beispiel beschrieben wurde, in dem die Anwendungseinheit 132 die durch die aktualisierten Gewichtungskoeffizientinformationen angegebenen aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige zweite Netzwerk anwendet, kann eine funktionale Einheit (z. B. eine Einstelleinheit), die durch Ausführen eines separat vorbereiteten Programms implementiert ist, einen aktualisierten Gewichtungskoeffizienten, der durch die aktualisierten Gewichtungskoeffizientinformationen angegeben ist, auf das nutzungsseitige zweite Netzwerk anwenden.
Nachfolgend, im Schritt S12, wird die Nutzungsvorrichtung 130 an einer Installationsposition installiert, die entsprechend einer Anforderung zur Ausführung der normalen Anwendung bestimmt wird.
Das Vorstehende ist der Ablauf des anfänglichen Prozesses.
Obwohl das erste Netzwerk und das lernseitige zweite Netzwerk unter Verwendung bekannter Lerndaten im Schritt S10 unabhängig erlernt werden, ist die Ausführungsform 1 nicht auf ein solches Beispiel beschränkt. Beispielsweise kann das erste Netzwerk unter Verwendung bekannter Lerndaten zuerst erlernt werden, und dann kann unter Anwendung bekannter Wissensdestillationstechniken das lernseitige zweite Netzwerk gelernt werden.
Ferner ist die Ausführungsform 1, obwohl die Nutzungsvorrichtungen 130 nach dem Schritt S11 in 6 in ihren jeweiligen Installationspositionen installiert sind, nicht auf ein solches Beispiel beschränkt. Beispielsweise können die aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige zweite Netzwerk anwendet werden, nachdem die Nutzungsvorrichtungen 130 in ihren jeweiligen Installationspositionen installiert sind.
7 ist ein Ablaufdiagramm, das die Inferenz- und Datenauswahlprozesse in der Nutzungsvorrichtung 130 angibt.
Zuerst erfasst die Datenerfassungseinheit 135 über die Eingangseinheit 134 (S20) Bilddaten als ein Inferenzziel. Hier wird davon ausgegangen, dass die Bilderfassungseinheit 135 Bilddaten in einem Zyklus erfasst. Der Zyklus ist entsprechend der Nutzung der normalen Anwendung bestimmt. Die erfassten Bilddaten werden an die nutzungsseitige Inferenzeinheit 136 und die Datenauswahleinheit 137 übermittelt.
Nachfolgend führt die nutzungsseitige Inferenzeinheit 136 unter Verwendung des nutzungsseitigen zweiten Netzwerks Inferenz an den erfassten Bilddaten aus (S21). Nach dem Ausführen der Inferenz übermittelt die nutzungsseitige Inferenzeinheit 136 den finalen Ausgang und den Zwischenausgang des Inferenzergebnisses an die Datenauswahleinheit 137.
Danach berechnet die Datenauswahleinheit 137 den Konfidenzwert aus dem Zwischenausgang des Inferenzergebnisses (S22).
Dann stellt die Datenauswahleinheit 137 fest, ob der berechnete Konfidenzwert innerhalb eines vorbestimmten Bereichs liegt oder nicht (S23). Wenn der berechnete Konfidenzwert innerhalb des vorbestimmten Bereichs liegt (Ja in S23), fährt der Prozess mit Schritt S24 fort, und wenn der berechnete Konfidenzwert nicht innerhalb des vorbestimmten Bereichs liegt (Nein in S23), fährt der Prozess mit Schritt S25 fort.
Im Schritt S24 sendet die Datenauswahleinheit 137 die Bilddaten und die Inferenzergebnisdaten, die das Inferenzergebnis angeben, über die nutzungsseitige Übertragungseinheit 138 an die Lernvorrichtung 110.
Liegt der Konfidenzwert innerhalb des vorbestimmten Bereichs, ist der Konfidenzwert nicht ausreichend. Folglich kann davon ausgegangen werden, dass das nutzungsseitige zweite Netzwerk keine ausreichende Feststellung zu den Bilddaten im Besonderen trifft. Folglich übermittelt die Datenauswahleinheit 137 die Bilddaten als ein Inferenzziel an die Lernvorrichtung 110, so dass die Daten im zusätzlichen Lernen verwendet werden können. Zu dieser Zeit wird auch der in der normalen Anwendung zu nutzende finale Ausgang übertragen. Nach der Übertragung kehrt der Prozess zu Schritt S20 zurück, und der Prozess wartet, bis die Datenerfassungseinheit 135 die nächsten Bilddaten erfasst.
Andererseits, im Schritt S25, sendet die Datenauswahleinheit 137 die Inferenzergebnisdaten, die das Inferenzergebnis angeben, über die nutzungsseitige Übertragungseinheit 138 an die Lernvorrichtung 110.
Liegt der Konfidenzwert nicht innerhalb des vorbestimmten Bereichs, ist der Konfidenzwert ausreichend. Folglich kann davon ausgegangen werden, dass das nutzungsseitige zweite Netzwerk eine ausreichende Feststellung zu den Bilddaten trifft. Folglich übermittelt die Datenauswahleinheit 137 nur den finalen Ausgang an die Lernvorrichtung 110.
8 ist ein Ablaufdiagramm, das einen Neulernprozess des zweiten Netzwerks in der Lernvorrichtung 110 angibt.
Zuerst empfängt die lernseitige Empfangseinheit 111 Daten von der Nutzungsvorrichtung 130 (S30). Die empfangenen Daten werden an die Datenverarbeitungseinheit 112 übermittelt.
Dann übermittelt die Datenverarbeitungseinheit 112 die Inferenzergebnisdaten, die in den von der lernseitigen Empfangseinheit 111 übermittelten Daten enthalten sind, an die normale Anwendung, und die normale Anwendung führt Prozesse unter Verwendung der Inferenzergebnisdaten aus (S31).
Nachfolgend stellt die Datenverarbeitungseinheit 112 fest, ob die Bilddaten in den von der lernseitigen Empfangseinheit 111 übermittelten Daten enthalten sind oder nicht (S32). Wenn Bilddaten enthalten sind (Ja in S32), fährt der Prozess mit Schritt S33 fort, und wenn Bilddaten nicht enthalten sind (Nein in S32), kehrt der Prozess zu Schritt S30 zurück.
Im Schritt S33 übermittelt die Datenverarbeitungseinheit 112 die Bilddaten, die in den von der lernseitigen Empfangseinheit 111 übermittelten Daten enthalten sind, an die lernseitige Inferenzeinheit 114, und die lernseitige Inferenzeinheit 114 führt auf Grundlage dieser Bilddaten Inferenz unter Verwendung des ersten Netzwerks, das in der lernseitigen Speichereinheit 113 gespeichert ist, aus. Die lernseitige Inferenzeinheit 114 übermittelt ein Paar von Inferenzergebnis und Bilddaten an die Lerneinheit 115 als Lerndaten. Die Lerndaten können hier ein Zwischenausgang der Inferenz sein oder können einen Zwischenausgang der Inferenz enthalten.
Nachfolgend lernt die Lerneinheit 115 unter Verwendung der von der lernseitigen Inferenzeinheit 114 übermittelten Lerndaten das lernseitige zweite Netzwerk neu (S34). Wenn die Lerndaten einen Zwischenausgang enthalten, kann die Lerneinheit 115 die Gewichtungskoeffizienten des lernseitigen zweiten Netzwerks mit dem Zwischenausgang als ein Ziel aktualisieren. Dies entspricht dem Lernen durch bekannte Wissensdestillation.
Nachfolgend extrahiert die Lerneinheit 115 die aktualisierten Gewichtungskoeffizienten aus dem lernseitigen zweiten Netzwerk, erzeugt aktualisierte Gewichtungskoeffizientinformationen, die die extrahierten Gewichtungskoeffizienten angeben, und sendet die aktualisierten Gewichtungskoeffizientinformationen über die lernseitige Übertragungseinheit 116 an die Nutzungsvorrichtung 130 (S35).
Danach wartet der Prozess erneut, bis die lernseitige Empfangseinheit 111 Daten empfängt.
Obwohl die Prozesse vom Schritt S33 bis zum Schritt S35 in dem in 8 gezeigten Ablaufdiagram bei jedem Empfang von Bilddaten ausgeführt werden, ist Ausführungsform 1 nicht auf dieses Beispiel beschränkt. Beispielsweise kann eine Datensammeleinheit zum Sammeln der empfangenen Bilddaten bereitgestellt werden, und die Prozesse vom Schritt S33 bis zum Schritt S35 können ausgeführt werden, nachdem eine bestimmte Anzahl oder eine bestimmte Menge von Bilddaten gesammelt ist. In diesem Fall, wenn das lernseitige zweite Netzwerk neu erlernt ist, kann das Lernen mit den gesammelten Lerndaten als einem Stapel ausgeführt werden, so dass der Lernprozess effizienter gestaltet werden kann.
9 ist ein Ablaufdiagramm, das einen Anwendungsprozess der aktualisierten Gewichtungskoeffizienten in der Seite der Nutzungsvorrichtung 130 angibt.
Die nutzungsseitige Empfangseinheit 131 empfängt die aktualisierten Gewichtungskoeffizientinformationen von der Lernvorrichtung 110 (S40). Die empfangenen aktualisierten Gewichtungskoeffizientinformationen werden an die Anwendungseinheit 132 übermittelt.
Nachfolgend wendet die Anwendungseinheit 132 die aktualisierten Gewichtungskoeffizienten auf das zweite Netzwerk an, indem sie den Gewichtungskoeffizienten des entsprechenden Abschnitts des nutzungsseitigen zweiten Netzwerks, gespeichert in der nutzungsseitigen Speichereinheit 133, durch den aktualisierten Gewichtungskoeffizienten, der durch die aktualisierten Gewichtungskoeffizientinformationen, die von der nutzungsseitigen Empfangseinheit 131 übermittelt wurden, angegeben ist, ersetzt (S41).
Nach der Anwendung wartet der Prozess, bis die nutzungsseitige Empfangseinheit 131 die nächsten aktualisierten Gewichtungskoeffizientinformationen empfängt.
Das Vorstehende ist ein Ablauf zur Erhöhung der Genauigkeit der Nutzungsvorrichtung 130 in Ausführungsform 1.
Die oben beschriebene Definition des Konfidenzwerts und die Definition des Zwischenausgangs sind nur Beispiele.
Ausführungsform 2
10 ist ein Blockdiagramm, das eine Konfiguration eines Lernnutzungssystems 200 gemäß Ausführungsform 2 schematisch veranschaulicht.
In Ausführungsform 2 wird ebenfalls ein Beispiel, in dem das Lernnutzungssystem 200 als ein Bilderkennungssystem zum Ausführen von Bilderkennung genutzt wird, erläutert.
Das Lernnutzungssystem 200 umfasst eine Lernvorrichtung 210 und eine Vielzahl von Nutzungsvorrichtungen 230.
In Ausführungsform 2 wird eine Konfiguration, in welcher die Vielzahl von Nutzungsvorrichtungen 230 für eine Lernvorrichtung 210 bereitgestellt sind, beschrieben. In einem solchen Fall ist es wünschenswert, dass die Lernvorrichtung 210 das lernseitige zweite Netzwerk für jede von den Nutzungsvorrichtungen 230 verwaltet und auch die empfangenen Daten für jede von den Nutzungsvorrichtungen 230 verwaltet. Es wird davon ausgegangen, dass die von der Nutzungsvorrichtung 230 an die Lernvorrichtung 210 gesendeten Daten einen Identifikationscode enthalten, der Vorrichtungsidentifikationsinformationen nutzt, um die Nutzungsvorrichtung 230, die die Daten generiert hat, zu identifizieren. Es wird davon ausgegangen, dass die Vielzahl von Nutzungsvorrichtungen 230 die gleiche Konfiguration aufweisen.
Die Lernvorrichtung 210 umfasst eine lernseitige Empfangseinheit 111, eine Datenverarbeitungseinheit 112, eine lernseitige Speichereinheit 213, eine lernseitige Inferenzeinheit 114, eine Lerneinheit 215 und eine lernseitige Übertragungseinheit 216.
Die lernseitige Empfangseinheit 111, die Datenverarbeitungseinheit 112 und die lernseitige Inferenzeinheit 114 der Lernvorrichtung 210 in Ausführungsform 2 sind die gleichen wie die lernseitige Empfangseinheit 111, die Datenverarbeitungseinheit 112 und die lernseitige Inferenzeinheit 114 der Lernvorrichtung 110 in Ausführungsform 1.
Die lernseitige Speichereinheit 213 speichert ein erstes Netzwerk, das erlernt wurde, und ein lernseitiges zweites Netzwerk, das gelernt wurde. Hier wird das erste Netzwerk auch als ein Lernnetzwerk bezeichnet, und das lernseitige zweite Netzwerk wird auch als ein lernseitiges Inferenznetzwerk bezeichnet.
In Ausführungsform 2 speichert die lernseitige Speichereinheit 213 das lernseitige zweite Netzwerk für jede Nutzungsvorrichtung 230. Beispielsweise ist das lernseitige zweite Netzwerk in Zuordnung mit dem Identifikationscode der Nutzungsvorrichtung 230 gespeichert.
Die Lerneinheit 215 nutzt die von der lernseitigen Inferenzeinheit 114 erhaltenen Lerndaten, um die Gewichtungskoeffizienten des lernseitigen zweiten Netzwerks zu aktualisieren, sodass der Ausgang, der durch Eingeben der Bilddaten in das lernseitige zweite Netzwerk, das der Nutzungsvorrichtung 230, die die Übertragungsquelle der in den Lerndaten enthaltenen Bilddaten ist, entspricht, mit dem in den Lerndaten enthaltenen Inferenzergebnis übereinstimmt. Da der Identifikationscode der Übertragungsquellennutzungsvorrichtung 230 in den Bilddaten enthalten ist, nutzt die Lerneinheit 215 das dem Identifikationscode zugeordnete lernseitige zweite Netzwerk. Dann erzeugt die Lerneinheit 215 aktualisierte Gewichtungskoeffizientinformationen, die aktualisierte Gewichtungskoeffizienten angeben, die die Gewichtungskoeffizienten nach dem Aktualisieren sind.
Die Lerneinheit 215 übermittelt die erzeugten aktualisierten Gewichtungskoeffizientinformationen an die lernseitige Übertragungseinheit 216, zusammen mit Informationen, die das Übertragungsziel angeben. Das Übertragungsziel ist die Nutzungsvorrichtung 230, die die Übertragungsquelle der Bilddaten ist, die für das Neulernen des lernseitigen zweiten Netzwerks genutzt werden. Beispielsweise übermittelt die Lerneinheit 215 den Identifikationscode einer solchen Nutzungsvorrichtung 230 an die lernseitige Übertragungseinheit 216.
Die lernseitige Übertragungseinheit 216 überträgt die aktualisierten Gewichtungskoeffizientinformationen des lernseitigen zweiten Netzwerks, die von der Lerneinheit 215 übermittelt wurden, an die Nutzungsvorrichtung 230, die das von der Lerneinheit 215 bezeichnete Übertragungsziel ist.
Die Nutzungsvorrichtung 230 umfasst eine nutzungsseitige Empfangseinheit 131, eine Anwendungseinheit 132, eine nutzungsseitige Speichereinheit 133, eine Eingangseinheit 134, eine Datenerfassungseinheit 135, eine nutzungsseitige Inferenzeinheit 136, eine Datenauswahleinheit 237 und eine nutzungsseitige Übertragungseinheit 138.
Die nutzungsseitige Empfangseinheit 131, die Anwendungseinheit 132, die nutzungsseitige Speichereinheit 133, die Eingangseinheit 134, die Datenerfassungseinheit 135, die nutzungsseitige Inferenzeinheit 136 und die nutzungsseitige Übertragungseinheit 138 der Nutzungsvorrichtung 230 in Ausführungsform 2 sind die gleichen wie die nutzungsseitige Empfangseinheit 131, die Anwendungseinheit 132, die nutzungsseitige Speichereinheit 133, die Eingangseinheit 134, die Datenerfassungseinheit 135, die nutzungsseitige Inferenzeinheit 136 und die nutzungsseitige Übertragungseinheit 138 der Nutzungsvorrichtung 130 in Ausführungsform 1.
Die Datenauswahleinheit 237 ordnet das Inferenzergebnis der nutzungsseitigen Inferenzeinheit 136 den Inferenzzielbilddaten zu, berechnet einen Konfidenzwert mit Bezug auf die Inferenzzielbilddaten, und wenn der Konfidenzwert innerhalb des vorbestimmten Bereichs liegt, übermittelt sie die Inferenzergebnisdaten, die das Inferenzergebnis angeben, und die Bilddaten an die nutzungsseitige Übertragungseinheit 138. Hier ist der vorbestimmte Bereich der Bereich, der den niedrigsten Wert des Konfidenzwerts angibt.
Liegt der Konfidenzwert nicht innerhalb des vorbestimmten Bereichs, übermittelt die Datenauswahleinheit 237 nur die Inferenzergebnisdaten, die das Inferenzergebnis angeben, an die nutzungsseitige Übertragungseinheit 138.
Hier fügt die Datenauswahleinheit 237 den Identifikationscode der Nutzungsvorrichtung 230 zu den Bilddaten und den Inferenzergebnisdaten hinzu.
Nachfolgend wird der Ablauf in Ausführungsform 2 beschrieben.
Der anfängliche Prozess vor dem Starten des Lernprozesses ist der gleiche wie der in 6 gezeigte. In diesem Fall wird jedoch der gleiche Prozess in jeder von der Vielzahl von Nutzungsvorrichtungen 230 ausgeführt.
11 ist ein Ablaufdiagramm, das einen Inferenz- und Datenauswahlprozess in der Nutzungsvorrichtung 230 in Ausführungsform 2 angibt.
Den im Ablaufdiagramm, das in 11 gezeigt ist, enthaltenen Schritten, die den gleichen Prozess wie die in dem in 7 gezeigten Ablaufdiagramm enthaltenen Schritte ausführen, sind die gleichen Bezugszeichen wie den Schritten, die in dem in 7 gezeigten Ablaufdiagramm enthalten sind, zugeordnet.
Die Prozesse der Schritte S20 bis S23 in 11 sind die gleichen wie die Prozesse der Schritte S20 bis S23 in 7.
Wenn jedoch in 11 der in Schritt S23 berechnete Konfidenzwert innerhalb des vorbestimmten Bereichs liegt (Ja in S23), fährt der Prozess mit Schritt S54 fort, und wenn der berechnete Konfidenzwert nicht innerhalb des vorbestimmten Bereichs liegt (Nein in S23), fährt der Prozess mit Schritt S55 fort.
In Schritt S54 fügt die Datenauswahleinheit 237 den Identifikationscode der Nutzungsvorrichtung 230 zu den Bilddaten und den Inferenzergebnisdaten, die das Inferenzergebnis angeben, hinzu.
Dann fährt das Verfahren mit Schritt S24 fort, und die Datenauswahleinheit 237 sendet die Bilddaten und die Inferenzergebnisdaten über die nutzungsseitige Übertragungseinheit 138 an die Lernvorrichtung 210.
Andererseits, im Schritt S55, fügt die Datenauswahleinheit 237 den Identifikationscode der Nutzungsvorrichtung 230 zu den Inferenzergebnisdaten, die das Inferenzergebnis angeben, hinzu.
Dann fährt der Prozess mit Schritt S25 fort, und die Datenauswahleinheit 237 sendet die Inferenzergebnisdaten über die nutzungsseitige Übertragungseinheit 138 an die Lernvorrichtung 210.
12 ist ein Ablaufdiagramm, das den Neulernprozess des zweiten Netzwerks in der Lernvorrichtung 210 gemäß Ausführungsform 2 angibt.
Den im Ablaufdiagramm, das in 12 gezeigt ist, enthaltenen Schritten, die den gleichen Prozess wie die in dem in 8 gezeigten Ablaufdiagramm enthaltenen Schritte ausführen, sind die gleichen Bezugszeichen wie den Schritten, die in dem in 8 gezeigten Ablaufdiagramm enthalten sind, zugeordnet.
Die Prozesse der Schritte S30 bis S33 in 12 sind die gleichen wie die Prozesse der Schritte S30 bis S33 in 8.
In 12 fährt der Prozess jedoch nach Schritt S33 mit Schritt S64 fort.
Im Schritt S64 spezifiziert die Lerneinheit 215 den zu den Bilddaten, die in den von der lernseitigen Inferenzeinheit 114 übermittelten Lerndaten enthalten sind, hinzugefügten Identifikationscode, wodurch die Nutzungsvorrichtung 230, die die Übertragungsquelle der Bilddaten ist, spezifiziert wird.
Nachfolgend lernt die Lerneinheit 215 unter Verwendung der von der lernseitigen Inferenzeinheit 114 übermittelten Lerndaten das lernseitige zweite Netzwerk der spezifizierten Nutzungsvorrichtung 230 neu (S65).
Nachfolgend extrahiert die Lerneinheit 215 die aktualisierten Gewichtungskoeffizienten aus dem lernseitigen zweiten Netzwerk, erzeugt aktualisierte Gewichtungskoeffizientinformationen, die die extrahierten Gewichtungskoeffizienten angeben, und sendet die aktualisierten Gewichtungskoeffizientinformationen über die lernseitige Übertragungseinheit 116 an die spezifizierte Nutzungsvorrichtung 230 (S66).
Danach wartet der Prozess erneut, bis die lernseitige Empfangseinheit 111 Daten empfängt.
Das Vorstehende ist ein Ablauf zur Verbesserung der Genauigkeit der Vielzahl von Nutzungsvorrichtungen 230 in Ausführungsform 2.
Da jede Nutzungsvorrichtung 230 die an jedem Installationsort gemäß der in Ausführungsform 2 beschriebenen Konfiguration erfassten Daten lernt, wächst die nutzungsseitige Inferenzeinheit 136 jeder Nutzungsvorrichtung 230 als eine für den Installationsort spezialisierte Inferenzeinheit, sodass die Erkennungsrate der Nutzungsvorrichtung 230 genauer wird.
In Ausführungsform 1 und Ausführungsform 2 sind die Zieldaten Bilddaten, und das nutzungsseitige zweite Netzwerk, das erste Netzwerk und das lernseitige zweite Netzwerk sind als ein erlerntes Modell zum Ausführen von Bilderkennung aus den Bilddaten beschrieben.
Konkret sind das nutzungsseitige zweite Netzwerk, das erste Netzwerk und das lernseitige zweite Netzwerk Beispiele eines erlernten Modells zum Erkennen eines Bildes aus Bilddaten und Klassifizieren des erkannten Bildes, oder eines gelernten Modells zum Erkennen eines Bildes aus Bilddaten und Erkennen eines Objekts aus dem erkannten Bild. Ausführungsform 1 und Ausführungsform 2 sind jedoch nicht auf diese Beispiele beschränkt und können konfiguriert sein, andere Inferenzen auszuführen.
Bezugszeichenliste

100, 200: Lernnutzungssystem,
110, 210: Lernvorrichtung,
111: lernseitige Empfangseinheit,
112: Datenverarbeitungseinheit,
113, 213: lernseitigeSpeichereinheit,
114: lernseitige Inferenzeinheit,
115, 215: Lerneinheit,
116, 216: lernseitige Übertragungseinheit,
130, 230: Nutzungsvorrichtung,
131: nut-zungsseitige Empfangseinheit,
132: Anwendungseinheit,
133: nutzungsseitigeSpeichereinheit,
134: Eingangseinheit,
135: Datenerfassungseinheit,
136: nut-zungsseitige Inferenzeinheit,
137, 237: Datenauswahleinheit,
138: nutzungssei- tige Übertragungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2017/145960 [0005]

Claims

Lernnutzungssystem, umfassend eine Nutzungsvorrichtung und eine Lernvorrichtung, wobei die Nutzungsvorrichtung umfasst: eine Datenerfassungseinheit, die dazu eingerichtet ist, Zieldaten zu erfassen; eine nutzungsseitige Speichereinheit, die dazu eingerichtet ist, ein nutzungsseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches für Inferenz in der Nutzungsvorrichtung genutzt wird, zu speichern; eine nutzungsseitige Inferenzeinheit, die dazu eingerichtet ist, das nutzungsseitige Inferenznetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen; eine Feststellungseinheit, die dazu eingerichtet ist, festzustellen, ob ein Grad von Sicherheit des von dem nutzungsseitigen Inferenznetzwerk abgeleiteten Inferenzergebnisses niedriger als ein vorbestimmtes Kriterium ist oder nicht; und eine nutzungsseitige Übertragungseinheit, die dazu eingerichtet ist, die Zieldaten an die Lernvorrichtung zu übertragen, wenn der Grad niedriger als das vorbestimmte Kriterium ist, wobei die Lernvorrichtung umfasst: eine lernseitige Empfangseinheit, die dazu eingerichtet ist, die Zieldaten zu empfangen; eine lernseitige Speichereinheit, die dazu eingerichtet ist, ein Lernnetzwerk, das ein neuronales Netzwerk ist, welches als ein Lehrermodell des nutzungsseitigen Inferenznetzwerks funktioniert, und ein lernseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, zu speichern; eine lernseitige Inferenzeinheit, die dazu eingerichtet ist, das Lernnetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen, um Lerndaten, welche die Zieldaten und das von dem Lernnetzwerk abgeleitete Inferenzergebnis enthalten, zu erzeugen; eine Lerneinheit, die dazu eingerichtet ist, das lernseitige Inferenznetzwerk unter Verwendung der Lerndaten neu zu lernen, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren und das aktualisierte Gewichtungskoeffizientinformationen erzeugt, welche die aktualisierten Gewichtungskoeffizienten angeben; und eine lernseitige Übertragungseinheit, die dazu eingerichtet ist, die aktualisierten Gewichtungskoeffizientinformationen an die Nutzungsvorrichtung zu übertragen, wobei die Nutzungsvorrichtung ferner umfasst: eine nutzungsseitige Empfangseinheit, die dazu eingerichtet ist, die aktualisierten Gewichtungskoeffizientinformationen zu empfangen; und eine Anwendungseinheit, die dazu eingerichtet ist, die durch die aktualisierten Gewichtungskoeffizientinformationen angegebenen aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige Inferenznetzwerk anzuwenden.
Lernnutzungssystem nach Anspruch 1, wobei die Feststellungseinheit dazu eingerichtet ist, einen Konfidenzwert zu berechnen, der den Grad angibt, und festzustellen, dass der Grad niedriger als das Kriterium ist, wenn der Konfidenzwert innerhalb eines vorbestimmten Bereichs liegt.
Lernnutzungssystem nach Anspruch 1 oder 2, wobei die Anzahl der Zwischenschichten und Gewichtungskoeffizienten des Lernnetzwerks größer als die Anzahl der Zwischenschichten und Gewichtungskoeffizienten des nutzungsseitigen Inferenznetzwerks ist.
Lernnutzungssystem nach einem der Ansprüche 1 bis 3, wobei die Zieldaten Bilddaten sind und das nutzungsseitige Inferenznetzwerk, das Lernnetzwerk und das lernseitige Inferenznetzwerk Modelle sind, die zum Ausführen von Bilderkennung aus den Bilddaten erlernt wurden.
Lernnutzungssystem nach einem der Ansprüche 1 bis 3, wobei die Zieldaten Bilddaten sind und das nutzungsseitige Inferenznetzwerk, das Lernnetzwerk und das lernseitige Inferenznetzwerk Modelle sind, die zum Erkennen eines Bildes aus den Bilddaten und Klassifizieren des erkannten Bildes erlernt wurden.
Lernnutzungssystem nach einem der Ansprüche 1 bis 3, wobei die Zieldaten Bilddaten sind und das nutzungsseitige Inferenznetzwerk, das Lernnetzwerk und das lernseitige Inferenznetzwerk Modelle sind, die zum Erkennen eines Bildes aus den Bilddaten und Detektieren eines Objekts aus dem erkannten Bild erlernt wurden.
Lernnutzungssystem nach einem der Ansprüche 1 bis 6, wobei das Lernnutzungssystem eine Vielzahl der Nutzungsvorrichtungen umfasst, die lernseitige Speichereinheit dazu eingerichtet ist, eine Vielzahl lernseitiger Inferenznetzwerke entsprechend jeder von der Vielzahl von Nutzungsvorrichtungen zu speichern, und dann, wenn die lernseitige Empfangseinheit dazu eingerichtet ist, die Zieldaten von der einen Nutzungsvorrichtung, die in der Vielzahl von Nutzungsvorrichtungen enthalten ist, zu empfangen, die Lerneinheit dazu eingerichtet ist, das lernseitige Inferenznetzwerk, das der einen Nutzungsvorrichtung, die in der Vielzahl lernseitiger Inferenznetzwerke enthalten ist, entspricht, neu zu lernen, um die aktualisierten Gewichtungskoeffizientinformationen zu erzeugen, und die lernseitige Übertragungseinheit dazu eingerichtet ist, die aktualisierten Gewichtungskoeffizientinformationen an die eine Nutzungsvorrichtung zu übertragen.
Nutzungsvorrichtung, umfassend: eine Datenerfassungseinheit, die dazu eingerichtet ist, Zieldaten zu erfassen; eine nutzungsseitige Speichereinheit, die dazu eingerichtet ist, ein nutzungsseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches für Inferenz genutzt wird, zu speichern; eine nutzungsseitige Inferenzeinheit, die dazu eingerichtet ist, das nutzungsseitige Inferenznetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen; eine Feststellungseinheit, die dazu eingerichtet ist, festzustellen, ob ein Grad von Sicherheit des von dem nutzungsseitigen Inferenznetzwerk abgeleiteten Inferenzergebnisses niedriger als ein vorbestimmtes Kriterium ist oder nicht; eine nutzungsseitige Übertragungseinheit, die dazu eingerichtet ist, die Zieldaten an die Lernvorrichtung zu übertragen, wenn der Grad niedriger als das vorbestimmte Kriterium ist; eine nutzungsseitige Empfangseinheit, die dazu eingerichtet ist, aktualisierte Gewichtungskoeffizientinformationen, die aktualisierte Gewichtungskoeffizienten von der Lernvorrichtung angeben, zu empfangen, wobei die aktualisierten Gewichtungskoeffizienten durch Neulernen des lernseitigen Inferenznetzwerks unter Verwendung von Lerndaten erzeugt werden, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren, wobei das lernseitige Inferenznetzwerk ein neuronales Netzwerk ist, das die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, wobei die Lerndaten durch Ausführen einer Inferenz unter Verwendung eines Lernnetzwerks, das ein neuronales Netzwerk ist, welches als ein Lehrermodell des nutzungsseitigen Inferenznetzwerks funktioniert, erzeugt werden, wobei die Lerndaten die Zieldaten und das durch das Lernnetzwerk abgeleitete Inferenzergebnis umfassen; und eine Anwendungseinheit, die dazu eingerichtet ist, die durch die aktualisierten Gewichtungskoeffizientinformationen angegebenen aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige Inferenznetzwerk anzuwenden.
Lernvorrichtung, umfassend: eine lernseitige Empfangseinheit, die dazu eingerichtet ist, von einer Nutzungsvorrichtung Zieldaten, die ein Ziel von Inferenz in der Nutzungsvorrichtung sind, zu empfangen; eine lernseitige Speichereinheit, die dazu eingerichtet ist, ein Lernnetzwerk, das als ein Lehrermodell eines nutzungsseitigen Inferenznetzwerks funktioniert, welches ein neuronales Netzwerk ist, das für Inferenz in der Nutzungsvorrichtung genutzt wird, und ein lernseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, zu speichern; eine lernseitige Inferenzeinheit, die dazu eingerichtet ist, das Lernnetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen, um Lerndaten, welche die Zieldaten und das von dem Lernnetzwerk abgeleitete Inferenzergebnis enthalten, zu erzeugen; eine Lerneinheit, die dazu eingerichtet ist, das lernseitige Inferenznetzwerk unter Verwendung der Lerndaten neu zu lernen, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren und aktualisierte Gewichtungskoeffizientinformationen zu erzeugen, welche die aktualisierten Gewichtungskoeffizienten angeben; und eine lernseitige Übertragungseinheit, die dazu eingerichtet ist, die aktualisierten Gewichtungskoeffizientinformationen an die Nutzungsvorrichtung zu übertragen.
Programm, das einen Computer veranlasst, zu funktionieren als: eine Datenerfassungseinheit, die dazu eingerichtet ist, Zieldaten zu erfassen; eine nutzungsseitige Speichereinheit, die dazu eingerichtet ist, ein nutzungsseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches für Inferenz genutzt wird, zu speichern; eine nutzungsseitige Inferenzeinheit, die dazu eingerichtet ist, das nutzungsseitige Inferenznetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen; eine Feststellungseinheit, die dazu eingerichtet ist, festzustellen, ob ein Grad von Sicherheit des von dem nutzungsseitigen Inferenznetzwerk abgeleiteten Inferenzergebnisses niedriger als ein vorbestimmtes Kriterium ist; eine nutzungsseitige Übertragungseinheit, die dazu eingerichtet ist, die Zieldaten an die Lernvorrichtung zu übertragen, wenn der Grad niedriger als das vorbestimmte Kriterium ist; eine nutzungsseitige Empfangseinheit, die dazu eingerichtet ist, aktualisierte Gewichtungskoeffizientinformationen, die aktualisierte Gewichtungskoeffizienten von der Lernvorrichtung angeben, zu empfangen, wobei die aktualisierten Gewichtungskoeffizienten durch Neulernen des lernseitigen Inferenznetzwerks unter Verwendung von Lerndaten erzeugt werden, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren, wobei das lernseitige Inferenznetzwerk ein neuronales Netzwerk ist, das die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, wobei die Lerndaten durch Ausführen von Inferenz unter Verwendung eines Lernnetzwerks, das ein neuronales Netzwerk ist, welches als ein Lehrermodell des nutzungsseitigen Inferenznetzwerks funktioniert, erzeugt werden, wobei die Lerndaten die Zieldaten und das durch das Lernnetzwerk abgeleitete Inferenzergebnis umfassen; und eine Anwendungseinheit, die dazu eingerichtet ist, die durch die aktualisierten Gewichtungskoeffizientinformationen angegebenen aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige Inferenznetzwerk anzuwenden.
Programm, das einen Computer veranlasst, zu funktionieren als: eine lernseitige Empfangseinheit, die dazu eingerichtet ist, von einer Nutzungsvorrichtung Zieldaten, die ein Ziel von Inferenz in der Nutzungsvorrichtung sind, zu empfangen; eine lernseitige Speichereinheit, die dazu eingerichtet ist, ein Lernnetzwerk, das als ein Lehrermodell eines nutzungsseitigen Inferenznetzwerks funktioniert, welches ein neuronales Netzwerk ist, das für Inferenz in der Nutzungsvorrichtung genutzt wird, , und ein lernseitiges Inferenznetzwerk, das ein neuronales Netzwerk ist, welches die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, zu speichern; eine lernseitige Inferenzeinheit, die dazu eingerichtet ist, das Lernnetzwerk zu nutzen, um eine Inferenz aus den Zieldaten auszuführen, um Lerndaten, welche die Zieldaten und das von dem Lernnetzwerk abgeleitete Inferenzergebnis enthalten, zu erzeugen; eine Lerneinheit, die dazu eingerichtet ist, das lernseitige Inferenznetzwerk unter Verwendung der Lerndaten neu zu lernen, um Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks zu aktualisieren und aktualisierte Gewichtungskoeffizientinformationen zu erzeugen, welche die aktualisierten Gewichtungskoeffizienten angeben; und eine lernseitige Übertragungseinheit, die dazu eingerichtet ist, die aktualisierten Gewichtungskoeffizientinformationen an die Nutzungsvorrichtung zu übertragen.
Lernnutzungsverfahren, umfassend: Erfassen von Zieldaten; Nutzen des nutzungsseitigen Inferenznetzwerks, das ein neuronales Netzwerk ist, das für Inferenz genutzt wird, um eine Inferenz aus den Zieldaten auszuführen; Feststellen, ob der Grad von Sicherheit des Inferenzergebnisses niedriger als ein vorbestimmtes Kriterium ist oder nicht; wenn der Grad niedriger als das vorbestimmte Kriterium ist, Nutzen eines Lernnetzwerks, das ein neuronales Netzwerk ist, welches als ein Lehrermodell des nutzungsseitigen Inferenznetzwerks funktioniert, um eine Inferenz aus den Zieldaten auszuführen, um Lerndaten, welche die Zieldaten und das von dem Lernnetzwerk abgeleitete Inferenzergebnis enthalten, zu erzeugen; Neulernen eines lernseitigen Inferenznetzwerks, das ein neuronales Netzwerk ist, welches die gleiche Netzwerkstruktur wie das nutzungsseitige Inferenznetzwerk aufweist, durch Nutzen der Lerndaten zum Aktualisieren von Gewichtungskoeffizienten des lernseitigen Inferenznetzwerks; und Anwenden der aktualisierten Gewichtungskoeffizienten auf das nutzungsseitige Inferenznetzwerk.