DE112021007485T5 - Neuronales-netz-erstellungseinrichtung, neuronales-netz-erstellungsverfahren, bildverarbeitungseinrichtung und bildverarbeitungsverfahren - Google Patents

Neuronales-netz-erstellungseinrichtung, neuronales-netz-erstellungsverfahren, bildverarbeitungseinrichtung und bildverarbeitungsverfahren Download PDF

Info

Publication number
DE112021007485T5
DE112021007485T5 DE112021007485.7T DE112021007485T DE112021007485T5 DE 112021007485 T5 DE112021007485 T5 DE 112021007485T5 DE 112021007485 T DE112021007485 T DE 112021007485T DE 112021007485 T5 DE112021007485 T5 DE 112021007485T5
Authority
DE
Germany
Prior art keywords
neural network
network model
unit
necessary time
inference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021007485.7T
Other languages
English (en)
Inventor
Genki TANAKA
Takumi Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112021007485T5 publication Critical patent/DE112021007485T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

Eine Neuronales-Netz-Erstellungseinrichtung (NNK) umfasst eine Spezifikationseinheit (TO) zum Spezifizieren einer Vielzahl von Operationen (OP), die einer Vielzahl von Schichten (L) zuzuordnen sind, die ein neuronales Netzmodell (NNM) auf der Grundlage einer Erstellungsbedingung (JJ) zum Erstellen des neuronalen Netzmodells (NNM) bilden, eine Erzeugungseinheit (SE) zum Erzeugen einer ersten Operationskombination (EK) durch Zuordnen eines entsprechenden der Vielzahl von Operationen (OP) zu jeder der Vielzahl von Schichten (L), eine erste Bestimmungseinheit (HA1) zum Bestimmen, ob eine notwendige Gesamtzeit (GSJ), die auf der Grundlage der zugeordneten Operationen (OP) inferiert wird und die eine Gesamtheit der notwendigen Zeiten der jeweiligen Operationen ist, eine vorgegebene geforderte notwendige Zeit (YSJ) erfüllt oder nicht, eine Trainingseinheit (KU) zum Trainieren des neuronalen Netzmodells (NNM) mit der erzeugten ersten Operationskombination (EK), und eine zweite Bestimmungseinheit (HA2) zum Bestimmen, ob die Genauigkeit der Inferenz durch das neuronale Netzmodell (NNM) nach dem Training die vorgegebene geforderte Inferenzgenauigkeit (YSS) erfüllt oder nicht, in der, wenn die erste Bestimmungseinheit (HA1) bestimmt, dass die notwendige Gesamtzeit (GSJ) nicht die geforderte notwendige Zeit (YSJ) erfüllt, oder wenn die zweite Bestimmungseinheit (HA2) bestimmt, dass die Genauigkeit (SS) der Inferenz nicht die geforderte Inferenzgenauigkeit (YSS) erfüllt, die Erzeugungseinheit (SE) eine zweite Operationskombination (EK) erzeugt, die sich von der ersten Operationskombination (EK) unterscheidet.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich auf eine Neuronales-Netz-Erstellungseinrichtung, ein Neuronales-Netz-Erstellungsverfahren, eine Bildverarbeitungseinrichtung und ein Bildverarbeitungsverfahren.
  • HINTERGRUND ZUM STAND DER TECHNIK
  • Eine in der Patentliteratur 1 beschriebene Lernmodell-Erzeugungseinrichtung, die ein Beispiel für eine Neuronales-Netz-Erstellungseinrichtung ist, ersetzt eine Schicht, die ein Lernmodell bildet, durch eine Struktur, in der ein Operationsumfang reduziert ist, um eine Abnahme der Genauigkeit der Erkennung oder dergleichen durch das Lernmodell zu unterdrücken, selbst wenn die Rechenressourcen eines Computers zum Ausführen des Lernmodells relativ klein sind.
  • REFERENZLISTE
  • PATENTLITERATUR
  • Patentliteratur 1: JP 2020-107042 A
  • KURZFASSUNG DER ERFINDUNG
  • TECHNISCHES PROBLEM
  • Da die oben beschriebene Lernmodell-Erzeugungseinrichtung den Operationsumfang des oben beschriebenen Lernmodells reduziert, wird die ursprünglich für das Lernmodell geforderte Genauigkeit der Erkennung oder Ähnliches erfüllt. Es besteht jedoch das Problem, dass die Geschwindigkeit, d.h. die ursprünglich geforderte notwendige Zeit für das Lernmodell nicht erfüllt werden kann.
  • Ziel der vorliegenden Offenbarung ist es, eine Neuronales-Netz-Erstellungseinrichtung bereitzustellen, die in der Lage ist, ein neuronales Netzmodell zu erstellen, das sowohl eine notwendige Zeit als auch eine Genauigkeit für die Inferenz, die ursprünglich gefordert wurden, erfüllt, selbst wenn die Ressourcen zum Ausführen eines Lernmodells relativ gering sind.
  • LÖSUNG DES PROBLEMS
  • Um das obige Problem zu lösen, sind enthalten: eine Spezifikationseinheit zum Spezifizieren einer Vielzahl von Operationen, die einer Vielzahl von Schichten zuzuordnen sind, die ein neuronales Netzmodell auf der Grundlage einer Erstellungsbedingung zum Erstellen des neuronalen Netzmodells bilden, eine Erzeugungseinheit zum Erzeugen einer ersten Operationskombination durch Zuordnen eines entsprechenden der Vielzahl von Operationen zu jeder der Vielzahl von Schichten, eine erste Bestimmungseinheit zum Bestimmen, ob eine notwendige Gesamtzeit, die auf der Grundlage der zugeordneten Operationen inferiert wird und die eine Gesamtheit der notwendigen Zeiten der jeweiligen Operationen ist, eine vorgegebene geforderte notwendige Zeit erfüllt oder nicht, eine Trainingseinheit zum Trainieren des neuronalen Netzmodells mit der erzeugten ersten Operationskombination, und eine zweite Bestimmungseinheit zum Bestimmen, ob die Genauigkeit der Inferenz durch das neuronale Netzmodell nach dem Training die vorgegebene geforderte Inferenzgenauigkeit erfüllt oder nicht. Wenn die erste Bestimmungseinheit bestimmt, dass die notwendige Gesamtzeit nicht die geforderte notwendige Zeit erfüllt, oder wenn die zweite Bestimmungseinheit bestimmt, dass die Genauigkeit der Inferenz nicht die geforderte Inferenzgenauigkeit erfüllt, erzeugt die Erzeugungseinheit eine zweite Operationskombination, die sich von der ersten Operationskombination unterscheidet.
  • VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
  • Mit der Neuronales-Netzmodell-Erstellungseinrichtung gemäß der vorliegenden Offenbarung ist es möglich, ein neuronales Netzmodell zu erstellen, das sowohl eine notwendige Zeit als auch eine Genauigkeit für die Inferenz, die ursprünglich gefordert wurden, erfüllt, selbst wenn die Ressourcen zum Ausführen eines Lernmodells relativ gering sind.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
    • 1 ist ein funktionelles Blockdiagramm einer Neuronales-Netz-Erstellungseinrichtung NNK einer ersten Ausführungsform.
    • 2 zeigt eine Grundkonfiguration eines neuronalen Netzmodells NNM der ersten Ausführungsform.
    • 3 zeigt eine Konfiguration einer Speichereinheit KI der ersten Ausführungsform.
    • 4 zeigt eine Konfiguration einer Tabelle TB der ersten Ausführungsform.
    • 5 zeigt eine Konfiguration der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform.
    • 6 ist ein Flussdiagramm, das eine Operation der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform zeigt.
    • 7 zeigt eine Operation einer Erzeugungseinheit SE der ersten Ausführungsform.
    • 8 zeigt eine Operation einer ersten Bestimmungseinheit HA1 der ersten Ausführungsform.
    • 9 zeigt eine Operation einer Trainingseinheit KU der ersten Ausführungsform.
    • 10 ist ein funktionelles Blockdiagramm einer Neuronales-Netz-Erstellungseinrichtung NNK einer zweiten Ausführungsform.
    • 11 ist ein Flussdiagramm, das eine Operation der Neuronales-Netz-Erstellungseinrichtung NNK der zweiten Ausführungsform zeigt.
    • 12 zeigt Funktionen einer Bildverarbeitungseinrichtung GSS einer dritten Ausführungsform.
  • BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Es werden Ausführungsformen einer Neuronales-Netz-Erstellungseinrichtung und einer Bildverarbeitungseinrichtung gemäß der vorliegenden Offenbarung beschrieben.
  • Neuronales-Netz-Erstellungseinrichtungen NNK (dargestellt in 1 und 10) der ersten und zweiten Ausführungsform sind Einrichtungen in einer Lernphase, während eine Bildverarbeitungseinrichtung GSS (dargestellt in 12) einer dritten Ausführungsform eine Einrichtung in einer Inferenzphase ist.
  • Erste Ausführungsform
  • <Erste Ausführungsform>
  • Die Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform wird beschrieben.
  • <<Funktion der Neuronales-Netz-Erstellungseinrichtung NNK>>
  • 1 zeigt ein funktionelles Blockdiagramm der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform.
  • Wie in 1 dargestellt, weist die Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform eine Speichereinheit Kl, eine Schnittstelleneinheit IF, eine Beschaffungseinheit SY, eine Spezifikationseinheit TO, eine Erzeugungseinheit SE, eine Trainingseinheit KU, eine erste Bestimmungseinheit HA1 und eine zweite Bestimmungseinheit HA2, um ein neuronales Netzmodell NNM zu erstellen, das eine Aufgabe (z. B. Klassifizierung, Objekterkennung, Lokalisierung und Segmentierung) durchführt, auf.
  • 2 zeigt eine Grundkonfiguration des neuronalen Netzmodells NNM der ersten Ausführungsform.
  • <Konfiguration des Neuronalen Netzmodells NNM>
  • Wie in 2 dargestellt, umfasst das neuronale Netzmodell NNM beispielsweise eine Eingabeschicht Lin, eine Ausgabeschicht Lout, sieben Zwischenschichten L1 bis L7 und Gewichte w zwischen benachbarten Schichten, wie üblicherweise bekannt.
  • Der Eingabeschicht Lin und der Ausgabeschicht Lout werden im Voraus Operationen bzw. Vorgänge (nicht abgebildet) zugewiesen, und ihre Operationen sind festgelegt. Ein auf die Operation bezogenes Eingabe/Ausgabe-Verhältnis (z. B. die Anzahl der für die Operation eingegebenen Daten und die Anzahl der als Ergebnis der Operation ausgegebenen Daten) wird beim Prozess des Erstellens des neuronalen Netzmodells NNM durch die Neuronales-Netzmodell-Erstellungseinrichtung NNK bestimmt (in 1 dargestellt).
  • Den sieben Zwischenschichten L1 bis L7 werden die Operationen und die Eingabe/Ausgabe-Verhältnisse nicht im Voraus zugeordnet, und die Operationen und die Eingabe/Ausgabe-Verhältnisse davon werden im Prozess des Erstellens des neuronalen Netzmodells NNM durch die Neuronales-Netzmodell-Erstellungseinrichtung NNK bestimmt.
  • Ein Wert des Gewichts w wird beim Prozess des Erstellens des neuronalen Netzmodells NNM durch die Neuronales-Netz-Erstellungseinrichtung NNK bestimmt.
  • Im Folgenden wird der Wert des Gewichts w als „Gewichtswert wt“ bezeichnet. Obwohl der Gewichtswert wt ursprünglich ein eindeutiger Wert ist, bezieht sich der Gewichtswert wt zur leichteren Beschreibung und zum besseren Verständnis insgesamt auf eine Vielzahl von Gewichtswerten.
  • <Konfiguration der Speichereinheit Kl>
  • 3 zeigt eine Konfiguration der Speichereinheit KI der ersten Ausführungsform.
  • Wie in 3 dargestellt, speichert die Speichereinheit KI eine Tabelle TB im Voraus. In der Speichereinheit KI werden Erstellungsdaten CD in dem Prozess gespeichert, in dem die Neuronales-Netz-Erstellungseinrichtung NNK (dargestellt in 1) das neuronale Netzmodell NNM (dargestellt in 2) erstellt.
  • <Konfiguration der Tabelle TB>
  • 4 zeigt eine Konfiguration der Tabelle TB der ersten Ausführungsform.
  • Wie in 4 dargestellt, zeigt die Tabelle TB eine Beziehung zwischen den Bedingungsinformationen JJ und einem Suchbereich TK.
  • Die Bedingungsinformationen JJ enthalten Bedingungen zum Erstellen des neuronalen Netzmodells NNM (dargestellt in 2) und geben beispielsweise einen Aufgabennamen, eine Eingabe-/Ausgabegröße und Hardwarespezifikationen an, wie in 4 dargestellt.
  • Wie oben beschrieben, ist der Aufgabenname eine mögliche Aufgabe zum Ausführen durch das neuronale Netzmodell NNM (dargestellt in 2) und ist z.B. ein Name einer Klassenklassifizierung, Objekterfassung, Lokalisierung oder Segmentierung.
  • Die Eingabe-/Ausgabegröße umfasst die Anzahl von Datenstücken, die in die Eingabeschicht Lin eingegeben werden, und die Anzahl von Datenstücken, die von der Ausgabeschicht Lout ausgegeben werden, wenn das Netzmodell NNM eine der Aufgaben ausführt.
  • Bei den Hardwarespezifikationen handelt es sich um Spezifikationen von Hardware, mit der das Netzmodell NNM betrieben wird und insbesondere um ein Computermodell, eine Verarbeitungsart (CPU/GPU/FPGA/DPU) und ähnliches.
  • Statt vorab in der Speichereinheit KI (in 3 dargestellt) in der Neuronales-Netz-Erstellungseinrichtung NNK gespeichert zu werden, kann die Tabelle TB z.B. in einer Speichereinrichtung (nicht dargestellt) außerhalb der Neuronales-Netz-Erstellungseinrichtung NNK gespeichert werden und kann von der Beschaffungseinheit SY (in 1 dargestellt) über die Schnittstelleneinheit IF (in 1 dargestellt) beschafft werden.
  • Die Inhalte des Suchbereichs TK werden durch die Bedingungsinformationen JJ spezifiziert. Konkret gibt der Suchbereich TK, wie in 4 dargestellt, eine Operation, die den Zwischenschichten L1 bis L7 des neuronalen Netzmodells NNM (dargestellt in 2) zugeordnet werden kann, eine Eingabe/Ausgabe-Konfiguration der Operation, eine Verbindungsbedingung der Operation und eine notwendige Zeit für die Operation (notwendige Zeit, die die Ausführung der Operation durch die durch die Bedingungsinformationen JJ spezifizierte Hardware benötigt) an.
  • <Konfiguration von Erstellungsdaten CD>
  • Wie in 3 dargestellt, enthalten die Erstellungsdaten CD eine Operationskombination EK und den Gewichtswert wt.
  • Die Operationskombination EK gibt eine Kombination von Operationen an, die den Zwischenschichten L1 bis L7 des neuronalen Netzmodells NNM zugeordnet sind. Der Gewichtswert wt ist ein Wert für ein Gewicht zwischen Schichten, wie oben unter Bezugnahme auf 2 beschrieben.
  • <<Funktion der Neuronales-Netz-Erstellungseinrichtung NNK (Fortsetzung)>>
  • Die Beschreibung wird mit erneutem Bezug auf 1 fortgesetzt.
  • Die Schnittstelleneinheit IF empfängt eine Eingabe der Bedingungsinformationen JJ (ebenfalls in 4 dargestellt), eine geforderte notwendige Zeit YSJ, eine geforderte Inferenzgenauigkeit YSS und Trainingsdaten KD von einem Benutzer (nicht dargestellt), der beabsichtigt, das neuronale Netzmodell NNM (in 2 dargestellt) zu erstellen.
  • Die geforderte notwendige Zeit YSJ und die geforderte Inferenzgenauigkeit YSS sind die notwendige Zeit und die Inferenzgenauigkeit, die zum Zeitpunkt der Inferenz erfüllt werden müssen, d. h. wenn das neuronale Netzmodell NNM tatsächlich eine Aufgabe ausführt.
  • Als die geforderte notwendige Zeit YSJ gibt der Benutzer eine Anforderung ein, die angibt, dass z.B. das neuronale Netzmodell NNM die Aufgabe „Klassenklassifizierung“ (dargestellt in 4) innerhalb der geforderten notwendigen Zeit YSJ und mit der geforderten Inferenzgenauigkeit YSS oder höher auszuführen hat.
  • Die Trainingsdaten KD sind Daten, die verwendet werden, wenn die Neuronales-Netz-Erstellungseinrichtung NNK das neuronale Netzmodell NNM erstellt, genauer gesagt, wenn das Training durchgeführt wird. Bei den Trainingsdaten KD handelt es sich um gekennzeichnete Daten zum Durchführen von überwachtem Lernen, wie es herkömmlich bekannt ist.
  • Die Beschaffungseinheit SY beschafft die Bedingungsinformationen JJ, die geforderte notwendige Zeit YSJ, die geforderte Inferenzgenauigkeit YSS und die Trainingsdaten KD über die Schnittstelleneinheit IF.
  • Die Spezifikationseinheit TO spezifiziert den Suchbereich TK unter Bezugnahme auf die Tabelle TB (in 4 dargestellt) auf der Grundlage der von der Beschaffungseinheit SY beschafften Bedingungsinformationen JJ. Andererseits fügt die Spezifikationseinheit TO unabhängig vom Inhalt der Bedingungsinformationen JJ einen Skip-Verbindung-Vorgang und einen Keine-Verbindung-Vorgang (nicht dargestellt) als zuweisbare Operationen bzw. Vorgänge in den Suchbereich TK ein.
  • Es wird beispielsweise angenommen, dass die Beschaffungseinheit SY die Bedingungsinformationen JJ des Klassennamens „Klassenklassifizierung“, der Eingabegröße „1“, der Ausgabegröße „1“ und der Hardwarespezifikationen „HW1“ (im Folgenden als „Bedingungsinformationen JJ1“ bezeichnet), die denen ähnlich sind, die in 4 durch eine gestrichelte Linie (links) angezeigt werden, vom Benutzer beschafft. Unter dieser Annahme spezifiziert die Spezifikationseinheit TO den Suchbereich TK, wie er in 4 durch eine gestrichelte Linie (rechts) angegeben ist (nachfolgend als „Suchbereich TK1“ bezeichnet), unter Bezugnahme auf die Tabelle TB auf der Grundlage der Bedingungsinformationen JJ1.
  • Der Suchbereich TK1 gibt unter den oben beschriebenen Bedingungsinformationen JJ1 folgendes an.
    • (1) Die vier Operationen OP1, OP2, OP3 und OP5 können den Zwischenschichten L1 bis L7 (in 2 dargestellt) des neuronalen Netzmodells NNM zugeordnet werden.
    • (2) Zum Beispiel ist in der Operation OP1 die Anzahl von Datenstücken, die in dieOperation OP1 eingegeben werden, eins, und ist die Anzahl von Datenstücken, die von der Operation OP1 ausgegeben werden, eins.
    • (3) Die Verbindungsbedingung der Operation OP1 ist z.B., dass die Operation OP1 einer Stelle vor der Operation OP2 zugeordnet wird.
    • (4) Wenn zum Beispiel die Operation OP1 von der Hardware HW1 ausgeführt wird, wird die notwendige Zeit T1 benötigt.
  • Zu den Operationen OP1 u. ä. in der Tabelle TB gehören z. B. eine Convolutional Operation und eine Maxpooling Operation, die allgemein bekannt sind. Zusätzlich zu den oben genannten Operationen gehören zu den Operationen OP1 und dergleichen z.B. der Skip-Verbindung-Vorgang und der Keine-Verbindung-Vorgang.
  • Der Skip-Verbindung-Vorgang gibt die Eingabedaten so aus, wie sie sind, ohne eine weitere Verarbeitung durchzuführen, und der Keine-Verbindung-Vorgang gibt keine Daten aus, auch wenn einige Daten eingegeben werden.
  • Im Folgenden wird zur Erleichterung der Beschreibung und des Verständnisses davon ausgegangen, dass die notwendige Zeit T1 oder dergleichen der Operation OP1 oder dergleichen unabhängig von der internen Struktur der Operation OP1 oder dergleichen, dem Eingabe/Ausgabe-Verhältnis zwischen der Operation OP1 oder dergleichen und außerhalb festgelegt ist, oder dergleichen. Eine notwendige Gesamtzeit GSJ (wie später im Detail beschrieben), wenn das neuronale Netzmodell NNM die Aufgabe „Aufgabenklassifizierung“ auf der Hardware HW1 unter den Bedingungsinformationen JJ1 ausführt, ist also die Summe der notwendigen Zeiten T1, T2, T3 und T5 der Operationen OP1, OP2, OP3 und OP5, die den Zwischenschichten L1 bis L7 zugeordnet sind.
  • Beispielsweise ordnet die Erzeugungseinheit SE den Zwischenschichten L1 bis L7 (in 2 dargestellt) des neuronalen Netzmodells NNM die Operation OP1 und dergleichen innerhalb des durch die Bedingungsinformationen JJ1 spezifizierten Suchbereichs TK1 (in 4 dargestellt) so zu, dass eine geforderte notwendige Zeit YSJ1 erfüllt wird, die das neuronale Netzmodell NNM unter den Bedingungsinformationen JJ1 erreichen muss. Dabei erzeugt die Erzeugungseinheit SE eine Operationskombination EK (in 3 dargestellt). Die Erzeugungseinheit SE erzeugt die Operationskombination EK z. B. mit Hilfe von Zufallssuche, Bayes'scher Optimierung oder genetischem Algorithmus. Bei der Erzeugung durch die Erzeugungseinheit SE sind z. B. die Anzahl der Erzeugungszeitpunkte und die Zeit zum Erzeugen nicht besonders begrenzt.
  • Die Trainingseinheit KU trainiert das von der Erzeugungseinheit SE erzeugte Netzmodell
  • NNM. Konkret trainiert die Trainingseinheit KU beispielsweise das neuronale Netzmodell NNM, in dem die Operation OP1 und dergleichen im Suchbereich TK1 (dargestellt in 4) den Zwischenschichten L1 bis L7 (dargestellt in 2) unter den Bedingungsinformationen JJ1 (dargestellt in 4) zugeordnet sind und dessen notwendige Gesamtzeit GSJ, die die Summe der notwendigen Zeiten der zugeordneten Operation OP1 und dergleichen ist, die geforderte notwendige Zeit YSJ1 erfüllt.
  • Die Trainingseinheit KU führt das Trainieren des neuronalen Netzmodells NNM anhand von Trainingsdaten KD1 für die Bedingungsinformationen JJ1 so durch, dass die geforderte Inferenzgenauigkeit YSS1 erfüllt wird, die das Netzmodell NNM unter den Bedingungsinformationen JJ1 erreichen soll. Dabei erzeugt die Trainingseinheit KU den Gewichtswert wt (dargestellt in 3). Die Trainingseinheit KU führt das Trainieren z. B. mit einem stochastischen Gradientenabstiegsverfahren durch. Beim Trainieren durch die Trainingseinheit KU sind z.B. die Anzahl der Trainingszeiten und die Zeit des Trainings nicht besonders begrenzt.
  • Die erste Bestimmungseinheit HA1 bestimmt, ob die notwendige Zeit des neuronalen Netzmodells NNM (dargestellt in 7), für die die Operationskombination EK von der Erzeugungseinheit SE erzeugt wird, die geforderte notwendige Zeit YSJ erfüllt oder nicht.
  • Die zweite Bestimmungseinheit HA2 bestimmt, ob die Inferenzgenauigkeit des von der Trainingseinheit KU trainierten neuronalen Netzmodells NNM (in 9 dargestellt) die geforderte Inferenzgenauigkeit YSS erfüllt oder nicht.
  • Bei der Neuronales-Netz-Erstellungseinrichtung NNK kann es sich beispielsweise um ein zentralisiertes oder ein verteiltes System handeln.
  • Die Spezifikationseinheit TO entspricht einer „Spezifikationseinheit“, die Erzeugungseinheit SE entspricht einer „Erzeugungseinheit“, die erste Bestimmungseinheit HA1 entspricht einer „ersten Bestimmungseinheit“, die zweite Bestimmungseinheit HA2 entspricht einer „zweiten Bestimmungseinheit“, und die Trainingseinheit KU entspricht einer „Trainingseinheit“. Die Bedingungsinformationen JJ entsprechen einer „Erstellungsbedingung“.
  • <<Konfiguration der ersten Ausführungsform>>
  • 5 zeigt eine Konfiguration der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform.
  • Wie in 5 dargestellt, umfasst die Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform einen Prozessor PC, einen Speicher MM und ein Speichermedium KB und umfasst ferner eine Eingabeeinheit NY und eine Ausgabeeinheit SY, die zur Durchführung der oben beschriebenen Funktionen notwendig sind.
  • Der Prozessor PC ist der bekannte Kern eines Computers, der die Hardware in Übereinstimmung mit der Software betreibt. Der Speicher MM umfasst z. B. einen dynamischen Direktzugriffsspeicher (DRAM) und einen statischen Direktzugriffsspeicher (SRAM). Das Speichermedium KB umfasst zum Beispiel ein Festplattenlaufwerk (HDD), ein Solid-State-Laufwerk (SSD) und einen Nur-Lese-Speicher (ROM). Auf dem Speichermedium KB ist ein Programm PR gespeichert. Das Programm PR ist eine Befehlsgruppe, die den Inhalt der vom Prozessor PC auszuführenden Verarbeitung definiert.
  • Die Eingabeeinheit NY umfasst z.B. eine Tastatur, eine Maus und ein Berührungsfeld. Die Ausgabeeinheit SY umfasst zum Beispiel einen Flüssigkristallmonitor, einen Drucker und ein Berührungsfeld.
  • Im Hinblick auf den Zusammenhang zwischen der Funktion und der Konfiguration der Neuronales-Netz-Erstellungseinrichtung NNK führt der Prozessor PC auf der Hardware das im Speichermedium KB auf dem Speicher MM gespeicherte Programm PR aus und steuert die Operationen der Eingabeeinheit NY und der Ausgabeeinheit SY nach Bedarf, wodurch die Funktionen der jeweiligen Einheiten von der Schnittstelleneinheit IF bis zur zweiten Bestimmungseinheit HA2 (dargestellt in 1) implementiert werden.
  • <<Operation der Neuronales-Netz-Erstellungseinrichtung NNK>>
  • 6 ist ein Flussdiagramm, das eine Operation der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform zeigt. Nachfolgend wird die Operation der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform unter Bezugnahme auf das Flussdiagramm von 6 beschrieben.
  • Um die Beschreibung und das Verständnis zu erleichtern, wird im Folgenden davon ausgegangen, dass der Benutzer die Bedingungsinformationen JJ1, die geforderte notwendige Zeit YSJ1, die geforderte Inferenzgenauigkeit YSS1 und die Trainingsdaten KD1 eingibt, die vorstehend als die Bedingungsinformationen JJ, die notwendige geforderte Zeit YSJ, die geforderte Inferenzgenauigkeit YSS und die Trainingsdaten KD beschrieben wurden.
  • Schritt ST11: Die Beschaffungseinheit SY (in 1 dargestellt) beschafft die Bedingungsinformationen JJ1, die geforderte notwendige Zeit YSJ1, die geforderte Inferenzgenauigkeit YSS1 und die Trainingsdaten KD1 über die Schnittstelleneinheit IF (in 1 dargestellt).
  • Schritt ST12: Wenn die Bedingungsinformationen JJ1, die geforderte notwendige Zeit YSJ1, die geforderte Inferenzgenauigkeit YSS1 und die Trainingsdaten KD1 in Schritt ST11 beschafft wurden, spezifiziert die Spezifikationseinheit TO (in 1 dargestellt) den Suchbereich TK1 durch Bezugnahme auf die Tabelle TB (in 4 dargestellt) auf der Grundlage der beschafften Bedingungsinformationen JJ1.
  • 7 zeigt eine Operation der Erzeugungseinheit SE der ersten Ausführungsform.
  • Schritt ST13: Wenn der Suchbereich TK1 in Schritt ST12 spezifiziert ist, ordnet die Erzeugungseinheit SE (dargestellt in 1) den Zwischenschichten L1 bis L7 zuweisbare Operationen der Neuronales-Netz-Erstellungseinrichtung NNK im Suchbereich TK1 zu, wie im oberen Teil von 7 dargestellt.
  • Konkret ordnet die Erzeugungseinheit SE die Operation OP1 der Zwischenschicht L1 zu, ordnet die Operation OP1 der Zwischenschicht L2 zu, ordnet die Operation OP2 der Zwischenschicht L3 zu, ordnet die Operation OP3 der Zwischenschicht L4 zu, ordnet die Operation OP2 der Zwischenschicht L5 zu, ordnet die Operation OP5 der Zwischenschicht L6 zu, und ordnet die Operation OP5 der Zwischenschicht L7 zu. Mit anderen Worten: Die Erzeugungseinheit SE erzeugt die erste Operationskombination EK aus den Operationen OP1, OP1, OP2, OP3, OP2, OP5 und OP5 für die Zwischenschichten L1 bis L7.
  • 8 zeigt eine Operation der ersten Bestimmungseinheit HA1 der ersten Ausführungsform.
  • Schritt ST14: Wenn die erste Operationskombination EK durch Zuordnen der Operation OP1 und dergleichen zu den Zwischenschichten L1 bis L7 in Schritt ST13 erzeugt ist, berechnet die erste Bestimmungseinheit HA1 die notwendige Gesamtzeit GSJ der Neuronales-Netz-Erstellungseinrichtung NNK, wie in 8 dargestellt. Wie in 8 dargestellt, berechnet die erste Bestimmungseinheit HA1 die notwendige Gesamtzeit GSJ (T1 + T1 + T2 + T3 + T2 + T5 + T5) durch Summieren der notwendigen Zeit T1 der Operation OP1, die der Zwischenschicht L1 zugeordnet ist, der notwendigen Zeit T1 der Operation OP1, die der Zwischenschicht L2 zugeordnet ist, der notwendigen Zeit T2 der Operation OP2, die der Zwischenschicht L3 zugeordnet ist, der notwendigen Zeit T3 der Operation OP3, die der Zwischenschicht L4 zugeordnet ist, der notwendigen Zeit T2 der Operation OP2, die der Zwischenschicht L5 zugeordnet ist, der notwendigen Zeit T5 der Operation OP5, der der Zwischenschicht L6 zugeordnet ist, und der notwendigen Zeit T5 der Operation OP5, die der Zwischenschicht L7 zugeordnet ist.
  • Zusätzlich zur obigen Berechnung bestimmt die erste Bestimmungseinheit HA1, ob eine notwendige Bedingung erfüllt ist, dass die notwendige Gesamtzeit GSJ (T1 + T1 + T2 + T3 + T2 + T5 + T5) gleich wie oder kleiner als die geforderte notwendige Zeit YSJ1 ist, die von der Beschaffungseinheit SY beschafft wird. Wenn bestimmt wird, dass die Bedingung erfüllt ist, fährt der Prozess mit Schritt ST15 fort, und andererseits, wenn bestimmt wird, dass die Bedingung nicht erfüllt ist, kehrt der Prozess zu Schritt ST13 zurück.
  • Hier wird Folgendes angenommen.(1) Die Erzeugungseinheit SE und die erste Bestimmungseinheit HA1 wiederholen die Schritte ST13 und ST14.
  • (2) Nach der Wiederholung von (1) ordnet die Erzeugungseinheit SE die Operation OP1 der Zwischenschicht L1 zu, ordnet die Operation OP1 der Zwischenschicht L2 zu, ordnet die Operation OP3 der Zwischenschicht L3 zu, ordnet die Operation NO der Zwischenschicht L4 zu, ordnet die Operation OP3 der Zwischenschicht L5 zu, ordnet die Operation OP5 der Zwischenschicht L6 zu, und ordnet die Operation OP5 der Zwischenschicht L7 als m-te (m ist eine beliebige positive ganze Zahl) Operationskombination EK zu, wie z.B. im mittleren Teil von 7 dargestellt.
  • (3) Nach der Erzeugung der m-ten Operationskombination EK in (2) bestimmt die erste Bestimmungseinheit HA1, dass die notwendige Gesamtzeit GSJ (T1 + T1 + T3 + 0 + T3 + T5 + T5) der m-ten Operationskombination EK die geforderte notwendige Zeit YSJ1 erfüllt.
  • „NO-Operation" bedeutet den Keine-Verbindung-Vorgang. Wie oben beschrieben, hat die „NO-Operation“ die Funktion, keine Daten auszugeben, auch wenn eine Eingabe einiger Daten empfangen wird. Die notwendige Zeit für die „NO-Operation“ ist 0.
  • Schritt ST15: Wenn im unmittelbar vorhergehenden Schritt ST14 bestimmt ist, dass die notwendige Gesamtzeit GSJ (T1 + T1 + T3 + 0 + T3 + T5 + T5) die geforderte notwendige Zeit YSJ1 erfüllt, trainiert die Trainingseinheit KU (dargestellt in 1) das neuronale Netzmodell NNM mit der m-ten Operationskombination EK (dargestellt im mittleren Teil von 7). Genauer gesagt, passt die Trainingseinheit KU unter Verwendung der von der Beschaffungseinheit SY beschafften Trainingsdaten KD1 das Gewicht w (in 2 dargestellt), genauer gesagt, den Gewichtswert wt (in 3 dargestellt) im neuronalen Netzmodell NNM so an, dass ein Fehler (nicht dargestellt) zwischen den von der Ausgabeschicht Lout ausgegebenen Daten (nicht dargestellt) und der Kennzeichnung (nicht dargestellt) in den Trainingsdaten KD1 kleiner wird, wie allgemein bekannt.
  • Die Trainingseinheit KU beendet das obige Training nach Fortsetzung des Trainings für eine vorgegebene Zeit oder eine vorgegebene Anzahl von Malen oder beendet das Training nach der Fortsetzung des Trainings in Abhängigkeit vom Fortschritt des Lerneffekts durch das Training.
  • Schritt ST16: Wenn das Trainieren des neuronalen Netzmodells NNM in Schritt ST15 abgeschlossen ist, bestimmt die zweite Bestimmungseinheit HA2 (in 1 dargestellt), ob eine notwendige Bedingung, dass die Inferenzgenauigkeit SS (nicht dargestellt) des trainierten neuronalen Netzmodells NNM gleich wie oder höher als die geforderte Inferenzgenauigkeit YSS1 ist, die von der Beschaffungseinheit SY beschafft wird, erfüllt ist oder nicht. Wenn bestimmt wird, dass die notwendige Bedingung erfüllt ist, fährt der Prozess mit Schritt ST17 fort, und andererseits, wenn bestimmt wird, dass die notwendige Bedingung nicht erfüllt ist, kehrt der Prozess zu Schritt ST13 zurück.
  • 9 zeigt eine Operation der Trainingseinheit KU der ersten Ausführungsform.
  • Hier wird Folgendes angenommen.(1) Die Erzeugungseinheit SE, die erste Bestimmungseinheit HA1, die Trainingseinheit KU und die zweite Bestimmungseinheit HA2 wiederholen die Schritte ST13 bis ST16.
  • (2) Nach der Wiederholung von (1) ordnet die Erzeugungseinheit SE die Operation OP1 der Zwischenschicht L1 zu, ordnet die Operation OP1 der Zwischenschicht L2 zu, ordnet die Operation OP2 der Zwischenschicht L3 zu, ordnet die Operation OP2 der Zwischenschicht L4 zu, ordnet die Operation SKIP der Zwischenschicht L5 zu, ordnet die Operation OP5 der Zwischenschicht L6 zu, und ordnet die Operation OP1 der Zwischenschicht L7 als n-te (n ist eine ganze Zahl größer als m) Operationskombination EK zu, wie z.B. im unteren Teil von 7 dargestellt.
  • (3) Nach Erzeugung der n-ten Operationskombination EK in (2) bestimmt die erste Bestimmungseinheit HA1, dass die notwendige Gesamtzeit GSJ (T1 + T1 + T2 + T2 + 0 + T5 + T1) der n-ten Operationskombination EK die geforderte notwendige Zeit YSJ1 erfüllt.
  • „SKIP-Operation“ ist der Skip-Verbindung-Vorgang. Wie oben beschrieben, hat die „SKIP-Operation“ eine Funktion, die Eingabedaten so auszugeben, wie sie sind, ohne eine Verarbeitung durchzuführen. Die notwendige Zeit für die „SKIP-Operation“ ist 0.
  • (4) Nach der Bestimmung von (3) passt die Trainingseinheit KU z.B. den Gewichtswert wt des neuronalen Netzmodells NNM mit der n-ten Operationskombination EK an, stellt den Gewichtswert wt auf wta ein, ändert ihn dann auf wtb und ändert ihn dann auf wtc.
  • (5) Nach dem Training von (4) bestimmt die zweite Bestimmungseinheit HA2, dass die Inferenzgenauigkeit SS der n-ten Operationskombination EK die geforderte Inferenzgenauigkeit YSS1 erfüllt.
  • Schritt ST17: Wenn im unmittelbar vorhergehenden Schritt ST16 bestimmt wird, dass die Inferenzgenauigkeit SS des neuronalen Netzmodells NNM mit der n-ten Operationskombination EK die geforderte Inferenzgenauigkeit YSS1 erfüllt, speichert die zweite Bestimmungseinheit HA2 die Erstellungsdaten CD, d.h. die n-te Operationskombination EK (dargestellt im unteren Teil von 7 und in 9) und den Gewichtswert wtc (im unteren Teil von 9 dargestellt), d.h. den Gewichtswert wt in der Speichereinheit KI (in 3 dargestellt), oder gibt sie aus.
  • «Effekte der Neuronales-Netz-Erstellungseinrichtung NNK» Wie oben beschrieben, werden in der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform die zuweisbaren Operationen OP1 und dergleichen im Suchbereich TK1, der durch die vom Benutzer eingegebenen Bedingungsinformationen JJ1 spezifiziert wird, den Zwischenschichten L1 bis L7 des zu erstellenden neuronalen Netzmodells NNM zugewiesen. So kann die Möglichkeit zum Erstellen des neuronalen Netzmodells NNM, das die geforderte notwendige Zeit YSJ1 erfüllt, erhöht werden.
  • Die Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform führt auch das Trainieren unter Verwendung der Trainingsdaten KD1 durch. Auf diese Weise lässt sich die Möglichkeit zum Erstellen eines Netzmodells NNM erhöhen, das die geforderte Inferenzgenauigkeit YSS1 erfüllt.
  • Ferner wird in der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform durch Zuordnen des Keine-Verbindung-Vorgangs und des Skip-Verbindung-Vorgangs zu mindestens einer oder mehreren der Zwischenschichten L1 bis L7 des neuronalen Netzmodells NNM die Anzahl der Schichten, die im Wesentlichen nicht funktionieren, erhöht, mit anderen Worten, die Anzahl der Schichten, die im Wesentlichen funktionieren, wird reduziert. Dadurch kann der Gesamtbetriebsumfang des neuronalen Netzmodells NNM reduziert werden.
  • Die Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform wird an einem Fahrzeug, z. B. einem Pkw, angebracht, um Bildverarbeitung z. B. für das autonome Fahren durchzuführen. Die Neuronales-Netz-Erstellungseinrichtung NNK speichert Bilddaten bereits bei der Herstellung des Fahrzeugs durch den Hersteller. Darüber hinaus akkumuliert die Neuronales-Netz-Erstellungseinrichtung NNK weiterhin Bilddaten beim Fahren des Fahrzeugs durch den Fahrer. Die Neuronales-Netz-Erstellungseinrichtung NNK kann das neuronale Netzmodell NNM erstellen, das die Klassenklassifizierung für die beiden oben beschriebenen Bilder durchführt, z. B. die Klassifizierung, ob es sich bei dem erfassten Objekt um eine Person, ein Tier, einen Baum oder ähnliches handelt, und zwar so, dass die geforderte notwendige Zeit YSJ1 und die geforderte Inferenzgenauigkeit YSS1, wie oben beschrieben, erfüllt werden.
  • <Modifikation 1>
  • Im Gegensatz zur Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform, die die notwendigen Zeiten in den Zwischenschichten L1 bis L7 summiert, können die notwendigen Zeiten in den Zwischenschichten L1 bis L7 und die notwendigen Zeiten in der Eingabeschicht Lin und der Ausgabeschicht Lout, denen die Operation OP nicht zugeordnet ist, summiert werden, um die notwendige Gesamtzeit GSJ zu erhalten, und es kann dann bestimmt werden, ob die notwendige Gesamtzeit GSJ die geforderte notwendige Zeit YSJ1 erfüllt oder nicht.
  • <Modifikation 2>
  • Im Gegensatz zur Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform, die nur das neuronale Netzmodell NNM mit der n-ten Operationskombination EK erzeugt, kann beispielsweise eine Vielzahl von Operationskombinationen EK wie eine p-te (p ist eine ganze Zahl größer als n) Operationskombination EK, eine q-te (q ist eine ganze Zahl größer als p) Operationskombination EK, ... erzeugt werden. Dann kann die beste Operationskombination EK unter dem Gesichtspunkt der geforderten notwendigen Zeit YSJ1 und der geforderten Inferenzgenauigkeit YSS1 aus der Vielzahl der Operationskombinationen EK ausgewählt werden, d.h. die n-te Operationskombination EK, die p-te Operationskombination EK und die q-te Operationskombination EK.
  • Zweite Ausführungsform
  • <Zweite Ausführungsform>
  • Eine Neuronales-Netz-Erstellungseinrichtung NNK einer zweiten Ausführungsform wird beschrieben.
  • <<Funktion der Neuronales-Netz-Erstellungseinrichtung NNK>>
  • Im Gegensatz zu dem Fall, in dem die Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform die notwendige Gesamtzeit GSJ (dargestellt in 8) der notwendigen Zeiten für Operationen (vorbereitete und angenommene notwendige Zeiten für Operationen) in der in der Speichereinheit KI (dargestellt in 1 und 3) gespeicherten Tabelle TB (dargestellt in 4) verwendet, misst die Neuronales-Netz-Erstellungseinrichtung NNK der zweiten Ausführungsform eine tatsächlich notwendige Zeit JSJ, die die notwendige Zeit ist, die das neuronale Netzmodell NNM benötigt, um die Operationen tatsächlich durchzuführen.
  • 10 ist ein funktionelles Blockdiagramm der Neuronales-Netz-Erstellungseinrichtung NNK der zweiten Ausführungsform.
  • Wie in 10 dargestellt, umfasst die Neuronales-Netz-Erstellungseinrichtung NNK der zweiten Ausführungsform ähnlich wie die Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform (dargestellt in 1) jede Einheit von der Speichereinheit KI bis zur zweiten Bestimmungseinheit HA2 und umfasst ferner eine Ausführungseinheit JI, anders als die Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform.
  • Die Funktion jeder Einheit von der Schnittstelleneinheit IF zur zweiten Bestimmungseinheit HA2 der zweiten Ausführungsform ist ähnlich wie die jeder Einheit von der Schnittstelleneinheit IF zur zweiten Bestimmungseinheit HA2 der ersten Ausführungsform.
  • Die Ausführungseinheit JI ist z. B. auf der durch die Bedingungsinformationen JJ1 spezifizierten Hardware „HW1“ vorgesehen (dargestellt in 4). Die Ausführungseinheit JI führt auf der Hardware „HW1“, d.h. auf der Ausführungseinheit Jl, tatsächlich das neuronale Netzmodell NNM (dargestellt in 2) aus, in dem die zuweisbare Operation OP1 und dergleichen in dem Suchbereich TK1, die durch die Bedingungsinformationen JJ1 spezifiziert ist, den Zwischenschichten L1 bis L7 zugewiesen wird, wodurch die tatsächlich notwendige Zeit JSJ des neuronalen Netzmodells NNM gemessen wird.
  • <<Konfiguration der Neuronales-Netz-Erstellungseinrichtung NNK>>
  • Die Konfiguration der Neuronales-Netz-Erstellungseinrichtung NNK der zweiten Ausführungsform ist ähnlich der Konfiguration der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform (dargestellt in 5).
  • <<Operation der Neuronales-Netz-Erstellungseinrichtung NNK>>
  • 11 ist ein Flussdiagramm, das eine Operation der Neuronales-Netz-Erstellungseinrichtung NNK der zweiten Ausführungsform zeigt. Nachfolgend wird die Operation der Neuronales-Netz-Erstellungseinrichtung NNK der zweiten Ausführungsform unter Bezugnahme auf das Flussdiagramm von 11 beschrieben.
  • Zur besseren Beschreibung und zum besseren Verständnis wird Folgendes angenommen.
  • (1) Wie bei der ersten Ausführungsform gibt der Benutzer die Bedingungsinformationen JJ1, die geforderte notwendige Zeit YSJ1, die geforderte Inferenzgenauigkeit YSS1 und die Trainingsdaten KD ein. (2) Wie bei der ersten Ausführungsform wird die n-te Operationskombination EK nach der ersten Operationskombination EK, der m-ten Operationskombination EK und dergleichen erzeugt.
  • Schritte ST21 bis ST23: Die Beschaffungseinheit SY, die Spezifikationseinheit TO und die Erzeugungseinheit SE führen Prozesse durch, die denen der Schritte ST11 bis ST13 der ersten Ausführungsform ähnlich sind.
  • Schritt ST24: Wenn die zuweisbare Operation OP1 und dergleichen in dem durch die Bedingungsinformationen JJ1 spezifizierten Suchbereich TK1 den Zwischenschichten L1 bis L7 im Schritt ST23 zugewiesen werden, d.h. wenn das neuronale Netzmodell NNM mit der n-ten Operationskombination EK (im unteren Teil von 7 dargestellt) erzeugt wird, misst die Ausführungseinheit JI die tatsächlich notwendige Zeit JSJ, indem sie das neuronale Netzmodell NNM tatsächlich auf der Hardware HW1 betreibt.
  • Schritt ST25: Wenn die tatsächlich notwendige Zeit JSJ in Schritt ST24 gemessen wird, bestimmt die erste Bestimmungseinheit HA1, ob die tatsächlich notwendige Zeit JSJ der n-ten Operationskombination EK die geforderte notwendige Zeit YSJ1 erfüllt oder nicht.
  • Schritte ST26 bis ST28: Die Trainingseinheit KU und die zweite Bestimmungseinheit HA2 führen Prozesse durch, die denen in den Schritten ST15 bis ST17 der ersten Ausführungsform ähnlich sind.
  • «Effekte der Neuronales-Netz-Erstellungseinrichtung NNK» Wie oben beschrieben, misst und verwendet die Neuronales-Netz-Erstellungseinrichtung NNK der zweiten Ausführungsform die tatsächlich notwendige Zeit JSJ des neuronalen Netzmodells NNM, zum Beispiel die tatsächlich notwendige Zeit JSJ, wenn das neuronale Netzmodell NNM mit der n-ten Kombination tatsächlich auf der Hardware HW1 arbeitet. Dadurch ist es möglich, das neuronale Netzmodell NNM zu erstellen, das eine höhere Wahrscheinlichkeit hat, die geforderte notwendige Zeit YSJ1 zu erfüllen, als das neuronale Netzmodell NNM der ersten Ausführungsform, das unter Verwendung der notwendigen Zeiten für Operationen (dargestellt in 4) erstellt wird, die im Voraus in der Speichereinheit KI gespeichert und geschätzt werden.
  • Dritte Ausführungsform
  • <Dritte Ausführungsform>
  • Es wird eine Bildverarbeitungseinrichtung einer dritten Ausführungsform beschrieben.
  • <<Funktion, Konfiguration und Operation einer Bildverarbeitungseinrichtung GSS>>
  • 12 zeigt Funktionen der Bildverarbeitungseinrichtung GSS der dritten Ausführungsform.
  • Wie in 12 dargestellt, enthält die Bildverarbeitungseinrichtung GSS der dritten Ausführungsform eine Speichereinheit KO, eine Eingabeeinheit NB, eine Inferenzeinheit SU und eine Ausgabeeinheit SB.
  • Die Speichereinheit KO speichert das neuronale Netzmodell NNM, das unter Bedingungen wie den Bedingungsinformationen JJ1 von der Neuronales-Netz-Erstellungseinrichtung NNK der ersten Ausführungsform oder der zweiten Ausführungsform erstellt wurde, genauer gesagt, die n-te Operationskombination EK und den Gewichtswert wt.
  • Bei der Eingabeeinheit NB handelt es sich z. B. um eine bildgebende Kamera. Die Eingabeeinheit NB beschafft z. B. Bilddaten GD.
  • Die Inferenzeinheit SU ist z. B. auf der durch die Bedingungsinformationen JJ1 spezifizierten Hardware HW1 vorgesehen. Die Inferenzeinheit SU führt Inferenz in bekannter Weise durch und führt das neuronale Netzmodell NNM unter Verwendung der Bilddaten GD aus.
  • Die Ausgabeeinheit SB ist z. B. ein Flüssigkristallmonitor, ein Lautsprecher oder ähnliches. Die Ausgabeeinheit SB gibt ein Inferenzergebnis SK aus, das ein Ergebnis der von der Inferenzeinheit SU durchgeführten Inferenz ist.
  • Die Speichereinheit KO entspricht einer „Speichereinheit“, die Eingabeeinheit NB entspricht einer „Eingabeeinheit“, die Ausgabeeinheit SB entspricht einer „Ausgabeeinheit“, die Bilddaten GD entsprechen „Bilddaten“, und das „Inferenzergebnis SK“ entspricht einem „Ergebnis von Inferenz“.
  • <<Auswirkungen der Bildverarbeitungseinrichtung GSS>>
  • Wie oben beschrieben, führt die Bildverarbeitungseinrichtung GSS der dritten Ausführungsform auf der durch die Bedingungsinformationen JJ1 spezifizierten Hardware HW1 das Netzmodell NNM aus, das von der Neuronales-Netz-Erstellungseinrichtung NNK der ersten oder zweiten Ausführungsform erstellt wurde und die n-te Operationskombination EK aufweist, die die geforderte notwendige Zeit YSJ1 und die geforderte Inferenzgenauigkeit YSS1 erfüllt. So ist es möglich, eine Inferenz durchzuführen, die die geforderte notwendige Zeit YSJ1 und die geforderte Inferenzgenauigkeit YSS1 erfüllt.
  • Die oben beschriebenen Ausführungsformen können kombiniert werden, Komponenten in jeder Ausführungsform können in geeigneter Weise weggelassen oder verändert werden, oder andere Komponenten können hinzugefügt werden, ohne vom Kern der vorliegenden Offenbarung abzuweichen.
  • INDUSTRIELLE ANWENDBARKEIT
  • Die Neuronales-Netz-Erstellungseinrichtung gemäß der vorliegenden Offenbarung kann auf eine Neuronales-Netz-Erstellungseinrichtung angewendet werden, die in der Lage ist, ein neuronales Netzmodell zu erstellen, das die notwendige Zeit und Genauigkeit für die Inferenz erfüllen kann.
  • BEZUGSZEICHENLISTE
  • CD: Erstellungsdaten, EK: Operationskombination, GD: Bilddaten, GSJ: notwendige Gesamtzeit, GSS: Bildverarbeitungseinrichtung, HA1: erste Bestimmungseinheit, HA2: zweite Bestimmungseinheit, HW: Hardware, IF: Schnittstelleneinheit, JI: Ausführungseinheit, JJ: Bedingungsinformationen, JSJ: tatsächlich notwendige Zeit, KB: Speichermedium, KD: Trainingsdaten, Kl: Speichereinheit, KO: Speichereinheit, KU: Trainingseinheit, L: Zwischenschicht, Lin: Eingabeschicht, Lout: Ausgabeschicht, MM: Speicher, NB: Eingabeeinheit, NNK: Neuronales-Netz-Erstellungseinrichtung, NNM: Neuronales Netzmodell, NY: Eingabeeinheit,
    OP: Operation, PR: Programm, SB: Ausgabeeinheit, SE: Erzeugungseinheit,
    SK: Inferenzergebnis, SS: Inferenzgenauigkeit, SU: Inferenzeinheit,
    SY: Beschaffungseinheit, SY: Ausgabeeinheit, TB: Tabelle, TK: Suchbereich,
    TO: Spezifikationseinheit, w: Gewicht, wt: Gewichtswert, YSJ: geforderte notwendige Zeit, YSS: geforderte Inferenzgenauigkeit.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2020107042 A [0003]

Claims (7)

  1. Neuronales-Netz-Erstellungseinrichtung, umfassend: eine Spezifikationseinheit zum Spezifizieren einer Vielzahl von Operationen, die einer Vielzahl von Schichten zuzuordnen sind, die ein neuronales Netzmodell auf der Grundlage einer Erstellungsbedingung zum Erstellen des neuronalen Netzmodells bilden; eine Erzeugungseinheit zum Erzeugen einer ersten Operationskombination durch Zuordnen eines entsprechenden der Vielzahl von Operationen zu jeder der Vielzahl von Schichten; eine erste Bestimmungseinheit zum Bestimmen, ob eine notwendige Gesamtzeit, die auf der Grundlage der zugeordneten Operationen inferiert wird und die eine Gesamtheit der notwendigen Zeiten der jeweiligen Operationen ist, eine vorgegebene geforderte notwendige Zeit erfüllt oder nicht; eine Trainingseinheit zum Trainieren des neuronalen Netzmodells mit der erzeugten ersten Operationskombination; und eine zweite Bestimmungseinheit zum Bestimmen, ob die Genauigkeit der Inferenz durch das neuronale Netzmodell nach dem Training die vorgegebene geforderte Inferenzgenauigkeit erfüllt oder nicht, wobei, wenn die erste Bestimmungseinheit bestimmt, dass die notwendige Gesamtzeit nicht die geforderte notwendige Zeit erfüllt, oder wenn die zweite Bestimmungseinheit bestimmt, dass die Genauigkeit der Inferenz nicht die geforderte Inferenzgenauigkeit erfüllt, die Erzeugungseinheit eine zweite Operationskombination erzeugt, die sich von der ersten Operationskombination unterscheidet.
  2. Neuronales-Netz-Erstellungseinrichtung nach Anspruch 1, wobei die Spezifikationseinheit die Vielzahl von Operationen veranlasst, einen Skip-Verbindung-Vorgang, der Eingabedaten ausgibt, wie sie sind, und einen Keine-Verbindung-Vorgang, der keine Daten ausgibt, aufzuweisen.
  3. Neuronales-Netz-Erstellungseinrichtung nach Anspruch 1, wobei die erste Bestimmungseinheit veranlasst, dass die notwendige Gesamtzeit eine notwendige Zeit in einer Schicht aufweist, der die Erzeugungseinheit keinen der Vielzahl von Operationen zugewiesen hat und die zu der Vielzahl von Schichten gehört.
  4. Neuronales-Netz-Erstellungseinrichtung nach Anspruch 1, ferner umfassend eine Ausführungseinheit zum Ausführen des neuronalen Netzmodells mit der erzeugten ersten Operationskombination unter der Erstellungsbedingung, wobei die erste Bestimmungseinheit bestimmt, ob eine tatsächlich notwendige Zeit, die die Ausführung des neuronalen Netzmodells mit der erzeugten ersten Operationskombination dauert, die vorgegebene geforderte notwendige Zeit erfüllt oder nicht.
  5. Bildverarbeitungseinrichtung, umfassend: eine Speichereinheit zum Speichern eines von der Neuronales-Netz-Erstellungseinrichtung nach Anspruch 1 erstellten neuronalen Netzmodells; eine Eingabeeinheit zum Empfangen von Bilddaten für das neuronale Netzmodell zur Durchführung von Inferenz; und eine Ausgabeeinheit zum Ausgeben eines Ergebnisses der Inferenz durch das neuronale Netzmodell.
  6. Neuronales-Netz-Erstellungsverfahren, umfassend: Veranlassen einer Spezifikationseinheit zum Spezifizieren einer Vielzahl von Operationen, die einer Vielzahl von Schichten zuzuordnen sind, die ein neuronales Netzmodell auf der Grundlage einer Erstellungsbedingung zum Erstellen des neuronalen Netzmodells bilden; Veranlassen einer Erzeugungseinheit zum Erzeugen einer ersten Operationskombination durch Zuordnen eines entsprechenden der Vielzahl von Operationen zu jeder der Vielzahl von Schichten; Veranlassen einer ersten Bestimmungseinheit zum Bestimmen, ob eine notwendige Gesamtzeit, die auf der Grundlage der zugeordneten Operationen inferiert wird und die eine Gesamtheit der notwendigen Zeiten der jeweiligen Operationen ist, eine vorgegebene geforderte notwendige Zeit erfüllt oder nicht; Veranlassen einer Trainingseinheit zum Trainieren des neuronalen Netzmodells mit der erzeugten ersten Operationskombination; und Veranlassen einer zweiten Bestimmungseinheit zum Bestimmen, ob die Genauigkeit der Inferenz durch das neuronale Netzmodell nach dem Training die vorgegebene geforderte Inferenzgenauigkeit erfüllt oder nicht, wobei, wenn die erste Bestimmungseinheit bestimmt, dass die notwendige Gesamtzeit nicht die geforderte notwendige Zeit erfüllt, oder wenn die zweite Bestimmungseinheit bestimmt, dass die Genauigkeit der Inferenz nicht die geforderte Inferenzgenauigkeit erfüllt, die Erzeugungseinheit eine zweite Operationskombination erzeugt, die sich von der ersten Operationskombination unterscheidet.
  7. Bildverarbeitungsverfahren, umfassend: Veranlassen einer Speichereinheit zum Speichern eines von der Neuronales-Netz-Erstellungseinrichtung nach Anspruch 6 erstellten neuronalen Netzmodells; Veranlassen einer Eingabeeinheit zum Empfangen von Bilddaten für das neuronale Netzmodell zur Durchführung von Inferenz; und Veranlassen einer Ausgabeeinheit zum Ausgeben eines Ergebnisses der Inferenz durch das neuronale Netzmodell.
DE112021007485.7T 2021-06-14 2021-06-14 Neuronales-netz-erstellungseinrichtung, neuronales-netz-erstellungsverfahren, bildverarbeitungseinrichtung und bildverarbeitungsverfahren Pending DE112021007485T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/022425 WO2022264186A1 (ja) 2021-06-14 2021-06-14 ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法

Publications (1)

Publication Number Publication Date
DE112021007485T5 true DE112021007485T5 (de) 2024-02-01

Family

ID=82155950

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021007485.7T Pending DE112021007485T5 (de) 2021-06-14 2021-06-14 Neuronales-netz-erstellungseinrichtung, neuronales-netz-erstellungsverfahren, bildverarbeitungseinrichtung und bildverarbeitungsverfahren

Country Status (5)

Country Link
US (1) US20240046101A1 (de)
JP (1) JP7090817B1 (de)
CN (1) CN117501279A (de)
DE (1) DE112021007485T5 (de)
WO (1) WO2022264186A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107042A (ja) 2018-12-27 2020-07-09 Kddi株式会社 学習モデル生成装置、学習モデル生成方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6799197B2 (ja) * 2018-05-10 2020-12-09 ヌヴォトンテクノロジージャパン株式会社 ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム
US11531861B2 (en) * 2018-11-06 2022-12-20 Google Llc Neural architecture search with factorized hierarchical search space
CN110689127B (zh) * 2019-10-15 2022-05-06 北京小米智能科技有限公司 神经网络结构模型搜索方法、装置及存储介质
CN112598117A (zh) * 2020-12-29 2021-04-02 广州极飞科技有限公司 神经网络模型设计方法、部署方法、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107042A (ja) 2018-12-27 2020-07-09 Kddi株式会社 学習モデル生成装置、学習モデル生成方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2022264186A1 (de) 2022-12-22
WO2022264186A1 (ja) 2022-12-22
US20240046101A1 (en) 2024-02-08
JP7090817B1 (ja) 2022-06-24
CN117501279A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
DE102018111905A1 (de) Domänenspezifische Sprache zur Erzeugung rekurrenter neuronaler Netzarchitekturen
DE19581638C2 (de) Rechenvorrichtung mit einem Mikroprozessor, einem neuralen Netz-Koprozessor und einer DMA-Steuervorrichtung
DE112018002822T5 (de) Klassifizieren neuronaler netze
DE102018128080A1 (de) Verfahren und Vorrichtung zur Quantisierung eines künstlichen neuronalen Netzwerkes
DE112019004076T5 (de) Dezentralisiertes verteiltes deep learning
DE112017005651T5 (de) Vorrichtung zur Klassifizierung von Daten
DE202016107436U1 (de) Neuronaler Netzwerkprozessor
DE19922796A1 (de) Bestimmen der tatsächlichen Klasse eines Objekts zur Laufzeit
WO2000063788A2 (de) Situationsabhängig operierendes semantisches netz n-ter ordnung
DE102021201777A1 (de) Verfahren zur Verhaltenserkennung, Vorrichtung zur Verhaltenserkennung und computerlesbares Aufzeichnungsmedium
DE102016222814A1 (de) Verfahren zum berechnen einer ausgabe eines neuronalen netzes
DE202016009145U1 (de) Deep-Learning-basierte funktionale Korrelation von volumetrischen Designs
DE102019203634A1 (de) Verfahren und Vorrichtung zum Ansteuern eines Roboters
DE102019007340A1 (de) Technik zum Einrichten und Betreiben eines neuronalen Netzwerks
DE112021005568T5 (de) Datenverarbeitungsvorrichtung und Datenverarbeitungsverfahren
DE102021211020A1 (de) Verfahren zur Prozessvergabe auf Mehrkern-Systeme
DE112021007485T5 (de) Neuronales-netz-erstellungseinrichtung, neuronales-netz-erstellungsverfahren, bildverarbeitungseinrichtung und bildverarbeitungsverfahren
DE4121453C2 (de) Näherungsschlußfolgerungsvorrichtung
DE4417932B4 (de) Verfahren und ein System zum Erhalten von Zieleinstellbeträgen für Ausführungsparameter durch Lernen einer Mehrzahl von Sätzen von Muster-Eingabedaten und Muster-Ausgabedaten
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
DE19703964C1 (de) Verfahren zur Transformation einer zur Nachbildung eines technischen Prozesses dienenden Fuzzy-Logik in ein neuronales Netz
DE112019002061T5 (de) Zeit- und platzsparende sowie energieeffiziente neuronale inferenz durch parallelismus und on-chip-speicher
DE102021130117A1 (de) Diagnosemuster-erzeugungsverfahren und computer
DE102020123155A1 (de) Quantisierungsverfahren eines künstlichen neuronalen Netzwerks und Operationsverfahren unter Verwendung eines künstlichen neuronalen Netzwerks
DE102020205394A1 (de) Computerimplementiertes Verfahren und Vorrichtung zum Erstellen eines Knowledge Graph

Legal Events

Date Code Title Description
R012 Request for examination validly filed