DE112020004471T5

DE112020004471T5 - Folgerungsvorrichtung, Trainingsvorrichtung, Folgerungsverfahren und Trainingsverfahren

Info

Publication number: DE112020004471T5
Application number: DE112020004471.8T
Authority: DE
Inventors: Daisuke MOTOKI
Original assignee: Preferred Networks Inc
Current assignee: PREFERRED NETWORKS, INC., JP
Priority date: 2019-09-20
Filing date: 2020-09-17
Publication date: 2022-06-02
Also published as: JP7453244B2; JP2024056017A; US20220207370A1; JPWO2021054402A1; WO2021054402A1; CN114521263A

Abstract

[AUFGABE] Aufbau eines Energie-Vorhersagemodells für ein materielles System.[LÖSUNG] Eine Folgerungsvorrichtung enthält einen oder mehrere Speicher und einen oder mehrere Prozessoren. Der eine oder die mehreren Prozessoren geben einen Vektor bezüglich eines Atoms in ein erstes Netzwerk ein, welches ein Merkmal des Atoms in einem latenten Raum aus dem Vektor bezüglich des Atoms extrahiert, und leitet das Merkmal des Atoms im latenten Raum über das erste Netzwerk ab.

Description

GEBIET
Diese Beschreibung betrifft eine Folgerungsvorrichtung, eine Trainingsvorrichtung, ein Folgerungsverfahren und ein Trainingsverfahren.
HINTERGRUND
Quantenchemische Berechnungen, wie First-Principles-Rechnungen gemäß der DFT (Dichtefunktionaltheorie) oder dergleichen, haben eine relativ gute Zuverlässigkeit und erlauben gute Interpretationen, weil die physikalischen Eigenschaften, wie die Energie eines Elektronensystems, auf chemischer Basis berechnet werden. Andererseits sind lange Rechenzeiten erforderlich und es ist schwierig, die Verfahren bei einer umfassenden Materialstudie einzusetzen und somit werden sie eingesetzt für die Analyse und das Verständnis der Eigenschaften des gegebenen Materials unter den gegebenen Umständen. Andererseits wurde ein Vorhersagmodell für physikalische Eigenschaften bezüglich einer Substanz unter Einsatz einer tiefen Lerntechnik (deep learning) in den letzten Jahren entwickelt.
Wie oben erläutert, braucht die DFT lange Rechenzeiten. Ein Modell unter Einsatz einer tiefen Lerntechnik hingegen kann den Wert der physikalischen Eigenschaften vorhersagen, wobei jedoch gegebene Modelle, bei denen Koordinaten angegeben werden können, Schwierigkeiten haben bei einer steigenden Anzahl der Arten der Atome und es können auch Schwierigkeiten entstehen bei der Behandlung unterschiedlicher Zustände eines Moleküls, eines Kristalls und so weiter und bei gleichzeitig koexistierenden Zuständen.
ZUSAMMENFASSUNG
Ein Ausführungsbeispiel bietet eine Folgerungsvorrichtung und ein Verfahren, welche verbessert sind bezüglich der Genauigkeit der Folgerungen für den Wert eines physikalischen Merkmals eines Substanzsystems und eine entsprechende Trainingsvorrichtung und ein Trainingsverfahren.
Gemäß einem Ausführungsbeispiel hat die Folgerungsvorrichtung einen oder mehrere Speicher und einen oder mehrere Prozessoren. Der eine oder die mehreren Prozessoren geben einen Vektor bezüglich eines Atoms in ein erstes Netzwerk, welches ein Merkmal des Atoms in einem latenten Raum (latenter Merkmalsraum, Einbettungsraum) aus dem Vektor betreffend das Atom extrahiert, wobei das Merkmal des Atoms im latenten Raum über das erste Netzwerk gefolgert wird.
Figurenliste

1 ist ein schematisches Blockdiagramm einer Folgerungsvorrichtung gemäß einem Ausführungsbeispiel;
2 ist ein schematisches Diagramm zur Erläuterung eines Atommerkmalgewinners gemäß einem Ausführungsbeispiel;
3 ist eine Darstellung zur Erläuterung eines Beispiels für eine Koordinateneinstellung eines Moleküls oder dergleichen gemäß einem Ausführungsbeispiel;
4 zeigt ein Beispiel für die Gewinnung von Graphendaten bezüglich eines Moleküls oder dergleichen gemäß einem Ausführungsbeispiel;
5 zeigt ein Beispiel für Graphendaten gemäß einem Ausführungsbeispiel;
6 ist ein Flussdiagramm zur Erläuterung des Verfahrens gemäß der Folgerungsvorrichtung gemäß einem Ausführungsbeispiel;
7 ist ein schematisches Blockdiagramm einer Trainingsvorrichtung gemäß einem Ausführungsbeispiel;
8 zeigt schematisch eine Zusammensetzung (composition) beim Trainieren eines Atommerkmalgewinners gemäß einem Ausführungsbeispiel;
9 ist eine Zusammenstellung zur Erläuterung von Beispielen von Lehrdaten bezüglich der Werte von physikalischen Merkmalen gemäß einem Ausführungsbeispiel;
10 erläutert mit Diagrammen das Erscheinen von Trainingsergebnissen bezüglich des Wertes der physikalischen Eigenschaften des Atoms gemäß einem Ausführungsbeispiel;
11 ist ein schematisches Blockdiagramm eines Strukturmerkmalextrahierers gemäß einem Ausführungsbeispiel;
12 erläutert mit einem Flussdiagramm den gesamten Trainingsprozess gemäß einem Ausführungsbeispiel;
13 ist ein Flussdiagramm zur Erläuterung des Ablaufs des Trainings eines ersten Netzwerkes gemäß einem Ausführungsbeispiel;
14 erläutert Beispiele für den Wert eines physikalischen Merkmals gemäß Ausgabe aus dem ersten Netzwerk gemäß einem Ausführungsbeispiel;
15 erläutert mit einem Flussdiagramm das Verfahren des Trainings von zweiten, dritten und vierten Netzwerken gemäß einem Ausführungsbeispiel;
16 zeigt Beispiele für die Ausgabe von Werten bezüglich physikalischen Eigenschaften gemäß einem Ausführungsbeispiel; und
17 ist ein Ausführungsbeispiel für eine Folgerungsvorrichtung und eine Trainingsvorrichtung gemäß einem Ausführungsbeispiel.

BESCHREIBUNG VON EINZELHEITEN
Nachfolgend werden Ausführungsbeispiele der vorliegenden Erfindung mit Bezug auf die Figuren beschrieben. Die Erläuterungen der Figuren und der Ausführungsformen erfolgt beispielhaft und schränkt die Erfindung nicht ein.
[Folgerungsvorrichtung]
1 ist ein Blockdiagramm und stellt die Funktionen einer Folgerungsvorrichtung 1 gemäß diesem Ausführungsbeispiel dar. Die Folgerungsvorrichtung 1 gemäß diesem Ausführungsbeispiel folgert den Wert einer physikalischen Eigenschaft eines Folgerungsobjektes und gibt diesen aus, wobei Letzteres ein Molekül oder dergleichen ist (nachfolgend umfasst dies ein monoatomisches Molekül, ein Molekül, oder einen Kristall), wobei die Folgerung erfolgt aufgrund von Informationen bezüglich Koordinaten eines Atoms und Informationen bezüglich einer Grenzbedingung. Die Folgerungsvorrichtung 1 enthält eine Eingabe 10, einen Speicher 12, einen Atommerkmalgewinner 14, einen Eingangsinformationenzusammensetzer 16, einen Strukturmerkmalex-trahierer 18, einen Vorhersager 20 für den Wert der physikalischen Eigenschaften, und eine Ausgabe 22.
Die Folgerungsvorrichtung 1 empfängt eine Eingabe notwendiger Informationen, wie der Art und der Koordinaten des Atoms, der Grenzbedingung und so weiter, wobei es sich um Informationen handelt bezüglich eines Folgerungsobjektes, bei dem es sich um das Molekül oder dergleichen handelt und die Informationen über die Eingabe 10 eingegeben werden. Bei dieser Ausführungsform wird die Folgerungsvorrichtung 1 beispielhaft so erläutert, dass sie Informationen empfängt bezüglich der Art und der Koordinaten des Atoms, sowie der Grenzbedingung, wobei die Informationen notwendigerweise Daten beinhalten, jedoch nicht auf solche eingeschränkt sind, welche die Struktur einer Substanz definieren, deren physikalischer Eigenschaftswert geschlussfolgert werden soll.
Die Koordinaten des Atoms sind dreidimensionale Koordinaten des Atoms, beispielsweise im absoluten Raum (festen Raum). Beispielsweise kann es sich um Koordinaten in einem Koordinatensystem handeln mit einer translationsinvarianten und einer rotationsinvarianten Eigenschaft. Die Koordinaten sind nicht auf das Vorstehende beschränkt, vielmehr muss es sich nur um Koordinaten handeln, die ein Koordinatensystem voraussetzen, welches die Struktur der Atome in einer Substanz, wie einem Molekül oder dergleichen als dem Folgerungsobjekt, angemessen ausdrückt. Die Eingabe der Koordinaten des Atoms können definieren, in welcher Relativposition das Atom in dem Molekül oder dergleichen gegeben ist.
Bezüglich der Grenzbedingung handelt es sich bei der Eingabe beispielsweise, wenn es darum geht, den Wert der physikalischen Eigenschaften des Folgerungsobjektes in Form eines Kristalls anzugeben, um die Koordinaten eines Atoms in einer Einheitszelle oder einer Superzelle, in der Einheitszellen sich wiederholend angeordnet sind. Wenn in diesem Fall das Eingabeatom eine Grenzfläche in Bezug auf ein Vakuum darstellt, wird die gleiche Atomanordnung, die dem benachbart ist, eingestellt. Beispielsweise kann eine solche Grenzbedingung angenommen werden, wenn ein Molekül bei einem Kristall-Katalysator an einer Kristallfläche liegt, an welche das Molekül anstößt und welche eine Grenzfläche mit einem Vakuum darstellt, wobei die Kristallstruktur sich im Inneren in anderer Weise fortsetzt. Die Folgerungsvorrichtung 1 kann nicht nur den Wert der physikalischen Eigenschaften folgern, der das Molekül betrifft, sondern auch physikalische Eigenschaften bezüglich des Kristalls, wobei also der Wert der physikalischen Eigenschaften sowohl den Kristall als auch das Molekül usw. betrifft.
Der Speicher 12 speichert Informationen, welche für die Folgerung erforderlich sind. Beispielsweise können für die Folgerung verwendete Daten über die Eingabe 10 eingegeben werden und in dem Speicher 12 zeitweise gespeichert werden. Weiterhin können Parameter gespeichert werden, die erforderlich sind für betreffende Module, beispielsweise Parameter, die erforderlich sind zum Bilden eines neuronalen Netzwerkes entsprechend den jeweiligen Modulen. Wird eine Informationsverarbeitung mittels Software in der Folgerungsvorrichtung 1 konkret verwirklicht mittels entsprechender Hardware-Einrichtungen, dann werden ein Programm, eine ausführbare Datei und so weiter, welche für die Software erforderlich sind, abgespeichert.
Der Atommerkmalgewinner 14 generiert einen Betrag, der das Merkmal des Atoms kennzeichnet. Der das Atommerkmal kennzeichnende Betrag kann beispielsweise ausgedrückt werden in Form eines eindimensionalen Vektors. Der Atommerkmalgewinner 14 enthält beispielsweise ein neuronales Netzwerk (erstes Netzwerk), wie ein MLP (mehrschichtiges Perzeptron), welches beispielsweise bei Empfang eines One-Hot-Vektors, welcher ein Atom kennzeichnet, diesen in einen Vektor im latenten Raum transformiert und den Vektor im latenten Raum als Merkmal des Atoms ausgibt.
Der Atommerkmalgewinner 14 kann eine Eingabe nicht nur als One-Hot-Vektor empfangen, sondern auch andere Informationen, wie einen Tensor, einen Vektor oder dergleichen, welche jeweils das Atom kennzeichnen. Bei dem One-Hot-Vektor oder der anderen Information, wie dem Tensor, dem Vektor oder dergleichen, kann es sich beispielsweise um ein Symbol handeln, welches ein ausgewähltes Atom betrifft oder eine ähnliche Information. In diesem Fall kann eine Eingangsschicht des neuronalen Netzwerkes als eine Schicht gebildet sein mit einer Dimension, die verschieden ist von der bei einem One-Hot-Vektor verwendeten Dimension.
Der Atommerkmalgewinner 14 kann das Merkmal für jede Folgerung generieren oder er kann ein gefolgertes Ergebnis in dem Speicher 12 ablegen. Beispielsweise kann das Merkmal abgespeichert werden im Speicher 12 bezüglich eines Wasserstoffatoms, eines Kohlenstoffatoms, eines Sauerstoffatoms oder dergleichen, welche häufig eingesetzt werden, und das Merkmal kann für jede Schlussfolgerung bezüglich der anderen Atome generiert werden.
Der Eingangsinformationenzusammensetzer 16 transformiert bei Empfang der eingegebenen Atomkoordinaten, der Grenzbedingung und der Merkmale des Atoms oder der Merkmale zum Unterscheiden des Atoms, wie sie durch den Atommerkmalgewinner 14 generiert sind, die Struktur des Moleküls oder dergleichen in das Format eines Graphen zum Anpassen der transformierten Struktur zur Eingabe in das Netzwerk, welches einen Graphen verarbeitet, der in dem Strukturmerkmalextrahierer 18 vorliegt.
Der Strukturmerkmalextrahierer 18 extrahiert das Merkmal bezüglich der Struktur aus der Information des Graphen, der durch den Eingangsinformationenzusammensetzer 16 generiert ist. Der Strukturmerkmalextrahierer 18 (Extrahierer) enthält ein neuronales Netzwerk auf Graphenbasis, wie ein GNN (Graphen-Neuronales-Netzwerk), ein GCN (faltungsneuronales Netzwerk; Graph Convolutional Network) oder dergleichen.
Der Vorhersager 20 für den Wert der physikalischen Eigenschaften sagt einen derartigen Wert voraus aufgrund des Merkmals der Struktur des Folgerungsobjektes, wie des Moleküls oder dergleichen, welche durch den Strukturmerkmalextrahierer 18 extrahiert ist, und gibt den Wert der physikalischen Eigenschaft aus. Der Vorhersager 20 für den Wert der physikalischen Eigenschaft enthält beispielsweise ein neuronales Netzwerk, wie ein MLP oder dergleichen. Die Eigenschaften des verwendeten neuronalen Netzwerkes können sich unterscheiden in Abhängigkeit von dem zu gewinnenden Wert der physikalischen Eigenschaft. Deshalb können im Voraus mehrere verschiedene neuronale Netzwerke bereitgestellt werden und eines davon kann ausgewählt werden entsprechend dem zu gewinnenden Wert der physikalischen Eigenschaft.
Am Ausgang 22 wird der gefolgerte Wert der physikalischen Eigenschaft ausgegeben. Die Ausgabe folgt hier einem Konzept, welches sowohl eine Ausgabe nach außen in Bezug auf die Folgerungsvorrichtung 1 über eine Schnittstelle beinhaltet als auch eine Ausgabe in das Innere der Folgerungsvorrichtung 1, wie in den Speicher 12 oder dergleichen.
Nunmehr werden die Zusammensetzungen jeweils mit Einzelheiten erläutert.
(Atommerkmalgewinner 14)
Der Atommerkmalgewinner 14 enthält das neuronale Netzwerk, welches beispielsweise bei Empfang des One-Hot-Vektors, welcher ein Atom angibt, einen Vektor im latenten Raum ausgibt, wie oben erläutert. Der ein Atom kennzeichnende One-Hot-Vektor gibt beispielsweise Informationen bezüglich nuklearer Daten. Insbesondere wird der das Atom kennzeichnende One-Hot-Vektor gebildet durch Transformation der Protonenzahl, der Neutronenzahl und der Elektronenzahl in einen One-Hot-Vektor. Durch die Eingabe der Protonenzahl und der Neutronenzahl kann auch ein Isotop zum Objekt gemacht werden, dessen Merkmal gewonnen wird. Durch beispielsweise Eingabe der Protonenzahl und der Elektronenzahl kann ein Ion zum Objekt gemacht werden, dessen Merkmal gewonnen wird.
Die anzugebenden Daten können Informationen beinhalten, die verschieden sind von den oben genannten. Beispielsweise können Informationen bezüglich einer Ordnungszahl, einer Gruppe im periodischen System, einer Periode, eines Blockes, einer Halbwertszeit von Isotopen zum oben genannten One-Hot-Vektor hinzugefügt werden und als Eingabe betrachtet werden. Daneben können der One-Hot-Vektor und eine weitere Eingabe als ein One-Hot-Vektor in dem Atommerkmalgewinner 14 kombiniert werden. Beispielsweise kann ein diskreter Wert in dem One-Hot-Vektor gespeichert werden und ein Betrag (Skalar, Vektor, Tensor oder dergleichen), der durch einen kontinuierlichen Wert ausgedrückt ist, kann zur obigen Eingabe hinzugefügt werden.
Der One-Hot-Vektor kann separat generiert werden durch einen Nutzer. Als weiteres Beispiel kann eine Atombezeichnung, eine Ordnungszahl, oder eine andere Identifizierung (ID), welche ein Atom oder dergleichen bezeichnet, als Eingabe empfangen werden und der Atommerkmalgewinner 14 kann getrennt davon einen One-Hot-Vektor-Generator beinhalten, welcher einen One-Hot-Vektor generiert, der auf eine Datenbasis oder dergleichen mit derartigen Informationen zurückgreift. Angemerkt sei, dass dann, wenn ein kontinuierlicher Wert in der Eingabe hinzugefügt wird, ein Eingangsvektorgenerator vorgesehen sein kann, welcher einen Vektor generiert, der verschieden ist von dem One-Hot-Vektor.
Das neuronale Netzwerk (das erste Netzwerk), welches in dem Atommerkmalgewinner 14 vorgesehen ist, kann beispielsweise einen Codierer eines Modells beinhalten, welches durch das neuronale Netzwerk, welches den Codierer bildet, trainiert wird, und einen Decodierer. Der Codierer und der Decodierer können gebildet sein mit einem sogenannten Variational Encoder Decoder (variabler Codierer/Decodierer), welcher Variationsmöglichkeiten bezüglich des Ausgangs des Codierers eröffnet, ähnlich beispielsweise einem VAE (Variational Autoencoder). Ein Beispiel für den Fall, dass der Variational Encoder Decoder eingesetzt wird, wird nachfolgend näher beschrieben, wobei der Codierer und der Decodierer nicht auf den Variational Encoder Decoder beschränkt sind; es muss sich nur um ein Modell handeln, wie ein neuronales Netzwerk, welches in angepasster Weise den Vektor im latenten Raum für das Atommerkmal gewinnt, also den Merkmalsbetrag.
2 erläutert mit einem Diagramm den Grundaufbau des Atommerkmalgewinners 14. Der Atommerkmalgewinner 14 enthält beispielsweise einen One-Hot-Vektor-Generator 140 und einen Codierer 142. Der Codierer 142 und ein weiter unten näher beschriebener Decodierer sind eine Teilzusammensetzung des Netzwerkes durch den oben genannten Variational Encoder Decoder. Angemerkt sei, dass der Codierer 142 dargestellt ist und dass ein weiteres Netzwerk, eine arithmetische Einheit und dergleichen zum Ausgeben des Merkmalsbetrages nach dem Codierer 142 hinzugefügt sein können.
Der One-Hot-Vektor-Generator 140 generiert aus einer ein Atom angebenden Variablen einen One-Hot-Vektor. Der One-Hot-Vektor-Generator 140 generiert beispielsweise bei Empfang einer Eingabe eines Wertes, der in den One-Hot-Vektor zu transformieren ist, wie der Protonenzahl oder dergleichen, den One-Hot-Vektor unter Einsatz der eingegebenen Daten.
Handelt es sich bei den Eingabedaten um einen indirekten Wert, wie eine Ordnungszahl, einen Atomnamen oder dergleichen, gewinnt der One-Hot-Vektor-Generator 140 den Wert der Protonenzahl oder dergleichen, beispielsweise aus einer Datenbasis oder dergleichen, die sich im Inneren oder auch außerhalb der Folgerungsvorrichtung 1 befindet, und erzeugt den One-Hot-Vektor. Der One-Hot-Vektor-Generator 140 führt die Prozesse auf Basis der eingegebenen Daten wie vorstehend beschrieben aus.
Wie oben erläutert, überführt der One-Hot-Vektor-Generator 140 bei direktem Empfang der Eingabe, deren Informationen in den One-Hot-Vektor zu transformieren sind, jede der Variablen in ein Format, welches mit dem One-Hot-Vektor kompatibel ist und erzeugt damit den One-Hot-Vektor. Andererseits kann der One-Hot-Vektor-Generator 140 dann, wenn nur die Ordnungszahl eingegeben ist, automatisch Daten gewinnen, die für die Transformation des One-Hot-Vektors aus den Eingangsdaten erforderlich sind und kann den One-Hot-Vektor dann generieren auf Basis der so gewonnenen Daten.
Die Verwendung des One-Hot-Vektors in der Eingabe, wie oben beschrieben, ist beispielhaft und die Ausführungsform ist nicht hierauf beschränkt. Beispielsweise können ein Vektor, eine Matrix, ein Tensor oder dergleichen ohne Verwendung eines One-Hot-Vektors auch als Eingabe eingesetzt werden.
Wird der One-Hot-Vektor in dem Speicher 12 abgespeichert, kann der One-Hot-Vektor aus dem Speicher 12 gewonnen werden, während dann, wenn der Nutzer den One-Hot-Vektor getrennt formiert und ihn in die Folgerungsvorrichtung 1 eingibt, der One-Hot-Vektor-Generator 140 kein notwendiges Bauteil ist.
Der One-Hot-Vektor wird in den Codierer 142 eingegeben. Der Codierer 142 gibt einen Vektor z_µ, der einen Mittelwert der Vektoren, welche Merkmale des Atoms darstellen, angibt, und einen Vektor σ², welcher die Varianz der Vektoren z_µ angibt, bezogen auf den eingegebenen One-Hot-Vektor. Aus dem gesammelten Ergebnis ergibt sich ein Vektor z. Beispielsweise wird beim Training das Merkmal des Atoms aus dem Vektor z_µ wieder zusammengesetzt.
Der Atommerkmalgewinner 14 gibt den generierten Vektor z_µ an den Eingangsinformationenzusammensetzer 16. Es ist möglich, den sogenannten Reparametrisierungstrick einzusetzen, der verwendet wird als ein Verfahren der VAE; in diesem Fall kann der Vektor z ermittelt werden unter Verwendung eines Vektors ε als einem willkürlichen Wert. Das Symbol „odot“ (Punkt in einem Kreis) bedeutet hier ein elementweises Produkt des Vektors.
[Math 1] $z = z_{μ} + σ^{2} ⊙ \in$
Gemäß einem anderen Beispiel kann ein z mit keiner Varianz für das Merkmal des Atoms ausgegeben werden.
Wie weiter unten noch näher erläutert wird, wird das erste Netzwerk trainiert bei Empfang einer Eingabe des One-Hot-Vektors oder dergleichen bezüglich des Atoms, wobei das Netzwerk einen Codierer aufweist, der das Merkmal extrahiert, und einen Decodierer, welcher aufgrund des Merkmals den Wert der physikalischen Eigenschaft ausgibt. Der Einsatz eines entsprechend trainierten Atommerkmalgewinners 14 ermöglicht dem Netzwerk die Informationen zu extrahieren, die erforderlich sind für die Vorhersage des Wertes der physikalischen Eigenschaften des Moleküls oder dergleichen, ohne dass der Nutzer Informationen auswählen müsste.
Der Einsatz des Codierers und des Decodierers kann in vorteilhafter Weise mehr Informationen im Vergleich zur direkten Eingabe der Werte der physikalischen Eigenschaften verwenden, da die Informationen auch verwendet werden können, wenn die Werte der physikalischen Eigenschaften, die für alle Atome erforderlich sind, unbekannt sind. Wegen der Abbildungen im kontinuierlichen latenten Raum werden bezüglich der Eigenschaften näherliegende Atome auch näher zueinander überführt, während bezüglich der Eigenschaften verschiedene Atome weiter voneinander in den latenten Raum überführt werden, so dass ein Atom zwischen ihnen interpoliert werden kann. Somit ist es auch dann, wenn nicht alle Atome in den Lerndaten enthalten sind, möglich, ein Ergebnis durch Interpolation zwischen Atomen auszugeben. Auch wenn die Lerndaten für einige der Atome nicht hinreichend sind, ist es möglich, das Merkmal zu generieren, welches in der Lage ist, den Wert der physikalischen Eigenschaft mit hoher Genauigkeit auszugeben.
Wie oben erläutert, ist der Atommerkmalgewinner 14 so gestaltet, dass er beispielsweise das neuronale Netzwerk (erstes Netzwerk) enthält, welches eingerichtet ist zum Extrahieren des Merkmals, welches geeignet ist zum Decodieren des Wertes der physikalischen Eigenschaft für jedes Atom. Durch die Codierung des ersten Netzwerkes ist es auch möglich, beispielsweise den One-Hot-Vektor in der Größenordnung 10² oder mehr in einen Merkmalbetragsvektor gemäß etwa 16 Größenordnungen zu transformieren. Das erste Netzwerk enthält ein neuronales Netzwerk mit einer Ausgabegrößenordnung, die kleiner ist als eine Eingabegrößenordnung, wie oben erläutert.
(Eingangsinformationenzusammensetzer 16)
Der Eingangsinformationenzusammensetzer 16 generiert einen Graphen bezüglich der Atomanordnung und den Bindungen im Molekül oder dergleichen auf Basis der Eingangsdaten und der Daten, wie sie durch den Atommerkmalgewinner 14 generiert sind. Der Eingangsinformationenzusammensetzer 16 bestimmt das Vorliegen oder das Fehlen eines benachbarten Atoms unter Berücksichtigung der Grenzbedingung in Verbindung mit der Struktur des Moleküls oder dergleichen, welches eingegeben werden, und bestimmt die Koordinaten des benachbarten Atoms, falls es gegeben ist.
Im Falle eines Monomoleküls generiert beispielsweise der Eingangsinformationenzusammensetzer 16 einen Graphen unter Verwendung der Atomkoordinaten, die in der Eingabe für das benachbarte Atom angegeben sind. Bei einem Kristall bestimmt der Eingangsinformationenzusammensetzer 16 beispielsweise die Koordinaten aus den eingegebenen Atomkoordinaten für das Atom in der Einheitszelle und bestimmt die Koordinaten eines außenliegenden benachbarten Atoms aus der sich wiederholenden Struktur der Einheitszelle für das Atom, welches an der äußeren Kante der Einheitszelle angeordnet ist. Liegt eine Schnittstelle im Kristall vor, wird beispielsweise das benachbarte Atom bestimmt ohne Anwendung des sich wiederholenden Musters für die Seite der Schnittstelle.
3 zeigt ein Beispiel für eine Koordinateneinstellung gemäß diesem Ausführungsbeispiel. Als Beispiel wird ein Graph generiert für nur ein Molekül M, wobei der Graph generiert wird aus den Arten von drei Atomen, die das Molekül M bilden, sowie auf Basis von deren Relativkoordinaten.
Wird beispielsweise ein Graph generiert für nur einen Kristall mit Wiederholungen und mit einer Grenzfläche I, wird der Graph erzeugt unter der Annahme einer Wiederholung C1 einer Einheitszelle C des Kristalls nach rechts, einer Wiederholung C2 nach links, einer Wiederholung C3 nach unten, einer Wiederholung C4 nach unten links, einer Wiederholung C5 nach unten rechts, ... , wobei bezüglich der jeweiligen Atome benachbarte Atome angenommen werden. In der Darstellung zeigt eine gepunktete Linie die Grenzfläche I an, eine Einheitszelle ist durch eine unterbrochene Linie dargestellt und gibt die Eingabestruktur bezüglich des Kristalls an, während ein Bereich, der durch eine Punkt/Strich-Linie angegeben ist, einen Bereich kennzeichnet, für den eine Wiederholung der Einheitszelle C des Kristalls angenommen wird. Kurz gesagt: der Graph wird erzeugt unter der Annahme, dass benachbarte Atome zu den jeweiligen, den Kristall bildenden Atomen in einem Bereich liegen, der nicht über die Grenzfläche I hinausgeht.
Soll der Wert der physikalischen Größe abgeleitet werden bezüglich einer katalytischen Wirkung von Molekül und Kristall oder dergleichen, dann wird der Graph erzeugt unter der Annahme der Wiederholung unter Berücksichtigung des Moleküls M und der Grenzfläche I des obigen Kristalls, wobei die Koordinaten des benachbarten Atoms bezüglich jeden, das Molekül bildenden Atoms, und des benachbarten Atoms bezüglich jedes den Kristall bildenden Moleküls berechnet werden.
Da die Größe des einzugebenden Graphen beschränkt ist, können beispielsweise die Grenzfläche I, die Einheitszelle C und die Wiederholungsrate der Einheitszelle C so gesetzt werden, dass das Molekül M im Zentrum angeordnet ist. Mit anderen Worten: der Graph kann erzeugt werden durch passende Ausführung der Wiederholung der Einheitszelle C und der Gewinnung der Koordinaten. Zum Erzeugen des Graphen wird beispielsweise zum Durchführen der Wiederholungen nach oben, unten, links und rechts in Bezug auf die Einheitszelle C diejenige Zelle als Einheitszelle C genommen, der das Molekül M am nächsten liegt, um so die Koordinaten der jeweiligen benachbarten Atome zu gewinnen.
Eine Einheitszelle C des Kristalls mit der Grenzfläche I wird für ein Molekül M gemäß 3 eingegeben, jedoch ist das Verfahren nicht hierauf beschränkt. Beispielsweise können mehrere Moleküle M angesetzt werden oder es können auch mehrere Kristalle angesetzt werden.
Der Eingangsinformationenzusammensetzer 16 kann eine Distanz zwischen zwei Atomen und einen gebildeten Winkel berechnen, wobei ein bestimmtes Atom der drei Atome als Eckpunkt genommen wird. Die Distanz und der Winkel werden berechnet auf Basis der Relativkoordinaten der Atome. Der Winkel wird gewonnen unter Einsatz von beispielsweise eines inneren Produktes und des Kosinussatzes von Vektoren. Beispielsweise kann die Berechnung erfolgen für eine Kombination aller Atome oder der Eingangsinformationenzusammensetzer 16 kann einen Ausschlussradius Rc festlegen und die Auswahl erfolgt für weitere Atome innerhalb des Ausschlussradiuses Rc bezüglich eines jeden Atoms, wobei dann eine Kombination von Atomen, die innerhalb des Ausschlussradiuses Rc vorliegen, durchgerechnet wird.
Jedes der beteiligten Atome kann mit einem Index versehen werden und die berechneten Ergebnisse bezüglich der einzelnen Atome können in dem Speicher 12 zusammen mit der Liste der Indizes gespeichert werden. Beim Berechnen kann der Strukturmerkmalextrahierer 18 diese Werte aus dem Speicher 16 beim jeweiligen Einsatz der Werte auslesen oder der Eingangsinformationenzusammensetzer 16 kann diese Werte an den Strukturmerkmalextrahierer 18 ausgeben.
Das Molekül ist hier für das Verständnis zweidimensional dargestellt, jedoch versteht sich, dass es im dreidimensionalen Raum vorliegt. Deshalb wird der Wiederholvorgang auch angesetzt auf die Vorderseite und die Rückseite der Darstellung, je nach Bedarf.
Der Eingangsinformationenzusammensetzer 16 erzeugt einen Graphen als Eingabe in das neuronale Netzwerk aus den Informationen bezüglich des eingegebenen Moleküls oder dergleichen und dem Merkmal eines jeden Atoms, wie es durch den Atommerkmalgewinner 14 generiert wird, wie oben beschrieben.
(Strukturmerkmalextrahierer 18)
Der Strukturmerkmalextrahierer 18 dieses Ausführungsbeispiels enthält ein neuronales Netzwerk, welches bei Empfang einer Eingabe bezüglich der Grapheninformationen das Merkmal bezüglich der Struktur des Graphen ausgibt, wie oben erläutert. Dabei kann das Merkmal des einzugebenden Graphen eine Winkelinformation enthalten.
Der Strukturmerkmalextrahierer 18 ist eingerichtet, einen invarianten Ausgang zu halten, beispielsweise in Bezug auf das Ersetzen derselben Art von Atom in dem Eingangsgraphen, der Translation und der Rotation der eingegebenen Struktur. Dies ergibt sich aus dem Umstand, dass die physikalischen Eigenschaften einer realen Substanz nicht von solchen Beträgen abhängen. Beispielsweise genügt diesen Bedingungen die Definition von benachbarten Atomen und des Winkels zwischen drei Atomen für die Eingabe der Informationen bezüglich des Graphen.
Zunächst bestimmt der Strukturmerkmalextrahierer 18 beispielsweise eine maximale benachbarte Atomizität Nn und den Ausschlussradius Rc und er gewinnt die benachbarten Atome bezüglich des Atoms A, das gerade Grundlage der Rechnungen ist („fokussiertes Atom“). Durch Einstellen des Ausschlussradiuses ist es möglich, Atome auszuschließen, deren Einfluss klein genug oder vernachlässigbar ist, wodurch die Anzahl der als benachbarte Atome extrahierten Atome möglichst gering gehalten ist. Durch Ausführung der Graphenfaltung mehrere Male wird es möglich, den Einfluss von Atomen außerhalb des Ausschlussradius zu erfassen.
Ist die Nachbaratomizität kleiner als die maximale Nachbaratomizität Nn, werden die Atome gleicher Art wie das Atom A statistisch angeordnet als Blindelemente („Dummy“) an Positionen, die hinreichend entfernt sind vom Ausschlussradius Rc. Ist die Nachbaratomizität größer als die maximale Nachbaratomizität Nn, werden Nn Atome ausgewählt, beispielsweise in einer Reihenfolge gemäß dem geringsten Abstand zum Atom A und sie werden jeweils „Kandidaten“ (für die durchzuführenden Rechnungen) bezüglich des Nachbaratoms. Unter Berücksichtigung der benachbarten Atome ergibt die Kombination von drei Atomen eine Gesamtzahl von _NnC₂-Kombinationen. Beträgt beispielsweise Nn = 12, dann ergibt sich ₁₂C₂ = 66 Kombinationen.
Der Ausschlussradius Rc betrifft eine Wechselwirkungsdistanz von physikalischen Phänomenen, die abzubilden (zu ermitteln) sind. Im Falle eines eng gepackten Systems, wie einem Kristall, kann bei Einsatz von 4 bis 8 × 10^-8 cm als Ausschlussradius eine hinreichende Genauigkeit für viele Anwendungen sichergestellt werden. Geht es andererseits um eine Wechselwirkung zwischen einer Kristalloberfläche und einem Molekül oder zwischen Molekülen oder dergleichen, dann sind diese zwei Beteiligten nicht durch eine Struktur verbunden und deshalb kann der Einfluss eines fernen Atoms nicht berücksichtigt werden, auch wenn die Graphenfaltung wiederholt wird, so dass für den Ausschlussradius direkt eine maximale Wechselwirkungsdistanz angesetzt werden kann. Auch in diesem Fall kann 8 × 10^-8 cm oder mehr als Ausschlussradius angesetzt werden und die anfängliche Formierung startet bei dieser Distanz, wobei also der Ausschlussradius Rc eingesetzt wird.
Für die maximale Nachbaratomizität Nn kann etwa 12 ausgewählt werden unter Berücksichtigung der Recheneffektivität, wobei jedoch insoweit keine Einschränkung vorliegt. Bezüglich der Atome innerhalb des Ausschlussradius Rc, welche nicht für die Nn Nachbaratome ausgewählt sind, kann ihr Einfluss berücksichtigt werden unter Wiederholung der Graphenfaltung.
Für ein angesetztes („fokussiertes“) Atom können beispielsweise das Merkmal des Atoms, die Merkmale von zwei benachbarten Atomen, die Distanzen zwischen dem Atom und den zwei Atomen und der Wert des Winkels zwischen den zwei benachbarten Atomen in Bezug auf das Atom als Zentrum verknüpft werden als ein Satz einer Eingabe. Das Merkmal des Atoms wird als Merkmal eines Knotens angesetzt und die Distanzen und der Winkel werden angesetzt als Merkmal eines Edge. Für die Merkmale des Edge kann der gewonnene numerische Wert eingesetzt werden, wie er vorliegt, jedoch kann er auch einem vorangehenden Rechenprozess unterzogen werden. Beispielsweise kann der numerische Wert einer Klasseneinteilung („binning“) mit einer bestimmten Breite unterzogen werden oder er kann einer Gauss'schen Filterung unterzogen werden.
4 erläutert ein Beispiel für die Gewinnung von Daten bezüglich eines Graphen. Das fixierte („fokussierte“) Atom ist das Atom A. Die Atome sind entsprechend 3 zweidimensional angeordnet, jedoch liegen sie tatsächlich im dreidimensionalen Raum. In der nachfolgenden Erläuterung wird angesetzt, dass die Kandidaten für die benachbarten Atome zum Atom A die Atome B, C, D, E, F sind, jedoch ist die Anzahl der Atome diesbezüglich nicht eingeschränkt, weil die Anzahl der Atome bestimmt ist durch Nn und die Kandidaten für die benachbarten Atome abhängig sind von der Struktur des Moleküls oder dergleichen sowie dem gegebenen Zustand. Ergeben sich beispielsweise mehrere Atome G, H, ..., dann wird die nachfolgende Merk-malsextraktion in ähnlicher Weise in einem entsprechenden Bereich ausgeführt, ohne dass Nn überschritten wird.
Ein Pfeil mit einer gepunkteten Linie, ausgehend vom Atom A, gibt den Ausschlussradius Rc an. Der durch den Ausschlussradius Rc in Bezug auf das Atom A bestimmte Bereich ist ein Kreis, der mit gepunkteter Linie dargestellt ist. Die dem Atom A benachbarten Atome werden im Kreis mit der gepunkteten Linie recherchiert. Beträgt die maximale Nachbaratomizität Nn 5 oder mehr, dann werden die fünf Atome B, C, D, E, F als die dem Atom A benachbarten Atome festgelegt. In dieser Weise werden die Daten des Edge für Atome generiert, die der Strukturformel verbunden sind, und auch für Atome, die nicht in der Strukturformel enthalten sind, jedoch im Bereich liegen, der durch den Ausschlussradius Rc gegeben ist.
Der Strukturmerkmalextrahierer 18 extrahiert eine Kombination von Atomen zum Gewinnen der Winkeldaten, wobei das Atom A den Eckpunkt bildet. Danach wird die Kombination der Atome A, B, C mit A-B-C bezeichnet. Die Kombinationen in Bezug auf das Atom A sind ₅C₂ = 10 Kombinationen, wie A-B-C, A-B-D, A-B-E, A-B-F, A-C-D, A-C-E, A-C-F, A-D-E, A-D-F, A-E-F. Der Strukturmerkmalextrahierer 18 kann beispielsweise jeden Term mit einem Index versehen. Der Index kann sich nur auf das Atom A beziehen oder er kann gleichmäßig verteilt werden unter Berücksichtigung eines jeweils ausgewählten Atoms oder er kann alle Atome erfassen. Durch die Verteilung des Index in dieser Weise wird es möglich, die Kombinationen in Bezug auf jeweils ein fixiertes Atom eindeutig zu kennzeichnen.
Es sei angenommen, dass der Index für die Kombination A-B-C beispielsweise 0 ist. Die Graphendaten, in denen die Kombination mit den benachbarten Atomen B und C auftritt, also die Graphendaten mit dem Index 0, werden dabei auch generiert für jedes von den Atomen B und C.
Es sei angenommen, dass beispielsweise das Atom B das erste benachbarte Atom ist und das Atom C das zweite benachbarte Atom ist in Bezug auf das Atom A, welches gerade fixiert ist. Für die Daten bezüglich des ersten benachbarten Atoms verknüpft der Strukturmerkmalextrahierer 18 die Informationen bezüglich des Merkmals des Atoms A, bezüglich des Merkmals des Atoms B, die Distanz zwischen den Atomen A und B und den Winkel, der gebildet wird zwischen den Atomen B, A, C. Für die Daten bezüglich des zweiten benachbarten Atoms verknüpft der Strukturmerkmalextrahierer 18 die Informationen über das Merkmal des Atoms A, das Merkmal des Atoms C, die Distanz zwischen den Atomen A und B und den Winkel, der zwischen den Atomen C, A, B gebildet wird.
Für die Distanz zwischen den Atomen und dem Winkel zwischen diesen drei Atomen können die Rechnungen durch den Eingangsinformationenzusammensetzer 16 verwendet werden oder dann, wenn der Eingangsinformationenzusammensetzer 16 diese Rechnungen nicht ausführt, kann der Strukturmerkmalextrahierer 18 die Rechnungen ausführen. Für die Berechnungen der Distanz und des Winkels kann das Verfahren verwendet werden, wie es für den Eingangsinformationenzusammensetzer 16 beschrieben worden ist. Die Ausführungszeiten für die Rechnungen können dynamisch geändert werden derart, dass dann, wenn die Atomizität größer ist als eine vorgegebene Anzahl, der Strukturmerkmalextrahierer 18 die Rechnungen ausführt, während dann, wenn die Atomizität kleiner ist als die vorgegebene Anzahl, der Eingangsinformationenzusammensetzer 16 die Rechnungen ausführt. Ob der Strukturmerkmalextrahierer 18 oder der Eingangsinformationenzusammensetzer 16 die Rechnung ausführt, kann entschieden werden auf Basis der gegebenen Möglichkeiten, wie dem Speicher, dem Prozessor oder dergleichen.
Nachfolgend wird das Merkmal des Atoms A bei Fixierung auf das Atom A als Knotenmerkmal des Atoms A bezeichnet. Im vorliegenden Fall sind die Daten bezüglich des Knotenmerkmals des Atoms A redundant und deshalb können sie insgesamt vorgehalten werden. Beispielsweise können die Graphendaten bezüglich des Index 0 zusammengesetzt werden mit einschließlich Informationen bezüglich des Knotenmerkmals des Atoms A, des Merkmals des Atoms B, der Distanz zwischen den Atomen A und B und dem Winkel zwischen den Atomen B, A, C, dem Merkmal des Atoms C, der Distanz zwischen den Atomen A und C und dem Winkel zwischen den Atomen C, A, B.
Die Distanz zwischen den Atomen A und B, der Winkel zwischen den Atomen B, A, C werden kollektiv beschrieben als ein Edge-Merkmal des Atoms B und die Distanz zwischen den Atomen A und C und der Winkel zwischen den Atomen C, A, B werden in ähnlicher Weise kollektiv beschrieben als ein Edge-Merkmal des Atoms C. Das Edge-Merkmal enthält die Winkelinformation und somit einen Betrag, der abhängt davon, wie das Atom in der Kombination angeordnet ist. Beispielsweise haben das Edge-Merkmal des Atoms B, wenn die Nachbaratome zu Atom A die Atome B, C sind, und das Edge-Merkmal des Atoms B, wenn die Nachbaratome die Atome B, D sind, verschiedene Werte.
Der Strukturmerkmalextrahierer 18 generiert die Daten bezüglich aller Kombinationen der zwei benachbarten Atome, ähnlich wie oben erläutert für die Graphendaten des Atoms A; dies wird für alle Atome durchgeführt.
5 zeigt ein Beispiel für Graphendaten, die durch den Strukturmerkmalextrahierer 18 generiert sind.
Bezüglich des Knotenmerkmals des Atoms A als dem ersten Atom oder fixiertem Atom, werden die Merkmale und die Edge-Merkmale aller Atome generiert für die Kombinationen der innerhalb des Ausschlussradius Rc in Bezug auf das Atom A liegenden benachbarten Atome. Die Horizontalverbindung in der Figur kann beispielsweise durch einen Index angegeben werden. Ähnlich zu der Situation, in welcher die zum Atom A als dem ersten fixierten Atom benachbarten Atome für die Gewinnung der Merkmale ausgewählt sind, werden die Merkmale für die Kombinationen des zweiten, dritten und weiterer benachbarter Atome auch bezüglich der Atome B, C, ... als zweite, dritte und weitere fixierte Atome gewonnen.
Wie oben erläutert werden die Knotenmerkmale und die Merkmale und die Edge-Merkmale von Atomen bezüglich der benachbarten Atome für alle Atome gewonnen. Im Ergebnis ergibt sich für das Merkmal des fixierten Atoms ein Tensor (n_site, site_dim), und auch das Merkmal des benachbarten Atoms ist ein Tensor (n_site, site_dim, n_nbr_comb, 2) und für das Edge-Merkmal ergibt sich ein Tensor (n_site, edge_dim, n_nbr_comb, 2). Dabei sind n_site die Atomizität, site_dim die Dimension des Vektors, welcher das Merkmal des Atoms angibt, n_nbr_comb die Anzahl der Kombinationen (= _NnC₂) der dem fixierten Atom benachbarten Atome, und edge_dim ist die Dimension des Edge-Merkmals. Das Merkmal des benachbarten Atoms und das Edge-Merkmal werden für jedes der benachbarten Atome gewonnen durch Auswahl der zwei dem fixierten Atom benachbarten Atome und deshalb ergeben sich Tensoren mit Dimensionen des doppelten (n_site, site_dim, n_nbr_comb) bzw. (n_site, edge_dim, n_nbr_comb).
Der Strukturmerkmalextrahierer 18 enthält ein neuronales Netzwerk, welches bei Empfang einer Eingabe derartiger Daten, das Merkmal des Atoms und das Edge-Merkmal nach Aktualisierung ausgibt. Mit anderen Worten: der Strukturmerkmalextrahierer 18 enthält einen Graphendatengewinner, der Daten bezüglich des Graphen gewinnt und ein neuronales Netzwerk, welches bei Empfang der Daten bezüglich des Graphen, diese Daten aktualisiert. Das neuronale Netzwerk enthält ein zweites Netzwerk, welches das Knotenmerkmal mit (n_site, site_dim) Dimensionen und ein drittes Netzwerk, welches das Edge-Merkmal mit (n_site, edge_dim, n_nbr_comb, 2) Dimensionen ausgibt, auf Basis der Daten mit (n_site, site_dim + edge_dim + site_dim, n_nbr_comb, 2) Dimensionen als Eingabedaten.
Das zweite Netzwerk enthält ein Netzwerk, welches bei Empfang des Tensors mit dem Merkmal des Nachbaratoms für zwei dem fixierten Atom benachbarte Atome, es bezüglich der Dimension auf einen Tensor mit (n_site, site_dim, n_nbr_comb, 1) Dimensionen reduziert und ein Netzwerk, welches bei Empfang des Tensors mit dem Merkmal des dem fixierten Atom benachbarten Atoms die Dimensionen reduziert auf einen Tensor mit (n_site, site_dim, 1, 1) Dimensionen.
Ein Netzwerk erster Stufe des zweiten Netzwerkes transformiert das Merkmal bezüglich jedem der benachbarten Atome - wenn die Atome B, C in Bezug auf das Atom A als dem fixierten Atom als benachbarte Atome betrachtet werden - in ein Merkmal bezüglich der Kombination der Nachbaratome B, C bezüglich des fixierten Atoms A. Dieses Netzwerk ermöglicht eine Extraktion des Merkmals der Kombination der Nachbaratome. Das Netzwerk transformiert die Kombinationen für alle Nachbaratome in Bezug auf das Atom A als dem fixierten Atom in dieses Merkmal. Weiterhin transformiert das Netzwerk in ähnlicher Weise die Kombinationen aller Nachbaratome in Bezug auf das Atom B, ... als dem jeweils fixierten zweiten Atom. Das Netzwerk transformiert den Tensor, welcher das Merkmal des benachbarten Atoms angibt, von (n_site, site_dim, n_nbr_comb, 2) Dimensionen in (n_site, site_dim, n_nbr_comb, 1) Dimensionen.
Ein Netzwerk zweiter Stufe des zweiten Netzwerks extrahiert das Knotenmerkmal des Atoms A entsprechend den Merkmalen des Nachbaratoms aus der Kombination der Atome B, C, der Kombination der Atome B, D ..., der Kombination der Atome E, F in Bezug auf das Atom A. Dieses Netzwerk ermöglicht die Extraktion der Knotenmerkmale unter Berücksichtigung der Kombination der benachbarten Atome in Bezug auf das fixierte Atom (also das gerade berechnete Atom). Weiterhin extrahiert das Netzwerk in ähnlicher Weise die Knotenmerkmale unter Berücksichtigung aller der Kombinationen benachbarter Atome in Bezug auf das Atom B. Dieses Netzwerk transformiert den Ausgang des Netzwerkes zweiter Stufe gemäß (n_site, site_dim, n_nbr_comb, 1) Dimensionen in (n_site, site_dim, 1, 1) Dimensionen, was Dimensionen sind, die den Dimensionen des Knotenmerkmals entsprechen.
Der Strukturmerkmalextrahierer 18 dieses Ausführungsbeispieles aktualisiert das Knotenmerkmal auf Basis des Ausgangs aus dem zweiten Netzwerk. Beispielsweise addiert der Strukturmerkmalextrahierer 18 den Ausgang aus dem zweiten Netzwerk und das Knotenmerkmal zum Gewinnen des Knotenmerkmals in aktualisierter Form (nachfolgend aktualisiertes Knotenmerkmal genannt) über eine Aktivierungsfunktion, wie tanh(). Dieser Prozess muss nicht getrennt vom zweiten Netzwerk im Strukturmerkmalextrahierer 18 ausgeführt werden; die Hinzufügung und der Aktivierungsfunktionsprozess können als eine Schicht an der Ausgangsseite des zweiten Netzwerkes durchgeführt werden. Das zweite Netzwerk kann die Informationen reduzieren, welche bezüglich der letztlich zu gewinnenden physikalischen Größe in einem weiter unten näher erläuterten dritten Netzwerk nicht erforderlich sind.
Das dritte Netzwerk gibt bei Empfang des Edge-Merkmals ein Edge-Merkmal aus, welches aktualisiert worden ist (nachfolgend als aktualisiertes Edge-Merkmal bezeichnet). Das dritte Netzwerk transformiert den Tensor mit (n_site, edge_dim, n_nbr_comb, 2) Dimensionen in einen Tensor mit (n_site, edge_dim, n_nbr_comb, 2) Dimensionen. Das dritte Netzwerk reduziert beispielsweise die Informationen für den Wert der letztlich zu gewinnenden physikalischen Eigenschaften unter Einsatz eines Gatters oder dergleichen. Das dritte Netzwerk mit dieser Funktion wird generiert durch Trainingsparameter einer unten näher erläuterten Trainingsvorrichtung. Das dritte Netzwerk kann ein Netzwerk enthalten mit den gleichen Eingabe- und Ausgabedimensionen wie die zweite Stufe.
Der Strukturmerkmalextrahierer 18 dieses Ausführungsbeispiels aktualisiert das Edge-Merkmal auf Basis des Ausgangs des dritten Netzwerkes. Der Strukturmerkmalextrahierer 18 addiert beispielsweise den Ausgang aus dem dritten Netzwerk und das Edge-Merkmal zum Gewinnen des aktualisierten Edge-Merkmals über die Aktivierungsfunktion, wie tanh(). Werden mehrere Merkmale zum selben Edge extrahiert, kann ein Mittelwert derselben berechnet und als Edge-Merkmal gesetzt werden. Diese Prozesse müssen nicht separat vom dritten Netzwerk in dem Strukturmerkmalextrahierer 18 ausgeführt werden und die Addition und die Aktivierungsfunktionsprozesse können als eine Schicht auf der Ausgangsseite des dritten Netzwerkes ausgeführt werden.
Jedes der Netzwerke des zweiten Netzwerkes und des dritten Netzwerkes kann gebildet sein durch ein neuronales Netzwerk, welches in geeigneter Weise beispielsweise einsetzt eine Faltungsschicht, eine Stapelnormalisierung, ein Pooling, Gatterverarbeitung, eine Aktivierungsfunktion und so weiter. Nicht auf das Vorstehende eingeschränkt, kann jedes der Netzwerke auch gebildet sein durch ein MLP (mehrschichtiges Perzeptron) oder dergleichen. Jedes der Netzwerke kann eine Eingangsschicht aufweisen, in die weiterhin ein Tensor eingegeben werden kann, der gebildet ist durch Quadrierung jedes Elementes des Eingabetensors.
Als ein weiteres Beispiel können das zweite Netzwerk und das dritte Netzwerk nicht als getrennte Netzwerke ausgeführt sein, sondern sie können als ein Netzwerk bereitgestellt werden. In diesem Fall werden die Netzwerke als ein Netzwerk gebildet, welches bei Empfang des Knotenmerkmals, des Merkmals des Nachbaratoms und des Edge-Merkmals das aktualisierte Knotenmerkmal und das aktualisierte Edge-Merkmal ausgibt, entsprechend der obigen Beschreibung.
Der Strukturmerkmalextrahierer 18 generiert die Daten bezüglich des Knotens und des Edge des Graphen unter Berücksichtigung des Nachbaratoms auf Basis der angegebenen Informationen, die durch den Eingangsinformationenzusammensetzer 16 zusammengesetzt sind, und aktualisiert die generierten Daten zur Aktualisierung des Knotenmerkmals und des Edge-Merkmals für jedes Atom. Das aktualisierte Knotenmerkmal berücksichtigt das benachbarte Atom. Das aktualisierte Edge-Merkmal wird erzeugt durch Weglassen der Informationen, die bezüglich des Wertes der physikalischen Eigenschaft, der aus dem generierten Edge-Merkmal zu gewinnen ist, weggelassen werden können.
(Vorhersager 20 für den Wert der physikalischen Eigenschaft)
Der Vorhersager 20 für den Wert der physikalischen Eigenschaft enthält bei diesem Ausführungsbeispiel ein neuronales Netzwerk (viertes Netzwerk), wie ein MLP, welches bei Empfang einer Eingabe bezüglich des Merkmals für die Struktur des Moleküls oder dergleichen, beispielsweise das aktualisierte Knotenmerkmal und das aktualisierte Edge-Merkmal, den Wert der physikalischen Eigenschaft vorhersagt und ausgibt, wie oben erläutert. Das aktualisierte Knotenmerkmal und das aktualisierte Edge-Merkmal werden nicht nur in der vorliegenden Form angegeben, sondern können auch nach einer Verarbeitung entsprechend dem Wert der physikalischen Eigenschaft, der zu gewinnen ist, eingegeben werden, was weiter unten noch näher erläutert wird.
Das für die Vorhersage des Wertes der physikalischen Eigenschaft eingesetzte Netzwerk kann abgeändert werden, beispielsweise entsprechend der Natur der vorherzusagenden physikalischen Eigenschaft. Wenn zum Beispiel die Energie zu gewinnen ist, wird das Merkmal für jeden Knoten in das gleiche vierte Netzwerk eingegeben, der so gewonnene Ausgang als Energie für jedes Atom genommen und der Gesamtwert der Energien wird ausgegeben als Gesamtenergiewert.
Werden charakteristische Daten zwischen vorgegebenen Atomen vorhergesagt, wird das aktualisierte Edge-Merkmal in das vierte Netzwerk eingegeben zum Vorhersagen des Wertes der physikalischen Eigenschaft, der zu gewinnen ist.
Bei der Vorhersage des Wertes der physikalischen Eigenschaft aufgrund der Gesamteingabe, wird der Mittelwert, die Gesamtheit oder dergleichen der aktualisierten Knotenmerkmale berechnet und der berechnete Wert wird in das vierte Netzwerk eingegeben zur Vorhersage des Wertes der physikalischen Eigenschaft.
Wie oben erläutert, kann das vierte Netzwerk ausgeführt sein in Abhängigkeit von dem Wert der physikalischen Größe, die zu gewinnen ist. In diesem Fall können das zweite Netzwerk und/oder das dritte Netzwerk als ein neuronales Netzwerk ausgebildet sein, welches den Merkmalsbetrag extrahiert, der einzusetzen ist zum Gewinnen des Wertes der physikalischen Eigenschaft.
Bei einem weiteren Beispiel kann das vierte Netzwerk gebildet sein als ein neuronales Netzwerk, welches mehrere Werte der physikalischen Eigenschaft gleichzeitig ausgibt. In diesem Fall können das zweite Netzwerk und/oder das dritte Netzwerk gebildet sein als ein neuronales Netzwerk, welches den Merkmalsbetrag extrahiert, der für die Gewinnung der mehreren Werte der physikalischen Eigenschaft einzusetzen ist.
Wie oben erläutert, können das zweite Netzwerk, das dritte Netzwerk und das vierte Netzwerk gebildet sein als neuronale Netzwerke, die sich bezüglich der Parameter, der Formung einer Schicht und dergleichen unterscheiden in Abhängigkeit von dem Wert der physikalischen Größe, die zu gewinnen ist, und sie können entsprechend den Werten der physikalischen Größe trainiert werden.
Der Vorhersager 20 für den Wert der physikalischen Eigenschaft verarbeitet in passender Weise den Ausgang aus dem vierten Netzwerk auf Basis des zu gewinnenden Wertes der physikalischen Eigenschaft und gibt das Ergebnis aus. Soll beispielsweise die Gesamtenergie ermittelt werden, wobei die Energie für jedes Atom mit dem vierten Netzwerk gewonnen wird, werden die Energien zusammengerechnet und ausgegeben. Auch im Falle des anderen Beispiels wird der aus dem vierten Netzwerk ausgegebene Wert in ähnlicher Weise einer passenden Verarbeitung bezüglich des Wertes der physikalischen Eigenschaft unterzogen, die zu gewinnen ist, und dies wird als Ausgangswert eingesetzt.
Der vom Vorhersager 20 für den Wert der physikalischen Eigenschaft über den Ausgang 22 ausgegebene Betrag wird nach außen abgegeben oder verbleibt im Inneren der Folgerungsvorrichtung 1.
6 ist ein Flussdiagramm zur Erläuterung des Prozesses in der Folgerungsvorrichtung 1 gemäß diesem Ausführungsbeispiel. Der gesamte Prozess der Folgerungsvorrichtung 1 wird anhand dieses Flussdiagramms erläutert. Die Erläuterung von Einzelheiten für jeden Schritt findet sich oben.
Zunächst nimmt die Folgerungsvorrichtung 1 gemäß diesem Ausführungsbeispiel Eingangsdaten über den Eingang 10 auf (S100). Die Informationen, die einzugeben sind, sind die Grenzbedingung bezüglich des Moleküls oder dergleichen, die Strukturinformationen bezüglich des Moleküls oder dergleichen und Informationen über die Atome, welche das Molekül oder dergleichen bilden. Die Grenzbedingung des Moleküls oder dergleichen und die Strukturinformationen bezüglich des Moleküls oder dergleichen können gegeben sein durch die Relativkoordinaten des Atoms.
Sodann generiert der Atommerkmalgewinner 14 das Merkmal jedes der Atome, welche das Molekül oder dergleichen bilden aus der eingegebenen Information bezüglich der Atome (S102). Wie oben erläutert, können die Merkmale verschiedener Atome im Voraus durch den Atommerkmalgewinner 14 generiert werden und in dem Speicher 12 oder dergleichen abgespeichert werden. In diesem Fall kann das Merkmal aus dem Speicher 12 entsprechend der Art des verwendeten Atoms ausgelesen werden. Der Atommerkmalgewinner 14 gibt die Informationen bezüglich des Atoms in das trainierte neuronale Netzwerk, welches in ihm enthalten ist, und gewinnt auf diese Weise das Merkmal des Atoms.
Sodann setzt der Eingangsinformationenzusammensetzer 16 Informationen zusammen zum Generieren der Grapheninformationen bezüglich des Moleküls oder dergleichen aus der eingegebenen Grenzbedingung und den Koordinaten und Merkmalen der Atome (S104). Beispielsweise generiert bei der Ausführung gemäß 3 der Eingangsinformationenzusammensetzer 16 Informationen, die die Struktur des Moleküls oder dergleichen beschreiben.
Sodann extrahiert der Strukturmerkmalextrahierer 18 das Merkmal der Struktur (S106). Die Extraktion des Merkmals der Struktur wird ausgeführt durch zwei Arten von Prozessen, wie einem Generierungsprozess für das Knotenmerkmal und das Edge-Merkmal bezüglich jedes Atoms des Moleküls oder dergleichen und durch einen Aktualisierungsprozess bezüglich des Knotenmerkmals und des Edge-Merkmals. Das Edge-Merkmal enthält Informationen bezüglich des zwischen zwei benachbarten Atomen geformten Winkels, wobei das fixierte Atom den Eckpunkt bildet. Das generierte Knotenmerkmal und das Edge-Merkmal werden als aktualisiertes Knotenmerkmal und aktualisiertes Edge-Merkmal über das trainierte neuronale Netzwerk extrahiert.
Sodann sagt der Vorhersager 20 für den Wert der physikalischen Eigenschaft den Wert der physikalischen Eigenschaft vorher auf Basis des aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals (S108). Der Vorhersager 20 für den Wert der physikalischen Eigenschaft gibt Informationen aus aufgrund des aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals durch das trainierte neuronale Netzwerk und sagt den Wert der physikalischen Eigenschaft voraus auf Basis der ausgegebenen Informationen.
Sodann gibt die Folgerungsvorrichtung 1 den gefolgerten Wert der physikalischen Eigenschaft nach außen aus oder auch in die Folgerungsvorrichtung 1 hinein, wobei der Ausgang 22 eingesetzt wird (S110). Im Ergebnis wird es möglich, den Wert der physikalischen Eigenschaft abzuleiten und auszugeben auf Basis von Informationen einschließlich Informationen bezüglich des Merkmals des Atoms im latenten Raum und der Winkelinformation zwischen benachbarten Atomen unter Berücksichtigung der Grenzbedingung bezüglich des Moleküls oder dergleichen.
Wie oben beschrieben, wird es mit diesem Ausführungsbeispiel möglich, den Wert der physikalischen Eigenschaft mit hoher Genauigkeit abzuleiten durch Extrahierung des aktualisierten Knotenmerkmals und des Edge-Merkmals einschließlich der Merkmale benachbarter Atome unter Einsatz der Graphendaten einschließlich des Knotenmerkmals, welches das Merkmal des Atoms enthält, und des Edge-Merkmals, welches die Winkelinformation enthält für den durch zwei benachbarte Atome (der Ausdruck „benachbart“ erfasst hier den Fall mit einem dazwischen liegenden Atom) gebildeten Winkel, wobei die Grenzbedingung, die Anordnung der Atome im Molekül oder dergleichen und das extrahierte Merkmal des Atoms berücksichtigt werden und der Wert der physikalischen Eigenschaft abgeleitet wird unter Einsatz des Extraktionsergebnisses. Da das Merkmal des Atoms, wie oben beschrieben, extrahiert wird, kann die gleiche Folgerungsvorrichtung 1 in einfacher Weise eingesetzt werden, auch wenn die Anzahl der Arten von Atomen ansteigt.
Bei diesem Ausführungsbeispiel werden differenzierbare Operationen kombiniert, um das Ausgangsergebnis zu gewinnen. Mit anderen Worten: es ist möglich, vom ausgegebenen Folgerungsergebnis zurückzugehen zu Informationen bezüglich eines jeden Atoms. Wird beispielsweise eine Gesamtenergie P in der Eingangsstruktur abgeleitet, kann die auf jedes Atom wirkende Kraft berechnet werden durch Berechnung der Differentiation der eingegebenen Koordinaten in der abgeleiteten Gesamtenergie P. Diese Differenzierung kann ausgeführt werden ohne Probleme, weil das neuronale Netzwerk eingesetzt wird und andere Operationen ebenfalls ausgeführt werden durch differenzierbare Operationen, wie weiter unten noch näher erläutert wird. Durch Gewinnung der auf jedes Atom wirkenden Kraft wird es möglich, eine strukturelle Relaxation mit hoher Geschwindigkeit unter Verwendung der Kräfte durchzuführen. Weiterhin wird es möglich, die DFT-Berechnung zu ersetzen durch eine Berechnung der Energie, beispielsweise unter Einsatz der Koordinaten, wie sie eingegeben sind, und einer automatischen Differenzierung N-ter Ordnung. Weiterhin ist es in ähnlicher Weise möglich, die Differenzialoperation auszuführen, die durch den Hamilton-Operator oder dergleichen ausdrückbar ist aufgrund des Ausgangs der Folgerungsvorrichtung 1, wobei die Analyse unterschiedlicher physikalischer Eigenschaften mit hoher Geschwindigkeit ausgeführt werden kann.
Der Einsatz der Folgerungsvorrichtung 1 ermöglicht die Ausführung einer Untersuchung eines Materials mit einer gewünschten physikalischen Eigenschaft bei unterschiedlichen Molekülen oder dergleichen, insbesondere Molekülen oder dergleichen mit unterschiedlichen Strukturen, Molekülen oder dergleichen mit unterschiedlichen Atomen. Beispielsweise ist es möglich, nach einem Katalysator zu forschen, der eine hohe Reaktivität aufweist bezüglich einer bestimmten Verbindung.
(Trainingsvorrichtung)
Eine Trainingsvorrichtung gemäß diesem Ausführungsbeispiel trainiert die oben erläuterte Folgerungsvorrichtung 1. Die Trainingsvorrichtung trainiert insbesondere die neuronalen Netzwerke, die vorgesehen sind in dem Atommerkmalgewinner 14, dem Strukturmerkmalextrahierer 18 und in dem Vorhersager 20 für den Wert der physikalischen Eigenschaft in der Folgerungsvorrichtung 1.
Training bedeutet die Generierung eines Modells mit einer Struktur wie ein neuronales Netzwerk oder dergleichen, welches auf eine Eingabe eine passende Ausgabe liefert.
7 ist ein Beispiel eines Blockdiagramms einer Trainingsvorrichtung 2 gemäß diesem Ausführungsbeispiel. Die Trainingsvorrichtung 2 hat einen Fehlerrechner 24 und einen Parameteraktualisierer 26, zusätzlich zu dem Atommerkmalgewinner 14, dem Eingangsinformationenzusammensetzer 16, dem Strukturmerkmalextrahierer 18 und dem Vorhersager 20 für den Wert der physikalischen Eigenschaft oder Größe, wobei alle diese Einrichtungen in der Folgerungsvorrichtung 1 enthalten sind. Der Eingang 10, der Speicher 12 und der Ausgang 22 können zur Folgerungsvorrichtung 1 gehören oder sie können zur Trainingsvorrichtung 2 gehören. Eine detaillierte Erläuterung von Komponenten, die auch zur Folgerungsvorrichtung 1 gehören, kann weggelassen werden.
Der durch eine durchgezogene Linie dargestellte Ablauf betrifft eine Verarbeitung mit Forward Propagation („Vorwärtsablauf“, „Vorwärtspropagation“) und der mit gestrichelter Linie dargestellte Ablauf ist eine Verarbeitung in Backward Propagation („Rückwärtsablauf“, „Rückwärtspropagation“).
Die Trainingsvorrichtung 2 empfängt über den Eingang 10 Trainingsdaten. Die Trainingsdaten sind Ausgangsdaten, und werden hier Eingangsdaten und Lehrdaten.
Der Fehlerrechner 24 berechnet einen Fehler (eine Abweichung) zwischen den Lehrdaten im Atommerkmalgewinner 14, Strukturmerkmalextrahierer 18 und im Vorhersager 20 für den Wert der physikalischen Eigenschaft und den Ausgang eines jeden neuronalen Netzwerkes. Die Verfahren zum Berechnen des Fehlers bezüglich der neuronalen Netzwerke sind nicht auf eine gleiche Operation eingeschränkt; sie können vielmehr passend gewählt werden entsprechend den Parametern, die die jeweiligen aktualisierten Objekte oder Netzwerkzusammenstellungen sind.
Der Parameteraktualisierer 26 führt den Fehler in jedem neuronalen Netzwerk zurück entsprechend dem mit dem Fehlerrechner 24 berechneten Fehler zum Aktualisieren des Parameters des neuronalen Netzwerkes. Der Parameteraktualisierer 26 kann einen Vergleich ausführen mit den Lehrdaten über alle neuronale Netzwerke oder er kann die Parameter aktualisieren unter Verwendung der Lehrdaten für jedes einzelne neuronale Netzwerk.
Jedes der oben erläuterten Module der Folgerungsvorrichtung 1 kann gebildet sein durch eine differenzierbare Operation. Deshalb ist es möglich, den Gradienten in der Reihenfolge des Vorhersagers 20 für den Wert der physikalischen Eigenschaft, des Strukturmerkmalextrahierers 18, des Eingangsinformationenzusammensetzers 16 und des Atommerkmalgewinners 14 zu berechnen und den Fehler zweckmäßig an einer vom neuronalen Netzwerk verschiedenen Stelle rückzuführen.
Wird beispielsweise die Gesamtenergie als Wert der physikalischen Eigenschaft abgeleitet, ist es möglich, die Gesamtenergie P auszudrücken mit P = Σ_i F_i(x_i, y_i, z_i, A_i), wobei (x_i, y_i, z_i) die Koordinaten (Relativkoordinaten) des i-ten Atoms und A das Merkmal des Atoms sind. In diesem Falle kann der Differenzialwert dP/dx_i oder dergleichen für alle Atome definiert werden, wodurch es möglich ist, die Fehlerrückführung vom Ausgang zum Eingang durchzuführen für die Berechnung des Merkmals des Atoms.
Bei einem anderen Beispiel können die Module einzeln optimiert werden. Beispielsweise kann das erste Netzwerk im Atommerkmalgewinner 14 generiert werden durch Optimierung des neuronalen Netzwerkes, welches eingerichtet ist zum Extrahieren des Wertes der physikalischen Eigenschaft aus dem One-Hot-Vektor unter Verwendung eines Identifizierers des Atoms und des Wertes der physikalischen Eigenschaft. Nachfolgend wird die Optimierung der Netzwerke näher erläutert.
(Atommerkmalgewinner 14)
Das erste Netzwerk des Atommerkmalgewinners 14 kann trainiert werden zum Ausgeben eines charakteristischen Wertes, beispielsweise bei Empfang des Identifizierers des Atoms oder des One-Hot-Vektors. Das neuronale Netzwerk kann beispielsweise den sogenannten Variational Encoder Decoder auf Basis des VAE einsetzen, wie oben erläutert.
8 ist ein Beispiel für die Struktur eines Netzwerkes zum Einsatz beim Training des ersten Netzwerkes. Beispielsweise kann das erste Netzwerk 146 einen Codierer 142 einsetzen als Teil des Variational Encoder Decoder, der also den Codierer 142 und einen Decodierer 144 enthält.
Der Codierer 142 ist ein neuronales Netzwerk, welches für jede Art von Atom das Merkmal in latentem Raum ausgibt und es ist das erste Netzwerk, welches in der Folgerungsvorrichtung 1 verwendet wird.
Der Decodierer 144 ist ein neuronales Netzwerk, welches den Wert der physikalischen Eigenschaft ausgibt bei Empfang einer Eingabe des Vektors im latenten Raum, ausgegeben vom Codierer 142. Durch den Anschluss des Decodierers 144 hinter dem Codierer 142 und durch die Ausführung des überwachten Lernens wird es möglich, das Training des Codierers 142 auszuführen.
Wie oben erläutert, wird in das erste Netzwerk 146 der One-Hot-Vektor eingegeben, der die Eigenschaft des Atoms angibt. Der One-Hot-Vektor-Generator 140 kann bei Empfang der Atom-Ordnungszahl oder dergleichen oder des Wertes, welcher die Eigenschaft eines jeden Atoms angibt, den One-Hot-Vektor generieren, wie oben erläutert.
Die als Lehrdaten einzusetzenden Daten sind beispielsweise verschiedene Werte der physikalischen Eigenschaft. Die Werte der physikalischen Eigenschaft können beispielsweise gewonnen werden aus chronologischen wissenschaftlichen Tabellen oder dergleichen.
9 zeigt mit einer Tabelle Beispiele für die Werte der physikalischen Eigenschaft. Beispielsweise werden Eigenschaften des in der Tabelle aufgeführten Atoms verwendet als Lehrdaten zur Ausgabe aus dem Decodierer 144.
Die in der Tabelle in Klammern stehenden Daten werden ermittelt durch Verfahren, die ebenfalls in Klammern angeführt sind. Bezüglich der Ionenradien werden die erste bis die vierte Koordination verwendet. Als konkrete Beispiele sind die Ionenradien gemäß der zweiten, dritten, vierten und sechsten Koordination für Sauerstoff aufgelistet.
Das den Codierer 142 und den Decodierer 144 gemäß 8 enthaltende neuronale Netzwerk führt bei Empfang des ein Atom kennzeichnenden One-Hot-Vektors eine Optimierung aus zur Ausgabe von beispielsweise den Eigenschaften, wie sie in 9 aufgeführt sind. Diese Optimierung wird ausgeführt durch den Fehlerrechner 24, der die Abweichung zwischen dem Ausgangswert und den Lehrdaten berechnet, und dem Parameteraktualisierer 26, der die Rückpropagierung (Backward Propagation) entsprechend der Abweichung ausführt, um den Gradienten zu ermitteln und den Parameter zu aktualisieren. Durch Ausführung der Optimierung arbeitet der Codierer 142 als ein Netzwerk, welches den Vektor im latenten Raum aufgrund des One-Hot-Vektors ausgibt, und der Decodierer 144 arbeitet als Netzwerk, welches den Wert der physikalischen Eigenschaft aufgrund des Vektors im latenten Raum ausgibt.
Für die Aktualisierung der Parameter wird beispielsweise ein Variational Encoder Decoder (Variationscodierer/-decodierer) verwendet. Wie oben erläutert, kann auch das Verfahren mit Reparametrisierung eingesetzt werden.
Nach der Optimierung wird das den Codierer 142 bildende neuronale Netzwerk als erstes Netzwerk 146 eingesetzt und der Parameter für den Codierer 142 wird gewonnen. Der Wert, der auszugeben ist, kann ein Vektor z_µ gemäß 8 sein oder es kann sich um einen Wert handeln, der die Varianz σ² berücksichtigt. Gemäß einem weiteren Beispiel können sowohl z_µ als auch σ² ausgegeben werden, so dass sowohl z_µ als auch σ² in den Strukturmerkmalextrahierer 18 der Folgerungsvorrichtung 1 eingegeben werden. Bei Verwendung einer beliebigen Zahl kann beispielsweise eine vorgegebene Tabelle für beliebige Zahlen eingesetzt werden, so dass das Verfahren mit Rückpropagierung (Backpropagation) durchgeführt werden kann.
Die Werte der physikalischen Eigenschaft des Atoms, wie sie in der Tabelle gemäß 9 aufgeführt sind, sind Beispiele und es brauchen nicht alle Werte der physikalischen Eigenschaft eingesetzt werden; und es können auch andere Werte physikalischer Eigenschaften verwendet werden als die in der Tabelle aufgelisteten.
Werden verschiedene Werte der physikalischen Größe eingesetzt, dann kann es vorkommen, dass bestimmte Werte der physikalischen Eigenschaft nicht gegeben sind, in Abhängigkeit von der Art des Atoms. Bei dem Wasserstoffatom zum Beispiel gibt es keine zweite Ionisierungsenergie. In diesem Fall kann die Optimierung des Netzwerkes ausgeführt werden unter der Bedingung, dass ein solcher Wert nicht existiert. Auch wenn ein derartiger Wert nicht existiert ist es möglich, das neuronale Netzwerk zu generieren, welches die Werte der physikalischen Eigenschaft ausgibt. Auch wenn nicht alle der oben genannten Werte physikalischer Eigenschaften eingegeben werden können, kann der Atommerkmalgewinner 14 gemäß diesem Ausführungsbeispiel das Merkmal für das Atom generieren.
Durch die Generierung des ersten Netzwerkes 146, wie oben beschrieben, wird der One-Hot-Vektor im kontinuierlichen Raum eingeordnet, so dass die hinsichtlich der Eigenschaft nahe beieinanderliegenden Atome so transferiert werden, dass sie im latenten Raum nahe beieinanderliegen, während die bezüglich der Eigenschaft erheblich verschiedenen Atome so transferiert werden, dass sie im latenten Raum voneinander entfernt sind. Für die dazwischenliegenden Atome können die Ergebnisse ausgegeben werden durch Interpolation, auch wenn ihre Eigenschaften nicht in den Lehrdaten vorliegen. Auch wenn die Lehrdaten für einige Atome unvollständig sind, können die entsprechenden Merkmale abgeleitet werden.
Es ist auch möglich, den Atommerkmalvektor, wie er gemäß obiger Beschreibung extrahiert ist, in die Folgerungsvorrichtung 1 einzugeben. Auch wenn die Lerndatenmenge unzureichend ist oder für einige Atome das Training der Folgerungsvorrichtung 1 unzureichend ist, kann die Ableitung (Folgerung) ausgeführt werden durch Interpolation von atomaren Zwischenmerkmalen. Auch kann die für das Training erforderliche Datenmenge reduziert werden.
10 zeigt einige Beispiele, bei denen das mit dem Codierer 142 extrahierter Merkmal durch den Decodierer 144 decodiert ist. Eine durchgezogene Linie gibt den Wert der Lehrdaten und eine Linie mit Varianz bezüglich der Atom-Ordnungszahl gibt den Ausgangswert des Decodierers 144 an. Die Varianz entspricht dem Ausgangswert, der in den Decodierer 144 eingegeben wird mit einer Varianz in Bezug auf den Merkmalsvektor entsprechend dem Merkmalsausgang am Codierer 142.
Die Graphen zeigen Beispiele für den kovalenten Radius gemäß dem Verfahren Pyykko, den van der Waals Radius unter Verwendung des UFF-Verfahrens und die zweite Ionisierungsenergie, in abfallender Reihenfolge. Die horizontale Achse zeigt die Atom-Ordnungszahl und die vertikale Achse ist mit Einheiten skaliert, die für die gewählten Beispiele geeignet sind.
Der den kovalenten Radius angebende Graph zeigt, dass gute Werte in Bezug auf die Lehrdaten ausgegeben werden.
Es wird auch gezeigt, dass gute Werte ausgegeben werden bezüglich der Lehrdaten im Zusammenhang mit dem van der Waals Radius und der zweiten Ionisierungsenergie. Ab einer Atom-Ordnungszahl oberhalb von 100 weichen die Werte ab, weil solche Werte als Lehrdaten gegenwärtig nicht zu gewinnen sind, weshalb das Training ohne solche Lehrdaten ausgeführt wird. Zwar steigt die Abweichung in den Daten an, jedoch wird auch ein Wert auf einem bestimmten Pegel jeweils ausgegeben. Wie oben erläutert, wird angezeigt, dass die zweite Ionisierungsenergie für das Wasserstoffatom nicht existiert, jedoch als ein interpolierter Wert ausgegeben wird.
Es zeigt sich, dass der Einsatz der Lehrdaten bezüglich des Ausgangs aus dem Decodierer 144 es ermöglicht, den Merkmalsbetrag im latenten Raum im Codierer 142 genau zu ermitteln.
(Strukturmerkmalextrahierer 18)
Nunmehr wird das Training des zweiten Netzwerkes und des dritten Netzwerkes des Strukturmerkmalextrahierers 18 erläutert.
11 zeigt extrahierte Abschnitte bezüglich des neuronalen Netzwerkes des Strukturmerkmalextrahierers 18. Der Strukturmerkmalextrahierer 18 dieses Ausführungsbeispieles enthält einen Graphendatenextrahierer 180, ein zweites Netzwerk 182 und ein drittes Netzwerk 184.
Der Graphendatenextrahierer 180 extrahiert die Graphendaten, wie das Knotenmerkmal und das Edge-Merkmal aus den Daten bezüglich der Eingabestruktur des Moleküls oder dergleichen. Diese Extrahierung muss nicht trainiert werden, wenn sie durch ein Verfahren ausgeführt wird, welches regelbasiert ist und geeignet ist für eine inverse Transformation.
Es kann aber auch ein neuronales Netzwerk eingesetzt werden für die Extrahierung der Graphendaten, wobei das neuronale Netzwerk trainiert werden kann als ein solches mit dem zweiten Netzwerk 182, dem dritten Netzwerk 184 und dem vierten Netzwerk des Vorhersagers 20 für den Wert der physikalischen Eigenschaft.
Das zweite Netzwerk 182 aktualisiert bei Empfang des Merkmals des fixierten Atoms (Knotenmerkmal) und des Merkmals des benachbarten Atoms, welche vom Graphendatenextrahierer 180 ausgegeben werden, das Knotenmerkmal und gibt es aus. Für diese Aktualisierung kann das zweite Netzwerk 182 beispielsweise als neuronales Netzwerk ausgebildet sein, welches die Aktivierungsfunktion, das Pooling und die Stapelnormalisierung einsetzt unter Trennung der Faltungsschicht, der Stapelnormalisierung, des Gatters und weiterer Daten zum Transformieren des Tensors mit (n_site, edge_dim, n_nbr_comb, 2) Dimensionen in einen Tensor mit (n_site, site_dim, n_nbr_comb, 1) Dimensionen, woraufhin die Aktivierungsfunktion, das Pooling und die Stapelnormalisierung eingesetzt werden unter Trennung der Faltungsschicht, der Stapelnormalisierung, des Gatters und der anderen Daten für eine Transformation von (n_site, site_dim, n_nbr_comb, 1) Dimensionen in (n_site, site_dim, 1,1) Dimensionen und schließlich für eine Berechnung der Summe des eingegebenen Knotenmerkmals und des Ausgangs zum Aktualisieren des Knotenmerkmals über die Aktivierungsfunktion.
Das dritte Netzwerk 184 aktualisiert bei Empfang des Merkmals des benachbarten Atoms und des Edge-Merkmals, welche vom Graphendatenextrahierer 180 ausgegeben werden, das Edge-Merkmal und gibt es aus. Für diese Aktualisierung kann das dritte Netzwerk 184 beispielsweise ausgebildet sein als ein neuronales Netzwerk, welches die Aktivierungsfunktion, das Pooling und eine Stapelnormalisierung anwendet unter Separierung der Faltungsschicht, der Stapelnormalisierung, des Gatters sowie weiterer Daten zur Ausführung der Transformation, woraufhin die Aktivierungsfunktion, das Pooling und die Stapelnormalisierung eingesetzt werden unter Abtrennung der Faltungsschicht, der Stapelnormalisierung, des Gatters und weiterer Daten zur Ausführung der Transformation, woraufhin schließlich die Summe aus dem eingegebenen Edge-Merkmal und dem Ausgang berechnet wird zum Aktualisieren des Edge-Merkmals über die Aktivierungsfunktion. Bezüglich des Edge-Merkmals wird beispielsweise der Tensor mit den gleichen (n_site, site_dim, n_nbr_comb, 2) Dimensionen wie auf der Eingabeseite ausgegeben.
Das in obiger Weise gebildete neuronale Netzwerk kann Fehlerrückführung (Rückpropagierung) vom Ausgang zum Eingang ausführen, weil der Prozess in jeder Schicht ein differenzierbarer Prozess ist. Der obige Aufbau der Netzwerke ist nur beispielhaft und nicht einschränkend zu verstehen; der gezeigte Aufbau kann in passender Weise das Knotenmerkmal so aktualisieren, dass es in geeigneter Weise das Merkmal des benachbarten Atoms wiedergibt; es kann aber auch jeder Aufbau eingesetzt werden, solange die Operation in jeder Schicht im Wesentlichen differenzierbar ist. „Im Wesentlichen differenzierbar“ bedeutet, dass zusätzlich zum Fall der Differenzierbarkeit auch eine angenäherte Differenzierbarkeit erlaubt ist.
Der Fehlerrechner 24 berechnet eine Abweichung auf Basis des aktualisierten Knotenmerkmals, welches durch den Parameteraktualisierer 26 von dem Vorhersager 20 für den Wert der physikalischen Eigenschaft rückgeführt ist, und auf Basis des aktualisierten Knotenmerkmals, welches vom zweiten Netzwerk 182 ausgegeben ist. Der Parameteraktualisierer 26 aktualisiert den Parameter des zweiten Netzwerkes 182 unter Einsatz des Fehlers.
In ähnlicher Weise berechnet der Fehlerrechner 24 eine Abweichung auf Basis des aktualisierten Edge-Merkmals, welches durch den Parameteraktualisierer 26 vom Vorhersager 20 für den Wert der physikalischen Eigenschaft rückgeführt (rückpropagiert) ist, und des aktualisierten Edge-Merkmals, welches vom dritten Netzwerk 184 ausgegeben ist. Der Parameteraktualisierer 26 aktualisiert den Parameter des dritten Netzwerkes 184 unter Verwendung dieses Fehlers.
Wie oben erläutert, werden die neuronalen Netzwerke in dem Strukturmerkmalextrahierer 18 einem Training unterzogen, zusammen mit dem Training des Parameters des neuronalen Netzwerkes, welches in dem Vorhersager 20 für den Wert der physikalischen Größe vorgesehen ist.
(Vorhersager 20 für den Wert der physikalischen Eigenschaft)
Das im Vorhersager 20 für den Wert der physikalischen Eigenschaft vorgesehene vierte Netzwerk gibt den Wert der physikalischen Eigenschaft aus bei Empfang des aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals, welche vom Strukturmerkmalextrahierer 18 ausgegeben werden. Das vierte Netzwerk enthält beispielsweise eine MLP-Struktur oder dergleichen.
Das vierte Netzwerk kann mit dem gleichen Verfahren trainiert werden wie sie zum Training mit dem MLP-Verfahren oder dergleichen üblicherweise verwendet werden. Der anzusetzende Verlust ist beispielsweise ein mittlerer absoluter Fehler (MAE), ein mittlerer quadratischer Fehler (MSE) oder dergleichen. Dieser Fehler wird rückgeführt zum Eingang des Strukturmerkmalextrahierers 18 zur Ausführung des Trainings des zweiten Netzwerkes, des dritten Netzwerkes und des vierten Netzwerkes, wie oben erläutert ist.
Das vierte Netzwerk kann in unterschiedlicher Weise vorgesehen sein, in Abhängigkeit vom Wert der physikalischen Eigenschaft, die zu gewinnen ist (Ausgang). Mit anderen Worten: die Ausgangswerte des zweiten Netzwerkes, des dritten Netzwerkes und des vierten Netzwerkes können verschieden sein, entsprechend den zu ermittelnden Werten der physikalischen Eigenschaft. Deshalb kann das vierte Netzwerk in passender Form bereitgestellt werden oder es kann trainiert werden auf Basis der zu gewinnenden Werte der physikalischen Eigenschaft.
Für die Parameter des zweiten Netzwerkes und des dritten Netzwerkes können Parameter als Anfangswerte eingesetzt werden, die bereits trainiert worden sind oder die optimiert worden sind zum Ermitteln weiterer Werte der physikalischen Eigenschaft. Auch können mehrere Werte für die physikalische Eigenschaft, die über das vierte Netzwerk auszugeben sind, eingestellt werden, wobei das Training gleichzeitig ausgeführt werden kann unter Verwendung mehrerer Werte der physikalischen Eigenschaft als Lehrdaten.
Als weiteres Beispiel kann das erste Netzwerk auch trainiert werden durch Rückpropagierung zum Atommerkmalgewinner 14. Das erste Netzwerk muss nicht in Kombination mit den anderen Netzwerken vom Anfang des Trainings des vierten Netzwerkes an trainiert werden, sondern kann einem Transfer-Lernprozess unterzogen werden durch Voraustraining durch das oben erläuterte Trainingsverfahren (beispielsweise dem Variationscodierer/-decodierer unter Verwendung der Reparametrisierung) bezüglich des Atommerkmalgewinners 14, woraufhin die Rückpropagierung vom vierten Netzwerk durch das dritte Netzwerk und das zweite Netzwerk zum ersten Netzwerk erfolgt. Dies ermöglicht, in einfacher Weise eine Folgerungsvorrichtung zu erhalten, die in der Lage ist, die Folgerungsergebnisse wie gewünscht zu gewinnen.
Die so gewonnene Folgerungsvorrichtung 1 mit dem neuronalen Netzwerk ist in der Lage, die Rückpropagierung vom Ausgang zum Eingang durchzuführen. Mit anderen Worten: es ist möglich, die Ausgangsdaten durch eine Variable der Eingangsdaten zu differenzieren. Damit wiederum wird es möglich, zu erkennen, wie sich der Wert der physikalischen Eigenschaft, der aus dem vierten Netzwerk ausgegeben wird, durch Änderung der eingegebenen Koordinaten des Atoms ändert. Ist beispielsweise der Wert der physikalischen Eigenschaft das Potential, dann entspricht eine Positionsdifferenzierung der auf jedes Atom wirkenden Kraft. Dies ermöglicht auch die Durchführung einer Optimierung mit einer Minimierung der Energie der Struktur des eingegebenen Folgerungsobjektes.
Das Training eines jeden der oben erläuterten neuronalen Netzwerke wird ausgeführt, wie oben im Detail beschrieben ist und für das Gesamttraining kann allgemein ein bekanntes Trainingsverfahren eingesetzt werden. Beispielsweise können die Verlustfunktion, die Optimierungstechnik und die Lerntechnik, wie das Stapel-Lernverfahren, das Mini-Stapel-Lernverfahren und das Online-Lernen, in jeweils passender Weise eingesetzt werden.
12 ist ein Flussdiagramm zur Erläuterung des Gesamttrainingsprozesses.
Die Trainingsvorrichtung 2 trainiert zunächst das erste Netzwerk (S200).
Anschließend trainiert die Trainingsvorrichtung 2 das zweite Netzwerk, das dritte Netzwerk und das vierte Netzwerk (S210). Die Trainingsvorrichtung 2 kann auch das erste Netzwerk zu dieser Zeit trainieren, wie oben erläutert.
Ist das Training beendet, gibt die Trainingsvorrichtung 2 den Parameter für jedes der trainierten Netzwerke über den Ausgang 22 aus. Dabei erfolgt die Ausgabe des Parameters nach innen, wie eine Speicherung des Parameters im Speicher 12 in der Trainingsvorrichtung 2 oder dergleichen, und eine Ausgabe des Parameters nach außen in Bezug auf die Trainingsvorrichtung 2.
13 ist ein Flussdiagramm zur Erläuterung des Verfahrens des Trainings des ersten Netzwerkes (S200 in 12).
Zunächst nimmt die Trainingsvorrichtung 2 die Eingangsdaten auf, die eingesetzt werden zum Training, wobei die Aufnahme über den Eingang 10 erfolgt (S2000). Die Eingangsdaten werden, je nach Bedarf, in dem Speicher 12 abgelegt. Die für das Training des ersten Netzwerkes erforderlichen Daten entsprechen einem Vektor, wiederum entsprechend einem Atom, also Informationen bezüglich der Generierung des One-Hot-Vektors bei diesem Beispiel, und einem Betrag, welcher die Eigenschaft eines Atomes angibt entsprechend dem vorstehend gennannten Atom (beispielsweise die Masse des Atoms). Der die Eigenschaft des Atoms angebende Betrag ist beispielsweise derjenige, der in 9 genannt ist. Auch kann der dem Atom entsprechende One-Hot-Vektor selbst eingegeben werden.
Sodann generiert die Trainingsvorrichtung 2 einen One-Hot-Vektor (S2002). Dieser Prozess ist nicht erforderlich, wenn der One-Hot-Vektor im Schritt S2000 eingegeben wird. In anderen Fällen wird der One-Hot-Vektor entsprechend dem Atom generiert auf Basis der Informationen, die in den One-Hot-Vektor zu transformieren sind, wie der Protonenanzahl.
Sodann propagiert die Trainingsvorrichtung 2 den generierten oder eingegebenen One-Hot-Vektor vorwärts zum neuronalen Netzwerk, wie es in 8 dargestellt ist (S2004). Der One-Hot-Vektor entsprechend dem Atom wird über den Codierer 142 und den Decodierer 144 in einen Wert der physikalischen Eigenschaft transformiert.
Sodann berechnet der Fehlerrechner 24 eine Abweichung zwischen dem Wert der physikalischen Eigenschaft, wie er vom Decodierer 144 ausgegeben ist, und dem Wert der physikalischen Eigenschaft, wie er von wissenschaftlichen Tabellen oder dergleichen gewonnen worden ist (S2006).
Sodann propagiert der Parameteraktualisierer 26 den berechneten Fehler rückwärts zum Aktualisieren des Parameters (S2008). Die Fehler-Rückpropagierung wird ausgeführt bis zu dem One-Hot-Vektor, also der Eingabe des Codierers.
Sodann ermittelt der Parameteraktualisierer 26, ob das Training beendet ist oder nicht (S2010). Diese Ermittlung wird durchgeführt entsprechend einer vorgegebenen Endbedingung für das Training, beispielsweise bei Ablauf einer vorgegebenen Anzahl von Epochen, der Sicherstellung einer vorgegebenen Genauigkeit oder dergleichen. Das Training kann beispielsweise ausgeführt werden durch das sogenannte Batch-Lernen oder das sogenannte Mini-Batch-Lernen.
Ist das Training noch nicht beendet (S2010: NEIN), werden die Schritte von S2004 bis S2008 wiederholt. Bei Einsatz des Mini-Batch-Lernens kann der Prozess unter Änderung der einzusetzenden Daten wiederholt werden.
Ist das Training beendet (S2010: JA), gibt die Trainingsvorrichtung 2 den Parameter über den Ausgang 22 (S2012) aus und der Prozess ist beendet. Bei dem Ausgang kann es sich um den Parameter bezüglich des Codierers 142 handeln, also den Parameter bezüglich des ersten Netzwerkes 146, oder es kann der Parameter zusammen mit dem Parameter des Decodierers 144 ausgegeben werden. Das erste Netzwerk transformiert den One-Hot-Vektor mit den Dimensionen gemäß 10² in einen Vektor, der das Merkmal im latenten Raum angibt, beispielsweise in 16 Dimensionen.
14 zeigt das Folgerungsergebnis bezüglich der Energie des Moleküls oder dergleichen durch den Strukturmerkmalextrahierer 18 und den Vorhersager 20 für den Wert der physikalischen Eigenschaft, die trainiert sind entsprechend dem Ausgang des ersten Netzwerkes als Eingang, und es ist das Folgerungsergebnis bezüglich der Energie des Moleküls oder dergleichen dargestellt unter Einsatz des Strukturmerkmalextrahierers 18 und des Vorhersagers 20 für den Wert der physikalischen Eigenschaft entsprechend diesem Ausführungsbeispiel bei einem Training, bei dem der Ausgang bezüglich des Atommerkmals vergleichsweise untersucht ist (CGCNN: Crystal Graph Convolutional Networks, https://arxiv.org/abs/1710.10324v2) als Eingabe.
Der linke Graph entspricht dem Vergleichsbeispiel und der rechte Graph entspricht dem ersten Netzwerk bei dieser Ausführung. Diese Graphen geben die Werte an, die gewonnen werden mit dem DFT-Verfahren auf der horizontalen Achse und die durch die jeweiligen Verfahren abgeschätzten Werte sind auf der vertikalen Achse angegeben. Kurz gesagt, liegen im Idealfall alle Werte auf der Diagonalen von unten links nach oben rechts, wobei die Abweichungen einen Verlust an Genauigkeit anzeigen.
Diese Graphen zeigen, dass der Wert der physikalischen Eigenschaft bei geringeren Abweichungen von der Diagonallinie mit höherer Genauigkeit ausgegeben wird, also mit höherer Genauigkeit bezüglich des Atommerkmals (Vektor im latenten Raum), verglichen mit dem Vergleichsbeispiel. Die jeweiligen MAE sind 0,031 beim Ausführungsbeispiel und 0,045 beim Vergleichsbeispiel.
Nunmehr wird ein Beispiel für den Prozess des Trainings der zweiten bis vierten Netzwerke näher erläutert. 15 ist ein Flussdiagramm zur Erläuterung eines Beispieles des Prozesses zum Trainieren des zweiten Netzwerkes, des dritten Netzwerkes und des vierten Netzwerkes (S210 in 12).
Zunächst gewinnt die Trainingsvorrichtung 2 das Merkmal des Atoms (S2100). Diese Akquisition kann jedes Mal ausgeführt werden durch das erste Netzwerk oder sie kann ausgeführt werden durch Abspeicherung des Merkmals für jedes Atom im Voraus im Speicher 12 und durch Auslesen der Daten.
Sodann transformiert die Trainingsvorrichtung 2 das Merkmal des Atoms über den Graphendatenextrahierer 180 des Strukturmerkmalextrahierers 18 in Graphendaten und gibt die Graphendaten in das zweite Netzwerk und das dritte Netzwerk. Das aktualisierte Knotenmerkmal und das aktualisierte Edge-Merkmal, die durch die Vorwärtspropagation gewonnen sind, werden in das vierte Netzwerk nach einer gegebenenfalls vorgesehenen Verarbeitung eingegeben, wodurch sie vorwärts durch das vierte Netzwerk propagiert werden (S2102).
Sodann berechnet der Fehlerrechner 24 die Abweichung zwischen dem Ausgang des vierten Netzwerkes und den Lehrdaten (S2104).
Sodann propagiert der Parameteraktualisierer 26 den mit dem Fehlerrechner 24 berechneten Fehler rückwärts zum Aktualisieren des Parameters (S2106).
Sodann ermittelt der Parameteraktualisierer 26, ob das Training beendet ist (S2108) und dann, wenn das Training noch nicht beendet ist (S2018: NEIN), werden die Prozessschritte S2102 bis S2106 wiederholt, während dann, wenn das Training beendet ist (S2108: JA), der optimierte Parameter ausgegeben wird und der Prozess beendet wird (S2110).
Wird das erste Netzwerk trainiert unter Verwendung des sogenannten Transfer-Lernens, dann wird der Prozess gemäß 15 nach dem Prozess gemäß 13 ausgeführt. Bei Ausführung des Prozesses nach 15 sind die in Schritt S2100 zu gewinnenden Daten die Daten bezüglich des One-Hot-Vektors. Sodann werden in Schritt S2102 die Daten vorwärts durch das erste Netzwerk propagiert, sowie durch das zweite Netzwerk und das dritte Netzwerk und das vierte Netzwerk. Dabei erfolgen die erforderlichen Verarbeitungen, beispielsweise die Verarbeitung der eingegebenen Daten durch den Zusammensetzer 16. Sodann werden die Prozessschritte S2104 und S2106 ausgeführt zum Optimieren des Parameters. Zum Aktualisieren auf der Eingangsseite werden der One-Hot-Vektor und der rückwärts propagierte Fehler eingesetzt. Wie oben erläutert, kann durch erneutes Lernen des ersten Netzwerkes der Vektor im latenten Raum, wie er durch das erste Netzwerk gewonnen wird, optimiert werden auf Basis des Wertes der physikalischen Eigenschaft, der letztlich zu gewinnen ist.
16 zeigt Beispiele, bei denen Werte, die mit diesem Ausführungsbeispiel abgeleitet wurden, und Werte, die mit dem oben genannten Vergleichsbeispiel gewonnen wurden, für den gleichen physikalischen Eigenschaftswert, verglichen werden. Die linke Seite zeigt Werte des Vergleichsbeispiels und die rechte Seite zeigt Werte gemäß diesem Ausführungsbeispiel. Die horizontale Achse und die vertikale Achse entsprechen jeweils denen gemäß 14.
Die Darstellungen zeigen, dass die Abweichungen in den Werten gemäß diesem Ausführungsbeispiel klein ist im Vergleich mit den Werten des Vergleichsbeispiels und dass die Werte der physikalischen Eigenschaft nahe den Ergebnissen der DFT (Dichtefunktionaltheorie) liegen.
Dementsprechend ist es bei diesem Ausführungsbeispiel mit der Trainingsvorrichtung 2 möglich, das Merkmal der Eigenschaft (Wert der physikalischen Eigenschaft), wie des Atoms, als einen Vektor niedriger Dimension zu gewinnen und die Ableitung mit hoher Genauigkeit durch maschinelles Lernen auszuführen durch Transformation des gewonnenen Merkmals des Atoms in Graphendaten einschließlich der Winkelinformationen und durch Eingabe derselben in das neuronale Netzwerk.
Bei diesem Training sind die Architekturen der Merkmalsextrahierung und der Vorhersage des Wertes der physikalischen Eigenschaft einander entsprechend, so dass bei Erhöhung der Anzahl von Arten von Atomen die Menge der Lerndaten reduziert werden kann. Da die Atomkoordinaten und die Koordinaten des benachbarten Atoms für jedes Atom nur in die Eingangsdaten aufzunehmen sind, können diese Koordinaten eingesetzt werden bei unterschiedlichen Formen des Moleküls, des Kristalls oder dergleichen.
Die Folgerungsvorrichtung 1, trainiert durch die Trainingsvorrichtung 2, kann mit hoher Geschwindigkeit den Wert der physikalischen Eigenschaft ableiten, wie die Energie oder dergleichen des Systems unter Einsatz einer beliebigen Atomanordnung, wie eines Moleküls eines Kristalls, wie Molekül, Molekül und Molekül, Molekül und Kristall, Kristalloberfläche oder dergleichen, jeweils als Eingang. Weiterhin kann der Wert der physikalischen Eigenschaft örtlich differenziert werden und deshalb kann die Kraft oder dergleichen, die auf jedes Atom wirkt, in einfacher Weise berechnet werden. Bezüglich der Energie werden bisher verschiedene Rechnungen für den Wert der physikalischen Eigenschaft eingesetzt, wie sogenannte First-Principles-Berechnungen (grundlegende Berechnungen), welche enorme Rechenzeiten erfordern, jedoch werden hier die Energieberechnungen ausgeführt werden mit sehr hoher Geschwindigkeit durch Vorwärtspropagierung durch das trainierte Netzwerk.
Im Ergebnis kann beispielsweise die Struktur optimiert werden zum Minimieren der Energie und die Eigenschaftsberechnung für unterschiedliche Substanzen kann hinsichtlich der Geschwindigkeit auf Basis der Energie oder der differenzierten Kraft verbessert werden durch Zusammenwirken mit einem Simulationswerkzeug. Bei beispielsweise Molekülen oder dergleichen mit geänderter Atomanordnung kann die Energie mit hoher Geschwindigkeit abgeleitet werden nur durch Änderung der Koordinaten auf der Eingangsseite und Eingabe der geänderten Koordinaten in die Folgerungsvorrichtung 1 ohne Ausführung aufwändiger erneuter Rechenoperationen bezüglich der Energie. Im Ergebnis ist es möglich, in einfacher Weise Materialuntersuchungen in einem weiten Bereich durch Simulation durchzuführen.
Einige oder alle der obigen Vorrichtungen (Folgerungsvorrichtung 1 oder Trainingsvorrichtung 2) entsprechend obigen Ausführungsbeispielen können in Hardware konfiguriert sein oder auch in datenverarbeitender Software (Programm), welche beispielsweise durch eine CPU (zentrale Prozessoreinheit), eine GPU (Graphik-Prozessoreinheit) ausgeführt wird. Im Falle einer Datenverarbeitung mit Software ermöglicht die Software zumindest einige der obigen Funktionen jeder Vorrichtung und sie kann in einem nicht-flüchtigen Speichermedium abgespeichert werden (nicht-flüchtiges, computerlesbares Medium), wie in einer CD-ROM (kompakter Lesespeicher) oder in einem USB (Universal Serial Bus), wobei die Datenverarbeitung bezüglich der Software ausgeführt wird durch Laden der Software in einen Rechner. Auch kann die Software über ein Kommunikationsnetzwerk heruntergeladen werden. Auch können Teile oder die gesamte Software durch Schaltungen implementiert sein, wie durch einen ASIC (anwendungsspezifische integrierte Schaltung) oder eine FPGA (feldprogrammierbare Gatteranordnung), wobei die Datenverarbeitung der Software mit Hardware ausführbar ist.
Bei dem Speichermedium zum Speichern der Software kann es sich um ein entfernbares Speichermedium handeln, wie eine optische Disk, oder auch um ein fixiertes Speichermedium, wie eine Festplatte oder dergleichen. Das Speichermedium kann in dem Rechner vorgesehen sein (eine Hauptspeichereinrichtung oder eine Hilfsspeichereinrichtung) oder auch außerhalb des Rechners.
17 ist ein Blockdiagramm zur Erläuterung eines Beispiels einer Hardware-Konfiguration für jede Vorrichtung (Folgerungsvorrichtung 1 oder Trainingsvorrichtung 2) gemäß obigen Ausführungsbeispielen. Beispielsweise kann jede der Vorrichtungen implementiert sein durch einen Computer 7 mit einem Prozessor 71, einer Hauptspeichereinrichtung 72, einer Hilfsspeichereinrichtung 73, einer Netzwerk-Schnittstelle 74 und mit einer Vorrichtungsschnittstelle 75, welche über einen Bus 76 verbunden sind.
Der Computer 7 gemäß 17 kann mit jeder der Komponenten einzeln bestückt sein oder es können Komponenten gleicher Art in Mehrzahl vorgesehen sein. Zwar ist in 17 nur ein Rechner 7 dargestellt, jedoch kann die Software auch auf mehreren Rechnern installiert sein und jeder der mehreren Rechner kann das gleiche oder einen unterschiedlichen Teil der Software verarbeiten. In diesem Fall kann es sich um eine Form der verteilten Rechnungen handeln, wobei jeder der Computer mit den anderen Computern über beispielsweise eine Netzwerk-Schnittstelle 74 kommuniziert, um die Rechnungen auszuführen. Das heißt: jede Vorrichtung (die Folgerungsvorrichtung 1 oder die Trainingsvorrichtung 2) bei obigen Ausführungsbeispielen kann als ein System konfiguriert sein, bei dem ein Rechner oder mehrere Rechner die Befehle ausführen, die in einem oder in mehreren Speichern abgelegt sind, um die Funktionen zu ermöglichen. Jede Vorrichtung kann so konfiguriert sein, dass die von einem Anschluss übertragene Information durch einen oder durch mehrere Computer verarbeitet wird mit Hilfe beispielsweise einer Cloud, und die Ergebnisse der Verarbeitung werden zum Anschluss übertragen.
Verschiedene arithmetische Operationen jeder Vorrichtung (Folgerungsvorrichtung 1 oder Trainingsvorrichtung 2) bei obigen Ausführungsbeispielen können durch Teilverarbeitung ausgeführt werden unter Einsatz von einem oder mehreren Prozessoren oder unter Einsatz einer Mehrzahl von Computern über ein Netzwerk. Die verschiedenen arithmetischen Operationen können einer Mehrzahl von arithmetischen Kernen in den Prozessoren zugeordnet und parallel ausgeführt werden. Einige oder alle Prozesse, Einrichtungen oder dergleichen gemäß der vorliegenden Beschreibung können durch zumindest einen der Prozessoren oder eine der Speichereinrichtungen implementiert sein, die in einer Cloud vorgesehen sind, welche über ein Netzwerk mit dem Computer 7 kommuniziert. Somit kann jede Vorrichtung gemäß obigen Ausführungsbeispielen realisiert sein durch Parallelrechnung mittels eines oder mehrerer Computer.
Der Prozessor 71 kann eine elektronische Schaltung sein (wie beispielsweise ein Prozessor, eine Prozessschaltung, eine CPU, eine GPU, ein FPGA oder eine ASIC), welche zumindest die Steuerung des Computers oder der arithmetischen Rechnungen leisten. Der Prozessor 71 kann auch beispielsweise eine Mehrzweck-Prozessorschaltung sein, eine spezielle Prozessorschaltung für die auszuführenden spezifischen Operationen oder eine Halbleitervorrichtung mit sowohl einer Mehrzweck-Prozessorschaltung und einer speziellen Prozessorschaltung. Weiterhin kann der Prozessor 71 beispielsweise eine optische Schaltung beinhalten oder eine arithmetische Funktion auf Basis eines Quantenrechners.
Der Prozessor 71 kann die arithmetische Verarbeitung ausführen auf Basis von Daten und/oder eingegebener Software, wobei beispielsweise jede Vorrichtung der internen Konfiguration des Computers 7 eingesetzt wird, und die arithmetischen Ergebnisse und ein Steuersignal können beispielsweise ausgegeben werden an jede der Vorrichtungen. Der Prozessor 71 kann jede Komponente des Computers 7 steuern durch Ausführung beispielsweise eines Betriebssystems (OS).
Jede Vorrichtung (Folgerungsvorrichtung 1 oder Trainingsvorrichtung 2) bei obigen Ausführungsbeispielen kann durch einen oder mehrere Prozessoren 71 realisiert sein. Der Prozessor 71 kann auf eine oder mehrere elektronische Schaltungen auf einem Chip zurückgreifen oder er kann auf eine oder mehrere elektronische Schaltungen zurückgreifen, die auf zwei oder mehr Chips oder anderen Einrichtungen realisiert sind. Im Falle mehrerer elektronischer Schaltungen können die einzelnen elektronischen Schaltungen über Draht oder drahtlos kommunizieren.
Die Hauptspeichereinrichtung 72 kann beispielsweise Befehle speichern, die durch den Prozessor 71 auszuführen sind, oder auch verschiedene Daten und Informationen, die in der Hauptspeichereinrichtung 72 abgelegt sind, können durch den Prozessor 71 ausgelesen werden. Die Hilfsspeichereinrichtung 73 unterscheidet sich von der Hauptspeichereinrichtung 72. Diese Speichereinrichtungen sind elektronische Komponenten, die in der Lage sind, elektronische Informationen abzuspeichern, wobei es sich um Halbleiterspeicher handeln kann. Der Halbleiterspeicher kann entweder flüchtig oder nicht-flüchtig sein. Die Speichereinrichtung zum Speichern verschiedener Daten oder dergleichen in jeder der Vorrichtungen (Folgerungsvorrichtung 1 oder Trainingsvorrichtung 2) bei obigen Ausführungsbeispielen kann vorgesehen sein in Form der Hauptspeichereinrichtung 72 oder der Hilfsspeichereinrichtung 73, oder sie kann auch implementiert sein durch ein in den Prozessor 71 eingebautes Speichermedium. Beispielsweise können die Speicher 12 gemäß obigen Ausführungsbeispielen implementiert sein in der Hauptspeichereinrichtung 72 oder der Hilfsspeichereinrichtung 73.
Zumindest eine Speichereinrichtung (Speicher) und einer der Prozessoren, die mit zumindest einem der Speicher verbunden oder an ihn angeschlossen sind und zumindest einer der mehreren Prozessoren können an eine einzige Speichereinrichtung angeschlossen sein. Zumindest einer oder die mehreren Speicher können an einen einzigen Prozessor angeschlossen sein. Jede Vorrichtung kann eine Konfiguration beinhalten, bei der zumindest einer der mehreren Prozessoren an zumindest eine von mehreren Speichereinrichtungen angeschlossen ist. Eine solche Konfiguration kann implementiert sein durch eine Speichereinrichtung und einen Prozessor, der in einer Mehrzahl von Computern implementiert ist. Weiterhin kann jede Vorrichtung eine Konfiguration beinhalten, bei der eine Speichereinrichtung in einen Prozessor integriert ist (beispielsweise ein Cache-Speicher mit einem L1- Cache oder ein L2-Cache).
Die Netzwerk-Schnittstelle 74 verbindet mit einem Kommunikationsnetzwerk 8, über Draht oder drahtlos. Die Netzwerk-Schnittstelle 74 kann eine Schnittstelle sein, die kompatibel ist mit gegebenen Kommunikationsstandards. Mit der Netzwerk-Schnittstelle 74 können Daten mit einer externen Einrichtung 9A ausgetauscht werden, die über das Kommunikationsnetzwerk 8 angeschlossen ist.
Die externe Einrichtung 9A kann beispielsweise eine Kamera beinhalten, eine Bewegungsaufnahmeeinrichtung, einen externen Sensor, eine Ausgabeeinrichtung oder eine Eingabeeinrichtung. Eine externe Speichereinrichtung (externer Speicher), beispielsweise ein Netzwerkspeicher, kann in die externe Einrichtung 9A aufgenommen sein. Weiterhin kann es sich bei der externen Einrichtung 9A um jede Einrichtung handeln (die Folgerungsvorrichtung 1 oder die Trainingsvorrichtung 2), welche im Zusammenhang mit den obigen Ausführungsbeispielen beschrieben ist. Der Computer 7 kann empfangen und/oder übertragen einen Teil oder alle Prozessergebnisse, wobei die Übertragung über das Kommunikationsnetzwerk 8 erfolgt.
Die Vorrichtungsschnittstelle 75 ist beispielsweise ein USB, der direkt an die externe Einrichtung 9B angeschlossen ist. die externe Einrichtung 9B kann ein externes Speichermedium sein. Die Speichereinheit 12 bei obigen Ausführungsbeispielen kann durch den externen Speicher 9B realisiert sein.
Die externe Einrichtung 9B kann beispielsweise auch eine Ausgabeeinrichtung sein. Die Ausgabeeinrichtung kann beispielsweise sein eine Anzeigeeinrichtung, wie beispielsweise eine LCD (Flüssigkristallanzeige), eine CRT (Kathodenstrahlröhre), ein PDP (Plasmaanzeigeeinrichtung) oder eine organische EL (Elektrolumineszenz), ein Lautsprecher oder ein sogenannter Personalcomputer, ein Tablet oder ein Smartphone, wobei jedoch insoweit keine Einschränkung gegeben ist. Weiterhin kann es sich bei der externen Einrichtung 9B um eine Eingabeeinrichtung handeln. Die Eingabeeinrichtung kann beispielsweise beinhalten eine Tastatur, eine Maus, ein berührungsempfindliches Feld, ein Mikrofon, so dass eingegebene Daten zu einem Computer 7 übertragbar sind.
Die externe Einrichtung 9B kann beispielsweise ein HDD-Speicher sein.
In der vorliegenden Beschreibung (einschließlich der Ansprüche) beinhalten Formulierungen (und auch ähnliche Formulierungen), wie „zumindest eins von a, b und c“ oder „zumindest eins von a, b, oder c“ jegliche Kombinationen von a, b, d, a - b, a - c, b - c und a - b - c. Auch erfasst sind Kombinationen, bei denen irgendein Element mehrfach auftritt, wie beispielsweise a - a, a - b - b oder a - a - b -b - c - c. Weiter sind beispielsweise Hinzufügungen von weiteren Elementen, wie d zu a, b und/oder c erfasst, wie a - b - c - d.
In der vorliegenden Beschreibung (einschließlich der Ansprüche) werden Ausdrücke wie „eingegebene Daten“, „auf Basis von Daten“, „entsprechend Daten“, oder „in Übereinstimmung mit Daten“ (einschließlich ähnlicher Ausdrücke) eingesetzt und dies beinhaltet, es sei denn anderes ist ausdrücklich festgelegt, Fälle, bei denen die Daten selbst eingesetzt werden oder auch Fälle, wo die Daten in irgendeiner Weise verarbeitet sind (beispielsweise Rauschdaten, normierte Daten, Merkmalseigenschaften, die aus den Daten entnommen sind, oder Zwischenergebnisse bezüglich Daten). Wenn festgestellt ist, dass einige Ergebnisse gewonnen werden durch „Eingabe von Daten“, „auf Basis von Daten“, „entsprechend Daten“, „entsprechend diesen Daten“, dann enthält dies, es sei denn anderes ist ausdrücklich festgelegt, jegliche Fälle, in denen die Ergebnisse nur auf Basis dieser Daten gewonnen werden aber auch Ergebnisse, die gewonnen werden mit eingesetzten Faktoren, Bedingungen und/oder Zuständen oder dergleichen, die mit den Daten kombiniert werden. Ist festgestellt, dass „Daten ausgegeben werden/Datenausgang“ (einschließlich ähnlicher Ausdrücke), dann enthält dies, es sei denn anderes ist ausdrücklich festgestellt, auch Fälle, bei denen die Daten selbst als Ausgabe genutzt werden oder auch Fälle, wo die Daten in irgendeiner Weise verarbeitet sind (beispielsweise bezüglich Datenrauschen, Datennormalisierung, eines aus den Daten entnommenen Merkmals oder auch eine Zwischendarstellung von Daten).
In der vorliegenden Beschreibung (einschließlich der Ansprüche) werden Ausdrücke wie „angeschlossen (Anschluss)“ und „verbunden (Verbindung)“ verwendet und sie sind als nicht einschränkende Begriffe zu verstehen, welche alle nachfolgenden Varianten erfassen: „direkte Verbindung/Kopplung“, „indirekte Verbindung/Kopplung“, „elektrische Verbindung/Kopplung“, „Kommunikationsverbindung/Kopplung“, „operative Verbindung/Kopplung“, „physikalische Verbindung /Kopplung“ oder dergleichen. Die Begriffe sind dementsprechend in Abhängigkeit vom Kontext zu verstehen und jede Form einer Verbindung/Kopplung, welche nicht ausdrücklich oder unter den gegebenen Umständen auszuschließen ist, ist als im Begriff enthalten zu verstehen und die Interpretation muss in nicht ausschließender Weise erfolgen.
In der vorliegenden Beschreibung (einschließlich der Ansprüche) beinhaltet ein Ausdruck, wie „A ist eingerichtet für B“, dass eine körperliche Struktur gemäß A eine Konfiguration hat, welche eine Operation B ausführen kann, sei es durch eine permanente oder eine zeitweise Einstellung/Konfiguration von A zum Ausführen der Operation B. Ist das Element A beispielsweise ein Mehrzweckprozessor, dann kann der Prozessor eine Konfiguration haben, die in der Lage ist, die Operation B auszuführen und er kann auch konfiguriert sein zum momentanen Ausführen der Operation B durch Rückgriff auf ein permanentes oder nur zeitweise gegebenes Programm (Befehle). Ist das Element A ein spezieller Prozessor, eine arithmetische Schaltung für einen bestimmten Zweck oder dergleichen, dann kann die Schaltungsstruktur des Prozessors oder dergleichen implementiert sein zum tatsächlichen Ausführen der Operation B, unabhängig davon, ob Steuerbefehle und Daten tatsächlich eingesetzt sind.
In der vorliegenden Beschreibung (einschließlich der Ansprüche) ist dann, wenn eine Hardware mit mehreren Komponenten einen vorgegebenen Prozess ausführt, vorgesehen, dass die Hardware auch kooperieren kann zur Ausführung eines vorgegebenen Prozesses oder dass die gleiche Hardware alle vorgegebenen Prozesse ausführt. Das bedeutet, wenn beschrieben ist, dass „eine oder mehrere Hardwarekomponenten einen ersten Prozess ausführen und die eine oder die mehreren Hardwarekomponenten einen zweiten Prozess ausführen“ oder dergleichen, die Hardware, welche den ersten Prozess ausführt und die Hardware, welche den zweiten Prozess ausführt, dieselbe Hardware sein kann oder dass es sich auch um verschiedene Hardwarekomponenten handeln kann.
Wenn gemäß der vorliegenden Beschreibung (einschließlich der Ansprüche) mehrere Prozessoren mehrere Prozesse ausführen, dann kann jeder der Prozessoren unter den mehreren Prozessoren nur einen Teil der mehreren Prozesse ausführen, er kann alle der mehreren Prozesse ausführen oder er kann auch keinen der mehreren Prozesse ausführen, je nach Ausführung,
Wenn in der vorliegenden Beschreibung (einschließlich der Ansprüche) mehrere Speichereinrichtungen (Speicher) Daten speichern, dann kann eine einzelne Speichereinrichtung unter den mehreren Speichereinrichtungen nur einen Teil der Daten abspeichern oder sie kann alle Daten abspeichern oder sie kann auch überhaupt keine der Daten abspeichern, je nach Ausführung.
Wenn in der vorliegenden Beschreibung (einschließlich der Ansprüche) ein Begriff auf einen Einschluss oder eine Beziehung hinweist (beispielsweise „aufweisend/enthaltend“, „mit“, oder dergleichen), dann bedeutet dies einen sogenannten offenen Begriff, beinhaltet also auch einen Einschluss oder eine Beziehung zu einem Gegenstand, der verschieden ist von dem gerade mit dem Begriff angegebenen Gegenstand (Objekt). Ist der Gegenstand dieser Begriffe offen bezüglich der Menge oder ist auch nur eine einzige Anzahl angegeben (ein Ausdruck mit einem oder), dann ist der Begriff so zu verstehen, dass er nicht auf eine spezifische Zahl eingeschränkt ist.
Wenn in der vorliegenden Beschreibung (einschließlich der Ansprüche) ein Ausdruck, wie „ein oder mehr“, „zumindest ein“, oder dergleichen verwendet wird und wenn der Ausdruck dabei nicht eine Menge oder eine bestimmte Anzahl festlegt (zum Beispiel ein Ausdruck mit einem „ein“), dann ist dieser Ausdruck so zu verstehen, dass er nicht auf „ein einziges“ oder dergleichen eingeschränkt ist. Allgemein ist ein Ausdruck, der keine Menge oder eine bestimmte Anzahl vorgibt (ein Ausdruck mit einem Artikel „ein“ und dergleichen) so zu verstehen, dass er nicht auf eine bestimmte Anzahl eingeschränkt ist.
Wenn in der vorliegenden Beschreibung festgestellt ist, dass eine bestimmte Konfiguration eines Beispiels einen bestimmten Effekt (Vorteil/Ergebnis) bewirkt, dann ist dies so zu verstehen (es sei denn anderes ergibt sich aus dem Zusammenhang), dass der Effekt auch erreicht wird mit einem oder mit mehreren anderen Ausführungsbeispielen der Konfiguration. Es ist aber zu berücksichtigen, dass das Vorliegen oder das Fehlen eines derartigen Effektes im Allgemeinen von verschiedenen Faktoren, Bedingungen und/oder Zuständen etc. abhängt und dass ein solcher Effekt nicht immer durch die Konfiguration erreicht wird. Der Effekt wird bei einer Konfiguration gemäß den Ausführungsbeispielen erreicht, wenn verschiedene Faktoren, Bedingungen und/oder Zustände gegeben sind, jedoch wird der Effekt nicht immer erreicht bei der beanspruchten Erfindung, welche eine Konfiguration oder eine ähnliche Konfiguration definiert.
Wenn in der vorliegenden Beschreibung (einschließlich der Ansprüche) ein Begriff wie „Maximieren/Maximierung“ verwendet wird, so schließt dies die Ermittlung eines umfassenden Maximalwertes, die Ermittlung eines angenäherten Wertes für einen umfassenden Maximalwert, die Ermittlung eines lokalen Maximalwertes und die Ermittlung eines angenäherten Wertes für den lokalen Maximalwert ein und der Begriff ist entsprechend im Kontext zu verstehen. Eingeschlossen ist auch die Ermittlung von angenäherten Werten bezüglich derartiger Maximalwerte auf Basis von Wahrscheinlichkeiten oder heuristisch. In ähnlicher Weise umfasst die Verwendung des Begriffes „Minimieren“ die Ermittlung eines Gesamtminimalwertes, die Ermittlung eines angenäherten Gesamtminimalwertes, die Ermittlung eines lokalen Minimalwertes und die Ermittlung eines angenäherten Wertes für den lokalen Minimalwert und der Begriff ist zu verstehen in Abhängigkeit vom Kontext. Eingeschlossen ist auch das Ermitteln angenäherter Werte für solche Minimalwerte auf Basis von Wahrscheinlichkeiten oder heuristisch. Wird der Begriff „Optimieren“ verwendet, so ist dies in ähnlicher Weise zu verstehen als ein Auffinden eines Gesamtoptimalwertes, das Ermitteln eines angenäherten Gesamtoptimalwertes, das Ermitteln eines lokalen Optimalwertes und das Ermitteln eines angenäherten lokalen Optimalwertes und der Begriff ist in Abhängigkeit vom Kontext zu verstehen. Enthalten ist auch das Ermitteln eines angenäherten Wertes für derartige Optimalwerte, sei es auf Basis von Wahrscheinlichkeiten oder heuristisch.
Oben sind verschiedene Ausführungsbeispiele der vorliegenden Beschreibung näher beschrieben, jedoch ist die vorliegende Beschreibung nicht auf solche einzelnen Ausführungsbeispiele beschränkt, wie sie oben beschrieben sind. Verschiedene Hinzufügungen, Änderungen, Ersetzungen, teilweise Weglassungen etc. sind möglich in einem Ausmaß derart, dass sie nicht von der Grundidee und vom Zweck der vorliegenden Beschreibung abweichen, so wie es sich aus den Ansprüchen und den Äquivalenten derselben ergibt. Werden beispielsweise numerische Werte oder mathematische Gleichungen bei der Beschreibung obiger Ausführungsbeispiele verwendet, dann dienen sie erläuternden Zwecken und schränken den Umfang der vorliegenden Beschreibung nicht ein. Die Reihenfolge von Maßnahmen im Zusammenhang mit den Ausführungsbeispielen ist ebenfalls nur beispielhaft und schränkt den Umfang der vorliegenden Beschreibung nicht ein.
Bei den obigen Ausführungsbeispielen wird beispielsweise ein charakteristischer Wert abgeleitet (gefolgert) unter Verwendung des Merkmals des Atoms und Informationen, wie die Temperatur des Systems, der Druck, die Ladung im Gesamtsystem, der Spin des Gesamtsystems und so weiter können berücksichtigt werden. Derartige Informationen können beispielsweise eingegeben werden als Super-Knoten, der an jedem Knoten angeschlossen ist. In diesem Fall wird ein neuronales Netzwerk gebildet, welches in der Lage ist, eine Eingabe des Superknotens zu empfangen und dies ermöglicht die Ausgabe eines Energiewertes oder dergleichen unter Berücksichtigung von Informationen bezüglich der Temperatur oder dergleichen.
(Zusatz)
Jedes der obigen Ausführungsbeispiele kann in der nachfolgend beschriebenen Weise dargestellt werden, beispielsweise bei Verwirklichung als Programm.

(1) Ein Programm, welches bei Ausführung durch einen oder mehrere Prozessoren enthält:
- eine Eingabe eines Vektors bezüglich eines Atoms in ein erstes Netzwerk, welches ein Merkmal des Atoms in einem latenten Raum aus dem Vektor extrahiert; und
- Folgerung des Merkmals des Atoms in dem latenten Raum durch das erste Netzwerk.
(2) Programm, welches bei Ausführung durch einen oder mehrere Prozessoren enthält:
- eine Zusammensetzung einer Struktur von Atomen eines Objektes auf Basis von eingegebenen Koordinaten des Atoms, Merkmalen des Atoms und einer Grenzbedingung;
- Gewinnung einer Distanz zwischen Atomen und eines Winkels, der durch drei Atome gebildet wird, auf Basis der Struktur; und
- Aktualisierung eines Knotenmerkmals und eines Edge-Merkmals unter Verwendung des Merkmals des Atoms als Knotenmerkmal und unter Einsatz der Distanz und des Winkels als Edge-Merkmal zum Ableiten des Knotenmerkmals und des Edge-Merkmals.
- (3) Programm, welches bei Ausführung durch einen oder mehrere Prozessoren enthält:
  - Eingabe eines Vektors, der eine Eigenschaft eines Atoms, das in einem Objekt enthalten ist, angibt, in das erste Netzwerk gemäß einem der Ansprüche 1 bis 7, zum Extrahieren des Merkmals des Atoms in dem latenten Raum;
  - Zusammensetzung einer Struktur von Atomen des Objektes auf Basis von Koordinaten der Atome, extrahierten Merkmalen der Atome im latenten Raum und einer Grenzbedingung;
  - Eingabe eines Knotenmerkmals auf Basis des Merkmals des Atoms und der Struktur in das zweite Netzwerk gemäß einem der Ansprüche 10 bis 12 zum Gewinnen eines aktualisierten Knotenmerkmals;
  - Eingabe eines Edge-Merkmals auf Basis des Merkmals des Atoms und der Struktur in ein drittes Netzwerk gemäß einem der Ansprüche 13 bis 16 zum Gewinnen eines aktualisierten Edge-Merkmals; und
  - Eingabe des gewonnenen aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals in ein viertes Netzwerk, welches einen Wert einer physikalischen Eigenschaft ableitet aus einem Merkmal eines Knotens und einem Merkmal einer Edge zum Ermitteln des Wertes der physikalischen Eigenschaft des Objektes.
- (4) Programm, welches bei Ausführung durch einen oder mehrere Prozessoren enthält:
  - Eingabe eines Vektors bezüglich eines Atoms in ein erstes Netzwerk, welches ein Merkmal des Atoms in einem latenten Raum aus dem das Atom betreffenden Vektor extrahiert;
  - Eingabe des Merkmals des Atoms im latenten Raum in einen Decodierer, welcher bei Empfang der Eingabe des Merkmals des Atoms im latenten Raum einen Wert der physikalischen Eigenschaft des Atoms ausgibt zum Ableiten eines charakteristischen Wertes des Atoms;
  - wobei der eine oder die mehreren Prozessoren eine Abweichung berechnen zwischen dem abgeleiteten charakteristischen Wert des Atoms und Lehrdaten;
  - Rückpropagierung der berechneten Abweichung zum Aktualisieren des ersten Netzwerkes und des Decodierers; und
  - Ausgabe eines Parameters des ersten Netzwerkes.
- (5) Programm, welches bei Ausführung durch einen oder mehrere Prozessoren enthält:
  - Zusammensetzung einer Struktur von Atomen eines Objektes auf Basis von eingegebenen Koordinaten der Atome, Merkmalen der Atome und einer Grenzbedingung,
  - Gewinnung einer Distanz zwischen Atomen und eines Winkels, der durch drei Atome gebildet wird, auf Basis der Struktur;
  - Eingabe von Informationen auf Basis der Merkmale der Atome, der Distanz und des Winkels in ein zweites Netzwerk, welches ein aktualisiertes Knotenmerkmal gewinnt unter Verwendung des Merkmals des Atoms als Knotenmerkmal und Eingabe in ein drittes Netzwerk, welches ein aktualisiertes Edge-Merkmal gewinnt unter Verwendung der Distanz und des Winkels als Edge-Merkmale;
  - Berechnung einer Abweichung auf Basis des aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals; und
  - Rückpropagierung der berechneten Abweichung zum Aktualisieren des zweiten Netzwerkes und des dritten Netzwerkes.
- (6) Programm, welches bei Ausführung durch einen oder mehrere Prozessoren enthält:
  - Eingabe eines Vektors, der eine Eigenschaft eines Atoms angibt, welches in einem Objekt enthalten ist, in ein erstes Netzwerk, welches ein Merkmal des Atoms in einem latenten Raum aus dem Vektor bezüglich des Atoms extrahiert zum Extrahieren des Merkmals des Atoms im latenten Raum;
  - Zusammensetzung einer Struktur von Atomen des Objektes auf Basis von Koordinaten der Atome, extrahierten Merkmalen der Atome im latenten Raum und einer Grenzbedingung;
  - Gewinnung einer Distanz zwischen Atomen und eines Winkels, der gebildet wird durch drei Atome, auf Basis der Struktur;
  - Eingabe eines Knotenmerkmals auf Basis des Merkmals des Atoms und der Struktur in ein zweites Netzwerk, welches ein aktualisiertes Knotenmerkmal gewinnt unter Verwendung des Merkmals des Atoms als dem Knotenmerkmal zum Gewinnen eines aktualisierten Knotenmerkmals;
  - Eingabe eines Edge-Merkmals auf Basis des Merkmals des Atoms und der Struktur in ein drittes Netzwerk, welches ein aktualisiertes Edge-Merkmal gewinnt unter Verwendung der Distanz und des Winkels als Edge-Merkmal zum Gewinnen des aktualisierten Edge-Merkmals;
  - Eingabe des gewonnenen, aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals in ein viertes Netzwerk, welches einen Wert einer physikalischen Eigenschaft ableitet aus einem Merkmal eines Knotens und einem Merkmal einer Edge zum Ableiten des Wertes der physikalischen Eigenschaft des Objektes;
  - Berechnung einer Abweichung zwischen dem abgeleiteten Wert der physikalischen Eigenschaft des Objektes und Lehrdaten; und
  - Rückpropagierung der berechneten Abweichung durch das vierte Netzwerk, das dritte Netzwerk, das zweite Netzwerk und das erste Netzwerk zum Aktualisieren des vierten Netzwerkes, des dritten Netzwerkes, des zweiten Netzwerkes und des ersten Netzwerkes.
- (7) Jedes der Programme gemäß den obigen Ziffern (1) bis (6) kann in einem nicht-flüchtigen, computerlesbaren Medium abgelegt sein, wobei der eine oder die mehreren Prozessoren die Verfahren ausführen können gemäß obigen Ziffern (1) bis (6) durch Auslesung von einem oder von mehreren Programmen gemäß obigen Ziffern (1) bis (6), die in dem nicht-flüchtigen, computerlesbaren Medium gespeichert sind.

Bezugszeichenliste

1: Folgerungsvorrichtung
10: Eingabe
12: Speicher
14: Atommerkmalgewinner
140: Generator für One-Hot-Vektor
142: Codierer
144: Decodierer
146: Erstes Netzwerk
16: Eingangsinformationenzusammensetzer
18: Strukturmerkmalextrahierer
180: Graphendatenextrahierer
182: zweites Netzwerk
184: drittes Netzwerk
20: Vorhersager für Wert der physikalischen Eigenschaft
22: Ausgabe
2: Trainingsvorrichtung
24: Fehlerrechner
26: Parameteraktualisierer

Claims

Folgerungsvorrichtung, aufweisend: einen oder mehrere Speicher; und eine oder mehrere Prozessoren, wobei: der eine oder die mehreren Prozessoren eingerichtet sind zum: Eingeben eines Vektors bezüglich eines Atoms in ein erstes Netzwerk, welches ein Merkmal des Atoms in einem latenten Raum aus dem Vektor bezüglich des Atoms extrahiert; und Folgern des Merkmals des Atoms in dem latenten Raum durch das erste Netzwerk.
Folgerungsvorrichtung gemäß Anspruch 1, wobei der Vektor bezüglich des Atoms ein Symbol enthält, welches das Atom repräsentiert, oder Informationen ähnlich dem Symbol, oder Informationen enthält, die gewonnen sind auf Basis des das Atom repräsentierenden Symbols oder der dem Symbol ähnlichen Informationen.
Folgerungsvorrichtung gemäß einem der Ansprüche 1 oder 2, wobei das erste Netzwerk als neuronales Netzwerk zusammengestellt ist mit einer Ausgabedimension kleiner als eine Eingabedimension.
Folgerungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei das erste Netzwerk ein Modell ist, welches mit einem Variationscodierer/-decodierer trainiert ist.
Folgerungsvorrichtung gemäß einem der Ansprüche 1 bis 4, wobei das erste Netzwerk ein Modell ist, welches trainiert ist mit Einsatz eines Wertes für eine physikalische Eigenschaft des Atoms als Lehrdaten.
Folgerungsvorrichtung gemäß einem der Ansprüche 3 bis 5, wobei das erste Netzwerk ein neuronales Netzwerk ist, welches einen Codierer des trainierten Modells bildet.
Folgerungsvorrichtung gemäß einem der Ansprüche 1 bis 6, wobei: der Vektor bezüglich des Atoms durch einen One-Hot-Vektor ausgedrückt ist; und der eine oder die mehreren Prozessoren eingerichtet sind, bei Empfang von Informationen bezüglich des Atoms die Informationen in den One-Hot-Vektor zu transformieren; und den transformierten One-Hot-Vektor in das erste Netzwerk einzugeben.
Folgerungsvorrichtung gemäß einem der Ansprüche 1 bis 7, wobei der eine oder die mehreren Prozessoren eingerichtet sind, um weiterhin einen Wert einer physikalischen Eigenschaft einer Substanz abzuleiten, welche ein Folgerungsobjekt ist einschließlich des der Folgerung unterzogenen Atoms auf Basis des gefolgerten Merkmals des Atoms.
Folgerungsvorrichtung, aufweisend: einen oder mehrere Speicher; und einen oder mehrere Prozessoren, wobei: der eine oder die mehreren Prozessoren eingerichtet sind zum Zusammensetzen einer Struktur eines Folgerungsobjektes auf Basis von eingegebenen Koordinaten von Atomen, Merkmalen der Atome und einer Grenzbedingung; Gewinnen einer Distanz zwischen Atomen und eines Winkels, der durch drei Atome geformt wird auf Basis der Struktur; und Aktualisieren eines Knotenmerkmals und eines Edge-Merkmals unter Verwendung des Merkmals des Atoms als Knotenmerkmal und Verwendung der Distanz und des Winkels als Edge-Merkmal zum Ableiten eines aktualisierten Knotenmerkmals beziehungsweise eines aktualisierten Edge-Merkmals.
Folgerungsvorrichtung gemäß Anspruch 9, wobei der eine oder die mehreren Prozessoren eingerichtet sind zum Extrahieren eines fixierten Atoms aus den in der Struktur enthaltenen Atomen; Ermitteln einer vorgegebenen Anzahl oder weniger von Atomen, die in einem vorgegebenen Bereich in Bezug auf das fixierte Atom gegeben sind als Nachbaratomkandidaten; Auswählen von zwei benachbarten Atomen aus den Nachbaratomkandidaten; Berechnen einer Distanz zwischen jedem der benachbarten Atome und dem fixierten Atom auf Basis der Koordinaten; und Berechnen des Winkels, der zwischen den zwei benachbarten Atomen und dem fixierten Atom gebildet ist unter Verwendung des fixierten Atoms als Ecke und auf Basis der Koordinaten.
Folgerungsvorrichtung gemäß Anspruch 10, wobei der eine oder die mehreren Prozessoren eingerichtet sind zum Eingeben des Knotenmerkmals in ein zweites Netzwerk, welches bei Empfang des Knotenmerkmals des fixierten Atoms und des Knotenmerkmals der benachbarten Atome das aktualisierte Knotenmerkmal ausgibt zum Gewinnen des aktualisierten Knotenmerkmals.
Folgerungsvorrichtung gemäß Anspruch 11, wobei das zweite Netzwerk ein neuronales Netzwerk enthält, welches in der Lage ist, Graphendaten zu verarbeiten.
Folgerungsvorrichtung gemäß einem der Ansprüche 9 bis 12, wobei der eine oder die mehreren Prozessoren eingerichtet sind zum Eingeben des Edge-Merkmals in ein drittes Netzwerk, welches bei Empfang des Edge-Merkmals das aktualisierte Edge-Merkmal ausgibt zum Gewinnen des aktualisierten Edge-Merkmals.
Folgerungsvorrichtung gemäß Anspruch 13, wobei das dritte Netzwerk ein neuronales Netzwerk enthält, welches in der Lage ist, Graphendaten zu verarbeiten.
Folgerungsvorrichtung gemäß Anspruch 13 oder 14, wobei der eine oder die mehreren Prozessoren eingerichtet sind, um dann, wenn verschiedene Merkmale gewonnen werden bezüglich der gleichen Edge aus dem dritten Netzwerk, die verschiedenen Merkmale bezüglich derselben Edge zu mitteln, wobei das gemittelte Merkmal als aktualisiertes Edge-Merkmal genommen wird.
Folgerungsvorrichtung gemäß einem der Ansprüche 9 bis 15, wobei das Merkmal des Atoms gewonnen wird aus der Folgerungsvorrichtung gemäß einem der Ansprüche 1 bis 7.
Folgerungsvorrichtung gemäß Anspruch 16, wobei das Merkmal des Atoms, welches in dem Folgerungsobjekt enthalten ist, welches durch das erste Netzwerk gewonnen wird, im Voraus gewonnen und abgespeichert wird in dem einen oder den mehreren Speichern.
Folgerungsvorrichtung gemäß einem der Ansprüche 9 bis 17, wobei der eine oder die mehreren Prozessoren weiterhin eingerichtet sind zum Ableiten des Wertes der physikalischen Eigenschaft des Folgerungsobjektes auf Basis des aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals.
Folgerungsvorrichtung gemäß Anspruch 18, wobei der eine oder die mehreren Prozessoren eingerichtet sind zum Eingeben des gewonnenen aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals in ein viertes Netzwerk, welches die physikalische Eigenschaft ableitet aus einem Merkmal eines Knotens und einem Merkmal einer Edge zum Ableiten des Wertes der physikalischen Eigenschaft des Folgerungsobjektes.
Trainingsvorrichtung, aufweisend: einen oder mehrere Speicher; und einen oder mehrere Prozessoren, wobei: der eine oder die mehreren Prozessoren eingerichtet sind zum: Eingeben eines Vektors bezüglich eines Atoms in ein erstes Netzwerk, welches ein Merkmal des Atoms in einem latenten Raum aus dem Vektor bezüglich des Atoms extrahiert; Eingaben des Merkmals des Atoms in dem latenten Raum in einen Decodierer, welcher bei Empfang der Eingabe des Merkmals des Atoms im latenten Raum einen Wert der physikalischen Eigenschaft des Atoms ausgibt zum Ableiten eines charakteristischen Wertes des Atoms; Berechnen einer Abweichung zwischen dem abgeleiteten charakateristischen Wert des Atoms und Lehrdaten; Rückpropagieren der berechneten Abweichung zum Aktualisieren des ersten Netzwerkes und des Decodierers; und Ausgeben eines Parameters des ersten Netzwerkes.
Trainingsvorrichtung gemäß Anspruch 20, wobei der Vektor bezüglich des Atoms ein Symbol enthält, welches das Atom repräsentiert, oder Informationen ähnlich dem Symbol, oder Informationen enthält, die gewonnen sind auf Basis des das Atom repräsentierenden Symbols oder von Informationen ähnlich dem Symbol.
Trainingsvorrichtung gemäß einem der Ansprüche 20 oder 21, wobei das erste Netzwerk aus einem neuronalen Netzwerk gebildet ist mit einer Ausgabedimension kleiner als eine Eingabedimension.
Trainingsvorrichtung gemäß einem der Ansprüche 20 bis 22, wobei der eine oder die mehreren Prozessoren eingerichtet sind zum Trainieren des ersten Netzwerkes durch einen Variationscodierer/-decodierer.
Trainingsvorrichtung gemäß einem der Ansprüche 20 bis 23, wobei das erste Netzwerk ein neuronales Netzwerk ist, welches das Merkmal des Atoms im latenten Raum aus dem Vektor bezüglich des Atoms extrahiert.
Trainingsvorrichtung gemäß einem der Ansprüche 20 bis 24, wobei der Vektor bezüglich des Atoms ausgedrückt ist als ein One-Hot-Vektor; und der eine oder die mehreren Prozessoren eingerichtet sind, um bei Empfang von Informationen bezüglich des Atoms die Informationen in den One-Hot-Vektor zu transformieren; und den transformierten One-Hot-Vektor in das erste Netzwerk einzugeben.
Trainingsvorrichtung, aufweisend: einen oder mehrere Speicher; und einen oder mehrere Prozessoren, wobei: der eine oder die mehreren Prozessoren eingerichtet sind zum: Zusammenstellen einer Struktur eines Folgerungsobjektes auf Basis von eingegebenen Koordinaten von Atomen, Merkmalen von Atomen und einer Grenzbedingung; Gewinnen einer Distanz zwischen Atomen und eines Winkels, der durch drei Atome geformt ist, auf Basis der Struktur; Eingeben von Informationen auf Basis der Merkmale des Atoms, der Distanz und des Winkels in ein zweites Netzwerk, welches ein aktualisiertes Knotenmerkmal gewinnt unter Verwendung des Merkmals des Atoms als Knotenmerkmal und in ein drittes Netzwerk, welches ein aktualisiertes Edge-Merkmal gewinnt unter Verwendung der Distanz und des Winkels als Edge-Merkmal; Berechnen einer Abweichung auf Basis des aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals; und Rückpropagieren der berechneten Abweichung zum Aktualisieren des zweiten Netzwerkes und des dritten Netzwerkes.
Trainingsvorrichtung gemäß Anspruch 26, wobei das zweite Netzwerk bei Empfang einer Eingabe bezüglich des Knotenmerkmals eines fixierten Atoms, welches aus den Atomen in der Struktur extrahiert ist, und der Knotenmerkmale von Nachbaratomen, die zum fixierten Atom benachbart sind, das aktualisierte Knotenmerkmal bezüglich des fixierten Atoms ausgibt.
Trainingsvorrichtung gemäß einem der Ansprüche 26 oder 27, wobei das zweite Netzwerk ein neuronales Netzwerk für Graphen oder ein Graphen-Faltungsnetzwerk enthält, welche in der Lage sind, Graphendaten zu verarbeiten.
Trainingsvorrichtung gemäß einem der Ansprüche 26 bis 28, wobei das dritte Netzwerk das aktualisierte Edge-Merkmal ausgibt bei Empfang des Edge-Merkmals.
Trainingsvorrichtung gemäß einem der Ansprüche 26 bis 29, wobei das dritte Netzwerk ein neuronales Netzwerk enthält, welches in der Lage ist, Graphendaten zu verarbeiten.
Trainingsvorrichtung gemäß einem der Ansprüche 26 bis 30, wobei der eine oder die mehreren Prozessoren eingerichtet sind, um dann, wenn verschiedene Merkmale in Bezug auf dieselbe Edge aus dem dritten Netzwerk gewonnen werden, die verschiedenen Merkmale in Bezug auf dieselbe Edge zu mitteln, wobei das gemittelte Merkmal für das aktualisierte Edge-Merkmal genommen wird.
Trainingsvorrichtung gemäß einem der Ansprüche 26 bis 31, wobei der eine oder die mehreren Prozessoren eingerichtet sind zum Eingeben des aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals in ein viertes Netzwerk, welches den Wert einer physikalischen Eigenschaft aus dem aktualisierten Knotenmerkmal und dem aktualisierten Edge-Merkmal ableitet, um den Wert der physikalischen Eigenschaft abzuleiten; Berechnen einer Abweichung zwischen dem abgeleiteten Wert der physikalischen Eigenschaft und Lehrdaten; und Rückpropagieren der berechneten Abweichung durch das vierte Netzwerk, das dritte Netzwerk und das zweite Netzwerk zum Aktualisieren des vierten Netzwerkes, des dritten Netzwerkes und des zweiten Netzwerkes.
Trainingsvorrichtung, aufweisend: einen oder mehrere Speicher; und einen oder mehrere Prozessoren, wobei: der eine oder die mehreren Prozessoren eingerichtet sind zum Eingeben eines Vektors, der eine Eigenschaft eines Atoms in einem Objekt angibt, in ein erstes Netzwerk, welches ein Merkmal des Atoms in einem latenten Raum aus dem Vektor bezüglich des Atoms extrahiert, um ein Merkmal des Atoms im latenten Raum zu extrahieren; Zusammenstellen einer Struktur von Atomen des Objektes auf Basis von Koordinaten der Atome, extrahierten Merkmalen der Atome im latenten Raum und einer Grenzbedingung; Gewinnen einer Distanz zwischen Atomen und eines Winkels, der zwischen drei Atomen auf Basis der Struktur geformt ist; Eingeben eines Knotenmerkmals auf Basis des Merkmals des Atoms und der Struktur in ein zweites Netzwerk, welches ein aktualisiertes Knotenmerkmal gewinnt unter Verwendung des Merkmals des Atoms als Knotenmerkmal zum Gewinnen des aktualisierten Knotenmerkmals; Eingeben eines Edge-Merkmals auf Basis des Merkmals des Atoms und der Struktur in ein drittes Netzwerk, welches ein aktualisiertes Edge-Merkmal gewinnt unter Verwendung der Distanz und des Winkels als Edge-Merkmal zum Gewinnen des aktualisierten Edge-Merkmals; Eingeben des gewonnenen aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals in ein viertes Netzwerk, welches einen Wert einer physikalischen Eigenschaft ableitet aus einem Merkmal eines Knotens und einem Merkmal einer Edge zum Ableiten des Wertes der physikalischen Eigenschaft des Objektes; Berechnen einer Abweichung des abgeleiteten Wertes der physikalischen Eigenschaft des Objektes von Lehrdaten; und Rückpropagieren der berechneten Abweichung durch das vierte Netzwerk, das dritte Netzwerk, das zweite Netzwerk und das erste Netzwerk zum Aktualisieren des vierten Netzwerkes, des dritten Netzwerkes, der zweiten Netzwerkes und des ersten Netzwerkes.
Trainingsvorrichtung gemäß Anspruch 33, wobei das Merkmal des Atoms in dem Objekt, welches durch das erste Netzwerk gewonnen wird, im Voraus gewonnen und in einem oder in mehreren Speichern abgespeichert wird.
Trainingsvorrichtung gemäß Anspruch 33, wobei das erste Netzwerk ein neuronales Netzwerk ist, das im Voraus gemäß Anspruch 19 und Anspruch 25 trainiert ist.
Folgerungsverfahren, aufweisend: einen oder mehrere Prozessoren, die einen Vektor bezüglich eines Atoms in ein erstes Netzwerk eingeben, welches ein Merkmal des Atoms in einem latenten Raum aus dem Vektor extrahiert; und wobei der eine oder die mehreren Prozessoren das Merkmal des Atoms im latenten Raum durch das erste Netzwerk ableiten.
Folgerungsverfahren, aufweisend: einen oder mehrere Prozessoren, die eine Struktur von Atomen eines Folgerungsobjektes zusammenstellen auf Basis von eingegebenen Koordinaten der Atome, Merkmalen der Atome und einer Grenzbedingung; wobei der eine oder die mehreren Prozessoren eine Distanz zwischen Atomen gewinnen und einen Winkel, der geformt ist durch drei Atome entsprechend der Struktur; und der eine oder die mehreren Prozessoren ein Knotenmerkmal und ein Edge-Merkmal aktualisieren unter Verwendung des Merkmals des Atoms als Knotenmerkmal und der Distanz und des Winkels als Edge-Merkmal zum Ableiten eines aktualisierten Knotenmerkmals beziehungsweise eines aktualisierten Edge-Merkmals.
Folgerungsverfahren gemäß Anspruch 37, wobei der eine oder die mehreren Prozessoren eingerichtet sind zum Ableiten des Wertes einer physikalischen Eigenschaft des Folgerungsobjektes auf Basis des aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals.
Trainingsverfahren, aufweisend: einen oder mehrere Prozessoren, die einen Vektor bezüglich eines Atoms in ein erstes Netzwerk eingeben, welches ein Merkmal des Atoms in einem latenten Raum aus dem Vektor bezüglich des Atoms extrahiert; wobei der eine oder die mehreren Prozessoren das Merkmal des Atoms im latenten Raum in einen Decodierer eingeben, der bei Empfang der Eingabe des Merkmals des Atoms im latenten Raum einen Wert der physikalischen Eigenschaft des Atoms ausgibt zum Ableiten eines charakteristischen Wertes des Atoms; wobei der eine oder die mehreren Prozessoren eine Abweichung berechnen zwischen dem abgeleiteten charakteristischen Wert des Atoms und Lehrdaten; wobei der eine oder die mehreren Prozessoren die berechnete Abweichung rückpropagieren zum Aktualisieren des ersten Netzwerkes und des Decodierers; und wobei der eine oder die mehreren Prozessoren einen Parameter des ersten Netzwerkes ausgeben.
Trainingsverfahren, aufweisend: einen oder mehrere Prozessoren, die die Struktur von Atomen eines Objektes zusammensetzen auf Basis von eingegebenen Koordinaten der Atome, Merkmalen der Atome und einer Grenzbedingung; wobei der eine oder die mehreren Prozessoren eine Distanz gewinnen zwischen Atomen und einen Winkel, der durch drei Atome entsprechend der Struktur geformt wird; wobei der eine oder die mehreren Prozessoren Informationen eingeben auf Basis der Merkmale der Atome, der Distanz und des Winkels in ein zweites Netzwerk, welches ein aktualisiertes Knotenmerkmal gewinnt unter Verwendung des Merkmals des Atoms als Knotenmerkmal, und in ein drittes Netzwerk, welches ein aktualisiertes Edge-Merkmal gewinnt unter Verwendung der Distanz und des Winkels als Edge-Merkmal; wobei der eine oder die mehreren Prozessoren eine Abweichung berechnen auf Basis des aktualisierten Knotenmerkmals und des aktualisierten Edge-Merkmals; und wobei der eine oder die mehreren Prozessoren die berechnete Abweichung rückpropagieren zum Aktualisieren des zweiten Netzwerkes und des dritten Netzwerkes.
Trainingsverfahren, aufweisend: einen oder mehrere Prozessoren, die einen Vektor eingeben, welcher eine Eigenschaft eines Atoms angibt, welches in einem Objekt enthalten ist, in ein erstes Netzwerk, welches ein Merkmal des Atoms in einem latenten Raum aus dem Vektor bezüglich des Atoms extrahiert zum Extrahieren des Merkmals des Atoms im latenten Raum; wobei der eine oder die mehreren Prozessoren eine Struktur von Atomen des Objektes auf Basis von Koordinaten der Atome, extrahierten Merkmalen der Atome im latenten Raum und auf Basis einer Grenzbedingung zusammensetzen; wobei der eine oder die mehreren Prozessoren eine Distanz gewinnen zwischen Atomen und einen Winkel, der durch drei Atome auf Basis der Struktur geformt wird; wobei der eine oder die mehreren Prozessoren ein Knotenmerkmal eingeben, welches auf dem Merkmal des Atoms und der Struktur basiert, in ein zweites Netzwerk, welches ein aktualisiertes Knotenmerkmal gewinnt unter Verwendung des Merkmals des Atoms als Knotenmerkmal zum Gewinnen des aktualisierten Knotenmerkmals; wobei der eine oder die mehreren Prozessoren ein Edge-Merkmal, welches auf dem Merkmal des Atoms und der Struktur basiert, in ein drittes Netzwerk eingeben, welches ein aktualisiertes Edge-Merkmal gewinnt unter Verwendung der Distanz und des Winkels als Edge-Merkmal zum Gewinnen des aktualisierten Edge-Merkmals; wobei der eine oder die mehreren Prozessoren das gewonnene, aktualisierte Knotenmerkmal und das aktualisierte Edge-Merkmal in ein viertes Netzwerk eingeben, welches den Wert einer physikalischen Eigenschaft ableitet aus einem Merkmal eines Knotens und einem Merkmal einer Edge zum Ableiten des Wertes der physikalischen Eigenschaft des Objektes; wobei der eine oder die mehreren Prozessoren eine Abweichung berechnen zwischen dem abgeleiteten Wert der physikalischen Eigenschaft des Objektes und Lehrdaten; und wobei der eine oder die mehreren Prozessoren die berechnete Abweichung rückpropagieren durch das vierte Netzwerk, das dritte Netzwerk, das zweite Netzwerk und das erste Netzwerk zum Aktualisieren des vierten Netzwerkes, des dritten Netzwerkes, des zweiten Netzwerkes und des ersten Netzwerkes.