DE102018213021A1

DE102018213021A1 - Computerimplementiertes Verfahren und Vorrichtung für Textanalyse

Info

Publication number: DE102018213021A1
Application number: DE102018213021.3A
Authority: DE
Inventors: Michael Dorna; Anna Constanze Haetty
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-08-03
Filing date: 2018-08-03
Publication date: 2020-02-06
Also published as: US11875265B2; WO2020025285A1; JP7271652B2; US20210279512A1; EP3830761A1; JP2021533477A

Abstract

Computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes mit Trainingsdaten, die Merkmale (z; z, v) und Kennzeichen (s) umfassen, wobei die Merkmale (z; z,v) Termkandidaten (T; c) aus einem Korpus (302) charakterisieren, wobei der Korpus (302) einen Text aus einer Domäne umfasst, wobei das Kennzeichen (s) einen Grad einer Zugehörigkeit zu wenigstens drei voneinander verschiedene Klassen für die Termkandidaten (T; c) charakterisiert, wobei unterschiedliche Klassen unterschiedliche Grade der Zugehörigkeit des Termkandidaten (T; c) zu der Domäne angeben, wobei die Trainingsdaten eine Zuordnung von Merkmalen (z; z,v) zu Kennzeichen (s) umfassen, wobei einer Eingabeschicht des künstlichen neuronalen Netzes ein Merkmal (z; z,v) vorgegeben wird (S3), wobei das künstliche neuronale Netz dem Merkmal (z; z,v) aus der Eingabeschicht in einer Vorhersage in einer Ausgabeschicht des künstlichen neuronalen Netzes ein Kennzeichen (O) zuordnet (S5), wobei in einem Vergleich das Kennzeichen (O) aus der Ausgabeschicht mit dem Kennzeichen (s), das dem Merkmal (z; z,v) in den Trainingsdaten zugeordnet ist, verglichen wird (S4), wobei abhängig vom Ergebnis des Vergleichs wenigstens ein Parameter des künstlichen neuronalen Netzes gelernt wird (S4), der eine Verbindung des künstlichen neuronalen Netzes zwischen der Eingabeschicht und der Ausgabeschicht charakterisiert.Künstliches neuronales Netz, Verfahren zur Klassifizierung von Termkandidaten und computerimplementiertes Verfahren zum Erzeugen von Trainingsdaten.

Description

Stand der Technik
Die Offenbarung geht aus von computerimplementierten Verfahren und Vorrichtungen für Textanalyse, insbesondere für die Vorhersage einer Zugehörigkeit eines Kompositums aus einem Text zu einem Fachgebiet.
Maschinenbasierte Systeme für Textanalyse verwenden regelbasierte oder statistische Verfahren für Terminologieextraktion und Verschlagwortung. Hybride Verfahren und Machine-Learning Verfahren werden ebenfalls für Textanalyse eingesetzt.
DE 20 2017 102 235 U1 offenbart allgemein Aspekte eines Machine-Learning Verfahrens.
Eine Grundlage derartiger Verfahren für eine Zuordnung eines Kompositums zu einem bestimmten Fachgebiet sind binäre Entscheidungen. Wünschenswert ist es, ein demgegenüber verbessertes Vorgehen zu ermöglichen.
Offenbarung der Erfindung
Dies wird durch die Verfahren und Vorrichtungen gemäß den unabhängigen Ansprüchen erreicht.
In der folgenden Beschreibung bezeichnet der Ausdruck Korpus einen Text oder eine Kollektion von Texten. Ein fachspezifischer Korpus enthält nur Text, der für eine Domäne spezifisch ist. Ein allgemeinsprachlicher Korpus bezeichnet Text oder eine Kollektion von Texten, ohne spezifische Zuordnung zu einer Domain.
Alle Texte eines Kochforums im Internet stellen beispielsweise einen fachspezifischen Korpus dar. Alle Einträge der Wikipedia stellen beispielsweise einen allgemeinsprachlichen Korpus dar.
In der folgenden Beschreibung werden Teile eines Korpus, die analysiert werden, als Termkandidaten bezeichnet. Ein Text kann außer den Termkandidaten auch Teile enthalten, die nicht analysiert werden können oder sollen.
In der folgenden Beschreibung bezeichnet der Ausdruck Kompositum eine Wortzusammensetzung, d.h. ein Wort, das durch die Verbindung mindestens zweier bereits vorhandener Wörter oder Wortstämme zusammengesetzt ist.
In der folgenden Beschreibung bezeichnet der Ausdruck Komponente einen Teil eines Kompositums, d.h. einen Teil der Wortzusammensetzung.
Ein Grad einer Zugehörigkeit einer Komponente oder eines Kompositums zu einer bestimmten Domäne wird im Folgenden als Klasse bezeichnet. Ein bestimmtes Kompositum wird beispielsweise einer bestimmten Klasse zugeordnet, wenn sein Grad der Zugehörigkeit zu dieser Domäne einen bestimmten Wert aufweist oder in einem bestimmten Wertebereich liegt. Mit verschiedenen Werten oder mit verschiedenen, sich nicht überlappenden Wertebereichen, sind beispielsweise eindeutige Klassen definiert.
In einem computerimplementierten Verfahren zum Trainieren eines künstlichen neuronalen Netzes mit Trainingsdaten, die Merkmale und Kennzeichen umfassen, charakterisieren die Merkmale Termkandidaten aus einem Korpus, wobei der Korpus einen Text aus einer Domäne umfasst. Ein Kennzeichen charakterisiert einen Grad einer Zugehörigkeit zu wenigstens drei voneinander verschiedene Klassen für die Termkandidaten. Unterschiedliche Klassen geben unterschiedliche Grade der Zugehörigkeit des Termkandidaten zu der Domäne an. Die Trainingsdaten umfassen eine Zuordnung von Merkmalen zu Kennzeichen. Im Verfahren wird einer Eingabeschicht des künstlichen neuronalen Netzes ein Merkmal vorgegeben, wobei das künstliche neuronale Netz dem Merkmal aus der Eingabeschicht in einer Vorhersage in einer Ausgabeschicht des künstlichen neuronalen Netzes ein Kennzeichen zuordnet. In einem Vergleich wird das Kennzeichen aus der Ausgabeschicht mit dem Kennzeichen, das dem Merkmal in den Trainingsdaten zugeordnet ist, verglichen. Abhängig vom Ergebnis des Vergleichs wird wenigstens ein Parameter des künstlichen neuronalen Netzes gelernt, der eine Verbindung des künstlichen neuronalen Netzes zwischen der Eingabeschicht und der Ausgabeschicht charakterisiert. Dadurch werden Terme anstelle von in zwei Klassen Term oder Nicht-Term beispielsweise in vier Klassen NONTERM, SIMTERM, TERM, SPECTERM klassifizierbar.
Vorteilhafterweise werden die Termkandidaten einem bezüglich der Domäne fachspezifischen Korpus entnommen. Ein derartiger Korpus eignet sich besonders für das Training der Klassifizierung.
Vorteilhafterweise werden die Termkandidaten wenigstens einer der Klassen zugeordnet und die Merkmale für die Termkandidaten bestimmt, wobei insbesondere ein Wortvektor bestimmt wird, und wenigstens ein Parameter des künstlichen neuronalen Netzes mit den Merkmalen trainiert wird. Dadurch sind
Vorteilhafterweise sind die Termkandidaten Komposita mit wenigstens zwei Komponenten. Die Trainingsdaten ordnen Komposita zu wenigstens einer von mehr als drei Klassen zu. Diese ist insbesondere bei Komposita sinnvoll, da ein Kompositum abhängig von seinen Komponenten unterschiedliche Spezifität oder Zentralität für eine Domain aufweisen kann. Beispielsweise ist es wahrscheinlich, dass ein spezifischer Fachbegriff ein oder mehrere sehr spezifische Komponenten enthält. Ein allgemeiner Begriff enthält beispielsweise keine für diese Domain spezifische Komponente. Das künstliche neuronale Netz wird somit für eine sehr feine Unterscheidung trainiert.
Vorteilhafterweise werden Komposita aus einem bezüglich der Domäne fachspezifischen Korpus als Termkandidaten in Komponenten aufgeteilt, die Komposita wenigstens einer der Klassen zugeordnet, die Merkmale für die Komposita und die Komponenten bestimmt, und wird wenigstens ein Parameter des künstlichen neuronalen Netzes mit den Merkmalen trainiert. Dadurch werden Kompositum und seine Komponenten im Training berücksichtigt. Dies verbessert das Lernverhalten zusätzlich.
Vorteilhafterweise wird wenigstens ein Wortvektor als Merkmal bestimmt. Ein Wortvektor ist ein besonders gut geeignetes Merkmal für das Trainingsverfahren.
Vorteilhafterweise werden eine Produktivität und eine Frequenz der Komponenten als Merkmale auf Basis des spezifischen Korpus bestimmt werden. Produktivität und Frequenz sind weitere Merkmale mit Bezug zu einer Auftretenshäufigkeit der Komponenten. Dadurch wird das Training zusätzlich verbessert.
In einem computerimplementierten Verfahren zum Erzeugen von Trainingsdaten für ein Training eines künstlichen neuronalen Netzes, bei dem die Trainingsdaten Merkmale und Kennzeichen umfassen, werden Merkmale bestimmt, die Termkandidaten aus einem Korpus charakterisieren, wobei der Korpus einen Text aus einer Domäne umfasst, wobei ein Kennzeichen bestimmt wird, das einen Grad einer Zugehörigkeit zu wenigstens drei voneinander verschiedene Klassen für die Termkandidaten charakterisiert, wobei unterschiedliche Klassen unterschiedliche Grade der Zugehörigkeit des Termkandidaten zu der Domäne angeben, wobei wenigstens einem Merkmal wenigstens eines der Kennzeichen zugeordnet wird. Diese Trainingsdaten eignen sich besonders für ein Training einer Klassifikation mit mehr als drei Klassen.
Vorteilhafterweise werden die Termkandidaten einem bezüglich der Domäne fachspezifischen Korpus entnommen. Der fachspezifische Korpus bietet eine hohe Dichte an relevanten Termkandidaten einer Domäne.
Vorteilhafterweise werden die Termkandidaten wenigstens einer der Klassen zugeordnet und die Merkmale für die Termkandidaten bestimmt, wobei insbesondere ein Wortvektor bestimmt wird. Die Zuordnung von Merkmalen zu Klassen ist eine für das maschinelle Lernen besonders geeignete Darstellung der Klassifizierung der Termkandidaten.
Vorteilhafterweise sind die Termkandidaten Komposita mit wenigstens zwei Komponenten. Diese Form der Trainingsdaten sind besonders für eine Feinunterteilung der Klassen geeignet. Hinsichtlich der Zuordnung werden Komposita aufgrund einer möglichen Klassifizierung ihrer Komponenten in unterschiedliche Klassen nicht entweder als Term oder als Nicht-Term bezeichnet, sondern können je nach Grad ihrer Zugehörigkeit zu einer Domäne in eine von der Klasse Nicht-Term verschiedene andere Klassen klassifiziert werden.
Vorteilhafterweise werden Komposita aus einem bezüglich der Domäne fachspezifischen Korpus als Termkandidaten in Komponenten aufgeteilt, die Komposita wenigstens einer der Klassen zugeordnet, und die Merkmale für die Komposita und die Komponenten bestimmt. Die zusätzlichen Merkmale ermöglichen auch bei begrenzter Verfügbarkeit der Termkandidaten aus einem begrenzten Textumfang ein besseres Training des künstlichen neuronalen Netzes, ohne das zusätzlich neue Texte mit neuen Komposita hinzugezogen werden müssen.
Vorteilhafterweise wird wenigstens ein Wortvektor als Merkmal bestimmt. Wenn die Wortvektoren in den Trainingsdaten verwendet werden, benötigt das künstliche neuronale Netz selbst keinen Embedding Layer, der aus den Termkandidaten Wortvektoren als Merkmale bestimmt.
Vorteilhafterweise werden eine Produktivität und eine Frequenz der Komponenten als Merkmale auf Basis des spezifischen Korpus bestimmt. Die zusätzlichen Merkmale Produktivität und eine Frequenz ermöglichen auch bei begrenzter Verfügbarkeit der Termkandidaten aus einem begrenzten Textumfang ein besseres Training des künstlichen neuronalen Netzes, ohne das zusätzlich neue Texte mit neuen Komposita hinzugezogen werden müssen.
Ein künstliches neuronales Netz umfasst eine Eingabeschicht der ein Merkmal vorgebbar ist, wobei das künstliche neuronale Netz ausgebildet ist, dem Merkmal aus der Eingabeschicht in einer Vorhersage in einer Ausgabeschicht des künstlichen neuronalen Netzes ein Kennzeichen zuzuordnen, wobei die Merkmale Termkandidaten aus einem Korpus charakterisieren, wobei der Korpus einen Text aus einer Domäne umfasst, wobei das Kennzeichen wenigstens drei voneinander verschiedene Klassen für die Termkandidaten charakterisiert, wobei unterschiedliche Klassen unterschiedliche Grade der Zugehörigkeit des Termkandidaten zu der Domäne angeben. Dieses künstliche neuronale Netz ist eine besonders effiziente Umsetzung einer Klassifikation von Komposita in mehr als zwei Klassen.
Vorteilhafterweise umfasst das künstliche neuronale Netz wenigstens eine erste Eingabeschicht, der ein Kompositum und seine Komponenten für ein erstes Merkmal vorgebbar sind, wobei das künstliche neuronale Netz wenigstens eine zweite Eingabeschicht umfasst, der eine Produktivität und eine Frequenz der Komponenten für ein zweites Merkmal vorgebbar sind, wobei die Ausgabeschicht den Eingabeschichten nachgeordnet ist und das Kennzeichen in der Vorhersage abhängig vom ersten Merkmal und vom zweiten Merkmal ausgibt. Die zusätzlichen Merkmale verbessern die Effizienz und Zuverlässigkeit der Vorhersage des künstlichen neuronalen Netzes zusätzlich.
Vorzugsweise umfasst das künstliche neuronale Netz eine weitere Ausgabeschicht, die ausgebildet ist einen Grad einer Zuordnung eines Kompositums zu den wenigstens drei Klassen unabhängig von der Produktivität und der Frequenz seiner Komponenten auszugeben. Diese weitere Ausgabeschicht ist ein Hilfsausgang, der in einer Fehlerfunktion zu einer Optimierung verwendbar ist.
Vorzugsweise umfasst das künstliche neuronale Netz eine weitere Ausgabeschicht, die ausgebildet ist einen Grad einer Zuordnung einer der Komponenten zu den wenigstens drei Klassen abhängig von der Produktivität und der Frequenz dieser Komponente auszugeben. Diese weitere Ausgabeschicht ist ein Hilfsausgang, der in einer Fehlerfunktion zu einer Optimierung verwendbar ist.
In einem Verfahren zur Klassifizierung von Termkandidaten wird einer Eingabeschicht eines künstlichen neuronalen Netzes ein Merkmal vorgegeben, wobei dem Merkmal aus der Eingabeschicht in einer Vorhersage in einer Ausgabeschicht des künstlichen neuronalen Netzes ein Kennzeichen zugeordnet wird, wobei die Merkmale Termkandidaten aus einem Korpus charakterisieren, wobei der Korpus einen Text aus einer Domäne umfasst, wobei das Kennzeichen wenigstens drei voneinander verschiedene Klassen für die Termkandidaten charakterisiert, wobei unterschiedliche Klassen unterschiedliche Grade der Zugehörigkeit des Termkandidaten zu der Domäne angeben. Die Klassifizierung in mehr als zwei Klassen ermöglicht zusätzlich zu einer Erkennung, ob ein Termkandidat ein Term oder kein Term bezüglich der Domäne ist, das Bereitstellen eines fein klassifizierten Datensatzes mit mehr als zwei Klassen.
Vorteilhafterweise werden einer ersten Eingabeschicht ein Kompositum und seine Komponenten für ein erstes Merkmal vorgegeben, wobei einer zweiten Eingabeschicht eine Produktivität und eine Frequenz der Komponenten für ein zweites Merkmal vorgegeben werden, wobei die Ausgabeschicht den Eingabeschichten nachgeordnet ist und das Kennzeichen in der Vorhersage abhängig vom ersten Merkmal und vom zweiten Merkmal ausgegeben wird. Die Vorhersage wird durch das Hinzufügen dieser zusätzlichen Merkmale weiter verbessert.
Weitere vorteilhafte Ausführungen ergeben sich aus der folgenden Beschreibung und der Zeichnung. In der Zeichnung zeigt

1 schematisch Teile eines künstlichen neuronalen Netzes,
2 schematisch Teile eines Modells für Textanalyse,
3 schematisch Schritte in einem Trainings- oder Klassifizierungsverfahren.

In der folgenden Beschreibung bezeichnet der Ausdruck Domäne ein Fach- oder Themengebiet.
In einem im Folgenden beschriebenen Beispiel werden die Klassen NONTERM, SIMTERM, TERM, SPECTERM verwendet.
NONTERM ist eine Klasse für Komponenten oder Komposita, die keinen besonderen Bezug zur Domäne haben. Beispielsweise wird ein allgemeinsprachliches Kompositum ohne besonderen Bezug zur Domäne als NONTERM klassifiziert.
SIMTERM ist eine Klasse für Komponenten oder Komposita, die einen größeren Bezug zur Domäne haben als Komponenten oder Komposita aus der Klasse NONTERM. Beispielsweise werden Komponenten oder Komposita mit einen semantischen Bezug zur Domäne als SIMTERM klassifiziert.
TERM ist eine Klasse für Komponenten oder Komposita, die einen größeren Bezug zur Domäne haben als Komponenten oder Komposita aus der Klasse SIMTERM. Beispielsweise werden verständliche Komponenten oder Komposita mit Bezug zur Domäne als TERM klassifiziert.
SPECTERM ist eine Klasse für Komponenten oder Komposita, die einen größeren Bezug zur Domäne haben als Komponenten oder Komposita aus der Klasse TERM. Beispielsweise werden unverständliche Komponenten oder Komposita mit Bezug zur Domäne als SPCTERM klassifiziert.
Diese vier Klassen stellen unterschiedliche Grade der Zugehörigkeit zu einer Domäne dar. Genauer nimmt der Grad der Zugehörigkeit zu der Domäne mit der Klassifizierung von NONTERM über SIMTERM und TERM zu SPECTERM zu. Beispielsweise werden den vier Klassen vier Kennzeichen wie folgt zugeordnet: Der Klasse NONTERM wird ein erster Skalar o₁ zugeordnet, der Klasse SIMTERM wird ein zweiter Skalar o₂ zugeordnet, der Klasse TERM wird ein dritter Skalar o₃ zugeordnet und der Klassen SPECTERM wird ein vierter Skalar o₄ zugeordnet. Im Beispiel wird als Kennzeichen ein Vektor O=(o₁,o₂,o₃,o₄)^T verwendet. Jeder Skalar hat im Beispiel einen Wert zwischen 0 und 1, wobei der Grad der Zugehörigkeit mit dem Wert des jeweiligen Skalars von 0 bis 1 ansteigt.
Der Grad der Zugehörigkeit von Komponenten oder Komposita eines Korpus stellt ein Maß für einen Schwierigkeitsgrad des Textes aus dem Korpus, d.h. sein Niveau oder seine Spezifität bezüglich der Domäne dar. Texte mit Komponenten oder Komposita in der Klasse SPECTERM sind mit großer Wahrscheinlichkeit von Fachleuten oder für Fachleute verfasst. Texte ohne Komponenten oder Komposita in den Klassen TERM oder SPECTERM sind mit großer Wahrscheinlichkeit unspezifisch bezüglich der Domäne.
In der folgenden Beschreibung umfassen Trainingsdaten Merkmale und Kennzeichen. Genauer wird einem Merkmal in den Trainingsdaten wenigstens ein Kennzeichen zugeordnet. In einem Aspekt wird jedem Merkmal wenigstens ein Kennzeichen zugeordnet.
Merkmale charakterisieren in der folgenden Beschreibung Termkandidaten. In einem Aspekt repräsentiert ein Merkmal einen Termkandidaten eindeutig. Ein Merkmal ist beispielsweise ein Wortvektor, der den Termkandidaten darstellt. In einem weiteren Aspekt repräsentiert ein Merkmal eine Produktivität oder eine Frequenz einer Komponente eines Kompositums in einem fachspezifischen Korpus bezüglich eines allgemeinsprachlichen Korpus.
Kennzeichen charakterisieren in der folgenden Beschreibung eine Klasse. In einem Aspekt repräsentiert ein Kennzeichen eine Klasse eindeutig. Ein Kennzeichen ist beispielsweise ein Vektor s mit Skalaren s₁, s₂, s₃, s₄ deren Wert zwischen 0 und 1 einen Grad der Zugehörigkeit zu dieser Klasse darstellt. Der Wert 1 stellt beispielsweise einen hohen Grad der Zugehörigkeit dar. Der Wert 0 stellt beispielsweise einen niedrigen Grad der Zugehörigkeit dar.
Als Beispiel für ein Modell für eine Klassifizierung von Text abhängig vom Grad einer Zugehörigkeit einer Komponente oder eines Kompositums zu einer bestimmten Domäne wird im Folgenden anhand der 1 ein künstliches neuronales Netz nach einer ersten Ausführungsform beschrieben.
Eine Ausgabe O des Netzes ist beispielsweise definiert als: $O = σ (φ (E (x) * W_{1}) * W_{2}))$
Dabei ist x ein Wort, d.h. ein Kompositum oder einer Komponente und z = E(x) ein der Ausgang eines Embedding Layers in welchem die Funktion $E:x \to z$
ein Wort x auf einen Vektor z abbildet. Im Beispiel ist der Vektor z für ein Wort x ein 200-dimensionaler Wortvektor. Werden eine Anzahl n Wörter in einer Batch der Größe b verwendet, werden n Vektoren z in einer Matrix Z mit der Dimension [n*200, b] verwendet.
W₁ und W₂ sind Gewichtungsmatrizen. Die Gewichtungsmatrix W₁ hat im Beispiel für n Wörter eine Dimension [64, n*200] passend zu den n 200-dimensionalen Vektoren z.
φ ist eine Aktivierungsfunktion. Im Beispiel wird als Aktivierungsfunktion die Tangenshyperbolikusfunktion wie folgt verwendet $φ ({z*W}_{1}) = tanh (z * W_{1}) .$
In einem Dense Layer wird im Beispiel am Ausgang d der zweiten verdeckten Schicht 106 d = φ(W₁*z) mit den Dimensionen [64, b] verwendet.
Die Gewichtungsmatrix W₂ hat im Beispiel eine Dimension [4, 64] passend zu den vier Klassen NONTERM, SIMTERM, TERM, SPECTERM. Im Beispiel werden als Ausgabe O in der Ausgabeschicht 4 Neuronen verwendet.
σ ist im Beispiel eine Softmax-Aktivierungsfunktion, mit der eine Wahrscheinlichkeit einer Zugehörigkeit zu einer der Klassen bestimmt wird. Die Softmax-Aktivierungsfunktion konvertiert dazu einen Rohwert in eine Wahrscheinlichkeit, die auch als Maß für eine Gewissheit hinsichtlich einer Korrektheit des Ergebnisses dient. Als Softmax-Aktivierungsfunktion wird für ein Neuron i aus der Ausgabe O beispielsweise bei n = 4 Neuronen O=(o₁, o₂, o₃, o₄) in der Ausgabeschicht für jeden skalaren Ausgang o_i folgende Funktion verwendet $o_{i} = σ (y_{i}) = \frac{e^{y_{i}}}{\sum_{k = 0}^{n} e^{y_{k}}}$
wobei y_i die Zeile i und y_k die Zeile k eines Vektors y = φ(E(x)*W₁)*W₂ ist.
Eine beispielhafte Zuordnung ist im Folgenden angegeben:

NONTERM wird o₁ zugeordnet, SIMTERM wird o₂ zugeordnet, TERM wird o₃ zugeordnet, SPECTERM wird o₄ zugeordnet. Der skalare Wert o_i ist ein Grad für die Zugehörigkeit des Terms zu der jeweiligen Klasse.

1 zeigt schematisch, als Beispiel für einen Modell, Teile eines künstlichen neuronalen Netzes 100 mit hintereinander liegenden Schichten. Das künstliche neuronale Netz 100 umfasst eine Eingabeschicht 102, eine erste verdeckte Schicht 104, eine zweite verdeckte Schicht 106 und eine Ausgabeschicht 108.
Die Eingabeschicht 102 ist ausgebildet, einen Termkandidaten T als Wort x an die erste verdeckte Schicht 104 zu übergeben.
Die erste verdeckte Schicht 104 ist im Beispiel die Funktion E(x), d.h. der Embedding Layer in welchem die Funktion $E:x \to z$
das Wort x auf den Vektor z abbildet.
Die Abbildung erfolgt beispielsweise mittels eines Continuous Bag-of-Words, CBOW, Modells. Beispielsweise wird ein Word2Vec CBOW Modell nach Tomas Mikolov et. al, 2013, Distributed representations of words and phrases and their compositionality, Advances in Neural Information Processing Systems, pages 3111-3119, Curran Associatates, Inc., verwendet, um den 200-dimensionalen Wortvektor zu erzeugen.
In einem Aspekt wird das CBOW Modell beispielsweise mittels eines Lexikons trainiert, um die Gewichte der ersten verdeckten Schicht 104 für Worte zu lernen. Beispielsweise wird ein zuvor trainiertes CBOW Modell verwendet um den Embedding Layer zu initialisieren. Die erste verdeckte Schicht 104 ist dann mit entsprechenden Gewichten für Worte initialisiert.
Worte, die nicht als solches erkannt werden, werden beispielsweise auf einen Wortvektor z mit zufälligen Elementen abgebildet. Worte, die erkannt wurden, werden auf den entsprechenden Wortvektor z abgebildet. Der Wortvektor repräsentiert die Termkandidaten.
Der Wortvektor z wird von der ersten verdeckten Schicht 104 an die zweite verdeckte Schicht 106 übergeben.
Die zweite verdeckte Schicht 106 verwendet die erste Gewichtmatrix W₁ und die Aktivierungsfunktion φ. Im Beispiel wird als Aktivierungsfunktion in der zweiten verdeckten Schicht 106 die Tangenshyperbolikusfunktion wie folgt verwendet: $d = φ (E (x) {*W}_{1}) = tanh (z * W_{1}) .$
Der Ausgang d wird an die Ausgabeschicht 108 übergeben. Im Beispiel wird die Softmax-Aktivierungsfunktion verwendet, mit der die Wahrscheinlichkeit der Zugehörigkeit des Worts x zu einer der Klassen bestimmt wird.
Die Gewichtsmatrizen und die Aktivierungsfunktionen sind Parameter des künstlichen neuronalen Netzes 100. Die Parameter, insbesondere die Gewichtsmatrizen sind in einem Training veränderlich.
Ein Verfahren zum Trainieren dieses künstlichen neuronalen Netzes 100 wird im Folgenden beschrieben.
Trainingsdaten zum Trainieren dieses künstlichen neuronalen Netzes 100 umfassen Merkmale und Kennzeichen. Genauer umfassen die Trainingsdaten eine Zuordnung von Merkmalen zu Kennzeichen.
Die Merkmale charakterisieren Termkandidaten T aus einem fachspezifischen Korpus. Ein Kennzeichen s charakterisiert wenigstens drei voneinander verschiedene Klassen für die Termkandidaten T. Im Beispiel charakterisiert das Kennzeichen s die vier Klassen NONTERM, SIMTERM, TERM, SPECTERM. Die Klassen geben den Grad der Zugehörigkeit des Termkandidaten T zu der Domäne an.
Annotatoren, d.h. beispielsweise Menschen, suchen aus dem fachspezifischen Korpus Worte oder Wortzusammensetzungen als Termkandidaten T heraus und ordnen diese einer der vier Klassen zu. Für einen Termkandidaten T umfasst die Zuordnung in den Trainingsdaten beispielsweise als Merkmal einen Wortvektor z, der den Termkandidaten T repräsentiert. Im Kennzeichen s wird der Klasse NONTERM ein erster Skalar s₁, der Klasse SIMTERM ein zweiter Skalar s₂, der Klasse TERM ein dritter Skalar s₃ und der Klassen SPECTERM ein vierter Skalar s₄ zugeordnet. Im Beispiel wird als Kennzeichen ein Vektor s=(s₁, s₂, s₃, s₄)^T verwendet. Jeder Skalar hat im Beispiel einen Wert zwischen 0 und 1, wobei der Grad der Zugehörigkeit beispielsweise mit dem Wert des jeweiligen Skalars von 0 bis 1 ansteigt. Das Kennzeichen umfasst Werte, die der Annotator auswählt.
Wenn das künstliche neuronale Netzes 100 trainiert ist, können die Komposita automatisch mithilfe eines Splitters gesucht, und mithilfe des schon trainierten künstlichen neuronalen Netzes 100 die Klassen vorhersagen.
Der Eingabeschicht 102 des künstlichen neuronalen Netzes 100 wird ein Termkandidat T vorgegeben. Es kann vorgesehen sein, die Parameter des künstlichen neuronalen Netzes 100 vor dem Training mit zufälligen Werten zu initialisieren. Zum Training kann eine Gruppe von Termkandidaten T als Batch, beispielsweise mit b = 32 Trainingsbeispielen, gleichzeitig vorgegeben werden.
Das künstliche neuronale Netz 100 ordnet einem Merkmal, das den Termkandidaten T aus der Eingabeschicht 102 repräsentiert in einer Vorhersage in der Ausgabeschicht 108 des künstlichen neuronalen Netzes 100 ein Kennzeichen o zu. Die Vorhersage erfolgt mittels des beschriebenen Modells. Das Ergebnis der Vorhersage sind im Beispiel mit b = 32 Trainingsbeispielen eine Matrix O mit 32 Vektoren o₁, ... o₃₂.
In einem Vergleich wird das Kennzeichen o aus der Ausgabeschicht 108 mit dem, diesem Merkmal in den Trainingsdaten zugeordneten Kennzeichen s verglichen. Beispielsweise wird im Vergleich eine Fehlerfunktion ausgewertet, beispielsweise eine Differenz, insbesondere ein euklidischer Abstand, zwischen dem Vektor s und dem Vektor o.
Abhängig vom Ergebnis des Vergleichs wird wenigstens ein Parameter des künstlichen neuronalen Netzes 100 gelernt. Der Parameter charakterisiert eine Verbindung des künstlichen neuronalen Netzes 100 zwischen der Eingabeschicht 102 und der Ausgabeschicht 108. Beispielsweise werden die Gewichtsmatrizen W₁ und W₂ abhängig von der Fehlerfunktion gelernt, bis die Fehlerfunktion minimiert ist. Dabei wird beispielsweise die Stochastic Gradient Descent (SGD) Methode verwendet.
Vorzugsweise wird in den Trainingsdaten eine Vielzahl von Zuordnungen von Merkmalen zu Kennzeichen vorgesehen. Im Beispiel werden 50 Epochen verwendet. In jeder der 50 Epochen werden 32 Trainingsbeispiele verarbeitet. Ein Trainingsdatensatz umfasst in diesem Falle 1600 Zuordnungen. Es kann vorgesehen sein, das Training mit einer anderen Anzahl Epochen oder einer anderen Größe eines Trainingsdatensatzes durchzuführen.
Durch die Verwendung der wenigstens drei Klassen ist es möglich, anstelle einer binären Entscheidung, ob ein Termkandidat T ein Term aus der Domäne ist oder nicht, ein künstliches neuronales Netz bereitzustellen, das einen Grad der Zugehörigkeit definiert. Damit ist eine feinere Klassifizierung möglich.
Besonders vorteilhaft ist es, wenn als Termkandidaten T ausschließlich Komposita verwendet werden. Ein derartiges trainiertes künstliches neuronales Netz ermöglicht eine besonders effiziente Klassifizierung von Texten anhand darin enthaltener Komposita.
Trainingsdaten eines Trainingsdatensatzes umfassen in diesem Fall eine Zuordnung von Merkmalen, die Komposita repräsentieren, zu den Kennzeichen, die die Klasse repräsentieren, in die die Komposita von Annotatoren klassifiziert wurden. Die Komposita werden einem bezüglich einer Domain fachspezifischen Korpus entnommen. Das Modell wird für eine Klassifizierung abhängig vom Grad einer Zugehörigkeit einer Komponente zu einer bestimmten Domäne trainiert.
Dem Trainingsdatensatz liegen folgende Aspekte zugrunde.
Komposita sind Wortzusammensetzungen, die als Komponenten Wörter oder Wortstämme enthalten. Je nach der Zusammensetzung der Komponenten entstehen Komposita die einen mehr oder weniger großen Grad der Zugehörigkeit zu einer Domäne haben. Beispielsweise kann eine Komponente Mais einer Domäne Kochen oder einer Domäne Landwirtschaft zugeordnet werden. Ein Kompositum Maisanbau kann in diesem Beispiel nur der Domäne Landwirtschaft zugeordnet werden. Ein Kompositum Maismehl kann in diesem Beispiel nur der Domäne Kochen zugeordnet werden. Eine Klassifizierung des Kompositums ist in diesem Beispiel durch eine Klassifizierung der beiden weiteren Komponenten -anbau und -mehl möglich. Das Kompositum Maisanbau lässt sich zudem inhaltlich mit der Domäne Kochen assoziieren. Das Kompositum Maisanbau lässt sich beispielsweise in die Klasse SIMTERM klassifizieren.
Zur Erstellung des Trainingsdatensatzes wird ein Text oder eine Textkollektion mit bekanntem Bezug zu dieser Domäne als fachspezifischer Korpus verwendet. Im Beispiel ist der fachspezifische Korpus eine Textkollektion von Kochrezepten. Diese enthält als Termkandidaten mögliche Fachbegriffe aus der Domäne „Kochen“.
Aus dem fachspezifischen Korpus werden Termkandidaten identifiziert. Im Beispiel werden Komposita als Termkandidaten identifiziert. Den Termkandidaten, d.h. den Komposita werden lexikalische Kompositumsdefinitionen oder Beispiele zugeordnet. Als lexikalische Definition oder Beispiel wird beispielsweise ein Text verwendet.
Für das Training und die Klassifizierung werden im Beispiel Termkandidaten berücksichtigt, die eine bestimmte Mindestlänge haben. Termkandidaten mit nur einem Buchstaben werden in diesem Fall ignoriert. Ohne eine Mindestlänge könnten Termkandidaten mit nur einem Buchstaben alternativ dazu in die Klasse NONTERM klassifiziert werden.
Den Termkandidaten wird als Gold-Standard für das Training durch einen Annotator oder mehrere Annotatoren eine nutzerbasierte Bewertung hinsichtlich einer Spezifität und Zentralität zugeordnet. Im Beispiel wird für einen Termkandidat mittels der vier Klassen eine mehrdimensionale Skala verwendet, um dem Termkandidaten eine Klassifizierung in eine der Klassen NONTERM, SIMTERM, TERM oder SPECTERM zuzuweisen. Die Annotatoren sind angehalten, einen Termkandidat in die Klasse SPECTERM zu klassifizieren, wenn er sehr spezifisch für die bestimmte Domäne, im Beispiel „Kochen“ ist und einen hohen Grad der Nähe zu der bestimmten Domäne aufweist. Die Annotatoren sind angehalten, einen Termkandidat in die Klasse SIMTERM zu klassifizieren, wenn er sehr spezifisch ist und einen mittleren Grad der Nähe zu der bestimmten Domäne aufweist. Die Annotatoren sind angehalten, einen Termkandidat in die Klasse TERM zu klassifizieren, wenn er einen hohen Grad der Nähe zu der bestimmten Domäne, im Beispiel „Kochen“ aufweist, aber ansonsten fachlich unspezifisch ist. Die Annotatoren sind angehalten, andere Termkandidaten in die Klasse NONTERM zu klassifizieren.
Beispielhaft für eine Klassifizierung eines Termkandidaten aus dem fachspezifischen Korpus wird das Kompositum „Maisanbau“ betrachtet. Einer Vielzahl Annotatoren wird das Kompositum Maisanbau und die Definition zur Klassifizierung vorgelegt. Einige Annotatoren klassifiziert das Kompositum beispielsweise aufgrund dieser Definition in die Klasse NONTERM. Andere Annotatoren klassifizieren das Kompositum beispielsweise in die Klasse SIMTERM.
Der Trainingsdatensatz wird im Beispiel um den Eintrag Maisanbau in der Klasse ergänzt, in die das Kompositum Maisanbau von allen oder einer Mehrzahl der Annotatoren klassifiziert wurde. Ein Trainingssatz enthält beispielsweise eine Zuordnung von einem Merkmal, das den Eintrag Maisanbau repräsentiert zu einer der Klassen. Beispielsweise wird der Wortvektor z, der den Termkandidaten Maisanbau charakterisiert, dem Vektor s zugeordnet, der die Klasse SIMTERM charakterisiert.
Ein Trainingsdatensatz enthält eine Vielzahl derartiger Zuordnungen für eine Vielzahl von verschiedenen Termkandidaten. Ausgehend von diesem Trainingssatz, wird das Modell trainiert. Im Training wird die Vielzahl derartiger Zuordnungen aus einem Trainingsdatensatz verwendet, um die Gewichtsmatrizen zu lernen.
In der ersten Ausführungsform werden die Wortvektoren z, die die Komposita repräsentieren als Merkmale verwendet. Die Gewichtsmatrizen W₁ und W₂ werden abhängig von diesen Wortvektoren z, dem Vektor s und einer entsprechenden Fehlerfunktion gelernt.
Eine weitere Verbesserung ist möglich, wenn zusätzlich zu den Komposita deren Komponenten verwendet werden. Dazu werden weitere Merkmale verwendet.
Dies wird im Folgenden anhand des künstlichen neuronalen Netzes 200 nach einer zweiten Ausführungsform beschrieben, das in 2 schematisch dargestellt ist.
Das künstliche neuronale Netz 200 umfasst eine erste Eingabeschicht 202a, eine zweiten Eingabeschicht 202b, eine dritte Eingabeschicht 202c, eine vierte Eingabeschicht 202d und eine fünfte Eingabeschicht 202e. Das künstliche neuronale Netz 200 umfasst eine erste verdeckte Schicht 204a, die der zweiten Eingabeschicht 202b nachgeordnet ist, eine zweite verdeckte Schicht 204b, die der dritten Eingabeschicht 202c nachgeordnet ist, eine dritte verdeckte Schicht 204c, die der vierten Eingabeschicht 202e nachgeordnet ist.
Das künstliche neuronale Netz 200 umfasst eine vierte verdeckte Schicht 206a, die der ersten Eingabeschicht 202a nachgeordnet ist. Das künstliche neuronale Netz 200 umfasst eine fünfte verdeckte Schicht 206b, die der ersten verdeckten Schicht 204a nachgeordnet ist. Das künstliche neuronale Netz 200 umfasst eine sechste verdeckte Schicht 206c, die der zweiten verdeckten Schicht 204b nachgeordnet ist. Das künstliche neuronale Netz 200 umfasst eine siebte verdeckte Schicht 206d, die der dritten verdeckten Schicht 204c nachgeordnet ist. Das künstliche neuronale Netz 200 umfasst eine achte verdeckte Schicht 206e, die der fünften Eingabeschicht 202e nachgeordnet ist.
Das künstliche neuronale Netz 200 umfasst eine neunte verdeckte Schicht 208a, die der vierten verdeckten Schicht 206a und der fünften verdeckten Schicht 206b nachgeordnet ist. Das künstliche neuronale Netz 200 umfasst eine zehnte verdeckte Schicht 208b, die der siebten verdeckten Schicht 206d und der achten verdeckten Schicht 206e nachgeordnet ist.
Das künstliche neuronale Netz 200 umfasst eine elfte verdeckte Schicht 210, die der neunten verdeckten Schicht 208a und der zehnten verdeckten Schicht 208b nachgeordnet ist. Das künstliche neuronale Netz 200 umfasst eine erste Ausgabeschicht 212a, die der neunten verdeckten Schicht 208a nachgeordnet ist. Das künstliche neuronale Netz 200 umfasst eine zweite Ausgabeschicht 212b, die der sechsten verdeckten Schicht 206c nachgeordnet ist. Das künstliche neuronale Netz 200 umfasst eine dritten Ausgabeschicht 212c, die der zehnten verdeckten Schicht 208b nachgeordnet ist. Das künstliche neuronale Netz 200 umfasst eine vierte Ausgabeschicht 214, die der elften verdeckten Schicht 210 nachgeordnet ist.
Die dritte Eingabeschicht 202c ist als Eingang für Termkandidaten ausgebildet. Im Beispiel werden als Termkandidaten Komposita c₂, d.h. Wortzusammensetzungen verwendet.
Die zweite Eingabeschichten 202b, und die vierte Eingabeschicht 202d sind als Eingabeschicht für Komponenten c₁, c₃ des Kompositums c₂ ausgebildet. In 2 sind eine erste Komponente c₁ und eine zweite Komponente c₃ dargestellt, es können aber auch mehr als zwei Komponenten verwendet werden, wenn das Kompositum mehr als zwei Komponenten enthält.
Allgemein umfasst ein Eingang des künstlichen neuronalen Netzes 200 das Kompositum c₂ und jede seiner Komponenten.
In einem Batch mit einer Anzahl b Trainingsdatensätzen wird den Eingabeschichten jeweils eine Vektor der Dimension [1, b] für jede der Komponenten und das Kompositum einzeln vorgegeben.
Als Eingang für die der zweiten Eingabeschicht 202b, der dritten Eingabeschicht 202c und der vierten Eingabeschicht 202d nachgeordneten verdeckten Schichten wird beispielweise ein Vektor x verwendet, in dem das Kompositum c₂ und seine Komponenten konkateniert sind. Für das in 2 dargestellte Beispiel mit zwei Komponenten c₁, c₃ wird in einem Modell für konkatenierte Vektoren beispielsweise der folgende Vektor verwendet: $x = (c_{1}, c_{2}, c_{3}) .$
Die Funktion E bildet x beispielsweise auf einen konkatenierten Wortvektor $z = (z_{1}, z_{2}, z_{3}) .$
ab. Der Wortvektor z ist ein Merkmal für die Zuordnung.
Es kann auch vorgesehen sein, jedem Eingang ein einzelnes Wort zuzuweisen, und erst im Dense Layer zu konkatenieren. In diesem Fall werden einzelne Vektoren $x_{1} = c_{1}$
$x_{2} = c_{2}$
$x_{3} = c_{3}$
und $z_{1} = E (x_{1})$
$z_{2} = E (x_{2})$
$z_{3} = E (x_{3})$
verwendet.
Bei einem Batch der Größe b haben die Vektoren x₁, x₂, x₃ die Dimension [1, b] wobei z₁, z₂, z₃ eine Matrix der Dimension [200, b] darstellt.
Ein jeweiliger Ausgang der fünften verdeckten Schicht 206b, der sechsten verdeckten Schicht 206c und der siebten verdeckten Schicht 206d wird im Folgenden für die einzeln berechneten Vektoren wiedergegeben: $\begin{matrix} I_{2} = φ (E (c_{1}) * W_{1}) & Ausgang der fünften \end{matrix} verdeckten Schicht 206b,$
$\begin{matrix} I_{2} = φ (E (c_{2}) * W_{2}) & Ausgang der sechsten \end{matrix} verdeckten Schicht 206c,$
$\begin{matrix} I_{3} = φ (E (c_{3}) * W_{3}) & Ausgang der siebten \end{matrix} verdeckten Schicht 206d .$
Die Funktion E stellt den Embedding Layer dar, der beispielsweise mittels des bag-of-words Modells den jeweiligen Teil des Vektors x auf einen jeweiligen Teil des Wortvektor z abbildet. $E:x \to z$
Der Ausgang I₁ der fünften verdeckten Schicht 206b, der Ausgang I₂ der sechsten verdeckten Schicht 206c und der Ausgang I₃ der siebten verdeckten Schicht 206d hat im Beispiel der Batch mit b Trainingsdaten jeweils die Dimension [64, b].
Die erste Eingabeschicht 202a ist ein Eingang für eine erste Frequenz f(c₁) und eine erste Produktivität P(c₁) einer ersten Komponente c₁ aus einem Kompositum c₂.
Die fünfte Eingabeschicht 202c ist ein Eingang für eine zweite Frequenz (fc₃) und eine zweite Produktivität P(c₃) einer zweiten Komponente c₃ aus einem Kompositum c₂. Frequenz bezeichnet hierbei eine Häufigkeit eines Auftretens der jeweiligen Komponente c₁ ,c₃ in anderen Komposita im fachspezifischen Korpus bezogen auf alle Komponenten aus dem fachspezifischen Korpus.
Produktivität bezeichnet hierbei eine Anzahl voneinander verschiedener Komposita, in denen die jeweilige Komponente c_{1, c3} in anderen Komposita als dem Kompositum c₂ im fachspezifischen Korpus enthalten ist.
Die Produktivität und die Frequenz sind zwei weitere Merkmale für die Zuordnung.
Im Beispiel werden für erste Eingabeschicht 202a $v_{1} = (f (c_{1}); P (c_{1}))$
und die fünfte Eingabeschicht 202c $v_{2} = (f (c_{3}); P (c_{3}))$
verwendet.
Als Eingang wird allgemein ein mehrdimensionaler Vektor v mit den Dimensionen Frequenz und Produktivität der einzelnen Komponenten verwendet: $v = (v_{1}, v_{2}) .$
Ein Ausgang I₄ der vierten verdeckten Schicht 206a und ein Ausgang I₅ der achten verdeckten Schicht 206e sind $\begin{matrix} I_{4} = φ (W_{4} * v_{1}) & Ausgang der vierten \end{matrix} verdeckten Schicht 206a,$
$\begin{matrix} I_{5} = φ (W_{5} * v_{2}) & Ausgang der achten \end{matrix} verdeckten Schicht 206e .$
Der Ausgang I₄ der vierten verdeckten Schicht 206a und der Ausgang I₁ der fünften verdeckten Schicht 206b haben im B Beispiel der Batch mit b Trainingsdaten jeweils die Dimension [64, b]. Der Ausgang I₄ der vierten verdeckten Schicht 206a und der Ausgang I₁ der fünften verdeckten Schicht 206b bilden einen Eingang der neunten verdeckten Schicht 208a.
Der Ausgang I₅ der achten verdeckten Schicht 206e und der Ausgang I₃ der siebten verdeckten Schicht 206d haben im Beispiel der Batch mit b Trainingsdaten jeweils die Dimension [64, b]. Der Ausgang I₅ der achten verdeckten Schicht 206e und der Ausgang I₃ der siebten verdeckten Schicht 206d bilden einen Eingang der zehnten verdeckten Schicht 208b.
Ein Ausgang I₆ der neunten verdeckten Schicht 208a und ein Ausgang I₇ der zehnten verdeckten Schicht 208b sind $\begin{matrix} I_{6} = {[I_{1}; I_{4}]}^{T} & Ausgang der neunten \end{matrix} verdeckten Schicht 208a,$
$\begin{matrix} I_{7} = {[I_{3}; I_{5}]}^{T} & Ausgang der zehnten \end{matrix} verdeckten Schicht 208b .$
Die neunte verdeckte Schicht 208a und die zehnte verdeckte Schicht 208b konkatenieren im Beispiel ihre jeweiligen Eingänge.
Der Ausgang I₆ der neunten verdeckten Schicht 208a und der Ausgang I₇ der zehnten verdeckten Schicht 208b haben im Beispiel der Batch mit b Trainingsdaten jeweils eine Dimension [128, b]. Der Ausgang I₆ der neunten verdeckten Schicht 208a und der Ausgang I₇ der zehnten verdeckten Schicht 208b bilden mit dem Ausgang I₂ der sechsten verdeckten Schicht 206c den Eingang der elften verdeckten Schicht 210.
Der Ausgang I₈ der elften verdeckten Schicht 210 ist $\begin{matrix} I_{8} = {[I_{6}; I_{2} I_{7}]}^{T} & Ausgang der elften \end{matrix} verdeckten Schicht 210 .$
Der Ausgang I₈ der elften verdeckten Schicht 210 hat im Beispiel der Batch mit b Trainingsdaten die Dimension [320, b]. Den Ausgang des künstlichen neuronalen Netzes 200 bildet in einem Aspekt der Ausgang der vierten Ausgabeschicht 214: $O = σ (W_{6} * I_{8}) .$
Den Ausgang des künstlichen neuronalen Netzes 200, im Beispiel der Ausgang der vierten Ausgabeschicht 214, hat im Beispiel der Batch mit b Trainingsdaten eine Dimension [4, b].
Für eine Optimierung des künstlichen neuronalen Netzes 200 beim Training oder danach wird dieser Ausgang O in einer Fehlerfunktion, beispielsweise in einem Stochastic gradient descent Verfahren, mit dem Vektor s verwendet, um die Gewichte der Gewichtsmatrizen anzupassen.
In einem optionalen weiteren Aspekt sind der Ausgang O und Hilfsausgänge O_aux vorgesehen $\begin{matrix} O = σ (W_{6} * I_{8}) & Ausgang der vierten \end{matrix} Ausgabeschicht 214,$
$\begin{matrix} O_{aux1} = σ (W_{7} * I_{6}) & Ausgang der ersten \end{matrix} Ausgabeschicht 212a,$
$\begin{matrix} O_{aux2} = σ (W_{8} * I_{2}) & Ausgang der zweiten \end{matrix} Ausgabeschicht 212b,$
$\begin{matrix} O_{aux3} = σ (W_{9} * I_{7}) & Ausgang der dritten \end{matrix} Ausgabeschicht 212c .$
Die Hilfsausgänge O_aux1, O_aux2 und O_aux3 haben im Beispiel der Batch mit b Trainingsdaten eine Dimension [4, b].
Die Information aus den Hilfsausgängen O_aux1 und O_aux3 für die Komponenten c₁, c₃ werden verwendet, um das künstliche neuronale Netz 200 auf dem Weg zum Ausgang O zu optimieren. Mit den Schichten, die zu den Hilfsausgängen O_aux1 und O_aux3 führen, wird das Wissen im künstlichen neuronalen Netz 200 geschärft, in welche Klassen die Komponenten gehören. Für den Ausgang O lernt das künstliche neuronale Netz 200, inwiefern diese Information zur Klassifizierung des Kompositums hilft.
Zum Beispiel werden bei einem Kompositum „Tomatenlsuppe“ wahrscheinlich beide Komponenten als TERM klassifiziert, und dann das Kompositum am Ausgang O auch. Bei einem Kompositum „Dosenlsuppe“ wird die Komponente „Dose“ wahrscheinlich als NONTERM und die Komponente „suppe“ als TERM Klassifiziert. Das künstliche neuronale Netz 200 lernt für den Ausgang O noch einmal, dass bei dieser Komponentenkombination TERM meistens überwiegt und die Klasse ausmacht.
Zum Beispiel lernt das künstliche neuronale Netz 200 für das Kompositum „Portulaklsalat“ aus einer Kombination von „Portulak“ als SPECTERM und „salat“ als TERM, dass die Klasse des Kompositums SPECTERM ist.
Die Aktivierungsfunktion φ ist beispielsweise für einen jeweiligen Eingang y_i und eine jeweilige der i Gewichtsmatrizen W_i definiert als $φ (y_{i}) = tanh (y_{i} * W_{i})))$
Im Beispiel charakterisiert der Ausgang O in dieser Reihenfolgt die i-te der vier Klassen NONTERM, SIMTERM, TERM, SPECTERM. Beispielsweise wird der Ausgang als O = (o_1; o₂, o₃, o₄) in der Ausgabeschicht für einen jeweiligen Eingang y_i und einen i-ten der n skalaren Ausgänge o_i folgende Funktion verwendet $o_{i} = σ (y_{i}) = \frac{e^{y_{i}}}{\sum_{k = 0}^{n} e^{y_{k}}}$
Der Wert von o_i gibt im Beispiel von 0 beginnend einen bis zum maximalen Wert 1 zunehmenden Grad der Zugehörigkeit zu der Klasse an, für die o_i bestimmt wurde.
Die j optionalen zusätzlichen Ausgänge O_auxj = (o_auxj1, o_auxj2, o_auxj3, o_auxj4) geben jeweils i Wert o_auxji an, die im Beispiel ebenfalls von 0 beginnend bis zum maximalen Wert 1 zunehmenden Grad für die Zugehörigkeit zu der i-ten Klasse angeben. Genauer gibt der Ausgang O_aux1 den Grad der Zugehörigkeit der ersten Komponente c₁ zu den Klassen an. Der Ausgang O_aux2 gibt den Grad der Zugehörigkeit des Kompositums c₂ zu den Klassen an. Der Ausgang O_aux3 gibt den Grad der Zugehörigkeit der Komponente c₃ zu den Klassen an. Für eine weitere Optimierung des künstlichen neuronalen Netzes 200 werden die Werte o_auxj1, o_auxj2, o_auxj3, o_auxj4 gewichtet in einer Fehlerfunktion verwendet. In einer beispielhaften Fehlerfunktion wird der Ausgang der vierten Ausgabeschicht 214 mit einem Faktor 1 und alle optionalen Ausgänge mit einem Faktor 0.2 gewichtet verwendet. Eine andere Gewichtung kann ebenfalls verwendet werden. Für das Training des neuronalen Netzes wird beispielsweise ein Backpropagation Algorithmus genutzt, der verschiedene Ausgänge zur Optimierung der Gewichte der Gewichtsmatrizen mit verschiedenen Gewichtungen verwendet.
Die Dimensionen der Gewichtsmatrizen W werden passend zu den Dimensionen der jeweiligen Eingabeschicht 202a, 202b, 202c, 202d, 202e und der jeweiligen Ausgabeschicht 212a, 212b, 212c, 214 festgelegt. Die Gewichtsmatrix W₁ der fünften verdeckte Schicht 206b hat beispielsweise für einen 200-dimensionalen Wortvektor z₁ eine Dimension 200 x 64. Entsprechend haben Gewichtsmatrizen W₂ und W₃ der sechsten verdeckten Schicht 206c und der siebten verdeckten Schicht 206d für ebenfalls 200-dimensionalen Wortvektoren z₂ und z₃ dieselben Dimensionen.
Die Produktivität und die Frequenz einer Komponente sind im Beispiel Skalare, der zugehörige Vektor v₁ oder v₂ ist zweidimensional. Die Gewichtsmatrizen W₃, und W₄ haben beispielsweise bei dem Batch der Größe b die Dimension 2 x b. Die neunte verdeckte Schicht 208a fasst die Ausgänge I₁ und I₄ zusammen. Die zehnte verdeckte Schicht 208b fasst die Ausgänge I₃ und I₅. Die Dimensionen der jeweiligen Gewichtsmatrizen ist an die Dimensionen der jeweiligen Ausgänge und an die Größe der Batch b angepasst.
Es können auch mehr oder weniger optionale Ausgänge und andere passende Dimensionen verwendet werden. Das Zusammenfassen der Ausgänge und Vektoren erfolgt beispielsweise durch Konkatenation.
Das künstliche neuronale Netz 200 ordnet allgemein einem Merkmal z, v, welches das Kompositum c₂ aus der Eingabeschicht 202 repräsentiert, in einer Vorhersage in der Ausgabeschicht 214 des künstlichen neuronalen Netzes 200 ein Kennzeichen O zu. Die Vorhersage erfolgt mittels des beschriebenen Modells. Das Ergebnis der Vorhersage ist im Beispiel der Vektor O.
In einem Vergleich wird das Kennzeichen O mit dem, diesem Merkmal in den Trainingsdaten zugeordneten Kennzeichen s verglichen. Beispielsweise wird im Vergleich eine Fehlerfunktion, insbesondere eine Differenz zwischen dem Vektor s und dem Vektor O verwendet.
Abhängig vom Ergebnis des Vergleichs wird wenigstens ein Parameter des künstlichen neuronalen Netzes gelernt. Der Parameter charakterisiert eine Verbindung des künstlichen neuronalen Netzes zwischen der Eingabeschicht 102 und der Ausgabeschicht 108. Beispielsweise werden die Gewichtsmatrizen W₁ und W₂ abhängig von der Differenz bestimmt. Dazu wird eine Fehlerfunktion ausgewertet, mit der die Differenz minimiert wird. Dabei wird beispielsweise die Stochastic Gradient Descent (SGD) Methode verwendet.
Der zweiten Ausführungsform liegen gegenüber der ersten Ausführungsform folgende zusätzlichen Aspekte zugrunde.
Die Produktivität und die Frequenz bilden ein Grad für eine thematische Zuordnung, d.h. eine Zentralität, und ein Grad für eine Schwierigkeit, d.h. eine Spezifität oder ein Niveau. Komponenten eines Kompositums, die häufig in verschiedenen Komposita auftreten, sind mit großer Wahrscheinlichkeit zentrale Komponenten für diese Domäne. Komponenten eines Kompositums, die in geringer Anzahl auftreten, sind mit großer Wahrscheinlichkeit Komponenten, die für die Domäne spezifisch sind.
Je nach der Zusammensetzung der Komponenten entstehen Komposita die einen mehr oder weniger großen Grad der Zugehörigkeit zu einer Domäne haben. Beispielsweise kann eine Komponente Mais einer Domäne Kochen oder einer Domäne Landwirtschaft zugeordnet werden. Ein Kompositum Maisanbau kann in diesem Beispiel nur der Domäne Landwirtschaft zugeordnet werden. Ein Kompositum Maismehl kann in diesem Beispiel nur der Domäne Kochen zugeordnet werden. Eine Klassifizierung des Kompositums ist in diesem Beispiel durch eine Klassifizierung der gemeinsamen Komponente Mais und/oder durch die beiden weiteren Komponenten -anbau und -mehl möglich.
Beispielsweise ist eines der Wörter oder Wortstämme einer Wortzusammensetzung als Komponente nur einer Klasse zuordenbar. Beispielsweise ist jede der Komponenten zumindest in ein und dieselbe Klasse klassifizierbar. Die Wortzusammensetzung, d.h. das Kompositum, das aus diesen Komponenten besteht oder das diese Komponenten enthält, wird beispielsweise automatisiert in diese Klasse klassifiziert.
In einem anderen Aspekt der Klassifizierung enthält eine Wortzusammensetzung wenigstens zwei Komponenten, die in verschiedenen Klassen klassifizierbar sind wobei die wenigstens zwei Komponenten in keiner gemeinsamen Klasse klassifizierbar sind. In diesem Fall ist eine Klassifizierung des Kompositums, das aus diesen Komponenten besteht oder das diese Komponenten enthält, nicht eindeutig. In diesem Fall kann beispielsweise automatisiert eine Mehrheitsentscheidung getroffen werden, nach der das Kompositum in die Klasse klassifiziert wird, in der auch die meisten seiner Komponenten klassifiziert sind. Selbst falls dies aufgrund fehlender Mehrheitsverhältnisse ausgeschlossen ist, sind bestimmte Klassen, in die keines der Wörter oder keiner der Wortstämme der Wortzusammensetzung als Komponente klassifiziert wurde ausgeschlossen.
Daher bietet eine Verwendung der Komponenten in der Klassifizierung zusätzlich zur Verwendung der Komposita selbst eine signifikante Verbesserung der Klassifizierung. Dies fällt besonders bei Komposita ins Gewicht, die nicht sehr häufig auftreten, oder deren Zusammensetzung im Trainingsdatensatz unbekannt war, mit dem das Modell trainiert wurde. Selbst wenn einzelne Komponenten eines Kompositums unbekannt sind, kann im Training mit diesem Trainingsdatensatz eine Klassifizierung mittels der anderen Komponenten des Kompositums für zuvor unbekannte Komponenten gelernt werden.
Zur Erstellung eines Trainingsdatensatzes werden die Wortvektoren auf einem allgemeinsprachlichen Korpus trainiert um möglichst umfangreiches Datenmaterial zu erhalten. Eine Feinjustierung erfolgt mittels eines Trainings der Wortvektoren auf einem Korpus, der fachspezifisch für die Domäne ist. Beispielsweise wird Text oder eine Textkollektion mit bekanntem Bezug zu dieser Domäne als fachspezifischer Korpus verwendet. Im Beispiel ist der fachspezifische Korpus eine Textkollektion von Kochrezepten. Diese enthält als Termkandidaten mögliche Fachbegriffe aus der Domäne „Kochen“. Zur Bestimmung von Produktivität oder Frequenz wird beispielsweise nur der fachspezifische Korpus herangezogen.
Aus dem fachspezifischen Korpus werden Termkandidaten identifiziert. Im Beispiel werden Komposita als Termkandidaten identifiziert. Den Termkandidaten werden lexikalische Kompositumsdefinitionen oder Beispiele zugeordnet. Als lexikalische Definition oder Beispiel wird beispielsweise ein Text verwendet.
Für das Training und die Klassifizierung werden im Beispiel Termkandidaten berücksichtigt, die eine bestimmte Mindestlänge haben. Termkandidaten mit nur einem Buchstaben werden in diesem Fall ignoriert. Ohne eine Mindestlänge könnten Termkandidaten mit nur einem Buchstaben alternativ dazu in die Klasse NONTERM klassifiziert werden.
Den Termkandidaten wird als Gold-Standard für das Training durch einen Annotator oder mehrere Annotatoren eine nutzerbasierte Bewertung hinsichtlich einer Spezifität und Zentralität zugeordnet. In diesem Fall wird für einen Termkandidat eine mehrdimensionale Skala verwendet, um dem Termkandidaten eine Klassifizierung in eine der Klassen NONTERM, SIMTERM, TERM oder SPECTERM zuzuweisen. Frequenz und Produktivität werden beispielsweise dem Trainingsdatensatz als Vektor v zusätzlich zum Wortvektor z zugefügt. Die Annotatoren sind angehalten, einen Termkandidat in die Klasse SPECTERM zu klassifizieren, wenn er sehr spezifisch für die bestimmte Domäne, im Beispiel „Kochen“ ist und einen hohen Grad der Nähe zu der bestimmten Domäne aufweist. Die Annotatoren sind angehalten, einen Termkandidat in die Klasse SIMTERM zu klassifizieren, wenn er einen mittleren Grad der Nähe zu der bestimmten Domäne aufweist. Die Annotatoren sind angehalten, einen Termkandidat in die Klasse TERM zu klassifizieren, wenn er einen hohen Grad der Nähe zu der bestimmten Domäne, im Beispiel „Kochen“ aufweist, aber ansonsten fachlich unspezifisch ist. Die Annotatoren sind angehalten, andere Termkandidaten in die Klasse NONTERM zu klassifizieren.
Beispielhaft für eine Klassifizierung eines Termkandidaten aus dem fachspezifischen Korpus wird das Kompositum „Tomatenpüree“ betrachtet. Nach einer Definition ist Tomatenpüree eine aus Tomaten hergestellte Paste, die in der Küche vor allem zur Herstellung von Saucen verwendet wird. Einer Vielzahl Annotatoren wird das Kompositum Tomatenpüree und die Definition zur Klassifizierung vorgelegt. Einige Annotatoren klassifiziert das Kompositum beispielsweise aufgrund dieser Definition in die Klasse TERM. Andere Annotatoren klassifizieren das Kompositum beispielsweise in die Klasse SPECTERM.
Der Trainingsdatensatz wird im Beispiel um den Eintrag Tomatenpüree in der Klasse ergänzt, in die das Kompositum Tomatenpüree von allen oder einer Mehrzahl der Annotatoren klassifiziert wurde. Ein Trainingssatz enthält beispielsweise eine Zuordnung von einem Merkmal, das den Eintrag Tomatenpüree repräsentiert zu einer der Klassen. Beispielsweise werden als Merkmale der Wortvektor z und der Vektor v, die den Termkandidaten Tomatenpüree charakterisieren, dem Vektor s zugeordnet, der die Klasse SPECTERM charakterisiert.
Der Trainingsdatensatz umfasst eine Vielzahl derartiger Zuordnungen.
Im Training wird eine Vielzahl derartiger Zuordnungen aus dem Trainingsdatensatz verwendet, um die Gewichtsmatrizen zu lernen.
In der zweiten Ausführungsform werden die Gewichtsmatrizen abhängig von den Merkmalen gelernt, die die Komposita repräsentieren. Die zusätzlichen Merkmale, die abhängig von den Komponenten und der Produktivität und/oder Frequenz der Komponenten bestimmt sind, werden ebenfalls verwendet.
Zusätzlich zum Kompositum „Tomatenpüree“ werden im Training Merkmale verwendet, die seine relevanten Komponenten „Tomate“ und „püree“ charakterisieren. Beispielsweise wird ein entsprechend konkatenierter Wortvektor z und ein konkatenierter Vektor v verwendet, der die Produktivität und Frequenz charakterisiert. Die Schichten des künstlichen neuronalen Netzes 200 und die Vektoren und Matrizen zur Berechnung werden dazu beispielsweise entsprechend zusammengefasst und umsortiert.
Bei der Erzeugung des Trainingsdatensatzes für die Domäne „Kochen“ werden die relevanten Komposita im Beispiel von Annotatoren manuell in die Klassen SIMTERM, TERM oder SPECTERM klassifiziert, da es sich um Bezeichnungen mit unterschiedlich zentralem und unterschiedlich spezifischen Bezug zum Thema Kochen handelt. Die Klasse von Komponenten wird anhand der Komposita aus dem Trainingsdatensatz, in denen sie vorkommen, geschätzt. Zum Beispiel, wird für eine Komponente „Tomate“ wahrscheinlich geschätzt, dass sie die Klasse TERM hat, da die Komponente „Tomate“ sehr häufig in Komposita wie „Tomatensuppe“, „Tomatensalat“, „Tomatenauflauf“, „Tomatenpüree“, ... auftritt, die als TERM klassifiziert sind, und seltener in anderen Komposita. Diese Klassifizierung muss nicht immer dieselbe sein wie die von den Annotatoren annotieren Komposita-Klassen. Trotzdem optimiert diese Information aus den Hilfsausgängen O_aux1 und O_aux3 das Ergebnis.
Ausgehend von diesem Trainingssatz, wird ein Modell gemäß der zweiten Ausführungsform wie im Folgenden beschrieben trainiert.
Alle Gewichte aus den Gewichtsmatrizen des künstlichen neuronalen Netzes 200 werden beispielsweise zu Beginn des Trainings auf denselben Wert gesetzt. Es können auch zufällige Werte verwendet werden.
Ein Training des Modells mit dem Trainingsdatensatz wird am Beispiel des Kompositums „Tomatenpüree“ beschrieben.
In einem ersten Schritt wird das Kompositum in Komponenten zerlegt. Die Wortzusammensetzung „Tomatenpüree“ umfasst als Komponenten den Wortstamm „Tomate“ und das Wort „püree“. Die verbleibende Komponente „n“ wird im Beispiel als Fugenelement und nicht betrachtet. D.h. im Beispiel werden nur Komponenten verwendet, die länger als eine Mindestlänge von zwei Buchstaben sind. Die resultierenden relevanten Komponenten „Tomate“ und „püree“ sowie das Kompositum „Tomatenpüree“ bilden die Eingangsterme der Klassifizierung durch das Modell.
Im Beispiel wird das künstliche neuronale Netz 200 verwendet, dessen Gewichte durch wenigstens eine Optimierungsfunktion anpassbar sind. Die Gewichte werden abhängig von der Optimierungsfunktion und dem Trainingsdatensatz so angepasst, dass das Kompositum „Tomatenpüree“ mit hoher Wahrscheinlichkeit der Klasse TERM zugeordnet wird. Es kann vorgesehen sein, die weiteren Ausgänge für die Komponenten ebenfalls zu optimieren, sodass die Komponente „Tomate“ mit hoher Wahrscheinlichkeit der Klasse TERM zugeordnet wird und die Komponente „püree“ mit hoher Wahrscheinlichkeit der Klasse SPECTERM zugeordnet wird. Dazu wird ein erweiterter Trainingsdatensatz verwendet, in dem Zuordnungen von Merkmalen, die bekannten Komponenten repräsentieren, zu entsprechenden Klassen enthalten sind. Das bedeutet, dass die Komposita genauer der Kompositumsvektor zur Entscheidungshilfe dient.
Allgemein werden, wie in 3 dargestellt, in einem ersten Schritt S1 die Komposita als Termkandidaten im spezifischen Korpus 302 gesucht und in Komponenten aufgeteilt. In einem zweiten Schritt S2 werden die Komposita automatisiert oder durch Annotatoren wenigstens einer der Klassen zugeordnet. In einem dritten Schritt S3 werden die Merkmale für die Komposita und die Komponenten bestimmt. Das heißt, Wortvektoren, Produktivität und Frequenz werden auf Basis des spezifischen Korpus 302 bestimmt. In einem vierten Schritt S4 werden die verschiedenen Modelle des künstlichen neuronalen Netzes mit den Merkmalen trainiert, um in einem fünften Schritt S5 für die Komposita ihre Klassen vorherzusagen.
Eine Analyse eines Textes, der das Kompositum „Tomatenpüree“ enthält, mittels des Modells nach zweiten Ausführungsform, das mit dem entsprechenden Trainingsdatensatz trainiert wurde, umfasst folgende Aspekte.
Das Kompositum Tomatenpüree wird zunächst in seine Komponenten zerlegt. Die resultierenden relevanten Komponenten „Tomate“ und „püree“ werden hinsichtlich ihrer Produktivität und ihrer Frequenz im fachspezifischen Korpus bewertet. Die Merkmale werden abhängig vom Kompositum Tomatenpüree, seinen relevanten Komponenten Tomate und püree, sowie der Produktivität und der Frequenz den entsprechenden Eingabeschichten des Modells übergeben. Das Kompositum „Tomatenpüree“ wird einer der Klassen zugeordnet.
Die Komposita und ihre Komponenten werden optional durch einen Splitter erzeugt, der als Termkandidaten T Komposita c aus einem fachspezifischen Korpus extrahiert und in eine Anzahl i Komponenten c_i aufteilt.
Der Splitter arbeitet beispielsweise wie in einer der folgenden Referenzen beschrieben:

CharSplit: Character ngram-based splitting of sparse compound nouns, Appendix A.3, Don Tuggener, 2016, Incremental Coreference Resolution for German, Thesis presented to the Faculty of Arts and Social Sciences of the University of Zurich.
CompoST: Fabienne Cap, 2014, Morphological Processing of Compounds for Statistical Machine Translation, dem Institut für Maschinelle Sprachverarbeitung Universität Stuttgart vorgelegt Abhandlung.
SCS: Marion Weller-Di Marco, 2017, Simple compound splitting for German, Proceedings of the 13th workshop on Multiword Expressions, MWE@EACL 2017, pages 161-166, Valencia, Spain.

Vorzugsweise werden Komposita aus dem fachspezifischen Korpus in deutscher Sprache zuerst mit einem Vorgehen nach CompoST aufgeteilt. Anschließend wird das Vorgehen nach SCS angewendet und schließlich das Vorgehen nach CharSplit angewendet. Damit sind besonders gute Ergebnisse erzielbar. Für andere Sprachen werden entsprechende andere Splitter in gleicher Art und Weise eingesetzt.
Wird eine Analyse des Texts mittels des Modells nach der ersten Ausführungsform durchgeführt, wird wie für die zweite Ausführungsform beschrieben verfahren. Der Schritt der Zerlegung in Komponenten und die Bestimmung und Verwendung von Produktivität und Frequenz entfallen in diesem Fall. Stattdessen wird das Modell nach der ersten Ausführungsform direkt mit den Termkandidaten eingesetzt.
Beide Verfahren zur Textanalyse stellen eine wesentliche Verbesserung für herkömmliche Verfahren zur Klassifizierung von Text dar.
Anstelle der Ausschließlichen Verwendung eines künstlichen neuronalen Netzes können auch andere Machine Learning Ansätze verwendet werden. Zum Beispiel kann ein anderer Deep Learning Ansatz oder ein anderer Klassifikator verwendet werden, der für mehr als zwei Klasen vorhersagen kann. Anstelle eines auf einem künstlichen neuronalen Netz basierenden computerimplementierten Verfahrens kann für die Klassifizierung auch ein anderes statistisches Verfahren verwendet werden.
In einem Aspekt umfasst die Klassifizierung von Text das künstliche neuronale Netz. Das künstliche neuronale Netz kann als Vorrichtung, beispielsweise als spezifische Hardware, beispielsweise anwendungsspezifische integrierte Schaltung, ASIC, oder im Feld programmierbare Logik-Gatter-Anordnung, FPGA, ausgebildet sein. Das System kann auch einen Prozessor als universelle integrierte Schaltung umfassen, die das künstliche neuronale Netz abbildet oder mit der spezifischen Hardware zusammenwirkt. Das künstliche neuronale Netz stellt insbesondere für einen Computer mit einer universellen integrierten Schaltung eine computerimplementierte Datenstruktur dar, welche die interne Funktionsweise des Computers selbst erheblich verbessert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 202017102235 U1 [0003]

Claims

Computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes (100; 200) mit Trainingsdaten, die Merkmale (z; z, v) und Kennzeichen (s) umfassen, dadurch gekennzeichnet, dass die Merkmale (z; z, v) Termkandidaten (T; c₂) aus einem Korpus (302) charakterisieren, wobei der Korpus (302) einen Text aus einer Domäne umfasst, wobei das Kennzeichen (s) einen Grad einer Zugehörigkeit zu wenigstens drei voneinander verschiedene Klassen für die Termkandidaten (T; c₂) charakterisiert, wobei unterschiedliche Klassen unterschiedliche Grade der Zugehörigkeit des Termkandidaten (T; c₂) zu der Domäne angeben, wobei die Trainingsdaten eine Zuordnung von Merkmalen (z; z, v) zu Kennzeichen (s) umfassen, wobei einer Eingabeschicht (102; 202a, ..., 202e) des künstlichen neuronalen Netzes (100; 200) ein Merkmal (z; z, v) vorgegeben wird (S3), wobei das künstliche neuronale Netz (100; 200) dem Merkmal (z; z, v) aus der Eingabeschicht (102; 202a, ..., 202e) in einer Vorhersage in einer Ausgabeschicht (208; 214) des künstlichen neuronalen Netzes (100; 200) ein Kennzeichen (O) zuordnet (S5), wobei in einem Vergleich das Kennzeichen (O) aus der Ausgabeschicht (208; 214) mit dem Kennzeichen (s), das dem Merkmal (z; z, v) in den Trainingsdaten zugeordnet ist, verglichen wird (S4), wobei abhängig vom Ergebnis des Vergleichs wenigstens ein Parameter (W₁, W₂; W₁, W₂, W₃, W₄, W₅, W₆, W₇, W₈, W₉) des künstlichen neuronalen Netzes (100; 200) gelernt wird (S4), der eine Verbindung des künstlichen neuronalen Netzes zwischen der Eingabeschicht (102; 202a, ..., 202e) und der Ausgabeschicht (208; 214) charakterisiert.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Termkandidaten (T, c₂) einem bezüglich der Domäne fachspezifischen Korpus (302) entnommen werden (S1).
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Termkandidaten (T) wenigstens einer der Klassen zugeordnet werden (S2) und die Merkmale (z) für die Termkandidaten (T) bestimmt werden (S3), wobei insbesondere ein Wortvektor (z) bestimmt wird, und wenigstens ein Parameter (W₁, W₂) des künstlichen neuronalen Netzes (100) mit den Merkmalen (z) trainiert wird (S4).
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Termkandidaten (c₂) Komposita (c₂) mit wenigstens zwei Komponenten (c₁, c₃) sind.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass Komposita (c₂) aus einem bezüglich der Domäne fachspezifischen Korpus (302) als Termkandidaten (c₂) in Komponenten (c₁, c₃) aufgeteilt werden (S1), die Komposita (c₂) wenigstens einer der Klassen zugeordnet werden (S2), die Merkmale (z, v) für die Komposita (c₂) und die Komponenten (c₁, c₂) bestimmt werden (S3), und wenigstens ein Parameter (W₁, W₂, W₃, W₄, W₅, W₆, W₇, W₈, W₉) des künstlichen neuronalen Netzes (200) mit den Merkmalen (z, v) trainiert wird (S4).
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass wenigstens ein Wortvektor als Merkmal (z) bestimmt wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass eine Produktivität (P(c₁), P(c₃)) und eine Frequenz (f(c₁), f(c₃)) der Komponenten (c₁, c₂) als Merkmale (v) auf Basis des spezifischen Korpus (302) bestimmt werden.
Computerimplementiertes Verfahren zum Erzeugen von Trainingsdaten für ein Training eines künstlichen neuronalen Netzes (100; 200) wobei die Trainingsdaten Merkmale (z; z, v) und Kennzeichen (s) umfassen, dadurch gekennzeichnet, dass Merkmale (z; z, v) bestimmt werden, die Termkandidaten (T, c₂) aus einem Korpus (302) charakterisieren, wobei der Korpus (302) einen Text aus einer Domäne umfasst, wobei ein Kennzeichen (s) bestimmt wird, das einen Grad einer Zugehörigkeit zu wenigstens drei voneinander verschiedene Klassen für die Termkandidaten (T; c₂) charakterisiert, wobei unterschiedliche Klassen unterschiedliche Grade der Zugehörigkeit des Termkandidaten zu der Domäne angeben, wobei wenigstens einem Merkmal (z; z, v) wenigstens eines der Kennzeichen (s) zugeordnet wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Termkandidaten (T, c₂) einem bezüglich der Domäne fachspezifischen Korpus (302) entnommen werden (S1).
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Termkandidaten (T) wenigstens einer der Klassen zugeordnet werden (S2) und die Merkmale (z) für die Termkandidaten (T) bestimmt werden (S3), wobei insbesondere ein Wortvektor (z) bestimmt wird.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Termkandidaten (c₂) Komposita (c₂) mit wenigstens zwei Komponenten (c₁, c₃) sind.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass Komposita (c) aus einem bezüglich der Domäne fachspezifischen Korpus (302) als Termkandidaten (c₂) in Komponenten (c₁, c₃) aufgeteilt werden (S1), die Komposita (c₂) wenigstens einer der Klassen zugeordnet werden (S2), und die Merkmale (z, v) für die Komposita (c₂) und die Komponenten (c₁, c₃) bestimmt werden (S3).
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass wenigstens ein Wortvektor als Merkmal (z) bestimmt wird.
Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass eine Produktivität (P(c₁), P(C₃)) und eine Frequenz (f(c₁), f(c₃)) der Komponenten (c₁, c₃) als Merkmale (v) auf Basis des spezifischen Korpus (302) bestimmt werden.
Künstliches neuronales Netz (100; 200), dadurch gekennzeichnet, dass einer Eingabeschicht (102; 202a, ..., 202e) des künstlichen neuronalen Netzes (100; 200) ein Merkmal (z; z, v) vorgebbar ist, wobei das künstliche neuronale Netz (100; 200) ausgebildet ist, dem Merkmal (z; z, v) aus der Eingabeschicht (102; 202a, ..., 202e) in einer Vorhersage in einer Ausgabeschicht (208, 214) des künstlichen neuronalen Netzes (100; 200) ein Kennzeichen (O) zuzuordnen, wobei die Merkmale (z; z, v) Termkandidaten (T, c₂) aus einem Korpus (302) charakterisieren, wobei der Korpus (302) einen Text aus einer Domäne umfasst, wobei das Kennzeichen (O) wenigstens drei voneinander verschiedene Klassen für die Termkandidaten (T, c₂) charakterisiert, wobei unterschiedliche Klassen unterschiedliche Grade der Zugehörigkeit des Termkandidaten (T, c₂) zu der Domäne angeben.
Künstliches neuronales Netz (100; 200) nach Anspruch 15, dadurch gekennzeichnet, dass das künstliche neuronale Netz (200) wenigstens eine erste Eingabeschicht (202b, 202c, 202d) umfasst, der ein Kompositum (c₂) und seine Komponenten (c₁, c₃) für ein erstes Merkmal (z) vorgebbar sind, wobei das künstliche neuronale Netz (200) wenigstens eine zweite Eingabeschicht (202a, 202e) umfasst, der eine Produktivität (P(c₁), P(c₃) ) und eine Frequenz (f(c₁), f(c₃)) der Komponenten (c₁, c₃) für ein zweites Merkmal (v) vorgebbar sind, wobei die Ausgabeschicht (214) den Eingabeschichten nachgeordnet ist und das Kennzeichen (O) in der Vorhersage abhängig vom ersten Merkmal (z) und vom zweiten Merkmal (v) ausgibt.
Künstliches neuronales Netz (100; 200) nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass das künstliche neuronale Netz (200) eine weitere Ausgabeschicht (212b) umfasst, die ausgebildet ist einen Grad einer Zuordnung eines Kompositums (c) zu den wenigstens drei Klassen unabhängig von der Produktivität (P(c₁), P(c₃) ) und der Frequenz (f(c₁), f(c₃)) seiner Komponenten (c₁, c₃) auszugeben.
Künstliches neuronales Netz (100; 200) nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, dass das künstliche neuronale Netz (200) eine weitere Ausgabeschicht (212a, 212c) umfasst, die ausgebildet ist einen Grad einer Zuordnung einer der Komponenten (c₁, c₃) zu den wenigstens drei Klassen abhängig von der Produktivität (P(c₁), P(c₃) ) und der Frequenz (f(c₁), f(c₃)) dieser Komponente (c₁, c₃) auszugeben.
Verfahren zur Klassifizierung von Termkandidaten (T, c₂), dadurch gekennzeichnet, dass einer Eingabeschicht (102; 202a, ..., 202e) eines künstlichen neuronalen Netzes (100; 200) ein Merkmal (z; z, v) vorgegeben wird, wobei dem Merkmal (z; z, v) aus der Eingabeschicht (102; 202a, ..., 202e) in einer Vorhersage in einer Ausgabeschicht (208, 214) des künstlichen neuronalen Netzes (100; 200) ein Kennzeichen (O) zugeordnet wird, wobei die Merkmale (z; z, v) Termkandidaten (T, c₂) aus einem Korpus (302) charakterisieren, wobei der Korpus (302) einen Text aus einer Domäne umfasst, wobei das Kennzeichen (O) wenigstens drei voneinander verschiedene Klassen für die Termkandidaten (T, c₂) charakterisiert, wobei unterschiedliche Klassen unterschiedliche Grade der Zugehörigkeit des Termkandidaten (T, c₂) zu der Domäne angeben.
Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass einer ersten Eingabeschicht (202b, 202c, 202d) ein Kompositum (c) und seine Komponenten (c₁, c₃) für ein erstes Merkmal (z) vorgegeben werden, wobei einer zweiten Eingabeschicht (202a, 202e) eine Produktivität (P(c₁), P(c₃) ) und eine Frequenz (f(c₁), f(c₃)) der Komponenten (c₁, c₃) für ein zweites Merkmal (v) vorgegeben werden, wobei die Ausgabeschicht (214) den Eingabeschichten nachgeordnet ist und das Kennzeichen (O) in der Vorhersage abhängig vom ersten Merkmal (z) und vom zweiten Merkmal (v) ausgegeben wird.