DE112022002126T5

DE112022002126T5 - Erkennung von absichten mittels eines einheitlichen syntaktischen graphen mit mehreren stationen

Info

Publication number: DE112022002126T5
Application number: DE112022002126.8T
Authority: DE
Inventors: Xuchao Zhang; Yanchi Liu; Haifeng Chen
Original assignee: NEC Laboratories America Inc
Current assignee: NEC Laboratories America Inc
Priority date: 2021-04-14
Filing date: 2022-04-13
Publication date: 2024-04-11
Also published as: US20220343068A1; WO2022221379A1; JP2024515622A

Abstract

Es wird ein Verfahren zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten unter Verwendung eines Intent Detection via Multi-hop Unified Syntactic Graph (IDMG) vorgestellt. Das Verfahren umfasst das Parsen jeder Textprobe, die eine Geschäftsbedarfsbeschreibung darstellt, um syntaktische Informationen zu extrahieren, die mindestens Token und Wörter enthalten, das Tokenisieren der Wörter der syntaktischen Informationen, um Unterwörter für jedes der Wörter zu erzeugen, indem ein mehrsprachiges, vorab trainiertes Sprachmodell verwendet wird, Ausrichten der erzeugten Unterwörter an den Token der syntaktischen Informationen, um die Absichtshandlungen und Objekte mit den tokenisierten Unterwörtern abzugleichen, Erzeugen eines vereinheitlichten syntaktischen Graphen, Kodieren des vereinheitlichten syntaktischen Graphen über einen mehrstufigen vereinheitlichten syntaktischen Graphenkodierer, um eine Ausgabe zu erzeugen, und Vorhersagen einer Absichtshandlung und eines Objekts aus der Ausgabe.

Description

INFORMATIONEN ZU VERWANDTEN ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der vorläufigen Anmeldung Nr. 63/174,716, die am 14. April 2021 eingereicht wurde und US-Patentanmeldung Nr. 17/718,856 , eingereicht am 12. April 2022, deren beider Inhalt durch Bezugnahme in vollem Umfang in das vorliegende Dokument aufgenommen wird.
HINTERGRUND
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf die Erkennung von Absichten und insbesondere auf die Erkennung von Absichten über einen vereinheitlichten syntaktischen Graphen mit mehreren Knoten (Hops).
Beschreibung der verwandten Technik
Die Erkennung von Absichten ist eine Aufgabe der Textklassifizierung, die in Chatbots und intelligenten Dialogsystemen verwendet wird. Ihr Ziel ist es, die Semantik hinter den Nachrichten der Nutzer zu erfassen und sie dem richtigen Label zuzuordnen. Ein solches System muss anhand einiger weniger Beispiele lernen, neue Texte zu erkennen, die der gleichen Kategorie angehören wie die, für die es trainiert wurde. Dies kann oft eine Denkaufgabe sein, da Benutzer dazu neigen, ihre Anfragen zweideutig zu formulieren. Die Erkennung von Absichten ist ein wichtiger Bestandteil vieler Natural Language Understanding (NLU)-Systeme. Die Erkennung von Absichten ist in Chatbots von Vorteil, da ohne diese Erkennung keine zuverlässigen Dialoggraphen erstellt werden können. Zu erkennen, was ein Benutzer meint, ist die Hauptfunktion eines jeden intelligenten Dialogsystems. Es ermöglicht dem System, die Konversation in die richtige Richtung zu lenken, die Fragen der Benutzer zu beantworten und die von ihnen gewünschten Aktionen auszuführen.
ZUSAMMENFASSUNG
Es wird ein Verfahren zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten unter Verwendung einer Absicht-Detektion via Multi-hop Unified Syntactic Graph (IDMG) vorgestellt. Das Verfahren umfasst das Parsen jeder Textprobe, die eine Geschäftsbedarfsbeschreibung darstellt, um syntaktische Informationen zu extrahieren, die mindestens Token und Wörter enthalten, das Tokenisieren der Wörter der syntaktischen Informationen, um Unterwörter für jedes der Wörter zu erzeugen, indem ein mehrsprachiges, vorab trainiertes Sprachmodell verwendet wird, Ausrichten der erzeugten Unterwörter an den Token der syntaktischen Informationen, um die Absichtshandlungen und Objekte mit den tokenisierten Unterwörtern abzugleichen, Erzeugen eines vereinheitlichten syntaktischen Graphen, Kodieren des vereinheitlichten syntaktischen Graphen über einen mehrstufigen vereinheitlichten syntaktischen Graphenkodierer, um eine Ausgabe zu erzeugen, und Vorhersagen einer Absichtshandlung und eines Objekts aus der Ausgabe.
Ein nicht-transitorisches, computerlesbares Speichermedium, das ein computerlesbares Programm zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten unter Verwendung einer Absichtserkennung über einen einheitlichen mehrstufigen syntaktischen Graphen (IDMG) enthält, wird vorgestellt. Das computerlesbare Programm, wenn es auf einem Computer ausgeführt wird, veranlasst den Computer, die folgenden Schritte auszuführen: Parsen jedes Textmusters, das eine Geschäftsbedarfsbeschreibung darstellt, um syntaktische Informationen zu extrahieren, die mindestens Token und Wörter enthalten, Tokenisieren der Wörter der syntaktischen Informationen, um Unterwörter für jedes der Wörter zu erzeugen, indem ein mehrsprachiges, vorab trainiertes Sprachmodell verwendet wird, Ausrichten der erzeugten Unterwörter an den Token der syntaktischen Informationen, um die Absichtshandlungen und Objekte mit den tokenisierten Unterwörtern abzugleichen, Erzeugen eines vereinheitlichten syntaktischen Graphen, Kodieren des vereinheitlichten syntaktischen Graphen über einen mehrstufigen vereinheitlichten syntaktischen Graphenkodierer, um eine Ausgabe zu erzeugen, und Vorhersagen einer Absichtshandlung und eines Objekts aus der Ausgabe.
Es wird ein System zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten vorgestellt, das eine Absichtserkennung über einen Multi-hop Unified Syntactic Graph (IDMG) verwendet. Das System umfasst einen Speicher und einen oder mehrere Prozessoren, die mit dem Speicher in Verbindung stehen und so konfiguriert sind, dass sie jede Textprobe, die eine Geschäftsbedarfsbeschreibung darstellt, analysieren, um syntaktische Informationen zu extrahieren, die mindestens Token und Wörter enthalten, die Wörter der syntaktischen Informationen in Token umwandeln, um Unterwörter für jedes der Wörter zu erzeugen, indem sie ein mehrsprachiges, vorab trainiertes Sprachmodell verwenden, die erzeugten Unterwörter an die Token der syntaktischen Informationen anzugleichen, um Grundwahrheits-Absichtshandlungen und Objekte mit den tokenisierten Unterwörtern abzugleichen, einen vereinheitlichten syntaktischen Graphen zu erzeugen, den vereinheitlichten syntaktischen Graphen über einen mehrstufigen vereinheitlichten syntaktischen Graphen-Codierer zu codieren, um eine Ausgabe zu erzeugen, und eine Absichtshandlung und ein Objekt aus der Ausgabe vorherzusagen.
Diese und andere Merkmale und Vorteile werden aus der folgenden detaillierten Beschreibung illustrativer Ausführungsformen ersichtlich, die in Verbindung mit den beigefügten Zeichnungen zu lesen ist.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die Offenbarung wird in der folgenden Beschreibung bevorzugter Ausführungsformen unter Bezugnahme auf die folgenden Figuren Details zur Verfügung stellen, wobei:

1 ist ein Block-/Ablaufdiagramm eines beispielhaften Verfahrens zur Absichtserkennung mittels Multi-hop Unified Syntactic Graph (IDMG), gemäß Ausführungsformen der vorliegenden Erfindung;
2 ist ein Block-/Flussdiagramm eines beispielhaften Architekturdiagramms des IDMG gemäß Ausführungsformen der vorliegenden Erfindung;
3 ist ein Block-/Flussdiagramm eines beispielhaften Multi-Hop-Unified-Syntactic-Graph-Codierers gemäß Ausführungsformen der vorliegenden Erfindung;
4 ist ein Block-/Ablaufdiagramm, das zwei Knoten zeigt, die durch einen Zwischenknoten für Multi-Hop-Embedding verbunden sind, in Übereinstimmung mit Ausführungsformen der vorliegenden Erfindung;
5 ist ein Block-/Ablaufdiagramm, das das Verfahren der vereinheitlichten syntaktischen Graphenerzeugung gemäß Ausführungsformen der vorliegenden Erfindung veranschaulicht;
6 ist eine beispielhafte praktische Anwendung zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten unter Verwendung der Absichtserkennung über einen vereinheitlichten Multihop-Syntaktikgraphen (IDMG) gemäß den Ausführungsformen der vorliegenden Erfindung;
7 ist ein beispielhaftes Verarbeitungssystem zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten durch Anwendung der Absichtserkennung über einen vereinheitlichten Multihop-Syntaktikgraphen (IDMG) gemäß den Ausführungsformen der vorliegenden Erfindung; und
8 ist ein Block-/Ablaufdiagramm eines beispielhaften Verfahrens zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten unter Verwendung der Absichtserkennung über einen einheitlichen Multihop-Syntaktikgraphen (IDMG) gemäß Ausführungsformen der vorliegenden Erfindung.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Absichtserkennung, manchmal auch Absichtsklassifizierung genannt, ist die Aufgabe, eine schriftliche oder gesprochene Eingabe zu nehmen und sie auf der Grundlage dessen zu klassifizieren, was der Benutzer erreichen möchte. Die Absichtserkennung ist ein wesentlicher Bestandteil von Chatbots und findet Anwendung bei der Umsatzsteigerung, beim Kundensupport und in vielen anderen Bereichen. Die Absichtserkennung ist eine Form der natürlichen Sprachverarbeitung (NLP), einem Teilbereich der künstlichen Intelligenz. NLP befasst sich mit der Verarbeitung und Analyse natürlicher Sprache durch Computer, d. h. jeder Sprache, die sich auf natürliche Weise entwickelt hat und nicht künstlich erzeugt wurde, wie z. B. die Programmiersprachen der Computer.
Die beispielhaften Ausführungsformen der Erfindung stellen einen Geschäftsbedarfskorpus dar, in dem jedes Textmuster eine Beschreibung eines Geschäftsbedarfs ist oder darstellt.
Das Ziel ist es, die Absicht des Geschäftsbedarfs mit Absichtsaktion und -objekt zu erkennen.
Die beispielhaften Ausführungsformen der vorliegenden Erfindung schlagen ein Verfahren zur Erkennung von Absichten mittels Multi-hop Unified Syntactic Graph (IDMG) vor, um das Problem der Erkennung von Absichten bei Geschäftsanforderungen zu lösen. Die beispielhaften Ausführungsformen der vorliegenden Erfindung umfassen das Folgende:
Syntaktisches Parsing, bei dem die Beschreibung des Geschäftsbedarfs geparst wird, um die syntaktischen Informationen zu extrahieren, z. B. Part-of-Speech, Abhängigkeitsbeziehungen und abstrakte Bedeutungsbeziehungen.
Tokenisierung des Pre-Training-Modells, bei dem das aus dem Abhängigkeits-Parsing (Dependency Parsing) extrahierte Wort in Token umgewandelt wird und Unterwörter für jedes Wort durch ein mehrsprachiges Pre-Training-Sprachmodell erzeugt werden.
Token-Teilwort-Ausrichtung, bei der die generierten Teilwörter so ausgerichtet werden, dass sie mit der Grundwahrheits-Antwortspanne des Teilworts übereinstimmen.
Generierung eines Geschäftsbedarfsgraphen, wobei auf der Grundlage der generierten Token und Abhängigkeitsbeziehungen der Graph des Geschäftsbedarfs für jeden Satz erstellt wird.
Graphenkodierung, wobei der generierte Geschäftsbedarfsgraph für die Bedarfsbeschreibung kodiert wird.
Absichtsvorhersage, bei der die Ausgabe der Graphenkodierung zur Vorhersage der beabsichtigten Handlung und des Objekts verwendet wird.
Zu den erfinderischen Merkmalen des Modells zur Erkennung von Geschäftsabsichten gehören mindestens die folgenden:
Eine neuartige Darstellung des Geschäftsbedarfsgraphen für die Absichtserkennung, so dass die syntaktischen Informationen für die Extraktion der Geschäftsabsicht genutzt werden können.
Es wird eine neuartige Multi-Hop-Graph-Kodierungsmethode vorgeschlagen, um die semantische und syntaktische Beziehung zwischen Wörtern in einem einheitlichen syntaktischen Graphen zu modellieren, der über mehrere Sprünge kumuliert wird.
1 ist ein Block-/Ablaufdiagramm eines beispielhaften Verfahrens zur Absichtserkennung über Multi-hop Unified Syntactic Graph (IDMG), gemäß Ausführungsformen der vorliegenden Erfindung.
Der IDMG-Prozess 5 umfasst den Geschäftsbedarfskorpus 10, einen Parser 12 für die syntaktische Analyse, einen Token-Aligner 14 für die Token-Ausrichtung, einen Geschäftsbedarfsgraphen-Generator 16 und einen Graphen-Encoder 18. Ferner werden ein vorgebildeter Sprachmodell-Tokenisierer 20 und ein vorgebildeter Sprachmodell-Kodierer 22 eingesetzt. Die Ausgabe 24 ist die Vorhersage der beabsichtigten Handlung und des Objekts. Der IDMG-Prozess 5 wird weiter unten im Detail beschrieben.
2 ist ein Block-/Flussdiagramm eines beispielhaften Architekturdiagramms des IDMG 25 gemäß Ausführungsformen der vorliegenden Erfindung.
Textkorpusdaten 30 werden in den sequentiellen Kodierer 32 eingespeist, um syntaktisches Parsing 31 und Token-Alignment 34 zu ermöglichen. Die Daten werden dann in den vereinheitlichten syntaktischen Graphen 36 eingespeist und anschließend dem vereinheitlichten syntaktischen Kodierer 3 8 zugeführt. Die weitere Verarbeitung 40 erfolgt, um die Absichtsausgabe 42 zu erhalten, wobei die Absichtsausgabe 42 ein Absichtsobjekt (B-OBJ, I-OBJ) und eine Aktion (B-ACT) enthält. Die IDMG-Architektur 25 wird weiter unten im Detail beschrieben.
Was die Geschäftsbedarfsdaten betrifft, so enthalten die Textkorpusdaten eine Reihe von Geschäftsbedürfnissen. Für jeden Geschäftsbedarf wird in der Regel eine entsprechende Beschreibung in mehreren Sätzen bereitgestellt.
Beim syntaktischen Parsing werden die syntaktischen Informationen aus den Geschäftsbedarfsdaten analysiert. Im Einzelnen können die folgenden Informationen extrahiert werden:
Liste der Token und Wörter sowohl für Kontexte als auch für Fragen.
Part-of-Speech (POS) für jedes Wort.
Die Beziehung zwischen den Wörtern in den Sätzen.
Bei der Tokenisierung des Pre-Training-Modells werden die extrahierten Wörter in Token umgewandelt, und die Unterwörter für jedes Wort werden von einem vorab trainierten Sprachmodell wie BERT für die englische Sprache generiert. Wenn der Geschäftsbedarf in anderen Sprachen wie Französisch oder Japanisch verfasst ist, wird ein mehrsprachiges vortrainiertes Sprachmodell wie mBERT und XLMR verwendet. Insbesondere wird der Tokenizer des vorab trainierten Modells verwendet, um die Teilwörter zu generieren.
BERT (Bidirectional Encoder Representations from Transformers) ist ein von Google entwickeltes transformatorbasiertes maschinelles Lernverfahren für das Vortraining der Verarbeitung natürlicher Sprache (NLP). BERT wurde im Jahr 2018 entwickelt und veröffentlicht. Im Jahr 2019 gab Google bekannt, dass es begonnen hatte, BERT in seiner Suchmaschine zu nutzen, und Ende 2020 verwendete Google BERT in fast jeder englischsprachigen Suchanfrage.
mBERT steht für multilinguales BERT und ist der nächste Schritt bei der Erstellung von Modellen, die die Bedeutung von Wörtern im Kontext verstehen. MBERT ist ein Deep-Learning-Modell, das auf 104 Sprachen gleichzeitig trainiert wurde und das Wissen aller 104 Sprachen zusammen kodiert.
XLMR steht für XLM-Roberta. Das KI-Team von Facebook veröffentlichte XLM-RoBERTa im November 2019 als Update des ursprünglichen XLM-100-Modells. Beide sind transformatorbasierte Sprachmodelle, beide basieren auf dem Ziel des Masked Language Model und beide sind in der Lage, Text aus 100 verschiedenen Sprachen zu verarbeiten. Die größte Neuerung, die XLM-Roberta gegenüber dem Original bietet, ist eine deutlich größere Menge an Trainingsdaten. Der „RoBERTa“-Anteil kommt von der Tatsache, dass die Trainingsroutine dieselbe ist wie die des einsprachigen RoBERTa-Modells, insbesondere, dass das einzige Trainingsziel das Masked Language Model ist.
Beim Token-Alignment (Token-Ausrichtung) wird das generierte Teilwort an das vom syntaktischen Parser generierte Token angeglichen. Der Zweck der Token- und Teilwortausrichtung besteht darin, die beabsichtigten Handlungen und Objekte der Grundwahrheit mit den tokenisierten Teilwörtern des vorab trainierten Sprachmodells abzugleichen.
Bei der Kodierung des Pre-Training-Modells werden die Wörter im Satz mit Hilfe des Pre-Training-Sprachmodells kodiert und die niedrigdimensionale Repräsentation wird für den Schritt der Graphenkodierung extrahiert.
Bei der Generierung des vereinheitlichten syntaktischen Graphen wird der vereinheitlichte syntaktische Graph auf der Grundlage der generierten Token und Abhängigkeitsbeziehungen in den folgenden Schritten erstellt:
Konstruktion von Knotenpunkten.
Konstruktion von Knotenbeziehungen.
Konstruktion von Inter-Satz-Beziehungen.
Bei der Kodierung des vereinheitlichten syntaktischen Graphen mit mehreren Hops wird der erzeugte vereinheitlichte syntaktische Graph für die Absichtserkennung kodiert. Die Gesamtarchitektur des Multi-Hop-Unified-Syntactic-Graph-Codierers ist in dargestellt.
3 ist ein Block-/Ablaufdiagramm eines beispielhaften Multi-Hop-Unified-Syntactic-Graph-Codierers 50 gemäß den Ausführungsformen der vorliegenden Erfindung.
Aus dem syntaktischen Graphen 52 werden Adj-Matrix-Daten, Daten zu Kantenbeziehungen und Daten zu Notenattributen (POS) an die Komponente für syntaktische Strukturaufmerksamkeit 56 weitergeleitet. Sequentielle Einbettungen 54 werden in die semantische Mehrkopfkomponente 58 eingespeist. Die Daten aus der syntaktischen Strukturaufmerksamkeitskomponente 56 (z. B. syntaktisch informierte Einbettungen 62) und der mehrköpfigen semantischen Aufmerksamkeitskomponente 58 werden zu einem inneren Produkt 60 verkettet. Die Ausgabe 64 wird in die vollständig verbundenen Schichten 66 eingespeist, um die Ausgabe 68 zu erzeugen.
Erstens, die Beziehung zwischen Knoten i und Knoten j wird wie folgt dargestellt: $m^{i \to j} = θ^{T} [W_{p} p_{i} ‖ w_{p} p_{j} ‖ W_{r} r_{i j}]$
wobei p_i und p_j die Einbettungen der Knotenattribute für die i-te undj-ten Token und r_ij die Einbettung der Kantenbeziehung ist. Die Knoteneinbettungen von p_i und p_j sind die Verkettung der Einbettung des vortrainierten Sprachmodells und seiner Part-of-Speech-Einbettung.
Wenn Knoten i und j direkt verbunden sind, wird die Kanteneinbettung r_ij als Typ der Abhängigkeitsbeziehung initialisiert und während des Trainingsprozesses feinabgestimmt. Wenn Knoten i und j nicht direkt miteinander verbunden sind, ist die Kanteneinbettung r_ij die Summe aller Kantensegmente.
zeigt ein Beispiel 80 von zwei Knoten, die durch einen Zwischenknoten verbunden sind.
Die Multi-Hop-Einbettung 82 kann wie folgt dargestellt werden: $h (k, j) = {\begin{matrix} sin (k / 10000^{j / d}) & if j = 2 i - 1, i \in ℤ^{+} \\ cos (k / 10000^{j / d}) & if j = 2 i, i \in ℤ^{+}, \end{matrix}$
wobei k die Multi-Hop-Nummer ist, j der Index der Dimension ist und d die Größe der Dimension der Zeitkodierung ist.
Dann kann die Darstellung des Knotens i auf der Grundlage seiner Multi-Hop-Pfadbeziehungen 84 wie folgt definiert werden: $V^{(t + 1)} = {softmax}_{G} (\frac{{[m^{i \to j}]}_{j \in N * (i)}}{\sqrt{2 d_{p} + d_{R}}}) V^{(t)}$
wobei $N * (i)$
für die Nachbarn des Knotens i im Multi-Hop-angereicherten Graphen
V^(t) ∈ ℝ^l×d ist die Knotenrepräsentation in der t-ten Schicht.
Danach, z_i und die Knoteneinbettung n_i als Eingabe für die Absichtserkennungsschicht verkettet werden.
Bei der Vorhersage der Absichtserkennung wird die Ausgabe der vollständig verknüpften Schichten separat für die Vorhersage der sequentiellen Etiketten der Absicht in den folgenden drei Kategorien verwendet: Keine, ACT und OBJ. Dabei steht „ACT“ für die beabsichtigte Aktion und „OBJ“ für das beabsichtigte Objekt. Wenn ein Token weder zu einer beabsichtigten Aktion noch zu einem Objekt gehört, wird es als „None“ kategorisiert.
5 ist ein Block-/Ablaufdiagramm, das das Verfahren der einheitlichen syntaktischen Graphenerzeugung 100 gemäß Ausführungsformen der vorliegenden Erfindung veranschaulicht.
Bei der Konstruktion des Token-Knotens 102 konstruieren die beispielhaften Methoden den Knoten im vereinheitlichten Syntaxgraphen unter Verwendung der generierten Teilwörter. Insbesondere wird die anfängliche Knoteneinbettung durch das vortrainierte Sprachmodell und POS-Tagging verkettet.
Was die Konstruktion der Abhängigkeitsbeziehung 104 betrifft, so verbinden die beispielhaften Methoden die Knoten mit den folgenden zwei Beziehungen miteinander:
Knoten (Unterwörter) mit den Abhängigkeitsbeziehungen. Der Typ der Kante wird als die vom Abhängigkeits-Parser erzeugte Beziehung verwendet.
Teilwörter gehören zu demselben Wort, das vom Abhängigkeits-Parser erzeugt wurde. Die beispielhaften Methoden schaffen eine neue Art von Relation, z. B. eine Unterwort-Relation, um alle diese Arten von Unterwörtern zu verbinden.
Bei der Konstruktion der Inter-Satz-Beziehung 106 verbinden die beispielhaften Methoden die Wurzelknoten jedes Satzes miteinander und weisen eine neue Art von Beziehung zu, die als „Inter-Satz-Beziehung“ bezeichnet wird.
Zusammenfassend lässt sich sagen, dass IDMG 25 schnellere und genauere Antworten auf Benutzeranfragen ermöglicht. So kann die Kommunikation mit Chatbots oder Gesprächsrobotern erheblich verbessert werden, da Chatbots genauere Antworten auf Benutzeranfragen geben können, da IDMG weniger Berechnungen und Verarbeitung erfordert.
6 ist ein Block-/Ablaufdiagramm 800 einer praktischen Anwendung zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten unter Verwendung der Absichtserkennung über einen vereinheitlichten Multihop-Syntaktikgraphen (IDMG) gemäß den Ausführungsformen der vorliegenden Erfindung.
In einem praktischen Beispiel stellt ein Chatbot 802 die Frage: „Was kann ich für Sie tun?“ Eine erste Person 810 hat eine Anfrage 812. Die Anfrage 812 lautet: „Ich möchte Geld abheben.“ Eine zweite Person 820 hat eine Anfrage 822. Die Anfrage 822 lautet: „Ich brauche jetzt Bargeld“. Eine dritte Person 830 hat eine Anfrage 832. Die Anfrage 832 lautet: „Bitte schicken Sie Geld nach Xuchao“. Die Anfragen 812, 822, 832 werden in das Intent Detection Model (IDMG 25) eingespeist. Das IDMG 25 verarbeitet die Anfragen durch Anwendung des syntaktischen Parsings 12, des Token Alignments 14, des Graphen zur Generierung von Geschäftsanforderungen 16 und der oben beschriebenen Graphenkodierung 18. Der IDMG 25 erzeugt die Ausgaben 840, 850, die Vorhersagen sind. Ausgang 840 initiiert eine Geldabhebung und Ausgang 850 initiiert eine Geldüberweisung auf der Grundlage der Anfragen 812, 822, 832 der Benutzer 810, 820, 830.
Daher können die beispielhaften Ausführungsformen auf viele verschiedene Arten von praktischen Anwendungen angewendet werden. Die Absichtsklassifizierung wird auch als Absichtserkennung bezeichnet und ist ein Teilgebiet des NLP, das sich mit der Kategorisierung von Text in verschiedene Gruppen befasst, um ihn leichter verständlich zu machen. Im Wesentlichen geht es bei der Absichtsklassifizierung darum, natürlichsprachliche Sprache aus einer Reihe von vordefinierten Absichten korrekt zu erkennen.
Der Kundenservice wird von vielen Unternehmen hoch geschätzt. Die Interaktion zwischen dem Vertreter eines Unternehmens und einem Kunden kann automatisiert werden, um einen besseren Service zu bieten (wie in der praktischen Anwendung von 6). Die meisten Kunden haben ein bestimmtes Anliegen oder eine bestimmte Frage im Sinn, wenn sie sich an das Unternehmen wenden. Um sie zu bedienen, muss das Ziel des Kunden klassifiziert werden.
Der Zweck der Absichtserkennung oder -kategorisierung besteht darin, festzustellen, warum ein Kunde das Unternehmen kontaktiert hat und was der Kunde erreichen will. Ein Konversationssystem, das die Absichtskategorisierung nutzt, um die Interaktion zu automatisieren, kann dies teilweise oder vollständig tun.
Auch menschliche Vertretungen können von der Absichtsklassifizierung profitieren, indem sie beispielsweise eingehende Nachrichten an den Vertreter mit dem erforderlichen Fachwissen weiterleiten.
NLP wird von Chatbots 802 verwendet, um die Absicht des Benutzers oder den Grund für die Aufnahme des Gesprächs zu verstehen. Algorithmen des maschinellen Lernens klassifizieren sie und reagieren entsprechend den Trainingsdaten. Dies ist ein wichtiges Merkmal, das bestimmt, ob der Chatbot 802 die Verkaufs-, Marketing- oder Kundendienstziele eines Benutzers effektiv erfüllen kann. Der IDMG 25 der beispielhaften Ausführungsformen kann dabei helfen, die Ziele des Kundendienstes zu erreichen.
7 ist ein beispielhaftes Verarbeitungssystem zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten unter Verwendung der Absichtserkennung über einen vereinheitlichten Multihop-Syntaktikgraphen (IDMG) gemäß den Ausführungsformen der vorliegenden Erfindung.
Das Verarbeitungssystem umfasst mindestens einen Prozessor (CPU) 904, der über einen Systembus 902 mit anderen Komponenten verbunden ist. Eine GPU 905, ein Cache 906, ein Festwertspeicher (ROM) 908, ein Arbeitsspeicher (RAM) 910, ein Ein-/Ausgabeadapter (E/A) 920, ein Netzwerkadapter 930, ein Benutzerschnittstellenadapter 940 und ein Anzeigeadapter 950 sind operativ mit dem Systembus 902 verbunden. Darüber hinaus verarbeitet der IDMG 25 Anfragen oder Anforderungen, indem er die oben beschriebene syntaktische Analyse 12, den Token-Abgleich 14, den Graphen zur Erzeugung von Geschäftsanforderungen 16 und die Graphenkodierung 18 anwendet.
Ein Speichergerät 922 ist über den E/A-Adapter 920 operativ mit dem Systembus 902 verbunden. Die Speichervorrichtung 922 kann eine Plattenspeichervorrichtung (z. B. eine magnetische oder optische Plattenspeichervorrichtung), eine magnetische Festkörperspeichervorrichtung und so weiter sein.
Ein Transceiver 932 ist über den Netzwerkadapter 930 mit dem Systembus 902 verbunden.
Die Benutzereingabegeräte 942 sind über den Benutzerschnittstellenadapter 940 operativ mit dem Systembus 902 verbunden. Bei den Benutzereingabegeräten 942 kann es sich um eine Tastatur, eine Maus, ein Tastenfeld, ein Bilderfassungsgerät, ein Bewegungserkennungsgerät, ein Mikrofon, ein Gerät, das die Funktionalität von mindestens zwei der vorgenannten Geräte enthält, usw. handeln. Natürlich können auch andere Arten von Eingabegeräten verwendet werden, wobei der Geist der vorliegenden Erfindung gewahrt bleibt. Bei den Benutzereingabegeräten 942 kann es sich um denselben Typ von Benutzereingabegeräten oder um verschiedene Typen von Benutzereingabegeräten handeln. Die Benutzereingabegeräte 942 werden zur Eingabe und Ausgabe von Informationen in das und aus dem Verarbeitungssystem verwendet.
Ein Anzeigegerät 952 ist über den Anzeigeadapter 950 mit dem Systembus 902 verbunden.
Natürlich kann das Verarbeitungssystem auch andere (nicht dargestellte) Elemente enthalten, wie sie von einem Fachmann ohne weiteres in Betracht gezogen werden können, oder auch bestimmte Elemente weglassen. So können zum Beispiel verschiedene andere Eingabe- und/oder Ausgabegeräte in das System einbezogen werden, je nach der jeweiligen Implementierung desselben, wie es für einen Fachmann ohne weiteres verständlich ist. So können zum Beispiel verschiedene Arten von drahtlosen und/oder verdrahteten Eingabe- und/oder Ausgabegeräten verwendet werden. Darüber hinaus können auch zusätzliche Prozessoren, Steuerungen, Speicher usw. in verschiedenen Konfigurationen verwendet werden, wie ein Fachmann leicht feststellen kann. Diese und andere Variationen des Verarbeitungssystems sind für einen Fachmann angesichts der hier dargelegten Lehren der vorliegenden Erfindung ohne weiteres denkbar.
8 ist ein Block-/Ablaufdiagramm eines beispielhaften Verfahrens zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten unter Verwendung der Absichtserkennung über einen einheitlichen Multihop-Syntaktikgraphen (IDMG) gemäß den Ausführungsformen der vorliegenden Erfindung.
In Block 1001 wird jedes Textmuster, das eine Geschäftsbedarfsbeschreibung darstellt, geparst, um syntaktische Informationen zu extrahieren, die zumindest Token und Wörter enthalten.
In Block 1003 werden die Wörter der syntaktischen Informationen in Token umgewandelt, um Unterwörter für jedes der Wörter zu generieren, indem ein mehrsprachiges, vorab trainiertes Sprachmodell verwendet wird.
In Block 1005 werden die erzeugten Teilwörter mit den Token der syntaktischen Informationen abgeglichen, um die beabsichtigten Aktionen und Objekte mit den tokenisierten Teilwörtern abzugleichen.
In Block 1007 wird ein vereinheitlichter syntaktischer Graph erzeugt.
In Block 1009 wird der vereinheitlichte syntaktische Graph über einen Multi-Hop-Encoder kodiert, um eine Ausgabe zu erzeugen.
In Block 1011 wird aus der Ausgabe eine beabsichtigte Aktion und ein Objekt vorhergesagt.
Die hier verwendeten Begriffe „Daten“, „Inhalt“, „Information“ und ähnliche Begriffe können austauschbar verwendet werden, um sich auf Daten zu beziehen, die in Übereinstimmung mit verschiedenen Ausführungsbeispielen erfasst, übertragen, empfangen, angezeigt und/oder gespeichert werden können. Daher sollte die Verwendung solcher Begriffe nicht als Einschränkung des Geistes und des Umfangs der Offenbarung verstanden werden. Wenn ein Computer hierin beschrieben wird, um Daten von einem anderen Computer zu empfangen, können die Daten direkt von dem anderen Computer empfangen werden oder indirekt über einen oder mehrere zwischengeschaltete Computer, wie z. B. einen oder mehrere Server, Relais, Router, Netzwerkzugangspunkte, Basisstationen und/oder dergleichen, empfangen werden. In ähnlicher Weise können die Daten, wenn ein Computer hier beschrieben wird, um Daten an einen anderen Computer zu senden, direkt an den anderen Computer gesendet werden oder indirekt über einen oder mehrere zwischengeschaltete Computer, wie z. B. einen oder mehrere Server, Relais, Router, Netzzugangspunkte, Basisstationen und/oder Ähnliches, gesendet werden.
Wie dem Fachmann klar sein wird, können Aspekte der vorliegenden Erfindung als System, Verfahren oder Computerprogrammprodukt verkörpert werden. Dementsprechend können Aspekte der vorliegenden Erfindung die Form einer reinen Hardware-Variante, einer reinen Software-Variante (einschließlich Firmware, residenter Software, Mikrocode usw.) oder einer Kombination aus Software- und Hardware-Aspekten annehmen, die hier allgemein als „Schaltung“, „Modul“, „Rechner“, „Gerät“ oder „System“ bezeichnet werden. Darüber hinaus können Aspekte der vorliegenden Erfindung die Form eines Computerprogrammprodukts annehmen, das in einem oder mehreren computerlesbaren Medium(en) mit darauf verkörpertem computerlesbarem Programmcode verkörpert ist.
Es kann eine beliebige Kombination aus einem oder mehreren computerlesbaren Medien verwendet werden. Das computerlesbare Medium kann ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium sein. Ein computerlesbares Speichermedium kann beispielsweise, aber nicht ausschließlich, ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, ein Apparat oder eine Vorrichtung oder eine geeignete Kombination der vorgenannten sein. Zu den spezifischeren Beispielen (eine nicht erschöpfende Liste) für das computerlesbare Speichermedium gehören: eine elektrische Verbindung mit einem oder mehreren Drähten, eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Festwertspeicher (ROM), ein löschbarer programmierbarer Festwertspeicher (EPROM oder Flash-Speicher), eine optische Faser, ein tragbarer Compact-Disc-Festwertspeicher (CD-ROM), eine optische Datenspeichervorrichtung, eine magnetische Datenspeichervorrichtung oder irgendeine geeignete Kombination der vorgenannten. Im Zusammenhang mit diesem Dokument kann ein computerlesbares Speichermedium jedes greifbare Medium sein, das ein Programm zur Verwendung durch oder in Verbindung mit einem Befehlsausführungssystem, -apparat oder -gerät enthalten oder speichern kann.
Ein computerlesbares Signalmedium kann ein übertragenes Datensignal mit einem darin verkörperten computerlesbaren Programmcode enthalten, beispielsweise im Basisband oder als Teil einer Trägerwelle. Ein solches übertragenes Signal kann eine beliebige Form annehmen, einschließlich, aber nicht beschränkt auf, elektromagnetische oder optische Signale oder eine geeignete Kombination davon. Ein computerlesbares Signalmedium kann ein beliebiges computerlesbares Medium sein, das kein computerlesbares Speichermedium ist und das ein Programm zur Verwendung durch oder in Verbindung mit einem Befehlsausführungssystem, - apparat oder -gerät übermitteln, verbreiten oder transportieren kann.
Der auf einem computerlesbaren Medium verkörperte Programmcode kann über jedes geeignete Medium übertragen werden, einschließlich, aber nicht beschränkt auf drahtlose, drahtgebundene, faseroptische Kabel, RF usw., oder über eine geeignete Kombination der vorgenannten Medien.
Der Computerprogrammcode zur Ausführung von Operationen für Aspekte der vorliegenden Erfindung kann in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache wie Java, Smalltalk, C++ oder ähnlichen und herkömmlichen prozeduralen Programmiersprachen wie der Programmiersprache „C“ oder ähnlichen Programmiersprachen. Der Programmcode kann vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernten Computer oder vollständig auf dem entfernten Computer oder Server ausgeführt werden. Im letztgenannten Fall kann der entfernte Computer mit dem Computer des Benutzers über ein beliebiges Netzwerk verbunden sein, einschließlich eines lokalen Netzwerks (LAN) oder eines Weitverkehrsnetzes (WAN), oder die Verbindung kann zu einem externen Computer hergestellt werden (z. B. über das Internet mit Hilfe eines Internetdienstanbieters).
Aspekte der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf Flussdiagrammabbildungen und/oder Blockdiagramme von Verfahren, Geräten (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der vorliegenden Erfindung beschrieben. Es versteht sich, dass jeder Block der Flussdiagrammdarstellungen und/oder Blockdiagramme und Kombinationen von Blöcken in den Flussdiagrammdarstellungen und/oder Blockdiagrammen durch Computerprogrammanweisungen implementiert werden können. Diese Computerprogrammanweisungen können einem Prozessor eines Allzweckcomputers, eines Spezialcomputers oder eines anderen programmierbaren Datenverarbeitungsgeräts zur Verfügung gestellt werden, um eine Maschine zu erzeugen, so dass die Anweisungen, die über den Prozessor des Computers oder des anderen programmierbaren Datenverarbeitungsgeräts ausgeführt werden, Mittel zur Implementierung der in dem Flussdiagramm und/oder dem Blockdiagramm angegebenen Funktionen/Aktionen, Blöcke oder Module schaffen.
Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium gespeichert werden, das einen Computer, ein anderes programmierbares Datenverarbeitungsgerät oder andere Vorrichtungen anweisen kann, in einer bestimmten Weise zu funktionieren, so dass die in dem computerlesbaren Medium gespeicherten Anweisungen einen Herstellungsgegenstand erzeugen, der Anweisungen enthält, die die in dem Flussdiagramm und/oder dem Blockdiagramm angegebene Funktion/Aktion oder Blöcke oder Module implementieren.
Die Computerprogrammanweisungen können auch auf einen Computer, ein anderes programmierbares Datenverarbeitungsgerät oder andere Geräte geladen werden, um eine Reihe von Betriebsschritten auf dem Computer, einem anderen programmierbaren Gerät oder anderen Geräten auszuführen, um einen computerimplementierten Prozess zu erzeugen, so dass die Anweisungen, die auf dem Computer oder einem anderen programmierbaren Gerät ausgeführt werden, Prozesse für die Implementierung der im Flussdiagramm und/oder Blockdiagramm angegebenen Funktionen/Aktionen, Blöcke oder Module bereitstellen.
Es ist zu verstehen, dass der Begriff „Prozessor“, wie er hier verwendet wird, ein beliebiges Verarbeitungsgerät umfasst, wie z. B. eines, das eine CPU (Zentraleinheit) und/oder andere Verarbeitungsschaltungen enthält. Es ist auch zu verstehen, dass der Begriff „Prozessor“ sich auf mehr als ein Verarbeitungsgerät beziehen kann und dass verschiedene Elemente, die mit einem Verarbeitungsgerät verbunden sind, von anderen Verarbeitungsgeräten gemeinsam genutzt werden können.
Der hier verwendete Begriff „Speicher“ soll den mit einem Prozessor oder einer CPU verbundenen Speicher umfassen, wie z. B. RAM, ROM, einen Festspeicher (z. B. eine Festplatte), einen Wechselspeicher (z. B. eine Diskette), einen Flash-Speicher usw. Ein solcher Speicher kann als computerlesbares Speichermedium betrachtet werden.
Darüber hinaus soll der Ausdruck „Eingabe-/Ausgabegeräte“ oder „E/A-Geräte“, wie er hier verwendet wird, beispielsweise ein oder mehrere Eingabegeräte (z. B. Tastatur, Maus, Scanner usw.) zur Eingabe von Daten in die Verarbeitungseinheit und/oder ein oder mehrere Ausgabegeräte (z. B. Lautsprecher, Anzeige, Drucker usw.) zur Darstellung von Ergebnissen in Verbindung mit der Verarbeitungseinheit umfassen.
Das Vorstehende ist in jeder Hinsicht illustrativ und beispielhaft, aber nicht einschränkend zu verstehen, und der Umfang der hierin offenbarten Erfindung ist nicht aus der detaillierten Beschreibung, sondern vielmehr aus den Ansprüchen zu entnehmen, die entsprechend der vollen Breite der Patentgesetze ausgelegt werden. Es versteht sich von selbst, dass die hier gezeigten und beschriebenen Ausführungsformen nur zur Veranschaulichung der Grundsätze der vorliegenden Erfindung dienen und dass der Fachmann verschiedene Modifikationen vornehmen kann, ohne von Umfang und Geist der Erfindung abzuweichen. Der Fachmann kann verschiedene andere Merkmalskombinationen implementieren, ohne vom Umfang und Geist der Erfindung abzuweichen. Nachdem somit Aspekte der Erfindung mit den von den Patentgesetzen geforderten Einzelheiten und Einzelheiten beschrieben worden sind, ist das, was beansprucht und durch die Patentschrift geschützt werden soll, in den beigefügten Ansprüchen dargelegt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 17718856 [0001]

Claims

Verfahren zum Erkennen von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten durch Verwendung einer Absichtserkennung über einen einheitlichen synthetischen Mehrstufengraphen (IDMG), wobei das Verfahren umfasst: Analysieren jedes Textbeispiels, das eine Beschreibung des Geschäftsbedarfs darstellt, um syntaktische Informationen zu extrahieren, die zumindest Token und Wörter enthalten; Tokenisierung der Wörter der syntaktischen Informationen, um für jedes der Wörter Unterwörter zu generieren, indem ein mehrsprachiges, vorab trainiertes Sprachmodell verwendet wird; Abgleich der erzeugten Teilwörter mit den Token der syntaktischen Information, um die Absichtshandlungen und Objekte der Grundwahrheit mit den tokenisierten Teilwörtern abzugleichen; Erstellung eines einheitlichen syntaktischen Graphen; Codierung des vereinheitlichten syntaktischen Graphen über einen Multi-Hop-Codierer, um eine Ausgabe zu erzeugen; und Vorhersage einer beabsichtigten Aktion und eines Objekts anhand der Ausgabe.
Verfahren nach Anspruch 1, wobei die syntaktische Information außerdem mindestens ein Part-of-Speech für jedes der Wörter, die Abhängigkeitsbeziehung und die abstrakte Bedeutungsbeziehung enthält.
Verfahren nach Anspruch 1, wobei die Erzeugung des vereinheitlichten syntaktischen Graphen die Konstruktion von Token-Knoten, die Konstruktion von Knotenbeziehungen und die Konstruktion von Beziehungen zwischen Sätzen umfasst.
Verfahren nach Anspruch 1, wobei der Multi-Hop-Unified-Syntactic-Graph-Codierer eine syntaktische Struktur-Aufmerksamkeitskomponente und eine Mehrkopf-Semantik-Aufmerksamkeitskomponente enthält.
Verfahren nach Anspruch 4, wobei die syntaktische Strukturaufmerksamkeitskomponente Kantenbeziehungen und Knotenattribute als Eingabe aus dem vereinheitlichten syntaktischen Graphen erhält und die semantische Mehrkopfaufmerksamkeitskomponente sequentielle Einbettungen als Eingabe erhält.
Verfahren nach Anspruch 5, wobei, wenn ein erster Knoten und ein zweiter Knoten direkt miteinander verbunden sind, eine Kanteneinbettung als eine Art von Abhängigkeitsbeziehung initialisiert und während eines Trainingsprozesses feinabgestimmt wird.
Verfahren nach Anspruch 5, wobei, wenn ein erster Knoten und ein zweiter Knoten nicht direkt miteinander verbunden sind, eine Kanteneinbettung eine Summe aller Kantensegmente ist.
Nicht-transitorisches, computerlesbares Speichermedium, das ein computerlesbares Programm zum Erkennen von Geschäftsabsichten aus einem Geschäftsabsichts-Korpus durch Verwendung einer Absichtserkennung über einen Multi-hop Unified Syntactic Graph (IDMG) umfasst, wobei das computerlesbare Programm, wenn es auf einem Computer ausgeführt wird, den Computer veranlasst, die folgenden Schritte auszuführen: Analysieren jedes Textbeispiels, das eine Beschreibung des Geschäftsbedarfs darstellt, um syntaktische Informationen zu extrahieren, die zumindest Token und Wörter enthalten; Tokenisierung der Wörter der syntaktischen Informationen, um für jedes der Wörter Unterwörter zu erzeugen, indem ein mehrsprachiges, vorab trainiertes Sprachmodell verwendet wird; Abgleich der erzeugten Teilwörter mit den Token der syntaktischen Information, um die Absichtshandlungen und Objekte der Grundwahrheit mit den tokenisierten Teilwörtern abzugleichen; Erstellung eines einheitlichen syntaktischen Graphen; Codierung des vereinheitlichten syntaktischen Graphen über einen Multi-Hop-Codierer, um eine Ausgabe zu erzeugen; und Vorhersage einer beabsichtigten Aktion und eines Objekts anhand der Ausgabe.
Das nichttransitorische computerlesbare Speichermedium nach Anspruch 8, wobei die syntaktische Information ferner mindestens einen Teil der Sprache für jedes der Wörter, die Abhängigkeitsbeziehung und die abstrakte Bedeutungsbeziehung enthält.
Nicht-transitorisches computerlesbares Speichermedium nach Anspruch 8, wobei die Erzeugung des vereinheitlichten syntaktischen Graphen die Konstruktion von Token-Knoten, die Konstruktion von Knotenbeziehungen und die Konstruktion von Inter-Satz-Beziehungen umfasst.
Nicht-transitorisches computerlesbares Speichermedium nach Anspruch 8, wobei der Multi-Hop-Unified-Syntactic-Graph-Codierer eine syntaktische Struktur-Aufmerksamkeitskomponente und eine Mehrkopf-Semantik-Aufmerksamkeitskomponente enthält.
Nichttransitorisches computerlesbares Speichermedium nach Anspruch 11, wobei die syntaktische Strukturaufmerksamkeitskomponente Kantenbeziehungen und Knotenattribute als Eingabe aus dem vereinheitlichten syntaktischen Graphen empfängt und die mehrköpfige semantische Aufmerksamkeitskomponente sequenzielle Einbettungen als Eingabe empfängt.
Nicht-transitorisches computerlesbares Speichermedium nach Anspruch 12, wobei, wenn ein erster Knoten und ein zweiter Knoten direkt verbunden sind, eine Kanteneinbettung als eine Art von Abhängigkeitsbeziehung initialisiert und während eines Trainingsprozesses feinabgestimmt wird.
Nicht-transitorisches computerlesbares Speichermedium nach Anspruch 12, wobei, wenn ein erster Knoten und ein zweiter Knoten nicht direkt verbunden sind, eine Kanteneinbettung eine Summe aller Kantensegmente ist.
System zur Erkennung von Geschäftsabsichten aus einem Korpus von Geschäftsabsichten unter Verwendung einer Absichtserkennung über einen vereinheitlichten mehrstufigen syntaktischen Graph (IDMG), wobei das System Folgendes umfasst: einen Speicher; und einen oder mehrere Prozessoren, die mit dem Speicher kommunizieren und so konfiguriert sind, dass sie: jedes Textbeispiel, das eine Geschäftsbedarfsbeschreibung darstellt, zu analysieren, um syntaktische Informationen zu extrahieren, die zumindest Token und Wörter enthalten; die Wörter der syntaktischen Informationen in Token umwandeln, um mit Hilfe eines mehrsprachigen, vorab trainierten Sprachmodells Unterwörter für jedes der Wörter zu erzeugen; die generierten Teilwörter an den Token der syntaktischen Informationen ausrichten, um die beabsichtigten Handlungen und Objekte mit den tokenisierten Teilwörtern abzugleichen; einen vereinheitlichten syntaktischen Graphen erstellen; über einen Multi-Hop-Unified-Syntactic-Graph-Codierer den Unified-Syntactic-Graph codieren, um eine Ausgabe zu erzeugen; und eine beabsichtigte Aktion und ein Objekt aus der Ausgabe vorhersagen.
System nach Anspruch 15, wobei die syntaktischen Informationen ferner mindestens einen Teil der Sprache für jedes der Wörter, die Abhängigkeitsbeziehung und die abstrakte Bedeutungsbeziehung umfassen.
System nach Anspruch 15, wobei die Erzeugung des vereinheitlichten syntaktischen Graphen die Konstruktion von Token-Knoten, die Konstruktion von Knotenbeziehungen und die Konstruktion von Beziehungen zwischen Sätzen umfasst.
System nach Anspruch 15, wobei der Multi-Hop-Unified-Syntactic-Graph-Codierer eine syntaktische Struktur-Aufmerksamkeitskomponente und eine Mehrkopf-Semantik-Aufmerksamkeitskomponente enthält.
System nach Anspruch 18, wobei die syntaktische Strukturaufmerksamkeitskomponente Kantenbeziehungen und Knotenattribute als Eingabe aus dem vereinheitlichten syntaktischen Graphen erhält und die semantische Mehrkopfaufmerksamkeitskomponente sequentielle Einbettungen als Eingabe erhält.
Das System nach Anspruch 19, wobei, wenn ein erster Knoten und ein zweiter Knoten direkt verbunden sind, eine Kanteneinbettung als eine Art von Abhängigkeitsbeziehung initialisiert und während eines Trainingsprozesses feinabgestimmt wird; und wobei, wenn der erste Knoten und der zweite Knoten nicht direkt verbunden sind, die Kanteneinbettung eine Summe aller Kantensegmente ist.