DE112020002042T5

DE112020002042T5 - Erzeugen eines absichtserkennungsmodells auf grundlage von randomisierten absichtsvektornäherungen

Info

Publication number: DE112020002042T5
Application number: DE112020002042.8T
Authority: DE
Inventors: Zhong Fang Yuan; Kun Yan Yin; Yuan Lin Yang; Tong Liu; He Li
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2019-04-22
Filing date: 2020-04-02
Publication date: 2022-01-27
Also published as: WO2020217121A1; GB2597166A; US11521602B2; US20200335095A1; CN113597602A; US11069346B2; JP2022529664A; US20210264906A1; GB202115690D0; JP7507788B2

Abstract

Auf Grundlage eines Eingabeabsichtsvektors wird ein Satz von Kandidaten-Absichtsvektoren erzeugt. Ein Validieren des Satzes von Kandidaten-Absichtsvektoren wird durchgeführt, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus dem Satz von Kandidaten-Absichtsvektoren als gültige Absichtsvektoren ausgewählt werden.

Description

HINTERGRUND
Das Gebiet der Erfindung bezieht sich auf Anwendungen zur kognitiven Absichtserkennung wie Chatbots, die Absichtserkennungsmodelle verwenden, um die Absicht eines Benutzers abzuleiten, der einen Satz oder einen Befehl sagt. Zum Beispiel kann ein Benutzer fragen „Wo kann man hier Kaffee bekommen?“, und die Anwendung zur kognitiven Absichtserkennung versucht, aus dem Absichtserkennungsmodell abzuleiten, dass der Benutzer eine Wegbeschreibung zu einem Cafe haben möchte.
Allerdings ist das herkömmliche Erzeugen von Absichtserkennungsmodellen aufgrund der Komplexität der Variationen natürlicher Sprache (natural language, NL) beim Ausdrücken von Gedanken und Absichten in praktisch jeder Sprache und in den verschiedenen Regionen, in denen eine Sprache verwendet wird, problematisch. Zum Beispiel werden durch bestimmte herkömmliche Ansätze „semantisch ähnliche Sätze“ erzeugt, indem „für jedes Wort einer eingegebenen Äußerung ein Satz entsprechender semantisch ähnlicher Wörter“ ermittelt wird. Für jedes beliebige Wort können jedoch mehrere solcher semantisch ähnlichen Wörter (z.B. Synonyme) existieren, und es können sehr unterschiedliche Sätze oder Wortfolgen verwendet werden, um ähnliche Bedeutungen zum Ausdruck zu bringen. Infolge dieser Arten von Sprachkomplexität entsteht eine sehr große Anzahl von Kombinationen aus Wörtern und Wortfolgen, die verwendet werden können, um Gedanken auszudrücken. Als weitere Folge werden große Mengen an Trainingsdaten in Form von eingegebenen Variationen von Sätzen/Wortfolgen hoher Qualität benötigt, um herkömmliche Absichtserkennungsmodelle genau zu trainieren. Das herkömmliche Erzeugen von Absichtserkennungsmodellen ist dabei ein manuell aufwändiger Prozess, um eingegebene Variationen aus einer Vielzahl unterschiedlicher Eingabequellen zu sammeln und zu filtern. Anschließend werden Sprachexperten eingesetzt, um sinnvolle und bedeutungstragende Variationen von Sätzen/Wortfolgen unter Verwendung von Synonymen als Ausgangstext für das Erzeugen und das Trainieren von Absichtserkennungsmodellen zu bilden. Die Qualität des Absichtserkennungsmodells wird von der Menge der bereitgestellten Daten und der erzeugten Variationen von Wortfolgen bestimmt. Allerdings werden nur sehr wenige herkömmliche Absichtserkennungsmodelle mit der erforderlichen Anzahl von eingegebenen Variationen von Sätzen/Wortfolgen hoher Qualität erzeugt. Herkömmliche Absichtserkennungsmodelle werden daher nur unzureichend erzeugt und trainiert, was die herkömmlichen Absichtserkennungsmodelle ineffektiv macht, wenn es darum geht, die Absicht eines Benutzers über alle Variationen der natürlichen Sprache und Satzformate hinweg richtig zu identifizieren, um Gedanken und Absichten in einer bestimmten Sprache auszudrücken.
Bei einem langen Kurzzeitgedächtnis (long short-term memory, LSTM) handelt es sich um eine künstliche rekurrente neuronale Netzwerkarchitektur (recurrent neural network, RNN), die bei der computergestützten Verarbeitung von tiefem Lernen verwendet wird. LSTM weist Rückmeldeverbindungen auf, die neben der Verarbeitung einzelner Datenpunkte auch die Verarbeitung von Datenfolgen, z.B. Sprache oder Video, ermöglichen.
Ein Satzvektor wird mit Hilfe von Worteinbettungen gebildet, um Wörter zu darzustellen. Ein Satzvektor wird durch Verwendung eines neuronalen Netzwerks gebildet, das Worteinbettungen innerhalb eines generativen Modells rekursiv kombiniert, z.B. mit einem rekursiven/rekurrenten neuronalen Netzwerk oder mit einem anderen nichtneuronalen Netzwerkalgorithmus (z.B. doc2vec). Ein Satzvektor hat im Allgemeinen eine ähnliche Form wie Worteinbettungen.
Beim gaußschen Rauschen handelt es sich um eine Form des statistischen Rauschens, das eine einer Normalverteilung entsprechende Wahrscheinlichkeitsdichtefunktion (probability density function, PDF) hat, die auch als gaußsche Verteilung bezeichnet wird. Gaußsches Rauschen wird unter Verwendung von Zufallsvariablen in Bereichen wie Telekommunikationssysteme und Computernetzwerktechnik modelliert, um die Auswirkungen von Rauschen aus natürlichen Quellen zu modellieren, die diese Telekommunikationssysteme und Computernetzwerktechnik beeinträchtigen. Zu diesen natürlichen Quellen, die auf diese Telekommunikationssysteme und Computernetzwerktechnik einwirken, gehören unter anderem thermische Schwingungen von Atomen in Leitern und Strahlung von Himmelskörpern (z.B. von der Erde, von der Sonne usw.).
ZUSAMMENFASSUNG
Ein durch einen Computer implementiertes Verfahren umfasst Erzeugen eines Satzes von Kandidaten-Absichtsvektoren auf der Grundlage eines Eingabeabsichtsvektors. Das durch einen Computer implementierte Verfahren umfasst Durchführen einer Validierung des Satzes von Kandidaten-Absichtsvektoren, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus dem Satz von Kandidaten-Absichtsvektoren als gültige Absichtsvektoren ausgewählt werden. Diese Ausführungsform hat den Vorteil, dass sie das Erzeugen und Validieren von Absichtserkennungsmodellen verbessert, indem sie auf weniger Satz/Wortfolge-Eingaben beruht und autonom ein stabiles Absichtserkennungsmodell mit erhöhter Absichtsinferenzgenauigkeit ableitet.
Ein System, das das durch einen Computer implementierte Verfahren durchführt, und ein Computerprogrammprodukt, das einen Computer veranlasst, das durch einen Computer implementierte Verfahren durchzuführen, werden ebenfalls beschrieben.
Eine zulässige Ausführungsform umfasst Erzeugen des Satzes von Kandidaten-Absichtsvektoren durch iteratives Verarbeiten des Eingabeabsichtsvektors parallel mit einem Rauschvektor, sodass jeder Kandidaten-Absichtsvektor des Satzes von Kandidaten-Absichtsvektoren relativ zum Eingabeabsichtsvektor zufällig verteilt wird, was den Vorteil hat, dass das Absichtserkennungsmodell viel schneller erzeugt werden kann als mit herkömmlichen Technologien.
Eine zulässige Ausführungsform umfasst Erzeugen des Satzes von Kandidaten-Absichtsvektoren durch Verarbeiten des Eingabeabsichtsvektors parallel mit einem Rauschvektor in einem Modell eines langen Kurzzeitgedächtnisses (LSTM), was den Vorteil hat, dass das Absichtserkennungsmodell viel genauer erzeugt werden kann als mit herkömmlichen Technologien.
Eine zulässige Ausführungsform umfasst Durchführen des Validierens des Satzes von Kandidaten-Absichtsvektoren durch Ermitteln eines mehrdimensionalen Absichtsvektorabstands zwischen dem Eingabeabsichtsvektor und dem entsprechenden Kandidaten-Absichtsvektor und Auswählen von Kandidaten-Absichtsvektoren, die innerhalb eines konfigurierten mehrdimensionalen Absichtsvektorabstands des Eingabeabsichtsvektors liegen, als gültige Absichtsvektoren, die dem Eingabeabsichtsvektor semantisch ähnlich sind, was den Vorteil hat, dass Kandidatenvektoren identifiziert werden, die in einem mehrdimensionalen Vektorraum relativ zum Musterabsichtsvektor nahe beieinander liegen und dadurch ähnliche Absichtsvektor-Codierungen aufweisen.
Eine zulässige Ausführungsform umfasst mindestens Erzeugen oder Durchführen des Validierens als Dienst in einer Cloud-Umgebung, was den Vorteil hat, dass die hier beschriebene Technologie zum Erzeugen von Absichtserkennungsmodellen schnell eingesetzt und genutzt werden kann.
Eine zulässige Ausführungsform umfasst Erzeugen eines Absichtserkennungsmodells auf der Grundlage der gültigen Absichtsvektoren, die dem Eingabeabsichtsvektor semantisch ähnlich sind, was den Vorteil hat, dass ein Absichtserkennungsmodell auf der Grundlage von validierten Absichtsvektoren schnell erzeugt werden kann.
Eine zulässige Ausführungsform umfasst Durchführen einer Rückmeldung der Kandidaten-Absichtsvektorerzeugung vom Validieren bis zum Erzeugen, die die zum Erzeugen des Kandidaten-Absichtsvektors verwendeten Vektorerzeugungsparameter als Reaktion auf Feststellen während des Validierens, dass ein erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch nicht ähnlich ist, anpasst, und iteratives Anpassen der Vektorerzeugungsparameter unter Verwendung der Rückmeldung der Kandidaten-Absichtsvektorerzeugung, bis ein sich ergebender erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch ähnlich ist, was den Vorteil hat, dass ein Prozentsatz von Kandidaten-Absichtsvektoren hoher Qualität, die von einem Computer erzeugt werden, erhöht wird, wodurch die Datenverarbeitungsgeschwindigkeit beim Erzeugen des Absichtserkennungsmodells und die Genauigkeit des sich ergebenden Absichtserkennungsmodells verbessert werden.
Figurenliste

1 stellt eine Cloud-Computing-Umgebung gemäß einer Ausführungsform der vorliegenden Erfindung dar;
2 stellt Ebenen eines Abstraktionsmodells gemäß einer Ausführungsform der vorliegenden Erfindung dar;
3 ist ein Blockschaubild eines Beispiels für eine Implementierung eines Systems zum Erzeugen eines Absichtserkennungsmodells auf der Grundlage von randomisierten Absichtsvektornäherungen gemäß einer Ausführungsform des vorliegenden Gegenstands;
4 ist ein Blockschaubild eines Beispiels für eine Implementierung eines Hauptverarbeitungsmoduls, das in der Lage ist, das Erzeugen eines Absichtserkennungsmodells auf der Grundlage von randomisierten Absichtsvektornäherungen gemäß einer Ausführungsform des vorliegenden Gegenstands durchzuführen;
5 ist ein Ablaufplan eines Beispiels für eine Implementierung eines Prozesses zum automatischen Erzeugen eines Absichtserkennungsmodells auf der Grundlage von randomisierten Absichtsvektornäherungen gemäß einer Ausführungsform des vorliegenden Gegenstands; und
6 ist ein Ablaufplan eines Beispiels für eine Implementierung eines Prozesses zum automatischen Erzeugen eines Absichtserkennungsmodells auf der Grundlage von randomisierten Absichtsvektornäherungen, der zusätzliche Einzelheiten und bestimmte zusätzliche/alternative Operationen gemäß einer Ausführungsform des vorliegenden Gegenstands veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Die nachstehenden Beispiele stellen die notwendigen Informationen dar, um Fachleute in die Lage zu versetzen, die Erfindung auszuführen, und veranschaulichen die beste Vorgehensweise zum Ausführen der Erfindung. Beim Lesen der nachfolgenden Beschreibung unter Berücksichtigung der beigefügten Zeichnungsfiguren werden Fachleute die Konzepte der Erfindung verstehen und Anwendungen dieser Konzepte erkennen, die hierin nicht im Besonderen berücksichtigt werden. Es versteht sich, dass diese Konzepte und Anwendungen unter den Anwendungsbereich der Offenbarung und der beigefügten Ansprüche fallen.
Der hier beschriebene Gegenstand stellt das Erzeugen von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen bereit. Die vorliegende Technologie löst ein bekanntes Problem des Erzeugens von Absichtserkennungsmodellen, indem sie eine Technologie bereitstellt, die eine neue Form des autonomen computergesteuerten Erzeugens und Validierens von Satz/Wortfolge-Vektoren umfasst, die sowohl die Geschwindigkeit des Erzeugens von Absichtserkennungsmodellen als auch die Funktionsgenauigkeit von Absichtserkennungsmodellen im Vergleich zu herkömmlichen Absichtserkennungsmodellen erhöht. Die hier beschriebene Technologie stützt sich auf die computergesteuerte Verarbeitung von begrenzten eingegebenen Satz/Wortfolge-Variationen und benötigt daher viel weniger Eingabedaten, um im Vergleich zu den herkömmlichen Absichtserkennungsmodellen viel genauere Absichtserkennungsmodelle zu erzeugen.
Einige Ausführungsformen der vorliegenden Erfindung können eine oder mehrere der folgenden Merkmale, charakteristischen Operationen und/oder Vorteile umfassen: (i) sie kombinieren Rauschen mit einem Satz-(Muster-)Vektor, um viele Kandidatenvektoren zu erzeugen; (ii) sie verwenden ein Modell eines langen Kurzzeitgedächtnisses (LSTM) mit Rückmeldung, um das Erzeugen einer großen Anzahl von Kandidatenvektoren durch einen Computer zu ermöglichen, die um den anfänglichen Mustervektor herum schwanken; (iii) sie verwenden postgaußsche Vektoren, die im sich ergebenden Vektorraum nahe beieinander liegen, um gesprochene Wortfolgen (sobald sie ebenfalls in Vektoren umgewandelt wurden) zu identifizieren, deren Absicht der in dem ursprüngliche Mustervektor codierten Wortfolge ähnlich ist, ohne dass eine herkömmliche synonymgestützte Vektorcodierung verwendet wird; (iv) sie berücksichtigen Variationen im Sprachgebrauch, einschließlich Dialekte und regionale Sprachvariationen; und/oder (v) sie verbessern die Absichtserkennung zumindest in diesem Aspekt, da herkömmliche synonymgestützte Vektorcodierung möglicherweise nicht in der Lage ist, eine Absicht auf der Grundlage einer Wortfolge zu ermitteln, die unter Verwendung dieser Arten von Variationen von gesprochenen/codierten Wörter gesprochen wird.
Die hier beschriebene Technologie stützt sich auf eine Beobachtung, dass der Vektorabstand zwischen codierten Absichtsvektoren, die die gleiche oder eine ähnliche Bedeutung haben, in einem mehrdimensionalen Absichtsvektorraum sehr gering ist. Als Ergebnis dieser Beobachtung wurde festgestellt, dass der Abstand zwischen Absichtsvektoren genutzt werden kann, um eine Ähnlichkeit von Bedeutungen verschiedener vektorcodierter Sätze oder Wortfolgen darzustellen, und dass durch zufälliges Variieren eines Absichtsvektors selbst im Vergleich zu herkömmlichen eingegebenen Textvariationen genauere Absichtserkennungsmodelle erzeugt werden. Die hier beschriebene Technologie verändert das Erzeugen von Absichtserkennungsmodellen vollständig, und die daraus sich ergebenden/erzeugten Absichtserkennungsmodelle verbessern die computergestützte Erkennung einer Benutzerabsicht erheblich.
Gestützt auf die Verwendung des Abstands zwischen Absichtsvektoren erzeugt die hier beschriebene Technologie per Computer eine große Anzahl validierter, codierter Absichtsvektoren, um ein Absichtserkennungsmodell zu trainieren und aufzubauen. Auf diese Weise ermöglicht die hier beschriebene Technologie ein schnelleres und genaueres Erzeugen von Absichtserkennungsmodellen in größerem Umfang unter Verwendung weniger Eingabedaten, als dies bisher mit dem herkömmlichen manuellen Erzeugen semantisch ähnlicher Sätze unter Verwendung von Synonymen und Wortwahlvariationen mit anschließender Codierung dieser ähnlichen Sätze möglich war.
Bei der hier beschriebenen technischen Verarbeitung wird eine Version eines Musterabsichtstexts in Form eines Satzes oder einer Wortfolge als Eingabe verwendet, die repräsentativ für eine Absicht ist, die in ein Absichtserkennungsmodell codiert werden soll. Die Verarbeitung konvertiert und codiert anschließend den Musterabsichtstext unter Verwendung eines für die Verarbeitungsplattform geeigneten digitalen Codierungsverfahrens in einen Musterabsichtsvektor. Das Konvertieren des Musterabsichtstexts in den Musterabsichtsvektor kann durch eine beliebige Verarbeitung erfolgen, die für eine gegebene Implementierung geeignet ist, beispielsweise Frequenzbereichscodierung (z.B. schnelle Fourier Transformation usw.) oder eine andere Codierungsform, wobei jedes Wort oder jede Äußerung in einer digitalen Form dargestellt wird, die zur eindeutigen Identifizierung des jeweiligen Worts oder der jeweiligen Äußerung verwendet werden kann. Ein computergestützter Absichtsvektorgenerator erzeugt auf der Grundlage des Musterabsichtsvektors automatisch eine große Anzahl von Kandidaten-Absichtsvektoren zum Auswerten eines mehrdimensionalen Vektorabstandes relativ zum Musterabsichtsvektor. Um die Genauigkeit zu verbessern, filtert ein computergestützter Vektorvalidator gültige und bedeutungstragende Kandidaten-Absichtsvektoren, die im mehrdimensionalen Vektorabstand (z.B. matrixdimensionale Cosinus-Ähnlichkeit, wobei die Anzahl der Dimensionen, die für die Cosinus-Ähnlichkeit ausgewertet werden, den Dimensionen der Vektormatrix entspricht) nahe am Musterabsichtsvektor liegen, in einen endgültigen Satz ähnlicher Absichtsvektoren, während alle Kandidaten-Absichtsvektoren verworfen werden, die im mehrdimensionalen Vektorabstand dem Musterabsichtsvektor nicht ähnlich sind (z.B. keine matrixdimensionale Cosinus-Ähnlichkeit aufweisen). Der endgültige Satz ähnlicher Absichtsvektoren wird zum Trainieren des Absichtserkennungsmodells verwendet. Somit erhöht die hier beschriebene Technologie die Geschwindigkeit und Genauigkeit des computergestützten Erzeugens des Absichtserkennungsmodells und zusätzlich die Geschwindigkeit und Genauigkeit der computergestützten Absichtserkennung, wenn das Absichtserkennungsmodell eingesetzt wird. Ein weiteres Ergebnis ist, dass die hier beschriebene Technologie im Vergleich zu herkömmlichen Formen des Erzeugens von Absichtserkennungsmodellen in größerem Umfang mit deutlich reduzierten Dateneingabeanforderungen arbeitet. Im Gegensatz zu herkömmlichen, synonymgestützten Ansätzen verwendet die hier beschriebene Technologie insbesondere einen einzigen eingegebenen Mustertext, um ein Absichtserkennungsmodell zu erzeugen, das in der Lage ist, die Absicht über eine Vielzahl von Variationen von eingegebenen Wortfolgen eines Benutzers zu ermitteln, die eine ähnliche Absicht wie der eingegebene Mustertext ausdrücken.
Um den Musterabsichtsvektor zu codieren, wird die eingegebene Wortfolge des Absichtstexts entsprechend einer konfigurierbaren/vorgegebenen Dimensionalität digitalisiert. Als Beispiel kann eine Dimensionalität von dreihundert (Dimension = 300) angegeben werden, obwohl auch andere Dimensionen wie zweihundertsechsundfünfzig (Dimension = 256) verwendet werden können, wie jeweils für eine bestimmte Implementierung geeignet. Bleibt man beispielsweise bei der Dimensionalität von dreihundert (Dimension = 300), kann jedes Wort eines eingegebenen Mustertextes in einen Vektor der Dimension 300 umgewandelt werden, der 300 digitale Werte enthält, die das betreffende Wort darstellen. Bei einer eingegebenen Wortfolge eines Mustertextes aus vier (4) Wörtern ergibt die digitale Darstellung der eingegebenen Wortfolge des Mustertextes eine Matrix von vier (4) solchen Vektoren der Dimension 300 (z.B. eine Matrix von 4x300 digitalen Werten), die die Wortfolge codieren.
Diese sich ergebende Matrix digitaler Werte wird anschließend in ein Modell eines „faltenden neuronalen Netzwerks“ eingegeben, und ein Zwischenergebnis nach dem Verarbeiten der Max-Pooling-Schicht wird als Musterabsichtsvektor ausgewählt. Der auf diese Weise erhaltene Musterabsichtsvektor weist die Semantik der Wortfolge des Musterabsichtstexts auf, die digital im mehrdimensionalen Absichtsvektorraum dargestellt wird.
Um das Verarbeiten der Max-Pooling-Schicht im Algorithmus des faltenden neuronalen Netzwerks näher zu erläutern, wird die Darstellung des gesamten eingegebenen Mustertextes/der gesamten eingegebenen Musterwortfolge in einen einzigen/sich ergebenden Musterabsichtsvektor abstrahiert. Dieser einzelne Vektor kann als Darstellung der Semantik des eingegebenen Mustertextes/der eingegebenen Musterwortfolge im semantischen Vektorraum verwendet werden. Im Allgemeinen werden ein Typ (n) eines Faltungs-Kernels und eine Anzahl von Faltungs-Kernels (m) jeden Typs gemeinsam festgelegt (n*m). Im obigen Beispiel beträgt die Dimension des sich ergebenden Musterabsichtsvektors ebenfalls dreihundert (300) Dimensionen, wobei für den Typ (n) drei (n=3) und die Anzahl der Faltungs-Kernels (m) einhundert (m=100) festgelegt werden. Es sei jedoch darauf hingewiesen, dass für die Anzahl der Faltungs-Kernels auch vierhundert (400), fünfhundert (500) oder jeder andere Wert festgelegt werden kann, der für eine bestimmte Implementierung geeignet ist.
Der computergestützte Absichtsvektorgenerator erzeugt auf der Grundlage des Musterabsichtsvektors eine konfigurierbare Anzahl von Kandidaten-Absichtsvektoren, indem er die einzelnen Elemente des Musterabsichtsvektors variiert. Die Kandidaten-Absichtsvektoren werden anschließend in Bezug auf den mehrdimensionalen Vektorabstand relativ zum Musterabsichtsvektor bewertet/validiert. Für die Anzahl der zu erzeugenden und zu validierenden Kandidaten-Absichtsvektoren kann beispielsweise eintausendvierundzwanzig (1.024) festgelegt werden, für die konfigurierte Anzahl von zu erzeugenden und zu validierenden Kandidaten-Absichtsvektoren kann jedoch jeder beliebige Wert festgelegt werden, wie jeweils für eine bestimmte Implementierung geeignet (z.B. 2.048, 4.096 usw.).
Um die probabilistische Genauigkeit der erzeugten Kandidaten-Absichtsvektoren weiter zu erhöhen, verwendet der computergestützte Absichtsvektorgenerator einen zufällig erzeugten Rauschvektor mit Elementen, die jeweils eine gaußsche Verteilung (z.B. Normalverteilung) über die Häufigkeiten für jedes Element (z.B. Wort/Äußerung) des Musterabsichtsvektors aufweisen. Durch das Hinzufügen von gaußschem Rauschen zu einem Mustervektor wird jeder erzeugte Vektor zufällig in einem semantischen Raum um den Mustervektor herum verteilt. Die erzeugten Vektoren entsprechen zwar nicht direkt dem Vokabular einer echten Sprache, die erzeugten Vektoren haben jedoch eine eindeutige Bedeutung im semantischen Raum, der wie hier beschrieben verwendet werden kann, um bessere und genauere Absichtserkennungsmodelle aufzubauen. In dieser Ausführungsform verarbeitet der computergestützte Absichtsvektorgenerator den Musterabsichtsvektor wiederholt und parallel mit dem zufällig erzeugten gaußschen Rauschvektor in einem Modell eines „langen Kurzzeitgedächtnisses“ (LSTM) und erhält für jede Iteration einen postgaußschen (Kandidaten-)Absichtsvektor. Auf diese Weise ergibt sich durch das Verarbeiten des LSTM-Modells eine sehr große und konfigurierbare Anzahl von postgaußschen Kandidaten-Absichtsvektoren.
In dieser Ausführungsform empfängt der computergestützte Absichtsvektorvalidator weiterhin die erzeugten postgaußschen Kandidaten-Absichtsvektoren, und jeder postgaußsche Kandidaten-Absichtsvektor wird in einen Absichtserkennungsalgorithmus eingegeben. Ein gegebener postgaußscher Kandidaten-Absichtsvektor wird für die Annahme als gültiger/endgültiger Absichtsvektor des Absichtserkennungsmodells in Betracht gezogen, indem zunächst eine Differenz zwischen dem eingegebenen Mustervektor und dem jeweiligen postgaußschen Kandidaten-Absichtsvektor gemessen wird, um einen Vektorabstand als Maß für einen Verlust oder eine Veränderung im Vergleich zum Eingabemustervektor in Form eines Fehlers zu erhalten (z.B. fünfzehn Prozent (15 %) Verlust). Das Maß des Verlustes kann dann umgekehrt werden, um ein Konfidenzniveau bezüglich der Ähnlichkeit der Absicht des jeweiligen postgaußschen Kandidaten-Absichtsvektors mit dem Musterabsichtsvektor zu erhalten. Zum Beispiel ergibt ein mehrdimensionaler Vektorabstand von null Komma acht fünf (0,85) ein Konfidenzniveau von fünfundachtzig Prozent (85 %). Weiterhin kann ein Konfidenzniveau von fünfundachtzig Prozent (85 %) oder höher (z.B. näherer mehrdimensionaler Vektorabstand, der gegen 1,0 geht) verwendet werden, um einen entsprechenden postgaußschen Kandidaten-Absichtsvektor als eine gültige ähnliche Absicht wie der Musterabsichtsvektor zu betrachten, obwohl es sich versteht, dass jedes andere Konfidenzniveau verwendet werden kann, wie jeweils für eine bestimmte Implementierung geeignet.
Eine Rückmeldeschleife der Absichtsvektorerzeugung vom Absichtsvektorvalidator zum Absichtsvektorgenerator und LSTM-Modell wird verwendet, um den Absichtsvektorgenerator entsprechend dem ermittelten Fehler/Verlustmaß zu trainieren. Während dieses Rückmeldeprozesses werden LSTM-Parameter iterativ aktualisiert, um die Absichtsvektorerzeugung für jeden erzeugten Kandidaten-Absichtsvektor und für ein weiteres Verarbeiten von Kandidaten-Absichtsvektoren im Laufe der Zeit zu verbessern. Dieser iterative und Rückmelde-Trainingsprozess wird so lange wiederholt, bis die ausgegebenen postgaußschen Kandidaten-Absichtsvektoren, die vom Absichtsvektorgenerator erzeugt wurden, durchweg den Absichtsvektorvalidator durchlaufen haben und als gültige/endgültige Absichtsvektoren des Absichtserkennungsmodells angesehen werden.
Entsprechend passt die hier beschriebene Verarbeitung die Absichtsvektorerzeugung programmgestützt selbst an, um sicherzustellen, dass aus der computergesteuerten und automatischen Verarbeitung der Absichtsvektorerzeugung ein höherer Prozentsatz gültiger Absichtsvektoren hervorgeht. Dieser höhere Prozentsatz gültiger Absichtsvektoren wird dann verwendet, um das Absichtserkennungsmodell schnell zu erzeugen und mit einer gleichzeitig hohen Konfidenz zu trainieren, sodass das Absichtserkennungsmodell, wenn es eingesetzt wird, die Absicht eines Benutzers über eine Vielzahl von Wortfolgen genau ermittelt, die eine ähnliche Absicht wie der eingegebene Mustertext haben.
Die große Anzahl gültiger/endgültiger Absichtsvektoren, die programmgestützt erzeugt und im eingesetzten Absichtserkennungsmodell validiert werden, wird insbesondere als ein Absichtsvektorraum oder eine Zufallsverteilung betrachtet, die statistisch einen mehrdimensionalen Vektorraumbereich um den ursprünglichen Musterabsichtsvektor herum abdeckt. Wenn eine Wortfolge von einem bestimmten Benutzer des eingesetzten Absichtserkennungsmodells gesprochen wird, wird diese Wortfolge daher digitalisiert, und wenn die digitalisierte Darstellung der vom Benutzer gesprochenen Wortfolge in der Nähe oder innerhalb des mehrdimensionalen Vektorraumbereichs liegt, der durch den Satz von gültigen/endgültigen Absichtsvektoren erzeugt wurde, wird die vom Benutzer gesprochene Wortfolge auf den Musterabsichtsvektor zurückgeführt und von dort auf den ursprünglichen Musterabsichtstext zurückgeführt, um die Absicht des Benutzers zu ermitteln. Es sei darauf hingewiesen, dass aufgrund der Nähe von Absichtsvektoren, die wie oben beschrieben ähnliche Absichten darstellen, eine genaue Interpretation der Absicht des Benutzers schnell und in Echtzeit ermittelt werden kann, auch wenn die bestimmte vom Benutzer gesprochene Wortfolge nicht in einem endgültigen Absichtsvektor im Absichtserkennungsmodell codiert wurde. Somit erweitert die hier beschriebene Technologie den Satz von Wortfolgen, für den eine Absicht ermittelt werden kann, ohne dass eine individuelle Codierung jeder möglichen Variation von Wortfolgen erforderlich ist, wie es bei herkömmlichen Technologien zum Identifizieren einzelner Wortfolgen der Fall gewesen wäre. Auf diese Weise erhöht die hier beschriebene Technologie die Genauigkeit der eingesetzten Absichtserkennungsmodelle mit begrenzten eingegebenen Satz/Wortfolge-Variationen und wird dadurch als eine wesentliche Verbesserung gegenüber herkömmlichen Technologien für Absichtserkennungsmodelle angesehen.
Nachfolgend werden einige Begriffe erläutert, die bei der Beschreibung von Ausführungsformen der vorliegenden Erfindung verwendet werden. Eine „natürliche Sprache“ wird hiermit als eine erkennbare gesprochene Sprache oder ein Dialekt definiert, die/der von Personen in einer oder mehreren Regionen gesprochen wird, und kann formale Sprachen wie Chinesisch, Englisch, Französisch, Deutsch und andere Sprachen oder Dialekte umfassen, bei denen es sich um regionale Varianten solcher Sprachen handelt. Ein „faltendes neuronales Netzwerk“ wird hiermit als ein Datenverarbeitungsmodell definiert, das ausgeführt werden kann, um gesprochenen Text in eine oder mehrere Folgen von Datenelementen umzuwandeln. Die Datenelemente stellen Wortfolgen oder Sätze des gesprochenen Textes digital als mehrdimensionale Matrix dar und werden in Matrixform in einer digitalen Datenverarbeitungseinheit verarbeitet. Ein „Absichtsvektorelement“ wird hiermit als ein gesprochenes Wort oder eine Äußerung definiert, das/die digital in einen mehrdimensionalen Vektor codiert wurde, der das gesprochene Wort oder die Äußerung für die Verarbeitung als digitales Datenelement darstellt und unterscheidet. Ein „Absichtsvektor“ wird hier alternativ als „Satzvektor“ bezeichnet und wird hiermit als eine Folge von Absichtsvektorelementen definiert, die einen gesprochenen Satz oder eine gesprochene Wortfolge in eine mehrdimensionale Matrix codieren und die wie hier beschrieben als Matrix/Dateneinheit verarbeitet werden. Ein „Musterabsichtsvektor“ wird hier alternativ als „Mustersatzvektor“ bezeichnet und wird hiermit als ein Absichtsvektor definiert, der auf der Grundlage einer Wortfolge eines Mustertextes durch rekursives Kombinieren von Worteinbettungen in einem generativen Modell in einem Vektorformat erzeugt wird, das als Ausgangs/Start-Eingabe für das Erzeugen von Absichts/Satz-Vektoren und die Validierungsverarbeitung wie hier beschrieben verwendet wird. „Gaußsches Rauschen“ wird hiermit als Rauschen definiert, das eine Standard/Normal-Verteilung über Häufigkeiten relativ zu einem mittleren oder durchschnittlichen Satz von Werten aufweist. Ein „Gaußsches-Rauschen-Absichtsvektor“ wird hiermit als eine Matrix von Datenelementen definiert, die jeweils eine Verteilung von gaußschem Rauschen relativ zu einem Satz von Elementen darstellen, die in einem bestimmten Absichtsvektor dargestellt werden. Ein „Postgaußscher-Absichtsvektor“ wird hier alternativ als „Kandidaten-Absichtsvektor“ bezeichnet und wird hiermit als eine sich ergebende Matrix codierter Datenelemente definiert, die auf der Grundlage der parallelen Verarbeitung eines Absichtsvektors und eines Gaußschen-Rauschen-Absichtsvektors ausgegeben werden, wobei jedes sich ergebende codierte Datenelement eine statistische Variation des jeweiligen/paarweise verbundenen Absichtsvektorelements des Absichtsvektors gemäß der Normalverteilung codiert, die durch gaußsches Rauschen bereitgestellt wird, das in der Folge von Datenelementen des Gaußschen-Rauschen-Absichtsvektors dargestellt wird. Ein „langes Kurzzeitgedächtnis“ (LSTM) wird hiermit als ein Computer-Verarbeitungsnetzwerk definiert, das in der Lage ist, Absichtsvektoren und Gaußsches-Rauschen-Absichtsvektoren als einzelne Eingabeeinheiten parallel zu verarbeiten, und das als Ausgabe Postgaußsche-Absichtsvektoren bereitstellt. Ein „mehrdimensionaler Vektorabstand“ wird hiermit als ein Vektorabstand zwischen einem Musterabsichtsvektor und einem Kandidaten-Absichtsvektor definiert, der entsprechend der Anzahl von Dimensionen der Absichtsvektormatrizen der jeweiligen Absichtsvektoren berechnet wird. Eine „matrixdimensionale Cosinus-Ähnlichkeit“ wird hiermit als eine Form von mehrdimensionalem Vektorabstand definiert, der eine über die Anzahl der Dimensionen der Absichtsvektormatrizen der jeweiligen Absichtsvektoren berechnete Cosinus-Ähnlichkeit angibt. Ein „validierter Absichtsvektor“ wird hier als ein Kandidaten-Absichtsvektor definiert, der als innerhalb eines konfigurierten mehrdimensionalen Vektorabstands eines gegebenen Mustersatzvektors liegend validiert wurde, auf dessen Grundlage der jeweilige Postgaußsche/Kandidaten-Absichtsvektor erzeugt wurde. Ein „validiertes Absichtserkennungsmodell“ wird hier als ein Absichtserkennungsmodell bezeichnet, das wie hier definiert und beschrieben unter Verwendung von automatisch erzeugten und validierten Absichtsvektoren definiert wird.
Die hier beschriebene Technologie erzeugt auf der Grundlage eines Eingabeabsichtsvektors einen Satz von Kandidaten-Absichtsvektoren und führt ein Validieren des Satzes von Kandidaten-Absichtsvektoren durch, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus dem Satz der Kandidaten-Absichtsvektoren als gültige Absichtsvektoren ausgewählt werden. Diese Ausführungsform hat den Vorteil, dass sie das Erzeugen und Validieren von Absichtserkennungsmodellen verbessert, indem sie auf weniger Eingaben von Sätzen/Wortfolgen beruht und autonom ein stabiles Absichtserkennungsmodell mit erhöhter Absichtsinferenzgenauigkeit ableitet.
Im Folgenden werden einige Vorteile bestimmter Ausführungsformen des vorliegenden Gegenstands beschrieben. Eine Ausführungsform, bei der das Erzeugen des Satzes von Kandidaten-Absichtsvektoren durch iteratives Verarbeiten des Eingabeabsichtsvektors parallel mit einem Rauschvektor durchgeführt wird, sodass jeder Kandidaten-Absichtsvektor aus dem Satz von Kandidaten-Absichtsvektoren relativ zum Eingabeabsichtsvektor zufällig verteilt wird, hat den Vorteil, dass das Absichtserkennungsmodell viel schneller erzeugt werden kann als mit herkömmlichen Technologien. Eine Ausführungsform, bei der das Erzeugen des Satzes von Kandidaten-Absichtsvektoren durch Verarbeiten des Eingabeabsichtsvektors parallel mit einem Rauschvektor in einem Modell eines langen Kurzzeitgedächtnisses (LSTM) durchgeführt wird, hat den Vorteil, dass das Absichtserkennungsmodell viel genauer erzeugt werden kann als mit herkömmlichen Technologien. Eine Ausführungsform, bei der das Durchführen des Validierens des Satzes von Kandidaten-Absichtsvektoren Ermitteln eines mehrdimensionalen Absichtsvektorabstands zwischen dem Eingabeabsichtsvektor und dem entsprechenden Kandidaten-Absichtsvektor und Auswählen von Kandidaten-Absichtsvektoren, die innerhalb eines konfigurierten mehrdimensionalen Absichtsvektorabstands des Eingabeabsichtsvektors liegen, als gültige Absichtsvektoren, die dem Eingabeabsichtsvektor semantisch ähnlich sind, umfasst, hat den Vorteil, dass Kandidatenvektoren identifiziert werden, die in einem mehrdimensionalen Vektorraum relativ zum Musterabsichtsvektor nahe beieinander liegen und dadurch ähnliche Absichtsvektor-Codierungen aufweisen. Eine Ausführungsform, die mindestens das Erzeugen oder Durchführen des Validierens als Dienst in einer Cloud-Umgebung umfasst, hat den Vorteil, dass sie zum Erzeugen von Absichtserkennungsmodellen schnell eingesetzt und genutzt werden kann. Eine Ausführungsform, die das Erzeugen eines Absichtserkennungsmodells auf der Grundlage der gültigen Absichtsvektoren umfasst, die dem Eingabeabsichtsvektor semantisch ähnlich sind, hat den Vorteil, dass ein Absichtserkennungsmodell auf der Grundlage von validierten Absichtsvektoren schnell erzeugt werden kann. Eine Ausführungsform, die das Durchführen einer Rückmeldung der Kandidaten-Absichtsvektorerzeugung vom Validieren bis zum Erzeugen umfasst, die die zum Erzeugen des Kandidaten-Absichtsvektors verwendeten Vektorerzeugungsparameter als Reaktion auf Feststellen während des Validierens, dass ein erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch nicht ähnlich ist, anpasst, sowie das iterative Anpassen der Vektorerzeugungsparameter unter Verwendung der Rückmeldung der Kandidaten-Absichtsvektorerzeugung, bis ein sich ergebender erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch ähnlich ist, hat den Vorteil, dass ein Prozentsatz von Kandidaten-Absichtsvektoren hoher Qualität, die von einem Computer erzeugt werden, erhöht wird, wodurch die Datenverarbeitungsgeschwindigkeit beim Erzeugen des Absichtserkennungsmodells und die Genauigkeit des sich ergebenden Absichtserkennungsmodells verbessert werden.
Es wird darauf hingewiesen, dass die Konzeption des vorliegenden Gegenstands darauf beruht, dass bei dem Erzeugen von Modellen zur Absichtserkennung gewisse Einschränkungen erkannt wurden. Zum Beispiel wurde beobachtet, dass das Erzeugen eines stabilen Absichtserkennungsmodells erhebliche Datenmengen in Form von validierten Satz/Wortfolge-Eingaben hoher Qualität erfordern würde, dass jedoch validierte Satz/Wortfolge-Eingaben hoher Qualität Personen, die mit dem Erzeugen von Absichtserkennungsmodellen befasst sind, im Allgemeinen nicht zur Verfügung stehen. Des Weiteren wurde beobachtet, dass Absichtserkennungsmodelle als Folge der begrenzten verfügbaren Eingabedaten eine hohe Fehlerquote in Bezug auf die Absicht aufweisen, die aus der Aussage/Frage eines Benutzers im Verhältnis zur tatsächlichen Absicht des Benutzers abgeleitet wird. Anhand dieser Beobachtungen wurde festgestellt, dass zum Erzeugen und Validieren von Absichtserkennungsmodellen mit besseren Ergebnissen eine neue Datenverarbeitungstechnologie benötigt wird, die auf weniger Satz/Wortfolge-Eingaben beruht und die ein stabiles Absichtserkennungsmodell mit erhöhter Genauigkeit der Absichtsinferenz im Vergleich zu herkömmlichen Formen des Erzeugens von Absichtserkennungsmodellen autonom ableitet. Der hier beschriebene Gegenstand verbessert das Erzeugen und Validieren von Absichtserkennungsmodellen, indem er das Erzeugen von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen wie oben und weiter unten genauer beschrieben ermöglicht. Auf diese Weise wird durch die Verwendung der vorliegenden Technologie ein verbessertes Erzeugen und Validieren von Absichtserkennungsmodellen erreicht.
Das hier beschriebene Erzeugen von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen kann in Echtzeit durchgeführt werden, um ein sofortiges Erzeugen und Validieren von Absichtserkennungsmodellen zu ermöglichen. Für die vorliegende Beschreibung soll Echtzeit jeden beliebigen Zeitraum von ausreichend kurzer Dauer umfassen, um eine angemessene Antwortzeit zur Informationsverarbeitung bereitzustellen, die für einen Benutzer des beschriebenen Gegenstands akzeptabel ist. Des Weiteren soll der Begriff „Echtzeit“ das umfassen, was gemeinhin als „nahe Echtzeit“ bezeichnet wird; dies bedeutet allgemein jeden beliebigen Zeitrahmen von ausreichend kurzer Dauer, um eine angemessene Antwortzeit zur Informationsverarbeitung auf Anfrage bereitzustellen, die für einen Benutzer des hier beschriebenen Gegenstands akzeptabel ist (z.B. innerhalb eines Sekundenbruchteils oder innerhalb einiger Sekunden). Obgleich diese Begriffe schwer zu definieren sind, sind sie für Fachleute leicht verständlich.

Die folgende Tabelle 1 zeigt ein Beispiel für einen Teil eines codierten Musterabsichtsvektors der Dimension 300 auf der Grundlage des eingegebenen Texts/der eingegebenen Wortfolge „Ich kann nicht atmen, ist das ein Symptom für chronischen Schnupfen?“. In der folgenden Tabelle 1 werden viele Zwischenwerte durch Ellipsenpunkte weggelassen, um die Länge des Beispiels zu verringern. Es ist jedoch zu beachten, dass der codierte Musterabsichtsvektor der Dimension 300, aus dem das Beispiel in Tabelle 1 gebildet wurde, dreihundert (300) Elemente enthält, da wie oben beschrieben und zu Beispielzwecken in dem Algorithmus des faltenden neuronalen Netzwerks, der zur Codierung des Musterabsichtsvektors verwendet wurde, für den Typ (n) drei (n=3) und die Anzahl der Faltungs-Kernels (m) einhundert (m=100) festgelegt wurde. Tabelle 1: Teil eines Musterabsichtsvektors der Dimension 300

0,06217742	-0,09291203	-0,02840577	0,00374683	-0,10506968	-0,13434719
-0,15676261	0,04667582	0,19579822	0,04030076	-0,21957162	0,04010129
0,07424975	0,01369099	0,07016561	0,14306846	-0,08841907	-0,28088206
-0,23514667	-0,01831863	-0,00475325	-0,0811624	-0,37781501	-0,17635982
-0,00429389	0,05205948	-0,03414214	-0,11769973	-0,02660859	0,16670637
0,07024501	0,25753206	0,01059075	-0,12026082	-0,22058713	0,06767957
...	...	...	...	...	...
0,10361771	0,09943719	0,32700372	-0,0283169	0,12805387	0,01565604

Auf der Grundlage des Beispiels der obigen Tabelle 1 ist weiter zu beachten, dass mehrere Kandidaten-Absichtsvektoren, die gemäß der hier beschriebenen Technologie erzeugt wurden, jeweils auch als ein Kandidaten-Absichtsvektor der Dimension 300 dargestellt werden würden, wobei einzelne Elemente des jeweiligen Kandidaten-Absichtsvektors relativ zum jeweiligen Einzelelement des Musterabsichtsvektors zufällig verändert werden können. Das Beispiel der obigen Tabelle 1 stellt genügend Einzelheiten bezüglich der Bildung eines Musterabsichtsvektors und der hier beschriebenen Absichtsvektoren bereit, und zusätzliche Beispiele für numerische Codierungsmuster von Absichtsvektoren werden hier der Kürze halber weggelassen. Wie oben beschrieben, werden mehrdimensionale Vektorabstandsberechnungen angewendet, um einen relativen Vektorraumabstand zwischen dem Musterabsichtsvektor und jedem erzeugten Kandidaten-Absichtsvektor zu ermitteln und das hier beschriebene Validieren durchzuführen.
Weitere Einzelheiten zur algorithmischen Verarbeitung und zur Datenverarbeitungsleistung werden weiter unten bereitgestellt. Der folgende Teil der vorliegenden Beschreibung stellt Beispiele für fortschrittliche Datenverarbeitungsplattformen bereit, in denen die vorliegende Technologie implementiert werden kann, gefolgt von weiteren Einzelheiten des hier beschriebenen Erzeugens von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen.
Es sei darauf hingewiesen, dass die vorliegende Technologie in oder als Teil einer Cloud-Computing-Umgebung (z.B. für Datenanalysen) oder als angepasste umgebungsspezifische Lösung implementiert werden kann. Daher sind hier Beispiele von Implementierungen für beide Umgebungen enthalten.
Die vorliegende Offenbarung enthält zwar eine ausführliche Beschreibung von Cloud-Computing, es versteht sich jedoch, dass die Umsetzung der hierin dargelegten Lehren nicht auf eine Cloud-Computing-Umgebung beschränkt ist. Stattdessen können Ausführungsformen der vorliegenden Erfindung gemeinsam mit beliebigen Arten von jetzt bekannter oder später erfundener Datenverarbeitungsumgebung umgesetzt werden.
Cloud-Computing ist ein Modell zum Liefern eines Dienstes, der einen problemlosen, bedarfsorientierten Netzwerkzugriff auf einen gemeinsamen Pool von konfigurierbaren Datenverarbeitungsressourcen (z.B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Anwendungen, virtuelle Maschinen und Dienste) ermöglicht, die mit minimalem Verwaltungsaufwand bzw. minimaler Interaktion mit einem Anbieter des Dienstes schnell bereitgestellt und freigegeben werden können. Dieses Cloud-Modell kann mindestens fünf Eigenschaften, mindestens drei Dienstmodelle und mindestens vier Implementierungsmodelle enthalten.
Bei den Eigenschaften handelt es sich um die Folgenden:
On-Demand Self-Service (bedarfsorientierte Selbstbedienung): Ein Cloud-Nutzer kann einseitig automatisch nach Bedarf Datenverarbeitungsfunktionen wie Serverzeit und Netzwerkspeicher bereitstellen, ohne dass eine menschliche Interaktion mit dem Anbieter der Dienste erforderlich ist.
Broad Network Access (breiter Netzzugriff): Über ein Netzwerk sind Funktionen verfügbar, auf die durch Standardmechanismen zugegriffen wird, die die Verwendung durch heterogene schlanke oder leistungsintensive Client-Plattformen unterstützen (z.B. Mobiltelefone, Laptops und PDAs).
Ressource Pooling (Ressourcen-Bündelung): Die Datenverarbeitungsressourcen des Anbieters werden gebündelt, um mehreren Nutzern unter Verwendung eines Mehrmietermodells zu dienen, wobei verschiedene physische und virtuelle Ressourcen dynamisch nach Bedarf zugewiesen und neu zugewiesen werden. Es gibt eine gefühlte Standortunabhängigkeit, da der Nutzer allgemein keine Kontrolle bzw. Kenntnis über den genauen Standort der bereitgestellten Ressourcen hat, aber in der Lage sein kann, einen Standort auf einer höheren Abstraktionsebene festzulegen (z.B. Land, Staat oder Rechenzentrum).
Rapid Elasticity (schnelle Anpassungsfähigkeit): Funktionen können für eine schnelle horizontale Skalierung (scale out) schnell und elastisch bereitgestellt werden, in einigen Fällen auch automatisch, und für ein schnelles Scale-in schnell freigegeben werden. Für den Nutzer erscheinen die für das Bereitstellen verfügbaren Funktionen häufig unbegrenzt und sie können jederzeit in jeder beliebigen Menge gekauft werden.
Measured Service (messbarer Dienst): Cloud-Systeme steuern und optimieren die Verwendung von Ressourcen automatisch, indem sie eine Messfunktion auf einer gewissen Abstraktionsebene nutzen, die für die Art von Dienst geeignet ist (z.B. Speicher, Verarbeitung, Bandbreite sowie aktive Benutzerkonten). Die Inanspruchnahme von Ressourcen kann überwacht, gesteuert und gemeldet werden, wodurch sowohl für den Anbieter als auch für den Nutzer des verwendeten Dienstes Transparenz bereitgestellt wird.
Es gibt folgende Dienstmodelle:

Software as a Service (Saas) (Software als Dienst): Die dem Nutzer bereitgestellte Funktion besteht darin, die in einer Cloud-Infrastruktur laufenden Anwendungen des Anbieters zu verwenden. Die Anwendungen sind über eine schlanke Client-Schnittstelle wie einen Web-Browser (z.B. auf dem Web beruhende eMail) von verschiedenen Client-Einheiten aus zugänglich. Der Nutzer verwaltet bzw. steuert die zugrunde liegende Cloud-Infrastruktur nicht, darunter das Netzwerk, Server, Betriebssysteme, Speicher bzw. sogar einzelne Anwendungsfunktionen, mit der möglichen Ausnahme von eingeschränkten benutzerspezifischen Einstellungen der Anwendungskonfiguration.

Platform as a Service (Paas) (Plattform als Dienst): Die dem Nutzer bereitgestellte Funktion besteht darin, durch einen Nutzer erstellte bzw. erhaltene Anwendungen, die unter Verwendung von durch den Anbieter unterstützten Programmiersprachen und Werkzeugen erstellt wurden, in der Cloud-Infrastruktur einzusetzen. Der Nutzer verwaltet bzw. steuert die zugrunde liegende Cloud-Infrastruktur nicht, darunter Netzwerke, Server, Betriebssysteme bzw. Speicher, hat aber die Kontrolle über die eingesetzten Anwendungen und möglicherweise über Konfigurationen der Hosting-Umgebung der Anwendung.
Infrastructure as a Service (laas) (Infrastruktur als Dienst): Die dem Nutzer bereitgestellte Funktion besteht darin, Verarbeiten, Speicher, Netzwerke und andere grundlegende Datenverarbeitungsressourcen bereitzustellen, wobei der Nutzer in der Lage ist, beliebige Software einzusetzen und auszuführen, zu der Betriebssysteme und Anwendungen gehören können. Der Nutzer verwaltet bzw. steuert die zugrunde liegende Cloud-Infrastruktur nicht, hat aber die Kontrolle über Betriebssysteme, Speicher, eingesetzte Anwendungen und möglicherweise eine eingeschränkte Kontrolle über ausgewählte Netzwerkkomponenten (z.B. Host-Firewalls).
Es gibt folgende Implementierungsmodelle:

Private Cloud: Die Cloud-Infrastruktur wird einzig und allein für eine Organisation betrieben. Sie kann durch die Organisationen oder einen Dritten verwaltet werden und kann sich in den eigenen Räumen oder fremden Räumen befinden.
Community Cloud (Benutzergemeinschafts-Cloud): Die Cloud-Infrastruktur wird von mehreren Organisationen gemeinsam genutzt und unterstützt eine spezielle Benutzergemeinschaft, die gemeinsame Anliegen hat (z.B. Aufgabe, Sicherheitsanforderungen, Richtlinien sowie Überlegungen bezüglich der Einhaltung von Vorschriften). Sie kann durch die Organisationen oder einen Dritten verwaltet werden und kann sich in den eigenen Räumen oder fremden Räumen befinden.

Public Cloud (öffentliche Cloud): Die Cloud-Infrastruktur wird der allgemeinen Öffentlichkeit oder einer großen Branchengruppe zur Verfügung gestellt und gehört einer Organisation, die Cloud-Dienste verkauft.
Hybrid Cloud (hybride Cloud): Die Cloud-Infrastruktur besteht aus zwei oder mehr Clouds (privat, Benutzergemeinschaft oder öffentlich), die zwar einzelne Entitäten bleiben, aber durch eine standardisierte oder herstellereigene Technologie miteinander verbunden sind, die eine Übertragbarkeit von Daten und Anwendungen ermöglicht (z.B. Cloud-Zielgruppenverteilung für den Lastenausgleich zwischen Clouds).
Eine Cloud-Computing-Umgebung ist dienstorientiert und schwerpunktmäßig auf Statusunabhängigkeit, geringe Kopplung, Modularität und semantische Interoperabilität ausgerichtet. Der Kern der Cloud-Computing ist eine Infrastruktur, die ein Netzwerk aus miteinander verbundenen Knoten enthält.
Mit Bezug nunmehr auf 1 ist eine veranschaulichende Cloud-Computing-Umgebung 50 dargestellt. Wie gezeigt, enthält die Cloud-Computing-Umgebung 50 einen oder mehrere Cloud-Computing-Knoten 10, mit denen von Cloud-Nutzern verwendete lokale Datenverarbeitungseinheiten wie der persönliche digitale Assistent (PDA) oder das Mobiltelefon 54A, der Desktop-Computer 54B, der Laptop-Computer 54C und/oder das Kraftfahrzeug-Computersystem 54N Daten austauschen können. Die Knoten 10 können miteinander Daten austauschen. Sie können physisch oder virtuell in einem oder mehreren Netzwerken wie private, benutzergemeinschaftliche, öffentliche oder hybride Clouds wie oben beschrieben oder in einer Kombination davon in Gruppen angeordnet sein (nicht dargestellt). Dies ermöglicht es der Cloud-Computing-Umgebung 50, Infrastruktur, Plattformen und/oder Software als Dienste anzubieten, für die ein Cloud-Nutzer keine Ressourcen auf einer lokalen Datenverarbeitungseinheit vorhalten muss. Es ist ersichtlich, dass die Arten von Datenverarbeitungseinheiten 54A bis N, die in 1 dargestellt sind, nur veranschaulichend sein sollen und die Datenverarbeitungsknoten 10 und die Cloud-Computing-Umgebung 50 mit jeder Art von computergestützter Einheit über jede Art von Netzwerk und/oder netzwerkadressierbarer Verbindung Daten austauschen kann (z.B. über einen Web-Browser).
Mit Bezug auf 2 nunmehr ist ein Satz funktionaler Abstraktionsschichten dargestellt, die von der Cloud-Datenverarbeitungsumgebung 50 (1) bereitgestellt werden. Es versteht sich von vornherein, dass die in 2 dargestellten Komponenten, Schichten und Funktionen nur veranschaulichend sein sollen und Ausführungsformen der Erfindung nicht darauf beschränkt sind. Wie dargestellt, werden die folgenden Schichten und entsprechenden Funktionen bereitgestellt:
Die Hardware- und Software-Schicht 60 enthält Hardware- und Software-Komponenten. Zu Beispielen für Hardware-Komponenten gehören: die Großrechner 61; die Server 62 auf der Grundlage der RISC-Architektur (RISC = Reduced Instruction Set Computer, Computer mit reduziertem Befehlssatz); die Server 63; die Blade-Server 64; die Speichereinheiten 65; sowie die Netzwerke und Netzwerkkomponenten 66. In einigen Ausführungsformen enthalten die Software-Komponenten die Netzwerkanwendungs-Serversoftware 67 und die Datenbank-Software 68.
Die Virtualisierungsschicht 70 stellt eine Abstraktionsschicht bereit, aus der die folgenden Beispiele für virtuelle Entitäten bereitgestellt werden können: virtuelle Server 71; virtuelle Speicher 72; virtuelle Netzwerke 73; darunter virtuelle private Netzwerke; virtuelle Anwendungen und Betriebssysteme 74; und virtuelle Clients 75.
In einem Beispiel kann die Verwaltungsschicht 80 die nachfolgend beschriebenen Funktionen bereitstellen. Die Ressourcenbereitstellung 81 ermöglicht eine dynamische Bereitstellung von Datenverarbeitungsressourcen und anderen Ressourcen, die verwendet werden, um Aufgaben in der Cloud-Computing-Umgebung durchzuführen. Messen und Preisfindung 82 stellen Kostenverfolgung beim Verwenden von Ressourcen in der Cloud-Computing-Umgebung sowie Abrechnung oder Rechnungsstellung für die Inanspruchnahme dieser Ressourcen bereit. In einem Beispiel können diese Ressourcen Lizenzen für Anwendungssoftware umfassen. Die Sicherheitsfunktion stellt eine Identitätsprüfung für Cloud-Nutzer und Aufgaben sowie Schutz für Daten und andere Ressourcen bereit. Ein Benutzerportal 83 stellt Nutzern und Systemadministratoren den Zugang zur Cloud-Computing-Umgebung bereit. Die Verwaltung der Dienstgüte 84 stellt Zuordnung und Verwaltung von Cloud-Computing-Ressourcen bereit, sodass die erforderliche Dienstgüte erreicht wird. Die Planung und Erfüllung der Dienstgütevereinbarung (Service Level Agreement, SLA) 85 stellt eine Vorabeinteilung und eine Beschaffung von Cloud-Computing-Ressourcen bereit, deren künftiger Bedarf auf der Grundlage einer Dienstgütevereinbarung vorausgesehen wird.
Die Arbeitslastschicht 90 stellt Beispiele für Funktionalitäten bereit, für die die Cloud-Computing-Umgebung verwendet werden kann. Zu Beispielen für Arbeitslasten und Funktionen, die von dieser Schicht bereitgestellt werden können, gehören: Abbildung und Navigation 91; Software-Entwicklung und Lebenszyklusverwaltung 92; Bereitstellung von Ausbildung in virtuellen Klassenzimmern 93; Datenanalyseverarbeitung 94; Transaktionsverarbeitung 95; sowie das Erzeugen von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen.
In den obigen Beispielen veranschaulicht die Cloud-Computing-Umgebung mehrere Arten von Datenverarbeitungseinheiten 54A bis N, auf denen virtuelle Agenten implementiert und verwaltet werden können. Bezüglich alternativer Implementierungsmöglichkeiten verweisen die nachfolgenden 3 und 4 auf solche Alternativen. Es wird darauf hingewiesen, dass die verschiedenen Alternativen mit den oben beschriebenen Implementierungsmöglichkeiten kombiniert oder durch diese ersetzt werden können, wie jeweils für die bestimmte Implementierung geeignet.
3 ist ein Blockschaubild eines Beispiels für eine Implementierung eines Systems 100 zum Erzeugen eines Absichtserkennungsmodells auf der Grundlage von randomisierten Absichtsvektornäherungen. Eine Datenverarbeitungseinheit_1 102 bis zu einer Datenverarbeitungseinheit_N 104 tauschen über ein Netzwerk 106 Daten mit mehreren anderen Einheiten aus. Die Datenverarbeitungseinheit_1 102 bis Datenverarbeitungseinheit_N 104 stellen Benutzereinheiten dar, die ein oder mehrere Absichtserkennungsmodelle für das Verarbeiten von Benutzeroberfläche und Einheitensteuerung verwenden. Es sei jedoch darauf hingewiesen, dass die Datenverarbeitungseinheit_1 102 bis Datenverarbeitungseinheit_N 104 zusätzlich/alternativ das hier beschriebene automatische Erzeugen von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen implementieren können. Als zusätzliche Alternative kann ein Server 108 für das Absichtserkennungsmodell (intent recognition model, IRM) die Datenverarbeitungseinheit_1 102 bis Datenverarbeitungseinheit_N 104 unterstützen, indem dieser ein oder mehrere Absichtserkennungsmodelle gemäß des hier beschriebenen automatischen Erzeugens von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen erzeugt und validiert. Wie jeweils für die bestimmte Implementierung geeignet, kann der IRM-Server 108 oder eine oder mehrere der Datenverarbeitungseinheiten_1 102 bis Datenverarbeitungseinheit_N 104 ein oder mehrere validierte Absichtserkennungsmodelle entweder lokal oder in einer Absichtserkennungsmodell-Datenbank (IRM-Datenbank) 110 für den Zugriff und die Verwendung im System 100 speichern.
Im Hinblick auf die oben beschriebenen Implementierungsalternativen kann die vorliegende Technologie innerhalb einer Cloud-Computing-Plattform, auf einer Datenverarbeitungseinheit eines Benutzers, auf der Ebene einer Servereinheit oder durch eine Kombination solcher Plattformen und Einheiten implementiert werden, wie jeweils für eine bestimmte Implementierung geeignet. Es gibt eine Vielzahl von Möglichkeiten zur Implementierung des vorliegenden Gegenstands, und alle diese Möglichkeiten werden als im Anwendungsbereich des vorliegenden Gegenstands liegend angesehen.
Das Netzwerk 106 umfasst jede Form einer Verbindung, die für den beabsichtigten Zweck geeignet ist, einschließlich eines privaten oder öffentlichen Netzwerks wie z.B. ein Intranet bzw. das Internet, eine direkte Verbindung zwischen Modulen, eine Wählverbindung, eine drahtlose Verbindung oder jeden anderen Verbindungsmechanismus, der die jeweiligen Einheiten miteinander verbinden kann.
Der IRM-Server 108 umfasst jede Einheit, die in der Lage ist, Daten für die Nutzung durch eine Einheit, z.B. die Datenverarbeitungseinheit_1 102 bis Datenverarbeitungseinheit_N 104, über ein Netzwerk, z.B. das Netzwerk 106, bereitzustellen. Der IRM-Server 108 kann daher einen Webserver, einen Anwendungsserver oder eine andere Datenservereinheit umfassen.
Die IRM-Datenbank 110 umfasst eine relationale Datenbank, eine Objektdatenbank oder einen beliebigen anderen Speichertyp einer Einheit. Die IRM-Datenbank 110 kann daher so implementiert werden, wie jeweils für eine bestimmte Implementierung geeignet.
4 ist ein Blockschaubild eines Beispiels für eine Implementierung eines Hauptverarbeitungsmoduls 200, das in der Lage ist, das Erzeugen eines Absichtserkennungsmodells auf der Grundlage von randomisierten Absichtsvektornäherungen durchzuführen. Das Hauptverarbeitungsmodul 200 kann entweder der Datenverarbeitungseinheit_1 102 bis Datenverarbeitungseinheit_N 104 oder dem IRM-Server 108 oder Einheiten in der Cloud-Computing-Umgebung 50 zugehörig sein, wie jeweils für eine bestimmte Implementierung geeignet. Das Hauptverarbeitungsmodul 200 wird daher hier allgemein beschrieben, obwohl darauf hingewiesen sei, dass viele Variationen bei der Implementierung der Komponenten im Hauptverarbeitungsmodul 200 möglich sind und alle diese Variationen in den Anwendungsbereich des vorliegenden Gegenstands fallen. Darüber hinaus kann das Hauptverarbeitungsmodul 200 als integrierte Verarbeitungseinheit mit Schaltungen implementiert werden, die speziell dafür ausgelegt sind, die hier beschriebene Verarbeitung durchzuführen, wie jeweils für eine bestimmte Implementierung geeignet.
Das Hauptverarbeitungsmodul 200 kann eine unterschiedliche und ergänzende Verarbeitung zum Erzeugen von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen in Verbindung mit jeder Implementierung bereitstellen. Im Fall eines der nachstehenden Beispiele versteht sich daher, dass ein beliebiger Funktionalitätsaspekt, der im Zusammenhang mit einer beliebigen Einheit beschrieben wird, die in Verbindung mit einer anderen Einheit beschrieben wird (z.B. senden usw.), so zu verstehen ist, dass die Funktionalität der anderen entsprechenden Einheit gleichzeitig beschrieben wird (z.B. empfangen usw.).
Eine Zentraleinheit (CPU) 202 („Prozessor“ oder „anwendungsspezifischer“ Prozessor) stellt Hardware bereit, die Computerbefehle, Berechnungen und andere Funktionen innerhalb des Hauptverarbeitungsmoduls 200 ausführt. Eine Anzeige 204 stellt einem Benutzer des Hauptverarbeitungsmoduls 200 visuelle Informationen bereit, und eine Eingabeeinheit 206 stellt dem Benutzer Eingabemöglichkeiten bereit.
Zu der Anzeige 204 kann eine beliebige Anzeigeeinheit wie eine Kathodenstrahlröhre (CRT), eine Flüssigkristallanzeige (LCD), eine Leuchtdiode (LED), elektronische Tintenanzeigen, eine Projektion, ein Touchscreen oder ein anderes Anzeigeelement oder Anzeigefeld gehören. Zu der Eingabeeinheit 206 gehören eine Computertastatur, ein Tastenfeld, eine Maus, ein Stift, ein Joystick, ein Touchscreen, eine Einheit zum Verarbeiten von Sprachbefehlen oder jede beliebige andere Art von Eingabeeinheit, durch die der Benutzer mit Informationen auf der Anzeige 204 interagieren und darauf reagieren kann.
Es sei darauf hingewiesen, dass die Anzeige 204 und die Eingabeeinheit 206 bei bestimmten Implementierungen/Einheiten optionale Komponenten für das Hauptverarbeitungsmodul 200 sein oder entfernt von den jeweiligen Einheiten angeordnet sein und von einer anderen Datenverarbeitungseinheit gehostet werden können, die mit den jeweiligen Einheiten Daten austauscht. Das Hauptverarbeitungsmodul 200 kann daher als eine vollständig integrierte Einheit ohne direkte Konfigurierbarkeit oder Rückmeldung durch den Benutzer arbeiten. Das Hauptverarbeitungsmodul 200 kann jedoch auch eine Benutzerrückmeldung und Konfigurierbarkeit über die Anzeige 204 bzw. die Eingabeeinheit 206 bereitstellen, wie jeweils für eine bestimmte Implementierung geeignet.
Ein Datenübertragungsmodul 208 stellt Hardware, Protokollstapelverarbeitung und Verbindungsfunktionen bereit, die es dem Hauptverarbeitungsmodul 200 ermöglichen, mit anderen Modulen im System 100 oder in der Cloud-Computing-Umgebung 50 Daten auszutauschen, wie jeweils für eine bestimmte Implementierung geeignet. Das Datenübertragungsmodul 208 umfasst beliebige elektrische, Protokoll- und Protokollumwandlungsfunktionen, die verwendet werden können, um Verbindungsmöglichkeiten bereitzustellen, wie jeweils für eine bestimmte Implementierung geeignet. Das Datenübertragungsmodul 208 stellt somit eine Datenübertragungseinheit dar, die die Datenübertragung mit anderen Einheiten durchführen kann. Das Datenübertragungsmodul 208 kann außerdem eine oder mehrere drahtlose Datenübertragungsfunktionen enthalten, wie jeweils für die bestimmte Implementierung geeignet.
Ein Speicher 210 enthält einen Absichtsvektorverarbeitungs- und -speicherbereich 212, der Absichtsvektor-Verarbeitungsinformationen im Hauptverarbeitungsmodul 200 speichert. Wie weiter unten genauer beschrieben, werden die im Absichtsvektorverarbeitungs- und -speicherbereich 212 gespeicherten Absichtsvektor-Verarbeitungsinformationen verwendet, um schnell (in Echtzeit) Absichtserkennungsmodelle hoher Qualität auf der Grundlage begrenzter Eingabevariationen von Sätzen/Wortfolgen zu erzeugen. Der Absichtsvektorverarbeitungs- und -speicherbereich 212 speichert daher Musterabsichtsvektoren, gaußsche Rauschvektoren, einen oder mehrere Sätze von postgaußschen/Kandidaten-Absichtsvektoren und validierte Absichtsvektoren, die als innerhalb eines konfigurierten mehrdimensionalen Vektorabstands eines gegebenen Musterabsichtsvektors liegend validiert wurden. Eine Verarbeitung zum Erzeugen eines oder mehrerer validierter Absichtserkennungsmodelle kann im Speicher 210 durchgeführt werden. Ein Speicherbereich 214 für validierte Absichtserkennungsmodelle stellt Speicherplatz für ein oder mehrere validierte Absichtserkennungsmodelle bereit, die auf der Grundlage von validierten Absichtsvektoren erzeugt wurden. Validierte Absichtserkennungsmodelle können aus dem Speicherbereich 214 der validierten Absichtserkennungsmodelle heraus bereitgestellt/verteilt oder verwendet werden. In Verbindung mit dem Erzeugen und Validieren von validierten Absichtserkennungsmodellen im Speicherbereich 214 für validierte Absichtserkennungsmodelle können viele andere Formen von Zwischeninformationen gespeichert werden, wie jeweils für eine bestimmte Implementierung geeignet.
Es versteht sich, dass der Speicher 210 eine beliebige Kombination von flüchtigen und nichtflüchtigen Speichern umfasst, die für den beabsichtigten Zweck geeignet sind, und verteilt oder lokalisiert sein kann, je nach Zweckmäßigkeit, und der andere Speichersegmente umfassen kann, die zur besseren Veranschaulichung im vorliegenden Beispiel nicht dargestellt sind. Der Speicher 210 kann zum Beispiel einen Speicherbereich für Code, einen Speicherbereich für ein Betriebssystem, einen Code-Ausführungsbereich und einen Datenbereich enthalten, ohne vom Anwendungsbereich des vorliegenden Gegenstands abzuweichen.
Ein Modul 216 zum Erzeugen von Absichtsvektoren und zum Näherungsvalidieren ist ebenfalls dargestellt. Das Modul 216 zum Erzeugen von Absichtsvektoren und zum Näherungsvalidieren umfasst ein Absichtsvektor-Generatormodul 218, das ein randomisiertes Erzeugen von postgaußschen/Kandidaten-Absichtsvektoren bereitstellt. Das Modul 216 zum Erzeugen von Absichtsvektoren und zum Näherungsvalidieren umfasst auch ein Absichtsvektor-Validatormodul 220, das dem Hauptverarbeitungsmodul 200 wie oben und im Folgenden näher beschrieben das Validieren von Näherungen erzeugter Kandidaten-Absichtsvektoren an Musterabsichtsvektoren bereitstellt. Das Modul 216 zum Erzeugen von Absichtsvektoren und zum Näherungsvalidieren implementiert das automatische Erzeugen von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen des Hauptverarbeitungsmoduls 200, indem es Codieren von Musterabsichtsvektoren, Erzeugen von Kandidaten-Absichtsvektoren, Validieren von Kandidaten-Absichtsvektoren, Erzeugen validierter Absichtserkennungsmodelle und andere damit zusammenhängende Verarbeitungen durchführt, wie jeweils für eine bestimmte Implementierung geeignet.
Es sei ferner darauf hingewiesen, dass das Modul 216 zum Erzeugen von Absichtsvektoren und zum Näherungsvalidieren einen Teil von anderen beschriebenen Schaltkreisen bilden kann, ohne vom Anwendungsbereich des vorliegenden Gegenstands abzuweichen. Bei dem Modul 216 zum Erzeugen von Absichtsvektoren und zum Näherungsvalidieren kann es sich um einen Teil einer Unterbrechungsroutine (interrupt service routine, ISR), einen Teil eines Betriebssystems, einen Teil einer Anwendung handeln, ohne vom Anwendungsbereich des vorliegenden Gegenstands abzuweichen. Das Modul 216 zum Erzeugen von Absichtsvektoren und zum Näherungsvalidieren kann auch eine integrierte Einheit mit Schaltkreisen enthalten, die speziell für das Durchführen der hier beschriebenen Verarbeitung entwickelt wurden, wie jeweils für eine bestimmte Implementierung geeignet.
Die IRM-Datenbank 110 ist ebenfalls in 4 in Verbindung mit dem Hauptverarbeitungsmodul 200 dargestellt. Die IRM-Datenbank 110 kann daher funktionsmäßig mit dem Hauptverarbeitungsmodul 200 verbunden werden, ohne dass eine Netzwerkverbindung verwendet wird, wie jeweils für eine gegebene Implementierung geeignet, und kann in Verbindung mit dem Hauptverarbeitungsmodul 200 zum Erzeugen oder Verwenden von einem oder mehreren validierten Absichtserkennungsmodellen verwendet werden.
Die Zentraleinheit 202, die Anzeige 204, die Eingabeeinheit 206, das Datenübertragungsmodul 208, der Speicher 210, das Modul 216 zum Erzeugen von Absichtsvektoren und zum Näherungsvalidieren und die IRM-Datenbank 110 sind über eine Verbindung 222 miteinander verbunden. Die Verbindung 222 umfasst einen Systembus, ein Netzwerk oder eine andere beliebige Verbindung, die in der Lage ist, den entsprechenden Komponenten geeignete Verbindungen für den jeweiligen Zweck bereitzustellen.
Die in 4 gezeigten verschiedenen Module sind zum Zwecke der Veranschaulichung und Beschreibung zwar als Module auf Komponentenebene dargestellt, dabei ist jedoch zu beachten, dass diese Module 208 beliebige Hardware, programmierte Prozessor(en) und Speicher umfassen können, die verwendet werden, um die Funktionen der jeweiligen Module wie vorstehend beschrieben und nachstehend im Einzelnen dargelegt auszuführen. Die Module können zum Beispiel zusätzliche Schaltkreise für Steuereinheiten in Form von anwendungsspezifischen integrierten Schaltungen (ASICs), Prozessoren, Antennen und/oder einzelnen integrierten Schaltkreisen und Komponenten zum Durchführen von Datenübertragungs- und elektrischen Steueraktivitäten im Zusammenhang mit den jeweiligen Modulen umfassen. Die Module können darüber hinaus je nach Zweckmäßigkeit Module auf Unterbrechungsebene, Stapelebene und Anwendungsebene umfassen. Die Module können ferner beliebige Speicherkomponenten umfassen, die für die Speicherung, Ausführung und Datenverarbeitung verwendet werden, um Verarbeitungsmaßnahmen im Zusammenhang mit den jeweiligen Modulen durchzuführen. Die Module können auch einen Teil anderer beschriebener Schaltkreise bilden, ohne vom Anwendungsbereich des vorliegenden Gegenstands abzuweichen.
Das Hauptverarbeitungsmodul 200 ist zwar darüber hinaus mit bestimmten Komponenten dargestellt und weist bestimmte Komponenten auf, die beschrieben werden, dem Hauptverarbeitungsmodul 200 können jedoch andere Module und Komponenten zugehörig sein, ohne vom Anwendungsbereich des vorliegenden Gegenstands abzuweichen. Zu beachten ist ferner, dass das Hauptverarbeitungsmodul 200 zur besseren Veranschaulichung zwar als eine einzelne Einheit beschrieben wird, die Komponenten in dem Hauptverarbeitungsmodul 200 jedoch gemeinsam untergebracht oder verteilt und über ein Netzwerk verbunden sein können, ohne vom Anwendungsbereich des vorliegenden Gegenstands abzuweichen. Es sind viele andere Anordnungen für Komponenten des Hauptverarbeitungsmoduls 200 möglich, und alle diese Anordnungen werden als im Anwendungsbereich des vorliegenden Gegenstands liegend angesehen. Es ist ebenfalls zu beachten, dass die IRM-Datenbank 110 zu Beispielzwecken zwar als separate Komponente dargestellt ist, die in der IRM-Datenbank 110 gespeicherten Informationen können jedoch auch/alternativ im Speicher 210 gespeichert werden, ohne vom Anwendungsbereich des vorliegenden Gegenstands abzuweichen. Das Hauptverarbeitungsmodul 200 kann daher viele Formen aufweisen und zahlreichen Plattformen zugehörig sein.
5 und 6, die nachstehend beschrieben werden, stellen beispielhafte Prozesse dar, die von Einheiten wie dem Hauptverarbeitungsmodul 200 ausgeführt werden können, um das automatische Erzeugen von Absichtserkennungsmodellen auf der Grundlage von Absichtsvektornäherungen in Verbindung mit dem vorliegenden Gegenstand durchzuführen. Es sind viele andere Abwandlungen der beispielhaften Prozesse möglich, und alle diese Abwandlungen werden als im Anwendungsbereich des vorliegenden Gegenstands liegend angesehen. Die beispielhaften Prozesse können von Modulen wie dem Modul 216 zum Erzeugen von Absichtsvektoren und zum Näherungsvalidieren durchgeführt werden und/oder von der CPU 202 ausgeführt werden, die solchen Einheiten zugehörig ist. Zu beachten ist, dass Zeitlimitverfahren und andere Fehlerüberwachungsverfahren zur besseren Veranschaulichung in den nachstehend beschriebenen beispielhaften Prozessen nicht dargestellt sind. Es versteht sich jedoch, dass alle diese Verfahren als in dem Anwendungsbereich des vorliegenden Gegenstands liegend angesehen werden. Die beschriebenen Prozesse können des Weiteren kombiniert werden, Sequenzen der beschriebenen Verarbeitung können geändert werden, und eine weitere Verarbeitung kann hinzufügt werden, ohne vom Anwendungsbereich des vorliegenden Gegenstands abzuweichen.
5 ist ein Ablaufplan eines Beispiels für eine Implementierung eines Prozesses 500 zum automatischen Erzeugen eines Absichtserkennungsmodells auf der Grundlage von randomisierten Absichtsvektornäherungen. Der Prozess 500 stellt ein durch einen Computer implementiertes Verfahren zum Durchführen des hier beschriebenen computergestützten Erzeugens von validierten Absichtserkennungsmodellen dar. In Block 502 erzeugt der Prozess 500 auf der Grundlage eines Eingabeabsichtsvektors eine Mehrzahl von Kandidaten-Absichtsvektoren. In Block 504 führt der Prozess 500 ein Validieren der Mehrzahl von Kandidaten-Absichtsvektoren durch, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus dem Satz von Kandidaten-Absichtsvektoren als gültig ausgewählt werden.
6 ist ein Ablaufplan eines Beispiels für eine Implementierung eines Prozesses 600 zum automatischen Erzeugen eines Absichtserkennungsmodells auf der Grundlage von randomisierten Absichtsvektornäherungen, der zusätzliche Einzelheiten und bestimmte zusätzliche/alternative Operationen veranschaulicht. Der Prozess 600 stellt ein durch einen Computer implementiertes Verfahren zum Durchführen des hier beschriebenen computergestützten Erzeugens von validierten Absichtserkennungsmodellen dar. An dem Entscheidungspunkt 602 entscheidet der Prozess 600, ob ein Absichtserkennungsmodell (IRM) erzeugt werden soll. Als Reaktion auf die Entscheidung, ein Absichtserkennungsmodell zu erzeugen, empfängt der Prozess 600 in Block 604 einen Mustertext. Bei dem Mustertext handelt es sich um eine Wortfolge oder einen Satz, der/die codiert werden soll und für den/die ein Absichtserkennungsmodell erzeugt werden soll. In Block 606 codiert der Prozess 600 den Mustertext in einen Musterabsichtsvektor. Wie oben beschrieben, wird der Musterabsichtsvektor auf der Grundlage des empfangenen Mustertextes zu einer mehrdimensionalen Matrix zusammengesetzt, wobei jedes Wort einem dimensionalen Vektor entspricht (z.B. Dimension = 300). Der Musterabsichtsvektor als mehrdimensionale Matrix von Dimensionsvektoren wird als Eingabe zum Erzeugen von Absichtsvektoren und Verarbeiten des Validierens verwendet. Der Musterabsichtsvektor enthält eine Folge von Datenelementen, die den Mustertext darstellen. Der Musterabsichtsvektor stellt demnach die Folge digitalisierter Wörter/Äußerungen als eine Folge codierter und unterscheidbarer Elemente dar.
In Block 608 erzeugt der Prozess 600 einen gaußschen Rauschvektor auf der Grundlage des Musterabsichtsvektors. Wie oben beschrieben, enthält der gaußsche Rauschvektor eine Folge von Datenelementen, die jeweils eine gaußsche Rauschverteilung relativ zu den jeweiligen Elementen darstellen, die den Musterabsichtsvektor bilden, außerdem ist er eine Matrix aus Rauschelementen. Es besteht somit eine Zuordnung zwischen Elementen des Musterabsichtsvektors und Elementen der gaußschen Rauschverteilung des gaußschen Rauschvektors.
In Block 610 konfiguriert der Prozess 600 Parameter des langen Kurzzeitgedächtnisses (LSTM), die von einem LSTM-Modell für das Erzeugen von Kandidaten-Absichtsvektoren verwendet werden sollen. Wie oben beschrieben, erzeugt das LSTM-Modell Kandidaten-Absichtsvektoren durch paralleles Verarbeiten des jeweiligen Musterabsichtsvektors und des gaußschen Rauschvektors. Die Ausgabe der LSTM-Verarbeitung führt zu einem Satz von Kandidaten-Absichtsvektoren.
Der Prozess 600 beginnt mit der iterativen Verarbeitung, um einen Satz von Kandidaten-Absichtsvektoren zu erzeugen. In Block 612 erzeugt der Prozess 600 einen Kandidaten-Absichtsvektor erneut durch paralleles Verarbeiten des Musterabsichtsvektors mit dem gaußschen Rauschvektor. Jedes Element des Musterabsichtsvektors als Matrix wird nach dem Zufallsprinzip entsprechend dem jeweiligen Element des gaußschen Rauschvektors verarbeitet, um einen eindeutigen Kandidaten-Absichtsvektor zu erzeugen.
Der Prozess 600 beginnt anschließend mit dem Verarbeiten der Validierung des Kandidaten-Absichtsvektors. In Block 614 verarbeitet der Prozess 600 den Kandidaten-Absichtsvektor mit einem Absichtserkennungsalgorithmus. In Block 616 ermittelt der Prozess 600 einen Vektorabstand und ein Konfidenzniveau des Kandidaten-Absichtsvektors relativ zu dem Musterabsichtsvektor. Der Vektorabstand und das Konfidenzniveau des Kandidaten-Absichtsvektors werden durch Messen eines mehrdimensionalen Vektorabstands des Kandidaten-Absichtsvektors auf der Grundlage des Musterabsichtsvektors ermittelt, z.B. durch Ermitteln der matrixdimensionalen Cosinus-Ähnlichkeit der beiden mehrdimensionalen Vektoren/Matrizen. Für die Annahme eines Kandidaten-Absichtsvektors als gültigen Absichtsvektor wird durch Verwenden eines beliebigen geeigneten Vektorabstandsalgorithmus ein akzeptabler mehrdimensionaler Vektorabstand oder Schwellenwert festgelegt und konfiguriert. Als Beispiel, das nicht einschränkend auszulegen ist, kann ein mehrdimensionaler Vektorabstand oder eine andere Abstandsmesstechnik verwendet werden, und ein Schwellenwert für einen mehrdimensionalen Vektorabstand von null Komma acht fünf (0,85), alternativ angegeben als ein Konfidenzniveau von fünfundachtzig Prozent (85 %), kann so konfiguriert werden, dass jeder Kandidaten-Absichtsvektor mit einem mehrdimensionalen Vektorabstand, der ein Konfidenzniveau von fünfundachtzig Prozent (85 %) erreicht oder überschreitet, als gültiger Absichtsvektor angesehen wird, während ein Kandidaten-Absichtsvektor mit einem mehrdimensionalen Vektorabstand, der ein Konfidenzniveau von unter fünfundachtzig Prozent (85 %) aufweist, nicht als gültiger Absichtsvektor angesehen wird. Es sei darauf hingewiesen, dass viele Techniken zum Messen von Vektorabständen möglich sind, und alle diese Techniken werden als im Anwendungsbereich des vorliegenden Gegenstands liegend betrachtet.
Der Prozess 600 beginnt anschließend mit einem filtergestützten Verarbeiten, um die Qualität der Übereinstimmung des Kandidaten-Absichtsvektors relativ zum Musterabsichtsvektor zu ermitteln. Am Entscheidungspunkt 618 entscheidet der Prozess 600 anhand der Messung des Verlustes und des Konfidenzniveaus des Kandidaten-Absichtsvektors, ob der Kandidaten-Absichtsvektor die Validierung besteht. Wie oben beschrieben, wird ein Kandidaten-Absichtsvektor als gültiger Vektor angesehen und besteht damit die Validierung, wenn der Kandidaten-Absichtsvektor nahe am Musterabsichtsvektor im mehrdimensionalen Absichtsvektorraum liegt (z.B. größer oder gleich 0,85 für eine matrixdimensionale Cosinus-Ähnlichkeit).
Als Reaktion auf ein Feststellen am Entscheidungspunkt 618, dass der Kandidaten-Absichtsvektor die Validierung nicht besteht (z.B. niedriger als 0,85 für eine matrixdimensionale Cosinus-Ähnlichkeit), beginnt der Prozess 600 mit einem iterativen Verarbeiten von Rückmeldungen, um die Parameter für das Erzeugen der Kandidaten-Absichtsvektoren des LSTM-Modells anzupassen, die für das Erzeugen von Kandidaten-Absichtsvektoren verwendet werden. In Block 620 verwirft der Prozess 600 den Kandidaten-Absichtsvektor, der die Validierung nicht bestanden hat. In Block 622 aktualisiert der Prozess 600 die LSTM-Parameter, die zum Erzeugen des Kandidaten-Absichtsvektors auf der Grundlage des Musterabsichtsvektors und des gaußschen Rauschvektors verwendet werden. Der Prozess iteriert und kehrt zu Block 612 zurück, um einen neuen Kandidaten-Absichtsvektor unter Verwendung der aktualisierten LSTM-Parameter zu erzeugen, und iteriert wie oben beschrieben.
Zurück zur Beschreibung des Entscheidungspunktes 618: Als Reaktion auf ein Feststellen, dass der Kandidaten-Absichtsvektor die Validierung besteht (z.B. größer oder gleich 0,85 für eine matrixdimensionale Cosinus-Ähnlichkeit), weist der Prozess 600 den Kandidaten-Absichtsvektor als endgültigen Absichtserkennungsmodellvektor (IRM-Vektor) zu, indem der Kandidaten-Absichtsvektor in Block 624 zum Absichtserkennungsmodell hinzugefügt wird. In Block 626 speichert der Prozess 600 die LSTM-Parameter, die beim Erzeugen des validierten Absichtsvektors verwendet wurden, und das ermittelte Konfidenzniveau in Bezug auf den endgültigen IRM-Vektor.
Am Entscheidungspunkt 628 entscheidet der Prozess 600, ob eine Iteration durchgeführt werden soll, um einen weiteren Kandidaten-Absichtsvektor zu erzeugen und zu validieren. Als Reaktion auf die Entscheidung, einen weiteren Kandidaten-Absichtsvektor zu erzeugen und zu validieren, kehrt der Prozess 600 zu Block 610 zurück, um neue LSTM-Parameter zu konfigurieren, die das LSTM-Modell veranlassen, einen neuen/eindeutigen Kandidaten-Absichtsvektor auf Grundlage des Musterabsichtsvektors und des gaußschen Rauschvektors zu erzeugen. Auf diese Weise passt der Prozess 600 die LSTM-Parameter iterativ an, um schnell mehrere validierte Absichtsvektoren in einem Absichtserkennungsmodell zu erzeugen.
Der Prozess 600 iteriert wie oben beschrieben, um Kandidaten-Absichtsvektoren zu erzeugen und zu validieren, bis genügend endgültige IRM-Vektoren zum Absichtserkennungsmodell hinzugefügt wurden, um während der Implementierung eine Absichtserkennung über die Vielzahl der automatisch erzeugten Absichtsvektoren des Absichtserkennungsmodells hinweg zu erreichen. Als Reaktion auf die Entscheidung am Entscheidungspunkt 628, keinen weiteren Kandidaten-Absichtsvektor zu erzeugen und zu validieren, speichert der Prozess 600 in Block 630 die endgültigen IRM-Vektoren und Zuordnungen zu dem empfangenen und codierten Mustertext als einen Vektorsatz des Absichtserkennungsmodells. In Block 632 setzt der Prozess 600 das erzeugte Absichtserkennungsmodell ein, z.B. in der IRM-Datenbank 110 oder auf andere Weise, wie jeweils für eine bestimmte Implementierung geeignet. Der Prozess 600 kehrt zu dem Entscheidungspunkt 602 zurück und iteriert wie oben beschrieben.
Auf diese Weise empfängt und codiert der Prozess 600 einen Mustertext in einen Musterabsichtsvektor und verarbeitet den Musterabsichtsvektor parallel mit einem gaußschen Rauschvektor unter Verwendung eines LSTM-Modells, das so parametriert wurde, dass die Auswirkungen der gaußschen Rauschvektorelemente auf die Elemente des Musterabsichtsvektors angepasst werden. Der Prozess 600 erzeugt und validiert iterativ Kandidaten-Absichtsvektoren innerhalb einer Rückmeldeschleife, die die LSTM-Parameter anpasst, bis ein endgültiger IRM-Vektor hoher Qualität (große Nähe/minimaler Abstand) entsteht. Der Prozess 600 erzeugt iterativ endgültige IRM-Vektoren, bis eine ausreichende Anzahl von endgültigen IRM-Vektoren natürliche (zufällige) Variationen des ursprünglichen Mustertexts abdeckt. Der Prozess 600 speichert den validierten Satz von endgültigen IRM-Vektoren als das Absichtserkennungsmodell und implementiert das durch einen Computer erzeugte Absichtserkennungsmodell.
Einige Ausführungsformen der vorliegenden Erfindung verbessern die Technologie von Computern auf eine oder mehrere der folgenden Arten: (i) geringere Anforderungen an die Eingabedaten für das Erzeugen von Absichtserkennungsmodellen in größerem Umfang; (ii) schnelleres Erzeugen von Absichtserkennungsmodellen unter Verwendung weniger Daten; und (iii) genauer eingesetzte Absichtserkennung auf der Grundlage der erzeugten Absichtserkennungsmodelle.
Die vorliegende Erfindung ist nicht abstrakt, da sie sich insbesondere auf Computeroperationen und/oder Hardware bezieht, und zwar aus folgenden Gründen: (i) computergesteuerte Verarbeitung, die genauere Absichtserkennungsmodelle in größerem Umfang unter Verwendung weniger Eingaben als bei herkömmlichen Prozessen erzeugt; (ii) computergesteuerte Verteilungen von endgültigen/validierten Absichtsvektoren, die Musterabsichtsvektoren programmgesteuert variieren und dadurch das Erzeugen von Absichtserkennungsmodellen verbessern; und (iii) computergesteuertes Verarbeiten, das die Genauigkeit von Computern beim Erkennen der Benutzerabsicht auf der Grundlage gesprochener Wortfolgen verbessert.
Wie oben in Verbindung mit 1 bis 6 beschrieben, ermöglichen die Beispielsysteme und -prozesse das Erzeugen von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtsvektornäherungen. Es gibt viele andere Möglichkeiten und zusätzliche Maßnahmen in Verbindung mit dem Erzeugen von Absichtserkennungsmodellen auf der Grundlage von randomisierten Absichtserkennungsnäherungen, und all dies wird als im Anwendungsbereich des vorliegenden Gegenstands liegend angesehen.
Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt handeln. Das Computerprogrammprodukt kann (ein) durch einen Computer lesbare(s) Speichermedium (oder-medien) umfassen, auf dem/denen durch einen Computer lesbare Programmanweisungen gespeichert ist/sind, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine physische Einheit handeln, die Anweisungen zur Verwendung durch eine Einheit zur Ausführung von Anweisungen behalten und speichern kann. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder jede geeignete Kombination daraus handeln, ohne auf diese beschränkt zu sein. Zu einer nicht erschöpfenden Liste spezifischerer Beispiele des durch einen Computer lesbaren Speichermediums gehören die Folgenden: eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (SRAM), ein tragbarer Kompaktspeicherplatte-Nur-Lese-Speicher (CD-ROM), eine DVD (digital versatile disc), ein Speicher-Stick, eine Diskette, eine mechanisch codierte Einheit wie zum Beispiel Lochkarten oder gehobene Strukturen in einer Rille, auf denen Anweisungen gespeichert sind, und jede geeignete Kombination daraus. Ein durch einen Computer lesbares Speichermedium soll in der Verwendung hierin nicht als flüchtige Signale an sich aufgefasst werden, wie zum Beispiel Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z.B. einen Lichtwellenleiter durchlaufende Lichtimpulse) oder durch einen Draht übertragene elektrische Signale.
Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können von einem durch einen Computer lesbaren Speichermedium auf jeweilige Datenverarbeitungs/Verarbeitungs-Einheiten oder über ein Netzwerk wie zum Beispiel das Internet, ein lokales Netzwerk, ein Weitverkehrsnetzwerk und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, drahtlose Übertragung, Router, Firewalls, Vermittlungseinheiten, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs/Verarbeitungs-Einheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der entsprechenden Datenverarbeitungs/Verarbeitungs-Einheit weiter.
Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Offenbarung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (Instruction-Set-Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, darunter objektorientierte Programmiersprachen wie Smalltalk, C++ o.ä. sowie herkömmliche prozedurale Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. In letzterem Fall kann der entfernt angeordnete Computer mit dem Computer des Benutzers durch eine beliebige Art Netzwerk verbunden sein, darunter ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetzwerk (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Verwendung eines Internet-Dienstanbieters). In einigen Ausführungsformen können elektronische Schaltungen, darunter zum Beispiel programmierbare Logikschaltungen, vor Ort programmierbare Gatter-Anordnungen (FPGA, field programmable gate arrays) oder programmierbare Logikanordnungen (PLA, programmable logic arrays) die durch einen Computer lesbaren Programmanweisungen ausführen, indem sie Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen nutzen, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Ablaufpläne und/oder Blockschaltbilder bzw. Schaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass jeder Block der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder sowie Kombinationen von Blöcken in den Ablaufplänen und/oder den Blockschaltbildern bzw. Schaubildern mittels durch einen Computer lesbare Programmanweisungen ausgeführt werden können.
Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, sodass die über den Prozessor des Computers bzw. der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführten Anweisungen ein Mittel zur Umsetzung der in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte erzeugen. Diese durch einen Computer lesbaren Programmanweisungen können auch auf einem durch einen Computer lesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Art funktionieren, sodass das durch einen Computer lesbare Speichermedium, auf dem Anweisungen gespeichert sind, einen Herstellungsartikel aufweist, darunter Anweisungen, welche Aspekte der/des in dem Block bzw. den Blöcken des Ablaufplans und/oder der Blockschaltbilder bzw. Schaubilder angegebenen Funktion/Schritts umsetzen.
Die durch einen Computer lesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder eine andere Einheit geladen werden, um das Ausführen einer Reihe von Prozessschritten auf dem Computer bzw. der anderen programmierbaren Vorrichtung oder anderen Einheit zu verursachen, um einen auf einem Computer ausgeführten Prozess zu erzeugen, sodass die auf dem Computer, einer anderen programmierbaren Vorrichtung oder einer anderen Einheit ausgeführten Anweisungen die in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte umsetzen.
Die Ablaufpläne und die Blockschaltbilder bzw. Schaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Ausführungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Ablaufplänen oder Blockschaltbildern bzw. Schaubildern ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zur Ausführung der bestimmten logischen Funktion(en) aufweisen. In einigen alternativen Ausführungen können die in dem Block angegebenen Funktionen in einer anderen Reihenfolge als in den Figuren gezeigt stattfinden. Zwei nacheinander gezeigte Blöcke können zum Beispiel in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal je nach entsprechender Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es ist ferner anzumerken, dass jeder Block der Blockschaltbilder bzw. Schaubilder und/oder der Ablaufpläne sowie Kombinationen aus Blöcken in den Blockschaltbildern bzw. Schaubildern und/oder den Ablaufplänen durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, welche die festgelegten Funktionen oder Schritte durchführen, oder Kombinationen aus Spezial-Hardware und Computeranweisungen ausführen.
Die hierin verwendete Terminologie dient lediglich zum Zweck des Beschreibens von speziellen Ausführungsformen und soll die Erfindung nicht einschränken. Wie hierin verwendet, sollen die Singularformen „ein/eine/einer/eines“ und „der/die/das“ ebenfalls die Pluralformen umfassen, es sei denn, der Zusammenhang zeigt eindeutig etwas anderes auf. Es versteht sich ferner, dass die Begriffe „aufweisen“ und/oder „aufweisend“, wenn sie in dieser Beschreibung verwendet werden, die Anwesenheit von angegebenen Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen und/oder Komponenten spezifizieren, jedoch nicht die Anwesenheit oder Hinzufügung von einem oder mehreren anderen Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen davon ausschließen.
Die entsprechenden Strukturen, Materialien, Maßnahmen und Äquivalente aller Mittel oder Schritt-plus-Funktion-Elemente in den nachfolgenden Ansprüchen sollen alle Strukturen, Materialien oder Maßnahmen zur Durchführung der Funktion in Kombination mit anderen beanspruchten Elementen umfassen, wie dies speziell beansprucht wird. Die Beschreibung der vorliegenden Erfindung wurde zum Zwecke der Veranschaulichung und Beschreibung vorgestellt, soll jedoch nicht erschöpfend oder auf die Erfindung in der offenbarten Form beschränkt sein. Für Fachleute ist offensichtlich, dass viele Änderungen und Abwandlungen auf der Grundlage der hier vorgestellten Lehren möglich sind, ohne vom Anwendungsbereich der Erfindung abzuweichen. Der Gegenstand wurde beschrieben, um die Grundgedanken der Erfindung und die praktische Anwendung zu erläutern und um anderen Fachleuten ein Verständnis der Erfindung für verschiedene Ausführungsformen mit verschiedenen Änderungen zu ermöglichen, wie sie für die jeweils beabsichtigte Verwendung geeignet sind.

Claims

Durch einen Computer implementiertes Verfahren, das aufweist: durch einen Prozessor: Erzeugen einer Mehrzahl von Kandidaten-Absichtsvektoren auf Grundlage eines Eingabeabsichtsvektors; und Durchführen einer Validierung der Mehrzahl von Kandidaten-Absichtsvektoren, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus der Mehrzahl der Kandidaten-Absichtsvektoren als gültig ausgewählt werden.
Durch einen Computer implementiertes Verfahren nach Anspruch 1, wobei der Prozessor, der auf Grundlage des Eingabeabsichtsvektors die Mehrzahl von Kandidaten-Absichtsvektoren erzeugt, aufweist, dass der Prozessor für jeden Kandidaten-Absichtsvektor der Mehrzahl von Kandidaten-Absichtsvektoren: den Eingabeabsichtsvektor parallel mit einem Rauschvektor iterativ verarbeitet, sodass jeder Kandidaten-Absichtsvektor aus der Mehrzahl der Kandidaten-Absichtsvektoren relativ zu dem Eingabeabsichtsvektor randomisiert verteilt ist.
Durch einen Computer implementiertes Verfahren nach Anspruch 1, wobei der Prozessor, der auf Grundlage des Eingabeabsichtsvektors die Mehrzahl von Kandidaten-Absichtsvektoren erzeugt, aufweist, dass der Prozessor für jeden Kandidaten-Absichtsvektor der Mehrzahl von Kandidaten-Absichtsvektoren: den Eingabeabsichtsvektor parallel mit einem Rauschvektor in einem Modell eines langen Kurzzeitgedächtnisses (LSTM) verarbeitet.
Durch einen Computer implementiertes Verfahren nach Anspruch 1, wobei der Prozessor, der die Validierung der Mehrzahl von Kandidaten-Absichtsvektoren durchführt, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus der Mehrzahl von Kandidaten-Absichtsvektoren als gültige Absichtsvektoren ausgewählt werden, aufweist, dass der Prozessor für jeden Kandidaten-Absichtsvektor aus der Mehrzahl von Kandidaten-Absichtsvektoren: einen mehrdimensionalen Absichtsvektorabstand zwischen dem Eingabeabsichtsvektor und dem entsprechenden Kandidaten-Absichtsvektor ermittelt; und Kandidaten-Absichtsvektoren, die innerhalb eines konfigurierten mehrdimensionalen Absichtsvektorabstands des Eingabeabsichtsvektors liegen, als gültige Absichtsvektoren auswählt, die dem Eingabeabsichtsvektor semantisch ähnlich sind.
Durch einen Computer implementiertes Verfahren nach Anspruch 1, das weiterhin aufweist, dass der Prozessor: als Reaktion auf ein Feststellen während des Validierens, dass ein erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch nicht ähnlich ist, eine Rückmeldung der Kandidaten-Absichtsvektorerzeugung vom Validieren bis zum Erzeugen durchführt, die die zum Erzeugen des Kandidaten-Absichtsvektors verwendeten Vektorerzeugungsparameter anpasst; und die Vektorerzeugungsparameter unter Verwendung der Rückmeldung der Kandidaten-Absichtsvektorerzeugung iterativ anpasst, bis ein sich ergebender erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch ähnlich ist.
Durch einen Computer implementiertes Verfahren nach Anspruch 1, das weiterhin aufweist, dass der Prozessor ein Absichtserkennungsmodell auf Grundlage der gültigen Absichtsvektoren erzeugt, die dem Eingabeabsichtsvektor semantisch ähnlichen sind.
Durch einen Computer implementiertes Verfahren nach Anspruch 1, wobei mindestens das Erzeugen durch den Prozessor oder das Durchführen der Validierung durch den Prozessor als Dienst in einer Cloud-Umgebung bereitgestellt wird.
System, das aufweist: einen Speicher; und mindestens einen Prozessorsatz, der programmiert ist, um: eine Mehrzahl von Kandidaten-Absichtsvektoren auf Grundlage eines Eingabeabsichtsvektors in dem Speicher zu erzeugen; und eine Validierung der Mehrzahl von Kandidaten-Absichtsvektoren durchzuführen, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus der Mehrzahl von Kandidaten-Absichtsvektoren als gültige Absichtsvektoren ausgewählt werden.
System nach Anspruch 8, wobei der mindestens eine Prozessorsatz dadurch, dass er so programmiert ist, dass er die Mehrzahl von Kandidaten-Absichtsvektoren auf Grundlage des Eingabeabsichtsvektors im Speicher erzeugt, so programmiert ist, dass er für jeden Kandidaten-Absichtsvektor der Mehrzahl von Kandidaten-Absichtsvektoren: den Eingabeabsichtsvektor parallel mit einem Rauschvektor iterativ verarbeitet, sodass jeder Kandidaten-Absichtsvektor aus der Mehrzahl der Kandidaten-Absichtsvektoren relativ zu dem Eingabeabsichtsvektor randomisiert verteilt ist.
System nach Anspruch 8, wobei der mindestens eine Prozessorsatz dadurch, dass er so programmiert ist, dass er die Mehrzahl von Kandidaten-Absichtsvektoren auf Grundlage des Eingabeabsichtsvektors im Speicher erzeugt, so programmiert ist, dass er für jeden Kandidaten-Absichtsvektor der Mehrzahl von Kandidaten-Absichtsvektoren: den Eingabeabsichtsvektor parallel mit einem Rauschvektor in einem Modell eines langen Kurzzeitgedächtnisses (LSTM) verarbeitet.
System nach Anspruch 8, wobei der mindestens eine Prozessorsatz dadurch, dass er so programmiert ist, dass er die Validierung der Mehrzahl von Kandidaten-Absichtsvektoren durchführt, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus der Mehrzahl von Kandidaten-Absichtsvektoren als gültige Absichtsvektoren ausgewählt werden, so programmiert ist, dass er für jeden Kandidaten-Absichtsvektor aus der Mehrzahl von Kandidaten-Absichtsvektoren: einen mehrdimensionalen Absichtsvektorabstand zwischen dem Eingabeabsichtsvektor und dem entsprechenden Kandidaten-Absichtsvektor ermittelt; und Kandidaten-Absichtsvektoren, die innerhalb eines konfigurierten mehrdimensionalen Absichtsvektorabstands des Eingabeabsichtsvektors liegen, als gültige Absichtsvektoren auswählt, die die dem Eingabeabsichtsvektor semantisch ähnlich sind.
System nach Anspruch 8, wobei der mindestens eine Prozessorsatz weiterhin so programmiert ist, dass er: als Reaktion auf ein Feststellen während des Validierens, dass ein erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch nicht ähnlich ist, eine Rückmeldung der Kandidaten-Absichtsvektorerzeugung vom Validieren bis zum Erzeugen durchführt, die die zum Erzeugen des Kandidaten-Absichtsvektors verwendeten Vektorerzeugungsparameter anpasst; und die Vektorerzeugungsparameter unter Verwendung der Rückmeldung der Kandidaten-Absichtsvektorerzeugung iterativ anpasst, bis ein sich ergebender erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch ähnlich ist.
System nach Anspruch 8, wobei der mindestens eine Prozessorsatz weiterhin so programmiert ist, dass er ein Absichtserkennungsmodell auf Grundlage der gültigen Absichtsvektoren erzeugt, die dem Eingabeabsichtsvektor semantisch ähnlich sind.
Computerprogrammprodukt, das aufweist: ein durch einen Computer lesbares Speichermedium mit darin enthaltenem durch einen Computer lesbaren Programmcode, wobei das durch einen Computer lesbare Speichermedium kein flüchtiges Signal an sich ist und wobei der durch einen Computer lesbare Programmcode, wenn er auf einem Computer ausgeführt wird, den Computer dazu veranlasst: eine Mehrzahl von Kandidaten-Absichtsvektoren auf Grundlage eines Eingabeabsichtsvektors zu erzeugen; und ein Validieren der Mehrzahl von Kandidaten-Absichtsvektoren durchzuführen, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus der Mehrzahl von Kandidaten-Absichtsvektoren als gültige Absichtsvektoren ausgewählt werden.
Computerprogrammprodukt nach Anspruch 14, wobei dadurch, dass der Computer veranlasst wird, auf Grundlage des Eingabeabsichtsvektors die Mehrzahl von Kandidaten-Absichtsvektoren zu erzeugen, der durch einen Computer lesbare Programmcode, wenn er auf dem Computer ausgeführt wird, den Computer veranlasst, für jeden Kandidaten-Absichtsvektor der Mehrzahl von Kandidaten-Absichtsvektoren: den Eingabeabsichtsvektor parallel mit einem Rauschvektor iterativ zu verarbeiten, sodass jeder Kandidaten-Absichtsvektor aus der Mehrzahl der Kandidaten-Absichtsvektoren relativ zu dem Eingabeabsichtsvektor randomisiert verteilt ist.
Computerprogrammprodukt nach Anspruch 14, wobei dadurch, dass der Computer veranlasst wird, auf Grundlage des Eingabeabsichtsvektors die Mehrzahl von Kandidaten-Absichtsvektoren zu erzeugen, der durch einen Computer lesbare Programmcode, wenn er auf dem Computer ausgeführt wird, den Computer veranlasst, für jeden Kandidaten-Absichtsvektor der Mehrzahl von Kandidaten-Absichtsvektoren: den Eingabeabsichtsvektor parallel mit einem Rauschvektor in einem Modell eines langen Kurzzeitgedächtnisses (LSTM) zu verarbeiten.
Computerprogrammprodukt nach Anspruch 14, wobei dadurch, dass der Computer veranlasst wird, das Validieren der Mehrzahl von Kandidaten-Absichtsvektoren durchzuführen, bei der alle dem Eingabeabsichtsvektor semantisch ähnlichen Absichtsvektoren aus der Mehrzahl von Kandidaten-Absichtsvektoren als gültige Absichtsvektoren ausgewählt werden, der durch einen Computer lesbare Programmcode, wenn er auf dem Computer ausgeführt wird, den Computer veranlasst, für jeden Kandidaten-Absichtsvektor aus der Mehrzahl von Kandidaten-Absichtsvektoren: einen mehrdimensionalen Absichtsvektorabstand zwischen dem Eingabeabsichtsvektor und dem entsprechenden Kandidaten-Absichtsvektor zu ermitteln; und Kandidaten-Absichtsvektoren, die innerhalb eines konfigurierten mehrdimensionalen Absichtsvektorabstands des Eingabeabsichtsvektors liegen, als gültige Absichtsvektoren auszuwählen, die dem Eingabeabsichtsvektor semantisch ähnlich sind.
Computerprogrammprodukt nach Anspruch 14, wobei der durch einen Computer lesbare Programmcode, wenn er auf dem Computer ausgeführt wird, den Computer weiterhin veranlasst: als Reaktion auf ein Feststellen während des Validierens, dass ein erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch nicht ähnlich ist, eine Rückmeldung der Kandidaten-Absichtsvektorerzeugung vom Validieren bis zum Erzeugen durchzuführen, die die zum Erzeugen des Kandidaten-Absichtsvektors verwendeten Vektorerzeugungsparameter anpasst; und die Vektorerzeugungsparameter unter Verwendung der Rückmeldung der Kandidaten-Absichtsvektorerzeugung iterativ anzupassen, bis ein sich ergebender erzeugter Kandidaten-Absichtsvektor dem Eingabeabsichtsvektor semantisch ähnlich ist.
Computerprogrammprodukt nach Anspruch 14, wobei der durch einen Computer lesbare Programmcode, wenn er auf dem Computer ausgeführt wird, den Computer weiterhin veranlasst, ein Absichtserkennungsmodell auf Grundlage der gültigen Absichtsvektoren zu erzeugen, die dem Eingabeabsichtsvektor semantisch ähnlich sind.
Computerprogrammprodukt nach Anspruch 14, wobei mindestens das Erzeugen durch den Computer oder das Durchführen der Validierung durch den Computer als Dienst in einer Cloud-Umgebung bereitgestellt wird.