DE112021005052T5

DE112021005052T5 - Iterative anwendung eines auf maschinellem lernen basierenden informationsextraktionsmodells auf dokumente mit unstrukturierten textdaten

Info

Publication number: DE112021005052T5
Application number: DE112021005052.4T
Authority: DE
Inventors: Ravi Shukla; Jeffrey Scott Vah; Jimmy Henry Wiggers
Original assignee: Dell Products LP
Current assignee: Dell Products LP
Priority date: 2020-09-22
Filing date: 2021-04-28
Publication date: 2023-10-19
Also published as: CN116529725A; WO2022066224A1; US11487797B2; US20220092095A1

Abstract

Eine Vorrichtung umfasst eine Verarbeitungsvorrichtung, die konfiguriert ist, um eine Abfrage zu empfangen, um Information aus einem Dokument zu extrahieren, und um zwei oder mehr Iterationen der Verwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells durchzuführen, um Teile von unstrukturierten Textdaten aus dem Dokument zu extrahieren. In jeder Iteration werden ein Teil der unstrukturierten Textdaten, die aus dem Dokument extrahiert wurden, und ein zugeordneter Relevanzwert ausgegeben. In einer ersten Iteration werden die Abfrage und das Dokument eingegeben, während in nachfolgenden Iterationen die Abfrage und modifizierte Versionen des Dokuments eingegeben werden, wobei die modifizierten Versionen zuvor extrahierte Teile der unstrukturierten Textdaten daraus entfernt haben. Die Verarbeitungsvorrichtung ist auch konfiguriert, um eine Antwort auf die Abfrage zu erzeugen, die eine Teilmenge der Teile der unstrukturierten Textdaten umfasst, die aus dem Dokument extrahiert wurden, von denen bestimmt wurde, dass sie zugeordnete Relevanzwerte aufweisen, die einen Schwellenwert für den Relevanzwert und mindestens einen Schwellenwert für die Ähnlichkeit mit der Abfrage überschreiten.

Description

Gebiet
Das Gebiet bezieht sich allgemein auf die Informationsverarbeitung und insbesondere auf Techniken zur Verwaltung von Daten.
Hintergrund
In vielen Informationsverarbeitungssystemen sind elektronisch gespeicherte Daten in einem unstrukturierten Format, wobei Dokumente einen großen Teil unstrukturierter Daten umfassen. Die Sammlung und Analyse kann sich jedoch auf stark strukturierte Daten beschränken, da unstrukturierte Textdaten eine spezielle Behandlung erfordern. Beispielsweise können unstrukturierte Textdaten ein manuelles Screening erfordern, bei dem ein Korpus unstrukturierter Textdaten durch Servicepersonal überprüft und abgetastet wird. Alternativ können die unstrukturierten Textdaten eine manuelle Anpassung und Wartung eines großen Satzes von Regeln erfordern, die verwendet werden können, um die Übereinstimmung mit vordefinierten Themen von Interesse zu bestimmen. Eine solche Verarbeitung ist übermäßig mühsam und zeitaufwändig, insbesondere für große Datenmengen unstrukturierter Textdaten.
Zusammenfassung
Veranschaulichende Ausführungsformen der vorliegenden Erfindung stellen Techniken zur iterativen Anwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells auf Dokumente mit unstrukturierten Textdaten bereit.
In einer Ausführungsform umfasst eine Vorrichtung mindestens eine Verarbeitungsvorrichtung, die einen Prozessor umfasst, der mit einem Speicher gekoppelt ist. Die mindestens eine Verarbeitungsvorrichtung ist konfiguriert, um die Schritte des Empfangens einer Abfrage, um Information aus einem Dokument zu extrahieren, wobei das Dokument unstrukturierte Textdaten umfasst, und des Durchführens von zwei oder mehr Iterationen der Verwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells durchzuführen, um Teile von unstrukturierten Textdaten aus dem Dokument zu extrahieren. In jeder der zwei oder mehr Iterationen stellt das auf maschinellem Lernen basierende Informationsextraktionsmodell einen Teil der unstrukturierten Textdaten, die aus dem Dokument extrahiert wurden, und einen Relevanzwert, der dem Teil der unstrukturierten Textdaten zugeordnet ist, die aus dem Dokument in dieser Iteration extrahiert wurden, als Ausgabe bereit. In einer ersten der zwei oder mehr Iterationen nimmt das auf maschinellem Lernen basierende Informationsextraktionsmodell die Abfrage und das Dokument als Eingabe. In nachfolgenden der zwei oder mehr Iterationen nimmt das auf maschinellem Lernen basierende Informationsextraktionsmodell die Abfrage und eine modifizierte Version des Dokuments mit einem oder mehreren Teilen der unstrukturierten Textdaten des Dokuments, die in einer oder mehreren vorherigen der zwei oder mehr Iterationen extrahiert wurden, daraus entfernt als Eingabe. Die mindestens eine Verarbeitungsvorrichtung ist auch konfiguriert, um die Schritte des Bestimmens, ob die Teile der unstrukturierten Textdaten, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, einen zugeordneten Relevanzwert aufweisen, der einen Schwellenwert für den Relevanzwert und mindestens einen Schwellenwert für die Ähnlichkeit mit der Abfrage überschreitet, und des Erzeugens einer Antwort auf die Abfrage durchzuführen, wobei die Antwort auf die Abfrage eine Teilmenge der Teile der unstrukturierten Textdaten umfasst, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, von denen bestimmt wurde, dass sie zugeordnete Relevanzwerte aufweisen, die den Schwellenwert für den Relevanzwert und mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage überschreiten.
Diese und andere veranschaulichende Ausführungsformen umfassen ohne Einschränkung Verfahren, Vorrichtungen, Netzwerke, Systeme und prozessorlesbare Speichermedien.
Kurze Beschreibung der Zeichnungen

1A und 1B sind Blockdiagramme von Informationsverarbeitungssystemen zur iterativen Anwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells auf Dokumente mit unstrukturierten Textdaten in einer veranschaulichenden Ausführungsform der Erfindung.
2 ist ein Flussdiagramm eines beispielhaften Prozesses zur iterativen Anwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells auf Dokumente mit unstrukturierten Textdaten in einer veranschaulichenden Ausführungsform.
3 zeigt einen Prozessablauf zur rekursiven Anwendung eines fragenbeantwortenden Deep-Learning-Modells in einer veranschaulichenden Ausführungsform.
4 zeigt ein Beispiel für unstrukturierte Textdaten in einer veranschaulichenden Ausführungsform.
5A und 5B veranschaulichen Iterationen der rekursiven Anwendung des fragenbeantwortenden Deep-Learning-Modells von 3 auf die unstrukturierten Textdaten von 4 unter Verwendung einer Eingabefrage in einer veranschaulichenden Ausführungsform.
6A-6D zeigen eine Tabelle von Antworten, die aus den unstrukturierten Textdaten von 4 unter Verwenden einer rekursiven Anwendung des fragenbeantwortenden Deep-Learning-Modells von 3 mit einer Eingabefrage extrahiert wurden, um eine endgültige Antwort in einer veranschaulichenden Ausführungsform zu erzeugen.
7A und 7B zeigen eine Tabelle von Antworten, die aus den unstrukturierten Textdaten von 4 unter Verwenden einer rekursiven Anwendung des fragenbeantwortenden Deep-Learning-Modells von 3 mit einer anderen Eingabefrage extrahiert wurden, um eine endgültige Antwort in einer veranschaulichenden Ausführungsform zu erzeugen.
8A und 8B zeigen eine Tabelle von Antworten, die aus den unstrukturierten Textdaten von 4 unter Verwenden einer rekursiven Anwendung des fragenbeantwortenden Deep-Learning-Modells von 3 mit einer anderen Eingabefrage extrahiert wurden, um eine endgültige Antwort in einer veranschaulichenden Ausführungsform zu erzeugen.
9A und 9B zeigen ein anderes Beispiel von unstrukturierten Textdaten und eine Tabelle von Antworten, die aus den unstrukturierten Textdaten unter Verwenden einer rekursiven Anwendung des fragenbeantwortenden Deep-Learning-Modells von 3 in einer veranschaulichenden Ausführungsform extrahiert wurden.
10A und 10B veranschaulichen eine verbesserte Leistung einer rekursiven Anwendung eines Fragenbeantwortenden Modells relativ zu einer nicht rekursiven Anwendung eines Fragenbeantwortenden Modells in einer veranschaulichenden Ausführungsform.
11 zeigt ein anderes Beispiel von unstrukturierten Textdaten in einer veranschaulichenden Ausführungsform.
12 zeigt eine Tabelle von Antworten, die aus den unstrukturierten Textdaten von 11 unter Verwenden eines ersten Schwellenwerts mit einer rekursiven Anwendung des fragenbeantwortenden Deep-Learning-Modells von 3 mit einer Eingabefrage extrahiert wurden, um eine endgültige Antwort in einer veranschaulichenden Ausführungsform zu erzeugen.
13A-13C zeigen eine Tabelle von Antworten, die aus den unstrukturierten Textdaten von 11 unter Verwenden eines zweiten Schwellenwerts mit einer rekursiven Anwendung des fragenbeantwortenden Deep-Learning-Modells von 3 mit einer Eingabefrage extrahiert wurden, um eine endgültige Antwort in einer veranschaulichenden Ausführungsform zu erzeugen.
14 und 15 zeigen Beispiele von Verarbeitungsplattformen, die verwendet werden können, um mindestens einen Teil eines Informationsverarbeitungssystems in veranschaulichenden Ausführungsformen zu implementieren.

Detaillierte Beschreibung
Veranschaulichende Ausführungsformen werden hier unter Bezugnahme auf beispielhafte Informationsverarbeitungssysteme und zugehörige Computer, Server, Speichervorrichtungen und andere Verarbeitungsvorrichtungen beschrieben. Es versteht sich jedoch, dass Ausführungsformen nicht auf die Verwendung mit den gezeigten bestimmten veranschaulichenden System- und Vorrichtungskonfigurationen beschränkt sind. Dementsprechend soll der Begriff „Informationsverarbeitungssystem“, wie er hier verwendet wird, breit ausgelegt werden, um beispielsweise Verarbeitungssysteme, die Cloud-Computing- und Speichersysteme umfassen, sowie andere Arten von Verarbeitungssystemen, die verschiedene Kombinationen von physischen und virtuellen Verarbeitungsressourcen umfassen, zu umfassen. Ein Informationsverarbeitungssystem kann daher beispielsweise mindestens ein Datenzentrum oder eine andere Art von cloudbasiertem System umfassen, das eine oder mehrere Clouds beinhaltet, die Mandanten hosten, die auf Cloud-Ressourcen zugreifen.
1A und 1B zeigen jeweilige Informationsverarbeitungssysteme 100A und 100B, die gemäß einer veranschaulichenden Ausführungsform konfiguriert sind. Es wird angenommen, dass die Informationsverarbeitungssysteme 100A und 100B auf mindestens einer Verarbeitungsplattform aufgebaut sind und Funktionalität zur iterativen Anwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells auf Dokumente mit unstrukturierten Textdaten bereitstellen.
Das Informationsverarbeitungssystem 100A von 1A beinhaltet ein Unternehmensreparaturzentrum 102A und eine Vielzahl von Clientvorrichtungen 104-1,104-2,... 104-M (zusammen Clientvorrichtungen 104). Das Unternehmensreparaturzentrum 102A und die Clientvorrichtungen 104 sind mit einem Netzwerk 106 gekoppelt. Ebenfalls mit dem Netzwerk 106 gekoppelt ist eine Dokumentdatenbank 108, die verschiedene Information in Bezug auf Dokumente speichern kann, wie etwa technische Support-Anruf- und Chat-Protokolle, die mit Assets einer Informationstechnologie(IT)-Infrastruktur 110A assoziiert sind, die ebenfalls mit dem Netzwerk 106 gekoppelt ist. Es wird angenommen, dass solche technischen Support-Anruf- und Chat-Protokolle durch ein auf maschinellem Lernen basierendes Fehlerbehebungssystem 112A des Unternehmensreparaturzentrums 102A analysiert werden, um Empfehlungen für Reparaturaktionen zu erzeugen, die an solchen Assets durchgeführt werden sollen. Die Assets können beispielsweise physische und virtuelle Rechenressourcen in der IT-Infrastruktur 110A beinhalten. Physische Rechenressourcen können physische Hardware beinhalten, wie etwa Server, Speichersysteme, Netzwerkausrüstung, Internet der Dinge(Iot)-Vorrichtungen, andere Arten von Verarbeitungs- und Rechenvorrichtungen, einschließlich Desktops, Laptops, Tablets, Smartphones usw. Virtuelle Rechenressourcen können virtuelle Maschinen (VMs), Container usw. beinhalten.
Die Clientvorrichtungen 104 können beispielsweise physische Rechenvorrichtungen umfassen, wie etwa Internet der Dinge(Iot)-Vorrichtungen, Mobiltelefone, Laptop-Computer, Tablet-Computer, Desktop-Computer oder andere Arten von Vorrichtungen, die von Mitgliedern eines Unternehmens in einer beliebigen Kombination verwendet werden. Einige dieser Verarbeitungsvorrichtungen werden hier auch allgemein als „Computer“ bezeichnet." Die Clientvorrichtungen 104 können auch oder alternativ virtualisierte Rechenressourcen umfassen, wie etwa virtuelle Maschinen (VMs), Container usw.
Die Clientvorrichtungen 104 umfassen in einigen Ausführungsformen jeweilige Computer, die einem bestimmten Unternehmen, einer bestimmten Organisation oder einem anderen Unternehmen zugeordnet sind. Darüber hinaus können zumindest Teile des Systems 100A (und des Systems 100B) hier auch als zusammen umfassend ein „Unternehmen“ bezeichnet werden. Zahlreiche andere Betriebsszenarien, die eine große Vielfalt von verschiedenen Arten und Anordnungen von Verarbeitungsknoten beinhalten, sind möglich, wie der Fachmann verstehen wird.
Es wird angenommen, dass das Netzwerk 106 ein globales Computernetzwerk umfasst, wie etwa das Internet, obwohl andere Arten von Netzwerken Teil des Netzwerks 106 sein können, einschließlich eines Weitverkehrsnetzwerks (WAN), eines lokalen Netzwerks (LAN), eines Satellitennetzwerks, eines Telefon- oder Kabelnetzwerks, eines Mobilfunknetzwerks, eines drahtlosen Netzwerks, wie etwa eines WiFi- oder WiMAX-Netzwerks, oder verschiedener Teile oder Kombinationen dieser und anderer Arten von Netzwerken.
Die Dokumentdatenbank 108, wie vorstehend erörtert, ist dazu konfiguriert, Information in Bezug auf Dokumente zu speichern und aufzuzeichnen, die durch das Unternehmensreparaturzentrum 102A (z. B. durch das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A davon) analysiert werden sollen. Solche Information kann Dokumente selbst beinhalten (z. B. technische Support-Anruf- und Chat-Protokolle, Verkaufsdokumente, Artikel usw.) sowie Metadaten, die mit den Dokumenten assoziiert sind. Die Metadaten können zum Beispiel eine Domäne, die mit einem bestimmten Dokument assoziiert ist, Fragen oder Information, die daraus extrahiert werden sollen, usw. beinhalten. Die Dokumentdatenbank 108 kann auch Information speichern, die zum Trainieren eines oder mehrerer Modelle für maschinelles Lernen verwendet wird (z. B. ein extrahierendes fragenbeantwortendes Deep-Learning-Modell), wie an anderer Stelle hierin ausführlicher beschrieben. Die Dokumentdatenbank 108 wird in einigen Ausführungsformen unter Verwenden eines oder mehrerer Speichersysteme oder -vorrichtungen implementiert, die mit dem Unternehmensreparaturzentrum 102A assoziiert sind. In einigen Ausführungsformen umfassen eines oder mehrere der Speichersysteme, die verwendet werden, um die Dokumentdatenbank 108 zu implementieren, ein Scale-Out-All-Flashinhaltsadressierbares Speicherarray oder eine andere Art von Speicherarray.
Der Begriff „Speichersystem“, wie er hier verwendet wird, soll daher breit ausgelegt werden und sollte nicht als auf inhaltsadressierbare Speichersysteme oder flash-basierte Speichersysteme beschränkt angesehen werden. Ein gegebenes Speichersystem, wie der Begriff hier breit verwendet wird, kann beispielsweise netzwerkgebundenen Speicher (NAs), Speicherbereichsnetzwerke (SANs), direktgebundenen Speicher (DAS) und verteilten DAS sowie Kombinationen dieser und anderer Speicherarten umfassen, einschließlich softwaredefiniertem Speicher.
Andere bestimmte Arten von Speicherprodukten, die bei der Implementierung von Speichersystemen in veranschaulichenden Ausführungsformen verwendet werden können, umfassen All-Flash- und Hybrid-Flash-Speicherarrays, softwaredefinierte Speicherprodukte, Cloud-Speicherprodukte, objektbasierte Speicherprodukte und Scale-Out-NAS-Cluster. Kombinationen von mehreren dieser und anderer Speicherprodukte können auch bei der Implementierung eines gegebenen Speichersystems in einer veranschaulichenden Ausführungsform verwendet werden.
Obwohl in 1A nicht explizit gezeigt, können eine oder mehrere Eingabe-Ausgabe-Vorrichtungen, wie etwa Tastaturen, Anzeigen oder andere Arten von Eingabe-Ausgabe-Vorrichtungen, verwendet werden, um eine oder mehrere Benutzerschnittstellen zu dem Unternehmensreparaturzentrum 102A und dem auf maschinellem Lernen basierenden Fehlerbehebungssystem 112A zu unterstützen sowie um die Kommunikation zwischen dem Unternehmensreparaturzentrum 102A, dem auf maschinellem Lernen basierenden Fehlerbehebungssystem 112A und anderen verwandten Systemen und Vorrichtungen zu unterstützen, die nicht explizit gezeigt sind.
In einigen Ausführungsformen sind die Clientvorrichtungen 104 konfiguriert, um auf die IT-Infrastruktur 110A zuzugreifen oder diese anderweitig zu verwenden. Die IT-Infrastruktur 110A kann eine Vielzahl von Assets (z. B. physische oder virtuelle Rechenressourcen) eines Unternehmens, einer Entität oder eines anderen Unternehmens umfassen. In solchen Fällen können die Clientvorrichtungen 104 Reparaturtechnikern, Systemadministratoren, IT-Managern oder anderen autorisierten Personal oder Benutzern zugeordnet sein, die dazu konfiguriert sind, auf das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A des Unternehmensreparaturzentrums 102A zuzugreifen und dieses zu verwenden, um Fehler zu beheben, die durch Assets des Unternehmenssystems 110A angetroffen werden. Beispielsweise kann eine gegebene der Clientvorrichtungen 104 von einem mobilen Techniker betrieben werden, der zu einem physischen Standort eines zu reparierenden Assets in der IT-Infrastruktur 110A fährt (z. B. einem Büro, einem Rechenzentrum usw., in dem sich Assets der IT-Infrastruktur 110A befinden). Die gegebene Clientvorrichtung 104 kann vom Reparaturtechniker verwendet werden, um auf eine grafische Benutzeroberfläche (GUI) zuzugreifen, die vom auf maschinellem Lernen basierenden Fehlerbehebungssystem 112A bereitgestellt wird, um Symptomsätze und andere Information bezüglich des zu reparierenden Assets einzugeben (z. B. in Form von unstrukturierten Textdaten, einschließlich, aber nicht beschränkt auf Chat- und Anrufprotokolle) und Empfehlungen für Fehlerbehebungsaktionen zu empfangen, die an dem zu reparierenden Asset durchgeführt werden sollen. Es sollte beachtet werden, dass „Reparatur“ breit ausgelegt werden sollte und verschiedene Arten von Aktionen beinhaltet, die ergriffen werden, um einen bestimmten Fehler oder andere Symptome zu beheben, die an einem Asset angetroffen werden. Die Reparatur kann das Ändern von Einstellungen der Assets, das Modifizieren (z. B. Entfernen, Installieren, Aktualisieren usw.) von Software auf dem Asset, das Modifizieren (z. B. Entfernen, Installieren, Ersetzen usw.) von Hardware auf dem Asset usw. beinhalten.
Der Begriff „Benutzer“ soll hier breit ausgelegt werden, um zahlreiche Anordnungen von menschlichen, Hardware-, Software- oder Firmware-Entitäten sowie Kombinationen solcher Entitäten zu umfassen.
Das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A kann als ein Cloud-Dienst bereitgestellt werden, auf den die gegebene Clientvorrichtung 104 zugreifen kann, um es dem Techniker zu ermöglichen, Fehlerbehebung vor Ort durchzuführen. Alternativ können zu reparierende Assets der IT-Infrastruktur 110A einem Reparaturdepot oder einer anderen physischen Stelle bereitgestellt werden, wo Techniker, die die Clientvorrichtungen 104 verwenden, Fehlerbehebung der Assets unter Verwendung des auf maschinellem Lernen basierenden Fehlerbehebungssystems 112A des Unternehmensreparaturzentrums 102A durchführen können.
In einigen Ausführungsformen können die Clientvorrichtungen 104 Host-Agenten implementieren, die für automatisierte Übertragung von Information in Bezug auf zu reparierende Assets an das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A konfiguriert sind, und um automatisch Empfehlungen für Fehlerbehebungsaktionen zu empfangen, die an den zu reparierenden Assets durchgeführt werden sollen. In einigen Fällen können die durchzuführenden Fehlerbehebungsaktionen vollständig automatisiert sein, wie etwa durch Initiieren bestimmter Diagnosetests, Softwarekomponentenmodifikationen usw. In anderen Fällen können die durchzuführenden Fehlerbehebungsaktionen manuelle Eingabe erfordern, wie etwa beim Ersetzen von Hardwarekomponenten eines zu reparierenden Assets. Es sollte j edoch beachtet werden, dass selbst Aktionen, wie etwa das Ersetzen der Hardwarekomponenten, durch die Verwendung von Robotik in dem Unternehmensreparaturzentrum 102 automatisiert werden können, falls gewünscht.
Es sollte beachtet werden, dass ein „Host-Agent“, wie dieser Begriff hier allgemein verwendet wird, eine automatisierte Entität umfassen kann, wie etwa eine Softwareentität, die auf einer Verarbeitungsvorrichtung läuft. Dementsprechend muss ein Sicherheitsagent oder Host-Agent keine menschliche Entität sein.
Wie in 1A gezeigt, umfasst das Unternehmensreparaturzentrum 102A das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A. Wie nachstehend ausführlicher beschrieben wird, ist das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A konfiguriert, um iterativ ein auf maschinellem Lernen basierendes Informationsextraktionsmodell auf Dokumente mit unstrukturierten Textdaten anzuwenden.
Obwohl in dieser Ausführungsform als ein Element des Unternehmensreparaturzentrums 102A gezeigt, kann das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A in anderen Ausführungsformen mindestens teilweise extern zu dem Unternehmensreparaturzentrum 102A implementiert werden, zum Beispiel als ein eigenständiger Server, Satz von Servern oder eine andere Art von System, der mit dem Netzwerk 106 gekoppelt ist. In einigen Ausführungsformen kann das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A mindestens teilweise innerhalb einer oder mehrerer der Clientvorrichtungen 104 implementiert werden.
Es wird angenommen, dass das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A in der Ausführungsform von 1A unter Verwendung mindestens einer Verarbeitungsvorrichtung implementiert wird. Jede solche Verarbeitungsvorrichtung umfasst allgemein mindestens einen Prozessor und einen zugehörigen Speicher und implementiert ein oder mehrere Funktionsmodule zum Steuern bestimmter Merkmale des auf maschinellem Lernen basierenden Fehlerbehebungssystems 112A. In der Ausführungsform von 1A umfasst das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A ein Dokumentanalysemodul 114A, ein rekursives Informationsextraktionsmodul 116A und ein Fehlerbehebungsaktionsempfehlungsmodul 118A.
Das Dokumentanalysemodul 114A ist konfiguriert, um eine Abfrage zu empfangen, um Information aus einem Dokument zu extrahieren, wobei das Dokument unstrukturierte Textdaten umfasst, die mit einem gegebenen Asset der IT-Infrastruktur 110A assoziiert sind (z. B. kann das Dokument einen technischen Support-Anruf oder ein Chat-Protokoll umfassen, das mit dem gegebenen Asset der IT-Infrastruktur 110A assoziiert ist).
Das rekursive Informationsextraktionsmodul 116A ist konfiguriert, um zwei oder mehr Iterationen der Verwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells (z. B. eines extrahierenden Fragen- und Antwortmodells) durchzuführen, um Teile (z. B. Fragmente oder Sätze von Sätzen) von unstrukturierten Textdaten aus dem Dokument zu extrahieren. In jeder der zwei oder mehr Iterationen stellt das auf maschinellem Lernen basierende Informationsextraktionsmodell einen Teil der unstrukturierten Textdaten, die aus dem Dokument extrahiert wurden, und einen Relevanzwert, der dem Teil der unstrukturierten Textdaten zugeordnet ist, die aus dem Dokument in dieser Iteration extrahiert wurden, als Ausgabe bereit. In einer ersten der zwei oder mehr Iterationen nimmt das auf maschinellem Lernen basierende Informationsextraktionsmodell die Abfrage und das Dokument als Eingabe. In nachfolgenden der zwei oder mehr Iterationen nimmt das auf maschinellem Lernen basierende Informationsextraktionsmodell die Abfrage und eine modifizierte Version des Dokuments mit einem oder mehreren Teilen der unstrukturierten Textdaten des Dokuments, die in einer oder mehreren vorherigen der zwei oder mehr Iterationen extrahiert wurden, daraus entfernt als Eingabe.
Das Fehlersuchaktionsempfehlungsmodul 118A ist konfiguriert, um zu bestimmen, ob die Teile der unstrukturierten Textdaten, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, einen zugeordneten Relevanzwert aufweisen, der einen Schwellenwert für den Relevanzwert und mindestens einen Schwellenwert für die Ähnlichkeit mit der Abfrage überschreitet, und um eine Antwort auf die Abfrage zu erzeugen, wobei die Antwort auf die Abfrage eine Teilmenge (z. B. mit verbleibender relevanter Information) der Teile der unstrukturierten Textdaten umfasst, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, von denen bestimmt wurde, dass sie zugeordnete Relevanzwerte aufweisen, die den Schwellenwert für den Relevanzwert und mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage überschreiten. Das Fehlersuchaktionsempfehlungsmodul 118A ist ferner konfiguriert, um eine empfohlene Fehlerbehebungsaktion für das gegebene Asset mindestens teilweise basierend auf der Antwort auf die Abfrage zu identifizieren und um die empfohlene Fehlerbehebungsaktion an dem gegebenen Asset durchzuführen.
Es versteht sich, dass der bestimmte Satz von Elementen, der in 1A zur iterativen Anwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells auf Dokumente mit unstrukturierten Textdaten gezeigt ist, nur als veranschaulichendes Beispiel dargestellt wird und in anderen Ausführungsformen zusätzliche oder alternative Elemente verwendet werden können. Somit kann eine andere Ausführungsform zusätzliche oder alternative Systeme, Vorrichtungen und andere Netzwerkentitäten sowie verschiedene Anordnungen von Modulen und anderen Komponenten umfassen.
Beispielsweise kann in anderen Ausführungsformen das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A extern zu dem Unternehmensreparaturzentrum 102A implementiert werden, sodass das Unternehmensreparaturzentrum 102A eliminiert werden kann. Das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A kann auch allgemeiner als ein Beispiel für einen Dokumentverarbeitungsdienst angesehen werden. 1B zeigt beispielsweise ein Informationsverarbeitungssystem 100B, das dem Informationsverarbeitungssystem 100A ähnlich ist, wobei jedoch das Unternehmensreparaturzentrum 102A durch ein Dokumentzusammenfassungssystem 102B ersetzt wird und das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A durch einen auf maschinellem Lernen basierenden Dokumentverarbeitungsdienst 112B ersetzt wird. In dem Informationsverarbeitungssystem 100B wird die IT-Infrastruktur 110A auch durch Dokumentquellen 110B ersetzt. Es wird angenommen, dass die Dokumentquellen 110B Quellen von Dokumenten sind, die durch das Dokumentzusammenfassungssystem 102B unter Verwendung des auf maschinellem Lernen basierenden Dokumentverarbeitungsdiensts 112B zusammengefasst werden sollen. In einigen Ausführungsformen können eine oder mehrere der Dokumentquellen 110B Assets einer IT-Infrastruktur umfassen.
Der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B, der dem auf maschinellem Lernen basierenden Fehlerbehebungssystem 112A ähnlich ist, ist konfiguriert, um iterativ ein auf maschinellem Lernen basierendes Informationsextraktionsmodell auf Dokumente mit unstrukturierten Textdaten anzuwenden. Obwohl in dieser Ausführungsform als ein Element des Dokumentzusammenfassungssystems 102B gezeigt, kann der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B in anderen Ausführungsformen mindestens teilweise extern zu dem Dokumentzusammenfassungssystem 102B implementiert werden, zum Beispiel als ein eigenständiger Server, Satz von Servern oder eine andere Art von System, der mit dem Netzwerk 106 gekoppelt ist. In einigen Ausführungsformen kann der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B mindestens teilweise innerhalb einer oder mehrerer der Clientvorrichtungen 104 implementiert werden.
Es wird angenommen, dass der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B, der dem auf maschinellem Lernen basierenden Fehlerbehebungssystem 112A ähnlich ist, unter Verwendung mindestens einer Verarbeitungsvorrichtung implementiert wird. Jede solche Verarbeitungsvorrichtung umfasst allgemein mindestens einen Prozessor und einen zugehörigen Speicher und implementiert ein oder mehrere Funktionsmodule zum Steuern bestimmter Merkmale des auf maschinellem Lernen basierenden Dokumentverarbeitungsdiensts 112B. In der Ausführungsform von 1B umfasst das auf maschinellem Lernen basierende Dokumentverarbeitungssystem 112B ein Dokumentanalysemodul 114B, ein rekursives Informationsextraktionsmodul 116B und ein Dokumentzusammenfassungserzeugungsmodul 118B. Die Module 114B und 116B stellen Funktionalität bereit, die derjenigen ähnlich ist, die vorstehend in Bezug auf die Module 114A und 116A beschrieben wurde, obwohl die Art des Dokuments, das verarbeitet wird, in jedem Fall unterschiedlich ist. Während zum Beispiel angenommen wird, dass die Module 114A und 116A des auf maschinellem Lernen basierenden Fehlerbehebungssystems 112A Dokumente verarbeiten, die technische Support- oder Chat-Protokolle umfassen, die mit Fehlerbehebungsassets der IT-Infrastruktur 110A assoziiert sind, können die Module 114B und 116B des auf maschinellem Lernen basierenden Dokumentverarbeitungsdiensts 112B andere Arten von Dokumenten verarbeiten, wie etwa Nachrichtenartikel, Anfragen für Vorschläge (RFPs), Forschungs- oder technische Papiere usw., die von Dokumentquellen 110B bereitgestellt werden.
Das Dokumentzusammenfassungserzeugungsmodul 118B des auf maschinellem Lernen basierenden Dokumentverarbeitungsdiensts 112B ist ähnlich dem Fehlersuchaktionsempfehlungsmodul 118A des auf maschinellem Lernen basierenden Fehlerbehebungssystems 112A konfiguriert, um zu bestimmen, ob die Teile der unstrukturierten Textdaten, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden (z. B. unter Verwendung des Moduls 116B durchgeführt), einen zugeordneten Relevanzwert aufweisen, der einen Schwellenwert für den Relevanzwert und mindestens einen Schwellenwert für die Ähnlichkeit mit der Abfrage überschreitet, und um eine Antwort auf die Abfrage zu erzeugen, wobei die Antwort auf die Abfrage eine Teilmenge (z. B. mit verbleibender relevanter Information) der Teile der unstrukturierten Textdaten umfasst, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, von denen bestimmt wurde, dass sie zugeordnete Relevanzwerte aufweisen, die den Schwellenwert für den Relevanzwert und mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage überschreiten. Während das Fehlersuchaktionsempfehlungsmodul 118A des auf maschinellem Lernen basierenden Fehlerbehebungssystems 112A die Abfrage verwendet, um empfohlene Fehlerbehebungsaktionen zu identifizieren, ist das Dokumentzusammenfassungserzeugungsmodul 118B des auf maschinellem Lernen basierenden Dokumentverarbeitungsdiensts 112B konfiguriert, um die Abfrage zu verwenden, um eine Zusammenfassung eines Dokuments zu erzeugen, die einem oder mehreren anfordernden Benutzern bereitgestellt werden kann (z. B. einem oder mehreren der Clientvorrichtungen 104 zugeordnet). Die erzeugte Dokumentzusammenfassung kann auch als Teil von Warnungen oder Benachrichtigungen bereitgestellt werden, die über Host-Agenten wie oben beschrieben geliefert werden.
Es versteht sich, dass die bestimmte Anordnung des Unternehmensreparaturzentrums 102A, des auf maschinellem Lernen basierenden Fehlerbehebungssystems 112A, des Dokumentanalysemoduls 114A, des rekursiven Informationsextraktionsmoduls 116A und des Fehlerbehebungsaktionsempfehlungsmoduls 118A, die in der Ausführungsform von 1A veranschaulicht sind, sowie die bestimmte Anordnung des Dokumentzusammenfassungssystems 102B, des auf maschinellem Lernen basierenden Dokumentverarbeitungsdiensts 112B, des Dokumentanalysemoduls 114B, des rekursiven Informationsextraktionsmoduls 116B und des Dokumentzusammenfassungserzeugungsmoduls 118B, die in der Ausführungsform von 1B veranschaulicht sind, nur beispielhaft dargestellt sind und alternative Anordnungen in anderen Ausführungsformen verwendet werden können. Wie vorstehend erörtert, können zum Beispiel das Unternehmensreparaturzentrum 102A, das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A, das Dokumentanalysemodul 114A, das rekursive Informationsextraktionsmodul 116A und das Fehlerbehebungsaktionsempfehlungsmodul 118A (und ähnlich das Dokumentzusammenfassungssystem 102B, der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B, das Dokumentanalysemodul 114B, das rekursive Informationsextraktionsmodul 116B und das Dokumentzusammenfassungserzeugungsmodul 118B) in einigen Ausführungsformen innerhalb einer oder mehrerer der Clientvorrichtungen 104 implementiert werden. Als ein anderes Beispiel kann die Funktionalität, die dem Dokumentanalysemodul 114A, dem rekursiven Informationsextraktionsmodul 116A und dem Fehlerbehebungsaktionsempfehlungsmodul 118A (oder ähnlich dem Dokumentanalysemodul 114B, dem rekursiven Informationsextraktionsmodul 116B und dem Dokumentzusammenfassungserzeugungsmodul 118B) zugeordnet ist, zu einem Modul kombiniert oder über mehr als drei Module getrennt werden, wobei die mehreren Module möglicherweise mit mehreren unterschiedlichen Prozessoren oder Verarbeitungsvorrichtungen implementiert werden.
Mindestens Teile des auf maschinellem Lernen basierenden Fehlerbehebungssystems 112A (z. B. das Dokumentanalysemodul 114A, das rekursive Informationsextraktionsmodul 116A und das Fehlerbehebungsaktionsempfehlungsmodul 118A) und des auf maschinellem Lernen basierenden Dokumentverarbeitungsdiensts 112B (z. B. das Dokumentanalysemodul 114B, das rekursive Informationsextraktionsmodul 116B und das Dokumentzusammenfassungserzeugungsmodul 118B) können mindestens teilweise in Form von Software implementiert werden, die in einem Speicher gespeichert und von einem Prozessor ausgeführt wird.
Das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A und der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B und andere Teile der Systeme 100A und 100B können in einigen Ausführungsformen Teil einer Cloud-Infrastruktur sein, wie nachstehend ausführlicher beschrieben wird. Die Cloud-Infrastruktur, die das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A oder den auf maschinellem Lernen basierenden Dokumentverarbeitungsdienst 112B hostet, kann auch eine beliebige Kombination von einer oder mehreren der Clientvorrichtungen 104, der Dokumentdatenbank 108, der IT-Infrastruktur 110A oder Dokumentquellen 110B usw. hosten.
Es wird angenommen, dass das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A und der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B und andere Komponenten der Informationsverarbeitungssysteme 100A und 100B in den Ausführungsformen von 1A und 1B unter Verwendung mindestens einer Verarbeitungsplattform implementiert werden, die eine oder mehrere Verarbeitungsvorrichtungen umfasst, die jeweils einen Prozessor aufweisen, der mit einem Speicher gekoppelt ist. Solche Verarbeitungsvorrichtungen können veranschaulichend bestimmte Anordnungen von Rechen-, Speicher- und Netzwerkressourcen beinhalten.
Die Clientvorrichtungen 104 und das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A oder der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B oder Komponenten davon (z. B. die Module 114A, 116A, 118A, 114B, 116B und 118B) können auf jeweiligen unterschiedlichen Verarbeitungsplattformen implementiert werden, obwohl zahlreiche andere Anordnungen möglich sind. Zum Beispiel werden in einigen Ausführungsformen mindestens Teile des auf maschinellem Lernen basierenden Fehlerbehebungssystems 112A oder des auf maschinellem Lernen basierenden Dokumentverarbeitungsdiensts 112B und eine oder mehrere der Clientvorrichtungen 104 auf derselben Verarbeitungsplattform implementiert. Eine gegebene Clientvorrichtung (z. B. 104-1) kann daher mindestens teilweise innerhalb mindestens einer Verarbeitungsplattform implementiert werden, die mindestens einen Teil des auf maschinellem Lernen basierenden Fehlerbehebungssystems 112A oder des auf maschinellem Lernen basierenden Dokumentverarbeitungsdiensts 112B implementiert.
Der Begriff „Verarbeitungsplattform“, wie er hier verwendet wird, soll breit ausgelegt werden, um zur Veranschaulichung und ohne Einschränkung mehrere Sätze von Verarbeitungsvorrichtungen und zugehörigen Speichersystemen zu umfassen, die konfiguriert sind, um über ein oder mehrere Netzwerke zu kommunizieren. Zum Beispiel sind verteilte Implementierungen der Systeme 100A und 100B möglich, in denen sich bestimmte Komponenten des Systems in einem Datenzentrum an einem ersten geografischen Standort befinden, während sich andere Komponenten des Systems in einem oder mehreren anderen Datenzentren an einem oder mehreren anderen geografischen Standorten befinden, die potenziell vom ersten geografischen Standort entfernt sind. Somit ist es in einigen Implementierungen der Systeme 100A und 100B möglich, dass sich die Clientvorrichtungen 104, das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A oder der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B oder Teile oder Komponenten davon in verschiedenen Datenzentren befinden. Zahlreiche andere verteilte Implementierungen sind möglich. Das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A oder der auf maschinellem Lernen basierende Dokumentverarbeitungsdienst 112B kann auch auf eine verteilte Weise über mehrere Datenzentren hinweg implementiert werden.
Zusätzliche Beispiele von Verarbeitungsplattformen, die verwendet werden, um das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A und den auf maschinellem Lernen basierenden Dokumentverarbeitungsdienst 112B in veranschaulichenden Ausführungsformen zu implementieren, werden nachstehend in Verbindung mit 14 und 15 ausführlicher beschrieben.
Es versteht sich, dass diese und andere Merkmale von veranschaulichenden Ausführungsformen lediglich als Beispiele dargestellt werden und in keiner Weise als einschränkend ausgelegt werden sollten.
Ein beispielhafter Prozess zur iterativen Anwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells auf Dokumente mit unstrukturierten Textdaten wird nun unter Bezugnahme auf das Flussdiagramm von 2 ausführlicher beschrieben. Es versteht sich, dass dieser bestimmte Prozess nur ein Beispiel ist und dass zusätzliche oder alternative Prozesse zur iterativen Anwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells auf Dokumente mit unstrukturierten Textdaten in anderen Ausführungsformen ausgeführt werden können.
In dieser Ausführungsform beinhaltet der Prozess die Schritte 200 bis 206. Es wird angenommen, dass diese Schritte durch das auf maschinellem Lernen basierende Fehlerbehebungssystem 112A unter Verwendung des Dokumentanalysemoduls 114A, des rekursiven Informationsextraktionsmoduls 116A und des Fehlerbehebungsaktionsempfehlungsmoduls 118A oder durch den auf maschinellem Lernen basierenden Dokumentverarbeitungsdienst 112B unter Verwendung des Dokumentanalysemoduls 114B, des rekursiven Informationsextraktionsmoduls 116B und des Dokumentzusammenfassungserzeugungsmoduls 118B durchgeführt werden. Der Prozess beginnt mit Schritt 200, Empfangen einer Abfrage, um Information aus einem Dokument zu extrahieren. Das Dokument umfasst unstrukturierte Textdaten. Im Kontext des Systems 100A können das Dokument und seine unstrukturierten Textdaten einem gegebenen Asset der IT-Infrastruktur zugeordnet sein. Zum Beispiel kann das Dokument mindestens eines von einem oder mehreren Support-Chat-Protokollen und einem oder mehreren Support-Anruf-Protokollen für ein Problem umfassen, das an dem gegebenen Asset angetroffen wird. Im Kontext des Systems 100B kann das Dokument ein Artikel, eine Anfrage für einen Vorschlag (RFP), ein Forschungs- oder technisches Papier usw. sein. Allgemeiner versteht es sich, dass der Prozess von 2 für jede Art von Dokument mit unstrukturierten Textdaten durchgeführt werden kann, für die es gewünscht ist, Information daraus zu extrahieren.
In Schritt 202 werden zwei oder mehr Iterationen der Verwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells durchgeführt, um Teile (z. B. Fragmente oder Sätze von Sätzen) der unstrukturierten Textdaten aus dem Dokument zu extrahieren. In jeder der zwei oder mehr Iterationen stellt das auf maschinellem Lernen basierende Informationsextraktionsmodell einen Teil der unstrukturierten Textdaten, die aus dem Dokument extrahiert wurden, und einen Relevanzwert, der dem Teil der unstrukturierten Textdaten zugeordnet ist, die aus dem Dokument in dieser Iteration extrahiert wurden, als Ausgabe bereit. In einer ersten der zwei oder mehr Iterationen nimmt das auf maschinellem Lernen basierende Informationsextraktionsmodell die Abfrage und das Dokument als Eingabe. In nachfolgenden der zwei oder mehr Iterationen nimmt das auf maschinellem Lernen basierende Informationsextraktionsmodell die Abfrage und eine modifizierte Version des Dokuments mit einem oder mehreren Teilen der unstrukturierten Textdaten des Dokuments, die in einer oder mehreren vorherigen der zwei oder mehr Iterationen extrahiert wurden, daraus entfernt als Eingabe. Mit anderen Worten wird das auf maschinellem Lernen basierende Informationsextraktionsmodell auf rekursive Weise angewendet, wobei die unstrukturierten Textdaten, die in einer vorherigen Iteration extrahiert wurden, aus dem Dokument entfernt werden, das als Eingabe in einer nachfolgenden Iteration bereitgestellt wird. In einigen Ausführungsformen werden Teile der unstrukturierten Textdaten im Dokument, die mindestens einen Ähnlichkeitsschwellenwert zu den Teilen der unstrukturierten Textdaten aufweisen, die aus dem Dokument extrahiert wurden, das als Ausgabe durch das auf maschinellem Lernen basierende Informationsextraktionsmodell bereitgestellt wird, ebenfalls entfernt.
Das auf maschinellem Lernen basierende Informationsextraktionsmodell, das in Schritt 202 verwendet wird, kann ein Fragenbeantwortungs-Verarbeitungsmodell für natürliche Sprache umfassen, das auf einem bidirektionalen Encoderdarstellung aus einem Transformatorenmodell (BERT-Modell) basieren kann. Schritt 202 kann Durchführen der zwei oder mehr Iterationen umfassen, bis eine oder mehrere festgelegte Stoppbedingungen erreicht sind, wie etwa bei Erreichen einer Schwellenwertanzahl von Iterationen, Bestimmen, dass der Relevanzwert für einen Teil der unstrukturierten Textdaten, die aus dem Dokument extrahiert wurden, einen Relevanzwert bei oder unter einem Schwellenwert für den Relevanzwert aufweist.
Der Prozess von 2 fährt mit Bestimmen fort, ob die Teile der unstrukturierten Textdaten, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, einen zugeordneten Relevanzwert aufweisen, der einen Schwellenwert für den Relevanzwert und mindestens einen Schwellenwert für die Ähnlichkeit mit der Abfrage in Schritt 204 überschreitet. Eine Antwort auf die Abfrage wird in Schritt 206 erzeugt, wobei die Antwort auf die Abfrage eine Teilmenge (z. B. mit verbleibenden relevanten Informationen) der Teile der unstrukturierten Textdaten umfasst, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, von denen bestimmt wurde, dass sie zugeordnete Relevanzwerte aufweisen, die den Schwellenwert für den Relevanzwert und mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage überschreiten. Die Teilmenge der Teile der unstrukturierten Textdaten des Dokuments, die in den zwei oder mehr Iterationen extrahiert wurden, kann ferner eine Länge aufweisen, die eine Schwellenwertlänge überschreitet.
Schritt 206 kann Bestimmen, ob ein gegebener Teil der unstrukturierten Textdaten, die aus dem Dokument in einer gegebenen Iteration extrahiert wurden, mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage aufweist, durch Umwandeln der Abfrage und des gegebenen Teils der unstrukturierten Textdaten in jeweilige erste und zweite Dokumentvektoren, Berechnen eines Ähnlichkeitswerts zwischen den ersten und zweiten Dokumentvektoren, Anhängen des gegebenen Teils der unstrukturierten Textdaten an die Antwort auf die Abfrage, wenn der berechnete Ähnlichkeitswert größer oder gleich einem festgelegten Ähnlichkeitsschwellenwert ist, und Unterlassen des Anhängens des gegebenen Teils der unstrukturierten Textdaten an die Antwort auf die Abfrage, wenn der berechnete Ähnlichkeitswert unter dem festgelegten Ähnlichkeitsschwellenwert liegt, umfassen. Umwandeln der Abfrage und des gegebenen Teils der unstrukturierten Textdaten in jeweilige erste und zweite Vektoren kann Verwenden von mindestens einem von einem verteilten Speichermodell von Absatzvektoren (PV-DM) und einem verteilten Bag-of-Words-Modell von Absatzvektoren (PV-DBOW) umfassen, die beide Typen von Doc2Vec-Modellen sind. In einigen Ausführungsformen wird eine Kosinusähnlichkeit zwischen den ersten und zweiten Dokumentvektoren berechnet. Die Kosinusähnlichkeit repräsentiert eins minus eine Kosinusdistanz und kann somit verwendet werden, um einen Distanzwert zwischen den ersten und zweiten Dokumentvektoren abzuleiten. Es sollte beachtet werden, dass Bezugnahmen hier auf Berechnen von Ähnlichkeitswerten und Bestimmen, ob berechnete Ähnlichkeitswerte bei oder über einem festgelegten Ähnlichkeitsschwellenwert liegen, Berechnen von Distanzwerten und Bestimmen, ob die berechneten Distanzwerte bei oder unter einem festgelegten Distanzschwellenwert liegen, entsprechen.
Im Kontext des Systems 100A kann der Prozess von 2 nach Schritt 206 mit Identifizieren einer empfohlenen Fehlerbehebungsaktion für das gegebene Asset mindestens teilweise basierend auf der Antwort auf die Abfrage fortfahren. Die empfohlene Fehlerbehebungsaktion kann dann an dem gegebenen Asset durchgeführt werden. Die empfohlene Fehlerbehebungsaktion kann mindestens eine von einer Diagnoseaktion und einer Reparaturaktion umfassen. Das gegebene Asset kann eine Rechenvorrichtung umfassen, und die empfohlene Fehlerbehebungsaktion kann das Modifizieren von mindestens einer von einer oder mehreren Softwarekomponenten der Rechenvorrichtung und einer oder mehreren Hardwarekomponenten der Rechenvorrichtung umfassen.
Im Kontext des Systems 100B kann der Prozess von 2 nach Schritt 206 mit Erzeugen einer Zusammenfassung des Dokuments mindestens teilweise basierend auf der Antwort auf die Abfrage fortfahren. Diese Zusammenfassung kann einem anfordernden Benutzer bereitgestellt werden, kann in einer Warnung oder Benachrichtigung enthalten sein, die unter Verwendung eines Host-Agenten geliefert wird, usw.
In verschiedenen Anwendungsfallszenarien besteht ein Bedarf, große Mengen an unstrukturierten Textdaten zu verarbeiten. Verschiedene Ausführungsformen werden nachstehend in Bezug auf Anwendungsfälle in Supportkontexten beschrieben, in denen es erhebliche technische Herausforderungen gibt, die mit dem effektiven Verwenden von Text- und/oder Audiotranskripten (z. B. Anruf-Protokolle, Chat-Protokolle usw.) von Konversationen zwischen Kunden oder anderen Endbenutzern und Supportagenten assoziiert sind, während sie durch das Lösen eines Problems arbeiten. Interaktionen zwischen Kunden und Supportagenten (oder nachgeschalteten Reparaturtechnikern im Fall von Hardware- und Software-Fehlerbehebung von IT-Assets) können auf unstrukturierte Weise Wort für Wort gespeichert werden, basierend auf zufälliger Eingabe von den Kunden, während sie Probleme beschreiben, die den Supportagenten angetroffen werden. Es kann erhebliche Variation geben, die auftritt, da verschiedene Supportagenten verschiedenen Text verwenden können (z. B. verschiedene Formulierungen, verschiedene Reihen von Diagnose- und Reparaturaktionen usw.), um zu beschreiben, wie sie Kundenprobleme lösen. Unstrukturierte Textdaten stellen zusätzliche Herausforderungen für Techniken zur Verarbeitung natürlicher Sprache (NLP-Techniken) nach dem Stand der Technik dar. Die Schwierigkeit besteht darin, nur die relevanten Informationen aus Text zu extrahieren, der sowohl verrauscht als auch unstrukturiert ist.
Veranschaulichende Ausführungsformen stellen Techniken zum Entfernen von unerwünschtem Rauschen aus unstrukturierten Textdaten bereit, während relevante Informationen bewahrt werden. Solche Techniken haben verschiedene Anwendungen, wie etwa beim Extrahieren relevanter Informationen aus technischen Support-Anruf- oder Chat-Protokollen, Verkaufsdokumenten, Nachrichtenartikeln usw. Unter Verwendung der hier beschriebenen Techniken werden erhebliche Verbesserungen in Datenverarbeitungssystemen bereitgestellt, da teure und zeitaufwändige manuelle Prozesse durch automatisierte Verarbeitung ersetzt werden. Die automatisierte Verarbeitung stellt zusätzliche Vorteile bereit, da die manuelle Verarbeitung unstrukturierter Textdaten fehleranfällig, umständlich und kostspielig zu implementieren sein kann. Zum Beispiel kann ein Unternehmen oder eine andere Entität versuchen, Anruf- oder Chat-Transkripte als Eingaben für die Entscheidungsfindung in Anwendungen für maschinelles Lernen zu verwenden. Fehler, die während der Verarbeitung der unstrukturierten Textdaten gemacht werden, verschlechtern die Genauigkeit des Modells für maschinelles Lernen, was sich auf die Wirksamkeit verschiedener nachgelagerter Prozesse auswirkt.
Herkömmliche auf maschinellem Lernen basierende NLP-Techniken erzielen einen begrenzten Erfolg, wenn die Eingabe unstrukturierte Textdaten sind. Eine zusätzliche Verarbeitung unter Verwendung manueller Bereinigung ist üblicherweise erforderlich und führt zu subjektiver Interpretation, erhöhter Variation und Fehler. Einige Ausführungsformen stellen vorteilhafterweise eine objektive Interpretation bereit, die Variation entfernt und in ihrer Ausgabe durch eine neuartige Anwendung von Deep-Learning-Techniken konsistent ist. Dies stellt verschiedene Verbesserungen in Bezug auf herkömmliche NLP-Techniken bereit, wie etwa Musterabgleich, Zusammenfassung und extrahierende Fragebeantwortungsmodelle. Musterabgleich, um Information zu extrahieren und unerwünschtes Rauschen aus unstrukturierten Textdaten zu entfernen, erfordert viele handgefertigte Regeln, die regelmäßig aktualisiert werden müssen. Zusammenfassungstechniken unter Verwendung von Modellen für maschinelles Lernen fassen Information in unstrukturierten Textdaten zusammen. Zusammenfassung kann jedoch dazu führen, dass einige Signale verloren gehen, insbesondere wenn das Ziel ist, Information einem nachgelagerten NLP- oder Textverarbeitungsmodell zuzuführen. Herkömmliche extrahierende fragebeantwortende Deep-Learning-Modelle stellen vortrainierte Modelle bereit, die Antworten in kurzen Phrasen (z. B. typischerweise vier Wörter oder weniger) bereitstellen und somit zu Informationsverlust führen können.
In einigen Ausführungsformen wird ein extrahierendes fragebeantwortendes Deep-Learning-Modell rekursiv in mehreren Iterationen für einen gegebenen Eingabetext angewendet, um die relevantesten Informationen daraus zu extrahieren. Durch Isolieren der relevantesten Informationen aus unerwünschtem oder verrauschtem Text ermöglichen solche Ausführungsformen eine präzisere Nachrichtenübermittlung in nachgelagerte NLP-Anwendungen. Einige Ausführungsformen stellen Techniken zum Extrahieren der relevantesten Informationen aus beliebigen Textdaten unabhängig von der Domäne, aus der die Daten stammen, bereit. Dazu stellen einige Ausführungsformen eine einzigartige Lösung zum Anwenden eines extrahierenden fragebeantwortenden Deep-Learning-Modells auf eine rekursive Weise bereit, die eine vorherige Antwort aus einem Korpus entfernt, kombiniert mit zusätzlichen Gültigkeitsprüfungen (z. B. unter Verwendung von Dokumentvektortechniken). Auf diese Weise stellen Ausführungsformen Lösungen bereit, die zu signifikant genaueren und vollständigeren Informationen im Vergleich zur Verwendung eines extrahierenden fragenbeantwortenden Deep-Learning-Modells allein führen, wie nachstehend in Bezug auf 10A und 10B ausführlicher beschrieben wird.
3 zeigt einen Prozessablauf zur rekursiven Anwendung eines fragenbeantwortenden Deep-Learning-Modells. In Block 301 wird eine Textzeichenfolge „INPUT“ bereitgestellt und eine leere Zeichenfolge „FINAL ANSWER“ wird initialisiert. Es wird angenommen, dass die Textzeichenfolge INPUT unstrukturierte Textdaten umfasst, aus denen eine Antwort in Form von FINAL ANSWER extrahiert werden soll. In einigen Ausführungsformen wird eine gewisse Vorverarbeitung auf INPUT angewendet, wie z. B. Durchführen von Normalisierung, Erkennen von Wörtern usw. Eine Frage „Q“ wird in Block 303 basierend auf Informationen, die aus INPUT extrahiert werden sollen, gestellt. In Block 305 wird ein Bewertungsschwellenwert „STH“ definiert. Block 305 kann auch Definieren eines optionalen Längenschwellenwerts „LTH“ beinhalten. Der Bewertungsschwellenwert S_TH wird verwendet, um Ergebnisse aus einem Fragebeantwortenden Modell zu filtern, sodass die Antwort, die daraus in einer bestimmten Iteration extrahiert wurde, eine gewisse Schwellenwertrelevanz für die Frage Q aufweist. Der Längenschwellenwert L_TH stellt sicher, dass die extrahierten Antworten eine gewisse Mindestlänge (z. B. 5 Wörter) aufweisen. Der genaue Längenwert von L_TH kann basierend auf der Domäne des unstrukturierten Texts in INPUT ausgewählt werden. Die Verwendung des optionalen Längenschwellenwerts L_TH kann die Qualität der Ausgabe in FINAL ANSWER verbessern.
In Block 307 wird ein vortrainiertes Fragebeantwortendes Modell auf INPUT unter Verwendung von Q angewendet, um eine Antwort „A“ mit einer assoziierten Bewertung „S“ und Länge „L“ zu erhalten. Eine Bestimmung wird in Block 309 vorgenommen, ob S > S_TH und, wenn der optionale Längenschwellenwert L_TH definiert ist, ob L > L_TH. Wenn das Ergebnis der Bestimmung von Schritt 309 ja ist, fährt die Verarbeitung mit Block 311 fort, wo A und Q in Dokumentvektoren „A_VEC“ bzw. „Q_VEC“ umgewandelt werden. Block 311 kann das Doc2Vec-Modell verwenden, wo das Doc2Vec-Modell an einem geeigneten Korpus für die Domäne der Eingabetextzeichenfolge trainiert wird. Wenn INPUT zum Beispiel ein Anruf- oder Chat-Support-Protokoll umfasst, kann das Doc2Vec-Modell an einem Satz von historischen Anruf- oder Chat-Support-Protokollen (z. B. 100.000 Anruf-Protokollen) trainiert werden. Es versteht sich, dass Ausführungsformen nicht ausschließlich auf die Verwendung mit dem Doc2Vec-Modell beschränkt sind. Verschiedene andere Werkzeuge und Modelle können verwendet werden, wie etwa das BERT-Sprachmodell. In Block 313 wird ein Ähnlichkeitswert „D“ zwischen den Dokumentvektoren A_VEC und Q_VEC berechnet. Wenn das Ergebnis der Bestimmung von Block 315 ja ist, fährt die Verarbeitung mit Block 317 fort, wo A an FINAL ANSWER angehängt wird. Wenn das Ergebnis der Bestimmung von Block 315 nein ist, fährt die Verarbeitung mit Block 319 fort, wo A nicht an FINAL ANSWER angehängt wird. Die verschiedenen Schwellenwerte (z. B. STH, LTH, DTH usw.) können basierend auf der Domäne der Eingabetextzeichenfolge eingestellt oder entschieden werden.
Nach den Blöcken 317 und 319 fährt die Verarbeitung mit Block 321 fort. In Block 321 wird A aus INPUT entfernt. Optional beinhaltet Block 321 auch Entfernen ähnlicher Fragmente „AsIM“ aus INPUT. Die ähnlichen Fragmente A_SIM umfassen Textfragmente in INPUT mit einem festgelegten Schwellenwert für die Ähnlichkeit mit A. Es ist anzumerken, dass das Entfernen der ähnlichen Fragmente A_SIM ein optionaler Schritt ist, der dazu beitragen kann, doppelte Einträge in FINAL ANSWER zu vermeiden. In einigen Ausführungsformen wird anstelle des Entfernens der ähnlichen Fragmente A_SIM in Block 321 eine Nachverarbeitung auf FINAL ANSWER angewendet, um doppelte Einträge daraus zu entfernen. Nach Block 321 kehrt die Verarbeitung zu Block 307 zurück, und die Blöcke 309 bis 321 werden rekursiv wiederholt. Die Antwort A, die aus dem Fragebeantwortenden Modell in jeder Iteration ausgegeben wird, wird aus INPUT entfernt, sodass in nachfolgenden Iterationen INPUT geändert wird und neue Antworten aus der Anwendung des vortrainierten Fragebeantwortenden Modells in Block 307 erhalten werden. Die Iterationen fahren fort, bis das Ergebnis der Bestimmung von Block 309 nein ist. Wenn das Ergebnis der Bestimmung von Block 309 nein ist, wird die FINAL ANSWER in Block 323 ausgegeben. Wie oben angemerkt, kann in einigen Ausführungsformen eine gewisse Nachverarbeitung auf die FINAL ANSWER angewendet werden. Eine solche Nachverarbeitung kann Entfernen doppelter Einträge, Neuordnen der Ausgabe (z. B. basierend auf der Sequenz, in der die Fragmente A im Originaltext von INPUT auftreten) usw. beinhalten.
4 zeigt ein Beispiel für unstrukturierte Textdaten 400, die zur Verwendung als Eingabetextzeichenfolge INPUT im Prozessablauf von 3 geeignet sind. Die unstrukturierten Textdaten 400 sind mit einer technischen Support-Protokolldomäne assoziiert und weisen eine Frage Q von „Was ist das Problem?“ und einen Schwellenwert für den Wert S_TH von 0,0001 auf. 5A und 5B veranschaulichen das Ergebnis der Iterationen 1, 2, 3 und 19 für die unstrukturierten Textdaten 400 unter Verwendung des Prozessablaufs von 3 mit der Frage „Was ist das Problem?“. In Iteration 1 ist die Antwort A „Kein POST“, die einen zugeordneten Wert S (0,426639767) aufweist, der den Schwellenwert für den Wert S_TH (0,0001) überschreitet, und einen Ähnlichkeitswert D zwischen dem Dokumentvektor der extrahierten Antwort und dem Dokumentvektor der Frage, der größer oder gleich dem festgelegten Ähnlichkeitsschwellenwert D_TH ist. In Iteration 2 ist die Antwort A „Kunde sagt, dass er einen schwarzen Bildschirm erhält, nachdem er den Computer eingeschaltet hat“, die auch einen zugeordneten Wert S (0,032062736) aufweist, der den Schwellenwert für den Wert S_TH überschreitet, und einen Ähnlichkeitswert D zwischen dem Dokumentvektor der extrahierten Antwort und dem Dokumentvektor der Frage, der größer oder gleich dem festgelegten Ähnlichkeitsschwellenwert D_TH ist. In Iteration 3 ist die Antwort A „Der Einschaltknopf und die Tastatur leuchtet auf“, die auch einen zugeordneten Wert S (0,09033893) aufweist, der den Schwellenwert für den Wert S_TH überschreitet, und einen Ähnlichkeitswert D zwischen dem Dokumentvektor der extrahierten Antwort und dem Dokumentvektor der Frage, der größer oder gleich dem festgelegten Ähnlichkeitsschwellenwert D_TH ist. In Iteration 19 ist die Antwort A „E-Mail-Adresse erhalten und in Dienstaufzeichnung aktualisiert“, die auch einen zugeordneten Wert S (0,188590471957926) aufweist, der den Schwellenwert für den Wert S_TH überschreitet, aber einen Ähnlichkeitswert D zwischen dem Dokumentvektor der extrahierten Antwort und dem Dokumentvektor der Frage, der kleiner als der festgelegte Ähnlichkeitsschwellenwert D_TH ist. Dementsprechend wird die Antwort aus Iteration 19 nicht in der finalen Antwort enthalten sein.
6A-6C zeigen jeweilige Abschnitte 600-1, 600-2, 600-3 (zusammen 600) einer Tabelle, die die rekursive Anwendung des fragenbeantwortenden Deep-Learning-Modells mit der Frage Q „Was ist das Problem?“ zusammenfasst. Die Tabelle 600 enthält Spalten für Iterationsanzahl, extrahierte Antwort A, Wert S und Gültigkeit (z. B. ob D > D_TH). 6D zeigt eine beispielhafte finale Ausgabeantwort 605, die durch Verketten der extrahierten Antworten gebildet wird, die aus der Tabelle 600 als gültig bestimmt werden. Es versteht sich, dass die extrahierten Antworten und die resultierende Ausgabe auf der angegebenen Frage Q basieren. 6A-6D veranschaulichen beispielsweise die Ergebnisse von Iterationen, die unter Verwenden der Frage „Was ist das Problem?“ durchgeführt werden. 7A und 7B zeigen jeweilige Abschnitte 700-1 und 700-2 (zusammen 700) einer Tabelle, die die Ergebnisse von Iterationen zeigen, die unter Verwenden der Frage „Was ist das Problem?“ durchgeführt werden, und 8A und 8B zeigen jeweilige Abschnitte 800-1 und 800-2 (zusammen 800) einer Tabelle, die die Ergebnisse von Iterationen zeigen, die unter Verwenden der Frage „Was ist die Problematik?“ durchgeführt werden. Wie durch die Tabellen 600, 700 und 800 veranschaulicht, ist die Antwort oder Ausgabe ähnlich, wenn die Eingabefrage Q neu formuliert wird.
Eine weitere beispielhafte Anwendung des Prozessablaufs von 3 ist in 9A und 9B veranschaulicht. 9A zeigt unstrukturierte Textdaten 900, die als Eingabetextzeichenfolge verwendet werden. Die unstrukturierten Textdaten 900 sind ähnlich wie die unstrukturierten Textdaten 400 in der Domäne von technischen Support-Protokollen und verwenden eine Frage Q von „Was ist die Störung?“ mit einem Schwellenwert für den Wert S_TH von 0,0001. 9B zeigt eine Tabelle 905 von Ergebnissen von Iterationen, die unter Verwendung des Prozessablaufs von 3 an der Eingabetextzeichenfolge der unstrukturierten Textdaten 900 durchgeführt werden. Die Tabelle 905 enthält neben Spalten für Iterationsanzahl, extrahierte Antwort, Wert und Gültigkeit ähnlich wie die Tabellen 600, 700 und 800 auch eine Spalte für die vorhergesagte Kategorie. In einigen Ausführungsformen wird die Ausgabe des Fragenbeantwortenden Modells einem geeigneten Textverarbeitungsmodell zugeführt, das in jeder Iteration nicht nur die Antwort A und den zugeordneten Wert S, sondern auch eine Kategorisierung der Antwort A bereitstellen kann. Im Beispiel von 9B sind die möglichen Kategorien Symptom, Diagnoseaktion, Attribut und Reparaturaktion.
Wie oben ausführlich beschrieben, stellen veranschaulichende Ausführungsformen eine einzigartige Lösung bereit, die ein extrahierendes fragebeantwortendes Deep-Learning-Modell auf eine rekursive Weise anwendet, die vorherige Antworten aus dem Eingabekorpus entfernt. Veranschaulichende Ausführungsformen führen ferner zusätzliche Gültigkeitsprüfungen an extrahierten Antworten unter Verwendung von Dokumentvektortechniken durch. Infolgedessen stellen veranschaulichende Ausführungsformen verschiedene Vorteile bereit, wie etwa das Bereitstellen signifikant genauerer und vollständigerer Informationen in Bezug auf herkömmliche Techniken, die ein extrahierendes fragenbeantwortendes Deep-Learning-Modell allein verwenden.
10A und 10B zeigen die Verbesserungen der Verwendung des extrahierenden Fragebeantwortungsmodells mit Entfernung vorheriger Antworten in Bezug auf die Verwendung eines einzelnen Durchlaufs eines extrahierenden Fragebeantwortungsmodells. In dem Test war die verwendete Plattform ein Python-Huggingface-Transformatorenmodul für das extrahierende Fragebeantwortungsmodell und ein Gensim-Modell für Doc2Vec. Die Leistungszeit für die rekursive Anwendung des extrahierenden Fragebeantwortungsmodells verwendete 6 Sekunden pro Iteration, mit 5-10 Iterationen pro Aufrufprotokoll und einer Gesamtzeit von 30-60 Sekunden. Die Leistungszeit für die Einzeldurchlaufanwendung des extrahierenden Fragebeantwortungsmodells war eine Iteration mit einer Gesamtzeit von 5 Sekunden.
10A zeigt eine Tabelle 1000 von Ergebnissen, die aus der Verwendung des abgetasteten Eingabetexts unstrukturierter Textdaten 900 in 9A mit der rekursiven Anwendung des extrahierenden Fragebeantwortungsmodells erhalten wurden, zusammen mit zusammenfassenden Leistungsergebnissen 1005, die eine Genauigkeit von 70 % und einen Rückruf von 100 % beinhalten. Die Genauigkeit repräsentiert die Anzahl extrahierter informativer Sätze relativ zu der Gesamtzahl extrahierter Sätze, während der Rückruf die Anzahl extrahierter informativer Sätze relativ zu der Gesamtzahl informativer Sätze repräsentiert. 10B zeigt eine Tabelle 1010 von Ergebnissen, die aus der Einzeldurchlaufanwendung des extrahierenden Fragebeantwortungsmodells erhalten wurden, zusammen mit zusammenfassenden Leistungsergebnissen 1015, die eine Genauigkeit von 38 % und einen Rückruf von 30 % beinhalten. In der Tabelle 1010 wird eine Gültigkeit von „unvollständig“ als ungültig behandelt. Das extrahierende Fragebeantwortungsmodell, das verwendet wird, um die Abtastergebnisse in 10A und 10B zu erhalten, ist ein Fragebeantwortungsmodell basierend auf BERT mit einem Doc2Vec-Modell, das an Reparaturaufrufprotokollen trainiert ist. Wie durch 10A und 10B gezeigt, extrahiert die rekursive Anwendung des Fragebeantwortungsmodells genauere und vollständigere Informationen in Bezug auf die nicht rekursive oder Einzeldurchlaufanwendung des extrahierenden Fragebeantwortungsmodells.
Ein weiteres Beispiel einer Anwendung des Prozessablaufs von 3 ist in 11-13C veranschaulicht. 11 zeigt unstrukturierte Textdaten 1100, die als Eingabetextzeichenfolge verwendet werden. Die unstrukturierten Textdaten 1100 befinden sich in der Domäne von Nachrichtenartikeln und verwenden eine Frage Q von „Wie half Entity_ A der Filmschule?“. 12 zeigt eine Tabelle 1200 von Ergebnissen von Iterationen, die unter Verwendung des Prozessablaufs von 3 an der Eingabetextzeichenfolge der unstrukturierten Textdaten 1100 mit einem Bewertungsschwellenwert STH von 0,01 durchgeführt werden, zusammen mit der daraus erzeugten endgültigen Antwort 1205. 13A und 13B zeigen Teile 1300-1 und 1300-2 einer Tabelle 1300 von Ergebnissen von Iterationen, die unter Verwendung des Prozessablaufs von 3 an der Eingabetextzeichenfolge der unstrukturierten Textdaten 1100 mit einem Bewertungsschwellenwert S_TH von 0,001 durchgeführt werden. 13C zeigt die daraus erzeugte resultierende endgültige Antwort 1305.
In einigen Ausführungsformen kann ein digitaler Reparaturprozess (z. B. wie durch Reparaturzentren Dritter, die mit einem Unternehmen assoziiert sind, implementiert) die Fähigkeit für das, was als „Swap-and-Test“ bezeichnet wird, beinhalten. „Swap-and-Test“ verwendet Support-Anruf-Protokolle als Eingabe in ein maschinelles Lernmodell, das die relevanten Informationen extrahiert, um eine Teileempfehlung (oder eine andere Diagnose- oder Reparaturaktionsempfehlung) mit einem hohen Grad an Vertrauen zu machen. Die Verwendung herkömmlicher NLP-Techniken zum Extrahieren relevanter Informationen aus technischen Support-Anruf-Protokollen hat jedoch eine Wirksamkeit von nur 40 %, wodurch sich nur 5 % der digitalen Reparaturmenge (z. B. 100/Tag) auswirken. Die hier beschriebenen Techniken ermöglichen jedoch die Entfernung von mehr als 80 % des unerwünschten Anruf-Protokoll-Rauschens, was die „Swap-and-Test“-Menge effektiv auf 10 % (z. B. 200/Tag) verdoppelt. Durch Erhöhen der Wirksamkeit der Extraktion relevanter Informationen erhöht sich die Genauigkeit des Modells für maschinelles Lernen entsprechend und wirkt sich auf einen viel größeren Anteil von Anruf-Protokollen aus.
Vorteilhafterweise kann die Verbesserung der Wirksamkeit des „Swap-and-Test“-Prozesses dazu beitragen, die Customer-Turnaround-Time (TAT) zu reduzieren und Reparaturen zu rationalisieren, indem die Triage-Time eliminiert wird und die Teil-Vorlaufzeit reduziert wird. Globale Vorlaufzeiten können beispielsweise von 45 Minuten bis 2 Tage variieren, da sie die automatische Ordnung von Teilen beinhalten, die durch ein Modell für maschinelles Lernen empfohlen werden. Wenn die Wirksamkeit oder Genauigkeit des Modells für maschinelles Lernen suboptimal ist, kann der automatische Ordnungsprozess das falsche Teil empfehlen und die Verarbeitungszeit negativ erhöhen. Wie oben angemerkt, sind Ausführungsformen nicht auf die Verwendung in dem Anwendungsbereich der Verarbeitung von technischen Support-Anruf- oder Chat-Protokollen beschränkt. Ausführungsformen können in einer großen Vielfalt anderer Anwendungsbereiche verwendet werden, einschließlich, aber nicht beschränkt auf das Analysieren von Verkaufsdokumenten, Nachrichtenartikeln usw.
Es versteht sich, dass die bestimmten Vorteile, die oben und an anderer Stelle hierin beschrieben sind, bestimmten veranschaulichenden Ausführungsformen zugeordnet sind und in anderen Ausführungsformen nicht vorhanden sein müssen. Außerdem sind die bestimmten Arten von Informationsverarbeitungssystemmerkmalen und -funktionalität, wie in den Zeichnungen veranschaulicht und oben beschrieben, lediglich beispielhaft, und zahlreiche andere Anordnungen können in anderen Ausführungsformen verwendet werden.
Veranschaulichende Ausführungsformen von Verarbeitungsplattformen, die verwendet werden, um Funktionalität zur iterativen Anwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells auf Dokumente mit unstrukturierten Textdaten zu implementieren, werden nun unter Bezugnahme auf 14 und 15 ausführlicher beschrieben. Obwohl im Kontext des Systems 100 beschrieben, können diese Plattformen auch verwendet werden, um mindestens Teile anderer Informationsverarbeitungssysteme in anderen Ausführungsformen zu implementieren.
14 zeigt eine beispielhafte Verarbeitungsplattform, die eine Cloud-Infrastruktur 1400 umfasst. Die Cloud-Infrastruktur 1400 umfasst eine Kombination von physischen und virtuellen Verarbeitungsressourcen, die verwendet werden können, um mindestens einen Teil des Informationsverarbeitungssystems 100A in 1A oder des Informationsverarbeitungssystems 100B in 1B zu implementieren. Die Cloud-Infrastruktur 1400 umfasst mehrere virtuelle Maschinen (VMs) und/oder Containersätze 1402-1, 1402-2,... 1402-L, die unter Verwendung einer Virtualisierungsinfrastruktur 1404 implementiert sind. Die Virtualisierungsinfrastruktur 1404 läuft auf einer physischen Infrastruktur 1405 und umfasst veranschaulichend einen oder mehrere Hypervisoren und/oder eine Virtualisierungsinfrastruktur auf Betriebssystemebene. Die Virtualisierungsinfrastruktur auf Betriebssystemebene umfasst veranschaulichend Kernelsteuergruppen eines Linux-Betriebssystems oder einer anderen Art von Betriebssystem.
Die Cloud-Infrastruktur 1400 umfasst ferner Sätze von Anwendungen 1410-1, 1410-2,... 1410-L, die auf jeweiligen der VMs/Containersätze 1402-1, 1402-2,... 1402-L unter der Steuerung der Virtualisierungsinfrastruktur 1404 laufen. Die VMs/Containersätze 1402 können jeweilige VMs, jeweilige Sätze von einem oder mehreren Containern oder jeweilige Sätze von einem oder mehreren Containern, die in VMs laufen, umfassen.
In einigen Implementierungen der Ausführungsform von 14 umfassen die VMs/Containersätze 1402 jeweilige VMs, die unter Verwendung einer Virtualisierungsinfrastruktur 1404 implementiert sind, die mindestens einen Hypervisor umfasst. Eine Hypervisorplattform kann verwendet werden, um einen Hypervisor innerhalb der Virtualisierungsinfrastruktur 1404 zu implementieren, wobei die Hypervisorplattform ein assoziiertes virtuelles Infrastrukturverwaltungssystem aufweist. Die zugrunde liegenden physischen Maschinen können eine oder mehrere verteilte Verarbeitungsplattformen umfassen, die ein oder mehrere Speichersysteme beinhalten.
In anderen Implementierungen der Ausführungsform von 14 umfassen die VMs/Containersätze 1402 jeweilige Container, die unter Verwendung einer Virtualisierungsinfrastruktur 1404 implementiert sind, die eine Virtualisierungsfunktionalität auf Betriebssystemebene bereitstellt, wie etwa eine Unterstützung für Docker-Container, die auf Bare-Metal-Hosts laufen, oder Docker-Container, die auf VMs laufen. Die Container sind veranschaulichend unter Verwendung jeweiliger Kernelsteuergruppen des Betriebssystems implementiert.
Wie aus dem Vorstehenden ersichtlich ist, können ein oder mehrere der Verarbeitungsmodule oder andere Komponenten des Systems 100A oder Systems 100B jeweils auf einem Computer, Server, Speichervorrichtung oder einem anderen Verarbeitungsplattformelement laufen. Ein gegebenes derartiges Element kann als ein Beispiel dafür angesehen werden, was hier allgemeiner als eine „Verarbeitungsvorrichtung“ bezeichnet wird. Die in 14 gezeigte Cloud-Infrastruktur 1400 kann mindestens einen Teil einer Verarbeitungsplattform repräsentieren. Ein anderes Beispiel einer derartigen Verarbeitungsplattform ist die in 15 gezeigte Verarbeitungsplattform 1500.
Die Verarbeitungsplattform 1500 in dieser Ausführungsform umfasst einen Teil des Systems 100A oder Systems 100B und beinhaltet eine Vielzahl von Verarbeitungsvorrichtungen, die mit 1502-1, 1502-2, 1502-3,... 1502-K bezeichnet sind, die über ein Netzwerk 1504 miteinander kommunizieren.
Das Netzwerk 1504 kann eine beliebige Art von Netzwerk umfassen, einschließlich beispielsweise eines globalen Computernetzwerks, wie etwa das Internet, ein WAN, ein LAN, ein Satellitennetzwerk, ein Telefon- oder Kabelnetzwerk, ein Mobilfunknetzwerk, ein drahtloses Netzwerk, wie etwa ein WiFi- oder WiMAX-Netzwerk, oder verschiedener Teile oder Kombinationen dieser und anderer Arten von Netzwerken.
Die Verarbeitungsvorrichtung 1502-1 in der Verarbeitungsplattform 1500 umfasst einen Prozessor 1510, der mit einem Speicher 1512 gekoppelt ist.
Der Prozessor 1510 kann einen Mikroprozessor, einen Mikrocontroller, eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine zentrale Verarbeitungseinheit (CPU), eine grafische Verarbeitungseinheit (GPU), eine Tensorverarbeitungseinheit (TPU), eine Videoverarbeitungseinheit (VPU) oder eine andere Art von Verarbeitungsschaltungsanordnung sowie Teile oder Kombinationen derartiger Schaltungselemente umfassen.
Der Speicher 1512 kann Direktzugriffsspeicher (RAM), Nurlesespeicher (ROM), Flash-Speicher oder andere Arten von Speicher in beliebiger Kombination umfassen. Der Speicher 1512 und andere hier offenbarte Speicher sollten als veranschaulichende Beispiele dessen angesehen werden, was allgemeiner als „prozessorlesbare Speichermedien“ bezeichnet wird, die ausführbaren Programmcode von einem oder mehreren Softwareprogrammen speichern.
Herstellungsartikel, die derartige prozessorlesbare Speichermedien umfassen, werden als veranschaulichende Ausführungsformen betrachtet. Ein gegebener derartiger Herstellungsartikel kann zum Beispiel ein Speicherarray, eine Speicherplatte oder eine integrierte Schaltung umfassen, die RAM, ROM, Flash-Speicher oder anderen elektronischen Speicher oder eine beliebige einer großen Vielfalt anderer Arten von Computerprogrammprodukten enthält. Der Begriff „Herstellungsartikel“, wie er hier verwendet wird, sollte so verstanden werden, dass er flüchtige, sich ausbreitende Signale ausschließt. Zahlreiche andere Arten von Computerprogrammprodukten, die prozessorlesbare Speichermedien umfassen, können verwendet werden.
In der Verarbeitungsvorrichtung 1502-1 ist auch eine Netzwerkschnittstellenschaltungsanordnung 1514 enthalten, die verwendet wird, um die Verarbeitungsvorrichtung mit dem Netzwerk 1504 und anderen Systemkomponenten zu verbinden, und kann herkömmliche Sendeempfänger umfassen.
Es wird angenommen, dass die anderen Verarbeitungsvorrichtungen 1502 der Verarbeitungsplattform 1500 auf eine ähnliche Weise konfiguriert sind wie die, die für die Verarbeitungsvorrichtung 1502-1 in der Figur gezeigt ist.
Wiederum ist die bestimmte Verarbeitungsplattform 1500, die in der Figur gezeigt ist, nur beispielhaft dargestellt, und das System 100A oder das System 100B kann zusätzliche oder alternative Verarbeitungsplattformen sowie zahlreiche unterschiedliche Verarbeitungsplattformen in beliebiger Kombination umfassen, wobei jede solche Plattform einen oder mehrere Computer, Server, Speichervorrichtungen oder andere Verarbeitungsvorrichtungen umfasst.
Zum Beispiel können andere Verarbeitungsplattformen, die verwendet werden, um veranschaulichende Ausführungsformen zu implementieren, eine konvergierte Infrastruktur umfassen.
Es versteht sich daher, dass in anderen Ausführungsformen verschiedene Anordnungen von zusätzlichen oder alternativen Elementen verwendet werden können. Mindestens eine Teilmenge dieser Elemente kann zusammen auf einer gemeinsamen Verarbeitungsplattform implementiert werden, oder jedes solche Element kann auf einer separaten Verarbeitungsplattform implementiert werden.
Wie zuvor angegeben, können Komponenten eines Informationsverarbeitungssystems, wie hier offenbart, mindestens teilweise in der Form von einem oder mehreren Softwareprogrammen implementiert werden, die in einem Speicher gespeichert sind und von einem Prozessor einer Verarbeitungsvorrichtung ausgeführt werden. Zum Beispiel werden mindestens Teile der Funktionalität zur iterativen Anwendung eines auf maschinellem Lernen basierenden Informationsextraktionsmodells auf Dokumente mit unstrukturierten Textdaten, wie hier offenbart, veranschaulichend in der Form von Software implementiert, die auf einer oder mehreren Verarbeitungsvorrichtungen läuft.
Es sollte erneut betont werden, dass die oben beschriebenen Ausführungsformen nur zum Zwecke der Veranschaulichung dargestellt werden. Viele Variationen und andere alternative Ausführungsformen können verwendet werden. Zum Beispiel sind die offenbarten Techniken auf eine große Vielfalt anderer Arten von Informationsverarbeitungssystemen, Dokumenten, Modellen für maschinelles Lernen usw. anwendbar. Außerdem können die bestimmten Konfigurationen von System- und Vorrichtungselementen und zugehörigen Verarbeitungsoperationen, die veranschaulichend in den Zeichnungen gezeigt sind, in anderen Ausführungsformen variiert werden. Darüber hinaus sollten die verschiedenen Annahmen, die oben bei der Beschreibung der veranschaulichenden Ausführungsformen gemacht wurden, auch als beispielhaft und nicht als Anforderungen oder Einschränkungen der Offenbarung angesehen werden. Zahlreiche andere alternative Ausführungsformen innerhalb des Umfangs der beigefügten Ansprüche sind für den Fachmann leicht ersichtlich.

Claims

Vorrichtung, umfassend: mindestens eine Verarbeitungsvorrichtung, die einen Prozessor umfasst, der mit einem Speicher gekoppelt ist; wobei die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, um die folgenden Schritte durchzuführen: Empfangen einer Abfrage, um Information aus einem Dokument zu extrahieren, wobei das Dokument unstrukturierte Textdaten umfasst; Durchführen von zwei oder mehr Iterationen des Verwendens eines auf maschinellem Lernen basierenden Informationsextraktionsmodells, wobei in jeder der zwei oder mehr Iterationen das auf maschinellem Lernen basierende Informationsextraktionsmodell als Ausgabe einen Teil der unstrukturierten Textdaten, die aus dem Dokument extrahiert wurden, und einen Relevanzwert bereitstellt, der dem Teil der unstrukturierten Textdaten zugeordnet ist, die aus dem Dokument in dieser Iteration extrahiert wurden, wobei in einer ersten der zwei oder mehr Iterationen das auf maschinellem Lernen basierende Informationsextraktionsmodell als Eingabe die Abfrage und das Dokument nimmt, und wobei in nachfolgenden der zwei oder mehr Iterationen das auf maschinellem Lernen basierende Informationsextraktionsmodell als Eingabe die Abfrage und eine modifizierte Version des Dokuments nimmt, wobei ein oder mehrere Teile der unstrukturierten Textdaten des Dokuments, die in einer oder mehreren vorherigen der zwei oder mehr Iterationen extrahiert wurden, daraus entfernt wurden; Bestimmen, ob die Teile der unstrukturierten Textdaten, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, einen zugeordneten Relevanzwert aufweisen, der einen Schwellenwert für den Relevanzwert und mindestens einen Schwellenwert für die Ähnlichkeit mit der Abfrage überschreitet; und Erzeugen einer Antwort auf die Abfrage, wobei die Antwort auf die Abfrage eine Teilmenge der Teile der unstrukturierten Textdaten umfasst, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, von denen bestimmt wurde, dass sie zugeordnete Relevanzwerte aufweisen, die den Schwellenwert für den Relevanzwert und mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage überschreiten.
Vorrichtung nach Anspruch 1, wobei das auf maschinellem Lernen basierende Informationsextraktionsmodell ein Fragenbeantwortungs-Verarbeitungsmodell für natürliche Sprache umfasst.
Vorrichtung nach Anspruch 2, wobei das Fragenbeantwortungs-Verarbeitungsmodell für natürliche Sprache eine bidirektionale Encoderdarstellung aus einem Transformatorenmodell umfasst.
Vorrichtung nach Anspruch 1, wobei Durchführen der zwei oder mehr Iterationen Durchführen von Iterationen umfasst, bis eine oder mehrere festgelegte Stoppbedingungen erreicht sind.
Vorrichtung nach Anspruch 4, wobei die eine oder die mehreren festgelegten Stoppbedingungen umfassen: eine Schwellenwertanzahl von Iterationen; und Bestimmen, dass der Relevanzwert für einen Teil der unstrukturierten Textdaten, die aus dem Dokument extrahiert wurden, einen Relevanzwert bei oder unter dem Schwellenwert für den Relevanzwert aufweist.
Vorrichtung nach Anspruch 1, wobei die Teilmenge der Teile der unstrukturierten Textdaten aus dem Dokument, die in den zwei oder mehr Iterationen extrahiert wurden, ferner eine Länge aufweist, die eine Schwellenwertlänge überschreitet.
Vorrichtung nach Anspruch 1, wobei Bestimmen, ob ein gegebener Teil der unstrukturierten Textdaten, die aus dem Dokument in einer gegebenen Iteration extrahiert wurden, mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage aufweist, umfasst: Umwandeln der Abfrage und des gegebenen Teils der unstrukturierten Textdaten in jeweilige erste und zweite Dokumentvektoren; Berechnen eines Ähnlichkeitswerts zwischen den ersten und zweiten Dokumentvektoren; Anhängen des gegebenen Teils der unstrukturierten Textdaten an die Antwort auf die Abfrage, wenn der berechnete Ähnlichkeitswert bei oder über einem festgelegten Ähnlichkeitsschwellenwert liegt; und Unterlassen des Anhängens des gegebenen Teils der unstrukturierten Textdaten an die Antwort auf die Abfrage, wenn der berechnete Ähnlichkeitswert unter dem festgelegten Ähnlichkeitsschwellenwert liegt.
Vorrichtung nach Anspruch 7, wobei Umwandeln der Abfrage und des gegebenen Teils der unstrukturierten Textdaten in jeweilige erste und zweite Vektoren Verwenden von mindestens einem von einem verteilten Speichermodell von Absatzvektoren und einem verteilten Bag-of-Words-Modell von Absatzvektoren umfasst.
Vorrichtung nach Anspruch 7, wobei Berechnen des Ähnlichkeitswerts zwischen den ersten und zweiten Dokumentvektoren Berechnen einer Kosinusähnlichkeit zwischen den ersten und zweiten Dokumentvektoren umfasst.
Vorrichtung nach Anspruch 1, wobei die modifizierte Version des Dokuments, die als Eingabe in das auf maschinellem Lernen basierende Informationsextraktionsmodell in einer gegebenen nachfolgenden der zwei oder mehr Iterationen verwendet wird, den einen oder die mehreren Teile der unstrukturierten Textdaten, die in einer oder mehreren vorherigen der zwei oder mehr Iterationen extrahiert wurden, daraus entfernt hat und einen oder mehrere zusätzliche Teile der unstrukturierten Textdaten, die einen Ähnlichkeitsschwellenwert zu dem einen oder den mehreren Teilen der unstrukturierten Textdaten aufweisen, die in der einen oder den mehreren vorherigen der zwei oder mehr Iterationen extrahiert wurden, daraus entfernt hat.
Vorrichtung nach Anspruch 1, wobei das Dokument mindestens eines von einem Support-Chat-Protokoll und einem Support-Anruf-Protokoll umfasst, die mit einem gegebenen Asset einer Informationstechnologieinfrastruktur assoziiert sind.
Vorrichtung nach Anspruch 11, wobei die mindestens eine Verarbeitungsvorrichtung ferner konfiguriert ist, um die folgenden Schritte durchzuführen: Identifizieren einer empfohlenen Fehlerbehebungsaktion für das gegebene Asset mindestens teilweise basierend auf der Antwort auf die Abfrage; und Durchführen der empfohlenen Fehlerbehebungsaktion an dem gegebenen Asset.
Vorrichtung nach Anspruch 12, wobei die empfohlene Fehlerbehebungsaktion mindestens eine von einer Diagnoseaktion und einer Reparaturaktion umfasst.
Vorrichtung nach Anspruch 13, wobei das gegebene Asset eine Rechenvorrichtung umfasst, und wobei die empfohlene Fehlerbehebungsaktion das Modifizieren von mindestens einem umfasst von: einer oder mehreren Softwarekomponenten der Rechenvorrichtung; und einer oder mehreren Hardwarekomponenten der Rechenvorrichtung.
Computerprogrammprodukt, umfassend ein nichtflüchtiges prozessorlesbares Speichermedium, auf dem Programmcode von einem oder mehreren Softwareprogrammen gespeichert ist, wobei der Programmcode, wenn er von mindestens einer Verarbeitungsvorrichtung ausgeführt wird, die mindestens eine Verarbeitungsvorrichtung veranlasst, die folgenden Schritte durchzuführen: Empfangen einer Abfrage, um Information aus einem Dokument zu extrahieren, wobei das Dokument unstrukturierte Textdaten umfasst; Durchführen von zwei oder mehr Iterationen des Verwendens eines auf maschinellem Lernen basierenden Informationsextraktionsmodells, wobei in jeder der zwei oder mehr Iterationen das auf maschinellem Lernen basierende Informationsextraktionsmodell als Ausgabe einen Teil der aus dem Dokument extrahierten unstrukturierten Textdaten und einen Relevanzwert bereitstellt, der dem Teil der aus dem Dokument in dieser Iteration extrahierten unstrukturierten Textdaten zugeordnet ist, wobei in einer ersten der zwei oder mehr Iterationen das auf maschinellem Lernen basierende Informationsextraktionsmodell als Eingabe die Abfrage und das Dokument nimmt, und wobei in nachfolgenden der zwei oder mehr Iterationen das auf maschinellem Lernen basierende Informationsextraktionsmodell als Eingabe die Abfrage und eine modifizierte Version des Dokuments nimmt, wobei ein oder mehrere Teile der unstrukturierten Textdaten des Dokuments, die in einer oder mehreren vorherigen der zwei oder mehr Iterationen extrahiert wurden, daraus entfernt wurden; Bestimmen, ob die Teile der unstrukturierten Textdaten, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, einen zugeordneten Relevanzwert aufweisen, der einen Schwellenwert für den Relevanzwert und mindestens einen Schwellenwert für die Ähnlichkeit mit der Abfrage überschreitet; und Erzeugen einer Antwort auf die Abfrage, wobei die Antwort auf die Abfrage eine Teilmenge der Teile der unstrukturierten Textdaten umfasst, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, von denen bestimmt wurde, dass sie zugeordnete Relevanzwerte aufweisen, die den Schwellenwert für den Relevanzwert und mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage überschreiten.
Computerprogrammprodukt nach Anspruch 15, wobei Bestimmen, ob ein gegebener Teil der unstrukturierten Textdaten, die aus dem Dokument in einer gegebenen Iteration extrahiert wurden, mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage aufweist, umfasst: Umwandeln der Abfrage und des gegebenen Teils der unstrukturierten Textdaten in jeweilige erste und zweite Dokumentvektoren; Berechnen eines Ähnlichkeitswerts zwischen den ersten und zweiten Dokumentvektoren; Anhängen des gegebenen Teils der unstrukturierten Textdaten an die Antwort auf die Abfrage, wenn der berechnete Ähnlichkeitswert bei oder über einem festgelegten Ähnlichkeitsschwellenwert liegt; und Unterlassen des Anhängens des gegebenen Teils der unstrukturierten Textdaten an die Antwort auf die Abfrage, wenn der berechnete Ähnlichkeitswert unter dem festgelegten Ähnlichkeitsschwellenwert liegt.
Computerprogrammprodukt nach Anspruch 15, wobei das Dokument mindestens eines von einem Support-Chat-Protokoll und einem Support-Anruf-Protokoll umfasst, die mit einem gegebenen Asset einer Informationstechnologieinfrastruktur assoziiert sind, und wobei der Programmcode, wenn er von der mindestens einen Verarbeitungsvorrichtung ausgeführt wird, die mindestens eine Verarbeitungsvorrichtung ferner veranlasst, die Schritte des Identifizierens einer empfohlenen Fehlerbehebungsaktion für das gegebene Asset mindestens teilweise basierend auf der Antwort auf die Abfrage und des Durchführens der empfohlenen Fehlerbehebungsaktion an dem gegebenen Asset durchzuführen.
Verfahren, umfassend: Empfangen einer Abfrage, um Information aus einem Dokument zu extrahieren, wobei das Dokument unstrukturierte Textdaten umfasst; Durchführen von zwei oder mehr Iterationen des Verwendens eines auf maschinellem Lernen basierenden Informationsextraktionsmodells, wobei das auf maschinellem Lernen basierende Informationsextraktionsmodell in jeder der zwei oder mehr Iterationen einen Teil der unstrukturierten Textdaten, die aus dem Dokument extrahiert wurden, und einen Relevanzwert, der mit dem Teil der unstrukturierten Textdaten assoziiert ist, die aus dem Dokument in dieser Iteration extrahiert wurden, als Ausgabe bereitstellt, wobei das auf maschinellem Lernen basierende Informationsextraktionsmodell in einer ersten der zwei oder mehr Iterationen die Abfrage und das Dokument als Eingabe nimmt, und wobei das auf maschinellem Lernen basierende Informationsextraktionsmodell in nachfolgenden der zwei oder mehr Iterationen die Abfrage und eine modifizierte Version des Dokuments als Eingabe nimmt, wobei ein oder mehrere Teile der unstrukturierten Textdaten des Dokuments, die in einer oder mehreren vorherigen der zwei oder mehr Iterationen extrahiert wurden, daraus entfernt wurden; Bestimmen, ob die Teile der unstrukturierten Textdaten, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, einen zugeordneten Relevanzwert aufweisen, der einen Schwellenwert für den Relevanzwert und mindestens einen Schwellenwert für die Ähnlichkeit mit der Abfrage überschreitet; und Erzeugen einer Antwort auf die Abfrage, wobei die Antwort auf die Abfrage eine Teilmenge der Teile der unstrukturierten Textdaten umfasst, die aus dem Dokument in den zwei oder mehr Iterationen extrahiert wurden, von denen bestimmt wurde, dass sie zugeordnete Relevanzwerte aufweisen, die den Schwellenwert für den Relevanzwert und mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage überschreiten; wobei das Verfahren von mindestens einer Verarbeitungsvorrichtung durchgeführt wird, die einen Prozessor umfasst, der mit einem Speicher gekoppelt ist.
Verfahren nach Anspruch 18, wobei Bestimmen, ob ein gegebener Teil der unstrukturierten Textdaten, die aus dem Dokument in einer gegebenen Iteration extrahiert wurden, mindestens den Schwellenwert für die Ähnlichkeit mit der Abfrage aufweist, umfasst: Umwandeln der Abfrage und des gegebenen Teils der unstrukturierten Textdaten in jeweilige erste und zweite Dokumentvektoren; Berechnen eines Ähnlichkeitswerts zwischen den ersten und zweiten Dokumentvektoren; Anhängen des gegebenen Teils der unstrukturierten Textdaten an die Antwort auf die Abfrage, wenn der berechnete Ähnlichkeitswert bei oder über einem festgelegten Ähnlichkeitsschwellenwert liegt; und Unterlassen des Anhängens des gegebenen Teils der unstrukturierten Textdaten an die Antwort auf die Abfrage, wenn der berechnete Ähnlichkeitswert unter dem festgelegten Ähnlichkeitsschwellenwert liegt.
Verfahren nach Anspruch 18, wobei das Dokument mindestens eines von einem Support-Chat-Protokoll und einem Support-Anruf-Protokoll umfasst, die mit einem gegebenen Asset einer Informationstechnologieinfrastruktur assoziiert sind, und ferner umfassend Identifizieren einer empfohlenen Fehlerbehebungsaktion für das gegebene Asset mindestens teilweise basierend auf der Antwort auf die Abfrage und Durchführen der empfohlenen Fehlerbehebungsaktion an dem gegebenen Asset.