DE112022001088T5

DE112022001088T5 - Verfahren für eine elektronische nachrichtenübermittlung unter verwendung von störinhalt auf bildgrundlage

Info

Publication number: DE112022001088T5
Application number: DE112022001088.6T
Authority: DE
Inventors: Uwe Karl Hansmann; Vijay Ekambaram; Smitkumar Narotambhai MARVANIYA; Timo Kussmaul; Thomas Stober; Sneha Mondal
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2021-03-30
Filing date: 2022-03-08
Publication date: 2023-12-14
Also published as: JP2024514471A; WO2022206307A1; US20220321508A1; US11533279B2; CN117121441A

Abstract

Die vorliegende Offenbarung bezieht sich auf ein Verfahren, das ein Empfangen einer elektronischen Nachricht eines elektronischen Datenübertragungssystems aufweist. Ein Störinhalt auf Bildgrundlage kann erzeugt werden. Der Störinhalt auf Bildgrundlage unterscheidet sich von einem Inhalt der empfangenen elektronischen Nachricht und bezieht sich auf die Nachrichtenintentionen der empfangenen Nachricht. Das elektronische Datenverarbeitungssystems kann konfiguriert werden, um dem Empfänger anstatt der empfangenen elektronischen Nachricht den Störinhalt auf Bildgrundlage bereitzustellen oder dem Empfänger zusätzlich zu dem Störinhalt auf Bildgrundlage die empfangene elektronische Nachricht bereitzustellen.

Description

HINTERGRUND
Die vorliegende Erfindung bezieht sich auf das Gebiet digitaler Computersysteme und im Besonderen auf ein elektronisches Nachrichtenübermittlungsverfahren.
Ein automatisches Trainieren oder Testen von Benutzern oder Systemen erfolgt heutzutage mit einem vorab definierten Satz von Fragen und Antworten. Allerdings werden Informationen in der realen Welt nicht immer auf einfache und strukturierte Weise bereitgestellt. Sie enthalten vielmehr ein hohes Maß an Mehrdeutigkeit und Störungen, oder sie enthalten unter Umständen nur einen Teilsatz der benötigten Informationen oder aber zu viele Informationen.
KURZDARSTELLUNG
Verschiedene Ausführungsformen stellen ein Verfahren, Computersystem und Computerprogrammprodukt bereit, wie dies durch den Erfindungsgegenstand der unabhängigen Ansprüchen beschrieben wird. Vorteilhafte Ausführungsformen werden in den abhängigen Ansprüchen beschrieben. Ausführungsformen der vorliegenden Erfindung können frei miteinander kombiniert werden, sofern sie sich nicht gegenseitig ausschließen.
Gemäß einem Aspekt bezieht sich die Erfindung auf ein computerrealisiertes Verfahren für eine elektronische Nachrichtenübermittlung, aufweisend:

Empfangen einer elektronischen Nachricht eines elektronischen Datenübertragungssystems, wobei die Nachricht für einen Empfänger ermittelt wird;
Ermitteln der Nachrichtenintentionen der empfangenen elektronischen Nachricht;
Erzeugen eines Störinhalts auf Bildgrundlage, wobei sich der Störinhalt auf Bildgrundlage von einem Inhalt der empfangenen elektronischen Nachricht unterscheidet und auf die Nachrichtenintentionen bezieht;
Steuern des elektronischen Datenverarbeitungssystems, um dem Empfänger anstatt der empfangenen elektronischen Nachricht den Störinhalt auf Bildgrundlage bereitzustellen oder dem Empfänger zusätzlich zu dem Störinhalt auf Bildgrundlage die empfangene elektronische Nachricht bereitzustellen.

Gemäß einem weiteren Aspekt bezieht sich die Erfindung auf ein Computerprogrammprodukt, das ein computerlesbares Speichermedium mit darauf enthaltenem computerlesbarem Programmcode aufweist, wobei der computerlesbare Programmcode konfiguriert wird, um alle Schritte des Verfahrens gemäß der vorangegangenen Ausführungsformen zu realisieren.
Gemäß einem weiteren Aspekt bezieht sich die Erfindung auf ein Computersystem, das konfiguriert ist zum:

Empfangen einer elektronischen Nachricht;
Ermitteln der Nachrichtenintentionen der empfangenen elektronischen Nachricht;
Erzeugen eines Störinhalts auf Bildgrundlage, wobei sich der Störinhalt auf Bildgrundlage von einem Inhalt der empfangenen elektronischen Nachricht unterscheidet und auf die Nachrichtenintentionen bezieht;
Steuern des elektronischen Datenverarbeitungssystems, um anstatt der empfangenen elektronischen Nachricht den Störinhalt auf Bildgrundlage bereitzustellen oder zusätzlich zu dem Störinhalt auf Bildgrundlage die erzeugte elektronische Nachricht bereitzustellen.

KURZBESCHREIBUNG DER ZEICHNUNGEN
Im Folgenden werden Ausführungsformen der Erfindung lediglich beispielhaft in größerer Ausführlichkeit und unter Bezugnahme auf die Zeichnungen beschrieben, wobei:

1A ein Computersystem gemäß einem Beispiel für den vorliegenden Erfindungsgegenstand veranschaulicht;
1B ein Fenster darstellt, das das Transkript einer Chat-Sitzung zeigt;
2 ein Ablaufplan eines Verfahrens gemäß einem Beispiel für den vorliegenden Erfindungsgegenstand ist;
3 ein Ablaufplan eines Verfahrens gemäß einem Beispiel für den vorliegenden Erfindungsgegenstand ist;
4 ein Ablaufplan eines Verfahrens gemäß einem Beispiel für den vorliegenden Erfindungsgegenstand ist;
5 eine Darstellung ist, die ein Verfahren zum Verknüpfen von Text- und Bildeinbettungsbereichen gemäß dem vorliegenden Erfindungsgegenstand veranschaulicht;
6 eine Darstellung ist, die ein Verfahren zum Testen des gelernten Einbettungsbereichs gemäß dem vorliegenden Erfindungsgegenstand veranschaulicht;
7 eine Darstellung ist, die ein Verfahren zum Erzeugen von Bildern gemäß dem vorliegenden Erfindungsgegenstand veranschaulicht;
8 ein allgemeines computergestütztes System darstellt, das geeignet ist, um mindestens einen Teil der in die Offenbarung einbezogenen Verfahrensschritte zu realisieren.

AUSFÜHRLICHE BESCHREIBUNG
Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung werden zum Zwecke der Veranschaulichung vorgelegt und sind nicht als vollständig oder auf die offenbarten Ausführungsformen beschränkt zu verstehen. Der Fachmann weiß, dass zahlreiche Modifikationen und Abwandlungen möglich sind, ohne vom inhaltlichen Umfang der beschriebenen Ausführungsformen abzuweichen. Die hierin verwendete Begrifflichkeit wurde gewählt, um die Grundsätze der Ausführungsformen, die praktische Anwendung oder technische Verbesserung gegenüber marktgängigen Technologien bestmöglich zu erläutern bzw. anderen Fachleuten das Verständnis der hierin offenbarten Ausführungsformen zu ermöglichen.
Eine Nachrichtenübermittlung kann eine schriftliche Datenübertragung sein, die über eine Vielfalt von digitalen Kanälen wie eMail, SMS und einen Chat innerhalb einer Anwendung gesendet wird. Die Nachrichtenübermittlung kann vorteilhaft sein, da sie zum richtigen Zeitpunkt relevante Informationen bereitstellen kann. Insbesondere kann eine Nachrichtenübermittlung, die mit den richtigen Informationen und der richtigen Häufigkeit durchgeführt wird, die Leistung des elektronischen Datenübertragungssystems verbessern. Allerdings kann die Verwaltung elektronischer Nachrichten aufgrund der Vielzahl von Plattformen, Einheiten und Systemen, die zur Erzeugung dieser Datensätze verwendet werden, eine Herausforderung darstellen. Der vorliegende Erfindungsgegenstand kann vorteilhaft sein, da er eine systematische Art und Weise bereitstellen kann, wie sich die Datenübertragung elektronischer Nachrichten steuern und verwalten lässt. Dies kann besonders vorteilhaft sein, da bei manchen Agenten die Verwendung von Text- und Chat-Instant-Messaging-Nachrichten wesentlich sein kann, um die Aufgabe des Agenten zu erfüllen.
Die elektronische Nachricht kann zum Beispiel empfangen werden, indem ein Protokoll von Unterhaltungen gelesen wird, um Nachrichten für eine Nachrichtenübermittlungssitzung zu erzeugen. In einem weiteren Beispiel kann die elektronische Nachricht empfangen werden, indem sie z.B. während einer laufenden Nachrichtenübermittlungssitzung abgefangen wird. Die abgefangene elektronische Nachricht kann zum Beispiel während einer Nachrichtenübermittlungssitzung bereitgestellt werden. Die Nachrichtenübermittlungssitzung kann den Austausch elektronischer Nachrichten wie z.B. Text-, Multimedia- und/oder Sprachnachrichten in einem Echtzeitformat oder einem Nicht-Echtzeitformat einbeziehen. Das Echtzeitformat kann ein Instant-Messaging oder einen Chat einbeziehen, und das Nicht-Echtzeitformat kann eine eMail, ein Veröffentlichen eines Beitrags in einem dynamischen Forum oder Feed usw. einbeziehen. Je nach Anwendungsfall kann die Nachrichtenübermittlungssitzung einem Kontext zugehörig sein. Zum Beispiel kann die Nachrichtenübermittlungssitzung zwischen einem Chatbot-Agenten und einem Benutzer durchgeführt werden, um den Benutzer durch den Chatbot-Agenten zu trainieren oder zu testen. In diesem Fall können die elektronischen Nachrichten Fragen und Antworten sein. In einem weiteren Beispiel kann eine Nachrichtenübermittlungssitzung zwischen einer Mehrzahl von Benutzern über eine mobile Nachrichtenübermittlungsanwendung durchgeführt werden, die auf entsprechenden mobilen Client-Einheiten der Mehrzahl von Benutzern bereitgestellt wird. In einem weiteren Beispiel kann die Nachrichtenübermittlungssitzung einen Gruppen-Chat enthalten, über den die entsprechenden Benutzer verschiedene Themen teilen und diskutieren, z.B. Videos oder andere Arten von Multimedia-Inhalten. Der Begriff „Chatbot“ oder „Chat-Bot“ oder „Chat-Agent“ bezeichnet ein Computerprogramm, das entworfen wird, um über akustische oder textgebundene Verfahren eine Unterhaltung mit einem oder mehreren menschlichen Benutzern zu simulieren, in erster Linie zu Smalltalk- oder Trainingszwecken. Ein Ziel einer solchen Simulation kann darin bestehen, den Endbenutzer fälschlicherweise glauben zu machen, dass die Ausgabe des Programms durch einen Menschen erzeugt wurde.
Die abgefangene/empfangene elektronische Nachricht wird verarbeitet, um einen Störinhalt auf Bildgrundlage zu erzeugen. Der Störinhalt auf Bildgrundlage kann ein Inhalt sein. Dieser Inhalt wird als Störinhalt auf Bildgrundlage bezeichnet, da er Bilder einbezieht und Intentionen hat, die sich nur auf die Nachrichtenintentionen beziehen. Zum Beispiel kann der Inhalt ein oder mehrere Bilder enthalten und/oder unter Verwendung eines oder mehrerer Bilder erzeugt werden. Der Störinhalt auf Bildgrundlage kann so erzeugt werden, dass seine Intentionen ein Teilsatz der Nachrichtenintentionen sind, wobei dieser Teilsatz erhalten wird, indem wichtige Intentionen aus den Nachrichtenintentionen ausgeschlossen werden, oder indem unwichtige Intentionen aus den Nachrichtenintentionen ausgewählt werden. Die Nachrichtenintentionen können auf Grundlage ihrer Wichtigkeit der Rangfolge nach geordnet werden. Die Nachrichtenintentionen können zum Beispiel auf Grundlage von Zentralitätsindizes eines Wissensgraphen der Rangfolge nach geordnet werden, sodass der Teilsatz K weniger wichtige Nachrichtenintentionen aufweist, wobei K ≥ 1. In einem weiteren Beispiel können die Nachrichtenintentionen auf Grundlage von Benutzereingaben der Rangfolge nach geordnet werden, wobei ein Benutzer z.B. aufgefordert werden kann, eine Rangfolge der Nachrichtenintentionen bereitzustellen, und die Rangfolge empfangen werden kann.
Zum Beispiel kann der Störinhalt auf Bildgrundlage ein oder mehrere Bilder aufweisen, die verwendet werden können, um einen vorhandenen Datenübertragungsfluss, z.B. einer Trainingssitzung zwischen einem Chat-Agenten und einem Benutzer, zu verbessern. Bei einem Trainingsanwendungsfall kann der Störinhalt auf Bildgrundlage erzeugt werden, um den Schwierigkeitsgrad von vorab definierten Fragen zu erhöhen, indem unvollständige Informationen bereitgestellt werden, indem verwirrende Intentionen hinzugefügt werden, um eine Mehrdeutigkeit hinzuzufügen, und/oder indem irreführende Intentionen zu der abgefangenen/empfangenen elektronischen Nachricht hinzugefügt werden. Im Besonderen kann der vorliegende Erfindungsgegenstand zum Beispiel eingesetzt werden, um Lernende, die letztlich eine After-Sales-Unterstützung bereitstellen sollen, einen Kundendienst für Produkte oder aber fortgeschrittene Medizinstudenten darin zu testen/anzuleiten, medizinisches Wissen anzuwenden und virtuelle Patientenfälle zu lösen. Im letzteren Fall kann der Störinhalt auf Bildgrundlage in Gestalt von ablenkenden medizinischen Diagnosen, fehlerhaften Testergebnissen, Patientenbildern/-fotos usw. vorliegen. Da die eigentliche Interaktion eine Unterhaltung zwischen zwei menschlichen Agenten (Verbraucher - Kundendienstagent - Patient) sein kann, kann der Chat-Agent ein Unterhaltungs-Chatbot sein, der solche menschlichen Dialoge nachahmen kann. In einem Beispiel kann der Störinhalt auf Bildgrundlage multimodale Stör-Unterhaltungsäußerungen aufweisen, die den identifizierten Kontext aus der Unterhaltungseinstellung des Chatbots zur Grundlage haben. Die multimodalen Stör-Unterhaltungsäußerungen können sich auf die Einführung einer Inkonsistenz zwischen Text und Bild beziehen.
Im Falle eines Datenübertragungssystems, bei dem gemäß Datenzugriffsregeln keine sensiblen Informationen bereitgestellt werden sollten, kann die abgefangene/empfangene elektronische Nachricht verarbeitet werden, um Intentionen zu identifizieren, die nicht den Datenzugriffsregeln entsprechen, und sie zu maskieren oder zu entfernen. Der erzeugte Störinhalt auf Bildgrundlage kann die unmaskierten Informationen der empfangenen elektronischen Nachricht aufweisen. Dies kann eine sichere Übertragung von Daten ermöglichen.
Gemäß einer Ausführungsform weist das Verfahren des Weiteren auf: Ermitteln einer Domäne der elektronischen Nachricht, Ermitteln eines Satzes von einer oder mehreren Textnachrichten und eines Satzes von einem oder mehreren Bildern der ermittelten Domäne, wobei ein Erzeugen des Störinhalts auf Bildgrundlage ein beliebiges aufweist eines:

Erzeugens eines oder mehrerer Störbilder aus dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage die Störbilder sind,
Extrahierens eines Störtexts aus dem Satz von Bildern, wobei der Störinhalt auf Bildgrundlage der Störtext ist, und
Erzeugens eines multimodalen Störinhalts aus dem Satz von Bildern und dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage der multimodale Störinhalt ist.

Die Domäne kann für Konzepte oder Kategorien stehen, die zu einem Teil der Welt gehören, z.B. Biologie oder Politik. Die Domäne modelliert üblicherweise Definitionen von Begriffen, die für die Domäne spezifisch sind. Eine Domäne kann sich zum Beispiel auf das Gesundheitswesen, auf Werbung, Handel, Medizin, Chemie, Physik, Computerwissenschaften, den Öl-und-Gas-Sektor oder das Transportwesen beziehen. Die Domäne der elektronischen Nachricht kann zum Beispiel ermittelt werden, indem eine Methode zur Verarbeitung natürlicher Sprache verwendet wird. Der Satz von Textnachrichten und der Satz von Bildern können zum Beispiel aus einer Historie von in Text- und Bildform vorliegenden Unterhaltungsäußerungen erhalten werden. Indem mehr Text und Bilder aus derselben Domäne wie die empfangene elektronische Nachricht erhalten werden, können die Unterschiede zwischen den Nachrichtenintentionen der elektronischen Nachricht besser verstanden und verarbeitet werden. Die Erzeugung von Bildern aus dem Satz von Textnachrichten kann unter Verwendung eines Einbettungsbereichs durchgeführt werden, wie er für die folgende Ausführungsform beschrieben wird.
Gemäß einer Ausführungsform weist das Erzeugen des Störinhalts auf Bildgrundlage auf: Ermitteln eines gemeinsamen Einbettungsbereichs zum Darstellen von elektronischen Nachrichten und Bildern, Darstellen einer Textnachricht und eines vorab definierten Satzes von Bildern in dem Einbettungsbereich, Ordnen des Satzes von Bildern der Rangfolge nach auf Grundlage einer Ähnlichkeit zwischen den Darstellungen des Satzes von Bildern und der Darstellung der Textnachricht in dem Einbettungsbereich, und Auswählen eines Teilsatzes des Satzes von Bildern auf Grundlage der Rangfolge. Der Teilsatz von Bildern kann aus Störbildern bestehen, da sie Intentionen haben können, die keine Ähnlichkeit mit den Intentionen der Textnachricht haben, sich aber dennoch auf die Nachrichtenintentionen der Textnachricht beziehen. Die in dem Einbettungsbereich dargestellte Textnachricht kann die empfangene elektronische Nachricht sein. In einem weiteren Beispiel kann die Textnachricht eine Nachricht sein, die der elektronischen Nachricht ähnlich ist, z.B. wenn die Textnachricht eine Anzahl von Intentionen hat, die gleich oder kleiner als die Anzahl von Nachrichtenintentionen der elektronischen Nachricht ist. In einem weiteren Beispiel kann die Textnachricht eine aus dem Satz von Textnachrichten der vorherigen Ausführungsform sein. Der Satz von Bildern kann zum Beispiel aus Bildschirmaufnahmen bestehen. Die Bildschirmaufnahmen können zum Beispiel eine Benutzerschnittstelle zeigen, die in aufeinanderfolgenden Phasen einer Software-Entwicklung oder in Phasen einer Überwachung einer Einheit usw. aufgenommen werden.
Gemäß einer Ausführungsform besteht der Teilsatz von Bildern aus den zweiten, gemäß k mit einer Rangfolge versehenen Bildern, wobei k ein Wert eines konfigurierbaren Parameters ist. Wenn zum Beispiel der Satz von Bildern zehn Bilder enthält und k = 3 ist, kann der Teilsatz von Bildern die Bilder auf Rang 7, 6 und 5 aufweisen.
Gemäß einer Ausführungsform weist das Verfahren des Weiteren ein Konfigurieren des Werts des Parameters k gemäß einem gewünschten Störpegel des Störinhalts auf. Die Störung kann zum Beispiel eine Störung auf Benutzergrundlage oder eine Störung auf Grundlage einer Problemstellung sein. Die Störung auf Benutzergrundlage kann zum Beispiel auf Grundlage einer Eigenschaft des Benutzers wie z.B. Alter usw. ermittelt werden. So kann zum Beispiel für einen Expertenbenutzer ein höherer Störpegel bereitgestellt werden als für einen normalen Benutzer, indem z.B. der Wert des Parameters k erhöht wird. Der Pegel der Störung auf Grundlage einer Problemstellung kann geändert werden, indem zum Beispiel mehr irreführende Intentionen hinzugefügt oder mehr wichtige Intentionen entfernt werden. Der Störpegel kann gesteuert werden, sodass zum Beispiel eine erzeugte multimodale Störung für einen Fallkontext relevant ist. Zum Beispiel können zu viele Stördaten den Lernenden verwirren; eine irrelevante Störung ist unter Umständen jedoch nicht nützlich für ein Training. Die Störung kann somit gemäß dieser Ausführungsform so eingeführt werden, dass die multimodale Unterhaltungsäußerung eine Inkonsistenz zwischen Textinhalt und Bildinhalt erfasst. Eine Störung kann gemäß dieser Ausführungsform auch so eingeführt werden, dass die multimodale Unterhaltungsäußerung unvollständige Informationen in Gestalt von Bild/Text oder beidem erfasst. Ein Chatbot kann z.B. eine multimodale Störung dynamisch einführen, abhängig von der automatisch erzeugten Textäußerung und/oder Bildäußerung sowie davon, wie ein Lernender mit früheren Störinformationen umgegangen ist. Dies kann ein Benutzerengagement verbessern.
Gemäß einer Ausführungsform wird die gemeinsame Einbettung durch Verwenden eines Hinge-Verlusts gelernt, um Bild und Text gemäß einer siamesischen neuronalen Netzwerkarchitektur aufeinander abzustimmen. Das siamesische neuronale Netzwerk kann Einbettungen erzeugen, sodass Abstände für eine semantische Ähnlichkeit der dargestellten Objekte stehen.
Gemäß einer Ausführungsform weist das Erzeugen des Störinhalts auf Bildgrundlage auf: Ermitteln verwandter Intentionen der Nachrichtenintentionen durch Verwenden eines Wissensgraphen, wobei der Wissensgraph Entitäten aufweist, die für Intentionen stehen; und Extrahieren eines Teilsatzes von Bildern, die den verwandten Intentionen zugehörig sind und die nicht den Nachrichtenintentionen zugehörig sind, aus einem vorab definierten Satz von Bildern, wobei der Störinhalt auf Bildgrundlage der Teilsatz von Bildern ist.
Der Satz von Bildern kann durch Knoten in dem Wissensgraphen dargestellt werden. Der Wissensgraph kann für eine oder mehrere Domänenontologien stehen. Zum Beispiel kann der Wissensgraph für die Domäne einer Software- und/oder Hardware-Fehlerbehebung stehen. In diesem Fall können die Knoten des Wissensgraphen zum Beispiel für Intentionen, Bilder und Lösungen stehen. Die Intention kann zum Beispiel für ein bestimmtes Software-Problem stehen, z.B. kann die Intention #Überhitzung oder #Virus lauten und auf ein Problem aufgrund einer Computer-Aufheizung bzw. dem Vorhandensein eines Computer-Virus hinweisen. Die Lösungen sind den Problemen zugehörig, die in den Intentionen des Wissensgraphen definiert werden, wobei eine Lösung, die der Intention #Virus zugehörig ist, z.B. #Virenschutz_installieren lauten kann. Die Bilder können für Stapelverfolgungen, Fehlerprotokolle, Funktionsaufrufe oder Befehlsausgaben stehen. Ein Bild in dem Graphen kann zum Beispiel eine Bildschirmaufnahme von Protokollen sein, die ein Problem beschreiben, das sich auf eine Intention bezieht, wobei z.B. ein Bild #Lüftergeräusch der Intention #Aufheizung zugehörig sein kann. Der vorliegende Erfindungsgegenstand kann vorteilhaft sein, da er sich eines Wissensgraphen bedienen kann, um Bilder präzise zu erzeugen.
Allerdings kann die Domäne des Wissensgraphen breit genug sein, um mehrere Themen abzudecken. Unter Bezugnahme auf das Beispiel der Fehlerprobleme können mehrere Themen von dem Wissensgraphen abgedeckt werden, z.B. können Betriebssystemprobleme ein Thema abdecken, die Anzeige kann ein weiteres Thema abdecken usw. Dies kann durch ein Clustern des Wissensgraphen gelöst werden. Der Wissensgraph kann geclustert werden, wodurch mehrere Cluster entstehen. Ein Cluster kann zum Beispiel durch einen Teilgraphen des Wissensgraphen dargestellt werden, wobei Daten des Clusters für ein bestimmtes Thema stehen. Der Cluster kann Teil-Cluster aufweisen, wobei ein Teil-Cluster für häufig auftretende Intentionen, häufig gemeinsam auftretende Intentionen, häufig vorgeschlagene Lösungen, nicht empfohlene oder falsche Lösungen usw. stehen kann. Die verwandten Intentionen können zum Beispiel so festgelegt werden, dass sie zu ein und demselben Cluster gehören.
Der Wissensgraph kann ein Graph sein. Als Graph kann ein Eigenschaftsgraph bezeichnet werden, in dem Datenwerte als Eigenschaften in Knoten und Kanten gespeichert werden. Eigenschaftsgraphen können durch ein Graphen-Datenbankverwaltungssystem oder andere Datenbanksysteme verwaltet und verarbeitet werden, die eine Wrapper-Schicht bereitstellen, die den Eigenschaftsgraphen zu Speicherzwecken zum Beispiel in relationale Tabellen umwandelt und die Tabellen zurück in Eigenschaftsgraphen umwandelt, wenn sie gelesen oder abgefragt werden. Der Graph kann zum Beispiel ein gerichteter Graph sein. Der Graph kann eine Sammlung von Knoten (auch als Ecken bezeichnet) und Kanten sein. Die Kante des Graphen verbindet zwei beliebige Knoten des Graphen. Die Kante kann durch ein geordnetes Paar (v1, v2) von Knoten dargestellt werden und kann von Knoten v1 in Richtung Knoten v2 durchlaufen werden. Ein Knoten des Graphen kann für eine Entität stehen. Die Entität kann sich auf ein Problem, eine Lösung usw. beziehen. Die Entität (und der entsprechende Knoten) kann ein bzw. eine oder mehrere Entitätsattribute oder -eigenschaften aufweisen, denen Werte zugewiesen werden können. Zum Beispiel können die Entitätsattribute der Lösung ein Attribut aufweisen, das angibt, ob die Lösung eine häufig vorgeschlagene Lösung oder eine nicht empfohlene Lösung ist, usw. Die für den Knoten stehenden Attributwerte sind Werte der Entitätsattribute der Entität, die durch den Knoten dargestellt wird. Der Kante können ein oder mehrere Kantenattributwerte zugewiesen werden, die mindestens eine Beziehung zwischen den beiden Knoten angeben, die mit der Kante verbunden werden. Die für die Kante stehenden Attributwerte sind Werte der Kantenattribute. Die Beziehung kann zum Beispiel eine Vererbungsbeziehung (z.B. Eltern und Kind) und/oder eine assoziative Beziehung gemäß einer bestimmten Hierarchie aufweisen. So kann die Vererbungsbeziehung zwischen den Knoten v1 und v2 zum Beispiel als eine „Ist-eine“-Beziehung zwischen v1 und v2 bezeichnet werden, z.B. „v2 ist ein Elternknoten von v1“. Die assoziative Beziehung zwischen den Knoten v1 und v2 kann als eine „Steht in einer Beziehung zu“-Beziehung zwischen v1 und v2 bezeichnet werden, z.B. „v2 steht in einer Beziehung zu v1“, was bedeutet, dass v1 ein Teil oder eine Zusammensetzung von v2 ist oder diesem zugehörig ist.
Gemäß einer Ausführungsform weist das Verfahren des Weiteren auf: Ermitteln eines Kontexts einer Nachrichtenübermittlungssitzung durch Verwenden der elektronischen Nachricht, wobei der Kontext der Nachrichtenübermittlungssitzung durch mindestens einen Teilgraphen des Wissensgraphen definiert wird, und Verwenden des Teilgraphen zum Ermitteln der verwandten Intentionen als Intentionen, die zu dem ermittelten Kontext gehören und sich von den Nachrichtenintentionen unterscheiden. Die als „verwandte Intentionen“ bezeichneten Intentionen können verwendet werden, um eine Mehrdeutigkeit hinzufügen oder verwirrende Informationen einzufügen. In anderen Worten kann der Inhalt der erzeugten Bilder die unvollständigen Informationen, eine Mehrdeutigkeit oder verwirrende Informationen bereitstellen.
Der Inhalt der Nachrichtenübermittlungssitzung kann das Thema der Nachrichtenübermittlungssitzung sein. Das Thema der Nachrichtenübermittlungssitzung kann ermittelt werden, indem der Inhalt der elektronischen Nachricht analysiert wird. Die Analyse kann zum Beispiel unter Verwendung einer Data-Mining-Methode durchgeführt werden. Der Teilgraph des Wissensgraphen kann Intentionen aufweisen, die das Thema der elektronischen Nachricht möglicherweise teilen sollen. Die Intentionen des Teilgraphen können die Nachrichtenintentionen der abgefangenen elektronischen Nachricht aufweisen. Der Teilgraph kann vorteilhafterweise verwendet werden, da er ein Ordnen der Intentionen des Teilgraphen der Rangfolge nach auf Grundlage ihrer Wichtigkeit ermöglichen kann, z.B. unter Verwendung der Zentralität.
Gemäß einer Ausführungsform wird die elektronische Nachricht von einer Chat-Anwendung des elektronischen Nachrichtenübertragungssystems abgefangen. Die Chat-Anwendung wird konfiguriert, um eine Unterhaltung mit einem Benutzer während der Nachrichtenübermittlungssitzung zu simulieren. Das Verfahren weist auf: Abfragen der elektronischen Nachricht der Chat-Anwendung zu bestimmten Zeitpunkten der Nachrichtenübermittlungssitzung.
Die Chat-Anwendung, z.B. ein Chat-Bot, kann verwendet werden, um eine Online-Chat-Unterhaltung mittels Text oder Text-zu-Sprache durchzuführen. Zum Beispiel kann die Chat-Anwendung zum Testen oder Trainieren eines Benutzers verwendet werden, indem dem Benutzer Fragen gestellt werden. Der Benutzer kann Antworten auf die Fragen bereitstellen. Die elektronische Nachricht kann zum Beispiel den Text einer Frage aufweisen. Diese Ausführungsform kann vorteilhaft sein, da sie den Zeitpunkt steuern kann, zu dem die elektronischen Nachrichten, z.B. Fragen, gemäß dem vorliegenden Erfindungsgegenstand modifiziert oder angepasst werden müssen.
Die Zeitpunkte, zu denen neue/modifizierte Fragen erzeugt werden müssen, können zum Beispiel vorab definiert oder dynamisch ermittelt werden. So können die Zeitpunkte zum Beispiel auf Grundlage von Benutzereingaben dynamisch definiert werden. Dies kann zum Beispiel die Verwendung verschiedener Betriebsmodi für eine Unterhaltung/ein Training ermöglichen, die bzw. das mit dem Benutzer durchgeführt wird. Zum Beispiel kann ein vereinfachter oder schwieriger Trainingsmodus verwendet werden. Bei dem vereinfachten Trainingsmodus kann womöglich nur ein kleiner Teil der Fragen modifiziert werden (z.B. zu Beginn der Unterhaltung), während bei dem schwierigen Betriebsmodus eine größere Anzahl von Fragen geändert werden kann (z.B. in verschiedenen Phasen der Unterhaltung).
Die Bilder können ermittelt oder erzeugt werden, indem die Intentionen der abgefangenen elektronischen Nachricht geändert werden. Die Änderung kann durchgeführt werden, indem Intentionen der abgefangenen elektronischen Nachricht entfernt werden, um unvollständige Informationen bereitzustellen, indem verwirrende Intentionen hinzugefügt werden, um eine Mehrdeutigkeit hinzuzufügen, und/oder indem irreführende Intentionen zu der abgefangene elektronischen Nachricht hinzugefügt werden.
Gemäß einer Ausführungsform ist das elektronische Datenübertragungssystem ein Chat-Server, der konfiguriert wird, um Nachrichten zwischen Chat-Clients zu verteilen. Zum Beispiel wird die elektronische Nachricht gemäß dem vorliegenden Erfindungsgegenstand vor ihrer Verteilung abgefangen und verarbeitet.
Gemäß einer Ausführungsform wird die elektronische Nachricht von einem ersten Chat-Client in einem zweiten Chat-Client empfangen, wobei das Verfahren des Weiteren aufweist: Erkennen sensibler Informationen in der empfangenen elektronischen Nachricht, wobei der Störinhalt der ermittelten Bilder nicht sensible Informationen aufweist, wobei die ermittelten Bilder anstatt der empfangenen elektronischen Nachricht bereitgestellt werden. Die sensiblen Informationen können zum Beispiel private Informationen wie den vollständigen Namen usw. aufweisen.
Gemäß einer Ausführungsform weist das Verfahren des Weiteren auf: Bereitstellen eines Wissensgraphen, der für eine Domäne einer computerbezogenen Fehlerbehebung steht, wobei der Wissensgraph Entitäten aufweist, die für Probleme und Lösungen stehen, wobei die Nachrichtenintentionen für computerbezogene technische Probleme stehen und einem Satz von Lösungen in dem Wissensgraphen zugehörig sind, wobei das Ermitteln der Bilder ein Ermitteln verwandter Intentionen der Nachrichtenintentionen durch Verwenden des Wissensgraphen aufweist, wobei die verwandten Intentionen Lösungen zugehörig sind, die sich von dem Satz von Lösungen unterscheiden, und Extrahieren eines Teilsatzes von Bildern, die den verwandten Intentionen zugehörig sind und die nicht den Nachrichtenintentionen zugehörig sind, aus einem vorab definierten Satz von Bildern.
Gemäß einer Ausführungsform weist das Verfahren des Weiteren ein Erzeugen des Wissensgraphen durch Verwenden von Datenübertragungstranskripten und/oder Protokollen früherer Datenübertragungen und ein Clustern von Intentionen des Wissensgraphen gemäß einer oder mehreren Grapheneigenschaften des Wissensgraphen auf. Die Grapheneigenschaft weist ein beliebiges auf: eines Zentralitätsindexes eines jeden Knotens des Graphen und eines Abstands eines jeden Knotens von anderen Knoten des Graphen.
1A ist eine Darstellung eines Computersystems 100 gemäß einem Beispiel für den vorliegenden Erfindungsgegenstand. Das Computersystem 100 weist einen Agent-Computer 105 auf. Der Agent-Computer 105 kann ein elektronisches Datenübertragungssystem sein. Das Computersystem 100 weist einen Controller 101 der elektronischen Datenübertragung auf. Der Controller 101 der elektronischen Datenübertragung wird mit einer Chat-Verbindung 103 verbunden, um jede aufeinanderfolgende Nachricht zu empfangen, die während einer Unterhaltung oder Chat-Sitzung zwischen einem Benutzer 102 und dem Agent-Computer 105 gesendet wird. Die Verbindung 103 kann den Agent-Computer 105 mit einem entfernt angeordneten Benutzer-Computer des Benutzers 102 verbinden oder kann eine Verbindung mit einer Anzeigeeinheit des Agent-Computers 105 sein. Die Verbindung 103 kann über das Internet oder einen anderen Datenkanal eingerichtet werden. Durch die Verbindung 103 kann die Unterhaltung oder der Chat einen Strom von Textnachrichten aufweisen, die zwischen dem Benutzer 102 und dem Agent-Computer 105 ausgetauscht werden.
Aufeinanderfolgende Nachrichten des Benutzers 102 werden in einer Analyseeinheit 106 des Agent-Computers 105 empfangen. Die Analyseeinheit 106 führt die Funktion eines Analysierens einer Nachricht durch, um das Problem oder die Anfrage des Benutzers 102 zu ermitteln, die Gegenstand des Chats mit dem Agent-Computer 105 ist. Wenn die Nachricht in Textform vorliegt, wird der Analyseeinheit 106 eine Textanalysefähigkeit bereitgestellt, um diese Funktion auszuführen. Die Funktion der Analyseeinheit 106 kann Teil eines Prozesses zum Identifizieren einer bestimmten Antwort sein, die der Benutzer 102 als Reaktion auf eine Frage durch den Agent-Computer 105 bereitgestellt hat.
Der Agent-Computer 105 weist einen Fragenersteller 116 auf, der Eingaben von der Analyseeinheit 106 empfängt. Der Fragenersteller 116 verwendet diese Eingaben (und z.B. einen Chatbot), um eine Anforderung oder Frage zu erstellen oder zu formulieren, wobei die Anforderung eine Aussage zu einem Ziel ist, das einem Problem zugehörig ist, und der Benutzer 102 eine Lösung für das Problem bereitstellen muss. Der Fragenersteller 116 kann außerdem eine Anforderung erzeugen, ohne etwaige Eingaben von der Analyseeinheit zu empfangen, z.B. um die Unterhaltung mit dem Benutzer 102 zu initiieren. Die durch den Fragenersteller 116 erzeugte Nachricht und/oder die von dem Benutzer 102 empfangene Nachricht kann abgefangen oder dem Controller 101 der elektronischen Datenübertragung über die Verbindung 103 als eine Eingabe bereitgestellt werden. Der Controller 101 der elektronischen Datenübertragung kann einen Wissensgraphen 118 und/oder einen Satz von Bildern 120 als eine Quelle von Informationen verwenden, um die abgefangene Nachricht gemäß dem vorliegenden Erfindungsgegenstand zu modifizieren.
Die zwischen dem Benutzer 102 und dem Agent-Computer 105 ausgetauschten Nachrichten können in einem Fenster 130 angezeigt werden, wie es in 1B gezeigt wird. Das Fenster 130 kann in einer Benutzerschnittstelle des Agent-Computer 105 angezeigt werden, wenn der Benutzer 102 direkten Kontakt mit dem Agent-Computer 105 hat, oder es kann auf einem entfernt angeordneten Benutzer-Computer des Benutzers 102 angezeigt werden.
1B zeigt ein Beispiel für eine Zeitleistenansicht von Chat-Nachrichten zwischen dem Benutzer 102 und dem Agent-Computer 105. Das Fenster 130, das das Transkript einer Chat-Sitzung zeigt, enthält einen ersten Anzeigebereich 131 zum Anzeigen der Nachrichten und einen zweiten Anzeigebereich 133 zum Anzeigen der Zeitmarken der Chat-Nachrichten. Die Nachrichten werden an ihren jeweiligen Zeitmarken ausgerichtet. In dem in 1B gezeigten Beispiel, kann der Agent-Computer 105 Nachrichten 135.1 bis 135.n bereitstellen, wobei jede Nachricht eine Frage an den Benutzer 102 sein kann. In einem Beispiel kann die Frage durch ein Bild ergänzt werden, das sich auf das Thema der Frage bezieht. In einem weiteren Beispiel kann die Frage als ein Bild bereitgestellt werden. Der Benutzer 102 kann entsprechende Antwortnachrichten 136.1 bis 136.n bereitstellen.
Obwohl er als separate Komponente gezeigt wird, kann der Controller 101 der elektronischen Datenübertragung in einem weiteren Beispiel ein Teil des Agent-Computers 105 sein.
2 ist ein Ablaufplan eines Verfahrens gemäß einem Beispiel für den vorliegenden Erfindungsgegenstand. Zu Erläuterungszwecken kann das in 2 beschriebene Verfahren in dem System realisiert werden, das in 1A veranschaulicht wird, ohne jedoch auf diese Realisierung beschränkt zu sein. Das Verfahren aus 2 kann zum Beispiel durch den Controller 101 der elektronischen Datenübertragung durchgeführt werden.
In einem Schritt 201 kann eine elektronische Nachricht empfangen oder identifiziert werden, wobei die elektronische Nachricht durch das elektronische Datenübertragungssystem 105 z.B. einem Benutzer oder Empfänger bereitgestellt wird. Die elektronische Nachricht kann aus einer Protokolldatei von Unterhaltungen gelesen werden oder durch den Controller 101 der elektronischen Datenübertragung abgefangen werden. Die elektronische Nachricht kann zum Beispiel eine Nachricht sein, die von einem sendenden Computer an einen empfangenen Computer übertragen wird, bei dem es sich um das elektronische Datenübertragungssystem 105 handelt. Die elektronische Nachricht kann zum Beispiel eine ausgehende Nachricht von dem elektronischen Datenübertragungssystem 105 sein. In diesem Fall kann der Controller 101 der elektronischen Datenübertragung konfiguriert werden, um die elektronische Nachricht abzufangen, bevor sie von dem elektronischen Datenübertragungssystem 105 übertragen wird. Falls die elektronische Nachricht eine in das elektronische Datenübertragungssystem 105 eingehende Nachricht ist, kann der Controller 101 der elektronischen Datenübertragung konfiguriert werden, um die empfangene elektronische Nachricht abzufangen, bevor sie einer empfangenden Anwendung des elektronischen Datenübertragungssystems 101 bereitgestellt wird. In einem weiteren Beispiel kann die elektronische Nachricht eine Nachricht sein, die durch eine Anwendung des elektronischen Datenübertragungssystems 105 erzeugt und auf einer Schnittstelle des elektronischen Datenübertragungssystems 105 angezeigt wird. In diesem Fall kann der Controller 101 der elektronischen Datenübertragung konfiguriert werden, um die elektronische Nachricht abzufangen, bevor sie angezeigt wird. Der Controller 101 der elektronischen Datenübertragung kann ein Teil des elektronischen Datenübertragungssystems 105 sein, muss dies jedoch nicht.
Die elektronische Nachricht kann jede Art von elektronischer Datenübertragungsstruktur sein. Die elektronische Nachricht kann zum Beispiel eine elektronische Mitteilung, Instant-Messaging-Nachricht, Audionachricht oder Textnachricht sein. Die elektronische Nachricht kann eine Nachricht einer Unterhaltung sein. Die elektronische Nachricht kann eine der Chat-Nachrichten einer Unterhaltung sein. Die Unterhaltung kann eine Abfolge von Nachrichten sein, die zwischen einem Chat-Agenten und einem oder mehreren Benutzern gesendet werden. Die elektronische Nachricht kann zum Beispiel die erste Chat-Nachricht der Unterhaltung oder eine zufällig ausgewählte elektronische Nachricht der Unterhaltung sein. In einem weiteren Beispiel kann die elektronische Nachricht eine ausgewählte Chat-Nachricht der Unterhaltung sein. Die Auswahl kann auf Grundlage eines Auswahlkriteriums durchgeführt werden. Das Auswahlkriterium kann zum Beispiel erfordern, dass die zu modifizierende Nachricht nach einer korrekten Antwort des Benutzers empfangen wird.
Intentionen der empfangenen oder abgefangenen elektronischen Nachricht können in einem Schritt 203 ermittelt werden. Die ermittelten Intentionen können als Nachrichtenintentionen bezeichnet werden. Die Nachrichtenintention kann sich zum Beispiel auf das Ziel beziehen, das der Chatbot-Agent im Sinn hat, wenn er eine Frage oder einen Kommentar bereitstellt. Eine Intentionsklassifizierung kann die automatisierte Zuweisung von Text zu einem bestimmten Zweck oder Ziel sein. Die Nachrichtenintentionen können zum Beispiel durch einen Klassifikator ermittelt werden. Der Klassifikator kann Textelemente analysieren und sie in Intentionen kategorisieren, z.B. Computer-Virus, Aufheizung usw. Der Intentionsklassifikator kann zum Beispiel Algorithmen mit maschinellem Lernen verwenden, die Wörter oder Ausdrücke einer bestimmten Intention zuordnen können.
In einem Schritt 205 kann ein Störinhalt auf Bildgrundlage erzeugt werden. Der Störinhalt auf Bildgrundlage kann einen Störinhalt aufweisen, der sich von einem Inhalt der empfangenen elektronischen Nachricht unterscheidet. Obwohl er sich von dem Inhalt der empfangenen elektronischen Nachricht unterscheidet, bezieht sich der Störinhalt auf Bildgrundlage auf die Nachrichtenintentionen. So kann der Störinhalt auf Bildgrundlage zum Beispiel ein oder mehrere Bilder sein. In einem weiteren Beispiel kann der Störinhalt auf Bildgrundlage Text aufweisen, der aus einem oder mehreren Bildern erhalten wird.
Der Störinhalt auf Bildgrundlage kann zum Beispiel unter Verwendung eines Variations-Auto-Encoders (VAE) erzeugt werden. Hierfür kann eine Datenbank von zuvor verwendeten Textnachrichten verwendet werden, um Textnachrichten zu identifizieren, die dieselbe Domäne wie die empfangene Textnachricht haben, deren Intentionen sich jedoch von den Nachrichtenintentionen der empfangenen elektronischen Nachricht unterscheiden. Diese identifizierten Textnachrichten können verwendet werden, um eine Eingabe in den VAE bereitzustellen und ein oder mehrere Bilder zu erzeugen.
Der erzeugte Störinhalt auf Bildgrundlage kann in einem Schritt 207 bereitgestellt werden. In einem Beispiel kann der erzeugte Störinhalt auf Bildgrundlage anstatt der abgefangenen elektronischen Nachricht bereitgestellt werden. Wenn die abgefangene elektronische Nachricht zum Beispiel auf der Schnittstelle des Computers angezeigt werden soll, kann stattdessen der erzeugte Störinhalt auf Bildgrundlage angezeigt werden. In einem weiteren Beispiel kann der erzeugte Störinhalt auf Bildgrundlage zusätzlich zu der abgefangenen elektronischen Nachricht bereitgestellt werden. Wenn die abgefangene elektronische Nachricht zum Beispiel auf der Schnittstelle des Computers angezeigt werden soll, kann der erzeugte Störinhalt auf Bildgrundlage (in einem Chat-Fluss) vor oder nach dem Anzeigen der abgefangenen elektronische Nachricht angezeigt werden. Auf diese Weise kann Text der elektronischen Nachricht gemeinsam mit etwaigen erzeugten mehrdeutigen Bildern in der nächsten Äußerung vorgelegt werden.
Nach dem Bereitstellen des erzeugten Störinhalts auf Bildgrundlage kann ermittelt werden, ob der Benutzer den erzeugten Inhalt als eine Störung identifiziert hat. Wenn der Benutzer ihn nicht als eine Störung identifiziert hat, kann der Controller 101 der elektronischen Datenübertragung gemäß einem einfachen Betriebsmodus ein Bereitstellen von weiterem Störinhalt stoppen. In einem weiteren Beispiel kann der Controller der elektronischen Datenübertragung gemäß einem schwierigen Betriebsmodus kurz pausieren, um festzustellen, ob der Benutzer eine Störung in der Unterhaltung doch noch identifizieren kann.
3 ist ein Ablaufplan eines Verfahrens zum Erzeugen von Bildern gemäß einem Beispiel für den vorliegenden Erfindungsgegenstand. Zu Erläuterungszwecken kann das in 3A beschriebene Verfahren in dem System realisiert werden, das in 1A veranschaulicht wird, ohne jedoch auf diese Realisierung beschränkt zu sein. Das Verfahren aus 3 kann zum Beispiel durch den Controller 101 der elektronischen Datenübertragung durchgeführt werden.
In einem Schritt 301 können verwandte Intentionen der Nachrichtenintentionen ermittelt werden. Zum Beispiel kann der Wissensgraph verwendet werden, um einen Satz von Intentionen zu finden, die sich auf die Nachrichtenintentionen beziehen.
Bilder, die den verwandten Intentionen zugehörig sind und die nicht den Nachrichtenintentionen zugehörig sind, können in einem Schritt 303 aus der Wissensdatenbank extrahiert werden. Bei den extrahierten Bildern kann es sich zum Beispiel um den Störinhalt auf Bildgrundlage handeln, der in dem Schritt 205 ermittelt wird. So können zum Beispiel Bilder extrahiert werden, die mit den Intentionen gekennzeichnet werden, die in einem verwandten Satz Y, nicht jedoch in dem Bildsatz X vorhanden sind. Diese Bilder entsprechen Intentionen, die in der abgefangenen elektronischen Nachricht nicht vorhanden sind, sich jedoch auf sie beziehen. Diese Bilder können eine Mehrdeutigkeit einführen.
4 ist ein Ablaufplan eines Verfahrens gemäß einem Beispiel für den vorliegenden Erfindungsgegenstand. Zu Erläuterungszwecken kann das in 4 beschriebene Verfahren in dem System realisiert werden, das in 1A veranschaulicht wird, ohne jedoch auf diese Realisierung beschränkt zu sein. Das Verfahren aus 4 kann zum Beispiel durch den Controller 101 der elektronischen Datenübertragung durchgeführt werden. Das Verfahren aus 4 stellt weitere Einzelheiten des Schritts 205 bereit. Das Verfahren aus 4 kann demnach verwendet werden, um den Störinhalt auf Bildgrundlage in dem Schritt 205 zu ermitteln.
In einem Schritt 401 kann ein gemeinsamer Einbettungsbereich ermittelt werden. Der gemeinsame Einbettungsbereich kann elektronische Nachrichten und Bilder darstellen.
Die (in dem Schritt 201 empfangene) elektronische Nachricht und ein vorab definierter Satz von Bildern können in einem Schritt 403 in dem Einbettungsbereich dargestellt werden.
Der Satz von Bildern kann in einem Schritt 405 auf Grundlage einer Ähnlichkeit zwischen den Darstellungen des Satzes von Bildern und der Darstellung der Textnachricht in dem Einbettungsbereich der Rangfolge nach geordnet werden.
In einem Schritt 407 kann ein Teilsatz des Satzes von Bildern auf Grundlage der Rangfolge ausgewählt werden. Das Verfahren aus 4 kann zum Beispiel eine Verwendung gemeinsamer Einbettungen ermöglichen, um alle Bilder nach ihrer Ähnlichkeit mit dem Text der Rangfolge nach ordnen. In dieser Rangfolge beziehen sich die obersten, gemäß k mit einer Rangfolge versehenen Bilder direkt auf den Text. Zur Einführung einer Mehrdeutigkeit werden die nächsten, gemäß k mit einer Rangfolge versehenen Bilder ausgewählt, die innerhalb des Kontexts von Text t zwar in gewisser Weise relevant, jedoch nicht absolut nützlich sind und eine Mehrdeutigkeit hervorrufen. Der Wert von k kann abgestimmt werden.
5 ist eine Darstellung, die ein Verfahren zum Verknüpfen von Text- und Bildeinbettungsbereichen gemäß dem vorliegenden Erfindungsgegenstand veranschaulicht. Ein siamesisches Netzwerk 500 kann trainiert werden, um die Bild- und Textbeziehung zu identifizieren. Das Bild wird unter Verwendung eines Encoders auf CNN-Grundlage analysiert, während eine Textbeschreibung unter Verwendung eines Transformators auf BERT-Grundlage analysiert wird. Die gemeinsame Einbettung wird unter Verwendung eines Hinge-Verlusts gelernt, um Bild und Text gemäß einer siamesischen neuronalen Netzwerkarchitektur aufeinander abzustimmen. Das siamesische Netzwerk 500 wird mit einem Satz von gekennzeichneten Daten trainiert. Der Satz von gekennzeichneten Daten weist Einträge auf. Jeder Eintrag weist ein Triplet auf, das aus einem Bild (z.B. einer Bildschirmaufnahme), einem verwandten Problemtext oder einem zufälligen Problemtext und einer Kennzeichnung besteht. Die Kennzeichnung kann auf Eins gesetzt werden, wenn der Problemtext nicht zufällig ist, andernfalls kann die Kennzeichnung Null sein.
6 ist eine Darstellung, die ein Verfahren zum Testen des gelernten Einbettungsbereichs gemäß dem vorliegenden Erfindungsgegenstand veranschaulicht. Eine oder mehrere frühere Nachrichten 601 einer Unterhaltung können in dem Einbettungsbereich dargestellt (606) werden. Zusätzlich können eine aktuelle Nachricht 604 und ein zugehöriges erzeugtes Bild 605 in dem gemeinsamen Einbettungsbereich dargestellt (607) werden. Eine Ähnlichkeit 608 zwischen den beiden Darstellungen kann ermittelt und eine Verlustfunktion entsprechend evaluiert (609) werden. Auf Grundlage des ermittelten Verlusts kann ermittelt (610) werden, ob die erzeugten Bilder das Training verbessert haben.
7 ist eine Darstellung, die ein Verfahren zum Erzeugen von Störinhalt auf Bildgrundlage gemäß dem vorliegenden Erfindungsgegenstand veranschaulicht. Das Verfahren aus 7 stellt alternative Verfahren zum Erzeugen eines Störinhalts auf Bildgrundlage bereit.
Eine Eingabe 700 wird bereitgestellt. Die Eingabe 700 soll anfänglich einem Benutzer bereitgestellt werden, sodass der Benutzer auf die Eingabe antworten oder eine Rückmeldung dazu bereitstellen kann. Die Eingabe 700 kann zum Beispiel aus virtuellen Kundenbeschwerden bestehen, die von einem Fachgebietsexperten (Subject Matter Expert, SME) erzeugt werden. Die Eingabe kann zum Beispiel eine elektronische Nachricht T₀ und ein Bild I₀ aufweisen, die sich auf die Beschwerden beziehen. So kann das Bild I₀ zum Beispiel eine Bildschirmaufnahme eines Terminal-Protokolls sein, und die elektronische Nachricht T₀ kann eine Frage zu dem Problem sein, das in dem Protokoll genannt wird. Das vorliegende Verfahren kann die Eingabe abändern (z.B. um die Frage/Beschwerde schwieriger zu machen), sodass der Benutzer besser getestet wird.
In einem Schritt 701 kann eine Textanalyse der elektronischen Nachricht T₀ durchgeführt werden. Die Textanalyse kann durchgeführt werden, um Intentionen der elektronischen Nachricht T₀ sowie Beziehungen zu ermitteln. Die Textanalyse kann zum Beispiel unter Verwendung einer Historie 720 von in Textform vorliegenden Unterhaltungsäußerungen durchgeführt werden. In einem Schritt 702 kann eine Bildanalyse des Bilds I₀ durchgeführt werden. Die Bildanalyse kann durchgeführt werden, um Intentionen des Bilds I₀ sowie Beziehungen zu ermitteln. Die Bildanalyse kann zum Beispiel unter Verwendung der Historie 720 von in Bildform vorliegenden Unterhaltungsäußerungen durchgeführt werden. Die Schritte 701 und 702 können Eingabeintentionen der Eingabe bereitstellen und z.B. des Weiteren eine Rangfolge der Eingabeintentionen auf Grundlage ihrer Wichtigkeit bereitstellen. Mögliche Lösungen der Beschwerden können in einem Schritt 704 identifiziert werden, wobei die ermittelten Intentionen und der Wissensgraph verwendet werden.
Schritte 705 und 706 stellen ein erstes Verfahren bereit, um den Störinhalt auf Bildgrundlage auf Grundlage der Ergebnisse der Schritte 701 bis 704 zu erzeugen. Die Schritte 705 bis 709 stellen ein zweites Verfahren bereit, um den Störinhalt auf Bildgrundlage auf Grundlage der Ergebnisse der Schritte 701 bis 704 zu erzeugen. Ein Schritt 711 stellt ein drittes Verfahren bereit, um den Störinhalt auf Bildgrundlage auf Grundlage der Ergebnisse der Schritte 701 bis 704 zu erzeugen. Ein Schritt 712 stellt ein viertes Verfahren bereit, um den Störinhalt auf Bildgrundlage auf Grundlage der Ergebnisse der Schritte 701 bis 704 zu erzeugen. Ein Schritt 713 stellt ein fünftes Verfahren bereit, um den Störinhalt auf Bildgrundlage auf Grundlage der Ergebnisse der Schritte 701 bis 704 zu erzeugen.
Das erste Verfahren kann eine Änderung der Eingabe ermöglichen, um eine Unvollständigkeit in die Eingabe einzuführen. Hierzu können in dem Schritt 705 Intentionen der Eingabeintentionen identifiziert werden, die entfernt werden können. Zu diesem Zweck kann in dem Schritt 706 auf Grundlage einer Domäne und eines Kontexts der Eingabe sowie auf Grundlage von Bildmetadaten eine Bildanalyse der in Bildform vorliegenden Unterhaltungsäußerungen durchgeführt werden. Zum Beispiel kann der Wissensgraph verwendet werden, um diejenigen Intentionen zu finden, die aus der Eingabe entfernt werden sollen, z.B. kann unter Verwendung der in Bildform vorliegenden Unterhaltungsäußerungen ermittelt werden, welche Intentionen der Eingabe wichtiger als die anderen Intentionen der Eingabe sind. Diese wichtigen Intentionen können diejenigen sein, die entfernt werden sollen, wobei z.B., wenn die Eingabe zehn Intentionen aufweist, Inhalt aus der Eingabe entfernt werden kann, der für eine oder zwei Intentionen der zehn Intentionen steht, sodass die resultierende/verbleibende Eingabe dem Benutzer als eine unvollständige Eingabe bereitgestellt werden kann. Es gibt verschiedene Szenarien für die Verwendung dieser identifizierten zu entfernenden Intentionen. In einem ersten Szenario kann unter Verwendung des Inhalts des Bilds I₀ und des Ergebnisses der Bildanalyse eine neue Textnachricht erzeugt werden, wobei die neue Textnachricht z.B. den Inhalt des Bilds I₀ ohne den Inhalt aufweisen kann, der für die zu entfernenden Intentionen steht. In einem zweiten Szenario kann unter Verwendung des Inhalts des Eingabetexts T₀ und des Ergebnisses einer Textanalyse (Schritt 708), die für die in Textform vorliegenden Unterhaltungsäußerungen durchgeführt wird, ein neues Bild erzeugt werden. Die Textanalyse (708) kann unter Verwendung des Wissensgraphen ein Identifizieren von Intentionen des Eingabetexts T₀ ermöglichen, die Störintentionen (z.B. unwichtige Intentionen) sind. Das neue Bild kann einen Inhalt des Eingabetexts T₀ enthalten, der für diese Störintentionen steht. In einem dritten Szenario können unter Verwendung des Inhalts des Bilds I₀ und des Texts T₀ eine neue Textnachricht und ein neues Bild erzeugt werden. Der neue Text und/oder das neue Bild können Inhalt aufweisen, der nur für unwichtige Intentionen steht. Dieses neue Bild und/oder diese neue Textnachricht können dem Benutzer anstatt der Eingabe als eine unvollständige Eingabe bereitgestellt werden.
Das zweite Verfahren kann ein Erzeugen eines Störbilds unter Verwendung eines VAEs ermöglichen. Hierfür können das Eingabebild I₀ sowie die identifizierten, zu entfernenden Intentionen dem VAE als eine Eingabe bereitgestellt werden, um in einem Schritt 707 ein Störbild zu erzeugen. Zum Beispiel verwendet der VAE das Bild I₀ und Kontextinformationen, die extrahiert werden, indem die Intention aus dem zu entfernenden Bild I₀ identifiziert werden. Das Störbild kann dem Benutzer zusätzlich zu der Eingabe oder anstatt der Eingabe bereitgestellt werden.
Das dritte Verfahren kann ein Bereitstellen von irreführenden Informationen an den Benutzer ermöglichen. Zu diesem Zweck kann der VAE in dem Schritt 711 verwendet werden, um auf Grundlage der Textmetadaten, die den in Textform vorliegenden Unterhaltungsäußerungen zugehörig sind, eine Störung in das Bild der Eingabe einzuführen. Der VAE verwendet das Bild I₀ und die Kontextinformationen, die extrahiert werden, indem eine Intention aus der Textnachricht T₀ extrahiert wird, die als eine Störung hinzugefügt werden soll.
Das vierte Verfahren kann ein Bereitstellen von irreführenden Informationen an den Benutzer ermöglichen. Hierfür können die irreführenden Fragmente in dem Schritt 712 auf Grundlage der Bildmetadaten, die den in Bildform vorliegenden Unterhaltungsäußerungen zugehörig sind, in die Textnachricht T₀ der Eingabe eingefügt werden.
Das fünfte Verfahren kann in dem Schritt 713 ein Einführen einer Inkonsistenz in die Eingabe ermöglichen, indem die Text- und Bildmetadaten der in Text- und Bildform vorliegenden Unterhaltungsäußerungen verwendet werden. Zum Beispiel können aus dem Eingabebild I₀ und der Textnachricht T₀ ein neues Bild und eine neue Textnachricht erzeugt werden.
Somit kann jedes des ersten, zweiten, dritten, vierten und fünften Verfahrens ermöglichen, dass in einem Schritt 714 dem Benutzer eine Stör-Unterhaltungsäußerung 715 bereitgestellt wird.
8 stellt ein allgemeines computergestütztes System 900 dar, das geeignet ist, um mindestens einen Teil der in die Offenbarung einbezogenen Verfahrensschritte zu realisieren.
Es dürfte offensichtlich sein, dass die hierin beschriebenen Verfahren mindestens teilweise nicht interaktiv sind und durch computergestützte Systeme wie Server oder eingebettete Systeme automatisiert werden. In beispielhaften Ausführungsformen können die hierin beschriebenen Verfahren jedoch in einem (teilweise) interaktiven System realisiert werden. Diese Verfahren können des Weiteren in einer Software 912, 922 (z.B. der Firmware 922), einer Hardware (Prozessor) 905 oder einer Kombination hiervon realisiert werden. In beispielhaften Ausführungsformen werden die hierin beschriebenen Verfahren als ein ausführbares Programm in Software realisiert und durch einen digitalen Spezial- oder Universal-Computer wie z.B. einen Personal Computer, einen Arbeitsplatzrechner, einen Minicomputer oder einen Mainframe Computer ausgeführt. Das allgemeinste System 900 enthält somit einen Universal-Computer 901.
In beispielhaften Ausführungsformen enthält der Computer 901 in Bezug auf die Hardware-Architektur wie in 8 gezeigt einen Prozessor 905, einen Arbeitsspeicher (Hauptarbeitsspeicher) 910, der mit einem Arbeitsspeicher-Controller 915 verbunden wird, und eine oder mehrere Eingabe- und/oder Ausgabe(E/A)-Einheiten (oder Peripherieeinheiten) 10, 945, die über einen lokalen Eingabe/Ausgabe-Controller 935 im Datenaustausch verbunden werden. Bei dem Eingabe/Ausgabe-Controller 935 kann es sich um einen oder mehrere Busse oder andere drahtgebundene oder drahtlose Verbindungen nach dem Stand der Technik handeln, ohne jedoch darauf beschränkt zu sein. Der Eingabe/Ausgabe-Controller 935 kann zusätzliche Elemente aufweisen, auf die aus Gründen der Einfachheit verzichtet wird, z.B. Controller, Puffer (Caches), Treiber, Repeater und Empfänger, um eine Datenübertragung zu ermöglichen. Des Weiteren kann die lokale Schnittstelle Adress-, Steuerungs- und/oder Datenverbindungen enthalten, um eine geeignete Datenübertragung zwischen den oben erwähnten Komponenten zu ermöglichen. Wie hierin beschrieben, können die E/A-Einheiten 10, 945 im Allgemeinen jede allgemeine Verschlüsselungskarte oder Smartcard enthalten, die nach dem Stand der Technik bekannt ist.
Der Prozessor 905 ist eine Hardware-Einheit zum Ausführen von Software, insbesondere von Software, die in dem Arbeitsspeicher 910 gespeichert wird. Der Prozessor 905 kann ein speziell hergestellter oder gewerblich erhältlicher Prozessor, eine Zentraleinheit (Central Processing Unit, CPU), ein Hilfsprozessor von mehreren dem Computer 901 zugehörigen Prozessoren, ein Mikroprozessor auf Halbleitergrundlage (in Form eines Mikrochips oder Chipsatzes) oder allgemein eine beliebige Einheit zum Ausführen von Softwareanweisungen sein.
Der Arbeitsspeicher 910 kann ein beliebiges flüchtiges Arbeitsspeicherelement oder Kombinationen von flüchtigen Arbeitsspeicherelementen (z.B. einen Direktzugriffsspeicher (Random Access Memory, RAM) wie beispielsweise einen DRAM, SRAM, SDRAM usw.)) und nicht flüchtigen Arbeitsspeicherelementen (z.B. einen ROM, einen löschbaren, programmierbaren Nur-Lese-Speicher (Erasable Programmable Read-Only Memory, EPROM), einen elektronisch löschbaren, programmierbaren Nur-Lese-Speicher (Electronically Erasable Programmable Read-Only Memory, EEPROM), einen programmierbaren Nur-Lese-Speicher (Programmable Read-Only Memory, PROM) enthalten. Zu beachten ist, dass der Arbeitsspeicher 910 eine verteilte Architektur aufweisen kann, bei der verschiedene Komponenten räumlich entfernt voneinander angeordnet sind, wobei der Prozessor 905 jedoch auf sie zugreifen kann.
Die Software in dem Arbeitsspeicher 910 kann ein oder mehrere getrennte Programme enthalten, von denen jedes eine geordnete Liste von ausführbaren Anweisungen zum Realisieren von logischen Funktionen aufweist, insbesondere von Funktionen, die in Ausführungsformen dieser Erfindung enthalten sind. In dem Beispiel aus 8 enthält die Software in dem Arbeitsspeicher 910 die Anweisungen 912, z.B. Anweisungen, um Datenbanken wie beispielsweise ein Datenbankverwaltungssystem zu verwalten.
Die Software in dem Arbeitsspeicher 910 enthält üblicherweise auch ein geeignetes Betriebssystem (Operating System, OS) 911. Das OS 911 kann die Ausführung anderer Computerprogramme steuern, wie möglicherweise der Software 912, um Verfahren wie hierin beschrieben zu realisieren.
Die hierin beschriebenen Verfahren können in Form eines Quellprogramms 912, eines ausführbaren Programms (Objektcode), Skripts oder jeder anderen Entität vorliegen, die einen Satz von Anweisungen 912 aufweist, die ausgeführt werden sollen. Im Falle eines Quellprogramms kann das Programm dann über einen Compiler, Assembler, Interpreter oder dergleichen, der innerhalb des Arbeitsspeichers 910 enthalten sein kann, übersetzt werden, um in Verbindung mit dem OS 911 einwandfrei zu funktionieren. Darüber hinaus können die Verfahren als eine objektorientierte Programmiersprache geschrieben werden, die Klassen von Daten und Verfahren aufweist, oder als eine prozedurale Programmiersprache, die Routinen, Teilroutinen und/oder Funktionen aufweist.
Bei beispielhaften Ausführungsformen können eine herkömmliche Tastatur 950 und Maus 955 mit dem Eingabe/Ausgabe-Controller 935 verbunden werden. Andere Ausgabeeinheiten wie z.B. die E/A-Einheiten 945 können Eingabeeinheiten wie z.B. einen Drucker, einen Scanner, ein Mikrofon und dergleichen enthalten, ohne jedoch darauf beschränkt zu sein. Schließlich können die E/A-Einheiten 10, 945 des Weiteren Einheiten enthalten, die sowohl Eingaben als auch Ausgaben übertragen, zum Beispiel eine Netzwerkschnittstellenkarte (Network Interface Card, NIC) oder ein Modulator/Demodulator (zum Zugreifen auf andere Dateien, Einheiten, Systeme oder ein Netzwerk), ein Hochfrequenz(HF-) oder anderweitiger Transceiver, eine Telefonschnittstelle, eine Bridge, ein Router und dergleichen, ohne jedoch darauf beschränkt zu sein. Bei den E/A-Einheiten 10, 945 kann es sich um jede allgemeine Verschlüsselungskarte oder Smartcard handeln, die nach dem Stand der Technik bekannt ist. Das System 900 kann des Weiteren einen Anzeige-Controller 925 enthalten, der mit einer Anzeige 930 verbunden wird. In beispielhaften Ausführungsformen kann das System 900 des Weiteren eine Netzwerkschnittstelle zur Verbindung mit einem Netzwerk 965 enthalten. Das Netzwerk 965 kann ein Netzwerk auf IP-Grundlage zur Datenübertragung zwischen dem Computer 901 und einem beliebigen externen Server, Client und Ähnlichem über eine Breitbandverbindung sein. Das Netzwerk überträgt und empfängt Daten zwischen dem Computer 901 und externen Systemen 30, die einbezogen werden können, um einen Teil oder alle Schritte der hierin dargelegten Verfahren durchzuführen. In beispielhaften Ausführungsformen kann das Netzwerk 965 ein verwaltetes IP-Netzwerk sein, das durch einen Dienstanbieter administriert wird. Das Netzwerk 965 kann auf drahtlose Art und Weise realisiert werden, z.B. unter Verwendung von Drahtlosprotokollen und -technologien wie WLAN, WiMax usw. Das Netzwerk 965 kann auch ein Netzwerk mit Paketvermittlung sein, z.B. ein lokales Netzwerk (Local Area Network, LAN), ein Weitverkehrsnetzwerk (Wide Area Network, WAN), ein Hochgeschwindigkeitsnetzwerk, das Internet-Netzwerk oder eine andere, ähnliche Art von Netzwerkumgebung. Das Netzwerk 965 kann ein Fixed-Wireless-Netzwerk, ein drahtloses lokales Netzwerk (LAN), ein drahtloses Weitverkehrsnetzwerk (Wireless WAN, WWAN), ein persönliches Netzwerk (Personal Area Network, PAN), ein virtuelles privates Netzwerk (Virtual Private Network, VPN), ein Intranet oder ein anderes geeignetes Netzwerksystem sein und enthält Einrichtungen zum Empfangen und Übertragen von Signalen.
Wenn der Computer 901 ein PC, ein Arbeitsplatzrechner, eine intelligente Einheit oder dergleichen ist, kann die Software in dem Arbeitsspeicher 910 des Weiteren ein Basic Input Output System (BIOS) 922 enthalten. Das BIOS ist ein Satz von wesentlichen Softwareroutinen, die die Hardware beim Hochfahren initialisieren und prüften das OS 911 starten und die Übertragung von Daten zwischen den Hardware-Einheiten ermöglichen. Das BIOS wird im ROM gespeichert, sodass es ausgeführt werden kann, wenn der Computer 901 aktiviert wird.
Wenn der Computer 901 in Betrieb ist, wird der Prozessor 905 so konfiguriert, dass er in dem Arbeitsspeicher 910 gespeicherte Software 912 ausführt, um Daten an den und von dem Arbeitsspeicher 910 zu übertragen und allgemein Operationen des Computers 901 gemäß der Software zu steuern. Die hierin beschriebenen Verfahren und das OS 911 werden ganz oder teilweise durch den Prozessor 905 gelesen, möglicherweise innerhalb des Prozessors 905 zwischengespeichert und dann ausgeführt.
Wenn die hierin beschriebenen Verfahren in der Software 912 realisiert werden, wie in 8 gezeigt, können die Verfahren in einem beliebigen computerlesbaren Medium gespeichert werden, z.B. einem Speicher 920, um durch oder in Verbindung mit einem beliebigen System oder Verfahren verwendet zu werden, das mit einem Computer in Zusammenhang steht. Der Speicher 920 kann einen Plattenspeicher wie z.B. einen HDD-Speicher aufweisen.
Der vorliegende Erfindungsgegenstand kann die folgenden Ausführungsformen aufweisen.
Ausführungsform 1. Computerrealisiertes Verfahren für eine elektronische Nachrichtenübermittlung:

Ausführungsform 2. Verfahren gemäß Ausführungsform 1, des Weiteren aufweisend: Ermitteln einer Domäne der elektronischen Nachricht; Ermitteln eines Satzes von einer oder mehreren Textnachrichten und eines Satzes von einem oder mehreren Bildern der ermittelten Domäne; wobei ein Erzeugen des Störinhalts auf Bildgrundlage ein beliebiges aufweist eines:

Erzeugens eines oder mehrerer Störbilder aus dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage die Störbilder sind;
Extrahierens eines Störtexts aus dem Satz von Bildern, wobei der Störinhalt auf Bildgrundlage der Störtext ist; und
Erzeugens eines multimodalen Störinhalts aus dem Satz von Bildern und dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage der multimodale Störinhalt ist.

Ausführungsform 3. Verfahren gemäß Ausführungsform 2, wobei der Satz von Bildern und der Satz von Textnachrichten so ermittelt werden, dass sich ihre Intentionen auf einen Teil der Nachrichtenintentionen beziehen.
Ausführungsform 4. Verfahren gemäß einer beliebigen der vorangegangenen Ausführungsformen 1 bis 3, wobei ein Erzeugen des Störinhalts auf Bildgrundlage aufweist:

Ermitteln eines gemeinsamen Einbettungsbereichs zum Darstellen von elektronischen Nachrichten und Bildern;
Darstellen einer Textnachricht und eines vorab definierten Satzes von Bildern in dem Einbettungsbereich, wobei die Textnachricht die elektronische Nachricht oder eine weitere Nachricht mit Intentionen ist, die mindestens ein Teil der Nachrichtenintentionen sind;
Ordnen des Satzes von Bildern der Rangfolge nach auf Grundlage einer Ähnlichkeit zwischen den Darstellungen des Satzes von Bildern und der Darstellung der Textnachricht in dem Einbettungsbereich;
Auswählen eines Teilsatzes von einem oder mehreren Störbildern des Satzes von Bildern auf Grundlage der Rangfolge, wobei der Störinhalt auf Bildgrundlage die Störbilder aufweist.

Ausführungsform 5. Verfahren gemäß Ausführungsform 4, wobei der Teilsatz von Störbildern aus den zweiten, gemäß k mit einer Rangfolge versehenen Bildern besteht, wobei k ein Wert eines konfigurierbaren Parameters ist.
Ausführungsform 6. Verfahren gemäß Ausführungsform 5, des Weiteren aufweisend ein Konfigurieren des Werts des Parameters k gemäß einem gewünschten Störpegel des Störinhalts.
Ausführungsform 7. Verfahren gemäß einer beliebigen der vorangegangenen Ausführungsformen 4 bis 6, wobei die gemeinsame Einbettung durch Verwenden eines Hinge-Verlusts gelernt wird, um Bild und Text gemäß einer siamesischen neuronalen Netzwerkarchitektur aufeinander abzustimmen.
Ausführungsform 8. Verfahren gemäß einer beliebigen der vorangegangenen Ausführungsformen 1 bis 3, wobei ein Erzeugen des Störinhalts auf Bildgrundlage aufweist:

Ermitteln verwandter Intentionen der Nachrichtenintentionen durch Verwenden eines Wissensgraphen, wobei der Wissensgraph Entitäten aufweist, die für Intentionen stehen;
Extrahieren eines Teilsatzes von Bildern, die den verwandten Intentionen zugehörig sind und die nicht den Nachrichtenintentionen zugehörig sind, aus einem vorab definierten Satz von Bildern, wobei der Störinhalt auf Bildgrundlage den Teilsatz von Bildern aufweist.

Ausführungsform 9. Verfahren gemäß Ausführungsform 8, wobei das Verfahren des Weiteren aufweist: Ermitteln eines Kontexts einer Nachrichtenübermittlungssitzung durch Verwenden der elektronischen Nachricht, wobei der Kontext der Nachrichtenübermittlungssitzung durch mindestens einen Teilgraphen des Wissensgraphen definiert wird; verwenden des Teilgraphen zum Ermitteln der verwandten Intentionen als Intentionen, die zu dem ermittelten Kontext gehören und den Nachrichtenintentionen zugehörig sind.
Ausführungsform 10. Verfahren gemäß einer beliebigen der vorangegangenen Ausführungsformen 1 bis 3, wobei ein Erzeugen des Störinhalts auf Bildgrundlage aufweist: Ermitteln verwandter Intentionen der Nachrichtenintentionen durch Verwenden eines Wissensgraphen, wobei der Wissensgraph Entitäten aufweist, die für Intentionen stehen; Erzeugen der Bilder durch Anwenden eines Variations-Auto-Encoders auf die verwandten Entitäten, wobei der Störinhalt auf Bildgrundlage die erzeugten Bilder aufweist.
Ausführungsform 11. Verfahren gemäß einer beliebigen der vorangegangenen Ausführungsformen 1 bis 10, wobei die elektronische Nachricht aus einer Chat-Anwendung des elektronischen Datenübertragungssystems abgefangen wird, wobei die Chat-Anwendung konfiguriert wird, um eine Unterhaltung eines Benutzers während einer Nachrichtenübermittlungssitzung zu simulieren, wobei das Empfangen aufweist: Abfangen einer Nachricht der Chat-Anwendung zu vorab definierten Zeitpunkten der Nachrichtenübermittlungssitzung.
Ausführungsform 12. Verfahren gemäß einer beliebigen der vorangegangenen Ausführungsformen 1 bis 11, wobei das elektronische Datenübertragungssystem ein Chat-Server ist, der konfiguriert wird, um Nachrichten zwischen Chat-Clients zu verteilen.
Ausführungsform 13. Verfahren gemäß Ausführungsform 12, wobei die elektronische Nachricht von einem ersten Chat-Client in einem zweiten Chat-Client empfangen wird, wobei das Verfahren des Weiteren aufweist: Erkennen sensibler Informationen in der empfangenen elektronischen Nachricht, wobei der Störinhalt der ermittelten Bilder nicht sensible Informationen aufweist, wobei die ermittelten Bilder anstatt der empfangenen elektronischen Nachricht bereitgestellt werden.
Ausführungsform 14. Verfahren gemäß einer beliebigen der Ausführungsformen 1 bis 13, des Weiteren aufweisend: Bereitstellen eines Wissensgraphen, der für eine Domäne einer computerbezogenen Fehlerbehebung steht, wobei der Wissensgraph Entitäten aufweist, die für Probleme und Lösungen stehen; wobei die Nachrichtenintentionen für computerbezogene technische Probleme stehen und einem Satz von Lösungen in dem Wissensgraphen zugehörig sind; wobei das Ermitteln der Bilder ein Ermitteln verwandter Intentionen der Nachrichtenintentionen durch Verwenden des Wissensgraphen aufweist, wobei die verwandten Intentionen Lösungen zugehörig sind, die sich von dem Satz von Lösungen unterscheiden; Extrahieren eines Teilsatzes von Bildern, die den verwandten Intentionen zugehörig sind und die nicht den Nachrichtenintentionen zugehörig sind, aus einem vorab definierten Satz von Bildern.
Ausführungsform 15. Verfahren gemäß Ausführungsform 14, des Weiteren aufweisend ein Erzeugen des Wissensgraphen durch Verwenden von Datenübertragungstranskripten und/oder Protokollen früherer Datenübertragungen; ein Clustern von Intentionen des Wissensgraphen gemäß einer oder mehreren Grapheneigenschaften des Wissensgraphen, wobei die Grapheneigenschaft ein beliebiges aufweist: eines Zentralitätsindexes eines jeden Knotens des Graphen und eines Abstands eines jeden Knotens von anderen Knoten des Graphen.
Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt mit einem beliebigen möglichen Grad an technischer Integration handeln. Das Computerprogrammprodukt kann ein computerlesbares Speichermedium (oder computerlesbare Speichermedien) mit darauf gespeicherten computerlesbaren Programmanweisungen enthalten, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Bei dem computerlesbaren Speichermedium kann es sich um eine physische Einheit handeln, die Anweisungen zur Verwendung durch eine Anweisungsausführungseinheit behalten und speichern kann. Bei dem computerlesbaren Speichermedium kann es sich zum Beispiel um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder jede geeignete Kombination daraus handeln, ohne auf diese beschränkt zu sein. Zu einer nicht erschöpfenden Liste spezifischerer Beispiele des computerlesbaren Speichermediums gehören die Folgenden: eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (Random Access Memory, RAM), ein Nur-Lese-Speicher (Read-Only Memory, ROM) ein löschbarer programmierbarer Nur-Lese-Speicher (Erasable Programmable Read-Only Memory (EPROM) bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (Static Random Access Memory, SRAM), ein tragbarer CD-ROM, eine DVD (Digital Versatile Disc), ein Speicher-Stick, eine Diskette, eine mechanisch kodierte Einheit wie zum Beispiel Lochkarten oder erhabene Strukturen in einer Rille, auf denen Anweisungen gespeichert werden, und jede geeignete Kombination daraus. Ein computerlesbares Speichermedium soll in der Verwendung hierin nicht als transitorische Signale an sich aufgefasst werden, wie zum Beispiel Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z.B. Lichtwellenleiterkabel durchlaufende Lichtimpulse) oder durch einen Draht übertragene elektrische Signale.
Hierin beschriebene computerlesbare Programmanweisungen können von einem computerlesbaren Speichermedium auf jeweilige Datenverarbeitungs-/ Verarbeitungseinheiten oder über ein Netzwerk wie zum Beispiel das Internet, ein lokales Netzwerk (LAN), ein Weitverkehrsnetzwerk (WAN) und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, drahtlose Übertragung, Leitwegrechner, Firewalls, Vermittlungseinheiten, Gateway Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs-/Verarbeitungseinheit empfängt computerlesbare Programmanweisungen aus dem Netzwerk und leitet die computerlesbaren Programmanweisungen zur Speicherung in einem computerlesbaren Speichermedium innerhalb der entsprechenden Datenverarbeitungs-/Verarbeitungseinheit weiter.
Bei computerlesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Erfindung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (Instruction Set Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandseinstellende Daten, Konfigurationsdaten für eine integrierte Schaltung oder sowohl um Quellcode als auch um Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, darunter objektorientierte Programmiersprachen wie Smalltalk, C++ o.ä. sowie herkömmliche prozedurale Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen. Die computerlesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. In letzterem Fall kann der entfernt angeordnete Computer mit dem Computer des Benutzers durch eine beliebige Art Netzwerk verbunden werden, zum Beispiel ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetzwerk (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Verwendung eines Internet-Dienstanbieters). Bei manchen Ausführungsformen können elektronische Schaltungen, darunter zum Beispiel programmierbare Logikschaltungen, im Feld programmierbare Gatter-Arrays (Field-Programmable Gate Arrays, FPGA) oder programmierbare Logik-Arrays (Programmable Logic Arrays, PLA) die computerlesbaren Programmanweisungen ausführen, indem sie Zustandsinformationen der computerlesbaren Programmanweisungen nutzen, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
Aspekte der vorliegenden Erfindung werden hierin unter Bezugnahme auf Ablaufplandarstellungen und/oder Blockschaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass jeder Block der Ablaufplandarstellungen und/oder der Blockschaubilder sowie Kombinationen von Blöcken in den Ablaufplandarstellungen und/oder den Blockschaubildern mittels computerlesbarer Programmanweisungen ausgeführt werden können.
Diese computerlesbaren Programmanweisungen können einem Prozessor eines Computers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, sodass die über den Prozessor des Computers bzw. der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführten Anweisungen ein Mittel zur Umsetzung der in dem Block oder den Blöcken des Ablaufplans und/oder des Blockschaubilds festgelegten Funktionen/Schritte erzeugen. Diese computerlesbaren Programmanweisungen können auch auf einem computerlesbaren Speichermedium gespeichert werden, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Art funktionieren, sodass das computerlesbare Speichermedium, auf dem Anweisungen gespeichert werden, ein Herstellungsprodukt aufweist, darunter Anweisungen, die Aspekte der bzw. des in dem Block bzw. den Blöcken der Ablaufpläne und/oder Blockschaubilder angegebenen Funktion/Schritts umsetzen.
Die computerlesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder eine andere Einheit geladen werden, um das Ausführen einer Reihe von Prozessschritten auf dem Computer bzw. der anderen programmierbaren Vorrichtung oder anderen Einheit zu verursachen, um einen computerrealisierten Prozess zu erzeugen, sodass die auf dem Computer, einer anderen programmierbaren Vorrichtung oder einer anderen Einheit ausgeführten Anweisungen die in dem Block bzw. den Blöcken der Ablaufpläne und/oder Blockschaubilder festgelegten Funktionen/Schritte umsetzen.
Die Ablaufpläne und die Blockschaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Ausführungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Ablaufplänen oder Blockschaubildern ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zum Realisieren der bestimmten logischen Funktion bzw. Funktionen aufweisen. In einigen alternativen Ausführungen können die in dem Block angegebenen Funktionen in einer anderen Reihenfolge als in den Figuren gezeigt stattfinden. Zum Beispiel können zwei nacheinander gezeigte Blöcke in Wirklichkeit als ein Schritt erfolgen, im Wesentlichen gleichzeitig, teilweise oder vollständig zeitlich überlappend ausgeführt werden, oder die Blöcke können manchmal je nach entsprechender Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es ist ferner anzumerken, dass jeder Block der Blockschaubilder und/oder der Ablaufplandarstellungen sowie Kombinationen aus Blöcken in den Blockschaubildern und/oder den Ablaufplandarstellungen durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, die die festgelegten Funktionen oder Schritte durchführen, oder Kombinationen aus Spezial-Hardware und Computeranweisungen ausführen.

Claims

Computerrealisiertes Verfahren für eine elektronische Nachrichtenübermittlung, aufweisend: Empfangen einer elektronischen Nachricht eines elektronischen Datenübertragungssystems, wobei die Nachricht für einen Empfänger ermittelt wird; Ermitteln der Nachrichtenintentionen der empfangenen elektronischen Nachricht; Erzeugen eines Störinhalts auf Bildgrundlage, wobei sich der Störinhalt auf Bildgrundlage von einem Inhalt der empfangenen elektronischen Nachricht unterscheidet und auf die Nachrichtenintentionen bezieht; und Steuern des elektronischen Datenverarbeitungssystems, um dem Empfänger anstatt der empfangenen elektronischen Nachricht den Störinhalt auf Bildgrundlage bereitzustellen oder dem Empfänger zusätzlich zu dem Störinhalt auf Bildgrundlage die empfangene elektronische Nachricht bereitzustellen.
Verfahren nach Anspruch 1, des Weiteren aufweisend: Ermitteln einer Domäne der elektronischen Nachricht; und Ermitteln eines Satzes von einer oder mehreren Textnachrichten und eines Satzes von einem oder mehreren Bildern der ermittelten Domäne; wobei ein Erzeugen des Störinhalts auf Bildgrundlage ein beliebiges aufweist eines: Erzeugens eines oder mehrerer Störbilder aus dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage die Störbilder sind; Extrahierens eines Störtexts aus dem Satz von Bildern, wobei der Störinhalt auf Bildgrundlage der Störtext ist; und Erzeugens eines multimodalen Störinhalts aus dem Satz von Bildern und dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage der multimodale Störinhalt ist.
Verfahren nach Anspruch 2, wobei der Satz von Bildern und der Satz von Textnachrichten so ermittelt werden, dass sich ihre Intentionen auf einen Teil der Nachrichtenintentionen beziehen.
Verfahren nach Anspruch 1, wobei ein Erzeugen des Störinhalts auf Bildgrundlage aufweist: Ermitteln eines gemeinsamen Einbettungsbereichs zum Darstellen von elektronischen Nachrichten und Bildern; Darstellen einer Textnachricht und eines vorab definierten Satzes von Bildern in dem Einbettungsbereich, wobei die Textnachricht die elektronische Nachricht oder eine weitere Nachricht mit Intentionen ist, die mindestens ein Teil der Nachrichtenintentionen sind; Ordnen des Satzes von Bildern der Rangfolge nach auf Grundlage einer Ähnlichkeit zwischen den Darstellungen des Satzes von Bildern und der Darstellung der Textnachricht in dem Einbettungsbereich; und Auswählen eines Teilsatzes von einem oder mehreren Störbildern des Satzes von Bildern auf Grundlage der Rangfolge, wobei der Störinhalt auf Bildgrundlage die Störbilder aufweist.
Verfahren nach Anspruch 4, wobei der Teilsatz von Störbildern aus den zweiten, gemäß k mit einer Rangfolge versehenen Bildern besteht, wobei k ein Wert eines konfigurierbaren Parameters ist.
Verfahren nach Anspruch 5, des Weiteren aufweisend ein Konfigurieren des Werts des Parameters k gemäß einem gewünschten Störpegel des Störinhalts.
Verfahren nach Anspruch 4, wobei die gemeinsame Einbettung durch Verwenden eines Hinge-Verlusts gelernt wird, um Bild und Text gemäß einer siamesischen neuronalen Netzwerkarchitektur aufeinander abzustimmen.
Verfahren nach Anspruch 1, wobei ein Erzeugen des Störinhalts auf Bildgrundlage aufweist: Ermitteln verwandter Intentionen der Nachrichtenintentionen durch Verwenden eines Wissensgraphen, wobei der Wissensgraph Entitäten aufweist, die für Intentionen stehen; und Extrahieren eines Teilsatzes von Bildern, die den verwandten Intentionen zugehörig sind und die nicht den Nachrichtenintentionen zugehörig sind, aus einem vorab definierten Satz von Bildern, wobei der Störinhalt auf Bildgrundlage den Teilsatz von Bildern aufweist.
Verfahren nach Anspruch 8, wobei das Verfahren des Weiteren aufweist: Ermitteln eines Kontexts einer Nachrichtenübermittlungssitzung durch Verwenden der elektronischen Nachricht, wobei der Kontext der Nachrichtenübermittlungssitzung durch mindestens einen Teilgraphen des Wissensgraphen definiert wird; und Verwenden des Teilgraphen zum Ermitteln der verwandten Intentionen als Intentionen, die zu dem ermittelten Kontext gehören und den Nachrichtenintentionen zugehörig sind.
Verfahren nach Anspruch 1, wobei ein Erzeugen des Störinhalts auf Bildgrundlage aufweist: Ermitteln verwandter Intentionen der Nachrichtenintentionen durch Verwenden eines Wissensgraphen, wobei der Wissensgraph Entitäten aufweist, die für Intentionen stehen; und Erzeugen der Bilder durch Anwenden eines Variations-Auto-Encoders auf die verwandten Entitäten, wobei der Störinhalt auf Bildgrundlage die erzeugten Bilder aufweist.
Verfahren nach Anspruch 1, wobei die elektronische Nachricht aus einer Chat-Anwendung des elektronischen Datenübertragungssystems abgefangen wird, wobei die Chat-Anwendung konfiguriert wird, um eine Unterhaltung eines Benutzers während einer Nachrichtenübermittlungssitzung zu simulieren, wobei das Empfangen aufweist: Abfangen einer Nachricht der Chat-Anwendung zu vorab definierten Zeitpunkten der Nachrichtenübermittlungssitzung.
Verfahren nach Anspruch 1, wobei das elektronische Datenübertragungssystem ein Chat-Server ist, der konfiguriert wird, um Nachrichten zwischen Chat-Clients zu verteilen.
Verfahren nach Anspruch 12, wobei die elektronische Nachricht von einem ersten Chat-Client in einem zweiten Chat-Client empfangen wird, wobei das Verfahren des Weiteren aufweist: Erkennen sensibler Informationen in der empfangenen elektronischen Nachricht, wobei der Störinhalt der ermittelten Bilder nicht sensible Informationen aufweist, wobei die ermittelten Bilder anstatt der empfangenen elektronischen Nachricht bereitgestellt werden.
Verfahren nach Anspruch 1, des Weiteren aufweisend: Bereitstellen eines Wissensgraphen, der für eine Domäne einer computerbezogenen Fehlerbehebung steht, wobei der Wissensgraph Entitäten aufweist, die für Probleme und Lösungen stehen; wobei die Nachrichtenintentionen für computerbezogene technische Probleme stehen und einem Satz von Lösungen in dem Wissensgraphen zugehörig sind; wobei das Ermitteln der Bilder aufweist: Ermitteln verwandter Intentionen der Nachrichtenintentionen durch Verwenden des Wissensgraphen, wobei die verwandten Intentionen Lösungen zugehörig sind, die sich von dem Satz von Lösungen unterscheiden; und Extrahieren eines Teilsatzes von Bildern, die den verwandten Intentionen zugehörig sind und die nicht den Nachrichtenintentionen zugehörig sind, aus einem vorab definierten Satz von Bildern.
Verfahren nach Anspruch 14, des Weiteren aufweisend: Erzeugen des Wissensgraphen durch Verwenden von Datenübertragungstranskripten und/oder Protokollen früherer Datenübertragungen; und Clustern von Intentionen des Wissensgraphen gemäß einer oder mehreren Grapheneigenschaften des Wissensgraphen, wobei die Grapheneigenschaft ein beliebiges aufweist: eines Zentralitätsindexes eines jeden Knotens des Graphen und eines Abstands eines jeden Knotens von anderen Knoten des Graphen.
Computerprogrammprodukt, das ein oder mehrere computerlesbare Speichermedien mit darin enthaltenen computerlesbaren Programmanweisungen zur Ausführung durch einen oder mehrere Prozessoren eines oder mehrerer Computer aufweist, wobei die computerlesbaren Programmanweisungen Anweisungen aufweisen zum: Empfangen einer elektronischen Nachricht eines elektronischen Datenübertragungssystems durch den einen oder die mehreren Prozessoren, wobei die Nachricht für einen Empfänger ermittelt wird; Ermitteln von Nachrichtenintentionen der empfangenen elektronischen Nachricht durch den einen oder die mehreren Prozessoren; Erzeugen eines Störinhalts auf Bildgrundlage durch den einen oder die mehreren Prozessoren, wobei sich der Störinhalt auf Bildgrundlage von einem Inhalt der empfangenen elektronischen Nachricht unterscheidet und auf die Nachrichtenintentionen bezieht; und Steuern des elektronischen Datenverarbeitungssystems durch den einen oder die mehreren Prozessoren, um dem Empfänger anstatt der empfangenen elektronischen Nachricht den Störinhalt auf Bildgrundlage bereitzustellen oder dem Empfänger zusätzlich zu dem Störinhalt auf Bildgrundlage die empfangene elektronische Nachricht bereitzustellen.
Computerprogrammprodukt nach Anspruch 16, wobei die Programmieranweisungen des Weiteren Anweisungen aufweisen zum: Ermitteln einer Domäne der elektronischen Nachricht durch den einen oder die mehreren Prozessoren; Ermitteln eines Satzes von einer oder mehreren Textnachrichten und eines Satzes von einem oder mehreren Bildern der ermittelten Domäne durch den einen oder die mehreren Prozessoren; und wobei ein Erzeugen des Störinhalts auf Bildgrundlage ein beliebiges aufweist eines: Erzeugens eines oder mehrerer Störbilder aus dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage die Störbilder sind; Extrahierens eines Störtexts aus dem Satz von Bildern, wobei der Störinhalt auf Bildgrundlage der Störtext ist; und Erzeugens eines multimodalen Störinhalts aus dem Satz von Bildern und dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage der multimodale Störinhalt ist.
Computerprogrammprodukt nach Anspruch 17, wobei der Satz von Bildern und der Satz von Textnachrichten so ermittelt werden, dass sich ihre Intentionen auf einen Teil der Nachrichtenintentionen beziehen.
Computersystem, aufweisend einen oder mehrere Prozessoren und ein oder mehrere physische Speichermedien, die Programmieranweisungen zur Ausführung durch den einen oder die mehreren Prozessoren speichern, wobei die Programmanweisungen Anweisungen aufweisen zum: Empfangen einer elektronischen Nachricht; Ermitteln der Nachrichtenintentionen der empfangenen elektronischen Nachricht; Erzeugen eines Störinhalts auf Bildgrundlage, wobei sich der Störinhalt auf Bildgrundlage von einem Inhalt der empfangenen elektronischen Nachricht unterscheidet und auf die Nachrichtenintentionen bezieht; und Steuern des elektronischen Datenverarbeitungssystems, um anstatt der empfangenen elektronischen Nachricht den Störinhalt auf Bildgrundlage bereitzustellen oder zusätzlich zu dem Störinhalt auf Bildgrundlage die erzeugte elektronische Nachricht bereitzustellen.
Computersystem nach Anspruch 19, wobei die Programmieranweisungen des Weiteren Anweisungen aufweisen zum: Ermitteln einer Domäne der elektronischen Nachricht durch den einen oder die mehreren Prozessoren; und Ermitteln eines Satzes von einer oder mehreren Textnachrichten und eines Satzes von einem oder mehreren Bildern der ermittelten Domäne durch den einen oder die mehreren Prozessoren; wobei ein Erzeugen des Störinhalts auf Bildgrundlage ein beliebiges aufweist eines: Erzeugens eines oder mehrerer Störbilder aus dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage die Störbilder sind; Extrahierens eines Störtexts aus dem Satz von Bildern, wobei der Störinhalt auf Bildgrundlage der Störtext ist; und Erzeugens eines multimodalen Störinhalts aus dem Satz von Bildern und dem Satz von Textnachrichten, wobei der Störinhalt auf Bildgrundlage der multimodale Störinhalt ist.