EP4643241A1 - Training eines konversationssystems durch video/audio-analyse - Google Patents

Training eines konversationssystems durch video/audio-analyse

Info

Publication number
EP4643241A1
EP4643241A1 EP24702243.7A EP24702243A EP4643241A1 EP 4643241 A1 EP4643241 A1 EP 4643241A1 EP 24702243 A EP24702243 A EP 24702243A EP 4643241 A1 EP4643241 A1 EP 4643241A1
Authority
EP
European Patent Office
Prior art keywords
questions
conversation system
answers
emotions
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24702243.7A
Other languages
English (en)
French (fr)
Inventor
Rebecca Johnson
Carsten Wagner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Publication of EP4643241A1 publication Critical patent/EP4643241A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation

Definitions

  • the invention relates to a computer-implemented method and an associated arrangement for training an automated conversation system.
  • a chatbot is a computer-based system capable of conducting human-like conversations with users. Chatbots are often used in social media, websites, or instant messaging applications to provide information, answer questions, or offer services to users.
  • Chatbots can be programmed in a variety of ways to have human-like conversations. Some chatbots use rule-based systems, which use predefined rules and patterns to respond to user input. Other chatbots use machine learning to have human-like conversations and improve based on user input.
  • Chatbots can also be used in a variety of industries, such as customer service, e-commerce, and entertainment. They can help improve the efficiency of business processes and provide users with a faster and easier way to respond to their queries and needs. There are different ways a chatbot can be trained, depending on how it was programmed.
  • a rule-based chatbot is usually programmed by a developer using predefined rules and patterns to respond to user input. These rules and patterns are built into the chatbot from the start and do not need to be further trained.
  • a chatbot that uses machine learning to conduct human-like conversations is typically trained by providing it with large amounts of data, known as "training”. This data includes typical user inputs and the chatbot's corresponding responses. The machine learning model is then used to recognize patterns in this data and learn from it how to respond to user input.
  • chatbots There are different types of machine learning models that can be used in chatbots, such as neural networks and decision trees. Each model has its own strengths and weaknesses and may be better suited to certain use cases than others.
  • chatbot is a continuous process and the chatbot may need further training to improve its performance and adapt to new user inputs and needs.
  • chatbot administrators offer two main functionalities. One is to enter at least 20 versions of the same question to trigger what is known as NLU (Natural Language Understanding) training of intents, e.g. "Can I have an ice cream”, “Do you have ice cream”, “I really want ice cream”, etc. to train the intent "The user wants ice cream”. The other is hard-coded answers, which the chatbot can give when such an intent is recognized, e.g. "Here you can find the nearest ice cream parlor”.
  • NLU Natural Language Understanding
  • this content is handed over to the data scientist as unstructured prose. It is also common for the content to be collected from various sources in various formats before this one-stop handover moment.
  • a chatbot administrator is a person who is responsible for managing and maintaining a chatbot. This may include programming, training, and updating the chatbot, depending on how the chatbot is configured and what type of functions it performs.
  • a chatbot administrator might also be responsible for monitoring the chatbot's performance and analyzing user inputs and responses to ensure that the chatbot provides accurate and helpful answers. They might also be responsible for integrating the chatbot with other systems or applications and ensuring that it is functioning properly and meeting the needs of the business.
  • chatbot administrator might also be responsible for communicating with users and customers when the chatbot is unable to answer their queries or assist them. In this case, the chatbot administrator would potentially interact directly with users to answer their queries or help them resolve their issues.
  • a data scientist is a person who deals with the analysis and understanding of large amounts of data. Data scientists use mathematics, statistics, machine learning, and other tools and techniques to identify and understand patterns and relationships in data. They often work with large amounts of structured and unstructured data and use specialized tools and techniques to process and analyze the data.
  • the work of a data scientist often involves analyzing data to support business decisions or improve processes. They may also make predictions or forecasts by identifying patterns in the data and presenting the results in a descriptive form. Data scientists often work closely with other professionals, such as software developers and business analysts, using their knowledge of data analysis to solve complex problems and make decisions.
  • chatbot CMS e.g. Botpress
  • a user must be identified who collects the required topic content and derives questions and answers themselves. They are then entered manually.
  • the variants required to start an NLU training are based only on the creativity of this user and often have no qualitative data basis.
  • One aspect of the invention relates to the analysis of a video and/or audio source by a computer-based analysis system, whereby questions and answers are separated and placed in context with each other. It then automatically expands the dialogue possibilities of a conversation system with questions and answers obtained in this way.
  • the analysis of recorded structured interviews via video offers a number of other advantages: by analyzing facial and verbal expressions and gestures, the analysis system can recognize which emotion is associated with a question or an answer. It can learn to ask questions with a certain emotion (e.g. sarcasm) or to formulate answers in which individual words are particularly emphasized.
  • a certain emotion e.g. sarcasm
  • the invention claims a computer-implemented method for training an automated conversation system, comprising the steps:
  • the procedure can be carried out with additional questioning persons and additional answering persons.
  • the procedure includes the following further steps:
  • the first emotions identified are taken into account.
  • Body language includes, for example, gestures, facial expressions, posture and habitus.
  • the procedure includes the following further steps:
  • the identified second emotions are taken into account.
  • Intonation includes, for example, accent, pitch progression and rest structure.
  • the procedure may include the following additional steps.
  • the identified third emotions are taken into account.
  • a recording unit comprising a microphone unit and an image recording unit, wherein the recording unit is designed and arranged to record a question-answer session between a questioning person and a responding person,
  • an analysis unit that is trained and arranged to analyze the video/audio recording with regard to questions and associated answers with regard to their usability for the conversation system and to determine the usable questions and associated usable answers, and to transmit the questions and answers thus determined to the conversation system, and
  • the analysis unit can be designed and arranged
  • the analysis unit can be trained and set up,
  • the analysis unit can be trained and set up,
  • the analysis unit can be implemented in the conversation system.
  • FIG. 1 is a flow chart of the method for training a conversation system by video/audio analysis
  • FIG. 2 is a block diagram of the arrangement for training a conversation system by video/audio analysis.
  • FIGS. 1 and 2 An exemplary embodiment of the invention is shown in FIGS. 1 and 2 and is described in detail below.
  • FIG. 1 shows the flow chart of the computer-implemented method for training a conversation system by means of a video/audio analysis.
  • a video/audio recording of a question-and-answer session between a questioning person 3 and an answering person 4 is made.
  • the video/audio recording is analyzed in terms of questions and associated answers with regard to their usability for the conversation system, and the usable questions and associated usable answers are determined.
  • the video/audio recording can optionally be analyzed in step 102 with regard to the body language of the person asking and/or answering, with the associated first emotions then being determined in step 104. Subsequently, in step 105, the questions and/or answers are identified, for example labeled, with the determined first emotions.
  • second or third emotions can be determined in relation to intonation or in relation to body language and intonation.
  • step 106 the questions and answers determined in this way and optionally also the labels for the first, second or third emotions are transmitted to the conversation system 1.
  • step 107 the conversation system is trained with the questions and answers determined and the optional labels according to known methods from the prior art.
  • the conversation system 1 is trained with the questions and answers transmitted in step 105 as well as the first and/or second or third emotions characterizing the questions and/or answers.
  • the described procedure can be repeated as often as desired with additional questioning persons 3 and/or answering persons 4 .
  • FIG. 2 shows a block diagram of an exemplary arrangement of the invention for training a conversation system 1.
  • the questioning person 3 asks the answering person 4 questions.
  • the questions and answers are recorded via the microphone unit 2.
  • the question and answer session is also filmed with the image recording unit 2. 1.
  • the analysis unit 5 has a computing unit or uses resources from a cloud.
  • the conversation system 1 is trained according to known procedures. Although the invention has been illustrated and described in detail by the embodiments, the invention is not limited by the disclosed examples and other variations can be derived therefrom by a person skilled in the art without departing from the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Die Erfindung gibt ein computerimplementiertes Verfahren zum Trainieren eines automatisierten Konversationssystems (1) an. Es umfasst die Schritte; - Video/Audioauf Zeichnung (101) einer Frage-Antwortsitzung zwischen einer fragenden Person (3) und einer antwortenden Person ( 4 ), - Analyse (102) der Video/Audioauf Zeichnung in Bezug auf Fragen und zugehörigen Antworten mit Hinblick auf ihre Verwendbarkeit für das Konversationssystem (1) und Ermittlung (103) der verwendbaren Fragen und zugehörigen verwendbaren Antworten, - Übertragen (106) der derart ermittelten Fragen und Antworten an das Konversationssystem, und - Trainieren (107) des Konversationssystems mit den ermittelten Fragen und Antworten Eine zugehörige Anordnung wird ebenfalls angegeben.

Description

Beschreibung
Training eines Konversationssystems durch Video/Audio-Analyse
GEBIET DER ERFINDUNG
Die Erfindung betri f ft ein computerimplementiertes Verfahren und eine zugehörige Anordnung zum Trainieren eines automatisierten Konversationssystems .
Unabhängig vom grammatikalischen Geschlecht eines bestimmten Begri f fes sind Personen mit männlicher, weiblicher oder anderer Geschlechteridentität mit umfasst .
HINTERGRUND DER ERFINDUNG
Ein Chatbot ist ein computergestütztes System, das in der Lage ist , menschenähnliche Konversationen mit Benutzern zu führen . Chatbots werden häufig in sozialen Medien, auf Websites oder in Instant Messaging-Anwendungen eingesetzt , um Benutzern Informationen bereitzustellen, Fragen zu beantworten oder Dienstleistungen anzubieten .
Chatbots können auf verschiedene Arten programmiert werden, um menschenähnliche Konversationen zu führen . Einige Chatbots verwenden regelbasierte Systeme , bei denen vordefinierte Regeln und Muster verwendet werden, um auf Benutzereingaben zu reagieren . Andere Chatbots verwenden maschinelles Lernen, um menschenähnliche Konversationen zu führen und sich anhand von Benutzereingaben zu verbessern .
Chatbots können auch in einer Viel zahl von Branchen eingesetzt werden, wie zum Beispiel in der Kundenbetreuung, im E- Commerce und in der Unterhaltungsindustrie . Sie können dazu beitragen, die Ef fi zienz von Geschäftsprozessen zu verbessern und den Benutzern eine schnellere und einfachere Möglichkeit bieten, auf ihre Anfragen und Bedürfnisse zu reagieren . Es gibt verschiedene Möglichkeiten, wie ein Chatbot trainiert werden kann, j e nachdem, wie er programmiert wurde .
Ein Chatbot , der auf Regelbasis funktioniert , wird normalerweise von einem Entwickler programmiert , indem er vordefinierte Regeln und Muster verwendet , um auf Benutzereingaben zu reagieren . Diese Regeln und Muster werden von vornherein in den Chatbot eingebaut und müssen nicht weiter trainiert werden .
Ein Chatbot , der maschinelles Lernen verwendet , um menschenähnliche Konversationen zu führen, wird normalerweise durch das Bereitstellen von großen Mengen von Daten, die als " Training" bezeichnet werden, trainiert . Diese Daten enthalten typische Benutzereingaben und die zugehörigen Antworten des Chatbots . Das maschinelle Lernmodell wird dann verwendet , um Muster in diesen Daten zu erkennen und daraus zu lernen, wie es auf Benutzereingaben reagieren soll .
Es gibt verschiedene Arten von maschinellen Lernmodellen, die in Chatbots verwendet werden können, wie zum Beispiel neuronale Netze und Entscheidungsbäume . Jedes Modell hat seine eigenen Stärken und Schwächen und eignet sich möglicherweise besser für bestimmte Anwendungs fälle als andere .
Es ist wichtig zu beachten, dass das Training eines Chatbots ein kontinuierlicher Prozess ist und dass der Chatbot möglicherweise weiter trainiert werden muss , um seine Leistung zu verbessern und sich an neue Benutzereingaben und - bedürfnisse anzupassen .
Derzeit bieten Chatbot-Administratoren zwei Haupt funktionali- täten an . Eine ist die Eingabe von mindestens 20 Versionen der gleichen Frage , um ein sogenanntes NLU-Training (Natural Language Understanding) von Absichten aus zulösen, z . B . "Kann ich ein Eis essen" , "Hast du Eiscreme" , " Ich habe wirklich Lust auf Eiscreme" , etc . die Absicht "Der Nutzer möchte Eiscreme" zu trainieren . Die andere sind hartcodierte Antworten, die der Chatbot geben kann, wenn eine solche Absicht erkannt wird, z . B . "Hier finden Sie die nächste Eisdiele" .
In der Regel werden diese Inhalte als unstrukturierte Prosa an den Data Scientist übergeben . Es ist auch üblich, dass der Inhalt vor diesem One-Stop-Übergabemoment aus verschiedenen Quellen in verschiedenen Formaten gesammelt wird .
Ein Chatbot-Administrator ist eine Person, die für die Verwaltung und Pflege eines Chatbots verantwortlich ist . Das kann die Programmierung, das Training und die Aktualisierung des Chatbots umfassen, j e nachdem, wie der Chatbot konfiguriert ist und welche Art von Funktionen er aus führt .
Ein Chatbot-Administrator könnte auch für die Überwachung der Leistung des Chatbots und die Analyse von Benutzereingaben und -antworten verantwortlich sein, um sicherzustellen, dass der Chatbot korrekte und hil freiche Antworten liefert . Sie könnten auch für die Integration des Chatbots in andere Systeme oder Anwendungen verantwortlich sein und sicherstellen, dass er ordnungsgemäß funktioniert und den Anforderungen des Unternehmens entspricht .
In manchen Fällen könnte ein Chatbot-Administrator auch für die Kommunikation mit Benutzern und Kunden verantwortlich sein, wenn der Chatbot nicht in der Lage ist , ihre Anfragen zu beantworten oder ihnen zu hel fen . In diesem Fall würde der Chatbot-Administrator möglicherweise direkt mit den Benutzern interagieren, um ihre Anfragen zu beantworten oder ihnen zu hel fen, ihre Probleme zu lösen .
Insgesamt ist der Chatbot-Administrator für die Verwaltung und Pflege des Chatbots und dafür verantwortlich, dass er ordnungsgemäß funktioniert und den Benutzern hil freiche Informationen und Dienstleistungen bereitstellt .
Ein Data Scientist ist eine Person, die sich mit der Analyse und dem Verständnis von großen Mengen von Daten befasst . Data Scientists verwenden Mathematik, Statistik, machmaschinelles Lernen und andere Tools und Techniken, um Muster und Zusammenhänge in Daten zu erkennen und zu verstehen . Sie arbeiten häufig mit großen Mengen strukturierter und unstrukturierter Daten und verwenden dafür spezielle Tools und Techniken, um die Daten zu verarbeiten und zu analysieren .
Die Arbeit eines Data Scientists umfasst häufig die Analyse von Daten, um Geschäftsentscheidungen zu unterstützen oder Prozesse zu verbessern . Sie können auch Vorhersagen oder Prognosen erstellen, indem sie Muster in den Daten erkennen und die Ergebnisse in anschaulicher Form darstellen . Data Scientists arbeiten oft eng mit anderen Fachleuten wie Softwareentwicklern und Geschäftsanalysten zusammen und verwenden ihre Kenntnisse der Datenanalyse , um komplexe Probleme zu lösen und Entscheidungen zu tref fen .
Die Datenerfassung für Chatbot-Systeme ist mühsam und erfordert in der Regel die manuelle Eingabe durch einen Programmierer . Fragen und entsprechende Antworten müssen in ein Chatbot-CMS ( z . B . Botpress ) eingegeben und mindestens 10 Alternativen für das NLU-Training gefunden werden .
Es muss ein Nutzer ermittelt werden, der die benötigten Themeninhalte sammelt und selbst Fragen und Antworten ableitet . Anschließend werden sie manuell eingegeben . Die Varianten, die benötigt werden, um ein NLU-Training zu starten, basieren nur auf der Kreativität dieses Nutzers und haben oft keine qualitative Datenbasis .
ZUSAMMENFASSUNG DER ERFINDUNG
Es ist Aufgabe der Erfindung, eine Lösung anzugeben, mit deren Hil fe das Training von Kommunikationssystemen, auch als „Chatbots" bezeichnet , qualitativ und quantitativ verbessert sowie beschleunigt werden kann . Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche . Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche . Weitere Merkmale , Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung .
Ein Aspekt der Erfindung betri f ft das Analysieren einer Video- und/oder Audioquelle durch ein computerbasiertes Analysesystem, wobei Fragen und Antworten getrennt und diese in einen Kontext zueinander gesetzt werden . Anschließend erweitert es automatisch die Dialogmöglichkeiten eines Konversationssystems mit derart gewonnen Fragen und Antworten .
Werden in einem weiteren Aspekt mehrere Video- und/oder Audiointerviews mit derselben Interviewstruktur analysiert , können bestehende Fragen in dem Konversationssystem um neue Antwortmöglichkeiten erweitert werden . Das Konversationssystem erhält dadurch automatisch zusätzliche Trainingsdaten .
Ein wesentlicher Unterschied zum Stand der Technik besteht darin, dass eine manuelle Dateneingabe nicht mehr erforderlich ist .
Die Analyse von auf gezeichneten strukturierten Interviews per Video bietet j edoch noch einige weitere Vorteile : durch die Analyse von Gesichts- und verbalen Mimik und Gestik kann das Analysesystem erkennen, welche Emotion mit einer Frage oder einer Antwort verknüpft wird . Es kann lernen, mit einer bestimmten Emotion ( z . B . Sarkasmus ) Fragen zu stellen oder Antworten zu formulieren, in denen einzelne Wörter besonders hervorgehoben werden .
Die Erfindung beansprucht ein computerimplementiertes Verfahren zum Trainieren eines automatisierten Konversationssystems , mit den Schritten :
- Video/Audioauf Zeichnung einer Frage-Antwortsitzung zwischen einer fragenden Person und einer antwortenden Person, - Analyse der Video/Audioauf Zeichnung in Bezug auf Fragen und zugehörigen Antworten mit Hinblick auf ihre Verwendbarkeit für das Konversationssystem und Ermittlung der verwendbaren Fragen und zugehörigen verwendbaren Antworten,
- Übertragen der derart ermittelten Fragen und Antworten an das Konversationssystem, und
- Trainieren des Konversationssystems mit den ermittelten Fragen und Antworten .
In einer Weiterbildung des Verfahrens kann das Verfahren mit weiteren fragenden Personen und weiteren antwortenden Personen ausgeführt werden .
In einer Weiterbildung weist das Verfahren folgende weiteren schritte auf :
- Analyse der Video/Audioauf Zeichnung in Bezug auf die Körpersprache der fragenden und/oder antwortenden Person,
- Ermittlung der zugehörigen ersten Emotionen,
- Kennzeichnung der Fragen und/oder Antworten mit den ermittelten ersten Emotionen, und
- beim Trainieren des Konversationssystems Berücksichtigung der ermittelten ersten Emotionen .
Zur Körpersprache gehören beispielsweise Gestik, Mimik, Körperhaltung und Habitus .
In einer Weiterbildung weist das Verfahren folgende weiteren Schritte auf :
- Analyse der Video/Audioauf Zeichnung in Bezug auf die Intonation der fragenden und/oder antwortenden Person,
- Ermittlung der zugehörigen zweiten Emotionen,
- Kennzeichnung der Fragen und/oder Antworten mit den ermittelten zweiten Emotionen, und
- beim Trainieren des Konversationssystems Berücksichtigung der ermittelten zweiten Emotionen .
Zu der Intonation gehören beispielsweise Akzent , Tonhöhenverlauf und Pausengliederung . Alternativ zu den bediene vorigen Absätzen kann das Verfahren folgende weiteren Schritte aufweisen .
- Analyse der Video/Audioauf Zeichnung in Bezug auf die Körpersprache und Intonation der fragenden und/oder antwortenden Person,
- Ermittlung der zugehörigen dritten Emotionen,
- Kennzeichnung der Fragen und/oder Antworten mit den ermittelten dritten Emotionen, und
- beim Trainieren des Konversationssystems Berücksichtigung der ermittelten dritten Emotionen .
Die Erfindung beansprucht auch eine Anordnung zum Trainieren eines automatisierten Konversationssystems , aufweisend :
- eine Auf zeichnungseinheit aufweisend eine Mikrofoneinheit und eine Bildaufnahmeeinheit , wobei die Auf zeichnungseinheit ausgebildet und eingerichtet ist , eine einer Frage- Antwortsitzung zwischen einer fragenden Person und einer antwortenden Person auf zuzeichnen,
- eine Analyseeinheit , die ausgebildet und eingerichtet ist , die Video/Audioauf Zeichnung in Bezug auf Fragen und zugehörigen Antworten mit Hinblick auf ihre Verwendbarkeit für das Konversationssystem und Ermittlung der verwendbaren Fragen und zugehörigen verwendbaren Antworten zu analysieren, und die derart ermittelten Fragen und Antworten an das Konversationssystem zu übertragen, und
- das Konversationssystem, das ausgebildet und eingerichtet ist , sich mit den ermittelten Fragen und Antworten zu trainieren .
In einer weiteren Ausgestaltung der Anordnung kann die Analyseeinheit ausgebildet und eingerichtet sein,
- die Video/Audioauf Zeichnung in Bezug auf die Körpersprache der fragenden und/oder antwortenden Person zu analysieren,
- die zugehörigen ersten Emotionen zu ermitteln,
- die Fragen und/oder Antworten mit den ermittelten ersten Emotionen zu kennzeichnen, und dass das Konversationssystem ausgebildet und eingerichtet ist ,
- beim Trainieren des Konversationssystems die ermittelten ersten Emotionen zu berücksichtigen .
In einer Weiterbildung kann die Analyseeinheit ausgebildet und eingerichtet sein,
- die Video/Audioauf Zeichnung in Bezug auf die Intonation der fragenden und/oder antwortenden Person zu analysieren,
- die zugehörigen zweiten Emotionen zu ermitteln, und
- die Fragen und/oder Antworten mit den ermittelten zweiten Emotionen zu kennzeichnen, und das Konversationssystem ausgebildet und eingerichtet sein,
- beim Trainieren des Konversationssystems die ermittelten zweiten Emotionen zu berücksichtigen .
In einer Weiterbildung kann die Analyseeinheit ausgebildet und eingerichtet sein,
- die Video/Audioauf Zeichnung in Bezug auf die Körpersprache und Intonation der fragenden und/oder antwortenden Person zu analysieren,
- die zugehörigen dritten Emotionen zu ermitteln, und
- die Fragen und/oder Antworten mit den ermittelten dritten Emotionen zu kennzeichnen, und das Konversationssystem ausgebildet und eingerichtet sein,
- beim Trainieren des Konversationssystems die ermittelten dritten Emotionen zu berücksichtigen .
In einer Weiterbildung kann in dem Konversationssystem die Analyseeinheit ausgebildet sein .
D . h . beide Komponenten bilden eine Einheit und können so beispielsweise Rechenressourcen und Datenspeicher gemeinsam nutzten .
Weitere Besonderheiten und Vorteile der Erfindung werden aus den nachfolgenden Erläuterungen eines Aus führungsbeispiels anhand von schematischen Zeichnungen ersichtlich . KURZE BESCHREIBUNG DER ZEICHNUNGEN
Es zeigen :
FIG . 1 ein Ablauf diagramm des Verfahrens zum Training eines Konversationssystems durch eine Video/Audio-Analyse , und
FIG . 2 ein Blockschaltbild der Anordnung zum Training eines Konversationssystems durch eine Video/Audio-Analyse .
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Ein exemplarisches Aus führungsbeispiel der Erfindung ist in den FIG . 1 und FIG . 2 dargestellt im Folgenden aus führlich beschrieben .
FIG . 1 zeigt das Ablauf diagramm des computerimplementierten Verfahrens zum Training eines Konversationssystems durch eine Video/Audio-Analyse . In dem ersten Schritt 101 erfolgt eine Video/Audioauf Zeichnung einer Frage-Antwortsitzung zwischen einer fragenden Person 3 und einer antwortenden Person 4 . In dem folgenden Schritt 102 wird die Video/Audioauf Zeichnung in Bezug auf Fragen und zugehörigen Antworten mit Hinblick auf ihre Verwendbarkeit für das Konversationssystem analysiert und die verwendbaren Fragen und zugehörigen verwendbaren Antworten ermittelt .
Ergänzend kann optional in dem Schritt 102 die Video/Audioauf Zeichnung in Bezug auf die Körpersprache der fragenden und/oder antwortenden Person analysiert werden, wobei dann im Schritt 104 die zugehörigen ersten Emotionen ermittelt werden . Darauf folgende werden im schritt 105 die Fragen und/oder Antworten mit den ermittelten ersten Emotionen gekennzeichnet , beispielsweise gelabelt . Optional können zweite oder dritte Emotionen in Bezug auf die Intonation bzw . in Bezug auf Körpersprache und Intonation ermittelt werden .
In dem schritt 106 werden die derart ermittelten Fragen und Antworten sowie optional auch die Kennzeichnungen für die ersten, zweiten, oder dritten Emotionen an das Konversationssystem 1 übertragen . In dem abschließenden Schritt 107 wird des Konversationssystems mit den ermittelten Fragen und Antworten sowie den optionalen Kennzeichnungen nach bekannten Verfahren aus dem Stand der Technik trainiert .
In dem abschließenden Schritt 107 wird das Konversationssystem 1 mit den in dem Schritt 105 übertragenen Fragen und Antworten sowie den die Fragen und/oder Antworten kennzeichnenden ersten und/oder zweiten oder den dritten Emotionen trainiert .
Das beschriebene Verfahren kann mit weiteren fragenden Personen 3 und/oder antwortenden Personen 4 beliebig oft wiederholt werden .
FIG . 2 zeigt ein Blockschaltbild einer beispielhaften Anordnung der Erfindung zum Training eines Konversationssystem 1 . In einer Frage- und Antwortsit zung stellt die fragende Person 3 de antwortenden Person 4 Fragen . Die Fragen und Antworten werden über die Mikrofoneinheit 2 . 2 aufgenommen . Die Frage- und Antwortsit zung wird auch mit der Bildauf zeichnungseinheit 2 . 1 gefilmt .
Alle auf gezeichneten Daten werden durch die Analyseeinheit 5 analysiert und entsprechend dem Verfahren nach FIG . 1 verarbeitet . Dazu weist die Analyseeinheit 5 eine Recheneinheit auf oder nutz Ressourcen aus einer Cloud .
Mit den ermittelten Fragen und Antworten sowie optional mit den Kennzeichnungen der Emotionen wird das Konversationssystem 1 gemäß bekannter Verfahren trainiert . Obwohl die Erfindung im Detail durch die Aus führungsbeispiele näher illustriert und beschrieben wurde , ist die Erfindung durch die of fenbarten Beispiele nicht eingeschränkt und ande- re Variationen können vom Fachmann daraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen .
Bezugs zeichenliste
1 Konversationssystem
2 Auf zeichnungseinheit
2 . 1 Bildaufnahmeeinheit
2 . 2 Mikrofoneinheit
3 Fragende Person
4 Antwortende Person
5 Analyseeinheit
101 Video/Audioauf Zeichnung
102 Analyse der Video/Audioauf Zeichnung
103 Ermittlung der Frage und Antworten
104 Ermittlung der Emotionen
105 Kennzeichnung der Fragen und/oder Antworten
106 Übertragen der Fragen und Antworten
107 Trainieren des Konversationssystems

Claims

Patentansprüche
1. Ein computerimplementiertes Verfahren zum Trainieren eines automatisierten Konversationssystems (1) , gekennzeichnet durch:
- Video/Audioauf Zeichnung (101) einer Frage-Antwortsitzung zwischen einer fragenden Person (3) und einer antwortenden Person ( 4 ) ,
- Analyse (102) der Video/Audioauf Zeichnung in Bezug auf Fragen und zugehörigen Antworten mit Hinblick auf ihre Verwendbarkeit für das Konversationssystem (1) und Ermittlung (103) der verwendbaren Fragen und zugehörigen verwendbaren Antworten,
- Übertragen (106) der derart ermittelten Fragen und Antworten an das Konversationssystem, und
- Trainieren (107) des Konversationssystems mit den ermittelten Fragen und Antworten.
2. Das computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren mit weiteren fragenden Personen und weiteren antwortenden Personen ausgeführt wird.
3. Das computerimplementiertes Verfahren nach Anspruch 1 oder 2, gekennzeichnet durch,
- Analyse (102) der Video/Audioauf Zeichnung in Bezug auf die Körpersprache der fragenden und/oder antwortenden Person 3,
4.
- Ermittlung (104) der zugehörigen ersten Emotionen,
- Kennzeichnung (105) der Fragen und/oder Antworten mit den ermittelten ersten Emotionen, und
- beim Trainieren (107) des Konversationssystems (1) Berücksichtigung der ermittelten ersten Emotionen.
4. Das computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch, - Analyse (102) der Video/Audioauf Zeichnung in Bezug auf die Intonation der fragenden und/oder antwortenden Person 3, 4,
- Ermittlung (104) der zugehörigen zweiten Emotionen,
- Kennzeichnung (105) der Fragen und/oder Antworten mit den ermittelten zweiten Emotionen, und
- beim Trainieren (107) des Konversationssystems (1) Berücksichtigung der ermittelten zweiten Emotionen.
5. Das computerimplementiertes Verfahren nach Anspruch 1 oder 2, gekennzeichnet durch,
- Analyse (102) der Video/Audioauf Zeichnung in Bezug auf die Körpersprache und Intonation der fragenden und/oder antwortenden Person 3, 4,
- Ermittlung (104) der zugehörigen dritten Emotionen,
- Kennzeichnung (105) der Fragen und/oder Antworten mit den ermittelten dritten Emotionen, und
- beim Trainieren (107) des Konversationssystems (1) Berücksichtigung der ermittelten dritten Emotionen.
6. Eine Anordnung zum Trainieren eines automatisierten Konversationssystems (1) , gekennzeichnet durch:
- eine Aufzeichnungseinheit (2) aufweisend eine Mikrofoneinheit (2.2) und eine Bildaufnahmeeinheit (2.1) wobei die Aufzeichnungseinheit (2) ausgebildet und eingerichtet ist, eine einer Frage-Antwortsitzung zwischen einer fragenden Person (3) und einer antwortenden Person (4) aufzuzeichnen,
- eine Analyseeinheit (5) , die ausgebildet und eingerichtet ist, die Video/Audioauf Zeichnung in Bezug auf Fragen und zugehörigen Antworten mit Hinblick auf ihre Verwendbarkeit für das Konversationssystem und Ermittlung der verwendbaren Fragen und zugehörigen verwendbaren Antworten zu analysieren, und die derart ermittelten Fragen und Antworten an das Konversationssystem zu übertragen, und
- das Konversationssystem (1) , das ausgebildet und eingerichtet ist, sich mit den ermittelten Fragen und Antworten zu trainieren .
7 . Die Anordnung nach Anspruch 6 , dadurch gekennzeichnet , dass die Analyseeinheit ( 5 ) ausgebildet und eingerichtet ist ,
- die Video/Audioauf Zeichnung in Bezug auf die Körpersprache der fragenden und/oder antwortenden Person zu analysieren,
- die zugehörigen ersten Emotionen zu ermitteln,
- die Fragen und/oder Antworten mit den ermittelten ersten Emotionen zu kennzeichnen, und dass das Konversationssystem ausgebildet und eingerichtet ist ,
- beim Trainieren des Konversationssystems die ermittelten ersten Emotionen zu berücksichtigen .
8 . Die Anordnung nach Anspruch 5 oder 6 , dadurch gekennzeichnet , dass die Analyseeinheit ( 5 ) ausgebildet und eingerichtet ist ,
- die Video/Audioauf Zeichnung in Bezug auf die Intonation der fragenden und/oder antwortenden Person zu analysieren,
- die zugehörigen zweiten Emotionen zu ermitteln, und
- die Fragen und/oder Antworten mit den ermittelten zweiten Emotionen zu kennzeichnen, und dass das Konversationssystem ausgebildet und eingerichtet ist ,
- beim Trainieren des Konversationssystems die ermittelten zweiten Emotionen zu berücksichtigen .
9. Die Anordnung nach Anspruch 5 oder 6 , dadurch gekennzeichnet , dass die Analyseeinheit ( 5 ) ausgebildet und eingerichtet ist ,
- die Video/Audioauf Zeichnung in Bezug auf die Körpersprache und Intonation der fragenden und/oder antwortenden Person zu analysieren,
- die zugehörigen dritten Emotionen zu ermitteln, und
- die Fragen und/oder Antworten mit den ermittelten dritten Emotionen zu kennzeichnen, und dass das Konversationssystem ausgebildet und eingerichtet ist , - beim Trainieren des Konversationssystems die ermittelten dritten Emotionen zu berücksichtigen.
10. Die Anordnung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass in dem Konversationssystem (1) die Analyseeinheit (5) ausgebildet ist.
EP24702243.7A 2023-02-07 2024-01-12 Training eines konversationssystems durch video/audio-analyse Pending EP4643241A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023200959.5A DE102023200959A1 (de) 2023-02-07 2023-02-07 Training eines Konversationssystems durch Video/Audio-Analyse
PCT/EP2024/050730 WO2024165265A1 (de) 2023-02-07 2024-01-12 Training eines konversationssystems durch video/audio-analyse

Publications (1)

Publication Number Publication Date
EP4643241A1 true EP4643241A1 (de) 2025-11-05

Family

ID=89767694

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24702243.7A Pending EP4643241A1 (de) 2023-02-07 2024-01-12 Training eines konversationssystems durch video/audio-analyse

Country Status (4)

Country Link
EP (1) EP4643241A1 (de)
CN (1) CN120936996A (de)
DE (1) DE102023200959A1 (de)
WO (1) WO2024165265A1 (de)

Also Published As

Publication number Publication date
CN120936996A (zh) 2025-11-11
WO2024165265A1 (de) 2024-08-15
DE102023200959A1 (de) 2024-08-08

Similar Documents

Publication Publication Date Title
Worchel You can go home again: Returning group research to the group context with an eye on developmental issues
Martin et al. Participants' identification and recall of important events in counseling.
DE102021212276A1 (de) Wissensgetriebenes und selbstüberwachtes system zur fragenbeantwortung
EP1361739A1 (de) Verfahren und System zur Verarbeitung von Sprachdaten mit vorausgehender Erkennung der Sprache
DE112018004216T5 (de) Evaluierungssystem, Evaluierungsverfahren und Programm
WO2022122173A1 (de) Avatar-vorrichtung und -verfahren zur repräsentation einer person und zur verarbeitung personenbezogener daten der person
DE112007000051T5 (de) Dreiteiliges-Modell-basiertes Verfahren zur Informationsgewinnung und -verarbeitung
EP1361737A1 (de) Verfahren und System zur Verarbeitung von Sprachdaten und Klassifizierung von Gesprächen
DE112020007373T5 (de) Verfahren und Vorrichtung zum intelligenten Vermitteln von Empfehlungen
EP4643241A1 (de) Training eines konversationssystems durch video/audio-analyse
DE202015009592U1 (de) System zum Steuern des Zugriffs eines Benutzers auf ein elektronisches Gerät
DE112024001958T5 (de) Berufslaufbahninformationssammelvorrichtung und Verfahren zur Sammlung von Berufslaufbahninformationen
DE102020115289A1 (de) Computerimplementiertes digitales bildungsassistenzverfahren und computerimplementiertes digitales bildungsassistenzsystem
DE102009060687A1 (de) Verfahren und Vorrichtung zum rechnergestützten Annotieren von Multimediadaten
DE102023200300A1 (de) Training eines Konversationssystems
EP1574983A2 (de) Verfahren und System zum Erfassen der Ergebnisse eines psychologischen Tests
EP1363271A1 (de) Verfahren und System zur Verarbeitung und Speicherung von Sprachinformationen eines Dialogs
DE102020106857A1 (de) Mikroskopiesystem und verfahren zum verarbeiten von mikroskopbildern
DE102024203953A1 (de) Intelligenter Nutzererfahrungs-Assistent
DE102023201174A1 (de) Verfahren und System zur interaktiven elektronischen Kommunikation
DE202018103078U1 (de) System für die Automatisierung der Prüfung der kommunikativen Fremdsprachenkompetenz
DE102021006251A1 (de) Videoplattform mit smarten Rekrutierungsfunktionen
DE102024002463A1 (de) KI unterstützte Business Intelligence
DE102024109880A1 (de) Verarbeitung demoskopischer Daten
DE202022106617U1 (de) Ein Online-System für strategisches Management zur Optimierung der Entscheidungsfindung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250729

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR