-
Die vorliegende Erfindung betriff einen intelligenten persönlichen Assistenten, insbesondere einen intelligenten persönlichen Assistenten, welcher ausgebildet ist, wenigstens eine Funktion eines steuerbaren Systems, beispielsweise eines Fahrerassistenzsystems in eine, Kraftfahrzeuges zu steuern, mit welchem eine offene Kommunikation zwischen einem Nutzer und dem intelligenten persönlichen Assistenten ermöglicht wird.
-
Intelligente persönliche Assistenten beziehungsweise digitale Assistenten ermöglichen es einem Nutzer mittels Kommunikation in natürlicher, menschlicher Sprache Informationen abzufragen, Dialoge zu führen und Assistenzdienste zu erbringen. Dabei wird eine Nutzereingabe, für gewöhnlich eine Spracheingabe eines Nutzers erfasst, wobei die Spracheingabe anschließend einer Sprachanalyse unterzogen, semantisch interpretiert und logisch verarbeitet wird. Weiter kann beispielsweise durch Sprachsynthese eine Antwort auf die Nutzereingabe formuliert werden.
-
Derartige Intelligente persönliche Assistenten werden dabei mehr und mehr auch in Sprachsteuerungen zur Steuerung wenigstens einer Funktion eines steuerbaren Systems eingesetzt. Bei dem steuerbaren System kann es sich dabei beispielsweise um ein Robotiksystem handeln, wobei es sich bei dem Robotiksystem wiederum beispielsweise um Fahrerassistenzfunktionen eines Kraftfahrzeuges, beispielsweise eines autonom fahrenden Fahrzeuges handeln kann. Ferner kann es sich bei dem Robotiksystem aber beispielsweise auch um jedes weitere, insbesondere basierend auf einem Algorithmus des maschinellen Lernens steuerbare System handeln, beispielsweise eine Küchen- oder eine Waschmaschine.
-
Jedoch ist eine menschenähnliche Interaktion zwischen dem intelligenten persönlichen Assistenten und einem Nutzer nach wie vor kaum möglich. Beispielsweise erfordern viele Situationen in der realen Welt einen dialogorientierte Entscheidung, um das Problem eines Nutzers erkennen und lösen zu können. Dies bedeutet, dass viele Anwendungen Folgefragen beziehungsweise klärende Fragen benötigen, welche je nach vorheriger Antwort variieren können, um das Problem des Nutzers möglichst exakt lösen zu können.
-
Aus der Druckschrift
US 2015/0279336 A1 ist ein System bekannt, welches ein elektronisches Gerät, ein Mittel zum Empfangen von Eingabetext durch das elektronische Gerät und ein Mittel zum Generieren einer Antwort aufweist, wobei das Mittel zum Generieren der Antwort eine Softwarearchitektur ist, die in Form eines Stapels von Funktionselementen organisiert ist. Diese funktionalen Elemente umfassen einen Betriebssystemkern, dessen Blöcke und Elemente der Verarbeitung natürlicher Sprache dienen, eine spezielle Programmiersprache speziell zum Entwickeln von Programmen, die auf dem Betriebssystem laufen, und eine oder mehrere Anwendungen zur Verarbeitung natürlicher Sprache, die unter Verwendung der speziellen Programmiersprache entwickelt wurden, wobei die eine oder die mehreren Anwendungen zur Verarbeitung natürlicher Sprache parallel laufen können. Darüber hinaus verwenden eine oder mehrere dieser Anwendungen zur Verarbeitung natürlicher Sprache eine emotionale Überlagerung.
-
Aufgabe von Ausführungsformen der Erfindung ist es, einen verbesserten intelligenten persönlichen Assistenten anzugeben.
-
Gelöst wird diese Aufgabe durch den Gegenstand der nebengeordneten Ansprüche. Weitere vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
-
Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch einen intelligenten persönlichen Assistenten, wobei der intelligente persönliche Assistent eine erste Empfangseinheit zum Empfangen von wenigstens einer Eingabe eines Nutzers, eine Auswerteeinheit, welche ausgebildet ist, wenigstens eine Instruktion basierend auf der wenigstens einen Eingabe zu ermitteln, und eine Verarbeitungseinheit, welche ausgebildet ist, die wenigstens eine Instruktion zu verarbeiten, aufweist, wobei die Auswerteeinheit eine Dialogeinheit, welche ausgebildet ist, basierend auf der wenigstens einen Eingabe eine offene Kommunikation mit dem Nutzer zu starten und basierend auf der offenen Kommunikation mit dem Nutzer wenigstens einen für den Nutzer relevanten Task zu ermitteln, aufweist.
-
Bei der Eingabeeinheit kann es sich dabei beispielsweise um einen Sprachempfänger, welcher ausgebildet ist, eine Spracheingabe eines Nutzers zu empfangen, handeln. Ferner kann die Eingabeeinheit aber auch ausgebildet sein, andere Eingabeformen zu empfangen, beispielsweise Berührungseingaben.
-
Unter Instruktion wird weiter eine durch einen Prozessor auszuführende Anweisung verstanden. Beispielsweise können Antworten auf in der Nutzereingabe enthaltene Fragen bereitgestellt werden oder Funktionen eines steuerbaren Systems basierend auf der Nutzereingabe gesteuert oder initiiert werden.
-
Die Verarbeitungseinheit kann dabei ausgebildet sein, eine Antwort auf eine in der Nutzereingabe enthaltene Frage optisch und/oder akustisch auszugeben. Weiter kann die Verarbeitungseinheit aber beispielsweise auch ausgebildet sein, Code zur Steuerung bestimmter Tasks beziehungsweise Funktionen eines steuerbaren Systems zu generieren und den Code entsprechend über Anwendungsschnittstellen auszugeben.
-
Unter für den Nutzer relevanten Tasks werden weiter steuerbare Funktionen beziehungsweise Aufgaben verstanden, welche in der aktuellen Situation, beispielsweise aktuellen Gegebenheiten oder Umgebungsbedingungen, vorteilhaft oder relevant sind beziehungsweise basierend auf der Nutzereingabe für den Nutzer aktuell von Interesse sein könnten.
-
Dass die Dialogeinheit dabei ausgebildet ist, basierend auf der wenigstens einen Eingabe eine offene Kommunikation mit dem Nutzer zu starten, bedeutet dabei, dass die Dialogeinheit ausgebildet ist, durch eine offene Kommunikation mit dem Nutzer, beispielsweise in Form eines Gesprächs beziehungsweise einer Konversation, beispielsweise in Form eines auf einem Task basierten beziehungsweise Task orientierten Dialog, oder einem offenem Dialog ähnlich einem sozialen Chat, und/oder durch gezieltes Question-Answering in der Lage ist, die Tasks zu ermitteln, welche für den Nutzer in der aktuellen Situation relevant sein könnten. Beispielsweise kann die Dialogeinheit dabei ausgebildet sein, die Tasks durch Stellen gezielter Fragen und/oder Vorbringen von Vorschlägen und/oder gezieltes Steuern der Kommunikation beziehungsweise des River of Conversation zu ermitteln.
-
Insgesamt wird somit ein intelligenter persönlicher Assistent angegeben, welcher ausgebildet ist, einen Nutzer durch ein offenes Gespräch, beispielsweise einen Task orientierten Dialog oder einen offenen Dialog, und/oder durch ein gezieltes Question-Answering zu für den Nutzer potentiell relevanten Tasks hinzuführen.
-
Beispielsweise kann, falls der intelligente persönliche Assistent in ein Kraftfahrzeug integriert ist und sich aus der offenen Kommunikation ergibt, dass der Fahrer des Kraftfahrzeuges beginnt müde zu werden, auf die Möglichkeit hingewiesen werden, Fragen bezüglich einem Spurhalteassistenten und/oder einer Fahreraufmerksamkeitsüberwachung zu beantworten und/oder den Spurhalteassistenten und/oder die Fahreraufmerksamkeitsüberwachung zu aktivieren, beziehungsweise diese basierend auf durch den intelligenten persönlichen Assistenten ausgegebenen Code auch direkt aktiviert werden.
-
Als vorteilhaft erweist sich dies zudem beispielsweise bei Erklärvideos, wobei wiederum ermittelt werden kann, welche Tasks für den Nutzer in der aktuellen Situation von Vorteil beziehungsweise relevant sein könnten, wobei auch nur die zu diesen Tasks gehörenden Erklärvideos geladen und zwischengespeichert werden. Dies erweist sich beispielsweise bei in Kraftfahrzeugen, beispielsweise autonom fahrenden Kraftfahrzeugen integrierten Steuergeräten als vorteilhaft, welche üblicherweise über vergleichsweise geringe Speicherbeziehungsweise Rechenkapazitäten verfügen. Erklärvideos sind dabei Filme, in denen erläutert wird, wie man etwas macht oder wie etwas funktioniert, beziehungsweise in denen abstrakte Konzepte und Zusammenhänge erklärt werden. Beispielsweise können mit einem derartigen Erklärvideo auch die Funktionen einer Werkzeugmaschine oder eines autonom fahrenden Kraftfahrzeuges erläutert beziehungsweise erklärt werden, wobei derartige Erklärvideos für gewöhnlich visuelle Darstellungen beziehungsweise Inhalte und gesprochene Inhalte aufweisen.
-
Insgesamt wird somit ein verbesserter intelligenter persönlicher Assistent angegeben.
-
Dabei kann die Dialogeinheit ausgebildet sein, den wenigstens einen für den Nutzer relevanten Task basierend auf einem Sprachmodell zu ermitteln.
-
Unter einem Sprachmodell wird ein statistisches Modell verstanden, welches ausgebildet ist, basierend auf künstlicher Intelligenz eine Wahrscheinlichkeit zu berechnen, mit welcher ein Wort auf ein anderes folgt, um einen Text zu vervollständigen beziehungsweise zu ergänzen. Grundlage ist dabei für gewöhnlich ein basierend auf Textdaten trainiertes neuronales Netz. Dabei werden zunehmend auch Sprachmodelle entwickelt, welche mit riesigen Datenmengen, bis hin zu sämtlichen Internetinhalten, trainiert wurden. Die Sprachmodelle können anschließend dazu verwendet werden, basierend auf wenigen Daten, insbesondere natürlichsprachlichen Instruktionen und keinen oder wenigen dazugehörigen Ausführungsbeispielen, Texte zu vervollständigen beziehungsweise zu ergänzen und insbesondere die Instruktionen anhand der keinen oder wenigen Ausführungsbeispiele auszuführen.
-
Durch die Anwendung von künstlicher Intelligenz beziehungsweise eines derartigen Sprachmodells kann die Kommunikation beziehungsweise Gesprächsführung durch den intelligenten persönlichen Assistenten automatisiert und effizienter gestaltet werden.
-
Zudem kann der intelligente persönliche Assistent weiter eine zweite Empfangseinheit aufweisen, welche ausgebildet ist, Informationen über eine Umgebung in der der intelligente persönliche Assistenten aktuell verwendet wird, zu empfangen, wobei die Dialogeinheit ausgebildet ist, den wenigstens einen für den Nutzer relevanten Task basierend auf der offenen Kommunikation mit dem Nutzer wenigstens einen für den Nutzer relevanten Task und auf den Informationen über die Umgebung in der der intelligente persönliche Assistent aktuell verwendet wird, zu ermitteln. Somit können insbesondere auch Gegebenheiten außerhalb des intelligenten persönlichen Assistenten beziehungsweise der den wenigstens einen für den Nutzer relevanten Task ermittelnden Datenverarbeitungsanlage, beispielsweise aktuelle Wetterbedingungen oder eine aktuelle Geschwindigkeit eines Kraftfahrzeuges, herangezogen werden, um die offene Kommunikation zu ermöglichen und den wenigstens einen für den Nutzer relevanten Task zu ermitteln. Hierdurch kann die Ermittlung des wenigstens einen für den Nutzer relevanten Task und insbesondere auch die Gesprächsführung durch den intelligenten persönlichen Assistenten beziehungsweise der intelligente persönliche Assistent insgesamt weiter verbessert werden.
-
In einer Ausführungsform ist die Dialogeinheit dabei ausgebildet, den wenigstens einen für den Nutzer relevanten Task basierend auf einer Konversationshistorie und/oder basierend auf einem aktuellen Kontext zu ermitteln.
-
Unter Konversationshistorie werden dabei vorausgegangene Dialogschritte, das heißt Eingaben des Nutzers oder Ausgaben des intelligenten persönlichen Assistenten verstanden, das heißt ein Chat-Protokoll beziehungsweise ein Unterhaltungsverlauf.
-
Unter einem aktuellen Kontext wird weiter ein Kontext, in welchem die offene Kommunikation zwischen Nutzer und dem intelligenten persönlichen Assistenten erfolgt, verstanden. Beispielsweise kann der Kontext dabei eine Umgebung, in welcher der intelligente persönliche Assistent aktuell verwendet wird, betreffen. Falls der intelligente persönliche Assistent beispielsweise zur Steuerung wenigstens einer Assistenzfunktion in einem Kraftfahrzeug verwendet wird, kann der Kontext zudem beispielsweise das Fahrzeug sowie die Insassen, welche sich aktuell in dem Fahrzeug befinden, betreffen. Weiter kann der Kontext auch einen Nutzerkontext aufweisen, wobei der Nutzerkontext beispielsweise Angaben beziehungsweise Daten über den Nutzer, welcher das Kraftfahrzeug aktuell fährt beziehungsweise benutzt, enthält. Der Nutzer und somit auch der Nutzerkontext kann dabei beispielsweise über biometrische Identifikationsmittel bestimmt werden.
-
Dabei kann weiter durch gezielte Auswahl wann, wieviel und in welcher Form Konversationshistorie, beziehungsweise wann, wieviel, welche und in welcher Form den aktuellen Kontext beschreibende Daten zur Ermittlung des wenigstens einen für den Nutzer relevanten Task herangezogen werden, beispielsweise durch eine entsprechende Auswahl der zu verarbeitenden Daten, auf die technischen Gegebenheiten des intelligenten persönlichen Assistenten selber, beispielsweise im Hinblick auf Speicher- und/oder Rechenkapazitäten, Rücksicht genommen werden.
-
Dabei, dass eine Konversationshistorie und/oder einen aktuellen Kontext zur Ermittlung des wenigstens einen für den Nutzer relevanten Task herangezogen wird handelt es sich jedoch nur um eine Ausführungsform. Vielmehr können auch andere Informationen zur Ermittlung des wenigstens einen für den Nutzer relevanten Tasks herangezogen werden, beispielsweise in anderer Form hinterlegtes domänenspezifisches Wissen.
-
Mit einer weiteren Ausführungsform der Erfindung wird auch ein Steuergerät zum Steuern wenigstens einer Funktion eines steuerbaren Systems angegeben, wobei das Steuergerät einen obenstehend beschriebenen intelligenten persönlichen Assistenten aufweist.
-
Somit wird ein Steuergerät angegeben, welches einen intelligenten persönlichen Assistenten aufweist, der ausgebildet ist, einen Nutzer durch eine offene Kommunikation, beispielsweise einen Task orientierten Dialog oder einen offenen Dialog, und/oder durch ein gezieltes Question-Answering zu für den Nutzer potentiell relevanten Tasks hinzuführen. Insgesamt wird somit ein Steuergerät angegeben, welches einen verbesserten intelligenten persönlichen Assistenten zur Kommunikation mit einem Nutzer aufweist.
-
Bei dem steuerbaren System kann es sich dabei wiederum beispielsweise um ein Robotiksystem handeln, wobei es sich bei dem Robotiksystem wiederum beispielsweise um Fahrerassistenzfunktionen eines Kraftfahrzeuges, beispielsweise eine autonom fahrenden Fahrzeuges handeln kann. Ferner kann es sich bei dem Robotiksystem aber beispielsweise auch um jedes weitere basierend auf einem Algorithmus des maschinellen Lernens steuerbare System handeln, beispielsweise eine Küchen- oder eine Waschmaschine.
-
Dabei kann die Verarbeitungseinheit des intelligenten persönlichen Assistenten ausgebildet sein, die wenigstens eine Funktion des steuerbaren Systems basierend auf dem wenigstens einen für den Nutzer relevanten Task zu steuern. Die Verarbeitungseinheit kann somit ausgebildet sein, in Reaktion auf das Ermitteln des wenigstens einen für den Nutzer relevanten Tasks direkt oder nach Rücksprache mit dem Nutzer Code zur Steuerung der wenigstens einen steuerbaren Funktion des steuerbaren Systems beispielsweise über entsprechende Anwendungsschnittstellen auszugeben.
-
Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein steuerbares System, welches ein obenstehend beschriebenes Steuergerät zum Steuern wenigstens einer Funktion des steuerbaren Systems aufweist, angegeben.
-
Somit wird ein steuerbares System angegeben, welches einen intelligenten persönlichen Assistenten aufweist, der ausgebildet ist, einen Nutzer durch eine offene Kommunikation, beispielsweise einen Task orientierten Dialog oder einen offenen Dialog, und/oder durch ein gezieltes Question-Answering zu für den Nutzer potentiell relevanten Tasks hinzuführen. Insgesamt wird somit ein steuerbares System angegeben, welches einen verbesserten intelligenten persönlichen Assistenten zur Kommunikation mit einem Nutzer aufweist.
-
Dabei kann das steuerbare System weiter wenigstens einen Sensor zum Erfassen von aktuellen Umgebungsbedingungen des steuerbaren Systems aufweisen, wobei die Dialogeinheit des intelligenten persönlichen Assistenten ausgebildet sein kann, den wenigstens einen für den Nutzer relevanten Task basierend auf aktuellen Umgebungsbedingungen des steuerbaren Systems zu ermitteln. Somit können insbesondere auch Gegebenheiten außerhalb des intelligenten persönlichen Assistenten beziehungsweise der den wenigstens einen für den Nutzer relevanten Task ermittelnden Datenverarbeitungsanlage, beispielsweise aktuelle Wetterbedingungen, eine aktuelle Geschwindigkeit eines Kraftfahrzeuges oder Nutzerinformationen, herangezogen und in Text umgewandelt werden, um den offenen Dialog zu ermöglichen und den wenigstens einen für den Nutzer relevanten Task zu ermitteln. Hierdurch kann die Ermittlung des wenigstens einen für den Nutzer relevanten Task und insbesondere auch die Gesprächsführung durch den intelligenten persönlichen Assistenten beziehungsweise der intelligente persönliche Assistent insgesamt weiter verbessert werden.
-
Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein Kraftfahrzeug angegeben, welches ein obenstehend beschriebenes steuerbares System aufweist.
-
Somit wird ein Kraftfahrzeug angegeben, welches ein steuerbares System mit einem intelligenten persönlichen Assistenten aufweist, der ausgebildet ist, einen Nutzer durch eine offene Kommunikation, beispielsweise einen Task orientierten Dialog oder einen offenen Dialog, und/oder durch ein gezieltes Question-Answering zu für den Nutzer potentiell relevanten Tasks hinzuführen. Insgesamt wird somit ein Kraftfahrzeug mit einem steuerbaren System angegeben, welches einen verbesserten intelligenten persönlichen Assistenten zur Kommunikation mit einem Nutzer aufweist.
-
Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein Verfahren zum Ermitteln von wenigstens einem für einen Nutzer relevanten Task durch einen intelligenten persönlichen Assistenten angegeben, wobei das Verfahren ein Empfangen von wenigstens einer Eingabe eines Nutzers durch den intelligenten persönlichen Assistenten, ein Starten einer offenen Kommunikation zwischen dem Nutzer und dem intelligenten persönlichen Assistenten basierend auf der wenigstens einen Eingabe durch den intelligenten persönlichen Assistenten, und ein Ermitteln wenigstens eines für den Nutzer relevanten Tasks basierend auf der offenen Kommunikation zwischen dem Nutzer und dem intelligenten persönlichen Assistenten, aufweist.
-
Somit wird ein Verfahren angegeben, welches ausgebildet ist, einen Nutzer des intelligenten persönlichen Assistenten durch ein offenes Gespräch, beispielsweise einen Task orientierten Dialog oder einen offenen Dialog, und/oder durch ein gezieltes Question-Answering zu für den Nutzer potentiell relevanten Tasks hinzuführen. Insgesamt wird somit ein Verfahren angegeben, basierend auf welchem eine Kommunikation zwischen dem intelligenten persönlichen Assistenten und einem Nutzer verbessert werden kann.
-
In einer Ausführungsform weist der der Schritt des Ermittelns des wenigstens einen für den Nutzer relevanten Tasks basierend auf der offenen Kommunikation zwischen dem Nutzer und dem intelligenten persönlichen Assistenten dabei ein Ermitteln des wenigstens einen für den Nutzer relevanten Tasks basierend auf der offenen Kommunikation zwischen dem Nutzer und dem digitalen Assistenten und einem Sprachmodell auf.
-
Unter einem Sprachmodell wird ein statistisches Modell verstanden, welches ausgebildet ist, basierend auf künstlicher Intelligenz eine Wahrscheinlichkeit zu berechnen, mit welcher ein Wort auf ein anderes folgt, um einen Text zu vervollständigen beziehungsweise zu ergänzen. Grundlage ist dabei für gewöhnlich ein basierend auf Textdaten trainiertes neuronales Netz. Dabei werden zunehmend auch Sprachmodelle entwickelt, welche mit riesigen Datenmengen, bis hin zu sämtlichen Internetinhalten, trainiert wurden. Die Sprachmodelle können anschließend dazu verwendet werden, basierend auf wenigen Daten, insbesondere natürlichsprachlichen Instruktionen und keinen oder wenigen dazugehörigen Ausführungsbeispielen, Texte zu vervollständigen beziehungsweise zu ergänzen und insbesondere die Instruktionen anhand der keinen oder wenigen Ausführungsbeispiele auszuführen.
-
Durch die Anwendung von künstlicher Intelligenz beziehungsweise eines derartigen Sprachmodells kann die Kommunikation beziehungsweise Gesprächsführung durch den intelligenten persönlichen Assistenten automatisiert und effizienter gestaltet werden.
-
Zudem kann das Verfahren weiter ein Erfassen von Informationen über eine Umgebung, in der der intelligenten persönlichen Assistenten aktuell verwendet wird, aufweisen, wobei der Schritt des Ermittelns des wenigstens einen für den Nutzer relevanten Tasks basierend auf der offenen Kommunikation zwischen dem Nutzer und dem intelligenten persönlichen Assistenten ein Ermitteln des wenigstens einen für den Nutzer relevanten Tasks basierend auf der offenen Kommunikation zwischen dem Nutzer und dem digitalen Assistenten und den Informationen über die Umgebung, in der der intelligente persönliche Assistent aktuell verwendet wird, aufweist. Somit können insbesondere auch Gegebenheiten außerhalb des intelligenten persönlichen Assistenten beziehungsweise der den wenigstens einen für den Nutzer relevanten Task ermittelnden Datenverarbeitungsanlage, beispielsweise aktuelle Wetterbedingungen oder eine aktuelle Geschwindigkeit eines Kraftfahrzeuges, herangezogen und in Text umgewandelt werden, um den offenen Dialog zu ermöglichen und den wenigstens einen für den Nutzer relevanten Task zu ermitteln. Hierdurch kann die Ermittlung des wenigstens einen für den Nutzer relevanten Task und insbesondere auch die Gesprächsführung durch den intelligenten persönlichen Assistenten beziehungsweise der intelligente persönliche Assistent insgesamt weiter verbessert werden.
-
Zudem kann der Schritt des Ermittelns des wenigstens einen für den Nutzer relevanten Tasks ein Ermitteln des wenigstens einen für den Nutzer relevanten Tasks basierend auf einer Konversationshistorie und/oder basierend auf einem aktuellen -Kontext aufweisen. Dabei kann weiter durch gezielte Auswahl wann, wieviel und in welcher Form Konversationshistorie, beziehungsweise wann, wieviel, welche und in welcher Form den aktuellen Kontext beschreibende Daten zur Ermittlung des wenigstens einen für den Nutzer relevanten Tasks herangezogen werden, beispielsweise durch eine entsprechende Auswahl der zu verarbeitenden Daten, auf die technischen Gegebenheiten des intelligenten persönlichen Assistenten selber, beispielsweise im Hinblick auf Speicher- und/oder Rechenkapazitäten, Rücksicht genommen werden.
-
Dabei, dass eine Konversationshistorie und/oder ein aktueller Kontext zur Ermittlung des wenigstens einen für den Nutzer relevanten Task herangezogen wird handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr können auch andere Informationen zur Ermittlung des wenigstens einen für den Nutzer relevanten Tasks herangezogen werden, beispielsweise in anderer Form hinterlegtes domänenspezifisches Wissen.
-
Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein Verfahren zum Steuern wenigstens einer Funktion eines steuerbaren Systems angegeben, wobei das Verfahren ein Ermitteln von wenigstens einem für einen Nutzer relevanten Task durch ein obenstehend beschriebenes Verfahren zum Ermitteln von wenigstens einem für einen Nutzer relevanten Task durch einen intelligenten persönlichen Assistenten und ein Steuern der wenigstens einen Funktion des steuerbaren Systems basierend auf dem wenigstens einen für den Nutzer relevanten Task aufweist.
-
Somit wird ein Verfahren angegeben, welches ausgebildet ist, einen Nutzer durch ein offene Kommunikation, beispielsweise einen Task orientierten Dialog oder einen offenen Dialog, und/oder durch ein gezieltes Question-Answering zu für den Nutzer potentiell relevanten Tasks hinzuführen. Dabei ist das Verfahren weiter ausgebildet, in Reaktion auf das Ermitteln des wenigstens einen für den Nutzer relevanten Tasks direkt oder nach Rücksprache mit dem Nutzer Code zur Steuerung der wenigstens einen steuerbaren Funktion des steuerbaren Systems beispielsweise über entsprechende Anwendungsschnittstellen auszugeben.
-
Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein intelligenter persönlicher Assistent angegeben wird, insbesondere ein intelligenter persönlicher Assistent, welcher ausgebildet ist, wenigstens eine Funktion eines steuerbaren Systems, beispielsweise eines Kraftfahrzeuges zu steuern, mit welchem offene Kommunikation
zwischen einem Nutzer und dem intelligenten persönlichen Assistenten ermöglicht wird, basierend auf welchem der Nutzer an für ihn potentiell relevante Tasks hingeführt werden kann.
-
Die Erfindung wird nun anhand der beigefügten Figuren näher erläutert.
- 1 zeigt ein Flussdiagramm eines Verfahren zum Steuern wenigstens einer Funktion eines steuerbaren Systems gemäß Ausführungsformen der Erfindung;
- 2 zeigt ein Blockschaltbild eines steuerbaren Systems gemäß Ausführungsformen der Erfindung.
-
1 zeigt ein Flussdiagramm eines Verfahrens 1 zum Steuern wenigstens eines steuerbaren Systems gemäß Ausführungsformen der Erfindung.
-
Intelligente persönliche Assistenten beziehungsweise digitale Assistenten ermöglichen es einem Nutzer mittels Kommunikation in natürlicher, menschlicher Sprache Informationen abzufragen, Dialoge zu führen und Assistenzdienste zu erbringen. Dabei wird eine Nutzereingabe, für gewöhnlich eine Spracheingabe eines Nutzers erfasst, wobei die Spracheingabe einer Sprachanalyse unterzogen, semantisch interpretiert und logisch verarbeitet wird. Weiter kann beispielsweise durch Sprachsynthese eine Antwort auf die Nutzereingabe formuliert werden.
-
Derartige Intelligente persönliche Assistenten werden dabei mehr und mehr auch in Sprachsteuerungen zur Steuerung wenigstens einer Funktion eines steuerbaren Systems eingesetzt.
-
Jedoch ist eine menschenähnliche Interaktion zwischen dem intelligenten persönlichen Assistenten und einem Nutzer nach wie vor kaum möglich. Beispielsweise erfordern viele Situationen in der realen Welt einen dialogorientierte Entscheidung beziehungsweise eine Kommunikation mit einem Nutzer, um das Problem des Nutzers lösen zu können. Dies bedeutet, dass viele Anwendungen Folgefragen beziehungsweise klärende Fragen benötigen, welche je nach vorheriger Antwort variieren können, um das Problem des Nutzers möglichst exakt lösen zu können.
-
1 zeigt ein Verfahren 1 zum Steuern wenigstens eines steuerbaren Systems, wobei das Verfahren 1 einen Schritt 2 eines Empfangens von wenigstens einer Eingabe eines Nutzers durch einen intelligenten persönlichen Assistenten, einen Schritt 3 eines Startens einer offenen Kommunikation zwischen dem Nutzer und dem intelligenten persönlichen Assistenten basierend auf der wenigstens einen Eingabe durch den intelligenten persönlichen Assistenten, und einen Schritt 4 eines Ermittelns wenigstens eines für den Nutzer relevanten Tasks basierend auf der offenen Kommunikation zwischen dem Nutzer und dem intelligenten persönlichen Assistenten, aufweist.
-
Somit wird ein Verfahren 1 angegeben, welches ausgebildet ist, einen Nutzer durch eine offene Kommunikation, beispielsweise einen Task orientierten Dialog oder einen offenen Dialog, und/oder durch ein gezieltes Question-Answering über gezielte Fragen zu für den Nutzer potentiell relevanten Tasks hinzuführen.
-
Beispielsweise kann, falls der intelligente persönliche Assistent in ein Kraftfahrzeug integriert ist und sich aus der offenen Kommunikation ergibt, dass der Fahrer des Kraftfahrzeuges beginnt müde zu werden, auf die Möglichkeit hingewiesen werden, Fragen bezüglich einem Spurhalteassistenten und/oder einer Fahreraufmerksamkeitsüberwachung zu beantworten und/oder den Spurhalteassistenten und/oder die Fahreraufmerksamkeitsüberwachung zu aktivieren, beziehungsweise diese basierend auf durch den intelligenten persönlichen Assistenten ausgegebenen Code auch direkt aktiviert werden. Weiter kann auch vorgeschlagen werden, Musik zu spielen, um den Fahrer wach beziehungsweise die Konzentration des Fahrers hoch zu halten.
-
Als vorteilhaft erweist sich dies zudem beispielsweise bei Erklärvideos, wobei wiederum ermittelt werden kann, welche Tasks für den Nutzer in der aktuellen Situation von Vorteil beziehungsweise relevant sein könnten, wobei auch nur die zu diesen Tasks gehörenden Erklärvideos geladen und zwischengespeichert werden. Dies erweist sich beispielsweise bei in Kraftfahrzeugen, beispielsweise autonom fahrenden Kraftfahrzeugen integrierten Steuergeräten als vorteilhaft, welche über vergleichsweise geringe Speicherbeziehungsweise Rechenkapazitäten verfügen. Erklärvideos sind dabei Filme, in denen erläutert wird, wie man etwas macht oder wie etwas funktioniert, beziehungsweise in denen abstrakte Konzepte und Zusammenhänge erklärt werden. Beispielsweise können mit einem derartigen Erklärvideo auch die Funktionen einer Werkzeugmaschine oder eines autonom fahrenden Kraftfahrzeuges erläutert beziehungsweise erklärt werden, wobei derartige Erklärvideos für gewöhnlich visuelle Darstellungen beziehungsweise Inhalte und gesprochene Inhalte aufweisen.
-
Zudem kann der Nutzer auch durch gezielte Steuerung der Kommunikation beziehungsweise des River of Communication zu für ihn potentiell relevanten Tasks hingeführt werden. Beispielsweise kann die Dialogeinheit basierend auf einer offenen Kommunikation mit dem Nutzer ausgeben, dass in der aktuellen Situation ein Abstandsregeltempomat helfen könnte, wobei die Dialogeinheit auch ausgebildet sein kann, anschließend gezielt Fragen des Nutzers bezüglich des Abstandsregeltempomats zu beantworten, oder gezielt nach gewünschten Einstellungen des Abstandregeltempomats zu fragen.
-
Die offene Kommunikation kann dabei basierend auf Triggerworten, durch den Nutzer geäußerte Emotionen oder, insbesondere bei Vorliegen gewisser Gegebenheiten, auch durch den intelligenten persönlichen Assistenten selber initiiert werden.
-
Gemäß den Ausführungsformen der 1 weist der Schritt 4 des Ermittelns des wenigstens einen für den Nutzer relevanten Tasks basierend auf der offenen Kommunikation zwischen dem Nutzer und dem intelligenten persönlichen Assistenten ein Ermitteln des wenigstens einen für den Nutzer relevanten Tasks basierend auf der offenen Kommunikation zwischen dem Nutzer und dem digitalen Assistenten und einem Sprachmodell auf.
-
Gemäß den Ausführungsformen der 1 handelt es sich bei dem Sprachmodell dabei insbesondere um ein few shot priming beziehungsweise few shot learning fähiges Sprachmodell, wie zum Beispiel dem Generative Pretrained Transformer 3 (GPT-3). Insbesondere ist das Sprachmodell dabei ausgebildet, basierend auf einem few shot priming Verfahren, das heißt basierend auf wenigen Beispieldaten eine offene Kommunikation mit dem Nutzer zu führen.
-
Wie 1 zeigt, weist das Verfahren 1 weiter einen Schritt 5 eines Erfassens von Informationen über eine Umgebung in der der intelligenten persönlichen Assistenten aktuell verwendet wird, auf, wobei der Schritt 4 des Ermittelns des wenigstens einen für den Nutzer relevanten Tasks basierend auf der offenen Kommunikation zwischen dem Nutzer und dem intelligenten persönlichen Assistenten ein Ermitteln des wenigstens einen für den Nutzer relevanten Tasks basierend auf dem offenen Dialog zwischen dem Nutzer und dem digitalen Assistenten und den Informationen über die Umgebung, in der der intelligente persönliche Assistent aktuell verwendet wird, aufweist. Dabei wird die entsprechende Information über die Umgebung, in welcher sich der intelligente persönliche Assistent aktuell befindet, in Text umgewandelt, so dass diese basierend auf dem Sprachmodell verarbeitet werden kann.
-
Gemäß den Ausführungsformen der 1 weist der Schritt 4 des Ermittelns des wenigstens einen für den Nutzer relevanten Tasks ein Ermitteln des wenigstens einen für den Nutzer relevanten Tasks basierend auf einer Konversationshistorie und/oder basierend auf einem aktuellen Kontext auf. Dabei kann die Konversationshistorie und/oder der aktuelle Kontext insbesondere dazu verwendet werden, um Unklarheiten in Nutzereingaben aufzulösen und somit um gezielt Antworten in Reaktion auf Nutzereingaben zu generieren, basierend auf welchen aktuelle Nutzerbedürfnisse abgefragt beziehungsweise ermittelt werden können. Insbesondere wird dabei durch gezielte Auswahl wann, wieviel und in welcher Form Konversationshistorie, beziehungsweise wann, wieviel, welche und in welcher Form den aktuellen -Kontext beschreibende Daten zur Ermittlung des wenigstens einen für den Nutzer relevanten Task herangezogen werden, beispielsweise durch entsprechende Auswahl der zu verarbeitenden Daten, auf die technischen Gegebenheiten des intelligenten persönlichen Assistenten selber, beispielsweise im Hinblick auf Speicher- und/oder Rechenkapazitäten, Rücksicht genommen.
-
Bezüglich der Konversationshistorie kann dabei, beispielsweise basierend auf den technischen Gegebenheiten des intelligenten persönlichen Assistenten, festgelegt werden, dass immer eine fixe Menge an Konversationshistorie berücksichtigt wird, beispielsweise die letzten n Nutzereingaben, die letzten n Token beziehungsweise Textsequenzen, die letzten n Wörter, oder auch die letzten n Dialog-Ausgaben durch den intelligenten persönlichen Assistenten.
-
Zudem kann die zu berücksichtigende Konversationshistorie basierend auf einem Zeitintervall definiert werden, beispielsweise als die während der letzten n Sekunden erfassten Konversationen, oder als nach einer Konversationspause von mindestens n Sekunden empfangenen Konversationen. Ferner kann es sich bei der zu berücksichtigenden Konversationshistorie aber auch um in Zusammenhang mit aktuellen Gegebenheiten erfasste Konversationen handeln, beispielsweise während eines aktuellen Sprachdialogs erfasste Konversationen, nach einem letzten erkannten Themenwechsel erfasste Konversationen, oder beispielsweise während einer aktuellen Fahrt mit einem Kraftfahrzeug erfasste Kommunikationen.
-
Ferner ist es aber auch möglich, dass einzelne Konversationen der zu berücksichtigenden Konversationshistorie variabel hinzugefügt werden. Beispielsweise können vergleichsweise kurze Nutzereingaben, das heißt Nutzereingaben deren zeitliche Dauer einen definierten Schwellwert nicht übersteigt, immer zur Konversationshistorie hinzugefügt werden. In einem anderen Beispiel kann eine Nutzereingabe beispielsweise dann zur Konversationshistorie hinzugefügt werden, wenn erkannt wurde, dass die Nutzereingabe ein Reflexivpronomen aufweist.
-
Einzelne Konversationen können der Konversationshistorie dabei ferner wörtlich, in Form einer textuellen Zusammenfassung, oder auch in Form von aus der entsprechenden Konversation abgeleitetem Wissen hinzugefügt werden.
-
Bezüglich dem aktuellen Kontext wiederum kann ebenfalls entsprechend, beispielsweise wiederum basierend auf den technischen Gegebenheiten des intelligenten persönlichen Assistenten, festgelegt werden, wann, wieviel, welche und in welcher Form den aktuellen Kontext beschreibende Daten zur Ermittlung des wenigstens einen für den Nutzer relevanten Task herangezogen werden. Insbesondere ist dabei darauf zu achten, dass so viele Daten über den Kontext gesammelt und bereitgestellt werden, wie viele für eine effiziente Dialogführung benötigt werden. Weiter kann der Kontext auch einen Nutzerkontext aufweisen, wobei der Nutzerkontext beispielsweise Angaben beziehungsweise Daten über den Nutzer, welcher das Kraftfahrzeug aktuell fährt beziehungsweise benutzt, enthält. Der Nutzer und somit auch der Nutzerkontext kann dabei beispielsweise über biometrische Identifikationsmittel bestimmt werden. Gemäß den Ausführungsformen der 1 werden die Daten über den aktuellen Kontext dabei wiederum in Text umgewandelt, um basierend auf dem Sprachmodell verarbeitet zu werden.
-
Wie 1 weiter zeigt, weist das dargestellte Verfahren 1 zudem einen Schritt 6 eines Steuerns der wenigstens einen Funktion des steuerbaren Systems basierend auf dem wenigstens einen für den Nutzer relevanten Task auf.
-
Dies kann beispielsweise die Erzeugung von textuellen Systemaufrufen, beispielsweise textuellen Systemaufrufen über ein Fahrzeugnetz eines entsprechenden Kraftfahrzeuges umfassen.
-
Gemäß den Ausführungsformen der 1 erfolgt das Ermitteln des wenigstens einen für den Nutzer relevanten Tasks dabei basierend auf einem Sprachmodell, beispielsweise GPT-3, so dass zudem verschiedene Anwendungsschnittstellen verwendet werden können, ohne dass diese vereinheitlicht werden müssten. So kann beispielsweise GPT-3 prinzipiell Code in beliebigen Programmiersprachen generieren.
-
2 zeigt ein Blockschaltbild eines steuerbaren Systems 10 gemäß Ausführungsformen der Erfindung.
-
Bei dem steuerbaren System 10 handelt es sich dabei insbesondere um eine Fahrerassistenzfunktion eines Kraftfahrzeuges. Ferner kann es sich bei dem steuerbaren System aber beispielsweise auch um jedes weitere, insbesondere basierend auf einem Algorithmus des maschinellen Lernens steuerbare System handeln, beispielsweise eine Küchen- oder eine Waschmaschine.
-
Wie 2 zeigt, weist das System 10 dabei ein Steuergerät 11 zum Steuern wenigstens einer steuerbaren Funktion des steuerbaren Systems auf, wobei das Steuergerät 11 wiederum einen intelligenten persönlichen Assistenten 12 aufweist.
-
Wie 2 weiter zeigt, weist der intelligente persönliche Assistent 12 dabei eine erste Empfangseinheit 13 zum Empfangen von wenigstens einer Eingabe eines Nutzers, eine Auswerteeinheit 14, welche ausgebildet ist, wenigstens eine Instruktion basierend auf der wenigstens einen Eingabe zu ermitteln, und eine Verarbeitungseinheit 15, welche ausgebildet ist, die wenigstens eine Instruktion zu verarbeiten, auf. Gemäß den Ausführungsformen der 2 weist die Auswerteeinheit 14 weiter eine Dialogeinheit 16 auf, welche ausgebildet ist, basierend auf der wenigstens einen Eingabe eine offene Kommunikation mit dem Nutzer zu starten und basierend auf der offenen Kommunikation mit dem Nutzer wenigstens einen für den Nutzer relevanten Task zu ermitteln, auf.
-
Bei der ersten Empfangseinheit kann es sich dabei beispielsweise um einen Sprachempfänger wie ein Mikrofon handeln. Bei der Auswerteeinheit kann es sich weiter beispielsweise um eine Spracherkennungsmaschine handeln. Die Verwertungseinheit kann ferner beispielsweise Aktoren aufweisen, um wenigstens eine Aktion basierend auf von der Auswerteeinheit erzeugten und ausgegebenen Instruktionen zu initiieren. Die Dialogeinheit kann ferner beispielsweise basierend auf in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
-
Gemäß den Ausführungsformen der 2 ist die Dialogeinheit 16 wiederum ausgebildet, den wenigstens einen für den Nutzer relevanten Task basierend auf einem Sprachmodell zu ermitteln. Dabei kann beispielsweise über ein, in 2 nicht gezeigtes, Backend auf das Sprachmodell zugegriffen werden. Ferner kann das Sprachmodell aber auch in dem Steuergerät selber hinterlegt sein. Zudem kann die Dialogeinheit auch ausgebildet sein, den für den Nutzer relevanten Task basierend auf mehr als einem Sprachmodell zu bestimmen. Beispielsweise kann ein Question-Answering basierend auf einem ersten Sprachmodell erfolgen, wohingegen eine Generierung der entsprechenden Anwendungsschnittstelle basierend auf einem zweiten, von dem ersten Sprachmodell verschiedenem Sprachmodell erfolgt.
-
Wie 2 zudem zeigt, weist der dargestellte intelligente persönliche Assistent 12 weiter eine zweite Empfangseinheit 17 auf, welche ausgebildet ist, Informationen über eine Umgebung, in der der intelligente persönliche Assistenten aktuell verwendet wird, zu empfangen. Dabei ist die Dialogeinheit 16 weiter ausgebildet, den wenigstens einen für den Nutzer relevanten Task basierend auf der offenen Kommunikation und den Informationen über die Umgebung, in der der intelligente persönliche Assistent aktuell verwendet wird, zu ermitteln.
-
Hierbei weist das steuerbare System 10 weiter Sensoren 18 zum Erfassen der Umgebung, in welcher sich der intelligente persönliche Assistent aktuell befindet beziehungsweise in welcher dieser aktuell verwendet wird, beziehungsweise zum Bereitstellen der entsprechenden Informationen auf. Bei den Sensoren kann es sich dabei beispielsweise um optische Sensoren zur Erfassung von Bilddaten über eine aktuelle Umgebung des intelligenten persönlichen Assistenten und/oder des steuerbaren Systems handeln. Ferner kann es sich bei den Sensoren aber auch um Sensoren zum Erfassen eines aktuellen Zustandes des steuerbaren Systems handeln, beispielsweise um Geschwindigkeitssensoren zum Erfassen einer aktuellen Geschwindigkeit eines Kraftfahrzeuges.
-
Gemäß den Ausführungsformen der 2 ist die Dialogeinheit 16 zudem wiederum ausgebildet, den wenigstens einen für den Nutzer relevanten Task basierend auf einer Konversationshistorie und/oder basierend auf einem aktuellen Kontext zu ermitteln.
-
Bezugszeichenliste
-
- 1
- Verfahren
- 2
- Verfahrensschritt
- 3
- Verfahrensschritt
- 4
- Verfahrensschritt
- 5
- Verfahrensschritt
- 6
- Verfahrensschritt
- 10
- System
- 11
- Steuergerät
- 12
- Intelligenter persönlicher Assistent
- 13
- erste Empfangseinheit
- 14
- Auswerteeinheit
- 15
- Verarbeitungseinheit
- 16
- Dialogeinheit
- 17
- zweite Empfangseinheit
- 18
- Sensor
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2015/0279336 A1 [0005]
