DE102007042583B4 - Method for communication between a natural person and an artificial speech system and communication system - Google Patents
Method for communication between a natural person and an artificial speech system and communication system Download PDFInfo
- Publication number
- DE102007042583B4 DE102007042583B4 DE200710042583 DE102007042583A DE102007042583B4 DE 102007042583 B4 DE102007042583 B4 DE 102007042583B4 DE 200710042583 DE200710042583 DE 200710042583 DE 102007042583 A DE102007042583 A DE 102007042583A DE 102007042583 B4 DE102007042583 B4 DE 102007042583B4
- Authority
- DE
- Germany
- Prior art keywords
- avatar
- output
- information
- movement
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004891 communication Methods 0.000 title claims description 57
- 230000004044 response Effects 0.000 claims abstract description 49
- 238000013461 design Methods 0.000 claims abstract description 18
- 230000001360 synchronised effect Effects 0.000 claims abstract description 16
- 230000001419 dependent effect Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 239000011269 tar Substances 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000009472 formulation Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1081—Input via voice recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Verfahren zur Kommunikation zwischen einer natürlichen Person und einem künstlichen Sprachsystem, durch welches abhängig von einem Erkennen einer Eingabe eine Antwort ausgegeben wird und zur Unterstützung der Ausgabe ein Avatar eingesetzt wird, wobei die Bewegung des Avatars und/oder die Gestaltung des Avatars und/oder die visuell dargestellte Umgebung des Avatars an die als Antwort durch das Sprachsystem auszugebenden Informationen gekoppelt, und die Bewegung des Avatars und/oder die Gestaltung des Avatars und/oder die visuell dargestellte Umgebung des Avatars mit den als Antwort auszugebenden Informationen automatisch synchronisiert werden, dadurch gekennzeichnet, dass bei einer akustischen Sprachausgabe des Sprachsystems die Bewegung der Lippen des Avatars mit der korrekten Aussprache der Wörter synchronisiert wird und die Lippenbewegung des Avatars für eine Mehrzahl von nationalen Sprachen spezifisch mit der für die jeweilige korrekte Aussprache von Wörtern der jeweiligen Sprache synchronisiert wird.A method for communicating between a natural person and an artificial speech system by which a response is output based on a recognition of an input and an avatar is used to assist the output, wherein the movement of the avatar and / or the design of the avatar and / or the visually presented environment of the avatar coupled to the information to be output in response by the speech system, and the motion of the avatar and / or the design of the avatar and / or the visually presented environment of the avatar are automatically synchronized with the information to be output in response, characterized that in an acoustic speech output of the speech system the movement of the lips of the avatar is synchronized with the correct pronunciation of the words and the lip movement of the avatar for a plurality of national languages specifically with that for the respective correct pronunciation of words of the respective S is synchronized.
Description
Die Erfindung betrifft ein Verfahren zur Kommunikation zwischen einer natürlichen Person und einem künstlichen Sprachsystem, durch welches abhängig von einem Erkennen einer Eingabe durch die Person eine Antwort ausgegeben wird und zur Unterstützung der Ausgabe ein künstliches virtuelles Wesen, ein so genannter Avatar, eingesetzt wird. Des Weiteren betrifft die Erfindung ein Kommunikationssystem mit einem künstlichen Sprachsystem, welches zur Kommunikation mit der natürlichen Person ausgebildet ist.The The invention relates to a method for communication between a natural Person and an artificial one Language system through which dependent from a recognition of an input by the person issued a response will and for support the issue an artificial one virtual being, a so-called avatar. Furthermore The invention relates to a communication system with an artificial one Language system, which is used to communicate with the natural Person is trained.
Aus
der
Darüber hinaus
ist aus der
Aus
der
Kommunikationssysteme, bei denen ein derartiges virtuelles Wesen auf einer Anzeigeeinheit dargestellt wird und zur Informationsübermittlung unterstützend verwendet wird, sind bekannt. Ein wesentliches Problem dabei ist jedoch, dass die Darstellung oder Bewegung dieses Avatars aufgrund der Komplexität einer Kommunikationsstruktur nicht mit der ausgegebenen Information bzw. deren Bedeutung übereinstimmt. Es kann zu einem Fehlver ständnis der ausgegebenen Antworten oder zu einem generellen Nichtverstehen der Information führen. Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren sowie ein Kommunikationssystem zu schaffen, bei dem die Unterstützung der Informationsausgabe durch einen Avatar verbessert werden kann.Communication systems in which such a virtual being on a display unit is displayed and used to assist in the transmission of information is known. A major problem with this, however, is that the appearance or movement of this avatar due to the complexity of a Communication structure not with the information output or whose meaning is the same. It can lead to a misunderstanding of issued answers or to a general lack of understanding of the Lead information. It is an object of the present invention, a method and a To create a communication system in which the support of the Information output by an avatar can be improved.
Diese Aufgabe wird durch ein Verfahren, welches die Merkmale nach Anspruch 1 aufweist, und ein Kommunikationssystem, welches die Merkmale nach Anspruch 8 aufweist, gelöst.These The object is achieved by a method which has the features according to claim 1, and a communication system incorporating the features Claim 8, solved.
Bei einem erfindungsgemäßen Verfahren wird eine Kommunikation zwischen einer natürlichen Person und einem künstlichen Sprachsystem durchgeführt. Abhängig von einem Erkennen einer Eingabe durch die Person wird eine Antwort durch das Sprachsystem ausgegeben, wobei die Ausgabe der Antwort durch einen Avatar zumindest unterstützt wird. Die Bewegung des Avatars und/oder die Gestaltung des Avatars und/oder die visuell dargestellte Umgebung des Avatars werden an die als Antwort durch das Sprachsystem auszugebenden Informationen gekoppelt. Durch diese definierte Miteinanderverknüpfung kann stets gewährleistet werden, dass die Information verständlich übermittelt und visuell unterstützt wird. Fehlinterpretationen der Antwort des Sprachsystem oder sogar ein Nichtverstehen der Information kann dadurch verhindert werden.at a method according to the invention a communication between a natural person and an artificial one Language system performed. Dependent recognition of an input by the person becomes an answer output by the language system, the output of the response is supported by an avatar at least. The movement of the Avatars and / or the design of the avatar and / or the visual The environment of the avatar shown will pass through in response coupled to the language system information. Through this defined interconnection can always be guaranteed that the information is conveyed understandably and visually supported. Misinterpretations of the answer of the language system or even one Not understanding the information can be prevented.
Die Bewegungen des Avatars und/oder die Gestaltung des Avatars und/oder die visuell dargestellte Umgebung des Avatars werden mit den als Antwort auszugebenden Informationen automatisch synchronisiert. Es ist somit quasi jederzeit die Situation gegeben, dass sich der Avatar richtig verhält, sich richtig darstellt und in der richtigen Umgebung präsentiert, wodurch der Inhalt der zu übermittelnden Information visuell exakt unterstützt wird und somit die Wahrnehmbarkeit und auch die Deutung der zu übermittelnden Information quasi keine Fehlinterpretationen mehr zulässt.The Movements of the avatar and / or the design of the avatar and / or the visually presented environment of the avatar will be with the answer Automatically synchronizes information to be output. It is thus almost always given the situation that the avatar is right behaves properly represented and presented in the right environment, whereby the content of the information to be transmitted visually supported exactly becomes and thus the perceptibility and also the interpretation of the to be conveyed Information virtually no longer allows misinterpretations.
Bei einer akustischen Sprachausgabe eines Sprachsystems wird die Bewegung der Lippen des Avatars mit der korrekten Aussprache der Wörter synchronisiert. Wie durch die entsprechenden Hinterlegung der phonetischen Aussprache und die mögliche Verknüpfung wird dies bei dem Verfahren automatisch durchgeführt, so dass insbesondere beispielsweise die Lippenbewegung des Avatars bei jedem Wort präzise erfolgt.at an acoustic speech output of a speech system becomes the movement The avatar's lips are synchronized with the correct pronunciation of the words. As with the corresponding deposit of phonetic pronunciation and the possible shortcut if this is done automatically in the method, so that in particular, for example the avatar's lip movement is precise with each word.
Die Lippenbewegung des Avatars wird für eine Mehrzahl von nationalen Sprachen oder auch Dialekten spezifisch mit der für die jeweilige korrekte Aussprache von Wörtern der jeweiligen Sprache synchronisiert. Entsprechendes gilt selbstverständlich auch für die Demonstration der Information durch die Bewegung des Avatars ohne akustische Sprache und auch für die Umgebungsanpassung des Avatars. So kann diesbezüglich sprachenspezifisch die Gestik des Avatars für die Darstellung einer Information in einer ersten nationalen Sprache unterschiedlich zur Bewegung des Avatars zur Darstellung der gleichen Information in einer zweiten nationalen Sprache sein. In diesem Zusammenhang kann den nationalen Sprachen und den damit verbundenen Personen dieser Länder sowie gegebenenfalls auch den jeweils geltenden kulturellen und anderweitige Gepflogenheiten Rechnung getragen werden.The Lip movement of the avatar is for a majority of national Languages or dialects specific to the respective one correct pronunciation of words synchronized to the respective language. The same applies, of course for the Demonstration of the information by the movement of the avatar without acoustic language and also for the environment customization of the avatar. So can in this regard language-specific the avatar's gestures for the presentation of information in a first national language different from the movement of the avatar to represent the same information be in a second national language. In this context Can the national languages and related people these countries as well as, if applicable, the applicable cultural and other practices are taken into account.
Vorzugsweise werden die Bewegungen des Avatars und/oder die Gestaltung des Avatars und/oder die visuell dargestellte Umgebung des Avatars von den als Antwort durch das Sprachsystem auszugebenden Informationen gesteuert. Das heißt, die Informationen bilden die grundlegende Basis dafür, wie sich der Avatat bewegt und/oder seine Umgebung dargestellt wird oder wie er selbst ausgestaltet wird. Durch dieses Steuern wird quasi durch die zu übermittelnde Information und der darin umfasste Inhalt im Hinblick darauf, was eigentlich mitgeteilt werden soll präzise und abgestimmt durch die Bewegung und/oder die Gestaltung des Avatars und/oder dessen Umgebungsdarstellung erreicht. Ein in der Information auch zu übermittelnder Emotionszustand kann dann durch den Avatar besser übermittelt werden.Preferably, the avatar's movements and / or the avatar's design and / or the avatar's visual environment are controlled by the information to be output in response to the speech system. This means, the information forms the basic basis for how the avatar moves and / or its environment is presented or how it is designed. By means of this control, the information to be transmitted and the content included in it are achieved in a precise and coordinated manner by the movement and / or the design of the avatar and / or its environment representation, with regard to what is actually to be communicated. An emotion state to be transmitted in the information can then be transmitted better by the avatar.
Vorzugsweise wird die Bewegung des Avatars oder eines Körperteils des Avatars mit der Abfolge von durch das Sprachsystem zu vermittelnden Informationen in einer Antwort abhängig von der Art der Informationen automatisch synchronisiert.Preferably becomes the movement of the avatar or part of the body of the avatar with the Sequence of information to be conveyed by the language system in an answer dependent automatically synchronized by the type of information.
Insbesondere wird die korrekte phonetische Aussprache von Wörtern in dem Sprachsystem gespeichert und die Bewegung des Avatars und/oder die Gestaltung des Avatars und/oder die visuell dargestellte Umgebung des Avatars an die korrekte phonetische Aussprache geknüpft. Dadurch kann eine äußerst realitätsnahe Darstellung einer Handlung bzw. einer Aussprache erreicht werden, wodurch die Aufmerksamkeit der Person im Hinblick auf die Aufnahme der durch das Sprachsystem ausgegebenen Information in Form der Antwort wesentlich erhöht wird.Especially the correct phonetic pronunciation of words in the speech system is stored and the movement of the avatar and / or the design of the avatar and / or the visually presented environment of the avatar to the correct one phonetic pronunciation. This allows a very realistic representation an action or a pronunciation can be achieved, causing attention the person with regard to the inclusion of the through the language system output information in the form of the response is substantially increased.
Vorzugsweise wird die Verknüpfung abhängig von einer von dem Sprachsystem erkannten Eingabe automatisch durchgeführt.Preferably becomes the link dependent automatically performed by an input recognized by the speech system.
Es kann auch vorgesehen sein, dass die Verknüpfung abhängig von einer durch die Person durchgeführten Einstellung erfolgt. In diesem Zusammenhang kann vorgesehen sein, dass beispielsweise die Person die spezifische nationale Sprache einstellen kann, in der sie die durch das Sprachsystem ausgegebene Antwort haben möchte. So kann beispielsweise die Ausgabe in deutscher Sprache oder englischer Sprache oder dergleichen eingestellt werden. Die dann den Wörtern der spezifischen nationalen Sprache zugrundeliegenden phonetischen Aussprachen werden dann automatisch an die präzise Bewegung des Avatars oder eines Körperteils des Avatars oder an dessen Gestaltung oder an die visuell dargestellte Umgebung des Avatars geknüpft.It It may also be provided that the link depends on a person's attitude he follows. In this context, it may be provided that, for example the person can set the specific national language in who wants to have the answer given by the language system. So For example, the output in German or English Language or the like can be set. Then the words of the specific national language phonetic pronunciations are then automatically connected to the precise movement of the avatar or of a body part of the avatar or on its design or visually presented The environment of the avatar is knotted.
Vorzugsweise wird das Sprachsystem einem Infotainmentsystem in einem Fahrzeug zugeordnet und es kann mit einem Fahrzeuginsassen kommunizieren. Die Kommunikation kann neben dem Austausch akustischer Signale, insbesondere Wörter und Sätze, auch zur Kommunikation mittels Text und/oder Gestik und/oder sonstiger Informationsübertragung erfolgen.Preferably the voice system becomes an infotainment system in a vehicle assigned and it can communicate with a vehicle occupant. In addition to the exchange of acoustic signals, in particular words and Sentences, also for communication by means of text and / or gestures and / or other information transfer respectively.
Das Infotainmentsystem des Fahrzeugs kann beispielsweise eine Rundfunkeinheit und/oder einen CD-Spieler und/oder einen DVD-Spieler und/oder eine Navigationseinrichtung und dergleichen umfassen. Dies ist lediglich eine beispielhafte Aufzählung, welche nicht abschließend zu verstehen ist.The Infotainment system of the vehicle, for example, a broadcasting unit and / or a CD player and / or a DVD player and / or a Navigation device and the like include. This is just an exemplary list, which not final to understand.
Ein erfindungsgemäßen Kommunikationssystem umfasst ein künstliches Sprachsystem, welches zur Kommunikation mit einer dem Kommunikationssystem zugeordneten natürlichen Person ausgebildet ist. Das Sprachsystem ist abhängig von einem Erkennen einer Eingabe durch die Person zur Ausgabe einer Antwort ausgebildet, wobei zur Unterstützung der Ausgabe ein Avatar einsetzbar ist. Die Bewegung des Avatars und/oder die Gestaltung des Avatars und/oder die visuell dargestellte Umgebung des Avatars ist an die als Antwort an das Sprachsystem auszugebenden Informationen gekoppelt.One inventive communication system includes an artificial one Speech system used for communication with a communication system associated natural Person is trained. The language system depends on a recognition of a Input trained by the person to issue a response, being in support the output of an avatar can be used. The movement of the avatar and / or the design of the avatar and / or the visually presented The avatar's environment is in response to the language system coupled information to be output.
Vorzugsweise ist das Sprachsystem einem Infotainmentsystem in einem Fahrzeug zugeordnet und zur Kommunikation mit einem Fahrzeuginsassen ausgebildet.Preferably the voice system is an infotainment system in a vehicle assigned and trained for communication with a vehicle occupant.
Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahren sind als vorteilhafte Ausgestaltungen des erfindungsgemäßen Kommunikationssystems zu sehen.advantageous Embodiments of the method according to the invention are advantageous Embodiments of the communication system according to the invention see.
Die Regeln eines natürlichsprachlichen Sprachsystems sind in einen Eingabe- und einen Antwortteil untergliedert. Für die korrekte Steuerung der Sprachausgabe durch das Sprachsystem sind Informationen zu hinterlegen, wie genau ein bestimmtes Wort oder eine Wortkombination ausgesprochen werden soll. Durch die Visualisierung und Steuerung eines virtuellen Wesens ist gerade die Abstimmung mit den Inhalten der Informationen durch dieses Wesen vermittelt werden sollen, besonders wichtig und kann durch das er findungsgemäße Verfahren sowie das erfindungsgemäße Kommunikationssystem gewährleistet werden. Aus diesem Grund ist es besonders vorteilhaft, wenn das Aussehen und die Bewegungen sowie das virtuelle Umfeld des virtuellen Wesens durch den auszugebenden Inhalt gesteuert werden. Dies kann insbesondere dann erfolgen, wenn die Antwortalternativen des Sprachsystems bereits die Steuerinformationen sowohl für das virtuelle Wesen als auch die korrekte Aussprache von Wörtern integrieren.The Rules of a natural language language system are divided into an input and a response part. For the correct Control of the speech output by the speech system is information to deposit exactly how a particular word or combination of words should be pronounced. By visualizing and controlling a Virtual essence is just the vote with the content of Information should be conveyed by this being, especially important and can by he inventive method and the communication system according to the invention guaranteed become. For this reason, it is particularly advantageous if the Appearance and movements as well as the virtual environment of the virtual Being controlled by the content to be output. This can especially when the answer alternatives of the language system already the tax information for both the virtual being and the correct pronunciation of words integrate.
Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhalnd schematischer Zeichnungen näher erläutert. Es zeigen:One embodiment The invention will be explained in more detail in the following semi-schematic drawings. It demonstrate:
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.In The figures are the same or functionally identical elements with the provided the same reference numerals.
In
Zur
Entwicklung der Dialogstruktur
Die
beispielhaft graphisch dargestellte Dialogstruktur
Die
Eingabealternativen
Darüber hinaus
ist dem ersten Strukturteil
Der
erste Strukturteil
Das
dritte Strukturteil
Der
dritte Strukturteil
Der
zweite Strukturteil
Auch
dieses Szenario
Des
Weiteren umfasst das zweite Strukturteil
Beispielhaft
ist wiederum gezeigt, dass das Szenario
Der
zweite Strukturteil
Die
der Dialogstruktur
In
einfacher und aufwandsarmer Weise ist es möglich, die komplexe Struktur
darzustellen und einzelne Strukturteile
Natürlichsprachliche
Dialoge in der Datenverarbeitung umfassen die Verarbeitung einer
textuellen oder sprachlichen Eingabe in prosaischer Form. Auf Basis
dieser Eingabe wird meist auf der Grundlage einzelner Fallunterscheidungen,
welche in die Tausende gehen können,
eine passende Antwort ausgegeben. Die Antwort kann dabei ebenfalls
in textueller, sprachlicher oder bildlicher Form prosaischen Inhalts
erfolgen. Die Kommunikationsregeln können miteinander in Verbindung
gesetzt werden, um Gesprächsabläufe zu konzipieren.
Zur übersichtlicheren und
verbesserten Generierung solcher Dialoge werden diese und auch die
damit einhergehenden Verbindungen und Verknüpfungen der Dialogstruktur
Die graphische Modellierung beinhaltet die Bearbeitung einzelner Formulierungen sowie mehrerer Alternativen für die Eingabe als auch für die Ausgabe. Gruppen von Eingabe- und Anwortalternativen können zusammengesetzt werden, um eine Kommunikationsregel zu bilden. Die einzelnen Formulierungen können jeweils aus einem allgemeinen Verzeichnis für Eingaben als auch für Antworten gewählt werden. Mehrere Regeln, welche einen definierten Start- und Endpunkt haben können, können zu einem Szenario zusammengesetzt werden. Alle Szenarien stehen vorzugsweise damit im Zusammenhang. Abhängig vom erstellten Szenario können Eingabe- und Antwortalternativen mehrfach existieren, wobei sie durch die Zuordnung zu einem Szenario unterschieden werden können. Die Zuordnung zu einem Szenario kann auch dynamisch in die Antwort in Form einer Variablen aufgenommen werden. Ebenso kann diesbezüglich ein Platzhalter oder eine weitere Funktion dynamisch in die Antwort eingebunden werden. Ebenso kann die zuvor geäußerte Antwort des künstlichen Sprachsystems als Voraussetzung für das Verstehen einer nachfolgenden Eingabe herangezogen werden.The graphical modeling involves the processing of individual formulations as well as several alternatives for the input as well the edition. Groups of input and response alternatives can be put together to form a communication rule. The individual formulations can in each case from a general directory for inputs as well as for answers chosen become. Several rules that define a defined start and end point can have, can be assembled into a scenario. All scenarios are available preferably related thereto. Depending on the scenario created can Input and response alternatives exist multiple times, by the assignment to a scenario can be distinguished. The Assignment to a scenario can also be dynamic in the response Form of a variable. Similarly, in this regard Placeholder or another function dynamically in the response be involved. Likewise, the previously expressed answer of the artificial Language system as a prerequisite for understanding a subsequent Input be used.
Innerhalb der Antworten kann auch ein expliziter Absprung in den Kontext eines anderen Szenarios enthalten sein. Auch lassen sich die bereits zu einem Szenario zusammengestellten Kommunikationsregeln kopieren, indem das gesamte Szenario umbenannt und in einen anderen Zusammenhang eingebunden wird.Within The answers can also be an explicit jump into the context of a be included in other scenarios. Also, the already can be copying communication rules compiled in a scenario, by renaming the whole scenario and putting it into a different context becomes.
Bei
dem in
In
Zum Erzeugen der Sprachgrammatik für das künstliche Sprachsystem werden der Sprachgrammatik einzelne Worte und/oder Wortkombinationen zugrunde gelegt. Der Kommunikation wird ein Satz von Kommunikationsregeln mit jeweils einer Eingabe einer Person und einer korrespondierenden Ausgabe des Sprachsystems zugeordnet, und zumindest eine Eingabe der Person in das Sprachsystem wird einem der Sprachgrammatik zugrunde gelegten Wort und/oder einer Wortkombination zugeordnet.To the Generating the speech grammar for the artificial one Language system are the speech grammar single words and / or Based on word combinations. The communication becomes a sentence of Communication rules with one input each of a person and associated with a corresponding output of the speech system, and at least one input of the person in the language system becomes one of Speech grammar underlying word and / or a word combination assigned.
Gemäß der Darstellung
in
Die
Zuordnung einer Eingabe zu einem Wort und/oder einer Wortkombination
wird durch eine automatische Konvertierung durchgeführt und
dadurch die Sprachgrammatik definiert. Diesbezüglich wird die automatische
Konvertierung durch ein entsprechendes Konvertierungsverfahren durchgeführt, wie dies
in
Bei
der erzeugten Sprachgrammatik
Bei der automatischen Konvertierung werden einzelne Alternativen einer Eingabe analysiert und abhängig davon eine zu priorisierende Konvertierung und somit eine Zuordnung einer Alternative zu einem Wort und/oder einer Wortkombination durchgeführt. Die automatische Konvertierung kann insbesondere abhängig von einem Platzhalter und/oder einer Variablen und/oder zumindest einer Funktion in einer Alternative einer Eingabe durchgeführt werden. Ein Platzhalter kann diesbezüglich beispielsweise ein Füllwort wie „äh” oder dergleichen sein.In automatic conversion, individual alternatives of an input are analyzed and, depending on this, a conversion to be prioritized and thus an assignment of an alternative to a word and / or a word combination carried out. The automatic conversion can be carried out in particular depending on a placeholder and / or a variable and / or at least one function in an alternative of an input. A wildcard in this regard may be, for example, a noise word such as "er" or the like.
Ein Variable kann insbesondere durch einen Wert eines Betriebsparameters eines Geräts oder eines Systems oder durch einen sonstigen Ergebniswert definiert werden. Insbesondere können hier beispielsweise technische Geräte in einem Fahrzeug, wie Motor, Klimaanlage, Fahrerassistenzsysteme und dergleichen genannt werden.One In particular, variable can be defined by a value of an operating parameter of a device or a system or other result value become. In particular, you can here for example technical devices in a vehicle, such as engine, Air conditioning, driver assistance systems and the like may be mentioned.
Eine Funktion wird insbesondere durch eine Hilfefunktion und/oder eine Funktion zur Änderung eines Profils einer Kommunikationsregel oder einer Verknüpfung von Regeln zueinander definiert.A Function is in particular by a help function and / or a Function to change a Profile of a communication rule or a link from Rules defined to each other.
Die
bereits erwähnten
Kommunikationsregeln eines natürlichsprachlichen
Kommunikationssystems bestehen aus einem Eingabeteil und einem Antwortteil.
Der Eingabeteil kann dabei durch den Benutzer in textueller, sprachlicher
oder sonstiger Form geäußert werden.
Eine sprachliche Äußerung kann
mit Hilfe einer Spracherkennung das akustische Signal erkennen und
in maschinenlesbare Form konvertieren. Bekannte Wörter oder
Wortkombinationen, so genannte Phrasen, werden als Sprachgrammatik bezeichnet
und vor der Laufzeit der Spracherkennung erstellt und bereitgestellt.
Da die einzelnen Phrasen der Sprachgrammatik inhaltlich den möglichen
Benutzereingaben innerhalb des Regelwerks
In
Ist das künstliche Sprachsystem derart ausgebildet, dass es abhängig von einem Erkennen einer Eingabe der natürlichen Person eine Antwort ausgeben kann, so ist hier insbesondere vorgesehen, dass das Sprachsystem neben einer akustischen und/oder textuellen Eingabe der Person zumindest eine weitere davon unterschiedliche Information als Eingabe erkennen kann.is the artificial one Language system designed such that it depends on a recognition of a Entering the natural Person can give an answer, so here is provided in particular, that the language system in addition to an acoustic and / or textual Entering the person at least one more different Can recognize information as input.
Als weitere Information bezüglich einer Eingabe kann in diesem Zusammenhang eine Geste der Person und/oder eines Bedienelements durch die Person und/oder eine von dem Sprachsystem unterschiedlichen technischen Gerät generierte Information verstanden werden.When further information regarding An input can in this context be a gesture of the person and / or an operating element by the person and / or one of the language system generated different technical device Information to be understood.
Das
Kommunikationssystem
Darüber hinaus
sind technische Geräte
vorgesehen, welche Informationen erzeugen können, die das Sprachsystem
als Eingabe erkennen und verwerten kann. In diesem Zusammenhang
können
ein optischer Sensor
Vorzugsweise
ist vorgesehen, dass die durch die akustische Eingabe und/oder die
textliche Eingabe erzeugten Signale direkt an das künstliche Sprachsystem
Der
grundlegende Mechanismus einer Kommunikation zwischen einem künstlichen
Sprachsystem
Vorzugsweise
ist vorgesehen, dass bei einer derartig multifunktionalen Möglichkeit
einer Erkennung unterschiedlichster Informationen durch das Sprachsystem
Es
ist bei dem Kommunikationssystem
Vorzugsweise werden die Bewegung des Avatars und/oder die Gestaltung des Avatars und/oder die visuell dargestellte Umgebung des Avatars von den als Antwort durch das Sprachsystem auszugebenden Informationen gesteuert, wobei insbesondere eine Synchronisierung, vorzugsweise eine automatische Synchronisierung, zwischen der Bewegung des Avatars und/oder der Gestaltung des Avatars und/oder der visuell dargestellten Umgebung des Avatars mit den als Antwort ausgegebenen Informationen durchgeführt wird.Preferably be the movement of the avatar and / or the design of the avatar and / or the visually presented environment of the avatar of the in response controlled by the language system information, wherein in particular a synchronization, preferably an automatic Synchronization, between the movement of the avatar and / or the Design of the avatar and / or the visual environment of the Avatars with the information output in response.
Beim
Einsatz des Kommunikationssystems
Die
Visualisierung und Steuerung eines virtuellen Wesens erfordert die
Abstimmung mit den Inhalten, die durch dieses Wesen vermittelt werden
sollen. Aus diesem Grund ist es wichtig, dass das Aussehen und die
Bewegung sowie das virtuelle Umfeld des virtuellen Wesens durch
den auszugebenden Inhalt gesteuert werden. Dies kann insbesondere
dann erfolgen, wenn die Antwortalternativen des Sprachsystems
Vorzugsweise
wird eine Bewegung des Avatars oder eines Körperteils des Avatars mit einer
Abfolge von durch das Sprachsystem
Vorzugsweise
wird die Verknüpfung
abhängig
von einer von dem Sprachsystem
Neben einer einfachen Lippenbewegung kann diesbezüglich auch die Bewegung jeglicher anderer Körperteile des Avatars auf die situationsbezogen erforderliche Ausgabe synchronisiert werden.In addition to a simple lip movement In this regard, the movement of any other parts of the body of the avatar can be synchronized to the situation-specific required output.
Auch dann, wenn keine explizite Sprachausgabe erfolgen soll, sondern lediglich eine visuelle Darstellung von Handlungen oder Abläufen, kann auch diesbezüglich eine exakte Synchronisierung erfolgen. So kann in diesem Zusammenhang beispielsweise auch eine Wartungs- oder Instandsetzungsanleitung an einen Fahrzeugnutzer visuell ausgegeben werden, indem beispielsweise auf einem Bildschirm ein akustisch nicht hinterlegter Text angezeigt wird, welcher durch die Bewegungen und Handlungen des visuell dargestellten Avatars demonstriert wird. Auch diesbezüglich kann die korrekte Bewegung und Handlung des Avatars zeitgenau auf den spezifisch gezeigten Text synchronisiert werden. In diesem Zusammenhang können beispielsweise Einstellungen von Systemen im Fahrzeug, wie beispielsweise Radio, CD-Spieler und dergleichen, oder auch selbstdurchzuführende Wartungsarbeiten, wie Kontrolle des Ölstands, Kontrolle der Scheibenwaschflüssigkeit und dergleichen erläutert werden.Also then, if no explicit speech should be made, but just a visual representation of actions or procedures, too in this regard an exact synchronization takes place. So in this context For example, a maintenance or repair manual to be visually output to a vehicle user, for example On a screen, an acoustically unmarked text is displayed becomes, which through the movements and actions of the visually represented Avatars is demonstrated. Also in this regard, the correct movement and action of the avatar timely to the specific shown Text to be synchronized. In this context, for example Settings of systems in the vehicle, such as radio, CD player and the like, or self-service, like checking the oil level, Check the windscreen washer fluid and the like explained become.
In diesem Zusammenhang kann dann auch die Synchronisierung des auf der Anzeigeeinheit dargestellten Umfelds des Avatars entsprechend angepasst werden und beispielsweise bei einer Erläuterung zur Füllstandskontrolle des Motoröls im Hintergrund des Avatars der Motorraum des spezifischen Fahrzeugtyps dargestellt, insbesondere relativ detailgetreu dargestellt, werden. Weitere Beispiele sind die Erläuterung der Durchführung eines Reifenwechsels oder eines Fremdstarts etc.. Dadurch kann für einen Nutzer bei relativ komplexen Abläufen oder Handlungen oder Einstellungen der rein textlichen und/oder akustischen Mitteilung auch die Darstellung in bewegten Bildern unterstützend ermöglicht werden, was sehr hilfreich sein kann.In this connection can then sync on the environment of the avatar displayed corresponding to the display unit be adapted and for example in an explanation for level control of the engine oil in the background of the avatar the engine compartment of the specific vehicle type represented, in particular relatively detailed represent, be. Further examples are the explanation the implementation a tire change or a third-party etc. etc. This allows for a user in relatively complex processes or acts or attitudes of purely textual and / or acoustic Communication also allows the presentation in moving images supporting what can be very helpful.
In
Durch
diese Struktur wird die Ausgabe von Informationen natürlicher
Sprache mittels eines künstlichen
Sprachsystems
Vorzugsweise
wird ein Wert eines Zustandsparameters durch einen Platzhalter in
einer definierten in dem Sprachsystem
Während der Verarbeitung von Ereignissen des Bordsystems, beispielsweise eines Bussystems, in einem Fahrzeug, die der multimodalen Eingabe des natürlich sprachlichen Sprachsystems zuzurechnen ist, kann der Zugriff auf Informationen aus den Bordinformationssystemen auch während der Generierung der Antwortalternative eine Rolle spielen. So können in Antworten aktuelle Werte und Stati des Fahrzeugs oder von Teilkomponenten davon eingebunden werden, um Informationen akustisch auszugeben. Dies kann beispielsweise die Ansage der aktuellen Geschwindigkeit oder der Motortemperatur sein.During the Processing events of the on-board system, for example one Bus system, in a vehicle that is the multimodal input of the Naturally linguistic system, access to Information from the on-board information systems also during the Generation of the answer alternative play a role. So can in Answers current values and statuses of the vehicle or subcomponents be integrated into it to output information acoustically. This can be, for example, the announcement of the current speed or the engine temperature.
Diese Eigenschaft kann insbesondere dann zum Tragen kommen, wenn ein physisches Anzeigeinstrument im Fahrzeug für die Ausgabe eines entsprechenden Werts vorgesehen ist.These Property can come into play especially if a physical Indicator in the vehicle for the output of a corresponding value is provided.
Wird
bei der Verarbeitung einer derartigen Antwort ein entsprechender
Platzhalter, welcher vorab definiert und hinterlegt wird, erkannt,
wird der zu diesem Platzhalter gehörige Wert aus dem Bordinformationssystem
ermittelt und eingebunden. Dies ist in
Der
Zugriff wird somit in Form eines Platzhalters in die Formulierung
einer Antwort integriert. Die Einbindung des Werts des Platzhalters
kann sowohl innerhalb eines Antworttextes der Fall sein, kann aber
auch bereits bei der Auswahl einer Antwort erfolgen, wenn die Ausgabe
einer Antwort mit einer spezifischen Bedingung verknüpft ist.
Die Identifikation des Platzhalters mit dem Zugriff auf das Bordinformationssystem
Die
Schnittstellenkomponente
Die
Schnittstellenkomponente
Durch die erläuterte Vorgehensweise kann ermöglicht werden, dass in statische Komponenten einer Antwort dynamische Teile eingefügt werden können, die darüber hinaus dynamisch angefragt werden können.By the explained Approach can be made be that in static components of a response dynamic parts added can be the above can be dynamically requested.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200710042583 DE102007042583B4 (en) | 2007-09-07 | 2007-09-07 | Method for communication between a natural person and an artificial speech system and communication system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200710042583 DE102007042583B4 (en) | 2007-09-07 | 2007-09-07 | Method for communication between a natural person and an artificial speech system and communication system |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102007042583A1 DE102007042583A1 (en) | 2009-03-12 |
DE102007042583B4 true DE102007042583B4 (en) | 2010-12-09 |
Family
ID=40339975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200710042583 Active DE102007042583B4 (en) | 2007-09-07 | 2007-09-07 | Method for communication between a natural person and an artificial speech system and communication system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102007042583B4 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012213668A1 (en) * | 2012-08-02 | 2014-05-22 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a voice-controlled information system for a vehicle |
CN104756185B (en) * | 2012-11-05 | 2018-01-09 | 三菱电机株式会社 | Speech recognition equipment |
DE102017219955A1 (en) | 2017-11-09 | 2019-05-09 | Continental Automotive Gmbh | System for automated driving with the assistance of a driver when performing a non-driving activity |
DE102018222156A1 (en) * | 2018-12-18 | 2020-06-18 | Volkswagen Aktiengesellschaft | Method, arrangement and use for generating a response in response to a voice input information |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10008226C2 (en) * | 2000-02-22 | 2002-06-13 | Bosch Gmbh Robert | Voice control device and voice control method |
DE10117410A1 (en) * | 2001-04-06 | 2002-11-07 | Daimler Chrysler Ag | Method and device for outputting data about information of a motor vehicle |
DE102006052897A1 (en) * | 2005-11-11 | 2007-06-14 | Volkswagen Ag | Information e.g. vehicle data, device for use in motor vehicle, has display device, and processing device attached to storage that stores vehicle data, where vehicle data are displayed in partially animated manner via display device |
-
2007
- 2007-09-07 DE DE200710042583 patent/DE102007042583B4/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10008226C2 (en) * | 2000-02-22 | 2002-06-13 | Bosch Gmbh Robert | Voice control device and voice control method |
DE10117410A1 (en) * | 2001-04-06 | 2002-11-07 | Daimler Chrysler Ag | Method and device for outputting data about information of a motor vehicle |
DE102006052897A1 (en) * | 2005-11-11 | 2007-06-14 | Volkswagen Ag | Information e.g. vehicle data, device for use in motor vehicle, has display device, and processing device attached to storage that stores vehicle data, where vehicle data are displayed in partially animated manner via display device |
Also Published As
Publication number | Publication date |
---|---|
DE102007042583A1 (en) | 2009-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1986889B1 (en) | Device and method for interactive information dispensing and/or assistance for the user of a motor vehicle | |
EP1961606A2 (en) | Device and method for interactive information display and/or support for the user of a motor vehicle | |
DE10008226C2 (en) | Voice control device and voice control method | |
DE102006036338A1 (en) | Method for generating a context-based speech dialog output in a speech dialogue system | |
DE102007042583B4 (en) | Method for communication between a natural person and an artificial speech system and communication system | |
EP1930201A1 (en) | Method for allowing adjustment of the driving situation of a vehicle driven by a driver | |
EP1121684B1 (en) | Method and device for information and/or messages by means of speech | |
DE102016212681A1 (en) | Control device and method for voice-based operation of a motor vehicle | |
EP3115886B1 (en) | Method for operating a voice controlled system and voice controlled system | |
DE102017206876A1 (en) | Method and device for outputting a status message in a motor vehicle with voice control system | |
DE102007042580A1 (en) | Person i.e. passenger, and artificial language system communication enabling method for vehicle, involves recognizing acoustic and/or textual input of person by language system and different information as input by system | |
DE102017211447B4 (en) | Method for selecting a list entry from a selection list of an operating device by means of voice control and operating device | |
DE102010051833A1 (en) | Method for performing interaction of vehicle system with user in motor vehicle, involves satisfying logical state-specific transition condition of initial state, if evaluated user input coincides with predetermined user input | |
DE102007042579A1 (en) | Method for producing language grammar for artificial language system to communicate with natural person, involves arranging input of person and corresponding output of language system to communicate sentence | |
DE102007042581A1 (en) | Method for display of information in natural language, involves integrating value of state parameter deposited in language system with response structure, and searching assigned retainer in response of artificial language system | |
DE102008025532B4 (en) | A communication system and method for performing communication between a user and a communication device | |
DE102007042582A1 (en) | Dialogue structure i.e. infotainment system substructure, developing method for artificial language system in vehicle for communication with passenger, involves graphically plotting defined communication rules and connection between rules | |
EP1944664A1 (en) | Troubleshooting method for an automation controller | |
DE102023200302B3 (en) | Method for interacting with a user, computer program product and vehicle | |
DE102008045123B4 (en) | Assistance and information device in a motor vehicle and method for outputting information | |
DE102005010230B4 (en) | Method for outputting help information | |
EP1826687B1 (en) | Method and device for program supported handling of technical documentation | |
DE102014224794B4 (en) | Voice assistance method for a motor vehicle | |
EP4124211B1 (en) | Method and device for generating voice outputs in a vehicle | |
DE102012006680A1 (en) | Method for contextual information retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
OP8 | Request for examination as to paragraph 44 patent law | ||
8364 | No opposition during term of opposition | ||
R020 | Patent grant now final |
Effective date: 20110309 |