DE102022129038A1

DE102022129038A1 - Communication device in a vehicle

Info

Publication number: DE102022129038A1
Application number: DE102022129038.7A
Authority: DE
Inventors: Peter G. Diehl
Original assignee: Iinovis GmbH
Current assignee: Iinovis GmbH
Priority date: 2022-11-03
Filing date: 2022-11-03
Publication date: 2024-05-08

Abstract

Es wird eine Kommunikationsvorrichtung (2) beschrieben, welche zur Integration in ein Fahrzeug (1) ausgebildet ist. Diese umfasst eine Spracheingabeeinrichtung (3) zur Erfassung einer Spracheingabe wenigstens eines Insassen (P1, P2), eine Sprachverarbeitungseinrichtung (6) mit einer Sprachauswerteeinheit (7), welche mittels hinterlegter Kennwörter zur Analyse einer erfassten Spracheingabe ausgelegt ist, und mit einer Sprachgeneriereinheit (8), welche eine Sprachausgabe in Abhängigkeit des Analyseergebnisses der Sprachauswerteeinheit (7) erzeugt, sowie eine Sprachausgabeeinrichtung (9) zur Wiedergabe der Sprachausgabe. Dabei weist die Sprachauswerteeinheit (7) ein Modul (10) zur Erkennung einer ersten Einzel-Sprache (L1) und die Sprachgeneriereinheit (8) ein Übersetzungsmodul (11) zur Erzeugung der Sprachausgabe in wenigsten einer weiteren Einzel-Sprache (L2) auf. Des Weiteren wird ein Fahrzeug mit einer solchen Kommunikationsvorrichtung beschrieben.

A communication device (2) is described which is designed for integration into a vehicle (1). This comprises a voice input device (3) for detecting a voice input from at least one occupant (P1, P2), a voice processing device (6) with a voice evaluation unit (7) which is designed to analyze a detected voice input using stored passwords, and with a voice generation unit (8) which generates a voice output depending on the analysis result of the voice evaluation unit (7), and a voice output device (9) for reproducing the voice output. The voice evaluation unit (7) has a module (10) for recognizing a first individual language (L1) and the voice generation unit (8) has a translation module (11) for generating the voice output in at least one further individual language (L2). A vehicle with such a communication device is also described.

Description

Die erfindungsgemäße Technologie betrifft eine Kommunikationsvorrichtung, welche zur Integration in ein Fahrzeug ausgebildet ist, nach der im Oberbegriff des Patentanspruches 1 näher definierten Art. Des Weiteren betrifft die erfindungsgemäße Technologie ein Fahrzeug mit einer solchen Kommunikationsvorrichtung.The technology according to the invention relates to a communication device which is designed for integration into a vehicle, according to the type defined in more detail in the preamble of patent claim 1. Furthermore, the technology according to the invention relates to a vehicle with such a communication device.

Aus der Praxis sind zum Einsatz in einem Fahrzeug bestimmte Kommunikationsvorrichtungen bekannt, welche Sprachdialogsysteme darstellen, die mit wenigstens einem Mikrofon zur Aufnahme einer Stimme und einer Sprachauswerteeinrichtung ausgestattet sind. Je nachdem, welcher Inhalt der Spracheingabe mittels hinterlegter Kennwörter erkannt wird, wird eine hierfür vorgesehene Aktion oder Sprachausgabe gestartet.In practice, certain communication devices are known for use in a vehicle, which represent voice dialogue systems that are equipped with at least one microphone for recording a voice and a voice evaluation device. Depending on which content of the voice input is recognized using stored passwords, a corresponding action or voice output is started.

Die EP 2 051 241 A1 offenbart beispielsweise eine solche Kommunikationsvorrichtung, bei der eine Spracheingabe über ein Sprachauswertesystem ausgewertet und in entsprechender Reaktion auf die erkannte Spracheingabe über ein Sprachausgabesystem eine Sprachnachricht ausgegeben wird.The EP 2 051 241 A1 discloses, for example, such a communication device in which a voice input is evaluated via a voice evaluation system and a voice message is output via a voice output system in response to the recognized voice input.

Derartige Sprachdialogsysteme sind typischerweise dazu vorgesehen, eine Mensch-Maschine-Kommunikation so zu ermöglichen, dass ein Fahrer mit geringstmöglicher Ablenkung vom Straßenverkehr Funktionalitäten des Fahrzeugs starten oder stoppen kann oder um eine möglichst bequeme Bedienung von Ausstattungsmerkmalen wie z. B. ein Fahrassistenzsystem, ein Navigationssystem, ein Telekommunikationssystem, ein Unterhaltungssystem, eine Sitzeinstellung, eine Beleuchtungseinstellung etc. durch Insassen zu ermöglichen.Such voice dialogue systems are typically designed to enable human-machine communication in such a way that a driver can start or stop functions of the vehicle with the least possible distraction from road traffic or to enable the occupants to operate equipment features such as a driver assistance system, a navigation system, a telecommunications system, an entertainment system, seat adjustment, lighting adjustment, etc. as conveniently as possible.

Es ist eine bevorzugte Aufgabe der erfindungsgemäßen Technologie, zumindest einen Nachteil von einer vorbekannten Lösung zu verringern oder zu beheben oder eine alternative Lösung vorzuschlagen. Es ist insbesondere eine bevorzugte Aufgabe der hier offenbarten Technologie, eine Kommunikationsvorrichtung, welche zur Integration in ein Fahrzeug ausgebildet ist, bereitzustellen, die hinsichtlich mindestens eines der folgenden Faktoren verbessert ist: Erweiterte Funktionalität, einfache Bedienbarkeit, einfache konstruktive Ausführung, Kosten, Komplexität der Herstellung und Installation, Betriebssicherheit, Nachhaltigkeit und/oder Bauteilzuverlässigkeit. Weitere bevorzugte Aufgaben können sich aus den vorteilhaften Effekten der hier offenbarten Technologie ergeben.It is a preferred object of the technology according to the invention to reduce or eliminate at least one disadvantage of a previously known solution or to propose an alternative solution. In particular, it is a preferred object of the technology disclosed here to provide a communication device designed for integration into a vehicle that is improved with respect to at least one of the following factors: extended functionality, ease of use, simple structural design, costs, complexity of manufacture and installation, operational safety, sustainability and/or component reliability. Further preferred objects can result from the advantageous effects of the technology disclosed here.

Erfindungsgemäß wird/werden diese Aufgabe(n) mit einer Kommunikationsvorrichtung, welche zur Integration in ein Fahrzeug ausgebildet ist, gemäß den Merkmalen des unabhängigen Patentanspruches 1 sowie mit einem derart ausgestatteten Fahrzeug gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.According to the invention, this object(s) is/are achieved with a communication device which is designed for integration into a vehicle, according to the features of independent patent claim 1 and with a vehicle equipped in this way. Advantageous further developments are the subject of the subclaims and the following description.

Es wird mithin eine Kommunikationsvorrichtung zur Integration in einem Fahrzeug, insbesondere einem Personenkraftwagen, vorgeschlagen, mit einer Spracheingabeeinrichtung zur Erfassung einer Spracheingabe wenigstens eines Insassen, einer Sprachverarbeitungseinrichtung mit einer Sprachauswerteeinheit, welche mittels hinterlegter Kennwörter zur Analyse einer erfassten Spracheingabe ausgelegt ist, und mit einer Sprachgeneriereinheit, welche eine Sprachausgabe in Abhängigkeit des Analyseergebnisses der Sprachauswerteeinheit erzeugt, sowie mit einer Sprachausgabeeinrichtung zur Wiedergabe der Sprachausgabe.A communication device is therefore proposed for integration in a vehicle, in particular a passenger car, with a voice input device for detecting a voice input of at least one occupant, a voice processing device with a voice evaluation unit which is designed to analyze a detected voice input by means of stored passwords, and with a voice generation unit which generates a voice output depending on the analysis result of the voice evaluation unit, as well as with a voice output device for reproducing the voice output.

Erfindungsgemäß weist die Sprachauswerteeinheit ein Modul zur Erkennung einer Einzel-Sprache auf, und die Sprachgeneriereinheit weist ein Übersetzungsmodul zur Erzeugung der Sprachausgabe in wenigstens einer weiteren Einzel-Sprache auf.According to the invention, the speech evaluation unit has a module for recognizing an individual language, and the speech generation unit has a translation module for generating the speech output in at least one further individual language.

Die Erfindung ermöglicht in vorteilhafter Weise eine Kommunikation zwischen Fahrzeuginsassen, die unterschiedliche Einzel-Sprachen wie z. B. Deutsch, Englisch oder Französisch etc. sprechen, ohne die andere Einzel-Sprache beherrschen zu müssen oder ein zusätzliches, fahrzeugexternes Hilfsgerät wie z. B. ein Mobiltelefon mit Übersetzungs-Applikation zu benötigen.The invention advantageously enables communication between vehicle occupants who speak different individual languages, such as German, English or French, etc., without having to master the other individual language or requiring an additional, external vehicle auxiliary device, such as a mobile phone with a translation application.

Eine mögliche Nutzungssituation ist, dass es sich bei den Fahrzeuginsassen um den Fahrer und einen zweiten, weiteren Passagier handelt. In diesem Fall kann z. B. der Fahrer in seiner gewählten Einzel-Sprache sprechen, wobei die Sprachverarbeitungseinrichtung diese elektronisch aufnimmt, mittels des Übersetzungsmoduls in die von dem weiteren Fahrzeuginsassen gewählte Einzel-Sprache übersetzt und dann dem weiteren Fahrzeuginsassen über die Sprachausgabeeinrichtung entweder akustisch, d. h. mittels einer Lautsprechereinrichtung und/oder aber in einer von dem weiteren Passagier eingestellten Möglichkeit ausgibt. Ein solche weitere Möglichkeit kann die Wiedergabe auf einer Anzeigeeinrichtung, welches ein fahrzeugfestes oder mobiles Display sein kann, in Textform mit Schriftzeichen sein. Dabei ist auch eine Wiedergabe in Braille-Schrift möglich.One possible usage situation is that the vehicle occupants are the driver and a second, additional passenger. In this case, for example, the driver can speak in his chosen individual language, with the speech processing device recording this electronically, translating it into the individual language selected by the other vehicle occupant using the translation module and then outputting it to the other vehicle occupant via the speech output device either acoustically, i.e. using a loudspeaker device and/or in a way set by the other passenger. Such an additional option can be playback on a display device, which can be a vehicle-mounted or mobile display, in text form with characters. Playback in Braille is also possible.

Die Kommunikationsvorrichtung kann dabei bezüglich der angewandten Software und Hardware dazu konfiguriert sein, eine Echtzeit-Übersetzung durchzuführen.The communication device can be configured with respect to the software and hardware used to perform a real-time translation.

Die Kommunikationsvorrichtung kann so ausgeführt sein, dass die erste Einzel-Sprache und/oder die weitere Einzel-Sprache von den jeweiligen Fahrzeuginsassen mittels einer Spracheingabe oder einer Tasteneingabe vorgebbar ist. Eine weitere Möglichkeit ist die automatische Erkennung der jeweiligen Einzel-Sprachen anhand hinterlegter Kennwörter und ein Start der Übersetzung auf ein Sprachkommando oder ein Tastenkommando.The communication device can be designed in such a way that the first individual language and/or the further individual language can be specified by the respective vehicle occupants by means of a voice input or a key input. Another possibility is the automatic recognition of the respective individual languages based on stored passwords and starting the translation on a voice command or a key command.

Bei einer Ausführung der Kommunikationsvorrichtung kann auch eine Ausgabe in mehreren Sprachen möglich sein, z. B. wenn mehr als zwei Insassen mit verschiedenen Einzel-Sprachen in dem Fahrzeug miteinander mittels der Kommunikationsvorrichtung kommunizieren. Die Sprachausgabe kann dann z. B. parallel akustisch über ein entsprechendes Audiosystem mit Richtcharakteristik ausgegeben werden oder aber parallel auf Kopfhörer. Denkbar ist auch eine sequentielle Sprachausgabe, wobei die gewünschte Reihenfolge und Priorisierung einstellbar bzw. personalisierbar sein kann.When implementing the communication device, it may also be possible to output in several languages, e.g. if more than two passengers in the vehicle with different individual languages communicate with each other using the communication device. The voice output can then, for example, be output acoustically in parallel via a corresponding audio system with directional characteristics or in parallel via headphones. Sequential voice output is also conceivable, whereby the desired order and prioritization can be set or personalized.

In einer weiteren Variante kann es vorgesehen sein, dass als weitere Einzel-Sprache die erste Einzel-Sprache wählbar ist und die Sprachgeneriereinheit ohne Aktivierung des Übersetzungsmoduls die Sprachausgabe in der ersten Einzel-Sprache in einer von der Sprachgeneriereinheit generierten menschlichen Stimme erzeugt. In anderen Worten wären hier die Eingabe-Sprache und Ausgabe-Sprache gleich, womit lediglich eine Konvertierung einer realen menschlichen Stimme in eine Computerstimme erfolgt.In a further variant, it can be provided that the first individual language can be selected as a further individual language and the speech generation unit generates the speech output in the first individual language in a human voice generated by the speech generation unit without activating the translation module. In other words, the input language and output language would be the same, which would simply convert a real human voice into a computer voice.

Ein Anwendungsfall könnte beispielsweise sein, wenn ein für einen Fahrer nicht sichtbarer Insasse seine Identität bei der Kommunikation mit dem Fahrer verbergen möchte.One use case could be, for example, if an occupant who is not visible to a driver wants to conceal his or her identity when communicating with the driver.

Bei abgetrennten Fahrgasträumen gibt es in einigen Ländern eine gesetzliche Pflicht, dass die Kommunikation zwischen Fahrerkabine und Fahrgastraum gewährleistet sein muss. Hierzu müssen in der Praxis häufig Luken und/oder Klappen eingebaut werden. Unabhängig von der Nutzung des Übersetzungsmoduls erfüllt die vorgeschlagene Kommunikationseinrichtung das Erfordernis der Kommunikationsmöglichkeit mit dem Fahrer dann auch bei gleicher verwendeter Einzel-Sprache.In some countries, there is a legal requirement for separate passenger compartments to ensure communication between the driver's cab and the passenger compartment. In practice, this often requires the installation of hatches and/or flaps. Regardless of the use of the translation module, the proposed communication device meets the requirement of being able to communicate with the driver even if the same language is used.

Bei einer Ausführung kann die Kommunikationsvorrichtung mittels eines sprachgesteuerten, internetbasierten, intelligenten persönlichen Assistenten-Systems betreibbarsein. Derartige intelligente persönliche Assistenten, auch als „Sprachassistent“ oder „mobiler Assistent“ bezeichnet, sind als angewandte Technologie aus Bereichen der Künstlichen Intelligenz in der Praxis z. B. unter dem Handelsnamen „Alexa"© bekannt und ermöglichen mittels Kommunikation in natürlicher, menschlicher Sprache Informationen abzufragen, Dialoge zu führen und Assistenzdienste zu erbringen, indem sie zur Spracherkennung eine Sprachanalyse vollziehen, diese semantisch interpretieren, logisch verarbeiten und durch Sprachsynthese eine Antwort formulieren. Bekannte Systeme mit intelligenten persönlichen Assistenten funktionieren meist als Applikation auf einem Betriebssystem oder sind in dieses integriert. Zur Nutzung wird somit der Internetzugriff auf einen externen Server erforderlich.In one embodiment, the communication device can be operated by means of a voice-controlled, Internet-based, intelligent personal assistant system. Such intelligent personal assistants, also referred to as "voice assistants" or "mobile assistants", are known in practice as applied technology from the fields of artificial intelligence, e.g. under the trade name "Alexa"©, and enable information to be retrieved, dialogues to be conducted and assistance services to be provided by means of communication in natural, human language by performing a speech analysis for speech recognition, interpreting this semantically, processing it logically and formulating an answer through speech synthesis. Known systems with intelligent personal assistants usually function as an application on an operating system or are integrated into it. Internet access to an external server is therefore required for use.

Bei einer weiteren Ausführung der Erfindung kann die Kommunikationsvorrichtung mittels eines Bordcomputers ohne Zugriff auf einen fahrzeugexternen Server betreibbar sein.In a further embodiment of the invention, the communication device can be operated by means of an on-board computer without access to a server external to the vehicle.

Die Realisierung ohne externen Server mittels Verwendung des Bordcomputers, z. B. eines SBC (Single Board Computer), hat unter anderem den Vorteil, dass hier bereits vordefinierte Algorithmen zur Sprache-Text und Text-Sprache-Konvertierung sowie der Kommando-Interpretation kombiniert werden können.Implementation without an external server by using the on-board computer, e.g. an SBC (Single Board Computer), has the advantage, among other things, that predefined algorithms for speech-to-text and text-to-speech conversion as well as command interpretation can be combined.

Ein auf der Spracheingabe basierendes Übersetzungsprotokoll kann dabei ganz oder teilweise gespeichert werden. Dies ermöglicht es zum Beispiel einem Fahrer, sich eine von dem weiteren Fahrzeuginsassen genannte Information wie z. B. eine Ziel-Adresse oder andere Anweisungen bei Bedarf noch einmal anzuhören bzw. anzusehen.A translation protocol based on the voice input can be saved in whole or in part. This enables a driver, for example, to listen to or view information given by another vehicle occupant, such as a destination address or other instructions, again if necessary.

In einer weiteren Ausgestaltung der Kommunikationsvorrichtung können auch Funktionen innerhalb und außerhalb des Fahrzeuges mit Sprachsteuerung und ggf. automatischer Übersetzung gesteuert werden.In a further embodiment of the communication device, functions inside and outside the vehicle can also be controlled using voice control and, if necessary, automatic translation.

Hierzu kann die Kommunikationsvorrichtung ein Modul zur sprachgesteuerten Betätigung eines fahrzeuginternen oder fahrzeugexternen Systems aus wenigstens einem der Bereiche Fahrassistenz, Fahrzeugausstattung, Information, Navigation, Telekommunikation, Unterhaltung und E-Commerce einschließlich Shopping, Ticket-Buchung, Restaurant-/Hotelbuchung aufweisen.For this purpose, the communication device can have a module for voice-controlled operation of an internal or external vehicle system from at least one of the areas of driver assistance, vehicle equipment, information, navigation, telecommunications, entertainment and e-commerce including shopping, ticket booking, restaurant/hotel booking.

Des Weiteren kann die Kommunikationsvorrichtung dazu konfiguriert sein, die Sprachausgabe in Abhängigkeit von Daten, welche eine Fahrsituation und/oder eine Fahrzeugumgebungssituation und/oder eine Fahrzeuginnenraumsituation repräsentieren, zu generieren.Furthermore, the communication device can be configured to generate the voice output depending on data representing a driving situation and/or a vehicle environment situation and/or a vehicle interior situation.

Über Sensoren und Kameras innerhalb und außerhalb des Fahrzeugs sowie verfügbare Fahrzeugdaten lassen sich unterschiedlichste Situationen z. B. zum Fahrzustand oder zum Zustand der Fahrzeuginsassen ermitteln. Die Software der Kommunikationseinrichtung kann die Sprachausgabe z. B. bei einer erkannten Gefahrensituation mit einem Warnhinweis ändern. Ebenso kann die Kommunikationseinrichtung die Sprachausgabe je nach erkannter Situation mit anderen Hinweisen wie z. B: einer kurz bevorstehenden Schließungszeit eines als Adresse eingegebenen Geschäftes, einem Hinweis zur nicht ausreichenden Fahrzeit bis zur Beendigung eines gewählten Entertainment-Programms etc. anreichern.Using sensors and cameras inside and outside the vehicle as well as available vehicle data, a wide variety of situations can be determined, such as the driving state or the condition of the vehicle occupants. The software from Kom The communication device can, for example, change the voice output to include a warning if a dangerous situation is detected. The communication device can also enhance the voice output with other information depending on the detected situation, such as an imminent closing time for a shop entered as an address, a note about insufficient travel time until the end of a selected entertainment program, etc.

Die Erfindung, welche in erster Linie die Kommunikation zwischen Personen im Fahrzeug von der gesprochenen Sprache unabhängig macht und weitere Sprachsteuerungs- und Sprachdialogfunktionen erlaubt, ist nicht auf die angegebene Kombination der Merkmale der Ansprüche beschränkt. Es ergeben sich darüber hinaus Möglichkeiten, einzelne Merkmale, auch soweit sie aus den Ansprüchen, der nachfolgenden Beschreibung von Ausführungsformen oder unmittelbar aus der Zeichnung hervorgehen, miteinander zu kombinieren. Die Bezugnahme der Ansprüche auf die Zeichnung durch Verwendung von Bezugszeichen soll den Schutzumfang der Ansprüche nicht beschränken.The invention, which primarily makes communication between people in the vehicle independent of spoken language and allows further voice control and voice dialogue functions, is not limited to the specified combination of features in the claims. There are also possibilities to combine individual features with one another, even if they emerge from the claims, the following description of embodiments or directly from the drawing. The reference of the claims to the drawing by using reference symbols is not intended to limit the scope of protection of the claims.

Die hier offenbarte Technologie wird nun anhand der Figur der Zeichnung näher erläutert, wobei die Zeichnung wie auch die nachfolgende Beschreibung nur zu illustrativen Zwecken und nicht zum Zwecke der Beschränkung der Erfindung dienen.The technology disclosed here will now be explained in more detail with reference to the figure of the drawing, wherein the drawing as well as the following description serve only for illustrative purposes and not for the purpose of limiting the invention.

Die einzige mit 1 bezeichnete Figur der Zeichnung zeigt eine stark vereinfachte dreidimensionale Darstellung eines Kraftfahrzeuges mit einer hierin integrierten Kommunikationsvorrichtung, von der einige Komponenten symbolisch angedeutet sind.The only one with 1 The figure in the drawing shows a highly simplified three-dimensional representation of a motor vehicle with a communication device integrated therein, some components of which are symbolically indicated.

Wie in der 1 ersichtlich ist, ist ein Fahrzeug 1, das hier als ein Personenkraftwagen ausgebildet ist, mit einer in einen Bordcomputer 4 des Fahrzeugs 1 integrierten Kommunikationsvorrichtung 2 ausgestattet.Like in the 1 As can be seen, a vehicle 1, which is designed here as a passenger car, is equipped with a communication device 2 integrated into an on-board computer 4 of the vehicle 1.

Die Kommunikationsvorrichtung 2 ist entsprechend bekannter Sprachdialogsysteme, welche zur Erzeugung von Sprachausgaben als Reaktion auf eine Spracheingabe in einem Fahrzeug dienen, mit einer Spracheingabeeinrichtung 3 ausgeführt. Die Spracheingabeeinrichtung 3 umfasst ein Mikrofon 5 zur Erfassung einer Spracheingabe, d. h. sprachlicher Daten, wenigstens eines von zwei im Ausführungsbeispiel dargestellten Insassen P1, P2.The communication device 2 is designed with a voice input device 3 in accordance with known speech dialogue systems which are used to generate voice outputs in response to a voice input in a vehicle. The voice input device 3 comprises a microphone 5 for detecting a voice input, i.e. linguistic data, of at least one of two occupants P1, P2 shown in the exemplary embodiment.

Die Spracheingabeeinrichtung 3 gibt die sprachlichen Daten an eine Sprachverarbeitungseinrichtung 6 mit einer Sprachauswerteeinheit 7 aus, in der eine aufgenommene sprachliche Äußerung der Insassen P1, P2 in ein Textformat überführt und über eine entsprechende Texterkennung erkannt und hinsichtlich des Inhalts ausgewertet wird.The speech input device 3 outputs the linguistic data to a speech processing device 6 with a speech evaluation unit 7, in which a recorded linguistic utterance of the occupants P1, P2 is converted into a text format and recognized via a corresponding text recognition and evaluated with regard to its content.

Dabei kann zur Aktivierung der Kommunikationsvorrichtung und der Spracheingabe ein Codewort vorgesehen sein, wie z. B. „Hey Translator“, oder das Betätigen einer Taste. Die Sprachauswerteeinheit 7 erkennt mittels hinterlegter Kennwörter den semantischen Inhalt der erfassten Spracheingabe, wobei ein Modul 10 der Sprachauswerteeinheit 7 zur Erkennung einer ersten Einzel-Sprache L1 vorgesehen ist. Bei der gezeigten Ausführung wird beispielsweise Deutsch als Einzel-Sprache L1 des hier als Fahrer fungierenden ersten Insassen P1 erkannt. In Abhängigkeit des Analyseergebnisses der Sprachauswerteeinheit 7 wird in einer Sprachgeneriereinheit 8 eine entsprechende Sprachausgabe erzeugt. Mittels eines Übersetzungsmoduls 11 in der Sprachgeneriereinheit 8 wird die Sprachausgabe in einer gewünschten zweiten Einzel-Sprache L2, hier in Englisch als der von dem zweiten Insassen P2 gewählten Sprache, übersetzt. Die Sprachausgabe selbst erfolgt hier akustisch über eine fahrzeugfeste Lautsprechereinrichtung 12 und zusätzlich in Textform auf einer Anzeigeeinrichtung 13.A code word, such as "Hey Translator", or pressing a button can be provided to activate the communication device and the voice input. The voice evaluation unit 7 uses stored passwords to recognize the semantic content of the recorded voice input, with a module 10 of the voice evaluation unit 7 being provided to recognize a first individual language L1. In the embodiment shown, for example, German is recognized as the individual language L1 of the first occupant P1, who is acting as the driver here. Depending on the analysis result of the voice evaluation unit 7, a corresponding voice output is generated in a voice generation unit 8. Using a translation module 11 in the voice generation unit 8, the voice output is translated into a desired second individual language L2, here English as the language selected by the second occupant P2. The voice output itself is acoustically via a vehicle-mounted loudspeaker device 12 and additionally in text form on a display device 13.

Im vorliegenden Fall erfolgt die Kommunikation über die Kommunikationsvorrichtung 2 als Echtzeit-Übersetzung ohne Zugriff auf einen fahrzeugexternen Server.In the present case, communication takes place via the communication device 2 as a real-time translation without access to a server external to the vehicle.

In einer anderen Variante kann die Spracheingabe via Internet 14 an einen Server 19 außerhalb des Fahrzeugs 1 gesendet und dort übersetzt werden, wonach die Übersetzung zur Ausgabe in das Fahrzeug 1 zurückübertragen und dort ausgegeben wird. Hierbei kann ein auf dem externen Server 19 installiertes sprachgesteuertes, intelligentes persönliches Assistenten-System 15 genutzt werden.In another variant, the voice input can be sent via the Internet 14 to a server 19 outside the vehicle 1 and translated there, after which the translation is transmitted back to the vehicle 1 for output and output there. A voice-controlled, intelligent personal assistant system 15 installed on the external server 19 can be used here.

Vorliegend ist die Kommunikationsvorrichtung 2 mit einem Modul 16 zur sprachgesteuerten Betätigung wenigstens eines fahrzeuginternen oder fahrzeugexternen Systems 18 mit Funktionalitäten aus den Bereichen Fahrassistenz, Fahrzeugausstattung, Information, Navigation, Telekommunikation, Unterhaltung und E-Commerce ausgebildet. Es ist mithin nicht nur eine Echtzeit-Übersetzung der Kommunikation zwischen den Insassen P1, P2 möglich, sondern auch eine Sprachsteuerung von unterschiedlichsten Funktionalitäten, beginnend von der Lautstärkeregelung eines Unterhaltungssystems oder der Steuerung einer Ambiente-Beleuchtung bis zur Abfrage des aktuellen Wetterberichts oder Befehle zur Beeinflussung des Fahrzustands in einer beliebigen Einzel-Sprache.In the present case, the communication device 2 is designed with a module 16 for voice-controlled operation of at least one vehicle-internal or vehicle-external system 18 with functionalities from the areas of driver assistance, vehicle equipment, information, navigation, telecommunications, entertainment and e-commerce. This means that not only is real-time translation of the communication between the occupants P1, P2 possible, but also voice control of a wide variety of functionalities, starting from the volume control of an entertainment system or the control of ambient lighting to querying the current weather report or commands to influence the driving state in any individual language.

Bei der gezeigten Ausführung ist die Kommunikationsvorrichtung 2 weiterhin dazu konfiguriert, die Sprachausgabe in Abhängigkeit von Daten 17 zu generieren bzw. zu ändern oder anzureichern, welche eine Fahrsituation beispielsweise mittels Geschwindigkeitsdaten, Motor- und Getriebedaten wiedergeben, eine Fahrzeugumgebungssituation wie z. B. ein Kollisionsobjekt oder eine Fahrzeuginnenraumsituation wie z. B. eine mittels visueller Pupillenüberwachung erkannte Ablenkung des Fahrers P1 repräsentieren.In the embodiment shown, the communication device 2 is further configured to to generate, change or enrich the voice output depending on data 17 which represents a driving situation, for example by means of speed data, engine and transmission data, a vehicle environment situation such as a collision object or a vehicle interior situation such as a distraction of the driver P1 detected by means of visual pupil monitoring.

BezugszeichenReference symbols

11: Fahrzeugvehicle
22: KommunikationsvorrichtungCommunication device
33: SpracheingabeeinrichtungVoice input facility
44: BordcomputerOn-board computer
55: Mikrofonmicrophone
66: SprachverarbeitungseinrichtungSpeech processing device
77: SprachauswerteeinheitSpeech evaluation unit
88th: SprachgeneriereinheitSpeech generation unit
99: SprachausgabeeinrichtungSpeech output device
1010: Modul zur Erkennung einer Einzel-SpracheSingle language recognition module
1111: ÜbersetzungsmodulTranslation module
1212: LautsprechereinrichtungSpeaker setup
1313: AnzeigeeinrichtungDisplay device
1414: InternetInternet
1515: intelligentes persönliches Assistenten-Systemintelligent personal assistant system
1616: Modul zur sprachgesteuerten Betätigung von SystemenModule for voice-controlled operation of systems
1717: DatenData
1818: Systemsystem
1919: Serverserver
L1L1: erste Einzel-Sprachefirst single language
L2L2: zweite Einzel-Sprachesecond individual language
P1P1: erster Fahrzeuginsasse, Fahrerfirst vehicle occupant, driver
P2P2: zweiter Fahrzeuginsassesecond vehicle occupant

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 2051241 A1 [0003]

Claims

Communication device (2) which is designed for integration into a vehicle (1), with - a voice input device (3) for detecting a voice input from at least one occupant (P1, P2), - a voice processing device (6) with a voice evaluation unit (7) which is designed to analyze a detected voice input by means of stored passwords, and with a voice generation unit (8) which generates a voice output depending on the analysis result of the voice evaluation unit (7), and - a voice output device (9) for reproducing the voice output, characterized in that the voice evaluation unit (7) has a module (10) for recognizing a first individual language (L1) and the voice generation unit (8) has a translation module (11) for generating the voice output in at least one further individual language (L2).

Communication device (2) according to Claim 1 , characterized in that the voice output device (9) outputs the reproduction of the voice output by means of a loudspeaker device (12) and/or in text form on a display device (13).

Communication device (2) according to Claim 1 or 2 , characterized in that the first individual language (L1) and/or the further individual language (L2) can be specified by means of a voice input or key input.

Communication device (2) according to one of the Claims 1 until 3 , characterized in that it is configured to output the speech output in several individual languages (L1, L2) in parallel or sequentially, wherein in the case of sequential speech output with several individual languages (L1, L2) an order and prioritization can preferably be set.

Communication device (2) according to one of the Claims 1 until 4 , characterized in that it is configured to perform a real-time translation.

Communication device (2) according to one of the Claims 1 until 4 , characterized in that the first individual language (L1) can be selected as a further individual language and the speech generation unit (8) produces the speech output in the first individual language (L1) in a human voice generated by the speech generation unit (8) without activation of the translation module (11).

Communication device (2) according to one of the Claims 1 until 6 , characterized in that it can be operated by means of an on-board computer (4) without access to a server external to the vehicle.

Communication device (2) according to one of the Claims 1 until 7 , characterized in that it can be operated by means of a voice-controlled, Internet-based, intelligent personal assistant system (15).

Communication device (2) according to one of the Claims 1 until 8th , characterized in that it comprises a module (16) for voice-controlled operation of at least one vehicle-internal or vehicle-external system (18) from at least one of the areas of driver assistance, vehicle equipment, information, navigation, telecommunications, entertainment and e-commerce.

Communication device (2) according to one of the Claims 1 until 9 , characterized in that it is configured to generate the voice output as a function of data (17) which represent a driving situation and/or a vehicle environment situation and/or a vehicle interior situation.

Vehicle (1), in particular passenger car, equipped with a communication device (2) according to one of the Claims 1 until 10 .