DE102019208742A1 - Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer sowie Übersetzungsverfahren für ein derartiges Sprachübersetzungssystem - Google Patents

Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer sowie Übersetzungsverfahren für ein derartiges Sprachübersetzungssystem Download PDF

Info

Publication number
DE102019208742A1
DE102019208742A1 DE102019208742.6A DE102019208742A DE102019208742A1 DE 102019208742 A1 DE102019208742 A1 DE 102019208742A1 DE 102019208742 A DE102019208742 A DE 102019208742A DE 102019208742 A1 DE102019208742 A1 DE 102019208742A1
Authority
DE
Germany
Prior art keywords
speaker
translation
speech
output signal
language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102019208742.6A
Other languages
English (en)
Other versions
DE102019208742B4 (de
Inventor
Franz Lankes
Valeri Beck
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102019208742.6A priority Critical patent/DE102019208742B4/de
Publication of DE102019208742A1 publication Critical patent/DE102019208742A1/de
Application granted granted Critical
Publication of DE102019208742B4 publication Critical patent/DE102019208742B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6075Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/58Details of telephonic subscriber devices including a multilanguage function
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)

Abstract

Die Erfindung betrifft ein Sprachübersetzungssystem (10) zum Bereitstellen einer Übersetzung eines Spracheingabesignals (42) eines Sprechers (12) in ein anderssprachiges Sprachausgabesignal (44) für einen Hörer (14). Außerdem betrifft die Erfindung ein Kraftfahrzeug (15) mit Komponenten eines derartigen Sprachübersetzungssystems (10) sowie ein Übersetzungsverfahren zum Betreiben eines derartigen Sprachübersetzungssystems (10). Das Sprachübersetzungssystem (10) ist derart ausgestaltet, dass während noch mittels einer Sprechermikrofoneinrichtung (20) des Sprachübersetzungssystems (10) ein akustisches Signal (40) des Sprechers (12) erfasst wird, bereits mittels einer Hörerlautsprechereinrichtung (26) für den Hörer (14) eine Ausgabe des übersetzten anderssprachigen Sprachausgabesignals (44), das aus dem umgewandelten akustischen Signal (40) des Sprechers (12) bestimmt wurde, beginnt. Das ausgegebene Sprachausgabesignal (44) wird hierbei von der Sprechermikrofoneinrichtung (20) mit einem Schallpegel erfasst, der unter einem vorgegebenen Maximalschalldruckpegel liegt.

Description

  • Die Erfindung betrifft ein Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer. Außerdem betrifft die Erfindung ein Übersetzungsverfahren zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer mittels eines derartigen Sprachübersetzungssystems. Die Erfindung betrifft zudem ein Kraftfahrzeug mit einer Mikrofoneinrichtung und einer Lautsprechereinrichtung, die von einem derartigen Sprachübersetzungssystem umfasst werden.
  • Falls zwei Personen, die miteinander sprechen möchten, unterschiedliche Sprachen sprechen, kann ein gegenseitiges Verstehen dieser beiden Personen mithilfe eines Sprachübersetzungssystems erleichtert werden. Spricht beispielsweise eine erste Person der beiden Personen nur deutsch und die zweite Person der beiden Personen versteht nur englisch, kann mithilfe eines herkömmlichen Sprachübersetzungssystems ein Spracheingabesignal der ersten Person als Sprecher in ein entsprechendes anderssprachiges Sprachausgabesignal für die zweite Person als Hörer übersetzt und der zweiten Person bereitgestellt werden.
  • Im Zusammenhang mit gleichzeitig erfolgenden Übersetzungen, das heißt mit sogenannten Simultanübersetzungen, ist in der DE 100 64 927 A1 eine transportable Simultanübersetzungsvorrichtung zum Übersetzen von Sprache beschrieben. Diese Simultanübersetzungsvorrichtung besteht aus einer Kombination von einem tragbaren Telefon und einem tragbaren Computer und insbesondere einem Kehlkopfmikrofon und Ohrhörer. Hierbei wird von dem Telefon eine Spracheingabe aufgenommen und an den tragbaren Computer übertragen, auf dem ein Übersetzungsprogramm installiert ist.
  • Zudem zeigt die DE 41 17 485 C1 eine Vorrichtung zur Verarbeitung akustischer Echtzeitinformationen durch einen Dolmetscher. Hierbei werden zu verarbeitende akustische Echtzeitinformationen empfangen, wobei ein Mittel zur Zeitversetzung der empfangenen akustischen Informationen gegenüber tatsächlichen akustischen Echtzeitinformationen aktivierbar ist.
  • Es ist die Aufgabe der Erfindung, eine Lösung bereitzustellen, mittels derer ein automatisch übersetztes Sprachausgabesignal für einen Hörer ausgegeben werden kann, das sowohl von einem Sprecher als auch vom Hörer als besonders angenehm empfunden wird.
  • Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nichttrivialen Weiterbildungen der Erfindung werden in den abhängigen Ansprüchen, der folgenden Beschreibung und den Figuren angegeben.
  • Das erfindungsgemäße Sprachübersetzungssystem dient zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer. Spricht beispielsweise eine erste Person als Sprecher nur deutsch und eine zweite Person als Hörer versteht nur englisch, kann mithilfe des Sprachübersetzungssystems eine englischsprachige Übersetzung eines auf Deutsch gesprochenen Gesprächsteils der ersten Person für die zweite Person bereitgestellt werden. Das derartige Sprachübersetzungssystem umfasst eine Sprechermikrofoneinrichtung, eine Sprecherlautsprechereinrichtung, eine Hörerlautsprechereinrichtung und eine Übersetzungseinrichtung, das heißt jeweils eine Lautsprechereinrichtung für den Sprecher und den Hörer. Die Sprechermikrofoneinrichtung ist dazu ausgebildet, ein akustisches Signal des Sprechers zu erfassen. Mit anderen Worten ist die Sprechermikrofoneinrichtung dazu ausgebildet eine Audioaufnahme der ersten Person aufzunehmen, die in diesem Beispiel in deutscher Sprache aufgenommen wird. Das Sprachübersetzungssystem ist dazu ausgebildet, das erfasste akustische Signal an die Übersetzungseinrichtung des Sprachübersetzungssystems zu übermitteln. Die Übersetzungseinrichtung ist wiederum dazu ausgebildet, das Spracheingabesignal des Sprechers aus dem übermittelten akustischen Signal unter Anwendung eines Spracherkennungskriteriums zu erzeugen. Dieses Spracherkennungskriterium umfasst Vorschriften und Erkennungsmerkmale mithilfe derer beispielsweise erkannt wird, dass das erfasste akustische Signal ein deutschsprachiges Audiosignal ist, und mithilfe derer das deutschsprachige Audiosignal der ersten Person in ein deutsches Textsignal umgewandelt werden kann. Bei dem unter Anwendung des Spracherkennungskriteriums erzeugten Spracheingabesignal handelt es sich also beispielsweise um ein mit dem erfassten akustischen Signal korreliertes Textsignal.
  • Die Übersetzungseinrichtung ist außerdem dazu ausgebildet, das erzeugte Spracheingabesignal in das anderssprachige Sprachausgabesignal unter Anwendung eines Sprachübersetzungskriteriums zu übersetzen. Die Übersetzungseinrichtung ist also dazu ausgebildet, das deutschsprachige Textsignal in ein englischsprachiges Textsignal zu übersetzen und dieses übersetzte Textsignal in Form eines englischsprachigen Audiosignals, das hier als Sprachausgabesignal bezeichnet wird, bereitzustellen. Das Sprachübersetzungskriterium umfasst also beispielsweise Übersetzungsvorschriften und/oder Aussprachevorschriften für die entsprechenden Sprachen zwischen denen übersetzt wird. Die Hörerlautsprechereinrichtung ist schließlich dazu ausgebildet, das übersetzte anderssprachige Sprachausgabesignal auszugeben, das heißt in diesem Beispiel eine englischsprachige Audiowiedergabe des erzeugten Sprachausgabesignals für die zweite Person durchzuführen.
  • Der Erfindung liegt die Erkenntnis zugrunde, dass üblicherweise zunächst das akustische Signal des Sprechers vollständig aufgenommen wird. Ein Ende des akustischen Signals wird dabei beispielsweise an einer eine vorgegebene Mindestzeitdauer von beispielsweise drei Sekunden andauernde Sprechpause des Sprechers oder einer manuellen Betätigung eines Betätigungselements, wie beispielsweise einem Knopf auf einem berührungssensitiven Bildschirm eines Geräts der ersten Person, signalisiert. Erst wenn ein solches oder andersartig gewähltes Beendigungssignal erfasst wird, endet die Erfassung des akustischen Signals des Sprechers und die weiteren beschriebenen Schritte, umfassend die Übersetzung und das Bereitstellung des übersetzten anderssprachigen Sprachausgabesignals für den Hörer, werden durchgeführt. Die einzelnen Schritte, die von einem derartigen Sprachübersetzungssystem durchgeführt werden, erfolgen also typischerweise nacheinander und somit sequentiell. Eine Erfassung des akustischen Signals sowie die Ausgabe des entsprechenden übersetzten anderssprachigen Sprachausgabesignals können nämlich nicht gleichzeitig erfolgen, da dann üblicherweise die Erfassung des akustischen Signals mit der Ausgabe des übersetzten anderssprachigen Sprachausgabesignals interferiert. Der Grund hierfür ist, dass in der Regel sowohl für den Sprecher als auch für den Hörer hörbar das übersetzte anderssprachige Sprachausgabesignal ausgegeben wird, sodass sich bei einer gleichzeitigen Erfassung des akustischen Signals des Sprechers und einer Sprachausgabesignalausgabe diese beiden Signale überlagern und ein entsprechender unverständlicher Signalmix von der Sprechermikrofoneinrichtung erfasst wird. Aufgrund des daher erforderlichen sequentiellen Durchführens der einzelnen Schritte wird jedoch letztendlich der Dialog zwischen den beiden Personen, das heißt zwischen Sprecher und Hörer, durch Übersetzungspausen zeitlich in die Länge gezogen und das Gespräch zwischen den beiden Person immer wieder unterbrochen. Ein derartig automatisch übersetztes und für den Hörer ausgegebenes Sprachausgabesignal wird sowohl vom Sprecher als auch vom Hörer als wenig angenehm empfunden.
  • Das erfindungsgemäße Sprachübersetzungssystem ist daher derart ausgestaltet, dass während noch mittels der Sprechermikrofoneinrichtung das akustische Signal erfasst wird, bereits mittels der Hörerlautsprechereinrichtung die Ausgabe des übersetzten anderssprachigen Sprachausgabesignals beginnt, wobei Maßnahmen getroffen sind, sodass das ausgegebene Sprachausgabesignal von der Sprechermikrofoneinrichtung mit einem Schalldruckpegel erfasst wird, der unter einem vorgegebenen Maximalschalldruckpegel liegt. Es ist also mit dem erfindungsgemäßen Sprachübersetzungssystem möglich, dass die Erfassung des akustischen Signals des Sprechers und die Ausgabe des übersetzten anderssprachigen Sprachausgabesignals für den Hörer parallelisiert erfolgt. Eine Differenz zwischen dem aufgenommenen akustischen Signal und dem ausgegebenen übersetzten anderssprachigen Sprachausgabesignal wird hierbei vermieden, indem das Sprachübersetzungssystem derart ausgestaltet ist, dass das ausgegebene Sprachausgabesignal von der Sprechermikrofoneinrichtung höchstens mit einem Schalldruckpegel erfasst wird, der unter dem vorgegebenen Maximalschalldruckpegel liegt. Der Maximalschalldruckpegel wird dabei derart gewählt, dass ein typischer Schalldruckpegel des akustische Signal des Sprechers eindeutig vom Schalldruckpegel des ausgegebenen Sprachausgabesignals differenzierbar ist, und zwar anhand des jeweiligen Schalldruckpegelbereichs, in dem der jeweilige Schalldruckpegel liegt. Das Sprachübersetzungssystem ist also derart ausgebildet, dass der Schalldruckpegelbereich des akustischen Signals des Sprechers stets für die Sprechermikrofoneinrichtung in einem anderen Schalldruckpegelbereich liegt als das ausgegebene Sprachausgabesignal. Dies ist zum Beispiel dann möglich, wenn beispielsweise das akustische Signal, das erfasst wird, in einem Schalldruckpegelbereich zwischen beispielsweise 40 bis 80 Dezibel liegt, die Sprechermikrofoneinrichtung das im gleichen Schalldruckpegelbereich von der Hörerlautsprechereinrichtung ausgegebene Sprachausgabesignal jedoch nur mit einem deutlich niedrigeren Schalldruckpegel erfassen kann, der beispielsweise bei unter 30 Dezibel liegt. Dies wird mittels der getroffenen Maßnahmen erreicht. Diese getroffenen Maßnahmen umfassen zum Beispiel, dass eine Hörerlautsprechereinrichtung realisiert ist, die örtlich getrennt von der Sprecherlautsprechereinrichtung ausgebildet ist. Das übersetzte anderssprachige Sprachausgabesignal wird also, wenn es an der Hörerlautsprechereinrichtung ausgegeben wird, nicht an der Sprecherlautsprechereinrichtung ausgegeben. Es werden also zwei getrennte Lautsprecher für den Sprecher und den Hörer verwendet, die beispielsweise jeweils als Kopfhörer ausgebildet sind. Hierdurch wird erreicht, dass die Sprechermikrofoneinrichtung nur akustische Signale in einem sehr niedrigen Schalldruckpegelbereich von beispielsweise unter 10 Dezibel von der Hörerlautsprechereinrichtung erfasst und diese Signale eindeutig vom akustischen Signal des Sprechers unterscheiden und folglich beim Bereitstellen des übersetzten Sprachausgabesignals unberücksichtigt lassen kann. Als getroffene Maßnahmen wird zum Beispiel eine bestimmte Anordnung der einzelnen Komponenten des Sprachübersetzungssystem relativ zueinander oder eine bestimmte Wahl der einzelnen Komponenten verstanden, sodass insgesamt erreicht ist, dass das ausgegebene Sprachausgabesignal von der Sprechermikrofoneinrichtung mit einem Schalldruckpegel erfasst wird, der unter dem vorgegebenen Maximalschalldruckpegel liegt.
  • Das erfindungsgemäße Sprachübersetzungssystem hat den Vorteil, dass während eines Gesprächs zwischen dem Sprecher und dem Hörer keine unnötig langen Wartepausen entstehen, während derer die Übersetzung des Spracheingabesignals des Sprechers in das entsprechende anderssprachige Sprachausgabesignal für den Hörer umgewandelt wird und zunächst für den Sprecher und den Hörer ausgegeben wird. Vielmehr ist es möglich, dass bereits während noch mittels der Sprechermikrofoneinrichtung das akustische Signal erfasst wird, bereits mit den weiteren Übersetzungsschritten begonnen wird, sodass in etwa zeitgleich mittels der Hörerlautsprechereinrichtung das übersetzte anderssprachige Sprachausgabesignal ausgegeben werden kann, ohne dass dadurch eine Überlagerung mit dem akustischen Signal des Sprechers oder ein Irritieren des Sprechers durch das ebenfalls gehörte übersetzte anderssprachige Sprachausgabesignal auftritt. Es wird also ein parallelisiert arbeitendes Sprachübersetzungssystem bereitgestellt, mittels dessen beinahe in Echtzeit ein automatisch übersetztes Sprachausgabesignal für einen Hörer ausgegeben werden kann. Ein derartig automatisch übersetztes und für den Hörer ausgegebenes Sprachausgabesignal wird sowohl vom Sprecher als auch vom Hörer als besonders angenehm empfunden, insbesondere im Vergleich mit einem entsprechenden Sprachausgabesignal, das mittels eines herkömmlichen Sprachübersetzungssystems ausgegeben wird.
  • Es kann außerdem vorgesehen sein, dass das Sprachübersetzungssystem eine Hörermikrofoneinrichtung umfasst, sodass der bisherige Hörer jederzeit und sogar beispielsweise gleichzeitig mit dem bisherigen Sprecher ebenfalls als Sprecher wirken kann. Mittels der Hörermikrofoneinrichtung können akustische Signale dieses bisherigen Hörers als neuer Sprecher erfasste und für den bisherigen Sprecher als neuen Hörer mittels eines analogen Vorgehen zu den oben beschriebenen Schritten übersetzt und mittels der Sprecherlautsprechereinrichtung für den neuen Hörer bereitgestellt werden. Bevorzugt weist das Sprachübersetzungssystem also für beide Personen eine jeweilige Mikrofoneinrichtung und eine jeweilige Lautsprechereinrichtung auf, die jeweils zum Beispiel als eigenständige Geräte ausgestaltet sind. Alternativ dazu kann für jede der zwei Personen ein kombiniertes Gerät vorgesehen sein, das jeweils sowohl eine Mikrofoneinrichtung als auch eine Lautsprechereinrichtung umfasst. Ein derartiges kombiniertes Gerät kann beispielsweise als Kopfhörer mit integriertem Mikrofon, zum Beispiel als kabelloser Bluetooth Kopfhörer, oder als Kopfsprechhörer, das heißt als sogenanntes Headset, ausgebildet sein.
  • Zu der Erfindung gehören auch Ausgestaltungsformen, durch die sich zusätzliche Vorteile ergeben.
  • In einer vorteilhaften Ausgestaltungsform der Erfindung ist es vorgesehen, dass die Übersetzungseinrichtung dazu ausgebildet ist, das erfolgte Spracheingabesignal unter Anwendung eines Einteilungskriteriums zum Erkennen von mehreren zeitlich nacheinanderfolgenden Subeinheiten des Spracheingabesignals auszuwerten. Die Übersetzungseinrichtung ist also dazu ausgestaltet, in dem Spracheingabesignal einzelne Abschnitte der Audioeingabe des Sprechers zu erkennen, beispielsweise einen einzelnen Satz, einen einzelnen Teilsatz, wie einen Hauptsatz und/oder einen Nebensatz, oder eine andersartige Subeinheit des Satzes, wobei die andersartige Subeinheit abhängig von der jeweiligen Sprache des Spracheingabesignals und deren grammatikalischen Regelmäßigkeiten vorgegeben ist.
  • Die Übersetzungseinrichtung ist außerdem dazu ausgebildet, die mehreren zeitlich nacheinanderfolgenden Subeinheiten der Reihe nach jeweils einzeln in einen jeweiligen Sprachausgabesignalteil des Sprachausgabesignals zu übersetzen. Die Übersetzung des Spracheingabesignals kann somit satzweise oder in noch kleineren Einheiten erfolgen. Hierdurch werden bei einem mehrere Subeinheiten umfassenden akustischen Signal des Sprechers somit mehrere einzelne Sprachausgabesignalteile bereitgestellt, die unabhängig voneinander für den Hörer ausgegeben werden können. Die Hörerlautsprechereinrichtung ist dazu ausgebildet, während des Erfassens des akustischen Signals des Sprechers die jeweiligen bereits übersetzten Sprachausgabesignalteile nacheinander auszugeben. Das Sprachübersetzungssystem ist also dazu ausgebildet, mittels der Hörerlautsprechereinrichtung jeweils bereits übersetzte Sprachausgabesignalteile, das heißt die einzelnen bereits übersetzten und schon längst vom Sprecher gesprochenen Sätze, auszugeben, während der Sprecher gleichzeitig weiterredet und somit kontinuierlich weiter das akustische Signal des Sprechers erfasst wird. Hierdurch wird ein kontinuierliches Sprechen der beiden Personen mithilfe der beinahe in Echtzeit übersetzten Dialogteile möglich, da stets nur ein kleiner Zeitverzug von einem Satz oder einem Teilsatz zwischen Sprecher und Hörer entsteht. Übersetzungspausen fallen dadurch deutlich geringer aus als mit herkömmlichen Sprachübersetzungssystemen. Dies verbessert vorteilhaft den Dialogfluss zwischen Sprecher und Hörer und eignet sich besonders für Telefonate zwischen unterschiedliche Sprachen sprechenden Personen.
  • Mittels der Zerlegung des Spracheingabesignals in die mehreren Subeinheiten, das heißt die einzelnen Sprachausgabesignalpakete, die in der Reihenfolge ihres Erfassens und ihres Bereitstellens übersetzt werden, wird letztendlich die oben beschriebene Parallelisierung der Erfassung des akustischen Signals und der Ausgabe des übersetzten anderssprachigen Sprachausgabesignals vorteilhaft für den Dialogfluss zwischen Sprecher und Hörer realisierbar. Von Vorteil für den Sprecher sowie den Hörer ist außerdem, dass störende Interferenzen des erfassten akustischen Signals und des ausgegebenen Sprachausgabesignals verhindert werden, sodass, ohne für den Sprecher durch das auch für ihn ausgegebene Sprachausgabesignals als ablenkendes Hintergrundgeräusch und/oder Vermischung des Sprachausgabesignals mit dem erfassten akustischen Signal des Sprechers, ein ungestörtes und von einer Audioqualität her hochwertiges Gespräch zwischen dem Sprecher und dem Hörer in beinahe Echtzeit möglich ist.
  • Eine weitere Ausgestaltungsform der Erfindung sieht vor, dass die Sprechermikrofoneinrichtung und die Hörerlautsprechereinrichtung voneinander entkoppelt sind. Die Sprechermikrofoneinrichtung und die Hörerlautsprechereinrichtung sind also als vollkommen voneinander getrennte Komponenten des Sprachübersetzungssystems vorgesehen, die sich bevorzugt an räumlich voneinander getrennten Orten befinden. Beispielsweise kann die Sprechermikrofoneinrichtung sowie die Hörerlautsprechereinrichtung als jeweilige Komponente eines jeweiligen Kopfhörers ausgebildet sein, wobei die Sprechermikrofoneinrichtung in den Kopfhörer des Sprechers und die Hörerlautsprechereinrichtung in den Kopfhörer des Hörers integriert ist. Hierdurch wird auf besonders einfache Art und Weise verhindert, dass es zu der Situation kommt, dass das ausgegebene Sprachausgabesignal von der Sprechermikrofoneinrichtung mit einem Schalldruckpegel erfasst wird, der über dem vorgegebenen Maximalschalldruckpegel liegt. Hierdurch wird das Sprachübersetzungssystem mit geringem Aufwand realisierbar und außerdem komfortabel für den Sprecher und den Hörer nutzbar.
  • Eine besonders vorteilhafte Ausgestaltungsform der Erfindung sieht vor, dass das Sprachübersetzungssystem dazu ausgebildet ist, nur mittels der Hörerlautsprechereinrichtung und nicht mittels der Sprecherlautsprechereinrichtung das übersetzte anderssprachige Sprachausgabesignal auszugeben. Es ist also vorgesehen, dass der Sprecher nicht mit dem übersetzten anderssprachigen Sprachausgabesignal konfrontiert wird, sondern nur gegebenenfalls direkt zeitgleich erfasste akustische Signale des Hörers beziehungsweise ein übersetztes anderssprachiges Sprachausgabesignal des Hörers als Sprecher mittels seiner Lautsprechereinrichtung übermittelt bekommt. Hierdurch wird die Gefahr einer Verwirrung des Sprechers beim Sprechen durch das gleichzeitige Bereitstellen der Übersetzung des von ihm gesprochenen Gesprächsteils verhindert, da ihm das entsprechend übersetzte Sprachausgabesignal des von ihm gesprochenen Gesprächsteils überhaupt gar nicht bereitgestellt wird.
  • Gemäß einer weiteren Ausgestaltungsform ist es vorgesehen, dass das Sprachübersetzungssystem eine erste Kommunikationsschnittstelle und eine zweite Kommunikationsschnittstelle umfasst. Die erste Kommunikationsschnittstelle ist dazu ausgebildet, das erfasste akustische Signal an die Übersetzungseinrichtung zu übermitteln. Die zweite Kommunikationseinrichtung ist dazu ausgebildet, von der Übersetzungseinrichtung das übersetzte Sprachausgabesignal zu empfangen. Wenn beide beteiligten Personen, das heißt der Sprecher und der Hörer, jeweils mittels Kopfhörer ihre jeweilige Komponente des Sprachübersetzungssystems realisiert haben, weist der jeweilige Kopfhörer die entsprechende Kommunikationsschnittstelle der beiden beschriebenen Kommunikationsschnittstellen auf, das der der Kopfhörer des Sprechers die erste Kommunikationsschnittstelle und der Kopfhörer des Hörers die zweite Kommunikationsschnittstelle. Ist dies der Fall, können beide Kommunikationsschnittstellen im Grunde als eine Kommunikationsschnittstelle ausgebildet sein, damit Sprecher und Hörer ihre Rollen jederzeit ohne Weiteres tauschen können. Die entsprechende Kommunikationsverbindung zwischen den einzelnen beschriebenen Kommunikationsschnittstellen und der Übersetzungseinrichtung ist hierbei bevorzugt drahtlos ausgebildet. Die jeweilige Kommunikationsverbindung ist also beispielsweise über ein mobiles Datennetzwerk, beispielsweise mittels des Mobilfunkstandards Long Term Evolution (LTE) oder Fifth Generation (5G), oder ein drahtloses lokales Netzwerk (WLAN für Wireless Local Area Network) aufgebaut. Hierdurch wird eine Unterhaltung zwischen dem Sprecher und dem Hörer, beispielsweise mittels eines jeweiligen mobilen Endgeräts des Sprechers und des Hörers, möglich. Sprecher und Hörer können sich somit an unterschiedlichen Orten außerhalb einer Rufweite aufhalten und dennoch mittels des Sprachübersetzungssystems die entsprechende Übersetzung der jeweiligen Spracheingaben ihres jeweiligen Gesprächspartners bereitgestellt bekommen.
  • In einer weiteren Ausgestaltungsform ist es vorgesehen, dass die Übersetzungseinrichtung als Servereinrichtung ausgebildet ist, die dazu ausgebildet ist, eine jeweilige Kommunikationsverbindung mit der ersten Kommunikationsschnittstelle und der zweiten Kommunikationsschnittstelle zum Bereitstellen der Übersetzung des Spracheingabesignals des Sprechers in das anderssprachige Sprachausgabesignal für den Hörer aufrecht zu erhalten. Die Übersetzungseinrichtung muss also nicht beispielsweise in dem mobilen Endgerät des Sprechers oder des Hörers selbst vorgesehen sein, sondern kann als zentrale externe Einrichtung ausgebildet sein. In der Servereinrichtung sind vorgegebene Übersetzungsalgorithmen hinterlegt, und zwar mittels des Spracherkennungskriteriums, des Sprachübersetzungskriteriums sowie gegebenenfalls des Einteilungskriteriums. Hierbei kann auf bereits bekannte und etablierte Sprachübersetzungsverfahren und/oder Verfahren zum Übersetzen von geschriebenem Text in gesprochene Sprache zurückgegriffen werden. Durch die Auslagerung der Übersetzungseinrichtung in die Servereinrichtung wird eine kostengünstige Bereitstellung der Übersetzung des Spracheingabesignals in das anderssprachige Sprachausgabesignal ermöglicht, die außerdem speicherplatzsparsam für das jeweilige mobile Endgerät des Sprechers und des Hörers ist.
  • Das erfindungsgemäße Kraftfahrzeug weist eine Mikrofoneinrichtung und eine Lautsprechereinrichtung auf. Die Mikrofoneinrichtung ist als eine Sprechermikrofoneinrichtung, wie sie oben beschrieben wurde, ausgebildet. Die Lautsprechereinrichtung ist demgegenüber als eine Sprecherlautsprechereinrichtung ausgebildet, wie sie oben im Rahmen des Sprachübersetzungssystems bereits beschrieben wurde. Die im Zusammenhang mit dem erfindungsgemäßen Sprachübersetzungssystem vorgestellten bevorzugten Ausgestaltungsformen und deren Vorteile gelten entsprechend, soweit anwendbar, für das erfindungsgemäße Kraftfahrzeug.
  • Der Sprecher kann sich also beispielsweise in einem Kraftfahrzeug befinden, wohingegen sein Gesprächspartner, das heißt der Hörer, sich entweder ebenfalls in einem Kraftfahrzeug oder an einem beliebigen anderen Ort mit Zugang zur Kommunikationsverbindung zur Übersetzungseinrichtung aufhalten kann. Über beispielsweise eine Telekommunikationsverbindung sowohl zwischen den beiden jeweiligen Mobilfunkgeräten des Sprechers und des Hörers als auch zur Übersetzungseinrichtung ist daraufhin die Realisierung des oben beschriebenen Sprachübersetzungssystems mithilfe bereits im Kraftfahrzeug verbauten Komponenten für den Sprecher möglich. Hierdurch wird also ein vorteilhafter Service für ein Telefongespräch mit einem Gesprächspartner aus dem Kraftfahrzeug heraus ermöglicht, ohne dass der Gesprächspartner die Sprache des Sprechers verstehen muss.
  • Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
  • Das erfindungsgemäße Übersetzungsverfahren zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer wird mittels eines Sprachübersetzungssystems durchgeführt. Das Sprachübersetzungssystem umfasst eine Sprechermikrofoneinrichtung, eine Sprecherlautsprechereinrichtung, eine von der Sprecherlautsprechereinrichtung bevorzugt entkoppelte Hörerlautsprechereinrichtung und eine Übersetzungseinrichtung. Das Übersetzungsverfahren umfasst folgende Schritte: Ein Erfassen eines akustischen Signals des Sprechers mittels der Sprechermikrofoneinrichtung, ein Übermitteln des erfassten akustischen Signals an die Übersetzungseinrichtung, ein Erzeugen des Spracheingabesignals aus dem ermittelten akustischen Signal unter Anwendung eines Spracherkennungskriteriums mittels der Übersetzungseinrichtung, ein Übersetzen des erzeugten Spracheingabesignals in das anderssprachige Sprachausgabesignal unter Anwendung eines Sprachübersetzungskriteriums mittels der Übersetzungseinrichtung und ein Beginn einer Ausgabe des ersetzten Sprachausgabesignals mittels der Hörerlautsprechereinrichtung, während noch mittels der Sprechermikrofoneinrichtung das akustische Signal erfasst wird. Hierbei wurden Maßnahmen getroffen, sodass das ausgegebene Sprachausgabesignal von der Sprechermikrofoneinrichtung mit einem Schalldruckpegel erfasst wird, der unter einem vorgegebenen Maximalschalldruckpegel liegt. Bevorzugt erfolgt, aufgrund der getroffenen Maßnahmen, keine Ausgabe des übersetzten Sprachausgabesignals mittels der Sprecherlautsprechereinrichtung. Die im Zusammenhang mit dem erfindungsgemäßen Sprachübersetzungssystem vorgestellten bevorzugten Ausgestaltungsformen und deren Vorteile gelten entsprechend, soweit anwendbar, für das erfindungsgemäße Verfahren. Aus diesem Grund sind die entsprechenden Ausgestaltungsformen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.
  • Die Erfindung stellt außerdem eine Steuereinrichtung für ein Sprachübersetzungssystem bereit. Die Steuereinheit weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Ausgestaltungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausgestaltungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
  • Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausgestaltungsformen.
  • Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur ein Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in einem Kraftfahrzeug in ein anderssprachiges Sprachausgabesignal für einen außerhalb des Kraftfahrzeugs stehenden Hörer.
  • Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausgestaltungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausgestaltungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellte Kombination der Merkmale der Ausgestaltungsform umfassen. Des Weiteren ist die beschriebene Ausgestaltungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • In der Figur bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
  • In der Figur ist ein Sprachübersetzungssystem 10 skizziert. Mittels dieses Sprachübersetzungssystems 10 kann eine Übersetzung von gesprochenen Worten eines Sprechers 12 in ein anderssprachiges Audiosignal für einen Hörer 14 bereitgestellt werden. Der Sprecher 12 befindet sich hierbei in einem Kraftfahrzeug 15 auf einer Straße 16. Der Hörer 14 befindet sich stehend auf einer anderen Straße 16', außerhalb einer Rufweite zu dem Sprecher 12 im Kraftfahrzeug 15. Sowohl der Sprecher 12 als auch der Hörer 14 haben ein jeweiliges mobiles Endgerät 17, das als Smartphone ausgebildet ist, bei sich. Das mobile Endgerät 17 des Sprechers 12, der sich in dem Kraftfahrzeug 15 befindet, ist mit dem Kraftfahrzeug 15 gekoppelt, sodass ein Telefongespräch mittels des mobilen Endgeräts 17 des Sprechers 12 über eine Mikrofoneinrichtung sowie eine Lautsprechereinrichtung des Kraftfahrzeugs 15 möglich ist. Die Mikrofoneinrichtung des Kraftfahrzeugs 15 wird im Folgenden als Sprechermikrofoneinrichtung 20 bezeichnet. Die Lautsprechereinrichtung des Kraftfahrzeugs 15 wird im Folgenden als Sprecherlautsprechereinrichtung 22 bezeichnet. Das Kraftfahrzeug 15 weist außerdem eine Kommunikationsschnittstelle 28 auf, über die über ein Mobilfunknetz ein Telefongespräch zwischen dem Sprecher 12 und dem Hörer 14 aufgebaut und aufrecht erhalten werden kann.
  • Der Hörer 14 telefoniert mit dem Sprecher 12 mittels seines mobilen Endgeräts 17, wobei er dieses unmittelbar an sein Ohr hält. Das mobile Endgerät 17 des Hörers 14 weist ebenfalls eine Mikrofoneinrichtung sowie eine Lautsprechereinrichtung auf. Die Mikrofoneinrichtung des mobilen Endgeräts 17 des Hörers 14 wird im Folgenden als Hörermikrofoneinrichtung 24 bezeichnet und die Lautsprechereinrichtung des mobilen Endgeräts 17 des Hörers 14 als Hörerlautsprechereinrichtung 26. Zum Aufbauen und Unterhalten des Telefongesprächs mit dem Sprecher 12, das heißt genau genommen mit der Kommunikationsschnittstelle 28 des Kraftfahrzeugs 15, weist das mobile Endgerät 17 des Hörers 14 die entsprechende Kommunikationsschnittstelle 28 auf.
  • Das Sprachübersetzungssystem 10 umfasst die Sprechermikrofoneinrichtung 20 und die Sprecherlautsprechereinrichtung 22 im Kraftfahrzeug 15 sowie die Hörermikrofoneinrichtung 24 und die Hörerlautsprechereinrichtung 26 des mobilen Endgeräts 17 des Hörers 14. Außerdem umfasst das Sprachübersetzungssystem 10 die genannten Kommunikationsschnittstellen 28. Darüber hinaus weist das Sprachübersetzungssystem 10 eine Übersetzungseinrichtung 32 auf, die von einer Servereinrichtung 30 umfasst wird. Die Übersetzungseinrichtung 32 und/oder die externe Servereinrichtung 30 weist außerdem die Kommunikationsschnittstelle 28 auf.
  • Die Sprechermikrofoneinrichtung 20 ist dazu ausgebildet, ein akustisches Signal 40 des Sprechers 12 zu erfassen. Dieses akustische Signal 40 ist also das von der Sprechermikrofoneinrichtung 20 erfasste Signal 40, das mit den gesprochenen Worten des Sprechers 12 korreliert. Das Sprechen des Sprechers 12 wird in der Figur mithilfe von Schallwellen 13 skizziert. Das Erfassen des akustischen Signals 40 des Sprechers 12 mittels der Sprechermikrofoneinrichtung 20 wird als Schritt S1 eines entsprechenden Übersetzungsverfahrens, das mittels des Sprachübersetzungssystems 10 durchgeführt wird, betrachtet. In einem nächsten Schritt S2 erfolgt ein Übermitteln des erfassten akustischen Signals 40 an die Übersetzungseinrichtung 32. Diese Übermittlung erfolgt über eine Kommunikationsverbindung 29 zwischen der Kommunikationsschnittstelle 28 des Kraftfahrzeugs 15 und der Kommunikationsschnittstelle 28 der Servereinrichtung 30. Diese Datenübertragung kann über eine Mobilfunkverbindung oder über ein mobiles Datennetzwerk erfolgen.
  • Das akustische Signal 40, das von der Sprechermikrofoneinrichtung 20 erfasst wurde, weist unter anderem ein Umgebungsrauschen auf und ist nicht in Form eines übersetzbaren Sprachsignals bereitgestellt. Das akustische Signal 40 muss daher zunächst in einem Schritt S3 in ein Spracheingabesignal 42 umgewandelt werden. Das Spracheingabesignal 42 wird also aus dem übermittelten akustischen Signal 40 erzeugt. Dieses Erzeugen erfolgt unter Anwendung eines Spracherkennungskriteriums mittels der Übersetzungseinrichtung 32. Das Spracherkennungskriterium ist zum einen dazu ausgelegt, das Umgebungsrauschen aus dem akustischen Signal 40 herausgefiltert. Außerdem wird mithilfe des Spracherkennungskriteriums eine Sprache, in der das akustische Signal 40 bereitgestellt wurde, erkannt. Spricht der Sprecher 12 deutsch, kann bereits in diesem Schritt erkannt werden, dass das akustische Signal 40 in deutscher Sprache bereitgestellt wurde. Daraufhin wird unter Anwendung des Spracherkennungskriteriums das akustische Signal 40 in einen entsprechenden deutschsprachigen Text umgewandelt, der dann dem Spracheingabesignal 42 entspricht. Das Spracheingabesignal 42 kann also auch als ein Textsignal aufgefasst werden.
  • In einem nächsten Schritt S4 erfolgt ein Übersetzen des erzeugten Spracheingabesignals 42 in das anderssprachige Sprachausgabesignal 44. Hierfür wird ein Sprachübersetzungskriterium von der Übersetzungseinrichtung 32 angewendet. Hierbei wird auf übliche und bereits bekannte Übersetzungsalgorithmen zurückgegriffen, die aus dem Spracheingabesignal 42 in einer ersten Sprache das Sprachausgabesignal 44 in einer gewünschten anderen Sprache erzeugen können. Dieses Sprachausgabesignal 44 ist derart ausgestaltet, dass es sich hierbei nicht um ein reines Textsignal handelt, sondern bereits um ein ausgebbares Audiosignal in der gewünschten anderen Sprache. Der Hörer 14 kann eine englischsprachige Übersetzung der gesprochenen Worte des Sprechers 12 wünschen, sodass im Schritt S4 die ursprünglich auf Deutsch gesprochenen Worte des Sprechers 12 in das in englischer Sprache ausgebbare Sprachausgabesignal 44 übersetzt wurden. Hierbei sind prinzipiell Übersetzungen von einer beliebigen ersten Sprache in eine beliebige von der ersten Sprache verschiedene zweite Sprache möglich.
  • In einem nächsten Schritt S5 wird das derart erzeugte anderssprachige Sprachausgabesignal 44 an die Kommunikationsschnittstelle 28 des mobilen Endgeräts 17 des Hörers 14 übermittelt. Daraufhin erfolgt in einem nächsten Schritt S6 eine Ausgabe dieses übersetzten Sprachausgabesignals 44 mittels der Hörerlautsprechereinrichtung 26 des mobilen Endgeräts 17 des Hörers 14. Das Ausgeben des Sprachausgabesignals 44 für den Hörer 14 wird in der Figur mithilfe von Schallwellen 13 skizziert. Mit der Ausgabe des übersetzten Sprachausgabesignals 44 mittels der Hörerlautsprechereinrichtung 26 wird begonnen, während noch mittels der Sprechermikrofoneinrichtung 20 das akustische Signal 40 erfasst wird. Das ausgegebene Sprachausgabesignal 44 wird jedoch von der Sprechermikrofoneinrichtung 20 mit einem Schalldruckpegel erfasst, der unter einem vorgegebenen Maximalschalldruckpegel liegt. Dies wird durch entsprechende getroffene Maßnahmen erreicht. Aufgrund der getroffenen Maßnahmen wird hier nämlich erreicht, dass keine Ausgabe des übersetzten anderssprachigen Sprachausgabesignals 44 mittels der Sprecherlautsprechereinrichtung 22 im Kraftfahrzeug 15 stattfindet.
  • Es wird hierdurch möglich, dass bei Sprachen, die derart verwandt sind, dass eine Wort-für-Wort-Übersetzung sinnvoll ist, es ermöglicht ist, dass kontinuierlich mit einer minimalen Zeitversetzung von nur einem Wort das erfasste akustische Signal 40 des Sprechers 12 in ein entsprechendes übersetztes, anderssprachige Sprachausgabesignal 44 umgewandelt und für den Hörer 14 ausgegeben wird. Sei es entweder durch eine räumliche Distanz zwischen Sprecher 12 und Hörer 14 oder durch eine Wahl der Sprechermikrofoneinrichtung 20 und der Hörerlautsprechereinrichtung 26 als jeweils einzelnen in oder an einem Ohr des Sprechers 12 beziehungsweise des Hörers 14 positionierbaren Kopfhörer wird es ermöglicht, dass nur der Hörer 14 das ausgegebene Sprachausgabesignal 44 hört, es jedoch zu keiner Interferenz des Sprachausgabesignals 44 mit dem erfassten akustischen Signal 40 für die Sprechermikrofoneinrichtung 20 kommt. Letztendlich wird hierdurch anstelle eines sequentiell arbeitenden Sprachübersetzungssystems 10 ein parallelisiertes Sprachübersetzungssystem 10 beschrieben und bereitgestellt. Der Maximalschalldruckpegel liegt typischerweise bei 30 Dezibel, sodass das akustische Signal 40 des Sprechers 12, welches typischerweise bei einem Schalldruckpegel zwischen 40 und typischerweise 80 Dezibel liegt, deutlich von dem leiseren Sprachausgabesignal 44 mit einem Schalldruckpegel von typischerweise 1 Dezibel bis 30 Dezibel unterschieden werden kann. Dies ist jedoch nur dann von der Sprechermikrofoneinrichtung 20 in diesem Schalldruckpegelbereich erfassbar, wenn sich Sprecher 12 und Hörer 14 in einer räumlichen Nähe zueinander befinden und der Hörer 14 sich das Sprachausgabesignal 44 mittels einer Freisprecheinrichtung des mobilen Endgeräts 17 ausgeben lässt. Auch dann sind jedoch zumindest die Sprechermikrofoneinrichtung 20 und die Hörerlautsprechereinrichtung 26 derart zueinander positioniert, dass es zu keinen der oben beschrieben Referenzerscheinungen zwischen dem erfassten akustischen Signal 40 des Sprechers 12 und dem ausgegeben und übersetzten Sprachausgabesignal 44 für den Hörer 14 kommt.
  • In einem Schritt S7 ist außerdem vorgesehen, dass unter Anwendung eines Einteilungskriteriums mehrere zeitlich hintereinanderliegende Subeinheiten 46 des Spracheingabesignals 42 erkannt und einzeln ausgewertet werden. Das Einteilungskriterium enthält Kriterien, anhand derer einzelne Sätze, Teilsätze oder andere sprachliche Substrukturen erkannt werden können. In einem Schritt S8 werden daraufhin die mehreren zeitlich nacheinander liegenden Subeinheiten 46 der Reihe nach jeweils einzeln in einen jeweiligen Sprachausgabesignalteil 48 des Sprachausgabesignals 44 übersetzt. Daraufhin werden anstelle des zusammenhängenden Sprachausgabesignals 44 die einzelnen Sprachausgabesignalteile 48 nacheinander, das heißt immer zeitnah nachdem sie erzeugt wurden, an das mobile Endgerät 17 des Hörers 14 übermittelt, sodass die Hörerlautsprechereinrichtung 26 auch während des weiteren Erfassens des akustischen Signals 40 des Sprechers 12 die jeweiligen bereits übersetzten Sprachausgabesignalteile 48 nacheinander ausgeben kann. Entspricht das erfasste akustische Signal 40 den drei Sätzen „Hallo. Wie geht es Dir? Lange nichts von Dir gehört.“, erkennt die Übersetzungseinrichtung 32, dass es sich hierbei um drei voneinander getrennte Sätze handelt. Diese können daraufhin unabhängig voneinander einzeln übersetzt werden, sodass letztendlich während der Sprecher 12 den zweiten Satz „Wie geht es Dir?“ spricht, bereits die Übersetzung des zuvor gesprochenen ersten Satzes „Hallo.“ in der entsprechenden anderen Sprache für den Hörer 14 übersetzt und als erster Sprachausgabesignalteile 48 des entsprechenden Sprachausgabesignals 44 ausgegeben wird.
  • Wie hier gezeigt, sind die Sprechermikrofoneinrichtung 20 und die Hörerlautsprechereinrichtung 26 voneinander entkoppelt und das übersetzte anderssprachliche Sprachausgabesignal 44 beziehungsweise die jeweiligen Sprachausgabesignalteile 48 werden nur von der Hörerlautsprechereinrichtung 26 und nicht von der Sprecherlautsprechereinrichtung 22 ausgegeben. Außerdem wird mittels der Kommunikationsschnittstelle 28 des Kraftfahrzeugs 15, die als erste Kommunikationsschnittstelle 28 betrachtet werden kann, das erfasste akustische Signal 40 an die Übersetzungseinrichtung 32 übermittelt, wohingegen mittels der Kommunikationsschnittstelle 28 der Servereinrichtung 30 das übersetzte Sprachausgabesignal 44 an die Kommunikationsschnittstelle 28 des mobilen Endgeräts 17, die also als zweite Kommunikationsschnittstelle 28 bezeichnet werden kann, übermittelt und von dieser empfangen. Die jeweilige Kommunikationsverbindung 29 wird mittels der Kommunikationsschnittstelle 28 der Übersetzungseinrichtung 32, die als Servereinrichtung 30 ausgebildet ist, während des Gesprächs zwischen dem Sprecher 12 und dem Hörer 14 aufrechterhalten.
  • Alternativ zu der hier beschriebenen Unterhaltung zwischen dem Sprecher 12 im Kraftfahrzeug 15 und dem Hörer 14 außerhalb des Kraftfahrzeugs 15 kann auch der bisherige Hörer 14 als neuer Sprecher 12 wirken und der bisherige Sprecher 12 als neuer Hörer 14, sodass mit einem analogen Verfahren wie oben beschrieben eine gewünschte Übersetzung bereitgestellt werden kann. Als jeweilige Mikrofoneinrichtung, das heißt als Sprechermikrofoneinrichtung 20 und/oder Hörermikrofoneinrichtung 24, kann hierbei jede beliebige Mikrofoneinrichtung vorgesehen sein. Analoges gilt für die entsprechende Lautsprechereinrichtungen, das heißt für die Sprecherlautsprechereinrichtung 22 und die Hörerlautsprechereinrichtung 26. Diese können als jeweils kombinierte Geräte ausgebildet sein, das heißt als Kopfhörer mit sowohl der Mikrofoneinrichtung als auch der Lautsprechereinrichtung. Allerdings können die einzelnen Komponenten des Sprachübersetzungssystems 10 auch jeweils voneinander entkoppelt sein.
  • Insgesamt zeigt das Beispiel einen Real-time Continous Translator, das heißt einen beinahe in Echtzeit arbeitenden kontinuierlichen Sprachübersetzer. Zentral ist hierbei, dass Sprachaufnahme und Sprachausgabe, das heißt Erfassen des akustischen Signals 40 und Ausgabe des entsprechend übersetzten anderssprachigen Sprachausgabesignals 44 parallelisiert sind. Dies erfolgt, indem jegliche Interferenz zwischen erfasstem akustischen Signal 40 und ausgegebenem übersetztem Sprachausgabesignal 44 vermieden wird. Hierfür werden anstatt eines einzelnen Lautsprechers zwei getrennte Lautsprecher, das heißt der Sprecherlautsprechereinrichtung 22 und der Hörerlautsprechereinrichtung 26, verwendet, sodass das ausgegebene Sprachausgabesignal 44, das nicht von der Sprecherlautsprechereinrichtung 22 ausgegeben wird, bevorzugt nicht von der Sprechermikrofoneinrichtung 20 erfasst wird und wenn, dann nur in einer derartig niedrigen Lautstärke, das heißt mit einem derart kleinen Schalldruckpegel, dass dieser unter dem vorgegebenen Maximalschalldruckpegel liegt und somit keine störenden Interferenzphänomene auftreten. Während der Sprecher 12 spricht, kann spätestens nach dem ersten Satz, das heißt nach Erkennen der ersten Subeinheit 46 des entsprechenden Spracheingabesignals 42, die Übersetzung erfolgen und über die Hörerlautsprechereinrichtung 26 ausgegeben werden. Die Übersetzung kann hierbei nur satzweise erfolgen, das heißt in kleineren Einheiten, die einen deutlich kontinuierlicheren Dialog als bisher ermöglichen. Dies ist jedoch sprachenabhängig. Bei ähnlicher grammatikalischer Struktur der jeweiligen Sprachen sind nämlich prinzipiell kleinere Einteilungen, das heißt kleinere Subeinheiten 46, realisierbar als bei Sprachen mit stark voneinander abweichenden Satzstrukturen.
  • Das Sprachübersetzungssystem 10 kann außerdem auch nur für eine einzelne Person eingesetzt werden, bei Telefonaten oder auch bei dem Anschauen von einem Film und/oder einer Serie. In diesem Fall wird nur ein erfasstes akustisches Signal 40 des Films und/oder der Serie für den entsprechenden Hörer 14 wie beschrieben übersetzt ausgegeben, das heißt als akustisches Signal 40 des Sprechers 12 betrachtet. Ein von dem bisherigen Hörer 14 ausgegebenes akustisches Hörersignal kann außerdem nicht entsprechend übersetzt und ausgegeben werden, sondern direkt übertragen werden, falls der Sprecher 12 die Sprache des Hörers 14 versteht aber nicht umgekehrt. Die technische Umsetzung erfolgt hierbei mit einer Kombination von Technologien, die bereits bekannt sind, wie mithilfe der Mikrofoneinrichtung und der Lautsprechereinrichtung des Kraftfahrzeugs 15, die hier als Sprechermikrofoneinrichtung 20 und Sprecherlautsprechereinrichtung 22 bezeichnet werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10064927 A1 [0003]
    • DE 4117485 C1 [0004]

Claims (8)

  1. Sprachübersetzungssystem (10) zum Bereitstellen einer Übersetzung eines Spracheingabesignals (42) eines Sprechers (12) in ein anderssprachiges Sprachausgabesignal (44) für einen Hörer (14), wobei das Sprachübersetzungssystem (10) eine Sprechermikrofoneinrichtung (20), eine Sprecherlautsprechereinrichtung (22), eine Hörerlautsprechereinrichtung (26) und eine Übersetzungseinrichtung (32) aufweist, wobei - die Sprechermikrofoneinrichtung (20) dazu ausgebildet ist, ein akustisches Signal (40) des Sprechers (12) zu erfassen; - das Sprachübersetzungssystem (10) dazu ausgebildet ist, das erfasste akustische Signal (40) an die Übersetzungseinrichtung (32) zu übermitteln; - die Übersetzungseinrichtung (32) dazu ausgebildet ist, das Spracheingabesignal (42) aus dem übermittelten akustischen Signal (40) unter Anwendung eines Spracherkennungskriteriums zu erzeugen und das erzeugte Spracheingabesignal (42) in das anderssprachige Sprachausgabesignal (44) unter Anwendung eines Sprachübersetzungskriteriums zu übersetzen; - die Hörerlautsprechereinrichtung (36) dazu ausgebildet ist, das übersetzte anderssprachige Sprachausgabesignal (44) auszugeben; gekennzeichnet dadurch, dass das Sprachübersetzungssystem (10) derart ausgestaltet ist, dass, während noch mittels der Sprechermikrofoneinrichtung (20) das akustische Signal (40) erfasst wird, bereits mittels der Hörerlautsprechereinrichtung (26) die Ausgabe des übersetzten anderssprachigen Sprachausgabesignals (44) beginnt, wobei Maßnahmen getroffen sind, sodass das ausgegebene Sprachausgabesignal (44) von der Sprechermikrofoneinrichtung (20) mit einem Schalldruckpegel erfasst wird, der unter einem vorgegebenen Maximalschalldruckpegel liegt.
  2. Sprachübersetzungssystem (10) nach dem vorhergehenden Anspruch, wobei die Übersetzungseinrichtung (32) dazu ausgebildet ist, das erzeugte Spracheingabesignal (42) unter Anwendung eines Einteilungskriteriums zum Erkennen von mehreren zeitlich nacheinanderfolgenden Subeinheiten (46) des Spracheingabesignalen (42) auszuwerten und die mehreren zeitlich nacheinanderfolgenden Subeinheiten (46) der Reihe nach jeweils einzeln in einen jeweiligen Sprachausgabesignalteil (48) des Sprachausgabesignals (44) zu übersetzen, und die Hörerlautsprechereinrichtung (26) dazu ausgebildet ist, während des Erfassens des akustischen Signals (40) des Sprechers (12) die jeweiligen bereits übersetzten Sprachausgabesignalteile (48) nacheinander auszugeben.
  3. Sprachübersetzungssystem (10) nach einem der vorhergehenden Ansprüche, wobei die Sprechermikrofoneinrichtung (22) und die Hörerlautsprechereinrichtung (26) voneinander entkoppelt sind.
  4. Sprachübersetzungssystem (10) nach einem der vorhergehenden Ansprüche, wobei das Sprachübersetzungssystem (10) dazu ausgebildet ist, nur mittels der Hörerlautsprechereinrichtung (26) und nicht mittels der Sprecherlautsprechereinrichtung (22) das übersetzten anderssprachigen Sprachausgabesignals (44) auszugeben.
  5. Sprachübersetzungssystem (10) nach einem der vorhergehenden Ansprüche, wobei das Sprachübersetzungssystem (10) eine erste Kommunikationsschnittstelle (28) und eine zweite Kommunikationsschnittstelle (28) umfasst, wobei die erste Kommunikationsschnittstelle (28) dazu ausgebildet ist, das erfasste akustische Signal (40) an die Übersetzungseinrichtung (32) zu übermitteln, und die zweite Kommunikationsschnittstelle (28) dazu ausgebildet ist, von der Übersetzungseinrichtung (32) das übersetzte Sprachausgabesignal (44) zu empfangen.
  6. Sprachübersetzungssystem (10) nach dem vorhergehenden Anspruch, wobei die Übersetzungseinrichtung (32) als Servereinrichtung (30) ausgebildet ist, die dazu ausgebildet ist, eine jeweilige Kommunikationsverbindung (29) mit der ersten Kommunikationsschnittstelle (28) und der zweiten Kommunikationsschnittstelle (28) zum Bereitstellen der Übersetzung des Spracheingabesignales (40) des Sprechers (23) in das anderssprachige Sprachausgabesignal (44) für den Hörer (14) aufrechtzuhalten.
  7. Kraftfahrzeug (15) mit einer Mikrofoneinrichtung und einer Lausprechereinrichtung, wobei die Mikrofoneinrichtung als eine Sprechermikrofoneinrichtung (20) eines Sprachübersetzungssystems (10) nach einem der vorhergehenden Ansprüche und die Lausprechereinrichtung als eine Sprecherlautsprechereinrichtung (22) eines Sprachübersetzungssystems (10) nach einem der vorhergehenden Ansprüche ausgebildet ist.
  8. Übersetzungsverfahren zum Bereitstellen einer Übersetzung eines Spracheingabesignales (42) eines Sprechers (12) in ein anderssprachiges Sprachausgabesignal (44) für einen Hörer (14) mittels eines Sprachübersetzungssystems (10), das eine Sprechermikrofoneinrichtung (20), eine Sprecherlautsprechereinrichtung (22), eine Hörerlautsprechereinrichtung (26) und eine Übersetzungseinrichtung (32) aufweist, umfassend folgende Schritte: - Erfassen eines akustischen Signals (40) des Sprechers (12) mittels der Sprechermikrofoneinrichtung (20) (S1); - Übermitteln des erfassten akustischen Signals (40) an die Übersetzungseinrichtung (32) (S2); - Erzeugen des Spracheingabesignals (42) aus den übermittelten akustischen Signalen (40) unter Anwendung eines Spracherkennungskriteriums mittels der Übersetzungseinrichtung (32) (S3); - Übersetzen des erzeugten Spracheingabesignal (42) in das anderssprachige Sprachausgabesignal (44) unter Anwendung eines Sprachübersetzungskriteriums mittels der Übersetzungseinrichtung (32) (S4); - Beginnen einer Ausgabe des übersetzten Sprachausgabesignals (44) mittels der Hörerlautsprechereinrichtung (26), während noch mittels der Sprechermikrofoneinrichtung (20) das akustische Signal (40) erfasst wird, wobei Maßnahmen getroffen sind, sodass das ausgegebene Sprachausgabesignal (44) von der Sprechermikrofoneinrichtung (20) mit einem Schalldruckpegel erfasst wird, der unter einem vorgegebenen Maximalschalldruckpegel liegt (S6).
DE102019208742.6A 2019-06-17 2019-06-17 Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer sowie Übersetzungsverfahren für ein derartiges Sprachübersetzungssystem Active DE102019208742B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019208742.6A DE102019208742B4 (de) 2019-06-17 2019-06-17 Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer sowie Übersetzungsverfahren für ein derartiges Sprachübersetzungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019208742.6A DE102019208742B4 (de) 2019-06-17 2019-06-17 Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer sowie Übersetzungsverfahren für ein derartiges Sprachübersetzungssystem

Publications (2)

Publication Number Publication Date
DE102019208742A1 true DE102019208742A1 (de) 2020-12-17
DE102019208742B4 DE102019208742B4 (de) 2021-01-14

Family

ID=73546789

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019208742.6A Active DE102019208742B4 (de) 2019-06-17 2019-06-17 Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer sowie Übersetzungsverfahren für ein derartiges Sprachübersetzungssystem

Country Status (1)

Country Link
DE (1) DE102019208742B4 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741093B1 (en) 2021-07-21 2023-08-29 T-Mobile Usa, Inc. Intermediate communication layer to translate a request between a user of a database and the database
US11924711B1 (en) 2021-08-20 2024-03-05 T-Mobile Usa, Inc. Self-mapping listeners for location tracking in wireless personal area networks

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4117485C1 (de) * 1991-05-28 1992-12-03 Helmut 5330 Koenigswinter De Braehler
DE19508017A1 (de) * 1995-03-07 1996-09-12 Siemens Ag Kommunikationsgerät
DE19854334A1 (de) * 1998-11-25 2000-06-08 Bauer Gabor Simultan dolmetschendes Kommunikationssystem
DE10064927A1 (de) * 2000-12-20 2003-01-23 Franz Andrae Kuncic Transportable Simultanübersetzungs-Vorrichtung zum Übersetzen von Sprache
WO2003052624A1 (en) * 2001-12-17 2003-06-26 Neville Jayaratne A real time translator and method of performing real time translation of a plurality of spoken word languages
WO2004059520A1 (en) * 2002-12-24 2004-07-15 Oü Exitline Method for providing an interpretation service via a communication network
EP1954017A1 (de) * 2007-02-01 2008-08-06 BIUCCHI, Sergio System zum gleichzeitigen, automatischen und mehrsprachigen Übersetzen von einer Gesprächsverbindung zwischen zwei oder mehr Benutzern
US20180260388A1 (en) * 2017-03-08 2018-09-13 Jetvox Acoustic Corp. Headset-based translation system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4117485C1 (de) * 1991-05-28 1992-12-03 Helmut 5330 Koenigswinter De Braehler
DE19508017A1 (de) * 1995-03-07 1996-09-12 Siemens Ag Kommunikationsgerät
DE19854334A1 (de) * 1998-11-25 2000-06-08 Bauer Gabor Simultan dolmetschendes Kommunikationssystem
DE10064927A1 (de) * 2000-12-20 2003-01-23 Franz Andrae Kuncic Transportable Simultanübersetzungs-Vorrichtung zum Übersetzen von Sprache
WO2003052624A1 (en) * 2001-12-17 2003-06-26 Neville Jayaratne A real time translator and method of performing real time translation of a plurality of spoken word languages
WO2004059520A1 (en) * 2002-12-24 2004-07-15 Oü Exitline Method for providing an interpretation service via a communication network
EP1954017A1 (de) * 2007-02-01 2008-08-06 BIUCCHI, Sergio System zum gleichzeitigen, automatischen und mehrsprachigen Übersetzen von einer Gesprächsverbindung zwischen zwei oder mehr Benutzern
US20180260388A1 (en) * 2017-03-08 2018-09-13 Jetvox Acoustic Corp. Headset-based translation system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Freisprecheinrichtungen. In: Onlinebibliothek WIKIPEDIA. 04.05.2018. S. 1-3. URL=https://de.wikipedia.org/w/index.php?title=Freisprecheinrichtung&oldid=177151536 [recherchiert am 29.04.2020] *

Also Published As

Publication number Publication date
DE102019208742B4 (de) 2021-01-14

Similar Documents

Publication Publication Date Title
DE112016006133B4 (de) Verfahren und System zur Bereitstellung von Umgebungswahrnehmung
EP1912474B1 (de) Verfahren zum Betreiben einer Hörhilfe, sowie Hörhilfe
DE102009016012B4 (de) Fahrzeug-Freisprecheinrichtung
DE10163213A1 (de) Verfahren zum Betrieb eines Spracherkennungssystems
DE602004011109T2 (de) Verfahren und system zum senden von sprachnachrichten
DE112015006800T5 (de) Verfahren und Kopfhörersatz zur Verbesserung einer Tonqualität
EP1912472A1 (de) Verfahren zum Betreiben einer Hörhilfe, sowie Hörhilfe
DE102019208742B4 (de) Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer sowie Übersetzungsverfahren für ein derartiges Sprachübersetzungssystem
DE102008015187A1 (de) Sprachgesteuertes Freisprech-Telefonsystem zum akustischen Verkünden von Fahrzeugkomponenten-Informationen für Fahrzeugbenutzer in Reaktion auf durch die Benutzer gesprochene Anforderungen
EP2077059B1 (de) Verfahren zum betreiben einer hörhilfe, sowie hörhilfe
EP2047668B1 (de) Verfahren, sprachdialogsystem und telekommunikationsendgerät zur multilingualen sprachausgabe
EP3396978A1 (de) Verfahren zum betrieb einer hörvorrichtung und hörvorrichtung
EP2080410A1 (de) Verfahren zum betreiben einer hörhilfe, sowie hörhilfe
DE102020207482A1 (de) Verfahren zum Ausgaben von nutzerindividuellen akustischen Signalen mit einer Ausgabeeinheit, Computerprogrammprodukt und elektronisches Signalverarbeitungssystem
DE102019202662B4 (de) Verfahren zur Überprüfung der Funktionsfähigkeit einer Notrufeinrichtung eines Kraftfahrzeugs sowie Kraftfahrzeug zur Durchführung des Verfahrens
EP1062487B1 (de) Mikrophonanordnung für die spracherkennung unter variablen räumlichen bedingungen
DE102014210760B4 (de) Betrieb einer Kommunikationsanlage
DE102019213848A1 (de) Erzeugung eines modifizierten Audiosignals aus einem Audioquellsignal
EP0856976B1 (de) Kommunikationssystem für Hörbehinderte, Telefon und Verfahren zum Telefonieren mit einem derartigen Kommunikationssystem
EP2156654B1 (de) Mobile telekommunikationseinrichtung zum übertragen und übersetzen von informationen
DE102018213367B4 (de) Verfahren und Telefonievorrichtung zur Geräuschunterdrückung eines systemgenerierten Audiosignals bei einem Telefonat sowie ein Fahrzeug mit der Telefonievorrichtung
WO2005011235A1 (de) Verfahren und system zum bereitstellen einer freisprechfunktionalität bei mobilen telekommunikationsendeinrichtungen durch temporäres herunterladen eines sprachverarbeitungsalgorithmus
EP1472906A2 (de) Virtueller assistent, der einem benutzer einer datenendeinrichtung hörbare informationen mittels mindestens zwei elektroakustischen wandlern ausgibt, und verfahren zur darbietung von hörbaren informationen eines virtuellen assistenten
EP4375990A2 (de) Verfahren zum training einer sprechererkennungseinheit eines hörgeräts sowie kombination aus einem solchen hörgerät und einem kommunikationsgerät
EP4027333B1 (de) Virtueller sprachassistent mit verbesserter erkennungsgenauigkeit

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final