EP2592623B1 - Technique for outputting an acoustic signal by means of a navigation system - Google Patents

Technique for outputting an acoustic signal by means of a navigation system Download PDF

Info

Publication number
EP2592623B1
EP2592623B1 EP12007601.3A EP12007601A EP2592623B1 EP 2592623 B1 EP2592623 B1 EP 2592623B1 EP 12007601 A EP12007601 A EP 12007601A EP 2592623 B1 EP2592623 B1 EP 2592623B1
Authority
EP
European Patent Office
Prior art keywords
phoneme
phoneme sequence
navigation system
state
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP12007601.3A
Other languages
German (de)
French (fr)
Other versions
EP2592623A2 (en
EP2592623A3 (en
Inventor
Andreas Warnke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elektrobit Automotive GmbH
Original Assignee
Elektrobit Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elektrobit Automotive GmbH filed Critical Elektrobit Automotive GmbH
Publication of EP2592623A2 publication Critical patent/EP2592623A2/en
Publication of EP2592623A3 publication Critical patent/EP2592623A3/en
Application granted granted Critical
Publication of EP2592623B1 publication Critical patent/EP2592623B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/06Elementary speech units used in speech synthesisers; Concatenation rules
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027Concept to speech synthesisers; Generation of natural phrases from machine-based concepts

Definitions

  • the present disclosure relates generally to navigation systems. Concretely, a technique for outputting an acoustic signal by means of a navigation system is given as part of route guidance.
  • TTS text-to-speech
  • One possible prior art TTS approach is to use graphemes, ie, the typically smallest meaningful graphical units of the particular language's writing system.
  • a written word eg, in the form of a text string
  • several graphemes can be converted into a spoken acoustic signal by one of the following mechanisms.
  • An allophone represents a variant of a phoneme in the sense of this description, i. Allophones are different implementations of a phoneme. In contrast to phonemes, the allophones have the ability to reproduce nuances for different speakers, and then pronounce the same phoneme differently (speaker-dependent) as an allophone.
  • An example is the rolled and the rubbed [r].
  • a high German speaker would pronounce the phoneme / r / as a rubbed 'r', whereas a dialect-colored speaker would realize the phoneme / r / as a rolling 'r', each with the same given phoneme sequence.
  • the phoneme is an abstraction of a concrete sound statement. To be more precise, it is a "class of sounds ... that share all distinctive characteristics, in which non-distinctive ones can differ" (see Meibauer, Jörg, Introduction to German Linguistics, 2nd ed. , P. 83).
  • the phoneme is to be distinguished from the grapheme.
  • the grapheme is the smallest meaningful unit of written language.
  • the phoneme on the other hand, is the smallest meaning-discriminating unit of the spoken language (see entry "Phonem” in Wikipedia TM).
  • a morpheme In contrast to the phonemes, a morpheme has both a sound and a graphic expression. In other words, the phoneme is different from the morpheme.
  • the phoneme is defined as the smallest semantic meaning, the morpheme is defined as the smallest meaningful linguistic entity.
  • a morpheme usually consists of one or more phonemes (or in the written language Graphemen) (see entry "phoneme” in Wikipedia TM).
  • the morpheme called 'forest'.
  • the plural is 'forests' and yet comes from the same morpheme as forest. This is exactly where the morpheme is different from the phoneme, which is focused exclusively on pronunciation. That is, the morpheme has a semantic (meaningful) component.
  • FIG. 12 shows a graph-based speech output system 100 that includes a database 1001, a speech synthesizer 1003, and an acoustic output device 1002.
  • the speech synthesis device 1003 includes the functions grapheme to phoneme converter (g2p) and acoustic signal generation (wave-gene).
  • the database 1001 can store graphemes in various languages, represented are German, Polish and Czech.
  • step g2p a conversion into phonemes (smallest meaning-discriminating unit of the audible speech) ensues, then in step wave-gen the speech synthesizing.
  • step g2p both automatic methods that determine pronunciation, stress, and duration, as well as manual methods that use manually created exception dictionaries for sentences, words, and word parts may be used.
  • step wave-gen an acoustic signal is generated from a phoneme.
  • phoneme formats for example, depending on the manufacturer of the speech synthesis software.
  • Some phoneme formats are language-dependent, ie only usable if the converter is set in step wave-gen to the language suitable for the phoneme.
  • Fig. 2 1 shows a phoneme-based speech output system 100 that includes the database 1001 and the wave-gen function described above (here as the sole component of the speech synthesis device 1003) and the acoustic output device 1002.
  • database 1001 contains not only the written place and street names (as graphemes), but also the corresponding phoneme sequences, both in different languages, representing German, Polish and Czech. These phonemes or phoneme sequences generally have better quality than those which an automatic converter (see step g2p above) can generate. Both graphemes and phonemes or phoneme sequences are regularly stored in the nominative.
  • Fig. 3 shows a multi-conversion voice output system 100.
  • the database 1001 and the acoustic output device 1002 are equipped with the corresponding elements Fig. 2 identical.
  • the speech synthesis device 1003 includes other functions described below.
  • the multiple conversion represents an alternative solution in which a set of rules is created on the basis of graphemes, for example: genitive rule: *** becomes *** places.
  • This control system is particularly suitable for Eastern European languages, as there are more cases that prohibit the nominative in route guidance announcements.
  • steps g2p and wave-gen phonemes are generated and then the acoustic signal is output.
  • the disadvantage is that the optimized phonemes or phoneme sequences are not used in the database. Instead, the graphemes are reshaped and the automatic converter (g2p) is used. This usually produces a lower quality in the pronunciation, as it knows only rules and only a few exceptions. Also, the step g2p requires computation time and makes the system unnecessarily sluggish.
  • the document discloses DE 100 42 942 A1 the use of phonetic transcriptions, which firstly involves a process of producing a phoneme from a grapheme and, secondly, the generated phoneme. Further, this document teaches the use of filler particles. The latter are used to generate phonemes or sequences of graphemes by storing parts of the graphemes (subwords) in a graph-based database and reassembling the corresponding part phonemes. For example, a “genitive” is considered as filler particle at the front partial word: “litigation” is broken down, for example, into the partial word “right”, the filler particle "s” and the partial word "conflict".
  • the publication DE 689 13 669 T2 generally deals with the identification of language groups as well as the rewriting of graphemes into phonemes.
  • the publication DE 100 42 942 A1 discloses a method, apparatus, and computer program product for speech synthesis by grapheme-phoneme translation.
  • a given word in a database containing phonetic transcriptions of words it searches for subwords of the given word. If at least one partial word of the given word is found in the database, a phonetic transcription recorded in the database is selected for the partial word found.
  • the given word has, in addition to the found subword, at least one further constituent that is not recorded in the database.
  • This further component is phonetically transcribed by means of an OOV treatment and the phonetic transcription of the found subword and the phonetic transcription of the further component are combined.
  • the present invention seeks a solution for at least one of the problems described above as well as for solutions to further problems.
  • the user experience is to be increased when using navigation systems with voice-based route guidance.
  • the method includes the steps of storing a plurality of phoneme sequences in a first state in at least one database, selecting at least one of the plurality of phoneme sequences based on a control signal received as part of a route guidance, determining a desired second state of the at least one selected phoneme sequence on the basis of the selected one Context information, changing at least a portion of the selected phoneme sequence to translate the selected phoneme sequence to the specified second state, based on a policy, and converting the phoneme sequence in the second Condition into an acoustic signal for output by means of an acoustic output device.
  • the phoneme sequence with the at least one changed subsequence is converted into an acoustic signal.
  • phoneme sequences for the conversion from text to speech and vice versa are used, but phoneme sequences for the conversion from text to speech and vice versa.
  • the phoneme alphabet used would be provided by the manufacturer of the TTS engine. This list of phonemes used is e.g. a specialization of the ASCII-based phonetic alphabet SAMPA.
  • a subsequence of a phoneme sequence is identified and replaced (or such a subsequence appended to the phoneme sequence) such that a semantic component is irrelevant.
  • the changing step may include attaching an attachment to the selected phoneme or phoneme sequence.
  • the appendix may be the changing phoneme sequence and appended to the selected phoneme sequence. This can simplify the modification of the selected phoneme or phoneme sequence.
  • the received control signal may originate from a route calculation module of the navigation system. Furthermore, the navigation system can be arranged in a vehicle.
  • the received control signal comprises a first identifier of a designation of a location determined by the navigation system and a second identifier of a maneuver instruction to be issued.
  • the acoustic signal may comprise a designation of a location determined by the navigation system. If so, then the location determined may include at least one of the following: country name, city, street, place, and point-of-interest.
  • the storing step further comprises storing a plurality of predefined context information defining the second state.
  • the selecting step further comprises selecting the at least one phoneme or the at least one phoneme sequence on the basis of the first identifier and selecting at least a predefined context information based on the second identifier.
  • the determining step comprises determining the desired second state of the phoneme based on the selected context information.
  • the method may further comprise outputting the acoustic signal by means of the acoustic output device, in which the designation is output as a phoneme sequence in the second state.
  • One variant allows optimal declination, e.g. a street name using the already stored phonemes or phoneme sequences.
  • the undeclared case may further be a nominative
  • the declined case may be at least one of genitive, dative, accusative, vocative, locative, instrumental, ablative, allative, and prepi-positive.
  • the part of the phoneme or phoneme sequence to be changed can be replaced by a regular expression.
  • the attachment may be determined by a regular expression. This allows a further improved declination, e.g. street names using the regular expressions (which, for example, are themselves as a completed phoneme of a respective fall-ending, e.g., a spoken genitive-s).
  • the phoneme sequence may be in the form of a noun nominative; however, advantageously, this does not require any linguistic intelligence that necessitates semantic treatment by morphemes.
  • the phonemes or phoneme sequences can each be present in a multiplicity of languages in the language database.
  • the method may further include selecting one of the plurality of languages based on user input. This in turn allows optimal utilization of the already existing phonemes or phoneme sequences taking into account the desired language.
  • the multitude of languages may include Romance and Germanic languages, and the declined case may be one of genitive, dative, and accusative. This allows the use of e.g. German, French or English and an adaptation to the particular case based on the phoneme or phoneme sequences.
  • the plurality of languages may include Slavic and Baltic languages.
  • the declined case can here be one of genitive, dative, vocative and locative.
  • the declined case may further include an instrumental and prepositional as far as the Slavic or Baltic language includes this case. This allows adaptation of the speech output system e.g. to the Polish, Czech or Slovak languages, taking into account that in those languages the accusative is different from the nominative (this is often not the case in German).
  • the case locative location dependency of the noun
  • is covered which does not exist in German and can occur frequently in a navigation system.
  • the plurality of languages may include Oghuzian languages.
  • the declined case can be one of genitive, dative, and locative.
  • the declined case may further include one of instrumental, ablative, and allative, as far as the Oghuzian language encompasses this case.
  • This allows adaptation of the speech output system e.g. to the Vietnamese language, taking into account that in this language the accusative is different from the nominative.
  • the case Ablativ (where?) And Allativ (where?) Are covered, which do not exist in German and are common in navigation systems, such. in type "Leave the x-road and turn into the y-lane".
  • the phoneme or the phoneme sequence can represent a grammatical noun.
  • the first state of the phoneme or phoneme sequence may be a singular of the noun, and the second state of the phoneme or phoneme sequence may be at least one of Dual, Paral, Trial, Quadral, Paukal, Plural, and Distributive of the noun.
  • the phoneme or the phoneme sequence can represent a grammatical noun.
  • the first state of the phoneme may be a masculine of the noun, and the second state of the phoneme or phoneme sequence of at least one feminine and neuter of the noun (or vice versa). This allows a possibly necessary adaptation of the noun also to the number and / or gender.
  • a computer program product with program code sections is also provided for carrying out the method according to the invention when the computer program product is executed on one or more computer devices (for example a navigation system).
  • the computer program product may be recorded on a computer readable recording medium.
  • a navigation system for outputting an acoustic signal, wherein the navigation system comprises at least one database and an acoustic output device, and wherein the device comprises at least one processor which adapts the device to perform all the steps of the method presented here.
  • Fig. 4 shows a first schematic diagram of a system 200 according to an embodiment for implementing a navigation system.
  • the system 200 includes a database 2001 capable of storing both graphems and phoneme sequences in a first state (eg, nominative), an acoustic output device 2002, and a speech synthesis device 2003.
  • the speech synthesis device 2003 may perform the function reg-exp Append or change a part of a selected phoneme or a selected phoneme sequence, for example, by a regular expression, so that the phoneme or phoneme sequence in a second state (eg, declined in the genitive) is present, and the wave-gene function already described for converting the phoneme or the phoneme sequence in the second state into an acoustic signal.
  • the acoustic signal thus generated can in turn be output by means of the acoustic output device 2002.
  • the phonemes or phoneme sequences can be written in a format like Nuance-LH +, Star-Rec®, internationalephoneme or similar. be implemented. However, the present disclosure is not limited thereto.
  • a regular expression can be understood as a search pattern within a text string. Sometimes the combination of the search pattern and the replacement pattern is called a regular expression. For example, a regular expression can describe a phoneme attachment.
  • the above-described changing subsequence exists as a "RegExp” (regular expression).
  • a "RegExp” is a particularly memory-conserving variant of a (sub-) phoneme sequence, which is basically always pronounced the same way under different circumstances (ie even in the context of other phonemes or phoneme sequences does not or only insignificantly changes its pronunciation).
  • the phoneme sequence / Aoptplaz / As an example of using a "RegExp” lies as in Fig. 4 shown in its ground state, for example, the phoneme sequence / Aoptplaz /.
  • the genitive of the phoneme sequence may be desired (this does not mean that a semantic component would be involved, eg a simple if-then implementation).
  • the phoneme / es / here: a genitive-s
  • a "RegExp” can be used instead of a "full-blown” phoneme or the phoneme sequence.
  • the new phoneme sequence / Aoptplazes / is now converted into an acoustic signal, which can be carried out particularly efficiently and memory-conserving when using a "RegExp".
  • Fig. 5 shows a second schematic diagram of a system 200 for navigation purposes, which is based on the system according to Fig. 4 based.
  • the navigation system 200 includes the database 2001, both grapheme and phonemes or phoneme sequences in a first state (eg nominative) and optional context information (eg a ready-made sentence as a grapheme, in which only the phoneme or phoneme sequence can be fitted in the appropriate case), the acoustic output device 2002 and the speech synthesis device 2003 and a navigation device 2004 with a route guidance module.
  • the speech synthesis device 2003 may include the functions g2p, reg-exp and wave-gen described above.
  • the acoustic signal thus generated can in turn be output by means of the acoustic output device 2002.
  • the system 200 may still generate and / or process signals 2005, 2006, and 2007, which are described in more detail below.
  • Fig. 6 shows the components included in one embodiment of the device (speech synthesis device) 2003.
  • the (speech synthesis) device 2003 comprises a core functionality 20031, which may be, for example, as at least one CPU (central processing unit) or microprocessor, as dedicated Circuit (with the implementation variants described above) or implemented as a software module.
  • the device 2003 comprises a memory 20032, a transmitter 20033 and a receiver 20034, which may be used to communicate the device 2003 with another device (eg the database 2001, the navigation system 2004 or the acoustic output device 2002) or with the user.
  • the device 2003 comprises a selector 20035, a determiner 20036, a modifier 20037 (which optionally may in turn comprise a trailer 20038), and a converter 20039.
  • the database 2001 comprises a core functionality 20011, a memory 20012, a transmitter 20013, and a Receiver 20014,
  • the acoustic voice output device 2002 comprises a core functionality 20021, a memory 20022, a transmitter 20023 and a receiver 20024,
  • the navigation device 2004 comprises a core functionality 20041, a memory 20042, a transmitter 20043 and a receiver 20044.
  • the core functionality 20041 of the navigation device 2004 may include a software-based route calculation module.
  • This route calculation module may be configured to generate, transmit (via the transmitter 20043), receive (via the receiver 20044), and process various control signals 2005, 2006, 2007.
  • the control signal 2005 "Prepare Prompt" can communicate one or more identifiers with regard to the phonemes or phoneme sequences to be selected from the database 2001 to the speech synthesis device 2003.
  • the selection based thereon and optionally speech synthesis can be confirmed by means of the control signal 2006 "Preparation Finished" with respect to the navigation device 2004, whereupon the speech synthesis device 2003 prompts the speech synthesis device 2003 to output the synthesized acoustic signal by means of the acoustic output device 2002 by means of the control signal 2007 "Prompt Now".
  • the core functionalities 200x1 may be configured, for example, by software resident in the memories 200x2 to process various data inputs and to control the functions of the memory 200x2, the transmitter 200x3 and the receiver 200x4 (and the selector 20035, the detector 20036, the modifier 20037, the trailer 20038 and the converter 20039 of the speech synthesizer 2003).
  • the memory 200x2 may be for storing code portions for carrying out the methods according to the aspects described above when running on the core functionality 200x2.
  • transmitter 200x3 and receiver 200x4 may alternatively be provided as a one-piece transceiver, as in FIG Fig. 6 is shown.
  • the transceivers may be implemented as: physical transceivers for transceiving via an air interface (eg between the navigation system 2004 and a traffic guidance system not shown), as traffic-routing functional units / interfaces between network elements (eg for transmission / Receiving data packets between the speech synthesis device 2003 and the navigation system 2004 and the database 2001) as functionality for writing / reading information to / from a given memory area (eg between the speech synthesis device 2003 and the database 2001 or the navigation device 2004, if these in a network unit) or as any suitable combination of the arrangements described above.
  • At least one of the selector 20035, determiner 20036, modifier 20037, hitch 20038 and converter 20039 (the speech synthesizer 2003) or the respective executing functionalities may also be implemented as a chipset, module or subunit.
  • Fig. 7 shows an embodiment of a method for outputting an acoustic signal by means of a navigation system (eg according to FIG Fig. 5 ).
  • a navigation system eg according to FIG Fig. 5
  • the in Fig. 7 The signal flow diagram shown, the signal flow between elements in the horizontal direction is given, whereas temporal aspects between the signaling in the vertical arrangement of the signal flow sequence and in the sequence numbers are reproduced.
  • the in Fig. 7 shown temporal aspects none of the steps shown on the in Fig. 7 Set the step sequence shown.
  • step S1 storing phonemes or phoneme sequences
  • step S2 selecting at least one phoneme or phoneme sequence.
  • this does not exclude that the phonemes or phoneme sequences are stored in step S1 long before the device according to the invention is put into operation.
  • the memory 20012 of the database 2001 stores a plurality of phoneme sequences in a first state in the at least one database to bind to the at least one database.
  • a plurality of predefined context information defining the second state may be stored in the memory 20012 of the database 2001.
  • this context information may be a predefined sentence (eg stored as a grapheme), where the second state (eg the desired case) results from embedding the phoneme or the phoneme sequence in the sentence structure.
  • the selector 20035 performs selection of at least one of the plurality of phoneme sequences on the basis of a control signal received in the course of route guidance.
  • the control signal may originate from a route calculation module (not shown) of the navigation device 2004.
  • the received control signal may comprise a first identifier (ID_Main) of a designation of a location determined by the navigation device 2004 and a second identifier (ID_In_200m_right) of a route guidance or maneuver indication to be output.
  • the first identifier can be used to select the phoneme or the phoneme sequence (here: 'Aoptplaz) (in the simplest case a simple indexing can be used).
  • the second identifier can be used to call a corresponding context information, so that - as described above - the desired second state (eg the desired case) results by embedding the phoneme or the phoneme sequence in the sentence structure.
  • This is advantageous since the navigation device 2004 only has to send a simple message with two identifiers to the speech synthesis device 2003, which contributes to a streamlined signaling (which is advantageous, for example, if the navigation device 2004 does not co-locate with the database 2001 or device 2003) is, but for example, a tight (and possibly shared) bus for data transmission between the above devices is provided).
  • step S3 the determination means 20036 of the speech synthesis apparatus 2003 determines a desired second state of the at least one selected one Phones or the phoneme sequence on the basis of the received control signal.
  • the desired second state of the phoneme or the phoneme sequence can be determined on the basis of the selected context information, in particular, the second identifier can be used to call a corresponding context information, so that the desired second state (eg the desired case) by Embedding the phoneme or phoneme sequence can be determined in the sentence structure.
  • the phoneme or the phoneme sequence can represent a grammatical noun.
  • the first state of the phoneme or phoneme sequence may be an undefined case (eg nominative) of the noun and the second state of the phoneme or phoneme sequence may be a declined case (eg genitive, dative, accusative, vocative, locative, instrumental, ablative, allative and / or prepositive) of the noun.
  • undefined case eg nominative
  • a declined case eg genitive, dative, accusative, vocative, locative, instrumental, ablative, allative and / or prepositive
  • step S4 the changer 20037 of the speech synthesizer 2003 changes at least part of the selected phoneme or phoneme sequence to place the selected phoneme or phoneme sequence in the specified second state, based on a set of rules.
  • the appendix 20038 of device 2003 may append an appendix to the selected phoneme or phoneme sequence.
  • this appendix (but also the part to be changed) can be replaced by a regular expression (eg an always same case ending, deposited as a phoneme or phoneme sequence, such as the genitive-s already described or the phoneme or phoneme sequence of the suffix "it be formed in phoneme sequences such as' Aoptplaz).
  • the change may alter at least a portion of the phoneme sequence of the undefined noun to produce the declined noun, or may append an appendix to the noun to add the declined noun, as just described.
  • step S5 the converting means 20039 converts the phoneme in the second state into an acoustic signal for output from the acoustic output device 2002.
  • the acoustic signal may include a designation of a location obtained by the navigation device 2004.
  • the location determined may include at least one of the following: country name, city, street, place, and point-of-interest.
  • the speech synthesis device 2003 outputs the acoustic signal via the transmitter 20033 to the acoustic output device 2002, which acoustically reproduces the designation as the phoneme or the phoneme sequence in the second state.
  • the speech output device is a loudspeaker that reproduces the acoustic signal (as an output of the wave gene function).
  • the acoustic output device 2003 may also be more complex, e.g. can the speech synthesis be content with the generation of the phonemes or phoneme sequences, in which case the function wave gen can be outsourced to the acoustic output device 2002.
  • Fig. 5 signals 2006 "Preparation Finished” and 2007 "Prompt Now” shown.
  • the preparation of a voice output can take a predetermined time (depending on the system, for example, 1 to 5 seconds).
  • the navigation device 2004 may send the control signal 2005 earlier (preferably plus a temporal safety allowance) to the device 2003 by the predetermined time to already prepare the phoneme to be outputted or the phoneme sequence to be output.
  • steps S2 (Select) to S4 (Change) or to S5, Convert, depending on the equipment of the acoustic output device 2002) would then already take place and a successful completion of the phoneme sequence by signal 2006 could the navigation system 2004 be reported back.
  • the navigation device 2004 outputs the signal 2007, whereupon steps S5 and S6, output (or only S6) can then be performed. This procedure is advantageous in order to adapt the presented technology, for example, to real-time conditions.
  • the phonemes or phoneme sequences may be in a variety of languages and accordingly may be selected based on user input.
  • the declined case can be one of genitive, dative, and accusative.
  • the declined case may be one of genitive, dative, vocative, and locative (instrumental and pre-positive, if any).
  • the declined case may be one of genitive, dative, and locative (instrumental, ablative, and allative, if any).
  • the first state of the phoneme or phoneme sequence may still be a singular of the noun, while the second state of the phoneme may be at least one of Dual, Paral, Trial, Quadral, Paukal, Plural, and Distributive of the noun. Furthermore, the first state of the phoneme or phoneme sequence may be a masculine of the noun, the second state of the phoneme or phoneme sequence may be at least one of feminine and neuter of the noun.
  • the phoneme formats are often language dependent. Therefore, the language can be chosen before applying the algorithm.
  • the system-level language setting is performed for all affected vehicle components. Thus, only one language applies at a time, and the system presented here can make the appropriate settings.
  • the system is bilingual: names of places, streets, etc. are rendered in the local language, while all other sentences and phrases are pronounced in the system language.
  • Country-specific variants are also produced in conventional (navigation) projects in the automotive industry, so that the required language-dependent regular expressions for various markets can be created in the course of the project and only the required part must be provided upon delivery.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Description

Technisches GebietTechnical area

Die vorliegende Offenbarung betrifft allgemein Navigationssysteme. Konkret wird eine Technik zur Ausgabe eines akustischen Signals mittels eines Navigationssystems im Rahmen einer Routenführung angegeben.The present disclosure relates generally to navigation systems. Concretely, a technique for outputting an acoustic signal by means of a navigation system is given as part of route guidance.

Hintergrundbackground

Navigationssysteme mit Sprachausgabe, insbesondere für Fahrzeuge, haben den Markt erobert. Kein modernes Navigationssystem ist ohne Sprachausgabe erhältlich. Die Vorteile der Sprachausgabe liegen auf der Hand: jede rein visuelle Anzeige, wenn sie nicht im Umfeld eines hochmodernen Head-Up-Displays (HUD) für Fahrzeuge erfolgt, kann den Fahrer vom Verkehrsgeschehen ablenken. Dies liegt daran, dass der Fahrer den direkten Blick auf das vor ihm Liegende leicht zur Seite oder nach unten (oder, vor allem bei portablen Navigationssystemen, nach oben) richten muss, um die ihm dargereichten Informationen rein visuell aufzunehmen. Es sei angemerkt, dass selbst HUD-basierte Systeme in der Regel eine Sprachausgabe aufweisen, um die Ablenkung des Fahrers so gering wie möglich zu halten. Schon geringere Ablenkungen, wie die Verwendung von Mobiltelefonen ohne Freisprechanlage, wurden vom deutschen Gesetzgeber verboten.Navigation systems with voice output, especially for vehicles, have conquered the market. No modern navigation system is available without voice output. The advantages of speech output are obvious: any purely visual display, if not in the environment of a state-of-the-art head-up display (HUD) for vehicles, can distract the driver from the traffic. This is because the driver has to direct the view of the person lying in front of him slightly to the side or down (or, especially in portable navigation systems, upward) in order to record the information presented to him purely visually. It should be noted that even HUD-based systems typically have a voice output to minimize the distraction of the driver. Even lower distractions, such as the use of mobile phones without hands-free system, were banned by the German legislature.

So vorteilhaft und wünschenswert die Sprachausgabe bei Navigationssystemen ist, so schwierig ist die technische Implementierung von Text-to-speech (TTS-) Mechanismen, insbesondere in Navigationssystemen mit oft systembedingt knappen Verarbeitungsressourcen. Beinahe jede lebende Sprache, gleich welchem Sprachstamm sie angehört, stellt ein hochkomplexes, nicht immer stringent logisches Regelwerk dar, das mittels Computerlogik stets nur angenähert werden kann.As advantageous and desirable as voice output in navigation systems is, the technical implementation of text-to-speech (TTS) mechanisms is particularly difficult, especially in navigation systems with often system-limited processing resources. Almost every living language, no matter which language strain it belongs to, is a highly complex, not always stringently logical set of rules that can only be approximated by means of computer logic.

Ein möglicher TTS-Ansatz gemäß dem Stand der Technik besteht in der Verwendung von Graphemen, d.h. den typischerweise kleinsten bedeutungsunterscheidenden graphischen Einheiten des Schriftsystems einer bestimmten Sprache. Ein geschriebenes Wort (z.B. in Gestalt eines Text-Strings), das durch mehrere Grapheme ausgedrückt ist, kann beispielsweise mit einem der folgenden Mechanismen in ein gesprochenes, akustisches Signal umgewandelt werden.One possible prior art TTS approach is to use graphemes, ie, the typically smallest meaningful graphical units of the particular language's writing system. For example, a written word (eg, in the form of a text string) expressed by several graphemes can be converted into a spoken acoustic signal by one of the following mechanisms.

Bei ihrer Verwendung in dieser Beschreibung wird den Begriffen Graphem, Phonem und Allophon jeweils der nachstehend beschriebene Bedeutungsgehalt zugeschrieben.As used in this specification, the terms grapheme, phoneme, and allophone are each attributed the meaning content described below.

Ein Allophon stellt eine Variante eines Phonems im Sinn dieser Beschreibung dar, d.h. Allophone sind unterschiedliche Realisierungen eines Phonems. Im Unterschied zu Phonemen wohnt den Allophonen die Fähigkeit inne, Nuancen für verschiedene Sprecher wiederzugeben, um dann dasselbe Phonem unterschiedlich (sprecherabhängig) als Allophon auszusprechen. Als Beispiel sei das gerollte und das geriebene [r] genannt. Ein hochdeutscher Sprecher würde das Phonem /r/ als geriebenes 'r' aussprechen, wohingegen ein dialektgefärbter Sprecher das Phonem /r/ als rollendes 'r' realisieren würde, bei jeweils gleicher gegebener Phonemfolge.An allophone represents a variant of a phoneme in the sense of this description, i. Allophones are different implementations of a phoneme. In contrast to phonemes, the allophones have the ability to reproduce nuances for different speakers, and then pronounce the same phoneme differently (speaker-dependent) as an allophone. An example is the rolled and the rubbed [r]. A high German speaker would pronounce the phoneme / r / as a rubbed 'r', whereas a dialect-colored speaker would realize the phoneme / r / as a rolling 'r', each with the same given phoneme sequence.

Zusammenfassend ist das Phonem eine Abstraktion einer konkreten lautlichen Äußerung. Genauer handelt es sich um eine "Klasse von Lauten ..., die alle distinktiven Eigenschaften gemeinsam haben, in den nicht-distinktiven dagegen differieren können" (vgl. Meibauer, Jörg, Einführung in die germanistische Linguistik, 2. Aufl. (2007), S. 83).In summary, the phoneme is an abstraction of a concrete sound statement. To be more precise, it is a "class of sounds ... that share all distinctive characteristics, in which non-distinctive ones can differ" (see Meibauer, Jörg, Introduction to German Linguistics, 2nd ed. , P. 83).

Wie beschrieben, können sich konkrete Realisierungen von Phonemen erheblich voneinander unterscheiden und dennoch ein und demselben Phonem zugeordnet werden. Die Realisierungen (Instanzen) eines Phonems werden eben auch Allophone genannt (vgl. Eintrag "Phonem" in Wikipedia™).As described, concrete implementations of phonemes may differ significantly from each other and yet be assigned to the same phoneme. The realizations (instances) of a phoneme are also called allophones (see entry "phoneme" in Wikipedia ™).

Das Phonem ist zu unterscheiden vom Graphem. Das Graphem ist die kleinste bedeutungsunterscheidende Einheit der geschriebenen Sprache. Das Phonem hingegen die kleinste bedeutungsunterscheidende Einheit der gesprochenen Sprache (vgl. Eintrag "Phonem" in Wikipedia™).The phoneme is to be distinguished from the grapheme. The grapheme is the smallest meaningful unit of written language. The phoneme, on the other hand, is the smallest meaning-discriminating unit of the spoken language (see entry "Phonem" in Wikipedia ™).

Im Gegensatz zu den Phonemen hat ein Morphem sowohl eine lautliche, als auch eine graphische Ausprägung. Mit anderen Worten, das Phonem ist zu unterscheiden vom Morphem. Das Phonem ist definiert als kleinste bedeutungsunterscheidende, das Morphem ist definiert als kleinste bedeutungstragende sprachliche Einheit. Ein Morphem besteht in der Regel aus einem oder mehreren Phonemen (bzw. in der Schriftsprache Graphemen) (vgl. Eintrag "Phonem" in Wikipedia™).In contrast to the phonemes, a morpheme has both a sound and a graphic expression. In other words, the phoneme is different from the morpheme. The phoneme is defined as the smallest semantic meaning, the morpheme is defined as the smallest meaningful linguistic entity. A morpheme usually consists of one or more phonemes (or in the written language Graphemen) (see entry "phoneme" in Wikipedia ™).

Als Beispiel sei das Morphem 'Wald' genannt. Der Plural lautet 'Wälder' und geht dennoch aus demselben Morphem wie Wald hervor. Genau hier unterscheidet sich das Morphem vom Phonem, das ausschließlich auf die Aussprache gerichtet ist. Das heißt, das Morphem hat eine semantische (bedeutungstragende) Komponente.As an example, the morpheme called 'forest'. The plural is 'forests' and yet comes from the same morpheme as forest. This is exactly where the morpheme is different from the phoneme, which is focused exclusively on pronunciation. That is, the morpheme has a semantic (meaningful) component.

Fig. 1 zeigt ein graphembasiertes Sprachausgabesystem 100, das eine Datenbank 1001, eine Sprachsynthesevorrichtung 1003 und eine akustische Ausgabeeinrichtung 1002 umfasst. Die Sprachsynthesevorrichtung 1003 umfasst die Funktionen Graphem-zu-Phonem-Umwandler (g2p) und akustische Signalerzeugung (wave-gen). Die Datenbank 1001 kann Grapheme in verschiedenen Sprachen speichern, dargestellt sind deutsch, polnisch und tschechisch. Fig. 1 FIG. 12 shows a graph-based speech output system 100 that includes a database 1001, a speech synthesizer 1003, and an acoustic output device 1002. The speech synthesis device 1003 includes the functions grapheme to phoneme converter (g2p) and acoustic signal generation (wave-gene). The database 1001 can store graphemes in various languages, represented are German, Polish and Czech.

Zunächst erfolgt im Schritt g2p eine Umwandlung in Phoneme (kleinste bedeutungsunterscheidende Einheit der hörbaren Sprache), anschließend in Schritt wave-gen die Sprachsynthetisierung. Im Schritt g2p können sowohl automatische Verfahren eingesetzt werden, die Aussprache, Betonung und Dauer bestimmen, als auch manuelle Verfahren, bei denen manuell erstellte Ausnahme-Lexika für Sätze, Wörter und Wort-Teile Verwendung finden. Im Schritt wave-gen wird aus einem Phonem ein akustisches Signal erzeugt.First, in step g2p, a conversion into phonemes (smallest meaning-discriminating unit of the audible speech) ensues, then in step wave-gen the speech synthesizing. In step g2p, both automatic methods that determine pronunciation, stress, and duration, as well as manual methods that use manually created exception dictionaries for sentences, words, and word parts may be used. In step wave-gen, an acoustic signal is generated from a phoneme.

Problematisch hierbei ist, dass es unterschiedliche Phonem-Formate gibt, zum Beispiel abhängig vom Hersteller der Sprachsynthese-Software. Manche Phonem-Formate sind sprachabhängig, also nur dann verwendbar, wenn der Konverter in Schritt wave-gen auf die zum Phonem passende Sprache eingestellt ist.The problem here is that there are different phoneme formats, for example, depending on the manufacturer of the speech synthesis software. Some phoneme formats are language-dependent, ie only usable if the converter is set in step wave-gen to the language suitable for the phoneme.

Fig. 2 zeigt ein phonembasiertes Sprachausgabesystem 100, das die Datenbank 1001 und die bereits beschriebene Funktion wave-gen (hier als einziger Bestandteil der Sprachsynthesevorrichtung 1003) und die akustische Ausgabeeinrichtung 1002 umfasst. Wie in Fig. 2 gezeigt, enthält die Datenbank 1001 nicht nur die geschriebenen Orts- und Straßennamen (als Grapheme), sondern auch die entsprechenden Phoneme bzw. Phonemfolgen, beide in verschiedenen Sprachen, dargestellt sind deutsch, polnisch und tschechisch. Diese Phoneme bzw. Phonemfolgen haben in der Regel eine bessere Qualität als diejenigen, die ein automatischer Konverter (vgl. obiger Schritt g2p) erzeugen kann. Sowohl Grapheme als auch Phoneme bzw. Phonemfolgen werden regelmäßig im Nominativ gespeichert. Fig. 2 1 shows a phoneme-based speech output system 100 that includes the database 1001 and the wave-gen function described above (here as the sole component of the speech synthesis device 1003) and the acoustic output device 1002. As in Fig. 2 shown, database 1001 contains not only the written place and street names (as graphemes), but also the corresponding phoneme sequences, both in different languages, representing German, Polish and Czech. These phonemes or phoneme sequences generally have better quality than those which an automatic converter (see step g2p above) can generate. Both graphemes and phonemes or phoneme sequences are regularly stored in the nominative.

Für eine textuelle Darstellung auf dem Bildschirm eines Navigationssystems reicht der Nominativ meist aus. Für das Verwenden von Orts- und Straßennamen in einem gesprochenen Satz entstehen hier aber Probleme: "Bitte nehmen Sie die zweite Ausfahrt des Hauptplatz" ist grammatikalisch falsch, da der Nominativ anstelle des Genitivs verwendet wurde.For a textual representation on the screen of a navigation system, the nominative is usually sufficient. For using place and street names in one spoken phrase arise here but problems: "Please take the second exit of the main square" is grammatically wrong because the nominative was used instead of the genitive.

Eine weit verbreitete Lösung besteht in einer Umgehung des Problems, nämlich darin, den Satz einfach umzustellen: "Bitte nehmen Sie am Hauptplatz die zweite Ausfahrt" löst im Deutschen das Problem, da der hier nötige Dativ (zufällig) dem in der Datenbank gespeicherten Nominativ entspricht. Von Nachteil ist, dass einerseits nicht in jedem Falle die Umstellung zum gewünschten Ergebnis führt bzw. keine Lösung möglich ist und somit nicht alle Kasus grammatikalisch richtig ausgesprochen werden. In solchen Situationen wird die Annäherung an die richtige Aussprache bewertet und die niedrigere Qualität in Kauf genommen oder ein anderes Verfahren (wie z.B. die vorstehend beschriebenen Verfahren) gewählt.A common solution is to circumvent the problem, namely to simply change the sentence: "Please take the second exit at the main square" solves the problem in German, since the dative required here (coincidentally) corresponds to the nominative stored in the database , The disadvantage is that on the one hand not always the conversion leads to the desired result or no solution is possible and thus not all case grammatically correct pronounced. In such situations, the approximation to the proper pronunciation is assessed and the lower quality accepted, or another method (such as the methods described above) chosen.

Fig. 3 zeigt ein mehrfachwandelndes Sprachausgabesystem 100. Die Datenbank 1001 und die akustische Ausgabeeinrichtung 1002 sind mit den entsprechenden Elementen aus Fig. 2 identisch. Die Sprachsynthesevorrichtung 1003 umfasst weitere Funktionen, die nachstehend beschrieben sind. Fig. 3 shows a multi-conversion voice output system 100. The database 1001 and the acoustic output device 1002 are equipped with the corresponding elements Fig. 2 identical. The speech synthesis device 1003 includes other functions described below.

Die Mehrfachwandlung stellt eine alternative Lösung dar, in der ein Regelwerk auf Basis von Graphemen erstellt wird, z.B.: Genitiv-Regel: Aus ***platz wird ***platzes. Dieses Regelsystem eignet sich besonders für ost-europäische Sprachen, da es dort mehr Kasus gibt, die bei Routenführungs-Ansagen den Nominativ verbieten.The multiple conversion represents an alternative solution in which a set of rules is created on the basis of graphemes, for example: genitive rule: *** becomes *** places. This control system is particularly suitable for Eastern European languages, as there are more cases that prohibit the nominative in route guidance announcements.

Die gewünschten Grapheme (z.B. Hauptplatz im Nominativ) werden im Schritt reg-expr. mittels eines Regelwerks in den passenden Fall (z.B. Genitiv) dekliniert. Dieses Regelwerk ist jedoch nur durch Experten mit entsprechenden Sprach- und Verfahrenskenntnissen erstellbar und daher teuer, z.B.:

  • \ (.*/)' Plak \(.*/) --> \1Pla'Ku/2
  • \ (.*/)Na'mezti \(.*/) --> \lNa'meztim/2
The desired graphemes (eg main square in the nominative) are in the step reg-expr. declined by means of a set of rules in the appropriate case (eg genitive). However, this set of rules can only be created by experts with appropriate language and procedural knowledge and is therefore expensive, eg:
  • \ (. * /) 'Plak \ (. * /) -> \ 1Pla'Ku / 2
  • \ (. * /) Na'mezti \ (. * /) -> \ lNa'meztim / 2

In den (bereits beschriebenen) Schritten g2p und wave-gen werden Phoneme erzeugt und anschließend das akustische Signal ausgegeben.In the (already described) steps g2p and wave-gen, phonemes are generated and then the acoustic signal is output.

Von Nachteil ist, dass die optimierten Phoneme bzw. Phonemfolgen in der Datenbank nicht verwendet werden. Stattdessen werden die Grapheme umgeformt und der automatische Konverter (g2p) verwendet. Dieser erzeugt meist eine geringere Qualität in der Aussprache, da dieser nur Regeln und nur wenige Ausnahmefälle kennt. Auch benötigt der Schritt g2p Rechenzeit und macht das System unnötig träge.The disadvantage is that the optimized phonemes or phoneme sequences are not used in the database. Instead, the graphemes are reshaped and the automatic converter (g2p) is used. This usually produces a lower quality in the pronunciation, as it knows only rules and only a few exceptions. Also, the step g2p requires computation time and makes the system unnecessarily sluggish.

Hierzu ein Beispiel:

  • Graphem = Hauptplatz -> (reg-expr) Hauptplatzes -> (g2p) Aoptplases -> wave-gen.
  • Korrekt wäre Aoptplazes. Es ergibt sich eine Abweichung an der markierten Stelle.
Here is an example:
  • Graphem = Main Square -> (reg-expr) Main Square -> (g2p) Aoptplases -> wave-gen.
  • Correct would be Aoptplazes. This results in a deviation at the marked point.

Oft gilt als akzeptabel, wenn eine Sprachsynthese manche Wörter inkorrekt oder nur teilweise korrekt ausspricht. Aber gerade bei Navigationssystemen ist die Gefahr groß, dass manche Straßen- und Ortsnamen, die auf der täglichen Fahrstrecke des Fahrers liegen, sehr oft ausgesprochen werden und die resultierende falsche Aussprache die Benutzererfahrung mindert.It is often considered acceptable when a speech synthesis incorrectly pronounces some words or only partially pronounces them correctly. But with navigation systems in particular, there is a high risk that some street and place names that are on the driver's daily driving route are pronounced very often, and the resulting incorrect pronunciation reduces the user experience.

In diesem Zusammenhang offenbart die Druckschrift DE 100 42 942 A1 die Verwendung von phonetischen Transkriptionen, die erstens einen Prozess, aus einem Graphem ein Phonem zu erzeugen, und zweitens das erzeugte Phonem umfassen. Weiterhing lehrt diese Druckschrift die Verwendung von Füllpartikeln. Letztere werden verwendet, um Phoneme bzw. Phonemfolgen aus Graphemen zu erzeugen, indem Teile der Grapheme (Teilwörter) in einer graphembasierten Datenbank gespeichert werden und die zugehörigen Teil-Phoneme wieder zusammengesetzt werden. Als Füllpartikel wird hier z.B. ein Genitiv-'s' am vorderen Teilwort angesehen: "Rechtsstreit" wird beispielsweise zerlegt in das Teilwort "Recht", den Füllpartikel "s" und das Teilwort "streit". Diese 3 Teile werden einzeln mittels einer Datenbank in Phoneme bzw. Phonemfolgen übersetzt und anschließend wieder zusammengefügt. Diese Druckschrift lehrt also, wie zusammengesetzte Wörter zerlegt, Teilstücke zu Phonemen bzw. Phonemfolgen transkribiert (umgewandelt) und diese wieder zusammengefügt werden.In this context, the document discloses DE 100 42 942 A1 the use of phonetic transcriptions, which firstly involves a process of producing a phoneme from a grapheme and, secondly, the generated phoneme. Further, this document teaches the use of filler particles. The latter are used to generate phonemes or sequences of graphemes by storing parts of the graphemes (subwords) in a graph-based database and reassembling the corresponding part phonemes. For example, a "genitive" is considered as filler particle at the front partial word: "litigation" is broken down, for example, into the partial word "right", the filler particle "s" and the partial word "conflict". These three parts are individually translated into phonemes or phoneme sequences by means of a database and then reassembled. This document thus teaches how compound words are decomposed, parts of a piece are transcribed (converted) into phonemes or sequences of phonemes, and these are reassembled.

Die Druckschrift DE 689 13 669 T2 behandelt allgemein das Identifizieren von Sprachgruppen sowie das Umschreiben von Graphemen in Phoneme.The publication DE 689 13 669 T2 generally deals with the identification of language groups as well as the rewriting of graphemes into phonemes.

" Message-to-Speech: high quality speech generation for messaging and dialogue systems", Peter Spyns et.al., Concept to Speech Generation Systems Proceedings of a Workshop in conjunction with 35th Annual Meeting of the Association for Computational Linguistics, 11. Juli 1997, Seiten 11 bis 16 offenbart ein Nachricht-zu-Sprache-System für gesprochenen Dialog und Nachrichtenerzeugung. Das System verwendet eine Prosodie-Transplantation und spezialisierte Prosodie-Modelle zur Erlangung einer hochnatürlichen Prosodie für synthetisierte Sprache. Die Prosodie-Transplantation beruht auf einer Übernahme der Intonation und Sprachdauerwerte aus einer humansprachlichen Spendernachricht in die phonetische Transkription der gleichen Nachricht." Message-to-Speech: "High Quality Speech Generation for Messaging and Dialog Systems", Peter Spyns et al., Concept on Speech Generation Systems Proceedings of a Workshop in Conjunction with the 35th Annual Meeting of the Association for Computational Linguistics, July 11, 1997 , Pages 11 to 16 discloses a message-to-speech system for spoken dialogue and message generation. The system uses prosody transplantation and specialized prosody models to obtain highly natural prosody for synthesized speech. The prosody transplantation is based on taking over the intonation and duration of speech from a human-language donor message into the phonetic transcription of the same message.

Die Druckschrift DE 100 42 942 A1 offenbart ein Verfahren, eine Anordnung und ein Computerprogrammprodukt zur Sprachsynthese mittels einer Graphem-Phonem-Umsetzung. Dabei wird für ein gegebenes Wort in einer Datenbank, die phonetische Transkriptionen von Wörtern enthält, nach Teilwörtern des gegebenen Wortes gesucht. Wird mindestens ein Teilwort des gegebenen Wortes in der Datenbank gefunden, so wird für das gefundene Teilwort eine in der Datenbank verzeichnete phonetische Transkription gewählt. Das gegebene Wort weist neben dem gefundenen Teilwort mindestens einen weiteren Bestandteil auf, der nicht in der Datenbank verzeichnet ist. Dieser weitere Bestandteil wird mittels einer OOV-Behandlung phonetisch transkribiert und die phonetische Transkription des gefundenen Teilwortes und die phonetische Transkription des weiteren Bestandteils werden zusammengesetzt.The publication DE 100 42 942 A1 discloses a method, apparatus, and computer program product for speech synthesis by grapheme-phoneme translation. Here, for a given word in a database containing phonetic transcriptions of words, it searches for subwords of the given word. If at least one partial word of the given word is found in the database, a phonetic transcription recorded in the database is selected for the partial word found. The given word has, in addition to the found subword, at least one further constituent that is not recorded in the database. This further component is phonetically transcribed by means of an OOV treatment and the phonetic transcription of the found subword and the phonetic transcription of the further component are combined.

Kurzer AbrissShort outline

Die vorliegende Erfindung trachtet nach einer Lösung für zumindest eines der vorstehend beschriebenen sowie nach Lösungen weiterer Probleme. Insbesondere soll die Benutzererfahrung bei der Verwendung von Navigationssystemen mit sprachbasierter Routenführung gesteigert werden.The present invention seeks a solution for at least one of the problems described above as well as for solutions to further problems. In particular, the user experience is to be increased when using navigation systems with voice-based route guidance.

Erfindungsgemäß werden ein Verfahren und ein Navigationssystem gemäß den unabhängigen Ansprüchen bereitgestellt. Entwicklungen sind in den abhängigen Ansprüchen dargestellt.According to the invention, a method and a navigation system according to the independent claims are provided. Developments are presented in the dependent claims.

Das Verfahren umfasst die Schritte Speichern einer Vielzahl von Phonemfolgen in einem ersten Zustand in zumindest einer Datenbank, Auswählen zumindest einer der Vielzahl von Phonemfolgen auf der Grundlage eines im Rahmen einer Routenführung empfangenen Steuersignals, Bestimmen eines gewünschten zweiten Zustands der zumindest einen ausgewählten Phonemfolge auf der Grundlageausgewählter Kontextinformationen, Ändern zumindest eines Teils der ausgewählten Phonemfolge, um die ausgewählte Phonemfolge in den spezifizierten zweiten Zustand zu überführen, auf der Grundlage eines Regelwerks, und Umwandeln der Phonemfolge in dem zweiten Zustand in ein akustisches Signal zur Ausgabe mittels einer akustischen Ausgabeeinrichtung.The method includes the steps of storing a plurality of phoneme sequences in a first state in at least one database, selecting at least one of the plurality of phoneme sequences based on a control signal received as part of a route guidance, determining a desired second state of the at least one selected phoneme sequence on the basis of the selected one Context information, changing at least a portion of the selected phoneme sequence to translate the selected phoneme sequence to the specified second state, based on a policy, and converting the phoneme sequence in the second Condition into an acoustic signal for output by means of an acoustic output device.

Es werden bereits vorliegende Phoneme verwendet und zum Beispiel der Kasus mittels Ersetzungsregeln dekliniert.Already existing phonemes are used and, for example, the case declined by means of replacement rules.

Ferner wird die Phonemfolge mit der zumindest einen geänderten Teilfolge in ein akustisches Signal umgewandelt.Furthermore, the phoneme sequence with the at least one changed subsequence is converted into an acoustic signal.

Vorzugsweise werden somit keine Allophone verwendet, sondern Phonemfolgen für die Umwandlung von Text in Sprache und umgekehrt. In einer möglichen Implementierung würde das genutzte Phonem-Alphabet vom Hersteller der TTS-Engine zur Verfügung gestellt. Diese Liste der verwendeten Phoneme ist z.B. eine Spezialisierung des ASCII-basierten phonetischen Alphabets SAMPA. Vorteilhafterweise wird eine Teilfolge einer Phonemfolge derart identifiziert und ersetzt (oder eine solche Teilfolge an die Phonemfolge angehängt), dass eine semantische Komponente ohne Belang ist.Preferably, therefore, no allophones are used, but phoneme sequences for the conversion from text to speech and vice versa. In one possible implementation, the phoneme alphabet used would be provided by the manufacturer of the TTS engine. This list of phonemes used is e.g. a specialization of the ASCII-based phonetic alphabet SAMPA. Advantageously, a subsequence of a phoneme sequence is identified and replaced (or such a subsequence appended to the phoneme sequence) such that a semantic component is irrelevant.

Vorzugsweise kann der Schritt Ändern ein Anhängen eines Anhangs an das ausgewählte Phonem bzw. die ausgewählte Phonemfolge umfassen. Insbesondere kann der Anhang die ändernde Phonemfolge sein und an die ausgewählte Phonemfolge angehängt werden. Dies kann die Änderung des ausgewählten Phonems bzw. der ausgewählten Phonemfolge vereinfachen.Preferably, the changing step may include attaching an attachment to the selected phoneme or phoneme sequence. In particular, the appendix may be the changing phoneme sequence and appended to the selected phoneme sequence. This can simplify the modification of the selected phoneme or phoneme sequence.

Das empfangene Steuersignal kann aus einem Routenberechnungsmodul des Navigationssystems stammen. Ferner kann das Navigationssystem in einem Fahrzeug angeordnet sein. Das empfangene Steuersignal umfasst eine erste Kennung einer Bezeichnung eines durch das Navigationssystem ermittelten Orts und eine zweite Kennung eines auszugebenden Manöverhinweises. In letzterem Fall kann das akustische Signal eine auszugebende Bezeichnung eines durch das Navigationssystem ermittelten Orts umfassen. Wenn dem so ist, dann kann der ermittelte Ort zumindest eine der folgenden Angaben umfassen: Ländername, Stadt, Straße, Platz und Point-Of-Interest.The received control signal may originate from a route calculation module of the navigation system. Furthermore, the navigation system can be arranged in a vehicle. The received control signal comprises a first identifier of a designation of a location determined by the navigation system and a second identifier of a maneuver instruction to be issued. In the latter case, the acoustic signal may comprise a designation of a location determined by the navigation system. If so, then the location determined may include at least one of the following: country name, city, street, place, and point-of-interest.

Der Speicherschritt umfasst weiterhin Speichern einer Vielzahl von vordefinierten Kon- H textinformationen, die den zweiten Zustand definieren. Ferner umfasst der Auswahlschritt weiterhin Auswählen des zumindest einen Phonems bzw. der zumindest einen Phonemfolge auf der Grundlage der ersten Kennung und Auswählen zumindest einer vordefinierten Kontextinformation auf der Grundlage der zweiten Kennung. Der Bestimmungsschritt umfasst Bestimmen des gewünschten zweiten Zustands des Phonems auf der Grundlage der ausgewählten Kontextinformation Schließlich kann das Verfahren noch Ausgeben des akustischen Signals mittels der akustischen Ausgabeeinrichtung umfassen, in dem die Bezeichnung als Phonem bzw. Phonemfolge in dem zweiten Zustand ausgegeben wird.The storing step further comprises storing a plurality of predefined context information defining the second state. Furthermore, the selecting step further comprises selecting the at least one phoneme or the at least one phoneme sequence on the basis of the first identifier and selecting at least a predefined context information based on the second identifier. The determining step comprises determining the desired second state of the phoneme based on the selected context information. Finally, the method may further comprise outputting the acoustic signal by means of the acoustic output device, in which the designation is output as a phoneme sequence in the second state.

Diese zusätzlichen (teilweise optionalen) Merkmale ermöglichen beispielsweise eine optimale Ausnutzung der bereits gespeicherten Phoneme bzw. Phonemfolgen bei gleichzeitiger optimaler Ausnutzung der Systemressourcen, da die Entscheidung über den zweiten Zustand allein aus den Kontextinformationen bestimmbar und das ausgewählte Phonem bzw. die ausgewählte Phonemfolge direkt in den zweiten Zustand überführbar ist. Mit anderen Worten wird z.B. der zu verwendende Kasus nicht bereits von dem Navigationssystem bestimmt, sondern geht aus dem zu sprechenden Satz hervor, der in der Datenbank hinterlegt ist.These additional (partially optional) features allow, for example, an optimal utilization of the already stored phonemes or phoneme sequences while optimally exploiting the system resources, since the decision on the second state alone from the context information determinable and the selected phoneme or the selected phoneme sequence directly into the second state is convertible. In other words, e.g. the case to be used is not already determined by the navigation system, but emerges from the sentence to be spoken, which is stored in the database.

Eine Variante ermöglicht eine optimale Deklination z.B. eines Straßennamens unter Ausnutzung der bereits gespeicherten Phoneme bzw. Phonemfolgen.One variant allows optimal declination, e.g. a street name using the already stored phonemes or phoneme sequences.

Vorzugsweise kann ferner der undeklinierte Kasus ein Nominativ sein, während der deklinierte Kasus zumindest einer aus Genitiv, Dativ, Akkusativ, Vokativ, Lokativ, Instrumental, Ablativ, Allativ und Präpositiv sein kann. Der zu ändernde Teil des Phonems bzw. der Phonemfolge kann durch einen regulären Ausdruck ersetzt werden. Im letzteren Fall kann der Anhang durch einen regulären Ausdruck bestimmt sein. Dies ermöglicht eine weiter verbesserte Deklination z.B. von Straßennamen unter Verwendung der regulären Ausdrücke (die zum Beispiel selbst als fertiges Phonem einer jeweiligen Fallendung, z.B. ein gesprochenes Genitiv-s, vorliegen). Wie vorstehend beschrieben, kann die Phonemfolge die Form eines Nomens im Nominativ darstellen; vorteilhafterweise setzt dies jedoch keine sprachliche Intelligenz voraus, die eine semantische Behandlung durch Morpheme notwendig machte.Preferably, the undeclared case may further be a nominative, while the declined case may be at least one of genitive, dative, accusative, vocative, locative, instrumental, ablative, allative, and prepi-positive. The part of the phoneme or phoneme sequence to be changed can be replaced by a regular expression. In the latter case, the attachment may be determined by a regular expression. This allows a further improved declination, e.g. street names using the regular expressions (which, for example, are themselves as a completed phoneme of a respective fall-ending, e.g., a spoken genitive-s). As described above, the phoneme sequence may be in the form of a noun nominative; however, advantageously, this does not require any linguistic intelligence that necessitates semantic treatment by morphemes.

Die Phoneme bzw. Phonemfolgen können jeweils in einer Vielzahl von Sprachen in der Sprachdatenbank vorliegen. Dabei kann das Verfahren weiterhin Auswählen einer der Vielzahl von Sprachen auf der Grundlage einer Benutzereingabe umfassen. Dies ermöglicht wiederum eine optimale Ausnutzung der bereits vorhandenen Phoneme bzw. Phonemfolgen unter Berücksichtigung der gewünschten Sprache.The phonemes or phoneme sequences can each be present in a multiplicity of languages in the language database. The method may further include selecting one of the plurality of languages based on user input. This in turn allows optimal utilization of the already existing phonemes or phoneme sequences taking into account the desired language.

Die Vielzahl von Sprachen können romanische und germanische Sprachen umfassen, und der deklinierte Kasus kann einer aus Genitiv, Dativ und Akkusativ sein. Dies ermöglicht die Verwendung z.B. deutscher, französischer oder englischer Sprache und eine Anpassung an den jeweiligen Kasus basierend auf den Phonemen bzw. Phonemfolgen.The multitude of languages may include Romance and Germanic languages, and the declined case may be one of genitive, dative, and accusative. This allows the use of e.g. German, French or English and an adaptation to the particular case based on the phoneme or phoneme sequences.

Alternativ oder zusätzlich hierzu kann die Vielzahl von Sprachen slawische und baltische Sprachen umfassen. Der deklinierte Kasus kann hier einer aus Genitiv, Dativ, Vokativ und Lokativ sein. Ferner kann der deklinierte Kasus weiterhin einen Instrumental und Präpositiv umfassen, insoweit die slawische oder baltische Sprache diesen Kasus umfasst. Dies ermöglicht die Anpassung des Sprachausgabesystems z.B. an die polnische, tschechische oder slowakische Sprache unter Berücksichtigung der Tatsache, dass in diesen Sprachen z.T. der Akkusativ vom Nominativ verschieden ist (dies ist im Deutschen häufig nicht der Fall). Ferner ist auch der Kasus Lokativ (Ortsabhängigkeit des Nomens) abgedeckt, der im Deutschen nicht existiert und gerade bei einem Navigationssystem häufig vorkommen kann.Alternatively, or in addition, the plurality of languages may include Slavic and Baltic languages. The declined case can here be one of genitive, dative, vocative and locative. Furthermore, the declined case may further include an instrumental and prepositional as far as the Slavic or Baltic language includes this case. This allows adaptation of the speech output system e.g. to the Polish, Czech or Slovak languages, taking into account that in those languages the accusative is different from the nominative (this is often not the case in German). Furthermore, the case locative (location dependency of the noun) is covered, which does not exist in German and can occur frequently in a navigation system.

Alternativ oder zusätzlich hierzu kann die Vielzahl von Sprachen oghusische Sprachen umfassen. Hierbei kann der deklinierte Kasus einer aus Genitiv, Dativ, und Lokativ sein. Der deklinierte Kasus kann weiterhin einen aus Instrumental, Ablativ und Allativ umfassen, insoweit die oghusische Sprache diesen Kasus umfasst. Dies ermöglicht die Anpassung des Sprachausgabesystems z.B. an die türkische Sprache unter Berücksichtigung der Tatsache, dass in dieser Sprache z.T. der Akkusativ vom Nominativ verschieden ist. Ferner sind auch die Kasus Ablativ (woher?) und Allativ (wohin?) abgedeckt, die im Deutschen nicht existieren und gerade bei Navigationssystemen häufig vorkommen, wie z.B. in Angaben vom Typ "Verlassen Sie die x-Straße und biegen Sie in die y-Gasse ein".Alternatively or additionally, the plurality of languages may include Oghuzian languages. Here, the declined case can be one of genitive, dative, and locative. The declined case may further include one of instrumental, ablative, and allative, as far as the Oghuzian language encompasses this case. This allows adaptation of the speech output system e.g. to the Turkish language, taking into account that in this language the accusative is different from the nominative. Furthermore, the case Ablativ (where?) And Allativ (where?) Are covered, which do not exist in German and are common in navigation systems, such. in type "Leave the x-road and turn into the y-lane".

Vorzugsweise kann das Phonem bzw. die Phonemfolge ein grammatikalisches Nomen darstellen. Der erste Zustand des Phonems bzw. der Phonemfolge kann ein Singular des Nomens sein, und der zweite Zustand des Phonems bzw. der Phonemfolge kann zumindest einer aus Dual, Paral, Trial, Quadral, Paukal, Plural und Distributiv des Nomens sein. Alternativ oder zusätzlich kann das Phonem bzw. die Phonemfolge ein grammatikalisches Nomen darstellen. Der erste Zustand des Phonems kann ein Maskulinum des Nomens sein, und der zweite Zustand des Phonems bzw. der Phonemfolge zumindest einer aus Femininum und Neutrum des Nomens (oder umgekehrt). Dies erlaubt eine ggf. nötige Anpassung des Nomens auch an den Numerus und/oder Genus.Preferably, the phoneme or the phoneme sequence can represent a grammatical noun. The first state of the phoneme or phoneme sequence may be a singular of the noun, and the second state of the phoneme or phoneme sequence may be at least one of Dual, Paral, Trial, Quadral, Paukal, Plural, and Distributive of the noun. Alternatively or additionally, the phoneme or the phoneme sequence can represent a grammatical noun. The first state of the phoneme may be a masculine of the noun, and the second state of the phoneme or phoneme sequence of at least one feminine and neuter of the noun (or vice versa). This allows a possibly necessary adaptation of the noun also to the number and / or gender.

Vorzugsweise ist ebenfalls ein Computerprogrammprodukt mit Programmcodeabschnitten vorgesehen zum Durchführen des erfindungsgemäßen Verfahrens vor, wenn das Computerprogrammprodukt auf einer oder mehreren Computereinrichtungen (z.B. einem Navigationssystem) ausgeführt wird. Das Computerprogrammprodukt kann auf einem computerlesbaren Aufzeichnungsmedium aufgezeichnet sein.Preferably, a computer program product with program code sections is also provided for carrying out the method according to the invention when the computer program product is executed on one or more computer devices (for example a navigation system). The computer program product may be recorded on a computer readable recording medium.

Ferner ist ein Navigationssystem zur Ausgabe eines akustischen Signals vorgesehen, wobei das Navigationssystem zumindest eine Datenbank und eine akustische Ausgabeeinrichtung umfasst, und wobei die Vorrichtung zumindest einen Prozessor umfasst, der die Vorrichtung anpasst, um alle Schritte des hier vorgestellten Verfahrens durchzuführen.Furthermore, a navigation system is provided for outputting an acoustic signal, wherein the navigation system comprises at least one database and an acoustic output device, and wherein the device comprises at least one processor which adapts the device to perform all the steps of the method presented here.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Die beiliegenden Zeichnungen zeigen Ausführungsbeispiele, auf die die vorliegende Erfindung jedoch in keiner Weise einzuschränken ist. In den Zeichnungen bezeichnen gleiche Bezugszeichen dieselben oder ähnliche Funktionsblöcke bzw. -schritte. Es sei darauf hingewiesen, dass die Darstellung von einzelnen Funktionsblöcken oder - schritten nicht die Möglichkeit ausschließt, dass die jeweilige zu Grunde liegende Funktionalität auf mehreren Einrichtungen bzw. in mehreren Schritten zu implementieren ist. Es zeigen:

  • Fig. 1 ein rein graphembasiertes Sprachausgabesystem;
  • Fig. 2 ein rein phonem- bzw. phonemfolgenbasiertes Sprachausgabesystem;
  • Fig. 3 ein mehrfachwandelndes Sprachausgabesystem;
  • Fig. 4 ein erstes Prinzipschema eines Sprachausgabesystems gemäß einem Ausführungsbeispiel;
  • Fig. 5 ein zweites Prinzipschema eines Navigationssystems gemäß einem Ausführungsbeispiel;
  • Fig. 6 die Komponenten, die in einem Ausführungsbeispiel von einer Vorrichtung umfasst sind; und
  • Fig. 7 ein Verfahren (und demgemäß die Interaktion zwischen den Komponenten) gemäß einem Ausführungsbeispiel.
The accompanying drawings show embodiments to which, however, the present invention is in no way limited. In the drawings, like reference numerals designate the same or similar functional blocks or steps. It should be noted that the presentation of individual functional blocks or steps does not preclude the possibility that the respective underlying functionality is to be implemented on several devices or in several steps. Show it:
  • Fig. 1 a purely graph-based speech output system;
  • Fig. 2 a purely phoneme-based speech output system;
  • Fig. 3 a multi-conversion voice output system;
  • Fig. 4 a first schematic diagram of a speech output system according to an embodiment;
  • Fig. 5 a second schematic diagram of a navigation system according to an embodiment;
  • Fig. 6 the components included in one embodiment of a device; and
  • Fig. 7 a method (and hence the interaction between the components) according to one embodiment.

Detaillierte BeschreibungDetailed description

In der nachstehenden Beschreibung werden, zum Zwecke der Erklärung nicht aber der Einschränkung, spezifische Details (wie einzelne Signalisierungsschritte) beschrieben, um ein grundlegendes Verständnis der hier vorgestellten Technik zu gewährleisten. Es ist für den Fachmann ersichtlich, dass die vorliegende Technik in anderen Ausführungsbeispielen verwirklicht werden kann, die von diesen spezifischen Details abweichen.In the following description, for purposes of explanation but not limitation, specific details (such as individual signaling steps) are described to provide a thorough understanding of the technique presented herein. It will be apparent to those skilled in the art that the present technique may be practiced in other embodiments that depart from these specific details.

Des Weiteren erschließt sich dem Fachmann, dass die nachstehend erklärten Dienste, Funktionen und Schritte unter Verwendung von Software, die in Kombination mit einem Mikroprozessor vorgesehen ist, oder unter Verwendung einer anwendungsspezifischen integrierten Schaltung (ASIC, Application Specific Integrated Circuit), eines digitalen Signalprozessors (DSP) oder eines Allzweckcomputers implementiert werden kann. Es sei ebenso darauf hingewiesen, dass obwohl die nachstehenden Ausführungsbeispiele im Kontext von Verfahren und Vorrichtungen beschrieben werden, die hier vorgestellte Technik ebenso in einem Computerprogrammprodukt sowie in einem System verwirklicht werden kann, das einen Computerprozessor und einen an den Prozessor gekoppelten Speicher umfasst, wobei der Speicher eines oder mehrere Programmen enthält, das oder die hier offenbarten Dienste, Funktionen und Schritte ausführt oder ausführen.Further, those skilled in the art will appreciate that the following explained services, functions, and steps are made using software provided in combination with a microprocessor or using an Application Specific Integrated Circuit (ASIC) digital signal processor. DSP) or a general purpose computer. It should also be understood that while the following embodiments are described in the context of methods and apparatus, the technique presented herein may also be implemented in a computer program product as well as in a system including a computer processor and a memory coupled to the processor Memory contains one or more programs that perform or perform services, functions, and steps disclosed herein.

Fig. 4 zeigt ein erstes Prinzipschema eines Systems 200 gemäß einem Ausführungsbeispiel zur Implementierung eines Navigationssystems. Wie in Fig. 4 gezeigt ist, umfasst das System 200 eine Datenbank 2001, die sowohl Grapheme als auch Phoneme bzw. Phonemfolgen in einem ersten Zustand (z.B. Nominativ) speichern kann, eine akustische Ausgabeeinrichtung 2002 und eine Sprachsynthesevorrichtung 2003. Die Sprachsynthesevorrichtung 2003 kann die Funktion reg-exp zum Anhängen bzw. Ändern eines Teils eines ausgewählten Phonems bzw. einer ausgewählten Phonemfolge z.B. durch einen regulären Ausdruck umfassen, so dass das Phonem bzw. die Phonemfolge in einen zweiten Zustand (z.B. dekliniert in den Genitiv) vorliegt, und die bereits beschriebene Funktion wave-gen zur Umwandlung des Phonems bzw. der Phonemfolge im zweiten Zustand in ein akustisches Signal. Das so erzeugte akustische Signal kann wiederum mittels der akustischen Ausgabeeinrichtung 2002 ausgegeben werden. Fig. 4 shows a first schematic diagram of a system 200 according to an embodiment for implementing a navigation system. As in Fig. 4 2, the system 200 includes a database 2001 capable of storing both graphems and phoneme sequences in a first state (eg, nominative), an acoustic output device 2002, and a speech synthesis device 2003. The speech synthesis device 2003 may perform the function reg-exp Append or change a part of a selected phoneme or a selected phoneme sequence, for example, by a regular expression, so that the phoneme or phoneme sequence in a second state (eg, declined in the genitive) is present, and the wave-gene function already described for converting the phoneme or the phoneme sequence in the second state into an acoustic signal. The acoustic signal thus generated can in turn be output by means of the acoustic output device 2002.

Die Phoneme bzw. Phonemfolgen können in einem Format wie Nuance-LH+, Star-Rec®, internationalephoneme o.ä. implementiert sein. Die vorliegende Offenbarung ist jedoch nicht darauf eingeschränkt.The phonemes or phoneme sequences can be written in a format like Nuance-LH +, Star-Rec®, internationalephoneme or similar. be implemented. However, the present disclosure is not limited thereto.

Als Anwendungsbeispiel kann, wie in Fig. 4 gezeigt ist, ein Regelwerk definiert werden, wobei das Regelwerk dazu eingerichtet ist, um den Kasus z.B. von Straßen- und Ortsnamen für das Navigationssystem, die z.B. im Nominativ gespeichert sind, direkt auf Phoneme bzw. Phonemfolgen anzuwenden. Im Schritt reg-exp werden mittels dieses Regelwerks, wie z.B. Regular Expressions, Phoneme bzw. Phonemfolgen analysiert und in den passenden Fall umgeformt. Zwei hierfür geeignete Regeln lauten z.B.:

  • \ (.*/)' Plak \(.*/) --> \1Pla'Ku/2
  • z.B.: 'Plak Pilzutz'kiego --> Pla'ku Pilzutz'kiego (polnisch)
  • \ (.*/)Na'mezti \(.*/) --> \1Na'meztim/2
  • z.B.: Na'meZti Mirr'u --> Na'meztim Mirr'u (tschechisch)
As an example of application, as in Fig. 4 is shown, a set of rules are defined, the rule is set up to apply the case of eg street and place names for the navigation system, which are stored eg in the nominative, directly to phonemes or phoneme sequences. In the step reg-exp, these rules, such as regular expressions, analyze phonemes or phoneme sequences and transform them into the appropriate case. Two suitable rules are for example:
  • \ (. * /) 'Plak \ (. * /) -> \ 1Pla'Ku / 2
  • eg: 'Plak Pilzutz'kiego ->Pla'kuPilzutz'kiego (Polish)
  • \ (. * /) Na'mezti \ (. * /) -> \ 1Na'meztim / 2
  • eg: Na'meZti Mirr'u ->Na'meztimMirr'u (Czech)

Ein regulärer Ausdruck (oder Regular Expression) kann als Such-Muster innerhalb eines Text-Strings verstanden werden. Manchmal wird auch die Kombination aus Such-Muster und Ersetzungs-Muster als regulärer Ausdruck bezeichnet. Ein regulärer Ausdruck kann beispielsweise einen Phonem-Anhang beschreiben.A regular expression (or regular expression) can be understood as a search pattern within a text string. Sometimes the combination of the search pattern and the replacement pattern is called a regular expression. For example, a regular expression can describe a phoneme attachment.

Eingabe-Parameter eines Regel-Werkes, das auf regulären Ausdrücken basiert, können sein:

  • Phonem bzw. Phonemfolge im Nominativ
  • Sprache des Phonems bzw. der Phonemfolge
  • benötigter Fall
Input parameters of a rule work based on regular expressions can be:
  • Phoneme or phoneme sequence in the nominative
  • Language of the phoneme or the phoneme sequence
  • required case

Ausgabe-Parameter kann sein:

  • Phonem bzw. Phonemfolge im gewünschten Fall
Output parameter can be:
  • Phoneme or phoneme sequence in the desired case

Implementierung kann sein:

  • Ein Regelwerk, z.B. als "Regular Expressions" (d.h. reguläre Ausdrücke) formuliert, wird hier für Phoneme eingesetzt.
Implementation can be:
  • A set of rules, eg formulated as "regular expressions", is used here for phonemes.

In einer beispielhaften Implementierung liegt die vorstehend beschriebene ändernde Teilfolge als ein "RegExp" (regulärer Ausdruck) vor. Ein "RegExp" ist eine besonders speicherschonende Variante einer (Teil-) Phonemfolge, die grundsätzlich auch unter verschiedenen Umständen immer gleich ausgesprochen wird (d.h. selbst im Kontext anderer Phoneme bzw. Phonemfolgen ihre Aussprache nicht oder nur unwesentlich ändert).In an exemplary implementation, the above-described changing subsequence exists as a "RegExp" (regular expression). A "RegExp" is a particularly memory-conserving variant of a (sub-) phoneme sequence, which is basically always pronounced the same way under different circumstances (ie even in the context of other phonemes or phoneme sequences does not or only insignificantly changes its pronunciation).

Als Beispiel zur Verwendung eines "RegExp" liegt, wie in Fig. 4 gezeigt, in ihrem Grundzustand zum Beispiel die Phonemfolge /Aoptplaz/ vor. Gemäß einer externen Eingabe (Steuersignal) kann z.B. der Genitiv der Phonemfolge gewünscht sein (dies heißt nicht, dass eine semantische Komponente beteiligt wäre; es handelt sich z.B. um eine simple Wenn-Dann-Implementierung). Infolgedessen wird das Phonem /es/ (hier: ein Genitiv-s) an die Phonemfolge angehängt; da das Genitiv-s am Wortende im Wesentlichen immer gleich ausgesprochen wird, kann hier ein "RegExp" anstelle eines 'vollwertigen' Phonems bzw. der Phonemfolge verwendet werden. Die neue Phonemfolge /Aoptplazes/wird nun in ein akustisches Signal umgewandelt, was bei der Verwendung eines "RegExp" besonders effizient und speicherschonend durchgeführt werden kann.As an example of using a "RegExp" lies as in Fig. 4 shown in its ground state, for example, the phoneme sequence / Aoptplaz /. According to an external input (control signal), for example, the genitive of the phoneme sequence may be desired (this does not mean that a semantic component would be involved, eg a simple if-then implementation). As a result, the phoneme / es / (here: a genitive-s) is appended to the phoneme sequence; since the genitive-s is always pronounced the same at the end of the word, a "RegExp" can be used instead of a "full-blown" phoneme or the phoneme sequence. The new phoneme sequence / Aoptplazes / is now converted into an acoustic signal, which can be carried out particularly efficiently and memory-conserving when using a "RegExp".

Fig. 5 zeigt ein zweites Prinzipschema eines Systems 200 für Navigationszwecke, welches auf dem System gemäß Fig. 4 basiert. Wie in Fig. 5 gezeigt ist, umfasst das Navigationssystem 200 die Datenbank 2001, die sowohl Grapheme als auch Phoneme bzw. Phonemfolgen in einem ersten Zustand (z.B. Nominativ) als auch optional Kontextinformationen (z.B. einen vorgefertigten Satz als Graphem, in das nur noch das Phonem bzw. die Phonemfolge im passenden Kasus eingepasst werden muss) speichern kann, die akustische Ausgabeeinrichtung 2002 und die Sprachsynthesevorrichtung 2003 sowie eine Navigationseinrichtung 2004 mit einem Routenführungsmodul. Die Sprachsynthesevorrichtung 2003 kann die vorstehend beschriebenen Funktionen g2p, reg-exp und wave-gen umfassen. Das so erzeugte akustische Signal kann wiederum mittels der akustischen Ausgabeeinrichtung 2002 ausgegeben werden. Ferner kann das System 200 noch Signale 2005, 2006 und 2007 generieren und/oder verarbeiten, die nachstehend ausführlicher beschrieben werden. Fig. 5 shows a second schematic diagram of a system 200 for navigation purposes, which is based on the system according to Fig. 4 based. As in Fig. 5 is shown, the navigation system 200 includes the database 2001, both grapheme and phonemes or phoneme sequences in a first state (eg nominative) and optional context information (eg a ready-made sentence as a grapheme, in which only the phoneme or phoneme sequence can be fitted in the appropriate case), the acoustic output device 2002 and the speech synthesis device 2003 and a navigation device 2004 with a route guidance module. The speech synthesis device 2003 may include the functions g2p, reg-exp and wave-gen described above. The acoustic signal thus generated can in turn be output by means of the acoustic output device 2002. Further, the system 200 may still generate and / or process signals 2005, 2006, and 2007, which are described in more detail below.

Fig. 6 zeigt die Komponenten, die in einem Ausführungsbeispiel von der Vorrichtung (Sprachsynthesevorrichtung) 2003 umfasst sind. Die (Sprachsynthese-)Vorrichtung 2003 umfasst eine Kernfunktionalität 20031, die z.B. als zumindest eine CPU (zentrale Verarbeitungseinheit, "Central Processing Unit") oder Mikroprozessor, als dedizierte Schaltung (mit den vorstehend beschriebenen Implementierungsvarianten) oder als Softwaremodul implementiert sein kann. Ferner umfasst die Vorrichtung 2003 einen Speicher 20032, einen Sender 20033 und einen Empfänger 20034, die zur Kommunikation der Vorrichtung 2003 mit einer anderen Vorrichtung (z.B. der Datenbank 2001, dem Navigationssystem 2004 oder akustischen Ausgabeeinrichtung 2002) oder mit dem Benutzer dienen können. Des Weiteren umfasst die Vorrichtung 2003 eine Auswahleinrichtung 20035, eine Bestimmungseinrichtung 20036, eine Änderungseinrichtung 20037 (die optional wiederum eine Anhängeinrichtung 20038 umfassen kann) und eine Umwandlungseinrichtung 20039. Ebenso umfasst die Datenbank 2001 eine Kernfunktionalität 20011, einen Speicher 20012, einen Sender 20013 und einen Empfänger 20014, umfasst die akustische Sprachausgabeeinrichtung 2002 eine Kernfunktionalität 20021, einen Speicher 20022, einen Sender 20023 und einen Empfänger 20024, und umfasst die Navigationseinrichtung 2004 eine Kernfunktionalität 20041, einen Speicher 20042, einen Sender 20043 und einen Empfänger 20044. Fig. 6 shows the components included in one embodiment of the device (speech synthesis device) 2003. The (speech synthesis) device 2003 comprises a core functionality 20031, which may be, for example, as at least one CPU (central processing unit) or microprocessor, as dedicated Circuit (with the implementation variants described above) or implemented as a software module. Furthermore, the device 2003 comprises a memory 20032, a transmitter 20033 and a receiver 20034, which may be used to communicate the device 2003 with another device (eg the database 2001, the navigation system 2004 or the acoustic output device 2002) or with the user. Furthermore, the device 2003 comprises a selector 20035, a determiner 20036, a modifier 20037 (which optionally may in turn comprise a trailer 20038), and a converter 20039. Likewise, the database 2001 comprises a core functionality 20011, a memory 20012, a transmitter 20013, and a Receiver 20014, the acoustic voice output device 2002 comprises a core functionality 20021, a memory 20022, a transmitter 20023 and a receiver 20024, and the navigation device 2004 comprises a core functionality 20041, a memory 20042, a transmitter 20043 and a receiver 20044.

Die Kernfunktionalität 20041 der Navigationseinrichtung 2004 kann ein Softwarebasiertes Routenberechnungsmodul umfassen. Dieses Routenberechnungsmodul kann dazu ausgelegt sein, verschiedene Steuersignale 2005, 2006, 2007 zu erzeugen, zu senden (über den Sender 20043), zu empfangen (über den Empfänger 20044) und zu verarbeiten. So kann das Steuersignal 2005 "Prepare Prompt" eine oder mehrere Kennungen hinsichtlich der aus der Datenbank 2001 auszuwählenden Phoneme bzw. Phonemfolgen an die Sprachsynthesevorrichtung 2003 kommunizieren. Die darauf basierende Auswahl und ggf. Sprachsynthese kann mittels des Steuersignals 2006 "Preparation Finished" gegenüber der Navigationseinrichtung 2004 bestätigt werden, worauf diese mittels des Steuersignals 2007 "Prompt Now" die Sprachesynthesevorrichtung 2003 zur Ausgabe des synthetisierten akustischen Signals mittels der akustischen Ausgabeeinrichtung 2002 auffordert.The core functionality 20041 of the navigation device 2004 may include a software-based route calculation module. This route calculation module may be configured to generate, transmit (via the transmitter 20043), receive (via the receiver 20044), and process various control signals 2005, 2006, 2007. Thus, the control signal 2005 "Prepare Prompt" can communicate one or more identifiers with regard to the phonemes or phoneme sequences to be selected from the database 2001 to the speech synthesis device 2003. The selection based thereon and optionally speech synthesis can be confirmed by means of the control signal 2006 "Preparation Finished" with respect to the navigation device 2004, whereupon the speech synthesis device 2003 prompts the speech synthesis device 2003 to output the synthesized acoustic signal by means of the acoustic output device 2002 by means of the control signal 2007 "Prompt Now".

Wie in Fig. 6 durch die gestrichelte Erweiterung der Kernfunktionalitäten 200x1 (wobei x = 1, 2, 3 und/oder 4) angedeutet ist, können alle der vorstehend genannten Einrichtungen, die innerhalb der gestrichelten Linien dargestellt sind, sowohl als eigenständige Einrichtungen als auch als Unterfunktionalitäten der Kernfunktionalität implementiert sein. Alle der vorstehend genannten Einrichtungen, die den gestrichelten Bereich überlappen, können durch die Kernfunktionalität 200x1 angesteuert werden bzw. können der Kernfunktionalität 200x1 Informationen bereitstellen.As in Fig. 6 indicated by the dashed extension of the core functionalities 200x1 (where x = 1, 2, 3, and / or 4), all of the aforementioned devices illustrated within the dashed lines may be implemented both as stand-alone devices and as sub-functionalities of the core functionality be. All of the aforementioned devices that overlap the dashed area may be driven by the core functionality 200x1 or may provide information to the core functionality 200x1.

Die Kernfunktionalitäten 200x1 können zum Beispiel durch in den Speichern 200x2 residente Software konfiguriert sein, um verschiedene Dateneingaben zu verarbeiten und um die Funktionen des Speichers 200x2, des Senders 200x3 und des Empfängers 200x4 (sowie der Auswahleinrichtung 20035, der Bestimmungseinrichtung 20036, der Änderungseinrichtung 20037, der Anhängeeinrichtung 20038 und der Umwandlungseinrichtung 20039 der Sprachsynthesevorrichtung 2003) zu steuern. Der Speicher 200x2 kann zum Speichern von Codeabschnitten zum Ausführen der Verfahren gemäß den vorstehend beschriebenen Aspekten dienen, wenn sie auf der Kernfunktionalität 200x2 laufen.The core functionalities 200x1 may be configured, for example, by software resident in the memories 200x2 to process various data inputs and to control the functions of the memory 200x2, the transmitter 200x3 and the receiver 200x4 (and the selector 20035, the detector 20036, the modifier 20037, the trailer 20038 and the converter 20039 of the speech synthesizer 2003). The memory 200x2 may be for storing code portions for carrying out the methods according to the aspects described above when running on the core functionality 200x2.

Es sei darauf hingewiesen, dass der Sender 200x3 und der Empfänger 200x4 alternativ als ein einstückiger Sendeempfänger vorgesehen sein können, wie in Fig. 6 gezeigt ist. Es sei ferner darauf hingewiesen, dass die Sender/Empfänger implementiert werden können als: physikalische Sender/Empfänger zum Sendeempfangen über eine Luftschnittstelle (z.B. zwischen dem Navigationssystem 2004 und einem nicht gezeigten Verkehrsleitsystem), als verkehrslenkende Funktionseinheiten/Schnittstellen zwischen Netzwerkelementen (z.B. zum Senden/Empfangen von Datenpaketen zwischen der Sprachsynthesevorrichtung 2003 und dem Navigationssystem 2004 und der Datenbank 2001), als Funktionalität zum Schreiben/Lesen von Informationen in/aus einen/einem gegebenen Speicherbereich (z.B. zwischen der Sprachsynthesevorrichtung 2003 und der Datenbank 2001 oder der Navigationsvorrichtung 2004, wenn diese in einer Netzwerkeinheit zusammengefasst sind) oder als irgendeine geeignete Kombination der vorstehend beschriebenen Anordnungen. Zumindest eine der Auswahleinrichtung 20035, Bestimmungseinrichtung 20036, Änderungseinrichtung 20037, Anhängeeinrichtung 20038 und Umwandlungseinrichtung 20039 (der Sprachsynthesevorrichtung 2003) oder die jeweiligen ausgeführten Funktionalitäten können ebenso als Chipset, Modul oder Untereinheit implementiert werden.It should be noted that transmitter 200x3 and receiver 200x4 may alternatively be provided as a one-piece transceiver, as in FIG Fig. 6 is shown. It should also be noted that the transceivers may be implemented as: physical transceivers for transceiving via an air interface (eg between the navigation system 2004 and a traffic guidance system not shown), as traffic-routing functional units / interfaces between network elements (eg for transmission / Receiving data packets between the speech synthesis device 2003 and the navigation system 2004 and the database 2001) as functionality for writing / reading information to / from a given memory area (eg between the speech synthesis device 2003 and the database 2001 or the navigation device 2004, if these in a network unit) or as any suitable combination of the arrangements described above. At least one of the selector 20035, determiner 20036, modifier 20037, hitch 20038 and converter 20039 (the speech synthesizer 2003) or the respective executing functionalities may also be implemented as a chipset, module or subunit.

Fig. 7 zeigt ein Ausführungsbeispiel eines Verfahrens zum Ausgeben eines akustischen Signals mittels eines Navigationssystems (z.B. gemäß Fig. 5). In dem in Fig. 7 gezeigten Signalflussplan ist der Signalfluss zwischen Elementen in horizontaler Richtung angegeben, wohingegen zeitliche Aspekte zwischen den Signalisierungen in der vertikalen Anordnung der Signalflussabfolge sowie in den Abfolgenummern wiedergegeben sind. Es sei darauf hingewiesen, dass die in Fig. 7 gezeigten zeitlichen Aspekte keinen der gezeigten Verfahrensschritte auf die in Fig. 7 gezeigte Schrittabfolge festlegen. Dies betrifft insbesondere Verfahrensschritte, die voneinander funktional disjunkt sind. Beispielsweise ist der Schritt S1 (Speichern von Phonemen bzw. Phonemfolgen) im Wesentlichen zeitgleich mit dem Schritt S2 (Auswählen zumindest eines Phonems bzw. einer Phonemfolge) gezeigt. Dies schließt jedoch nicht aus, dass das Speichern der Phoneme bzw. Phonemfolgen in Schritt S1 bereits lange vor Inbetriebnahme der erfindungsgemäßen Vorrichtung erfolgt ist. Fig. 7 shows an embodiment of a method for outputting an acoustic signal by means of a navigation system (eg according to FIG Fig. 5 ). In the in Fig. 7 The signal flow diagram shown, the signal flow between elements in the horizontal direction is given, whereas temporal aspects between the signaling in the vertical arrangement of the signal flow sequence and in the sequence numbers are reproduced. It should be noted that the in Fig. 7 shown temporal aspects none of the steps shown on the in Fig. 7 Set the step sequence shown. This relates in particular to process steps which are functionally disjunctive from one another. For example, step S1 (storing phonemes or phoneme sequences) is shown substantially simultaneously with step S2 (selecting at least one phoneme or phoneme sequence). However, this does not exclude that the phonemes or phoneme sequences are stored in step S1 long before the device according to the invention is put into operation.

Unter Bezugnahme auf den Signalflussplan gemäß Fig. 7 (der zusammen mit der Sprachsynthesevorrichtung 2003, der Datenbank 2001 und der Navigationseinrichtung 2004 in Fig. 5 und 6 zu lesen ist), speichert in Schritt S1 der Speicher 20012 der Datenbank 2001 eine Vielzahl von Phonemen bzw. Phonemfolgen in einem ersten Zustand in der zumindest einen Datenbank, um sie an die zumindest eine Datenbank zu binden. Optional kann in dem Speicher 20012 der Datenbank 2001 ferner eine Vielzahl von vordefinierten Kontextinformationen gespeichert werden, die den zweiten Zustand definieren. Wie in Fig. 5 gezeigt, können diese Kontextinformationen z.B. ein vordefinierter Satz (z.B. als Graphem abgespeichert) sein, wobei sich der zweite Zustand (z.B. der gewünschte Kasus) durch Einbetten des Phonems bzw. der Phonemfolge in das Satzgefüge ergibt.With reference to the signal flow plan according to Fig. 7 (which together with the speech synthesizer 2003, the database 2001 and the navigation device 2004 in Fig. 5 and 6 to be read), in step S1, the memory 20012 of the database 2001 stores a plurality of phoneme sequences in a first state in the at least one database to bind to the at least one database. Optionally, a plurality of predefined context information defining the second state may be stored in the memory 20012 of the database 2001. As in Fig. 5 For example, this context information may be a predefined sentence (eg stored as a grapheme), where the second state (eg the desired case) results from embedding the phoneme or the phoneme sequence in the sentence structure.

In Schritt S2 führt die Auswahleinrichtung 20035 ein Auswählen zumindest eines der Vielzahl von Phonemen bzw. Phonemfolgen auf der Grundlage eines im Rahmen einer Routenführung empfangenen Steuersignals durch. Das Steuersignal kann aus einem (nicht gezeigten) Routenberechnungsmodul der Navigationseinrichtung 2004 stammen. Wie durch das Signal 2005 in Fig. 5 gezeigt ist, kann außerdem das empfangene Steuersignal eine erste Kennung (ID_Hauptplatz) einer Bezeichnung eines durch die Navigationseinrichtung 2004 ermittelten Orts und eine zweite Kennung (ID_In_200m_rechts) eines auszugebenden Routenführungs- oder Manöverhinweises umfassen. Die erste Kennung kann zur Auswahl des Phonems bzw. der Phonemfolge (hier: 'Aoptplaz) herangezogen werden (im einfachsten Fall kann eine einfache Indexierung herangezogen werden). Die zweite Kennung kann zum Aufruf einer entsprechenden Kontextinformation herangezogen werden, so dass sich - wie oben beschrieben - der gewünschte zweite Zustand (z.B. der gewünschte Kasus) durch Einbetten des Phonems bzw. der Phonemfolge in das Satzgefüge ergibt. Dies ist vorteilhaft, da die Navigationseinrichtung 2004 lediglich eine einfache Nachricht mit zwei Kennungen an die Sprachsynthesevorrichtung 2003 senden muss, was zu einer verschlankten Signalisierung beiträgt (was beispielsweise vorteilhaft ist, wenn die Navigationseinrichtung 2004 nicht mit der Datenbank 2001 bzw. Vorrichtung 2003 ko-lokalisiert ist, sondern z.B. ein knapp bemessener (und ggf. geteilter) Bus zur Datenübertragung zwischen den vorstehenden Vorrichtungen vorgesehen ist).In step S2, the selector 20035 performs selection of at least one of the plurality of phoneme sequences on the basis of a control signal received in the course of route guidance. The control signal may originate from a route calculation module (not shown) of the navigation device 2004. As indicated by the signal 2005 in Fig. 5 In addition, the received control signal may comprise a first identifier (ID_Main) of a designation of a location determined by the navigation device 2004 and a second identifier (ID_In_200m_right) of a route guidance or maneuver indication to be output. The first identifier can be used to select the phoneme or the phoneme sequence (here: 'Aoptplaz) (in the simplest case a simple indexing can be used). The second identifier can be used to call a corresponding context information, so that - as described above - the desired second state (eg the desired case) results by embedding the phoneme or the phoneme sequence in the sentence structure. This is advantageous since the navigation device 2004 only has to send a simple message with two identifiers to the speech synthesis device 2003, which contributes to a streamlined signaling (which is advantageous, for example, if the navigation device 2004 does not co-locate with the database 2001 or device 2003) is, but for example, a tight (and possibly shared) bus for data transmission between the above devices is provided).

In Schritt S3 bestimmt die Bestimmungseinrichtung 20036 der Sprachsynthesevorrichtung 2003 einen gewünschten zweiten Zustand des zumindest einen ausgewählten Phonems bzw. der Phonemfolge auf der Grundlage des empfangenen Steuersignals. Wie bereits beschrieben, kann der gewünschte zweite Zustand des Phonems bzw. der Phonemfolge auf der Grundlage der ausgewählten Kontextinformation bestimmt werden, insbesondere kann die zweite Kennung zum Aufruf einer entsprechenden Kontextinformation herangezogen werden, so dass der gewünschte zweite Zustand (z.B. der gewünschte Kasus) durch Einbetten des Phonems bzw. der Phonemfolge in das Satzgefüge bestimmt werden kann. In diesem Zusammenhang kann das Phonem bzw. die Phonemfolge ein grammatikalisches Nomen darstellen. Ferner kann der erste Zustand des Phonems bzw. der Phonemfolge ein undeklinierter Kasus (z.B. Nominativ) des Nomens und der zweite Zustand des Phonems bzw. der Phonemfolge ein deklinierter Kasus (z.B. Genitiv, Dativ, Akkusativ, Vokativ, Lokativ, Instrumental, Ablativ, Allativ und/oder Präpositiv) des Nomens sein.In step S3, the determination means 20036 of the speech synthesis apparatus 2003 determines a desired second state of the at least one selected one Phones or the phoneme sequence on the basis of the received control signal. As already described, the desired second state of the phoneme or the phoneme sequence can be determined on the basis of the selected context information, in particular, the second identifier can be used to call a corresponding context information, so that the desired second state (eg the desired case) by Embedding the phoneme or phoneme sequence can be determined in the sentence structure. In this context, the phoneme or the phoneme sequence can represent a grammatical noun. Further, the first state of the phoneme or phoneme sequence may be an undefined case (eg nominative) of the noun and the second state of the phoneme or phoneme sequence may be a declined case (eg genitive, dative, accusative, vocative, locative, instrumental, ablative, allative and / or prepositive) of the noun.

In Schritt S4 ändert die Änderungseinrichtung 20037 der Sprachsynthesevorrichtung 2003 zumindest einen Teil des ausgewählten Phonems bzw. der Phonemfolge, um das ausgewählte Phonem bzw. die Phonemfolge in den spezifizierten zweiten Zustand zu überführen, und zwar auf der Grundlage eines Regelwerks. In diesem Fall kann die Anhängeinrichtung 20038 der Vorrichtung 2003 einen Anhang an das ausgewählte Phonem bzw. die Phonemfolge anhängen. Insbesondere dieser Anhang (aber auch der zu ändernde Teil) kann durch einen regulären Ausdruck (z.B. eine immer gleiche Kasusendung, die als Phonem bzw. Phonemfolge hinterlegt ist, wie das bereits beschriebene Genitiv-s oder das Phonem bzw. die Phonemfolge der Endung "es" bei Phonemfolgen wie 'Aoptplaz) gebildet sein. Die Änderung kann zumindest einen Teil des Phonems bzw. der Phonemfolge des undeklinierten Nomens ändern, um das deklinierte Nomen zu erzeugen, oder kann einen Anhang zur Deklination an das undeklinierte Nomen anhängen, um das deklinierte Nomen zu erzeugen, wie soeben beschrieben.In step S4, the changer 20037 of the speech synthesizer 2003 changes at least part of the selected phoneme or phoneme sequence to place the selected phoneme or phoneme sequence in the specified second state, based on a set of rules. In this case, the appendix 20038 of device 2003 may append an appendix to the selected phoneme or phoneme sequence. In particular, this appendix (but also the part to be changed) can be replaced by a regular expression (eg an always same case ending, deposited as a phoneme or phoneme sequence, such as the genitive-s already described or the phoneme or phoneme sequence of the suffix "it be formed in phoneme sequences such as' Aoptplaz). The change may alter at least a portion of the phoneme sequence of the undefined noun to produce the declined noun, or may append an appendix to the noun to add the declined noun, as just described.

Das vorstehend beschriebene Regelwerk kann beispielsweise wie folgt aufgebaut sein: Regel Ziel-Fall Filter/Muster Ersetzung #1 Genitiv \(.*\)plaz \1 plazes #2 Genitiv \(.*\)doaf \1 doafes #3 Mehrzahl \(.\)stäle \1 stäln The set of rules described above can be constructed, for example, as follows: rule Target case Filter / pattern replacement #1 Genitive \ (. * \) Plaz \ 1 plazes # 2 Genitive \ (. * \) DOAF \ 1 doafes # 3 majority \ (. \) Stäle \ 1 steal

In Schritt S5 wandelt die Umwandlungseinrichtung 20039 das Phonem bzw. die Phonemfolge in dem zweiten Zustand in ein akustisches Signal um zur Ausgabe aus der akustischen Ausgabeeinrichtung 2002. Das akustische Signal kann eine auszugebende Bezeichnung eines durch die Navigationseinrichtung 2004 ermittelten Orts umfassen. In diesem Fall kann der ermittelte Ort zumindest eine der folgenden Angaben umfassen: Ländername, Stadt, Straße, Platz und Point-Of-Interest.In step S5, the converting means 20039 converts the phoneme in the second state into an acoustic signal for output from the acoustic output device 2002. The acoustic signal may include a designation of a location obtained by the navigation device 2004. In this case, the location determined may include at least one of the following: country name, city, street, place, and point-of-interest.

In einem optionalen Schritt S6 gibt die Sprachsynthesevorrichtung 2003 das akustische Signal über den Sender 20033 an die akustische Ausgabeeinrichtung 2002 aus, welche die Bezeichnung als das Phonem bzw. die Phonemfolge in dem zweiten Zustand akustisch wiedergibt. Im einfachsten Fall ist die Sprachausgabeeinrichtung ein Lautsprecher, der das akustische Signal (als Ausgabe der Funktion wave gen) wiedergibt. Die akustische Ausgabeeinrichtung 2003 kann aber auch komplexer aufgebaut sein, z.B. kann die Sprachsynthese sich mit der Erzeugung der Phoneme bzw. Phonemfolgen begnügen, wobei dann die Funktion wave gen auf die akustische Ausgabeeinrichtung 2002 ausgelagert werden kann.In an optional step S6, the speech synthesis device 2003 outputs the acoustic signal via the transmitter 20033 to the acoustic output device 2002, which acoustically reproduces the designation as the phoneme or the phoneme sequence in the second state. In the simplest case, the speech output device is a loudspeaker that reproduces the acoustic signal (as an output of the wave gene function). However, the acoustic output device 2003 may also be more complex, e.g. can the speech synthesis be content with the generation of the phonemes or phoneme sequences, in which case the function wave gen can be outsourced to the acoustic output device 2002.

Ein weiteres Beispiel ist in Fig. 5 durch Signale 2006 "Preparation Finished" und 2007 "Prompt Now" gezeigt. Das Vorbereiten einer Sprachausgabe kann vorbestimmte Zeit (je nach System z.B. 1 bis 5 Sekunden) dauern. Somit kann die Navigationseinrichtung 2004 das Steuersignal 2005 um die vorbestimmte Zeit früher (vorzugsweise plus eine zeitliche Sicherheitszugabe) zu der Vorrichtung 2003 senden, um das auszugebende Phonem bzw. die auszugebende Phonemfolge bereits vorzubereiten. Nach Empfang des Steuersignals 2005 würden dann die Schritte S2 (Auswählen) bis S4 (Ändern) (oder bis S5, Umwandeln, je nach Ausstattung der akustischen Ausgabeeinrichtung 2002) bereits stattfinden und eine erfolgreiche Fertigstellung des Phonems bzw. der Phonemfolge durch Signal 2006 könnte an das Navigationssystem 2004 zurückgemeldet werden. Wird die akustische Ausgabe tatsächlich benötigt, dann gibt die Navigationseinrichtung 2004 das Signal 2007 aus, woraufhin dann Schritte S5 und S6, Ausgeben, (oder lediglich S6) durchgeführt werden können. Dieses Vorgehen ist vorteilhaft, um die vorgestellte Technik z.B. an Echtzeitbedingungen anzupassen.Another example is in Fig. 5 signals 2006 "Preparation Finished" and 2007 "Prompt Now" shown. The preparation of a voice output can take a predetermined time (depending on the system, for example, 1 to 5 seconds). Thus, the navigation device 2004 may send the control signal 2005 earlier (preferably plus a temporal safety allowance) to the device 2003 by the predetermined time to already prepare the phoneme to be outputted or the phoneme sequence to be output. After receiving the control signal 2005, steps S2 (Select) to S4 (Change) (or to S5, Convert, depending on the equipment of the acoustic output device 2002) would then already take place and a successful completion of the phoneme sequence by signal 2006 could the navigation system 2004 be reported back. If the acoustic output is actually needed, then the navigation device 2004 outputs the signal 2007, whereupon steps S5 and S6, output (or only S6) can then be performed. This procedure is advantageous in order to adapt the presented technology, for example, to real-time conditions.

Wie bereits erwähnt, können die Phoneme bzw. Phonemfolge in einer Vielzahl von Sprachen vorliegen und können demgemäß auf der Grundlage einer Benutzereingabe ausgewählt werden. Im Falle von romanischen und germanischen Sprachen kann der deklinierte Kasus einer aus Genitiv, Dativ und Akkusativ sein. Im Falle von slawischen und baltischen Sprachen kann der deklinierte Kasus einer aus Genitiv, Dativ, Vokativ, und Lokativ (Instrumental und Präpositiv, falls existent) sein. Im Falle von oghusischen Sprachen kann der deklinierte Kasus einer aus Genitiv, Dativ, und Lokativ (Instrumental, Ablativ und Allativ, falls existent) sein.As already mentioned, the phonemes or phoneme sequences may be in a variety of languages and accordingly may be selected based on user input. In the case of Romance and Germanic languages, the declined case can be one of genitive, dative, and accusative. In the case of Slavic and Baltic languages, the declined case may be one of genitive, dative, vocative, and locative (instrumental and pre-positive, if any). In the case of Oghuzian languages, the declined case may be one of genitive, dative, and locative (instrumental, ablative, and allative, if any).

Schließlich kann der erste Zustand des Phonems bzw. der Phonemfolge noch ein Singular des Nomens sein, während der zweite Zustand des Phonems zumindest einer aus Dual, Paral, Trial, Quadral, Paukal, Plural und Distributiv des Nomens sein kann. Ferner kann der erste Zustand des Phonems bzw. der Phonemfolge ein Maskulinum des Nomens sein, kann der zweite Zustand des Phonems bzw. der Phonemfolge zumindest einer aus Femininum und Neutrum des Nomens sein.Finally, the first state of the phoneme or phoneme sequence may still be a singular of the noun, while the second state of the phoneme may be at least one of Dual, Paral, Trial, Quadral, Paukal, Plural, and Distributive of the noun. Furthermore, the first state of the phoneme or phoneme sequence may be a masculine of the noun, the second state of the phoneme or phoneme sequence may be at least one of feminine and neuter of the noun.

Wie aus den vorstehend beschriebenen Ausführungsbeispielen offensichtlich wurde, führt die vorgestellte Technik zu einem oder mehreren Vorteilen.As has been apparent from the above-described embodiments, the technique presented leads to one or more advantages.

Im Falle von in Kraftfahrzeugen fest installierten Navigationssystemen können die Zulieferer für ein (Navigations-) Projekt vorab ausgewählt werden und müssen nicht geändert werden, so dass auch die Software-Version nach der Auslieferung selten geändert wird (da eine Nachrüstung mit Software derzeit nur in einer Werkstatt durchgeführt werden kann). Somit stellt auch die Implementierung auf der Grundlage von Phonemen bzw. Phonemfolgen kein Problem dar.In the case of navigation systems permanently installed in motor vehicles, suppliers can be pre-selected for a (navigation) project and do not need to be changed so that the software version is rarely changed after delivery (as software retrofit is currently only available in one) Workshop can be carried out). Thus, the implementation based on phonemes or phoneme sequences is no problem.

Die Umgehung bzw. Nicht-Verwendung von Graphemen, wie sie im Stand der Technik herangezogen werden, ist ein Vorteil einiger der Ausführungsbeispiele.The circumvention or non-use of graphemes, as used in the prior art, is an advantage of some of the embodiments.

Die Phonem-Formate sind oft sprachabhängig. Daher kann die Sprache vor dem Anwenden des Algorithmus gewählt werden. Im Falle einer Festinstallation wird die Spracheinstellung auf Systemebene für alle betroffenen Fahrzeugkomponenten durchgeführt. Somit gilt zu einer Zeit nur eine Sprache, und das hier vorgestellte System kann die entsprechenden Einstellungen vornehmen. In manchen Fällen ist das System zweisprachig: Namen von Orten, Straßen, etc. werden in der Landessprache wiedergegeben, während alle anderen Sätze und Satzteile in der Systemsprache ausgesprochen werden. Bei herkömmlichen (Navigations-)Projekten in der Automobil-Branche werden auch länderspezifische Varianten hergestellt, so dass für verschiedene Märkte die jeweils benötigten sprachabhängigen regulären Ausdrücke im Zuge des Projektes erstellt werden können und nur der jeweils benötigte Teil bei Auslieferung beigestellt werden muss.The phoneme formats are often language dependent. Therefore, the language can be chosen before applying the algorithm. In the case of a permanent installation, the system-level language setting is performed for all affected vehicle components. Thus, only one language applies at a time, and the system presented here can make the appropriate settings. In some cases, the system is bilingual: names of places, streets, etc. are rendered in the local language, while all other sentences and phrases are pronounced in the system language. Country-specific variants are also produced in conventional (navigation) projects in the automotive industry, so that the required language-dependent regular expressions for various markets can be created in the course of the project and only the required part must be provided upon delivery.

Oft sind vor Fertigstellung des Navigationssystems nicht alle Sprachen (mitsamt ihren Eigenheiten) bekannt, und so fallen Qualitätsverluste erst im Test auf. Diese späte Erkennung führt meist zu Terminüberschreitungen oder großer Kompromissbereitschaft um Termine zu halten. Die vorgeschlagene Technik hilft somit bei der Projektabwicklung, da sie von vorne herein die o.g. Fehler vermeidet.Often, not all languages (including their idiosyncrasies) are known before completion of the navigation system, and so quality losses are only in the test on. This late detection usually leads to missed deadlines or great willingness to compromise to hold appointments. The proposed technique thus helps in the project management, since they from the outset the o.g. Error avoids.

Claims (11)

  1. A method for output of an acoustic signal by means of a navigation system (200), wherein the navigation system comprises at least one database (2001) and an acoustic output means (2002), comprising the steps of:
    storing (S1) of:
    - a plurality of phoneme sequences in a first state and
    - a plurality of predefined context information, which define a second state, in the at least one database (2001), wherein:
    - the phoneme sequence represents a grammatical noun,
    - the first state of the phoneme sequence is a non-declined case of the noun, and
    - the second state of the phoneme sequence is a declined case of the noun;
    selecting (S2) at least one of the plurality of phoneme sequences based on a control signal received within the framework of a route guidance (2005), wherein the received control signal comprises a first identifier of a designation of a location found by the navigation system (200) and a second identifier of a maneuvering hint to be output, and wherein the step of selecting further comprises:
    - selecting the at least one phoneme sequence based on the first identifier;
    - selecting at least one of the predefined context information based on the second identifier;
    determining (S3) a desired second state of the at least one selected phoneme sequence based on the selected context information;
    changing (S4) at least one part of the selected phoneme sequence in order to transit the selected phoneme sequence into the specified second state based on a set of rules, wherein the part to be changed of the phoneme sequence is replaced by means of a regular expression; and
    converting (S5) the phoneme sequence in the second state into an acoustic signal for output by means of the acoustic output means (2002).
  2. The method according to claim 1, wherein
    the step of changing comprises annexing an annex to the selected phoneme sequence, wherein in particular the annex is a changing phoneme sequence and is annexed to the selected phoneme sequence.
  3. The method according to at least one of the preceding claims, wherein
    the received control signal stems from a route calculation module.
  4. The method according to at least one of the preceding claims, wherein
    the navigation system (200) is arranged in a vehicle.
  5. The method according to any one of the preceding claims, wherein
    the acoustic signal comprises a to-be-output designation of a location found by the navigation system (200).
  6. The method according to claim 1 or 5, wherein
    the found location comprises at least one of the following indications: country name, city, street, square and point of interest.
  7. The method according to claims 1, further comprising:
    outputting (S6) the acoustic signal by means of the acoustic output means.
  8. The method according to claim 2, wherein the annex is determined by the regular expression.
  9. A computer program product having program code portions for performing the method according to at least one of the preceding claims, when the computer program product is executed on one or more computing means.
  10. The computer program product according to claim 9, which is recorded on a computer-readable recording medium.
  11. A navigation system (200) for output of an acoustic signal, wherein the navigation system (200) comprises at least one database (2001), an acoustic output means (2002) and at least one processor (20031), which processor adapts the navigation system to perform all the steps of a method according to at least one of claims 1 to 8.
EP12007601.3A 2011-11-09 2012-11-08 Technique for outputting an acoustic signal by means of a navigation system Active EP2592623B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011118059A DE102011118059A1 (en) 2011-11-09 2011-11-09 Technique for outputting an acoustic signal by means of a navigation system

Publications (3)

Publication Number Publication Date
EP2592623A2 EP2592623A2 (en) 2013-05-15
EP2592623A3 EP2592623A3 (en) 2013-07-17
EP2592623B1 true EP2592623B1 (en) 2015-09-16

Family

ID=47594178

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12007601.3A Active EP2592623B1 (en) 2011-11-09 2012-11-08 Technique for outputting an acoustic signal by means of a navigation system

Country Status (2)

Country Link
EP (1) EP2592623B1 (en)
DE (1) DE102011118059A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017011567A1 (en) 2017-12-14 2018-07-12 Daimler Ag Method and device for correcting a natural speech output by means of an artificial speech system in a vehicle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0372734B1 (en) 1988-11-23 1994-03-09 Digital Equipment Corporation Name pronunciation by synthesizer
US5283833A (en) * 1991-09-19 1994-02-01 At&T Bell Laboratories Method and apparatus for speech processing using morphology and rhyming
US5651095A (en) * 1993-10-04 1997-07-22 British Telecommunications Public Limited Company Speech synthesis using word parser with knowledge base having dictionary of morphemes with binding properties and combining rules to identify input word class
US6076060A (en) * 1998-05-01 2000-06-13 Compaq Computer Corporation Computer method and apparatus for translating text to sound
US6208968B1 (en) * 1998-12-16 2001-03-27 Compaq Computer Corporation Computer method and apparatus for text-to-speech synthesizer dictionary reduction
DE10042942C2 (en) 2000-08-31 2003-05-08 Siemens Ag Speech synthesis method
US7869999B2 (en) * 2004-08-11 2011-01-11 Nuance Communications, Inc. Systems and methods for selecting from multiple phonectic transcriptions for text-to-speech synthesis

Also Published As

Publication number Publication date
DE102011118059A1 (en) 2013-05-16
EP2592623A2 (en) 2013-05-15
EP2592623A3 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
DE112010005918B4 (en) Voice recognition device
EP1466317B1 (en) Operating method for an automated language recognizer intended for the speaker-independent language recognition of words in different languages and automated language recognizer
EP1184839B1 (en) Grapheme-phoneme conversion
DE102017124264B4 (en) Computer implemented method and computing system for determining phonetic relationships
DE602005002706T2 (en) Method and system for the implementation of text-to-speech
DE60000138T2 (en) Generation of several pronunciations of a proper name for speech recognition
DE102020205786A1 (en) VOICE RECOGNITION USING NATURAL LANGUAGE UNDERSTANDING (NLU) RELATED KNOWLEDGE ABOUT DEEP FORWARD NEURAL NETWORKS
DE69506037T2 (en) Audio output device and method
DE112017004374T5 (en) System and method for speech recognition
DE102010034433B4 (en) Method of recognizing speech
DE102015106280B4 (en) Systems and methods for compensating for speech artifacts in speech recognition systems
EP3010014B1 (en) Method for interpretation of automatic speech recognition
EP1058235B1 (en) Reproduction method for voice controlled systems with text based speech synthesis
EP1282897B1 (en) Method for creating a speech database for a target vocabulary in order to train a speech recognition system
EP2592623B1 (en) Technique for outputting an acoustic signal by means of a navigation system
Toman et al. Unsupervised and phonologically controlled interpolation of Austrian German language varieties for speech synthesis
DE60029456T2 (en) Method for online adjustment of pronunciation dictionaries
DE60219030T2 (en) Method for multilingual speech recognition
DE19503419A1 (en) Method and device for outputting digitally coded traffic reports using synthetically generated speech
EP1184838B1 (en) Phonetic transcription for speech synthesis
EP1344211B1 (en) Device and method for differentiated speech output
DE102017216571B4 (en) motor vehicle
EP1194921B1 (en) Method and device for speech processing
EP3665619B1 (en) Method and device for generating vocal announcements based on handwritten user input and vehicle comprising said device
CH717305A1 (en) Process and machine for recognizing German dialects.

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 13/027 20130101ALI20130611BHEP

Ipc: G10L 13/08 20130101ALN20130611BHEP

Ipc: G10L 13/06 20130101AFI20130611BHEP

17P Request for examination filed

Effective date: 20130916

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

17Q First examination report despatched

Effective date: 20140617

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 13/08 20130101ALN20150423BHEP

Ipc: G10L 13/027 20130101ALI20150423BHEP

Ipc: G10L 13/06 20130101AFI20150423BHEP

INTG Intention to grant announced

Effective date: 20150508

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 13/027 20130101ALI20150424BHEP

Ipc: G10L 13/08 20130101ALN20150424BHEP

Ipc: G10L 13/06 20130101AFI20150424BHEP

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 750343

Country of ref document: AT

Kind code of ref document: T

Effective date: 20151015

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502012004527

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20150916

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151216

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151217

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160116

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160118

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502012004527

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151108

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151130

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151130

26N No opposition filed

Effective date: 20160617

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151108

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502012004527

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20121108

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20161108

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20161108

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150916

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 750343

Country of ref document: AT

Kind code of ref document: T

Effective date: 20171108

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20171108

REG Reference to a national code

Ref country code: DE

Ref legal event code: R084

Ref document number: 502012004527

Country of ref document: DE

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230522

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231120

Year of fee payment: 12

Ref country code: DE

Payment date: 20231130

Year of fee payment: 12