EP1519618A1 - Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen - Google Patents

Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen Download PDF

Info

Publication number
EP1519618A1
EP1519618A1 EP03021578A EP03021578A EP1519618A1 EP 1519618 A1 EP1519618 A1 EP 1519618A1 EP 03021578 A EP03021578 A EP 03021578A EP 03021578 A EP03021578 A EP 03021578A EP 1519618 A1 EP1519618 A1 EP 1519618A1
Authority
EP
European Patent Office
Prior art keywords
communication device
reverberation time
audio signals
algorithm
reverberation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP03021578A
Other languages
English (en)
French (fr)
Other versions
EP1519618B1 (de
Inventor
Frank Lorenz
Christoph Dr. Pörschmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Priority to EP03021578A priority Critical patent/EP1519618B1/de
Priority to AT03021578T priority patent/ATE532346T1/de
Priority to PCT/EP2004/008999 priority patent/WO2005041615A1/de
Publication of EP1519618A1 publication Critical patent/EP1519618A1/de
Application granted granted Critical
Publication of EP1519618B1 publication Critical patent/EP1519618B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems

Definitions

  • the invention relates to a method for operating a communication device, wherein the communication device audio signals radiates to an environment and on the one hand these audio signals including environmental superimposed interference components, which contain at least echo and reverberation, resumes and on the other hand audio signals of an external sound source, preferably a communication device user, including whose environmental disturbances, absorbs, and the resumed audio signals by a first algorithm used to provide a room impulse response to the environment determine.
  • the invention relates to a communication device with means for interference suppression of audio signals, wherein the communication device has at least one speaker, the audio signals radiates to an environment and continue at least a microphone, with the one hand, these audio signals including environmental layered Noise components that contain at least echo and reverberation again be recorded and on the other hand audio signals a external sound source, preferably a communication device user, including their environmental disturbances, be received, and in the communication device a first Is provided, which is a means of calculating a Room impulse response of the environment has.
  • the type and duration of the reverberation are determined by the geometry of the Space and the condition of the walls.
  • Various algorithms of digital voice and speech Audio signal processing, especially those dealing with need to deal with the problem of reverberation of speech signals often an estimate of the so-called reverberation time.
  • the reverberation time has hitherto been determined by two types of processes, namely statistical statistical methods or by a method that uses one or more measuring signals.
  • a measurement signal must be generated via an external sound source. for example, white noise, to be played, which known to the system.
  • white noise for example, white noise
  • the reverberation time T60 is estimated.
  • the inventors have recognized that information contained in the Room impulse response are included, even for suppression of another Audio signals can be used.
  • the room impulse response can be obtained by a known method.
  • the voice of the communication device user of the second communication device for example - in the case of two communication devices - That of a first communication device in handsfree mode radiated audio signal, usually the voice of the communication device user of the second communication device, inclusive the by the environment of the first communication device conditional noise components again from the microphone of the first Communications device recorded, it can be from these Audio signals with a first algorithm, first the room impulse response determine.
  • the room impulse response implicitly the reverberation time T60, that is the reverberation time can be calculated from it.
  • the inventors propose a method for operating a communication device, wherein the communication device audio signals to an environment radiates and on the one hand these audio signals including environmental superimposed interference components, at least Echo and reverberation included, resumes and on the other hand Audio signals from an external sound source, preferably one Communication device user, including their environment Noise, picking up, and a first algorithm a room impulse response of the environment determines to that effect improve that on the recorded audio signals of the external Sound source, preferably the communication user, a second suppression algorithm is applied, the used for suppression a reverberation time, which he from the determined by the first algorithm determined room impulse response.
  • the method is particularly suitable for communication devices, such as for radios, mobile devices or Festnetztelefone, because here is the possibility of radiation a known signal and the subsequent recording given is.
  • the audio signals via a loudspeaker and also audio signals can pick up via a microphone, the method is suitable due to the environmental condition of the stand-alone device to use the resulting reverberation time and to suppress interference.
  • the determination of the reverberation time is via this method much more possible, as compared to a previous one Estimation from the reverberant audio signal.
  • the new procedure may be the basis for a Real-time parameterization and real-time adaptation of algorithms form the reverberation of speech signals.
  • the reverberation time from the energetic Rejection of reverberation is calculated using the information about the speed of this waste in the Room impulse response is included. This can be a more accurate Determination of the reverberation time compared to the statistically based Estimation of the reverberation time done.
  • AEC Acoustic Echo Cancelation
  • This AEC algorithm is available in many phones today and is actually to suppress the resumed audio signals used.
  • the algorithm calculates a room impulse response, which according to the invention for determining the reverberation time can be used.
  • a second suppression algorithm is used. Such a second suppression algorithm should be under Utilization of the determined or accepted reverberation time due to the environment superimposed interference components, such as echo and reverb, from the recorded audio signal of the communication device user remove.
  • the Room impulse response as a function of frequency and preferably filtered through several band passes. This can the reverberation time, which is itself frequency dependent, depending on the frequency are determined.
  • the described method of operation of a communication device is based on the fact that the speaker of an audio system, for example radiating into a room and that the audio signal fading through the room is picked up again by the microphone of the audio system.
  • a known communication device with means for interference suppression of audio signals wherein the communication device has at least one speaker, the audio signals radiates to an environment and continue at least one Microphone, with the one hand, these audio signals including environmental superimposed interference components, the at least echo and reverberation included, resumed and on the other hand audio signals from an external sound source, preferably a communication device user, including recorded their environmental interference components and a first means are provided in the communication device is that means for calculating a room impulse response the environment, to improve that a second means for the recorded audio signals of the external Sound source, preferably the communication user, including their environmental interference components is arranged, which is a means for determining the reverberation time having the reverberation time determined in the contained by the first means determined room impulse response is.
  • a communication device in which the reverberation time, by the utilization of the Radiation of a known audio signal and the subsequent Recording of the audio signal lost in the room via the determination the space impulse response has been determined, which is now also for filtering the audio signals of an external Sound source can be used.
  • the suppression can here more accurate than before, because the reverberation time better and more accurately determined.
  • the second means can be used Have program means and / or program modules that the Determine reverberation time.
  • AEC Acoustic Echo Cancellation
  • the second means program means and / or program modules having an algorithm perform that by taking advantage of the environment certain reverberation time superimposed by the environment Noise components, such as echo and reverb, from the recorded audio signal of the communication device user.
  • the determination of the reverberation time as a function of the frequency and according to the frequency-dependent interference suppression of the audio signals is realized low in the communication device, if bandpass filters are arranged in the communication device, that filter the room impulse response.
  • the new communication device may be a telephone, for example in the form of a mobile station or a Wired telephone, a household electrical appliance or an electrical module of a vehicle with means for Voice input and voice acting.
  • FIG. 1 shows an example in a diagram of the temporal Energy distribution of an audio signal, which is in one Record space with a microphone and measure when a impulsive audio signal, for example a bang, occurs. This power distribution is obtained by entering the magnitude square forms a room impulse response and this logarithmiert.
  • the reverberation 3 which consists of quasi chaotic superimposed reflections of the Audio signal exists in the room and diffuse arrives at the measuring microphone.
  • the new method uses the reverberation time T60 of an audio signal, from the room impulse response 14, for a given Space is characteristic, was determined.
  • the reverberation time T60 is shown in Figure 1 on the Ordinate of the diagram determines an energy range A60, the is in the range of the reverberation 3, in which the energy of the Reverberation drops by 60 decibels.
  • the upper and the lower Limit value of the energy range A60 are first on the Reverberation curve 3 and then on the abscissa, ie the time axis projected.
  • the projected area on the timeline corresponds the reverberation time T60.
  • the energy sector is not necessarily be chosen with 60 decibels, but can also be chosen smaller or larger. For example can also be chosen an area in which the energy of the Reverberation drops by 30 decibels, for example.
  • the value that obtained from the projection on the timeline must be appropriate by the factor of reduction / enlargement of the Energy, to be adjusted. At an energy range of only 30 decibels will be equal to the time period with the factor 2 multiplied to obtain the reverberation time T60.
  • the temporal energy distribution is exemplified a pulse-like audio signal, for example one Bang shown.
  • the audio signal in a smaller space to be included. This manifests itself in one less reverberation 3.
  • the reverberation curve 3 falls faster whereby the reverberation time T60 is lower than in FIG. 1 is.
  • the direct sound was 1 and the Echoes 2 in the diagram of Figure 2 unchanged from the diagram taken over the figure 1.
  • differences could occur here.
  • the reverberation time T60 can be determined.
  • FIG. 3 now shows a measured room impulse response 14 of a Space.
  • On the ordinate are the signal amplitudes and the time is plotted on the abscissa.
  • the speed of the waste of energy in the space impulse response Time is characteristic of this particular space. This speed is independent of the measurement signal and the Position of sound source and microphone in the room for that particular Room to be obtained.
  • FIG. 4 shows two communication devices 13.1 and 13.2, Replace the signals 4 and 12 via an interface 13.3. It may be in the communication devices 13.1 and 13.2, for example, to act on terminals in the mobile network.
  • the interface 13.3 may be, for example around a transmitting / receiving antenna or an infrared interface act.
  • the new method is used.
  • the first communication device 13.1 should be in an environment located, for example, in a church, in the Hall effects occur. This environment is open by a one-sided Rectangle indicated by the reference numeral 9.
  • the signal 4 is via the interface 13.3 from the second Communication device 13.2 to the first communication device 13.1 sent and received by this.
  • the signal 12 should be from first communication device 13.1 to the second communication device 13.2 be sent, it should be disrupted by the surroundings 9 of the first communication device 13.1 occur, be suppressed.
  • the first communication device 13.1 has at least one Digital-to-analog converter 6, which is the second communication device 13.2 sent digital signals 4 in analog Converts signals and forwards them to a loudspeaker 7.
  • the first communication device 13.1 has a Microphone 10, which can record analog signals and over an analog-to-digital converter 11 digitized.
  • the already known reverberation time as follows for the suppression of the signal 15.1 available made.
  • the sent from the second communication device 13.2 Signal 4 is converted by the digital-to-analog converter 6 and via the speaker 7 of the first communication device 13.1 issued.
  • Analogous to the diagrams of FIGS. 1 and 2 the signal 4 in the form of direct sound 8.1, echo 8.2 and Reverberation 8.3 to the microphone 10 of the first communication device 13.1 arrive.
  • the direct sound becomes 8.1
  • the echo becomes 8.2
  • the reverberation becomes 8.3 converted via an analog-to-digital converter 6 and over an algorithm 5, the room impulse response is determined.
  • AEC Acoustic Echo Cancellation
  • the reverberation time can be determined from this.
  • This reverberation time can also be used for filtering the signal 15.1 of the Communication device user 15, since the reverberation times, which is responsible for the transmission of signals 8.1 to 8.3 from the speaker 7 on the environment 9 to the microphone 10th and for the transmission of signals 15.1 to 15.3 from the communication device user 15 to the microphone 10, similar are.
  • the determined by the first algorithm 5 to determine Another algorithm 16 is provided to access the data of the algorithm 5 has, so on the room impulse response and the reverberation time contained therein. Then be the signals 15.1 to 15.3 with a Entstörtician 17th suppressed and output as signals 12.
  • FIG. 5 shows a special embodiment of a communication device.
  • a voice-driven Appliance 13.4 applied. This is the operator 15 of the voice-controlled electrical appliance only with the voice-controlled electrical appliance 13.4 in contact and not like in Figure 4 with another communication participant, the is located on a second communication device.
  • the voice-controlled electrical device 13.4 has a Voice generation module 18 to 4.1 signals, for example, the menu size of the electrical device 13.4, via the speaker 7 to spend.
  • the voice-controlled electrical appliance has 13.4 via a speech recognition module 19 to signals 12.1, for example, recognize the language of the operator 15 to be able to.
  • algorithm 5 can not be used become. But the reverberation time, resulting from the room impulse response which determines in algorithm 5 which was almost the same for the signals 15.1 to 15.3 of the operator 15, can by another algorithm 16 used, with a Entstörtician 17 the signal 15.1 suppressed.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Noise Elimination (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Transceivers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Kommunikationsgerätes (13.1, 13.2, 13.4) und ein Kommunikationsgerät (13.1, 13.2, 13.4) mit Mitteln zur Entstörung von Audiosignalen, wobei das Kommunikationsgerät (13.1, 13.2, 13.4) Audiosignale (8.1 bis 8.3) an eine Umgebung (9) abstrahlt und einerseits diese Audiosignale (8.1 bis 8.3) einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo (8.2) und Nachhall (8.3) enthalten, wieder aufnimmt und andererseits Audiosignale (15.1 bis 15.3) einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers (15), einschließlich deren umgebungsbedingter Störanteile (15.2 und 15.3) aufnimmt, und ein erster Algorithmus (5) eine Raumimpulsantwort (14) der Umgebung (9) bestimmt. Das Verfahren zum Betrieb eines Kommunikationsgerätes und das Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen zeichnen sich dadurch aus, dass auf die aufgenommenen Audiosignale (15.1 bis 15.3) der externen Schallquelle, vorzugsweise des Kommunikationsengerätenutzers (15), ein zweiter Entstör-Algorithmus (16) angewendet wird, der zur Entstörung, eine Nachhallzeit (T60) verwendet, die er aus der durch den ersten Algorithmus (5) bestimmten Raumimpulsantwort (14) ermittelt. <IMAGE>

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Kommunikationsgerätes, wobei das Kommunikationsgerät Audiosignale an eine Umgebung abstrahlt und einerseits diese Audiosignale einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo und Nachhall enthalten, wieder aufnimmt und andererseits Audiosignale einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers, einschließlich deren umgebungsbedingter Störanteile, aufnimmt, und die wiederaufgenommenen Audiosignale durch einen ersten Algorithmus benutzt werden, um eine Raumimpulsantwort der Umgebung zu bestimmen.
Des weiteren betrifft die Erfindung ein Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen, wobei das Kommunikationsgerät über zumindest einen Lautsprecher verfügt, der Audiosignale an eine Umgebung abstrahlt und weiterhin zumindest ein Mikrofon aufweist, mit dem einerseits diese Audiosignale einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo und Nachhall enthalten, wieder aufgenommen werden und andererseits Audiosignale einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers, einschließlich deren umgebungsbedingter Störanteile, aufgenommen werden, und im Kommunikationsgerät ein erstes Mittel vorgesehen ist, das ein Mittel zur Berechnung einer Raumimpulsantwort der Umgebung aufweist.
Es ist allgemein bekannt, dass über Lautsprecher abgestrahlte oder von einer Schallquelle, zum Beispiel der menschlichen Stimme, erzeugte Audiosignale in Räumen im Allgemeinen durch Echos und Nachhall verfälscht werden. Während die Echos aus direkten, einfachen und frühen Reflexionen des Audiosignals an einer der Begrenzungsflächen des Raumes, zum Beispiel den Wänden, dem Boden oder der Decke, bestehen, ist der Nachhall diffus und wird durch mehrfache, nur noch nach statistischen Methoden abschätzbare Reflexionen an den Begrenzungsflächen erzeugt.
Die Art und Dauer des Nachhalls werden von der Geometrie des Raumes und der Beschaffenheit der Wände entscheidend beeinflusst. Verschiedene Algorithmen der digitalen Sprach- und Audiosignalverarbeitung, vor allem solche, welche sich mit dem Problem der Enthallung von Sprachsignalen befassen, benötigen häufig eine Abschätzung der sogenannten Nachhallzeit. Die Nachhallzeit, meist mit T60 abgekürzt, ist eine in der Akustik bekannte wichtige Kenngröße für Räume. Sie kann frequenzabhängig bestimmt werden und beschreibt, in welcher Zeit nach dem Verstummen einer Signalquelle die Energie des Hallsignals um 60 dB [dB = Dezibel], gegebenenfalls noch abhängig von dem jeweiligen Frequenzband, abgefallen ist.
Die Nachhallzeit wird bisher über zwei Verfahrensarten bestimmt, nämlich über statistische Schätzverfahren oder durch ein Verfahren, das sich eines oder mehrerer Messsignale bedient.
Im ersten Fall wird zum Beispiel eine über viele Sprecher und Sprachbeispiele gemittelte Information über das Zeit- und Amplitudenverhältnis von Sprachabschnitten zu Sprachpausen herangezogen, um über die Veränderung dieses Verhältnisses im Vergleich zum Wert bei unverhallter Sprache eine Aussage über die Nachhallzeit zu gewinnen.
Man kann leicht erkennen, dass hier sprecherspezifische Eigenarten, wie zum Beispiel häufige und/oder lange Sprachpausen, diese Abschätzung stark verfälschen können. Es ist zu betonen, dass eine Abschätzung der Nachhallzeit ohne Verwendung eines Messsignals, also zum Beispiel während eines Telefongesprächs, im Allgemeinen sehr problematisch ist, da nicht ohne weiteres feststellbar ist, welche Signalanteile des vom Mikrofon aufgenommenen Schallsignals Direktschall und welche Anteile Echo oder Hall sind. Unter Direktschall versteht man das Signal, welches ohne eine einzige Reflexion direkt vom Sprecher, also von der "Schallquelle" zum Mikrofon gelangt. Eine auf statistischen Merkmalen basierte Schätzung der Nachhallzeit kann höchstens dadurch erfolgen, dass Merkmale typischer unverhallter, "sauberer" Sprache mit den Merkmalen des vorliegenden, aufgenommenen, verhallten Sprachsignals verglichen werden.
Im zweiten Fall muss über eine externe Schallquelle ein Messsignal, zum Beispiel weißes Rauschen, abgespielt werden, welches dem System bekannt ist. Über die Korrelation zwischen dem abgespielten Messsignal und dem Signal, welches über das Mikrofon des Kommunikationsgeräts wieder empfangen wird, kann dann die Abschätzung der Nachhallzeit T60 erfolgen. Diese Möglichkeit ist höchstens für Versuchsaufbauten praktikabel, da zum Beispiel dem Benutzer eines Telefons nicht zugemutet werden kann, vor oder während jedes Gesprächs erst mit dem Telefon eine solche Messung durchzuführen.
Je genauer die Nachhallzeit bekannt ist, desto besser lässt sich die Enthallung eines Audiosignals ermöglichen.
Es ist daher Aufgabe der Erfindung, ein Verfahren zum Betrieb eines Kommunikationsgerätes und ein Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen zu finden, welches im Vergleich zu den bisher bekannten Verfahren und Hardwaregeräten mit einer genauer ermittelten Nachhallzeit auch eine bessere Entstörung der Audiosignale zulässt.
Diese Aufgaben der Erfindung werden durch das Verfahren mit den Merkmalen des Patentanspruches 1 und gegenständlich durch das Kommunikationsgerät mit den Merkmalen des Patentanspruches 8 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand untergeordneter Patentansprüche.
Die Erfinder haben erkannt, dass Informationen, die in der Raumimpulsantwort enthalten sind, auch zur Entstörung weiterer Audiosignale verwendet werden können. Die Raumimpulsantwort kann mit Hilfe eines bekannten Verfahrens gewonnen werden. Vorteilhaft kann die durch das Acoustic Echo Cancelation-Verfahren berechnete Raumimpulsantwort, wobei das AEC-Verfahren in vielen Telefonen schon vorhanden ist und welches diese Raumimpulsantwort zur Unterdrückung der wiederaufgenommenen Audiosignale benutzt, auch zur Bestimmung der Nachhallzeit der Umgebung verwendet werden.
Wird beispielsweise - im Falle von zwei Kommunikationsgeräten - das von einem ersten Kommunikationsgerät im Freisprechmodus abgestrahlte Audiosignal, üblicherweise die Stimme des Kommunikationsgerätenutzers des zweiten Kommunikationsgerätes, inklusive der durch die Umgebung des ersten Kommunikationsgeräts bedingter Störanteile wieder vom Mikrofon des ersten Kommunikationsgeräts aufgenommen, so lässt sich aus diesen Audiosignalen mit einem ersten Algorithmus zunächst die Raumimpulsantwort bestimmen. Die Raumimpulsantwort beinhaltet implizit die Nachhallzeit T60, das heißt die Nachhallzeit kann aus ihr berechnet werden.
Soll nun ein weiteres Audiosignal, zum Beispiel die Sprache des Kommunikationsgerätenutzers vom ersten Kommunikationsgerät, aufgenommen werden, welches seinerseits durch die Umgebung störbehaftet ist, so wird aus der bereits vom ersten Algorithmus bestimmten Raumimpulsantwort die Nachhallzeit des Raumes bestimmt. Diese Nachhallzeit kann dann genutzt werden, um den Nachhall im aufgenommenen Sprachsignal des ersten Kommunikationsgerätenutzers zu bestimmen. Hierbei machen sich die Erfinder zusätzlich die Erkenntnis zu nutzte, das sich die Nachhallzeit auch bei verschiedenen Positionen der Schallquelle im Raum nicht signifikant ändert.
Entsprechend diesem Erfindungsgedanken schlagen die Erfinder ein Verfahren zum Betrieb eines Kommunikationsgerätes vor, wobei das Kommunikationsgerät Audiosignale an eine Umgebung abstrahlt und einerseits diese Audiosignale einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo und Nachhall enthalten, wieder aufnimmt und andererseits Audiosignale einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers, einschließlich deren umgebungsbedingter Störanteile, aufnimmt, und ein erster Algorithmus eine Raumimpulsantwort der Umgebung bestimmt, dahingehend zu verbessern, dass auf die aufgenommenen Audiosignale der externen Schallquelle, vorzugsweise des Kommunikationsengerätenutzers, ein zweiter Entstör-Algorithmus angewendet wird, der zur Entstörung eine Nachhallzeit verwendet, die er aus der durch den ersten Algorithmus bestimmten Raumimpulsantwort ermittelt.
Hierdurch lässt sich diejenige Nachhallzeit zur Entstörung von Audiosignalen einer externen Schallquelle nutzen, die aus der durch Abstrahlung eines bekannten Audiosignals und der anschließenden Aufnahme des im Raum verhallten Audiosignals bestimmten Raumimpulsantwort berechnet werden kann. Gegenüber der Schätzung der Nachhallzeit von Audiosignalen einer externen Schallquelle ist dieses Verfahren genauer.
Das Verfahren eignet sich besonders gut für Kommunikationsgeräte, wie zum Beispiel für Funkgeräte, Mobilfunkgeräte oder Festnetztelefone, da gerade hier die Möglichkeit der Abstrahlung eines bekannten Signals und der anschließenden Aufnahme gegeben ist. Aber auch für Stand-Alone-Geräte, die Audiosignale über einen Lautsprecher ausgeben und auch Audiosignale über ein Mikrofon aufnehmen können, ist das Verfahren geeignet, die durch die Umgebungsbedingung des Stand-Alone-Gerätes ergebende Nachhallzeit zu nutzen und entsprechend zu entstören.
Außerdem ist die Bestimmung der Nachhallzeit über dieses Verfahren wesentlich genauer möglich, als gegenüber einer bisherigen Abschätzung aus dem verhallten Audiosignal.
Das neue Verfahren kann beispielsweise die Grundlage für eine Echtzeitparametrisierung und eine Echtzeitanpassung von Algorithmen zur Enthallung von Sprachsignalen bilden.
Es ist vorteilhaft, wenn ausschließlich der erste Algorithmus die Nachhallzeit bestimmt.
Alternativ dazu ist es möglich, dass ausschließlich der zweite Entstör-Algorithmus die Nachhallzeit bestimmt.
Weiterhin ist es günstig, wenn die Nachhallzeit aus dem energetischen Abfall des Nachhalls berechnet wird, wobei die Information über die Geschwindigkeit dieses Abfalls in der Raumimpulsantwort enthalten ist. Hierdurch kann eine genauere Bestimmung der Nachhallzeit gegenüber der statistisch basierten Schätzung der Nachhallzeit erfolgen.
Zur Bestimmung der Raumimpulsantwort, aus der dann die Nachhallzeit bestimmt werden kann, kann in dem neuen Verfahren beim ersten Algorithmus ein AEC-Algorithmus (AEC = Acoustic Echo Cancelation) verwendet werden. Dieser AEC-Algorithmus ist in vielen Telefonen schon heute vorhanden und wird eigentlich zur Unterdrückung der wiederaufgenommenen Audiosignale benutzt. Der Algorithmus berechnet eine Raumimpulsantwort, welche sich erfindungsgemäß zur Bestimmung der Nachhallzeit verwenden lässt.
Zur Entstörung der aufgenommenen Audiosignale des Kommunikationsgerätenutzers wird ein zweiter Entstör-Algorithmus verwendet. Ein solcher zweiter Entstör-Algorithmus soll unter Ausnutzung der bestimmten oder übernommenen Nachhallzeit die umgebungsbedingt überlagerten Störanteile, wie Echo und Hall, aus dem aufgenommenen Audiosignal des Kommunikationsgerätenutzers entfernen.
Für das Verfahren ist es ebenfalls vorteilhaft, wenn die Raumimpulsantwort in Abhängigkeit der Frequenz und vorzugsweise durch mehrere Bandpässe gefiltert wird. Hierdurch kann die Nachhallzeit, die selbst frequenzabhängig ist, in Abhängigkeit der Frequenz bestimmt werden.
An dieser Stelle sei erwähnt, dass die Anwendung des neuen Verfahrens sehr einfach bei zwei Kommunikationsgeräten nachgewiesen werden kann: Das beschriebene Verfahren zum Betrieb eines Kommunikationsgerätes basiert darauf, dass der Lautsprecher eines Audiosystems, zum Beispiel in einen Raum abstrahlt und dass das durch den Raum verhallte Audiosignal wieder vom Mikrofon des Audiosystems aufgenommen wird.
Zum Nachweis wird eine Sprachverbindung zwischen den zwei Mobilfunkteilnehmern aufgebaut. Anschließend trennt der erste Mobilfunkteilnehmer, während der zweite Mobilfunkteilnehmer spricht, die akustische Verbindung zwischen Lautsprecher und Mikrofon, zum Beispiel durch Verdecken des Lautsprechers mit der Hand. Bemerkt nun der zweite Mobilfunkteilnehmer eine deutliche Verschlechterung der Qualität des Audiosignals, zum Beispiel in Form einer verhallten Stimme, wenn der erste Mobilfunkendteilnehmer spricht, so wird das neue Verfahren zur Bestimmung der Nachhallzeit im Gerät des ersten Mobilfunkendteilnehmers angewendet. Dies setzt voraus, dass ein Enthallungs-Algorithmus angewendet wird. Die Unterbrechung der Übertragungsstrecke beim ersten Mobilfunkendgerät verhindert eine Adaption des verwendeten "Entstör-Algorithmus" an die Nachhallzeit des Raums.
Zur gegenständlichen Lösung ihrer Aufgabe schlagen die Erfinder auch vor, ein bekanntes Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen, wobei das Kommunikationsgerät über zumindest einem Lautsprecher verfügt, der Audiosignale an eine Umgebung abstrahlt und weiterhin zumindest ein Mikrofon aufweist, mit dem einerseits diese Audiosignale einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo und Nachhall enthalten, wieder aufgenommen werden und andererseits Audiosignale einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers, einschließlich deren umgebungsbedingter Störanteile aufgenommen werden, und im Kommunikationsgerät ein erstes Mittel vorgesehen ist, das ein Mittel zur Berechnung einer Raumimpulsantwort der Umgebung aufweist, dahingehend zu verbessern, dass ein zweites Mittel für die aufgenommenen Audiosignale der externen Schallquelle, vorzugsweise des Kommunikationsengerätenutzers, einschließlich deren umgebungsbedingter Störanteile angeordnet ist, das ein Mittel zur Ermittlung der Nachhallzeit aufweist, das die Nachhallzeit ermittelt, die in der durch das erste Mittel bestimmten Raumimpulsantwort enthalten ist.
Hierdurch wird ein Kommunikationsgerät zur Verfügung gestellt, in dem die Nachhallzeit, die durch die Ausnutzung der Abstrahlung eines bekannten Audiosignals und der anschließenden Aufnahme des im Raum verhallten Audiosignals über die Bestimmung der Raumimpulsantwort, bestimmt wurde, welches nun auch für die Entstörung der Audiosignale einer externen Schallquelle verwendet werden kann. Die Entstörung kann hierbei genauer als bisher erfolgen, da die Nachhallzeit besser und genauer bestimmt wird.
Es besteht die Möglichkeit, dass ausschließlich das erste Mittel über Programmmittel und/oder Programmmodule verfügt, die die Nachhallzeit bestimmen.
Alternativ dazu kann aber auch ausschließlich das zweite Mittel Programmmittel und/oder Programmmodule aufweisen, die die Nachhallzeit bestimmen.
Das erste Mittel kann über Programmmittel und/oder Programmmodule verfügen, die einen AEC-Algorithmus (AEC = Acoustic Echo Cancellation) oder einen Algorithmus, wie in Welch, P.D.[1970], "The Use of Fast Fourier Transform for the Estimation of Power Spectra", IEEE Trans Audio Electroacoustic, Vol AU15, pp70-73), beschrieben, ausführen. Der Inhalt dieses Literaturverweises wird vollinhaltlich übernommen.
Weiterhin ist es vorteilhaft, wenn die zweiten Mittel Programmmittel und/oder Programmmodule aufweisen, die einen Algorithmus ausführen, der unter Ausnutzung der umgebungsabhängig bestimmten Nachhallzeit die umgebungsbedingt überlagerten Störanteile, wie Echo und Hall, aus dem aufgenommenen Audiosignal des Kommunikationsgerätenutzers entfernt.
Die Bestimmung der Nachhallzeit in Abhängigkeit der Frequenz und entsprechend die frequenzabhängige Entstörung der Audiosignale wird in dem Kommunikationsgerät günstig realisiert, wenn im Kommunikationsgerät Bandpassfilter angeordnet sind, die die Raumimpulsantwort filtern.
Bei dem neuen Kommunikationsgerät kann es sich um ein Telefon, zum Beispiel in Form eines Mobilfunkendgerätes oder eines kabelgebundenen Telefons, ein elektrisches Haushaltgerät oder ein elektrisches Modul eines Fahrzeuges mit Mitteln zur Spracheingabe und Sprachausgabe handeln.
Im Folgenden wird die Erfindung anhand bevorzugter Ausführungsbeispiele mit Hilfe der Figuren 1 bis 5 beschrieben, wobei in den Figuren die folgenden Abkürzungen verwendet werden: 1: Direktschall eines impulsartigen Audiosignals; 2: Echos; 3: Nachhall/Nachhallkurve; 4: Empfangene Signale vom zweiten Kommunikationsgerät; 4.1: Signale vom Spracherzeugungsmodul; 5: Algorithmus zur Bestimmung der Nachhallzeit; 6: Digital-Analog-Wandler; 7: Lautsprecher; 8.1: Signal, das direkt vom Lautsprecher zum Mikrofon gelangt = Direktschall; 8.2: Signal des Lautsprechers, das einfach am Objekt reflektiert wird = Echo; 8.3: Signal des Lautsprechers, das mehrfach und diffus am Objekt reflektiert wird = Nachhall; 9: Objekt an dem die Signale reflektiert werden; 10: Mikrofon; 11: Analog-Digital-Wandler; 12: Zu sendende Signale zum zweiten Kommunikationsgerät; 12.1: Signale zum Spracherkennungsmodul; 13.1: Erstes Kommunikationsgerät; 13.2: Zweites Kommunikationsgerät; 13.3: Schnittstelle für Signalübermittlung; 13.4: Sprachgesteuertes Elektrogerät: 14: Raumimpulsantwort; 15: Kommunikationsgerätenutzer/Bediener; 15.1: Signal, das direkt vom Kommunikationsgerätenutzer zum Mikrofon gelangt = Direktschall; 15.2: Signal des Kommunikationsgerätenutzers, das einfach am Objekt reflektiert wird = Echo; 15.3: Signal des Kommunikationsgerätenutzers, das mehrfach und diffus am Objekt reflektiert wird = Nachhall; 16: Algorithmus zur Enthallung der Signale 15.1 bis 15.3; 17: Entstöreinheit; 18: Spracherzeugungsmodul; 19: Spracherkennungsmodul; A60: Energiebereich, in dem die Energie um 60 Dezibel abfällt; T60: Nachhallzeit.
Es zeigen im Einzelnen:
Figur 1:
Zeitliche Energieverteilung eines ursprünglich impulsförmigen Audiosignals in einem Raum;
Figur 2:
Zeitliche Energieverteilung desselben Audiosignals aus Figur 1, jedoch in einem kleineren Raum;
Figur 3:
Gemessene Raumimpulsantwort eines Raumes;
Figur 4:
Zwei Kommunikationsgeräte, die Signale austauschen, wobei in einem Kommunikationsgerät das neue Verfahren angewendet wird;
Figur 5:
Sprachgesteuertes Elektrogerät, in dem das neue Verfahren angewendet wird.
Die Figur 1 zeigt exemplarisch in einem Diagramm die zeitliche Energieverteilung eines Audiosignals, die man in einem Raum mit einem Mikrofon aufnehmen und messen kann, wenn ein impulsartiges Audiosignal, zum Beispiel ein Knall, auftritt. Diese Energieverteilung erhält man, indem man das Betragsquadrat einer Raumimpulsantwort bildet und dieses logarithmiert.
Auf der Ordinate des Diagramms sind die logarithmierten Signalamplituden, als Maß für die Energie des Audiosignals, und auf der Abszisse die Zeit, jeweils in willkürlichen Einheiten, aufgetragen.
Man erkennt als erste Linie ganz links im Diagramm den sogenannten Direktschall 1, welcher auf direktem Weg von der Schallquelle zum Messmikrofon gelangt. Dann folgen, die in diesem Beispiel energetisch schwächeren Echos 2, die einmal oder zweimal an Wänden des Raumes reflektiert wurden, bevor sie zum Messmikrofon gelangen.
Zuletzt folgt, symbolisiert durch ein Dreieck, der Nachhall 3, welcher aus quasi chaotischen überlagerten Reflexionen des Audiosignals im Raum besteht und diffus am Messmikrofon eintrifft.
Das neue Verfahren nutzt die Nachhallzeit T60 eines Audiosignals, die aus der Raumimpulsantwort 14, die für einen bestimmten Raum charakteristisch ist, bestimmt wurde.
Zur Bestimmung der Nachhallzeit T60 wird in Figur 1 auf der Ordinate des Diagramms ein Energiebereich A60 bestimmt, der im Bereich des Nachhalls 3 liegt, in dem die Energie des Nachhalls um 60 Dezibel abfällt. Der obere und der untere Grenzwert des Energiebereiches A60 werden zuerst auf die Nachhallkurve 3 und danach auf die Abszisse also die Zeitachse projiziert. Der projizierte Bereich auf der Zeitachse entspricht der Nachhallzeit T60.
An dieser Stelle sei erwähnt, dass der Energiebereich nicht notwendigerweise mit 60 Dezibel gewählt werden muss, sondern auch kleiner oder größer gewählt werden kann. Zum Beispiel kann auch ein Bereich gewählt werden, in dem die Energie des Nachhalls, um zum Beispiel 30 Dezibel abfällt. Der Wert, der aus der Projektion auf die Zeitachse erhalten wird, muss entsprechend um den Faktor der Verkleinerung/Vergrößerung der Energie, angepasst werden. Bei einem Energiebereich von nur 30 Dezibel wird entsprechend der Zeitabschnitt mit dem Faktor 2 multipliziert, um die Nachhallzeit T60 zu erhalten.
In Figur 2 wird wiederum exemplarisch die zeitliche Energieverteilung eines impulsartigen Audiosignals, zum Beispiel eines Knalles gezeigt. Im Unterschied zu den Randbedingungen, die für die Figur 1 galten, soll das Audiosignal in einem kleineren Raum aufgenommen werden. Dies äußert sich in einem geringeren Nachhall 3. Die Nachhallkurve 3 fällt schneller ab, wodurch auch die Nachhallzeit T60 geringer als in Figur 1 ist. Der Einfachheit halber wurde der Direktschall 1 und die Echos 2 im Diagramm der Figur 2 unverändert aus dem Diagramm der Figur 1 übernommen. Bei einer reellen Messung eines Signals könnten hier jedoch Unterschiede auftreten.
Man erkennt, dass aus dem energetischen Abfall des Nachhalls 3, also der negativen Steigung der Nachhallkurve 3, die Nachhallzeit T60 bestimmt werden kann.
Die Figur 3 zeigt nun eine gemessene Raumimpulsantwort 14 eines Raumes. Auf der Ordinate sind die Signalamplituden und auf der Abszisse ist die Zeit aufgetragen. Die Geschwindigkeit des Abfalls der Energie in der Raumimpulsantwort über die Zeit ist charakteristisch für diesen bestimmten Raum. Diese Geschwindigkeit wird unabhängig vom Messsignal und der Position von Schallquelle und Mikrofon im Raum für diesen bestimmten Raum erhalten werden.
Die Figur 4 zeigt zwei Kommunikationsgeräte 13.1 und 13.2, die Signale 4 und 12 über eine Schnittstelle 13.3 austauschen. Dabei kann es sich bei den Kommunikationsgeräten 13.1 und 13.2 beispielsweise um Endgeräte im Mobilfunknetz handeln. Bei der Schnittstelle 13.3 kann es sich beispielsweise um eine Sende-/Empfangsantenne oder um eine Infrarotschnittstelle handeln.
Im Kommunikationsgerät 13.1 wird das neue Verfahren angewendet.
Das erste Kommunikationsgerät 13.1 soll sich in einer Umgebung befinden, zum Beispiel in einer Kirche, in der Halleffekte auftreten. Diese Umgebung ist durch ein einseitig offenes Rechteck mit dem Bezugszeichen 9 angedeutet.
Das Signal 4 wird über die Schnittstelle 13.3 vom zweiten Kommunikationsgerät 13.2 zum ersten Kommunikationsgerät 13.1 gesendet und von diesem empfangen. Das Signal 12 soll vom ersten Kommunikationsgerät 13.1 zum zweiten Kommunikationsgerät 13.2 gesendet werden, dabei sollen Störungen, die durch die Umgebung 9 des ersten Kommunikationsgerätes 13.1 auftreten, unterdrückt werden.
Das erste Kommunikationsgerät 13.1 verfügt zumindest über einen Digital-Analog-Wandler 6, der die vom zweiten Kommunikationsgerät 13.2 gesendeten digitalen Signale 4 in analoge Signale umwandelt und an einen Lautsprecher 7 weiterleitet. Außerdem verfügt das erste Kommunikationsgerät 13.1 über ein Mikrofon 10, welches analoge Signale aufnehmen kann und über einen Analog-Digital-Wandler 11 digitalisiert.
Durch das neue Verfahren soll das Signal 15.1, in der Regel Sprachesignale, das ein Kommunikationsgerätenutzer 15 an das Mikrofon 10 des ersten Kommunikationsgeräts 13.1 abgibt, entstört werden. Die Entstörung geschieht durch möglichst vollständige Unterdrückung des unerwünschten Echos 15.2 und des unerwünschten Halls 15.3. Um dieses Signal entstören zu können, muss die Nachhallzeit T60 ermittelt werden. Hierbei macht sich das neue Verfahren Folgendes zu nutze:
  • Die Nachhallzeit, die für diese Umgebung 9 charakteristisch ist, ist in der Raumimpulsantwort enthalten. Die Raumimpulsantwort wiederum lässt sich aus dem Verhältnis der Signale 8.2 und 8.3 zum Signal 8.1 bestimmen.
  • Die Nachhallzeit ändert sich an verschiedenen Positionen der Schallquelle im Raum nicht signifikant. Das heißt, die Signale 8.1 bis 8.3 die vom Lautsprecher 7 zum Mikrofon 10 gelangen und die Signale 15.1 bis 15.3, die vom Kommunikationsgerätenutzer 15 zum Mikrofon 10 gelangen, haben eine ähnliche Nachhallzeit.
Im neuen Verfahren wird die bereits bekannte Nachhallzeit folgendermaßen für die Entstörung des Signals 15.1 nutzbar gemacht. Das vom zweiten Kommunikationsgerät 13.2 gesendete Signal 4 wird durch den Digital-Analog-Wandler 6 umgewandelt und über den Lautsprecher 7 des ersten Kommunikationsgeräts 13.1 ausgegeben. Analog zu den Diagrammen der Figuren 1 und 2 kann das Signal 4 in Form von Direktschall 8.1, Echo 8.2 und Nachhall 8.3 zum Mikrofon 10 des ersten Kommunikationsgerätes 13.1 gelangen.
Der Direktschall 8.1, das Echo 8.2 und der Nachhall 8.3 werden über einen Analog-Digital-Wandler 6 umgewandelt und über einem Algorithmus 5 wird die Raumimpulsantwort bestimmt.
Zur Bestimmung der Raumimpulsantwort können verschiedene Methoden eingesetzt werden.
So kann ein sogenannter AEC-Algorithmus (AEC = Acoustic Echo Cancellation) implementiert werden. Dieser Algorithmus wird verwendet, um im Freisprechmodus das Echo des Sprachsignals des fernen Teilnehmers, welches vom Lautsprecher 7 abgestrahlt und unerwünscht vom Mikrofon 10 wieder aufgenommen wird, zu kompensieren. Hierzu wird mittels Abschätzung der Übertragungsstrecke Lautsprecher 7 und Mikrofon 10 eine Impulsantwort berechnet. Durch Faltung des vom Kommunikationsgerät 13.2 gesendeten Signals 4 mit dieser Impulsantwort und anschließender Subtraktion des so berechneten Signals vom Mikrofonsignal findet die Echo-Unterdrückung statt. Das Signal wird über eine Entstöreinheit 17 entstört.
Alternativ dazu kann zur Bestimmung der Raumimpulsantwort ein bekannter Algorithmus eingesetzt werden, welcher zuerst von "Welch" publiziert wurde. So beschreibt die Welch Methode (siehe auch Welch, P.D.[1970], "The Use of Fast Fourier Transform for the Estimation of Power Spectra", IEEE Trans Audio Electroacoustic, Vol AU15, pp70-73) die Bestimmung einer Impulsantwort durch die Abstrahlung eines Ausgangssignals und der Messung des Eingangssignals. Einzige Anforderung an das Ausgangssignal ist das Vorhandensein von ausreichend Energie in den zu betrachtenden Frequenzbereichen.
Ist die Raumimpulsantwort mit einem Algorithmus 5 bestimmt, so kann hieraus die Nachhallzeit bestimmt werden. Diese Nachhallzeit kann auch für die Entstörung des Signals 15.1 des Kommunikationsgerätenutzers 15 genutzt werden, da die Nachhallzeiten, die sich für die Übertragung von Signalen 8.1 bis 8.3 vom Lautsprecher 7 über die Umgebung 9 zum Mikrofon 10 und für die Übertragung von Signalen 15.1 bis 15.3 vom Kommunikationsgerätenutzers 15 zum Mikrofon 10 ergeben, ähnlich sind. Um diese Nachhallzeit aus der Raumimpulsantwort, die durch den ersten Algorithmus 5 bestimmt wurde, zu ermitteln, ist ein weiterer Algorithmus 16 vorgesehen, der Zugriff auf die Daten des Algorithmus 5 hat, also auch auf die Raumimpulsantwort und die darin enthaltene Nachhallzeit. Dann werden die Signale 15.1 bis 15.3 mit einer Entstöreinheit 17 entstört und als Signale 12 ausgegeben.
Die Figur 5 zeigt eine besondere Ausführung eines Kommunikationsgerätes. Hier wird das neue Verfahren in einem sprachgesteuerten Elektrogerät 13.4 angewendet. Dabei steht der Bediener 15 des sprachgesteuerten Elektrogeräts nur mit dem sprachgesteuerten Elektrogerät 13.4 in Kontakt und nicht wie in Figur 4 mit einem weiteren Kommunikationsteilnehmer, der sich an einem zweiten Kommunikationsgerät befindet.
Das sprachgesteuerte Elektrogerät 13.4 verfügt über ein Spracherzeugungsmodul 18, um Signale 4.1 zum Beispiel den Menüumfang des Elektrogerätes 13.4, über den Lautsprecher 7 ausgeben zu können. Außerdem verfügt das sprachgesteuerte Elektrogerät 13.4 über ein Spracherkennungsmodul 19, um Signale 12.1, zum Beispiel die Sprache des Bedieners 15, erkennen zu können.
Abhängig von der Umgebung 9, können die über den Lautsprecher 7 in Form von Direktschall 8.1, Echo 8.2 und Nachhall 8.3 ausgegebene Signale ungewollt vom Mikrofon 10 aufgenommen werden. Um diese Rückkopplung zu vermeiden, wird im sprachgesteuerten Elektrogerät 13.4 ein Algorithmus 5 ausgeführt, der unter anderem auch die Raumimpulsantwort bestimmt. Außerdem wird diese Rückkopplung mit einer Entstöreinheit 17 unterdrückt.
Zur Entstörung des vom Bediener 15 an das Mikrofon 10 geschickten Signals 15.1 kann der Algorithmus 5 nicht verwendet werden. Aber die Nachhallzeit, die sich aus der Raumimpulsantwort berechnen lässt, welche im Algorithmus 5 bestimmt wurde, die aber nahezu gleich für die Signale 15.1 bis 15.3 des Bedieners 15 gilt, kann von einem weiteren Algorithmus 16 verwendet werden, der mit einer Entstöreinheit 17 das Signal 15.1 entstört.
Es versteht sich, dass die vorstehend genannten Merkmale der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der Erfindung zu verlassen.
Bezugszeichenliste
1
Direktschall eines impulsartigen Audiosignals
2
Echos
3
Nachhall / Nachhallkurve
4
Empfangene Signale vom zweiten Kommunikationsgerät
4.1
Signale vom Spracherzeugungsmodul
5
Algorithmus
6
Digital-Analog-Wandler
7
Lautsprecher
8.1
Signal, das direkt vom Lautsprecher zum Mikrofon gelangt = Direktschall
8.2
Signal des Lautsprechers, das einfach am Objekt reflektiert wird = Echo
8.3
Signal des Lautsprechers, das mehrfach und diffus am Objekt reflektiert wird = Nachhall
9
Objekt an dem die Signale reflektiert werden
10
Mikrofon
11
Analog-Digital-Wandler
12
Zu sendende Signale zum zweiten Kommunikationsgerät
12.1
Signale zum Spracherkennungsmodul
13.1
Erstes Kommunikationsgerät
13.2
Zweites Kommunikationsgerät
13.3
Schnittstelle für Signalübermittlung
13.4
Sprachgesteuertes Elektrogerät
14
Raumimpulsantwort
15
Kommunikationsgerätenutzer/Bediener
15.1
Signal, das direkt vom Kommunikationsgerätenutzer zum Mikrofon gelangt = Direktschall
15.2
Signal des Kommunikationsgerätenutzers, das einfach am Objekt reflektiert wird = Echo
15.3
Signal des Kommunikationsgerätenutzers, das mehrfach und diffus am Objekt reflektiert wird = Nachhall
16
Algorithmus zur Enthallung der Signale 15.1 bis 15.3
17
Entstöreinheit
18
Spracherzeugungsmodul
19
Spracherkennungsmodul
A60
Energiebereich, in dem die Energie um 60 Dezibel abfällt
T60
Nachhallzeit T60

Claims (18)

  1. Verfahren zum Betrieb eines Kommunikationsgerätes (13.1, 13.2, 13.4), wobei
    das Kommunikationsgerät (13.1, 13.2, 13.4) Audiosignale (8.1 bis 8.3) an eine Umgebung (9) abstrahlt und
    einerseits diese Audiosignale (8.1 bis 8.3) einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo (8.2) und Nachhall (8.3) enthalten, wieder aufnimmt und
    andererseits Audiosignale (15.1 bis 15.3) einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers (15), einschließlich deren umgebungsbedingter Störanteile (15.2 und 15.3) aufnimmt, und
    die wiederaufgenommenen Audiosignale (8.1 bis 8.3) durch einen ersten Algorithmus (5) benutzt werden, um eine Raumimpulsantwort der Umgebung zu bestimmen,
    dadurch gekennzeichnet, dass
    auf die aufgenommenen Audiosignale (15.1 bis 15.3) der externen Schallquelle, vorzugsweise des Kommunikationsgerätenutzers (15), ein zweiter Entstör-Algorithmus (16) angewendet wird, der zur Entstörung eine Nachhallzeit (T60) verwendet, die er aus der durch den ersten Algorithmus (5) bestimmten Raumimpulsantwort (14) ermittelt.
  2. Verfahren gemäß dem voranstehenden Patentanspruch 1,
    dadurch gekennzeichnet, dass
    ausschließlich der erste Algorithmus (5) die Nachhallzeit (T60) bestimmt.
  3. Verfahren gemäß dem voranstehenden Patentanspruch 1,
    dadurch gekennzeichnet, dass
    ausschließlich der zweite Entstör-Algorithmus (16) die Nachhallzeit (T60) bestimmt.
  4. Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 3,
    dadurch gekennzeichnet, dass
    die Nachhallzeit (T60) aus dem energetischen Abfall des Nachhalls (8.3) in der Raumimpulsantwort (14) berechnet wird.
  5. Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 4,
    dadurch gekennzeichnet, dass
    als erster Algorithmus ein AEC-Algorithmus (5) (AEC = Acoustic Echo Cancellation) verwendet wird.
  6. Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 5,
    dadurch gekennzeichnet, dass
    der zweite Entstör-Algorithmus (16) unter Ausnutzung der umgebungsabhängig bestimmten oder übernommenen Nachhallzeit (T60) die überlagerten Störanteile (15.2 und 15.3) aus dem aufgenommenen Audiosignal (15.1 bis 15.3) der externen Schallquelle entfernt.
  7. Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 6,
    dadurch gekennzeichnet, dass
    zur Bestimmung der Nachhallzeit (T60) in Abhängigkeit der Frequenz die Raumimpulsantwort (14) gefiltert wird, vorzugsweise mit Bandpassfiltern.
  8. Kommunikationsgerät (13.1, 13.2, 13.4) mit Mitteln zur Entstörung von Audiosignalen, wobei das Kommunikationsgerät (13.1, 13.2, 13.4) über
    zumindest einen Lautsprecher (7) verfügt, der Audiosignale (8.1 bis 8.3) an eine Umgebung (9) abstrahlt und
    weiterhin zumindest ein Mikrofon (10) aufweist, mit dem einerseits diese Audiosignale (8.1 bis 8.3) einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo (8.2) und Nachhall (8.3) enthalten, wieder aufgenommen werden und
    andererseits Audiosignale (15.1 bis 15.3) einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers (15), einschließlich deren umgebungsbedingter Störanteile (15.2, 15.3) aufgenommen werden, und
    im Kommunikationsgerät (13.1, 13.2, 13.4) ein erstes Mittel (5) vorgesehen ist, das ein Mittel zur Berechnung einer Raumimpulsantwort der Umgebung aufweist,
    dadurch gekennzeichnet, dass
    ein zweites Mittel (16) für die aufgenommenen Audiosignale (15.1 bis 15.3) der externen Schallquelle, vorzugsweise des Kommunikationsengerätenutzers (15), einschließlich deren umgebungsbedingter Störanteile (15.2, 15.3) angeordnet ist, das ein Mittel zur Ermittlung der Nachhallzeit (T60) aufweist, das die Nachhallzeit (T60) ermittelt, die in der durch das erste Mittel (5) bestimmen der Raumimpulsantwort (14) enthalten ist.
  9. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß dem voranstehende Patentanspruch 8,
    dadurch gekennzeichnet, dass
    ausschließlich das erste Mittel (5) Programmmittel und/oder Programmmodule aufweist, die die Nachhallzeit (T60) bestimmen.
  10. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß dem voranstehende Patentanspruch 8,
    dadurch gekennzeichnet, dass
    ausschließlich das zweite Mittel (16) Programmmittel und/oder Programmmodule aufweist, die die Nachhallzeit (T60) bestimmen.
  11. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehende Patentansprüche 8 bis 10,
    dadurch gekennzeichnet, dass
    die Programmmittel und/oder Programmmodule des ersten Mittels einen AEC-Algorithmus (5) (AEC = Acoustic Echo Cancelation) beinhalten.
  12. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehende Patentansprüche 8 bis 11,
    dadurch gekennzeichnet, dass
    die Programmmittel und/oder Programmmodule des zweiten Mittels (16) einen Algorithmus beinhalten, der unter Ausnutzung der umgebungsabhängig bestimmten Nachhallzeit die überlagerten Störanteile (15.2 und 15.3) aus dem aufgenommenen Audiosignal (15.1 bis 15.3) der externen Schallquelle (15) entfernt.
  13. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 12,
    dadurch gekennzeichnet, dass
    Bandpassfilter vorgesehen sind, die die Raumimpulsantwort (14) filtern und die Bestimmung der Nachhallzeit (T60) in Abhängigkeit der Frequenz ermöglichen.
  14. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 13,
    dadurch gekennzeichnet, dass
    das Kommunikationsgerät (13.1, 13.2, 13.4) ein Telefon ist.
  15. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß dem voranstehenden Patentanspruch 14,
    dadurch gekennzeichnet, dass
    das Kommunikationsgerät (13.1, 13.2, 13.4) ein kabelgebundenes Telefon ist.
  16. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 14,
    dadurch gekennzeichnet, dass
    das Kommunikationsgerät (13.1, 13.2, 13.4) ein Mobilfunkendgerät ist.
  17. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 13,
    dadurch gekennzeichnet, dass
    das Kommunikationsgerät (13.1, 13.2, 13.4) ein elektrisches Haushaltgerät mit Mittel zur Spracheingabe und Sprachausgabe ist.
  18. Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 17,
    dadurch gekennzeichnet, dass
    das Kommunikationsgerät (13.1, 13.2, 13.4) ein elektrisches Modul eines Fahrzeuges mit Mitteln zur Spracheingabe und Sprachausgabe ist.
EP03021578A 2003-09-24 2003-09-24 Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen Expired - Lifetime EP1519618B1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP03021578A EP1519618B1 (de) 2003-09-24 2003-09-24 Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen
AT03021578T ATE532346T1 (de) 2003-09-24 2003-09-24 Verfahren und kommunikationsgerät mit mitteln zur entstörung von audiosignalen
PCT/EP2004/008999 WO2005041615A1 (de) 2003-09-24 2004-08-11 Verfahren und kommunikationsgerät mit mitteln zur entstörung von audiosignalen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP03021578A EP1519618B1 (de) 2003-09-24 2003-09-24 Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen

Publications (2)

Publication Number Publication Date
EP1519618A1 true EP1519618A1 (de) 2005-03-30
EP1519618B1 EP1519618B1 (de) 2011-11-02

Family

ID=34178488

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03021578A Expired - Lifetime EP1519618B1 (de) 2003-09-24 2003-09-24 Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen

Country Status (3)

Country Link
EP (1) EP1519618B1 (de)
AT (1) ATE532346T1 (de)
WO (1) WO2005041615A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4066842A (en) * 1977-04-27 1978-01-03 Bell Telephone Laboratories, Incorporated Method and apparatus for cancelling room reverberation and noise pickup
US5263019A (en) * 1991-01-04 1993-11-16 Picturetel Corporation Method and apparatus for estimating the level of acoustic feedback between a loudspeaker and microphone

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3344864B2 (ja) * 1995-03-13 2002-11-18 日本放送協会 残響時間自動測定方法および残響時間自動測定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4066842A (en) * 1977-04-27 1978-01-03 Bell Telephone Laboratories, Incorporated Method and apparatus for cancelling room reverberation and noise pickup
US5263019A (en) * 1991-01-04 1993-11-16 Picturetel Corporation Method and apparatus for estimating the level of acoustic feedback between a loudspeaker and microphone

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 1997, no. 01 31 January 1997 (1997-01-31) *

Also Published As

Publication number Publication date
ATE532346T1 (de) 2011-11-15
WO2005041615A1 (de) 2005-05-06
EP1519618B1 (de) 2011-11-02

Similar Documents

Publication Publication Date Title
DE60108401T2 (de) System zur erhöhung der sprachqualität
DE2207141C3 (de) Schaltungsanordnung zur Unterdrückung unerwünschter Sprachsignale mittels eines vorhersagenden Filters
EP0698986B1 (de) Verfahren zur adaptiven Echokompensation
DE69525987T2 (de) Sender-Empfänger mit einem akustischen Wandler vom Ohrpassstück-Typ
EP1143416A2 (de) Geräuschunterdrückung im Zeitbereich
DE4330143A1 (de) Anordnung zur Siganlverarbeitung akustischer Eingangssignale
DE102016200637B3 (de) Verfahren zur Reduktion der Latenzzeit einer Filterbank zur Filterung eines Audiosignals sowie Verfahren zum latenzarmen Betrieb eines Hörsystems
EP1103956B1 (de) Exponentielle Echo- und Geräuschabsenkung in Sprachpausen
DE112007003625T5 (de) Echounterdrückungsvorrichtung, echounterdrückungssystem, Echounterdrückungsverfahren und Computerprogramm
DE10043064B4 (de) Verfahren und Vorrichtung zur Elimination von Lautsprecherinterferenzen aus Mikrofonsignalen
DE102016225204B4 (de) Verfahren zum Betrieb eines Hörgerätes
EP3454572A1 (de) Verfahren zum erkennen eines defektes in einem hörinstrument
EP0797339B1 (de) Verfahren und Schaltungsanordnung zur Verbesserung der Übertragungseigenschaften einer echobehafteten Übertragungsstrecke in einem Telekommunikationsnetz
EP1126687A2 (de) Verfahren zur koordinierten Echo-und/oder Geräuschabsenkung
DE69817461T2 (de) Verfahren und Vorrichtung zur optimierten Verarbeitung eines Störsignals während einer Tonaufnahme
EP1155561B1 (de) Vorrichtung und verfahren zur geräuschunterdrückung in fernsprecheinrichtungen
DE102019107173A1 (de) Verfahren und Vorrichtung zum Erzeugen und Ausgeben eines Audiosignals zum Erweitern des Höreindrucks bei Live-Veranstaltungen
EP1519618B1 (de) Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen
EP0642251B1 (de) Verfahren zur automatischen Sprachrichtungsumschaltung und Schaltungsanordnung zur Durchführung des Verfahrens
EP4236371B1 (de) Verfahren zur reduktion von echo in einem hörinstrument
DE10356063B4 (de) Verfahren zur Entstörung von Audiosignalen
DE2633394A1 (de) Verfahren zur kompensation von akustischer rueckkopplung in freisprechanlagen
DE10342307B4 (de) Verfahren zur Entstörung übermittelter Audiosignale zwischen Telekommunikationsendgeräten
DE10030926A1 (de) Störsignalabhängige adaptive Echounterdrückung
DE102019105458A1 (de) Zeitverzögerungsschätzung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

17P Request for examination filed

Effective date: 20050422

AKX Designation fees paid

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: BENQ MOBILE GMBH & CO. OHG

19U Interruption of proceedings before grant

Effective date: 20070101

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20070702

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20090803

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: PALM, INC.

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P.

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 50314041

Country of ref document: DE

Effective date: 20111229

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20111102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120203

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120302

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120202

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20120803

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 50314041

Country of ref document: DE

Effective date: 20120803

BERE Be: lapsed

Owner name: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P.

Effective date: 20120930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120930

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120213

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120930

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120930

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120930

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 532346

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120924

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120924

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50314041

Country of ref document: DE

Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50314041

Country of ref document: DE

Representative=s name: MAUCHER JENKINS, DE

Effective date: 20140307

Ref country code: DE

Ref legal event code: R081

Ref document number: 50314041

Country of ref document: DE

Owner name: QUALCOMM INCORPORATED, US

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

Effective date: 20111107

Ref country code: DE

Ref legal event code: R081

Ref document number: 50314041

Country of ref document: DE

Owner name: QUALCOMM INCORPORATED, US

Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P., HOUSTON, US

Effective date: 20140307

Ref country code: DE

Ref legal event code: R082

Ref document number: 50314041

Country of ref document: DE

Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE

Effective date: 20140307

Ref country code: DE

Ref legal event code: R081

Ref document number: 50314041

Country of ref document: DE

Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US

Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P., HOUSTON, TEX., US

Effective date: 20140307

Ref country code: DE

Ref legal event code: R081

Ref document number: 50314041

Country of ref document: DE

Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

Effective date: 20111107

Ref country code: DE

Ref legal event code: R082

Ref document number: 50314041

Country of ref document: DE

Representative=s name: SAMSON & PARTNER PATENTANWAELTE MBB, DE

Effective date: 20140307

Ref country code: DE

Ref legal event code: R082

Ref document number: 50314041

Country of ref document: DE

Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

Effective date: 20140307

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120924

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20030924

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

Owner name: QUALCOMM INCORPORATED, US

Effective date: 20141224

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20150305 AND 20150311

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50314041

Country of ref document: DE

Representative=s name: MAUCHER JENKINS, DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 50314041

Country of ref document: DE

Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20170829

Year of fee payment: 15

Ref country code: FR

Payment date: 20170823

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20170928

Year of fee payment: 15

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50314041

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20180924

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190402

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180924