DE102020111851A1 - AUDIO PLAYBACK WITH MULTI-CHANNEL ACOUSTIC ECHO COMPENSATION - Google Patents

AUDIO PLAYBACK WITH MULTI-CHANNEL ACOUSTIC ECHO COMPENSATION Download PDF

Info

Publication number
DE102020111851A1
DE102020111851A1 DE102020111851.1A DE102020111851A DE102020111851A1 DE 102020111851 A1 DE102020111851 A1 DE 102020111851A1 DE 102020111851 A DE102020111851 A DE 102020111851A DE 102020111851 A1 DE102020111851 A1 DE 102020111851A1
Authority
DE
Germany
Prior art keywords
audio
signal
delay
audio content
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020111851.1A
Other languages
German (de)
Inventor
Markus Christoph
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Priority to DE102020111851.1A priority Critical patent/DE102020111851A1/en
Priority to KR1020210034671A priority patent/KR20210134216A/en
Publication of DE102020111851A1 publication Critical patent/DE102020111851A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Ein Audiowiedergabesystem und -verfahren beinhalten das Übertragen eines Audiosignals, das einen ersten Audioinhalt darstellt, über eine erste Eingangsleitung; das Übertragen eines Audiosignals, das einen zweiten Audioinhalt darstellt, über eine zweite Eingangsleitung; und das Empfangen des Audiosignals, das den ersten Audioinhalt darstellt, durch eine erste Audiowiedergabevorrichtung, die mit der ersten Eingangsleitung verbunden ist, und das Wiedergeben der Audiosignale, die den ersten Audioinhalt darstellen, über einen ersten Lautsprecher oder eine erste Gruppe von Lautsprechern der ersten Audiowiedergabevorrichtung. Das System und das Verfahren beinhalten ferner das Empfangen des Audiosignals, das den zweiten Audioinhalt darstellt, durch eine zweite Audiovorrichtung, die mit der zweiten Eingangsleitung verbunden ist, das Wiedergeben des Audiosignals, das den zweiten Audioinhalt darstellt, über einen zweiten Lautsprecher oder eine zweite Gruppe von Lautsprechern der zweiten Audiovorrichtung und das Aufnehmen von Ton, der von dem ersten Lautsprecher oder der erste Gruppe von Lautsprechern und dem zweiten Lautsprecher oder der zweiten Gruppe von Lautsprechern stammt, über mindestens ein Mikrofon oder eine Gruppe von Mikrofonen der zweiten Audiovorrichtung, um mindestens ein Mikrofonsignal zu erzeugen; und eine im Allgemeinen mehrkanalige akustische Echokompensation auf Grundlage des mindestens einen Mikrofonsignals, der beiden Audiosignale, die den ersten Audioinhalt und den zweiten Audioinhalt darstellen, wobei die im Allgemeinen mehrkanalige akustische Echokompensation Kompensationsfilterung, um die Impulsantworten von akustischen Pfaden zwischen jeder Eingangsleitung und dem mindestens einen Mikrofon oder der Gruppe von Mikrofonen zu modellieren und Anpassen der Kompensationsfilterung umfasst.An audio playback system and method include transmitting an audio signal representing first audio content over a first input line; transmitting an audio signal representing second audio content over a second input line; and receiving the audio signal representing the first audio content by a first audio reproduction device connected to the first input line and reproducing the audio signals representing the first audio content through a first speaker or a first group of speakers of the first audio reproduction device . The system and method further include receiving the audio signal representing the second audio content by a second audio device connected to the second input line, reproducing the audio signal representing the second audio content via a second speaker or group of loudspeakers of the second audio device and the picking up of sound originating from the first loudspeaker or the first group of loudspeakers and the second loudspeaker or the second group of loudspeakers via at least one microphone or a group of microphones of the second audio device to at least one Generate microphone signal; and a generally multichannel acoustic echo cancellation based on the at least one microphone signal, the two audio signals representing the first audio content and the second audio content, wherein the generally multichannel acoustic echo cancellation is compensation filtering to filter the impulse responses of acoustic paths between each input line and the at least one Modeling the microphone or group of microphones and adjusting the compensation filtering.

Description

HINTERGRUNDBACKGROUND

1. Gebiet der Technik1. Field of technology

Die Offenbarung betrifft ein System und ein Verfahren (allgemein als „System“ bezeichnet) zur Audiowiedergabe mit mehrkanaliger akustischer Echokompensation.The disclosure relates to a system and a method (generally referred to as a “system”) for audio reproduction with multi-channel acoustic echo cancellation.

2. Stand der Technik2. State of the art

Set-Top-Boxen verwenden zunehmend intelligente Lautsprecher, die eines oder mehrere Mikrophone und einen oder mehrere Lautsprecher beinhalten, um Sprachsteuerung der Set-Top-Boxen zu ermöglichen. Normalerweise sind die Set-Top-Boxen über eine drahtgebundene oder drahtlose Verbindung mit Datenleitungen verbunden, um Inhalte wie etwa Fernsehkanäle zu empfangen und beispielsweise Fernseh- oder Internetzugang zu haben. Über die Datenleitung übertragene Daten werden über die Set-Top-Box einer externen Vorrichtung, wie etwa einem Fernsehgerät oder einem Audiosystem, bereitgestellt. Es können Situationen auftreten, in denen Audiosignale, die durch die Set-Top-Box gestreamt werden, von einer externen Vorrichtung wiedergegeben werden, die sich in einer beliebigen Entfernung von der Set-Top-Box und damit von den Positionen des einen oder der mehreren verwendeten Mikrofone, die zur Sprachsteuerung eingesetzt werden, befindet. Auf diese Weise können ein oder mehrere beliebige Echopfade zwischen einer oder mehreren Audiosignalleitungen stromaufwärts des einen oder der mehreren Lautsprecher der externen Vorrichtung und des einen oder der mehreren Mikrofone der Set-Top-Box eingerichtet werden. Wenn die Set-Top-Box beispielsweise zur Beantwortung von Fragen verwendet wird, können ihr einer oder ihre mehreren Lautsprecher zur Wiedergabe der Antworten verwendet werden, wobei noch mindestens ein anderer Echopfad zwischen der einen oder den mehreren Audiosignalleitungen und dem einen oder den mehreren Mikrofonen der Set-Top-Box hergestellt wird, der im Vergleich zu dem einen oder den mehreren Echopfaden zwischen der einen oder den mehreren Audiosignalleitungen der externen Vorrichtung und dem einen oder den mehreren Mikrofonen der Set-Top-Box völlig andere Eigenschaften aufweisen kann.Set-top boxes are increasingly using smart speakers that include one or more microphones and one or more speakers to enable voice control of the set-top boxes. Normally, the set-top boxes are connected to data lines via a wired or wireless connection in order to receive content such as television channels and, for example, to have television or Internet access. Data transmitted via the data line are provided to an external device, such as a television set or an audio system, via the set-top box. Situations may arise in which audio signals streamed through the set-top box are reproduced by an external device that is at any distance from the set-top box and hence from the positions of the one or more used microphones that are used for voice control. In this way, one or more arbitrary echo paths can be established between one or more audio signal lines upstream of the one or more loudspeakers of the external device and the one or more microphones of the set-top box. If the set-top box is used, for example, to answer questions, one or more loudspeakers can be used to reproduce the answers, with at least one other echo path between the one or more audio signal lines and the one or more microphones Set-top box is produced, which can have completely different properties compared to the one or more echo paths between the one or more audio signal lines of the external device and the one or more microphones of the set-top box.

Normalerweise verarbeiten Set-Top-Boxen nur Mono- und Stereosignale. Daher wurden in der Vergangenheit nur akustische Mono- oder Stereo-Echokompensatoren (acoustic echo cancellers - AEC) in den Set-Top-Boxen verwendet, die eine erhebliche Anzahl von möglichen Echopfaden bewältigen müssen. Um dies zu handhaben, war es beispielsweise erforderlich, die von den externen Vorrichtungen wiedergegebenen (Stereo-)Signale vollständig stummzuschalten, sobald die Sprachsteuerung aktiv wurde, z. B. beim Erkennen eines Schlüsselworts oder eines durch die externe Vorrichtung wiedergegeben Text-zu-Sprache-Signals (text-to-speech - TTS). Darüber hinaus wird ein im Allgemeinen mehrkanaliger akustischer Echokompensator (multichannel, acoustic echo canceller - MAEC) eingesetzt und, um eine konstante Neuanpassung des im Allgemeinen mehrkanaligen akustischen Echokompensatorsystems zu vermeiden, muss ein konstantes, zeitlich gut abgestimmtes Speicher- und Wiederherstellungsverfahren umgesetzt werden. Daher besteht ein Bedarf an einem effizienteren, im Allgemeinen mehrkanaligen akustischen Echokompensator.Set-top boxes usually only process mono and stereo signals. Therefore, in the past, only acoustic echo cancellers (AEC) were used in the set-top boxes, which have to deal with a considerable number of possible echo paths. In order to handle this, it was necessary, for example, to completely mute the (stereo) signals reproduced by the external devices as soon as the voice control was activated, e.g. B. when recognizing a keyword or a reproduced by the external device text-to-speech signal (text-to-speech - TTS). In addition, a generally multi-channel acoustic echo canceller (MAEC) is used and, in order to avoid constant readjustment of the generally multi-channel acoustic echo canceller system, a constant, well-timed storage and recovery process must be implemented. Therefore, there is a need for a more efficient, generally multi-channel acoustic echo canceller.

ZUSAMMENFASSUNGSUMMARY

Ein Audiowiedergabesystem beinhaltet eine erste Eingangsleitung zum Übertragen eines Audiosignals, das einen ersten Audioinhalt darstellt; eine zweite Eingangsleitung zum Übertragen eines Audiosignals, das einen zweiten Audioinhalt darstellt; und eine erste Audiowiedergabevorrichtung, die mit der ersten Eingangsleitung zum Empfangen des Audiosignals, das den ersten Audioinhalt darstellt, verbunden ist, wobei die erste Audiowiedergabevorrichtung einen ersten Lautsprecher oder eine erste Gruppe von Lautsprechern zum Wiedergeben der Audiosignale, die den ersten Audioinhalt darstellen, umfasst. Das System beinhaltet ferner eine zweite Audiovorrichtung, die mit der zweiten Eingangsleitung verbunden ist, zum Empfangen eines Audiosignals, das den zweiten Audioinhalt darstellt, wobei die zweite Audiovorrichtung einen zweiten Lautsprecher oder eine zweite Gruppe von Lautsprechern zum Wiedergeben des Audiosignals umfasst, das den zweiten Audioinhalt darstellt, und die zweite Audiovorrichtung ferner mindestens ein Mikrofon oder eine Gruppe von Mikrofonen zum Aufnehmen von Ton umfasst, der von dem ersten Lautsprecher oder der ersten Gruppe von Lautsprechern und dem zweiten Lautsprecher oder der zweiten Gruppe von Lautsprechern stammt, um mindestens ein Mikrofonsignal zu erzeugen; und einen im Allgemeinen mehrkanaligen akustischen Echokompensator, der das mindestens eine Mikrofonsignal und die zwei Audiosignale empfängt, die den ersten Audioinhalt und den zweiten Audioinhalt darstellen, wobei der im Allgemeinen mehrkanalige akustische Echokompensator eine Vielzahl von Kompensationsfiltern umfasst, die dazu konfiguriert sind, die Impulsantworten von akustischen Pfaden zwischen jeder Eingangsleitung und dem mindestens einen Mikrofon oder der Gruppe von Mikrofonen zu modellieren und Impulsantworten der Kompensationsfilter anzupassen.An audio reproduction system includes a first input line for transmitting an audio signal representing first audio content; a second input line for transmitting an audio signal representing a second audio content; and a first audio reproduction device connected to the first input line for receiving the audio signal representing the first audio content, the first audio reproduction device comprising a first speaker or a first group of speakers for reproducing the audio signals representing the first audio content. The system further includes a second audio device connected to the second input line for receiving an audio signal representing the second audio content, the second audio device comprising a second speaker or a second group of speakers for reproducing the audio signal representing the second audio content and the second audio device further comprises at least one microphone or a group of microphones for picking up sound originating from the first loudspeaker or the first group of loudspeakers and the second loudspeaker or the second group of loudspeakers to generate at least one microphone signal ; and a generally multichannel acoustic echo canceller that receives the at least one microphone signal and the two audio signals representing the first audio content and the second audio content, the generally multichannel acoustic echo canceller comprising a plurality of cancellation filters configured to the impulse responses of to model acoustic paths between each input line and the at least one microphone or the group of microphones and to adapt impulse responses of the compensation filters.

Ein Audiowiedergabeverfahren beinhaltet das Übertragen eines Audiosignals, das einen ersten Audioinhalt darstellt, über eine erste Eingangsleitung; das Übertragen eines Audiosignals, das einen zweiten Audioinhalt darstellt, über eine zweite Eingangsleitung; und das Empfangen des Audiosignals, das den ersten Audioinhalt darstellt, durch eine erste Audiowiedergabevorrichtung, die mit der ersten Eingangsleitung verbunden ist, und das Wiedergeben des Audiosignals, das den ersten Audioinhalt darstellt, über einen ersten Lautsprecher oder eine erste Gruppe von Lautsprechern der ersten Audiowiedergabevorrichtung. Das Verfahren beinhaltet ferner das Empfangen des Audiosignals, das den zweiten Audioinhalt darstellt, durch eine zweite Audiovorrichtung, die mit der zweiten Eingangsleitung verbunden ist, das Wiedergeben des Audiosignals, das den zweiten Audioinhalt darstellt, über einen zweiten Lautsprecher oder eine zweite Gruppe von Lautsprechern der zweiten Audiovorrichtung und das Aufnehmen von Ton, der von dem ersten Lautsprecher oder der erste Gruppe von Lautsprechern und dem zweiten Lautsprecher oder der zweiten Gruppe von Lautsprechern stammt, über mindestens ein Mikrofon oder eine Gruppe von Mikrofonen der zweiten Audiovorrichtung, um mindestens ein Mikrofonsignal zu erzeugen; und eine im Allgemeinen mehrkanalige akustische Echokompensation auf Grundlage des mindestens einen Mikrofonsignals, der beiden Audiosignale, die den ersten Audioinhalt und den zweiten Audioinhalt darstellen, wobei die im Allgemeinen mehrkanalige akustische Echokompensation Kompensationsfilterung, um die Impulsantworten von akustischen Pfaden zwischen jeder Eingangsleitung und dem mindestens einen Mikrofon oder der Gruppe von Mikrofonen zu modellieren und Anpassen von Impulsantworten der Kompensationsfilterung umfasst.An audio reproduction method includes transmitting an audio signal representing a first audio content over a first Input line; transmitting an audio signal representing second audio content over a second input line; and receiving the audio signal representing the first audio content by a first audio reproduction device connected to the first input line and reproducing the audio signal representing the first audio content through a first speaker or a first group of speakers of the first audio reproduction device . The method further includes receiving the audio signal representing the second audio content by a second audio device connected to the second input line, reproducing the audio signal representing the second audio content via a second loudspeaker or a second group of loudspeakers of the second audio device and the recording of sound originating from the first loudspeaker or the first group of loudspeakers and the second loudspeaker or the second group of loudspeakers via at least one microphone or a group of microphones of the second audio device in order to generate at least one microphone signal ; and a generally multichannel acoustic echo cancellation based on the at least one microphone signal, the two audio signals representing the first audio content and the second audio content, wherein the generally multichannel acoustic echo cancellation is compensation filtering to filter the impulse responses of acoustic paths between each input line and the at least one Modeling the microphone or the group of microphones and adapting impulse responses of the compensation filtering.

Andere Systeme, Verfahren, Merkmale und Vorteile sind oder werden für den Fachmann nach Prüfung der folgenden detaillierten Beschreibung und der beigefügten Figuren offensichtlich. Es ist beabsichtigt, dass alle derartigen zusätzlichen Systeme, Verfahren, Merkmale und Vorteile in dieser Beschreibung enthalten sind, in den Umfang der Erfindung fallen und durch die folgenden Ansprüche geschützt sind.Other systems, methods, features, and advantages will be or will become apparent to those skilled in the art after examining the following detailed description and the accompanying figures. It is intended that all such additional systems, methods, features, and advantages be included within this specification, fall within the scope of the invention, and be protected by the following claims.

FigurenlisteFigure list

Das System kann unter Bezugnahme auf die folgenden Zeichnungen und Beschreibungen besser verstanden werden. Die Komponenten in den Figuren sind nicht notwendigerweise maßstabsgetreu, stattdessen liegt der Schwerpunkt darauf, die Prinzipien der Erfindung zu veranschaulichen. Darüber hinaus bezeichnen in den Figuren gleiche Bezugszeichen entsprechende Teile in den verschiedenen Ansichten.

  • 1 ist ein schematisches Diagramm, das eine grundlegende Signalverarbeitungsstruktur für eine adaptive Berechnung von Filterkoeffizienten eines Filters mit endlicher Impulsantwort (finite impulse response filter - FIR-Filter) veranschaulicht, wobei das FIR-Filter eine Übertragungsfunktion aufweist, die ungefähr einer vordefinierten Zielfunktion entspricht.
  • 2 ist ein schematisches Diagramm, das eine Modifikation der Struktur aus 1 unter Verwendung eines Vollband-FIR-Filters, einschließlich adaptiver Verzögerungszuweisung, darstellt.
  • 3 ist ein schematisches Diagramm, das ein beispielhaftes System veranschaulicht, das eine Mono(phone)-Set-Top-Box und eine externe Stereo(phone)-Vorrichtung beinhaltet.
  • 4 ist ein schematisches Diagramm, das einen beispielhaften einkanaligen akustischen Echokompensator veranschaulicht, der in dem in akustischen Echoregler anwendbar ist, der in dem in 3 gezeigten System verwendet wird.
  • 5 ist ein Flussdiagramm, das ein beispielhaftes Audiowiedergabeverfahren unter Verwendung von zwei Audiowiedergabevorrichtungen veranschaulicht.
The system can be better understood with reference to the following drawings and descriptions. The components in the figures are not necessarily to scale, emphasis instead being placed on illustrating the principles of the invention. Furthermore, in the figures, like reference characters indicate corresponding parts throughout the several views.
  • 1 Fig. 13 is a schematic diagram illustrating a basic signal processing structure for adaptive computation of filter coefficients of a finite impulse response filter (FIR) filter, the FIR filter having a transfer function approximately equal to a predefined objective function.
  • 2 Fig. 13 is a schematic diagram showing a modification of the structure 1 using a full band FIR filter including adaptive delay allocation.
  • 3 Figure 13 is a schematic diagram illustrating an exemplary system that includes a mono (phone) set-top box and an external stereo (phone) device.
  • 4th FIG. 13 is a schematic diagram illustrating an exemplary single channel acoustic echo canceller that is applicable in the acoustic echo controller used in the in FIG 3 system shown is used.
  • 5 Figure 13 is a flow diagram illustrating an exemplary audio playback method using two audio playback devices.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

1 veranschaulicht eine grundlegende Signalverarbeitungsstruktur für eine adaptive Berechnung von Filterkoeffizienten gk (k = 0, 1, ..., K-1) eines Filters mit endlicher Impulsantwort (finite impulse response filter-FIR-Filter) 101, wobei der Index k den Filterkoeffizienten kennzeichnet und K die Filterlänge (d. h. die Anzahl von Abgriffen eines FIR-Filters) kennzeichnet. Das FIR-Filter 101 weist eine (diskrete) Übertragungsfunktion G(z) auf, die nach erfolgreicher Anpassung der Filterkoeffizienten gk[n] ungefähr einer gewünschten Übertragungsfunktion P(z) eines (im Allgemeinen) unbekannten Systems 102 entspricht. Um das adaptive Filterentwurfsverfahren durchzuführen, wird dem unbekannten System 102, wie etwa einem Lautsprecher-Raum-Mikrofon-(LRM-)System und dem FIR-Filter 101ein Testsignal (Eingangssignal x[n]) zugeführt, bei dem es sich beispielsweise um weißes Rauschen oder ein beliebiges anderes Signal handelt, das eine Bandbreite aufweist, die zumindest das Durchlassband der Übertragungsfunktion P(z) des unbekannten Systems beinhaltet. Das Ausgangssignal y[n] des FIR-Filters 101 wird (z. B. durch einen Subtrahierer 104) von dem Ausgangssignal des Systems 102, d. h. von dem gewünschten Signal d[n], subtrahiert. Die Differenz d[n]-y[n] wird als Fehlersignal e[n] verwendet und einer Anpassungseinheit 103 zugeführt. Die Anpassungseinheit 103 berechnet aus dem Fehlersignal und dem Eingangssignal x[n] (in diesem Zusammenhang auch als Referenzsignal bezeichnet) während jedes Abtastzeitintervalls n einen aktualisierten Satz von FIR-Filterkoeffizienten gk[n]. Beispielsweise kann ein LMS-Algorithmus (leasts mean square) oder ein NLMS-Algorithmus (normalized least mean square) zur Anpassung der Filterkoeffizienten eingesetzt werden. Es können jedoch auch andere Anpassungsalgorithmen verwendet werden. Nach der Konvergenz des Anpassungsalgorithmus stellen die FIR-Filterkoeffizienten gk[n] eine Übertragungsfunktion G(z) dar, die eine optimale Annäherung an die Übertragungsfunktion P(z) des unbekannten Systems ist. 1 illustrates a basic signal processing structure for an adaptive calculation of filter coefficients g k (k = 0, 1, ..., K-1) of a filter with finite impulse response filter (FIR filter) 101, where the index k is the filter coefficient denotes and K denotes the filter length (ie the number of taps of an FIR filter). The FIR filter 101 has a (discrete) transfer function G (z) which, after successful adaptation of the filter coefficients g k [ n], approximately corresponds to a desired transfer function P (z) of a (generally) unknown system 102 is equivalent to. In order to perform the adaptive filter design process, the unknown system 102 , such as a loudspeaker-room-microphone (LRM) system and the FIR filter 101 is supplied with a test signal (input signal x [n]) which is, for example, white noise or any other signal that has a bandwidth which contains at least the passband of the transfer function P (z) of the unknown system. The output signal y [n] of the FIR filter 101 is (e.g. by a subtracter 104 ) from the output signal of the system 102 , ie subtracted from the desired signal d [n]. The difference d [n] -y [n] is used as the error signal e [n] and an adaptation unit 103 fed. The adaptation unit 103 calculated from the error signal and the input signal x [n] (in this Context also referred to as reference signal) an updated set of FIR filter coefficients g k [n] during each sampling time interval n. For example, an LMS (least mean square) algorithm or an NLMS (normalized least mean square) algorithm can be used to adapt the filter coefficients. However, other adaptation algorithms can also be used. After the convergence of the adaptation algorithm, the FIR filter coefficients g k [ n] represent a transfer function G (z) which is an optimal approximation to the transfer function P (z) of the unknown system.

Um den mit der Verwendung von FIR-Filtern verbundenen Rechenaufwand zu verringern, wird das Spektrum eines zu filternden Vollband-Eingangssignals in eine Anzahl von Schmalbandsignalen (Teilbandsignalen) unterteilt, um jedes Schmalbandsignal getrennt zu filtern. Die Aufteilung eines Vollbandsignals in mehrere Teilbandsignale kann über eine Filterbank oder dergleichen umgesetzt werden. Schließlich werden die verarbeiteten Teilbandsignale zu einem einzigen Vollband-Ausgangssignal kombiniert, z. B. über eine Synthesefilterbank. Bei den in dieser Schrift nachstehend beschriebenen Systemen und Verfahren wird das Vollbandsignal in seiner Gesamtheit mittels Breitbandverarbeitung verarbeitet, z. B. im Zeitbereich oder Frequenzbereich oder einer Kombination davon. Wie bei vielen modernen Audiosystemen sollte nicht nur die Größe, sondern auch die Phase entzerrt werden, um einen gewünschten Klangeindruck für einen Hörer zu erzeugen. Daher stellt die Übertragungsfunktion im Allgemeinen ein nicht minimales Phasenfilter mit einer nicht linearen Phasencharakteristik dar.In order to reduce the computational effort associated with the use of FIR filters, the spectrum of a full-band input signal to be filtered is divided into a number of narrow-band signals (sub-band signals) in order to filter each narrow-band signal separately. The division of a full-band signal into several sub-band signals can be implemented via a filter bank or the like. Finally, the processed sub-band signals are combined into a single full-band output signal, e.g. B. via a synthesis filter bank. In the systems and methods described below in this document, the full band signal is processed in its entirety by means of broadband processing, e.g. B. in the time domain or frequency domain or a combination thereof. As with many modern audio systems, not only the size but also the phase should be equalized in order to create a desired sound impression for a listener. Therefore, the transfer function generally represents a non-minimal phase filter with a non-linear phase characteristic.

Wie vorstehend erwähnt, verhält sich die Übertragungsfunktion P(z) des unbekannten Systems im Allgemeinen wie ein nicht minimales Phasenfilter, das eine nicht lineare Gruppenverzögerungscharakteristik über der Frequenz aufweist. Um Signalausbreitungsverzögerungen zu kompensieren, kann eine Verzögerungsleitung in den Signalpfad eingefügt werden, die zudem das Entzerrungsfilter enthält. Somit wird der Verzögerungsausgleich nicht durch zusätzliche FIR-Filterkoeffizienten erreicht, was rechnerisch ineffizient ist. Da die Verzögerungswerte sowie die Anzahl von Filterkoeffizienten von der zu realisierenden Übertragungsfunktion P(z) des unbekannten Systems (d. h. der Größe und der Phasenantwort) abhängen, können die Verzögerungswerte wie in dieser Schrift nachstehend beschrieben als adaptive Verzögerung adaptiv bestimmt werden. Folglich wird eine zusätzliche Verzögerungszeit Δ für das FIR-Filter 101 und seine Übertragungsfunktion G(z) adaptiv bestimmt. 2 veranschaulicht eine Modifikation der in 1 gezeigten Struktur mit einer zusätzlichen Verzögerungsleitung 201, die eine Verzögerungszeit Δ in dem Filterpfad erzeugt, und einer adaptiven Verzögerungszuweisungseinheit 202, die die Verzögerungsleitung 201 und das FIR-Filter 101 auf Grundlage des Fehlersignals e[n] und des Eingangs-(Referenz-)signals x[n] steuert.As mentioned above, the transfer function P (z) of the unknown system generally behaves like a non-minimal phase filter that exhibits a non-linear group delay characteristic versus frequency. To compensate for signal propagation delays, a delay line can be inserted into the signal path, which also contains the equalization filter. Thus, the delay compensation is not achieved by additional FIR filter coefficients, which is computationally inefficient. Since the delay values and the number of filter coefficients depend on the transfer function P (z) of the unknown system to be implemented (ie the size and the phase response), the delay values can be determined adaptively as adaptive delay as described below in this document. As a result, there is an additional delay time Δ for the FIR filter 101 and its transfer function G (z) is determined adaptively. 2 illustrates a modification of the in 1 shown structure with an additional delay line 201 which generates a delay time Δ in the filter path, and an adaptive delay allocation unit 202 that are the delay line 201 and the FIR filter 101 based on the error signal e [n] and the input (reference) signal x [n].

Wie in dem in 1 gezeigten Beispiel wird das Vollband-Eingangssignal x[n] (z. B. bandbegrenztes weißes Rauschen) dem System 102 mit der Übertragungsfunktion P(z) des unbekannten Systems zugeführt, wodurch das gewünschte Signal d[n] erzeugt wird. Das gewünschte Signal d[n] und das Eingangssignal x[n] werden z. B. im Zeitbereich verarbeitet. Das Eingangssignal x[n] wird dem FIR-Filter mit der Übertragungsfunktion G(z) zugeführt, wodurch das gefilterte Signal y[n] erzeugt wird. Das gefilterte Signal y[n] wird von dem gewünschten Signal d[n] subtrahiert, was das Fehlersignal e[n] ergibt. Die Anpassungseinheit 103 optimiert die Filterkoeffizienten gk, d. h. die Impulsantwort G(z) des Filters des FIR-Filters 101, sodass der optimale Satz von Filterkoeffizienten gk zu einer minimierten Norm (z. B. LMS- oder NLMS-Algorithmus) des Fehlersignals e[n] führt. Die Verzögerungsleitung, die die Verzögerungszeit Δ bereitstellt, ist stromaufwärts oder stromabwärts des FIR-Filters Gm(z) verbunden. Die adaptive Verzögerungszuweisungseinheit 202 passt die Verzögerungszeit Δ der Verzögerungsleitung 201 gemäß einem adaptiven Verzögerungszuweisungsalgorithmus dynamisch an.As in the in 1 The example shown is the full-band input signal x [n] (e.g. band-limited white noise) to the system 102 with the transfer function P (z) of the unknown system, whereby the desired signal d [n] is generated. The desired signal d [n] and the input signal x [n] are z. B. processed in the time domain. The input signal x [n] is fed to the FIR filter with the transfer function G (z), whereby the filtered signal y [n] is generated. The filtered signal y [n] is subtracted from the desired signal d [n], which gives the error signal e [n]. The adaptation unit 103 optimizes the filter coefficients g k , ie the impulse response G (z) of the filter of the FIR filter 101 so that the optimal set of filter coefficients g k leads to a minimized norm (e.g. LMS or NLMS algorithm) of the error signal e [n]. The delay line that provides the delay time Δ is connected upstream or downstream of the FIR filter G m (z). The adaptive delay allocation unit 202 fits the delay time Δ of the delay line 201 dynamically according to an adaptive delay allocation algorithm.

Die FIR-Filterkoeffizienten, die dem FIR-Filter 101 wie vorstehend erläutert adaptiv zugeordnet sind, können als unendliche Impulsantwort betrachtet werden, die durch Multiplikation mit einer Rechteck-Fensterfunktion gekürzt wird und eine endliche Impulsantwort ergibt. Für das FIR-Filter 101 kann diese Rechteck-Fensterfunktion (entlang der Zeitachse) verschoben werden, wobei die jeweilige Zeitverschiebung die effektive Verzögerungszeit Δ der Verzögerungsleitung darstellt, die in den Signalpfad des FIR-Filters 101 eingebunden ist.The FIR filter coefficients assigned to the FIR filter 101 are assigned adaptively as explained above, can be regarded as an infinite impulse response, which is shortened by multiplication with a rectangular window function and results in a finite impulse response. For the FIR filter 101 this rectangular window function can be shifted (along the time axis), the respective time shift representing the effective delay time Δ of the delay line which is in the signal path of the FIR filter 101 is involved.

Der adaptive Verzögerungszuweisungsalgorithmus zielt darauf ab, eine Verzögerungszeit Δ (d. h. eine Zeitverschiebung des Rechteck-Fensters) zu finden, die zu einer endlichen Impulsantwort mit maximaler Energie des FIR-Filters 101 führt. Das heißt, bei der Bestimmung der Verzögerungszeit Δ wird nur die Energie der FIR-Filterkoeffizienten gk[n] berücksichtigt. Dies ist jedoch nicht unbedingt der einzig praktikable Ansatz. Als Alternative kann die Verzögerungszeit Δ so gewählt werden, dass eine Norm des Fehlersignals e[n] minimiert wird. Die Verwendung eines derartigen Kriteriums führt zu einer langsamen Konvergenz, während ausreichend gute Ergebnisse erzielt werden. Alternativ kann die Verzögerungszeit Δ so gewählt werden, dass die Gesamtenergie der FIR-Filterkoeffizienten gk[n] bei einem Maximum (einem absoluten Maximum) liegt.The adaptive delay allocation algorithm aims to find a delay time Δ (ie a time shift of the rectangular window) that leads to a finite impulse response with maximum energy of the FIR filter 101 leads. That is, when determining the delay time Δ, only the energy of the FIR filter coefficients g k [ n] is taken into account. However, this is not necessarily the only viable approach. As an alternative, the delay time Δ can be chosen such that a norm of the error signal e [n] is minimized. Using such a criterion leads to slow convergence while producing sufficiently good results. Alternatively, the delay time Δ can be selected such that the total energy of the FIR filter coefficients g k [ n] is at a maximum (an absolute maximum).

Es wird angemerkt, dass beim Anpassen (z. B. Erhöhen) der Verzögerungszeit Δ der Verzögerungsleitung die Filterimpulsantwort (die FIR-Filterkoeffizienten) nach links (d. h. in Richtung kleinerer Zeitwerte) verschoben wird, wodurch die Gesamtverzögerungszeit (einschließlich der Verzögerungszeit der Verzögerungsleitung und des FIR-Filters) konstant gehalten wird. Dies vermeidet die Notwendigkeit einer langen Neuanpassung der FIR-Filterkoeffizienten aufgrund der Variation der Verzögerungszeit Δ. Der Anpassungszeitraum, in dem die adaptive Verzögerungszuweisung durchgeführt wird, sollte jedoch beträchtlich länger sein als eine Anpassungsschrittlänge des LMS- oder NLMS-Algorithmus, sodass die Anpassung der FIR-Filterkoeffizienten gk in einem stabilen Zustand ist, wenn die adaptive Verzögerungszuweisung initiiert wird.It is noted that when adjusting (e.g. increasing) the delay time Δ of the delay line, the filter impulse response (the FIR filter coefficients) is shifted to the left (i.e. in the direction of smaller time values), whereby the total delay time (including the delay time of the delay line and the FIR filter) is kept constant. This avoids the need for a long readjustment of the FIR filter coefficients due to the variation in the delay time Δ. However, the adaptation period in which the adaptive delay assignment is performed should be considerably longer than an adaptation step length of the LMS or NLMS algorithm, so that the adaptation of the FIR filter coefficients g k is in a stable state when the adaptive delay assignment is initiated.

3 zeigt eine Signalflussstruktur eines beispielhaften Audiowiedergabesystems mit zwei Audiowiedergabevorrichtungen, einer Set-Top-Box 301 und einer externen Vorrichtung 302 und ferner einem MAEC 312, der die vorstehend in Verbindung mit den 1 und 2 beschriebenen Filter nutzen kann. Dem in 3 gezeigten beispielhaften System wird ein Signal, das einen ersten Audioinhalt darstellt, hier ein Stereosignal, das zwei Kanäle aufweist, z. B. von einer Stereomusikquelle 303, und ein Signal, das einen zweiten Audioinhalt darstellt, hier ein Signal mit einem Kanal zum Liefern eines Text-zu-Signal-(TTS-)Signals, z. B. von einer Text-zu-Signal-Quelle 304, zugeführt. Anstelle einer Stereoquelle kann eine Monoquelle (nicht gezeigt) in Verbindung mit einem Lautsprecher oder einer Gruppe von Lautsprechern verwendet werden und umgekehrt. Die beiden Kanäle des Stereosignals und der eine Kanal des TTS-Signals werden mit einem zweikanaligen Entzerrer 305 bzw. einem einkanaligen Entzerrer 306 gefiltert, um ein erstes AEC-Referenzsignal LeftAecRef, das einem Kanal des Stereosignals entspricht, ein zweites AEC-Referenzsignal RightAecRef, das dem anderen Kanal des Stereosignals entspricht, und ein drittes AEC-Referenzsignal TtsAecRef, das dem Kanal des TTS-Signals entspricht, bereitzustellen. Das erste AEC-Referenzsignal LeftAecRef wird von einem ersten Lautsprecher 307 (oder einer ersten Gruppe von Lautsprechern) wiedergegeben, der in der externen Vorrichtung 302 angeordnet ist, das zweite AEC-Referenzsignal RightAecRef wird von einem zweiten Lautsprecher 308 (oder einer zweiten Gruppe von Lautsprechern) wiedergegeben, der in der externen Vorrichtung 302 angeordnet ist, und das dritte AEC-Referenzsignal TtsAecRef wird von einem dritten Lautsprecher 309 (oder einer dritten Gruppe von Lautsprechern) wiedergegeben, der in der Set-Top-Box 301 angeordnet ist. Die Set-Top-Box 301 beinhaltet ferner mindestens ein Mikrofon, hier zwei Mikrofone 310 und 311, die Mikrofonsignale LeftMic und RightMic erzeugen. Die Mikrofonsignale LeftMic und RightMic, das erste AEC-Referenzsignal LeftAecRef, das zweite AEC-Referenzsignal RightAecRef und das dritte AEC-Referenzsignal TtsAecRef werden dem MAEC 312 zugeführt, der zwei echoreduzierte Fehlersignale eL und eR erzeugt. Tonübertragungspfade, die durch Übertragungsfunktionen hij beschrieben sind, werden zwischen jedem der i (hier z. B. drei) Eingangssignalkanäle und jedem der j (hier z. B. zwei) Mikrofone eingerichtet, was in dem vorliegenden Beispiel sechs Übertragungsfunktionen hij mit i = 1 ... 3 und j = 1, 2 bedeutet. Die Übertragungspfade zwischen den Mikrofonen und dem Lautsprecher, die alle in der Set-Top-Box angeordnet sind, sind im Allgemeinen erheblich kürzer als die Entfernungen zwischen den Mikrofonen in der Set-Top-Box und den Lautsprechern in der externen Vorrichtung. Je kürzer die Entfernung, desto kürzer die Verzögerung des Tons (des akustischen Signals). 3 Figure 12 shows a signal flow structure of an exemplary audio reproduction system with two audio reproduction devices, a set-top box 301 and an external device 302 and also a MAEC 312 that the above in connection with the 1 and 2 can use the filter described. The in 3 The exemplary system shown is a signal that represents a first audio content, here a stereo signal that has two channels, e.g. B. from a stereo music source 303 , and a signal representing a second audio content, here a signal having a channel for delivering a text-to-signal (TTS) signal, e.g. B. from a text-to-signal source 304 , fed. Instead of a stereo source, a mono source (not shown) can be used in conjunction with a loudspeaker or a group of loudspeakers, and vice versa. The two channels of the stereo signal and one channel of the TTS signal are matched with a two-channel equalizer 305 or a single-channel equalizer 306 filtered to provide a first AEC reference signal LeftAecRef corresponding to one channel of the stereo signal, a second AEC reference signal RightAecRef corresponding to the other channel of the stereo signal, and a third AEC reference signal TtsAecRef corresponding to the channel of the TTS signal . The first AEC reference signal LeftAecRef is from a first loudspeaker 307 (or a first group of speakers) played in the external device 302 is arranged, the second AEC reference signal RightAecRef is from a second loudspeaker 308 (or a second group of speakers) played in the external device 302 is arranged, and the third AEC reference signal TtsAecRef is from a third loudspeaker 309 (or a third group of speakers) in the set-top box 301 is arranged. The set-top box 301 also includes at least one microphone, here two microphones 310 and 311 that generate LeftMic and RightMic microphone signals. The microphone signals LeftMic and RightMic, the first AEC reference signal LeftAecRef, the second AEC reference signal RightAecRef and the third AEC reference signal TtsAecRef are sent to the MAEC 312 fed, which generates two echo-reduced error signals e L and e R. Sound transmission paths, which are described by transfer functions h ij , are set up between each of the i (here for example three) input signal channels and each of the j (here for example two) microphones, which in the present example results in six transfer functions h ij with i = 1 ... 3 and j = 1, 2 means. The transmission paths between the microphones and the loudspeaker, which are all arranged in the set-top box, are generally considerably shorter than the distances between the microphones in the set-top box and the loudspeakers in the external device. The shorter the distance, the shorter the delay of the tone (the acoustic signal).

In einem in 4 gezeigten beispielhaften AEC-Filter, der in dem MAEC 312 des in 3 gezeigten Systems angewendet werden kann, ist die Tonübertragung zwischen einem beispielhaften Lautsprecher (nicht gezeigt) und einem beispielhaften Mikrofon (nicht gezeigt), die durch eine Übertragungsfunktion h(z) beschrieben ist, modelliert. Das akustische Echo des von dem Lautsprecher übertragenen Tons wird von dem Mikrofon aufgenommen und in ein elektrisches Senkensignal y(n) umgewandelt, das als Faltung des Quellensignals x(n) mit dieser Übertragungsfunktion h(z) betrachtet werden kann. Das adaptive AEC-Filter, das eine Aktualisierungssteuerung 403 (Korrelationsteil) und ein steuerbares Filter 402 (Faltungsteil) in Verbindung mit einem Subtrahierer 401 beinhalten kann, modelliert mit seiner Übertragungsfunktion die echte Übertragungsfunktion h(z) zwischen dem Lautsprecher und dem Mikrofon. Das steuerbare Filter 402 kann ein Filter mit endlicher Impulsantwort (finite impulse response filter- FIR-Filter) sein, dessen Filterkoeffizienten oder Filtergewichte w(n) von der Aktualisierungssteuerung 403 mit einer vorbestimmten Schrittgröße durch Korrelieren eines echofreien oder zumindest echoreduzierten Restsignals, das als Fehlersignal e(n) bezeichnet wird, mit dem Quellensignal x(n) aktualisiert werden. Durch Falten des Eingangssignals x(n) mit den Filterkoeffizienten w(n) in dem steuerbaren Filter 402 schätzt das adaptive Filter das unbekannte akustische Echo, das durch das geschätzte Echosignal d(n) angezeigt wird, das von dem steuerbaren Filter 402 ausgegeben wird. Diese Schätzung des akustischen Echosignals d(n) wird von dem Senkensignal y(n), das das echte Echo darstellt, über den Subtrahierer 401 subtrahiert, um das echofreie oder zumindest echoreduzierte Restsignal, d. h. das Fehlersignal e(n), bereitzustellen. Das Fehlersignal e(n) zeigt zudem an, wie genau/ungenau die Schätzung ist. Das adaptive AEC-Filter kann wie vorstehend in Verbindung mit den 1 und 2 beschrieben umgesetzt sein.In an in 4th The exemplary AEC filter shown in the MAEC 312 of the in 3 can be applied, the sound transmission between an exemplary loudspeaker (not shown) and an exemplary microphone (not shown), which is described by a transfer function h (z), is modeled. The acoustic echo of the sound transmitted by the loudspeaker is picked up by the microphone and converted into an electrical sink signal y (n), which can be viewed as the convolution of the source signal x (n) with this transfer function h (z). The adaptive AEC filter, which is an update control 403 (Correlation part) and a controllable filter 402 (Folding part) in connection with a subtracter 401 can contain, models with its transfer function the real transfer function h (z) between the loudspeaker and the microphone. The controllable filter 402 can be a filter with a finite impulse response filter (FIR filter), its filter coefficients or filter weights w (n) from the update control 403 are updated with a predetermined step size by correlating an echo-free or at least echo-reduced residual signal, which is referred to as error signal e (n), with the source signal x (n). By convolving the input signal x (n) with the filter coefficient w (n) in the controllable filter 402 the adaptive filter estimates the unknown acoustic echo indicated by the estimated echo signal d (n) obtained from the controllable filter 402 is issued. This estimate of the acoustic echo signal d (n) is derived from the sink signal y (n), which represents the real echo, via the subtracter 401 subtracted to provide the anechoic or at least echo-reduced residual signal, ie the error signal e (n). The error signal e (n) also indicates how precise / imprecise the estimate is. The adaptive AEC filter can be used as described above in connection with the 1 and 2 be implemented as described.

Die in 4 gezeigte Struktur kann in Bezug auf jede der sechs Übertragungsfunktionen hij entsprechend angewendet werden. Dies bedeutet, dass der in 31 gezeigte MAEC 312 sechs Kompensationsfilter (nicht gezeigt) beinhaltet, die eine ähnliche oder identische Struktur wie die in 4 gezeigte aufweisen, um die Übertragungsfunktionen hij auf Grundlage der Mikrofonsignale LeftMic und RightMic, die dem Senkensignal y(n) aus 4 entsprechen, des ersten AEC-Referenzsignals LeftAecRef, des zweiten AEC-Referenzsignals RightAecRef und des dritten AEC-Referenzsignals TtsAecRef, die dem Senkensignal x(n) aus 4 entsprechen, zu kompensieren.In the 4th The structure shown can be applied correspondingly with respect to each of the six transfer functions h ij. This means that the in 31 shown MAEC 312 includes six compensation filters (not shown) that have a similar or identical structure to that in 4th have shown to the transfer functions h ij on the basis of the microphone signals LeftMic and RightMic, which the sink signal y (n) from 4th correspond to the first AEC reference signal LeftAecRef, the second AEC reference signal RightAecRef and the third AEC reference signal TtsAecRef, which correspond to the lowering signal x (n) 4th correspond to compensate.

Unter Bezugnahme auf 5 beinhaltet ein beispielhaftes Audiowiedergabeverfahren das Übertragen von zwei Audiosignalen, die einen ersten Audioinhalt darstellen, über eine erste Eingangsleitung (Verfahren 501), das Übertragen eines Audiosignals, das einen zweiten Audioinhalt darstellt, über eine zweite Eingangsleitung (Verfahren 502) und das Empfangen der Audiosignale, die den ersten Audioinhalt darstellen, durch eine Audiowiedergabevorrichtung, die mit der ersten Eingangsleitung verbunden ist, und das Wiedergeben der Audiosignale, die den ersten Audioinhalt darstellen, über mindestens einen ersten Lautsprecher (oder eine erste Gruppe von Lautsprechern) der Audiowiedergabevorrichtung (Verfahren 503). Das Verfahren beinhaltet ferner das Empfangen des Audiosignals, das den zweiten Audioinhalt darstellt, durch eine Set-Top-Box, die mit der zweiten Eingangsleitung verbunden ist, und das Wiedergeben des Audiosignals, das den zweiten Audioinhalt darstellt, über einen zweiten Lautsprecher (oder eine zweite Gruppe von Lautsprechern) in der Set-Top-Box und das Aufnehmen von Ton, der von dem ersten Lautsprecher (oder der ersten Gruppe von Lautsprechern) und dem zweiten Lautsprecher (oder der zweiten Gruppe von Lautsprechern) stammt, über mindestens ein Mikrofon (oder eine Gruppe von Mikrofonen) der Set-Top-Box, um mindestens ein Mikrofonsignal zu erzeugen (Verfahren 504). Das Verfahren beinhaltet ferner eine im Allgemeinen mehrkanalige akustische Echokompensation auf Grundlage des mindestens einen Mikrofonsignals und der beiden Audiosignale, die den ersten Audioinhalt und den zweiten Audioinhalt darstellen, wobei die im Allgemeinen mehrkanalige akustische Echokompensation Kompensationsfilterung, um die Impulsantworten von akustischen Pfaden zwischen jedem AEC-Referenzsignal (z. B. Lautsprecheransteuersignal, Eingangsleitung usw.) und dem (mindestens einen) Mikrofon (oder der Gruppe von Mikrofonen) zu modellieren und Anpassen der Impulsantworten der Kompensationsfilterung (Verfahren 505) umfasst.With reference to 5 An exemplary audio reproduction method includes the transmission of two audio signals, which represent a first audio content, via a first input line (method 501 ), the transmission of an audio signal, which represents a second audio content, via a second input line (method 502 ) and receiving the audio signals representing the first audio content by an audio reproduction device connected to the first input line and reproducing the audio signals representing the first audio content via at least one first loudspeaker (or a first group of loudspeakers) the audio playback device (method 503 ). The method further includes receiving the audio signal representing the second audio content through a set-top box connected to the second input line and reproducing the audio signal representing the second audio content through a second loudspeaker (or a second group of speakers) in the set-top box and the recording of sound coming from the first speaker (or the first group of speakers) and the second speaker (or the second group of speakers) through at least one microphone ( or a group of microphones) of the set-top box in order to generate at least one microphone signal (method 504 ). The method further includes a generally multi-channel acoustic echo cancellation based on the at least one microphone signal and the two audio signals representing the first audio content and the second audio content, the generally multi-channel acoustic echo cancellation compensation filtering in order to optimize the impulse responses of acoustic paths between each AEC- Reference signal (e.g. loudspeaker control signal, input line, etc.) and the (at least one) microphone (or group of microphones) and adapting the impulse responses of the compensation filtering (method 505 ) includes.

In einem anderen Beispiel kann die Steuerung zum Anpassen der Verzögerungszeit das Durchführen einer Maximierung der Energie der Impulsantwort des entsprechenden Kompensationsfilters in dem im Allgemeinen mehrkanaligen akustischen Echokompensator ermöglichen. In einem weiteren Beispiel kann die Steuerung zum Anpassen der Verzögerungszeit in einem Zeitbereich und über ein volles Frequenzband, bezogen auf jeweilige Filtereingangssignale, eine Suche nach der absoluten Hauptspitze der Impulsantworten durchführen.In another example, the controller for adjusting the delay time may enable the energy of the impulse response of the corresponding compensation filter in the generally multi-channel acoustic echo canceller to be maximized. In a further example, the controller can perform a search for the absolute main peak of the impulse responses in order to adapt the delay time in a time range and over a full frequency band, based on the respective filter input signals.

In einem anderen Beispiel ist in dem im Allgemeinen mehrkanaligen akustischen Echokompensator nur das Kompensationsfilter, das einem akustischen Pfad entspricht, dessen Impulsantwort sich im Laufe der Zeit dynamisch ändern kann, mit einer Verzögerungsleitung in Reihe geschaltet.In another example, in the generally multi-channel acoustic echo canceller, only the cancellation filter, which corresponds to an acoustic path whose impulse response can change dynamically over time, is connected in series with a delay line.

Die Steuerung kann das Steuern der mindestens einen Verzögerungsleitung nur dann ermöglichen, wenn die zu kompensierende Verzögerungszeit einen vorbestimmten Schwellenwert (z. B. 30 ms) überschreitet. Alternativ kann die Steuerung die mindestens eine Verzögerungsleitung nur dann steuern, wenn die Verzögerung durch einen elektrischen Signalübertragungspfad (z. B. HDMI- oder Bluetooth-Pfad) verursacht wird.The controller can only enable the at least one delay line to be controlled if the delay time to be compensated exceeds a predetermined threshold value (for example 30 ms). Alternatively, the controller can only control the at least one delay line if the delay is caused by an electrical signal transmission path (e.g. HDMI or Bluetooth path).

Die mindestens eine Verzögerungsleitung kann mindestens eines von stromaufwärts und stromabwärts des entsprechenden Kompensationsfilters verbunden sein. Ferner kann der im Allgemeinen mehrkanalige akustische Echokompensator mindestens eines von nicht kontinuierlichem Anpassen, nicht kontinuierlichem Neuladen oder nicht kontinuierlichem Rekonstruieren der Impulsantwort des entsprechenden Kompensationsfilters ermöglichen. In einem weiteren Beispiel beinhaltet mindestens eine von der externen Vorrichtung und der Set-Top-Box mehr als einen Signalkanal.The at least one delay line may be connected to at least one of upstream and downstream of the corresponding compensation filter. Further, the generally multi-channel acoustic echo canceller can enable at least one of discontinuous matching, discontinuous reloading, or discontinuous reconstruction of the impulse response of the corresponding compensation filter. In another example, at least one of the external device and the set top box includes more than one signal channel.

Durch Verwendung einer mehrkanaligen akustischen Echokompensation auf Grundlage von mindestens zwei unabhängigen Referenzkanälen, z. B. zwei für Stereomusik, die über die externe Vorrichtung übertragen wird, und einem für das TTS-Signal, das über die Set-Top-Box übertragen wird, während die entsprechenden Referenzsignale von einem gewünschten Teil innerhalb des Signalflusses (z. B. nach dem Entzerren) genommen werden, können die beiden Stereokanäle und der eine TTS-Kanal parallel verwendet werden, ohne dass Stereo-Audio stummgeschaltet werden muss, während die Sprachsteuerung aktiv ist. Darüber hinaus ermöglichen die in dieser Schrift beschriebenen Systeme und Verfahren, falls gewünscht, die unabhängige Verwendung des zuvor erwähnten adaptiven Verzögerungszuweisungsalgorithmus für jedes der mindestens zwei AEC-Referenzsignale, wodurch die effizienteste Verwendung des gegebenen MAEC-Systems erreicht wird.By using a multi-channel acoustic echo cancellation based on at least two independent reference channels, e.g. B. two for stereo music, which is transmitted via the external device, and one for the TTS signal, which is transmitted via the set-top box, while the corresponding reference signals from a desired part within the signal flow (e.g. after the equalization), the two stereo channels and the one TTS channel can be used in parallel without the stereo audio having to be muted while voice control is active. In addition, the systems and methods described in this document allow the aforementioned adaptive delay assignment algorithm to be used independently for each of the at least two AEC reference signals, if desired, thereby making the most efficient use of the given MAEC system.

Das in dieser Schrift vorgestellte Konzept kann im Zeitbereich durchgeführt werden und nur das Suchen nach der absoluten Hauptspitze der Impulsantwort beinhalten. Ferner kann eine Verzögerung, die eine bestimmte minimale Latenz überschreitet, dynamisch kompensiert werden, indem die Verzögerung aus der angepassten Impulsantwort extrahiert und eine dynamische Verzögerungsleitung vor oder nach dem adaptiven Filter eingefügt wird. Insbesondere kann ein unbekanntes System im Spektralbereich unter Verwendung eines Constraint-FDAF (frequency domain adaptive filter) geschätzt werden. Die absolute Hauptspitze (Maximum) wird gesucht und ihre Position innerhalb der Impulsantwort wird (zwischen)gespeichert. In dem Fall, dass sich die maximale (absolute) Spitze an einer Position befindet, die einen bestimmten Mindestwert (z. B. 30 Millisekunden) überschreitet, kann die Differenz über eine Verzögerungsleitung dynamisch kompensiert werden. Dabei kann der Mindestwert so gewählt werden, dass er dazu in der Lage ist, eine dynamische akustische Variation der sekundären Quelle zu den Mikrofonen von bis zu 10 Metern zu ermöglichen, was als der schlimmste Fall betrachtet werden kann, da an Positionen, die diese Entfernung überschreiten, Sprachsteuerung wahrscheinlich nicht mehr möglich ist.The concept presented in this document can be carried out in the time domain and only include the search for the absolute main peak of the impulse response. Furthermore, a delay that exceeds a certain minimum latency can be compensated dynamically by extracting the delay from the adapted impulse response and inserting a dynamic delay line before or after the adaptive filter. In particular, an unknown system in the spectral range can be estimated using a constraint FDAF (frequency domain adaptive filter). The absolute main peak (maximum) is searched for and its position within the impulse response is (temporarily) stored. In the event that the maximum (absolute) peak is at a position that exceeds a certain minimum value (e.g. 30 milliseconds), the difference can be compensated dynamically via a delay line. The minimum value can be selected in such a way that it is able to allow a dynamic acoustic variation of the secondary source to the microphones of up to 10 meters, which can be regarded as the worst case, since at positions that extend this distance exceed, voice control is probably no longer possible.

Darüber hinaus weisen typische Wohnzimmer normalerweise keine derart großen Abmessungen auf. Diese minimale Latenz muss innerhalb des adaptiven Filters gehalten werden, um Entfernungen der Quelle zu dem Mikrofon von etwa 0 m, d. h. wenn sich die Quelle in unmittelbarer Nachbarschaft zu dem Mikrofon befindet, bis zu einer maximalen Entfernung (z. B. 10 m, wie bereits erwähnt) zu bewältigen. Dies vermeidet sicher, dass Probleme auftreten, z. B. kann das System, wenn die vollständige Verzögerung kompensiert wird, unter bestimmten Umständen (z. B. wenn eine Quelle zuerst in einer großen Entfernung aktiv ist und dann (während sie nicht aktiv ist) in die Nähe der Vorrichtung bewegt wird, bevor sie erneut aktiviert wird) auf Grund der dann geltenden akausalen Bedingung steckenbleiben. Unter derartigen akausalen Bedingungen würde eine adaptive Verzögerungszuweisung fehlschlagen, da die maximale Spitze der Impulsantwort zu früheren (akausalen) Zeitpunkten verschoben würde und sich daher außerhalb des beobachtbaren Bereichs befinden würde. Somit kann ein derartiges adaptives Verzögerungszuweisungskonzept mehr oder weniger nur mögliche elektrische Verzögerungen kompensieren, die z. B. von verwendeten Übertragungsprotokollen, wie etwa High Definition Multimedia Interface (HDMI), Bluetooth usw. stammen.In addition, typical living rooms are usually not that large. This minimum latency must be kept within the adaptive filter in order to ensure distances of the source to the microphone of about 0 m, i.e. H. if the source is in the immediate vicinity of the microphone, up to a maximum distance (e.g. 10 m, as already mentioned). This is sure to avoid problems such as For example, if the full delay is compensated for, the system may, under certain circumstances (e.g., when a source is first active at a great distance and then (while inactive) is moved near the device before it activated again) get stuck due to the acausal condition then applicable. Under such acausal conditions, an adaptive delay assignment would fail because the maximum peak of the impulse response would be shifted to earlier (acausal) times and would therefore be outside the observable range. Thus, such an adaptive delay allocation concept can more or less only compensate for possible electrical delays, e.g. B. from the transmission protocols used, such as High Definition Multimedia Interface (HDMI), Bluetooth, etc. originate.

Dies bedeutet, dass die erfasste Verzögerungszeit nicht vollständig kompensiert wird, um Nachteile zu vermeiden, die auftreten können, wenn beispielsweise nur ein akustischer Stereo-Echokompensator zum Schätzen der Raumimpulsantwort verwendet wird, da in einem derartigen Fall der akustische Stereo-Echokompensator dazu in der Lage sein muss, die Raumimpulsantwort zu schätzen, unabhängig davon, ob ein Audiosignal über den/die Lautsprecher der Set-Top-Box oder der externen Vorrichtung übertragen wird. Wenn beispielsweise anfänglich die Lautsprecher der externen Vorrichtung verwendet werden, um ein von der Set-Top-Box bereitgestelltes Audiosignal zu übertragen und das Audiosignal nicht nur einer akustischen Verzögerung, sondern auch einer elektrischen Verzögerung (die z. B. durch den Signalübertragungspfad, wie etwa HDMI, Bluetooth usw., verursacht wird) unterliegt, wobei die Gesamtverzögerungszeit vollständig kompensiert wird, wird ein Audiosignal, das anschließend über den Lautsprecher der Set-Top-Box übertragen wird, überkompensiert, d. h. die Kompensationszeit ist im Vergleich zu der tatsächlichen Verzögerungszeit zu lang, sodass die adaptiven Filter kausal arbeiten und die tatsächliche Raumimpulsantwort nicht mehr schätzen können.This means that the detected delay time is not fully compensated in order to avoid disadvantages that can occur if, for example, only one acoustic stereo echo canceller is used to estimate the room impulse response, since in such a case the acoustic stereo echo canceller is able to do so must be to estimate the room impulse response regardless of whether an audio signal is transmitted through the speaker (s) of the set-top box or the external device. For example, when initially the speakers of the external device are used to transmit an audio signal provided by the set-top box and the audio signal includes not only an acoustic delay but also an electrical delay (e.g. caused by the signal transmission path such as HDMI, Bluetooth, etc.), with the total delay time being fully compensated, an audio signal that is then transmitted via the loudspeaker of the set-top box is overcompensated, i.e. H. the compensation time is too long compared to the actual delay time, so that the adaptive filters work causally and can no longer estimate the actual room impulse response.

Um dieses Problem anzugehen, sind die adaptiven Filter normalerweise mit einer wesentlich höheren Komplexität ausgelegt, um eine grundlegende Kompensation aller möglichen akustischen Abweichungen, wie etwa Entfernungen von bis zu 10 Metern, zu ermöglichen und nur erfassbare Verzögerungen, die von dem elektrischen Übertragungspfad herrühren, dynamisch zu kompensieren. Dies ermöglicht beispielsweise das Variieren der Entfernung zwischen den Lautsprechern der externen Vorrichtung und des Lautsprechers der Set-Top-Box innerhalb eines bestimmten Maximalbereichs, ohne ein kausales Verhalten der Filter hervorzurufen. Durch Ändern der Betriebsart, z. B. Umschalten zwischen den Lautsprechern der externen Vorrichtung und dem Lautsprecher der Set-Top-Box, kann eine Verzögerungsleitung, die nur die elektrisch hervorgerufenen Verzögerungszeiten kompensiert, auf Null gesetzt werden, wenn sichergestellt werden kann, dass keine elektrisch hervorgerufenen Verzögerungszeiten zu erwarten sind. Die vorstehend beschriebene Situation kann verbessert werden, indem der von den Lautsprechern der externen Vorrichtung einerseits und von den Lautsprechern der Set-Top-Box andererseits ausgehenden Ton getrennt verarbeitet wird, z. B. über einen mehrkanaligen akustischen Echokompensator, der getrennte Raumimpulsantworten für verschiedene Übertragungspfade verwendet, wodurch die Pfade, die an den Lautsprechern der Set-Top-Box beginnen, unverändert bleiben können und eine adaptive Verzögerungszuweisung nur für den Pfad gesteuert werden kann, der an dem Lautsprecher der externen Vorrichtung beginnt.To address this problem, the adaptive filters are usually designed with a much higher complexity in order to allow a basic compensation of all possible acoustic deviations, such as distances of up to 10 meters, and only dynamically detectable delays originating from the electrical transmission path to compensate. This makes it possible, for example, to vary the distance between the loudspeakers of the external device and the loudspeaker of the set-top box within a certain maximum range without causing a causal behavior of the filters. By changing the operating mode, e.g. B. switching between the loudspeakers of the external device and the loudspeaker of the set-top box, a delay line that only compensates for the electrically induced delay times can be set to zero if it can be ensured that no electrically induced delay times are to be expected. The situation described above can be improved by separately processing the sound emanating from the speakers of the external device on the one hand and from the speakers of the set-top box on the other hand, e.g. B. via a multi-channel acoustic echo canceller that uses separate room impulse responses for different transmission paths, whereby the paths that start at the speakers of the set-top box can remain unchanged and an adaptive delay allocation can only be controlled for the path that is connected to the External device speaker starts.

Die vorstehend beschriebenen Verfahren können in einem computerlesbaren Medium, wie etwa einer CD-ROM, einer Platte, einem Flash-Speicher, einem RAM oder ROM, einem elektromagnetischen Signal oder einem anderen maschinenlesbaren Medium als Anweisungen zur Ausführung durch einen Prozessor codiert werden. Alternativ oder zusätzlich kann eine beliebige Art von Logik verwendet werden und kann als analoge oder digitale Logik unter Verwendung von Hardware, wie etwa eines oder mehrerer integrierter Schaltkreise (einschließlich Verstärkern, Addierern, Verzögerungen und Filtern) oder eines oder mehrerer Prozessoren, die Verstärkungs-, Addier-, Verzögerungs- und Filteranweisungen ausführen; oder in Software in einer Anwendungsprogrammierschnittstelle (application programming interface - API) oder in einer Dynamic Link Library (DLL), Funktionen, die in einem geteilten Speicher verfügbar sind oder als Local oder Remote Procedure Calls definiert sind; oder als Kombination von Hardware und Software umgesetzt werden.The methods described above can be used in a computer-readable medium, such as a CD-ROM, a disk, a flash Memory, a RAM or ROM, an electromagnetic signal, or other machine-readable medium can be encoded as instructions for execution by a processor. Alternatively or in addition, any type of logic can be used and can be implemented as analog or digital logic using hardware such as one or more integrated circuits (including amplifiers, adders, delays and filters) or one or more processors that provide amplification, Execute add, delay and filter instructions; or in software in an application programming interface (API) or in a dynamic link library (DLL), functions that are available in shared memory or defined as local or remote procedure calls; or implemented as a combination of hardware and software.

Das Verfahren kann durch Software und/oder Firmware umgesetzt werden, die auf oder in einem computerlesbaren Medium, einem maschinenlesbaren Medium, einem Signalausbreitungsmedium und/oder einem signaltragenden Medium gespeichert ist. Das Medium kann eine beliebige Vorrichtung umfassen, die ausführbare Anweisungen zur Verwendung von oder in Verbindung mit einem System, einer Anordnung oder einer Vorrichtung zur Ausführung von Befehlen enthält, speichert, kommuniziert, verbreitet oder transportiert. Das maschinenlesbare Medium kann selektiv ein elektronisches, magnetisches, optisches, elektromagnetisches oder Infrarot-Signal oder ein Halbleitersystem, eine Anordnung, eine Vorrichtung oder ein Ausbreitungsmedium sein, ist jedoch nicht darauf beschränkt. Eine nicht vollständige Liste von Beispielen für ein maschinenlesbares Medium beinhaltet: eine magnetische oder optische Platte, einen flüchtigen Speicher, wie etwa einen Direktzugriffsspeicher (Random Access Memory - „RAM“), einen Nur-Lese-Speicher (Read-Only Memory - „ROM“), einen löschbaren programmierbaren Nur-Lese-Speicher (d. h. einen Erasable Programmable Read-Only Memory - EPROM) oder einen Flash-Speicher oder eine optische Faser. Ein maschinenlesbares Medium kann zudem ein greifbares Medium beinhalten, auf das ausführbare Anweisungen gedruckt werden, da die Logik elektronisch als Bild oder in einem anderen Format (z. B. durch einen optischen Scan) gespeichert, dann kompiliert und/oder interpretiert oder auf andere Weise verarbeitet werden kann. Das verarbeitete Medium kann dann in dem m Speicher eines Computers und/oder einer Maschine gespeichert werden.The method can be implemented by software and / or firmware that is stored on or in a computer-readable medium, a machine-readable medium, a signal propagation medium and / or a signal-carrying medium. The medium may include any device that contains, stores, communicates, disseminates, or transports executable instructions for use by or in connection with a system, arrangement, or device for executing instructions. The machine readable medium can selectively be, but is not limited to, an electronic, magnetic, optical, electromagnetic, or infrared signal, or a semiconductor system, arrangement, device, or propagation medium. A non-exhaustive list of examples of machine-readable medium includes: magnetic or optical disk, volatile memory such as random access memory ("RAM"), read-only memory ("ROM") “), An erasable programmable read-only memory (ie an Erasable Programmable Read-Only Memory - EPROM) or a flash memory or an optical fiber. A machine readable medium may also include a tangible medium on which executable instructions are printed as the logic is stored electronically as an image or in some other format (e.g., by an optical scan), then compiled and / or interpreted or otherwise can be processed. The processed medium can then be stored in the memory of a computer and / or machine.

Die Systeme können zusätzliche oder andere Logik beinhalten und können auf viele verschiedene Arten umgesetzt werden. Eine Steuerung kann als Mikroprozessor, Mikrocontroller, anwendungsspezifische integrierte Schaltung (application specific integrated circuit - ASIC), diskrete Logik oder eine Kombination anderer Arten von Schaltungen oder Logik umgesetzt werden. Gleichermaßen können die Speicher DRAM, SRAM, Flash oder andere Speicherarten sein. Parameter (z. B. Bedingungen und Schwellenwerte) und andere Datenstrukturen können getrennt gespeichert und verwaltet werden, können in einen einzelnen Speicher oder eine einzelne Datenbank integriert werden oder können auf viele verschiedene Arten logisch und physisch organisiert werden. Programme und Befehlssätze können Teile eines einzelnen Programms, getrennter Programme oder auf mehrere Speicher und Prozessoren verteilt sein.The systems can include additional or different logic and can be implemented in many different ways. A controller can be implemented as a microprocessor, microcontroller, application specific integrated circuit (ASIC), discrete logic, or a combination of other types of circuitry or logic. Likewise, the memories can be DRAM, SRAM, Flash or other types of memory. Parameters (e.g., conditions and thresholds) and other data structures can be stored and managed separately, can be incorporated into a single store or database, or can be organized logically and physically in many different ways. Programs and instruction sets can be parts of a single program, separate programs, or distributed across multiple memories and processors.

Die Beschreibung der Ausführungsformen wurde zum Zwecke der Veranschaulichung und Beschreibung dargestellt. Geeignete Modifikationen und Variationen der Ausführungsformen können in Anbetracht der vorstehenden Beschreibung durchgeführt werden oder können durch Durchführen der Verfahren erreicht werden. Beispielsweise können, sofern nicht anders angegeben, eines oder mehrere der beschriebenen Verfahren durch eine geeignete Vorrichtung und/oder eine Kombination von Vorrichtungen durchgeführt werden. Die beschriebenen Verfahren und zugehörigen Aktionen können zudem zusätzlich zu der in dieser Anmeldung beschriebenen Reihenfolge auch parallel und/oder gleichzeitig in verschiedenen Reihenfolgen ausgeführt werden. Die beschriebenen Systeme sind beispielhafter Natur und können zusätzliche Elemente beinhalten und/oder Elemente weglassen.The description of the embodiments has been presented for purposes of illustration and description. Appropriate modifications and variations of the embodiments can be made in light of the above description or can be achieved by practicing the methods. For example, unless stated otherwise, one or more of the methods described can be carried out by a suitable device and / or a combination of devices. In addition to the sequence described in this application, the described methods and associated actions can also be carried out in parallel and / or simultaneously in different sequences. The systems described are exemplary in nature and may include additional elements and / or omit elements.

Wie in dieser Anmeldung verwendet, sollte ein Element oder ein Schritt, das/der im Singular aufgeführt ist und dem das Wort „ein“ oder „eine“ vorangeht, so verstanden werden, dass der Plural der Elemente oder Schritte nicht ausgeschlossen ist, sofern kein derartiger Ausschluss angegeben ist. Darüber hinaus sollen Verweise auf „eine Ausführungsform“ oder „ein Beispiel“ der vorliegenden Offenbarung nicht so ausgelegt werden, dass sie die Existenz zusätzlicher Ausführungsformen ausschließen, die ebenfalls die aufgeführten Merkmale einbeziehen. Die Ausdrücke „erstes“, „zweites“ und „drittes“ usw. werden lediglich als Bezeichnungen verwendet und sollen ihren Objekten keine numerischen Anforderungen oder eine bestimmte Positionsreihenfolge auferlegen.As used in this application, an element or step listed in the singular preceded by “a” or “an” should be construed as not excluding the plural of the element or step, unless one such exclusion is indicated. Furthermore, references to “an embodiment” or “an example” of the present disclosure are not intended to be construed as excluding the existence of additional embodiments that also incorporate the listed features. The terms “first”, “second” and “third” etc. are used as designations only and are not intended to impose any numerical requirements or any particular positional order on their objects.

Während verschiedene Ausführungsformen der Erfindung beschrieben wurden, wird es für den Durchschnittsfachmann offensichtlich sein, dass innerhalb des Umfangs der Erfindung viele weitere Ausführungsformen und Umsetzungen möglich sind. Insbesondere erkennt der Fachmann die Austauschbarkeit verschiedener Merkmale aus verschiedenen Ausführungsformen. Obwohl diese Techniken und Systeme im Zusammenhang mit bestimmten Ausführungsformen und Beispielen offenbart wurden, versteht es sich, dass diese Techniken und Systeme über die spezifisch offenbarten Ausführungsformen hinaus auf andere Ausführungsformen und/oder Verwendungen und offensichtliche Modifikationen davon erweitert werden können.While various embodiments of the invention have been described, it will be apparent to one of ordinary skill in the art that many other embodiments and implementations are possible within the scope of the invention. In particular, those skilled in the art will recognize the interchangeability of different features from different embodiments. While these techniques and systems have been disclosed in connection with particular embodiments and examples, it should be understood that these techniques and systems can be extended to other embodiments and / or uses and obvious modifications thereof beyond the specific embodiments disclosed.

Claims (23)

Audiowiedergabesystem, umfassend: eine erste Eingangsleitung zum Übertragen eines Audiosignals, das einen ersten Audioinhalt darstellt; eine zweite Eingangsleitung zum Übertragen eines Audiosignals, das einen zweiten Audioinhalt darstellt; eine erste Audiowiedergabevorrichtung, die mit der ersten Eingangsleitung zum Empfangen des Audiosignals, das den ersten Audioinhalt darstellt, verbunden ist, wobei die erste Audiowiedergabevorrichtung einen ersten Lautsprecher oder eine erste Gruppe von Lautsprechern zum Wiedergeben des Audiosignals, das den ersten Audioinhalt darstellt, umfasst; eine zweite Audiovorrichtung, die mit der zweiten Eingangsleitung zum Empfangen eines Audiosignals, das den zweiten Audioinhalt darstellt, verbunden ist, wobei die zweite Audiovorrichtung einen zweiten Lautsprecher oder eine zweiten Gruppe von Lautsprechern zum Wiedergeben des Audiosignals, das den zweiten Audioinhalt darstellt, umfasst und die zweite Audiovorrichtung ferner ein Mikrofon oder eine Gruppe von Mikrofonen zum Aufnehmen von Ton, der von dem ersten Lautsprecher oder der ersten Gruppe von Lautsprechern und dem zweiten Lautsprecher oder der zweiten Gruppe von Lautsprechern stammt, umfasst, um mindestens ein Mikrofonsignal zu erzeugen; und einen im Allgemeinen mehrkanaligen akustischen Echokompensator, der das Mikrofonsignal und die beiden Audiosignale, die den ersten Audioinhalt und den zweiten Audioinhalt darstellen, empfängt, wobei der im Allgemeinen mehrkanalige akustische Echokompensator eine Vielzahl von Kompensationsfiltern umfasst, die dazu konfiguriert sind, die Impulsantworten von akustischen Pfaden zwischen jeder Eingangsleitung und dem mindestens einen Mikrofon oder der Gruppe von Mikrofonen zu modellieren und Impulsantworten der Kompensationsfilter anzupassen.Audio playback system comprising: a first input line for transmitting an audio signal representing a first audio content; a second input line for transmitting an audio signal representing a second audio content; a first audio reproduction device connected to the first input line for receiving the audio signal representing the first audio content, the first audio reproduction device comprising a first speaker or a first group of speakers for reproducing the audio signal representing the first audio content; a second audio device connected to the second input line for receiving an audio signal representing the second audio content, the second audio device comprising a second loudspeaker or a second group of loudspeakers for reproducing the audio signal representing the second audio content, and the second audio device further comprises a microphone or a group of microphones for picking up sound originating from the first loudspeaker or the first group of loudspeakers and the second loudspeaker or the second group of loudspeakers to generate at least one microphone signal; and a generally multi-channel acoustic echo canceller that receives the microphone signal and the two audio signals representing the first audio content and the second audio content, wherein the generally multi-channel acoustic echo canceller comprises a plurality of cancellation filters that are configured to the impulse responses of acoustic paths to model between each input line and the at least one microphone or the group of microphones and to adapt the impulse responses of the compensation filters. System nach Anspruch 1, wobei der im Allgemeinen mehrkanalige akustische Echokompensator ferner Folgendes umfasst: mindestens eine Verzögerungsleitung, wobei die Verzögerungsleitung betriebsmäßig mit einem der Kompensationsfilter in Reihe geschaltet ist; und eine Steuerung, die betriebsmäßig mit der mindestens einen Verzögerungsleitung zur Steuerung davon verbunden ist, wobei die Steuerung dazu konfiguriert ist, die Verzögerungszeit der mindestens einen Verzögerungsleitung zu steuern.System according to Claim 1 wherein the generally multi-channel acoustic echo canceller further comprises: at least one delay line, the delay line operatively connected in series with one of the cancellation filters; and a controller operatively connected to the at least one delay line for controlling thereof, the controller configured to control the delay time of the at least one delay line. System nach Anspruch 2, wobei jedes der Kompensationsfilter dazu konfiguriert ist, seine Impulsantwort auf Grundlage eines Referenzsignals und eines Fehlersignals adaptiv anzupassen, wobei das Referenzsignal ein in dieses Kompensationsfilter eingegebenes Signal ist und das Fehlersignal die Differenz von einem Normsignal und einem von diesem Kompensationsfilter ausgegebenen Signal ist; und die Steuerung dazu konfiguriert ist, die mindestens eine Verzögerungsleitung auf Grundlage des entsprechenden Referenzsignals und des Fehlersignals zu steuern.System according to Claim 2 wherein each of the compensation filters is configured to adaptively adjust its impulse response on the basis of a reference signal and an error signal, the reference signal being a signal input to this compensation filter and the error signal being the difference between a standard signal and a signal output from this compensation filter; and the controller is configured to control the at least one delay line based on the corresponding reference signal and the error signal. System nach einem der Ansprüche 1-3, wobei die Steuerung dazu konfiguriert ist, die Verzögerungszeit der mindestens einen Verzögerungsleitung auf Grundlage einer absoluten Hauptspitze der Impulsantwort des entsprechenden Kompensationsfilters anzupassen.System according to one of the Claims 1 - 3 wherein the controller is configured to adjust the delay time of the at least one delay line based on an absolute main peak of the impulse response of the corresponding compensation filter. System nach Anspruch 4, wobei die Steuerung zum Anpassen der Verzögerungszeit dazu konfiguriert ist, in einem Zeitbereich und über ein volles Frequenzband, bezogen auf jeweilige Filtereingangssignale, eine Suche nach der absoluten Hauptspitze der Impulsantworten durchzuführen.System according to Claim 4 wherein the controller for adapting the delay time is configured to perform a search for the absolute main peak of the impulse responses in a time range and over a full frequency band, based on respective filter input signals. System nach Anspruch 4, wobei die Steuerung zum Anpassen der Verzögerungszeit dazu konfiguriert ist, eine Maximierung der Energie der entsprechenden Impulsantwort durchzuführen.System according to Claim 4 wherein the controller for adjusting the delay time is configured to maximize the energy of the corresponding impulse response. System nach Anspruch 2, wobei in dem im Allgemeinen mehrkanaligen akustischen Echokompensator nur das Kompensationsfilter, das einem akustischen Pfad entspricht, dessen Impulsantwort sich im Laufe der Zeit dynamisch ändert, betriebsmäßig mit der mindestens einen zu steuernden Verzögerungsleitung in Reihe geschaltet ist.System according to Claim 2 In the generally multi-channel acoustic echo canceller, only the compensation filter, which corresponds to an acoustic path whose impulse response changes dynamically over time, is operatively connected in series with the at least one delay line to be controlled. System nach einem der Ansprüche 1-7, wobei die Steuerung dazu konfiguriert ist, die mindestens eine Verzögerungsleitung nur dann zu steuern, wenn die zu kompensierende Verzögerungszeit einen vorbestimmten Schwellenwert überschreitet.System according to one of the Claims 1 - 7th wherein the controller is configured to control the at least one delay line only when the delay time to be compensated exceeds a predetermined threshold value. System nach einem der Ansprüche 1-7, wobei die Steuerung dazu konfiguriert ist, die mindestens eine Verzögerungsleitung nur dann zu steuern, wenn die Verzögerung durch einen elektrischen Signalübertragungspfad verursacht wird.System according to one of the Claims 1 - 7th wherein the controller is configured to control the at least one delay line only when the delay is caused by an electrical signal transmission path. System nach einem der Ansprüche 1-9, wobei die mindestens eine Verzögerungsleitung mindestens eines von stromaufwärts und stromabwärts des entsprechenden Kompensationsfilters verbunden ist.System according to one of the Claims 1 - 9 wherein the at least one delay line is connected to at least one of upstream and downstream of the corresponding compensation filter. System nach einem der Ansprüche 1-10, wobei mindestens eine von der externen Vorrichtungen und der Set-Top-Box mehr als einen Signalkanal beinhaltet.System according to one of the Claims 1 - 10 , with at least one of the external devices and the set-top box contains more than one signal channel. Audiowiedergabeverfahren, umfassend: Übertragen eines Audiosignals, das einen ersten Audioinhalt darstellt, über eine erste Eingangsleitung; Übertragen eines Audiosignals, das einen zweiten Audioinhalt darstellt, über eine zweite Eingangsleitung; Empfangen des Audiosignals, das den ersten Audioinhalt darstellt, durch eine erste Audiowiedergabevorrichtung, die mit der ersten Eingangsleitung verbunden ist, und Wiedergeben des Audiosignals, das den ersten Audioinhalt darstellt, über einen ersten Lautsprecher oder eine erste Gruppe von Lautsprechern der ersten Audiowiedergabevorrichtung; Empfangen des Audiosignals, das den zweiten Audioinhalt darstellt, durch eine zweite Audiovorrichtung, die mit der zweiten Eingangsleitung verbunden ist, Wiedergeben des Audiosignals, das den zweiten Audioinhalt darstellt, über einen zweiten Lautsprecher oder eine zweite Gruppe von Lautsprechern und Aufnehmen von Ton, der von dem ersten Lautsprecher oder der ersten Gruppe von Lautsprechern und dem zweiten Lautsprecher oder der zweiten Gruppe von Lautsprechern stammt, über mindestens ein Mikrofon oder eine Gruppe von Mikrofonen der zweiten Audiovorrichtung, um mindestens ein Mikrofonsignal zu erzeugen; und im Allgemeinen mehrkanalige Echokompensation auf Grundlage des mindestens einen Mikrofonsignals und der beiden Audiosignale, die den ersten Audioinhalt und den zweiten Audioinhalt darstellen, wobei die im Allgemeinen mehrkanalige akustische Echokompensation Kompensationsfilterung, um die Impulsantworten von akustischen Pfaden zwischen jeder Eingangsleitung und dem mindestens einen Mikrofon oder der Gruppe von Mikrofonen zu modellieren und Anpassen der Impulsantworten der Kompensationsfilterung umfasst.Audio playback method comprising: Transmitting an audio signal representing a first audio content over a first input line; Transmitting an audio signal representing a second audio content over a second input line; Receiving the audio signal representing the first audio content by a first audio reproduction device connected to the first input line and reproducing the audio signal representing the first audio content through a first speaker or a first group of speakers of the first audio reproduction device; Receiving the audio signal representing the second audio content by a second audio device connected to the second input line, reproducing the audio signal representing the second audio content through a second loudspeaker or a second group of loudspeakers and recording sound from the first loudspeaker or the first group of loudspeakers and the second loudspeaker or the second group of loudspeakers originates via at least one microphone or a group of microphones of the second audio device in order to generate at least one microphone signal; and Generally multi-channel echo cancellation on the basis of the at least one microphone signal and the two audio signals that represent the first audio content and the second audio content, the generally multi-channel acoustic echo cancellation compensation filtering to determine the impulse responses of acoustic paths between each input line and the at least one microphone or the Modeling the set of microphones and adjusting the impulse responses of the compensation filtering includes. Verfahren nach Anspruch 12, wobei die im Allgemeinen mehrkanalige akustische Echokompensation ferner Folgendes umfasst: Verzögern von mindestens einem kompensationsgefilterten Signal oder mindestens einem zu kompensationsfilternden Signal mit mindestens einer Verzögerungsleitung; und Steuern einer Verzögerungszeit der mindestens einen Verzögerungsleitung.Procedure according to Claim 12 wherein the generally multi-channel acoustic echo cancellation further comprises: delaying at least one compensation-filtered signal or at least one signal to be compensation-filtered with at least one delay line; and controlling a delay time of the at least one delay line. Verfahren nach Anspruch 13, wobei jede Kompensationsfilterung adaptives Anpassen ihrer Impulsantwort auf Grundlage eines Referenzsignals und eines Fehlersignals beinhaltet, wobei das Referenzsignal ein in diese Kompensationsfilterung eingegebenes Signal ist und das Fehlersignal die Differenz von einem Normsignal und einem von dieser Kompensationsfilterung ausgegebenen Signal ist, wobei das Verfahren ferner Folgendes umfasst: Steuern der Verzögerungszeit auf Grundlage des entsprechenden Referenzsignals und des Fehlersignals.Procedure according to Claim 13 Each compensation filtering includes adaptively adjusting its impulse response on the basis of a reference signal and an error signal, the reference signal being a signal input into this compensation filtering and the error signal being the difference between a standard signal and a signal output from this compensation filtering, the method further comprising the following : Controlling the delay time based on the corresponding reference signal and the error signal. Verfahren nach einem der Ansprüche 12-14, ferner umfassend zum Anpassen der Verzögerungszeit Anpassen von Impulsantworten der Kompensationsfilterung auf Grundlage einer absoluten Hauptspitze der entsprechenden Impulsantwort.Method according to one of the Claims 12 - 14th , further comprising, for adjusting the delay time, adjusting impulse responses of the compensation filtering based on an absolute main peak of the corresponding impulse response. Verfahren nach Anspruch 15, ferner umfassend Durchführen einer Suche nach der absoluten Hauptspitze der Impulsantworten in einem Zeitbereich und über ein volles Frequenzband, bezogen auf jeweilige Filtereingangssignale.Procedure according to Claim 15 , further comprising performing a search for the absolute major peak of the impulse responses in a time domain and over a full frequency band, based on respective filter input signals. Verfahren nach Anspruch 15, ferner umfassend zum Anpassen der Verzögerungszeit Durchführen einer Maximierung der Energie der entsprechenden Impulsantwort.Procedure according to Claim 15 , further comprising, for adjusting the delay time, performing a maximization of the energy of the corresponding impulse response. Verfahren nach Anspruch 13, wobei bei der im Allgemeinen mehrkanaligen akustischen Echokompensation eine Verzögerung nur dann durchgeführt wird, wenn die entsprechende Kompensationsfilterung einen akustischen Pfad betrifft, dessen Impulsantwort sich im Laufe der Zeit dynamisch ändert.Procedure according to Claim 13 In the case of the generally multi-channel acoustic echo compensation, a delay is only carried out if the corresponding compensation filtering relates to an acoustic path whose impulse response changes dynamically over time. Verfahren nach einem der Ansprüche 12-18, wobei die mindestens eine Verzögerung nur dann gesteuert wird, wenn die zu kompensierende Verzögerungszeit einen vorbestimmten Schwellenwert überschreitet.Method according to one of the Claims 12 - 18th wherein the at least one delay is only controlled if the delay time to be compensated exceeds a predetermined threshold value. Verfahren nach einem der Ansprüche 12-18, wobei die Steuerung dazu konfiguriert ist, die mindestens eine Verzögerungsleitung nur dann zu steuern, wenn die Verzögerung durch einen elektrischen Signalübertragungspfad verursacht wird.Method according to one of the Claims 12 - 18th wherein the controller is configured to control the at least one delay line only when the delay is caused by an electrical signal transmission path. Verfahren nach einem der Ansprüche 12-20, wobei die mindestens eine Verzögerung vor oder nach der entsprechenden Kompensationsfilterung verbunden ist.Method according to one of the Claims 12 - 20th , wherein the at least one delay is connected before or after the corresponding compensation filtering. Verfahren nach einem der Ansprüche 1-21, wobei mindestens eine von der externen Vorrichtung und der Set-Top-Box mehr als einen Signalkanal beinhaltet.Method according to one of the Claims 1 - 21 wherein at least one of the external device and the set top box includes more than one signal channel. Computerprogrammprodukt, umfassend Anweisungen, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, das Verfahren nach einem der Ansprüche 12-22 auszuführen.A computer program product, comprising instructions which, when the program is executed by a computer, cause the computer to implement the method according to one of the Claims 12 - 22nd to execute.
DE102020111851.1A 2020-04-30 2020-04-30 AUDIO PLAYBACK WITH MULTI-CHANNEL ACOUSTIC ECHO COMPENSATION Pending DE102020111851A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102020111851.1A DE102020111851A1 (en) 2020-04-30 2020-04-30 AUDIO PLAYBACK WITH MULTI-CHANNEL ACOUSTIC ECHO COMPENSATION
KR1020210034671A KR20210134216A (en) 2020-04-30 2021-03-17 Audio reproduction with multi-channel acoustic echo cancelling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020111851.1A DE102020111851A1 (en) 2020-04-30 2020-04-30 AUDIO PLAYBACK WITH MULTI-CHANNEL ACOUSTIC ECHO COMPENSATION

Publications (1)

Publication Number Publication Date
DE102020111851A1 true DE102020111851A1 (en) 2021-11-04

Family

ID=78267654

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020111851.1A Pending DE102020111851A1 (en) 2020-04-30 2020-04-30 AUDIO PLAYBACK WITH MULTI-CHANNEL ACOUSTIC ECHO COMPENSATION

Country Status (2)

Country Link
KR (1) KR20210134216A (en)
DE (1) DE102020111851A1 (en)

Also Published As

Publication number Publication date
KR20210134216A (en) 2021-11-09

Similar Documents

Publication Publication Date Title
DE69827911T2 (en) METHOD AND DEVICE FOR MULTI-CHANNEL COMPENSATION OF AN ACOUSTIC ECHO
DE69531136T2 (en) Method and device for multi-channel compensation of an acoustic echo
DE69908463T2 (en) Method and device for multi-channel compensation of an acoustic echo
DE102018127071B3 (en) Audio signal processing with acoustic echo cancellation
DE102008039329A1 (en) An apparatus and method for calculating control information for an echo suppression filter and apparatus and method for calculating a delay value
DE112012001201B4 (en) Echo canceling device and echo detector
DE10018666A1 (en) Dynamic sound optimization in the interior of a motor vehicle or similar noisy environment, a monitoring signal is split into desired-signal and noise-signal components which are used for signal adjustment
EP3375204B1 (en) Audio signal processing in a vehicle
DE102008039330A1 (en) Apparatus and method for calculating filter coefficients for echo cancellation
DE112017004612T5 (en) FULL DUPLEX VOICE COMMUNICATION SYSTEM AND PROCEDURE
DE112007003625T5 (en) Echo cancellation device, echo cancellation system, echo cancellation method and computer program
DE112007003683B4 (en) Echo cancellation system, echo cancellation method, sound output device, audio system, navigation system and mobile object
DE69926451T2 (en) Method and device for suppressing multi-channel echoes
EP1438833B1 (en) Device and method for multichannel acoustic echo cancellation with a variable number of channels
EP3454572A1 (en) Method for detection of a defect in a listening instrument
EP1367856B1 (en) Method and apparatus for feedback reduction in hearing systems
DE10043064B4 (en) Method and device for eliminating loudspeaker interference from microphone signals
DE102018122438A1 (en) Acoustic echo cancellation with room change detection
DE102015204010B4 (en) Method for suppressing a noise in an acoustic system
DE102020111851A1 (en) AUDIO PLAYBACK WITH MULTI-CHANNEL ACOUSTIC ECHO COMPENSATION
DE102019123971A1 (en) ACTIVE NOISE COMPENSATION
DE102018117558A1 (en) ADAPTIVE AFTER-FILTERING
DE102018117556B4 (en) SINGLE CHANNEL NOISE REDUCTION
DE102018129525A1 (en) NONLINEAR ACOUSTIC ECHOCOMPENSATION
DE112015007128T5 (en) Echo sounding device and voice telecommunication device

Legal Events

Date Code Title Description
R012 Request for examination validly filed