CH708803A2

CH708803A2 - Method and apparatus for folding of sound signals with head-related impulse responses.

Info

Publication number: CH708803A2
Application number: CH01840/13A
Authority: CH
Inventors: Fritz Menzer
Original assignee: Fritz Menzer
Priority date: 2013-11-01
Filing date: 2013-11-01
Publication date: 2015-05-15

Abstract

Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Verarbeitung von Klangsignalen. Mehrere Klangsignale s j (t) (1) werden jeweils mit zwei parallel arbeitenden Verzögerungselementen (2) verzögert, so dass die Differenz der Verzögerung einem gewünschten Wert entspricht, und mit Kerbfiltern (3) gefiltert, so dass die in den Spektren der dabei entstehenden Signale (3a) gewünschte Kerben entstehen, die für die Wahrnehmung von kopfbezogenen Impulsantworten wichtig sind. Um die durch die Anwendung der Kerbfilter entstehende Klangverfärbung der Signale (3a) auszugleichen und/oder den Signalen weitere gewünschte spektrale Eigenschaften hinzuzufügen, werden weitere Filter (4) angewendet. Die dabei entstehenden Signale werden, separat für das linke bzw. das rechte Ohr, addiert und ergeben so das linke Ausgangssignal (9) bzw. das rechte Ausgangssignal (10).The invention relates to a method and a device for processing sound signals. A plurality of sound signals sj (t) (1) are respectively delayed with two delay elements (2) operating in parallel, so that the difference of the delay corresponds to a desired value, and filtered with notch filters (3), so that the signals resulting in the spectra of the resulting signals (3a) create desired notches that are important for the perception of head-related impulse responses. In order to compensate for the sound discoloration of the signals (3a) resulting from the use of the notch filters and / or to add further desired spectral properties to the signals, further filters (4) are used. The resulting signals are added separately for the left and the right ear, thus producing the left output signal (9) and the right output signal (10).

Description

Beschreibung description

[0001 ] Die Erfindung betrifft ein Verfahren zur Verarbeitung von Klangsignalen gemäss dem Oberbegriff von Anspruch 1. Die Erfindung betrifft weiter eine Vorrichtung zum Verarbeiten von Klangsignalen gemäss dem Oberbegriff von Anspruch 13. The invention relates to a method for processing sound signals according to the preamble of claim 1. The invention further relates to an apparatus for processing sound signals according to the preamble of claim 13.

[0002] Binaurale Klangsignale sind zweispurige Klangsignale, bestehend aus einem Signal für das linke Ohr und einem Signal für das rechte Ohr. Werden binaurale Klangsignale mit Kopfhörern abgespielt, ergibt sich beim Hörer ein räumlicher Klangeindruck. Binaurale Klangsignale können z.B. mit einem Kunstkopf mit Mikrophonen in den Ohren aufgenommen werden. Sie können aber auch synthetisch erzeugt werden, indem (Nachhall-freie) Klangsignale mit Impulsantworten, welche die Ausbreitung von Schall von einer Klangquelle zu den beiden Ohren des Hörers simulieren, gefaltet werden. Falls die Ausbreitung von Schall in einer reflexionsfreien Umgebung simuliert wird, wird die Impulsantwort als «kopfbezogene Impulsantwort» bezeichnet (auch «head related impulse response», HRIR, oder «head related transfer Funktion», HRTF, genannt). Binaural sound signals are two-track sound signals, consisting of a signal for the left ear and a signal for the right ear. If binaural sound signals are played with headphones, the listener gets a spatial sound impression. Binaural sound signals may e.g. be recorded with a dummy head with microphones in the ears. However, they can also be generated synthetically by folding (reverberation-free) sound signals with impulse responses simulating the propagation of sound from one sound source to the listener's two ears. If the propagation of sound in a reflection-free environment is simulated, the impulse response is referred to as the "head-related impulse response" (HRIR or head related transfer function HRTF).

[0003] Im Fall, dass eine akustische Umgebung mit Reflexionen (z.B. ein Konzertsaal) simuliert werden soll, werden mehrere kopfbezogene Impulsantworten benötigt (eine pro simulierte Reflexion und eine weitere für den Direktschall). In the event that an acoustic environment with reflections (e.g., a concert hall) is to be simulated, multiple head-related impulse responses are needed (one per simulated reflection and another for direct sound).

[0004] Für praktische Anwendungen von künstlich erzeugten binauralen Klangsignalen (z.B. in Computerspielen oder Telekonferenzanwendungen) besteht also ein Bedarf, mit geringem Rechenaufwand mehrere Signale mit mehreren, im allgemeinen Fall unterschiedlichen, kopfbezogenen Impulsantworten falten zu können. Thus, for practical applications of artificially generated binaural sound signals (e.g., in computer games or teleconferencing applications), there is a need to be able to fold multiple signals with multiple, generally different, head related impulse responses with little computational effort.

[0005] Aktuelle Verfahren wenden kopfbezogene Impulsantworten direkt als Filter mit endlicher Impulsantwort (FIR-Filter) an, oder nehmen die Faltung mittels einer Fouriertransformation vor. Es gibt auch die Möglichkeit, die Impulsantworten als Minimum-Phase-Filter zu implementieren, d.h. als FIR-Filter, die kürzer als real gemessene kopfbezogene Impulsantworten sind. Current methods directly apply head related impulse responses as finite impulse response (FIR) filters, or perform convolution by Fourier transform. There is also the possibility to implement the impulse responses as a minimum-phase filter, i. as FIR filters that are shorter than real measured head-related impulse responses.

[0006] Verfahren, welche auf FIR-Filtern basieren, verursachen einen beträchtlichen Rechenaufwand und Verfahren, welche Fourier-Transformationen benutzen sind in ihrer Flexibilität eingeschränkt und der zusätzliche Rechenaufwand für die Fouriertransformationen ist nicht vernachlässigbar. Methods based on FIR filters cause considerable computational effort, and methods using Fourier transforms are limited in their flexibility, and the additional computational cost of the Fourier transforms is not negligible.

[0007] Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zu entwickeln, das es erlaubt, mehrere Signale effizient mit unterschiedlichen kopfbezogenen Impulsantworten zu falten und dabei einen für die Wahrnehmung von kopfbezogenen Impulsantworten zentralen Aspekt, namentlich die Position und Tiefe von Kerben (engl. «Notches») im Spektrum der entsprechenden Transferfunktion, speziell zu berücksichtigen. The object of the present invention is to develop a method that allows to fold several signals efficiently with different head-related impulse responses and thereby a central for the perception of head-related impulse responses aspect, namely the position and depth of notches (engl. "Notches") in the spectrum of the corresponding transfer function, specially taken into account.

[0008] Die Aufgabe wird durch die Merkmale des Patentanspruchs 1 gelöst. The object is solved by the features of patent claim 1.

[0009] Vorteilhafte Weiterbildungen ergeben sich aus den abhängigen Patentansprüchen. Der Vorteil der Erfindung besteht darin, dass im Vergleich zu herkömmlichen Verfahren, bei gleichem Rechenaufwand (oder gleichem Stromverbrauch), mehr Klangsignale gleichzeitig mit kopfbezogenen Impulsantworten gefaltet werden können, und im Vergleich zu anderen hochgradig optimierten Verfahren, wie z.B. dem in der Schweiz unter Nummer 00890/12 zum Patent angemeldeten Verfahren, die für die Wahrnehmung äusserst wichtigen Kerben im Spektrum präzis kontrolliert werden können. Advantageous developments emerge from the dependent claims. The advantage of the invention is that, compared to conventional methods, with the same amount of computation (or power consumption), more sound signals can be convoluted simultaneously with head related impulse responses, and compared to other highly optimized methods, such as e.g. The patent pending in Switzerland under number 00890/12 procedures that can be precisely controlled for the perception of extremely important notches in the spectrum.

[0010] Die Erfindung wird anhand eines Ausführungsbeispiels, welches in den Zeichnungen dargestellt ist, näher erläutert. Es zeigen: The invention will be explained in more detail with reference to an embodiment which is illustrated in the drawings. Show it:

Fig. 1 : ein Signalflussdiagram einer Klangsignalverarbeitungsvorrichtung 1 shows a signal flow diagram of a sound signal processing device

Fig. 2: ein Signalflussdiagram einer Klangsignalverarbeitungsvorrichtung 2 shows a signal flow diagram of a sound signal processing device

Fig. 3: ein Signalflussdiagram eines Kerbfilters 3 shows a signal flow diagram of a notch filter

Fig. 4: schematisch den Aufbau einer Klangsignalverarbeitungsvorrichtung 4 shows schematically the structure of a sound signal processing device

[0011 ] Fig. 1 zeigt ein Signalflussdiagramm einer Klangsignalverarbeitungsvorrichtung mit dem Zweck, mehrere Klangsignale (1 ) mit unterschiedlichen kopfbezogenen Impulsantworten zu falten. Dabei wird jedes Eingangssignal Sj(t) (1 ) jeweils mit zwei parallel arbeitenden Verzögerungselementen (2) um TL,j bzw. TRijverzögert, so dass die Differenz der Verzögerungen dem «Interaural Time Delay», d.h. der Verzögerung zwischen dem Signal des linken Ohrs und dem Signal des rechten Ohrs, einer gemessenen kopfbezogen Impulsantwort entspricht, und mit jeweils einem Kerbfilter (3) nLijbzw. nRijbearbeitet, damit die für die Wahrnehmung wichtigen Kerben im Spektrum entstehen. Fig. 1 shows a signal flow diagram of a sound signal processing apparatus for the purpose of folding a plurality of sound signals (1) with different head-related impulse responses. In this case, each input signal Sj (t) (1) is delayed by TL, j or TRij respectively with two delay elements (2) operating in parallel, so that the difference between the delays and the "Interaural Time Delay", i. the delay between the signal of the left ear and the signal of the right ear, a measured head related impulse response corresponds, and each with a notch filter (3) nLijbzw. Designed to create the notch in the spectrum that is important for perception.

[0012] Die so entstehenden Signale (3a), genannt Si_,j(t) und sR,j(t) (wobei Si_,j(t) letztlich dem linken Ohr zugeführt wird und sRj(t) dem rechten Ohr), werden jeweils mit einem Filter (4) cL,jbzw. cRijzur Kompensation der durch die Anwendung der Kerbfilter entstehenden Klangverfärbung und/ oder zum Hinzufügen weiterer gewünschter spektraler Eigenschaften bearbeitet. Alle so entstandenen Signale für das linke Ohr werden addiert und bilden das linke Ausgangssignal (9), während die Signale für das rechte Ohr addiert werden und so das rechte Ausgangssignal (10) bilden. The resulting signals (3a), called Si_, j (t) and sR, j (t) (where Si_, j (t) is ultimately supplied to the left ear and sRj (t) to the right ear) each with a filter (4) cL, jbzw. cRij Compensation for the discoloration of the notch resulting from the notch filters and / or for adding further desired spectral properties. All the left ear signals thus generated are added together to form the left output signal (9), while the right ear signals are added to form the right output signal (10).

2 2

Claims

Fig. 2 shows a signal flow diagram of a fourth order FIR filter consisting of four delay elements (3b), five multiplication elements (3c), and four addition elements (3d), which can be used as a notch filter. The order divided by two determines the number of frequencies at which notches in the spectrum can be placed. Accordingly, the filter shown is capable of scoring at two different frequencies in the spectrum. Fig. 3 shows a signal flow diagram of a sound signal processing device for the purpose of folding a plurality of sound signals (1) with different head-related impulse responses. Compared to Fig. 1, the individual filters (4) for processing the spectrum are replaced by a more efficient method. As in FIG. 1, each input signal Sj (t) (1) is delayed by Tg or TRij with two delay elements (2) operating in parallel, so that the difference in the delays is attributed to the "interaural time delay", i. the delay between the signal of the left ear and the signal of the right ear, a measured head related impulse response corresponds, and each with a notch filter (3) nLijbzw. Designed to create the notch in the spectrum that is important for perception. Unlike in Fig. 1, the resulting signals (3a), called sL, j (t) and sR> j (t) (where sL, j (t) is ultimately supplied to the left ear and sR> j (t) the right ear), each in parallel with N different gain factors Agjbzw. Aij (5) amplifies and by addition operations (6) for each ear N signals (6b), called siL (t) to sN, L (t) and si, R (t) to sN, R (t), each containing a delayed, filtered and amplified version of each input signal. The resulting signals (6b) are filtered with filters operating in the audio frequency range hLibis hLiN (7) or hRii to hRiN, and for the left and the right ear, in each case the sums (8) of the filtered signals are formed be used as left (9) and right (10) output signal. Fig. 4 shows schematically a sound signal processing device for carrying out the method according to the invention. The illustrated embodiment shows a data processing system with a microprocessor or a digital signal processor (DSP) (1 1), memory (18) and interfaces (13), which all exchange information via a common data bus (12). The required parameters TL, j, TR, j, AL, i, j, ARg, as well as the parameters of the filters nL, i, nR> i, hL, i and hR | i are transmitted via the interface (13) of the sound signal processing device to hand over. The interfaces (13) for parameters and for the input signals (14) and the output signals (15) can be implemented either as hardware (eg I2C-BUS, D / A converter, A / D converter) or as software (eg by function calls to the processor (1 1)). The output signals (15) can be fed directly to a headphone (16). The calculations shown in Fig. 1, Fig. 2, and Fig. 3 are performed by the processor (1 1). claims A method of processing a plurality of sound signals Sj (t) (j in (1, ..., K}) comprising the steps of: Generation or selection of delay times TL, j and TRj (j in (1, ..., K}) Generation or selection of filters nLij and nRij (i in (1, ..., K}) Generation of the signals sL, j (t) and sR> j (t) (3b) by delaying (2) the input signals Sj (t) (1) by TLj or TRj and filtering (3) by the filters nLij. nRij (j in (1, ..., K}). - filtering (4) the signals sL, j (t) and sR | j (t) (3b) through the filters cL, jbzw. cR, j (j in (1, ..., K}). - Summing the output signals of the filter cg to generate the left output signal (9) and summation of the output signals of the filter cR | j for generating the right output signal (10).

2. A method for processing sound signals according to claim 1, characterized in that the filters (3) nLijund nRij are designed as FIR filters of the second, fourth, sixth, or eighth order.

3. A method for processing sound signals according to claim 1, characterized in that the filters (4) cg and cRj are designed as IIR filter.

4. A method of processing sound signals according to claim 1, characterized in that the filters (4) cg and cR, j and the generation of the left (9) and right (10) output signals are designed according to a method comprising the steps: Generation or choice of gain factors Agj and ARg (i in (1, ..., N} and j in (1, ..., K}) Generation or selection of filters hg and hR | i (i in (1, ..., N}) Generation of the signals siiL (t) and si | R (t) (6b) as weighted sums (5), (6), AiisL, i (t) + ... + AgiKSg <(t) and AR, i, iSR, i (t) + ... + ARijii <sR, K (t) (i in {1 N}) Filtering the signals Si, i_ (t) and Si, R (t) (6b) with the filters (7) hg or hR | i (i in (1, ..., N}) - Summation (8) of the output signals of the filter hg and the output of the filter hR | izur generation of the left output signal (9) and the right output signal (10).

5. The method according to claim 4, characterized in that the filters are hg and hI | iIIR bandpass filters. 3

6. The method according to any one of the preceding claims, characterized in that for each sound signal Sj (t) the delay times TL, j and TR | j, and the filters (3) nL, j and nRij are changeable.

7. The method according to claim 4 or 5, characterized in that for each sound signal Sj (t) the delay times T and TR, j, the filters (3) n and nR | j and the gain factors A, j and AR | i | j changeable are.

8. The method according to any one of the preceding claims, characterized in that the number of input signals can be changed.

9. Method according to one of the preceding claims, characterized in that for each sound signal Sj (t) the delay times Tg and TR | j, the filters ng and nRij and the filters cg and cR | jso are chosen such that the impulse response with the Sj (t), mimics a real measured head-related impulse response.

10. The method according to any one of the preceding claims, characterized in that the input signals are time-discrete and the output signals are calculated in discrete-time steps.

1 1. The method according to any one of the preceding claims, characterized in that the input signals read sample by sample and output signals are calculated sample by sample.

12. The method according to any one of the preceding claims, characterized in that the input and output signals are read or calculated block by block.

13. An apparatus for performing the method according to any one of the preceding claims, comprising a computer (1 1), software (17) which, when operated on the computer, causes the computer to perform all the steps of this method, and input and output means ( 13), with which at least one electroacoustic transducer for the input of sound signals (14) and an electroacoustic transducer for the acoustic output of the binaural sound signal (15) is signal transmitting connectable. 4