JP2023131663A - Audio signal processing device and audio signal processing method - Google Patents

Audio signal processing device and audio signal processing method Download PDF

Info

Publication number
JP2023131663A
JP2023131663A JP2022036553A JP2022036553A JP2023131663A JP 2023131663 A JP2023131663 A JP 2023131663A JP 2022036553 A JP2022036553 A JP 2022036553A JP 2022036553 A JP2022036553 A JP 2022036553A JP 2023131663 A JP2023131663 A JP 2023131663A
Authority
JP
Japan
Prior art keywords
audio signal
channels
input
signal processing
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022036553A
Other languages
Japanese (ja)
Inventor
将志 中村
Masashi Nakamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2022036553A priority Critical patent/JP2023131663A/en
Publication of JP2023131663A publication Critical patent/JP2023131663A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

To reduce the amount of calculation for simulating reverberant sound.SOLUTION: An audio signal processing device according to an embodiment uses a reverberation filter corresponding to each of the channels from input audio signals of some of the channels from among the input audio signals of the plurality of channels to generate a reverberant audio signal corresponding to each of the plurality of channels. Furthermore, the audio signal processing device switches the audio signal of the reverberant sound in a time-divisional manner, mixes the audio signal based on the input audio signal with the audio signal of the plurality of output channels, and outputs the mixed audio signal.SELECTED DRAWING: Figure 6

Description

本発明は、音声信号処理装置及び音声信号処理方法に関する。 The present invention relates to an audio signal processing device and an audio signal processing method.

従来、立体的な音場を生成する手法としてリバーブ技術が知られている。リバーブ技術は、部屋及びホール等の反射音を信号処理で模擬し、スピーカから再生することで立体的な音場を再現する手法である。 Reverb technology is conventionally known as a method of generating a three-dimensional sound field. Reverb technology is a method of reproducing a three-dimensional sound field by simulating reflected sound from a room, hall, etc. through signal processing and reproducing it from a speaker.

また、例えば、スピーカから出力された試験音をマイクロフォンで記録しつつ、スピーカの方向変更を繰り返し行うことにより、測定したマイクロフォンの配置位置でのインパルス応答を付加して残響付音源とする方法が知られている(例えば、特許文献1を参照)。 In addition, for example, a method is known in which a test sound output from a speaker is recorded with a microphone and the direction of the speaker is repeatedly changed, thereby adding an impulse response at the measured microphone placement position to create a reverberant sound source. (For example, see Patent Document 1).

特開2017-090589号公報Japanese Patent Application Publication No. 2017-090589

しかしながら、従来の技術には、残響音を模擬するための演算量が大きいという問題がある。 However, the conventional technique has a problem in that the amount of calculation required to simulate reverberant sound is large.

例えば、従来の技術によって残響音を模擬するためには、入力チャンネル数と出力チャンネル数を乗じた数のリバーブフィルタが必要になる。リバーブフィルタの数が増えるに従って、演算量は増大する。 For example, in order to simulate reverberant sound using conventional techniques, reverb filters whose number is equal to the number of input channels multiplied by the number of output channels are required. As the number of reverb filters increases, the amount of calculation increases.

本発明は、上記に鑑みてなされたものであって、残響音を模擬するための演算量を削減することができる音声信号処理装置及び音声信号処理方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an audio signal processing device and an audio signal processing method that can reduce the amount of calculation for simulating reverberation sound.

上述した課題を解決し、目的を達成するために、本発明に係る音声信号処理装置は、音声信号を処理する制御部を備える。制御部は、入力された複数のチャンネルの入力音声信号のうち、一部のチャンネルの入力音声信号から、チャンネルのそれぞれに対応する残響フィルタを用いて、複数のチャンネルのそれぞれに対応する残響音の音声信号を生成する。制御部は、残響音の音声信号を時分割的に切り換えて、入力音声信号に基づく音声信号が出力される複数のチャンネルの音声信号にミックスして出力させる。 In order to solve the above-mentioned problems and achieve the objects, an audio signal processing device according to the present invention includes a control section that processes audio signals. The control unit calculates reverberation sound corresponding to each of the plurality of channels from the input audio signal of some of the inputted channels using a reverberation filter corresponding to each of the channels. Generate an audio signal. The control unit switches the audio signal of the reverberant sound in a time-divisional manner, mixes the audio signal based on the input audio signal with the audio signal of the plurality of output channels, and outputs the mixed audio signal.

本発明によれば、残響音を模擬するための演算量を削減することができる。 According to the present invention, the amount of calculation for simulating reverberant sound can be reduced.

図1は、残響音について説明する図である。FIG. 1 is a diagram illustrating reverberation sound. 図2は、残響フィルタについて説明する図である。FIG. 2 is a diagram illustrating a reverberation filter. 図3は、音声出力システムの構成例を示す図である。FIG. 3 is a diagram showing an example of the configuration of the audio output system. 図4は、音声信号処理装置の構成例を示す図である。FIG. 4 is a diagram showing a configuration example of an audio signal processing device. 図5は、音声信号処理を説明する図である。FIG. 5 is a diagram illustrating audio signal processing. 図6は、残響処理を説明する図である。FIG. 6 is a diagram illustrating reverberation processing. 図7は、音声信号処理の手順を示すフローチャートである。FIG. 7 is a flowchart showing the procedure of audio signal processing. 図8は、音声信号処理を説明する図である。FIG. 8 is a diagram illustrating audio signal processing. 図9は、音声信号処理を説明する図である。FIG. 9 is a diagram illustrating audio signal processing. 図10は、音声信号処理を説明する図である。FIG. 10 is a diagram illustrating audio signal processing. 図11は、音声信号処理を説明する図である。FIG. 11 is a diagram illustrating audio signal processing. 図12は、従来の残響フィルタの作成方法を示す図である。FIG. 12 is a diagram showing a conventional method for creating a reverberation filter. 図13は、従来の残響処理を説明する図である。FIG. 13 is a diagram illustrating conventional reverberation processing.

以下、添付図面を参照して、本願の開示する音声信号処理装置及び音声信号処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments of an audio signal processing device and an audio signal processing method disclosed in the present application will be described in detail with reference to the accompanying drawings. Note that the present invention is not limited to the embodiments described below.

まず、図1を用いて残響音について説明する。図1は、残響音について説明する図である。 First, reverberation sound will be explained using FIG. 1. FIG. 1 is a diagram illustrating reverberation sound.

図1は、部屋5を鉛直下向きに見た図である。図1に示すように、ユーザUは、部屋5の中央付近に位置している。 FIG. 1 is a diagram of the room 5 viewed vertically downward. As shown in FIG. 1, the user U is located near the center of the room 5.

部屋5には、音源Lch及び音源Rchがあるものとする。ここで、音源Lchから発生した音声のうち、ユーザUの方向の成分が直接音としてユーザUに直接届く。 It is assumed that the room 5 has a sound source Lch and a sound source Rch. Here, of the sound generated from the sound source Lch, the component in the direction of the user U directly reaches the user U as a direct sound.

また、音源Lchから発生した音声は、部屋5の壁に反射し、反射音としてユーザUに届く。また、反射音がさらに壁に反射する場合がある。 Further, the sound generated from the sound source Lch is reflected on the wall of the room 5 and reaches the user U as a reflected sound. In addition, the reflected sound may further reflect off the walls.

反射音が壁に反射した回数を次数とする。例えば、直接音が1回だけ壁に反射して発生した反射音は、1次の反射音である。1次の反射音がさらに1回だけ壁に反射して発生した反射音は、2次の反射音である。 The order is the number of times the reflected sound is reflected off the wall. For example, a reflected sound generated by direct sound reflecting off a wall only once is a first-order reflected sound. The reflected sound generated by the first-order reflected sound reflecting off the wall one more time is the second-order reflected sound.

ここでは、次数が一定数(例えば、3)未満である反射音を早期反射音と呼ぶ。また、次数が一定数以上である高次の反射音、及び高次の反射音が交じり合った音声を残響音と呼ぶ。 Here, a reflected sound whose order is less than a certain number (for example, 3) is referred to as an early reflected sound. Further, high-order reflected sounds whose order is a certain number or more, and sound in which high-order reflected sounds are mixed are called reverberant sounds.

残響音は、ユーザUにとっては、全周囲からランダムに到来するように感じられる。 To the user U, the reverberant sounds seem to arrive randomly from all around.

残響音を模擬するための残響フィルタ(リバーブフィルタ)としては、FIRフィルタ及びIIRフィルタが知られている。 FIR filters and IIR filters are known as reverberation filters for simulating reverberant sound.

例えば、FIR(Finite Impulse Response)フィルタは実測インパルス応答データを基に設計される。また、IIR(Infinite Impulse Response)フィルタは、コムフィルタとオールパスフィルタで設計される。
参考文献:株式会社エー・アール・アイ、「音声のデジタル信号処理 リバーブレーター、残響装置」(URL:http://www.ari-co.co.jp/service/soft/reverb-2.htm)
For example, an FIR (Finite Impulse Response) filter is designed based on actually measured impulse response data. Further, an IIR (Infinite Impulse Response) filter is designed with a comb filter and an all-pass filter.
Reference: A.R.I. Co., Ltd., “Sound Digital Signal Processing Reverberator, Reverberation Device” (URL: http://www.ari-co.co.jp/service/soft/reverb-2.htm)

残響フィルタの作成方法としては、図12に示す方法が考えられる。図12は、従来の残響フィルタの作成方法を示す図である。 As a method for creating a reverberation filter, the method shown in FIG. 12 can be considered. FIG. 12 is a diagram showing a conventional method for creating a reverberation filter.

図12に示す方法では、部屋の中央付近に多点指向性マイクが置かれる。多点指向性マイクを用いることで、方向ごとのインパルス応答を測定し、測定したインパルス応答を基に方向ごとの残響フィルタ(FIRフィルタ又はIIRフィルタ)を作成することが可能になる。 In the method shown in FIG. 12, a multipoint directional microphone is placed near the center of the room. By using a multipoint directional microphone, it becomes possible to measure the impulse response for each direction and create a reverberation filter (FIR filter or IIR filter) for each direction based on the measured impulse response.

ここで、音響再生空間において音声を出力するスピーカが、ユーザの前方を基準(0°)として、0°、45°、135°、225°、315°の位置に配置されるものとする。すなわち出力チャンネル数は5である。 Here, it is assumed that speakers that output audio in the sound reproduction space are placed at positions of 0°, 45°, 135°, 225°, and 315° with respect to the front of the user (0°). That is, the number of output channels is five.

また、入力される音声信号は、ステレオ2ch音源(L及びR)であるものとする。すなわち入力チャンネル数は2である。 Further, it is assumed that the input audio signal is a stereo 2ch sound source (L and R). That is, the number of input channels is two.

その際、従来の方法では、RchとLchそれぞれについて、0°、45°、135°、225°、315°のそれぞれに対応する残響フィルタが必要になる。この場合に必要になる残響フィルタの数は、2(入力チャンネル数)×5(出力チャンネル数)=10である。 In this case, in the conventional method, reverberation filters corresponding to 0°, 45°, 135°, 225°, and 315° are required for each of the Rch and Lch. The number of reverberation filters required in this case is 2 (number of input channels)×5 (number of output channels)=10.

従来の方法では、作成された10個の残響フィルタを用いて、図13に示すような残響処理が行われる。図13は、従来の残響処理を説明する図である。 In the conventional method, reverberation processing as shown in FIG. 13 is performed using ten created reverberation filters. FIG. 13 is a diagram illustrating conventional reverberation processing.

R,0°、HR,45°、HR,135°、HR,225°、HR,315°、HL,0°、HL,45°、HL,135°、HL,225°、HL,315°は残響フィルタである。 H R,0° , H R,45° , H R,135°, H R, 225° , H R,315° , H L,0°, H L, 45°, H L, 135° , H L , 225° and H L, 315° are reverberation filters.

このように、従来の方法では多くの残響フィルタが必要になるため、残響を模擬するための演算量が増大する。 In this way, the conventional method requires many reverberation filters, which increases the amount of calculations required to simulate reverberation.

なお、出力される音声信号に、音響再生空間の伝達関数をキャンセルする音場逆フィルタを設定すれば、残響の再現性はさらに向上する。このように、残響フィルタによるフィルタリングの演算量を減らし、その分を他の処理に割り当てることが望ましい場合がある。 Note that if a sound field inverse filter that cancels the transfer function of the sound reproduction space is set on the output audio signal, reverberation reproducibility will be further improved. In this way, it may be desirable to reduce the amount of calculations required for filtering using the reverberation filter and allocate that amount to other processing.

ここで、図2を用いて、実施形態の残響フィルタについて説明する。図2は、残響フィルタについて説明する図である。 Here, the reverberation filter of the embodiment will be described using FIG. 2. FIG. 2 is a diagram illustrating a reverberation filter.

図2に示すように、実施形態の残響フィルタは、従来の残響フィルタと異なり、部屋5に備えられた1つの無指向性マイクを用いて作成される。 As shown in FIG. 2, the reverberation filter of the embodiment is created using one omnidirectional microphone provided in a room 5, unlike a conventional reverberation filter.

つまり、実施形態では、音源であるLchとRchのそれぞれについて1個ずつの残響フィルタが作成される。これに対し、図12の例では、LchとRchのそれぞれについて5個ずつの残響フィルタが作成されていた。 That is, in the embodiment, one reverberation filter is created for each of the Lch and Rch sound sources. On the other hand, in the example of FIG. 12, five reverberation filters are created for each of Lch and Rch.

また、前述の通り、残響音は、直接音が一定回数壁に反射することにより発生する。図2のように、直接音、早期反射音、残響音の順で音圧は低下し、かつ時間方向の密度は大きくなる。 Further, as described above, reverberant sound is generated when direct sound is reflected off walls a certain number of times. As shown in FIG. 2, the sound pressure decreases in the order of direct sound, early reflection sound, and reverberation sound, and the density in the time direction increases.

残響フィルタは、このような時間経過に伴う残響音の音圧の変化を表現したフィルタである。 A reverberation filter is a filter that expresses changes in the sound pressure of reverberant sound over time.

なお、実施形態で用いられる残響フィルタは、図2の方法によって部屋5に合わせて作成されたものであってもよいし、シミュレーション等によって作成された既存の残響フィルタであってもよい。 Note that the reverberation filter used in the embodiment may be one created according to the room 5 by the method shown in FIG. 2, or may be an existing reverberation filter created by simulation or the like.

図3を用いて、実施形態に係る音声出力システムについて説明する。図3は、音声出力システムの構成例を示す図である。 The audio output system according to the embodiment will be described using FIG. 3. FIG. 3 is a diagram showing an example of the configuration of the audio output system.

図3に示すように、音声出力システム1は、音声信号処理装置10及び所定の位置に配置される複数のスピーカ(スピーカCe、スピーカFL、スピーカRL、スピーカFR及びスピーカRR)を有する。 As shown in FIG. 3, the audio output system 1 includes an audio signal processing device 10 and a plurality of speakers (speaker Ce, speaker FL, speaker RL, speaker FR, and speaker RR) arranged at predetermined positions.

音声信号処理装置10は、スピーカの音声の出力を制御する。音声信号処理装置10は、スピーカに音声信号を出力し、当該音声信号を基にした音声を出力させる。 The audio signal processing device 10 controls the audio output of the speaker. The audio signal processing device 10 outputs an audio signal to a speaker, and causes the speaker to output audio based on the audio signal.

また、音声信号処理装置10は、直接音の音声信号とともに残響の音声信号をスピーカに出力する。そして、スピーカは、音声信号処理装置10によって出力された音声信号を基に、残響音を含む音声を出力する。これにより、音声出力システム1は、残響を模擬することが可能になる。 Furthermore, the audio signal processing device 10 outputs a reverberant audio signal to the speaker together with the direct audio signal. Then, the speaker outputs audio including reverberant sound based on the audio signal output by the audio signal processing device 10. This allows the audio output system 1 to simulate reverberation.

スピーカは、建物の部屋内、車両の車室内に配置されてもよい。また、スピーカは屋外に配置されてもよい。 The speaker may be placed inside a room of a building or inside a vehicle. Moreover, the speaker may be placed outdoors.

また、音声信号処理装置10は、有線又は無線によりスピーカと接続される。音声信号処理装置10は、パーソナルコンピュータ又はスマートフォン等の情報処理装置であってもよい。 Furthermore, the audio signal processing device 10 is connected to a speaker by wire or wirelessly. The audio signal processing device 10 may be an information processing device such as a personal computer or a smartphone.

また、スピーカが車両の車室内に配置される場合、音声信号処理装置10は、車両に搭載されたオーディオシステム、又はカーナビゲーションシステムの一部の機能として実現されてもよい。 Furthermore, when the speaker is placed inside the vehicle, the audio signal processing device 10 may be realized as a part of the function of an audio system installed in the vehicle or a car navigation system.

さらに、音声信号処理装置10は、インターネットを介してスピーカと接続されるサーバであってもよい。 Furthermore, the audio signal processing device 10 may be a server connected to a speaker via the Internet.

また、音声信号処理装置10は、スピーカCe、スピーカFL、スピーカRL、スピーカFR及びスピーカRRのそれぞれに音声信号を出力する。このため、音声信号処理装置10の出力チャンネル数は5である。 The audio signal processing device 10 also outputs audio signals to each of the speaker Ce, speaker FL, speaker RL, speaker FR, and speaker RR. Therefore, the number of output channels of the audio signal processing device 10 is five.

また、音声信号処理装置10には、ステレオ2ch音源(L及びR)の音声信号が入力されるものとする。このため、音声信号処理装置10の入力チャンネル数は2である。 It is also assumed that audio signals from a stereo 2ch sound source (L and R) are input to the audio signal processing device 10. Therefore, the number of input channels of the audio signal processing device 10 is two.

図4は、音声信号処理装置の構成例を示す図である。図4に示すように、音声信号処理装置10は、入出力部11、記憶部12及び制御部13を有する。 FIG. 4 is a diagram showing a configuration example of an audio signal processing device. As shown in FIG. 4, the audio signal processing device 10 includes an input/output section 11, a storage section 12, and a control section 13.

入出力部11は、音声信号の入出力を行うためのインタフェースである。例えば、入出力部11は、各スピーカに音声信号を出力する。 The input/output unit 11 is an interface for inputting and outputting audio signals. For example, the input/output unit 11 outputs audio signals to each speaker.

音声信号処理装置10の制御部13及び記憶部12は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ、入出力ポート等を有するコンピュータや各種の回路により実現される。 The control unit 13 and storage unit 12 of the audio signal processing device 10 are, for example, a computer or various devices having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, an input/output port, etc. Realized by a circuit.

コンピュータのCPUは、例えばROMに記憶されたプログラムを読み出して実行することによって、制御部13の信号処理部131及び音声出力制御部132として機能する。 The CPU of the computer functions as the signal processing section 131 and the audio output control section 132 of the control section 13 by reading and executing a program stored in a ROM, for example.

また、記憶部12は、RAMやフラッシュメモリに対応する。RAMやフラッシュメモリは、フィルタ情報121、音声データ122及び各種プログラムの情報等を記憶することができる。 Furthermore, the storage unit 12 corresponds to a RAM or a flash memory. The RAM and flash memory can store filter information 121, audio data 122, information on various programs, and the like.

なお、音声信号処理装置10は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。 Note that the audio signal processing device 10 may acquire the above-mentioned programs and various information via another computer or a portable recording medium connected via a wired or wireless network.

フィルタ情報121は、残響フィルタに関する情報である。フィルタ情報121には、残響フィルタのパラメータ等が含まれる。 Filter information 121 is information regarding a reverberation filter. The filter information 121 includes parameters of the reverberation filter and the like.

音声データ122は、出力される音声の元となるデータである。音声データ122は、例えば音声ファイルである。 The audio data 122 is the source data of the audio to be output. The audio data 122 is, for example, an audio file.

なお、音声信号処理装置10は、音声データ122を基に音声信号を出力してもよいし、入出力部11を介してリアルタイムに入力されたデータを基に音声信号を出力してもよい。 Note that the audio signal processing device 10 may output an audio signal based on the audio data 122, or may output an audio signal based on data input in real time via the input/output unit 11.

信号処理部131は、入力された入力音声信号を基に出力信号を生成する。例えば、出力音声信号は、直接音の音声信号に残響音の音声信号をミックス(合成)したものである。 The signal processing unit 131 generates an output signal based on the input audio signal. For example, the output audio signal is a mixture (synthesis) of a direct sound audio signal and a reverberant sound audio signal.

図5を用いて、信号処理部131による音声信号処理を説明する。まず、信号処理部131には、L及びRの2つのチャンネルの入力音声信号が入力される。ただし、信号処理部131には、1つのチャンネルの入力音声信号が入力されてもよい。 Audio signal processing by the signal processing unit 131 will be explained using FIG. 5. First, input audio signals of two channels, L and R, are input to the signal processing section 131. However, the input audio signal of one channel may be input to the signal processing unit 131.

次に、信号処理部131は、入力音声信号のアップミックスを行い、入力音声信号を音声信号が出力される各チャンネルに分配する(ステップS1)。 Next, the signal processing unit 131 performs upmixing of the input audio signal and distributes the input audio signal to each channel through which the audio signal is output (step S1).

これにより、信号処理部131は、入力された1つ以上のチャンネルの入力音声信号から、該入力音声信号のチャンネル数よりも多い、複数のチャンネルの出力音声信号を生成する。 Thereby, the signal processing unit 131 generates output audio signals of a plurality of channels, the number of which is greater than the number of channels of the input audio signal, from the input audio signal of one or more input channels.

これにより、入力音声信号のチャンネルの数が限られている場合であっても、残響音を再現することが可能になる。 This makes it possible to reproduce reverberant sound even if the number of input audio signal channels is limited.

図5の例では、信号処理部131は、入力側のL及びRの2チャンネルの入力音声信号から、アップミックスにより出力側のCe、FL、RL、FR及びRRの5チャンネルの音声信号を生成する。 In the example of FIG. 5, the signal processing unit 131 generates 5-channel audio signals of Ce, FL, RL, FR, and RR on the output side by upmixing from the 2-channel input audio signals of L and R on the input side. do.

なお、出力側のチャンネルCe、FL、RL、FR及びRRは、それぞれスピーカCe、スピーカFL、スピーカRL、スピーカFR及びスピーカRRに対応するチャンネルである。 Note that the output side channels Ce, FL, RL, FR, and RR are channels corresponding to the speaker Ce, speaker FL, speaker RL, speaker FR, and speaker RR, respectively.

次に、信号処理部131は、入力音声信号に対して残響処理を行う(ステップS2)。そして、信号処理部131は、残響処理によって得られた残響の音声信号を、出力側の5チャンネルの音声信号の少なくともいずれかとミックスし、出力する(ステップS3)。 Next, the signal processing unit 131 performs reverberation processing on the input audio signal (step S2). Then, the signal processing unit 131 mixes the reverberant audio signal obtained by the reverberation processing with at least one of the five channels of audio signals on the output side, and outputs the mixed signal (step S3).

なお、図5に示す処理は、音声信号における所定数のサンプルごと、又はフレームごとに行われる。このため、信号処理部131は、所定の時間が経過するたびにアップミックス及び残響処理を行う。 Note that the processing shown in FIG. 5 is performed for each predetermined number of samples in the audio signal or for each frame. Therefore, the signal processing unit 131 performs upmixing and reverberation processing every time a predetermined time elapses.

また、信号処理部131は、残響の音声信号を、出力側の全てのチャンネルの音声信号ではなく、残響処理において選択されたいくつかのチャンネルの音声信号とミックスする。 Further, the signal processing unit 131 mixes the reverberant audio signal with the audio signals of some channels selected in the reverberation process, rather than with the audio signals of all channels on the output side.

例えば、時刻tの残響の音声信号がチャンネルRR及びチャンネルFLの音声信号のみとミックスされ、時刻t+1の残響の音声信号がチャンネルCe及びチャンネルRLの音声信号のみとミックスされることがある。 For example, the reverberant audio signal at time t 1 may be mixed with only the audio signals of channel RR and channel FL, and the reverberant audio signal at time t 1 +1 may be mixed only with the audio signals of channel Ce and channel RL. .

このように、残響音の音声信号が合成される出力側のチャンネルの音声信号(出力音声信号)は、時分割的に切り替えられる。 In this way, the audio signal (output audio signal) of the output side channel where the reverberant audio signal is synthesized is switched in a time-division manner.

以上のように、信号処理部131は、入力された複数のチャンネルの入力音声信号のうち、一部のチャンネルの入力音声信号から、チャンネルのそれぞれに対応する残響フィルタを用いて、残響音の音声信号を生成する。また、信号処理部131は、残響音の音声信号を時分割的に切り換えて、出力音声信号のチャンネルの音声信号にミックスして出力させる。 As described above, the signal processing unit 131 uses the reverberation filters corresponding to each of the channels to generate reverberant sound from the input audio signals of some channels among the input audio signals of a plurality of input channels. Generate a signal. Further, the signal processing unit 131 switches the reverberant audio signal in a time-division manner, mixes it with the audio signal of the output audio signal channel, and outputs the mixed signal.

図6を用いて、残響処理を詳細に説明する。図6は、残響処理を説明する図である。 Reverberation processing will be explained in detail using FIG. 6. FIG. 6 is a diagram illustrating reverberation processing.

残響処理においては、残響フィルタHと残響フィルタHが用いられる。このように、残響処理で用いられる残響フィルタの数は、入力側のチャンネルの数と等しい。 In the reverberation process, a reverberation filter HL and a reverberation filter HR are used. In this way, the number of reverberation filters used in reverberation processing is equal to the number of channels on the input side.

信号処理部131は、チャンネルLの入力音声信号を残響フィルタHでフィルタリングし、残響音の音声信号を生成する(ステップS21)。 The signal processing unit 131 filters the input audio signal of channel L using the reverberation filter HL to generate a reverberant audio signal (step S21).

そして、信号処理部131は、セレクタにより出力側のいずれかのチャンネルを選択し、選択したチャンネルに対して残響音の音声信号を出力する(ステップS22)。 Then, the signal processing unit 131 selects one of the channels on the output side using the selector, and outputs the reverberant audio signal to the selected channel (step S22).

このように、信号処理部131は、複数のスピーカに対応するチャンネルであって、入力音声信号に基づく音声信号が入力されるチャンネルのいずれかを選択する。 In this way, the signal processing unit 131 selects one of the channels corresponding to a plurality of speakers and to which an audio signal based on the input audio signal is input.

なお、ここで出力された残響音の音声信号は、図5のステップS3におけるミックスに用いられる。 Note that the audio signal of the reverberant sound output here is used for mixing in step S3 of FIG. 5.

同様に、信号処理部131は、チャンネルRの入力音声信号を残響フィルタHでフィルタリングし、残響音の音声信号を生成する(ステップS23)。 Similarly, the signal processing unit 131 filters the input audio signal of channel R using the reverberation filter HR to generate a reverberant audio signal (step S23).

そして、信号処理部131は、セレクタにより出力側のいずれかのチャンネルを選択し、選択したチャンネルに対して残響音の音声信号を出力する(ステップS24)。 Then, the signal processing unit 131 selects one of the channels on the output side using the selector, and outputs the reverberant audio signal to the selected channel (step S24).

このように、信号処理部131は、入力された入力音声信号のチャンネル(入力側のチャンネル)それぞれに1対1で対応する残響フィルタを用いて、入力側のチャンネルのそれぞれに対応する残響音の音声信号を生成する。 In this way, the signal processing unit 131 uses reverberation filters that correspond one-to-one to each channel of the input audio signal (input side channel) to generate reverberant sound corresponding to each input side channel. Generate an audio signal.

このように、実施形態では、最低限の数の残響フィルタにより残響音を再現することが可能になる。 In this way, the embodiment allows reverberant sound to be reproduced with a minimum number of reverberation filters.

セレクタは、出力側のチャンネルを選択するための処理(プログラム)である。例えば、図6に示すルーレット選択は、セレクタの処理のイメージである。また、1~6の番号は、チャンネルCe、FL、RL、FR及びRRに対応しているものとする。 The selector is a process (program) for selecting an output channel. For example, the roulette selection shown in FIG. 6 is an image of selector processing. Further, it is assumed that numbers 1 to 6 correspond to channels Ce, FL, RL, FR, and RR.

信号処理部131は、セレクタによる選択結果に応じて、残響音の音声信号をミックスする音声信号のチャンネルを時分割的に切り替えることになる。 The signal processing unit 131 time-divisionally switches the channel of the audio signal into which the reverberant audio signal is mixed, depending on the selection result by the selector.

例えば、信号処理部131は、残響音の音声信号をミックスする音声信号のチャンネルを、ランダムに切り替える。 For example, the signal processing unit 131 randomly switches the channel of the audio signal into which the reverberant audio signal is mixed.

これにより、残響音が全周囲からランダムに到来する感覚を再現することができる。 This makes it possible to reproduce the feeling that reverberant sounds arrive randomly from all around.

この場合、セレクタは、ルーレット選択のように、1~6の番号の中からランダムにいずれかを選択する。 In this case, the selector randomly selects one of the numbers 1 to 6, like a roulette selection.

さらに、各番号が選択される確率は等しくてもよいし、互いに異なっていてもよい。 Further, the probability of each number being selected may be equal or different.

例えば、図3のように、ユーザの前方に3つのスピーカがあり、ユーザの後方に2つのスピーカがあるような配置の場合、全てのスピーカが等確率で選択されると、後方からの残響音が少なく不自然になる場合がある。 For example, as shown in Figure 3, in the case of an arrangement where there are three speakers in front of the user and two speakers behind the user, if all speakers are selected with equal probability, the reverberant sound from the rear There are cases where the image becomes unnatural.

そこで、Ce、FL、FRが選択確率を1/6とし、RL、RRが選択確率を1/4として、後方からの残響音を意図的に増やすようにしてもよい。また、前後だけでなく、左右でスピーカの選択される確率を変化させてもよい。 Therefore, the selection probability may be set to 1/6 for Ce, FL, and FR, and the selection probability may be set to 1/4 for RL and RR, thereby intentionally increasing the reverberant sound from the rear. Furthermore, the probability of speakers being selected may be changed not only between the front and rear but also between the left and right.

また、例えば、信号処理部131は、残響音の音声信号をミックスする音声信号のチャンネルを、あらかじめ規定されたルールに従う順番で切り替える。 Further, for example, the signal processing unit 131 switches the channels of the audio signal into which the audio signal of the reverberant sound is mixed in an order according to a predefined rule.

これにより、簡易な処理でセレクタを実行することができる。 This allows the selector to be executed with simple processing.

この場合、セレクタは、例えば「番号の昇順(ただし前回最大の番号を選択した場合は最小の番号を選択)」というルールに従って、1、2、3、4、5、6、1、…の順で番号を選択する。 In this case, the selector is set in the order of 1, 2, 3, 4, 5, 6, 1, etc., for example, according to the rule "in ascending order of numbers (however, if you selected the largest number last time, select the smallest number)". to select the number.

また、例えば、信号処理部131は、残響音の音声信号をミックスする音声信号のチャンネルを、各チャンネルの重複を許可して並べた配列に従って切り替える。 Further, for example, the signal processing unit 131 switches the channels of the audio signal into which the audio signal of the reverberant sound is mixed, according to an arrangement in which each channel is arranged with duplication allowed.

これにより、チャンネルの選択に設計者の意図を反映させることができる。 This allows the designer's intention to be reflected in channel selection.

この場合、セレクタは、例えば「3、1、2、4、3、6、1、5、…」のような配列の要素をインデックスの順に参照し、選択する。 In this case, the selector refers to the elements of an array such as "3, 1, 2, 4, 3, 6, 1, 5, . . ." in order of index and selects them.

音声出力制御部132は、信号処理部131によって生成された音声信号を、入出力部11を介してスピーカに出力する。音声出力制御部132は、図5のステップS3でミックスされた音声信号を対応するスピーカに出力する。 The audio output control unit 132 outputs the audio signal generated by the signal processing unit 131 to the speaker via the input/output unit 11. The audio output control unit 132 outputs the audio signal mixed in step S3 of FIG. 5 to the corresponding speaker.

図7を用いて、音声信号処理の手順を説明する。図7は、音声信号処理の手順を示すフローチャートである。 The procedure of audio signal processing will be explained using FIG. 7. FIG. 7 is a flowchart showing the procedure of audio signal processing.

まず、図7に示すように、音声信号処理装置10は、1つ以上のチャンネルの音声信号を複数のスピーカにアップミックスする(ステップS101)。なお、入力側のチャンネル数と出力側のチャンネル数が等しい場合、ステップS101は省略されてもよい。 First, as shown in FIG. 7, the audio signal processing device 10 upmixes audio signals of one or more channels to a plurality of speakers (step S101). Note that if the number of channels on the input side and the number of channels on the output side are equal, step S101 may be omitted.

ここで、音声信号処理装置10は、kに1を代入する(ステップS102)。なお、kは入力側のチャンネルに対応するインデックスである。また、Nはkの最大値である。 Here, the audio signal processing device 10 substitutes 1 for k (step S102). Note that k is an index corresponding to a channel on the input side. Further, N is the maximum value of k.

例えば、L及びRの2チャンネルの音声信号が入力される場合、Nは2であり、kは1及び2を取る。 For example, when audio signals of two channels, L and R, are input, N is 2, and k is 1 and 2.

音声信号処理装置10は、第kチャンネルに対応する残響フィルタで第kチャンネルの音声信号をフィルタリングし、残響信号を生成する(ステップS103)。このように、各チャンネルには1対1で対応する残響フィルタが存在する。 The audio signal processing device 10 filters the audio signal of the k-th channel using the reverberation filter corresponding to the k-th channel, and generates a reverberation signal (step S103). In this way, each channel has a one-to-one corresponding reverberation filter.

次に、音声信号処理装置10は、複数のスピーカのいずれかを選択する(ステップS104)。そして、音声信号処理装置10は、選択したスピーカの音声信号に残響信号をミックスする(ステップS105)。 Next, the audio signal processing device 10 selects one of the plurality of speakers (step S104). Then, the audio signal processing device 10 mixes the reverberation signal with the audio signal of the selected speaker (step S105).

ここで、音声信号処理装置10は、k=Nであるか否かを判定する(ステップS106)。k=Nである場合(ステップS106、Yes)、音声信号処理装置10はステップS108へ進む。 Here, the audio signal processing device 10 determines whether k=N (step S106). If k=N (step S106, Yes), the audio signal processing device 10 proceeds to step S108.

そして、音声信号処理装置10は、音声信号を基にスピーカに音声を出力させる(ステップS108)。ここでの音声信号は、直接音の音声信号に残響音の音声信号が合成されたものである。 Then, the audio signal processing device 10 causes the speaker to output audio based on the audio signal (step S108). The audio signal here is a combination of a direct sound audio signal and a reverberant sound audio signal.

また、k=Nでない場合(ステップS106、No)、音声信号処理装置10はkを1だけ増加させ(ステップS107)、ステップS103へ戻る。 If k=N is not the case (step S106, No), the audio signal processing device 10 increases k by 1 (step S107), and returns to step S103.

上述してきたように、実施形態に係る音声信号処理装置10は、入力された複数のチャンネルの入力音声信号のうち、一部のチャンネルの入力音声信号から、チャンネルのそれぞれに対応する残響フィルタを用いて、複数のチャンネルのそれぞれに対応する残響音の音声信号を生成する。また、音声信号処理装置10は、残響音の音声信号を時分割的に切り換えて、入力音声信号に基づく音声信号が出力される複数のチャンネルの音声信号にミックスして出力させる。 As described above, the audio signal processing device 10 according to the embodiment uses reverberation filters corresponding to each channel from the input audio signals of some channels among the input audio signals of a plurality of input channels. Then, reverberant sound audio signals corresponding to each of the plurality of channels are generated. Furthermore, the audio signal processing device 10 switches the audio signal of reverberation sound in a time-divisional manner, and mixes the audio signal based on the input audio signal with the audio signal of a plurality of output channels and outputs the mixed signal.

実施形態では、残響音を模擬するための残響音フィルタの数が、入力側のチャンネル数と同じ数にまで削減されている。このように、実施形態によれば、残響音を模擬するための演算量を削減することができる。 In the embodiment, the number of reverberant sound filters for simulating reverberant sound is reduced to the same number as the number of channels on the input side. In this way, according to the embodiment, the amount of calculations for simulating reverberant sound can be reduced.

実施形態を適用可能な残響フィルタ数、入力チャンネル数、出力チャンネル数の組み合わせには、これまで説明したものを含め、様々なパターンが存在する。 There are various combinations of the number of reverberation filters, the number of input channels, and the number of output channels to which the embodiments can be applied, including those described above.

(パターンA:入力チャンネル数=出力チャンネル数、残響フィルタ数<入力チャンネル数)
図8に示すように、入力チャンネル数と出力チャンネル数が等しい場合、信号処理部131は、入力チャンネル数よりも少ない数の残響フィルタを用いて残響処理を行う。図8は、音声信号処理を説明する図である。
(Pattern A: Number of input channels = number of output channels, number of reverberation filters < number of input channels)
As shown in FIG. 8, when the number of input channels and the number of output channels are equal, the signal processing unit 131 performs reverberation processing using fewer reverberation filters than the number of input channels. FIG. 8 is a diagram illustrating audio signal processing.

図8の例では、入力チャンネル数と出力チャンネル数はいずれも5である。また、図8の例では、残響フィルタは、入力チャンネルRに対応する残響フィルタHのみであるため、残響フィルタ数は1である。 In the example of FIG. 8, the number of input channels and the number of output channels are both five. Further, in the example of FIG. 8, the reverberation filter is only the reverberation filter HR corresponding to the input channel R, so the number of reverberation filters is one.

パターンAにおいて、信号処理部131は、入力された複数のチャンネルの入力音声信号のうち、一部のチャンネルの入力音声信号から、チャンネルのそれぞれに対応する残響フィルタを用いて、複数のチャンネルのそれぞれに対応する残響音の音声信号を生成し、残響音の音声信号を時分割的に切り換えて、入力音声信号に基づく音声信号が出力される複数のチャンネルの音声信号にミックスして出力させる。 In pattern A, the signal processing unit 131 uses reverberation filters corresponding to each of the channels from the input audio signals of some of the input channels of the input audio signals of the plurality of channels. A reverberant sound audio signal corresponding to the reverberant sound is generated, and the reverberant sound audio signal is switched in a time-division manner so that the audio signal based on the input audio signal is mixed with the audio signals of the plurality of output channels and output.

図8の例では、信号処理部131は、入力された5つのチャンネル(R、L、C、RR、RL)の入力音声信号のうち、1つの入力チャンネルRの入力音声信号から、入力チャンネルRに対応する残響フィルタHを用いて、5つのチャンネル(R、L、C、RR、RL)のそれぞれに対応する残響音の音声信号を生成し、残響音の音声信号を時分割的に切り換えて、入力音声信号に基づく音声信号が出力される5つの出力チャンネル(R、L、C、RR、RL)の音声信号にミックスして出力させる(ステップS311)。 In the example of FIG. 8, the signal processing unit 131 selects the input audio signal of one input channel R from among the input audio signals of five input channels (R, L, C, RR, RL). Using the reverberation filter H R corresponding to the reverberation filter H Then, the audio signal based on the input audio signal is mixed with the audio signals of the five output channels (R, L, C, RR, RL) and output (step S311).

また、例えば、パターンAで残響フィルタ数が3である場合、信号処理部131は、入力された5つのチャンネル(R、L、C、RR、RL)の入力音声信号のうち、3つの入力チャンネルR、LCの入力音声信号から、入力チャンネルR、L、Cのそれぞれに対応する残響フィルタHR、L、を用いて、5つのチャンネル(R、L、C、RR、RL)のそれぞれに対応する残響音の音声信号を生成し、残響音の音声信号を時分割的に切り換えて、入力音声信号に基づく音声信号が出力される5つの出力チャンネル(R、L、C、RR、RL)の音声信号にミックスして出力させる。 Further, for example, when the number of reverberation filters is 3 in pattern A, the signal processing unit 131 selects three input channels among the input audio signals of five input channels (R, L, C, RR, RL). From the R and LC input audio signals, the five channels (R, L, C, RR , RL) are extracted using reverberation filters HR, HL, and HC corresponding to the input channels R, L, and C, respectively. The reverberant sound audio signals corresponding to the respective reverberant sound signals are generated, and the reverberant sound audio signals are time-divisionally switched to five output channels (R, L, C, RR, RL) and output it.

パターンAでは、入力チャンネル数をN(N≧1)とすると、信号処理部131は、1~N-1個の入力チャンネルの入力音声信号から残響処理済みの音声信号を生成することができる。 In pattern A, when the number of input channels is N (N≧1), the signal processing unit 131 can generate a reverberation-processed audio signal from the input audio signals of 1 to N−1 input channels.

(パターンB:入力チャンネル数<出力チャンネル数、残響フィルタ数≦入力チャンネル数)
図9に示すように、入力チャンネル数より出力チャンネル数が多い場合、信号処理部131は、入力音声信号のアップミックスを行う(ステップS321)。また、信号処理部131は、入力チャンネル数以下の数の残響フィルタを用いて残響処理を行う(ステップS322)。図9は、音声信号処理を説明する図である。なお、図6等で説明した例は、パターンBに相当する。
(Pattern B: Number of input channels < Number of output channels, Number of reverberation filters ≦ Number of input channels)
As shown in FIG. 9, when the number of output channels is greater than the number of input channels, the signal processing unit 131 performs upmixing of the input audio signal (step S321). Further, the signal processing unit 131 performs reverberation processing using reverberation filters whose number is equal to or less than the number of input channels (step S322). FIG. 9 is a diagram illustrating audio signal processing. Note that the example described with reference to FIG. 6 and the like corresponds to pattern B.

図9の例では、入力チャンネル数は2であり、出力チャンネル数は5である。また、図9の例では、残響フィルタは、入力チャンネルRに対応する残響フィルタHのみであるため、残響フィルタ数は1である。 In the example of FIG. 9, the number of input channels is two and the number of output channels is five. Further, in the example of FIG. 9, the reverberation filter is only the reverberation filter HR corresponding to the input channel R, so the number of reverberation filters is one.

パターンBにおいて、信号処理部131は、入力された1つ以上のチャンネルの入力音声信号から、該入力音声信号のチャンネル数よりも多い、複数のチャンネルの出力音声信号を生成し、入力音声信号の少なくとも1つのチャンネルのそれぞれに対応する残響フィルタを用いて、残響音の音声信号を生成し、残響音の音声信号を時分割的に切り換えて、複数のチャンネルの出力音声信号にミックスして出力させる。 In pattern B, the signal processing unit 131 generates output audio signals of a plurality of channels, which is greater than the number of channels of the input audio signal, from the input audio signal of one or more input channels, and A reverberation filter corresponding to each of at least one channel is used to generate a reverberant sound audio signal, and the reverberant sound audio signal is switched in a time-sharing manner to be mixed with the output audio signals of multiple channels and output. .

図9の例では、信号処理部131は、入力された2つのチャンネル(R、L)の入力音声信号から、該入力音声信号のチャンネル数である2よりも多い、5つのチャンネルの出力音声信号を生成し(アップミックス)(ステップS321)、入力音声信号の少なくとも1つのチャンネル(R)に対応する残響フィルタHを用いて、残響音の音声信号を生成し、残響音の音声信号を時分割的に切り換えて、5つのチャンネル(R、L、C、RR、RL)の出力音声信号にミックスして出力させる(ステップS322)。 In the example of FIG. 9, the signal processing unit 131 converts the input audio signals of the two input channels (R, L) into output audio signals of five channels, which is more than the number of channels of the input audio signals, which is two. (upmix) (step S321), generates an audio signal of reverberant sound using a reverberation filter HR corresponding to at least one channel (R) of the input audio signal, and mixes the audio signal of reverberant sound with time. The signals are switched in a divided manner to mix and output the output audio signals of the five channels (R, L, C, RR, RL) (step S322).

また、例えば、パターンAで入力チャンネル数が3であり残響フィルタ数が2である場合、信号処理部131は、入力された3つのチャンネル(R、L、C)の入力音声信号から、該入力音声信号のチャンネル数である3よりも多い、5つのチャンネルの出力音声信号を生成し(アップミックス)、入力音声信号の少なくとも1つのチャンネル(R、Lの2つ)のそれぞれに対応する残響フィルタH、Hを用いて、残響音の音声信号を生成し、残響音の音声信号を時分割的に切り換えて、5つのチャンネル(R、L、C、RR、RL)の出力音声信号にミックスして出力させる。 Further, for example, when the number of input channels is 3 and the number of reverberation filters is 2 in pattern A, the signal processing unit 131 extracts the input audio signals from the input audio signals of the three input channels (R, L, C). A reverberation filter that generates an output audio signal of five channels (upmix), which is more than the number of channels of the audio signal, which is three, and that corresponds to each of at least one channel (two R and L) of the input audio signal. A reverberant audio signal is generated using H R and HL , and the reverberant audio signal is time-divisionally switched to output audio signals of five channels (R, L, C, RR, RL). Mix and output.

パターンBでは、入力チャンネル数をN(N≧1)とすると、信号処理部131は、1~N-1個の入力チャンネルの入力音声信号から残響処理済みの音声信号を生成することができる。 In pattern B, when the number of input channels is N (N≧1), the signal processing unit 131 can generate a reverberation-processed audio signal from the input audio signals of 1 to N−1 input channels.

(パターンC:残響フィルタ数<入力チャンネル数(ダウンミックス))
図10及び図11に示すように、信号処理部131は、第1の数の入力チャンネルの入力音声信号をミックスダウンして得られた第2の数の音声信号に対して残響処理を行うようにしてもよい。図10及び図11は、音声信号処理を説明する図である。
(Pattern C: Number of reverberation filters < Number of input channels (downmix))
As shown in FIGS. 10 and 11, the signal processing unit 131 performs reverberation processing on the second number of audio signals obtained by mixing down the input audio signals of the first number of input channels. You can also do this. 10 and 11 are diagrams for explaining audio signal processing.

パターンCにおいて、信号処理部131は、入力された複数のチャンネルの入力音声信号のうち、少なくとも2つのチャンネルの入力音声信号をミックスした音声信号から、残響フィルタを用いて、残響音の音声信号を生成し、残響音の音声信号を時分割的に切り換えて、入力音声信号に基づく音声信号が出力される複数のチャンネルの音声信号にミックスして出力させる。 In pattern C, the signal processing unit 131 uses a reverberation filter to generate a reverberant audio signal from an audio signal obtained by mixing input audio signals of at least two channels among input audio signals of a plurality of input channels. The audio signal of the reverberant sound is generated and switched in a time-divisional manner, and the audio signal based on the input audio signal is mixed with the audio signals of the plurality of output channels and output.

図10は、入力チャンネル数と出力チャンネル数が等しい場合の例である。この場合、信号処理部131は、入力された5つのチャンネル(R、L、C、RR、RL)の入力音声信号のうち、2つのチャンネル(R、L)の入力音声信号をミックス(ダウンミックス)した音声信号から、残響フィルタHR+Lを用いて、残響音の音声信号を生成し、残響音の音声信号を時分割的に切り換えて、入力音声信号に基づく音声信号が出力される複数のチャンネル(R、L、C、RR、RL)の音声信号にミックスして出力させる(ステップS331)。 FIG. 10 is an example where the number of input channels and the number of output channels are equal. In this case, the signal processing unit 131 mixes (downmixes) the input audio signals of two channels (R, L) among the input audio signals of the five input channels (R, L, C, RR, RL). ) is used to generate a reverberant audio signal using a reverberation filter H (R, L, C, RR, RL) is mixed with the audio signal and output (step S331).

図11は、入力チャンネル数より出力チャンネル数が多い場合の例である。この場合、信号処理部131は、入力された2つのチャンネル(R、L)の入力音声信号のうち、2つのチャンネル(R、L)の入力音声信号をミックス(ダウンミックス)した音声信号から、残響フィルタHR+Lを用いて、残響音の音声信号を生成し、残響音の音声信号を時分割的に切り換えて、入力音声信号に基づく音声信号が出力される複数のチャンネル(R、L、C、RR、RL)の音声信号にミックスして出力させる(ステップS342)。なお、この場合、信号処理部131は、入力された2つのチャンネル(R、L)の入力音声信号から、該入力音声信号のチャンネル数である2よりも多い、5つのチャンネルの出力音声信号を生成する(アップミックス)(ステップS341)。 FIG. 11 is an example where the number of output channels is greater than the number of input channels. In this case, the signal processing unit 131 outputs an audio signal obtained by mixing (downmixing) the input audio signals of the two channels (R, L) among the input audio signals of the two channels (R, L) that have been input. A reverberant sound signal is generated using the reverberation filter H , RR, RL) and output the mixed signal (step S342). In this case, the signal processing unit 131 generates output audio signals of five channels, which is more than the number of channels of the input audio signal (2), from the input audio signals of the two input channels (R, L). Generate (upmix) (step S341).

パターンCでは、入力チャンネル数をN(N≧2)とすると、信号処理部131は、2~N個の入力チャンネルの入力音声信号をダウンミックスして残響処理済みの音声信号を生成することができる。 In pattern C, when the number of input channels is N (N≧2), the signal processing unit 131 can generate a reverberation-processed audio signal by downmixing the input audio signals of 2 to N input channels. can.

これまで説明してきたパターンA、パターンB、パターンCにおいて、残響フィルタ数が出力チャンネル数より少ない点が共通している。実施形態によれば、残響フィルタ数を少なくとも出力チャンネル数より少なくすることができる。また、特に、実施形態によれば、入力チャンネル数が出力チャンネル数以下である場合に、残響フィルタ数を入力チャンネル数以下(ただし、残響フィルタ数<出力チャンネル数)にまで削減することができる。 The pattern A, pattern B, and pattern C that have been described so far have in common that the number of reverberation filters is smaller than the number of output channels. According to embodiments, the number of reverberation filters can be at least less than the number of output channels. In particular, according to the embodiment, when the number of input channels is less than or equal to the number of output channels, the number of reverberation filters can be reduced to the number of input channels or less (however, the number of reverberation filters<the number of output channels).

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。 Further advantages and modifications can be easily deduced by those skilled in the art. Therefore, the broader aspects of the invention are not limited to the specific details and representative embodiments shown and described above. Accordingly, various changes may be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents.

Ce、FL、RL、FR、RR スピーカ
U ユーザ
1 音声出力システム
5 部屋
10 音声信号処理装置
11 入出力部
12 記憶部
13 制御部
121 フィルタ情報
122 音声データ
131 信号処理部
132 音声出力制御部
Ce, FL, RL, FR, RR Speaker U User 1 Audio output system 5 Room 10 Audio signal processing device 11 Input/output section 12 Storage section 13 Control section 121 Filter information 122 Audio data 131 Signal processing section 132 Audio output control section

Claims (8)

音声信号を処理する制御部を備え、
前記制御部は、
入力された複数のチャンネルの入力音声信号のうち、一部のチャンネルの入力音声信号から、前記チャンネルのそれぞれに対応する残響フィルタを用いて、前記複数のチャンネルのそれぞれに対応する残響音の音声信号を生成し、
前記残響音の音声信号を時分割的に切り換えて、前記入力音声信号に基づく音声信号が出力される複数のチャンネルの音声信号にミックスして出力させる
音声信号処理装置。
Equipped with a control unit that processes audio signals,
The control unit includes:
Out of input audio signals of a plurality of input channels, reverberant sound audio signals corresponding to each of the plurality of channels are generated from input audio signals of some channels using reverberation filters corresponding to each of the channels. generate,
An audio signal processing device that switches the audio signal of the reverberant sound in a time-divisional manner and outputs the audio signal based on the input audio signal mixed with audio signals of a plurality of output channels.
音声信号を処理する制御部を備え、
前記制御部は、
入力された1つ以上のチャンネルの入力音声信号から、該入力音声信号のチャンネル数よりも多い、複数のチャンネルの出力音声信号を生成し、
前記入力音声信号の少なくとも1つのチャンネルのそれぞれに対応する残響フィルタを用いて、残響音の音声信号を生成し、
前記残響音の音声信号を時分割的に切り換えて、前記複数のチャンネルの出力音声信号にミックスして出力させる
音声信号処理装置。
Equipped with a control unit that processes audio signals,
The control unit includes:
Generating output audio signals of a plurality of channels, the number of which is greater than the number of channels of the input audio signal, from the input audio signal of one or more input channels;
generating a reverberant audio signal using a reverberation filter corresponding to each of the at least one channel of the input audio signal;
An audio signal processing device that switches the audio signal of the reverberant sound in a time-divisional manner, mixes it with the output audio signals of the plurality of channels, and outputs the mixed signal.
音声信号を処理する制御部を備え、
前記制御部は、
入力された複数のチャンネルの入力音声信号のうち、少なくとも2つのチャンネルの入力音声信号をミックスした音声信号から、残響フィルタを用いて、残響音の音声信号を生成し、
前記残響音の音声信号を時分割的に切り換えて、前記入力音声信号に基づく音声信号が出力される複数のチャンネルの音声信号にミックスして出力させる
音声信号処理装置。
Equipped with a control unit that processes audio signals,
The control unit includes:
Generating a reverberant audio signal using a reverberation filter from an audio signal obtained by mixing input audio signals of at least two channels among input audio signals of a plurality of input channels;
An audio signal processing device that switches the audio signal of the reverberant sound in a time-divisional manner and outputs the audio signal based on the input audio signal mixed with audio signals of a plurality of output channels.
前記制御部は、前記残響音の音声信号をミックスする音声信号のチャンネルを、ランダムに切り替える
請求項1に記載の音声信号処理装置。
The audio signal processing device according to claim 1, wherein the control unit randomly switches a channel of an audio signal into which the audio signal of the reverberant sound is mixed.
前記制御部は、前記残響音の音声信号をミックスする音声信号のチャンネルを、あらかじめ規定されたルールに従う順番で切り替える
請求項1に記載の音声信号処理装置。
The audio signal processing device according to claim 1, wherein the control unit switches channels of audio signals into which the audio signal of the reverberant sound is mixed in an order according to a predefined rule.
前記制御部は、前記残響音の音声信号をミックスする音声信号のチャンネルを、各チャンネルの重複を許可して並べた配列に従って切り替える
請求項1に記載の音声信号処理装置。
The audio signal processing device according to claim 1, wherein the control unit switches the channels of the audio signal into which the audio signal of the reverberant sound is mixed in accordance with an arrangement in which each channel is arranged to allow duplication.
音声信号を処理する制御部を備え、
前記制御部は、
入力された入力音声信号のチャンネルそれぞれに1対1で対応する残響フィルタを用いて、前記チャンネルのそれぞれに対応する残響音の音声信号を生成し、
複数のスピーカに対応するチャンネルであって、前記入力音声信号に基づく音声信号が入力されるチャンネルのいずれかを選択し、
選択したチャンネルに入力される音声信号に、前記残響音の音声信号をミックスする
音声信号処理装置。
Equipped with a control unit that processes audio signals,
The control unit includes:
Generating a reverberant audio signal corresponding to each of the channels using a reverberation filter that corresponds one-to-one to each channel of the input audio signal,
Selecting one of the channels corresponding to a plurality of speakers and into which an audio signal based on the input audio signal is input,
An audio signal processing device that mixes the reverberant sound audio signal with the audio signal input to the selected channel.
入力された複数のチャンネルの音声信号から、前記チャンネルのそれぞれに対応するリバーブフィルタを用いて、前記複数のチャンネルのそれぞれに対応する残響音の音声信号を生成し、
前記残響音の音声信号を時分割的に切り換えて、出力される複数のチャンネルの音声信号のいずれかのチャンネルの音声信号にミックスして出力させる
処理をコンピュータが実行する音声信号処理方法。
Generating a reverberant audio signal corresponding to each of the plurality of channels from the inputted audio signal of the plurality of channels using a reverb filter corresponding to each of the channels,
An audio signal processing method in which a computer executes a process of switching the reverberant sound audio signal in a time-divisional manner and mixing it with the audio signal of any one of the plurality of channels to be output.
JP2022036553A 2022-03-09 2022-03-09 Audio signal processing device and audio signal processing method Pending JP2023131663A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022036553A JP2023131663A (en) 2022-03-09 2022-03-09 Audio signal processing device and audio signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022036553A JP2023131663A (en) 2022-03-09 2022-03-09 Audio signal processing device and audio signal processing method

Publications (1)

Publication Number Publication Date
JP2023131663A true JP2023131663A (en) 2023-09-22

Family

ID=88065763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022036553A Pending JP2023131663A (en) 2022-03-09 2022-03-09 Audio signal processing device and audio signal processing method

Country Status (1)

Country Link
JP (1) JP2023131663A (en)

Similar Documents

Publication Publication Date Title
US11576004B2 (en) Methods and systems for designing and applying numerically optimized binaural room impulse responses
KR100903843B1 (en) Multichannel audio signal decoding using de-correlated signals
KR101342425B1 (en) A method for applying reverb to a multi-channel downmixed audio input signal and a reverberator configured to apply reverb to an multi-channel downmixed audio input signal
US9197977B2 (en) Audio spatialization and environment simulation
EP1025743B1 (en) Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
JP5592974B2 (en) Enhanced coding and parameter representation in multi-channel downmixed object coding
Hacihabiboglu et al. Perceptual spatial audio recording, simulation, and rendering: An overview of spatial-audio techniques based on psychoacoustics
US8488796B2 (en) 3D audio renderer
CN107770717B (en) Generating binaural audio by using at least one feedback delay network in response to multi-channel audio
JP3578783B2 (en) Sound image localization device for electronic musical instruments
CN114401481B (en) Generating binaural audio by using at least one feedback delay network in response to multi-channel audio
EP2326108A1 (en) Audio system phase equalizion
CN110326310B (en) Dynamic equalization for crosstalk cancellation
Lee A new multichannel microphone technique for effective perspective control
JP2023131663A (en) Audio signal processing device and audio signal processing method
Picinali et al. Chapter Reverberation and its Binaural Reproduction: The Trade-off between Computational Efficiency and Perceived Quality
JP3374528B2 (en) Reverberation device
US12028701B2 (en) Methods and systems for designing and applying numerically optimized binaural room impulse responses
JP2846162B2 (en) Sound field simulator
JP3671756B2 (en) Sound field playback device
KR20190060464A (en) Audio signal processing method and apparatus
Hochgraf Auralization of concert hall acoustics using finite difference time domain methods and wave field synthesis
JP2904970B2 (en) Sound field simulator
Savioja et al. Interactive room acoustic rendering in real time
Costantini et al. Adaptive room acoustic response simulation: a virtual 3D application