JP2022125636A - Sound signal processing device and control method thereof - Google Patents
Sound signal processing device and control method thereof Download PDFInfo
- Publication number
- JP2022125636A JP2022125636A JP2021023331A JP2021023331A JP2022125636A JP 2022125636 A JP2022125636 A JP 2022125636A JP 2021023331 A JP2021023331 A JP 2021023331A JP 2021023331 A JP2021023331 A JP 2021023331A JP 2022125636 A JP2022125636 A JP 2022125636A
- Authority
- JP
- Japan
- Prior art keywords
- sound signal
- processing
- output destination
- binaural
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 159
- 238000012545 processing Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 239000000203 mixture Substances 0.000 claims 9
- 238000010586 diagram Methods 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、音信号処理装置およびその制御方法に関する。 The present invention relates to a sound signal processing device and its control method.
従来、音信号にバイノーラル化処理を施すことで、ヘッドホンを通して聴いたときに、あたかもその場に居合わせたかのような臨場感を再現する技術が知られている。しかし、バイノーラル化処理を経た音をスピーカで聞くと違和感がある。そこで、接続された機器に応じて発音音色を切り替える技術も開示されている(特許文献1)。例えば、特許文献1では、特定の音色がヘッドホンから出力される際には、ヘッドホンに適したバイノーラル音色の音が出力される。 2. Description of the Related Art Conventionally, there has been known a technique for reproducing a sense of realism as if one were there when listening through headphones by subjecting sound signals to binaural processing. However, when listening to the sound that has undergone binaural processing through a speaker, there is a sense of discomfort. In view of this, a technique has also been disclosed for switching the sounding timbre according to the connected device (Patent Document 1). For example, in Japanese Unexamined Patent Application Publication No. 2002-100000, when a specific tone color is output from headphones, a binaural tone color suitable for headphones is output.
しかしながら、ユーザは、バイノーラル化処理を常に適用したいとは限らない。ヘッドホンで聞く場合であっても、バイノーラル化処理の適用を望まない場合もある。 However, users do not always want to apply the binauralization process. Even when listening with headphones, there are cases where application of binaural processing is not desired.
本発明の一つの目的は、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけバイノーラル化処理を施した音を出力することができる音信号処理装置およびその制御方法を提供することである。 An object of the present invention is to provide a sound signal processing apparatus and a control method thereof that can output sound that has undergone binaural processing only to an appropriate output destination when binaural processing is enabled. It is to be.
本発明の一形態によれば、ミックスバスからの音信号の出力先を、少なくとも第1出力先および第2出力先の中から選択し、第1音信号に対して、少なくともバイノーラル化処理を含む第1処理を行って第2音信号を生成すると共に、前記第2音信号を前記ミックスバスに出力し、前記第1処理におけるバイノーラル化処理の有効/無効を設定し、前記第2出力先が選択された場合は、前記バイノーラル化処理が有効に設定されていたとしても、前記第1処理のうち少なくとも前記バイノーラル化処理については、前記第1音信号に対する適用を実質的に無効にする、音信号処理の制御方法が提供される。 According to one aspect of the present invention, the output destination of the sound signal from the mix bus is selected from at least a first output destination and a second output destination, and the first sound signal includes at least binauralization processing. performing a first process to generate a second sound signal, outputting the second sound signal to the mix bus, setting enable/disable of the binaural conversion process in the first process, and determining whether the second output destination is When selected, even if the binauralization process is enabled, at least the binauralization process among the first processes is substantially disabled from being applied to the first sound signal. A method for controlling signal processing is provided.
本発明の一形態によれば、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけバイノーラル化処理を施した音を出力することができる。 According to one aspect of the present invention, when binaural processing is set to be valid, it is possible to output sound that has undergone binaural processing only to an appropriate output destination.
以下、図面を参照して本発明の実施の形態を説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明の一実施の形態に係る音信号処理装置のブロック図である。この音信号処理装置100は、一例としてミキサ装置として構成される。音信号処理装置100はCPU11を有し、CPU11は、バス10を介して複数の構成要素と情報をやりとりする。音信号処理装置100は、ROM12、RAM13、記憶部14、表示部15、設定操作部16を有する。また、音信号処理装置100は、外部機器を接続するための各種インターフェイスを有し、各種インターフェイスを介して、接続された外部機器とCPU11との間で信号が入出力される。各種インターフェイスには、通信部17、第1のマイク入力端子18、第2のマイク入力端子19、AUX端子20、USB端子21、HDMI(登録商標)入力端子22、HDMI出力端子23、ヘッドホン出力端子24、スピーカ出力端子25が含まれる。
FIG. 1 is a block diagram of a sound signal processing device according to one embodiment of the present invention. This sound
CPU11には不図示のタイマが接続されている。CPU11は、本装置全体を制御する。ROM12は、CPU11が実行する制御プログラムや各種テーブルデータ等を記憶する。RAM13は、各種データを記憶する。記憶部14は、上記制御プログラムを含む各種アプリケーションプログラムや各種データを記憶する。設定操作部16は、ユーザからの各種情報の入力を受け付ける。表示部15は、各種情報を表示する。通信部17は、LANインターフェイスやMIDI(Musical Instrument Digital Interface)を含んでもよい。
A timer (not shown) is connected to the
第1のマイク入力端子18、第2のマイク入力端子19には、外部マイクが接続可能である。例えば、第1のマイク入力端子18には第1のマイクロフォン26が接続され、第2のマイク入力端子19には、ヘッドホン31とセットになった第2のマイクロフォン27が接続される。AUX端子20には、スマートホン等の通信端末装置28が接続される。USB端子21には、USB機器、例えばパーソナルコンピュータであるPC29が接続される。HDMI入力端子22、HDMI出力端子23には、HDMI機器が接続可能である。例えば、HDMI入力端子22にゲーム装置30が接続され、HDMI出力端子23に表示モニタ42が接続される。ヘッドホン出力端子24には、ヘッドホン31が接続される。スピーカ出力端子25には、スピーカ32が接続される。スピーカ32は、2チャンネルスピーカに限らず、サラウンドスピーカであってもよく、発音のチャンネル数は例えば8チャンネル(7.1ch)である。
An external microphone can be connected to the first
図2は、音信号処理装置100における信号処理に関する構成を示すブロック図である。音信号処理装置100は、処理部A、B、C、ミックスバス34、切替部33、35などを備える。なお、処理部A、B、Cの機能は、必要なハードウェアに加えて、主としてCPU11、ROM12およびRAM13の協働により実現される。ミックスバス34、切替部33、35の動作はCPU11により制御される。
FIG. 2 is a block diagram showing a configuration related to signal processing in the sound
ゲーム装置30で生成されHDMI入力端子22から入力される信号Sdは、HDMI出力端子23に出力され、表示モニタ42に供給される。信号Sdは、映像信号を含み、信号Sdに基づく映像が表示モニタ42で表示される。なお、信号Sdは、音信号を含んでもよく、HDMI出力端子23に音響機器が接続された場合は、信号Sdに基づく音響が音響機器から発生する。
A signal Sd generated by the
ゲーム装置30で生成されHDMI入力端子22から入力される音信号、またはPC29で生成されUSB端子21から入力される音信号が、音信号Scとして処理部Aに入力される。音信号Scは、3チャンネル以上のチャンネル数の音信号であり、本実施の形態では8チャンネルの信号であるとする。処理部Aは、音信号Scに対してA処理(後述する)を施すことで音信号Sgを生成すると共に、音信号Sgをミックスバス34へ出力する。
A sound signal generated by the
通信端末装置28で生成されAUX端子20から入力される音信号、またはPC29で生成されUSB端子21から入力される音信号が、音信号Sbとして処理部Bに入力される。音信号Sbとして、例えば、ボイスチャットの音信号が想定される。音信号Sbは、例えば、通信端末装置28またはPC29で実行されるアプリケーションソフトにより生成される。処理部Bは、音信号Sbに対してB処理を施すことで音信号Sfを生成すると共に、生成した音信号Sfをミックスバス34へ出力する。
A sound signal generated by the
切替部33は、第1のマイクロフォン26で集音され第1のマイク入力端子18から入力される音信号と、第2のマイクロフォン27で集音され第2のマイク入力端子19から入力される音信号とを、排他的に選択する。例えば、マイクロフォンが接続されたマイク入力端子が選択され、双方のマイク入力端子にマイクロフォンが接続された場合は第2のマイク入力端子19が優先的に選択される。そして切替部33は、選択したマイク入力端子からの音信号を、音信号Saとして処理部Cへ出力する。
The
処理部Cは、音信号SaにC処理を施すことで音信号Seを生成すると共に、音信号Seをミックスバス34へ出力する。C処理は、例えば、エフェクトやレベル調整などを含む。さらに処理部Cは、生成した音信号SeをAUX端子20とUSB端子21とに出力する。その際、D/A変換や2チャンネル化等の処理が介在してもよい。従って、AUX端子20、USB端子21にそれぞれ接続された通信端末装置28、PC29へ音信号Seが出力される。通信端末装置28、PC29での設定によっては、音信号Seに応じた音響が発生する。
The processing unit C performs C processing on the sound signal Sa to generate the sound signal Se and outputs the sound signal Se to the
なお、A処理、B処理、C処理は、互いに異なる処理である。また、音信号Saはマイクロフォンから入力されるとしたが、音信号Scの入力系統とは別の系統から入力される信号であればよい。また、ミックスバス34を介さずに出力される音信号Seの出力先(AUX端子20またはUSB端子21に接続されたもの)は、音信号Shの出力先(ヘッドホン出力端子24またはスピーカ出力端子25に接続されたもの)と異なればよい。
Note that the A process, the B process, and the C process are different processes. Also, although the sound signal Sa is input from the microphone, it may be a signal input from a system different from the input system of the sound signal Sc. The output destination of the sound signal Se (connected to the
ミックスバス34は、少なくとも音信号Sgと音信号Sfとを混合して音信号Shを生成する。本実施の形態では、音信号Sgと音信号Sfとに加えて音信号Seが混合されて音信号Shが生成される。ミックスバス34は、切替部35を介してヘッドホン出力端子24またはスピーカ出力端子25に音信号Shを出力する。ここで、音信号Shは、ヘッドホン用信号Sh-1およびスピーカ用信号Sh-2を含む。切替部35は、音信号Shの出力先を排他的に選択する(後述する)。
The
図3は、処理部Aの詳細なブロック図である。処理部Aは、前段処理部A-1と後段処理部A-2とからなる。A処理は、前段処理部A-1によるバイノーラル化処理と後段処理部A-2による周囲音強調処理とからなる。前段処理部A-1は、バイノーラル化部36を含む。後段処理部A-2は、MS変換部37、DeEsser(ディエッサ)38、44、PEQ43、39、LR変換部40、PEQ41を含む。PEQ43、39、41はいずれも、一例として4bandのパラメトリックイコライザである。ただし、PEQ43、39、41は4bandである必要はなく、またPEQでなくてもよく、例えばグラフィックイコライザ(GEQ)であってもよい。
FIG. 3 is a detailed block diagram of the processing unit A. As shown in FIG. The processing section A consists of a pre-processing section A-1 and a post-processing section A-2. The A processing consists of binaural conversion processing by the pre-processing unit A-1 and ambient sound enhancement processing by the post-processing unit A-2. The pre-processing unit A- 1 includes a
図4は、バイノーラル化部36における信号の流れを示す図である。音信号Scは、一例として、7.1ch(C:センタ、L:フロントL、R:フロントR、SL:サラウンドL、SR:サラウンドR、BL:サラウンドバックL、BR:サラウンドバックR、LFE:サブウーファ)により構成されるオーディオ信号である。
FIG. 4 is a diagram showing the signal flow in the
頭部伝達関数(HRTF:Head Related Transfer Function)は、ある位置に設置した仮想スピーカからそれぞれ左右の耳に至る音の大きさ、到達時間、および周波数特性の差を表現したインパルス応答である。LFE以外の信号には、それぞれの信号に応じたHRTFおよびリバーブ(Reverb)が適用される。リバーブを適用するのは、音源との距離感を再現するためである。ただし、LFEは定位を感じにくいので、HRTFおよびリバーブを適用しない。8チャンネルの音信号Scは、バイノーラル化部36によるバイノーラル化処理を経てステレオ化され、すなわち、LとRの2チャンネルのステレオ信号に変換される。このステレオ信号が音信号Siとして後段処理部A-2におけるMS変換部37に入力される。
A head-related transfer function (HRTF) is an impulse response that expresses the difference in loudness, arrival time, and frequency characteristics of sound reaching the left and right ears from a virtual speaker installed at a certain position. HRTF and reverb corresponding to each signal are applied to signals other than LFE. Reverb is applied to reproduce the sense of distance from the sound source. However, since LFE is difficult to perceive localization, HRTF and reverb are not applied. The 8-channel sound signal Sc undergoes binaural conversion processing by the
後段処理部A-2(図3)において、MS変換部37は、音信号Siから和信号Sjと差信号Skとを生成する。音信号Siの左信号をL、右信号をRで表すと、和信号Sjは、Sj=(SiのL)/2+(SiのR)/2により算出される。また、差信号Skは、Sk=(SiのL)/2-(SiのR)/2により算出される。
In the post-processing section A-2 (FIG. 3), the
図5は、DeEsser38の詳細構成を示す図である。DeEsser44、38の構成および動作は互いに共通するので、代表してDeEsser38を説明する。DeEsser38は、HPF(ハイパスフィルタ)、LPF(ローパスフィルタ)、COMP(コンプレッサ)等を備え、和信号Sjに対して中音域の音圧を減少させる処理を行って和信号Spを生成する。DeEsser44は、差信号Skに対して中音域の音圧を減少させる処理を行って差信号Sqを生成する。
FIG. 5 is a diagram showing the detailed configuration of the
PEQ43は、和信号Spに対して所定の帯域の音圧を増加させる処理を行った処理後和信号Slを生成する。PEQ39は、差信号Sqに対して所定の帯域の音圧を増加させる処理を行った処理後差信号Smを生成する。
The
例えば、シューティングゲームを行っているとき、DeEsser38により、ゲームユーザの操作による銃声音が低減され、やかましさが緩和される。また、PEQ39により、サイドの音が強調され、射撃する敵の足音などがわかりやすくなる。従って、所定の帯域は限定されないが、周囲の音を聞きとりやすくするために、主に周囲の音が含まれるような、方向性を感じやすい周波数の帯域であることが望ましい。なお、和信号Sjの系統と差信号Skの系統の双方にDeEsserおよびPEQを設けたことで、処理後和信号Slと処理後差信号Smとの位相を合わせることが容易となる。しかし、位相合わせの効果を求めない場合は、DeEsser44およびPEQ43は廃止してもよい。
For example, when playing a shooting game, the
LR変換部40は、処理後和信号Slと処理後差信号Smとをステレオ信号に変換することで音信号Snを生成する。音信号Snの左信号をL、右信号をRで表すと、音信号SnのL信号は、Sl+Smにより算出される。音信号SnのR信号は、Sl-Smにより算出される。PEQ41は、設定に応じて音信号Snに対して各帯域の音圧を増減する。これにより、全体の音質が調整された音信号Sgが処理部Aから出力される。なお、PEQ41を設けることは必須でない。
The
処理部B(図2)が音信号Sbに対して施すB処理は、一例として、ボイスチャットに対するバイノーラル化処理を含む。例えば、音信号Sbに対して、HRTFとリバーブの少なくとも一方が適用されて、ステレオ信号である音信号Sfが生成される。なお、CPU11は、ユーザからの切り替え指示によって、HRTFとリバーブのいずれが適用されるかを切り替えてもよい。また、ユーザからの切り替え指示によって、HRTFとリバーブのいずれも適用しない場合があってもよい。
The B processing performed by the processing unit B (FIG. 2) on the sound signal Sb includes, for example, binauralization processing for voice chat. For example, at least one of HRTF and reverb is applied to the sound signal Sb to generate the sound signal Sf, which is a stereo signal. Note that the
切替部35(図2)の詳細な動作について説明する。ヘッドホン出力端子24は、ステレオ方式のヘッドホン31から伸びるプラグ(不図示)が挿入される端子(ステレオピンジャックまたははUSB端子等)である。ヘッドホン出力端子24に上記プラグが挿入されると、それに応じた検知信号がCPU11に送られる。その検知信号を受けて、CPU11は、ヘッドホン31がヘッドホン出力端子24に接続されているか否かを判別する。なお、ユーザによる設定操作部16の操作によって出力先が指定されてもよい。その場合は、プラグ挿入による検知信号が送信されるように構成する必要はなく、CPU11は、ユーザによる指定に基づいて出力先を選択する。
A detailed operation of the switching unit 35 (FIG. 2) will be described. The
上述したように、切替部35は、CPU11による制御に従って、音信号Shの出力先を排他的に選択する。例えば、ヘッドホン31がヘッドホン出力端子24に接続されている場合は、ヘッドホン出力端子24が出力先として選択され、ヘッドホン31がヘッドホン出力端子24に接続されていない場合は、スピーカ出力端子25が出力先として選択される。ヘッドホン出力端子24が選択された場合は、ヘッドホン用信号Sh-1がヘッドホン31に出力される。スピーカ出力端子25が選択された場合は、スピーカ用信号Sh-2がスピーカ32に出力される。なお、切替部35が音信号Shを出力する際、レベル調整やD/A変換が施されてもよい。特に、ヘッドホン用信号Sh-1が出力される場合は、ヘッドホンに合わせた出力特性の調整も施されてもよい。
As described above, the switching
また、ユーザは、設定部としての設定操作部16を用いて、バイノーラル化処理の有効または無効の設定指示を入力する。CPU11は、設定操作部16を介したユーザからの指示に従って、バイノーラル化部36(図3)によるバイノーラル化処理の有効/無効を設定する。バイノーラル化処理の有効/無効の設定状態は、RAM13に記憶される。バイノーラル化部36によるバイノーラル化処理が実際に適用されるのは、バイノーラル化処理が「有効」に設定されていることが条件となる。バイノーラル化処理が「無効」に設定されている場合は、バイノーラル化処理が適用されることはない。
Also, the user uses the
CPU11は、バイノーラル化部36によるバイノーラル化処理の適用の有効/実質無効を制御する。CPU11は、バイノーラル化処理の設定状態と、ヘッドホン31がヘッドホン出力端子24に接続されているか否かの判定状態とに基づいて、バイノーラル化処理の適用を有効にするか、または実質的に無効にする。例えば、バイノーラル化処理の適用を無効にする場合は、CPU11は、音信号Siを、バイノーラル化部36に代えて不図示のダウンミックス部を通してMS変換部37へ入力させる。不図示のダウンミックス部では、8chの音信号Siが単純にL/Rの2ch信号にダウンミックスされる。
The
あるいは、バイノーラル化処理の適用を無効または実質的に無効にする(実質的に適用しない)場合、次の手法を採用してもよい。まず、バイノーラル化部36による通常のバイノーラル化処理においては、HRTFの実現の際、方程式における複数タップ(taps)のフィルタ係数がそれぞれ設定される。そこで、複数タップのフィルタ係数を調整することで、バイノーラル化処理の適用の度合いを弱めるようにしてもよい。すなわち、CPU11は、バイノーラル化処理の適用を有効にする場合に比べて、バイノーラル化処理の適用を実質的に無効にする場合は、バイノーラル化処理におけるパラメータを異ならせる。なお、複数タップのうち1つを除く他の全タップのフィルタ係数を0に設定すれば、バイノーラル化処理の適用を無効に(停止)することと同じになる。このような観点から、「実質的に無効」の概念には、バイノーラル化処理の適用停止だけでなく、バイノーラル化処理の適用の度合いを弱める処理を含めてもよい。
Alternatively, to disable or substantially disable (substantially not apply) the application of binaural processing, the following method may be employed. First, in the normal binauralization processing by the
図6は、信号処理を示すフローチャートである。この処理は、CPU11が、ROM12に格納されたプログラムをRAM13に展開して実行することにより実現される。この処理は、音信号処理装置100の電源が入れられるか、または信号出力モードに遷移すると開始される。
FIG. 6 is a flow chart showing signal processing. This process is realized by the
まず、CPU11は、ステップS101で、音信号Shの出力先がヘッドホン出力端子24(ヘッドホン31)であるか否かを判別する。例えば、上述のように、ヘッドホン31がヘッドホン出力端子24に接続されている場合は、ヘッドホン出力端子24が出力先として判別される。なお、上述のように、ユーザ操作によって出力先が指定されている場合は、その指定に基づいて出力先が判別される。音信号Shの出力先がヘッドホン出力端子24である場合は、CPU11は、処理をステップS102に進める。一方、音信号Shの出力先がヘッドホン出力端子24でない場合は、出力先はスピーカ出力端子25(スピーカ32)であるので、CPU11は、処理をステップS107に進める。
First, in step S101, the
ステップS102では、CPU11は、RAM13に記憶されたバイノーラル化処理の有効/無効の設定状態を参照し、バイノーラル化処理の設定が「有効」であるか否かを判別する。そして、バイノーラル化処理の設定が「有効」でない場合は、CPU11は、処理をステップS107に進める。バイノーラル化処理の設定が「有効」である場合は、CPU11は、処理をステップS103に進める。
In step S102, the
ステップS103では、上述したように、A処理において、バイノーラル化部36(図3)によるバイノーラル化処理を通常通り適用する。一方、ステップS107では、CPU11は、A処理において、バイノーラル化部36によるバイノーラル化処理の適用を実質的に無効(適用停止を含む)にする。ステップS103、S107の後、CPU11は、処理をステップS104に進める。
In step S103, as described above, in the A process, the binaural processing by the binaural processing unit 36 (FIG. 3) is applied as usual. On the other hand, in step S107, the
ステップS104では、CPU11は、音信号Shの出力先がヘッドホン出力端子24(ヘッドホン31)であるか否かを判別する。そして、音信号Shの出力先がヘッドホン出力端子24である場合は、ステップS105で、CPU11は、切替部35における信号の出力先をヘッドホン出力端子24に切り替えると共に、ヘッドホン用信号Sh-1を、ヘッドホン出力端子24からヘッドホン31へ出力する。ヘッドホン用信号Sh-1は、バイノーラル化処理を経た音信号Sgと音信号Sfとが混合された音信号である。従って、ユーザは、ヘッドホン31により臨場感のある音を聞くことができる。ステップS105の後、CPU11は処理をステップS106に進める。
In step S104, the
ステップS104での判別の結果、音信号Shの出力先がヘッドホン出力端子24でない場合は、出力先はスピーカ出力端子25(スピーカ32)であるので、CPU11は、処理をステップS108に進める。ステップS108では、CPU11は、切替部35における信号の出力先をスピーカ出力端子25に切り替えると共に、スピーカ用信号Sh-2を、スピーカ出力端子25からスピーカ32へ出力する。スピーカ用信号Sh-2は、バイノーラル化処理が実質的に施されていない音信号Sgと音信号Sfとが混合された音信号である。従って、ユーザは、スピーカ32により違和感のない音を聞くことができる。ステップS108の後、CPU11は処理をステップS106に進める。
As a result of determination in step S104, if the output destination of the sound signal Sh is not the
ステップS106では、CPU11は、その他の処理を実行して、処理をステップS101に戻す。その他の処理においては、例えば、ユーザからのバイノーラル化処理の有効/無効の設定指示等の各種指示の受け付けのほか、各種指示に応じた処理が実行される。またCPU11は、装置電源がオフされたり、信号出力モードの終了の指示があったりすれば、図6に示す処理を終了させる。
In step S106, the
本実施の形態によれば、選択部としての切替部35は、ミックスバス34からの音信号の出力先を、少なくともヘッドホン31(第1出力先)およびスピーカ32(第2出力先)の中から選択する。処理部A(第1処理部)は、音信号Sc(第1音信号)に対して、少なくともバイノーラル化処理を含むA処理(第1処理)を行って音信号Sg(第2音信号)を生成すると共に、音信号Sgをミックスバス34に出力する。A処理におけるバイノーラル化処理の有効/無効は、ユーザ操作に応じて設定される。制御部としてのCPU11は、バイノーラル化処理が有効に設定され、且つ、出力先としてヘッドホン31が選択された場合は、A処理において音信号Scに対してバイノーラル化処理を通常適用する。CPU11は、出力先としてスピーカ32が選択された場合は、バイノーラル化処理が有効に設定されていたとしても、A処理のうち少なくともバイノーラル化処理については、音信号Scに対する適用を実質的に無効にする。従って、バイノーラル化処理が有効に設定されている場合に、適切な出力先であるヘッドホン31にだけ、バイノーラル化処理を施した音を出力することができる。
According to the present embodiment, the switching
例えばCPU11は、音信号Scに対するバイノーラル化処理の適用を停止する。あるいはCPU11は、バイノーラル化処理の適用を有効にする場合に比べて、バイノーラル化処理の適用を実質的に無効にする場合は、バイノーラル化処理におけるパラメータを異ならせることで、バイノーラル化処理の適用の度合いを弱める。これらの処理により、スピーカ32へは実質的にバイノーラル化処理されない音信号が出力されるようにすることができ、違和感のない音を出力させることができる。
For example, the
また、処理部B(第2処理部)は、音信号Sc(第1音信号)とはチャンネル数が異なる音信号Sb(第3音信号)に対してB処理(第2処理)を行って音信号Sf(第4音信号)を生成すると共に、音信号Sfをミックスバス34に出力する。音信号Sfは音信号Sgと混合され、選択された出力先へ出力されるので、ボイスチャット音声など、チャンネル数が異なる別の音信号を併せて出力することができる。なお、B処理は、バイノーラル化処理を含むことは必須でない。
Further, the processing unit B (second processing unit) performs B processing (second processing) on the sound signal Sb (third sound signal) having a different number of channels from the sound signal Sc (first sound signal). It generates a sound signal Sf (fourth sound signal) and outputs the sound signal Sf to the
また、第1出力先と第2出力先とは排他的に選択されるので、バイノーラル化処理を実際に適用するかどうかを出力先に応じて明確に区別することができる。 Moreover, since the first output destination and the second output destination are exclusively selected, it is possible to clearly distinguish whether or not to actually apply the binaural processing according to the output destination.
なお、第1出力先は、ヘッドホン31としたが、ヘッドホン31は耳装着型の音出力機器の一例であるので、第1出力先はイヤホンであってもよい。従って、通常通りバイノーラル化処理されたヘッドホン用信号Sh-1を、耳装着型の音出力機器だけに出力することができる。
Although the first output destination is the
なお、処理部Cを設けることは必須でない。従って、音信号Shは、音信号Seを含まずに音信号Sgと音信号Sfとを混合した信号であってもよい。なお、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけ、バイノーラル化処理を施した音を出力する効果を得ることに限れば、処理部Aのうち後段処理部A-2を設けることは必須でない。なお、音信号Saの取得元はマイクロフォンに限定されない。 Note that the provision of the processing unit C is not essential. Therefore, the sound signal Sh may be a signal obtained by mixing the sound signal Sg and the sound signal Sf without including the sound signal Se. In the case where the binaural conversion process is set to be effective, the effect of outputting the sound subjected to the binaural conversion process only to an appropriate output destination can be obtained by the post-processing section A- 2 is not essential. Note that the acquisition source of the sound signal Sa is not limited to the microphone.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 Although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention can be applied to the present invention. included.
なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、音信号処理装置100に読み出すことによって、本発明と同様の効果を奏するようにしてもよい。その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した、非一過性のコンピュータ読み取り可能な記録媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ROMのほか、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード等を用いることができる。非一過性のコンピュータ読み取り可能な記録媒体としては、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含む。 It should be noted that the same effect as the present invention may be obtained by reading out to the sound signal processing device 100 a storage medium storing a control program represented by software for achieving the present invention. In that case, the program code itself read from the storage medium implements the novel functions of the present invention, and the non-transitory computer-readable recording medium storing the program code constitutes the present invention. will do. Alternatively, the program code may be supplied via a transmission medium or the like, in which case the program code itself constitutes the present invention. In addition to ROM, floppy disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, magnetic tapes, non-volatile memory cards, etc. can be used as storage media in these cases. As non-transitory computer-readable recording media, volatile memory (e.g., DRAM (Dynamic Random Access Memory)), which holds a program for a certain period of time.
A、B、C 処理部、 Sc、Sg 音信号、 11 CPU、 31 ヘッドホン、 32 スピーカ、 34 ミックスバス、 35 切替部
A, B, C processing unit Sc,
Claims (16)
第1音信号に対して、少なくともバイノーラル化処理を含む第1処理を行って第2音信号を生成すると共に、前記第2音信号を前記ミックスバスに出力し、
前記第1処理におけるバイノーラル化処理の有効/無効を設定し、
前記第2出力先が選択された場合は、前記バイノーラル化処理が有効に設定されていたとしても、前記第1処理のうち少なくとも前記バイノーラル化処理については、前記第1音信号に対する適用を実質的に無効にする、音信号処理装置の制御方法。 selecting the output destination of the sound signal from the mix bus from at least the first output destination and the second output destination;
performing first processing including at least binauralization processing on the first sound signal to generate a second sound signal, and outputting the second sound signal to the mix bus;
setting enable/disable of binaural processing in the first processing;
When the second output destination is selected, even if the binaural conversion process is set to be valid, at least the binaural conversion process among the first processes is not substantially applied to the first sound signal. A method of controlling a sound signal processing device that disables it.
前記第2出力先は、スピーカである、請求項1乃至5のいずれか1項に記載の音信号処理装置の制御方法。 the first output destination is headphones or earphones,
6. The method of controlling a sound signal processing device according to claim 1, wherein said second output destination is a speaker.
前記ミックスバスからの音信号の出力先を、少なくとも第1出力先および第2出力先の中から選択する選択部と、
第1音信号に対して、少なくともバイノーラル化処理を含む第1処理を行って第2音信号を生成すると共に、前記第2音信号を前記ミックスバスに出力する第1処理部と、
前記第1処理におけるバイノーラル化処理の有効/無効を設定する設定部と、
前記選択部により前記第2出力先が選択された場合は、前記設定部により前記バイノーラル化処理が有効に設定されていたとしても、前記第1処理のうち少なくとも前記バイノーラル化処理については、前記第1音信号に対する適用を実質的に無効にする制御部と、を有する、音信号処理装置。 mixed bus and
a selection unit that selects an output destination of the sound signal from the mix bus from at least a first output destination and a second output destination;
a first processing unit that performs first processing including at least binaural processing on a first sound signal to generate a second sound signal and outputs the second sound signal to the mix bus;
a setting unit for setting enable/disable of binaural processing in the first processing;
When the second output destination is selected by the selection unit, even if the binaural conversion processing is set to be valid by the setting unit, at least the binaural conversion processing in the first processing is performed in the first processing. and a control that substantially disables application to one sound signal.
前記第2出力先は、スピーカである、請求項9乃至13のいずれか1項に記載の音信号処理装置。 the first output destination is headphones or earphones,
14. The sound signal processing device according to any one of claims 9 to 13, wherein said second output destination is a speaker.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021023331A JP2022125636A (en) | 2021-02-17 | 2021-02-17 | Sound signal processing device and control method thereof |
CN202210125054.5A CN114999439A (en) | 2021-02-17 | 2022-02-10 | Audio signal processing method and audio signal processing device |
US17/673,322 US11871199B2 (en) | 2021-02-17 | 2022-02-16 | Sound signal processor and control method therefor |
US18/364,566 US20230379631A1 (en) | 2021-02-17 | 2023-08-03 | Sound Signal Processor and Control Method Therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021023331A JP2022125636A (en) | 2021-02-17 | 2021-02-17 | Sound signal processing device and control method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022125636A true JP2022125636A (en) | 2022-08-29 |
Family
ID=83058237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021023331A Pending JP2022125636A (en) | 2021-02-17 | 2021-02-17 | Sound signal processing device and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022125636A (en) |
-
2021
- 2021-02-17 JP JP2021023331A patent/JP2022125636A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3311593B1 (en) | Binaural audio reproduction | |
JP5298199B2 (en) | Binaural filters for monophonic and loudspeakers | |
KR101567461B1 (en) | Apparatus for generating multi-channel sound signal | |
JP6251809B2 (en) | Apparatus and method for sound stage expansion | |
US9607622B2 (en) | Audio-signal processing device, audio-signal processing method, program, and recording medium | |
US20150125010A1 (en) | Stereo widening over arbitrarily-configured loudspeakers | |
KR20100063092A (en) | A method and an apparatus of decoding an audio signal | |
WO2010074893A1 (en) | Surround sound virtualizer and method with dynamic range compression | |
JP5118267B2 (en) | Audio signal reproduction apparatus and audio signal reproduction method | |
JP2019516311A (en) | Active monitoring headphone and its calibration method | |
JP2019516312A (en) | Active monitoring headphones and their binaural method | |
JP2019516313A (en) | Active monitoring headphones and how to regularize their inversion | |
JPH08130799A (en) | Sound field generator | |
JP2008301427A (en) | Multichannel voice reproduction equipment | |
CN116437268B (en) | Adaptive frequency division surround sound upmixing method, device, equipment and storage medium | |
JP2022125636A (en) | Sound signal processing device and control method thereof | |
US11871199B2 (en) | Sound signal processor and control method therefor | |
JP2024502732A (en) | Post-processing of binaural signals | |
CN113645531A (en) | Earphone virtual space sound playback method and device, storage medium and earphone | |
JP2022125635A (en) | Sound signal processing method and sound signal processing device | |
CN109121067B (en) | Multichannel loudness equalization method and apparatus | |
JP2024507535A (en) | Virtualizer for binaural audio | |
KR20150012633A (en) | Apparatus for generating surround sound effect | |
WO2024081957A1 (en) | Binaural externalization processing | |
WO2023215405A2 (en) | Customized binaural rendering of audio content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231221 |