JP2016148818A - Signal processor - Google Patents
Signal processor Download PDFInfo
- Publication number
- JP2016148818A JP2016148818A JP2015026824A JP2015026824A JP2016148818A JP 2016148818 A JP2016148818 A JP 2016148818A JP 2015026824 A JP2015026824 A JP 2015026824A JP 2015026824 A JP2015026824 A JP 2015026824A JP 2016148818 A JP2016148818 A JP 2016148818A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- acoustic
- sub
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 155
- 230000000694 effects Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 37
- 230000006835 compression Effects 0.000 abstract description 13
- 238000007906 compression Methods 0.000 abstract description 13
- 230000005236 sound signal Effects 0.000 description 137
- 230000001755 vocal effect Effects 0.000 description 48
- 230000003321 amplification Effects 0.000 description 35
- 238000003199 nucleic acid amplification method Methods 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 25
- 239000000203 mixture Substances 0.000 description 19
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000018883 loss of balance Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Stereophonic System (AREA)
Abstract
Description
本発明は、信号処理装置に関する。 The present invention relates to a signal processing apparatus.
近年では、カーステレオや家庭用カラオケ装置などの様々な種類のオーディオシステムが一般に普及している。この種のオーディオシステムで再生される音の音量が小さく聴き取り難い場合、単純に音量を大きくするだけでは音が割れる、すなわち音に歪みが生じてしまうことがある。特に音の信号レベルの大小の差(すなわち、ダイナミックレンジ)が広い場合には、音の歪みの発生が顕著である。そのため、音量を大きくしても音の歪みが発生しないように、音量調整に先立ってダイナミックレンジを圧縮する信号処理技術が一般的となっている。このような技術は、例えば特許文献1および特許文献2や非特許文献1に開示されている。
In recent years, various types of audio systems such as car stereos and home karaoke apparatuses have become popular. When the volume of the sound reproduced by this type of audio system is small and difficult to hear, the sound may be broken, that is, the sound may be distorted by simply increasing the volume. In particular, when the difference in the level of the sound signal level (that is, the dynamic range) is wide, the occurrence of sound distortion is significant. Therefore, a signal processing technique that compresses the dynamic range prior to volume adjustment is generally used so that sound distortion does not occur even when the volume is increased. Such a technique is disclosed in, for example, Patent Document 1,
これらの技術では、音響信号を一定時間長ずつ区切って得られるフレーム毎にダイナミックレンジの圧縮が行われる。音量調整に先立ってこのようなダイナミックレンジの圧縮を行うことで、時間経過に伴いフレーム間でダイナミックレンジが緩やかに変化する場合は、聴感上自然な音を聞くことができる。しかし、フレーム間でダイナミックレンジが急変すると聴感上不自然な音に聞こえてしまう。そのため、例えば特許文献3に開示の信号処理技術では、音の信号レベルのダイナミックレンジが急変する場合には、音響信号をフレームに区切る時間間隔を短くすることで、聴感上自然な音を聞くことができるようにしている。 In these techniques, dynamic range compression is performed for each frame obtained by dividing an acoustic signal by a certain length of time. By performing such dynamic range compression prior to volume adjustment, if the dynamic range changes gradually between frames over time, a natural sound can be heard. However, if the dynamic range suddenly changes between frames, it will sound like an unnatural sound. For this reason, for example, in the signal processing technique disclosed in Patent Document 3, when the dynamic range of the sound signal level changes suddenly, the sound signal is heard in a natural sound by shortening the time interval for dividing the acoustic signal into frames. To be able to.
さらに特許文献4には、車内でカーステレオから音が放音されている場合に、予め音響信号を記憶しておいたサイレン音を車の周囲で検出すると、カーステレオの音の音量を下げるという信号処理技術が開示されている。 Furthermore, in Patent Document 4, when the sound is emitted from the car stereo in the car, the sound volume of the car stereo is reduced when a siren sound that has been stored in advance is detected around the car. A signal processing technique is disclosed.
特許文献1および特許文献2や非特許文献1に開示された信号処理技術をカラオケ装置に適用すると不具合が生じる場合がある。その理由は以下の通りである。カラオケ装置にはボーカル音を表す音響信号と当該音響信号と時間軸を共有する音響信号(すなわち、ボーカル音と同期再生される音を表す音響信号、例えば、伴奏音を表す音響信号)とが入力され、カラオケ装置はこれらの音響信号を加算して放音する。カラオケ装置に特許文献1等に開示の信号処理技術を適用し、ボーカル音と伴奏音の音響信号に対してダイナミックレンジの圧縮を別個独立に行うと、例えばボーカル音の音響信号の信号レベルがピークとなっているにも関わらず伴奏音の音響信号の信号レベルが下がり切らないなど、ボーカル音と伴奏音から構成される曲全体のバランスが崩れてしまう場合がある。
When the signal processing techniques disclosed in Patent Document 1,
また、特許文献3に開示の信号処理をカラオケ装置のボーカル音と伴奏音の音響信号に対して施すと、ボーカル音或いは伴奏音の音響信号の信号レベルのダイナミックレンジが急変しても、自然な聴感を維持することができる。しかし、カラオケ装置にこの信号処理技術を適用しても、ボーカル音と伴奏音から構成される曲全体のバランスを保ち続けることはできない。 Further, when the signal processing disclosed in Patent Document 3 is applied to the vocal sound and the accompaniment sound signal of the karaoke apparatus, even if the dynamic range of the signal level of the vocal sound or the accompaniment sound signal changes suddenly, it is natural. Hearing can be maintained. However, even if this signal processing technique is applied to a karaoke apparatus, it is impossible to keep the balance of the entire song composed of vocal sounds and accompaniment sounds.
特許文献4の信号処理技術をカラオケ装置に適用しても、同様に、ボーカル音と伴奏音から構成される曲全体のバランスを保ち続けることはできない。そもそも特許文献4の信号処理技術は、音楽の聴感を考慮した技術ではない。なお、カラオケ装置から放音される音のボーカル音と伴奏音のバランスが崩れてしまうのは、ボーカル音と伴奏音の音響信号に対してダイナミックレンジを圧縮する信号処理を行う場合だけでなく、リバーブ効果を付与する信号処理を行う場合も同様である。 Similarly, even if the signal processing technique of Patent Document 4 is applied to a karaoke apparatus, the balance of the entire music composed of vocal sounds and accompaniment sounds cannot be maintained. In the first place, the signal processing technique of Patent Document 4 is not a technique that takes into account the sense of music. The balance between the vocal sound and accompaniment sound emitted from the karaoke device is not only lost when performing signal processing to compress the dynamic range for the vocal sound and the accompaniment sound signal. The same applies to the case of performing signal processing that gives a reverb effect.
本発明は以上に説明した課題に鑑みて為されたものであり、信号処理装置に入力される音響信号が複数ある場合に、この複数ある音響信号により放音される音全体のバランスを保ちつつ、音響信号のダイナミックレンジの圧縮や音響信号へのリバーブ効果の付与を行うことができるようにする技術を提供することを目的とする。 The present invention has been made in view of the problems described above, and when there are a plurality of sound signals input to the signal processing device, the balance of the whole sound emitted by the plurality of sound signals is maintained. An object of the present invention is to provide a technique that enables compression of a dynamic range of an acoustic signal and imparting a reverb effect to the acoustic signal.
上記課題を解決するために本発明は、音響効果を与える信号処理の対象となるメイン音響信号と、1又は複数のサブ音響信号と、の中の複数の信号間の相関値を算出する相互相関検出部と、前記相互相関検出部において算出された前記相関値に応じて前記音響効果の強度を決定する信号処理部と、を有することを特徴とする信号処理装置を提供する。 In order to solve the above-described problems, the present invention provides a cross-correlation for calculating a correlation value between a plurality of signals among a main acoustic signal to be subjected to signal processing that gives an acoustic effect and one or more sub-acoustic signals. There is provided a signal processing device comprising: a detection unit; and a signal processing unit that determines the intensity of the acoustic effect according to the correlation value calculated in the cross-correlation detection unit.
本発明によれば、メイン音響信号と1又は複数のサブ音響信号との中の複数の信号間の相関値に応じて音響効果の強度が決定され、メイン音響信号に信号処理が施される。このため、当該メイン音響信号と1又は複数のサブ音響信号にその後ダイナミックレンジの圧縮処理が施され加算されたとしても、放音される音におけるメイン音響信号と1又は複数のサブ音響信号のバランスが崩れることはない。 According to the present invention, the intensity of the sound effect is determined according to the correlation value between a plurality of signals in the main sound signal and one or a plurality of sub sound signals, and signal processing is performed on the main sound signal. For this reason, even if the main acoustic signal and one or more sub-acoustic signals are subsequently subjected to compression processing of the dynamic range and added, the balance between the main acoustic signal and the one or more sub-acoustic signals in the sound to be emitted Will not collapse.
より好ましい態様においては、前記複数の信号のうちの少なくとも1つの信号の可聴域に重み付けを施して前記相互相関検出部に与える重み付け部を有する。このような重み付けにより、メイン音響信号と1又は複数のサブ音響信号との相関値に対するメイン音響信号と1又は複数のサブ音響信号との少なくとも一方の可聴域成分の寄与が大きくなる。このため、可聴域におけるメイン音響信号と1又は複数のサブ音響信号との相関が高いにも関わらず、他の帯域における相関の低さに起因して両信号の相関が低くなっているような場合であっても、聴感上の両信号のバランスを崩すことなく、ダイナミックレンジの圧縮処理等を行うことが可能となる。 In a more preferred aspect, there is provided a weighting unit that weights an audible range of at least one of the plurality of signals and gives the audible range to the cross-correlation detection unit. Such weighting increases the contribution of at least one audible range component of the main sound signal and the one or more sub sound signals to the correlation value between the main sound signal and the one or more sub sound signals. For this reason, although the correlation between the main acoustic signal and one or more sub-acoustic signals in the audible range is high, the correlation between both signals is low due to the low correlation in the other bands. Even in such a case, it is possible to perform dynamic range compression processing or the like without losing the balance of both signals in the sense of hearing.
より好ましい態様においては、前記相互相関検出部は、前記複数の信号の中の1つの信号と、当該信号と時間が異なる前記複数の信号の中の1又は複数の信号との相関値を複数算出し、それら複数の相関値から1つの相関値を求める。複数の信号の中の1つの信号と、当該複数の信号の中の1又は複数の信号との時間が異なっていても、各信号の相関値を求める際に、各信号の時間が異なることによる影響が緩和されるので、放音される音のメイン音響信号と1又は複数のサブ音響信号とのバランスが崩れることがない。 In a more preferred aspect, the cross-correlation detection unit calculates a plurality of correlation values between one signal of the plurality of signals and one or more signals of the plurality of signals that are different in time from the signal. Then, one correlation value is obtained from the plurality of correlation values. Even when the time of one signal among a plurality of signals and one or more signals among the plurality of signals are different, the time of each signal is different when obtaining the correlation value of each signal. Since the influence is alleviated, the balance between the main sound signal of the sound to be emitted and the one or more sub sound signals is not lost.
より好ましい態様においては、前記メイン音響信号と前記1又は複数のサブ音響信号とのうちの少なくとも1つの信号に帯域分割を施す帯域分割部を有し、前記相互相関検出部は、前記帯域分割部により分割された帯域の信号のうちの少なくとも1つを用いて前記相関値を算出する。このような態様によれば、メイン音響信号に対して、サブ音響信号との相関に応じた信号処理を周波数帯域毎に細やかに施すことが可能になる。 In a more preferred aspect, there is provided a band dividing unit that performs band division on at least one of the main acoustic signal and the one or more sub-acoustic signals, and the cross-correlation detecting unit includes the band dividing unit The correlation value is calculated using at least one of the signals in the band divided by. According to such an aspect, it becomes possible to finely perform signal processing corresponding to the correlation with the sub-acoustic signal on the main acoustic signal for each frequency band.
より好ましい態様においては、前記メイン音響信号は、前記1又は複数のサブ音響信号の少なくとも1つを含んだ合成信号である。このような態様によれば、メイン音響信号からサブ音響信号を分離する音源分離を施して上記信号処理を施す場合と類似の効果を得ることができる。 In a more preferred aspect, the main acoustic signal is a synthesized signal including at least one of the one or more sub-acoustic signals. According to such an aspect, an effect similar to the case where the signal processing is performed by performing sound source separation that separates the sub sound signal from the main sound signal can be obtained.
以下、図面を参照しつつ本発明の実施の形態について説明する。
<第1実施形態>
図1は、この発明の第1実施形態である信号処理装置101のブロック図である。信号処理装置101は、DSP(Digital Signal Processor)であり、2種類の音響信号の入力を受ける。これら2種類の音響信号の各々は、何れも音の時間波形を表すデジタル信号である。本実施形態では、信号処理装置101に入力されるデジタル信号のうち、信号処理装置101が処理を施す信号をメイン音響信号と呼び、メイン音響信号と時間軸を共有するが信号処理装置101が処理を施さない信号をサブ音響信号と呼ぶ(以下、他の実施形態も同様に処理対象の信号をメイン音響信号と呼ぶ)。信号処理装置101は、メイン音響信号とサブ音響信号の相関を算出し、その算出結果を基にメイン音響信号の信号レベルの増幅処理を行い、出力信号として出力する。出力された出力信号に対してダイナミックレンジの圧縮や音量の増幅等の信号処理が施されるが、これらの信号処理は周知の信号処理技術を用いればよい。そのため本実施形態では、これらの信号処理の図示や説明を省略する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a block diagram of a
信号処理装置101は、時間周波数変換部10、相互相関検出部20、パラメータ算出部30および乗算部40を有する。時間周波数変換部10等は、信号処理装置101が実行するマイクロプログラムにより実現される機能の一部である。なお、信号処理装置101としてDSPを用いず、時間周波数変換部10等を電子回路で構成し、これらの電子回路を組み合わせて信号処理装置101を実現してもよい。
The
時間周波数変換部10は、メイン音響信号とサブ音響信号の2種類のデジタル信号の入力を受け、各信号を一定時間長のフレームに区切って(例えばT個のフレームに区切って)、フレーム毎に時間周波数変換、すなわちフーリエ変換を行う。時間周波数変換部10は、フーリエ変換によって算出したフーリエ変換データを相互相関検出部20に出力する。
The time-
相互相関検出部20は、時間周波数変換部10から入力されたメイン音響信号とサブ音響信号の相関関係を検出する。具体的には、相互相関検出部20は、次式(1)に示す相互相関関数を用い、メイン音響信号とサブ音響信号のフーリエ変換データに基づいて各信号の相関値Rmsを算出する。
パラメータ算出部30は、相互相関検出部20から入力された相関値Rmsに基づいて、増幅率yを算出し、乗算部40に出力する。増幅率yとは、メイン音響信号の信号レベルに対して施す増幅処理の強さを示す値である。より詳細に説明すると、パラメータ算出部30は、まず次式(5)を用いてノーマライズ値xを算出する。
乗算部40は、パラメータ算出部30から入力された増幅率yに基づいて、メイン音響信号の信号レベルを増幅し、増幅したメイン音響信号を出力信号として出力する。つまり乗算部40は、メイン音響信号に増幅処理を施す信号処理部として機能する。
The
メイン音響信号とサブ音響信号が完全相関、すなわち相関値Rmsが1であると、式(5)よりノーマライズ値xは1となる。この場合、図2より増幅率yは−10dBとなり、信号処理装置101は、入力された時よりも信号レベルが低くなったメイン音響信号を出力信号として出力する。メイン音響信号とサブ音響信号が完全相関であるので、信号処理装置101から出力されたメイン音響信号にダイナミックレンジの圧縮等の信号処理が施され、サブ音響信号と加算されると、メイン音響信号の信号レベルの低下分はサブ音響信号により補完される。そのため、信号処理装置101からメイン音響信号が出力された後、メイン音響信号とサブ音響信号が加算され、最終的に放音されても、メイン音響信号とサブ音響信号のバランスが崩れることがない。
If the main sound signal and the sub sound signal are completely correlated, that is, if the correlation value R ms is 1, the normalized value x is 1 from the equation (5). In this case, the amplification factor y is −10 dB from FIG. 2, and the
メイン音響信号とサブ音響信号の相関が低くなる、すなわち相関値Rmsが−1に近づくと、式(5)よりノーマライズ値xは0に近くなる。この場合、図2より増幅率yは0であり、信号処理装置101は、入力されたメイン音響信号の信号レベルを増幅せずに出力信号として出力する。メイン音響信号とサブ音響信号の相関は低いので、メイン音響信号のピーク(或いはディップ)とサブ音響信号のピーク(或いはディップ)がぶつかり合うことはない。そのため、信号処理装置101から出力されたメイン音響信号にダイナミックレンジの圧縮等の信号処理が施され、サブ音響信号と加算され、最終的に放音されても、メイン音響信号とサブ音響信号のバランスが崩れることがない。
When the correlation between the main acoustic signal and the sub-acoustic signal becomes low, that is, when the correlation value R ms approaches −1, the normalized value x approaches 0 according to the equation (5). In this case, the amplification factor y is 0 from FIG. 2, and the
このように信号処理装置101を用いることで、メイン音響信号とサブ音響信号を単純に加算することによって生じるメイン音響信号とサブ音響信号のバランスの崩れを防止することができる。
By using the
例えば、信号処理装置101のカラオケ装置への適用を想定する。カラオケ装置にはボーカル音を表す音響信号と伴奏音を表す音響信号が入力される。以下では伴奏音の中でもドラム音について考え、中域(200〜1000Hz)に周波数が集中しているボーカル音の音響信号をメイン音響信号とし、高域(1000Hz以上)に周波数が集中しているドラム音の音響信号をサブ音響信号とする。従来技術では、ボーカル音とドラム音との相関を考慮しないので、ボーカル音の音響信号と伴奏音の音響信号の各々にダイナミックレンジの圧縮等の処理を施し加算すると、ボーカル音とドラム音の音響信号のピーク(或いはディップ)がぶつかり合い、最終的に放音される音においてボーカル音とドラム音のバランスが崩れてしまう場合があった。これに対して信号処理装置101を用いると、ボーカル音とドラム音の相関が高いと、ボーカル音の信号レベルを低下させた後にダイナミックレンジの圧縮が行われ、同じくダイナミックレンジの圧縮が行われたドラム音との加算が行われる。そのため、最終的に放音される音においてボーカル音とドラム音のバランスが崩れることがない。
For example, application of the
最終的に放音される音においてメイン音響信号とサブ音響信号のバランスが崩れないようにするために、メイン音響信号のピーク(或いはディップ)とサブ音響信号のピーク(或いはディップ)がぶつかり合う周波数帯域の信号をメイン音響信号から減算して、その後メイン音響信号にダイナミックレンジの圧縮等の信号処理を施してサブ音響信号と加算して放音するという方法が考えられる。しかし、この方法では、メイン音響信号とサブ音響信号がぶつかり合う周波数帯域の信号をメイン音響信号から減算するスペクトル減算の時に人工的ノイズが生じ、最終的に放音される音にノイズが発生することがある。信号処理装置101では、スペクトル減算を用いることがないため、人工的ノイズが生じ、最終的に放音される音にノイズが発生することがない。
The frequency at which the peak (or dip) of the main sound signal and the peak (or dip) of the sub sound signal collide with each other so that the balance between the main sound signal and the sub sound signal does not collapse in the sound that is finally emitted. A method is conceivable in which a band signal is subtracted from the main sound signal, and then the main sound signal is subjected to signal processing such as compression of a dynamic range and added to the sub sound signal to be emitted. However, in this method, an artificial noise is generated at the time of spectral subtraction in which a signal in a frequency band in which the main acoustic signal and the sub acoustic signal collide are subtracted from the main acoustic signal, and noise is finally generated in the sound to be emitted. Sometimes. Since the
<第2実施形態>
図3は、この発明の第2実施形態である信号処理装置102のブロック図である。図3では、図1におけるものと同一の構成要素には同一の符号が付されている。図1と図3を比較すれば明らかなように、信号処理装置102の信号処理装置101との違いは、時間周波数変換部10と相互相関検出部20との間に重み付け部50を設けた点である。以下では、第1実施形態との相違点である重み付け部50を中心に説明する。
Second Embodiment
FIG. 3 is a block diagram of the
重み付け部50は、時間周波数変換部10から入力されたメイン音響信号とサブ音響信号のフーリエ変換データに対し、ラウドネスカーブに基づく重み付けを行う。具体的には、重み付け部50には、図4に示すラウドネスカーブの40phоnの曲線を表すデータが予め記憶されている。重み付け部50は、このデータの中でも人間が聴き取り易い周波数帯域(以下、可聴域)である周波数20Hz〜10kHzのデータを参照し、参照したデータの波形の最大音圧を1、最低音圧を0として正規化した重み付け乗算をメイン音響信号とサブ音響信号のフーリエ変換データに行う。この重み付け乗算により、可聴域に含まれる音のフーリエ変換データがより大きくなり、聴き取り難い周波数帯域に含まれる音のフーリエ変換データがより小さくなる。重み付け部50は、重み付け乗算を行ったメイン音響信号とサブ音響信号のフーリエ変換データを相互相関検出部20に出力する。
The
相互相関検出部20は、重み付け部50から入力されたメイン音響信号とサブ音響信号のフーリエ変換データから式(1)〜(4)に基づいて相関値Rmsを算出し、その相関値Rmsをパラメータ算出部30に出力する。その後は第1実施形態と同様であるので説明を省略する。
The
信号処理装置102では、重み付け部50においてラウドネスカーブに基づく重み付けが行われているため、最終的に放音される音におけるメイン音響信号とサブ音響信号により放音される各音のバランスが崩れることがない上にさらに、相関値Rmsに対する可聴域の音の寄与が大きくなる。例えば、信号処理装置102をカラオケ装置へ適用し、メイン音響信号がボーカル音の音響信号であり、サブ音響信号がドラム音の音響信号であるとする。この場合、ボーカル音とドラム音の全周波数にわたる相関は低いものの、可聴域における両信号の相関が高い場合であっても、最終的に放音される音のボーカル音とドラム音のバランスが崩れることはない。もちろん、メイン音響信号或いはサブ音響信号のいずれか一方のみに重み付け部50を用いる態様であってもよい。
In the
<第3実施形態>
図5は、この発明の第3実施形態である信号処理装置103のブロック図である。図5では、図1におけるものと同一の構成要素には同一の符号が付されている。図5と図1を比較すれば明らかなように、信号処理装置103と信号処理装置101の違いは、相互相関検出部20に換えて、相互相関検出部21と平均算出部90を設けた点である。以下では、第1実施形態との相違点である相互相関検出部21と平均算出部90を中心に説明する。
<Third Embodiment>
FIG. 5 is a block diagram of a
相互相関検出部21は、次式(6)に基づいて、時間周波数変換部10から入力されたメイン音響信号とメイン音響信号以外の他の信号であるサブ音響信号とのフーリエ変換データから相関値Rms(τ)を算出する。なお相関値Rms(τ)は、メイン音響信号とメイン音響信号からτだけ遅れたサブ音響信号との相関を表す値である。
平均算出部90は、相互相関検出部21から入力された相関値Rms(0)、Rms(1)、Rms(2)の相加平均を算出し、平均相関値Rmsとしてパラメータ算出部30に出力する。
The
パラメータ算出部30は、平均算出部90から入力された平均相関値Rmsから第1実施形態と同様に増幅率yを算出する。その後は第1実施形態と同様であるので説明を省略する。
The
本実施形態では、fm(n)とfs(n+τ)を用いて算出したRms(τ)の相加平均に応じた増幅率でメイン音響信号が増幅されるので、メイン音響信号とサブ音響信号の時間のずれを救うことができる。より詳細に説明すると、例えばカラオケ装置に第1実施形態の信号処理装置101を適用した場合、本来はボーカル音と伴奏音の相関は高いにも関わらず、伴奏音とボーカル音に時間のずれがあると、両者の相関は低いと判断されてしまう。そのため、最終的に放音される音のボーカル音と伴奏音のバランスが崩れてしまう恐れがある。一方、カラオケ装置に本実施形態の信号処理装置103を適用すると、伴奏音とボーカル音の時間のずれの影響が緩和され、最終的に放音される音のボーカル音と伴奏音のバランスが崩れることがない。つまり本実施形態によれば、メイン音響信号とサブ音響信号に時間のずれがあっても、そのずれによる影響を緩和しつつ、メイン音響信号に対する信号処理を行うことが可能となる。
In the present embodiment, the main acoustic signal is amplified with an amplification factor corresponding to the arithmetic average of R ms (τ) calculated using f m (n) and f s (n + τ). The time lag of the acoustic signal can be saved. More specifically, for example, when the
本実施形態では、τを0、1、2とした相関値Rms(0)、Rms(1)、Rms(2)の3つの値の相加平均から平均相関値Rmsを算出していたが、τは0、1、2に限られず、例えばτを0、3、6のように他の整数値にして平均相関値Rmsを算出してもよい。さらに、平均相関値Rmsの算出に用いる相関値Rms(τ)は3つの値に限られることはなく、相関値Rms(τ)の数を増やしてもよい。例えば、τを0、1、2、3とした相関値Rms(0)、Rms(1)、Rms(2)、Rms(3)の4つの値の相加平均から平均相関値Rmsを算出してもよい。その上、本実施形態では、平均算出部90が平均相関値Rmsの算出に相関値Rms(τ)の相加平均を用いたが、一番大きい値を平均相関値Rmsとしてもよい。例えば、τを0、1、2とした相関値Rms(0)、Rms(1)、Rms(2)の中でRms(1)の値が一番大きいと、Rms(1)を平均相関値Rmsとして算出してもよい。もちろん平均相関値Rmsの算出方法はこれら以外でもよく、例えば相乗平均や重み付け平均でもよい。信号処理装置103に求められる精度に応じて平均相関値Rmsの好適な算出方法を決定すればよい。
In this embodiment, the average correlation value R ms is calculated from the arithmetic average of the three values of correlation values R ms (0), R ms (1), and R ms (2) with τ set to 0, 1, and 2. However, τ is not limited to 0, 1, and 2. For example, the average correlation value R ms may be calculated by setting τ to another integer value such as 0, 3, and 6, for example. Furthermore, the correlation value R ms (τ) used for calculating the average correlation value R ms is not limited to three values, and the number of correlation values R ms (τ) may be increased. For example, an average correlation value from an arithmetic mean of four values of correlation values R ms (0), R ms (1), R ms (2), and R ms (3) with τ set to 0, 1, 2, 3 R ms may be calculated. Moreover, in the present embodiment, the
<第4実施形態>
図6は、この発明の第4実施形態である信号処理装置104のブロック図である。図6では、図1におけるものと同一の構成要素には同一の符号が付されている。図6と図1を比較すれば明らかなように、信号処理装置104と信号処理装置101との違いは、パラメータ算出部30と乗算部40に換えて、パラメータ算出部31と、乗算部41と、残響信号生成部60と、加算部70とを設けた点である。以下では、第1実施形態との相違点であるパラメータ算出部31と、乗算部41と、残響信号生成部60と、加算部70とを中心に説明する。乗算部41、残響信号生成部60および加算部70は、メイン音響信号にリバーブ効果を付与する信号処理部として機能する。
<Fourth embodiment>
FIG. 6 is a block diagram of a
第1実施形態では、信号処理装置101に入力されたメイン音響信号は時間周波数変換部10と乗算部40に入力されたが、本実施形態の信号処理装置104では、メイン音響信号は時間周波数変換部10、残響信号生成部60および加算部70に入力される。本実施形態では、残響信号生成部60に入力されるメイン音響信号をWet信号と呼び、加算部70に入力されるメイン音響信号をDry信号と呼ぶ。
In the first embodiment, the main acoustic signal input to the
残響信号生成部60は、Wet信号に基づいて残響信号を生成して乗算部41に出力する。残響信号生成部60の残響信号生成アルゴリズムについては既存のものを用いればよい。Dry信号に残響信号を加算する、すなわちリバーブ効果を付与することにより、加算後の信号は聴感上奥行き感のある音を示す音響信号となる。
The reverberation
パラメータ算出部31は、相互相関検出部20から入力された相関値Rmsから式(3)に基づいてノーマライズ値xを算出して乗算部41に出力する。0≦x≦1となるのは上記で説明した通りである。パラメータ算出部31は次式(8)に基づいて、ミックス値gmixを算出する。なおミックス値gmixとは、残響信号の信号レベルに対して施す増幅処理の強さを示す値であり、Dry信号に対する残響信号の混合比に対応する。
乗算部41は、残響信号生成部60から残響信号の入力を受け、さらにパラメータ算出部31からミックス値gmixの入力を受ける。乗算部41は、ミックス値gmixに基づいて残響信号の信号レベルを増幅し、加算部70に出力する。
The
加算部70は、Dry信号と乗算部41による増幅を受けた残響信号とを加算して出力信号として出力する。
The
メイン音響信号とサブ音響信号の相関が高い場合、メイン音響信号に付与するリバーブ効果を強くし過ぎると残響音が目立ってしまい、メイン音響信号とサブ音響信号により最終的に放音される音のバランスが崩れてしまう。信号処理装置104であれば、閾値x0よりもノーマライズ値xが大きい場合はミックス値gmixが一定値であるcとなる。このcの値を残響音が目立たない程度の値に実験等により定めておけば、メイン音響信号とサブ音響信号の相関が高くても、残響音が目立つほどのリバーブ効果の付与がメイン音響信号に施されることなく、最終的に放音される音におけるメイン音響信号とサブ音響信号により放音される各音のバランスが崩れることはない。
When the correlation between the main sound signal and the sub sound signal is high, if the reverb effect added to the main sound signal is too strong, the reverberant sound becomes noticeable, and the sound finally emitted by the main sound signal and the sub sound signal The balance will be lost. If the
<第5実施形態>
本実施形態の信号処理装置105は、信号処理装置103と信号処理装置104を組み合わせたものである。詳しく説明すると、信号処理装置105は、信号処理装置104に対して、信号処理装置104の相互相関検出部20の換わりに信号処理装置103の相互相関検出部21と平均算出部90を設けたものに相当する。
<Fifth Embodiment>
The signal processing device 105 of this embodiment is a combination of the
信号処理装置105では、相互相関検出部21と平均算出部90が、τ=0、1、2の場合の相関値Rms(τ)の相加平均から平均相関値Rmsを算出して、リバーブ効果の付与の強弱を決定している。そのため、信号処理装置105を用いると、メイン音響信号とメイン音響信号以外の他の信号であるサブ音響信号とに時間のずれがあっても、最終的に放音される音にはメイン音響信号とサブ音響信号のまじりの良いリバーブ効果が付与され、リバーブ効果によってメイン音響信号とサブ音響信号により放音される各音のバランスが崩れることはない。
In the signal processing device 105, the
本実施形態においても第3実施形態と同様に、τは0、1、2に限られるものではなく、また平均相関値Rmsを算出するのに用いるτの数は3つに限られない。さらに、複数の相関値Rms(τ)から平均相関値Rmsを算出する方法として相加平均を用いるだけでなく、他の算出方法を用いてもよい。要は、最終的に放音される音にメイン音響信号とサブ音響信号のまじりの良いリバーブ効果を付与できれば平均相関値Rmsの算出方法は何でもよく、実験により好適な算出方法を決定すればよい。 Also in the present embodiment, as in the third embodiment, τ is not limited to 0, 1, and 2, and the number of τ used to calculate the average correlation value R ms is not limited to three. Furthermore, not only an arithmetic mean is used as a method for calculating the average correlation value R ms from a plurality of correlation values R ms (τ), but other calculation methods may be used. In short, the average correlation value R ms can be calculated by any method as long as the main sound signal and sub-acoustic signal can be given a good reverb effect to the sound finally emitted. Good.
<第6実施形態>
図8は、この発明の第6実施形態である信号処理装置106のブロック図である。図8では、図1におけるものと同一の構成要素には同一の符号が付されている。図8と図1を比較すれば明らかなように、信号処理装置106と信号処理装置101との違いは、時間周波数変換部10の前段にハイパスフィルタ(以下、HPF)81、バンドパスフィルタ(以下、BPF)82、ローパスフィルタ(以下、LPF)83を設けた点と、乗算部40の後段に加算部71を設けた点である。以下では第1実施形態との相違点である、HPF81、BPF82、LPF83と加算部71を中心に説明する。
<Sixth Embodiment>
FIG. 8 is a block diagram of a
HPF81は入力された信号の周波数fHL以上の高周波数周波数帯域のみを出力するフィルタであり、BPF82は周波数fBLから周波数fBHの中間周波数帯域のみを出力するフィルタであり(周波数fBL<周波数fBH)、LPF83は周波数fLH以下の低周波数帯域のみを出力するフィルタである。本実施形態では、周波数fHL=周波数fBHであり、周波数fBL=周波数fLHであるが、各周波数は等しくなくてもよい。各周波数の値と各周波数間の関係は、実験により適宜決定すればよい。HPF81、BPF82、LPF83は、メイン音響信号やサブ音響信号に帯域分割処理を施す帯域分割部として機能する。
The
メイン音響信号とサブ音響信号は、信号処理装置106に入力されると、まずHPF81、BPF82、LPF83に入力される。メイン音響信号については、HPF81、BPF82、LPF83が、各フィルタに対応した周波数帯域のみの信号を時間周波数変換部10と乗算部40に出力する。サブ音響信号については、HPF81、BPF82、LPF83が、各フィルタに対応した周波数帯域のみの信号を時間周波数変換部10に出力する。
When the main sound signal and the sub sound signal are input to the
HPF81、BPF82、LPF83がメイン音響信号とサブ音響信号を時間周波数変換部10に出力し、メイン音響信号を乗算部40に出力してからは、高周波帯域、中間周波数帯域、低周波数帯域ごとに第1実施形態と同様の処理が行わるため説明を省略する。乗算部40は、高周波数帯域、中間周波数帯域、低周波数帯域の周波数帯域毎に信号レベルを増幅したメイン音響信号を加算部71に出力する。
After the
加算部71は、周波数帯域毎に信号レベルを増幅したメイン音響信号を加算して出力信号として出力する。
The
このように信号処理装置106は、HPF81、BPF82、LPF83を用いて、メイン音響信号およびサブ音響信号に帯域分割処理を施し、周波数帯域毎にメイン音響信号とサブ音響信号の相関値Rmsを算出し、相関値Rmsに基づいて周波数帯域毎にメイン音響信号の信号レベルを増幅して最後に加算する。信号処理装置106によれば、周波数帯域毎のサブ音響信号との相関に応じてメイン音響信号の増幅制御を周波数帯域毎に細やかに行うことができる。
As described above, the
<第7実施形態>
本実施形態の信号処理装置107と信号処理装置101との違いは、時間周波数変換部10の前段にHPF81とBPF82を設けた点である。信号処理装置107では、メイン音響信号はBPF82を介して時間周波数変換部10に入力されるとともに乗算部40に入力され、サブ音響信号はHPF81を介して時間周波数変換部10に入力される。
<Seventh embodiment>
The difference between the signal processing device 107 and the
本実施形態では、HPF81やBPF82により帯域分割された音響信号に対してフーリエ変換や相関値Rmsの算出が行われるため、最終的に放音される音におけるメイン音響信号とサブ音響信号により放音される各音のバランスが崩れることはなく、さらに信号処理装置106に比べて装置の処理負荷を減らすことができる。
In the present embodiment, since the Fourier transform and the correlation value R ms are calculated for the acoustic signal band-divided by the
信号処理装置107では、メイン音響信号に対してBPF82を用い、サブ音響信号に対してHPF81を用いた。しかし、信号処理装置107にHPF81、BPF82、LPF83を設けておき、信号処理装置107に入力されるメイン音響信号とサブ音響信号の集中している周波数帯域に応じて、HPF81、BPF82、LPF83の中から異なるフィルタを選択してもよい。もちろん、メイン音響信号或いはサブ音響信号のいずれか一方のみに対して、HPF81、BPF82、LPF83のいずれかを用いる態様であってもよい。
In the signal processing device 107, the
<第8実施形態>
図9は、この発明の第8実施形態である信号処理装置108のブロック図である。信号処理装置108は例えばカラオケ装置に適用される。図9では、図1におけるものと同一の構成要素には同一の符号が付されている。図9と図1を比較すれば明らかなように、信号処理装置108と信号処理装置101との違いは、時間周波数変換部10にサブ音響信号としてボーカル音の音響信号と伴奏音の音響信号が入力され、乗算部40にメイン音響信号としてボーカル音と伴奏音の音響信号の合成信号(以下、合成信号)が入力される点である。
<Eighth Embodiment>
FIG. 9 is a block diagram of a
信号処理装置108では、ボーカル音と伴奏音の音響信号の相関値Rmsに基づいて、パラメータ算出部30が増幅率yを算出する。乗算部40は、この増幅率yに基づいて、合成信号に増幅処理を施す。
In the
本実施形態のように、ボーカル音の音響信号に対してではなく、合成信号に対して直接増幅処理を施すことで、合成信号からボーカル音の音響信号を音源分離して増幅する場合と類似の効果を期待できる。すなわち、本実施形態の出力信号は、合成信号をボーカル音の音響信号と伴奏音の音響信号に音源分離して、分離したボーカル音の音響信号と伴奏音の音響信号の相関値Rmsを算出して、ボーカル音の音響信号に増幅を施して出力する出力信号に類似する。音源分離を用いた方法では、音源分離の際に人工的なノイズが発生することがあり、音源分離後の音質が問題となることが多い。本実施形態では、信号処理装置108に入力されるボーカル音の音響信号と伴奏音の音響信号が合成信号に音源分離を施すことにより生成されたものであったとしても、増幅処理の対象となる合成信号は音源分離により生成されたものではないため、ボーカル音と伴奏音のバランスが崩れることがなく、音源分離の性能に出力信号の音質が依存しづらくなるという利点が生じる。
Similar to the case where the vocal sound signal is amplified by separating the sound signal from the synthesized signal by directly amplifying the synthesized signal instead of the vocal sound signal as in this embodiment. The effect can be expected. That is, the output signal of this embodiment is obtained by separating the synthesized signal into a vocal sound signal and an accompaniment sound signal, and calculating a correlation value R ms between the separated vocal sound signal and the accompaniment sound signal. Thus, the output signal is similar to an output signal that is amplified by a vocal sound signal and output. In the method using sound source separation, artificial noise may occur during sound source separation, and the sound quality after sound source separation often becomes a problem. In the present embodiment, even if the vocal sound signal and the accompaniment sound signal input to the
信号処理装置108では、合成信号はサブ音響信号として入力された音響信号のみから構成されていたが、この態様に限られるわけではなく、合成信号がサブ音響信号として入力された音響信号の中の少なくとも1つの音響信号と他の音響信号とから構成された態様であってもよい。この態様では、例えば、サブ音響信号がボーカル音の音響信号とドラム音の音響信号であり、メイン音響信号がドラム音とギター音の音響信号の合成信号である。さらに、サブ音響信号として3種類以上の音響信号が入力される場合には、相互相関検出部20が音響信号の中から相関値Rmsを算出する音響信号を選択する態様であってもよい。この態様では、例えばサブ音響信号としてボーカル音、ドラム音およびギター音の音響信号が各々入力されると、相互相関検出部20は、入力された音響信号からボーカル音の音響信号とドラム音の音響信号を選択し、両信号の相関値Rmsを算出する。さらに、この選択をユーザの指示に応じて切り換えるようにしてもよい。この場合のメイン音響信号は、ボーカル音とドラム音の音響信号の合成信号であってもよいし、ドラム音とギター音の音響信号の合成信号であってもよい。もちろん、メイン音響信号がボーカル音、ドラム音およびギター音の音響信号の合成信号であってもよい。
In the
<第9実施形態>
本実施形態の信号処理装置109も例えばカラオケ装置に適用される。信号処理装置109と信号処理装置101との違いは、メイン音響信号としてボーカル音と伴奏音の合成音の時間波形を表す合成信号が時間周波数変換部10と乗算部40に入力され、サブ音響信号として伴奏音の音響信号が時間周波数変換部10に入力されることである。
<Ninth Embodiment>
The signal processing device 109 of the present embodiment is also applied to, for example, a karaoke device. The difference between the signal processing device 109 and the
信号制御装置109では、伴奏音の音響信号と合成信号との相関値Rmsに基づいて増幅率yが算出され、その増幅率yに基づいて、合成信号に増幅処理が施されている。 In the signal control device 109, the amplification factor y is calculated based on the correlation value R ms between the accompaniment sound signal and the synthesized signal, and the synthesized signal is subjected to amplification processing based on the amplification factor y.
本実施形態では、ボーカル音の音響信号の入力がなくても伴奏音の音響信号と合成信号との入力があれば、ボーカル音と伴奏音のバランスを崩すことなく、合成信号に増幅処理を施すことができる。 In the present embodiment, if there is an input of an acoustic signal of an accompaniment sound and a composite signal without an input of an acoustic signal of a vocal sound, the composite signal is subjected to amplification processing without breaking the balance of the vocal sound and the accompaniment sound. be able to.
<第10実施形態>
図10は、この第10実施形態である信号処理装置110のブロック図である。信号処理装置110も例えばカラオケ装置に適用される。図10では、図1におけるものと同一の構成要素には同一の符号が付されている。図10と図1を比較すれば明らかなように、信号処理装置110と信号処理装置101との違いは、時間周波数変換部10に複数種類のサブ音響信号が入力される点と平均算出部90が設けられた点である。本実施形態では、時間周波数変換部10に入力されたサブ音響信号の種類はN種類(N≧2)である。N種類のサブ音響信号の具体例としては、ドラム音、ギター音、キーボード音といった伴奏楽器毎の伴奏音の音響信号が挙げられる。
<Tenth Embodiment>
FIG. 10 is a block diagram of a
時間周波数変換部10は、メイン音響信号とN種類のサブ音響信号のフーリエ変換データを相互相関検出部20に出力する。相互相関検出部20は、時間周波数変換部10から入力されたメイン音響信号とN種類のサブ音響信号との各々の相関を検出する。より詳細に説明すると、相互相関検出部20は、式(1)と式(2)に基づいて、メイン音響信号とサブ音響信号1の相関値Rms1を算出し、メイン音響信号とサブ音響信号2の相関値Rms2を算出する。以下同様に、相互相関検出部20は、メイン音響信号とサブ音響信号Nの相関値RmsNまで算出する。相互相関検出部20は算出した相関値Rms1〜RmsNを平均算出部90に出力する。平均算出部90は、入力された相関値Rms1〜RmsNの相加平均を平均相関値Rmsとして算出する。平均算出部90は、算出した平均相関値Rmsをパラメータ算出部30に出力し、乗算部40は、パラメータ算出部30により算出された増幅率yに基づいてメイン音響信号に増幅処理を施し、出力信号として出力する。
The time
信号処理装置110では、全てのサブ音響信号とメイン音響信号との平均相関値Rmsが算出され、この平均相関値Rmsに応じた増幅率でメイン音響信号の増幅が行われる。このため、最終的に放音される音におけるメイン音響信号と複数のサブ音響信号のバランスが崩れることはない。
In the
<変形例>
(1)上記実施形態を各々組み合わせた態様をとってもよい。例えば、第7実施形態と第10実施形態を組み合わせても良い。この場合、入力されるサブ音響信号が複数あっても、最終的に放音される音におけるメイン音響信号と複数のサブ音響信号により放音される各音のバランスが崩れることなく、メイン音響信号に増幅処理を施すことができる。さらにこの場合、サブ音響信号が1つしかない、すなわち第1実施形態の装置の処理負荷にサブ音響信号の数を乗じた処理負荷よりも処理負荷を減らすことができる。
<Modification>
(1) The aspect which combined each said embodiment may be taken. For example, the seventh embodiment and the tenth embodiment may be combined. In this case, even if there are a plurality of input sub sound signals, the main sound signal is not lost in the balance between the main sound signal in the sound finally emitted and the sounds emitted by the plurality of sub sound signals. Can be amplified. Furthermore, in this case, there is only one sub acoustic signal, that is, the processing load can be reduced more than the processing load obtained by multiplying the processing load of the apparatus of the first embodiment by the number of sub acoustic signals.
(2)上記各実施形態では、メイン音響信号に増幅処理或いはリバーブ効果を付与する処理を施していたが、メイン音響信号に施す信号処理はこれらの処理に限られることはなく、他の音響効果を与える処理をメイン音響信号に施してもよい。 (2) In each of the above embodiments, the main sound signal is subjected to amplification processing or reverberation processing, but the signal processing applied to the main sound signal is not limited to these processing, and other sound effects are also provided. May be applied to the main acoustic signal.
(3)上記各実施形態では、時間周波数変換部10が、入力を受けたメイン音響信号とサブ音響信号の2種類のデジタル信号を一定時間長のフレームに区切ってフーリエ変換を行い、フーリエ変換によって算出したフーリエ変換データを相互相関検出部20に出力していたが、この時間周波数変換部10が存在しない態様をとってもよい。この態様では、入力されたメイン音響信号とサブ音響信号が相互相関検出部20に直接入力され、相互相関検出部20は、式(1)或いは式(6)を用い、メイン音響信号とサブ音響信号に基づいて相関値Rms或いは相関値Rms(τ)を算出する。この場合、τは音響信号を構成する各サンプルを示すインデックスである。この態様によっても、メイン音響信号とサブ音響信号により放音される音全体のバランスを保ちつつ、音響信号のダイナミックレンジの圧縮や音響信号へのリバーブ効果の付与を行うことができる。
(3) In each of the embodiments described above, the time-
(4)上記各実施形態では、メイン音響信号とサブ音響信号の両者がデジタル信号であったが、一方(或いは両方)がアナログ信号であってもよい。各実施形態の信号処理装置にアナログ信号が入力される場合には、信号処理装置の前段にA/D変換器を設けておけばよい。 (4) In the above embodiments, both the main sound signal and the sub sound signal are digital signals, but one (or both) may be analog signals. When an analog signal is input to the signal processing device of each embodiment, an A / D converter may be provided in the previous stage of the signal processing device.
(5)上記各実施形態では、本発明の信号処理装置特有の機能をプログラム(DSPのマイクロプログラム)により実現したが、このプログラム単体で提供してもよい。例えば、カラオケ装置の既存のプログラムに上記各実施形態のいずれかのプログラムを追加することで、最終的に放音される音のボーカル音と伴奏音のバランスを崩すことなく、ボーカル音の音響信号にダイナミックレンジの圧縮やリバーブ効果の付与を行うことができる。 (5) In the above embodiments, functions specific to the signal processing apparatus of the present invention are realized by a program (DSP microprogram). However, the program may be provided alone. For example, by adding the program of any of the above embodiments to the existing program of the karaoke apparatus, the acoustic signal of the vocal sound is maintained without breaking the balance between the vocal sound of the sound finally emitted and the accompaniment sound. Dynamic range compression and reverb effect can be applied.
(6)上記各実施形態による増幅処理或いはリバーブ効果の付与をASP(アプリケーションサービスプロバイダ)形式の通信サービスで提供してもよい。例えば、第1実施形態の増幅処理をASP形式で提供する場合は、信号処理装置101を通信回線に接続しておく。そして、信号処理装置101にメイン音響信号とサブ音響信号が通信回線経由で入力され、信号処理装置101は、メイン音響信号とサブ音響信号の相関に基づいて増幅処理を施したメイン音響信号を出力信号として出力し、その出力信号を通信回線経由で返信する。
(6) The amplification processing or the reverberation effect according to each of the above embodiments may be provided by an ASP (Application Service Provider) type communication service. For example, when the amplification processing of the first embodiment is provided in the ASP format, the
101,102,103,104,105,106,107,108,109,110……信号処理装置、10……時間周波数変換部、20,21……相互相関検出部、30,31……パラメータ算出部、40,41……乗算部、50……重み付け部、60……残響信号生成部、70,71……加算部、81……HPF、82……BPF、83……LPF、90……平均算出部。
101, 102, 103, 104, 105, 106, 107, 108, 109, 110 ... signal processing device, 10 ... time frequency converter, 20, 21 ... cross-correlation detector, 30, 31 ... parameter calculation , 40, 41... Multiplying unit, 50... Weighting unit, 60... Reverberation signal generation unit, 70, 71 ...... Addition unit, 81 ...... HPF, 82 ...... BPF, 83 ...... LPF, 90 ...... Average calculator.
Claims (4)
前記相互相関検出部において算出された前記相関値に応じて前記音響効果の強度を決定する信号処理部と、
を有することを特徴とする信号処理装置。 A cross-correlation detector that calculates a correlation value between a plurality of signals among a main acoustic signal to be subjected to signal processing that gives an acoustic effect and one or a plurality of sub-acoustic signals;
A signal processing unit that determines the intensity of the acoustic effect according to the correlation value calculated in the cross-correlation detection unit;
A signal processing apparatus comprising:
前記相互相関検出部は、前記帯域分割部により分割された帯域の信号のうちの少なくとも1つを用いて前記相関値を算出する
ことを特徴とする請求項1〜3のいずれか1の請求項に記載の信号処理装置。
A band dividing unit that performs band division on at least one of the main acoustic signal and the one or more sub-acoustic signals;
The said cross correlation detection part calculates the said correlation value using at least 1 of the signal of the zone | band divided | segmented by the said band division part. The claim of any one of Claims 1-3 characterized by the above-mentioned. A signal processing device according to 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015026824A JP6531418B2 (en) | 2015-02-13 | 2015-02-13 | Signal processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015026824A JP6531418B2 (en) | 2015-02-13 | 2015-02-13 | Signal processor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016148818A true JP2016148818A (en) | 2016-08-18 |
JP6531418B2 JP6531418B2 (en) | 2019-06-19 |
Family
ID=56691752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015026824A Expired - Fee Related JP6531418B2 (en) | 2015-02-13 | 2015-02-13 | Signal processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6531418B2 (en) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61289576A (en) * | 1985-06-17 | 1986-12-19 | Matsushita Electric Ind Co Ltd | Increasing/decreasing device for sound signal |
JPH06335094A (en) * | 1993-05-25 | 1994-12-02 | Matsushita Electric Ind Co Ltd | Sound field reproducing device |
JPH06335093A (en) * | 1993-05-21 | 1994-12-02 | Fujitsu Ten Ltd | Sound field enlarging device |
JPH0833091A (en) * | 1994-07-18 | 1996-02-02 | Roland Corp | Howling predicting device |
JPH10336795A (en) * | 1997-05-28 | 1998-12-18 | Fujitsu Ten Ltd | Sound field control device |
WO2008111143A1 (en) * | 2007-03-09 | 2008-09-18 | Pioneer Corporation | Sound field reproducing device and sound field reproducing method |
JP2009111519A (en) * | 2007-10-26 | 2009-05-21 | Sony Corp | Audio signal processor and electronics |
JP2011113044A (en) * | 2009-11-30 | 2011-06-09 | Internatl Business Mach Corp <Ibm> | Method, device and program for objective voice extraction |
JP2012119728A (en) * | 2010-11-29 | 2012-06-21 | Yamaha Corp | Audio channel extension device |
JP2013167828A (en) * | 2012-02-16 | 2013-08-29 | Sony Corp | Sound processor, sound processing method, program, electronic device, server device, client device, and sound processing system |
JP2015025839A (en) * | 2013-07-24 | 2015-02-05 | 日本電信電話株式会社 | Microphone selection device, microphone selection method, and microphone selection program |
-
2015
- 2015-02-13 JP JP2015026824A patent/JP6531418B2/en not_active Expired - Fee Related
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61289576A (en) * | 1985-06-17 | 1986-12-19 | Matsushita Electric Ind Co Ltd | Increasing/decreasing device for sound signal |
JPH06335093A (en) * | 1993-05-21 | 1994-12-02 | Fujitsu Ten Ltd | Sound field enlarging device |
JPH06335094A (en) * | 1993-05-25 | 1994-12-02 | Matsushita Electric Ind Co Ltd | Sound field reproducing device |
JPH0833091A (en) * | 1994-07-18 | 1996-02-02 | Roland Corp | Howling predicting device |
JPH10336795A (en) * | 1997-05-28 | 1998-12-18 | Fujitsu Ten Ltd | Sound field control device |
WO2008111143A1 (en) * | 2007-03-09 | 2008-09-18 | Pioneer Corporation | Sound field reproducing device and sound field reproducing method |
JP2009111519A (en) * | 2007-10-26 | 2009-05-21 | Sony Corp | Audio signal processor and electronics |
JP2011113044A (en) * | 2009-11-30 | 2011-06-09 | Internatl Business Mach Corp <Ibm> | Method, device and program for objective voice extraction |
JP2012119728A (en) * | 2010-11-29 | 2012-06-21 | Yamaha Corp | Audio channel extension device |
JP2013167828A (en) * | 2012-02-16 | 2013-08-29 | Sony Corp | Sound processor, sound processing method, program, electronic device, server device, client device, and sound processing system |
JP2015025839A (en) * | 2013-07-24 | 2015-02-05 | 日本電信電話株式会社 | Microphone selection device, microphone selection method, and microphone selection program |
Also Published As
Publication number | Publication date |
---|---|
JP6531418B2 (en) | 2019-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1947903B1 (en) | Bass enhancing apparatus and method | |
JP5453740B2 (en) | Speech enhancement device | |
JP5898534B2 (en) | Acoustic signal processing apparatus and acoustic signal processing method | |
RU2666316C2 (en) | Device and method of improving audio, system of sound improvement | |
US9214916B2 (en) | Acoustic processing device | |
JP6019969B2 (en) | Sound processor | |
JP2011523086A (en) | Dynamic sound providing system and method | |
JP2012151767A (en) | Audio signal processing device and audio amplifier | |
US10128809B2 (en) | Intelligent method and apparatus for spectral expansion of an input signal | |
WO2015125191A1 (en) | Voice signal processing device and voice signal processing method | |
JP2009296298A (en) | Sound signal processing device and method | |
JP6482880B2 (en) | Mixing apparatus, signal mixing method, and mixing program | |
CN106941006B (en) | Method, apparatus and system for separation and bass enhancement of audio signals | |
JP2011227256A (en) | Signal correction apparatus | |
JP6531418B2 (en) | Signal processor | |
JP2004343590A (en) | Stereophonic signal processing method, device, program, and storage medium | |
Mu | Perceptual quality improvement and assessment for virtual bass system | |
JP6155132B2 (en) | Low frequency complement device and low frequency complement method | |
JP5145733B2 (en) | Audio signal processing apparatus, audio signal processing method, and program | |
JP6244652B2 (en) | Voice processing apparatus and program | |
JP2011035573A (en) | Sound signal processing apparatus and sound signal processing method | |
JP4471780B2 (en) | Audio signal processing apparatus and method | |
JP4974713B2 (en) | Karaoke equipment | |
JP6314803B2 (en) | Signal processing apparatus, signal processing method, and program | |
JP2009200777A (en) | Gain controller and gain control method of audio signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190506 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6531418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |