JP2013024911A - Signal processor - Google Patents
Signal processor Download PDFInfo
- Publication number
- JP2013024911A JP2013024911A JP2011156579A JP2011156579A JP2013024911A JP 2013024911 A JP2013024911 A JP 2013024911A JP 2011156579 A JP2011156579 A JP 2011156579A JP 2011156579 A JP2011156579 A JP 2011156579A JP 2013024911 A JP2013024911 A JP 2013024911A
- Authority
- JP
- Japan
- Prior art keywords
- reproduction
- attack
- modulation
- playback
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
この発明は、オーディオ信号のピッチ変換またはテンポ変換を行う機能を備えた信号処理装置に関する。 The present invention relates to a signal processing apparatus having a function of performing pitch conversion or tempo conversion of an audio signal.
この種の信号処理装置として、時間軸の圧縮/伸張とクロスフェードとを組み合わせてオーディオ信号のピッチ変換を行うディレイモジュレーション方式の信号処理装置がある。図12は、このディレイモジュレーション方式の信号処理装置の構成例を示すブロック図である。この信号処理装置において、リングバッファ1は、RAM等により実現される記憶手段であり、処理対象であるオーディオ信号のサンプル列を記憶するのに用いられる。書込部2は、処理対象であるオーディオ信号のサンプルを順次受け取り、リングバッファ1に対する書込アドレスを一定方向に順次変化させつつ、受け取ったオーディオ信号のサンプルをリングバッファ1に順次書き込む。この書込部2によるリングバッファ1へのサンプル列の書き込みは巡回的に行われる。すなわち、書込部2は、例えば書込アドレスを順次インクリメントしつつサンプルのリングバッファ1への書き込みを行い、リングバッファ1の最後のアドレスへの書き込みを終えた後は、リングバッファ1の最初のアドレスに戻ってサンプルの書き込みを行う。
As this type of signal processing apparatus, there is a delay modulation type signal processing apparatus that performs pitch conversion of an audio signal by combining compression / expansion of a time axis and crossfading. FIG. 12 is a block diagram showing an example of the configuration of this delay modulation type signal processing apparatus. In this signal processing apparatus, the
再生部3は、このようにしてリングバッファ1に書き込まれるオーディオ信号のサンプル列を書き込み速度とは異なる読み出し速度でリングバッファ1から読み出すことによりピッチ変換のなされたオーディオ信号のサンプル列を出力する手段である。この再生部3は、再生基準位置更新部31と、読出制御部32と、補間部33および34と、信号合成部35とを有する。
The reproducing
再生基準位置更新部31は、リングバッファ1の書込アドレスに対して所定アドレスだけ遅れて追従するように再生基準位置BAを更新する手段である。また、読出制御部32は、再生基準位置BAに基づき、変調再生位置MA1およびMA2を生成し、これらの変調再生位置MA1およびMA2に基づき、リングバッファ1に対する読出アドレスを生成する手段である。ここで、変調再生位置MA1およびMA2は、一般的には整数にはならず、整数部と小数部とからなる実数となる。そこで、読出制御部32は、変調再生位置MA1およびMA2の各々に基づき、変調再生位置MA1およびMA2の各々に対応したサンプルの前後所定個数のサンプルの読出アドレス(整数)を各々生成し、各読出アドレスに対応したサンプルから変調再生位置MA1およびMA2に対応したサンプルを算出する補間処理を補間部33および34に実行させるのである。
The reproduction reference
図13(a)は、ピッチ変換比rが1より大きい場合における再生基準位置BA、変調再生位置MA1およびMA2の関係を例示している。ここで、ピッチ変換比rは、リングバッファ1に書き込まれるオーディオ信号のピッチに対するピッチ変換後のオーディオ信号のピッチの比である。ピッチ変換比rが1より大きい場合、読出制御部32は、図13(a)に示すように、再生基準位置BAの時間勾配である第1の時間勾配よりも大きな第2の時間勾配(具体的には第1の時間勾配のr倍の時間勾配)で所定値だけ上昇した後、現在位置から再生基準位置BAを挟んで反対側の方向(すなわち、マイナス方向)に所定値だけジャンプする挙動を周期的に繰り返すように変調再生位置MA1を更新する。また、読出制御部32は、変調再生位置MA1に対して半周期だけ位相がずれた状態で第2の時間勾配での変化とジャンプを周期的に繰り返すように変調再生位置MA2を更新する。具体的には、読出制御部32は、変調再生位置MA1のジャンプが発生する各タイミング間の中央のタイミングにおいて変調再生位置MA2をジャンプさせる。
FIG. 13A illustrates the relationship between the reproduction reference position BA and the modulation reproduction positions MA1 and MA2 when the pitch conversion ratio r is greater than 1. Here, the pitch conversion ratio r is the ratio of the pitch of the audio signal after pitch conversion to the pitch of the audio signal written to the
図13(b)は、ピッチ変換比rが1より小さく、処理対象であるオーディオ信号のピッチを現状よりも低いピッチに変換する場合における再生基準位置BA、変調再生位置MA1およびMA2の関係を例示している。この場合も、読出制御部32は、ジャンプの方向が逆になる点を除き、基本的に図13(a)の場合と同様な方法により変調再生位置MA1およびMA2を生成する。
FIG. 13B illustrates the relationship between the reproduction reference position BA and the modulation reproduction positions MA1 and MA2 when the pitch conversion ratio r is smaller than 1 and the pitch of the audio signal to be processed is converted to a pitch lower than the current pitch. doing. Also in this case, the
そして、読出制御部32は、変調再生位置MA1の前後の所定個数のサンプリング点に対応した各サンプルの読出アドレスをリングバッファ1に与えて、それらのサンプルをリングバッファ1から読み出し、それらのサンプルを用いて変調再生位置MA1に対応したサンプルXMA1を求める補間処理を補間部33に実行させる。また、読出制御部32は、変調再生位置MA2の前後の所定個数のサンプリング点に対応した各サンプルの読出アドレスをリングバッファ1に与えて、それらのサンプルをリングバッファ1から読み出し、それらのサンプルを用いて変調再生位置MA2に対応したサンプルXMA2を求める補間処理を補間部34に実行させる。そして、信号合成部35は、サンプルXMA1およびXMA2を用いたクロスフェード処理を実行することにより、出力オーディオ信号のサンプルYを生成する。
Then, the
図14(a)および(b)は、ピッチ変換比rが1より大きい場合および1より小さい場合の各場合において行われるクロスフェード処理の内容を示す図である。この図14(a)および(b)において、横軸は再生基準位置BAである。この再生基準位置BAは、時間経過に対して単調に変化する。従って、横軸は時間軸を兼ねている。 FIGS. 14A and 14B are diagrams showing the contents of the cross-fade process performed in each case where the pitch conversion ratio r is larger than 1 and smaller than 1. In FIGS. 14A and 14B, the horizontal axis is the reproduction reference position BA. The reproduction reference position BA changes monotonously with time. Therefore, the horizontal axis also serves as the time axis.
クロスフェード処理では、「0」〜「1」の範囲の値をとりうる係数C1およびC2をサンプルXMA1およびXMA2に乗算し、乗算結果を加算することにより出力オーディオ信号のサンプルYを生成する。係数C1およびC2は、両者の加算結果が1となるように定めてもよく、両者の2乗の和が1となるように定めてもよい。図14(a)および(b)に示すように、サンプルXMA1に乗算される係数C1は、変調再生位置MA1のジャンプが発生するタイミングにおいて最小値「0」となり、変調再生位置MA1が再生基準位置BAと交差するタイミングにおいて最大値「1」となる正弦波状の周期波形をなす。また、サンプルXMA2に乗算される係数C2は、変調再生位置MA2のジャンプが発生するタイミングにおいて最小値「0」となり、変調再生位置MA2が再生基準位置BAと交差するタイミングにおいて最大値「1」となる正弦波状の周期波形をなす。このように互いに半周期だけ位相がずれた周期的な波形の係数C1およびC2を用いてクロスフェード処理を行うのは、変調再生位置MA1がジャンプすることによりサンプルXMA1の列に発生する波形の不連続、変調再生位置MA2がジャンプすることによりサンプルXMA2の列に発生する波形の不連続が、出力オーディオ信号に現われるのを防止するためである。 In the cross-fade processing, the samples XMA1 and XMA2 are multiplied by coefficients C1 and C2 that can take values in the range of “0” to “1”, and a sample Y of the output audio signal is generated by adding the multiplication results. The coefficients C1 and C2 may be determined so that the addition result of both is 1 or may be determined so that the sum of the squares of both is 1. As shown in FIGS. 14A and 14B, the coefficient C1 multiplied by the sample XMA1 becomes the minimum value “0” at the timing when the jump of the modulation reproduction position MA1 occurs, and the modulation reproduction position MA1 becomes the reproduction reference position. A sinusoidal periodic waveform having a maximum value “1” at the timing of crossing BA is formed. The coefficient C2 multiplied by the sample XMA2 is the minimum value “0” at the timing when the jump of the modulation reproduction position MA2 occurs, and the maximum value “1” at the timing when the modulation reproduction position MA2 intersects the reproduction reference position BA. A sine wave-like periodic waveform is formed. The crossfading process using the periodic waveform coefficients C1 and C2 whose phases are shifted from each other by a half cycle in this way is because the waveform generated in the column of the sample XMA1 due to the jump of the modulation reproduction position MA1. This is to prevent the discontinuity of the waveform generated in the column of the sample XMA2 from appearing in the output audio signal due to the jump of the continuous and modulated reproduction position MA2.
以上の構成によれば、リングバッファ1に対する書き込み速度のr倍の時間勾配で補間部33および34からサンプルXMA1およびXMA2の各サンプル列が再生される。このサンプルXMA1およびXMA2の各サンプル列は、元のオーディオ信号のr倍のピッチを有するサンプル列となる。また、出力オーディオ信号のサンプル列は、サンプルXMA1およびXMA2の各サンプル列にクロスフェード処理を施すことにより得られるので、この出力オーディオ信号のサンプル列も、元のオーディオ信号のr倍のピッチを有するサンプル列となる。
According to the above configuration, each sample sequence of the samples XMA1 and XMA2 is reproduced from the
さて、このようなクロスフェードを利用してピッチ変換を行う信号処理装置には、アタック部を持ったオーディオ信号のピッチ変換を行った場合に、出力オーディオ信号にアタック部が複数回重複して現われるという問題があった。以下、図15を参照し、この問題について説明する。 In a signal processing apparatus that performs pitch conversion using such a crossfade, when the pitch conversion of an audio signal having an attack section is performed, the attack section appears multiple times in the output audio signal. There was a problem. Hereinafter, this problem will be described with reference to FIG.
図15は、時間経過に伴う再生基準位置BA、変調再生位置MA1およびMA2の変化の様子を例示するものである。この図15において、横軸は時間軸、縦軸はリングバッファ1のアドレスを示す軸である。
FIG. 15 exemplifies how the reproduction reference position BA and the modulation reproduction positions MA1 and MA2 change with time. In FIG. 15, the horizontal axis is a time axis, and the vertical axis is an axis indicating the address of the
図15に示す例では、リングバッファ1におけるアドレスApにオーディオ信号のアタック部のサンプルが記憶されている。そして、変調再生位置MA2が上昇してアドレスApを横切るタイミングt1と、その後、変調再生位置MA1が上昇してアドレスApを横切るタイミングt2と、変調再生位置MA2が下方にジャンプした後、上昇してアドレスApを横切るタイミングt3の3種類のタイミングにおいて、リングバッファ1からオーディオ信号のアタック部のサンプルが読み出される。このため、出力オーディオ信号に相前後して3回に亙ってアタック部の波形が現われる。このような出力オーディオ信号は、相前後して複数回立ち上がるアタックを持ったトレモロ感のある音となって放音される。
In the example shown in FIG. 15, a sample of the attack portion of the audio signal is stored at the address Ap in the
特許文献1は、このような不都合を回避するための技術として、リングバッファ1からアタック部の波形を再生する期間、クロスフェード処理を行わず、変調再生位置MA1またはMA2の一方に対応したサンプルをリングバッファ1に記憶されたサンプルから再生し、出力オーディオ信号のサンプルYとして出力する技術を開示している。
In
特許文献1に開示の技術によると、例えば前掲図15の例において、変調再生位置MA1が上昇してアタック部の所在するアドレスApを横切る過程において、クロスフェード処理を行わず、変調再生位置MA1に対応したサンプルを出力オーディオ信号のサンプルYとして再生することとなる。この場合、変調再生位置MA1がアタック部の所在するアドレスApを横切るタイミングt2のみにおいて出力オーディオ信号にアタック部の波形を出現させ、他のタイミングt1およびt3において出力オーディオ信号にアタック部の波形が現われるのを防止することができる。しかし、オーディオ信号のアタック部の理想的な再生タイミングは、再生基準位置BAがアドレスApとなるタイミングtaである。オーディオ信号のアタック部は、変調再生位置MA1およびMA2とは非同期に発生するので、一般的に、変調再生位置MA1またはMA2がアタック部の所在するアドレスApを横切るタイミング(図15ではタイミングt2)は、この理想的な再生タイミングtaからずれたものとなる。このため、従来の信号処理装置は、ピッチ変換に伴うアタックタイミングのずれが出力オーディオ信号に発生するという問題があった。具体的には、タン、タン、タン、とアタック性のリズム音を等間隔で演奏するような音をピッチ変換すると、等間隔音に聞こえない問題が発生した。
According to the technique disclosed in
以上、ピッチ変換を行う信号処理装置について説明したが、同様な問題はテンポ変換を行う信号処理装置にも発生する。例えばオーディオ信号を記録時とは異なる速度で再生することによりテンポ変換を行う装置では、テンポ変換に連動してオーディオ信号のピッチが変更される。すなわち、オーディオ信号のテンポをr倍した場合、オーディオ信号のピッチもr倍される。そこで、例えば上述の信号処理装置により、ピッチを変更することなく、テンポ変換を行う場合、オーディオ信号を記録時のr倍の速度でリングバッファ1に書き込み、再生基準位置BAを書込速度と同じ速度で変化させるとともに、ピッチを1/rにするための変調再生位置MA1およびMA2を発生するのである。この場合も、上述と同様なピッチ変換に伴うアタックタイミングのずれが生じる。
The signal processing apparatus that performs pitch conversion has been described above, but the same problem occurs in the signal processing apparatus that performs tempo conversion. For example, in an apparatus that performs tempo conversion by reproducing an audio signal at a speed different from that at the time of recording, the pitch of the audio signal is changed in conjunction with the tempo conversion. That is, when the tempo of the audio signal is multiplied by r, the pitch of the audio signal is also multiplied by r. Therefore, for example, when tempo conversion is performed without changing the pitch by the signal processing device described above, the audio signal is written to the
この発明は以上のような事情に鑑みてなされたものであり、ピッチ変換に伴うアタックタイミングのずれを少なくすることができる信号処理装置を提供することを目的としている。 The present invention has been made in view of the circumstances as described above, and an object of the present invention is to provide a signal processing apparatus capable of reducing a shift in attack timing associated with pitch conversion.
この発明は、オーディオ信号を記憶するためのバッファと、前記バッファの書込アドレスを順次変化させつつオーディオ信号を前記バッファに書き込む書込手段と、前記バッファに書き込まれるオーディオ信号に現われるアタック部を検出するアタック検出手段と、前記バッファからオーディオ信号を読み出すことにより出力オーディオ信号を生成する再生手段とを具備し、前記再生手段は、前記バッファの書込アドレスの変化に対して所定値だけ遅れて追従するように再生基準位置を更新する再生基準位置更新手段と、前記再生基準位置の時間勾配である第1の時間勾配と異なる第2の時間勾配での変化と、該第2の時間勾配での変化方向と逆方向へのジャンプとを周期的に繰り返しつつ、全体的には前記第1の時間勾配で変化する第1の変調再生位置を生成するとともに、前記第1の変調再生位置に対して位相のずれた第2の変調再生位置を生成し、前記第1および第2の変調再生位置に対応した2系統のオーディオ信号を前記バッファに記憶されたオーディオ信号に基づいて再生し、前記2系統のオーディオ信号を用いて前記出力オーディオ信号を生成する出力オーディオ信号生成手段とを具備し、前記出力オーディオ信号生成手段は、前記2系統のオーディオ信号にクロスフェード処理を施すことにより前記出力オーディオ信号を生成する手段であって、前記第1の変調再生位置がジャンプするのに先立って前記第1の変調再生位置に対応したオーディオ信号のフェードアウトと前記第2の変調再生位置に対応したオーディオ信号のフェードインを行い、前記第2の変調再生位置がジャンプするのに先立って前記第2の変調再生位置に対応したオーディオ信号のフェードアウトと前記第1の変調再生位置に対応したオーディオ信号のフェードインを行う信号合成手段と、前記アタック検出手段がアタック部を検出するのに応じて、前記再生基準位置更新手段により更新される再生基準位置が前記バッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングの近傍のタイミングをアタック部の目標再生タイミングとし、前記第1の変調再生位置および前記第2の変調再生位置のうち一方をアタック再生用変調再生位置とし、軌道修正後の前記アタック再生用変調再生位置の軌道が前記目標再生タイミングにおいて前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置の軌道修正を行うとともに、前記目標再生タイミングを途中に挟んだ所定期間に亙って、前記信号合成手段にクロフフェード処理を実行させず、前記アタック再生用変調再生位置に対応したオーディオ信号を前記出力オーディオ信号として出力させる軌道修正手段とを具備することを特徴とする信号処理装置を提供する。 The present invention detects a buffer for storing an audio signal, writing means for sequentially writing an audio signal to the buffer while changing a write address of the buffer, and an attack portion appearing in the audio signal written to the buffer Attack detecting means for generating the output audio signal by reading out the audio signal from the buffer, and the reproducing means follows the change of the write address of the buffer with a predetermined delay. A reproduction reference position updating means for updating the reproduction reference position so that the reproduction reference position is changed at a second time gradient different from the first time gradient, which is the time gradient of the reproduction reference position, and the second time gradient. The first change that changes with the first time gradient as a whole while periodically repeating the change direction and the jump in the opposite direction. A two-channel audio signal corresponding to the first and second modulation reproduction positions is generated by generating a key reproduction position and generating a second modulation reproduction position out of phase with the first modulation reproduction position. Output audio signal generation means for generating the output audio signal using the two audio signals, and the output audio signal generation means comprises: A means for generating the output audio signal by subjecting two audio signals to cross-fading processing, and an audio corresponding to the first modulation / reproduction position prior to the jump of the first modulation / reproduction position The signal is faded out and the audio signal corresponding to the second modulation reproduction position is faded in, and the second modulation reproduction is performed. A signal synthesizing unit that fades out an audio signal corresponding to the second modulation reproduction position and fades in an audio signal corresponding to the first modulation reproduction position before the position jumps; and the attack detection unit; The timing near the timing at which the playback reference position updated by the playback reference position update means becomes the storage position of the attack portion of the audio signal in the buffer in response to detection of the attack portion is set as the target playback timing of the attack portion. One of the first modulation reproduction position and the second modulation reproduction position is set as the modulation reproduction position for attack reproduction, and the orbit of the modulation reproduction position for attack reproduction after the trajectory correction is the reproduction reference at the target reproduction timing. The orbit correction of the attack reproduction modulation reproduction position so as to cross the position orbit. The audio signal corresponding to the modulation reproduction position for attack reproduction is output to the output audio without performing the clof fade process for a predetermined period with the target reproduction timing in between. There is provided a signal processing apparatus comprising trajectory correcting means for outputting as a signal.
この発明によれば、再生基準位置更新手段により更新される再生基準位置がバッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングの近傍の目標再生タイミングにおいて、アタック部のサンプルがバッファに記憶されたサンプルに基づいて生成される。従って、ピッチ変換に伴うアタックタイミングのずれを少なくすることができる。 According to this invention, the sample of the attack part is stored in the buffer at the target reproduction timing near the timing when the reproduction reference position updated by the reproduction reference position updating means becomes the storage position of the attack part of the audio signal in the buffer. Generated based on sample. Therefore, it is possible to reduce the deviation of the attack timing accompanying the pitch conversion.
以下、図面を参照し、この発明の一実施形態について説明する。
<第1実施形態>
図1はこの発明の第1実施形態である信号処理装置の構成を示すブロック図である。この信号処理装置は、オーディオ信号のピッチ変換を行う装置であり、例えばカラオケ演奏用のオーディオ信号のキーコントロール(ピッチ変換)やテンポ変更に伴うピッチ変換に用いられる。なお、図1において、前掲図12に示された各部と対応する部分には共通の符号を付け、その説明を省略する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a block diagram showing the configuration of a signal processing apparatus according to the first embodiment of the present invention. This signal processing device is a device that performs pitch conversion of an audio signal, and is used, for example, for key control (pitch conversion) of an audio signal for karaoke performance or pitch conversion accompanying tempo change. In FIG. 1, parts corresponding to those shown in FIG. 12 described above are denoted by common reference numerals, and description thereof is omitted.
図1に示すように、本実施形態による信号処理装置において、リングバッファ1と、書込部2と、再生部3Aと、アタック検出部4と、制御部5とを有する。
As shown in FIG. 1, the signal processing apparatus according to the present embodiment includes a
アタック検出部4は、リングバッファ1に書き込まれるオーディオ信号に現われるアタック部を検出する手段である。さらに詳述すると、アタック検出部4は、書込部2がリングバッファ1に対して発生する書込アドレスに対して所定値だけ遅れて追従する読出アドレスをリングバッファ1に供給し、その読出アドレスに対応したオーディオ信号のサンプルをリングバッファ1から読み出す。そして、アタック検出部4は、リングバッファ1から読み出したオーディオ信号のサンプル列に振幅が大きい区間または振幅上昇が急激な区間であるアタック部が現われたとき、アタック検出信号ATKを出力する。
The
再生部3Aでは、前掲図12の再生部3の読出制御部32が読出制御部32Aに、信号合成部35が信号合成部35Aに置き換えられている。この再生部3Aにおいて、読出制御部32Aと、補間部33および34と、信号合成部35Aは、リングバッファ1に記憶されたオーディオ信号のサンプルに基づいて出力オーディオ信号のサンプルYを生成する出力オーディオ信号生成手段を構成している。
In the
図2は、読出制御部32Aおよび信号合成部35Aの構成を示すブロック図である。図2に示すように、読出制御部32Aは、変調再生位置生成部321と、読出アドレス生成部322と、軌道修正部323とを有する。また、信号合成部35Aは、補間部33および34から出力されるサンプルXMA1およびXMA2に係数C1およびC2を各々乗算する乗算器351および352と、乗算器351および352の各乗算結果を加算することにより出力オーディオ信号のサンプルYを生成する加算器353と、乗算器351および352に対して係数C1およびC2を各々供給する係数発生部354とを有する。この信号合成部35Aにおける係数発生部354は、読出制御部32Aの軌道修正部323による制御の下で動作する。
FIG. 2 is a block diagram showing the configuration of the read
読出制御部32Aにおいて、変調再生位置生成部321は、ピッチ変換比rと再生基準位置BAに基づいて、変調再生位置MA1およびMA2の更新を行う手段である。この変調再生位置生成部321は、アタック検出部4によってアタックが検出されない期間は、再生基準位置BAの時間勾配である第1の時間勾配に対してピッチ変換比rを乗算した第2の時間勾配での変化とこの変化方向と反対方向へのジャンプとを周期的に繰り返すように、変調再生位置MA1の更新を行う。また、変調再生位置生成部321は、変調再生位置MA2が、変調再生位置MA1と半周期ずれた位相で、第2の時間勾配での変化とこの変化方向と反対方向へのジャンプとを周期的に繰り返すように、変調再生位置MA2の更新を行う。このアタックが検出されない期間内における変調再生位置MA1およびMA2の挙動は、上述した従来技術(図12〜図14参照)と同様である。
In the
読出アドレス生成部322は、変調再生位置MA1およびMA2の各々の前後所定個数のサンプリング点の各サンプルの読出アドレスをリングバッファバッファ1に供給し、それらのサンプルをリングバッファ1から読み出し、補間部33および34に変調再生位置MA1およびMA2に対応したオーディオ信号のサンプルを生成するための補間処理を実行させる。
The read
軌道修正部323は、アタック検出部4によってアタック部が検出されない期間は、変調再生位置MA1がジャンプするのに先立って変調再生位置MA1に対応したオーディオ信号のフェードアウトと変調再生位置MA2に対応したオーディオ信号のフェードインを信号合成部35Aに行わせ、変調再生位置MA2がジャンプするのに先立って変調再生位置MA2に対応したオーディオ信号のフェードアウトと変調再生位置MA1に対応したオーディオ信号のフェードインを信号合成部35Aに行わせる。
The
そして、軌道修正部323は、アタック検出部4がアタック部を検出するのに応じて、再生基準位置更新部31により更新される再生基準位置BAがリングバッファ1におけるオーディオ信号のアタック部の記憶位置となるタイミングをアタック部の目標再生タイミングとする。そして、軌道修正部323は、変調再生位置MA1およびMA2のうち一方をアタック再生用変調再生位置、他方を非アタック再生用変調再生位置とし、目標再生タイミングにおいて軌道修正後のアタック再生用変調再生位置の軌道が再生基準位置BAの軌道とクロスするように、アタック再生用変調再生位置の軌道修正を行い、目標再生タイミングを途中に挟んだ所定期間に亙って、信号合成部35Aにクロフフェード処理を実行させず、アタック再生用変調再生位置に対応したオーディオ信号を出力オーディオ信号として出力させる。本実施形態の特徴は、このアタック検出に応じて行われる軌道修正部323の処理内容にある。
The
図3(a)〜(d)はピッチ変換比rが1より大きい場合における本実施形態の動作例を示すタイムチャートである。前掲図14と同様、図3(a)〜(d)の横軸は基準再生位置BAであり、この横軸は時間軸でもある。ここで、図3(a)および(b)は、仮に本実施形態におけるアタック検出に応じた制御を行わなかった場合における変調再生位置MA1およびMA2の波形と係数C1およびC2の波形を各々例示するものである。本実施形態では、図示のように、クロスフェード処理のために、正弦波状に変化する係数C1およびC2を使用し、係数C1およびC2の2乗和が常に1となるようにしている。また、図3(c)および(d)は、本実施形態におけるアタック検出に応じた制御を行った場合における変調再生位置MA1およびMA2の波形と係数C1およびC2の波形を各々例示するものである。 3A to 3D are time charts showing an operation example of the present embodiment when the pitch conversion ratio r is larger than 1. FIG. As in FIG. 14, the horizontal axis in FIGS. 3A to 3D is the reference reproduction position BA, and this horizontal axis is also the time axis. Here, FIGS. 3A and 3B illustrate the waveforms of the modulation reproduction positions MA1 and MA2 and the waveforms of the coefficients C1 and C2, respectively, when the control according to the attack detection in the present embodiment is not performed. Is. In the present embodiment, as shown in the figure, coefficients C1 and C2 that change sinusoidally are used for the crossfade process, and the square sum of the coefficients C1 and C2 is always 1. FIGS. 3C and 3D respectively illustrate the waveforms of the modulation reproduction positions MA1 and MA2 and the waveforms of the coefficients C1 and C2 when the control according to the attack detection in the present embodiment is performed. .
アタック検出部4によりアタック部が検出されると、軌道修正部323は、再生基準位置BAがアタック部の記憶位置となるタイミングTxを求め、このタイミングTxをアタック部の目標再生タイミングとする。そして、目標再生タイミングTx以前の期間において、変調再生位置MA1およびMA2のうち目標再生タイミングTxにより近いタイミングにおいてジャンプする変調再生位置をアタック再生用変調再生位置、もう一方の変調再生位置を非アタック再生用変調再生位置とする。
When the attack unit is detected by the
図3(a)に示す例では、軌道修正部323は、変調再生位置MA1をアタック再生用変調再生位置、変調再生位置MA2を非アタック再生用変調再生位置とする。そして、軌道修正部323は、次のようにアタック再生用変調再生位置および非アタック再生用変調再生位置の軌道修正と、係数発生部354に発生させる係数C1およびC2の制御を行う。
In the example shown in FIG. 3A, the
(1)まず、軌道修正部323は、アタック検出直後の所定時間T0を利用して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを信号合成部35Aに実行させる。具体的には、図3(d)に示すように、アタック再生用変調再生位置MA1に対応したオーディオ信号のサンプルXMA1に乗算する係数C1を時間T0を要して「0」まで低下させ、非アタック再生用変調再生位置MA2に対応したオーディオ信号のサンプルXMA2に乗算する係数C2を時間T0を要して「1」まで上昇させる。
(1) First, the
(2)上記(1)のフェードアウトおよびフェードインが完了すると、軌道修正部323は、図3(c)に示すように、アタック再生用変調再生位置MA1を現在位置Mst1から目標位置Men1へジャンプさせる。その際、軌道修正部323は、図3(c)に示すように、ジャンプ後のアタック再生用変調再生位置MA1が第2の時間勾配で上昇していったときに、目標再生タイミングTxにおいてアタック再生用変調再生位置MA1の軌道が再生基準位置BAの軌道とクロスするように、アタック再生用変調再生位置MA1のジャンプ先の目標位置Men1を決定する。
(2) When the fade-out and the fade-in in (1) are completed, the
(3)次に軌道修正部323は、図3(d)に示すように、所定時間T1を要して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを信号合成部35Aに実行させる。この所定時間T1と上述した所定時間T0は、両者の和が、アタック検出信号ATKの発生タイミングから目標再生タイミングTxまでの所要時間の半分程度となるように決定されている。
(3) Next, as shown in FIG. 3D, the
(4)このようにアタック再生用変調再生位置MA1の軌道修正を行い、かつ、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを行わせた後、軌道修正部323は、アタック再生用変調再生位置MA1に対応したオーディオ信号に対する係数C1を「1」に固定させ、非アタック再生用変調再生位置MA2に対応したオーディオ信号に対する係数C2を「0」に固定させる。
(4) The orbit of the modulation reproduction position MA1 for attack reproduction is corrected in this way, and the audio signal corresponding to the modulation reproduction position MA2 for non-attack reproduction and the fade-in of the audio signal corresponding to the modulation reproduction position MA1 for attack reproduction , The
この結果、信号合成部35Aではクロスフェード処理が行われず、アタック再生用変調再生位置MA1に対応したオーディオ信号のサンプルXMA1が出力オーディオ信号のサンプルYとして出力される。この間に、オーディオ信号におけるアタック部のサンプルがリングバッファ1から読み出され、このサンプルに基づいてアタック部のサンプルXMA1が補間部33により生成され、出力オーディオ信号のサンプルYとして出力される。
As a result, the
ここで、アタック再生用変調再生位置MA1は、再生基準位置BAの示す位置がリングバッファ1におけるオーディオ信号のアタック部の記憶位置となる目標再生タイミングTxにおいて、再生基準位置BAと一致する。従って、仮にアタック再生用変調再生位置MA1を用いずに、再生基準位置BAを用いてリングバッファ1に対する読出アドレスを発生した場合におけるアタック部の再生タイミングと同じタイミングにおいてアタック部が再生される。
Here, the modulation reproduction position MA1 for attack reproduction coincides with the reproduction reference position BA at the target reproduction timing Tx at which the position indicated by the reproduction reference position BA is the storage position of the attack portion of the audio signal in the
(5)次に軌道修正部323は、目標再生タイミングTxから所定時間T2が経過したときに、図3(c)に示すように、非アタック再生用変調再生位置MA2を現在位置Mst2から目標位置Men2へジャンプさせる。その際、軌道修正部323は、軌道修正後のアタック再生用変調再生位置MA1がジャンプするタイミングにおいて、ジャンプ後の非アタック再生用変調再生位置MA2の軌道が再生基準位置BAの軌道とクロスするように、非アタック再生用変調再生位置MA2のジャンプ先の目標位置Men2を決定するとより良い。
(5) Next, when the predetermined time T2 has elapsed from the target reproduction timing Tx, the
(6)このように非アタック再生用変調再生位置MA2をジャンプさせた後、軌道修正部323は、図3(d)に示すように、軌道修正後のアタック再生用変調再生位置MA1がジャンプするまでの所要時間T3を利用して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを行わせる。
これにより再生部3Aは、クロスフェード処理を利用した通常の再生動作に戻る。
(6) After jumping the modulation reproduction position MA2 for non-attack reproduction in this way, the
As a result, the
図示は省略したが、変調再生位置MA2がアタック再生用変調再生位置、変調再生位置MA1が非アタック再生用変調再生位置となる場合の動作も上述と同様である。また、ピッチ変換比rが1より小さい場合の動作も、以上説明したピッチ変換比rが1より大きい場合の動作と同様である。 Although not shown, the operation when the modulation reproduction position MA2 is the modulation reproduction position for attack reproduction and the modulation reproduction position MA1 is the modulation reproduction position for non-attack reproduction is the same as described above. The operation when the pitch conversion ratio r is smaller than 1 is the same as the operation when the pitch conversion ratio r described above is larger than 1.
以上説明したように、本実施形態によれば、ピッチ変換の際、オーディオ信号のアタック部は、再生基準位置BAがリングバッファ1におけるアタック部の記憶位置となる目標再生タイミングTxにおいて再生されるので、ピッチ変換に伴うアタックタイミングのずれを低減することができる。また、本実施形態によれば、アタック部の再生時には、クロスフェードを行わないので、出力オーディオ信号にアタック部が重複して現われるのを防止することができる。また、本実施形態によれば、再生基準位置BAがアタック部の記憶位置となるアタック部の目標再生タイミングTxから所定時間以上前にクロスフェードを終了させて、アタック再生用変調再生位置に対応したオーディオ信号のみを出力オーディオ信号として出力させ、アタック部の目標再生タイミングTxから所定時間T2が経過した時点でクロスフェードを再開するようにしたので、楽音の特徴が現われるアタック波形を極力損なうことなく再生することができる。
As described above, according to the present embodiment, at the time of pitch conversion, the attack portion of the audio signal is reproduced at the target reproduction timing Tx where the reproduction reference position BA is the storage position of the attack portion in the
<第2実施形態>
次にこの発明の第2実施形態について説明する。上記第1実施形態において、軌道修正部323は、アタック検出部4がアタック部を検出したタイミングに基づいて、リングバッファ1におけるアタック部の記憶位置を求め、再生基準位置BAがアタック部の記憶位置となるタイミングをアタック部の目標再生タイミングTxとし、この目標再生タイミングTxに基づいてアタック再生用変調再生位置の軌道修正を行った。
Second Embodiment
Next, a second embodiment of the present invention will be described. In the first embodiment, the
しかし、ピッチ変換の対象となる楽音波形には、例えば図4に示すシンバル音のように、アタック部が占めるアタック期間の短いものや、図5に示すピアノ音のように、アタック部が占めるアタック期間の長いものがある。また、アタック検出アルゴリズムにも各種のものがあり、例えば図6に示すように、音圧が僅かに高まったアタック開始直後のタイミングA1を検出するアルゴリズムや、アタック開始から少し時間が経ったタイミングA2を検出するアルゴリズムや、アタックが終了するタイミングA3を検出するものがある。 However, the musical sound waveform to be subjected to pitch conversion includes, for example, a short attack period occupied by the attack part, such as a cymbal sound shown in FIG. 4, or an attack occupied by the attack part, such as a piano sound shown in FIG. There is a long period. There are various attack detection algorithms. For example, as shown in FIG. 6, an algorithm for detecting the timing A1 immediately after the start of the attack when the sound pressure is slightly increased, or a timing A2 after a little time has elapsed from the start of the attack. And an algorithm for detecting the timing A3 when the attack ends.
従って、上記実施形態のような画一的なアタック再生用変調再生位置の軌道修正を行うと、ピッチ変換の対象であるオーディオ信号の楽器の種類やアタック検出アルゴリズムによっては、適切なタイミングからずれたタイミングでピッチ変換後の楽器音が再生される可能性がある。 Therefore, when the orbit correction of the uniform modulation reproduction position for attack reproduction as in the above embodiment is performed, the timing is shifted from an appropriate timing depending on the type of the musical instrument of the audio signal to be pitch converted and the attack detection algorithm. There is a possibility that the musical instrument sound after pitch conversion is reproduced at the timing.
そこで、本実施形態では、例えばカラオケ装置に設けられた操作子の操作等に応じて、所望の方向および所望のオフセット量を指定できるように信号処理装置が構成されている。また、軌道修正部は、目標再生タイミングTxを、再生基準位置BAがリングバッファ1におけるアタック部の記憶位置となるタイミングから、操作子の操作等により指定された方向に指定されたオフセット量だけシフトさせるオフセット調整手段を有している。なお、カラオケ装置での使用の場合、楽曲データ(ジャンルや使用楽器データなどの情報)を用いてオフセット量を自動設定してもよい。あるいは楽曲データにオフセット量情報を持たせ、この楽曲データ中のオフセット量情報に従ってオフセット量の設定を行ってもよい。この場合、時系列的なオフセット量情報を楽曲データに持たせ、楽曲データとともに再生され、時々刻々と変化するオフセット量情報に従ってオフセット量の設定を繰り返すようにしてもよい。
Therefore, in the present embodiment, the signal processing device is configured so that a desired direction and a desired offset amount can be designated according to, for example, operation of an operator provided in the karaoke device. Further, the trajectory correcting unit shifts the target reproduction timing Tx from the timing at which the reproduction reference position BA becomes the storage position of the attack part in the
本実施形態によれば、楽器の種類やアタック検出アルゴリズムに合わせて、ピッチ変換後のオーディオ信号のアタック部の再生タイミングを最適化することができる。
なお、種類の異なる楽器の演奏音を示す複数種類のオーディオ信号のピッチ変換をチャネル毎に行うような装置に本発明を適用する場合、チャネル毎に、このような軌道修正後のアタック再生用変調再生位置をクロスさせる再生基準位置の目標位置に適用するオフセット量とシフトの方向を操作子の操作等により指定するようにしてもよい。
According to the present embodiment, it is possible to optimize the playback timing of the attack portion of the audio signal after pitch conversion in accordance with the type of musical instrument and the attack detection algorithm.
When the present invention is applied to an apparatus that performs pitch conversion of a plurality of types of audio signals indicating performance sounds of different types of instruments for each channel, the modulation for attack reproduction after such trajectory correction is performed for each channel. The offset amount and the shift direction applied to the target position of the reproduction reference position that crosses the reproduction position may be designated by operating the operator.
<第3実施形態>
次に図7および図8を参照し、この発明の第3実施形態について説明する。上記第1実施形態において、ピッチ変換比rが大きくなると、変調再生位置MA1およびMA2の時間勾配が大きくなる。この場合、アタック部の再生に支障が出ないようにするために、アタック再生用変調再生位置に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトを行うための時間T1を短くする必要が生じる(前掲図3参照)。しかし、時間T1を短くして、フェードイン、フェードアウトを行うと、出力オーディオ信号の音質が劣化する問題が生じる。本実施形態は、この問題を解決するものである。
<Third Embodiment>
Next, a third embodiment of the present invention will be described with reference to FIGS. In the first embodiment, as the pitch conversion ratio r increases, the time gradient of the modulation reproduction positions MA1 and MA2 increases. In this case, in order to prevent trouble in the playback of the attack part, the audio signal fades in corresponding to the attack playback modulation playback position and the audio signal fades out corresponding to the non-attack playback modulation playback position. It is necessary to shorten the time T1 (see FIG. 3). However, if the time T1 is shortened and fade-in and fade-out are performed, the sound quality of the output audio signal deteriorates. The present embodiment solves this problem.
本実施形態では、アタック検出部4の読出アドレスと再生基準位置BAとの間に変調再生位置MA1(MA2)の1周期相当のアドレス差を越える十分に大きなアドレス差が設けられている。
In the present embodiment, a sufficiently large address difference exceeding an address difference corresponding to one period of the modulated reproduction position MA1 (MA2) is provided between the read address of the
図7に示す例では、変調再生位置MA1が再生基準位置BAよりも大きい期間T10内において、リングバッファ1に書き込まれたアタック部が検出されている。この検出されたアタック部は、アタック検出後の2回目の変調再生位置MA1のジャンプの後のタイミングTxにおいて再生されるべきものである。従って、このタイミングTxが目標再生タイミングとなる。そこで、軌道修正部323は、目標再生タイミングTxの直前にジャンプする変調再生位置MA1をアタック再生用変調再生位置、他方の変調再生位置MA2を非アタック再生用変調再生位置とする。ここで、図7に示す例では、アタック部の目標再生タイミングTxとその直前の変調再生位置MA1のジャンプタイミングとの間の時間が所定の閾値を越えている。
In the example shown in FIG. 7, the attack portion written in the
そこで、軌道修正部323は、期間T10の1周期後の期間T20内に、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを開始させ(前掲図3の時間T0の始期を発生させ)、上記第1実施形態と同様な制御を行っている。
Accordingly, the
この場合、目標再生タイミングTxとその直前の変調再生位置MA1のジャンプタイミングとの間の時間が十分に長いので、期間T20内にアタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを開始させても(時間T0)、その後、アタック再生用変調再生位置に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトを行うための時間T1を十分に長くすることができる。 In this case, since the time between the target reproduction timing Tx and the jump timing of the modulation reproduction position MA1 immediately before it is sufficiently long, the audio signal fades out and non-attack reproduction corresponding to the modulation reproduction position for attack reproduction within the period T20. Even if the audio signal fade-in corresponding to the modulation playback position for audio is started (time T0), then the audio signal corresponding to the modulation playback position for attack playback and the audio corresponding to the modulation playback position for non-attack playback are used. The time T1 for fading out the signal can be made sufficiently long.
これに対し、図8に示す例では、アタック部の目標再生タイミングTxとその直前の変調再生位置MA1のジャンプタイミングとの間の時間が所定の閾値よりも短い。この場合、アタック検出が行われた期間T10の1周期後の期間T20内にアタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを開始させると、その後のアタック再生用変調再生位置に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトのための時間T1を十分な長さにすることが困難である。 On the other hand, in the example shown in FIG. 8, the time between the target reproduction timing Tx of the attack portion and the jump timing of the modulation reproduction position MA1 immediately before it is shorter than a predetermined threshold value. In this case, the fade-out of the audio signal corresponding to the modulation reproduction position for attack reproduction and the fade-in of the audio signal corresponding to the modulation reproduction position for non-attack reproduction are performed within a period T20 one cycle after the period T10 in which the attack detection is performed. When started, it is difficult to make the time T1 for the fade-in of the audio signal corresponding to the subsequent modulation playback position for attack playback and the fade-out of the audio signal corresponding to the non-attack playback modulation playback position sufficiently long. It is.
そこで、軌道修正部323は、次のようにしてアタック再生用変調再生位置MA1および非アタック再生用変調再生位置MA2の軌道修正と、係数C1およびC2の制御を行う。まず、軌道修正部323は、アタック部が検出された後、アタック再生用変調再生位置MA1がジャンプし、さらに図8に示す期間T15が経過して非アタック再生用変調再生位置MA2がジャンプするのを待つ。
Therefore, the
非アタック再生用変調再生位置MA2がジャンプした時点において、アタック再生用変調再生位置MA1に対応したオーディオ信号に乗算される係数C1は「1」、非アタック再生用変調再生位置MA2に対応したオーディオ信号に乗算される係数C2は「0」となっている。そこで、軌道修正部323は、所定時間T0を要して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと、非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを信号合成部35Aに実行させる。
At the time when the modulation reproduction position MA2 for non-attack reproduction jumps, the coefficient C1 multiplied by the audio signal corresponding to the modulation reproduction position MA1 for attack reproduction is “1”, and the audio signal corresponding to the modulation reproduction position MA2 for non-attack reproduction. The coefficient C2 to be multiplied by “0” is “0”. Therefore, the
このフェードアウトおよびフェードインが完了すると、軌道修正部323は、アタック再生用変調再生位置MA1をジャンプさせる。その際、軌道修正部323は、目標再生タイミングTxにおいて、軌道修正後のアタック再生用変調再生位置MA1の軌道が基準再生位置BAとクロスするように、アタック再生用変調再生位置MA1のジャンプ先の位置を決定する。
When the fade-out and the fade-in are completed, the
そして、軌道修正部323は、アタック再生用変調再生位置MA1のジャンプ後、所定時間T1を要して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと、非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを信号合成部35Aに実行させる。
以降の動作は上記第1実施形態と同様である。
Then, the
Subsequent operations are the same as those in the first embodiment.
図8に示す例では、時間T0の始期を非アタック再生用変調再生位置MA2のジャンプタイミングまで早めているので、その後、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと、非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを実行するための時間T1の長さを十分な長さにすることができる。 In the example shown in FIG. 8, since the beginning of time T0 is advanced to the jump timing of the non-attack playback modulation playback position MA2, then the audio signal fade-in corresponding to the attack playback modulation playback position MA1 and the non-attack The length of the time T1 for executing the fade-out of the audio signal corresponding to the reproduction modulation reproduction position MA2 can be made sufficiently long.
以上説明したように、本実施形態によれば、ピッチ変換比rが大きくなって、変調再生位置MA1およびMA2の時間勾配が大きくなる場合でも、出力オーディオ信号の音質の劣化を招くことなく、ピッチ変換に伴うアタックタイミングのずれを低減することができる。 As described above, according to the present embodiment, even when the pitch conversion ratio r increases and the time gradient of the modulation reproduction positions MA1 and MA2 increases, the pitch of the output audio signal is not degraded. It is possible to reduce a deviation in attack timing accompanying conversion.
<第4実施形態>
図9はこの発明の第4実施形態である信号処理装置の構成を示すブロック図である。この信号処理装置では、上記第1実施形態による信号処理装置(図1)の再生部3Aが再生部3Bに置き換えられており、さらに基本周期検出部5が追加されている。そして、再生部3Bでは、上記第1実施形態における読出制御部32Aが読出制御部32Bに置き換えられている。
<Fourth embodiment>
FIG. 9 is a block diagram showing the configuration of the signal processing apparatus according to the fourth embodiment of the present invention. In this signal processing device, the
この信号処理装置において、基本周期検出部5は、リングバッファ1に書き込まれるオーディオ信号の基本波成分の周期を検出する。読出制御部32Bは、上記第1実施形態の読出制御部32Aと同様、変調再生位置生成部321と、読出アドレス生成部322と、軌道修正部323とからなるものである(図2参照)。しかし、読出制御部32Bの変調再生位置生成部321は、図10に示すように、基本周期検出部5が検出したオーディオ信号の基本波成分の周期τのn倍(nは整数)の周期で、変調再生位置MA1およびMA2を変化させる。読出制御部32Bの軌道修正部323は、図11に示すように、アタック検出に応じて、アタック再生用変調再生位置(図11の例ではMA1)に対応したオーディオ信号のフェードアウトを行わせて、アタック再生用変調再生位置MA1を現在位置Mstから目的位置Menまでジャンプさせる際、目標位置Menを基本周期検出部5により検出された基本波成分の周期に対応した長さα(すなわち、基本波成分の一波長分のサンプル列が格納されるアドレスの幅)に基づいて決定する。具体的には、現在位置Mstから目標位置Menまでの距離の候補として、長さαの整数倍の長さ(m−1)α、mα、(m+1)α、…を幾つか想定し、それらの中から、ジャンプ後のアタック再生用変調再生位置MA1の軌道が再生基準位置BAの軌道とクロスするタイミングがアタック部の目標再生タイミングTxに最も近くなるものを選択することによりジャンプ先の目標位置Menを決定するのである。
In this signal processing device, the
この態様によれば、アタック部の再生タイミングが理想的な再生タイミングから若干ずれるが、アタック部の近傍の区間が再生される間、クロスフェードされる2系統のオーディオ信号の位相を揃えることができるので、より自然な楽音を再生することができる。 According to this aspect, although the playback timing of the attack part slightly deviates from the ideal playback timing, it is possible to align the phases of the two audio signals that are crossfade while the section in the vicinity of the attack part is played back. So you can play more natural music.
<他の実施形態>
以上、この発明の第1〜第4実施形態について説明したが、この発明には、それ以外にも他の実施形態が考えられる。例えば次の通りである。
<Other embodiments>
The first to fourth embodiments of the present invention have been described above, but other embodiments are conceivable for the present invention. For example:
(1)上記各実施形態では、クロスフェード処理のために、正弦波状に変化する係数C1およびC2を使用し、係数C1およびC2の2乗和が常に1となるようにした。このような係数C1およびC2をクロスフェード処理に用いた場合、処理対象である2系統のオーディオ信号の波形が周期性を有しない場合でも、両オーディオ信号を滑らかに接続することができるという効果が得られる。しかし、このような係数C1およびC2をクロスフェード処理に用いると、処理対象であるオーディオ信号の波形に周期性がある場合に出力オーディオ信号のレベルが変動するという問題が生じる。そこで、係数C1およびC2の波形を他の波形に切り換えることができるように信号処理装置を構成してもよい。例えば処理対象であるオーディオ信号の周期性を解析する手段を設け、周期性がある旨の判断結果が得られた場合に、クロスフェード処理のための係数C1およびC2を三角波状に変化する係数C1およびC2に切り換え、係数C1およびC2の和が常に1となるようにしてもよい。このような係数C1およびC2をクロスフェード処理に使用すると、処理対象である2系統のオーディオ信号の波形が周期性を有する場合に両オーディオ信号を滑らかに接続することができる。 (1) In each of the above embodiments, the coefficients C1 and C2 that change sinusoidally are used for the crossfade process, and the square sum of the coefficients C1 and C2 is always 1. When such coefficients C1 and C2 are used for the cross-fade process, there is an effect that both audio signals can be smoothly connected even when the waveform of the two audio signals to be processed has no periodicity. can get. However, when such coefficients C1 and C2 are used for the cross-fade process, there arises a problem that the level of the output audio signal varies when the waveform of the audio signal to be processed has periodicity. Therefore, the signal processing device may be configured so that the waveforms of the coefficients C1 and C2 can be switched to another waveform. For example, when a means for analyzing the periodicity of the audio signal to be processed is provided and a determination result indicating that there is periodicity is obtained, the coefficient C1 for changing the coefficients C1 and C2 for the crossfade processing into a triangular wave shape And C2 and the sum of the coefficients C1 and C2 may always be 1. When such coefficients C1 and C2 are used for the cross-fade processing, both audio signals can be smoothly connected when the waveforms of two audio signals to be processed have periodicity.
(2)上記各実施形態ではピッチ変換を行う信号処理装置を挙げたが、この発明は、ピッチ変換を行わず、テンポ変換のみを行う信号処理装置にも勿論適用可能である。 (2) In each of the above embodiments, a signal processing apparatus that performs pitch conversion is described. However, the present invention is naturally applicable to a signal processing apparatus that performs only tempo conversion without performing pitch conversion.
1…リングバッファ、2…書込部、3A,3B…再生部、4…アタック検出部、31…再生基準位置更新部、32A,32B…読出制御部、33,34…補間部、35A…信号合成部、321…変調再生位置生成部、322…読出アドレス生成部、323…軌道修正部、354…係数発生部、351,352…乗算器、353…加算器。
DESCRIPTION OF
Claims (5)
前記バッファの書込アドレスを順次変化させつつオーディオ信号を前記バッファに書き込む書込手段と、
前記バッファに書き込まれるオーディオ信号に現われるアタック部を検出するアタック検出手段と、
前記バッファからオーディオ信号を読み出すことにより出力オーディオ信号を生成する再生手段とを具備し、
前記再生手段は、
前記バッファの書込アドレスの変化に対して所定値だけ遅れて追従するように再生基準位置を更新する再生基準位置更新手段と、
前記再生基準位置の時間勾配である第1の時間勾配と異なる第2の時間勾配での変化と、該第2の時間勾配での変化方向と逆方向へのジャンプとを周期的に繰り返しつつ、全体的には前記第1の時間勾配で変化する第1の変調再生位置を生成するとともに、前記第1の変調再生位置に対して位相のずれた第2の変調再生位置を生成し、前記第1および第2の変調再生位置に対応した2系統のオーディオ信号を前記バッファに記憶されたオーディオ信号に基づいて再生し、前記2系統のオーディオ信号を用いて前記出力オーディオ信号を生成する出力オーディオ信号生成手段とを具備し、
前記出力オーディオ信号生成手段は、
前記2系統のオーディオ信号にクロスフェード処理を施すことにより前記出力オーディオ信号を生成する手段であって、前記第1の変調再生位置がジャンプするのに先立って前記第1の変調再生位置に対応したオーディオ信号のフェードアウトと前記第2の変調再生位置に対応したオーディオ信号のフェードインを行い、前記第2の変調再生位置がジャンプするのに先立って前記第2の変調再生位置に対応したオーディオ信号のフェードアウトと前記第1の変調再生位置に対応したオーディオ信号のフェードインを行う信号合成手段と、
前記アタック検出手段がアタック部を検出するのに応じて、前記再生基準位置更新手段により更新される再生基準位置が前記バッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングの近傍のタイミングをアタック部の目標再生タイミングとし、前記第1の変調再生位置および前記第2の変調再生位置のうち一方をアタック再生用変調再生位置とし、軌道修正後の前記アタック再生用変調再生位置の軌道が前記目標再生タイミングにおいて前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置の軌道修正を行うとともに、前記目標再生タイミングを途中に挟んだ所定期間に亙って、前記信号合成手段にクロフフェード処理を実行させず、前記アタック再生用変調再生位置に対応したオーディオ信号を前記出力オーディオ信号として出力させる軌道修正手段と
を具備することを特徴とする信号処理装置。 A buffer for storing audio signals;
Writing means for writing an audio signal to the buffer while sequentially changing the write address of the buffer;
Attack detection means for detecting an attack portion appearing in the audio signal written to the buffer;
Reproduction means for generating an output audio signal by reading the audio signal from the buffer;
The reproducing means includes
Reproduction reference position update means for updating the reproduction reference position so as to follow the change of the write address of the buffer with a delay by a predetermined value;
While periodically repeating a change in a second time gradient different from the first time gradient that is the time gradient of the reproduction reference position and a jump in the direction opposite to the change direction in the second time gradient, A first modulation reproduction position that changes with the first time gradient as a whole is generated, and a second modulation reproduction position that is out of phase with respect to the first modulation reproduction position is generated. An output audio signal for reproducing two audio signals corresponding to the first and second modulation reproduction positions based on the audio signal stored in the buffer and generating the output audio signal using the two audio signals Generating means,
The output audio signal generation means includes
A means for generating the output audio signal by subjecting the two audio signals to cross fading processing, and corresponding to the first modulation / reproduction position before the first modulation / reproduction position jumps. The audio signal fades out and the audio signal corresponding to the second modulation / reproduction position fades in, and the audio signal corresponding to the second modulation / reproduction position jumps before the second modulation / reproduction position jumps. Signal synthesizing means for performing fade-in and fading-in of the audio signal corresponding to the first modulated reproduction position;
In response to the detection of the attack part by the attack detection means, the timing near the timing at which the reproduction reference position updated by the reproduction reference position update means becomes the storage position of the attack part of the audio signal in the buffer. The target reproduction timing, one of the first modulation reproduction position and the second modulation reproduction position is set as the attack reproduction modulation reproduction position, and the trajectory of the attack reproduction modulation reproduction position after the trajectory correction is the target reproduction. The attack reproduction modulation reproduction position trajectory is corrected so as to cross the reproduction reference position trajectory at the timing, and the signal synthesizing means is clocked over a predetermined period sandwiching the target reproduction timing. Audio signal corresponding to the modulated playback position for attack playback without performing fade processing Signal processing apparatus characterized by comprising the trajectory correction means for outputting as the output audio signal.
前記第1の変調再生位置および前記第2の変調再生位置のうち前記アタック再生用変調再生位置としなかった方の変調再生位置を非アタック再生用変調再生位置とし、
前記目標再生タイミングから所定時間が経過したときに、軌道修正後の前記アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするタイミングにおいて、前記非アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記非アタック再生用変調再生位置の軌道を修正することを特徴とする請求項1に記載の信号処理装置。 The trajectory correcting means is
Of the first modulation reproduction position and the second modulation reproduction position, the modulation reproduction position which is not the attack reproduction modulation reproduction position is set as a non-attack reproduction modulation reproduction position,
When a predetermined time has elapsed from the target playback timing, the trajectory of the modulated playback position for non-attack playback at the timing when the trajectory of the modulated playback position for attack playback after trajectory correction crosses the trajectory of the playback reference position The signal processing apparatus according to claim 1, wherein the trajectory of the modulation playback position for non-attack playback is corrected so as to cross the trajectory of the playback reference position.
前記アタック検出手段がアタック部を検出するのに応じて、所定時間を利用して、前記アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと前記非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを前記信号合成手段に実行させ、
このフェードアウトおよびフェードインの完了後、前記アタック再生用変調再生位置をジャンプさせ、その際に、前記目標再生タイミングにおいて前記アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置のジャンプ先の値を決定し、
前記アタック再生用変調再生位置のジャンプ後、前記目標再生タイミングより前にフェードインおよびフェードアウトが完了するように、前記アタック再生用変調再生位置に対応したオーディオ信号のフェードインと前記非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトを信号合成手段に実行させ、
前記目標再生タイミングから所定時間が経過したときに、前記非アタック再生用変調再生位置をジャンプさせ、その際、軌道修正後の前記アタック再生用変調再生位置がジャンプするタイミングにおいて、ジャンプ後の前記非アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記非アタック再生用変調再生位置のジャンプ先の値を決定し、
前記非アタック再生用変調再生位置をジャンプさせた後、軌道修正後の前記アタック再生用変調再生位置がジャンプするまでの期間を利用して、前記アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと前記非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを前記信号合成手段に実行させることを特徴とする請求項2に記載の信号処理装置。 The trajectory correcting means is
When the attack detection means detects an attack portion, a predetermined time is used to fade out an audio signal corresponding to the attack reproduction modulation reproduction position and an audio signal corresponding to the non-attack reproduction modulation reproduction position. The signal synthesizing unit executes the fade-in of
After completion of the fade-out and fade-in, the attack reproduction modulation reproduction position is jumped, and at that time, the attack reproduction modulation reproduction position trajectory crosses the reproduction reference position trajectory at the target reproduction timing. , Determine the jump destination value of the attack reproduction modulation reproduction position,
After the jump of the attack playback modulation playback position, the fade-in of the audio signal corresponding to the attack playback modulation playback position and the non-attack playback modulation so that the fade-in and fade-out are completed before the target playback timing. Let the signal synthesis means execute the fade-out of the audio signal corresponding to the playback position,
When a predetermined time has elapsed from the target playback timing, the non-attack playback modulation playback position is jumped, and at that time, the non-attack playback modulation playback position jumps at the timing at which the attack playback modulation playback position jumps. Determine the jump destination value of the non-attack playback modulation playback position so that the trajectory of the attack playback modulation playback position crosses the trajectory of the playback reference position,
A fade-out of an audio signal corresponding to the modulated playback position for attack playback is performed using the period from the jump of the modulated playback position for non-attack playback to the jump of the modulated playback position for attack playback after trajectory correction. 3. The signal processing apparatus according to claim 2, wherein the signal synthesizing unit executes fade-in of an audio signal corresponding to the modulation reproduction position for non-attack reproduction.
前記軌道修正手段は、前記目標再生タイミングにおいて前記アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置を現在位置から目標位置までジャンプさせる際、前記現在位置から前記目標位置までの長さが基本波成分の周期に対応した長さの整数倍となるように、前記目標位置および前記目標再生タイミングを決定することを特徴とする請求項3に記載の信号処理装置。 Comprising fundamental period detecting means for detecting the period of the fundamental component of the audio signal written to the buffer;
The trajectory correcting means jumps the attack reproduction modulation reproduction position from the current position to the target position so that the trajectory of the attack reproduction modulation reproduction position crosses the reproduction reference position trajectory at the target reproduction timing. 4. The target position and the target reproduction timing are determined such that a length from the current position to the target position is an integral multiple of a length corresponding to a period of a fundamental wave component. A signal processing device according to 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011156579A JP5807419B2 (en) | 2011-07-15 | 2011-07-15 | Signal processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011156579A JP5807419B2 (en) | 2011-07-15 | 2011-07-15 | Signal processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013024911A true JP2013024911A (en) | 2013-02-04 |
JP5807419B2 JP5807419B2 (en) | 2015-11-10 |
Family
ID=47783365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011156579A Expired - Fee Related JP5807419B2 (en) | 2011-07-15 | 2011-07-15 | Signal processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5807419B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106847249B (en) * | 2017-01-25 | 2020-10-27 | 得理电子(上海)有限公司 | Pronunciation processing method and system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001312276A (en) * | 2000-05-02 | 2001-11-09 | Roland Corp | Time-base compressing/expanding reproducing device for audio waveform data |
JP2005173423A (en) * | 2003-12-15 | 2005-06-30 | Roland Corp | Waveform reproducing device |
JP2007264280A (en) * | 2006-03-28 | 2007-10-11 | Yamaha Corp | Signal processor |
-
2011
- 2011-07-15 JP JP2011156579A patent/JP5807419B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001312276A (en) * | 2000-05-02 | 2001-11-09 | Roland Corp | Time-base compressing/expanding reproducing device for audio waveform data |
JP2005173423A (en) * | 2003-12-15 | 2005-06-30 | Roland Corp | Waveform reproducing device |
JP2007264280A (en) * | 2006-03-28 | 2007-10-11 | Yamaha Corp | Signal processor |
Also Published As
Publication number | Publication date |
---|---|
JP5807419B2 (en) | 2015-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9899016B2 (en) | Musical sound signal generation apparatus that generates sound emulating sound emitting from a rotary speaker | |
JPWO2006070768A1 (en) | Audio signal processing apparatus, audio signal processing method, and program for causing computer to execute the method | |
JP2012002858A (en) | Time scaling method, pitch shift method, audio data processing apparatus and program | |
JP5655713B2 (en) | Movie playback device, movie playback method and program | |
JP3008922B2 (en) | Music sound generating apparatus and music sound generating method | |
JP5807419B2 (en) | Signal processing device | |
JP2010113278A (en) | Music processing device and program | |
JP6350692B2 (en) | Acoustic signal generator | |
JP3933583B2 (en) | Electronic musical instruments | |
JP3095018B2 (en) | Music generator | |
JP5230678B2 (en) | Transcription support program | |
JP5359203B2 (en) | Music processing apparatus and program | |
JP4236570B2 (en) | Waveform playback device and waveform playback program | |
JP3656906B2 (en) | Waveform data playback device with variable time axis | |
JP3520931B2 (en) | Electronic musical instrument | |
JP3714397B2 (en) | Waveform data processing apparatus and waveform data processing method | |
JP6350693B2 (en) | Acoustic signal generator | |
JP4043126B2 (en) | Control data generation device for waveform reproduction device | |
JP2001215973A (en) | Method and device for creating musical sound control parameter, and recording medium | |
JP3752855B2 (en) | Waveform data creation method | |
JP5146188B2 (en) | Music signal generator | |
JP2002023750A (en) | Audio waveform data reproducing device, time base compression/expansion processor for audio waveform data, and pitch conversion processor for audio waveform data | |
JP4345010B2 (en) | Pitch change amount determination method, pitch change amount determination device, and program | |
JP4868041B2 (en) | Data conversion apparatus and data conversion program | |
JP3636056B2 (en) | Waveform data processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150824 |
|
LAPS | Cancellation because of no payment of annual fees |