JP2003280664A - 音楽波形のタイムストレッチ装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 高品位な時間軸圧縮伸張を実現できる音楽波
形のタイムストレッチ装置を提供する。 【解決手段】 STFFT分析部１は、原音楽波形を短時間
高速フーリエ変換し、ピーク点データと残差波形とを出
力する。ビート抽出部２は、残差波形からビート開始タ
イミングを抽出する。正弦波合成できない波形のタイム
ストレッチ部３は、所定のタイムストレッチ率に応じて
再配置後のビート開始タイミングを決定する。同時に、
残差波形を、ビート開始タイミング毎に分割し、再配置
後のビート開始タイミングの位置に再配置する。正弦波
合成できる波形のタイムストレッチ部４は、ピーク点デ
ータを、ビート開始タイミング毎に分割し、再配置後の
ビート開始タイミングで区切られた期間にわたって再配
置した上で正弦波合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、演奏時間の圧縮伸
張を、音楽波形の音色やピッチを変化させることなく行
う、音楽波形のタイムストレッチに関するものである。
例えば、コマーシャル用に演奏された所定の音楽波形
を、その音色やピッチを変化させることなく、その演奏
時間を任意の時間に正確に合わせ込む必要がある場合に
用いることができる。あるいは、演奏テンポの変更を、
音楽波形の音色やピッチを変化させることなく自由に行
いたい場合に用いることができる。

【０００２】

【従来の技術】従来、音楽波形の再生時間だけを、音色
やピッチをほぼそのままに、自由に変化させる技術、言
い替えれば、テンポのみを変化させる技術として、音楽
波形のタイムストレッチ技術が知られている。従来のタ
イムストレッチ技術としては、ビート（拍子）抽出型、
ボコーダ型が知られている。

【０００３】ビート抽出型のタイムストレッチは、音楽
波形の急峻な立ち上がりを検出して音符に分割し、各音
符の時間間隔を縮めたり伸ばしたりすることによって、
音楽波形全体の再生時間を変化させるものである。周波
数スペクトルの時間変化が大きいリズム系、パーカッシ
ブな音楽のタイムストレッチに関しては、ある程度の品
質が得られる。しかし、この方法は、原音楽波形そのも
のを音符単位で時間移動しているだけであるので、定常
波形部分は途中で打ち切られたり、定常波形部分に無音
区間が埋め込まれたりするので、ボーカルやアンサンブ
ル系の音楽に不向きである。

【０００４】一方、ボコーダ型のタイムストレッチは、
音楽波形を周波数分析して得られた主要な周波数成分に
ついて、時間軸を縮めたり伸ばしたりした後に、各周波
数成分を加算するというものである。ボーカルやアンサ
ンブル系の音楽に関しては、ある程度の品質が得られ
る。しかし、全ての周波数成分を全て処理することは困
難であるので、多数の倍音周波数成分や、非倍音周波数
成分などが含まれたリズム系の音楽には不向きである。
ところが、通常の音楽波形は、リズムやメロディ、さら
には、ボーカルも含まれる場合もあるので、いずれを用
いてタイムストレッチしても、思うような品質を得るこ
とができないという問題があった。同様に、ソロ楽器で
あっても、ピアノのように、アタック音（ハンマー音な
ど）の後に緩やかな減衰振動を伴うような楽音の演奏波
形を高品位にタイムストレッチすることは困難であっ
た。

【０００５】

【発明が解決しようとする課題】本発明は、上述した問
題点を解決するためになされたもので、音楽波形の高品
位な時間軸圧縮伸張を実現できる音楽波形のタイムスト
レッチ装置および音楽波形のタイムストレッチ方法を提
供することを目的とするものである。

【０００６】

【課題を解決するための手段】本発明は、請求項１に記
載の発明においては、音楽波形のタイムストレッチ装置
において、原音楽波形に対して所定の時間間隔で短時間
スペクトル分析が行われて得られた、スペクトルのピー
ク点データと、該スペクトルのピーク点データからは正
弦波合成できない残差波形とを入力する短時間スペクト
ル分析結果の入力手段と、前記残差波形の振幅に基づい
て第１のビート開始タイミングを抽出するビート開始タ
イミング抽出手段と、前記第１のビート開始タイミング
を、所定のタイムストレッチ率に応じて再配置して第２
のビート開始タイミングを決定するとともに、前記残差
波形を、前記第１のビート開始タイミング毎に分割し、
分割された前記残差波形を前記第２のビート開始タイミ
ングの位置に再配置する残差波形のタイムストレッチ手
段と、前記スペクトルのピーク点データを前記第１のビ
ート開始タイミング毎に分割し、分割された各区間の前
記スペクトルのピーク点データを、前記第２のビート開
始タイミングで区切られた期間にわたって再配置した上
で正弦波合成する正弦波合成波形のタイムストレッチ手
段と、前記残差波形のタイムストレッチ手段の出力およ
び前記正弦波合成波形のタイムストレッチ手段の出力と
を加算する加算手段を有するものである。したがって、
音楽波形の２種類の音楽成分別にその音楽成分に適した
時間軸圧縮伸張を行った上で、両者を同期して合成する
ことが可能となり、音楽波形を高品位に時間軸圧縮伸張
することができる。

【０００７】請求項２に記載の発明においては、音楽波
形のタイムストレッチ方法において、原音楽波形に対し
て所定の時間間隔で短時間スペクトル分析が行われて得
られた、スペクトルのピーク点データと、該スペクトル
のピーク点データからは正弦波合成できない残差波形と
を入力する短時間スペクトル分析結果の入力ステップ
と、前記残差波形の振幅に基づいて第１のビート開始タ
イミングを抽出するビート開始タイミング抽出ステップ
と、前記第１のビート開始タイミングを、所定のタイム
ストレッチ率に応じて再配置して第２のビート開始タイ
ミングを決定するとともに、前記残差波形を、前記第１
のビート開始タイミング毎に分割し、分割された前記残
差波形を前記第２のビート開始タイミングの位置に再配
置する残差波形のタイムストレッチステップと、前記ス
ペクトルのピーク点データを前記第１のビート開始タイ
ミング毎に分割し、分割された各区間の前記スペクトル
のピーク点データを、前記第２のビート開始タイミング
で区切られた期間にわたって再配置した上で正弦波合成
する正弦波合成波形のタイムストレッチステップと、前
記残差波形のタイムストレッチステップの出力および前
記正弦波合成波形のタイムストレッチステップの出力と
を加算する加算ステップを有するものである。したがっ
て、請求項１に記載の発明と同様の作用を奏する。CPU
やDSPを用いて実現することができる。

【０００８】

【発明の実施の形態】本発明は、原音楽波形を、上述し
たビート法に適した音楽成分および上述したボコーダ法
に適した音楽成分に分離し、後で加算可能な形で個別に
タイムストレッチ（時間軸圧縮伸張）を行うものであ
る。具体的には、音楽波形の分析合成ツールを用いて行
う。例えば、音楽波形に含まれる基音周波数成分、倍音
周波数成分、非倍音周波数成分に対応する線スペクトル
成分を抽出する。通常、分析窓（ウインドウ）を用いた
フーリエ変換（短時間フーリエ変換、STFFT:Short-Time
Fast Fourier Transform）による短時間スペクトル分
析を行う。この短時間スペクトル分析自体は、特開２０
００−１０５６７号公報等で知られている。

【０００９】音楽波形の分析としては、音楽波形をサン
プリングし、１フレーム（分析フレーム）サイズの複数
サンプルポイントに対して窓関数を掛け算し、その出力
レベルから周波数成分を分析する。この１回の処理を１
フレームの処理単位として、上述した分析窓を１ホップ
サイズだけ移動させて、順次、次のフレームに対して同
様の処理を行う。１つのフレームと次のフレームとは、
ホップサイズ分だけ時間がずれている。ホップサイズ
は、サンプルポイント数で表現される。これを時間に換
算したものをフレームタイムと定義すると、（フレーム
タイム）＝（ホップサイズ）／（サンプリング周波数）
である。通常、ホップサイズは、ウインドウサイズより
も小さくするので、フレーム期間および分析窓は複数サ
ンプルポイントにわたってオーバラップすることにな
る。

【００１０】各フレームにおける分析結果から、周波数
成分のピーク点を順次検出する。ここで、各周波数成分
のピーク点は、周波数データ（f_x）、位相データ（各周
波数成分の基準位相２πf_xtに対する位相差p_x）、およ
び振幅データ、という３つのデータを有している。各フ
レーム単位で、各周波数成分の振幅データからピークを
成す周波数位置を検出することにより、ピーク点を抽出
する。ピークを成すものを全て検出してもよいが、処理
量を減らすため、ピークの振幅が所定の閾値以下のもの
を切り捨ててもよい。あらかじめ複数のフレームにわた
ってピーク点の軌跡を追跡することにより、所定のフレ
ーム数以上継続するピーク点のみを出力するなど、これ
らのクリーニング処理をしてピーク点を出力してもよ
い。

【００１１】次に、各ピーク点軌跡に対応する正弦波信
号の周波数、位相、振幅を、各フレーム単位で得られた
スペクトルのピーク点データに基づいて設定し、複数フ
レームにわたって、この正弦波信号の周波数、位相、振
幅を制御する。得られた複数の正弦波信号を、複数フレ
ームにわたって加算合成することにより、正弦波合成さ
れた合成音楽波形が生成される。原音楽波形からこの合
成音楽波形を減算すれば、ピーク点データSTFDATAから
は正弦波合成できない音楽波形が出力される。この波形
は、残差波形と呼ばれている。場合によって、最初のス
ペクトル分析で得られた残差波形を更にスペクトル分析
して、正弦波合成波形の精度を上げることが行われる。
この場合でも、前回よりも小さくなるが残差波形が残
る。

【００１２】図１は、本発明のタイムストレッチ装置の
ブロック構成図である。図中、１はSTFFT分析部、２は
ビート抽出部、３は正弦波合成できない波形のタイムス
トレッチ部、４は正弦波合成できる波形のタイムストレ
ッチ部、５は加算器である。STFFT（Short-Time Fast F
ourier Transform）分析部１は、対象とする原音楽波形
を短時間高速フーリエ変換し、ピーク点データSTFDATA
と、ピーク点データに基づいて正弦波合成できなかった
波形（Xesidual：残差波形）とを出力する。

【００１３】図２は、ピアノ演奏波形の波形図である。
図２（ａ）は原音楽波形、図２（ｂ）は残差波形、図２
（ｃ）は残差波形のエンベロープ波形を示す波形図であ
る。各波形図において横軸は時間、縦軸は波形振幅であ
る。各波形図の時間軸は同じになるように合わせている
が、波形振幅のスケールは異なっている。ビートに対し
てＡ，Ｂ，Ｃ，……の符号を付している。図３は、ピア
ノ演奏波形をSTFFT分析したときのピーク点データを示
す分析図である。横軸はフレーム番号で表した時間、縦
軸は周波数である。原音楽波形が、図２（ａ）に示した
音楽波形の場合のピーク点データSTFDATAを、クリーニ
ング処理したものを示す。

【００１４】図３に示すように、各フレームにおいて、
ピーク点が複数個検出される。これらのピーク点は、元
のサンプリング波形の基音周波数成分、倍音周波数成
分、非倍音成分、ノイズ成分等に対応して検出されるよ
うになる。このため、ピーク点は、フレーム毎に離散し
た点状であるが、フレーム間で短い連続性を有するも
の、フレーム間で長い連続性を有するものなど、種々の
ピーク点の態様がある。図３では、ある程度の長さの軌
跡をなすピーク点について図示している。また、残差波
形Xesidualは図２（ｂ）のようになる。図２（ａ）に示
したピアノの演奏波形であれば、残差波形Xesidualは、
アタックのカチッという打弦音である。したがって、ア
タックタイミング毎に大きな残差波形Xesidualがある。
残差波形Xesidualは、リズム＋ボーカルの音楽波形であ
れば、パーカッシブなリズム音、ボーカルの子音、ある
いは、ノイズである。

【００１５】図１に示したビート抽出部２は、残差波形
から、原音楽波形のビート（拍子）開始タイミングを抽
出する。抽出方法は任意でよいが、以下の例では、エン
ベロープレベルを検出する方法を示す。まず、図２
（ｃ）のような残差波形のエンベロープを計算する。次
に、所定のスレッショルドレベルVthと残差波形のエン
ベロープとの交点を、波形のアタックポイントとし、そ
こから時間の過去側へ数msの所定時間Δだけ戻した時点
ａ，ｂ，ｃ，……をビートの切れ目（ビート開始タイミ
ング）とする。

【００１６】スレッショルドレベルVthは、所定値か、
残差波形のエンベロープのピーク値の所定数分の１の値
とすればよい。音楽波形の立上りはノイズ成分が多く不
確定であるので、スレッショルドレベルVthをあまり下
げることはできない。これに対し、上述した方法では、
スレッショルドレベルVthをあまり下げなくてもビート
の切れ目を精度良く検出できる。ビート開始タイミング
の抽出は、この他にも、残差波形をノイズ除去フィルタ
を通してからその振幅レベルをゼロクロス検出する方法
などがある。

【００１７】正弦波合成できない波形のタイムストレッ
チ部３は、ビート抽出部２から出力される、原音楽波形
（正確には、その残差波形）のビート開始タイミングの
情報を入力する。このビート開始タイミングの間隔（ビ
ート周期）を、ユーザ操作により設定される任意のタイ
ムストレッチ率に比例して変化させることにより、タイ
ムストレッチ後の新たなビート周期を決定し、ビート開
始タイミングを再配置する。同時に、残差波形を、原音
楽波形のビート抽出部２から出力されるビート開始タイ
ミング毎に分割し、分割された残差波形の先頭が、再配
置後のビート開始タイミングの位置になるように、分割
された残差波形を再配置することにより、タイムストレ
ッチされた残差波形を生成する。なおタイムストレッチ
率は、ビート開始タイミングの間隔を単位として、時間
的に変化させることができる。

【００１８】図４は、正弦波合成できない残差波形のタ
イムストレッチ処理の説明図である。図４（ａ）はタイ
ムストレッチ前の残差波形、図４（ｂ）はタイムストレ
ッチ後の残差波形である。横軸は時間、縦軸は振幅であ
る。図示の例では、説明を簡単化するために、タイムス
トレッチ率を一定値「２倍」とした具体例について説明
する。まず、原音楽波形のビート開始タイミングａ，
ｂ，ｃ，ｄ，ｅ，ｆ，…を、２倍のタイムストレッチ率
に応じて再配置して、再配置後のビート開始タイミング
ａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’，…を決定する。
一方、残差波形Xesidualを、元のビート開始タイミング
ごとに、ビート周期Ta，Tb，Tc，……の期間に分割し、
分割された残差波形を再配置後のビート開始タイミング
ａ，ｂ，ｃ，ｄ，ｅ，ｆ，…で区切られた、ビート周期
Ta'，Tb'，Tc'，……の区間の先頭、すなわち、再配置
後のビート開始タイミングの位置に再配置する。

【００１９】単に再配置しただけでは、再配置後の隣接
する残差波形の間がゼロレベルのままである。ゼロレベ
ルのままでもよいが、この残差波形の間の区間を何らか
の方法で埋めることもできる。埋める方法は何でもよ
い。例えば、ビート抽出部２において作成されたエンベ
ロープの情報から、あるスレッショルドレベル（上述し
たスレッショルドレベルVthとは独立して決められる）
以下に減衰した区間では、ホワイトノイズ等のノイズ信
号にクロスフェードし、かつ、滑らかに減衰させればよ
い。あるいは、上述したスレッショルドレベル以下に減
衰した区間を繰り返しループさせ、かつ、滑らかに減衰
させればよい。逆に、タイムストレッチ率を１未満にし
たときに、そのままでは、切り出された残差波形が重な
ることになってしまう。この場合は、ビートの切れ目
で、前の残差波形を切り捨ててから、後の残差波形につ
なげばよい。もともと残差波形の振幅レベルは小さいの
で切り捨ての影響は小さい。

【００２０】一方、正弦波合成できる波形のタイムスト
レッチ部４は、STFFT分析部１から出力されたピーク点
データを、ビート抽出部２から出力される原音楽波形の
ビート開始タイミングの情報を用いて、残差波形のビー
ト開始タイミング毎に分割する。次に、正弦波合成でき
ない波形のタイムストレッチ部３から出力される再配置
後のビート開始タイミングの情報を用いて、分割された
各期間のスペクトルのピーク点データを、再配置後のビ
ート開始タイミングで区切られた期間にわたって再配置
した上で正弦波合成することにより、再配置された正弦
波合成波形を出力する。

【００２１】なお、再配置は、タイムストレッチ率に比
例したものであるから、残差波形のビート開始タイミン
グ毎に分割することなく、対象とする原音楽波形全体を
一括して再配置することも可能である。しかし、この場
合、再配置後の正弦波合成波形と再配置後の残差波形と
が、わずかなタイミングの計算誤差によって時間経過と
ともにずれてゆくおそれがある。これに対し、原音楽波
形のビート開始タイミング毎に分割することによって、
再配置後の残差波形と、再配置後のビート開始タイミン
グごとに正確に同期させることができる。

【００２２】正弦波合成は、処理タイミングにおける正
弦波信号の周波数、位相、振幅の値を、再配置されたフ
レームポイントにおける値に基づいて補間演算する。ま
ず、ピーク点の周波数データのタイムストレッチについ
て説明する。図５は、正弦波合成できる波形のタイムス
トレッチ処理の第１の説明図である。図５（ａ）はタイ
ムストレッチ前のピーク点の軌跡、図５（ｂ）はタイム
ストレッチ後のピーク点の軌跡を示す線図である。横軸
はフレームポイントのフレームで表した時間、縦軸は周
波数である。説明を簡単にするために、３本のピーク点
軌跡のみを模式的に示している。また、タイムストレッ
チ率の値は一定で、「２倍」としている。原音楽波形の
ビート開始タイミングおよび再配置後のビート開始タイ
ミングは、フレームポイント上にあるものとして説明す
る。

【００２３】図５（ａ）に示すように、ピーク点データ
STFDATAが計算されたときの原フレームポイントを、各
ビート開始タイミングａ，ｂ，ｃ，…から、ビート周期
T_a，T_b，T_c，……の期間毎に分割し、図５（ｂ）に示す
ように、再配置後の各ビート開始タイミングａ’，
ｂ’，…からの再配置後のビート周期T_a’，T_b’，……
にわたって再配置する。このようにして得られた新たな
ピーク点データSTFDATAに基づいて正弦波合成を行う。
再配置後のフレームポイント間は、線形補間（一次補
間）する。補間は、前値ホールドや、２次以上の補間公
式を用いてもよい。なお、ピーク開始タイミングａ，
ｂ，ｃ，…は、残差波形から抽出されたものであるの
で、必ずしもフレームポイント上にあるとは限らない。
しかし、このような場合でも、再配置後のビート周期
T_a’，T_b’，……にわたって補間することができる。再
配置後のピーク点の振幅データについても、上述した周
波数データと同様に再配置して補間すればよい。

【００２４】位相データについては、位相データの再配
置をして、さらに、位相の変化量を補正する。すなわ
ち、ビート開始タイミングａ，ｂ，ｃ，…から、ビート
開始タイミングで区切られた期間T_a，T_b，T_c，……の位
相データを、再配置後のビート開始タイミングａ’，
ｂ’，…から、再配置後のビート開始タイミングで区切
られた期間T_a’，T_b’，……にわたって再配置するとと
もに、再配置によってタイムストレッチされた割合T_a’
/T_a，T_b’/T_b，……（原理的には、タイムストレッチ率
に等しいので、以下、タイムストレッチ率というが、両
者の間には計算誤差による微差がある）を、初期位相か
らの位相の変化量に乗算して補正する。この補正は、期
間の増減に比例して、位相変化量が変化するために行
う。

【００２５】図６は、正弦波合成できる波形のタイムス
トレッチ処理の第２の説明図である。図６（ａ）は原音
楽波形のピーク位相を模式的に示し、図６（ｂ）はタイ
ムストレッチ後のピーク位相を模式的に示す説明図であ
る。図５に示した、３本のピーク点軌跡に対応する位相
データを、ビート開始タイミングａからビート開始タイ
ミングｂの直前までの期間T_aについて、模式的に示して
いる。タイムストレッチ率の値は「２倍」としている。
初期位相を各ピーク点軌跡とも０としているが、初期位
相が互いに異なっていてもよい。ここでいう位相データ
は、各ピーク軌跡に対応する正弦波信号自体の位相を意
味する。すなわち、ある周波数f_xの周波数成分の軌跡の
位相は、（基準位相＋位相差）＝２πf_xt＋p_xである。
時間tの進行とともに正弦波信号の位相が回転する。

【００２６】図６（ａ）に示す位相データを、ビート開
始タイミングａ，ｂ，…で区切られた期間T_a，T_b，……
毎に、タイムストレッチ率に従って期間T_a’，T_b’，…
…に再配置する。このままでは、周波数データが１／２
になる。そこで、さらに、初期位相（ビート開始タイミ
ングａにおける位相）からの位相変化量を、縦軸方向に
タイムストレッチ率に従い、拡大あるいは縮小すること
によって、図６（ｂ）に示された位相データが得られ
る。このとき、位相は初期位相からの位相変化量がタイ
ムストレッチ率に従い、拡大あるいは縮小している。し
かし、位相の微分値に相当する周波数は、図５（ｂ）に
示した周波数と一致する。このように、位相データにつ
いては、再配置をし、さらに、位相の変化量をタイムス
トレッチ率に比例して補正すればよい。

【００２７】上述した説明では、タイムストレッチ率を
整数値としたが、補間をするので、整数値でなくても正
弦波合成する上で問題とならない。一方、タイムストレ
ッチ率を１未満にしたときは、再配置後のピーク点同士
の間隔がフレームポイントの間隔（ホップサイズ）より
も短くなるが、補間をするので、正弦波合成する上で問
題とならない。図１に示した加算器５は、再配置された
残差波形および再配置され正弦波合成波形を加算して所
望のタイムストレッチ率の音楽波形を生成する。タイム
ストレッチ率が１を超えるときは原音楽波形の伸張とな
り、タイムストレッチ率が１未満のときは原音楽波形の
圧縮となる。

【００２８】上述した説明では、ピアノ演奏音楽波形を
実例にしたので、音符の開始（ノートオンタイミング）
を区切りとして再配置が行われることになる。リズムや
ボーカルが混在している一般音楽波形については、リズ
ムを演奏する楽器あるいは音声のアタック部分に発生す
る残差波形からビートが抽出されて、このアタック部分
を区切りとして再配置されることになる。ホップサイズ
は、楽曲のテンポや構成などに応じて変えてもよい。テ
ンポの速い曲や、短時間に押鍵，離鍵が繰り返されるよ
うな楽曲では小さくする。ホップサイズを楽曲の演奏部
分毎に変えて、最適化を図ってもよい。また、ビート抽
出のための閾値等の判定基準は、例えば経験的，実験的
に定め、対象楽器，楽曲，演奏者，演奏環境などによっ
て調整する。タイムストレッチの対象とする音楽波形
は、マイクロホンで拾ったものがリアルタイムにサンプ
リングされＡ／Ｄ変換されたものでもよいし、一旦記録
装置にアナログ記録された後に読み出され、サンプリン
グされＡ／Ｄ変換されたものでもよい。また、音楽波形
があらかじめサンプリングされＡ／Ｄ変換されて記録装
置に一旦デジタル記録された後に、読み出されたもので
もよい。

【００２９】図１に示した、各ブロックの機能は、CPU
（Central Processing Unit）に記憶装置に記憶された
プログラムを実行させることによって実現できる。ある
いは、全部あるいは一部のブロックを、信号処理プロセ
ッサDSP（Digital Signal Processor）にプログラムを
実行させることによって実現してもよい。STFFT部１
は、楽音分析や、楽音合成のために使用される汎用性の
ある処理であるので、本発明のタイムストレッチ装置に
対して外付けの処理装置から分析結果を入力してもよ
い。ビート抽出部２は、音楽波形のエンベロープ検出技
術を用いればよい。正弦波合成できない波形のタイムス
トレッチ部３は、バッファメモリを用いて信号処理をす
ればよい。正弦波合成できる波形のタイムストレッチ部
４は、ピーク点データをバッファメモリに入れて再配置
し補間値を計算した後に、正弦波波形サンプル値が記憶
されたROM（Read Only Memory）を読み出す。その際、
出力正弦波信号の周波数、位相、振幅を再配置後のピー
ク点データに基づいて制御し、複数のピーク点軌跡に対
応した出力正弦波信号を加算合成すればよい。

【００３０】

【発明の効果】本発明は、上述した説明から明らかなよ
うに、対象とする音楽波形が、リズムやメロディ、ボー
カル等が混在するようなものであっても、高品位な時間
軸圧縮伸張を実現できるという効果がある。音楽波形が
どのような楽器音色であるのか、どのようなジャンルの
音楽であるのかによる影響を受けにくく、高品位のタイ
ムストレッチを実現できるという効果がある。

【図面の簡単な説明】

【図１】 本発明のタイムストレッチ装置のブロック構
成図である。

【図２】 ピアノ演奏波形の波形図である。

【図３】 ピアノ演奏波形のピーク点データを示す分析
図である。

【図４】 正弦波合成できない波形のタイムストレッチ
処理の説明図である。

【図５】 正弦波合成できる波形のタイムストレッチ処
理の第１の説明図である。

【図６】 正弦波合成できる波形のタイムストレッチ処
理の第２の説明図である。

【符号の説明】

１…STFFT分析部、２…ビート抽出部、３…正弦波合成
できない波形のタイムストレッチ部、４…正弦波合成で
きる波形のタイムストレッチ部、５…加算器

Claims (2)

【特許請求の範囲】
1. 【請求項１】 原音楽波形に対して所定の時間間隔で短
   時間スペクトル分析が行われて得られた、スペクトルの
   ピーク点データと、該スペクトルのピーク点データから
   は正弦波合成できない残差波形とを入力する短時間スペ
   クトル分析結果の入力手段と、 前記残差波形の振幅に基づいて第１のビート開始タイミ
   ングを抽出するビート開始タイミング抽出手段と、 前記第１のビート開始タイミングを、所定のタイムスト
   レッチ率に応じて再配置して第２のビート開始タイミン
   グを決定するとともに、前記残差波形を、前記第１のビ
   ート開始タイミング毎に分割し、分割された前記残差波
   形を前記第２のビート開始タイミングの位置に再配置す
   る残差波形のタイムストレッチ手段と、 前記スペクトルのピーク点データを前記第１のビート開
   始タイミング毎に分割し、分割された各区間の前記スペ
   クトルのピーク点データを、前記第２のビート開始タイ
   ミングで区切られた期間にわたって再配置した上で正弦
   波合成する正弦波合成波形のタイムストレッチ手段と、 前記残差波形のタイムストレッチ手段の出力および前記
   正弦波合成波形のタイムストレッチ手段の出力とを加算
   する加算手段、 を有することを特徴とする音楽波形のタイムストレッチ
   装置。
2. 【請求項２】 原音楽波形に対して所定の時間間隔で短
   時間スペクトル分析が行われて得られた、スペクトルの
   ピーク点データと、該スペクトルのピーク点データから
   は正弦波合成できない残差波形とを入力する短時間スペ
   クトル分析結果の入力ステップと、 前記残差波形の振幅に基づいて第１のビート開始タイミ
   ングを抽出するビート開始タイミング抽出ステップと、 前記第１のビート開始タイミングを、所定のタイムスト
   レッチ率に応じて再配置して第２のビート開始タイミン
   グを決定するとともに、前記残差波形を、前記第１のビ
   ート開始タイミング毎に分割し、分割された前記残差波
   形を前記第２のビート開始タイミングの位置に再配置す
   る残差波形のタイムストレッチステップと、 前記スペクトルのピーク点データを前記第１のビート開
   始タイミング毎に分割し、分割された各区間の前記スペ
   クトルのピーク点データを、前記第２のビート開始タイ
   ミングで区切られた期間にわたって再配置した上で正弦
   波合成する正弦波合成波形のタイムストレッチステップ
   と、 前記残差波形のタイムストレッチステップの出力および
   前記正弦波合成波形のタイムストレッチステップの出力
   とを加算する加算ステップ、 を有することを特徴とする音楽波形のタイムストレッチ
   方法。