JP2001051700A - マルチトラック音源信号の時間軸圧伸方法及び装置 - Google Patents

マルチトラック音源信号の時間軸圧伸方法及び装置

Info

Publication number
JP2001051700A
JP2001051700A JP11226264A JP22626499A JP2001051700A JP 2001051700 A JP2001051700 A JP 2001051700A JP 11226264 A JP11226264 A JP 11226264A JP 22626499 A JP22626499 A JP 22626499A JP 2001051700 A JP2001051700 A JP 2001051700A
Authority
JP
Japan
Prior art keywords
sound source
source signal
signal
time axis
companding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11226264A
Other languages
English (en)
Other versions
JP4300641B2 (ja
Inventor
Kazunobu Kondou
多伸 近藤
Koji Niimi
幸二 新美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP22626499A priority Critical patent/JP4300641B2/ja
Priority to US09/634,215 priority patent/US6835885B1/en
Publication of JP2001051700A publication Critical patent/JP2001051700A/ja
Application granted granted Critical
Publication of JP4300641B2 publication Critical patent/JP4300641B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/008—Means for controlling the transition from one tone waveform to another
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025—Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G10H2250/035—Crossfade, i.e. time domain amplitude envelope control of the transition between musical sounds or melodies, obtained for musical purposes, e.g. for ADSR tone generation, articulations, medley, remix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】 マルチトラック音源信号に対して時間軸圧伸
処理を施す際に、リズムトラック音源信号からアタック
位置を検出し、そのアタック位置に基づいて全トラック
の音源信号に時間軸圧伸を施して、再生時の音質の劣化
を防止する。 【解決手段】 マルチトラック音源信号の入力オーディ
オ信号x(t)は、アタック検出部１に入力され、その信号
のうちのリズムトラック音源信号については、ここでア
タック位置が検出される。この入力オーディオ信号x(t)
は、時間軸圧伸処理部２にも供給されており、時間軸圧
伸処理部２は、入力オーディオ信号x(t)のアタック検出
部１で検出されたアタック位置間の信号について時間軸
圧伸処理を施す。このことにより、マルチトラック音源
信号の時間軸圧伸の際に発生する音質変化を防止する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、原ディジタル信
号のピッチを変えずに原ディジタル信号を所望とする圧
伸率で時間軸圧伸するディジタル信号の時間軸圧伸方法
及び装置に関し、特にマルチトラック音源信号に対する
時間軸圧伸方法及び装置に関する。
【０００２】
【従来の技術】ディジタル・オーディオ信号のピッチを
変えずに、その信号の時間軸を圧縮又は伸長する時間軸
圧伸技術は、例えば、収録されたディジタル・オーディ
オ信号全体の収録時間を所定の時間に合わせ込む所謂
「尺合わせ」やカラオケ装置等のテンポ変換等に利用さ
れる。従来より、この種の時間軸圧伸技術としては、例
えば特開平10-282963号公報に開示されているカット・
アンド・スプライス法やポインター移動量制御による重
複加算法（“ポインター移動量制御による重複加算法を
用いた音声の時間積での伸長圧縮とその評価”；森田、
板倉、昭和61年10月；日本音響学会秋期大会講演論文集
1-4-14，PP149）等が知られている。
【０００３】一般的なカット・アンド・スプライス法に
よる時間軸圧伸処理は、原オーディオ信号において波形
とは無相関に波形の切り出しを行った後、切り出した波
形を繋ぎ合わせて指定された圧伸率での圧伸処理を行う
ものである。この時、切り出し波形同士の繋ぎの部分で
は、波形の不連続が生じるので、クロスフェード処理を
行ってフレームの繋ぎ部分を滑らかにしている。この場
合、切り出し間隔は、人間の聴覚上でエコー感や音のダ
ブリ感が知覚されにくい間隔、例えば60ｍsec程度に設
定され、特に特開平10-282963号の方式では、音声タイ
ミング情報に同期して切り出しの長さを決めている。こ
の方式では通常の方式に比べ、元波形のリズムと同じ周
期で繋ぎ目が現れるので、繋ぎ目の部分の音質変化が目
立ちにくいという特徴がある。
【０００４】一方、ポインター移動量制御による重複加
算法では、原オーディオ信号において波形相関の最も高
い隣接した同じ長さの２つの区間を抽出し、これらの区
間の信号を重複加算してこの重複加算された信号を元の
２つの区間と入れ換えたり、元の２つの区間の間に挿入
したりすることで、全体的な時間を変化させている。こ
の方式は、カット・アンド・スプライス法よりもスムー
ズな波形接続が可能となるので、特に音声信号や単音楽
器のようなピッチ性の高い音源に対して、より品質の高
い時間軸圧伸処理が可能となる。
【０００５】
【発明が解決しようとする課題】しかしながら、従来の
一般的なカット・アンド・スプライス法では、どのよう
な信号を対象としてもそれなりの音質が期待できるとい
うメリットはあるものの、波形とは無相関に決められた
切り出し位置により、やはり波形の繋ぎ目での音質変化
は知覚されやすく、特にリズム音源を対象とした場合に
は、二度打ちやリズムの狂いといった非常に目立つ音質
劣化を発生させやすいという問題がある。また、ボーカ
ルトラックやピアノトラック、リズムトラック等の複数
のトラックで構成されるマルチトラック音源を対象とし
た場合には、各トラックを別々に時間軸圧伸処理する
と、時間軸圧伸処理後の各トラックの発音タイミングが
ずれてしまうという問題もある。
【０００６】また、特開平10-282963号の方式では、元
波形のリズムに同期したカット・アンド・スプライスと
なっているが、特に伸長の場合、波形を切り出す際に２
つのアタックが一つの切り出し波形の中に含まれること
があり、この場合二度打ちが発生する。更に、ポインタ
ー移動量制御による重複加算法では、波形の時間相関を
見ながら時間軸圧伸を行うため、二度打ちは原理的に起
きないと考えられる。しかし、時間軸圧伸後のアタック
位置については全く保証されておらず、この結果、リズ
ムのずれが生じ易い。
【０００７】この発明は、このような問題点に鑑みなさ
れたもので、マルチトラック音源信号に対して適切な時
間軸圧伸処理を施して、マルチチャンネル再生やミック
スダウン後の再生の音質劣化を防ぐマルチトラック音源
信号の時間軸圧伸方法及び装置を提供することを目的と
する。
【０００８】
【課題を解決するための手段】この発明に係るマルチト
ラック音源信号の時間軸圧伸方法は、リズム音源信号を
含むオーディオ信号からなる時間軸圧伸処理すべきマル
チトラック音源信号において、前記マルチトラック音源
信号のうちのリズムトラック音源信号からアタック位置
を検出し、この検出されたアタック位置の間のリズムト
ラック音源信号に対して時間軸圧伸処理を施すと共に、
前記アタック位置に基づいて前記マルチトラック音源信
号のリズムトラック音源信号を除いた他のトラック音源
信号に対しても時間軸圧伸処理を施すようにしたことを
特徴とする。
【０００９】また、この発明に係るマルチトラック音源
信号の時間軸圧伸装置は、リズム音源信号を含むオーデ
ィオ信号からなる時間軸圧伸処理すべきマルチトラック
音源信号のうちのリズムトラック音源信号からアタック
位置を検出するアタック位置検出手段と、このアタック
位置検出手段で検出されたアタック位置間のマルチトラ
ック音源信号をピッチを変えずに予め指定された圧伸率
で時間軸圧伸処理する時間軸圧伸処理手段とを備えたこ
とを特徴とする。
【００１０】更に、この発明に係るマルチトラック音源
信号の時間軸圧伸プログラムは、リズム音源信号を含む
オーディオ信号からなる時間軸圧伸処理すべきマルチト
ラック音源信号のうちのリズム音源信号からアタック位
置を検出するステップと、この検出されたアタック位置
間のマルチトラック音源信号をピッチを変えずに予め指
定された圧伸率で時間軸圧伸処理するステップとを備え
たことを特徴とする。
【００１１】この発明によれば、マルチトラック音源信
号におけるリズム音源信号のアタック位置を検出し、検
出されたアタック位置間でマルチトラック音源信号に対
する時間軸圧伸処理を施すようにしているので、信号電
力が大きいアタック波形から起こる聴覚マスキング効果
により、クロスフェード処理での波形の繋ぎ目の音質変
化は知覚されにくい。また、アタック位置の間隔も圧伸
率に応じて圧縮又は伸長されることになるので、圧伸処
理前後のアタック位置の相対関係は完全に維持され、カ
ット・アンド・スプライス法による音質変化が知覚され
ない高品質な再生音を得ることができる。
【００１２】この発明は、好ましくは、マルチトラック
音源信号のうち、リズムトラック音源信号に対しては、
その検出されたアタック位置とその近傍とを除いた部分
について時間軸圧伸処理を行いこの時間軸圧伸処理され
た信号の両端を時間軸圧伸処理されない信号と滑らかに
結合するようにすると共に、残りのトラックの音源信号
に対しては、上記アタック位置において時間軸圧伸処理
による結合部がそれぞれ同期するようにする。滑らかに
結合させるには、例えば時間軸圧伸処理の際に、両端部
での処理波形が元の信号波形とほぼ似通うようにした
り、或いはクロスフェード処理で結合させるようにすれ
ばよい。上記処理によって時間軸圧伸が施されたマルチ
トラック音源信号を再生した場合、アタックの部分の波
形はそのまま維持されるので、信号が持つ本来の音に近
い音が得られる。
【００１３】
【発明の実施の形態】以下、図面を参照して、この発明
の実施例を説明する。図１は、この発明の一実施例に係
るマルチトラック音源信号の時間軸圧伸装置の基本構成
を示すブロック図である。時間軸圧伸すべきマルチトラ
ック音源信号であるディジタル・オーディオ信号x(t)
は、アタック検出部１に入力されている。このアタック
検出部１では、マルチトラック音源信号のうちのリズム
トラック音源信号に存在する、“アタック”を検出す
る。即ち、アタックの波形レベルでは信号電力の急激な
集中と変化となっているので、ある閾値によって単位時
間当たりの信号電力の評価を行うと共に、この信号電力
の時間微分によって、波形の急激な変化点を検出するの
である。この２つの検出動作を組み合わせることによ
り、リズムトラック音源内のほぼ全てのアタックの検出
が可能になり、この検出結果は、アタック位置情報とし
て時間軸圧伸処理部２に出力される。
【００１４】一方、入力オーディオ信号x(t)は、時間軸
圧伸処理部２にも供給されており、この時間軸圧伸処理
部２は、入力されたオーディオ信号のうち、アタック検
出部１で検出されたリズムトラック音源信号のアタック
位置間の信号について時間軸圧伸処理を施すと共に、そ
の検出されたアタック位置に基づき、他のトラックにつ
いても同様に時間軸圧伸処理を行う。この時間軸圧伸処
理部２における圧伸方式としては、カット・アンド・ス
プライス法、ポインタ移動量制御による重複加算法、リ
バーブ、ティザ、ループの繰り返し等種々の方法を適用
することができる。ここでは、主としてカット・アンド
・スプライス法による圧伸方式について説明する。
【００１５】図２は、図１で示されたマルチトラック音
源信号の時間軸圧伸装置の構成を更に詳しく説明するた
めの図である。入力されたマルチトラック音源信号は、
例えばリズムトラックTr、ボーカルトラックT1、ピアノ
トラックT2及びその他のトラックTnからなり、リズムト
ラックTrの音源信号については、アタック検出部１でア
タック位置の検出が行われる。その結果得られたアタッ
ク位置情報ATは、各トラック毎に設けられた時間軸圧伸
処理部２1,２2,２3,．．．,２nへ伝送される。時間軸圧
伸処理部２1〜２nでは、伝送されてきたアタック位置情
報ATに基づき各トラック音源信号のアタック位置間の信
号に時間軸圧伸処理を施す。この時間軸圧伸処理の際
に、切り出された波形の両端部での処理波形が、元の信
号波形とほぼ似通うように処理をしたり、或いはクロス
フェード処理をしたりすることにより、時間軸圧伸処理
された信号の両端を時間軸圧伸処理されない信号と結合
させる時に、繋ぎ目の目立たない滑らかな結合を可能に
する。こうして時間軸圧伸処理部２1〜２nで時間軸圧伸
処理された各トラックの音源信号は、ミキシング回路３
に入力される。ミキシング回路３に入力された各トラッ
クの音源信号は、ミキシング回路３内部にある加算器４
にて合成され、ミキシング処理を施された後、ミキシン
グ処理された信号MTとして出力される。
【００１６】図３Ａは、リズムトラック音源信号に対す
る時間軸圧伸処理部２の基本構成を示すブロック図であ
る。マルチトラック音源信号のうち、入力されたリズム
トラック・オーディオ信号Trx(t)は、遅延バッファ11に
保存される。この遅延バッファ11は、波形の時間軸伸長
処理及びピッチ抽出処理等に必要なデータ量が格納され
るリングバッファであり、遅延バッファ11に保存された
オーディオ信号は、隣接波形読出制御部12の制御に基づ
き種々の区間長で切り出され、隣接波形のデータとして
順次読み出される。波形類似度計算部13は、隣接波形読
出制御部12の制御のもとで読み出された隣接波形のデー
タの類似度を計算する。制御部14は、求められた類似度
から隣接波形が最も類似する区間長を求め、これを基本
周期（ピッチ）Lpとして波形読出制御部15に出力する。
波形読出制御部15は、アタック検出部１で検出され、制
御部14に与えられたアタック位置情報ATに基づき、アタ
ック間の信号について与えられた基本周期Lpだけ離れた
２つのデータを遅延バッファ11から読み出す。遅延バッ
ファ11から読み出された２つのデータD1，D2は、波形窓
掛け・加算部16、圧伸率制御部17及び出力バッファ18か
らなる圧伸処理制御手段に供給される。波形窓掛け・加
算部16に供給されたデータD1，D2は、ここで所定の時間
窓関数を乗算されて加算される。また、一方のデータD2
は、圧伸率制御部17にも供給されており、圧伸率制御部
17では、制御部14から与えられる圧伸処理の対象長さL
の情報に基づいて、原オーディオデータから波形を切り
出す。圧伸処理の対象長さLは、予め設定された圧伸率R
と、抽出された基本周期Lpとに基づき制御部14で算出さ
れる。そして、波形窓掛け・加算部16で加算された波形
と圧伸率制御部17で切り出された原波形とが、出力バッ
ファ18において合成処理されて時間軸圧伸された出力リ
ズムトラック・オーディオ信号Try(t)が生成されるので
ある。
【００１７】また、図３Ｂは、リズムトラック音源信号
を除くマルチトラック音源信号に対する時間軸圧伸処理
部２の基本構成を示すブロック図である。時間軸圧伸す
べきマルチトラック・オーディオ信号Tnx(t)は、波形メ
モリ21に順次格納される。波形メモリ21は、波形の時間
軸伸長処理等に必要なデータ量が格納されるリングバッ
ファである。波形メモリ21に格納されたオーディオ信号
は、読出位置制御部22の制御に基づき種々の切り出し開
始位置から所定のデータ長で順次読み出される。読出位
置制御部22は、制御部14からの圧伸率Ｒとアタック位置
情報とに基づいて波形メモリ21からの２つのデータの読
出位置を制御する。波形メモリ21から読み出されたデー
タd1，d2は、クロスフェード部23に供給され、ここで制
御部14からのアタック位置情報に基づきアタック位置に
同期したクロスフェード処理を施される。出力カウント
部24は、出力信号のデータ数をカウントすると共に、ク
ロスフェード処理された出力マルチトラック・オーディ
オ信号Tny(t)を出力する。制御部14は、外部から指定さ
れた圧伸率Ｒに基づいてクロスフェード時間等を決定し
たり、アタック位置情報に基づいて切り出しデータ長等
を決定する。また、制御部14は、決定された切り出しデ
ータ長を出力カウント部24にセットし、出力カウント部
24が制御部14によってセットされた切り出しデータ長を
カウントしたら、次の切り出しを実行するように各部を
制御する。
【００１８】次に、このように構成された本実施例の装
置の動作を説明する。図４は、アタック検出部１におけ
るリズムトラック音源信号のアタック検出処理の手順を
示すフローチャートである。アタックの位置は、信号電
力Powとその時間微分値Spwとにより求めることができ
る。信号電力Powの計算は、図６に示すように、予め定
めた信号電力計算時間T1の信号について、予め定めた信
号電力評価更新時間長T2で順次更新しながら行う。ここ
では、T1＝３msec，T2＝１msecとする。
【００１９】先ず、ステップS1で入力信号をx(t)とし、
時間軸上の前のアタック位置をPreAtkとする。ステップ
S2で入力信号x(t)のアタックが300msecを超えている場
合には、ステップS13にて300msecを区切りとして時間軸
圧伸し、300msecを超えていない場合には、ステップS3
へ進む。ステップS3では、この場合３msecの入力信号x
(t)から信号電力Powを次式、
【００２０】
【数１】Pow＝sqrt[Σx(t)]
【００２１】により求める。ステップS6で、求められた
信号電力Powに対してこの場合1000に設定された閾値に
よる評価を行う。しかし、アタックとは言っても信号波
形の立ち上がりが急峻であるだけで、実際立下りはかな
りの持続時間を持つものも多いので、ステップS5で、１
つ前のフレームの信号電力PrePowとの差分絶対値Dpwを
次式、
【００２２】
【数２】Dpw＝abs(PrePow−Pow)
【００２３】のように求め、ステップS7及びステップS8
で、この差分Dpwが閾値を超える場合を検出する。この
時、信号の中の平均電力AvePowの大きな部分と小さな部
分で、その閾値を変更することが望ましい。何故なら、
平均電力AvePowの大きな部分では、その中にアタックが
存在した場合、差分Dpwの値は小さなものとなってしま
うからである。また、信号電力Powの小さな部分では、
アタックの急激な立ち上がりにより差分Dpwの値は大き
なものとなる。具体的には、電力の平方根、つまり元の
信号の振幅スケールに対しての差分の値を、例えばステ
ップS7にあるように、信号電力Powの大きな部分に対し
ては500、ステップS8にあるように、小さな部分に対し
ては1000を適用する。尚この時、ステップS6での平均電
力AvePowの評価においても、ステップS8と同じく1000を
適用する。
【００２４】このように計算された信号電力Powに対し
て、ステップS4にてその時間微分Spwを次式、
【００２５】
【数３】Spw＝dPow／dt
【００２６】のように求める。この際、本来のアタック
よりも少し前の場所を検出するために、過去の３つのフ
レームの信号電力を平均化して、それを元に微分値を計
算する手順の傾き計算をすると良い。ステップS7及びス
テップS8では、この傾きが所定の閾値以上の場合を検出
する。
【００２７】このような上述の処理によりステップS9に
て、アタックの候補Atkが検出される。但し、実際には
アタックの間隔は殆どが30msec以上の間隔となっている
ため、ステップS10及びステップS11では、アタックを検
出した場合には、それが前回検出したアタックから30ms
ec以上間隔を空けているかどうかを検出条件としてい
る。アタックが検出されなかった場合には、ステップS1
2で平均電力AvePow及び前回の電力PrePowを更新して以
上の処理を繰り返す。アタックが300msecを超えても存
在しない場合には、前述のようにステップS2及びステッ
プS13で300msecを上限として時間軸圧伸処理を施す。
【００２８】例えば、図５に示すように、リズムトラッ
ク音源の入力信号x(t)のアタックが８secと8.03secの位
置で検出されたとする。この時の伸長率が120%であると
すると、アタック間の30msecの信号が36msecに伸長され
る。時間軸伸長後の出力信号y(t)の最初のアタック位置
がそれまでの伸長処理により決定される位置、例えば9.
6secであれば次のアタック位置は、36msec後の9.636sec
となる。
【００２９】こうしてリズムトラックTrから求められた
アタック位置に基づき、図６に示すように、時間軸圧伸
処理部２ではその他のトラックT1〜Tnについてその求め
られたアタック位置情報ATに基づき波形の切り出しを行
い、カット・アンド・スプライス法により時間軸圧伸処
理を施す。図６の場合、時間軸伸長を行ったもので、時
間軸伸長された信号の両端と時間軸伸長されない信号と
はクロスフェード処理により、滑らかに結合している。
【００３０】図７及び図８は、リズムトラックに対する
時間軸圧伸手法を説明するための図であり、図７は、圧
縮処理、図８は、伸長処理をそれぞれ示している。ま
ず、同図(a)に示すように、原オーディオデータの時間
軸方向の隣接波形区間の類似性判定処理を行って基本周
期Lpを抽出する。具体的には、区間長の初期値を最小値
Lminに設定して隣接する区間長Lminの波形の類似度を判
定する。これを区間長が最大値Lmaxとなるまで繰り返
し、最も類似していると判定された区間長を同図(b)の
ように基本周期Lpと決定する。次に、決定された基本周
期Lpの隣接する２つの波形に同図(c)に示すような窓関
数を掛けて、これらを同図(d)，(e)，(f)に示すように
重ね合わせる。図７(f)のように、重ね合わせた波形を
２つの基本周期の波形と置き換えれば時間軸圧縮とな
り、図８(f)のように、重ね合わせた波形を２つの基本
周期の波形の間に挿入すれば時間軸伸長となる。
【００３１】また、図９及び図10は、リズムトラックを
除くマルチトラックに対する時間軸圧伸手法を説明する
ための図である。図９は圧縮処理、図10は伸長処理をそ
れぞれ示している。リズムトラック以外のトラックで
は、アタック位置でのみクロスフェードを行う。この方
がアタック位置での聴感マスキング効果の面で望ましい
と言えるからである。波形の切り出し長さをLs1，Ls2、
切り出された波形の後端位置をto、次の切り出し波形の
先頭位置をtxとし、toからtxまでのオフセット長さLoff
時間内に現在の終端部と次に切り出す波形の先端部のク
ロスフェード期間tcfでクロスフェード処理を行う。こ
のクロスフェード期間tcfを波形の切り出し長さLs1とLs
2とで重ね合わせれば図９で示すように時間軸圧縮とな
り、Ls1とLs2との間に挿入すれば図10に示すように時間
軸伸長となる。
【００３２】図11は、リズムトラックに対する時間軸圧
伸処理の手順を示すフローチャートである。リズムトラ
ック音源の入力信号x(t)は、ステップS21で遅延バッフ
ァ11に必要な量が格納される。この遅延バッファ11の容
量は、最低でも波形の区間長の最大値Lmax×２のサンプ
ル容量が必要である。次に、ステップS22で、類似度判
定のための基本周期区間長Lpの初期値として最小値Lmin
が与えられ、類似度Sとして最大値Smaxが与えられる。
そしてステップS23で類似度Sが計算されると共に、ステ
ップS24で区間長Lpを１つずつ増やし、ステップS25及び
ステップS23でLpが最大値Lmaxに達するまで類似度Sを計
算し、最終的にステップS23にて最も類似性の高かった
区間長Lpを求める。
【００３３】図７及び図８を参照して明らかなように、
現在点T0からT0+Lp−1間での区間の波形Wave Aと、T0+L
pからT0+2Lpまでの区間の波形Wave Bとの類似度演算を
することにより類似性判定を行う。これらの区間の対応
する各時間軸方向の位置をtx,tx+Lpとすると、類似度S
は二乗誤差によって次式、
【００３４】
【数４】
【００３５】で求めることができる。この場合、類似度
Sが小さいほど類似性が高いことを示すことになる。勿
論、このような二乗誤差の他に誤差の絶対値和や自己相
関関数を用いることもできる。
【００３６】この装置の時間軸圧伸処理部２では、例え
ば図12に示すように、アタック位置間の区間の前端部分
（アタック位置）及び後端部分（次回アタック位置の直
前位置）の信号は、そのままとして、その中間部分の信
号を時間軸圧伸処理する。時間軸圧伸処理は、時間軸圧
伸処理された信号の両端において、時間軸圧伸処理され
ない信号と滑らかに結合されるように行う。これによ
り、リズムトラックにおいて最も目立つアタックの部分
の波形はそのまま維持され、他のトラックにおいては、
たとえそのトラックのアタック位置で時間軸圧伸が行わ
れ、音質変化が起こったとしても、リズムトラックの信
号電力が他のトラックの信号電力よりも大きいという信
号特性による聴覚のマスキング効果によって、音質変化
は認識されにくいので、本来の音に近い音が得られる。
【００３７】また、このようにアタック位置を基本とす
る時間軸圧伸処理では、その処理はアタック間で完結
し、アタック位置の前後の信号は一切用いないことが重
要であり、かつ時間軸圧伸処理された信号と時間軸圧伸
処理されない信号とを滑らかに接続しなければならな
い。この場合、例えば時間軸圧伸処理をポインタ移動量
制御による重複加算法によって行うと、必ず処理しきれ
ない部分が発生し、特に時間軸圧伸率が100%に近い部分
ではこの部分が非常に長くなってしまう。
【００３８】そこで、その解決策の一例として、時間軸
伸長時に処理しきれなかった部分をアタック位置間の後
端部分からクロスフェードに必要な分のデータを取り出
して、一部をクロスフェードすることにより時間的なつ
じつまを合わせる処理を図13は示している。また、時間
軸伸長におけるクロスフェード時にデータが足りない場
合の解決策として、一部のデータを繰り返して伸長を行
う処理を図14は示している。
【００３９】時間軸圧縮時にも伸長時と同様に、処理し
きれなかった部分をクロスフェードして時間軸圧縮して
いる。その時間軸圧縮時の様子を図15は示しており、圧
縮時にはデータが不足することはあり得ないので、全て
アタック位置間の後端部分から必要なデータを取り出し
クロスフェードすればよいのである。
【００４０】
【発明の効果】以上述べたように、この発明によれば、
マルチトラック音源信号におけるリズムトラック音源信
号のアタック位置を検出し、検出されたアタック位置間
で時間軸圧伸処理を施し、その時間軸圧伸処理をその他
の全てのトラックにも実施するようにしているので、マ
ルチチャンネル再生やミックスダウン後の再生を行う際
に、時間軸圧伸による音質変化が知覚されない高品質な
再生音を得ることができる。
【図面の簡単な説明】
【図１】 この発明の一実施例に係るマルチトラック音
源信号の時間軸圧伸装置の基本構成を示すブロック図で
ある。
【図２】 同装置の構成を更に詳しく説明するための図
である。
【図３Ａ】 同装置におけるリズムトラック用の時間軸
圧伸処理部の構成を示すブロック図である。
【図３Ｂ】 同装置におけるリズムトラック以外のトラ
ック用の時間軸圧伸処理部の構成を示すブロック図であ
る。
【図４】 同装置におけるアタック検出部の処理を示す
フローチャートである。
【図５】 同装置による時間軸圧伸処理前後の信号の様
子を示す波形図である。
【図６】 同装置におけるアタック検出部の処理での信
号電力計算時間と更新時間及び時間軸圧伸処理部での時
間軸伸長のイメージを示す図である。
【図７】 同装置におけるリズムトラックの時間軸圧縮
処理を示す波形図である。
【図８】 同装置におけるリズムトラックの時間軸伸長
処理を示す波形図である。
【図９】 同装置におけるリズムトラック以外の時間軸
圧縮処理を示す波形図である。
【図10】 同装置におけるリズムトラック以外の時間軸
伸長処理を示す波形図である。
【図11】 同装置におけるリズムトラックの時間軸圧伸
処理のフローチャートである。
【図12】 この発明における他の実施例に係る時間軸伸
長処理前後の信号を示す波形図である。
【図13】 同処理におけるクロスフェード処理を説明す
るための図である。
【図14】 同処理におけるクロスフェード処理を説明す
るための図である。
【図15】 この発明の他の実施例に係る時間軸圧縮処理
におけるクロスフェード処理を説明するための図であ
る。
【符号の説明】
１…アタック検出部、２…時間軸圧伸処理部、11…遅延
バッファ、12…隣接波形読出制御部、13…波形類似度計
算部、14…制御部、15…波形読出制御部、16…波形窓掛
け・加算部、17…圧伸率制御部、18…出力バッファ、21
…波形メモリ、22…読出位置制御部、23…クロスフェー
ド部、24…出力カウント部。

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 リズム音源信号を含むオーディオ信号か
    らなる時間軸圧伸処理すべきマルチトラック音源信号に
    おいて、前記マルチトラック音源信号のうちのリズムト
    ラック音源信号からアタック位置を検出し、この検出さ
    れたアタック位置の間のリズムトラック音源信号に対し
    て時間軸圧伸処理を施すと共に、前記アタック位置に基
    づいて前記マルチトラック音源信号のリズムトラック音
    源信号を除いた他のトラック音源信号に対しても時間軸
    圧伸処理を施すようにしたことを特徴とするマルチトラ
    ック音源信号の時間軸圧伸方法。
  2. 【請求項２】 前記マルチトラック音源信号のうち、リ
    ズムトラック音源信号に対しては、前記検出されたアタ
    ック位置とその近傍とを除いた部分について時間軸圧伸
    処理を行いこの時間軸圧伸処理された信号の両端を時間
    軸圧伸処理されない信号と滑らかに結合するようにする
    と共に、残りのトラックの音源信号に対しては、前記ア
    タック位置において時間軸圧伸処理による結合部がそれ
    ぞれ同期するようにしたことを特徴とする請求項１記載
    のマルチトラック音源信号の時間軸圧伸方法。
  3. 【請求項３】 リズム音源信号を含むオーディオ信号か
    らなる時間軸圧伸処理すべきマルチトラック音源信号の
    うちのリズムトラック音源信号からアタック位置を検出
    するアタック位置検出手段と、 このアタック位置検出手段で検出されたアタック位置間
    のマルチトラック音源信号をピッチを変えずに予め指定
    された圧伸率で時間軸圧伸処理する時間軸圧伸処理手段
    とを備えたことを特徴とするマルチトラック音源信号の
    時間軸圧伸装置。
  4. 【請求項４】 前記時間軸圧伸処理手段は、前記マルチ
    トラック音源信号のうち、リズムトラック音源信号に対
    しては、前記検出されたアタック位置とその近傍とを除
    いた部分について時間軸圧伸処理を行いこの時間軸圧伸
    処理された信号の両端を時間軸圧伸処理されない信号と
    滑らかに結合するようにすると共に、残りのトラックの
    音源信号に対しては、前記アタック位置において時間軸
    圧伸処理による結合部がそれぞれ同期するようにしたこ
    とを特徴とする請求項３記載のマルチトラック音源信号
    の時間軸圧伸装置。
  5. 【請求項５】 リズム音源信号を含むオーディオ信号か
    らなる時間軸圧伸処理すべきマルチトラック音源信号の
    うちのリズムトラック音源信号からアタック位置を検出
    するステップと、 この検出されたアタック位置間のマルチトラック音源信
    号をピッチを変えずに予め指定された圧伸率で時間軸圧
    伸処理するステップとを備えたことを特徴とするマルチ
    トラック音源信号の時間軸圧伸プログラムを記憶してな
    る媒体。
JP22626499A 1999-08-10 1999-08-10 マルチトラック音源信号の時間軸圧伸方法及び装置 Expired - Fee Related JP4300641B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP22626499A JP4300641B2 (ja) 1999-08-10 1999-08-10 マルチトラック音源信号の時間軸圧伸方法及び装置
US09/634,215 US6835885B1 (en) 1999-08-10 2000-08-09 Time-axis compression/expansion method and apparatus for multitrack signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22626499A JP4300641B2 (ja) 1999-08-10 1999-08-10 マルチトラック音源信号の時間軸圧伸方法及び装置

Publications (2)

Publication Number Publication Date
JP2001051700A true JP2001051700A (ja) 2001-02-23
JP4300641B2 JP4300641B2 (ja) 2009-07-22

Family

ID=16842489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22626499A Expired - Fee Related JP4300641B2 (ja) 1999-08-10 1999-08-10 マルチトラック音源信号の時間軸圧伸方法及び装置

Country Status (2)

Country Link
US (1) US6835885B1 (ja)
JP (1) JP4300641B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004527000A (ja) * 2001-04-13 2004-09-02 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディオ信号の高品質タイムスケーリング及びピッチスケーリング
WO2010146624A1 (ja) * 2009-06-15 2010-12-23 パイオニア株式会社 音声信号処理装置のタイムスケーリング方法、音声信号処理装置のピッチシフト方法、音声信号処理装置およびプログラム
JP2015022236A (ja) * 2013-07-22 2015-02-02 日本放送協会 信号処理装置及びプログラム
CN112119456A (zh) * 2018-04-24 2020-12-22 应确始听(上海)互联网科技有限公司 任意信号插入方法以及任意信号插入系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002248431B2 (en) * 2001-04-13 2008-11-13 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7711123B2 (en) 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US7610205B2 (en) * 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
KR100981691B1 (ko) * 2003-02-12 2010-09-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 재생 장치, 방법, 컴퓨터 판독 가능한 기록 매체
DE102005049485B4 (de) * 2005-10-13 2007-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Steuerung der Wiedergabe von Audioinformationen
US8655466B2 (en) * 2009-02-27 2014-02-18 Apple Inc. Correlating changes in audio
US9613605B2 (en) * 2013-11-14 2017-04-04 Tunesplice, Llc Method, device and system for automatically adjusting a duration of a song
US9880805B1 (en) 2016-12-22 2018-01-30 Brian Howard Guralnick Workout music playback machine
JP6904141B2 (ja) 2017-07-28 2021-07-14 カシオ計算機株式会社 楽音発生装置、方法、プログラム、及び電子楽器
JP6922614B2 (ja) * 2017-09-27 2021-08-18 カシオ計算機株式会社 電子楽器、楽音発生方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2612868B2 (ja) 1987-10-06 1997-05-21 日本放送協会 音声の発声速度変換方法
JPH05273964A (ja) 1992-03-30 1993-10-22 Brother Ind Ltd 自動採譜装置等に用いられるアタック時刻検出装置
JP3252497B2 (ja) 1992-12-02 2002-02-04 ヤマハ株式会社 波形データ編集装置
US5842172A (en) 1995-04-21 1998-11-24 Tensortech Corporation Method and apparatus for modifying the play time of digital audio tracks
JP3531305B2 (ja) 1995-07-19 2004-05-31 日本ビクター株式会社 アタック時刻検出装置
JP3221293B2 (ja) 1995-08-25 2001-10-22 ヤマハ株式会社 楽音信号処理装置
JP2976860B2 (ja) 1995-09-13 1999-11-10 松下電器産業株式会社 再生装置
US5749064A (en) 1996-03-01 1998-05-05 Texas Instruments Incorporated Method and system for time scale modification utilizing feature vectors about zero crossing points
US6049766A (en) 1996-11-07 2000-04-11 Creative Technology Ltd. Time-domain time/pitch scaling of speech or audio signals with transient handling
SG65729A1 (en) * 1997-01-31 1999-06-22 Yamaha Corp Tone generating device and method using a time stretch/compression control technique
US6169241B1 (en) * 1997-03-03 2001-01-02 Yamaha Corporation Sound source with free compression and expansion of voice independently of pitch
JP3759810B2 (ja) 1997-04-07 2006-03-29 ローランド株式会社 波形データの時間圧縮伸張方法および装置
JP3017715B2 (ja) 1997-10-31 2000-03-13 松下電器産業株式会社 音声再生装置
US6207885B1 (en) * 1999-01-19 2001-03-27 Roland Corporation System and method for rendition control
JP3546755B2 (ja) 1999-05-06 2004-07-28 ヤマハ株式会社 リズム音源信号の時間軸圧伸方法及び装置
JP3430974B2 (ja) * 1999-06-22 2003-07-28 ヤマハ株式会社 ステレオ信号の時間軸圧伸方法及び装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004527000A (ja) * 2001-04-13 2004-09-02 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディオ信号の高品質タイムスケーリング及びピッチスケーリング
EP2261892A3 (en) * 2001-04-13 2013-08-21 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
WO2010146624A1 (ja) * 2009-06-15 2010-12-23 パイオニア株式会社 音声信号処理装置のタイムスケーリング方法、音声信号処理装置のピッチシフト方法、音声信号処理装置およびプログラム
JP2015022236A (ja) * 2013-07-22 2015-02-02 日本放送協会 信号処理装置及びプログラム
CN112119456A (zh) * 2018-04-24 2020-12-22 应确始听(上海)互联网科技有限公司 任意信号插入方法以及任意信号插入系统
CN112119456B (zh) * 2018-04-24 2024-03-01 应确始听(上海)互联网科技有限公司 任意信号插入方法以及任意信号插入系统

Also Published As

Publication number Publication date
US6835885B1 (en) 2004-12-28
JP4300641B2 (ja) 2009-07-22

Similar Documents

Publication Publication Date Title
JP3546755B2 (ja) リズム音源信号の時間軸圧伸方法及び装置
US7250566B2 (en) Evaluating and correcting rhythm in audio data
JP4300641B2 (ja) マルチトラック音源信号の時間軸圧伸方法及び装置
US5781696A (en) Speed-variable audio play-back apparatus
JP3399297B2 (ja) 電子楽器
JP2000181449A (ja) 情報処理装置および方法、並びに提供媒体
KR100303913B1 (ko) 음성처리방법, 음성처리장치 및 기록재생장치
JP3430974B2 (ja) ステレオ信号の時間軸圧伸方法及び装置
JP2000322099A (ja) オーディオ信号の時間軸圧伸方法及び装置
US20030205123A1 (en) Apparatus and method for sampling and storing audio information and apparatus for outputting audio information
US20080097752A1 (en) Apparatus and Method for Expanding/Compressing Audio Signal
JP4581190B2 (ja) 音楽信号の時間軸圧伸方法及び装置
JP3221293B2 (ja) 楽音信号処理装置
JP3654117B2 (ja) 時間軸方向における楽音波形信号の伸縮方法
JP3925349B2 (ja) 音声データと演奏データの同期再生を行うための装置および方法
KR100359988B1 (ko) 실시간 화속 변환 장치
JP4063048B2 (ja) 音声データと演奏データの同期再生を行うための装置および方法
JP3795265B2 (ja) オーディオ情報再生方法及び装置並びにオーディオ情報出力装置
JPH0713596A (ja) 音声速度変換方法
JPH06337696A (ja) 速度変換制御装置と速度変換制御方法
JPH09146587A (ja) 話速変換装置
JP4278733B2 (ja) 波形データの演奏制御装置
JPH0772896A (ja) 音声の圧縮伸長装置
JPH10307581A (ja) 波形データ圧縮装置および方法
JP6424462B2 (ja) オーディオ信号の時間軸圧縮伸張方法および装置並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090331

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120501

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130501

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140501

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees