JP2003500703A - オーディオ信号タイムスケール変更 - Google Patents

オーディオ信号タイムスケール変更

Info

Publication number
JP2003500703A
JP2003500703A JP2000620623A JP2000620623A JP2003500703A JP 2003500703 A JP2003500703 A JP 2003500703A JP 2000620623 A JP2000620623 A JP 2000620623A JP 2000620623 A JP2000620623 A JP 2000620623A JP 2003500703 A JP2003500703 A JP 2003500703A
Authority
JP
Japan
Prior art keywords
frame
value
cross
correlation
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000620623A
Other languages
English (en)
Inventor
ダラー バレスティー
リチャード ディー ギャレリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003500703A publication Critical patent/JP2003500703A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 同期式重複加算（Synchronous Overlap Addition）に基づいた、フレームベースのディジタルオーディオ信号のタイムスケール変更処理の方法。この方法では、ディジタルオーディオの原フレームが複製され、所定の許容範囲内に所望の新しい期間を割り当てるよう当該原フレーム及び複製フレームが部分的に重複され、前記原フレームと複製フレームとの重複部分間における最も高い整合性の相互相関判定に基づいて前記所定の許容範囲内に当該重複の程度が調整され、前記原フレーム及び複製フレームの非重複部分から、当該重複部分間のクロスフェーディングにより新しいオーディオフレームが発生される。計算負荷を軽減するため、測定処理は、相互相関の前に前記原フレーム及び複製フレームに施され、これにより各オーディオフレーム部（１００）の規定値をそれぞれ有限の値アレイ（１０１〜１０６）に低減させ、さらに相互相関は、当該有限値アレイの対にのみ関連して行われる。さらに計算を簡素化するため、値（１０１〜１０６）は、信号の最大値又は最小値と識別され、両方ともそのフレームのマトリクス表示による非ゼロ値のみとして記憶され処理される。この技術を使用したディジタル信号処理装置も提案されている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル化されたオーディオ信号（アナログオーディオ波形信号
からのディジタル記憶サンプル値）の処理のための方法に関し、特に、かかる方
法を、原ピッチを持続又は変更しながら再生中に信号の持続期間を伸長すること
への応用に関する（但し、この応用に限定されるものではない）。本発明はまた
、このような方法を使用するディジタル信号処理装置に関する。
【０００２】
【従来の技術】
マルチメディアテクノロジーの莫大な増加と、自家用オーディオ及びビデオシ
ステムからの継続的なより高級な規格に対する消費者の期待は、自家用マルチメ
ディア製品で利用可能な機能数の増大を招くに至った。これらの機能は、極めて
コストに左右され易い分野における製品の差別化にとって不可欠なものであるの
で、新しい機能は、肝心のＣＰＵ及びメモリの条件とともに共用される場合が殆
どである。
【０００３】 このような機能の１つに、時間尺度（タイムスケール）変更（ＴＳＭ：Time S
cale Modification）アルゴリズムに概ね基づいたスローモーションオーディオ
がある。かかるアルゴリズムは、そのスペクトル（又はピッチ）の内容を変更す
ることなくオーディオ信号の時間的内容を伸長するものである。タイムスケーリ
ングアルゴリズムは、与えられた再生レートのために、当該信号の持続期間を延
ばしたり縮めたりすることができる。こうしたアルゴリズムは、スローモーショ
ンオーディオがピッチの持続されたスローモーションビデオに機能拡張が可能と
なるディジタルビデオ、外国語学習、留守番電話及びフィルム産業の製造後、と
いったような分野において応用例がある。
【０００４】 ＴＳＭアルゴリズムは、３つの主要なカテゴリ、時間領域法、周波数領域法及
びパラメトリックモデリング法に属する。最も簡単な（しかも計算上効率的な）
アルゴリズムは、時間領域の手法であり、殆ど全てがSpeech Communications, V
ol. 16, 1995, pp175-205におけるE. Moulines氏及びJ. Laroche氏による”Non-
parametric techniques for pitch scale and time scale modification of spe
ech”や、http://www.cs.ust.hk/~rren/sound_tech_/TSM_Paper_Long.htm で見
られる、the Hong Kong University of Science & Technology Computer Scienc
e DepertmentのRui Ren氏による”An Edge Detection Method for Time Scale M
odification of Accoustic Signals”の中で記述されているような、重複加算（
ＯＬＡ：Overlap Add）又は同期式重複加算（ＳＯＬＡ：Synchronous Overlap A
dd）の原理に基づいている。ＯＬＡにおいては、基本（波）周波数の幾つかのピ
ッチ周期を含む音楽又は音声の短時間フレームが所定の長さを有している。すな
わち、これを短くするため、当該入力の短時間フレームの複製データが当該原デ
ータに重複加算され、これと同時に当該重複の間にクロスフェードが掛けられて
当該ブロック境界の不連続性を除去するようにしている。これらについては、図
２，図３及び図４を参照して以下でより詳細に説明する。上記ＯＬＡ処理は実施
するのに簡単かつ効果的であるが、その結果として得られる品質は、当該フレー
ム境界（継ぎ目のポイント）に反響効果が招来されるので、比較的乏しいもので
ある。これら人為的悪影響は、フレーム間で位相情報が失われるという結果であ
る。
【０００５】 これら局部的反響作用を解消するために、S. Roucos 及びA. Wilgus氏により
、IEEE International Conference on Acoustics, Speech and Signal Processi
ng, March 1985, pp493-496の”High Quality Time-Scale Modification for Sp
eech”において上記ＳＯＬＡ技術が提案された。この提案において、直角合成窓
は、基本波の１ピッチ周期に概ね関連した限定的範囲にわたりその分解又は分析
窓を横切り、スライドすることが許容されたのである。そして、正規化された相
互相関関数は、当該データブロック間における最大類似性のポイントを見つける
のに用いられたのである。このＳＯＬＡアルゴリズムは、知覚的に高い品質の出
力を発生するものであるが、その正規化相互相関を実現するのに必要な計算コス
トによって、メモリ及びＣＰＵが限定されるシステムにとっては実現不可なもの
となる。
【０００６】
【発明が解決しようとする課題】
本発明の目的は、ＳＯＬＡ技術に基づきつつ計算コストをより低くくして同様
の品質を提供する信号処理技術（及びこれを使用する装置）を提供することであ
る。
【０００７】
【課題を解決するための手段】
本発明によれば、フレームベースのディジタルオーディオ信号のタイムスケー
ル変更処理の方法であって、所定期間のフレーム毎に、ディジタルオーディオの
原フレームが複製され、所定の許容範囲内に所望の新しい期間を割り当てるよう
当該原フレーム及び複製フレームが部分的に重複され、前記原フレームと複製フ
レームとの重複部分間における最も高い整合性の相互相関判定に基づいて前記所
定の許容範囲内に当該重複の程度が調整され、前記原フレーム及び複製フレーム
の非重複部分から、当該重複部分間のクロスフェーディングにより新しいオーデ
ィオフレームが発生される、方法であって、
【０００８】 測定処理は、相互相関の前に前記原フレーム及び複製フレームの重複部分に施
され、当該測定処理は、各オーディオフレーム部の規定値をそれぞれ有限の値ア
レイに低減させ、前記相互相関は、当該有限値アレイの対にのみ関連して行われ
る、ことを特徴とする方法が提供される。この（分布）測定処理の導入により、
計算上集中的な相互相関関数により扱われるべきデータ量は非常に減少し、もっ
てこれまでのものよりも下級又は小規模のＣＰＵ及び／又はメモリ容量を有する
システムにより当該技術の実施がなされるのである。
【０００９】 前記重複部分に対して、前記測定処理は、前記オーディオ信号部分の周期的又
は非周期的最大値及び最小値を適正に識別し、これらの値を前記各アレイに配列
する。さらに処理を容易とするために、前記重複部分は、前記重複部分内におい
て各オーディオサンプリング周期毎にそれぞれの列を有し、規定される各離散信
号レベル毎にそれぞれの行を有するマトリクスの形式でそれぞれ規定され、前記
相互相関は、当該マトリクスの対に施される。前記オーディオ信号レベルには中
間レベルが規定され、前記最大値及び最小値は、前記最大値及び最小値は、前記
中間値に対して正又は負の値として規定されるものとしてもよい。
【００１０】 計算の負担を減らすためには、相互相関の前に、前記マトリクスのうちの少な
くとも１つは、それぞれ最大又は最小強度が割り当てられる最大又は最小位置を
除きゼロが割り当てられた１次元ベクトルに変換されるものとしてもよい。
【００１１】 現在の実施の形態においては、前記原フレームと複製フレームとの重複が適正
に調整されうる幅の当該最大所定許容範囲は、相互相関による過度の遅延を避け
るために、前記原フレームのオーディオ信号のピッチ周期（以下で詳細に説明さ
れる）に基づいた値に限定されたものである。
【００１２】 前述の中間値を特定すると、前記最大値又は最小値が、前記中間値の一対の交
差点間における正又は負の当該信号の最大記録強度として識別されるものとする
ことができる。ここで前記中間値のゼロ交差点は、隣接ディジタルサンプル値間
で符号の変化があった場合に又は信号サンプル値が前記中間値と厳密に一致した
場合に生じたものと判定されうる。
【００１３】 また、本発明により、上に列挙したタイムスケール変更処理方法を複数フレー
ムの記憶ディジタルオーディオ信号に適用するよう構成されるディジタル信号処
理装置であって、当該オーディオフレームを記憶するよう構成された記憶手段と
、フレーム毎に、ディジタルオーディオの原フレームを複製し、所定の許容範囲
内に所望の新しい期間を割り当てるよう当該原フレーム及び複製フレームを部分
的に重複させるステップ、前記原フレームと複製フレームとの重複部分間におけ
る最も高い整合性を判定するよう相互相関を行うことにより前記所定の許容範囲
内に当該重複の程度を調整するステップ、及び前記原フレーム及び複製フレーム
の非重複部分から、当該重複部分間のクロスフェーディングにより新しいオーデ
ィオフレームを発生するステップ、を行うプログラムが施されたプロセッサと、
を有する装置であって、前記プロセッサは、相互相関の前に前記原フレーム及び
複製フレームの重複部分に測定処理を施し、当該各オーディオフレーム部の規定
値をそれぞれ有限の値アレイに低減させ、当該有限値アレイの対にのみ関連して
前記相互相関を行うようにもプログラムされた、ことを特徴とする装置が提供さ
れる。
【００１４】
【発明の実施の形態】
以下、本発明のさらなる特徴及び好ましい実施例を説明する。ここでは例示に
よってのみ、そして添付図面を参照して説明する。
【００１５】 図１は、カラオケマシン又はパーソナルコンピュータの如きプログラマブルオ
ーディオデータ処理システムを示している。このシステムは、中央処理装置（Ｃ
ＰＵ）１０を有し、この装置は、アドレス及びデータバス１２を介してランダム
アクセスメモリ装置（ＲＡＭ）及び読出専用メモリ装置（ＲＯＭ）１４，１６に
結合される。これらメモリ装置の容量は、このシステムに、ＣＤ−ＲＯＭのよう
な付加的メモリデバイスから読み取りをなす手段１８を設けることにより増やす
こともできる。この場合、リーダ１８は、音声データ記憶デバイス２０のための
再生デッキを兼ねる。
【００１６】 ＣＰＵ１０にバス１２を介して結合されるものとしては、それぞれデータ及び
オーディオ処理用の第１及び第２インターフェース段２２，２４もある。データ
インターフェース２２に結合されるのは、ユーザコントローラ２６である。この
コントローラは、キーボードについての幾つかの制御の他に、ＰＣの実施形態に
おけるマウス又はトラックボールの如きカーソル制御及び選択デバイスをも担い
うるものである。データインターフェース２２に結合されるのには、１つ以上の
ディスプレイ装置２８もある。かかるディスプレイ装置は、単純なＬＥＤ表示器
から、表示ドライバ及びＶＤＵまでにも及びうるものである。
【００１７】 オーディオインターフェース２４に結合されるのは、第１及び第２のオーディ
オ入力部３０であり、この入力部は、一対のマイクロフォン（図示せず）を有す
るものとすることができる。このシステムからのオーディオ出力は、オーディオ
処理段によりドライブされる１つ以上のスピーカ３２を通じてなされる。このオ
ーディオ処理段は、オーディオインターフェース２４内の専用段として設けられ
ることもできるし、またＣＰＵ１０により実施される機能のグループの形態でな
されることも可能である。増幅をなすことに加え、このオーディオ処理段はまた
、ＣＰＵ１０の制御の下で信号処理の能力を呈し、エコー特にＴＳＭ処理を経た
伸長の如き音声処理を追加することが可能なように構成される。
【００１８】 本発明の内容及び特長の説明に移る前に、例によって図２、図３及び図４を参
照してＯＬＡ／ＳＯＬＡの基本的原理を最初に概説しておくことは効果的である
。
【００１９】 先ず、基本波周波数の幾つかのピッチ周期を有する音楽すなわち音声の短時間
フレームを考える。ここではその長さをＮサンプルとする。この長さをＮからＮ
′（例えば１．７５Ｎ）に増加させるために、入力の短時間フレーム（長さＮ）
の複製データは、ポイントＳｔＯｌを始まりとしてその原フレームに重複加算さ
れる。この例では、Ｎ′＝１．７５Ｎ、ＳｔＯｌは０．７５Ｎである。この構成
は、図２に示される。陰付きの部分は、データブロック間の重複箇所（長さＯｌ
）であり、下側のトレースから分かるように、その重複箇所にわたり当該ブロッ
ク境界における不連続性を除去するために線形クロスフェードが掛けられる。
【００２０】 ＯＬＡ処理は実施するのに簡単で効果的であるが、結果として得られる品質は
、比較的乏しいものである。何故なら、反響（残響）効果がフレーム境界（継ぎ
目のポイント）に誘引されるものであるからである。これらの人為的不利益は、
フレーム間において位相情報が失われる結果となる。
【００２１】 重複の領域において、次のことを見出した。分解又は分析ブロックは、フェー
ドアウトに移行する元のフレーム（すなわち原フレーム）の部分（セクション）
である。合成ブロックは、フェードインに移行する重複フレームの部分（セクシ
ョン）である（当該オーディオフレームの開始）。この分解及び合成ブロックは
、図３において（ａ）及び（ｂ）にそれぞれ示されている。両方のブロックが同
様のピッチ情報を有することが分かるが、合成ブロックは、分解ブロックとは位
相外れの状態である。これにより、上述したようなそして図４に示されるような
反響の人為的作用が招来されるのである。
【００２２】 これら局部的な反響を解消するために、ＳＯＬＡ技術を適用することが可能で
ある。この技術においては、直角合成窓が使用可能で、限定範囲［０，Ｋｍａｘ ］にわたりその分解窓を横切ってスライドすることができる。ここでＫｍａｘは
基本波の１ピッチ周期を表す。そして、正規化された相互相関（関数）が、デー
タブロック間の最大類似性のポイントを見つけるのに用いられる。ピッチ同期の
結果は、図３において（ｃ）で破断されたプロット線により示される。（ｂ）の
合成波は、左にシフトし両方の波形におけるピークが位置合わせされる。
【００２３】 上述したように、ＳＯＬＡアルゴリズムは、知覚的に高い品質の出力を発生す
るものであるが、その正規化相互相関（関数）を得るのに必要な計算コストは、
ＣＰＵ及びメモリに限界のあるシステムにとって、かかるアルゴリズムを不可能
なもものに至らしめるものである。かくして本出願人は、比較的に低消費電力シ
ステムにその実施をなすことを考慮すべく処理の複雑さを軽減するためには、何
らかの手段が必要であると気づいたのである。
【００２４】 ＳＯＬＡアルゴリズムに用いられる正規化相互相関（関数）は次の形式を有す
る。
【００２５】
【数１】 ここで、ｊは範囲［０，Ｏｌ］にわたって計算され、Ｏｌは重複の長さであり
、ｘは分解ブロックであり、ｙは合成ブロックである。この最大値Ｒ（ｋ）は、
同期ポイントに相当する。
【００２６】 処理の観点からいえば、これには、ｋの値毎に、３×Ｏｌ乗算累積（ｍａｃｓ
）、１回の乗算、１回の除算及び１回の平方根演算が必要となる。実行可能と考
えられる最大の重複が０．９５Ｎなので、この処理は、莫大な計算負荷となる。
【００２７】 理想的には、ｋの範囲は、同期化すべき最低周波数の１つのピッチ周期以上と
すべきである。この場合におけるＫＭＡＸの提案値は、４４８サンプルである。
これにより、約１００Ｈｚの等価ピッチ同期周期となる。これは、所望される応
用例にとって適切なオーディオ品質になるよう実験的に決定されたものである。
このｋの値に対し、正規化相互相関の検索には、フレーム当たり約３００万ｍａ
ｃｓまで必要となることが予想される。この極端な演算回数の解決法は、分布測
定段階と疎相互相関段階とによりなされるものであり、どちらも以下で説明する
。
【００２８】 分解及び合成ブロックの両方は分布測定される。この段階は、当該データブロ
ックをサーチしてゼロ交差点検出をなし、各対のゼロ交差点間で局部的最大及び
最小値の位置及び振幅を返すことによりなされる。局部的最大値（又は最小値）
の各々は、分布測定（又はプロファイル）ポイントとして定義される。このサー
チは、データブロック全体のサーチが終わったときか或いは測定ポイント（Ｐｍ ａｘ ）の最大数が見つかったときのいずれかで完了する。
【００２９】 その後合成ベクトルの測定情報は、その後に、当該測定ブロックに等しい長さ
を有するものの最初はゼロに設定される全ての成分を有するマトリクス（行列）
Ｓを生成するのに使用される。そしてこのマトリクスは、当該測定ポイントに対
応するゼロでない項目（要素）が疎らに割り当てられる。合成ブロック１００及
びＳの双方は、図５に示される。
【００３０】 この例からは、合成ブロックはマトリクスＳに入れ替えられたものであること
が明らかである。ここでマトリクスＳは、１０１〜１０６で示されるように、６
つのゼロでない項目（測定ポイント）のみを含むものである。
【００３１】 ゼロ交差点間の局部最大値（又は最小値）を判定するために、ゼロ交差点の条
件が明確に規定されていなければならない。ゼロ交差点の色々な配置での主観的
な試験により次のようなゼロ交差点の定義が導かれている。すなわち、 ・正のゼロでない数から負のゼロでない数への符号の変化及びその逆の変化があ
ったとき、又は ・厳密に振幅がゼロの成分があったとき、 のいずれかでゼロ交差点が生じる、といった定義である。
【００３２】 この定義には、正からゼロへの遷移又は負からゼロへの遷移については言及し
ていない。
【００３３】 ここで疎相互相関の計算について説明すると、関連のステップは次の如くであ
る。先ず、分解及び合成波形の両方が分布測定される。これにより、それぞれｘ ｐ （位置，強度）の形式の、２つの２−Ｄアレイ（配列）Ｘｐ及びＹｐになる。
ここで、 ｘｐ（０，０）＝第１最大値（最小値）の位置 ｘｐ（０，１）＝第１最大値（最小値）の強度 である。
【００３４】 分布測定されたアレイの各カラム（列）は、最大値（又は最小値）の位置及び
最大値（又は最小値）の強度を含んでいる。これらアレイは、長さ＝Ｐanalysis 又はＰsynthesis、最大長さ＝Ｐmax、分布測定ポイントの最大数としている。
【００３５】 １−Ｄ合成ベクトルＳ（これは合成バッファ長に等しい長さを有する）は、ｙ ｐ （ｉ，０）の位置を除いてゼロが割り当てられる。ここでｉ＝０，１，…，Ｐ synthesis であり、強度ｙ（ｉ，１）が割り当てられている。
【００３６】 疎相互相関は、次のようになる。
【数２】 ここで、Ｐlocは、範囲［０＋ｋ，Ｏｌ＋ｋ］内に存在する合成ポイントの数
である。
【００３７】 これにより平方根が除去されたものとなることが分かる。また、エネルギーの
計算
【外１】 は１フレームにつき１度計算されるだけなので、式２から除去可能であることが
分かる。
【００３８】 フレーム当たり要求されるｍａｃｓの結果として得られる数は、今度は合成測
定ポイントの最大数（Ｐｍａｘ）によって限定される。すなわち、好ましい実施
の形態では、Ｐｍａｘ＝１２７であり、この値は、当該サーチにとって十分な分
解能を提供することが判明している。これは、フレーム毎に、最悪ケースにおけ
るフレーム当たりの計算負荷＝２×１２７×４４８は、Ｏｌに対して、今度はＰ ｍａｘ により限定されることを意味している。その改善率は、Ｏｌ／Ｐｍａｘに
よって見積もることができる。ここでのＯｌ／Ｐｍａｘの値は、２０４８個のサ
ンプルの重複の間に約１０分の１だけその計算負荷を軽減させるものである。フ
レーム当たり約１２．５ｋサイクルの付加的負荷があるが、これは、計算上の効
率としては２０ないし３０％のオーダの改善である。本方法及びＳＯＬＡアルゴ
リズムにつき行われた客観的テスト及び非公式の主観的テストの双方において同
様の結果が得られている。
【００３９】 ここでＴＳＭ処理のためのバッファ管理の問題を考えると、許容誤差Ｋｍａｘ 内で当該フレームと重複することにより、その合成バッファは、長さ＝Ｏｌ＋Ｋ ｍａｘ を有しなければ鳴らないという制約が加わることになる。これはリアルタ
イムシステムであるので、他の制約としては、当該タイムスケールブロックは、
フレーム毎にＮ′個のサンプルの最小値を出力しなければならない。両方の制約
を考慮に入れるため、次のバッファ管理が実施される。ピッチ増加の場合とピッ
チ低減の場合とでは異なるので、別々に説明する。
【００４０】 最初にピッチ増加を考える。図６は、ピッチ同期を伴う時間伸長処理を示して
いる。この図からは、ｋ＝Ｋｍａｘの場合、時間伸長されたフレームの長さはＮ
′よりも小さくなることが分かる。これを解消するために、ＳｔＯｌは、Ｋｍａ ｘ だけ単純に増加させられる。これにより、当該フレームの端部において予備の
サンプル（範囲［０，Ｋｍａｘ］）を生じることとなる。これらのサンプルは、
バッファに格納され図７に示されるように次のフレームの始端に加えられる。こ
の結果、現在の入力フレームに対しては可変長（Ｎactual）となるので、スケー
ルファクタ（すなわちＮ′／Ｎactual）は、フレーム毎に再計算されなければな
らない。ある所与のフレームＮがＮ′を超えたとすると、当該入力フレームから
のＮ′個のサンプルが出力され、いずれか残ったサンプルが次のフレームの先頭
に加えられる。
【００４１】 次にピッチ低減の説明に移る。この場合、前フレームから残ったサンプルは、
記憶され重複され現フレームの先頭に加えられる。この分解ブロックは、ここで
は、現フレームの先頭であり、合成ブロックは、当該前フレームからのサンプル
によって構成される。また、合成ブロックは、Ｏｌ＋Ｋｍａｘ−１よりも大なる
長さを有していなければならない。合成ブロックがこの長さよりも小さい場合に
は、単純に当該現入力フレームの先頭に加えられる。Ｎ′個のサンプルは出力さ
れ、その残りのサンプルは、次のフレームに同期式で重複加算されるよう記憶さ
れる。この処理は、フレーム毎にＮ′個のサンプルの最小値を保証する。
【００４２】 フレーム間の円滑な遷移を可能とするために、線形のクロスフェードが当該重
複部にわたって掛けられる。このクロスフェードは、２つの規制値すなわち最小
及び最大長をもって設定されたものである。この最小長は、それ以下であるとオ
ーディオ品質が許し難いレベルまで悪化するとされる長さとして規定されたもの
である。かかる最大の限定値は、本システムに加わっている不要な負荷を避ける
ために設けられたものである。この実施形態においては、最小クロスフェード長
は、５００個のサンプルと設定されたものであり、最大値は１０００個のサンプ
ルに設定されたものである。
【００４３】 次に、図８及び図９の表を参照して、疎相互相関の効率を改善するべく適用さ
れうる他の簡素化の例を説明する。
【００４４】 先ず、分解及び合成フレームの分布測定を行った結果を示す図８の表について
考える。アレイＳｐ及びＡｐが（それぞれ合成及び分解フレームから）作成され
、これら各々は、１２７個の測定項目のうちの最大値を保持している。各項目は
、測定ポイントの強度の他に、当該ポイントがその原分解及び合成フレームにお
いて見つけられた位置をも含むものである。これは、単一ロー項目測定アレイが
作られ、他方のフレーム（合成フレーム）が当該原フレームと同じサイズの、疎
らに割り当てられたアレイにより表されていた、という点で、前述した実施の形
態とは異なるものである。この図から分かるように、各アレイは、当該プロファ
イルが完成していることを示すべく位置の項目において−１で終結させられてい
る。
【００４５】 このプロファイルを計算するためｊ＝０，…，Ｋの各値に対し次のことが行わ
れる。 Initialise variable Ap_count and Sp_count to zero （変数 Ap_count と Sp_count をゼロに初期化する） Chose either Ap or Sp (say Ap) as the initial driving array （Ap か又は Sp を初期ドライブアレイとして選択する）
【００４６】 ドライブ及び非ドライブアレイｄ及びｎｄは、ポインタとして設けられており
、これらは、Ａｐ又はＳｐのどちらが当該アルゴリズムの特定の反復のためのド
ライバなのかを指し示すのに用いられる。これらはまた、値ｄ＿ｃｏｕｎｔ及び
ｎｄ＿ｃｏｕｎｔを保持するものであり、特定のアレイがドライブアレイとして
機能している間、ａｐ＿ｃｏｕｎｔ及びｎｄ＿ｃｏｕｎｔの中間値を保持するの
に用いられる。
【００４７】 なお、どのアレイがドライブアレイかにより、実際上.loc又は.loc+kの値のど
ちらかの値が後の計算に用いられる。これは、例えば、常にj*gateを.loc値に加
えることにより効果的に行われうるものであり、分解フレームが選ばれるかどう
かに基づいてgateは０又は１のどちらかの値となる。それでｄ＿ｇａｔｅ及びｎ
ｄ＿ｇａｔｅは、これらgate値を保持し、ドライブアレイポインタが入れ替わっ
たときにはそのgate値も入れ替わるべきものとなる。よって、ドライブ及び非ド
ライブアレイの.loc値の比較は、 Is driving[d_count].loc+j*d_gate>non_driving[nd_count].loc+j*nd_gate となる。
【００４８】 したがって、反復実行開始となる。 Compare driving[d_count].loc+j*_gate with non_driving[nd_count].loc+j*nd
_gate
【００４９】 当該２つの位置が一致した場合は、今度はどちらかが相互相関の加算を行うか
、或いはＡｐ及びＳｐ強度値（.loc値と同じ様式でアクセスしたもの）を「後で
乗算するための値」のリストに加える。Ｓｐ＿ｃｏｕｎｔ及びＡｐ＿ｃｏｕｎｔ
（ｄ＿ｃｏｕｎｔ及びｎｄ＿ｃｏｕｎｔ）を増加させ、数値Ap[Ap_count].loc,
Sp[Ap_count].loc+j（この２つが一致した場合はどちらか選択する）の最大値を
見つけ、もって新しいドライブアレイに当該計算を導かせることにより、新しい
ドライブアレイを選択する。
【００５０】 これら値が一致しない場合、 ・ドライブアレイの.loc値が非ドライブアレイの.loc値よりも大きいときには
非ドライブアレイの＿ｃｏｕｎｔ値をインクリメントする。 ・ドライブアレイの.loc値が非ドライブアレイの.loc値より小さいときにはド
ライブアレイの＿ｃｏｕｎｔ値をインクリメントする。 ・双方が同じでなければ、当該ドライブアレイを、より高い値ｌｏｃ値を持つ
ものとする。このようなケースでは何も行わない。
【００５１】 ここで新たな反復が行われ、これを、どちらのアレイも、分布測定アレイの１
つが使い尽くされることを示す、−１で終結するまで継続させる。乗算が上記位
相の間に行われなかったとすると、共に乗算すべき強度値のリストはここで抽出
され相互相関（関数）が計算されるべきである。上記例においては、ｊ＝１につ
いて処理が示されている。
【００５２】 下位概念における実施の形態に必要とされると思われる合計の数４と比較して
、上記の手法では２つの乗算のみが上記実施形態の付加的複雑性とともにｊ＝１
で行われている。表面上これは重要でない不利益である。しかし分布測定ポイン
トが増加するので、乗算回数を減少させる範囲はさらに小さくなる。実行される
乗算回数は、どちらかの分布測定アレイにおけるポイント数のより小さいものに
よって限度が決まる。これは、前に示した実施の形態におけるが如き分解アレイ
における数により限度が決定されるものとは対照的であり、高い利点を持つ可能
性が出てくる。
【００５３】 基本的にソフトウェアの実施形態につき説明したが、当業者が読めば、上述の
作用的特徴の多くは殆ど等しくハードウェアでも実現可能であることが分かる筈
である。相互相関（関数）をスピードアップするのに用いられた分布測定（プロ
ファイリング）は、必要とされるｍａｃｓの数を劇的に減らすことになるが、あ
る程度のポインタ演算量を招くものである。フィリップス半導体事業部（Philip
s Semiconductors）のTriMediaTMのような、多整数及び浮動小数点実行ユニット
を備えるプロセッサは、浮動小数点ｍａｃｓと共に効率的にこの浮動小数点演算
を行うのに好適なものである。
【００５４】 ここで記述した技術は、TriMediaのキャッシュの良好な使用をなせるという点
でTriMediaに関してさらなる利点を持つものである。直進性相互相関が２*２０
４８のフレームサイズで行われたとすると、１６ｋのデータ又はフルのキャッシ
ュが必要となる。結果として、望ましくない幾らかのキャッシュ通信量があると
見込まれる。ここで記述した手法により、最初のステップとして処理されるべき
データ量が低減され、もって良好なキャッシュパフォーマンスをもたらすことと
なる。
【００５５】 当業者であればこの開示内容を読むことにより、他の改変例は明らかとなる。
そのような改変例は、画像処理及び／又はデータネットワークアクセス装置及び
デバイス及びその構成パーツの設計、製造及び使用において既に知られ、ここで
既に説明した特徴に代え又は加えて用いることの可能な他の特徴を含みうるもの
である。
【図面の簡単な説明】
【図１】 本発明の上位装置（ホスト）として動作するのに適したプログラマ
ブルデータ処理装置のブロック概略図。
【図２】 既知の重複加算（ＯＬＡ）時間伸長処理を示す図。
【図３】 オーディオファイルの一対の重複する複製データからオーディオ信
号切片のマッチングを示す図。
【図４】 図３の信号切片に対する重複境界における位相情報の損失を表す図
。
【図５】 後続の相互相関のオーディオ信号切片の疎らなマトリクスの表示の
発生を表す図。
【図６】 １ピッチ増加のための重複加算を表す図。
【図７】 タイムスケール変更バッファ管理（制御）のサンプルの移動を示す
図。
【図８】 疎相互相関関数における分解及び合成ブロックのサンプル値の表を
示す図。
【図９】 さらに簡素化された相互相関処理の進行を表の形式で示す図。
【符号の説明】
１０…ＣＰＵ １２…アドレス及びデータバス １４…ＲＡＭ １６…ＲＯＭ １８…ディスクＲ／Ｗ ２０…オーディオデータ記憶デバイス ２２…データＩ／Ｆ ２４…オーディオＩ／Ｆ ２６…ユーザコントローラ ２８…表示器 ３０…マイク ３２…スピーカ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ギャレリー リチャード ディー オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ Ｆターム(参考） 5C053 FA24 GB11 JA01 KA24 LA11 5D044 AB05 BC04 CC04 DE37 FG07 FG10 FG18 FG23 HL15 5D045 BA02 【要約の続き】 として記憶され処理される。この技術を使用したディジ タル信号処理装置も提案されている。

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 フレームベースのディジタルオーディオ信号のタイムスケール
    変更処理の方法であって、所定期間のフレーム毎に、 ディジタルオーディオの原フレームが複製され、 所定の許容範囲内に所望の新しい期間を割り当てるよう当該原フレーム及び複
    製フレームが部分的に重複され、 前記原フレームと複製フレームとの重複部分間における最も高い整合性の相互
    相関判定に基づいて前記所定の許容範囲内に当該重複の程度が調整され、 前記原フレーム及び複製フレームの非重複部分から、当該重複部分間のクロス
    フェーディングにより新しいオーディオフレームが発生される、 方法であって、 測定処理は、相互相関の前に前記原フレーム及び複製フレームの重複部分に施
    され、当該測定処理は、各オーディオフレーム部の規定値をそれぞれ有限の値ア
    レイに低減させ、前記相互相関は、当該有限値アレイの対にのみ関連して行われ
    る、 ことを特徴とする方法。
  2. 【請求項２】 請求項１に記載の方法であって、前記重複部分に対して前記測
    定処理は、前記オーディオ信号部分の周期的又は非周期的最大値及び最小値を識
    別し、これらの値を前記各アレイに配列する、方法。
  3. 【請求項３】 請求項２に記載の方法であって、前記重複部分は、前記重複部
    分内において各オーディオサンプリング周期毎にそれぞれの列を有し、規定され
    る各離散信号レベル毎にそれぞれの行を有するマトリクスの形式でそれぞれ規定
    され、前記相互相関は、当該マトリクスの対に施される、方法。
  4. 【請求項４】 請求項３に記載の方法であって、前記オーディオ信号レベルに
    は中間レベルが規定され、前記最大値及び最小値は、前記最大値及び最小値は、
    前記中間値に対して正又は負の値として規定される、方法。
  5. 【請求項５】 請求項３又は４に記載の方法であって、相互相関の前に、前記
    マトリクスのうちの少なくとも１つは、それぞれ最大又は最小強度が割り当てら
    れる最大又は最小位置を除きゼロが割り当てられた１次元ベクトルに変換される
    、方法。
  6. 【請求項６】 請求項１に記載の方法であって、前記原フレームと複製フレー
    ムとの重複が調整されうる幅の当該所定許容範囲は、前記原フレームのオーディ
    オ信号のピッチ周期に基づく、方法。
  7. 【請求項７】 請求項４に記載の方法であって、前記最大値又は最小値は、前
    記中間値の一対の交差点間における正又は負の当該信号の最大記録強度として識
    別される、方法。
  8. 【請求項８】 請求項７に記載の方法であって、前記中間値のゼロ交差点は、
    隣接ディジタルサンプル値間で符号の変化があった場合に生じたものと判定され
    る、方法。
  9. 【請求項９】 請求項７に記載の方法であって、前記中間値のゼロ交差点は、
    信号サンプル値が前記中間値と厳密に一致した場合に生じたものと判定される、
    方法。
  10. 【請求項１０】 請求項１ないし９のいずれか１つに記載のタイムスケール変
    更処理方法を複数フレームの記憶ディジタルオーディオ信号に適用するよう構成
    されるディジタル信号処理装置であって、当該オーディオフレームを記憶するよ
    う構成された記憶手段と、フレーム毎に、 ディジタルオーディオの原フレームを複製し、所定の許容範囲内に所望の新し
    い期間を割り当てるよう当該原フレーム及び複製フレームを部分的に重複させる
    ステップ、 前記原フレームと複製フレームとの重複部分間における最も高い整合性を判定
    するよう相互相関を行うことにより前記所定の許容範囲内に当該重複の程度を調
    整するステップ、及び 前記原フレーム及び複製フレームの非重複部分から、当該重複部分間のクロス
    フェーディングにより新しいオーディオフレームを発生するステップ、 を行うプログラムが施されたプロセッサと、 を有する装置であって、 前記プロセッサは、相互相関の前に前記原フレーム及び複製フレームの重複部
    分に測定処理を施し、当該各オーディオフレーム部の規定値をそれぞれ有限の値
    アレイに低減させ、当該有限値アレイの対にのみ関連して前記相互相関を行うよ
    うにもプログラムされた、 ことを特徴とする装置。
JP2000620623A 1999-05-21 2000-05-15 オーディオ信号タイムスケール変更 Pending JP2003500703A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB9911737.6A GB9911737D0 (en) 1999-05-21 1999-05-21 Audio signal time scale modification
GB9911737.6 1999-05-21
PCT/EP2000/004430 WO2000072310A1 (en) 1999-05-21 2000-05-15 Audio signal time scale modification

Publications (1)

Publication Number Publication Date
JP2003500703A true JP2003500703A (ja) 2003-01-07

Family

ID=10853815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000620623A Pending JP2003500703A (ja) 1999-05-21 2000-05-15 オーディオ信号タイムスケール変更

Country Status (6)

Country Link
US (1) US6944510B1 (ja)
EP (1) EP1099216B1 (ja)
JP (1) JP2003500703A (ja)
DE (1) DE60009827T2 (ja)
GB (1) GB9911737D0 (ja)
WO (1) WO2000072310A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7683903B2 (en) 2001-12-11 2010-03-23 Enounce, Inc. Management of presentation time in a digital media presentation system with variable rate presentation capability
US7421376B1 (en) * 2001-04-24 2008-09-02 Auditude, Inc. Comparison of data signals using characteristic electronic thumbprints
US20040064308A1 (en) * 2002-09-30 2004-04-01 Intel Corporation Method and apparatus for speech packet loss recovery
US7426470B2 (en) * 2002-10-03 2008-09-16 Ntt Docomo, Inc. Energy-based nonuniform time-scale modification of audio signals
DE10327057A1 (de) * 2003-06-16 2005-01-20 Siemens Ag Vorrichtung zum zeitlichen Stauchen oder Strecken, Verfahren und Folge von Abtastwerten
TWI259994B (en) * 2003-07-21 2006-08-11 Ali Corp Adaptive multiple levels step-sized method for time scaling
US8150683B2 (en) * 2003-11-04 2012-04-03 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus, method, and computer program for comparing audio signals
US20050137729A1 (en) * 2003-12-18 2005-06-23 Atsuhiro Sakurai Time-scale modification stereo audio signals
ATE488838T1 (de) 2004-08-30 2010-12-15 Qualcomm Inc Verfahren und vorrichtung für einen adaptiven de- jitter-puffer
US8085678B2 (en) * 2004-10-13 2011-12-27 Qualcomm Incorporated Media (voice) playback (de-jitter) buffer adjustments based on air interface
JP2006145712A (ja) * 2004-11-18 2006-06-08 Pioneer Electronic Corp オーディオデータ補間装置
US20060149535A1 (en) * 2004-12-30 2006-07-06 Lg Electronics Inc. Method for controlling speed of audio signals
US8355907B2 (en) * 2005-03-11 2013-01-15 Qualcomm Incorporated Method and apparatus for phase matching frames in vocoders
US8155965B2 (en) * 2005-03-11 2012-04-10 Qualcomm Incorporated Time warping frames inside the vocoder by modifying the residual
US7664558B2 (en) * 2005-04-01 2010-02-16 Apple Inc. Efficient techniques for modifying audio playback rates
US7580833B2 (en) * 2005-09-07 2009-08-25 Apple Inc. Constant pitch variable speed audio decoding
US8345890B2 (en) * 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8744844B2 (en) 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US8194880B2 (en) 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
US8204252B1 (en) 2006-10-10 2012-06-19 Audience, Inc. System and method for providing close microphone adaptive array processing
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
CA2650419A1 (en) * 2006-04-27 2007-11-08 Technologies Humanware Canada Inc. Method for the time scaling of an audio signal
US8849231B1 (en) 2007-08-08 2014-09-30 Audience, Inc. System and method for adaptive power control
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
US8934641B2 (en) 2006-05-25 2015-01-13 Audience, Inc. Systems and methods for reconstructing decomposed audio signals
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
TWI312500B (en) * 2006-12-08 2009-07-21 Micro Star Int Co Ltd Method of varying speech speed
US8340078B1 (en) * 2006-12-21 2012-12-25 Cisco Technology, Inc. System for concealing missing audio waveforms
US8259926B1 (en) 2007-02-23 2012-09-04 Audience, Inc. System and method for 2-channel and 3-channel acoustic echo cancellation
US8189766B1 (en) 2007-07-26 2012-05-29 Audience, Inc. System and method for blind subband acoustic echo cancellation postfiltering
US8143620B1 (en) 2007-12-21 2012-03-27 Audience, Inc. System and method for adaptive classification of audio sources
US8180064B1 (en) 2007-12-21 2012-05-15 Audience, Inc. System and method for providing voice equalization
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8355511B2 (en) 2008-03-18 2013-01-15 Audience, Inc. System and method for envelope-based acoustic echo cancellation
US8521530B1 (en) 2008-06-30 2013-08-27 Audience, Inc. System and method for enhancing a monaural audio signal
US8774423B1 (en) 2008-06-30 2014-07-08 Audience, Inc. System and method for controlling adaptivity of signal modification using a phantom coefficient
JP2010017216A (ja) * 2008-07-08 2010-01-28 Ge Medical Systems Global Technology Co Llc 音声データ処理装置，音声データ処理方法、および、イメージング装置
US9008329B1 (en) 2010-01-26 2015-04-14 Audience, Inc. Noise reduction using multi-feature cluster tracker
US9031268B2 (en) 2011-05-09 2015-05-12 Dts, Inc. Room characterization and correction for multi-channel audio
CN103268765B (zh) * 2013-06-04 2015-06-17 沈阳空管技术开发有限公司 民航管制语音稀疏编码方法
US9613605B2 (en) * 2013-11-14 2017-04-04 Tunesplice, Llc Method, device and system for automatically adjusting a duration of a song
JP6807033B2 (ja) * 2015-11-09 2021-01-06 ソニー株式会社 デコード装置、デコード方法、およびプログラム
GB2552150A (en) * 2016-07-08 2018-01-17 Sony Interactive Entertainment Inc Augmented reality system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636462A (ja) * 1992-07-22 1994-02-10 Matsushita Electric Ind Co Ltd ディジタル信号記録再生装置
JPH0677834A (ja) * 1992-08-25 1994-03-18 Sharp Corp ピッチ検出装置
JPH0844396A (ja) * 1994-08-04 1996-02-16 Nec Corp 音声符号化装置
JPH1145098A (ja) * 1997-07-28 1999-02-16 Seiko Epson Corp 音声波形の区切り点検出方法並びに話速変換方法および話速変換処理プログラムを記憶した記憶媒体
JPH11261499A (ja) * 1998-03-06 1999-09-24 Yrp Idou Tsushin Kiban Gijutsu Kenkyusho:Kk 遅延プロファイル測定における相関検出方法および相関検出装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2164480B (en) 1984-09-18 1988-01-13 Sony Corp Reproducing digital audio signals
IL84902A (en) * 1987-12-21 1991-12-15 D S P Group Israel Ltd Digital autocorrelation system for detecting speech in noisy audio signal
EP0392049B1 (de) 1989-04-12 1994-01-12 Siemens Aktiengesellschaft Verfahren zur Dehnung oder Raffung eines Zeitsignals
US5216744A (en) 1991-03-21 1993-06-01 Dictaphone Corporation Time scale modification of speech signals
US5175769A (en) * 1991-07-23 1992-12-29 Rolm Systems Method for time-scale modification of signals
US5641927A (en) * 1995-04-18 1997-06-24 Texas Instruments Incorporated Autokeying for musical accompaniment playing apparatus
US5842172A (en) * 1995-04-21 1998-11-24 Tensortech Corporation Method and apparatus for modifying the play time of digital audio tracks
US5850485A (en) * 1996-07-03 1998-12-15 Massachusetts Institute Of Technology Sparse array image correlation
DE19710545C1 (de) 1997-03-14 1997-12-04 Grundig Ag Effizientes Verfahren zur Geschwindigkeitsmodifikation von Sprachsignalen
US6092040A (en) * 1997-11-21 2000-07-18 Voran; Stephen Audio signal time offset estimation algorithm and measuring normalizing block algorithms for the perceptually-consistent comparison of speech signals
US6266003B1 (en) * 1998-08-28 2001-07-24 Sigma Audio Research Limited Method and apparatus for signal processing for time-scale and/or pitch modification of audio signals

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636462A (ja) * 1992-07-22 1994-02-10 Matsushita Electric Ind Co Ltd ディジタル信号記録再生装置
JPH0677834A (ja) * 1992-08-25 1994-03-18 Sharp Corp ピッチ検出装置
JPH0844396A (ja) * 1994-08-04 1996-02-16 Nec Corp 音声符号化装置
JPH1145098A (ja) * 1997-07-28 1999-02-16 Seiko Epson Corp 音声波形の区切り点検出方法並びに話速変換方法および話速変換処理プログラムを記憶した記憶媒体
JPH11261499A (ja) * 1998-03-06 1999-09-24 Yrp Idou Tsushin Kiban Gijutsu Kenkyusho:Kk 遅延プロファイル測定における相関検出方法および相関検出装置

Also Published As

Publication number Publication date
DE60009827D1 (de) 2004-05-19
GB9911737D0 (en) 1999-07-21
EP1099216A1 (en) 2001-05-16
WO2000072310A1 (en) 2000-11-30
US6944510B1 (en) 2005-09-13
EP1099216B1 (en) 2004-04-14
DE60009827T2 (de) 2005-03-17

Similar Documents

Publication Publication Date Title
JP2003500703A (ja) オーディオ信号タイムスケール変更
Zhu et al. Real-time signal estimation from modified short-time Fourier transform magnitude spectra
US8977551B2 (en) Parametric speech synthesis method and system
JP3294604B2 (ja) 波形の加算重畳による音声合成のための処理装置
US8145491B2 (en) Techniques for enhancing the performance of concatenative speech synthesis
JP4345321B2 (ja) 線形メディアの最適要約を自動作成する方法および情報を格納する情報格納メディアを備える製品
Virtanen Sound source separation using sparse coding with temporal continuity objective
US6073100A (en) Method and apparatus for synthesizing signals using transform-domain match-output extension
US7035791B2 (en) Feature-domain concatenative speech synthesis
Marafioti et al. Audio inpainting of music by means of neural networks
JP2001282278A (ja) 音声情報処理装置及びその方法と記憶媒体
US20150325248A1 (en) System and method for prosodically modified unit selection databases
Jensen The timbre model
US5812967A (en) Recursive pitch predictor employing an adaptively determined search window
JP2000075862A (ja) 波形信号の時間軸圧縮伸長装置
JP2003108178A (ja) 音声合成装置及び音声合成用素片作成装置
Lee et al. Real-time neural speech enhancement based on temporal refinement network and channel-wise gating methods
JP2003044077A (ja) 音声特徴量抽出方法と装置及びプログラム
JPH09244693A (ja) 音声合成方法及び装置
US5911170A (en) Synthesis of acoustic waveforms based on parametric modeling
US6259014B1 (en) Additive musical signal analysis and synthesis based on global waveform fitting
Steiglitz et al. Pitch extraction by trigonometric curve fitting
US20240331720A1 (en) Studio quality audio enhancement
JP7183556B2 (ja) 合成音生成装置、方法、及びプログラム
Jensen Perceptual and physical aspects of musical sounds

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100415

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110203