JP2004518162A - パラメトリック符号化における信号成分の連結 - Google Patents
パラメトリック符号化における信号成分の連結 Download PDFInfo
- Publication number
- JP2004518162A JP2004518162A JP2002556879A JP2002556879A JP2004518162A JP 2004518162 A JP2004518162 A JP 2004518162A JP 2002556879 A JP2002556879 A JP 2002556879A JP 2002556879 A JP2002556879 A JP 2002556879A JP 2004518162 A JP2004518162 A JP 2004518162A
- Authority
- JP
- Japan
- Prior art keywords
- components
- segment
- similarity
- extended
- similarity matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims description 18
- 102000005717 Myeloma Proteins Human genes 0.000 claims description 10
- 108010045503 Myeloma Proteins Proteins 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000011157 data evaluation Methods 0.000 claims 1
- 230000004044 response Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/093—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using sinusoidal excitation models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本発明は、連結ユニット（１００）と、パラメトリック・エンコーダ（４００）と、正弦波トラックを形成するため一つに連結される連続的に拡張されたセグメントｓｐ及びｓｃの成分を表す連結情報Ｌを生成する方法とに関する。セグメントｓｐ及びｓｃは、正弦波オーディオ若しくはスピーチ信号ｓの連続的なセグメントを近似する。連結ユニットは、受信した正弦波符号データに応じて類似度マトリックスＳ（ｍ，ｎ）を生成する計算ユニット（１２０）と、類似度が極大である成分のペアｍ，ｎを選択することにより上記連結情報を生成するため、上記類似度マトリックスＳを受信し評価する評価ユニット（１４０）と、を有する。本発明によれば、計算ユニット（１２０）は、拡張された先行セグメントｓｐの成分と拡張された現在セグメントｓｃの成分の間の位相整合性に関する情報を更に考慮することによって、類似度マトリックスＳを計算するように適応させられている。このようにして、一つに連結されるのに適した成分の選択は、改良され、正しいトラックを定義できるようになる。
Description
【０００１】
本発明は、請求項１の前提部分に記載されているような連結ユニットに関する。連結（リンキング）ユニットは、正弦波（シヌソイド）トラックを形成するために一つに連結される連続的な（典型的に重なり合っている）拡張セグメントｓｐ及びｓｃの成分を表す連結情報を生成する役目を果たす。セグメントｓｐ及びｓｃは、正弦波オーディオ若しくはスピーチ信号（音声信号）ｓの連続的なセグメントを近似するセグメントである。
【０００２】
本発明は、更に、請求項８の前提部分に記載されたパラメトリック・エンコーダと、請求項９の前提部分に記載された連結情報を生成する方法とに関する。
【０００３】
従来技術では、連続的なセグメントに正弦波トラックを定めるため使用される連結情報Ｌを提供する二つの実質的に異なる解決手法が知られている。ＷＯ ００／７９５１９（ＰＨＮ ０１７５０２ＥＰ．Ｐ）に記載されている第１の解決手法によれば、元のオーディオ若しくはスピーチ信号の部分信号は、振幅、先行セグメント及び現在セグメントからの周波数及び位相情報を含む正弦波入力データに基づいて再構成される。再構成された部分信号は、元のオーディオ信号若しくはスピーチ信号と比較される。重み付き平均２乗誤差信号は、関連したリンクを選択するため、即ち、連結情報Ｌを生成するため、規準として提案されている。
【０００４】
第１の解決手法は、連続的なセグメントを最適に連結するため振幅及び周波数情報を考慮に入れるだけではなく、先行セグメント及び現在セグメントの成分の位相情報も考慮に入れる。しかし、この第１の解決手法の欠点は、その計算負荷、並びに、連結情報を生成するため元の信号が必要となる点である。
【０００５】
従来技術で知られている第２の解決手法によれば、連結情報は、現在セグメント及び先行セグメントからの正弦波符号から、位相情報ではなく、振幅及び周波数情報だけを考慮することによって生成される。次に、図５を参照して、第２の解決手法を説明する。
【０００６】
図５には、請求項１の前提部分に記載されているような、受信した正弦波符号データＤｐ’、Ｄｃ’に応答して、類似度マトリックスＳ（ｍ，ｎ）を生成する計算ユニット５２０を含む連結ユニット５００が示されている。上記背正弦波符号データは、ｍが１からＭまでの整数（ｍ＝１．．．Ｍ）を表すとき、拡張された先行セグメントｓｐのＭ個の成分ｘｍの振幅及び周波数と、ｎが１からＮまでの整数（ｎ＝１．．．Ｎ）を表すとき、拡張された現在セグメントｓｃのＮ個の成分ｙｎの振幅及び周波数とに関する情報を含む。この類似度マトリックスＳ（ｍ，ｎ）は、ｍ＝１．．．Ｍ並びにｎ＝１．．．Ｎの場合に、拡張された先行セグメントｓｐのｍ番目の成分ｘｍと、拡張された現在セグメントｓｃのｎ番目の成分ｙｎの間の類似度を表現する。この類似度マトリックスＳ（ｍ，ｎ）は、評価ユニット５４０へ入力され、評価ユニットは、類似度が極大である成分のペアｍ、ｎを選択することにより、連結情報Ｌを生成するため、この類似度マトリックスを評価する。
【０００７】
この結果として、連結情報Ｌは、オーディオ若しくはスピーチ信号の連続的なセグメント若しくは成分の間の変化ができる限り滑らかになるように、蓄積又は伝送後にオーディオ若しくはスピーチ信号ｓを復元する際に一つに連結される連続的な拡張セグメントの成分のペアを表す。滑らかな変化は、復元された信号の品質を改良する。
【０００８】
以下の説明では、連続的なセグメントの間で継続する連結された成分は、たとえ、別個の成分が僅かな変動、例えば、振幅変動若しくは周波数変動を含むとしても、正弦波トラックと呼ぶ。
【０００９】
第２の解決手法の有利なアプリケーションは、文献：Ｂ． Ｅｌｄｅｒ， Ｈ． Ｐｕｒｎｈａｇｅｎ， ａｎｄ Ｃ． Ｆｅｒｅｋｉｄｉｓ， ”ＡＳＡＣ−Ａｎａｌｙｓｉｓ／ｓｙｎｔｈｅｓｉｓ ｃｏｄｅｃ ｆｏｒ ｖｅｒｙ ｌｏｗ ｂｉｔ ｒａｔｅｓ”， Ｐｒｅｐｒｉｎｔ ４１７６ （Ｆ−６） １００ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｃｏｐｅｎｈａｇｅｎ， １１−１４ Ｍａｙ， １９９６に記載されている。
【００１０】
この論文で、著者は、連結情報を生成するための付加的な規準として周波数及び振幅の相対距離の組み合わせを提案している。換言すると、連結情報は、先行セグメントと現在セグメントの中に、同じ正弦波トラックに属するローカル評価であるとみなされる成分が存在するか、及び、どの成分がローカル評価であるとみなされるかを示す。
【００１１】
有利的には、第２の解決手法によれば、連結情報の生成は、元のオーディオ若しくはスピーチ信号を考慮することなく行われる。しかし、第２の解決手法による連結情報の生成は評価された正弦波符号データだけに基づいているので、生成された連結情報に間違いがあり、不正確なトラックが得られる場合がある。
【００１２】
第２の解決手法に鑑みて、本発明の目的は、連結ユニット、パラメトリック・エンコーダ、及び、一つに連結するのに適した連続的なセグメントの成分の選択が改良され、正確な正弦波トラックが定義されるように、連結情報を生成する方法を開発することである。
【００１３】
この目的は、請求項１に記載された内容によって解決される。請求項１の特徴部分によれば、拡張された正弦波符号データは、振幅及び周波数情報だけではなく、Ｍ個の成分ｘｍの少なくとも一部とＮ個の成分ｙｎの少なくとも一部の位相に関する情報を含む。更に、連結ユニットの計算ユニットは、拡張された先行セグメントｓｐのｍ番目の成分ｘｍと拡張された現在セグメントｓｃのｎ番目の成分ｙｎとの間の位相整合性を更に考慮することによって類似度マトリックスＳ（ｍ，ｎ）を計算するため適応している。
【００１４】
有利的には、提案された連結ユニットは、連結情報を生成するため、評価された正弦波符号データだけを使用する。位相情報を更に考慮することによって、従来技術における第２の解決手法と比べると、元のオーディオ若しくはスピーチ信号ｓを考慮することなく、類似度マトリックスをより正確に決定できるようになり、より信頼性の高い連結情報を決定できるようになる。
【００１５】
第１の実施例によれば、計算ユニットは、拡張された先行セグメントｓｐのＭ個の複素成分ｘｍ（ｔ）を生成する第１のパターン発生ユニットと、拡張された現在セグメントｓｃのＮ個の複素成分ｙｎ（ｔ）を生成する第２のパターン発生ユニットと、を含む。これらの時間依存性の複素成分の明示的な計算は、先行セグメントと現在セグメントの成分間の位相整合性を評価できるようにするため、本発明によって要求されている。
【００１６】
有利的には、計算モジュールは、成分ｍと成分ｎの間で、形状に関する類似度を表す第１の類似度マトリックスＳ１（ｍ，ｎ）と、振幅に関する類似度を表す第２の類似度マトリックスＳ２（ｍ，ｎ）の積として、類似度マトリックスＳ（ｍ，ｎ）を計算するように適応している。更に、連結ユニットの有利な実施例は、従属請求項４乃至７の内容である。
【００１７】
本発明の目的は、請求項８に記載されたパラメトリック・エンコーダと、請求項９に記載された連結情報を生成する方法とによって解決される。このパラメトリック・エンコーダと方法の利点は、連結ユニットに関して説明した利点と実質的に一致する。
【００１８】
添付図面を参照して本発明の好ましい実施例を説明する前に、一般的に信号セグメントの正弦波モデリングに関する背景情報を提示する予備的な説明を行う。
【００１９】
正弦波モデリングにおいて、モデルは、典型的に、次の形式：
【００２０】
【数９】
の形式であり（或いは、このような形式で記述することが可能であり）、式中、ｓｅｇは、正弦波信号ｓを近似若しくはモデル化するセグメントを表す。このようなモデルにおいて、セグメントｓｅｇは、式（１）の右辺に与えられるような拡張子によって表現され、ここで、
【００２１】
【外１】
は、複素変数の実部を表し、ｕｋは、セグメントｓｅｇのＫ個の基礎となる正弦波若しくは正弦波のような成分である。
【００２２】
特に、純粋な第１の正弦波モデル（拡張子）の場合、このセグメントの成分は、
【００２３】
【数１０】
と表され、式中、Ａｋ、ωｋ及びμｋは、それぞれ、（実数値の）振幅、周波数及び位相を表し、ｊは、
ｊ＝√（−１）
である。
【００２４】
第２のモデルによれば、セグメントの成分は、
【００２５】
【数１１】
のように定義される。式中、Ａｋ、ωｋ及びμｋは、純粋な正弦波モデルの場合と同じであり、付加パラメータσｋが現れている。σｋは、セグメント内の振幅変化を捉える実数パラメータである。
【００２６】
多項式に基づくより複雑な第３のモデルは、
【００２７】
【数１２】
であり、ｂｋ，ｍ及びφｋ，ｎは実数パラメータであり、複素数振幅Ｂｋ，ｍは、
【００２８】
【数１３】
である。
【００２９】
最後に、第４のモデルによれば、セグメントの成分は、
【００３０】
【数１４】
のように定義される。ここで、θｋ，ｎは実数パラメータであり、Ｃｋ，ｍは複素数パラメータである。
【００３１】
２個の連続的な信号セグメントｓｐ（先行セグメント）及びｓｃ（現在セグメント）を考慮すると、典型的に、それらのサポートする範囲には重なり合いがある。以下、先行セグメントのｕｋはｘｍ（ｍ＝１，．．．，Ｍ）によって表され、現在セグメントのｕｋはｙｎ（ｎ＝１，．．．，Ｎ）によって表される。（符号化の意味で）有利なリンクを確立するため、ｘｍ（ｔ）とｙｎ（ｔ）がオーバーラップ領域内で類似している場合に限り、ｓｐからの成分ｍとｓｃからの成分ｎの間のリンクについて考慮するのが合理的であると思われる。
【００３２】
次に、図１乃至４を参照して、本発明の好ましい実施例を説明する。
【００３３】
図１には、本発明による連結ユニット１００が示されている。連結ユニット１００は、類似度マトリックスＳ（ｍ，ｎ）を生成する計算ユニット１２０と、連結情報Ｌを生成する評価ユニット１４０と、を含む。計算ユニット１２０の動作は、図５を参照して説明した技術的に公知である計算ユニット５２０の動作と実質的に対応し、評価ユニット１４０の動作は、評価ユニット５４０の動作と実質的に対応する。しかし、本発明による連結ユニット１００の動作と技術的に公知である連結ユニット５００の動作との間には、以下の相違点がある。
【００３４】
計算ユニット１２０は、先行セグメント及び現在セグメントの振幅及び周波数データの形式の正弦波符号データだけを受信するのではなく、先行セグメントｓｐのすべての成分ｘｍの位相と現在セグメントｓｃのＮ個の各成分ｙｎの位相に関する情報を更に含む拡張された正弦波符号データを受信する。
【００３５】
その結果として、計算ユニット１２０は、振幅及び周波数データを考慮するだけではなく、ｍ＝１．．．Ｍ、ｎ＝１．．．Ｎとして、拡張された先行セグメントｓｐのｍ番目の成分ｘｍと、拡張された現在セグメントｓｃのｎ番目の成分ｙｎの間で位相整合性を更に考慮することによって、類似度マトリックスＳ（ｍ，ｎ）を計算するように適応している。評価ユニット１４０は、類似度が極大である成分のペア（ｍ，ｎ）を選択することにより、連結情報を生成するため、計算ユニット１２０から出力された類似度マトリックスＳ（ｍ，ｎ）を受信し、評価する。
【００３６】
図２は、本発明による計算ユニット１２０の詳細構成図である。計算ユニット１２０は、先行セグメントの拡張された正弦波符号データ（Ｄｐ）に応答して、ｍ＝１．．．Ｍの場合に、拡張された先行セグメントｓｐのＭ個の成分ｘｍ（ｔ）を生成する第１のパターン発生ユニット１２２を含む。更に、計算ユニット１２０は、現在セグメントの拡張された正弦波符号データ（Ｄｃ）に応答して、ｎ＝１．．．Ｎの場合に、拡張された現在セグメントｓｃのＮ個の成分ｙｎ（ｔ）を生成する第２のパターン発生ユニット１２４を更に含む。最終的に、計算ユニット１２０は、受信したＭ個の成分ｘｍ（ｔ）及び受信したＮ個の成分ｙｎ（ｔ）に基づいて、予め決められた類似度指標に従って、類似度マトリックスＳ（ｍ，ｎ）を計算する計算モジュール１２６を含む。
【００３７】
成分ｘｍ（ｔ）及びｙｎ（ｔ）は、２個の成分ｍとｎの間で位相整合性を判定し、類似度マトリックスを計算する際にその位相整合性を使用するため、明示的に生成され、計算モジュール１２６に入力される。
【００３８】
次に、類似度マトリックスＳ（ｍ，ｎ）を計算する本発明の二つの実施例を説明する。両方の実施例に共通した事項として、類似度マトリックスは、好ましくは、２個の成分ｍとｎの間の形状の類似度を表現する第１の類似度マトリックスＳ１（ｍ，ｎ）に、成分ｍとｎの間の振幅の類似度を表現する第２の類似度マトリックスＳ２（ｍ，ｎ）を乗算することによって計算されるが、必ずしもこのように計算しなくてもよい。次に、類似度マトリックスは、
Ｓ（ｍ，ｎ）＝Ｓ１（ｍ，ｎ）Ｓ２（ｍ，ｎ） （５）
に従って計算される。
【００３９】
Ｓ（ｍ，ｎ）＝０はリンクが存在しないことを表し、Ｓ（ｍ，ｎ）が大きくなると、正弦波符号化の仕組みのリンクとして有利に利用される可能性が高くなる。
【００４０】
類似度マトリックスＳを計算する第１の実施例は、完全なオーバーラップ領域内で先行セグメントと現在セグメントを考慮する点に基づいている。この第１の実施例の目的は、類似している先行セグメント及び現在セグメントの成分を識別することである。これは、相関法によって行われる。かくして、第１の実施例によれば、相関係数ρｍ，ｎは、
【００４１】
【数１５】
によって定義され、式中、ｘｍ（ｍ＝［１，Ｍ］）は、先行セグメントｓｐの成分ｘｍの集合を表現し、ｙｎ（ｙ＝［１，ｎ］）は、現在セグメントｓｃの成分ｙｎの集合を表現する。更に、ｗ（ｔ）は窓関数を表し、Ｅｘｍは、信号ｘｍのエネルギーを、
【００４２】
【数１６】
によって表現する。
【００４３】
同様に、Ｅｙｎは、成分ｙｎにおけるエネルギーを、
【００４４】
【数１７】
に従って表現する。
【００４５】
この結果として、ρｍ，ｎは、リンクに対して、１に接近すべき複素数である。従って、第１の類似度マトリックスＳ１（ｍ，ｎ）は、
【００４６】
【数１８】
によって、（部分）類似度指標として構築される。但し、０＜Ｄ１＜１である。
【００４７】
更に、振幅の等価性（或いは、特に、エネルギーの等価性）は、
【００４８】
【数１９】
を判断することによって考慮される。
【００４９】
リンクに対し、Ｒは、１に近い値をとるべきであり（ρｍ，ｎに対して、Ｒｍ，ｎは実数値であり）、
【００５０】
【数２０】
によって定義されたＳ２（ｍ，ｎ）は、類似度指標の機能を果たし得る。但し、０＜Ｄ２＜１である。
【００５１】
先行セグメントｓｐがＭ個の成分によって表現され、現在セグメントｓｃがＮ個の成分によって表現される場合、第１のマトリックスＳ１及び第２のマトリックスＳ２と、全体的な類似度マトリックスＳは、Ｍ行Ｎ列のマトリックスである。このマトリックスＳのエントリーは、もし存在するならば、リンクを規定し、もしそうであるならば、そのリンクは最も有利なリンクである。この類似度マトリックスＳ（ｍ，ｎ）の評価は評価ユニット１４０で行われる。
【００５２】
類似度マトリックスＳを計算する本発明の第２の実施例は、第１の実施例の簡略化を表す。より詳細には、連続したセグメントの間の重なり合う領域全体ではなく、この領域の中間点だけが考慮される。ここで、
【００５３】
【数２１】
をサンプルｔ０と呼ぶ。
【００５４】
第２の実施例において、ｔ０の近傍では、両方の成分は同様に一致していると考えられる。これは、成分における進行（前進）が（ほとんど）一致している場合に実現される。これは、好ましくは、
【００５５】
【数２２】
に従って２個の連続的なセグメントｓｐとｓｃの成分の比によって評価される。
【００５６】
リンクを選択するため、第１の（部分）類似度マトリックスは、
【００５７】
【数２３】
のように定義される。但し、０＜Ｄ３＜１である。
【００５８】
振幅類似度は、相対的な形で組み込まれる。これは、心理音響的な妥当性及び距離規準と合致する。
【００５９】
第２の部分類似度マトリックスＳ２は、
【００６０】
【数２４】
のように定義される。但し、０＜Ｄ４＜１である。
【００６１】
全体的な類似度マトリックスＳを計算する第２の実施例は、成分ｘｍ及びｙｎが特定の時点、即ち、ｔ０及びｔ１だけで生成すればよい、という点で第１の実施例と相違する。
【００６２】
図３には、本発明の連結ユニットの動作が示されている。同図には、先行セグメントｓｐの成分ｘｍ（ｔ）は、オーバーラップ領域ＯＲで、連続的な現在セグメントｓｃの成分ｙｎ（ｔ）と少なくとも部分的に重なり合うことが示されている。計算ユニット１２０と、特に、計算モジュール１２６は、オーバーラップ領域内でこれらの二つの成分の間で類似度を解析するように適合させられている。図３に示されているように、二つの成分が少なくともオーバーラップ領域内で一致するならば、類似マトリックスＳ（ｍ，ｎ）の対応したエントリーは、１、又は、少なくとも１に近い値にセットされるであろう。振幅、周波数及び位相類似度は、評価ユニット１４０によって、認識され評価され、その結果として、図１において評価ユニット１４０によって生成された連結情報は、これらの二つの成分が同じ正弦波トラックに属するローカル評価であることを示すであろう。
【００６３】
図４には、本発明によるパラメトリック・エンコーダ４００が示されている。このエンコーダは、オーディオ及び／又はスピーチ信号ｓを、正弦波符号データ及び連結情報を含むデータストリームｄｓに符号化する機能を果たす。エンコーダ４００は、信号ｓを少なくとも先行セグメントｓｐ’及び連続的な現在セグメントｓｃ’に分割するセグメンテーション・ユニット（ＳＵ）４１０を含む。エンコーダ４００は、ｍ＝１．．．Ｍ並びにｎ＝１．．．Ｎのとき、セグメントｓｐ’を近似する拡張された先行セグメントｓｐのＭ個の成分ｘｍと、セグメントｓｃ’を近似する拡張された現在セグメントのＮ個の成分ｙｎの周波数、振幅及び位相データの形式で上記正弦波符号データを生成する正弦波評価ユニット（ＳＥ）４２０を更に含む。正弦波評価ユニット４２０から出力された正弦波符号データは、図１を参照して説明したように、連結情報を生成する連結ユニット１００へ入力される。この連結情報は、適切に配列するか、若しくは、混合することによって、例えば、正弦波評価ユニット４２０から出力された正弦波符号データを連結情報と多重化することによって、データストリームを生成する配列ユニット４３０（ＭＵＸ）へ入力される。この配列ユニット４３０は、好ましくは、マルチプレクサとして具体化される。
【００６４】
実際のオーディオ信号の場合、位相情報を取り入れることにより、符号化された素材の品質が改良されることに注意する必要がある。しかし、エンコーダ４００において、位相情報は、トラック・パラメトリックの継続性が探される場合に限り使用される。前のフレームのデータからの周波数に後方向のコネクションが無い場合（即ち、前のフレームのデータが未だトラックではなく、現在のフレームデータと連結された後にトラックの始まりになる場合）、位相情報は使用されるが、しかし、位相情報は周波数及び振幅データだけに基づいて先行の連結処理で中継される。なぜならば、トラックの始まりでは、通常、位相は明確ではないからである。即ち、先行セグメントｓｐの連結情報は、操作目的のため図２の計算モジュール１２６に入力される。
【００６５】
複素数値ｘｍとｙｍの（相対的な）差を調べる代わりに、振幅と位相の実部及び虚部を観察し、類似度規準を構築するため使用してもよい。これは、上記の所定の類似度指標を制御する２個のパラメータの代わりに、考慮されている変数毎に１個以上のパラメータを受け取るという利点がある。したがって、複素数パラメータではなく、実数パラメータで表現した場合、最終的にはパラメータの個数は２倍になる。例えば、複素信号を振幅及び位相に分離することによって、位相に対する類似度指標を周波数依存性にすることができるという、興味深い性質が得られる。
【００６６】
上記の実施例は、本発明を限定するのではなく、本発明を例示するものであり、当業者は、請求項に係る発明の範囲を逸脱することなく、代替的な実施例を設計することが可能であろう。請求項の記載中、括弧付きの参照符号は、請求項に係る発明を限定するものとして解釈されるべきではない。「含む」、「有する」のような語は、請求項に列挙されていない他の要素或いは手順を除外するものではない。本発明は、幾つかの別々の要素を含むハードウェア、並びに、適切にプログラミングされたコンピュータを用いて実施することが可能である。幾つかの手段を列挙する装置クレームにおいて、それらの手段のうちの幾つかは全く同一のハードウェアによって具現化し得る。ある種の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段を組み合わせて使用しても有利ではない、ということを示すものではない。
【図面の簡単な説明】
【図１】
本発明による連結ユニットの構成図である。
【図２】
図１による連結ユニットの計算ユニットの詳細構成図である。
【図３】
２個の連続的なセグメントの二つの成分の類似度を説明する図である。
【図４】
本発明によるパラメトリック・エンコーダの構成図である。
【図５】
従来技術における連結ユニットの構成図である。
本発明は、請求項１の前提部分に記載されているような連結ユニットに関する。連結（リンキング）ユニットは、正弦波（シヌソイド）トラックを形成するために一つに連結される連続的な（典型的に重なり合っている）拡張セグメントｓｐ及びｓｃの成分を表す連結情報を生成する役目を果たす。セグメントｓｐ及びｓｃは、正弦波オーディオ若しくはスピーチ信号（音声信号）ｓの連続的なセグメントを近似するセグメントである。
【０００２】
本発明は、更に、請求項８の前提部分に記載されたパラメトリック・エンコーダと、請求項９の前提部分に記載された連結情報を生成する方法とに関する。
【０００３】
従来技術では、連続的なセグメントに正弦波トラックを定めるため使用される連結情報Ｌを提供する二つの実質的に異なる解決手法が知られている。ＷＯ ００／７９５１９（ＰＨＮ ０１７５０２ＥＰ．Ｐ）に記載されている第１の解決手法によれば、元のオーディオ若しくはスピーチ信号の部分信号は、振幅、先行セグメント及び現在セグメントからの周波数及び位相情報を含む正弦波入力データに基づいて再構成される。再構成された部分信号は、元のオーディオ信号若しくはスピーチ信号と比較される。重み付き平均２乗誤差信号は、関連したリンクを選択するため、即ち、連結情報Ｌを生成するため、規準として提案されている。
【０００４】
第１の解決手法は、連続的なセグメントを最適に連結するため振幅及び周波数情報を考慮に入れるだけではなく、先行セグメント及び現在セグメントの成分の位相情報も考慮に入れる。しかし、この第１の解決手法の欠点は、その計算負荷、並びに、連結情報を生成するため元の信号が必要となる点である。
【０００５】
従来技術で知られている第２の解決手法によれば、連結情報は、現在セグメント及び先行セグメントからの正弦波符号から、位相情報ではなく、振幅及び周波数情報だけを考慮することによって生成される。次に、図５を参照して、第２の解決手法を説明する。
【０００６】
図５には、請求項１の前提部分に記載されているような、受信した正弦波符号データＤｐ’、Ｄｃ’に応答して、類似度マトリックスＳ（ｍ，ｎ）を生成する計算ユニット５２０を含む連結ユニット５００が示されている。上記背正弦波符号データは、ｍが１からＭまでの整数（ｍ＝１．．．Ｍ）を表すとき、拡張された先行セグメントｓｐのＭ個の成分ｘｍの振幅及び周波数と、ｎが１からＮまでの整数（ｎ＝１．．．Ｎ）を表すとき、拡張された現在セグメントｓｃのＮ個の成分ｙｎの振幅及び周波数とに関する情報を含む。この類似度マトリックスＳ（ｍ，ｎ）は、ｍ＝１．．．Ｍ並びにｎ＝１．．．Ｎの場合に、拡張された先行セグメントｓｐのｍ番目の成分ｘｍと、拡張された現在セグメントｓｃのｎ番目の成分ｙｎの間の類似度を表現する。この類似度マトリックスＳ（ｍ，ｎ）は、評価ユニット５４０へ入力され、評価ユニットは、類似度が極大である成分のペアｍ、ｎを選択することにより、連結情報Ｌを生成するため、この類似度マトリックスを評価する。
【０００７】
この結果として、連結情報Ｌは、オーディオ若しくはスピーチ信号の連続的なセグメント若しくは成分の間の変化ができる限り滑らかになるように、蓄積又は伝送後にオーディオ若しくはスピーチ信号ｓを復元する際に一つに連結される連続的な拡張セグメントの成分のペアを表す。滑らかな変化は、復元された信号の品質を改良する。
【０００８】
以下の説明では、連続的なセグメントの間で継続する連結された成分は、たとえ、別個の成分が僅かな変動、例えば、振幅変動若しくは周波数変動を含むとしても、正弦波トラックと呼ぶ。
【０００９】
第２の解決手法の有利なアプリケーションは、文献：Ｂ． Ｅｌｄｅｒ， Ｈ． Ｐｕｒｎｈａｇｅｎ， ａｎｄ Ｃ． Ｆｅｒｅｋｉｄｉｓ， ”ＡＳＡＣ−Ａｎａｌｙｓｉｓ／ｓｙｎｔｈｅｓｉｓ ｃｏｄｅｃ ｆｏｒ ｖｅｒｙ ｌｏｗ ｂｉｔ ｒａｔｅｓ”， Ｐｒｅｐｒｉｎｔ ４１７６ （Ｆ−６） １００ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｃｏｐｅｎｈａｇｅｎ， １１−１４ Ｍａｙ， １９９６に記載されている。
【００１０】
この論文で、著者は、連結情報を生成するための付加的な規準として周波数及び振幅の相対距離の組み合わせを提案している。換言すると、連結情報は、先行セグメントと現在セグメントの中に、同じ正弦波トラックに属するローカル評価であるとみなされる成分が存在するか、及び、どの成分がローカル評価であるとみなされるかを示す。
【００１１】
有利的には、第２の解決手法によれば、連結情報の生成は、元のオーディオ若しくはスピーチ信号を考慮することなく行われる。しかし、第２の解決手法による連結情報の生成は評価された正弦波符号データだけに基づいているので、生成された連結情報に間違いがあり、不正確なトラックが得られる場合がある。
【００１２】
第２の解決手法に鑑みて、本発明の目的は、連結ユニット、パラメトリック・エンコーダ、及び、一つに連結するのに適した連続的なセグメントの成分の選択が改良され、正確な正弦波トラックが定義されるように、連結情報を生成する方法を開発することである。
【００１３】
この目的は、請求項１に記載された内容によって解決される。請求項１の特徴部分によれば、拡張された正弦波符号データは、振幅及び周波数情報だけではなく、Ｍ個の成分ｘｍの少なくとも一部とＮ個の成分ｙｎの少なくとも一部の位相に関する情報を含む。更に、連結ユニットの計算ユニットは、拡張された先行セグメントｓｐのｍ番目の成分ｘｍと拡張された現在セグメントｓｃのｎ番目の成分ｙｎとの間の位相整合性を更に考慮することによって類似度マトリックスＳ（ｍ，ｎ）を計算するため適応している。
【００１４】
有利的には、提案された連結ユニットは、連結情報を生成するため、評価された正弦波符号データだけを使用する。位相情報を更に考慮することによって、従来技術における第２の解決手法と比べると、元のオーディオ若しくはスピーチ信号ｓを考慮することなく、類似度マトリックスをより正確に決定できるようになり、より信頼性の高い連結情報を決定できるようになる。
【００１５】
第１の実施例によれば、計算ユニットは、拡張された先行セグメントｓｐのＭ個の複素成分ｘｍ（ｔ）を生成する第１のパターン発生ユニットと、拡張された現在セグメントｓｃのＮ個の複素成分ｙｎ（ｔ）を生成する第２のパターン発生ユニットと、を含む。これらの時間依存性の複素成分の明示的な計算は、先行セグメントと現在セグメントの成分間の位相整合性を評価できるようにするため、本発明によって要求されている。
【００１６】
有利的には、計算モジュールは、成分ｍと成分ｎの間で、形状に関する類似度を表す第１の類似度マトリックスＳ１（ｍ，ｎ）と、振幅に関する類似度を表す第２の類似度マトリックスＳ２（ｍ，ｎ）の積として、類似度マトリックスＳ（ｍ，ｎ）を計算するように適応している。更に、連結ユニットの有利な実施例は、従属請求項４乃至７の内容である。
【００１７】
本発明の目的は、請求項８に記載されたパラメトリック・エンコーダと、請求項９に記載された連結情報を生成する方法とによって解決される。このパラメトリック・エンコーダと方法の利点は、連結ユニットに関して説明した利点と実質的に一致する。
【００１８】
添付図面を参照して本発明の好ましい実施例を説明する前に、一般的に信号セグメントの正弦波モデリングに関する背景情報を提示する予備的な説明を行う。
【００１９】
正弦波モデリングにおいて、モデルは、典型的に、次の形式：
【００２０】
【数９】
【００２１】
【外１】
【００２２】
特に、純粋な第１の正弦波モデル（拡張子）の場合、このセグメントの成分は、
【００２３】
【数１０】
ｊ＝√（−１）
である。
【００２４】
第２のモデルによれば、セグメントの成分は、
【００２５】
【数１１】
【００２６】
多項式に基づくより複雑な第３のモデルは、
【００２７】
【数１２】
【００２８】
【数１３】
【００２９】
最後に、第４のモデルによれば、セグメントの成分は、
【００３０】
【数１４】
【００３１】
２個の連続的な信号セグメントｓｐ（先行セグメント）及びｓｃ（現在セグメント）を考慮すると、典型的に、それらのサポートする範囲には重なり合いがある。以下、先行セグメントのｕｋはｘｍ（ｍ＝１，．．．，Ｍ）によって表され、現在セグメントのｕｋはｙｎ（ｎ＝１，．．．，Ｎ）によって表される。（符号化の意味で）有利なリンクを確立するため、ｘｍ（ｔ）とｙｎ（ｔ）がオーバーラップ領域内で類似している場合に限り、ｓｐからの成分ｍとｓｃからの成分ｎの間のリンクについて考慮するのが合理的であると思われる。
【００３２】
次に、図１乃至４を参照して、本発明の好ましい実施例を説明する。
【００３３】
図１には、本発明による連結ユニット１００が示されている。連結ユニット１００は、類似度マトリックスＳ（ｍ，ｎ）を生成する計算ユニット１２０と、連結情報Ｌを生成する評価ユニット１４０と、を含む。計算ユニット１２０の動作は、図５を参照して説明した技術的に公知である計算ユニット５２０の動作と実質的に対応し、評価ユニット１４０の動作は、評価ユニット５４０の動作と実質的に対応する。しかし、本発明による連結ユニット１００の動作と技術的に公知である連結ユニット５００の動作との間には、以下の相違点がある。
【００３４】
計算ユニット１２０は、先行セグメント及び現在セグメントの振幅及び周波数データの形式の正弦波符号データだけを受信するのではなく、先行セグメントｓｐのすべての成分ｘｍの位相と現在セグメントｓｃのＮ個の各成分ｙｎの位相に関する情報を更に含む拡張された正弦波符号データを受信する。
【００３５】
その結果として、計算ユニット１２０は、振幅及び周波数データを考慮するだけではなく、ｍ＝１．．．Ｍ、ｎ＝１．．．Ｎとして、拡張された先行セグメントｓｐのｍ番目の成分ｘｍと、拡張された現在セグメントｓｃのｎ番目の成分ｙｎの間で位相整合性を更に考慮することによって、類似度マトリックスＳ（ｍ，ｎ）を計算するように適応している。評価ユニット１４０は、類似度が極大である成分のペア（ｍ，ｎ）を選択することにより、連結情報を生成するため、計算ユニット１２０から出力された類似度マトリックスＳ（ｍ，ｎ）を受信し、評価する。
【００３６】
図２は、本発明による計算ユニット１２０の詳細構成図である。計算ユニット１２０は、先行セグメントの拡張された正弦波符号データ（Ｄｐ）に応答して、ｍ＝１．．．Ｍの場合に、拡張された先行セグメントｓｐのＭ個の成分ｘｍ（ｔ）を生成する第１のパターン発生ユニット１２２を含む。更に、計算ユニット１２０は、現在セグメントの拡張された正弦波符号データ（Ｄｃ）に応答して、ｎ＝１．．．Ｎの場合に、拡張された現在セグメントｓｃのＮ個の成分ｙｎ（ｔ）を生成する第２のパターン発生ユニット１２４を更に含む。最終的に、計算ユニット１２０は、受信したＭ個の成分ｘｍ（ｔ）及び受信したＮ個の成分ｙｎ（ｔ）に基づいて、予め決められた類似度指標に従って、類似度マトリックスＳ（ｍ，ｎ）を計算する計算モジュール１２６を含む。
【００３７】
成分ｘｍ（ｔ）及びｙｎ（ｔ）は、２個の成分ｍとｎの間で位相整合性を判定し、類似度マトリックスを計算する際にその位相整合性を使用するため、明示的に生成され、計算モジュール１２６に入力される。
【００３８】
次に、類似度マトリックスＳ（ｍ，ｎ）を計算する本発明の二つの実施例を説明する。両方の実施例に共通した事項として、類似度マトリックスは、好ましくは、２個の成分ｍとｎの間の形状の類似度を表現する第１の類似度マトリックスＳ１（ｍ，ｎ）に、成分ｍとｎの間の振幅の類似度を表現する第２の類似度マトリックスＳ２（ｍ，ｎ）を乗算することによって計算されるが、必ずしもこのように計算しなくてもよい。次に、類似度マトリックスは、
Ｓ（ｍ，ｎ）＝Ｓ１（ｍ，ｎ）Ｓ２（ｍ，ｎ） （５）
に従って計算される。
【００３９】
Ｓ（ｍ，ｎ）＝０はリンクが存在しないことを表し、Ｓ（ｍ，ｎ）が大きくなると、正弦波符号化の仕組みのリンクとして有利に利用される可能性が高くなる。
【００４０】
類似度マトリックスＳを計算する第１の実施例は、完全なオーバーラップ領域内で先行セグメントと現在セグメントを考慮する点に基づいている。この第１の実施例の目的は、類似している先行セグメント及び現在セグメントの成分を識別することである。これは、相関法によって行われる。かくして、第１の実施例によれば、相関係数ρｍ，ｎは、
【００４１】
【数１５】
【００４２】
【数１６】
【００４３】
同様に、Ｅｙｎは、成分ｙｎにおけるエネルギーを、
【００４４】
【数１７】
【００４５】
この結果として、ρｍ，ｎは、リンクに対して、１に接近すべき複素数である。従って、第１の類似度マトリックスＳ１（ｍ，ｎ）は、
【００４６】
【数１８】
【００４７】
更に、振幅の等価性（或いは、特に、エネルギーの等価性）は、
【００４８】
【数１９】
【００４９】
リンクに対し、Ｒは、１に近い値をとるべきであり（ρｍ，ｎに対して、Ｒｍ，ｎは実数値であり）、
【００５０】
【数２０】
【００５１】
先行セグメントｓｐがＭ個の成分によって表現され、現在セグメントｓｃがＮ個の成分によって表現される場合、第１のマトリックスＳ１及び第２のマトリックスＳ２と、全体的な類似度マトリックスＳは、Ｍ行Ｎ列のマトリックスである。このマトリックスＳのエントリーは、もし存在するならば、リンクを規定し、もしそうであるならば、そのリンクは最も有利なリンクである。この類似度マトリックスＳ（ｍ，ｎ）の評価は評価ユニット１４０で行われる。
【００５２】
類似度マトリックスＳを計算する本発明の第２の実施例は、第１の実施例の簡略化を表す。より詳細には、連続したセグメントの間の重なり合う領域全体ではなく、この領域の中間点だけが考慮される。ここで、
【００５３】
【数２１】
【００５４】
第２の実施例において、ｔ０の近傍では、両方の成分は同様に一致していると考えられる。これは、成分における進行（前進）が（ほとんど）一致している場合に実現される。これは、好ましくは、
【００５５】
【数２２】
【００５６】
リンクを選択するため、第１の（部分）類似度マトリックスは、
【００５７】
【数２３】
【００５８】
振幅類似度は、相対的な形で組み込まれる。これは、心理音響的な妥当性及び距離規準と合致する。
【００５９】
第２の部分類似度マトリックスＳ２は、
【００６０】
【数２４】
【００６１】
全体的な類似度マトリックスＳを計算する第２の実施例は、成分ｘｍ及びｙｎが特定の時点、即ち、ｔ０及びｔ１だけで生成すればよい、という点で第１の実施例と相違する。
【００６２】
図３には、本発明の連結ユニットの動作が示されている。同図には、先行セグメントｓｐの成分ｘｍ（ｔ）は、オーバーラップ領域ＯＲで、連続的な現在セグメントｓｃの成分ｙｎ（ｔ）と少なくとも部分的に重なり合うことが示されている。計算ユニット１２０と、特に、計算モジュール１２６は、オーバーラップ領域内でこれらの二つの成分の間で類似度を解析するように適合させられている。図３に示されているように、二つの成分が少なくともオーバーラップ領域内で一致するならば、類似マトリックスＳ（ｍ，ｎ）の対応したエントリーは、１、又は、少なくとも１に近い値にセットされるであろう。振幅、周波数及び位相類似度は、評価ユニット１４０によって、認識され評価され、その結果として、図１において評価ユニット１４０によって生成された連結情報は、これらの二つの成分が同じ正弦波トラックに属するローカル評価であることを示すであろう。
【００６３】
図４には、本発明によるパラメトリック・エンコーダ４００が示されている。このエンコーダは、オーディオ及び／又はスピーチ信号ｓを、正弦波符号データ及び連結情報を含むデータストリームｄｓに符号化する機能を果たす。エンコーダ４００は、信号ｓを少なくとも先行セグメントｓｐ’及び連続的な現在セグメントｓｃ’に分割するセグメンテーション・ユニット（ＳＵ）４１０を含む。エンコーダ４００は、ｍ＝１．．．Ｍ並びにｎ＝１．．．Ｎのとき、セグメントｓｐ’を近似する拡張された先行セグメントｓｐのＭ個の成分ｘｍと、セグメントｓｃ’を近似する拡張された現在セグメントのＮ個の成分ｙｎの周波数、振幅及び位相データの形式で上記正弦波符号データを生成する正弦波評価ユニット（ＳＥ）４２０を更に含む。正弦波評価ユニット４２０から出力された正弦波符号データは、図１を参照して説明したように、連結情報を生成する連結ユニット１００へ入力される。この連結情報は、適切に配列するか、若しくは、混合することによって、例えば、正弦波評価ユニット４２０から出力された正弦波符号データを連結情報と多重化することによって、データストリームを生成する配列ユニット４３０（ＭＵＸ）へ入力される。この配列ユニット４３０は、好ましくは、マルチプレクサとして具体化される。
【００６４】
実際のオーディオ信号の場合、位相情報を取り入れることにより、符号化された素材の品質が改良されることに注意する必要がある。しかし、エンコーダ４００において、位相情報は、トラック・パラメトリックの継続性が探される場合に限り使用される。前のフレームのデータからの周波数に後方向のコネクションが無い場合（即ち、前のフレームのデータが未だトラックではなく、現在のフレームデータと連結された後にトラックの始まりになる場合）、位相情報は使用されるが、しかし、位相情報は周波数及び振幅データだけに基づいて先行の連結処理で中継される。なぜならば、トラックの始まりでは、通常、位相は明確ではないからである。即ち、先行セグメントｓｐの連結情報は、操作目的のため図２の計算モジュール１２６に入力される。
【００６５】
複素数値ｘｍとｙｍの（相対的な）差を調べる代わりに、振幅と位相の実部及び虚部を観察し、類似度規準を構築するため使用してもよい。これは、上記の所定の類似度指標を制御する２個のパラメータの代わりに、考慮されている変数毎に１個以上のパラメータを受け取るという利点がある。したがって、複素数パラメータではなく、実数パラメータで表現した場合、最終的にはパラメータの個数は２倍になる。例えば、複素信号を振幅及び位相に分離することによって、位相に対する類似度指標を周波数依存性にすることができるという、興味深い性質が得られる。
【００６６】
上記の実施例は、本発明を限定するのではなく、本発明を例示するものであり、当業者は、請求項に係る発明の範囲を逸脱することなく、代替的な実施例を設計することが可能であろう。請求項の記載中、括弧付きの参照符号は、請求項に係る発明を限定するものとして解釈されるべきではない。「含む」、「有する」のような語は、請求項に列挙されていない他の要素或いは手順を除外するものではない。本発明は、幾つかの別々の要素を含むハードウェア、並びに、適切にプログラミングされたコンピュータを用いて実施することが可能である。幾つかの手段を列挙する装置クレームにおいて、それらの手段のうちの幾つかは全く同一のハードウェアによって具現化し得る。ある種の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段を組み合わせて使用しても有利ではない、ということを示すものではない。
【図面の簡単な説明】
【図１】
本発明による連結ユニットの構成図である。
【図２】
図１による連結ユニットの計算ユニットの詳細構成図である。
【図３】
２個の連続的なセグメントの二つの成分の類似度を説明する図である。
【図４】
本発明によるパラメトリック・エンコーダの構成図である。
【図５】
従来技術における連結ユニットの構成図である。
Claims (9)
- 部分的に重なり合い、一つに連結されて正弦波トラックを形成する２個の連続的な拡張セグメントｓｐ及びｓｃの成分を表す連結情報Ｌを生成する連結ユニットであって、
セグメントｓｐ及びｓｃは、正弦波オーディオ若しくはスピーチ信号ｓの連続的なセグメントを近似するセグメントであり、
ｍが１からＭの整数を表し、ｎが１からＮの整数を表すとき、
拡張された先行セグメントｓｐのＭ個の成分ｘｍの振幅及び周波数、並びに、拡張された現在セグメントｓｃのＮ個の成分ｙｎの振幅及び周波数に関する情報を含む受信した正弦波符号データに応じて、類似度マトリックスＳ（ｍ，ｎ）を生成する計算ユニットが設けられ、
該類似度マトリックスの値は、該拡張された先行セグメントｓｐのｍ番目の成分ｘｍと該拡張された現在セグメントのｎ番目の成分ｙｎの間の類似度を表現し、
少なくとも重なり合う領域内で類似度が極大になる成分のペア（ｍ，ｎ）を選択することにより該連結情報を生成するため、該類似度マトリックスＳ（ｍ，ｎ）を受信し評価する評価ユニットが設けられ、
正弦波符号データ（Ｄｐ，Ｄｃ）は、Ｍ個の成分ｘｍのうちの少なくとも一部の成分及びＮ個の成分ｙｎのうちの少なくとも一部の成分の位相に関する情報を更に含むことにより拡張され、
計算ユニットは、拡張された先行セグメントｓｐのｍ番目の成分ｘｍと拡張された現在セグメントｓｃのｎ番目の成分ｙｎの間の位相整合性を更に評価することにより、類似度マトリックスＳ（ｍ，ｎ）を計算するように適応している、
ことを特徴とする連結ユニット。 - 計算ユニットは、
先行セグメントの拡張された正弦波符号データ（Ｄｐ）に応じて、拡張された先行セグメントｓｐの該Ｍ個の成分ｘｍ（ｔ）を生成する第１のパターン発生ユニットと、
現在セグメントの拡張された正弦波符号データ（Ｄｃ）に応じて、拡張された現在セグメントｓｃの該Ｎ個の成分ｙｎ（ｔ）を生成する第２のパターン発生ユニットと、
所定の類似度指標に従って、受信した該Ｍ個の成分ｘｍ（ｔ）及び受信した該Ｎ個の成分ｙｎ（ｔ）に基づいて、類似度マトリックスＳ（ｍ，ｎ）を計算する計算モジュールと、
を有する、
ことを特徴とする請求項１記載の連結ユニット。 - 第１の類似度マトリックスＳ１（ｍ，ｎ）が成分ｍと成分ｎの間の形状の類似度を表現し、第２の類似度マトリックスＳ２（ｍ，ｎ）が成分ｍと成分ｎの間の振幅若しくはエネルギーの類似度を表現する場合に、
計算モジュールは、
Ｓ（ｍ，ｎ）＝Ｓ１（ｍ，ｎ）Ｓ２（ｍ，ｎ）
に従って全体的な類似度マトリックスＳ（ｍ，ｎ）を計算するように適合している、
ことを特徴とする請求項２記載の連結ユニット。 - 第１の類似度マトリックスＳ１（ｍ，ｎ）は、
０＜Ｄ１＜１
かつ、
ρｍ，ｎは、成分ｘｍ（ｔ）と成分ｙｎ（ｔ）の間の形状の類似度を表現する相互相関係数である類似度指標を表し、
ｗ（ｔ）は窓関数を表し、
ｙ＊ ｍ（ｔ）は複素共役成分ｙｍ（ｔ）を表し、
Ｅｘｍは信号ｘｍのエネルギーを表し、
Ｅｙｎは信号ｙｎのエネルギーを表し、
ことを特徴とする請求項３記載の連結ユニット。 - 第２の類似度マトリックスＳ２（ｍ，ｎ）は、
０＜Ｄ２＜１
かつ、
ことを特徴とする請求項４記載の連結ユニット。 - 計算モジュールは、
０＜Ｄ３＜１であるとき、
ことを特徴とする請求項３記載の連結ユニット。 - 計算モジュールは、
０＜Ｄ４＜１であるとき、
ことを特徴とする請求項６記載の連結ユニット。 - オーディオとスピーチのうちの少なくとも一方の信号ｓを正弦波符号データ及び連結情報Ｌを含むデータストリームに符号化するパラメトリック・エンコーダであって、
該信号ｓを、少なくとも先行セグメントｓｐ’及び連続的な重なり合う現在セグメントｓｃ’に分割するセグメンテーション・ユニットが設けられ、
ｍが１からＭの整数を表し、ｎが１からＮの整数を表すとき、
該セグメントｓｐ’を近似する拡張された先行セグメントｓｐのＭ個の成分ｘｍの振幅及び周波数、並びに、該セグメントｓｃ’を近似する拡張された現在セグメントｓｃのＮ個の成分ｙｎの振幅及び周波数の形式で該正弦波符号データを生成する正弦波評価ユニットが設けられ、
受信した正弦波符号データに応じて、類似度マトリックスＳ（ｍ，ｎ）を生成する計算ユニットが設けられ、
該類似度マトリックスの値は、該拡張された先行セグメントｓｐのｍ番目の成分ｘｍと、連続的な該拡張された現在セグメントｓｃのｎ番目の成分ｙｎとの間の類似度を表現し、
類似度が極大になる成分のペアｍ，ｎを表す該連結情報Ｌを生成するため、該類似度マトリックスを受信し評価する評価ユニットが設けられ、
該振幅、該周波数及び該連結情報を適切に配列することにより、元のオーディオ又はスピーチ信号を表現するデータストリームを生成する配列ユニットが設けられ、
正弦波符号データ評価ユニットは、Ｍ個の成分ｘｍのうちの少なくとも一部の成分及びＮ個の成分ｙｎのうちの少なくとも一部の成分の位相に関する情報を更に生成するように適応し、
計算ユニットは、拡張された先行セグメントｓｐのｍ番目の成分ｘｍと拡張された現在セグメントｓｃのｎ番目の成分ｙｎの間の位相整合性を更に考慮することにより、類似度マトリックスＳ（ｍ，ｎ）を計算するように適応している、
ことを特徴とするパラメトリック・エンコーダ。 - 部分的に重なり合い、一つに連結されて正弦波トラックを形成する連続的な拡張セグメントｓｐ及び拡張セグメントｓｃの成分を表す連結情報Ｌを生成する方法であって、
セグメントｓｐ及びｓｃは、正弦波オーディオ若しくはスピーチ信号ｓの連続的なセグメントを近似するセグメントであり、
ｍが１からＭの整数を表し、ｎが１からＮの整数を表すとき、
拡張された先行セグメントｓｐのＭ個の成分ｘｍの振幅及び周波数、並びに、拡張された現在セグメントｓｃのＮ個の成分ｙｎの振幅及び周波数に関する情報を含む正弦波符号データを準備する手順と、
所定の類似度指標に従って、該拡張された先行セグメントｓｐのｍ番目の成分ｘｍと該拡張された現在セグメントのｎ番目の成分ｙｎの間の類似度を表現する類似度マトリックスＳ（ｍ，ｎ）を計算する手順と、
類似度が極大になる成分のペアｍ及びｎを選択することにより該連結情報を生成するため、該類似度マトリックスＳ（ｍ，ｎ）を評価する手順と、
を有し、
正弦波符号データを準備する手順は、Ｍ個の成分ｘｍのうちの少なくとも一部の成分及びＮ個の成分ｙｎのうちの少なくとも一部の成分の位相に関する情報を更に準備し、
類似度マトリックスＳ（ｍ，ｎ）は、拡張された先行セグメントｓｐのｍ番目の成分ｘｍと拡張された現在セグメントｓｃのｎ番目の成分ｙｎの間の位相整合性を更に考慮することにより計算される、
ことを特徴とする方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01200144 | 2001-01-16 | ||
| EP01202613 | 2001-07-06 | ||
| PCT/IB2001/002694 WO2002056298A1 (en) | 2001-01-16 | 2001-12-20 | Linking of signal components in parametric encoding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004518162A true JP2004518162A (ja) | 2004-06-17 |
Family
ID=26076812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002556879A Pending JP2004518162A (ja) | 2001-01-16 | 2001-12-20 | パラメトリック符号化における信号成分の連結 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7085724B2 (ja) |
| JP (1) | JP2004518162A (ja) |
| KR (2) | KR20080099326A (ja) |
| CN (1) | CN1213403C (ja) |
| AT (1) | ATE330309T1 (ja) |
| DE (1) | DE60120771T2 (ja) |
| WO (1) | WO2002056298A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2298568T3 (es) * | 2002-11-29 | 2008-05-16 | Koninklijke Philips Electronics N.V. | Descodificacion de audio. |
| KR20050085761A (ko) * | 2002-12-19 | 2005-08-29 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 인코딩에서의 사인곡선 선택 |
| CN1826634B (zh) * | 2003-07-18 | 2010-12-01 | 皇家飞利浦电子股份有限公司 | 低比特率音频编码 |
| JP2009501353A (ja) | 2005-07-14 | 2009-01-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ信号合成 |
| KR101380170B1 (ko) * | 2007-08-31 | 2014-04-02 | 삼성전자주식회사 | 미디어 신호 인코딩/디코딩 방법 및 장치 |
| TWI412019B (zh) * | 2010-12-03 | 2013-10-11 | Ind Tech Res Inst | 聲音事件偵測模組及其方法 |
| CN106653010B (zh) * | 2015-11-03 | 2020-07-24 | 络达科技股份有限公司 | 电子装置及其透过语音辨识唤醒的方法 |
| CN111735443B (zh) * | 2020-06-18 | 2022-04-08 | 中山大学 | 一种基于赋值矩阵的密集目标航迹关联方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10214100A (ja) * | 1997-01-31 | 1998-08-11 | Sony Corp | 音声合成方法 |
| JPH11194796A (ja) * | 1997-10-31 | 1999-07-21 | Matsushita Electric Ind Co Ltd | 音声再生装置 |
| JP2001005500A (ja) * | 1999-06-22 | 2001-01-12 | Yamaha Corp | ステレオ信号の時間軸圧伸方法及び装置 |
| JP2002534922A (ja) * | 1999-01-06 | 2002-10-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディア信号を伝送する伝送システム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4937873A (en) * | 1985-03-18 | 1990-06-26 | Massachusetts Institute Of Technology | Computationally efficient sine wave synthesis for acoustic waveform processing |
| US4885790A (en) * | 1985-03-18 | 1989-12-05 | Massachusetts Institute Of Technology | Processing of acoustic waveforms |
| US5504833A (en) * | 1991-08-22 | 1996-04-02 | George; E. Bryan | Speech approximation using successive sinusoidal overlap-add models and pitch-scale modifications |
| WO2000079519A1 (en) * | 1999-06-18 | 2000-12-28 | Koninklijke Philips Electronics N.V. | Audio transmission system having an improved encoder |
-
2001
- 2001-12-20 JP JP2002556879A patent/JP2004518162A/ja active Pending
- 2001-12-20 KR KR1020087022327A patent/KR20080099326A/ko not_active Application Discontinuation
- 2001-12-20 DE DE60120771T patent/DE60120771T2/de not_active Expired - Fee Related
- 2001-12-20 CN CNB018066267A patent/CN1213403C/zh not_active Expired - Fee Related
- 2001-12-20 WO PCT/IB2001/002694 patent/WO2002056298A1/en active IP Right Grant
- 2001-12-20 AT AT01273160T patent/ATE330309T1/de not_active IP Right Cessation
- 2001-12-20 KR KR1020027012149A patent/KR20020084199A/ko not_active Application Discontinuation
-
2002
- 2002-01-14 US US10/046,634 patent/US7085724B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10214100A (ja) * | 1997-01-31 | 1998-08-11 | Sony Corp | 音声合成方法 |
| JPH11194796A (ja) * | 1997-10-31 | 1999-07-21 | Matsushita Electric Ind Co Ltd | 音声再生装置 |
| JP2002534922A (ja) * | 1999-01-06 | 2002-10-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディア信号を伝送する伝送システム |
| JP2001005500A (ja) * | 1999-06-22 | 2001-01-12 | Yamaha Corp | ステレオ信号の時間軸圧伸方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7085724B2 (en) | 2006-08-01 |
| CN1213403C (zh) | 2005-08-03 |
| KR20020084199A (ko) | 2002-11-04 |
| DE60120771T2 (de) | 2007-05-31 |
| ATE330309T1 (de) | 2006-07-15 |
| DE60120771D1 (de) | 2006-07-27 |
| CN1418362A (zh) | 2003-05-14 |
| WO2002056298A1 (en) | 2002-07-18 |
| KR20080099326A (ko) | 2008-11-12 |
| US20020133358A1 (en) | 2002-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Marafioti et al. | A context encoder for audio inpainting | |
| Choi et al. | Investigating U-Nets with various intermediate blocks for spectrogram-based singing voice separation | |
| US7606709B2 (en) | Voice converter with extraction and modification of attribute data | |
| NL1023560C2 (nl) | Audio decodeermethode en inrichting welke hoogfrequente componenten met kleine berekeningen herstellen. | |
| Gray et al. | Non-intrusive speech-quality assessment using vocal-tract models | |
| JPH01500463A (ja) | スピーチ信号データの圧縮方法及びその装置 | |
| CN101281744A (zh) | 语音分析方法和装置以及语音合成方法和装置 | |
| CN111091800A (zh) | 歌曲生成方法和装置 | |
| Mullen et al. | Waveguide physical modeling of vocal tract acoustics: flexible formant bandwidth control from increased model dimensionality | |
| CN112133278B (zh) | 一种个性化语音合成模型网络训练及个性化语音合成方法 | |
| JP2004518162A (ja) | パラメトリック符号化における信号成分の連結 | |
| Marafioti et al. | Audio inpainting of music by means of neural networks | |
| JPH10319996A (ja) | 雑音の効率的分解と波形補間における周期信号波形 | |
| US20220156552A1 (en) | Data conversion learning device, data conversion device, method, and program | |
| CN1383546A (zh) | 正弦编码 | |
| CN104036781B (zh) | 语音信号带宽扩展装置及方法 | |
| JP3576800B2 (ja) | 音声分析方法、及びプログラム記録媒体 | |
| JPH10268898A (ja) | 音声・楽音符号化及び復号化装置 | |
| JP2798003B2 (ja) | 音声帯域拡大装置および音声帯域拡大方法 | |
| Narayanaswamy et al. | Audio source separation via multi-scale learning with dilated dense u-nets | |
| CN114842859A (zh) | 一种基于in和mi的语音转换方法、系统、终端及存储介质 | |
| EP1356456B1 (en) | Linking of signal components in parametric encoding | |
| JP2004518163A (ja) | オーディオ又は音声信号のパラメトリック符号化 | |
| Shih et al. | Generative modeling for low dimensional speech attributes with neural spline flows | |
| Mancusi et al. | Unsupervised source separation via Bayesian inference in the latent domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080708 |