JP2000200100A

JP2000200100A - アナログ信号中の類似波形検出装置及び同信号の時間軸伸長圧縮装置

Info

Publication number: JP2000200100A
Application number: JP11001630A
Authority: JP
Inventors: Katsufumi Kondo; 克文近藤; Yoshinori Hayashi; 好典林; Akira Miki; 晃三木; Koji Tanitaka; 幸司谷高; Hiroshi Owaki; 浩大脇; Koichi Kawamoto; 晃一河本
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1999-01-07
Filing date: 1999-01-07
Publication date: 2000-07-18
Anticipated expiration: 2019-01-07
Also published as: JP3266124B2

Abstract

(57)【要約】【課題】非常に少ない演算量で、アナログ信号中の時系
列方向に連続して存在する類似波形を検出する装置を提
供する。【解決手段】音声信号２をデジタル化してメモリ４に記
憶し、データ列切り出し手段５によって各窓幅Ｗａ、Ｗ
ｂ毎の２つのデータ列を時系列方向に連続して切り出し
ていく。類似度演算・類似波形検出部６では切り出した
２つのデータ列の類似度を各窓幅毎に単純積和演算によ
りＤＳＰチップによりリアルタイムで算出し、その中の
最大値の類似度に対応する窓幅で切り出したデータ列を
類似波形のデータ列Ｓａ、Ｓｂとして検出し伸長圧縮部
７に出力する。伸長圧縮部７では、このデータ列Ｓａ、
Ｓｂに基づいて信号の時間軸伸長圧縮処理を行い、出力
端子８に話速変換された音声信号を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声信号の話速
変換等に使用されるアナログ信号内の類似波形検出装置
および同信号の伸張圧縮装置に関する。

【０００２】

【従来の技術】音程（ピッチ）はそのままで、発声速度
を任意に制御できる話速変換技術は、音声再生の各分野
において応用されている。例えば、聴覚にハンディキャ
ップを持つ人を支援するために、話速変換によって音声
を引き伸ばす処理を行う装置がある。

【０００３】図１８は入力音声を伸長処理することによ
って話速変換を行う従来の方法を示している。入力音声
のピッチ周期Ｔをまず検出し、このピッチ周期Ｔの波形
を少なくとも１波形以上加える。この操作を適宜行うこ
とにより、音声のピッチを変えずに発声速度を遅くする
ことができる。また、伸長処理ではなく、少なくとも１
波形以上入力音声から切り出す圧縮処理を行うことによ
り、発声速度を早くすることも可能である。圧縮処理
は、例えば、ＶＴＲの高速再生時に音声ピッチを保持し
た再生を可能にする。

【０００４】このように、音声信号の時間軸上の伸長圧
縮処理は、従来は、もとの入力音声のピッチＴをまず検
出し、次いでこのピッチＴの追加操作または切出操作を
行うものである。周期的波形を含む入力音声のピッチＴ
を検出する手法として、従来は、いわゆる自己相関法が
専ら用いられていた。自己相関関数Ｒ_XX（ｋ）は、一般
に、次の数式で示される。

【０００５】

【数２】Ｎはサンプルデータ数であり、ｋの値を順次変えながら
自己相関関数Ｒ_XX（ｋ）のうち、最大の値を持つ時の時
間差ｋに標本化間隔Δｔを掛けた値から、その信号のピ
ッチを求めることができる。自己相関法によって音声の
母音部等の周期的アナログ信号のピッチを求める技術と
しては、特開平６−１６１４９４号公報等に示されてい
る。また、検出したピッチに基づいて波形の伸長圧縮を
行って話速変換を行う技術については、例えば特開平７
−７７９９９号公報等に示されている。

【０００６】

【発明が解決しようとする課題】ところが、自己相関法
では、すべてのｋについてサンプル数Ｎの積和演算を行
うために演算量が膨大なものとなってしまう。このた
め、リアルタイム話速変換等を行う必要のある場合に
は、このような演算方法では間に合わなくなってしまう
問題があり、また、演算量を減らすためにｋの間隔を減
らすなどの間引き処理を行ったり補間処理を行うと、ひ
ずみが生じたりするなど出力品質が低下してしまう問題
がある。また、波形挿入（伸長処理）による話速変換を
行う場合、時系列方向に２つの連続したピッチ波形を抽
出する必要があるが、自己相関法でこれを行うと、１番
目のピッチ波形と２番目のピッチ波形をそれぞれ独立し
て抽出することになるために（自己相関法では複数のピ
ッチ波形を同時に抽出することはできない）演算量がさ
らに増大する問題があった。更に、図１９（Ａ）、
（Ｂ）に示すように、自己相関法によって時系列方向に
２つの連続するピッチ波形を抽出した場合、前の波形の
ピッチ周期Ｔ１と後ろの波形のピッチＴ２とが一致しな
い場合があり、このような場合２つのピッチＴ１、Ｔ２
の差分を修正するための調整処理が必要となり、そのた
めの演算量が更に増大すると共に、処理が不適当である
と話速変換による波形の伸長や圧縮が適切なものとなら
ず、出力結果にひずみとなって現れる不都合があった。

【０００７】この発明の目的は、非常に少ない演算量
で、アナログ信号中の時系列方向に連続して存在する類
似波形を検出する装置を提供することにある。

【０００８】また、この発明の他の目的はアナログ信号
が音声信号の場合、ピッチ波形を抽出しなくても非常に
少ない演算量で話速変換を可能にする装置を提供するこ
とにある。

【０００９】

【課題を解決するための手段】請求項１の発明は、アナ
ログ信号をデジタル化して一定時間蓄積記憶するメモリ
と、該メモリのデータから窓幅を変えながら各窓幅毎の
２つのデータ列を時系列方向に連続して切り出すデータ
列切り出し手段と、切り出した２つのデータ列の類似度
を各窓幅毎に算出する類似度算出手段と、算出した窓幅
毎の類似度のうち略最大値の類似度に対応する窓幅で切
り出したデータ列をメモリのデータ内の類似波形のデー
タ列として検出する類似波形検出手段と、を備えてい
る。

【００１０】図１は、この発明に係る類似波形検出装置
を適応した話速変換装置の概略構成図である。

【００１１】入力端子１に入力する音声信号２は、Ａ／
Ｄ変換器３でデジタル化されて一定時間分の容量を持つ
メモリ４に順次蓄積記憶される。このメモリ４に蓄積記
憶されたデータからは、データ列切出部５によって、窓
幅を変えながら各窓幅毎の２つのデータ列が時系列方向
に連続して切り出される。すなわち、時系列方向に連続
して切り出す窓幅を、ＷａｉとＷｂｉとして、系列１で
は、Ｗａ１、Ｗｂ１の窓幅で時系列方向に連続してデー
タ列を切り出し、系列２では、Ｗａ２、Ｗｂ２の２つの
窓幅でデータ列を切り出す。各窓幅は、系列１から順に
少しずつ一定のピッチで増加していき所定の窓幅までこ
のデータ列切出しを繰り返す。データ列切出部５で切り
出された各系列（各窓幅）の２つのデータ列は、それぞ
れ類似度演算・類似波形検出部６に出力される。類似度
演算・類似波形検出部６は、切り出した２つのデータ列
の類似度を各系列毎（窓幅毎）に算出する。類似度Ｒ
は、式（２）により求めることができる。

【００１２】

【数３】ただし、Ｓａ（ｎ）は、１番目データ列のｎ番目データＳｂ（ｎ）は、２番目データ列のｎ番目データＮは、各データ列のデータ数類似度演算・類似波形検出部６は、上記式（２）によっ
て各系列毎の類似度Ｒを求め、各Ｒのうち最大値のＲに
対応する窓幅Ｗａ、Ｗｂで切り出したデータ列を類似波
形のデータ列として検出し、これを伸長圧縮部７に出力
する。伸長圧縮部７は、この最大値の類似度Ｒに対応す
る窓幅Ｓａ、Ｓｂを用いて、元の信号に対して時間軸上
の伸長または圧縮処理を行うことによって話速変換を行
い出力端子８に出力する。類似度Ｒのうち最大値はもっ
とも望ましいが、実用的な話速変換を行う上においては
最大値近辺のものを選択することでも差し支えはない。

【００１３】上記式（２）は積和演算であるが、一般に
このような積和演算は汎用のＤＳＰで高速に行うことが
出来る。この発明では汎用のＤＳＰチップでの高速演算
が可能な式（２）による類似度を求めるようにしている
ため、信号処理のリアルタイムオペレーションが可能で
ある。このため、信号の伸長・圧縮処理による話速変換
を行う場合等には、このような式（２）による積和演算
による類似度演算が必須となる。類似度を求める他の方
法も考えられるが、式（２）による積和演算法以外の方
法は演算が複雑化し、高速演算能力を必要とし、消費電
力を増大させるので小型化やリアルタイム処理に適さな
いと思われる。

【００１４】上記のように、類似度演算・類似波形検出
部６での演算内容は、データ列切出部５で切り出した各
系列毎の２つのデータ列だけを対象とするために、式
（１）に比較して演算量は極めて少ない。そして、２つ
の処理区間が同時に決定でき、しかも、ＷａとＷｂは同
じ長さであるために、図１９に示すようなピッチ長の違
いによる調整のための処理を必要としない。更に、メモ
リ４に記憶されるデータは母音、子音、雑音といった区
分けが不要であり、記憶データ内に連続する類似波形部
が存在すれば、それを用いて伸長圧縮処理を簡単に行う
ことができる。

【００１５】この出願の請求項２の発明は、前記アナロ
グ信号が複数種類の信号である場合に、前記類似波形算
出手段は、最大値の次に大きい類似度に対応する窓幅が
最大値の類似度に対応する窓幅よりも大きいとき、最大
値の次に大きい類似度に対応する窓幅で切り出したデー
タ列をメモリのデータ内の類似波形のデータ列として検
出することを特徴とする。

【００１６】この請求項２の発明では、例えば、２種類
のアナログ信号（音声信号など）が同時に入力した場合
に、何れか１つのアナログ信号が選択されて、その信号
に対してデータ列切り出しと類似度演算が行われること
になるが（例えば、レベルの大きなアナログ信号が選択
されることが考えられる）、このような場合に、無条件
に類似度が最大の窓幅のデータ列を選択すると、そのデ
ータ列を伸長圧縮によって話速変換を行った場合には選
択されなかった信号がひずんでしまう可能性が出てく
る。そこで、複数のアナログ信号が入力している時に
は、最大値の次に大きい類似度に対応する窓幅が最大値
の類似度に対応する窓幅よりも大きい場合、前者の窓幅
で切り出したデータ列を類似波形のデータ列として検出
する。すなわち、２番目の類似度の窓幅で切り出したデ
ータ列を類似波形のデータ列として検出する。このよう
にすると、複数の信号が入力した場合にも、伸長圧縮し
た時に、いずれかの信号がひずんでしまうのを防ぐこと
ができる。この理由については後述する。

【００１７】この出願の請求項３の発明は、前記データ
列切り出し手段は、時系列方向の任意の点を基点として
前後に設定した窓幅から２つのデータ列を切り出すこと
を特徴とする。

【００１８】すなわち、請求項３の発明では、メモリ４
に記憶されているデータの任意の点を基点として前後の
設定した窓幅から２つのデータ列を切り出すものであ
り、このようにすると、類似度演算に過去のデータを利
用出来るようになりポインタでデータを読み出すための
時間を短くすることが出来、その分処理時間を短縮化で
きる。すなわち、ポインタをメモリの先頭番地において
おけば、系列毎に常にポインタを先頭番地からＷａとＷ
ｂの２つの窓幅間を移動させてその間のデータを読み出
す必要があるが、ポインタを、メモリの任意の位置にお
いておくと、メモリの先頭番地からそのポインタまでの
データを１度読んでおけば、後は系列毎にそのポインタ
位置から前方向にＷｂの窓幅のデータだけを読んでいけ
ばよくなる（Ｗａのデータについては過去のデータとな
るから読み出す必要がない。）。例えば、ポインタをメ
モリの真中のアドレスに設定しておけば、各系列毎のデ
ータ読み出し時間を半分にすることが出来る。

【００１９】この出願の請求項４の発明は、前記類似波
形検出手段で検出した類似波形を全波形に加える伸長操
作、又は、全波形から切り出す圧縮操作を行う時間軸操
作手段を備えてなることを特徴とする。

【００２０】図１の伸長圧縮部７において、音声信号に
対し上記切り出した類似波形を１波分以上加える伸長操
作または、１波分以上前波形から切り出す圧縮操作を行
う。このようにすることによって、出力端子８に、アナ
ログ信号の時間軸を伸長圧縮した信号を出力することが
できる。

【００２１】この出願の請求項５の発明は、前記メモリ
は音声信号をデジタル化したデータを記憶するものであ
り、前記時間軸操作手段は伸長操作により話速変換を行
うことを特徴とする。

【００２２】図１の入力端子１に入力されるアナログ信
号が音声信号２である時、伸長圧縮７においてその信号
の時間軸の伸長圧縮処理を行うことにより、話速変換が
行われることになる。すなわち、出力端子８には、音声
ピッチを変えずに話す速度を変えた信号が出力される。

【００２３】

【発明の実施の形態】図２は、この発明の実施形態であ
る話速変換装置の構成図を示している。

【００２４】音声信号は、量子化に伴うエリアシングを
防止するためのアンチエリアシングフィルタ１０を通過
し、Ａ／Ｄ変換器１１によってデジタルデータに変換さ
れる。Ａ／Ｄ変換されたデータは信号処理部１２に送ら
れ、メモリ１３に対して時系列に書き込まれていく。メ
モリ１３に予め設定したサンプル数（１フレーム分）の
データが蓄積されると、信号処理部１２によって波形類
似度の高い２つのデータ列（データ列ペア）が選択さ
れ、このデータ列ペアによって入力信号の時間軸伸長圧
縮処理が行われた後、メモリ１４に書き込まれる。メモ
リ１４のデータは一定時間間隔で制御部１５によって読
み出され、Ｄ／Ａ変換器１７でデジタル信号から再度ア
ナログ信号に変換された後、ベースバンド帯域だけを取
り出すためのスムージングフィルタ１７によって滑らか
なアナログ信号に変換されて出力される。

【００２５】信号処理部１２において波形類似度の高い
データ列ペアの選択は次のようにして行われる。

【００２６】図３は、メモリ１３に記憶されているデー
タから窓幅を変えながら各窓幅毎のデータ列ペアを時系
列方向に連続して切り出していく方法を説明する図であ
る。同図において、Ｗａ、Ｗｂはそれぞれ窓幅を示し、
Ｗａ＝Ｗｂである。ポインタｐｔは初期状態ではメモリ
１３の先頭番地に位置している。最初に、窓幅をＷａ
１、Ｗｂ１に設定した系列１においてデータ列ペアの切
り出しを行う。なお、この実施形態では、音声信号を１
１KHz でサンプリングしており、概ね８０〜４００Hzの
波形を検出できるように、窓幅を、サンプル数にして６
０個〜１２０個の範囲で変えるようにしている。すなわ
ち、１１KHz のサンプリング周波数で窓幅のサンプルデ
ータ数を６０個とすれば、その窓幅は１１KHz ／６０≒
１８０Hzとなり、窓幅のサンプルデータ数を１２０個と
すれば、その窓幅は１１KHz ／１２０≒９０Hzとなるか
ら、サンプル数にして６０個〜１２０個の範囲で窓幅を
変化させることにより、直接的には９０Hz〜１８０Hzの
波形について類似度のサーチを行うことができる。実際
には、話速変換を行う場合母音部において波形の周期性
が認められるから、この母音部でのピッチを検出できる
ようにした方が望ましいと考えられ、一方、人間の音声
の母音部でのピッチは、通常、８０〜４００Hzの範囲内
に含まれるから、本実施形態では、窓幅のサンプルデー
タ数を６０個〜１２０個で可変することにより、９０〜
１８０Hz程度までしか波形類似度をダイレクトに検出す
ることができなくなる。しかし、１８０〜４００Hzのピ
ッチについてはダブルピッチによってデータ列ペアの切
出しが可能である。図４は、ダブルピッチによるデータ
列ペアの切り出し法を示している。窓幅Ｗａ、Ｗｂとも
２波分を含むダブルピッチの長さとなっている。

【００２７】図３において、系列１の窓幅Ｗａ１、Ｗｂ
１のサンプルデータ数は、それぞれ６０個である。従っ
て、メモリ１３の先頭番地からポインタｐｔを６０回移
動させて窓幅Ｗａ１の６０サンプル分のデータ列を入力
データから抽出してメモリ１３に記憶し、更にポインタ
ｐｔを６０回移動させて窓幅Ｗｂ１の６０サンプル分の
データ列を入力データから抽出してメモリ１３に記憶す
る。このようにして抽出した窓幅Ｗａ１、Ｗｂ１からな
る系列１のデータ列ペアに対して、その類似度Ｒ（ｎ
１）を式（３）により求める。

【００２８】

【数４】ただし、Ｗａ＝Ｗｂ＝ｎ１Ｓｂ（１）＝Ｓａ（１＋ｎ１）上記式（３）は、単純な積和演算であり、類似度Ｒを求
める上で最も演算量が少ないものと考えられる。また、
汎用のＤＳＰチップは、一般にこのような単純な積和演
算を高速処理するのに適した構造にあり、ＤＳＰを利用
してかかる積和演算を行うことでリアルタイム処理が可
能となる。これ以外の類似度演算を行う方法も考えられ
なくはないが、演算量が増大し、ＤＳＰ演算にも不適当
となり、リアルタイム処理が出来なくなってしまう。例
えば、上記式（３）に代えて、Σ（減算式）ⁿ のような
式は演算量が相対的に増大し、且つ、単純積和構造では
なくなるため、高速演算能力を必要とし消費電力も増大
するので、小型化やリアルタイム処理には不向きであ
る。

【００２９】なお、データ列ペアと窓幅Ｗａ、Ｗｂの関
係は図５に示すようになる。

【００３０】次に、系列２において上記と同じ動作を繰
り返す。系列２においては、窓幅Ｗａ２、Ｗｂ２を系列
１の窓幅よりも各々＋１のサンプルデータ数だけ長い窓
幅とする。したがって、ポインタｐｔを時系列方向に＋
２だけ移動させて２サンプル分のデータを入力データよ
り読み出して記憶する。なお、本実施形態のように、系
列を１つ増やす毎に増やすサンプル数を＋２とする（Ｗ
ａ、Ｗｂとも１ステップ増加）のが望ましいが、演算量
を少なくするために適当なステップ増加数とすることも
可能である。サンプル数の増加ステップ数を＋１とした
場合は、Ｗａ２＝Ｗｂ２＝ｎ２＝ｎ１＋１となり、ま
た、Ｓｂ（１）＝Ｓａ（１）＋ｎ２となる。そして、こ
の場合の、類似度Ｒ（ｎ２）は、次の式（４）によって
求められる。

【００３１】

【数５】ここで、上記式（３）および式（４）に示すように、デ
ータ列ペアの類似度Ｒは、データ列間の要素を積算し、
その積算値を要素数で除すことによって得られる平均値
としている。したがって、波形が類似するに応じてＲも
大きくなっていく。このようにして、各系列についての
類似度を求めていき、最後に、窓幅を、メモリ１３に記
憶出来る全サンプル数Ｎの半分（Ｒ／２）にした時の類
似度Ｒ（Ｎ／２）を、次式（５）によって求める。な
お、この時には、Ｗａ＝Ｗｂ＝Ｎ／２、Ｓｂ（１）＝Ｓ
ａ（１）＋Ｎ／２となる。

【００３２】

【数６】次に、求めた全ての類似度Ｒのうちの最大値を示す類似
度に対応する窓幅のデータ列ペアＳａ、Ｓｂを最適値と
して選択し、信号処理部１２は、このデータ列ペアを用
いて時間軸の伸長圧縮処理、すなわち話速変換処理を行
う。図６（Ａ）は圧縮処理をする場合、同図（Ｂ）は伸
長処理をする場合の波形の削除、挿入方法について示す
図である。

【００３３】図６（Ａ）では、データ列Ｓａ、Ｓｂにそ
れぞれ窓関数ｋ１、ｋ２で積和処理（ｋ１＊Ｓａ＋ｋ２
＊Ｓｂ）を行い、この積和演算結果を、データ列ペアＳ
ａ、Ｓｂに置き換える。窓関数ｋ１はデータ列Ｓａの最
初の位置では１であり、最後の位置では０の値をとる一
次関数であり、また、窓関数ｋ２は、データ列Ｓｂの最
初の位置で０、最後の位置で１となる一次関数である。
したがって、上記積和演算結果の最初の値はデータ列Ｓ
ａの最初の位置の値に等しく、積和演算結果の最後の値
はデータ列Ｓｂの最後の位置の値に等しい。この結果、
上記積和演算によって得られる結果をデータ列ペアＳ
ａ、Ｓｂに置き換えても、その前後の波形（データ列Ｓ
ａの後ろの波形およびデータ列Ｓｂの前の波形Ｓｃ）と
の間で信号の不連続が生じるのをなくすことができる。

【００３４】図６（Ｂ）は、波形を挿入して時間軸の伸
長を行う。すなわち、データ列Ｓａには最初の位置で
０、最後の位置で１の値をとる一次関数の窓関数ｋ３を
掛け、データ列Ｓｂに対しては最初の位置で１、最後の
位置で０となる一次関数の窓関数ｋ４を掛け、その結果
をデータ列ＳａとＳｂ間に挿入する。この場合も、窓関
数ｋ３、ｋ４を上記のような傾きを持つ一次関数として
いるため、信号の不連続性が生じることはない。

【００３５】なお、図６（Ａ）、図６（Ｂ）では１つの
波形の削除および挿入による圧縮、伸長処理を示した
が、通常は、複数個の波形の圧縮、伸長処理が行われて
話速変換が実現される。

【００３６】図７は、データ列ペアを切り出す他の方法
について説明するための図である。図３に示す方法で
は、系列１のデータ列ペア１２０サンプル分を読み出し
て類似演算をした後、更に＋２サンプル分読み出して系
列２のデータ列ペアの類似演算を行い、更に、＋２サン
プル分読み出して系列３の類似演算を行うようにしてい
くなど、系列が１つ進む毎に＋２サンプル分を読み出し
て類似度の演算を行うようにしていくが、サンプリング
周波数は１１KHz であるために１サンプル分の読み出し
時間に０．０９×１０^-3(sec) の時間を必要とすること
になり、全体としてこの時間の累積が無視できなくな
る。そこで、図７に示すように、ポインタｐｔの位置を
メモリ１３の中心番地に持ってくることにより、窓幅Ｗ
ａのデータは過去のデータとしてすでにメモリ１３内に
記憶されていることになり、新たに読み出すデータは窓
幅Ｗｂに対応する分だけとなる。すなわち、系列１につ
いてはＷｂ１の窓幅の６０サンプル分のデータを読み出
した後類似演算を行い、系列２については、更に＋１サ
ンプル分のデータを読み出して類似演算を行い、系列３
については、更に＋１サンプル分のデータを読み出して
類似演算を行うことでよい。すなわち、系列１につい
ては６０サンプル分、系列２以下については＋１サンプ
ル分（合計６１サンプル分）のデータを読み出して行く
だけで各系列毎の類似演算を行うことができる。図３に
示す方法では、系列１で１２０サンプル分のデータ列を
読み出した後、系列が１つ進む毎に＋２サンプル分のデ
ータを順次読み出して行くが、図７の方法では系列１で
６０サンプル分のデータを読み出した後、系列が１つ進
む毎に＋１サンプル分のデータを読み出していくだけで
類似度の演算を各窓幅毎に行うことができるため、全体
としての演算時間を非常に短くすることができる。実
際、類似演算そのものはＤＳＰ等で行うために１０^-9(s
ec) 単位で演算を行うが、これに比べて１つのデータを
読み出す時間（０．０９×１０^-3）(sec) はかなり長
い。したがって、全体の処理時間を短縮するのに図７に
示す方法を採用することは極めて効果的である。なお、
信号処理のスタート時点ではポインタｐｔから過去分に
遡ったデータ（Ｗａの窓幅のデータ）がまだ記憶されて
いないためにその過去のデータが揃うまでに時間を必要
とするが、一旦揃えば、以後の連続信号処理においては
常にポインタｐｔを基点とした時の過去分のデータをそ
のまま利用することができるために、上記の理由によっ
て演算時間を非常に短くすることができる。

【００３７】図８は、周期の異なる２つのｓｉｎ波の合
成信号に対してＡ／Ｄ変換を行い、図３に示す方法によ
ってデータ列ペアを切り出し、更に式（２）によって各
系列の類似度を算出し、その類似度を波形と共に示した
図である。ここでは、ｓｉｎ波合成信号Ｓとしては、Ｓ＝ｓｉｎ（２πｆｔ）＋ｓｉｎ（３πｆｔ）を用いた。なお、横軸の数字はサンプル数（時間）を示
し、縦軸は信号の大きさと類似度をそれぞれ正規化して
示している。ｓｉｎ波合成信号Ａは、そのピッチはサン
プル数にして２１となるが、類似度Ｂのピーク値Ｂｍａ
ｘも２１を示している。したがって、入力信号として２
つの周期の信号の合成信号が入力した場合であっても、
最大の類似度に対応する窓幅を元の信号の周期（ピッ
チ）とみなすことができる。

【００３８】このように、２つの波形の合成信号であっ
てもこの発明の装置によって類似波形を検出することが
できるから、図２に示す話速変換装置において音声信号
として２種類の信号が合成された合成信号が入力された
場合でも最大値を持つ類似度を算出することで類似波形
を検出することが可能である。ただし、信号処理部１２
においては、２種類の音声信号のうち、音声信号のレベ
ルの大きな方についての類似度が音声信号のレベルの小
さな方のそれよりも大きくなる。このことは、類似度の
計算が式（２）によって行われることからも推定でき
る。また、図８からもピーク値Ｂｍａｘはレベルの大き
なｓｉｎ（３πｆｔ）に対してのものであり、その次に
大きい値Ｂｍａｘ′はレベルの小さなｓｉｎ（２πｆ
ｔ）に対してのものであることがわかる。このような理
由から、例えば、男性の声と女性の声が混ざった合成音
声信号が入力した場合は、男性の声のレベルが大きい場
合には最大の類似度に対応する窓幅で切り出したデータ
列は男性の音声信号の類似波形のデータ列となり、反対
に女性の声のレベルが大きい場合には最大類似度に対応
する窓幅で切り出したデータ列は女性の音声信号の類似
波形のデータ列となる。一方、もし、前者のように男性
信号のレベルが大きい場合は、最大類似度に対応する窓
幅は男性の音声信号に対応するから、この窓幅で切り出
したデータ列によって伸長圧縮処理、すなわち話速変換
が、女性の音声信号に対しても行われることになる。図
９（Ａ）はこの状態を示している。同図では、Ｓａ、Ｓ
ｂが男性の音声信号において最大類似度を示した窓幅の
データ列である。また、一般に、男性の音声信号よりも
女性の音声信号の方がピッチが高いから、このデータ列
Ｓａの中に女性の音声信号の中で最大類似度を示す窓幅
のデータ列Ｓａ′が含まれるものと考えられる。すなわ
ち、図９（Ａ）においてＳａ′、Ｓｂ′が女性の音声信
号の最大類似度を示すデータ列である。Ｓｒは、Ｓａか
らＳａ′の整数倍を引いた残り、または、ＳｂからＳ
ｂ′の整数倍を差し引いた残りを示している。この残り
のデータ列Ｓｒは圧縮処理の場合そのまま残るから、こ
れが１波形分に相当しないために出力信号のひずみ、ノ
イズ成分となってくる。

【００３９】これに対し、女性の音声信号のレベルの方
が男性の音声信号のレベルよりも大きい場合には、図９
（Ｂ）に示すようになる。同図において、Ｓａ、Ｓｂは
女性の音声信号の最大類似度に対応する窓幅で切り出し
たデータ列を示し、Ｓａ′、Ｓｂ′は男性の音声信号の
最大類似度に対応する窓幅のデータ列を示す。またＳｒ
はＳａ’からＳａを差し引いた残りの部分である。この
例では、圧縮処理を行った場合女性の音声信号が正しく
出力されるが、男性の音声信号についてはＳｒの分が欠
けるために１波形分全体がひずみ、ノイズ成分となって
くる。

【００４０】図９（Ａ）と図９（Ｂ）を対比してみる
と、図９（Ａ）では圧縮処理を行った時にＳａ′のいく
つかの波形はＳａに含まれるのに対し、図９（Ｂ）では
ＳａにＳａ′が含まれないから、図９（Ａ）の場合の方
がより聴きやすくなるものと推定される。したがって、
女性の声の音声レベルが大きい場合であっても、男性の
音声信号の最大類似度に対応する窓幅で切り出したデー
タ列で圧縮処理を行うようにすれば、常にどのような場
合でも図９（Ａ）に示すような処理が行われるようにな
って、ノイズやひずみの少ない話速変換を行うことがで
きるようになる。図１０〜図１７は、一声または二声
（男女）の音声信号が図２の話速変換装置に入力された
場合の音声信号波形と演算によって求めた類似度をそれ
ぞれ示す図である。これらの図の横軸はサンプル数（時
間）を示し、縦軸は音声信号については音声レベル、類
似度については類似度の大きさを示している。図１０、
図１１について説明すると、図１０は、一般の大人の男
性が“あ”を発声した時の音声信号の一部を示してい
る。サンプル周波数は前述のように１１KHz であり、図
１０では、メモリ１３に記憶される２４０サンプル数の
データを示している。この男性の音声信号に対してデー
タ列切り出しと類似度の算出を行った結果、類似度は図
１１に示すように変化した。具体的には、図３の最初の
系列窓幅Ｗａ１、Ｗｂ１を５０サンプル数に設定し、以
後１サンプル数ずつ増やしていきながらサンプル数が１
２０になるまで各系列毎に類似度演算を行っていった。
図１１に示すように、類似度の最大値はサンプル数が１
１０付近の時である。したがって、図１０に示す男性の
“あ”の音声信号では、サンプル数にして１１０の窓幅
で切り出したデータ列が類似波形のデータ列として検出
され、これに基づいて話速変換が行われることになる。
なお、図１０では第１回目のピークと第２回目のピーク
のレベル差があるが、類似波形を検出する場合にはピー
ク値は大きな問題とはならない。この例では、第１回目
のピークと第２回目のピークの間が、図１で示される類
似度の最大値のサンプル数にほぼ等しい。

【００４１】図１２は、女性が“あ”を発声した時の音
声信号を示している。また図１３は、その場合の類似度
を示している。この例では、類似度の最大値を示すサン
プル数は約６０程度である。したがって、サンプル数６
０の窓幅で切り出したデータ列を類似波形のデータ列と
して検出し、話速変換を行う。なお、図１２では、ピー
ク間のサンプル数がほぼ６０サンプル数に相当してい
る。

【００４２】図１４は、男女が同時に“あ”を発声した
時の音声信号を示し、男性の音声信号と女性の音声信号
のレベル比が３対２の場合を示している。図１５はその
場合の類似度を示す。この例では、最大値の類似度に対
応する窓幅のサンプル数は約１１０である。この場合、
図９（Ａ）に示す圧縮処理を行うために、最大値の類似
度に対応する窓幅のサンプル数１１０を選び、この窓幅
で切り出したデータ列を類似波形のデータ列として話速
変換に使用することになる。

【００４３】図１６は、女性の音声信号のレベルと男性
の音声信号のレベル比が３対２の場合の音声信号を示し
ている。また、図１７はその場合の類似度を示す。この
場合、女性の音声信号のレベルが大きいために、最大値
の類似度に対応する窓幅は６０サンプル数であり、最大
値の次に大きい類似度に対応する窓幅は１１０サンプル
数程度である。したがって、この場合には、１１０サン
プル数が６０サンプル数よりも大きいから、最大値の次
に大きい類似度に対応する窓幅である１１０サンプル数
を選択し、この窓幅で切り出したデータ列を類似波形の
データ列として話速変換を行う。

【００４４】したがって、図１７に示すように、最大値
の次に大きい類似度に対応する窓幅が最大値の類似度に
対応する窓幅よりも大きいときは、最大値の次に大きい
類似度に対応する窓幅で切り出したデータ列をメモリの
データ内の類似波形のデータ列として検出する。このよ
うにすることで、図９で説明した理由から、二声のひず
み、ノイズを最小限に抑えることが出来る。

【００４５】以上の実施形態では、入力信号を音声信号
とする話速変換装置について説明したが、アナログ信号
中の類似波形を検出する装置であれば話速変換装置に限
らずどのような装置であってもかまわない。また、話速
変換装置では、入力される音声信号は上記実施形態で示
したように生の信号で良く、周期性を持つ母音信号であ
る必然はないし、また、周期性のない子音信号であって
も、あるいはノイズ信号であってもかまわない。本実施
形態では、どの信号形態であっても、類似波形が検出さ
れることにより、その波形を使用して時間軸の圧縮伸長
処理による話速変換が可能である。

【００４６】

【発明の効果】請求項１の発明によれば、従来のような
自己相関手法によらなくてもアナログ信号中の類似波形
を検出できるため、演算量が非常に少なくなる利点があ
る。また、単純積和構造の式により類似度演算を行うた
め、汎用のＤＳＰに適合し、リアルタイム処理が可能に
なる。

【００４７】請求項２の発明によれば、女性と男性の混
声信号等、２つの信号が混ざったアナログ信号が入力さ
れる場合、どちらの信号レベルが小さくても、波形の伸
長圧縮処理を行う場合に、よりひずみの小さくなる類似
波形を検出することができる。

【００４８】請求項３の発明によれば、データ列を切り
出す時の基点を任意の点に設定することで、過去のデー
タを用いながら類似度演算を行うことができるため、過
去分のデータを新たに読み出す時間を省略できその分処
理時間を短縮することができる。

【００４９】請求項４の発明によれば、以上の操作によ
ってアナログ信号の伸長圧縮処理を容易に行えるという
効果がある。

【００５０】請求項５の発明によれば、音声信号に対し
て母音、子音等を予め分離しなくても容易に、且つ高速
に話速変換を行うことができる。

【図面の簡単な説明】

【図１】この発明が適用される話速変換装置の概略構成
図

【図２】この発明の実施形態である話速変換装置のブロ
ック図

【図３】データ列ペアを切り出す方法について説明する
図

【図４】ダブルピッチによるデータ列ペアの切り出し方
法について説明する図

【図５】データ列と窓幅を示す図

【図６】（Ａ）、（Ｂ）圧縮処理例と伸長処理例をそれ
ぞれ示す図

【図７】データ列ペアを切り出す他の方法について説明
する図

【図８】ｓｉｎ波合成信号と類似度を示す図

【図９】（Ａ）、（Ｂ）二声混合信号の圧縮処理例１、
圧縮処理例２についてそれぞれ説明するための図

【図１０】男性音声、女性音声、男性女性混合音声それ
ぞれについての音声信号波形と類似度を示す図

【図１１】男性音声、女性音声、男性女性混合音声それ
ぞれについての音声信号波形と類似度を示す図

【図１２】男性音声、女性音声、男性女性混合音声それ
ぞれについての音声信号波形と類似度を示す図

【図１３】男性音声、女性音声、男性女性混合音声それ
ぞれについての音声信号波形と類似度を示す図

【図１４】男性音声、女性音声、男性女性混合音声それ
ぞれについての音声信号波形と類似度を示す図

【図１５】男性音声、女性音声、男性女性混合音声それ
ぞれについての音声信号波形と類似度を示す図

【図１６】男性音声、女性音声、男性女性混合音声それ
ぞれについての音声信号波形と類似度を示す図

【図１７】男性音声、女性音声、男性女性混合音声それ
ぞれについての音声信号波形と類似度を示す図

【図１８】話速変換処理について説明するための図

【図１９】従来の自己相関法によるピッチ抽出法につい
て説明するための図

───────────────────────────────────────────────────── フロントページの続き (72)発明者三木晃静岡県浜松市中沢町10番１号ヤマハ株式会社内 (72)発明者谷高幸司静岡県浜松市中沢町10番１号ヤマハ株式会社内 (72)発明者大脇浩静岡県浜松市中沢町10番１号ヤマハ株式会社内 (72)発明者河本晃一静岡県浜松市中沢町10番１号ヤマハ株式会社内Ｆターム(参考） 5D015 DD03 5D045 BA02 5J064 AA02 BA18 BB03 BB13 BC01 BC06 BC07 BC11

Claims

【特許請求の範囲】

【請求項１】アナログ信号をデジタル化して一定時間
蓄積記憶するメモリと、該メモリのデータから窓幅を変
えながら各窓幅毎の２つのデータ列を時系列方向に連続
して切り出すデータ列切り出し手段と、切り出した２つ
のデータ列の類似度を各窓幅毎に算出する類似度算出手
段と、算出した窓幅毎の類似度のうち略最大値の類似度
に対応する窓幅で切り出したデータ列をメモリのデータ
内の類似波形のデータ列として検出する類似波形検出手
段と、を備え、前記類似度算出手段は、類似度Ｒを各窓幅毎に次式で算
出することを特徴とする、アナログ信号中の類似波形検
出装置。【数１】但し、Ｓａ（ｎ）は、１番目データ列のｎ番目データＳｂ（ｎ）は、２番目データ列のｎ番目データＮは、各データ列のデータ数
【請求項２】前記アナログ信号が複数種類の信号であ
る場合に、前記類似波形算出手段は、最大値の次に大き
い類似度に対応する窓幅が最大値の類似度に対応する窓
幅よりも大きいとき、最大値の次に大きい類似度に対応
する窓幅で切り出したデータ列をメモリのデータ内の類
似波形のデータ列として検出することを特徴とする、請
求項１記載のアナログ信号中の類似波形検出装置。
【請求項３】前記データ列切り出し手段は、時系列方
向の任意の点を基点として前後に設定した窓幅から２つ
のデータ列を切り出す、請求項１または２のいずれかに
記載のアナログ信号中の類似波形検出装置。
【請求項４】前記類似波形検出手段で検出した類似波
形を全波形に加える伸長操作、又は、全波形から切り出
す圧縮操作を行う時間軸操作手段を備えてなる、請求項
１〜３のいずれかに記載のアナログ信号の伸長圧縮装
置。
【請求項５】前記メモリは音声信号をデジタル化した
データを記憶するものであり、前記時間軸操作手段は伸
長操作により話速変換を行う請求項４記載のアナログ信
号の伸長圧縮装置。