JP2011033672A - 音声信号変換装置、音声信号変換方法および音声信号変換プログラム - Google Patents

Abstract

【課題】ピッチの誤検出を抑制すること。
【解決手段】音声信号変換装置１は、レベル補正部２と、自己相関値算出部３とを有している。レベル補正部２は、自己相関値を算出する対象区間、例えば、隣接する２つの有声区間の音声信号のレベルが互いに等しくなるように音声信号を補正する。自己相関値算出部３は、レベル補正を行った（補正後の）音声信号に対して自己相関値を算出する。自己相関値算出部３によって算出された自己相関値は、さらに後段の信号処理回路に出力される。そして、話速変換処理等が施される。
【選択図】図１

Description

本発明は音声信号変換装置、音声信号変換方法および音声信号変換プログラムに関する。

電話の受話器から聞こえる音声の速度や、テープレコーダ等に記録されている音声の速度を変換する技術が知られている。
これらの技術は、例えば、加齢等による受聴能力の低下のために、電話の相手の声が聞こえにくい場合、相手の声をゆっくり再生することで聞き取り易くする等の目的に用いられている。

音声の速度を変換するために、ピッチ周期単位で波形の処理を行う方法が知られている。例えば、ピッチ周期単位で音声信号の波形を繰り返したり、間引いたりする方法や、音声信号をピッチ周期毎に切り出し、それぞれに窓かけを行った後重ね合わせることで、元の波形の１／２倍、２倍の長さに変換する方法（ＴＤＨＳ：time domain harmonic scaling法）等が知られている。

このような、ピッチ周期単位で波形の処理を行う場合、入力音声信号のうち、有音区間中で母音等の有声音声を表す有声区間、有音区間中で摩擦音や破裂音等の無声音声等を表す無声区間を求め、無音区間とともに３種類に分類する方法が知られている。

特開平１−９３７９５号公報 特開平５−８０７９６号公報

各音声区間（有声区間、無声区間、無音区間等）の判別やピッチ周期の検出の際に、自己相関値を用いる方法が知られている。
図８は、音声信号の一例を示す図である。

ここで、有声区間９１と、有声区間９２とを比較すると、有声区間９１は、有声区間９２に比べ音素長が長く、隣接するピッチ間のレベル変動が小さい（レベルがほぼ同等の）区間が多い。

このように隣接するピッチ間のレベル変動が小さい区間では自己相関値が大きく、ピッチの検出精度は比較的高くなる。
一方、有声区間９２は音素長が有声区間９１に比べて短く、ピッチ間のレベル変動が大きい。そのため、隣接するピッチ間の相関値が小さく、ピッチの検出精度が比較的低くなる。このように、有声区間９２のようなピッチ間のレベル変動が大きい区間では、ピッチの検出精度が比較的低く、音声信号の十分な伸張や圧縮が行えない場合があるという問題がある。

本発明はこのような点に鑑みてなされたものであり、ピッチの誤検出を抑制する音声信号変換装置、音声信号変換方法および音声信号変換プログラムを提供することを目的とする。

上記目的を達成するために、開示の音声信号変換装置が提供される。この音声信号変換装置は、レベル補正部と、自己相関値算出部とを有している。
レベル補正部は、自己相関値を算出する対象区間の音声信号のレベルが互いに等しくなるように音声信号を補正する。

自己相関値算出部は、レベル補正を行った音声信号に対して自己相関値を算出する。

開示の音声信号変換装置によれば、ピッチの誤検出を抑制することができる。

実施の形態の音声信号変換装置の概要を示す図である。 携帯装置のハードウェア構成例を示す図である。 携帯装置の機能を示すブロック図である。 話速変換部の機能を示すブロック図である。 補正係数算出部の処理を示すフローチャートである。 実施の形態の処理の具体例を示す図である。 実施の形態の処理の具体例を示す図である。 音声信号の一例を示す図である。

以下、実施の形態を、図面を参照して詳細に説明する。
まず、実施の形態の音声信号変換装置の概要について説明し、その後、実施の形態をより具体的に説明する。

＜第１の実施の形態＞
図１は、実施の形態の音声信号変換装置の概要を示す図である。
実施の形態の音声信号変換装置１は、レベル補正部２と、自己相関値算出部３とを有している。

レベル補正部２は、自己相関値を算出する対象区間、例えば、隣接する２つの有声区間の音声信号のレベルが互いに等しくなるように音声信号を補正する。
この音声信号としては、例えば、通話時に有線または無線で外部から送られてくる音声信号や、記録媒体に予め記録された音声信号等が挙げられる。

記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記録装置としては、例えば、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ等が挙げられる。光ディスクとしては、例えば、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。光磁気記録媒体としては、例えば、ＭＯ（Magneto-Optical disk）等が挙げられる。

また、音声信号のレベルを補正する方法としては、音声信号のパワーが等しくなるように補正する方法や、音声信号の最大振幅が等しくなるように補正する方法等が挙げられる。

特に、音声信号の最大振幅が等しくなるように補正する場合は、レベル補正部２の処理負荷が小さいという利点がある。
この補正により、音声信号の隣接するピッチ間のレベル変動が小さくなる。すなわち、レベルが同等の区間が多くなる。

自己相関値算出部３は、レベル補正を行った（補正後の）音声信号に対して自己相関値を算出する。
補正後の音声信号は、補正前の音声信号よりレベル変動が小さい。このため、補正後の音声信号に対する自己相関値は、補正前の音声信号に対する自己相関値よりも大きな値となる。

自己相関値算出部３によって算出された自己相関値は、さらに後段の信号処理回路（図示せず）に出力される。そして、話速変換処理等が施される。
なお、図１では、自己相関値を音声信号変換装置１の外部に出力する場合を示しているが、音声信号変換装置１が、前述した信号処理回路を有していてもよい。

このような音声信号変換装置１によれば、レベル補正部２が、自己相関値を算出する対象区間の音声信号のレベルが互いに等しくなるように音声信号を補正することで、自己相関値算出部３は、補正前の音声信号に対する自己相関値よりも大きな自己相関値を出力する。これにより、信号処理回路は、補正前よりピッチの検出精度が高くなり、より確実に話速変換処理等を行うことができる。

＜第２の実施の形態＞
以下、開示の音声信号変換装置を携帯装置に適用した場合を例にした実施の形態を用いて開示の音声信号変換装置をより具体的に説明する。

図２は、携帯装置のハードウェア構成例を示す図である。
携帯装置１０は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０９を介してＲＡＭ（Random Access Memory）１０２、記憶装置１０３、グラフィック処理装置１０４、入力インタフェース１０５、外部補助記憶装置１０６、通信インタフェース１０７、および、スピーカ１０８が接続されている。

ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。

記憶装置１０３には、ＯＳやアプリケーションプログラムが格納される。また、記憶装置１０３内には、プログラムファイルが格納される。
記憶装置１０３としては、例えば、フラッシュメモリやＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）等のメモリデバイスが挙げられる。

グラフィック処理装置１０４には、モニタ１０４ａが接続されている。
グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１０４ａの画面に表示させる。

入力インタフェース１０５には、テンキー等の各種操作キー１０５ａが接続されている。入力インタフェース１０５は、操作キー１０５ａから送られてくる信号を、バス１０９を介してＣＰＵ１０１に送信する。

外部補助記憶装置１０６は、記録媒体に書き込まれた情報を読み取ったり、記録媒体に情報を書き込んだりする。外部補助記憶装置１０６で読み書きが可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記録装置としては、例えば、フレキシブルディスク、磁気テープ等が挙げられる。光ディスクとしては、例えば、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ等が挙げられる。光磁気記録媒体としては、例えば、ＭＯ等が挙げられる。

通信インタフェース１０７は、ネットワーク３０に接続されている。通信インタフェース１０７は、ネットワーク３０を介して、他の携帯装置等との間でデータの送受信を行う。

スピーカ１０８は、ＣＰＵ１０１が有するＤ／Ａ変換機能によって変換されたアナログの音声信号を音声として出力する。なお、図示していないが、携帯装置１０がＤ／Ａ変換回路を別途有し、スピーカ１０８がＤ／Ａ変換回路の出力部に接続される構成としてもよい。

以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。このようなハードウェア構成の携帯装置１０内には、以下のような機能が設けられる。

図３は、携帯装置の機能を示すブロック図である。
携帯装置１０は、符号化データ受信部１１と、データ復号部１２と、話速変換部１３と、Ｄ／Ａ変換部１４とを有している。

符号化データ受信部１１は、符号化された音声データを、アンテナ１５を介して受信する。
データ復号部１２は、符号化データ受信部１１が受信した符号化された音声データを復号する。

話速変換部１３は、データ復号部１２によって復号された音声データに処理を施すことによって、音声データの話速を変換する。
Ｄ／Ａ変換部１４は、話速変換部１３によって変換された音声データ（デジタル信号）をアナログ信号に変換し、スピーカ１０８に出力する。

次に、話速変換部１３の機能をより詳しく説明する。
図４は、話速変換部の機能を示すブロック図である。
話速変換部１３は、補正係数算出部１３１と、自己相関値算出部１３２と、区間判別部１３３と、ピッチ検出部１３４と、話速設定部１３５と、ピッチ繰り返し／間引き部１３６と、無音伸長／圧縮部１３７と、合成部１３８とを有している。

補正係数算出部１３１は、第１の実施の形態のレベル補正部２に対応する機能を有している。
補正係数算出部１３１は、自己相関値を算出する信号区間ｘ（ｉ）と信号区間ｘ（ｉ＋ｊ）（ｊ＝１、２、・・・、（ｉ−１）、ｉ）の信号を同等に補正する補正係数を算出する。

信号区間ｘ（ｉ）は、例えば、１フレームの信号が２０ｍｓｅｃである場合、各５ｍｓｅｃを信号区間ｘ（ｉ）とし、信号区間ｘ（ｉ）の後の５ｍｓｅｃを信号区間ｘ（ｉ＋ｊ）とする。

補正係数ａの算出方法としては、例えば次式（１）、（２）を用いる。

ここで、ｘ（ｉ）_maxは、信号区間ｘ（ｉ）における信号の最大の振幅値を示している。また、ｘ（ｉ＋ｊ）_maxは、信号区間ｘ（ｉ＋ｊ）における信号の最大の振幅値を示している。

自己相関値算出部１３２は、第１の実施の形態の自己相関値算出部３に対応する機能を有している。
自己相関値算出部１３２は、補正係数算出部１３１が算出した補正係数を用いて、入力信号に対する自己相関値を算出する。

ここで、自己相関値は、例えば、次式（３）で表される。

但し、Ｒ（ｊ）≦１．０
この式（３）は、以下の内容を示している。
信号区間ｘ（ｉ）の信号値と信号区間ｘ（ｉ＋ｊ）の信号値に補正係数ａを乗じた値の積和（Σｘ（ｉ）×（ａ×ｘ（ｉ＋ｊ）））をそれぞれ演算する。なお、（ａ×ｘ（ｉ＋ｊ））の値は、補正係数算出部１３１が予め求めてもよいし、自己相関値算出部１３２が算出するようにしてもよい。

信号区間ｘ（ｉ）のパワー（Σｘ（ｉ）×ｘ（ｉ））をそれぞれ演算する。
次に、求めた各積和を各パワーで除算して得られるＲ（１）〜Ｒ（ｊ）をそれぞれ算出する。

算出したＲ（１）〜Ｒ（ｊ）のうち、値が最も大きいものが自己相関値になる。
区間判別部１３３は、入力信号を、フレーム毎に無音区間、無声区間および有声区間に分類する。

無音区間と有音区間は、例えば、音声パワーの有無に基づいて判別することができる。また、無声区間と有声区間は、例えば、有音区間の標本値に対してＰＡＲＣＯＲ分析と零交差分析を行うことにより判別することができる。

ピッチ検出部１３４は、区間判別部１３３が判別した有声区間において、自己相関値算出部１３２によって算出された自己相関値と、予め定められた閾値とを比較し、ピッチ周期を検出する。例えば、閾値を０．８と定めている場合、自己相関値が０．８以上である場合、ピッチ周期を検出する。

話速設定部１３５は、例えば、携帯装置１０の利用者（受聴者）が、操作キー１０５ａを操作することにより入力インタフェース１０５を介して入力される話速変換指示に応じて繰り返し（伸長）／間引き（圧縮）の倍率（回数）を設定する。

話速変換指示が、話速を遅くする指示であるときは、繰り返しを行う。話速設定部１３５は、繰り返しを行う倍率を設定する。例えば、話速変換指示が、再生速度倍率を１／２倍速にする指示であるときには、繰り返し率（伸長率）は、２に設定される。

他方、話速を早くするときは、間引きを行う。話速設定部１３５は、間引きを行う倍率を設定する。例えば、話速変換指示が、再生速度倍率を２倍速にする指示であるときには、間引き率（圧縮率）は、１／２に設定される。

ピッチ繰り返し／間引き部１３６は、話速設定部１３５が設定した倍率に応じて、区間判別部１３３にて有声区間と判別された区間について、波形の繰り返し／間引き処理を実行する。

例えば、繰り返し率（伸長率）は、「２」に設定されたときは、音声の１ピッチ周期が２ピッチ周期繰り返される。これにより、音声速度は１／２倍速のままで音程のみが元に戻される。

間引き率（圧縮率）は、「１／２」に設定されたときは、音声の２ピッチ周期が１ピッチ周期に間引かれる。これにより、音声速度は２倍速のままで音程のみが元に戻される。
無音伸長／圧縮部１３７は、区間判別部１３３にて雑音（無音）区間と判定された区間について、話速設定部１３５によって設定された倍率に応じて信号の伸張／圧縮処理を行う。

合成部１３８は、ピッチの繰り返し／間引きを行った有声区間と、無声区間と、伸張／圧縮を行った無音区間とを入力信号と同じ順序で合成する。そして、合成した信号をＤ／Ａ変換部１４に出力する。

この話速変換部１３によれば、話速変換部１３に入力された入力信号は、補正係数算出部１３１により、自己相関値を算出する信号区間ｘ（ｉ）と信号区間ｘ（ｉ＋ｊ）の信号が同等に補正される補正係数ａが算出される。

そして、自己相関値算出部１３２により、補正係数算出部１３１によって算出された補正係数ａを用いて自己相関値が算出される。
また、区間判別部１３３により、入力信号が、無音区間、無声区間および有声区間に分類される。

ピッチ検出部１３４により、区間判別部１３３によって判別された有声区間において、自己相関値と予め定められた閾値とが比較され、ピッチ周期が検出される。
また、話速設定部１３５により、発話者の話す速さや受聴者の受聴能力等に応じて有声区間のピッチ区間の延長比率と無音区間の延長比率が設定される。

ピッチ繰り返し／間引き部１３６により、話速設定部１３５によって設定された倍率に応じて、区間判別部１３３にて有声区間と判別された区間について、波形の繰り返し／間引き処理が実行される。

無音伸長／圧縮部１３７により、区間判別部１３３にて雑音（無音）区間と判定された区間について伸張／圧縮処理が行われる。
合成部１３８により、ピッチの繰り返し／間引きを行った有声区間と、無音区間と、伸張／圧縮を行った無音区間とが入力信号と同じ順序で合成される。そして、合成した信号がＤ／Ａ変換部１４に出力される。

次に、補正係数算出部１３１の処理を詳しく説明する。
図５は、補正係数算出部の処理を示すフローチャートである。
［ステップＳ１］
まず、信号区間ｘ（ｉ）と信号区間ｘ（ｉ＋ｊ）を用いて補正係数ａを算出する。その後、ステップＳ２に遷移する。

［ステップＳ２］
次に、補正係数ａをｘ（ｉ＋ｊ）に乗算する。これにより、ｘ（ｉ）とｘ（ｉ＋ｊ）のレベルを同等に合わせることができる。

以上で、処理を終了する。なお、前述したように、（ａ×ｘ（ｉ＋ｊ））の値は、自己相関値算出部１３２が算出するようにしてもよい。
次に、実施の形態の処理の具体例を説明する。

図６、図７は、実施の形態の処理の具体例を示す図である。
図６では、信号区間ｘ（ｉ）の信号と信号区間ｘ（ｉ＋ｊ）の信号が、ピッチも振幅も同一の場合を示している。

この波形の補正係数ａは、式（１）を用いると、

となる。
また、式（２）を用いると、

となる。
従って、この信号の自己相関値Ｒ（ｊ）は、いずれも、［０×（１×０）＋８×（１×８）＋１０×（１×１０）＋８×（１×８）＋０×（１×０）＋（−８）×｛１×（−８）｝＋（−１０）×｛１×（−１０）｝＋（−８）×｛１×（−８）｝＋０×（１×０）］／｛０×０＋８×８＋１０×１０＋８×８＋０×０＋（−８）×（−８）＋（−１０）×（−１０）＋（−８）×（−８）＋０×０］＝１．０となる。

一方、図７は、信号区間ｘ（ｉ）の信号と信号区間ｘ（ｉ＋ｊ）の信号が、ピッチが同一で、振幅が異なる場合を示している。
この波形の補正係数は、式（１）を用いると、

となる。
従って、この信号の自己相関値Ｒ（ｊ）は、［０×（２×０）＋８×（２×４）＋１０×（２×５）＋８×（２×４）＋０×（２×０）＋（−８）×｛２×（−４）｝＋（−１０）×｛２×（−５）｝＋（−８）×｛２×（−４）｝＋０×（２×０）］／｛０×０＋８×８＋１０×１０＋８×８＋０×０＋（−８）×（−８）＋（−１０）×（−１０）＋（−８）×（−８）＋０×０｝＝１．０となる。

また、式（２）を用いると、

となる。
従って、この信号の自己相関値Ｒ（ｊ）は、［０×（４×０）＋８×（４×４）＋１０×（４×５）＋８×（４×４）＋０×（４×０）＋（−８）×｛４×（−４）｝＋（−１０）×｛４×（−５）｝＋（−８）×｛４×（−４）｝＋０×（４×０）］／｛０×０＋８×８＋１０×１０＋８×８＋０×０＋（−８）×（−８）＋（−１０）×（−１０）＋（−８）×（−８）＋０×０｝＝２．０となる。しかし、Ｒ（ｊ）≦１．０であるため、自己相関値Ｒ（ｊ）は、１．０となる。

なお、本実施の形態では、信号を伸長する場合について説明したが、圧縮する場合も同様にして行うことができる。
以上述べたように、携帯装置１０によれば、話速変換部１３が備える補正係数算出部１３１が、自己相関値を算出する対象区間の音声信号のレベルが互いに等しくなるような補正係数ａを算出するようにした。これにより、レベル変動の大きな有声区間（隣接するピッチの形状が同一でレベルのみ異なる有声区間）でのピッチの検出精度を高めることができる。

従って、レベル変動の大きな有声区間でも、より確実に信号の伸長や圧縮を行うことができるため、音声速度の変換後に聞き取り易い音声を生成することができる。
なお、本実施の形態では、自己相関値を算出する２つの信号のパワーを利用してレベルを補正する場合と、自己相関値を算出する２つの信号の振幅の最大値を利用してレベルを補正する場合について説明した。しかし、これに限らず、例えば、２つの信号の振幅の平均値を利用してレベルを補正するようにしてもよい。

以上、本発明の音声信号変換装置、音声信号変換方法および音声信号変換プログラムを、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。

また、本発明は、前述した各実施の形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、音声信号変換装置１や携帯装置１０が有する機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記録装置としては、例えば、ハードディスク装置、フレキシブルディスク、磁気テープ等が挙げられる。光ディスクとしては、例えば、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ等が挙げられる。光磁気記録媒体としては、例えば、ＭＯ等が挙げられる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

音声信号変換プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

１ 音声信号変換装置
２ レベル補正部
３、１３２ 自己相関値算出部
１０ 携帯装置
１１ 符号化データ受信部
１２ データ復号部
１３ 話速変換部
１４ Ｄ／Ａ変換部
１５ アンテナ
１０８ スピーカ
１３１ 補正係数算出部
１３３ 区間判別部
１３４ ピッチ検出部
１３５ 話速設定部
１３６ ピッチ繰り返し／間引き部
１３７ 無音伸長／圧縮部
１３８ 合成部

Claims (5)

1. 自己相関値を算出する対象区間の音声信号のレベルが互いに等しくなるように前記音声信号を補正するレベル補正部と、
   レベル補正を行った前記音声信号に対して自己相関値を算出する自己相関値算出部と、
   を有することを特徴とする音声信号変換装置。
2. 前記レベル補正部は、前記音声信号のパワーが等しくなるように前記音声信号を補正することを特徴とする請求項１記載の音声信号変換装置。
3. 前記レベル補正部は、前記音声信号の振幅の最大値が等しくなるように前記音声信号を補正することを特徴とする請求項１記載の音声信号変換装置。
4. コンピュータが、
   自己相関値を算出する対象区間の音声信号のレベルが互いに等しくなるように前記音声信号を補正し、
   レベル補正を行った前記音声信号に対して自己相関値を算出する、
   ことを特徴とする音声信号変換方法。
5. コンピュータを、
   自己相関値を算出する対象区間の音声信号のレベルが互いに等しくなるように前記音声信号を補正するレベル補正手段、
   レベル補正を行った前記音声信号に対して自己相関値を算出する自己相関値算出手段、
   として機能させることを特徴とする音声信号変換プログラム。

Images