JP2007163915A

JP2007163915A - 音声速度変換装置、音声速度変換プログラム及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2007163915A
Application number: JP2005361352A
Authority: JP
Inventors: Takashi Sudo; 貴志須藤; Atsushi Hotta; 厚堀田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-12-15
Filing date: 2005-12-15
Publication date: 2007-06-28

Abstract

【課題】従来は複数チャンネルの和信号からピッチ周期を得るため、チャンネル信号が逆位相の場合和信号はゼロになり正確なピッチ周期算出が困難、また、和信号又は差信号の何れかからピッチ周期を得るものは、得たピッチ周期が夫々のチャンネル信号のピッチ周期と異なる場合、速度変換後の音声信号の音質が低下する。
【解決手段】入力された複数チャンネル信号について処理区間毎に各チャンネルの波形類似度を算出し、類似度が算出された全てのチャンネルについての同一時刻における類似度の和を求め、類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期抽出手段と、ピッチ周期抽出手段により抽出されたピッチ周期に基づいて入力信号における全チャンネルの速度変換を行なう速度変換処理手段を備える。
【選択図】図１

Description

この発明は、音声入力信号のピッチ周期を算出し、そのピッチ周期に基づいて、音声の速度変換処理を行なう音声速度変換装置並びに、音声速度変換プログラム及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体に関するものである。

複数チャンネルの入力信号に対する音声速度変換は、複数チャンネル信号の和信号に対してピッチ周期を算出し、そのピッチ周期に基づいて各チャンネルに対して速度変換処理を行なう技術、及び複数チャンネル信号の各チャンネルにおいて最大の自己相関を有するチャンネルの入力信号からピッチ周期を算出し、そのピッチ周期に基づいて全チャンネルに対して速度変換処理を行なう技術が特開２００２−２９７２００号公報の「話速変換装置」において開示されている。

しかし、上記の特開２００２−２９７２００号公報の「話速変換装置」では、入力信号の各チャンネル信号が相互に逆位相、またはそれに近い場合、和信号はゼロまたはそれに近い値になり、正確なピッチ周期を算出することが困難である。
また、各チャンネルにおいて最大の自己相関を有するチャンネルの入力信号からピッチ周期を算出する手法は、選択されたチャンネル以外の信号のピッチ周期が算出したピッチ周期と異なる場合、速度変換された音声信号の音質が低下する可能性があった。

これに対し、複数チャンネル信号の和信号及び差信号のうち、振幅の大きさに基づく規則で、何れかの信号を選択し、選択された信号に対してピッチ周期を算出し、その算出されたピッチ周期に基づいて各チャンネルに対して速度変換処理を行なう技術が特開２００４−３０９８９３号公報の「音声信号処理装置及びその方法」において開示されている。

特開２００２−２９７２００号公報特開２００４−３０９８９３号公報

しかしながら、上記特開２００４−３０９８９３号公報「音声信号処理装置及びその方法」では、和信号又は差信号の何れかからピッチ周期を得るため、得られたピッチ周期がそれぞれのチャンネル信号のピッチ周期と異なる場合、速度変換された音声信号の音質が低くなる可能性があった。

この発明は上記のような課題を解決するためになされたもので、複数チャンネル入力信号に対して適切なピッチ周期を求めることにより、高品質な速度変換音声を作成することを目的とする。

この発明に係る音声速度変換装置は、
入力された複数チャンネル信号から抽出したピッチ周期に基づいて入力音声信号の速度を変換する音声速度変換装置において、
上記複数チャンネル信号について処理区間毎に各チャンネルの波形類似度を算出し、類似度が算出された全てのチャンネル信号について同一時刻における類似度の和を求め、上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期抽出手段と、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段を備える。

また、この発明に係る音声速度変換プログラム及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体は、
コンピュータを
入力された複数の音声チャンネル信号について、その処理区間毎に各チャンネルの波形類似度を算出する類似度算出手段、
類似度が算出された全てのチャンネル信号について同一時刻における類似度の和を求める最大類似度和算出手段、
上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期決定手段、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段として機能させる音声速度変換プログラム及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体である。

この発明に係る音声速度変換装置または音声速度変換プログラム及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体は、
ピッチ周期の抽出は複数のチャンネルの各々について処理区間毎にそのチャンネルの波形類似度を算出し、
類似度が算出された複数のチャンネルの同一時刻における類似度の和を用いてピッチ周期を求めることにより、何れか一つのチャンネルの影響が強いためにおこる適切でないピッチ周期の抽出を防ぎ、各チャンネルに対して適切なピッチ周期を抽出することが出来る。そのため、速度変換した音声信号の音質向上が期待できる。

実施の形態１．
図１はこの発明の実施の形態１に関する音声速度変換装置の構成図である。
図１において、１は複数チャンネルの入力信号からピッチ周期を抽出するピッチ周期抽出部、２は入力信号の処理区間毎に各チャンネルの波形類似度を算出する類似度算出部、３は類似度算出部２により類似度が算出された全てのチャンネルについて同一位置における類似度の和を算出し、その最大値を検出する最大類似度和算出部、４は最大類似度和算出部３で検出された最大類似度和からピッチ周期を決定するピッチ周期決定部、５はピッチ周期決定部４で抽出されたピッチ周期に基づいて入力信号の全チャンネルの音声速度を変換する音声速度変換処理部である。
なお、ピッチ周期抽出部１は類似度算出部２と最大類似度和算出部３及びピッチ周期決定部４とで構成される。

複数チャンネルの入力音声信号からピッチ周期を抽出し、そのピッチ周期を基に音声速度を変換する手法は多く存在するが、従来手法の場合、図２に示すように、入力音声信号における各チャンネル信号の和がゼロになってしまう場合、適切なピッチ周期を抽出できない。そこで、この発明では複数チャンネルの入力音声信号に対する適切なピッチ周期を求め、高品質な速度変換音声を作成する。以下、その方法について説明する。

この実施の形態において、類似度算出部２が算出する処理区間毎の波形類似度の評価関数として二乗誤差を使用するものとし、二乗誤差の小さい波形ほど類似性が強いものとする。
入力データを離散信号ｘ(n)とすると、二乗誤差関数ｅ(j)は以下の式で与えられるものとする。

ここで、ｎは処理区間の先頭位置、ｍはピッチ周期探索区間の先頭位置で、ｎ＝０よりも時間的に少し遅れた位置、この実施の形態の場合は1msec遅れた位置である。Ｎは処理区間のサンプル数、Ｍはピッチ周期探索区間の終了位置を表しており、ｎ＋ｍからｎ＋Ｍの位置まで二乗誤差を求めるものとする。このときの探索例を図４に示す。図に示すように、入力信号と処理区間波形Ａとの二乗誤差ｅ(j)をピッチ周期探索範囲内全てで算出する。

また、この実施の形態において、入力音声信号である複数チャンネル信号は２チャンネルのステレオ信号とする。この実施の形態における具体的なピッチ周期抽出の例として、図３に示すフローチャートを用いて説明する。

まずステップＳ１０１において、類似度算出部２は音声信号などの入力信号があるかどうか判定し、入力音声信号があれば、次のステップＳ１０２へ進む。入力音声信号がなければ、処理を終了する。

ステップＳ１０２において、類似度算出部２は速度変換処理を行なう処理開始位置ｎを更新し、次のステップＳ１０３へ進む。処理開始位置ｎは初期値をｎ＝０とし、以降は音声速度変換処理を施した終了位置とする。例えば、図５に示すように、初期値ｎ＝０のピッチ周期と、このピッチ周期に続く次のピッチ周期との２つのピッチ周期を１つのピッチ周期に変換する音声速度変換処理を施すことで、次の処理開始位置はｎ＝ｎ＿ｎｅｘｔとなる。このように音声速度変換処理終了ごとに処理開始位置ｎを更新していく。

図５には音声速度変換処理は２つのピッチ周期を１つのピッチ周期に変換する処理について示しているが、音声速度を早くする場合、音声速度変換処理は４つのピッチ周期を３つのピッチ周期にする。即ち２つのピッチ周期を１つのピッチ周期に、他の２つのピッチ周期はそのまま出力する。または,３つピッチ周期を２つのピッチ周期にする。即ち２つのピッチ周期を１つのピッチ周期に、他の１つのピッチ周期はそのまま出力する方法もある。
また、音声速度を遅くする場合は上述とは逆の処理で１つのピッチ周期を２つのピッチ周期に、２つのピッチ周期を３つのピッチ周期に、３つのピッチ周期を４つのピッチ周期にする。

ステップＳ１０３において、類似度算出部２はＬチャンネルおよびＲチャンネルそれぞれのピッチ周期探索範囲における処理区間波形との二乗誤差を算出し、次のステップへ進む。ここで、Ｌチャンネルの位置ｎ＋ｋにおける二乗誤差をｅ_Ｌ(k)、Ｒチャンネルの位置ｎ＋ｋにおける二乗誤差をｅ_Ｒ(k)とする。

ステップＳ１０４において、最大類似度和算出部３はＬチャンネルとＲチャンネルの同一時刻（位置）における二乗誤差の和を算出し、次のステップへ進む。位置ｎ＋ｋにおける二乗誤差の和Ｅ(ｋ）は、
Ｅ(ｋ) ＝ｅ_Ｌ(ｋ) ＋ｅ_Ｒ(ｋ)
となる。

ステップＳ１０５において、ピッチ周期決定部４はステップＳ１０４で求めた二乗誤差の和Ｅ(ｋ) を最小にするｋ、すなわち類似性が最も強くなるｋをピッチ周期として抽出し、次のステップＳ１０６へ進む。

ステップＳ１０６において、音声速度変換処理部５はステップＳ１０５で抽出されたピッチ周期に基づいて入力信号の全チャンネルに対して音声速度変換処理を施し、次のステップへ進む。

ステップＳ１０７において、ステップＳ１０６の音声速度変換処理部５で得られた速度変換音声を出力し、ステップＳ１０１へ戻る。

上記のように、ピッチ周期決定部４がＬチャンネルとＲチャンネルの同一時刻における類似度の和を用いてピッチ周期を求めることにより、どちらか一方のチャンネルの影響が強いためにおこる適切でないピッチ周期の抽出を防ぎ、両チャンネルに対して適切なピッチ周期を抽出することが出来る。そのため、速度変換した音声信号の音質向上が期待できる。

この実施の形態を説明する上で、入力音声信号は２チャンネルのステレオ信号としたが、任意のチャンネル数を持つ入力信号に対し、この発明は適用することができる。

また、この実施の形態を説明する上で、波形類似度の評価関数として、二乗誤差関数を使用したが、任意の評価関数を使用することができる。例えば、誤差の絶対値の和や自己相関関数などを使用してもよい。

実施の形態２．
上記実施の形態１では、ＬチャンネルとＲチャンネルの類似度を算出し、それらの和からピッチ周期を抽出する方法について述べた。しかし、ＬチャンネルとＲチャンネルの合成信号をピッチ周期の抽出に用いることにより、両チャンネルの相関を考慮することとなり、より高い精度でのピッチ周期抽出が期待できる。

図６はこの発明の実施の形態２に関する音声速度変換装置の構成図である。
図６において、図１と同一符号は同一または相当部分を示すので説明を省略する。６は複数チャンネル信号のそれぞれのチャンネル信号に重み係数を乗じた後に和信号および／または差信号を作成する合成信号作成部、７は合成信号作成部６で作成されたそれぞれの合成信号について処理区間毎に求めた各チャンネルの波形類似度に重み係数を乗じた値を算出する重みつき類似度算出部である。

この実施の形態において、上記実施の形態１と同様に、入力音声信号である複数チャンネル信号は２チャンネルのステレオ信号とする。また、波形類似度の評価関数は二乗誤差関数とする。

さらに、この実施の形態では、合成信号作成時の重み係数は１、重みつき類似度算出時の重み係数も１とする。この実施の形態における具体的なピッチ周期抽出の例として、図７のフローチャートを使用して説明する。

まずステップＳ２０１において、合成信号作成部６は音声信号などの入力信号があるかどうか判定し、入力音声信号があれば、次のステップＳ２０２へ進む。入力音声信号がなければ、処理を終了する。

ステップＳ２０２において、合成信号作成部６は速度変換処理を行なう処理開始位置ｎを更新し、次のステップＳ２０３へ進む。処理開始位置ｎは初期値をｎ＝０とし、以降は音声速度変換処理を施した終了位置とする。例えば、実施の形態１と同様、図５に示すように、初期値ｎ＝０のピッチ周期と、このピッチ周期に続く次のピッチ周期との２つのピッチ周期を１つのピッチ周期に変換する音声速度変換処理を施すことで、次の処理開始位置はｎ＝ｎ＿ｎｅｘｔとなる。このように音声速度変換処理終了ごとに処理開始位置ｎを更新していく。

ステップＳ２０３において、合成信号作成部６はＬチャンネルとＲチャンネルの和信号（この実施の形態では重み係数はともに１）であるＬ＋Ｒ合成信号とＬチャンネルとＲチャンネルの差信号（この実施の形態では重み係数はともに１）であるＬ−Ｒ合成信号を作成する。

ステップＳ２０４において、重みつき類似度算出部７はＬ＋Ｒ合成信号及びＬ−Ｒ合成信号それぞれのピッチ周期探索範囲における処理区間波形との二乗誤差を求め、その二乗誤差に重み係数を乗じた重みつき二乗誤差（この実施の形態では重み係数は１）を算出し、次のステップへ進む。ここで、Ｌ＋Ｒ合成信号の位置ｎ＋ｋにおける重みつき二乗誤差をｅ_L＋R(ｋ)、Ｌ−Ｒ合成信号の位置ｎ＋ｋにおける重みつき二乗誤差をｅ_L−R(ｋ) とする。

ステップＳ２０５において、最大類似度和算出部３はＬ＋Ｒ合成信号及びＬ−Ｒ合成信号の同一位置における二乗誤差の和を算出し、次のステップへ進む。位置ｎ＋ｋにおける二乗誤差の和Ｅ(ｋ) は、
Ｅ(ｋ) ＝ｅ_L＋R(ｋ) ＋ｅ_L−R(ｋ)
となる。

ステップＳ２０６において、ピッチ周期決定部４はステップＳ２０５で最大類似度和算出部３により求めた二乗誤差の和Ｅ（ｋ）を最小にするｋ、すなわち類似性が最も強くなるｋをピッチ周期として抽出し、次のステップへ進む。

ステップＳ２０７において、音声速度変換処理部５はステップＳ２０６でピッチ周期決定部４により抽出されたピッチ周期に基づいて入力信号の全チャンネルに対して音声速度変換処理を施し、次のステップへ進む。

ステップＳ２０８において、ステップＳ２０７で音声速度変換処理部５により得られた速度変換音声を出力し、ステップＳ２０１へ戻る。

上記のように、Ｌ＋Ｒ合成信号とＬ−Ｒ合成信号の同一時刻（位置）における二乗誤差の和を用いてピッチ周期を求めることにより、ＬチャンネルおよびＲチャンネルの相関を考慮した形で両チャンネルに対して適切なピッチ周期を抽出することが出来る。このため、このように抽出されたピッチ周期に基づいて速度変換した音声信号の音質向上が期待できる。

この実施の形態を説明する上で、入力音声信号は２チャンネルのステレオ信号としたが、任意のチャンネル数を持つ入力音声信号に対し、この発明を適用することができる。また、合成信号作成部６は和信号及び差信号の合成信号を作成するものについて述べたが、和信号または差信号のみを合成作成するものであってもよい。例えば、合成信号作成部６は、入力音声信号が前後左右の４チャンネルの場合は、各チャンネル信号に重み係数を乗じた後、前方左右の和信号と後方左右の和信号のみ或いはこれらの差信号のみを合成し、重みつき類似度算出部７に出力しても良い。
また、２チャンネルのステレオ信号の場合でも重み係数を変更した信号、Ｌ、２Ｌ、Ｒ、２Ｒを生成し、これらの信号を２Ｌ＋Ｒ、Ｌ＋２Ｒの和信号のみ或いは２Ｌ−Ｒ、Ｌ−２Ｒの差信号のみを合成し、重みつき類似度算出部７に出力しても良い。

さらに、この実施の形態を説明する上で、合成信号作成時の重み係数を１としたが、任意の重み係数を使用することが出来る。
また、重みつき類似度算出時の重み係数も１としたが、任意の重み係数を使用することが出来る。

実施の形態３．
以上述べた実施の形態において、上記全ての機能或いは一部の機能は、音声再生装置や聴覚補助装置或いは英語学習装置に組み込まれたコンピュータ等のソフトウェアとしてプログラム実行したり，ＣＰＵ等の組み込みソフトウェアやファームウェアとしてプログラム実行することで達成できる。

また、前述した実施の形態の機能を実現するプログラムを記録した記録媒体をコンピュータに読み取らせ、実行することで実施することも出来る。プログラムを供給するための記録媒体としてはROM、CD-ROM、DVD-ROM、フロッピー（登録商標）ディスク、ハードディスク、メモリカード等を用いることができる。

この発明は、映像を伴うテレビ、レーザディスク、ＶＴＲ、ハードディスクレコーダ等の音声の早聞き、又は遅聞きを行う音声再生装置、聴覚障害者や高齢者のために放送される音声をゆっくりした聞きやすい音声に変換する聴覚補助装置及び該装置を備えた電話機、通常速度の英語音声をゆっくりした聞きやすい音声に変換する英語学習装置、カラオケの速度（テンポ）変更装置に利用可能である。

この発明の実施の形態１に関する音声速度変換装置の構成図である。従来のピッチ周期抽出手法における各入力チャンネル信号の和信号作成説明図である。この発明の実施の形態１におけるピッチ周期抽出のフローチャートである。この発明の実施の形態１におけるピッチ周期抽出例の説明図である。この発明の実施の形態１における処理開始位置設定の説明図である。この発明の実施の形態２に関する音声速度変換装置の構成図である。この発明の実施の形態２におけるピッチ周期抽出のフローチャートである。

符号の説明

１；ピッチ周期抽出部、２；類似度算出部、３；最大類似度和算出部、４；ピッチ周期決定部、５；音声速度変換処理部、６；合成信号作成部、７；重みつき類似度算出部。

Claims

入力された複数チャンネル信号から抽出したピッチ周期に基づいて入力音声信号の速度を変換する音声速度変換装置において、
上記複数チャンネル信号について処理区間毎に各チャンネルの波形類似度を算出し、類似度が算出された全てのチャンネルの信号について同一時刻における類似度の和を求め、上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期抽出手段と、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段を備えることを特徴とする音声速度変換装置。
入力された複数チャンネル信号から抽出したピッチ周期に基づいて入力信号の速度を変換する音声速度変換装置において、
上記複数チャンネル信号を用いて合成作成し、複数の合成信号を出力する合成信号作成手段と、
上記複数の合成信号それぞれについて処理区間毎に波形類似度を算出し、類似度が算出された全ての信号についての同一時刻における類似度の和を求め、最も類似性の強い位置をピッチ周期として抽出するピッチ周期抽出手段と、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段を備えることを特徴とする音声速度変換装置。
上記合成信号作成手段が、上記複数チャンネル信号のそれぞれのチャンネル信号に重み係数を乗じた後に和信号および／または差信号を作成することを特徴とする請求項２記載の音声速度変換装置。
上記ピッチ周期抽出手段が、類似度が算出された全ての信号についての同一時刻における類似度に対して所定の重み係数を乗じた後に、類似度の和を求め、最も類似性の強い位置をピッチ周期として抽出することを特徴とする請求項１から請求項３のうちの何れか１項記載の音声速度変換装置。
コンピュータを
入力された複数の音声チャンネル信号について、その処理区間毎に各チャンネルの波形類似度を算出する類似度算出手段、
類似度が算出された全てのチャンネル信号について同一時刻における類似度の和を求める最大類似度和算出手段、
上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期決定手段、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段として機能させるための音声速度変換プログラム。
コンピュータを
入力された複数の音声チャンネル信号について、その処理区間毎に各チャンネルの波形類似度を算出する類似度算出手段、
類似度が算出された全てのチャンネル信号について同一時刻における類似度の和を求める最大類似度和算出手段、
上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期決定手段、
上記ピッチ周期決定手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。