JP2005266098A - 音声信号セグメント方法、音声ピッチ検出方法及び音声区間検出処理方法 - Google Patents

Abstract

【課題】音のエネルギーやＦＦＴスペクトラムのような音声特徴量を用いてまやかしの音声検出を行わず、真に人の音声区間を検出すること。
【解決手段】音声解析に適したローパスフィルタを通した音声波形そのものを処理して、零交差点に基づき粗く音声を小セグメントと呼ぶ小区間に分割し、隣接する小セグメントのエネルギーが小さい場合に直前のセグメントと結合を行うことにより、音声セグメントの統合を行う。そして、基準とする音声セグメントに関しては時間方向に見て正の値を持つ波形の始点である零交差点を始点とし時間方向に見て負の値を持つ波形の終点である零交差点を終点となるものを選び、更に比較する音声セグメントに関しては始点を先の基準とする部分音声信号波形の終点とし終点を時間方向に見て負の値を持つ波形の終点である零交差点を終点となるものを選び、これら２つの音声セグメントの類似度を求める。
【選択図】図１

Description

本発明は、音声信号中から人の音声部分を検出する処理に関し、音声信号セグメント方法、音声ピッチ検出方法及び音声区間検出処理方法に関するものである。

従来、特許文献１や特許文献２のように、音声エネルギーにより無音を検出し、それ以外の音を人の音声区間と見なし動画のサマリーを行う処理も提案されているが、ニュース番組等のような人の音声が支配的な動画においては、音声エネルギーによる人の音声区間検出が程ほどには可能なものの、バックグラウンドノイズやバックグラウンド音楽が存在する環境下ではこの方法は現実的ではない。

それ以前にも「音声検出」を行いこれを考慮した動画再生をクレームに持つ特許明細は数多く存在するが、その殆どが問題を解決するための手段や実施例中では音のエネルギーを閾値処理して音声検出を行っている。これは日本語の曖昧さに起因する問題であり、「人の声」も「音声」と言い、人の声を含む音一般も「音声」と呼ぶことに起因しており、エネルギーの閾値処理を真に「音声検出」と称することは大きな問題がある。

又、特許文献３の請求項３で「音声情報等の特徴点」を検出するとあり、問題を解決するための手段では、ＦＦＴスペクトラムを求め特異点を求めその音量を分析するとあるが、やはりＦＦＴスペクトラムでは音楽等の広い帯域のスペクトルを持つバックグラウンド音楽がある場合等では人の声を検出することは困難である。

他方、近年音声認識技術が発達しているが、現状、入力された音声信号が知識ベースのどの言葉に相当するかを判断しているだけであり、人の声であることを前提に類似演算を行っている。勿論、或る程度のバックグラウンドノイズを含む音声学でいうところ「無音」と人声の始まり認識程度の処理程度は当然実装しているものの、何かの物音や音楽を音声信号として入力した場合には、何か音響的に類似する言葉が認識結果として出力されるか、或は認識尤度が低くて出力をキャンセルする程度のものであり、結果として音声信号に対して常に音声認識を行うことはナンセンスであり、処理の負荷が重く無駄である。いわんや、音のエネルギーだけで人の音声を検出することは不可能である。

人声の大部分は母音が占めていることは公知であり、前記特許文献３では、問題を解決するための手段で、ＦＦＴスペクトラムを求めこれを人の声の検出に用いていると思われるが、純粋な人の声では各母音に対応するフォルマントの検出が個人差の影響は受けながらも、或る程度は可能と推測されるが、ＢＧＭ等の広帯域な音が被った場合には安定且つ正確な音声検出は困難である。

元を正せば、人の音声発声メカニズムの基本は声帯の振動、所謂音声ピッチであり、これを音声信号中から抽出することにより有用な音声区間に関する情報が得られる。公知のピッチ抽出方法としてはケプストラム分析が挙げられる。

ケプストラムとは音声信号のパワースペクトルの対数をフーリエ逆変換したものである。これにより低ケフレンシー部の声道特性と高ケフレンシー部の声帯振動の分離が可能となり、声帯振動数即ち音声ピッチが求まる。

しかしながら、この方法も純粋な人の声という環境下では良い結果が得られるものの、多少でもＢＧＭ等が被ると音楽の音源等の影響もあり正しい結果は得られない。

特開平１０−３２７７６号公報 特開平９−２４３３５１号公報 特開平９−２４７６１７号公報

従来、人声の大部分は母音が占めていることを用いてＦＦＴスペクトラムを求め、これを人の声の検出したり、人の音声発声メカニズムの基本は音声ピッチでありのでこれを音声信号中から公知のケプストラム分析等を用いていた。

しかしながら、この方法も純粋な人の声という環境下では多少は良い結果が得られるものの、多少でもＢＧＭ等が被ると音楽の音源等の影響もあり正しい結果は得られない。

又、上記の周波数解析においては必ず解析窓を用いるために、理想的な音声セグメント単位の処理ができないという問題があった。

本発明は上記問題に鑑みてなされたもので、音のエネルギーやＦＦＴスペクトラムのような音声特徴量を用いてまやかしの音声検出を行わず、真に人の音声区間を検出することを目的とする。

本発明では、音声解析に適したローパスフィルタを通した音声波形そのものを処理して、零交差点に基づき粗く音声を小セグメントと呼ぶ小区間に分割し、隣接する小セグメントのエネルギーが小さい場合に直前のセグメントと結合を行うことにより、音声セグメントの統合を行う。

そして、基準とする音声セグメントに関しては時間方向に見て正の値を持つ波形の始点である零交差点を始点とし時間方向に見て負の値を持つ波形の終点である零交差点を終点となるものを選び、更に比較する音声セグメントに関しては始点を先の基準とする部分音声信号波形の終点とし終点を時間方向に見て負の値を持つ波形の終点である零交差点を終点となるものを選び、これら２つの音声セグメントの類似度を求め、これを閾値処理することにより音声ピッチの有無を判断する。

但し、基準とする音声セグメントに関しては、その長さがピッチとして存在し得ない位長い場合には、この基準とする音声セグメントに対応する音声ピッチは無いと判断し、基準とする音声セグメントの終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点の内最も近いものを終点とし、基準とする音声セグメントの変更を行い、比較する音声セグメントに関しても先のルールに基づき変更を行う。

又、基準とする音声セグメントの長さがピッチとして存在し得ない位短い場合には、基準とする音声セグメントの終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点の内最も近い物を終点とするセグメントを基準とする音声セグメントの末尾に統合し新たな基準とする音声セグメントとし、基準とする音声セグメントの変更を行い、比較する音声セグメントに関しても先のルールに基づき変更を行う。

初回に音声ピッチが検出されたときに音声ピッチ検出の基準を明確にするために、最もエネルギーの大きな小区間がピッチセグメントの最後になるように基準とする音声セグメントの位置及び比較する音声セグメントの位置を補正し、上記と同様のルールで隣接する２つの音声セグメントの類似度を求め、これを閾値処理することにより音声ピッチの有無を判定する。

そして、最終的な音声ピッチの有無の判断は、繰り返し隣接する部分音声信号波形の類似度演算を行った結果、類似条件が定められた回数以上連続して満たされた場合とする。その理由は、母音等の音声ピッチは通常数十オーダーで連続することが殆であるからである。

そして、後の音声区間判定のために、最終的に音声ピッチの有無の判定結果とそのピッチ周期をその個別の音声ピッチのセグメント情報として記憶する。

音声信号を複数のセグメントへ分割し、それらのセグメントに対しその性質を表す属性情報をラベルとして与えるが、無音ラベル、無声子音ラベル、有声子音ラベル、雑音ラベル及び勿論音声ピッチラベルを含んでいることとする。

音声ピッチ以外のラベルに対応する判定処理は公知のものを用いて良い。例えば、無音判定はエネルギーと零交差やエネルギーに占める高周波成分の割合等の様々な方法が考えられる。

更に、連続するピッチラベルを持つセグメントを求め、これを結合し、統合ピッチセグメントを生成し、その統合ピッチセグメントの平均ピッチ周期を求めそれを記憶する。

次に、音声区間推定について説明する。

音声区間の判定は、音声ピッチラベルを持つセグメント群を拠り所とし、音声ピッチラベルを持つセグメントを音声ピッチ周期の連続性を用い或は隣接する音声ピッチラベルを持つセグメント間の距離を閾値処理する更に音声ピッチ周期の連続性とセグメント間の距離の両者を考慮することにより、離散的な音声ピッチラベルを持つセグメントを統合し、音声区間推定を行う。

１．先ず、統合ピッチセグメントに挟まれた雑音ラベルを持つセグメントを求め、その両端の統合ピッチセグメントの平均ピッチ周期変動率がある閾値以下であるかを判断し、これを満たす場合には、両端の統合ピッチセグメントと挟まれた雑音ラベルを持つセグメントを結合し１つの統合ピッチセグメントとする。

２．又、先頭の統合ピッチセグメントと２つの目の統合ピッチセグメントとの間に無声子音ラベル或は有声子音ラベルを持つセグメントが存在する場合に、統合ピッチセグメントのインターバルが定められた閾値より小さい場合先の統合ピッチセグメントの始点を始点とし、後の統合ピッチセグメントの終点を終点とする音声区間として記憶し、この処理を繰り返し行うことで間に無声子音ラベル或は有声子音ラベルを持つ統合ピッチセグメントを音声区間に反映する。

３．更に、２つの統合ピッチセグメントの間に無音ラベルや雑音ラベルが存在しても良いこととして、近傍の統合ピッチセグメントの間隔が定められた閾値以下で且つ平均ピッチ周期変動率が或る閾値以下である場合には、これらを音声区間に反映することを特徴とする音声区間検出処理及びこれを用いたソフトウエア及び装置。

但し、上記１，２及び３の処理の順序に関する制限はなく、どの順番の組み合わせでも良い。

又、音声ピッチラベル以外のラベル情報を用いず、単に音声ピッチラベルを持つセグメントを音声ピッチ周期の連続性だけを用いて離散的な音声ピッチラベルを持つセグメントを統合し簡易に音声区間推定を行う方法や、単に隣接する音声ピッチラベルを持つセグメント間の距離を閾値処理だけを用いて離散的な音声ピッチラベルを持つセグメントを統合し簡易に音声区間推定を行う方法や、或は音声ピッチ周期の連続性とセグメント間の距離の両者を論理積で処理する簡易な方法も当然存在する。

本発明によれば、人の音声発声メカニズムの基本は声帯の振動、所謂音声ピッチであり、これを波形処理するすることにより解析窓の問題を生ずることなく音声信号中から抽出し、ピッチを検出したセグメントを基準とし、音声中にＢＧＭ等による阻害要因が生じても、その前後統合ピッチセグメントの平均ピッチ周期の連続性を考慮して統合ピッチセグメントの統合を行い、更に、ＣＶＣモデルを導入することにより無声子音や有声子音を間に持つ統合ピッチセグメントをまとめて音声区間とし、更にＶＶモデルを考慮して２つの統合ピッチセグメントをまとめて音声区間を決定することにより、更に外乱に強い音声区間推定処理を実現した結果、音声の特徴を利用した外乱に強い音声区間抽出が可能となり、或る程度の音量のＢＧＭやバックグラウンドノイズのある音声信号に対しても音声区間の抽出を行うことができる。

以下に本発明の実施の形態を添付図面に基づいて説明する。

本発明の音声区間検出アルゴリズムは、図１に示すように、ＡＧＣ（オートゲインコントロール）、ローパスフィルタ、零交差検出部、音声セグメント化部、音声ピッチ検出部、音声ラベリング部、音声エネルギー計算部及び音声区間推定部から成る。

図２を用いて処理の大まかな流れを説明すると、先ずＳ２０１で音声信号を複数のセグメントに分割し、それらのセグメントの音響的な特徴を表す音声ラベリングをＳ２０２で行うが、この際、Ｓ２０３音声ピッチを検出しロバストな母音候補の検出を行い、最後に音声ピッチ検出結果を強い拠り所にしてＳ２０４で音声区間推定を行う。

ここで、処理の流れに従って説明を行う。

先ず、音声信号をＡＧＣ（オートゲインコントロール）に通すことにより音声エネルギーを正規化する。ＡＧＣの構成に関しては公知のもので良く、登録済みの音声データに関しては全体を通して最大の音を基準に行って正規化を行う構成で良い。

正規化された音声信号は、ローパスフィルタを通り後段の解析に適した帯域にフィルタリングするものと、無声子音認識に必要な帯域を持つ元の音声信号に分岐する。
・音声セグメント化
先ず、ローパスフィルタを通過した音声信号をセグメントと呼ぶ小部分に分割を行う。ローパスフィルタをセグメント分割に用いる理由は、セグメントの基準が無声子音や有声子音及び音声ピッチ等の単位であり、高周波の影響があると無声子音等の悪影響があるからである。

これを行うのが音声セグメント化部であり、そのために零交差点を求めこれを基準としたセグメントに暫定的に分割する。

ところで、暫定的に音声信号に対して零交差点を基準として小セグメントに分割するが、その小セグメントとは以下の２条件を満たすものとする。

ルール１：小セグメントの始点と終点は零交差点であること
ルール２：小セグメントのエネルギーが小さい場合には、直前の小セグメントと結合するｘ₁を始点とし、ｘ₂を終点とする小セグメントｆ（ｘ）に対して音声エネルギーＰを、

と定義し、これがある閾値を Ｅ_th1 を用いて

Ｐ≦ Ｅ_th1 ・・・（式２）
を満たす場合には直前の小セグメントに統合する。

勿論、ｆ（ｘ）の絶対値の累積でなく、ｆ（ｘ）の二乗エネルギーを用いて計算しても良い。

図４に小セグメントの統合に関する例を示す。縦線がルール１及びルール２適応後の小セグメント決定処理の結果であり、矢印で指し示された２つの小セグメントは前の小セグメントに統合されたことを示している。
・音声ラベリング処理
各小セグメントに対して、始点、終点、平均零交差数及び平均エネルギー以下を計算し、記憶する。但し、平均零交差数および平均エネルギーはセグメント長 SegLen を用いて、以下の式により計算される。

平均零交差数＝小セグメント中の元音声信号の零交差点数／ SegLen
平均エネルギー＝小セグメント中のローパスフィルタした音声信号のエネルギー／ SegLen
である。

更に、小セグメントを５種類のカテゴリに分類し、そのカテゴリを表すラベルを付与する。

ラベルは、無音、無声子音、有声子音、音声ピッチ、雑音である。

図５に示すフローにより着目している小セグメントがどのラベルに相当するかを決定する。

Ｓ５０１で着目する小セグメントの平均零交差数
AveZeroCrossRate 及び平均エネルギーAveEnergy
を読込む。

ラベル判断条件として、以下の閾値を設けるが全て定数である。

無音の最大エネルギーを表す閾値 SileceEnergyMax
無声子音の最小のエネルギー閾値 ConHEnergyLow
無声子音の最大のエネルギー閾値 ConHEnergyMax
有声子音の最小のエネルギー閾値 ConLEnergyLow
有声子音の最大のエネルギー閾値 ConLEnergyMax
無声子音の最小の零交差閾値 ConHZeroCrossRateLow

有声子音の最大の零交差閾値
ConLZeroCrossRateMax
但し、 SileceEnergyMax＞ ConHEnergyLowを満たすこととする。

Ｓ５０２の無音ラベル条件とは、
((AveEnergy < SileceEnergyMax) AND
(AveZeroCrossRate < ConHZeroCrossRateLow))
((AveEnergy < ConHEnergyLow) AND
(AveZeroCrossRate > ConHZeroCrossRateLow))
・・・（式３）)
と表わすこととする。

この条件を満たす場合にＳ５０３により着目小セグメントに無音ラベルを付与し記憶する。又、もしＳ５０２の条件を満たさない場合には、Ｓ５０４の無声子音ラベル条件判定を行うが、 Ｓ５０４の条件とは、
(ConHEnergyLow < AveEnergy
< ConHEnergyMax)

AND
(AveZeroCrossRate > ConHZeroCrossRateLow) ・・・（式４）
と表わすこととする。

この条件を満たす場合にＳ５０５により着目小セグメントに無声子音ラベルを付与し記憶する。

又、もしＳ５０４の条件を満たさない場合には、Ｓ５０６で音声ピッチを検出試み、もし検出できばＳ５０７で音声ピッチラベルを該当する小セグメント群に付与する。

小セグメント群としたのは、後述のピッチ検出では小セグメントの統合が行われる可能性があり、その場合Ｓ５０８により着目小セグメント以降の複数の小セグメントを１つに統合し、これに対してピッチラベルを与えるからである。

ピッチが検出されるセグメントは主に声帯振動を伴う母音である。

尚、ピッチ検出に関しては詳しく後述する。

又、もしＳ５０６の条件を満たさない場合には、Ｓ５０９の有声子音ラベル条件判定を行うが、Ｓ５０９の条件とは、
(ConLEnergyLow ＜ AveEnergy＜ ConLEnergyMax)

AND
(AveZeroCrossRate＜ ConLZeroCrossRateMax) ・・・（式５）
と表わすこととする。

この条件を満たす場合にＳ５１０により着目小セグメントに有声子音ラベルを付与し記憶する。

そして、最後にＳ５０９の条件を満たさない場合には、Ｓ５１１により着目小セグメントに雑音ラベルを付与し記憶する。

図６に音声信号波形のセグメント化からラベリングに至るまでの処理過程の例を示す。

図６（ａ）はローパスフィルタ後の音声信号波形であり、図６（ｂ）はその零交差点を基準に小セグメント化したものであり、縦の線が小セグメントの区切りである。図６（ｃ）は音声ラベリングとセグメント化を行った結果であり、縦の長い線がセグメントの区切りを表し、縦の短い線が統合された小セグメントの名残を示している。図６（ｃ）では１つのピッチセグメントに統合されていることが分かる。

そして、それぞれのセグメント毎にそのラベルを示している。
・音声ピッチ検出
次に、音声ピッチ検出に関して図９及び図１０を用いて音声ピッチ検出のフローを説明する。

先ず、ローパスフィルタ後の音声信号波形の零交差点情報をＳ９０１において得る。

そして、零交差点を基準として波形の類似性を検証し、ピッチを求める。

図７にその説明のための音声信号波形の図を示す。

図７に示すように、基準とする零交差点は、時間方向に見て正の値を持つ波形の始点とする。

図７においては、基準とする零交差点はｘ１ とｘ２ である。

ここで、ｘ₁を始点としｘ₂を終点とする部分波形をｆ（ｘ）、ｘ₂を始点としｘ₃を終点とする部分波形をｇ（ｘ）とする。

Ｓ９０２において、初期基準と成るｆ（ｘ）を決定する。

そして、Ｓ９０３において未処理の音声区間が存在するかを判断し、存在する場合にはＳ９０４へ、存在しない場合には処理を終了する。

Ｓ９０４のピッチ抽出処理に関しては図５を用いて詳しく後述する。

Ｓ９０４は音声ピッチの有無およびそのセグメント範囲を報告する。

報告するタイミングは、音声ピッチセグメントが途切れたタイミング或はｆ（ｘ）に対するピッチが見つからなかった場合である。そして、Ｓ９０５において音声ピッチが存在すると判断した場合には、Ｓ９０６において音声ピッチセグメント情報を追記記憶する。

他方、音声ピッチが存在しない場合には、Ｓ９０３に戻り、処理すべき未処理の音声セグメントが存在するだけ上記処理を行う。

次に、Ｓ９０４のピッチ抽出処理に関して図１０を用いて詳しく説明する。

設定されたｆ（ｘ）に対するｇ（ｘ）をＳ１００１で設定する。

そして、Ｓ１００２でｆ（ｘ）の長さをチェックし、ピッチとして存在し得ない位長い場合には、ｆ（ｘ）に対応する音声ピッチは無いと判断し、Ｓ１００３において、ｆ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点のうち最も始点に近傍のものを終点とする新たな部分音声セグメントｆ（ｘ）を設定し、ｆ（ｘ）のセグメントはピッチセグメントでないとレポートする。

更に、Ｓ１００４でｆ（ｘ）の長さをチェックし、ピッチとして存在し得ない位短い場合にはＳ１００５においてｆ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる始点に最も近傍の零交差点を終点とする部分音声セグメントをｆ（ｘ）の末尾に統合し新たなｆ（ｘ）とし、再びＳ１００１で新たに設定されたｆ（ｘ）に対するｇ（ｘ）を設定し、Ｓ１００２及びＳ１００４のピッチとしてあり得る長さであるかチェックを受ける。

Ｓ１００２及びＳ１００４のチェックを通過したｆ（ｘ）に対して、ｇ（ｘ）との類似度演算を行う。

Ｓ１００６で行う類似度演算は以下の類似度評価関数を用いて算出する。

部分波形をｆ（ｘ）のｘｆにおける、ｆ（ｘ）とｇ（ｘ）の差の絶対値をδ（ｘ_f）とすると、
δ（ｘ_f）＝｜ｆ（ｘ_f）−ｇ（ｘ_g）｜
但し、ｘ₁≦ｘ_f≦ｘ₂且つｘ_g＝ｘ₂＋（ｘ_f−ｘ₁）
と表される。

勿論、ｆ（ｘ）とｇ（ｘ）の差の絶対値では無く差の二乗、
δ（ｘ_f）＝[ ｆ（ｘ_f）−ｇ（ｘ_g）] [ ｆ（ｘ_f）−ｇ（ｘ_g）]
としても構わない。

そして更に、

と表すことができる。

そして、Ｓ１００７により、上記で算出した類似度を閾値ＥＴｈにて処理し、DiffSum ＜ＥＴｈを満たさない場合には、Ｓ５０５においてｇ（ｘ）の補正を行い、再びＳ１００２の処理を行う。

他方、DiffSum ＜Ｅ_Thを満たす場合には、より精密に音声ピッチ検出を行うためにＳ１００８において、最もエネルギーの大きな小区間がピッチセグメントの最後に成るようにｆ（ｘ）及びｇ（ｘ）の位置を補正する。その概念図を図８に示す。最もエネルギーの大きな小区間でピッチの基準を補正することはこの小区間が声帯振動の直後のタイミングで生成される波形であることからも合理的である。

そして、Ｓ１００９でピッチ検出カウンタを０にリセットする。

そして、Ｓ１０１０で式１に基づき類似度演算を行い、Ｓ１０１１で閾値Ｅ_Thにて処理し、DiffSum ＜Ｅ_Thを満たさない場合にはＳ１０１３においてピッチを２回以上検出しない場合はＳ１００５においてｇ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる始点に最も近傍の零交差点を終点とする部分音声セグメントをｇ（ｘ）の末尾に統合し新たなｇ（ｘ）とし、再びＳ１００２及びＳ１００４のピッチとしてあり得る長さであるかチェックを受ける。

DiffSum ＜ＥＴｈ を満たさない場合でＳ１０１３においてピッチを２回以上検出した場合には音声ピッチセグメントを検出したと判断し、Ｓ１０１５において、ｇ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる始点に最も近傍の零交差点を終点とする新たなセグメントｆ（ｘ）を設定し、ピッチセグメントを検出したこととピッチセグメント範囲を報告する。

他方、DiffSum ＜ＥＴｈを満たす場合にはＳ１０１４においてｇ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる始点に最も近傍の零交差点を終点とする新たな部分音声セグメントｆ（ｘ）を設定し、音声ピッチセグメントを検出したこととピッチセグメント範囲を報告し、終了し呼び出し側に戻る。

このようにして得た音声ピッチセグメントを記憶し、後段の音声区間推定部で利用する。
・音声区間推定
次に、音声区間推定部において、上記区間判定を用いて音声区間の推定を行う。

純粋な人の声であればその音声区間の大半を母音が占め、従って、ピッチの存在するセグメントが長く安定して現れる。

他方、ＢＧＭがある場合には影響を受けるが、音声エネルギーがＢＧＭのエネルギーよりも或る程度大きい場合にはさほど影響を受けないことは実験的に分かっている。

不幸にも、或る部分区間内において音声エネルギーがＢＧＭのエネルギーよりも十分大きくない場合には、その部分区間においては正確なピッチはない。

又、多くの場合母音の直前には子音を伴うが、声帯の振動を伴わない子音の場合にもピッチは現れず、しかも、その時間は持続時間が短い破裂音で１０ｍｓ以下であり、最も長い摩擦音で数１０ｍｓのオーダーである。又、破裂音等の発生直前に無音が生じるものもある。

従って、外部機要因だけでなく、音声自身の要因で音声ピッチが求まるセグメントが離散的になるが、音声ピッチが求まるセグメントが離散的となっても前後或は全体のピッチ周期を考慮し、部分区間の音声ピッチ周期演算結果を統合して、更に音声の特徴を活用して音声区間を判断する方法が必要になる。

図１１を用いて音声区間推定処理の説明を行う。

先ず、Ｓ１１０１において、連続する無音、無声子音ラベル、有声子音ラベル、連続する雑音ラベルを持つセグメント群を１つのセグメントに結合する。

更に、Ｓ１１０２において、連続するピッチラベルセグメントを求めこれを結合し、そのセグメントの平均ピッチ周期を求める。この統合したピッチセグメントを統合ピッチセグメントと呼ぶこととする。

Ｓ１１０３において統合ピッチセグメントに挟まれた雑音ラベルを持つセグメント求め、Ｓ１１０４においてその両端の統合ピッチセグメントの平均ピッチ周期変動率が或る閾値以下であるかを判断し、これを満たす場合には、Ｓ１１０５においてこれらを結合して１つの統合ピッチセグメントとする。

この処理により、ピッチセグメント即ち母音の一部にエネルギーの大きなＢＧＭが重なったとしても補正可能である。

ところで、殆どの場合、単独の子音は存在しないので、通常、後方或は前方に子音を伴うことが多い。これはＣＶＣ（Consonant Vowel Consonant ）モデルと呼ばれている。

そこで、Ｓ１１０６ではこのモデルに基づき、無声子音セグメント、有声子音セグメント及びピッチセグメントを統合し、音声区間を求める。

このＳ１１０６の処理の詳細を図１２に示す。

Ｓ１２０１において、最も先頭の統合ピッチセグメントを基準となる統合ピッチセグメントとする。

次に、Ｓ１２０２において、基準となる統合ピッチセグメントの次の統合ピッチセグメントを求める。

更に、Ｓ１２０３において、２つの統合ピッチセグメントの間に有声子音セグメント或は無声子音セグメントがあるかを判断し、存在しなければＳ１２０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１２０７において基準となる統合ピッチセグメントを更新する。

他方、Ｓ１２０３において２つの統合ピッチセグメントの間に有声子音セグメント或は無声子音セグメントがあるかを判断し存在する場合には、Ｓ１２０４において２つの統合ピッチセグメントの間の間隔Distをこれが閾値 Pimax1 より小さい場合Ｓ１２０５において２つの統合ピッチセグメントの端点を終点と始点とする音声区間として記憶する。

閾値Pimax1は、通常の最も長い持続時間を持つ子音、例えば無声摩擦音／Ｓ／等の持続時間よりも十分長いものを用いると良い。

この際、２つの統合ピッチセグメントの間に子音セグメントだけでなく無音セグメントが存在しても良い。その理由は、無声子音のうち破裂音や破擦音では発声の前に短い無音が生じることがあるからである。

Ｓ１２０５の音声区間記憶後、Ｓ１２０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１２０７において基準となる統合ピッチセグメントを更新し、Ｓ１２０６の終了条件を満たすまで繰り返し処理を行う。

但し、統合ピッチセグメント情報及びその平均ピッチ情報は次の処理のために破棄せずに保存しておく。

他方、Ｓ１２０４において２つの統合ピッチセグメントの平均ピッチ周期を比較し周期変動率がある閾値以下でない場合には、Ｓ１２０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１２０７において基準となる統合ピッチセグメントを更新し、Ｓ１２０６の終了条件を満たすまで繰り返し処理を行う。

次に、ＣＶＣ構造を採らない、例えば「あお」のようなＶＶ構造の場合を考える。そこで、Ｓ１１０７ではこのモデルに基づき、隣接或はは間に無音セグメント又は雑音セグメントを持つ２つのピッチセグメントを統合し、音声区間を求める。

このＳ１１０７の処理の詳細を図13に示す。

Ｓ１３０１において、最も先頭の統合ピッチセグメントを基準となる統合ピッチセグメントとする。

次に、Ｓ１３０２において、基準となる統合ピッチセグメントの次の統合ピッチセグメントを求める。

更に、Ｓ１３０３において、２つの統合ピッチセグメントの間隔がDistがある閾値Pimax2以下であるかを判断し、これを満たさなければＳ１３０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１３０７において基準となる統合ピッチセグメントを更新する。

他方、Ｓ１３０３においてDistがある閾値Pimax2以下である場合には、Ｓ１３０４において２つの統合ピッチセグメントの平均ピッチ周期を比較し周期変動率が或る閾値以下である場合には、Ｓ１３０５において２つの統合ピッチセグメントと挟まれるセグメントを音声区間として記憶する。

この際、外乱に対する耐性を上げるために、２つの統合ピッチセグメントの間に無音セグメントや雑音セグメントが存在しても良い。

Ｓ１３０５の音声区間記憶後、Ｓ１３０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１３０７において基準となる統合ピッチセグメントを更新し、Ｓ１３０６の終了条件を満たすまで繰り返し処理を行う。

他方、Ｓ１３０４において２つの統合ピッチセグメントの平均ピッチ周期を比較し、周期変動率がある閾値以下でない場合には、Ｓ１３０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１２０７において基準となる統合ピッチセグメントを更新し、Ｓ１２０６の終了条件を満たすまで繰り返し処理を行う。

このようにして、ピッチを検出したセグメントを基準とし、音声中にＢＧＭ等による雑音ラベルが生じても、その前後統合ピッチセグメントの平均ピッチ周期の連続性を考慮して統合ピッチセグメントの統合を行い、更に、ＣＶＣモデルを導入する事により無声子音セグメントや有声子音セグメントを間に持つ統合ピッチセグメントをまとめて音声区間とし、更にＶＶモデルを考慮して２つの統合ピッチセグメントをまとめて音声区間を決定する事により、音声の特徴を利用した外乱に強い音声区間抽出が可能となった。

＜他の実施の形態＞
前記実施の形態においては、音声ラベリング処理として零交差数や音声エネルギーを用いたが、その処理は必ずしも前記実施の形態のアルゴリズムに制約されるものではなく、公知の特徴量を用いたり、或は異なるラベル判定アルゴリズムを用いても良い。

本発明の趣旨は、ローパスフィルタした音声信号の零交差情報を用いて、音声信号を合理的な音声セグメントに分割するとともにその際に波形処理により音声ピッチを検出し、音声ラベリングを行った後に人の声の大半を占める母音に必ず伴う音声ピッチを基準に、ＣＶＣ音声モデル等の音声の特徴を用いて音声セグメントを統合し、その際にＢＧＭ等の外乱が有ってもそれをリカバリする処理を含むところにある。

従って、ＡＧＣやローパスフィルタの実現方法に関しては制約はなく、又、音声ラベリングに関しては必ずしも前記実施の形態のアルゴリズムに制約されるものではなく、異なるラベル判定アルゴリズムを用いても良い。

又、音声区間判定処理においても、Ｓ１１０６の無声子音セグメント或は有声子音セグメント及びピッチセグメントを統合し音声区間を求める処理と、Ｓ１１０７の隣接或は間に無音セグメント又は雑音セグメントを持つ２つのピッチセグメントを統合し音声区間を求める処理の順序はこれに限定するものではなく、又、これらを平行して処理するアルゴリズムでも良い。

本発明は、音声信号中から人の音声部分を検出する処理に対して有用である。

本発明における処理ブロックの関連を示す図である。 本発明における処理フローの概要を示す図である。 音声信号の用語説明に用いる図である。 本発明におけるセグメント化のセグメントの結合の説明に用いる図である。 本発明の音声ラベリングの処理の流れの一例を示す図である。 本発明におけるラベリング処理とピッチ検出結果によるセグメントの結合の説明を行うための図である。 本発明におけるピッチ検出の説明のために用いる音声信号波形の図である。 本発明におけるピッチ検出処理におけるピッチ検出基準の更新に関して説明を行うための図である。 本発明のピッチ検出処理の処理概要を示す図である。 本発明の図９のＳ９０４ピッチ検出処理の詳細処理を示す図である。 本発明の音声区間安定処理の概要を示す図である。 本発明の図１１のＳ１１０６ピッチ検出処理の詳細処理を示す図である。 本発明の図１１のＳ１１０７ピッチ検出処理の詳細処理を示す図である。

符号の説明

１１ ＡＧＣ
１２ ローパスフィルタ
１３ 零交差検出部
１４ 音声セグメント化部
１５ 音声ピッチ検出部
１６ 音声ラベリング部
１７ 音声エネルギー計算部
１８ 音声区間判定部

Claims (22)

1. ローパスフィルタを通した音声信号の零交差点を求め、零交差点を始点と終点に持つ小セグメント群を形成し、更に隣接する小セグメントの信号エネルギーが小さい場合に直前の小セグメントと結合を行うことによりセグメントを決定することを特徴とする音声信号セグメント方法。
2. 請求項１で求めたセグメントに対し、基準とする部分音声信号波形の始点となる零交差点を時間方向に見て正の値を持つ波形の始点とし終点となる零交差点を時間方向に見て負の値を持つ波形の終点とし、比較する部分音声信号波形の始点を基準とする部分音声信号波形の終点とし、終点となる零交差点を時間方向に見て負の値を持つ波形の終点とし、該２つの部分音声信号波形の類似度を求めることにより音声ピッチの有無を判断することを特徴とする音声ピッチ検出方法。
3. 基準とする部分音声信号波形の長さがピッチとして存在し得ない位長い場合には、基準とする部分音声信号波形に対応する音声ピッチは無いと判断し、基準とする部分音声信号波形の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点の内最も近いもを終点とする新たな基準とする部分音声信号波形を設定することを特徴とする請求項２記載の音声ピッチ検出方法。
4. 基準とする部分音声信号波形の長さがピッチとして存在し得ない位短い場合には、基準とする部分音声信号波形の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点の内最も近いものを終点とする部分音声区間を基準とする部分音声信号波形の末尾に統合し新たな基準とする部分音声信号波形とすることを特徴とする請求項２記載の音声ピッチ検出方法。
5. ２つの部分音声信号波形の類似度とは、２波形の差分の絶対値或は差分の二乗和とすることを特徴とする請求項２記載の音声ピッチ検出方法。
6. 音声ピッチの有無の判断は、繰り返し隣接する部分音声信号波形の類似度演算を行った結果、類似条件が定められた回数以上連続して満たされた場合であることを特徴とする請求項２記載の音声ピッチ検出方法。
7. 初回に音声ピッチが検出されたときに、最もエネルギーの大きな小区間がピッチセグメントの最後になるように基準とする部分音声信号波形の位置及び比較する部分音声信号波形の位置を補正することを特徴とする請求項６記載の音声ピッチ検出方法。
8. 音声ピッチの有無の判定結果とそのピッチ周期をその個別の音声ピッチのセグメント情報として記憶することを特徴とする請求項６記載の音声ピッチ検出方法。
9. 音声ピッチの有無の判断基準とは類似度がある閾値以上である事をとすることを特徴とする請求項２又は６記載の音声ピッチ検出方法。
10. 音声信号を複数のセグメントへ分割し、それらのセグメントに対しその性質を表す属性情報をラベルとして与え、そのラベルに必ず音声ピッチに対するラベルを含み音声ピッチセグメント内の音声ピッチ周期情報を併せ持ち、音声検出に関して音声ピッチラベルを持つセグメント群を拠り所とし、音声ピッチラベルを持つセグメントを音声ピッチ周期の連続性を用い或は隣接する音声ピッチラベルを持つセグメント間の距離を閾値処理する更に音声ピッチ周期の連続性とセグメント間の距離の両者を考慮することにより、離散的な音声ピッチラベルを持つセグメントを統合することにより音声区間を検出することを特徴とする音声区間検出処理方法。
11. 上記セグメントに対しその性質を表す属性情報に無音ラベル、無声子音ラベル、有声子音ラベル、雑音ラベル及び音声ピッチラベルを含むことを特徴とする請求項１０記載の音声区間検出処理方法。
12. 連続するピッチラベルを持つセグメントを求めこれを結合し統合ピッチセグメントを生成し、その統合ピッチセグメントの平均ピッチ周期を求めそれを記憶することを特徴とする請求項１０又は１１記載の音声区間検出処理方法。
13. 統合ピッチセグメントに挟まれた雑音ラベルを持つセグメントを求め、その両端の統合ピッチセグメントの平均ピッチ周期変動率が或る閾値以下であるかを判断しこれを満たす場合には、両端の統合ピッチセグメントと挟まれた雑音ラベルを持つセグメントを結合し１つの統合ピッチセグメントとすることを特徴とする請求項１０〜１２の何れかに記載の音声区間検出処理方法。
14. 先ず先頭の統合ピッチセグメントと２つの目の統合ピッチセグメントとの間に無声子音ラベル或は有声子音ラベルを持つセグメントが存在する場合に、統合ピッチセグメントのインターバルが定められた閾値より小さい場合先の統合ピッチセグメントの始点を始点とし後の統合ピッチセグメントの終点を終点とする音声区間として記憶し、この処理を繰り返し行うことで間に無声子音ラベル或は有声子音ラベルを持つ統合ピッチセグメントを音声区間に反映することを特徴とする請求項１０〜１２の何れかに記載の音声区間検出処理方法。
15. ２つの統合ピッチセグメントの間に無音ラベルや雑音ラベルが存在しても良いこととして、近傍の統合ピッチセグメントの間隔が定められた閾値以下で且つ平均ピッチ周期変動率がある閾値以下である場合にはこれらを音声区間に反映することを特徴とする請求項１０〜１２の何れかに記載音声区間検出処理方法。
16. 請求項１３の処理を行った後、請求項１４の処理を行い、更に後に請求項１５の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
17. 請求項１３の処理を行った後、請求項１５の処理を行い、更に後に請求項１４の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
18. 請求項１４の処理を行った後、請求項１３の処理を行い、更に後に請求項１５の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
19. 請求項１４の処理を行った後、請求項１５の処理を行い、更に後に請求項１３の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
20. 請求項１５の処理を行った後、請求項１３の処理を行い、更に後に請求項１４の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
21. 請求項１５の処理を行った後、請求項１４の処理を行い、更に後に請求項１３の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
22. ローパスフィルタを通した音声信号の零交差点を求め、零交差点を始点と終点に持つ小セグメント群を形成し、更に隣接する小セグメントの信号エネルギーが小さい場合に直前の小セグメントと結合を行うことによりセグメントを決定し、それらのセグメントに対しその性質を表す属性情報をラベルとして与え、そのラベルに必ず音声ピッチに対するラベルを含み音声ピッチセグメント内の音声ピッチ周期情報を併せ持ち、音声検出に関して音声ピッチラベルを持つセグメント群を拠り所とし、音声ピッチラベルを持つセグメントを音声ピッチ周期の連続性を用い或は隣接する音声ピッチラベルを持つセグメント間の距離を閾値処理する更に音声ピッチ周期の連続性とセグメント間の距離の両者を考慮することにより、離散的な音声ピッチラベルを持つセグメントを統合することにより音声区間を検出することを特徴とする音声区間検出処理方法。

Images