JP2009198892A - 音処理装置およびプログラム - Google Patents

Abstract

【課題】無声音を高精度に判別する。
【解決手段】変調スペクトル特定部３４は、入力音ＶINの各単位区間ＴUについて変調スペクトルＭSを特定する。指標算定部４２は、変調スペクトルＭSのうち変調周波数が所定の範囲に属する成分の強度に応じた指標値Ｄ1を算定する。指標算定部４４は、入力音ＶINの零交差数に応じた指標値Ｄ2を各単位区間ＴUについて算定する。指標算定部４６は、入力音ＶINの周波数スペクトルＳ0の平坦性に応じた指標値Ｄ3を各単位区間ＴUについて算定する。無声音判定部５４は、各単位区間ＴUの入力音ＶINが無声音であるか否かを指標値Ｄ1と指標値Ｄ2と指標値Ｄ3とに基づいて判定する。
【選択図】図２

Description

本発明は、音響の種類を判別する技術に関する。

収音機器による収録音などの音響（以下「入力音」という）を音声の区間と非音声の区間とに区別する技術が従来から提案されている。例えば特許文献１には、入力音のうち所定の周波数帯域に属する成分の強度に基づいて音声を検出する技術が開示されている。
特開２０００−１３２１７７号公報

しかし、特許文献１の技術においては、音響的な特性が非音声に類似する無声音を高精度に検出することが困難である。したがって、実際には音声（有声音および無声音）が継続している区間内であっても、無声音の区間が非音声と誤判定され、音声と判定される区間が途切れる可能性がある。以上の事情に鑑みて、本発明は、無声音を高精度に判別することをひとつの目的とする。

以上の課題を解決するために、本発明の第１の態様に係る音処理装置は、入力音の各単位区間について変調スペクトルを特定する変調スペクトル特定手段と、変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に応じた第１指標値を算定する第１指標算定手段（例えば図２の指標算定部４２）と、入力音の零交差数に応じた第２指標値を各単位区間について算定する第２指標算定手段（例えば図２の指標算定部４４）と、各単位区間の入力音が無声音であるか否かを第１指標値と第２指標値とに基づいて判定する無声音判定手段とを具備する。

以上の構成においては、変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に基づいて各単位区間の入力音が無声音であるか否かが判定されるから、入力音の周波数スペクトルを利用する技術と比較して高精度に無声音を判別することが可能となる。また、入力音の零交差数に応じた第２指標値が無声音判定手段による無声音の判定に利用されるから、第１指標値のみを利用する構成と比較して高精度に無声音が判別される。例えば、有声音は無声音と比較して零交差数が小さいという傾向があるから、第２指標値を利用することで無声音を有声音と高精度に区別することが可能である。

本発明の好適な態様に係る音処理装置は、入力音の周波数スペクトルの平坦性に応じた第３指標値を各単位区間について算定する第３指標算定手段（例えば図２の指標算定部４６）を具備し、無声音判定手段は、各単位区間の入力音が無声音であるか否かを第１指標値と第２指標値と第３指標値とに基づいて判定する。以上の態様においては、入力音の周波数スペクトルの平坦性に応じた第３指標値が無声音判定手段による無声音の判定に利用されるから、第１指標値および第２指標値のみを利用する構成と比較して高精度に無声音を判別することが可能である。例えば、有声音や環境音（例えばプッシュトーン）などの音響は無声音と比較して周波数スペクトルの平坦性が低いという傾向があるから、第３指標値を利用することで無声音を有声音や環境音と高精度に区別することが可能である。

本発明の第２の態様に係る音処理装置は、入力音の各単位区間について変調スペクトルを特定する変調スペクトル特定手段と、変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に応じた第１指標値を算定する第１指標算定手段と、入力音の周波数スペクトルの平坦性に応じた第３指標値を各単位区間について算定する第３指標算定手段と、各単位区間の入力音が無声音であるか否かを第１指標値と第３指標値とに基づいて判定する無声音判定手段とを具備する。

第２の態様においては、変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に基づいて各単位区間の入力音が無声音であるか否かが判定されるから、入力音の周波数スペクトルを利用する技術と比較して高精度に無声音を判別することが可能となる。また、入力音の周波数スペクトルの平坦性に応じた第３指標値が無声音判定手段による無声音の判定に利用されるから、第１指標値のみを利用する構成と比較して高精度に無声音が判別される。例えば、有声音や環境音（例えばプッシュトーン）などの音響は無声音と比較して周波数スペクトルの平坦性が低いという傾向があるから、第３指標値を利用することで無声音を有声音や環境音と高精度に区別することが可能である。

なお、無声音は、声帯の振動を伴わない音声（有声音以外の音声）である。無声子音や無声化した有声音（母音）が無声音に該当する。無声化とは、本来的には声帯の振動を伴なって発声されるべき有声音が何らかの条件のもとで声帯の振動を伴なわずに発声される現象である。

また、「入力音が無声音であるか否かを指標値に基づいて判定する」とは、入力音が無声音であるか否かの判定の結果が当該指標値の大小に応じて変化することを意味する。無声音判定手段による判定の具体的な方法は、以下に例示するように各指標値の定義に応じて適宜に選定される。

第１の態様および第２の態様に係る音処理装置において、変調スペクトルのうち変調周波数が所定の範囲内にある成分の強度が高いほど第１指標値が減少するように第１指標値が定義される場合、例えば、第１指標値が小さいほど、入力音が無声音と判定される可能性が上昇するように、無声音判定手段による判定の内容が選定される。例えば、第１指標値以外の指標値が入力音を無声音と判定するための条件を充足している場合、無声音判定手段は、第１指標値が所定の閾値（例えば図９の閾値Ｔ1B）を下回る場合に入力音を無声音と判定し、第１指標値が当該閾値を上回る場合に入力音が無声音ではないと判定する。一方、変調スペクトルのうち変調周波数が所定の範囲内にある成分の強度が高いほど第１指標値が増加するように第１指標値が定義される場合、例えば、第１指標値が大きいほど、入力音が無声音と判定される可能性が上昇するように、無声音判定手段による判定の内容が選定される。例えば、第１指標値以外の指標値が入力音を無声音と判定するための条件を充足している場合、無声音判定手段は、第１指標値が所定の閾値を上回る場合に入力音を無声音と判定し、第１指標値が当該閾値を下回る場合に入力音が無声音ではないと判定する。

また、第１の態様に係る音処理装置において、入力音の零交差数が多いほど第２指標値が増加するように第２指標値が定義される場合、例えば、第２指標値が大きいほど、入力音が無声音と判定される可能性が上昇するように、無声音判定手段による判定の内容が選定される。例えば、第２指標値以外の指標値が入力音を無声音と判定するための条件を充足している場合、無声音判定手段は、第２指標値が所定の閾値（例えば図９の閾値Ｔ2）を上回る場合に入力音を無声音と判定し、第２指標値が当該閾値を下回る場合に入力音が無声音ではないと判定する。一方、入力音の零交差数が多いほど第２指標値が減少するように第２指標値が定義される場合（例えば零交差数の逆数が第２指標値として算定される場合）、例えば、第２指標値が小さいほど、入力音が無声音と判定される可能性が上昇するように無声音判定手段による判定の内容が選定される。例えば、第２指標値以外の指標値が入力音を無声音と判定するための条件を充足している場合、無声音判定手段は、第２指標値が所定の閾値を下回る場合に入力音を無声音と判定し、第２指標値が当該閾値を上回る場合に入力音が無声音ではないと判定する。

第２の態様に係る音処理装置において、入力音の周波数スペクトルの平坦性が高いほど第３指標値が減少するように第３指標値が定義される場合、例えば、第３指標値が小さいほど、入力音が無声音と判定される可能性が上昇するように、無声音判定手段による判定の内容が選定される。例えば、第３指標値以外の指標値が入力音を無声音と判定するための条件を充足している場合、無声音判定手段は、第３指標値が所定の閾値（例えば図９の閾値Ｔ3）を下回る場合に入力音を無声音と判定し、第３指標値が当該閾値を上回る場合に入力音が無声音ではないと判定する。一方、入力音の周波数スペクトルの平坦性が高いほど第３指標値が増加するように第３指標値が定義される場合、例えば、第３指標値が大きいほど、入力音が無声音と判定される可能性が上昇するように、無声音判定手段による判定の内容が選定される。例えば、第３指標値以外の指標値が入力音を無声音と判定するための条件を充足している場合、無声音判定手段は、第３指標値が所定の閾値を上回る場合に入力音を無声音と判定し、第３指標値が当該閾値を下回る場合に入力音が無声音ではないと判定する。

第１の態様および第２の態様に係る音処理装置の具体例においては、各単位区間の入力音が音声であるか否かを判定する音声判定手段が設置される。以上の態様においては、無声音判定手段が無声音と判定した単位区間と音声判定手段が音声と判定した単位区間とを除いた各単位区間の入力音を非音声と判定することが可能である。また、音声判定手段が第１指標値に基づいて判定する構成によれば、音声判定手段による判定に第１指標値とは別個の指標値を使用する構成と比較して指標値の算定の負荷が軽減されるという利点がある。

変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度が高いほど第１指標値が減少するように第１指標値が算定される構成において、音声判定手段は、第１指標値が第１閾値（例えば図６の閾値Ｔ1A）を下回る単位区間の入力音を音声と判定し、無声音判定手段は、第１閾値よりも大きい第２閾値を第１指標値が下回る単位区間の入力音を無声音と判定する。また、変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度が高いほど第１指標値が増加するように第１指標値が算定される構成において、音声判定手段は、第１指標値が第１閾値を上回る単位区間の入力音を音声と判定し、無声音判定手段は、第１閾値よりも小さい第２閾値を第１指標値が上回る単位区間の入力音を無声音と判定する。以上の各態様によれば、有声音と無声音とを高精度に区別することが可能である。

第１の態様および第２の態様に係る音処理装置の具体例において、無声音判定手段が無声音と判定した単位区間の入力音と他の単位区間の入力音とに対して異なる処理を実行する音処理手段が設置される。また、他の具体例においては、音声判定手段が音声と判定した単位区間の入力音と無声音判定手段が無声音と判定した単位区間の入力音とに対して異なる処理を実行する音処理手段が設置される。以上の構成においては、入力音の種類（音声／非音声または有声音／無声音）に応じた適切な処理を実行することで所望の特性の音響を生成することが可能である。

以上の総ての態様に係る音処理装置は、入力音の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。第１の態様に係るプログラムは、入力音の各単位区間について変調スペクトルを特定する変調スペクトル特定処理と、変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に応じた第１指標値を算定する第１指標算定処理と、入力音の零交差数に応じた第２指標値を各単位区間について算定する第２指標算定処理と、各単位区間の入力音が無声音であるか否かを第１指標値と第２指標値とに基づいて判定する無声音判定処理とをコンピュータに実行させる。第２の態様に係るプログラムは、入力音の各単位区間について変調スペクトルを特定する変調スペクトル特定処理と、変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に応じた第１指標値を算定する第１指標算定処理と、入力音の周波数スペクトルの平坦性に応じた第３指標値を各単位区間について算定する第３指標算定処理と、各単位区間の入力音が無声音であるか否かを第１指標値と第３指標値とに基づいて判定する無声音判定処理とをコンピュータに実行させる。本発明のプログラムによれば、以上の各態様に係る音処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

図１は、本発明の実施の形態に係る遠隔会議システムのブロック図である。遠隔会議システム１００は、地理的に離間した空間Ｒ1と空間Ｒ2とで複数の利用者Ｕ（会議の参加者）が相互に音声を授受するシステムである。各空間Ｒ（Ｒ1，Ｒ2）には、収音機器１２と音処理装置１４と音処理装置１６と放音機器１８とが設置される。

収音機器１２は、空間Ｒ内に存在する入力音ＶINの波形を表す音響信号ＳINを生成する装置（マイクロホン）である。空間Ｒ1および空間Ｒ2の各々の音処理装置１４は、音響信号ＳINから出力信号ＳOUTを生成して空間Ｒ1および空間Ｒ2の他方の音処理装置１６に送信する。音処理装置１６は、出力信号ＳOUTを増幅して放音機器１８に出力する。放音機器１８は、音処理装置１６から供給される増幅後の出力信号ＳOUTに応じた音波を放射する装置（スピーカ）である。以上の構成により、空間Ｒ1内の各利用者Ｕの発声音が空間Ｒ2内の放音機器１８から出力され、空間Ｒ2内の各利用者Ｕの発声音が空間Ｒ1内の放音機器１８から出力される。

図２は、空間Ｒ1および空間Ｒ2の各々に設置される音処理装置１４の構成を示すブロック図である。図２に示すように、音処理装置１４は、制御装置２２と記憶装置２４とを具備する。制御装置２２は、プログラムを実行することで図２の各要素として機能する演算処理装置である。なお、図２の各要素はＤＳＰなどの電子回路によっても実現される。記憶装置２４は、制御装置２２が実行するプログラムや制御装置２２が使用する各種のデータを記憶する。半導体記憶装置や磁気記憶装置など公知の記憶媒体が記憶装置２４として任意に利用される。

制御装置２２は、収音機器１２から供給される音響信号ＳIN（入力音ＶIN）を時間軸に沿って区分した複数の区間（以下「単位区間」という）の各々について当該入力音ＶINの種類（有声音／無声音／非音声）を判別する機能と、判別の結果に応じた処理を音響信号ＳINに対して実行することで出力信号ＳOUTを生成する機能とを実現する。有声音は、声帯の振動を伴なう音声（発話音）である。無声音は、声帯の振動を伴なわない音声である。一方、非音声は、音声以外の音響（雑音）である。各種の暗騒音（例えば空調設備の動作音）や各種の環境音（例えば携帯電話機の着信音や扉の開閉音）が非音声に該当する。

図２の周波数分析部３２は、フーリエ変換（例えばＦＦＴ（Fast Fourier Transform））を含む周波数分析を音響信号ＳINに対して実行することで、音響信号ＳINを時間軸に沿って区分した複数のフレームの各々について周波数スペクトル（対数スペクトル）Ｓ0を算定する。各フレームは単位区間と比較して充分に短い時間長に設定される。

変調スペクトル特定部３４は、音響信号ＳIN（入力音ＶIN）の変調スペクトルＭSを特定する。変調スペクトルＭSは、音響信号ＳINの周波数スペクトルＳ0のうち特定の周波数帯域に属する成分の時間的な変動（以下「時間軌跡」という）についてフーリエ変換を実行した結果に相当する。

図３は、変調スペクトル特定部３４のブロック図である。図４は、変調スペクトル特定部３４による処理を説明するための概念図である。図４の部分(A)には、周波数分析部３２がフレーム毎に特定した周波数スペクトルＳ0を時系列に配列したスペクトログラムＳPが図示されている。

図３に示すように、変調スペクトル特定部３４は成分抽出部３４２と周波数分析部３４４とで構成される。成分抽出部３４２は、図４の部分(A)および部分(B)に示すように、スペクトログラムＳPのうち特定の周波数帯域ωに属する成分の強度（エネルギ）の時間軌跡ＳTを抽出する。さらに詳述すると、成分抽出部３４２は、各フレームの周波数スペクトルＳ0のうち周波数帯域ωに属する成分の強度を算定し、周波数スペクトルＳ0の強度を複数のフレームついて時系列に配列することで時間軌跡ＳTを生成する。周波数帯域ωは、入力音ＶINが音声である場合の時間軌跡ＳTの周波数特性（変調スペクトルＭS）と入力音ＶINが非音声である場合の時間軌跡ＳTの周波数特性とが顕著に相違するように実験的または統計的に選定される。例えば、周波数帯域ωは、１０Ｈz（さらに好適には５０Ｈz）から８００Ｈzまでの範囲に選定される。なお、各周波数スペクトルＳ0におけるひとつの周波数の成分の強度の時系列を時間軌跡ＳTとして成分抽出部３４２が抽出する構成も採用される。

図３の周波数分析部３４４は、図４の部分(B)および部分(C)に示すように、時間軌跡ＳTに対してフーリエ変換を実行することで、時間軌跡ＳTを時間軸に沿って区分した複数の単位区間ＴUの各々について変調スペクトルＭSを算定する。単位区間ＴUは、複数のフレームで構成される所定の時間長（例えば１秒程度）の期間である。なお、本形態においては各単位区間ＴUが重複しない構成を便宜的に例示するが、相前後する各単位区間ＴUが部分的に重複する構成も採用される。

図５は、複数種の音響（有声音／無声音／非音声）の変調スペクトルＭSを示す。図５の部分(A)は有声音（「あいうえお」と発声した音声）の変調スペクトルＭSである。図５の部分(B)は、無声音が豊富な音響の変調スペクトルＭSである。さらに詳述すると、図５の部分(B)は、特に「さ」および「し」が殆ど無声化されるように「さしすせそ」と発声した場合の音声の変調スペクトルＭSである。また、図５の部分(C)および部分(D)は非音声の変調スペクトルＭSである。さらに詳述すると、図５の部分(C)はホワイトノイズ（暗騒音）の変調スペクトルＭSであり、図５の部分(D)は電話機のプッシュトーン（環境音）の変調スペクトルＭSである。

人間の通常の発話音（すなわち音声）の変調スペクトルＭSにおいては、図４の部分(C)に示すように、発話中に音節が切替わる周波数に相当する４Ｈz程度の変調周波数にて強度が極大となる場合が多い。さらに詳述すると、音声（有声音および無声音）の変調スペクトルＭS（図５の部分(A)および部分(B)）においては、変調周波数が１０Ｈzを下回る範囲内で強度が高いという傾向がある。一方、多くの非音声の変調スペクトルＭS（図５の部分(C)および部分(D)）においては、変調周波数が１０Ｈzを上回る範囲の成分の強度が高いという傾向がある。

以上の特性の相違を考慮して、本形態においては、変調スペクトル特定部３４が特定した変調スペクトルＭSのうち変調周波数が所定の範囲（以下「判定対象範囲」という）Ａに属する成分の強度を入力音ＶINの種類の判定に利用する。判定対象範囲Ａは、変調スペクトルＭSの強度の相違が音声と非音声とで顕著となる範囲に設定される。例えば１０Ｈz以下の範囲（さらに好適には２Ｈzから８Ｈzの範囲）が判定対象範囲Ａとして適切である。

図２の指標算定部４２は、変調スペクトル特定部３４が各単位区間ＴUについて特定した変調スペクトルＭSについて、判定対象範囲Ａに属する成分の強度（エネルギ）に応じた指標値Ｄ1を算定する。さらに詳述すると、指標算定部４２は、第１に、変調スペクトルＭSのうち変調周波数が判定対象範囲Ａに属する成分の強度（例えば判定対象範囲Ａ内の各変調周波数における強度の加算値や平均値）Ｌ1と、変調周波数の全範囲にわたる変調スペクトルＭSの強度（総ての変調周波数における強度の加算値や平均値）Ｌ2とを算定する。第２に、指標算定部４２は、強度Ｌ1と強度Ｌ2との相対比（Ｌ1／Ｌ2）を含む以下の演算式(A)に基づいて指標値Ｄ1を算定する。
Ｄ1＝１−（Ｌ1／Ｌ2） ……(A)
演算式(A)の内容から理解されるように、変調スペクトルＭSのうち判定対象範囲Ａ内の成分の強度Ｌ1が高いほど（すなわち入力音ＶINが音声である可能性が高いほど）、指標値Ｄ1は小さい数値となる。したがって、指標値Ｄ1は、入力音ＶINが音声および非音声の何れであるかを判断するための指標となる。また、判定対象範囲Ａは発話時に音節が切替わる周波数の成分を豊富に含むから、指標値Ｄ1は、音声に特有なリズム（発話のリズム）が入力音ＶINに含まれるか否かを判断するための指標としても把握される。

図２の指標算定部４４は、入力音ＶIN（音響信号ＳIN）の零交差数に応じた指標値Ｄ2を単位区間ＴU毎に算定する。零交差数（ゼロクロス数）は、音響信号ＳINの強度の符号が反転する回数（音響信号ＳINの強度がゼロを跨いで変化する回数）である。指標算定部４４は、例えば、単位区間ＴU内の零交差数の合計値や単位区間ＴU内の所定の時間毎の零交差数の平均値を指標値Ｄ2として算定する。したがって、音響信号ＳINの零交差数が多いほど指標値Ｄ2は大きい数値となる。

図２の指標算定部４６は、周波数分析部３２が特定した周波数スペクトルＳ0の形状の平坦性に応じた指標値Ｄ3を単位区間ＴU毎に算定する。例えば、指標算定部４６は、第１に、単位区間ＴU内の複数のフレームにわたる平均的な周波数スペクトルＳ0を複数の周波数帯域に分割し、各周波数帯域内の成分の強度（エネルギの平均値）を算定する。第２に、指標算定部４６は、複数の周波数帯域の強度のうちの最大値Ｅmaxと最小値Ｅminとの相対比を指標値Ｄ3（Ｄ3＝Ｅmax／Ｅmin）として単位区間ＴU毎に算定する。したがって、周波数スペクトルＳ0の平坦性が高い（すなわち強度の最大値Ｅmaxと最小値Ｅminとの相違が小さい）ほど指標値Ｄ3は小さい数値となる。なお、各フレームの周波数スペクトルＳ0における最大値Ｅmaxと最小値Ｅminとの相対比を単位区間ＴU内の複数のフレームについて平均することで指標値Ｄ3を算定してもよい。

図２の判定部５０は、指標値Ｄ1と指標値Ｄ2と指標値Ｄ3とに基づいて入力音ＶINの種類（有声音／無声音／非音声）を判定する。本形態の判定部５０は、音声判定部５２と無声音判定部５４とで構成される。音声判定部５２は、各単位区間ＴUの入力音ＶINが有声（特に有声音）であるか否かを指標値Ｄ1に基づいて判定する。図６は、音声判定部５２の具体的な動作を示すフローチャートである。図６の処理は、ひとつの単位区間ＴUについて指標値Ｄ1が算定されるたびに実行される。

音声判定部５２は、指標値Ｄ1が閾値Ｔ1Aを下回るか否かを判定する（ステップＳA1）。閾値Ｔ1Aは、有声音の指標値Ｄ1が閾値Ｔ1Aを下回るとともに非音声の指標値Ｄ1が閾値Ｔ1Aを上回るように実験的または統計的に設定される。ステップＳA1の結果が否定である場合、音声判定部５２は、今回の処理の対象である単位区間ＴUの入力音ＶINは有声音でないと判定する（ステップＳA2）。一方、ステップＳA1の結果が肯定である場合、音声判定部５２は、今回の単位区間ＴUの入力音ＶINが有声音であると判定する（ステップＳA3）。ステップＳA3において、音声判定部５２は、有声音を指定する識別データｄを生成して音処理部６０に出力する。

ところで、図５に示すように、有声音（部分(A)）と無声音（部分(B)）とでは変調スペクトルＭSの特性が相違する。さらに詳述すると、無声音の変調スペクトルＭSは、有声音の変調スペクトルＭSと比較して高域側の変調周波数にて強度が極大となる傾向がある。すなわち、無声音については変調スペクトルＭSのうち判定対象範囲Ａ内の成分の強度Ｌ1が有声音と比較して低いから、無声音の変調スペクトルＭSから算定される指標値Ｄ1は、有声音の指標値Ｄ1と比較して大きい数値となる場合が多い。したがって、図６のステップＳA1における指標値Ｄ1と閾値Ｔ1Aとの比較だけでは、無声音が音声に分類されない。そこで、無声音判定部５４は、各単位区間ＴUの入力音ＶINが無声音であるか否かを判定する。

図７は、音響信号ＳINの時間波形を示す。図８は、音響信号ＳINの周波数スペクトルＳ0を示す。図７および図８の各々における部分(A)は、図５の部分(A)に変調スペクトルＭSを図示した有声音の特性である。同様に、図７および図８の各々における部分(B)は無声音（図５の部分(B)）の特性である。また、図７および図８の各々における部分(C)は、図５の部分(C)に変調スペクトルＭSを図示したホワイトノイズの特性であり、図７および図８の各々における部分(D)は、図５の部分(D)に変調スペクトルＭSを例示したプッシュトーンの特性である。

図７の部分(A)ないし部分(D)の対比から理解されるように、無声音（部分(B)）および非音声（部分(C)および部分(D)）は、有声音（部分(A)）と比較して単位時間内の零交差数が多い。したがって、無声音または非音声（ホワイトノイズやプッシュトーン）の単位区間ＴUについて算定される指標値Ｄ2は、有声音の単位区間ＴUの指標値Ｄ2と比較して大きい数値となる。

また、図８の部分(A)ないし部分(D)の対比から理解されるように、部分(B)の無声音および部分(C)のホワイトノイズは、部分(A)の有声音や部分(D)のプッシュトーンと比較すると、周波数スペクトルＳ0の形状が平坦である（すなわち強度の相違が少ない）。したがって、無声音またはホワイトノイズの単位区間ＴUについて算定される指標値Ｄ3は、有声音やプッシュトーンの単位区間ＴUの指標値Ｄ3と比較して小さい数値となる。

さらに、図５の部分(A)ないし部分(D)の対比から理解されるように、部分(A)の有声音および部分(B)の無声音（すなわち音声）は、部分(C)のホワイトノイズや部分(D)のプッシュトーン（すなわち非音声）と比較すると、変調スペクトルＭSのうち判定対象範囲Ａ内の強度が高い。したがって、無声音または有声音の単位区間ＴUについて算定される指標値Ｄ1は、非音声の単位区間ＴUの指標値Ｄ1と比較して大きい数値となる。

各指標値Ｄ（Ｄ1〜Ｄ3）と入力音ＶINの種類とが以上の関係にあることを考慮し、無声音判定部５４は、各単位区間ＴUの入力音ＶINが無声音であるか否かを指標値Ｄ1ないし指標値Ｄ3に基づいて判定する。図９は、無声音判定部５４の具体的な動作を示すフローチャートである。図９の処理は、指標値Ｄ1ないし指標値Ｄ3がひとつの単位区間ＴUについて算定されるたびに実行される。

無声音判定部５４は、指標算定部４４の算定した指標値Ｄ2が閾値Ｔ2を上回るか否かを判定する（ステップＳB1）。閾値Ｔ2は、無声音および非音声の指標値Ｄ2が閾値Ｔ2を上回るとともに有声音の指標値Ｄ2が閾値Ｔ2を下回るように実験的または統計的に選定される。ステップＳB1の結果が否定である場合、無声音判定部５４は、今回の単位区間ＴUの入力音ＶINを無声音でないと判定する（ステップＳB2）。

ステップＳB1の結果が肯定である場合、無声音判定部５４は、指標算定部４６の算定した指標値Ｄ3が閾値Ｔ3を下回るか否かを判定する（ステップＳB3）。閾値Ｔ3は、無声音および暗騒音（ホワイトノイズ）の指標値Ｄ3が閾値Ｔ3を下回るとともに有声音および環境音（プッシュトーン）の指標値Ｄ3が閾値Ｔ3を上回るように実験的または統計的に選定される。ステップＳB3の結果が否定である場合、無声音判定部５４は、今回の単位区間ＴUの入力音ＶINは無声音でないと判定する（ステップＳB2）。

ステップＳB3の結果が肯定である場合、無声音判定部５４は、指標算定部４２の算定した指標値Ｄ1が閾値Ｔ1Bを下回るか否かを判定する（ステップＳB4）。閾値Ｔ1Bは、無声音および有声音の指標値Ｄ1が閾値Ｔ1Bを下回るとともに非音声の指標値Ｄ1が閾値Ｔ1Bを上回るように実験的または統計的に選定される。図５を参照して前述したように、無声音の変調スペクトルＭSのうち強度が最大となる変調周波数は有声音の変調スペクトルＭSと比較して高域側にある。したがって、無声音および有声音の双方の指標値Ｄ1を上回るように設定された閾値Ｔ1Bは、音声判定部５２が有声音の判別に使用した閾値Ｔ1Aと比較して大きい数値となる。

ステップＳB4の結果が肯定である場合、無声音判定部５４は、今回の単位区間ＴUの入力音ＶINを無声音と判別する（ステップＳB5）。ステップＳB5において、無声音判定部５４は、無声音を指定する識別データｄを生成して音処理部６０に出力する。一方、ステップＳB4の結果が否定である場合、無声音判定部５４は、今回の単位区間ＴUの入力音ＶINは無声音でないと判定する（ステップＳB2）。音声判定部５２が有声音でないと判定し（ステップＳA2）、かつ、無声音判定部５４が無声音でないと判定した（ステップＳB2）単位区間ＴUは非音声に分類される。すなわち、非音声を指定する識別データｄが判定部５０から音処理部６０に出力される。

図２の音処理部６０は、判定部５０（音声判定部５２および無声音判定部５４）が単位区間ＴUについて判定した結果に応じた処理を当該単位区間ＴUの音響信号ＳINに対して実行することで出力信号ＳOUTを生成する。音処理部６０の具体的な処理について以下に詳述する。

第１に、音処理部６０は、音声判定部５２が有声音と判定した単位区間ＴUの音響信号ＳINと無声音判定部５４が無声音と判定した単位区間ＴUの音響信号ＳINとに対して別個の処理を実行する。例えば、音処理部６０は、無声音の単位区間ＴUについては音響信号ＳINの高域の成分をローパスフィルタ処理で抑制する一方、有声音の単位区間ＴUについてはフィルタ処理を実行しない。

第２に、音処理部６０は、音声（有声音または無声音）の単位区間ＴUの音響信号ＳINと非音声の単位区間ＴUの音響信号ＳINとに対して別個の処理を実行する。例えば、音処理部６０は、音声判定部５２が有声音と判定した単位区間ＴUと無声音判定部５４が無声音と判定した単位区間ＴUとについては音響信号ＳINを出力信号ＳOUTとして出力する一方、非音声と判定された単位区間ＴUについては音量をゼロに設定した出力信号ＳOUTを出力する（すなわち音響信号ＳINを出力しない）。したがって、空間Ｒ1および空間Ｒ2の各々においては、他方の空間Ｒ内の入力音ＶINのうちの非音声が除去され、利用者が本来的に受聴する必要のある音声のみが音処理装置１６を介して放音機器１８から放射される。さらに、無声音については高域の成分が抑圧されているから、利用者にとって受聴し易い音声が放音機器１８から放射される。

音声判定部５２が有声音と判定した単位区間ＴUのみを出力信号ＳOUTとして出力される構成においては、無声音が非音声として処理されるから、出力信号ＳOUTに応じて放射される音響は無声音の単位区間ＴUで途切れる。本形態においては、音声判定部５２が有声音の単位区間ＴUを判別するだけでなく、無声音判定部５４が指標値Ｄ1ないし指標値Ｄ3に基づいて無声音の単位区間ＴUを判別するから、入力音ＶINの有声音および無声音の双方について出力信号ＳOUTとして放音することが可能である。したがって、出力信号ＳOUTから放射される音響のうち入力音ＶINの無声音に対応する区間の中断が防止されるという利点がある。

また、変調スペクトルＭSのうち判定対象範囲Ａ内の成分の強度Ｌ1（発話のリズムの有無）に基づいて音声（有声音および無声音）と非音声とが区別されるから、入力音ＶINの周波数スペクトルを利用する特許文献１の技術と比較して高精度に音声と非音声とを判別することが可能である。なお、非音声の音量が大きい場合、変調スペクトルＭSの強度は変調周波数の全帯域にわたって高い。したがって、変調スペクトルＭSの判定対象範囲Ａ内の強度Ｌ1のみに基づいて音声と非音声とを区別する構成においては、音量の大きい非音声が音声と誤判定される可能性がある。本形態においては、判定対象範囲Ａ内の強度Ｌ1と変調周波数の全範囲にわたる強度Ｌ2との相対比が判定部５０による判定に使用されるから、非音声の音量が大きい場合であっても音声と非音声とを正確に判定できるという利点がある。

＜変形例＞
以上の形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。

（１）変形例１
以上の形態においては変調スペクトルＭSに応じた指標値Ｄ1と零交差数に応じた指標値Ｄ2と周波数スペクトルＳ0の平坦性に応じた指標値Ｄ3とを入力音ＶINの判別に利用したが、指標値Ｄ2および指標値Ｄ3の一方と指標値Ｄ1とに基づいて入力音ＶINを判別する構成も採用される。例えば、指標値Ｄ1と指標値Ｄ2とを利用する態様においては、図２の指標算定部４６や図９のステップＳB3が省略される。また、指標値Ｄ1と指標値Ｄ3とを利用する態様においては、図２の指標算定部４４や図９のステップＳB1が省略される。ただし、図２の構成のように３種類の指標値（Ｄ1〜Ｄ3）を利用する構成によれば、２種類の指標値Ｄのみを利用する構成と比較して入力音ＶINを高精度に判別できるという利点がある。

（２）変形例２
以上の形態においては、有声音の指標値Ｄ1を上回るとともに無声音の指標値Ｄ1を下回るように閾値Ｔ1Aが設定されるから、音声判定部５２は、有声音を無声音や非音声から判別する手段として機能する。しかし、有声音および無声音の双方（すなわち音声）の指標値Ｄ1を上回るように閾値Ｔ1Aを設定することで、音声（有声音および無声音）を非音声から判別する手段として音声判定部５２を機能させてもよい。なお、有声音および無声音の双方の指標値Ｄ1を上回るように閾値Ｔ1Aが設定された場合であっても、無声音の単位区間ＴUが非音声と誤判定される可能性はあるから、無声音を音声に分類する（すなわち非音声から除外する）ために無声音判定部５４は好適に利用される。

（３）変形例３
以上の形態においては、入力音ＶINの総ての単位区間ＴUについて無声音判定部５４が図９の処理（無声音の判別）を実行したが、音声判定部５２が音声（有声音）でないと判定した単位区間ＴUについてのみ図９の処理を実行してもよい。本変形例においては、音声判定部５２が音声と判定した単位区間ＴUについて無声音判定部５４の処理が省略されるから、判定部５０（無声音判定部５４）による処理の負荷が削減されるという利点がある。

（４）変形例４
各指標値Ｄ（Ｄ1，Ｄ2，Ｄ3）の定義は適宜に変更される。したがって、各指標値Ｄ（Ｄ1，Ｄ2，Ｄ3）の大小と入力音ＶINの種類との関係は任意である。例えば、以上の形態においては、変調スペクトルＭSにおける判定対象範囲Ａ内の強度Ｌ1が高いほど指標値Ｄ1が減少するように指標値Ｄ1を定義した構成（すなわち指標値Ｄ1が小さいほど入力音ＶINが音声と判定される可能性が上昇する構成）を例示したが、判定対象範囲Ａ内の強度Ｌ1が高いほど指標値Ｄ1が増加するように指標値Ｄ1を定義した構成（すなわち指標値Ｄ1が大きいほど入力音ＶINが音声と判定される可能性が上昇する構成）も採用される。強度Ｌ1が高いほど指標値Ｄ1が増加する構成において、音声判定部５２は、指標値Ｄ1が閾値Ｔ1Aを上回る単位区間ＴUの入力音ＶINを有声音と判定し（ステップＳA1およびステップＳA2）、無声音判定部５４は、指標値Ｄ1が閾値Ｔ1Bを上回る単位区間ＴUの入力音ＶINを無声音と判定する（ステップＳB4およびステップＳB5）。閾値Ｔ1Aは、閾値Ｔ1Bと比較して小さい数値に設定される。

また、音響信号ＳINの零交差数が多いほど指標値Ｄ2が減少するように指標値Ｄ2を定義した構成（例えば零交差数の逆数を指標値Ｄ2とした構成）や、周波数スペクトルＳ0の平坦性が高いほど指標値Ｄ3が増加するように指標値Ｄ3を定義した構成も好適である。また、周波数スペクトルＳ0の分散を指標値Ｄ3として算定してもよい。すなわち、指標算定部４６は、周波数スペクトルＳ0を区分した各周波数帯域の強度（エネルギ）と全帯域にわたる強度の平均値との差分値の自乗を総ての周波数帯域にわたって平均した数値を指標値Ｄ3として算定する。以上の方法で算定された指標値Ｄ3は、周波数スペクトルＳ0の平坦性が高いほど小さい数値となる。

（５）変形例５
以上の形態においては周波数スペクトルＳ0において周波数帯域ωに属する成分の時間軌跡ＳTに対してフーリエ変換を実行することで変調スペクトルＭSを特定したが、音響信号ＳIN（入力音ＶIN）のケプストラムの時間軌跡に対してフーリエ変換を実行することで変調スペクトルＭSを特定する構成も採用される。さらに詳述すると、変調スペクトル特定部３４の成分抽出部３４２は、音響信号ＳINの各フレームのケプストラムのうちケフレンシが特定の範囲内にある成分の時間軌跡ＳTを抽出し、周波数分析部３４４は、ケプストラムの時間軌跡ＳTに対して単位区間ＴU毎にフーリエ変換を実行することで各単位区間ＴUの変調スペクトルＭSを算定する。

（６）変形例６
以上の形態においては、音声判定部５２による判定に指標値Ｄ1を利用したが、入力音ＶINが音声（有声音）か否かを判定する方法には公知の技術が任意に採用される。例えば、音声判定部５２が音響信号ＳINのピッチ（基本周波数）の検出を実行し、明確なピッチが検出された単位区間ＴUを音声と判定するとともにピッチが検出されない単位区間ＴUを非音声と判定する構成も好適である。もっとも、図２の構成においては、無声音判定部５４で使用される指標値Ｄ1が音声判定部５２でも使用されるから、指標値Ｄ1とは別個の指標値（例えばピッチ）が音声判定部５２による判定に使用される構成と比較して指標値の算定の負荷が軽減されるという利点がある。なお、例えば入力音ＶINから無声音の単位区間ＴUのみを検出する音処理装置１４においては音声判定部５２が省略される。

（７）変形例７
以上の形態においては、入力音ＶINを収音した空間Ｒ内の音処理装置１４にて識別データｄおよび出力信号ＳOUTを生成したが、識別データｄを生成する位置（入力音ＶINを分類する位置）や出力信号ＳOUTを生成する位置は適宜に変更される。例えば、収音機器１２が生成した音響信号ＳINと判定部５０の生成した識別データｄとを音処理装置１４が出力する構成においては、音響信号ＳINと識別データｄとから出力信号ＳOUTを生成する音処理部６０が受信側の音処理装置１６に設置される。また、収音機器１２が生成した音響信号ＳINを音処理装置１４が送信する構成においては、受信側の音処理装置１６に図２と同様の要素が設置される。もっとも、遠隔会議システム１００は本発明の用途の例示に過ぎない。したがって、出力信号ＳOUTや音響信号ＳINの送受信は本発明において必須ではない。

（８）変形例８
以上の形態においては、非音声と判定された単位区間ＴUの音響信号ＳINを音処理部６０が出力しない（出力信号ＳOUTの音量をゼロに設定する）構成を例示したが、音処理部６０による処理の内容は適宜に変更される。例えば、非音声と判定された単位区間ＴUについて音響信号ＳINの音量を低下させた信号を音処理部６０が出力信号ＳOUTとして出力する構成も好適である。また、音声（有声音または無声音）の単位区間ＴUと非音声の単位区間ＴUとについて音響信号ＳINに別個の音響的な効果を付与することで出力信号ＳOUTを生成する構成や、有声音の単位区間ＴUと無声音の単位区間ＴUとについて音響信号ＳINに別個の音響的な効果を付与する構成も採用される。さらに、出力信号ＳOUTの出力先（音処理装置１６）において話者認識（話者識別または話者認証）や音声認識が実行される構成において、音処理部６０は、例えば、有声音または無声音と判定された単位区間ＴUについては、音声認識や話者認識に使用される特徴量を音響信号ＳINから抽出して出力信号ＳOUTとして出力する一方、非音声と判定された単位区間ＴUについては特徴量の抽出を停止する。

本発明の実施の形態に係る遠隔会議システムのブロック図である。 図１の音処理装置のブロック図である。 図２の変調スペクトル特定部のブロック図である。 図２の変調スペクトル特定部による処理の手順を示す概念図である。 複数種の音響の変調スペクトルである。 図２の音声判定部の動作を示すフローチャートである。 複数種の音響の時間波形である。 複数種の音響の周波数スペクトルである。 図２の無声音判定部の動作を示すフローチャートである。

符号の説明

１００……遠隔会議システム、１２……収音機器、１４……音処理装置、１６……音処理装置、１８……放音機器、２２……制御装置、２４……記憶装置、３２……周波数分析部、３４……変調スペクトル特定部、４２……指標算定部、４４……指標算定部、４６……指標算定部、５０……判定部、５２……音声判定部、５４……無声音判定部、６０……音処理部、ＶIN……入力音、ＳIN……音響信号、ＳOUT……出力信号、ｄ……識別データ、ＭS……変調スペクトル、Ｄ1，Ｄ2，Ｄ3……指標値、ＴU……単位区間。

Claims (11)

1. 入力音の各単位区間について変調スペクトルを特定する変調スペクトル特定手段と、
   前記変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に応じた第１指標値を算定する第１指標算定手段と、
   前記入力音の零交差数に応じた第２指標値を前記各単位区間について算定する第２指標算定手段と、
   前記各単位区間の入力音が無声音であるか否かを前記第１指標値と前記第２指標値とに基づいて判定する無声音判定手段と
   を具備する音処理装置。
2. 前記入力音の周波数スペクトルの平坦性に応じた第３指標値を前記各単位区間について算定する第３指標算定手段を具備し、
   前記無声音判定手段は、前記各単位区間の入力音が無声音であるか否かを前記第１指標値と前記第２指標値と前記第３指標値とに基づいて判定する
   請求項１の音処理装置。
3. 入力音の各単位区間について変調スペクトルを特定する変調スペクトル特定手段と、
   前記変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に応じた第１指標値を算定する第１指標算定手段と、
   前記入力音の周波数スペクトルの平坦性に応じた第３指標値を前記各単位区間について算定する第３指標算定手段と、
   前記各単位区間の入力音が無声音であるか否かを前記第１指標値と前記第３指標値とに基づいて判定する無声音判定手段と
   を具備する音処理装置。
4. 前記各単位区間の入力音が音声であるか否かを判定する音声判定手段
   を具備する請求項１から請求項３の何れかの音処理装置。
5. 前記音声判定手段は、前記各単位区間の入力音が音声であるか否かを前記第１指標値に基づいて判定する
   請求項４の音処理装置。
6. 前記第１指標算定手段は、前記変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度が高いほど前記第１指標値が減少するように前記第１指標値を算定し、
   前記音声判定手段は、前記第１指標値が第１閾値を下回る単位区間の入力音を音声と判定し、
   前記無声音判定手段は、前記第１閾値よりも大きい第２閾値を前記第１指標値が下回る単位区間の入力音を無声音と判定する
   請求項４または請求項５の音処理装置。
7. 前記第１指標算定手段は、前記変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度が高いほど前記第１指標値が増加するように前記第１指標値を算定し、
   前記音声判定手段は、前記第１指標値が第１閾値を上回る単位区間の入力音を音声と判定し、
   前記無声音判定手段は、前記第１閾値よりも小さい第２閾値を前記第１指標値が上回る単位区間の入力音を無声音と判定する
   請求項４または請求項５の音処理装置。
8. 前記無声音判定手段が無声音と判定した単位区間の入力音と他の単位区間の入力音とに対して異なる処理を実行する音処理手段
   を具備する請求項１から請求項７の何れかの音処理装置。
9. 前記音声判定手段が音声と判定した単位区間の入力音と前記無声音判定手段が無声音と判定した単位区間の入力音とに対して異なる処理を実行する音処理手段
   を具備する請求項４から請求項７の何れかの音処理装置。
10. 入力音の各単位区間について変調スペクトルを特定する変調スペクトル特定処理と、
    前記変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に応じた第１指標値を算定する第１指標算定処理と、
    前記入力音の零交差数に応じた第２指標値を前記各単位区間について算定する第２指標算定処理と、
    前記各単位区間の入力音が無声音であるか否かを前記第１指標値と前記第２指標値とに基づいて判定する無声音判定処理と
    をコンピュータに実行させるプログラム。
11. 入力音の各単位区間について変調スペクトルを特定する変調スペクトル特定処理と、
    前記変調スペクトルのうち変調周波数が所定の範囲に属する成分の強度に応じた第１指標値を算定する第１指標算定処理と、
    前記入力音の周波数スペクトルの平坦性に応じた第３指標値を前記各単位区間について算定する第３指標算定処理と、
    前記各単位区間の入力音が無声音であるか否かを前記第１指標値と前記第３指標値とに基づいて判定する無声音判定処理と
    をコンピュータに実行させるプログラム。
    

Images