JP2018063400A - 音声処理装置及び音声処理プログラム - Google Patents

Abstract

【課題】気導音の音声信号と骨導音の音声信号とを合成した音声信号の音質を向上させる。
【解決手段】音声処理装置は、歪み度推定部と、合成信号生成部とを備える。歪み度推定部は、気導音信号における雑音成分とは異なる所定の音声成分を含む音声区間の信号対雑音比を取得し、信号対雑音比と、音声信号の歪み度との関係を規定した歪み度推定関数に基づいて、気導音信号における音声区間の歪み度を推定する。合成信号生成部は、気導音信号の音声区間と、骨導音信号における気導音信号の音声区間と対応する音声区間とを、歪み度推定部で推定した歪み度に基づく混合比で合成した合成音声信号を生成する。該音声処理装置の歪み度推定部は、信号対雑音比が大きくなるにつれて歪み度の値が単調に変化する歪み度変化区間を含み、かつ歪み度変化区間内に信号対雑音比に対する歪み度の平均変化率が異なる複数の区間を含む歪み度推定関数に基づいて、歪み度を推定する。
【選択図】図１

Description

本発明は、音声処理装置及び音声処理プログラムに関する。

携帯電話端末等の通話可能な通信装置や、音声入力が可能な電子機器には、マイクで収音した気導音の音声信号に含まれる雑音成分を抑圧する機能を備えたものがある。通話可能な通信装置においては、音声信号に含まれる雑音成分を抑圧することにより、通話品質を向上させている。また、音声入力が可能な電子機器においては、音声信号に含まれる雑音成分を抑圧することにより、入力された音声の誤認識を低減させている。

音声信号に含まれる雑音成分を抑圧する技術の１つとして、気導音を収音した音声信号と、骨導音を収音した音声信号とを合成する技術が知られている（例えば、特許文献１を参照）。この種の技術では、気導音の音声信号及び骨導音の音声信号における低域周波数成分における信号対雑音比に基づいて、気導音の音声信号と骨導音の音声信号との混合比を決定している。骨導音の音声信号は、気導音の音声信号と比べて雑音レベルが小さい。このため、音声信号から推定される雑音レベルが高い場合には骨導音の音声信号の混合比率を高くすることで、音声信号に含まれる雑音成分が音質に与える影響を小さくすることが可能となる。

特開平１０−０２３１２２号公報

上記の雑音抑圧技術においては、音質が音声信号の信号対雑音比に比例することを前提としており、気導音の音声信号と骨導音の音声信号とを合成する際の混合比を信号対雑音比に比例させている。

しかしながら、人の耳は音声歪みの知覚感度が一定ではないため、音質が音声信号の信号対雑音比に比例するとは限らない。したがって、気導音の音声信号と骨導音の音声信号との混合比が信号対雑音比に比例する関数に基づいて決定した混合比は、合成した音声信号が最適な音質となる適切な混合比にならないことがある。

１つの側面において、本発明は、気導音の音声信号と骨導音の音声信号とを合成した音声信号の音質を向上させることを目的とする。

１つの態様では、音声処理装置は、音声信号取得部と、歪み度推定部と、合成信号生成部とを備える。音声信号取得部は、骨導音マイクで収音した骨導音信号と、気導音マイクで収音した気導音信号とを取得する。歪み度推定部は、気導音信号における雑音成分とは異なる所定の音声成分を含む音声区間の信号対雑音比を取得し、信号対雑音比と、音声信号の歪み度との関係を規定した歪み度推定関数に基づいて、気導音信号における音声区間の歪み度を推定する。合成信号生成部は、気導音信号の音声区間と、骨導音信号における気導音信号の音声区間と対応する音声区間とを、歪み度推定部で推定した歪み度に基づく混合比で合成した合成音声信号を生成する。該音声処理装置の歪み度推定部は、以下の条件を満たす歪み度推定関数に基づいて、歪み度を推定する。第１の条件は、信号対雑音比が大きくなるにつれて歪み度の値が単調に変化する歪み度変化区間を含むことである。第２の条件は、歪み度変化区間内の信号対雑音比の最小値及び最大値を含まない区間における信号対雑音比に対する前記歪み度の平均変化率の絶対値が、信号対雑音比の最小値又は最大値を含む区間における前記平均変化率の絶対値よりも大きいことである。

上述の態様によれば、気導音の音声信号と骨導音の音声信号とを合成した音声信号の音質が向上する。

第１の実施形態に係る音声処理装置の機能的構成を示す図である。 歪み度推定関数の一例を示すグラフ図である。 第１の実施形態に係る音声信号の合成処理を説明するフローチャートである。 骨導音信号の時間波形の例を示す図である。 雑音レベルの推定結果の例を示すグラフ図である。 ＳＮ比と主観的な音質と歪み度推定関数との関係を説明するグラフ図である。 歪み度推定関数の別の例を示すグラフ図である。 雑音の非定常性を考慮した歪み度推定関数の例を説明する図である。 音声処理装置の適用例を示す図である。 第２の実施形態に係る音声処理装置の機能的構成を示す図である。 第２の実施形態に係る音声処理装置における包絡特性補正部の機能的構成を示す図である。 周波数スペクトルの包絡特性を説明するグラフ図である。 包絡信頼度推定関数の一例を示すグラフ図である。 第２の実施形態に係る音声信号の合成処理を説明するフローチャート（その１）である。 第２の実施形態に係る音声信号の合成処理を説明するフローチャート（その２）である。 骨導音信号の周波数スペクトルの補正方法を説明するグラフ図（その１）である。 骨導音信号の周波数スペクトルの補正方法を説明するグラフ図（その２）である。 コンピュータのハードウェア構成を示す図である。

［第１の実施形態］
図１は、第１の実施形態に係る音声処理装置の機能的構成を示す図である。

図１に示すように、本実施形態に係る音声処理装置１は、音声信号取得部１１０と、音声信号合成部１２０と、音声信号出力部１３０と、記憶部１９０と、を備える。

音声信号取得部１１０は、骨導音を収音する第１のマイク２で収音した骨導音の音声信号と、気導音を収音する第２のマイク３で収音した気導音の音声信号とを取得する。以下の説明では、骨導音の音声信号を骨導音信号といい、気導音の音声信号を気導音信号という。

音声信号合成部１２０は、骨導音信号と気導音信号とを所定の混合比で合成した音声信号（合成音声信号）を生成する。

音声信号出力部１３０は、音声信号合成部１２０で生成した合成音声信号を情報処理装置４等に出力する。情報処理装置４は、例えば、通話機能或いは音声入力機能を備えた電子機器である。

記憶部１９０は、音声信号合成部１２０が参照する各種関数等を記憶する。

上記のように、本実施形態に係る音声処理装置１における音声信号合成部１２０は、骨導音信号と気導音信号とを所定の混合比で合成した（混合した）合成音声信号を生成する。音声信号合成部１２０は、分割部１２１と、音声区間判定部１２２と、変換部１２３と、雑音レベル推定部１２４と、雑音抑圧部１２５と、歪み度推定部１２６と、合成信号生成部１２７と、を含む。

分割部１２１は、骨導音信号及び気導音信号を、それぞれ、所定の時間長で複数のフレーム（処理単位）に分割する。

音声区間判定部１２１は、合成する骨導音信号のフレームと気導音信号のフレームとの組毎に、音声区間であるか否かを判定する。ここで、音声区間は、音声信号のうちの、通話や音声入力における有意な音声を含む区間、言い換えると雑音成分とは異なる所定の音声成分を含む区間である。音声区間判定部１２１は、例えば、骨導音信号のフレームの時間波形に基づいて、判定対象であるフレームの組が音声区間のフレームの組であるか否かを判定する。

変換部１２３は、フレーム毎に、骨導音信号及び気導音信号の時間波形を周波数スペクトルに変換する。変換部１２３は、高速フーリエ変換（Fast Fourier Transform: ＦＦＴ）等の既知の変換方法に従い、骨導音信号のフレームと気導音信号のフレームとを周波数スペクトルに変換する。以下の説明では、骨導音信号の周波数スペクトルを骨導音スペクトルともいい、気導音信号の周波数スペクトルを気導音スペクトルともいう。

雑音レベル推定部１２４は、気導音信号に含まれる雑音成分のレベル（雑音レベル）を推定する。雑音レベル推定部１２４は、合成処理の対象であるフレームの組が非音声区間のフレームの組である場合（すなわち音声区間のフレームの組でなない場合）に、当該フレームの組における気導音スペクトルの各帯域の雑音レベルを推定する。雑音レベル推定部１２４は、雑音レベルの推定結果を記憶部１９０に記憶させる。既に記憶部１９０に雑音レベルの推定結果を記憶させている場合、雑音レベル推定部１２４は、記憶させている雑音レベルの推定結果を、現在合成処理の対象であるフレームの組から推定した推定結果に更新する。

雑音抑圧部１２５は、記憶部１９０に記憶させた雑音レベルに基づいて、現在合成処理の対象である気導音スペクトルの各帯域に含まれる雑音成分を抑圧する。現在合成処理の対象であるフレームが非音声区間である場合、雑音抑圧部１２５は、当該フレームの気導音スペクトルに基づいて推定した雑音レベルに基づいて、雑音成分を抑圧する。一方、現在合成処理の対象であるフレームが音声区間である場合、雑音抑圧部１２５は、現在合成処理の対象であるフレームよりも前の直近のフレームにおける雑音レベルの推定結果に基づいて、雑音成分を抑圧する。

歪み度推定部１２６は、記憶部１９０に記憶させた歪み度推定関数に基づいて、気導音信号における現在合成処理の対象であるフレームに対する歪み度を推定する。ここで、歪み度は、骨導音信号と気導音信号とを合成する際の気導音信号の合成比率（混合比率）を示す値とする。歪み度推定関数は、雑音成分とは異なる所定の音声成分を含む音声信号における信号対雑音比（Signal to Noise Ratio。以下「ＳＮ比」という）と、歪み度との関係を規定した関数である。歪み度推定部１２６は、現在合成処理の対象であるフレームの組が音声区間である場合に、記憶部１９０に記憶させた直近の雑音レベルの推定結果に基づいて、気導音スペクトルの各帯域のＳＮ比を算出し、更にそれらの平均値を算出する。その後、歪み度推定部１２６は、歪み度推定関数と、算出したＳＮ比の平均値とに基づいて、現在合成処理の対象であるフレームの組における気導音スペクトルについての歪み度を推定する。本実施形態に係る音声処理装置１で参照する歪み度推定関数は、ＳＮ比の平均値が大きくなるにつれて歪み度が単調減少する歪み度変化区間を含み、かつ歪み度変化区間が平均変化率の異なる複数の区間を含む関数とする。

合成信号生成部１２７は、骨導音スペクトルと気導音スペクトルとを、歪み度推定部１２６で推定した歪み度に基づく混合比で合成した合成音声信号を生成する。合成信号生成部１２７は、周波数スペクトルの帯域毎に、骨導音スペクトルにおけるレベルと、気導音スペクトルにおけるレベルとを、推定した歪み度に基づく混合比で加算した合成レベルを算出する。更に、本実施形態に係る音声処理装置１の合成信号生成部１２７は、算出した合成レベルによって与えられる周波数スペクトルを時間波形に逆変換した合成信号を生成する。なお、合成信号生成部１２７が生成する合成音声信号は、時間波形に逆変換する前の周波数スペクトルであってもよい。

本実施形態に係る音声処理装置１において歪み度推定部１２６が参照する歪み度推定関数は、上記のように、ＳＮ比の平均値が大きくなるにつれて歪み度が単調減少する歪み度変化区間を含み、かつ歪み度変化区間が平均変化率の異なる複数の区間を含む関数とする。

図２は、歪み度推定関数の一例を示すグラフ図である。
図２に示したグラフ図において、横軸はＳＮ比の平均値ＳＮＲ＿ａｖｅであり、縦軸は周波数スペクトル（気導音信号）の歪み度Ｅ＿ｅｒｒｏｒである。歪み度Ｅ＿ｅｒｒｏｒは、骨導音スペクトルと気導音スペクトルとを合成する際の骨導音スペクトルの混合比率を示す値である。

図２に示した歪み度推定関数Ｆ１は、ＳＮ比の平均値ＳＮＲ＿ａｖｅが第１の値ＳＡ１から第４の値ＳＡ４（＞ＳＡ１）までの区間において、歪み度Ｅ＿ｅｒｒｏｒが最大値１．０から最小値０．０に単調減少する関数である。また、歪み度推定関数Ｆ１は、ＳＮ比の平均値ＳＮＲ＿ａｖｅが第４の値ＳＡ４よりも大きい値である場合には、ＳＮ比の平均値ＳＮＲ＿ａｖｅによらず常に歪み度Ｅ＿ｅｒｒｏｒ＝０．０とする関数である。更に、図２には示していないが、歪み度推定関数Ｆ１は、ＳＮ比の平均値ＳＮＲ＿ａｖｅが第１の値ＳＡ１よりも小さい値である場合には、ＳＮ比の平均値ＳＮＲ＿ａｖｅによらず常に歪み度Ｅ＿ｅｒｒｏｒ＝１．０とする関数である。すなわち、歪み度推定関数Ｆ１は、ＳＮ比の平均値ＳＮＲ＿ａｖｅが第１の値ＳＡ１から第４の値ＳＡ４（＞ＳＡ１）までの区間が歪み度変化区間である。

更に、歪み度推定関数Ｆ１における歪み度変化区間は、当該歪み度変化区間を３個の区間Ｂ１，Ｂ２，Ｂ３に分割した際に、中央の区間Ｂ２の平均変化率が他の区間Ｂ１，Ｂ３の平均変化率よりも大きい三次関数とする。ここで、歪み度変化区間は、歪み度推定関数Ｆ１における変曲点が、３個の区間Ｂ１，Ｂ２，Ｂ３のうちの中央の区間Ｂ２に含まれるよう分割している。また、平均変化率は、各区間Ｂ１，Ｂ２，Ｂ３における、歪み度Ｅ＿ｅｒｒｏｒの変化量をＳＮ比の平均値の変化量で除した値とする。

このような歪み度推定関数Ｆ１は、例えば、人の主観音質の知覚感度に基づいて設定する。例えば、ＳＡ１＜ＳＡ２＜ＳＡ３＜ＳＡ４となる第２の値ＳＡ２及び第３の値ＳＡ３を、それぞれ２．５ｄＢ及び７．５ｄＢとし、中央の区間Ｂ２の平均変化率が他の区間Ｂ１，Ｂ３の平均変化率よりも大きくなるよう、区間境界での歪み度の値Ｅ１，Ｅ２を決定する。そして、歪み度変化区間において点（ＳＡ１，１）、点（ＳＡ２，Ｅ２）、点（ＳＡ３，Ｅ１）、及び点（ＳＡ４，０）の４点を通り、かつ歪み度Ｅ＿ｅｒｒｏｒが単調減少する三次関数を求める。

なお、歪み度推定関数Ｆ１は、関数（数式）として記憶部１９０に記憶させてもよいし、ＳＮ比の平均値ＳＮＲ＿ａｖｅと歪み度Ｅ＿ｅｒｒｏｒとを対応付けたテーブル等のデータとして記憶部１９０に記憶させてもよい。

本実施形態に係る音声処理装置１は、動作を開始させると、第１のマイク２で収音した骨導音信号と、第２のマイク３で収音した気導音信号とを取得し、取得した骨導音信号及び気導音信号を所定の時間長のフレームに分割していく処理を開始する。骨導音信号及び気導音信号の取得は、音声信号取得部１１０が行う。骨導音信号及び気導音信号をフレームに分割する処理は、音声合成部１２０の分割部１２１が行う。骨導音信号及び気導音信号を取得してフレームに分割する処理を開始した後、音声処理装置１は、分割したフレーム毎に、例えば、図３に示した処理を行う。

図３は、第１の実施形態に係る音声信号の合成処理を説明するフローチャートである。
骨導音信号及び気導音信号を取得してフレームに分割する処理を開始した後、音声処理装置１は、まず、処理対象とする骨導音信号のフレームと気導音信号のフレームとの組を選択する（ステップＳ１）。ステップＳ１の処理は、例えば、音声区間判定部１２２が行う。音声区間判定部１２２は、所定の選択規則に従って合成処理の対象とするフレームの組を選択する。選択規則は、例えば、ステップＳ１で選択していないフレームの組のうちの収音時刻が最も早いフレームを選択する、という規則とする。

処理対象とするフレームの組を選択した後、音声区間判定部１２２は、続けて、選択したフレームが音声区間のフレームであるか否かを判定する（ステップＳ２）。音声区間判定部１２２は、既知の判定方法に従って、選択したフレームが通話や音声入力等における有意な音声成分を含むフレームであるか否かを判定する。例えば、骨導音信号のフレームにおける時間波形の振幅レベルの変動幅が所定の閾値よりも大きく、かつ時間波形が周期性を持つ場合に、音声区間判定部１２２は、選択したフレームが音声区間のフレームであると判定する。

選択したフレームが音声区間のフレームではない場合（ステップＳ２；ＮＯ）、音声処理装置１は、次に、選択したフレームにおける雑音レベルを推定し、該推定結果に基づいて気導音スペクトルの雑音成分を抑圧する（ステップＳ３）。ステップＳ３の処理は、変換部１２３と、雑音レベル推定部１２４と、雑音抑圧部１２５とが行う。ステップＳ３の処理では、まず、変換部１２３が骨導音信号のフレーム及び気導音信号のフレームを時間波形から周波数スペクトルに変換する。変換部１２３は、既知の高速フーリエ変換等により各フレームの時間波形を周波数スペクトルに変換する。次に、雑音レベル推定部１２４が、気導音スペクトルに基づいて、帯域毎の雑音レベルの推定値を算出する。雑音レベル推定部１２４は、例えば、現在処理対象であるフレームを含む雑音区間における平均スペクトル分布を算出し、当該平均スペクトル分布を雑音レベルの推定値とする。雑音レベル推定部１２４は、雑音レベルの推定結果を記憶部１９０に記憶させる。雑音レベルを推定すると、次に、雑音抑圧部１２５が、雑音レベルの推定結果に基づいて、現在処理対象である気導音スペクトルの雑音成分を抑圧する。雑音抑圧部１２５は、記憶部１９０、或いは雑音レベル推定部１２４から雑音レベルの推定結果を取得し、処理対象の気導音スペクトルにおける各帯域の雑音成分を抑圧する。

ステップＳ３の処理を終えると、音声処理装置１は、次に、周波数スペクトルの歪み度を１に設定する（ステップＳ４）。ステップＳ４の処理は、歪み度推定部１２６が行う。すなわち、処理対象のフレームが非音声区間である場合、周波数スペクトルのＳＮ比の平均値によらず、、骨導音スペクトルの混合比率が１となる。

一方、選択したフレームが音声区間のフレームである場合（ステップＳ２；ＹＥＳ）、音声処理装置１は、次に、周波数スペクトルの歪み度を推定する（ステップＳ５）。ステップＳ５の処理は、変換部１２３と、歪み度推定部１２６が行う。ステップＳ５の処理では、まず、変換部１２３が骨導音信号のフレーム及び気導音信号のフレームを時間波形から周波数スペクトルに変換する。変換部１２３は、既知の高速フーリエ変換等により各フレームの時間波形を周波数スペクトルに変換する。次に、歪み度推定部１２６が、処理対象である気導音信号のフレームの周波数パワースペクトルと、処理済みのフレームにおける雑音レベルの推定結果とに基づいて、各帯域のＳＮ比を算出する。例えば、歪み度推定部１２６は、周波数スペクトルにおけるＭ個の帯域（周波数ビン）を変数ｍ（ｍ＝０，１，・・・，Ｍ−１）で識別し、各帯域のＳＮ比ＳＮＲ（ｍ）を下記式（１）により算出する。

SNR(m)＝S(m)−N(m) ・・・(1)

式（１）において、Ｓ（ｍ）は処理対象の気導音信号についての周波数パワースペクトルにおける帯域ｍのレベルであり、Ｎ（ｍ）は雑音レベルの推定結果における帯域ｍのレベルである。

式（１）により各帯域ｍのＳＮ比ＳＮＲ（ｍ）を算出した後、歪み度推定部１２６は、処理対象の周波数パワースペクトルについてのＳＮ比の平均値ＳＮＲ＿ａｖｅを、下記式（２）により算出する。

その後、歪み度推定部１２６は、算出したＳＮ比の平均値ＳＮＲ＿ａｖｅと、記憶部１９０に記憶させた歪み度推定関数Ｆ１（図２を参照）とに基づいて、処理対象のフレームの気導音スペクトルについての歪み度Ｅ＿ｅｒｒｏｒを算出する。

ステップＳ５の処理を終えると、音声処理装置１は、処理済みのフレームにおける雑音レベルの推定結果に基づいて、気導音スペクトルの雑音成分を抑圧する（ステップＳ６）。ステップＳ６の処理は、雑音抑圧部１２５が行う。ステップＳ６の処理を行う場合、雑音抑圧部１２５は、記憶部１９０を参照して処理済みのフレームにおける雑音レベルの推定結果を取得し、当該雑音レベルの推定結果に基づいて、現在処理対象である気導音スペクトルの雑音成分を抑圧する。ここで、処理済みのフレームにおける雑音レベルの推定結果は、現在処理対象であるフレームよりも時間的に前であり、かつ直近の雑音区間に含まれるフレームについての雑音レベルの推定結果とする。

ステップＳ３，Ｓ４の処理、及びステップＳ５，Ｓ６の処理のいずれかを終えると、音声処理装置１は、次に、歪み度に基づく混合比で骨導音スペクトルと気導音スペクトルとを混合し、得られた周波数スペクトルを時間波形に変換する（ステップＳ７）。ステップＳ７の処理は、合成信号生成部１２７が行う。合成信号生成部１２７は、まず、周波数スペクトルにおける帯域毎の合成レベルＦＳ＿ｏｕｔ（ｍ）を下記式（３）により算出する。

FS_out（m）＝E_error・FS_mod（m）＋（1−E_error）・FS_normal（m）
・・・(3)

式（３）において、ＦＳ＿ｍｏｄ（ｍ）は骨導音スペクトルにおける帯域ｍのレベルであり、ＦＳ＿ｎｏｒｍａｌ（ｍ）は気導音スペクトルにおける帯域ｍのレベルである。

処理対象のフレームが音声区間のフレームである場合、合成信号生成部１２７は、ＳＮ比の平均値ＳＮＲ＿ａｖｅと、歪み度推定関数Ｆ１（図２を参照）とに基づいて算出した歪み度Ｅ＿ｅｒｒｏｒを用いて、各帯域の合成レベルＦＳ＿ｏｕｔ（ｍ）を算出する。一方、処理対象のフレームが音声区間のフレームではない場合、合成信号生成部１２７は、歪み度Ｅ＿ｅｒｒｏｒを「１」として、各帯域の合成レベルＦＳ＿ｏｕｔ（ｍ）を算出する。

式（３）により各帯域ｍ（ｍ＝０，１，・・・，Ｍ−１）の合成レベルＦＳ＿ｏｕｔ（ｍ）を算出した後、合成信号生成部１２７は、合成レベルＦＳ＿ｏｕｔ（ｍ）により表される周波数スペクトルを時間波形に変換する。合成信号生成部１２７は、変換部１２３で時間波形を周波数スペクトルに変換する際の変換方法（変換式）に対する逆変換により、合成した周波数スペクトルを時間波形に変換する。合成信号生成部１２７が生成した時間波形（合成音声信号）を音声信号出力部１３０に渡すと、音声処理装置１（音声信号合成部１２０）は、選択したフレームに対する音声信号の合成処理（ステップＳ１〜Ｓ７）を終了する。

なお、音声処理装置１は、ステップＳ１〜Ｓ７の処理を一連の処理として逐次実行方式で実行してもよいし、パイプライン化して実行してもよい。

図４は、骨導音信号の時間波形の例を示す図である。
図４に示した骨導音信号の時間波形における時刻ｔ０からｔ１までの区間、及び時刻ｔ４からｔ５までの区間は、それぞれ、有意な音声を含まない非音声区間（雑音区間）である。これに対し、骨導音信号の時間波形における時刻ｔ１からｔ４までの区間は、有意な音声を含む音声区間である。

骨導音信号は、発話者が発話したときに頭蓋骨や皮膚組織等を伝播する音の波（振動）を収音した音声信号であるため、空気中を伝播する音を収音した気導音信号に比べて、音声信号に含まれる雑音成分が少ない。このため、骨導音信号は、気導音信号に比べて、非音声区間の時間波形と、音声区間の時間波形との差異が明確である。

更に、骨導音信号の音声区間における時刻ｔ２からｔ３までの区間の時間波形をみると、例えば、図４に示したように、時間波形には周期性がみられる。

よって、本実施形態に係る音声処理装置１における音声区間判定部１２０は、例えば、骨導音信号における下記の２つの条件を満たす区間を音声区間として検出し、処理対象のフレームが音声区間であるか否かを判定する。
（条件１）振幅レベルの変動幅が閾値よりも大きい。
（条件２）時間波形が周期性を持つ。

本実施形態に係る音声信号の合成処理では、上記のように、処理対象のフレームが非音声区間のフレームである場合に雑音レベルを推定し、該雑音レベルの推定結果に基づいて気導音信号に含まれる雑音成分を抑圧する。この際、音声処理装置１では、気導音信号における非音声区間のフレームを周波数スペクトルに変換して平均スペクトル分布を算出し、該平均スペクトル分布を雑音レベルの推定結果とする。

図５は、雑音レベルの推定結果の例を示すグラフ図である。
図５には、気導音信号における非音声区間における平均スペクトル分布の一例を太い実線の曲線で示している。本実施形態に係る音声信号の合成処理では、このような平均スペクトル分布で与えられる雑音レベルＮＬに基づいて、図５に点線で示したような気導音スペクトルＳＰ１における各帯域のパワー値に含まれる雑音成分を抑圧する。

図６は、ＳＮ比と主観的な音質と歪み度推定関数との関係を説明するグラフ図である。
図６の（ａ）のグラフ図は、ＳＮ比と主観的な音質との関係の一例を示すグラフ図である。図６の（ａ）のグラフ図において、横軸は気導音信号におけるＳＮ比であり、縦軸は気導音信号を聞いたたときの主観音質スコアである。主観音質スコアは、気導音信号を聞いたときの主観的な音質の評価値であり、図６の（ａ）のグラフ図では音質を５段階で評価している。なお、図６の（ａ）のグラフ図における主観音質スコアは、１が最も評価が低く、５が最も評価が高い。

人の耳は音声歪に対する知覚感度が一定ではないため、気導音信号のＳＮ比と主観音質スコアとの間には曲線Ｆ０で表されるような関係が生じる。すなわち、ＳＮ比が高くなるにつれて主観音質スコアが高くなり、かつＳＮ比が値Ｑ１の付近における平均変化率（微分係数）がＳＮ比の低い区間及び高い区間における平均変化率よりも大きくなっている。このため、ＳＮ比と主観音質スコアとの関係が図６の（ａ）のグラフ図に点線で示した直線Ｆｒのような比例関係であると仮定した場合、気導音信号におけるＳＮ比に対する主観的な音質に差異が生じる。

例えば、気導音信号のＳＮ比が、曲線Ｆ０と直線Ｆｒとが交差するＳＮ比の値Ｑ１よりも低い場合、直線Ｆｒに基づく主観音質スコアは、曲線Ｆ０に基づく主観音質スコアよりも高くなる。このため、気導音信号のＳＮ比が、曲線Ｆ０と直線Ｆｒとが交差するＳＮ比の値Ｑ１よりも低い場合、直線Ｆｒに基づく気導音信号の音質の評価は、曲線Ｆ０に基づく評価と比べ過大評価となる。このように気導音信号の音質を過大評価した場合、気導音信号の混合比率が、曲線Ｆ０に基づいて推定される適切な混合比率よりも大きくなってしまう。したがって、ＳＮ比の低い気導音信号の音質を過大評価した場合、気導音信号に含まれる雑音成分が合成音声信号の音質に与える影響の度合いが高くなり、音質が劣化する。

逆に、気導音信号のＳＮ比が、曲線Ｆ０と直線Ｆｒとが交差するＳＮ比の値Ｑ１よりも高い場合、直線Ｆｒに基づく気導音信号の音質の評価は、曲線Ｆ０に基づく評価と比べ過小評価となる。したがって、ＳＮ比の高い気導音信号の音質を過小評価した場合、合成信号における骨導音信号の比率が高くなり、例えば、合成音声信号の再生音を聞いた人に対し、中音域から高音域の音量不足等による違和感を与える可能性がある。

このような気導音信号の音質の過大評価による音質劣化や過小評価による違和感を抑制するため、本実施形態に係る音声信号の合成処理では、上記の歪み度推定関数Ｆ１に基づいて、気導音信号のＳＮ比に応じた骨導音信号と気導音信号との適切な混合比を推定する。

図６の（ｂ）のグラフ図は、本実施形態で用いる歪み度推定関数Ｆ１と、直線Ｆｒに基づいて設定した推定関数ＦＲとの関係を示したグラフ図である。直線Ｆｒに基づいて設定した推定関数ＦＲにおける歪み度変化区間は、ＳＮ比の平均値ＳＮＲ＿ａｖｅに比例して歪み度Ｅ＿ｅｒｒｏｒが減少する関数となる。

これに対し、本実施形態で用いる歪み度推定関数Ｆ１は、図６の（ａ）のグラフ図における曲線Ｆ０で示される、音声の歪に対する人の知覚感度を考慮した歪み度推定関数である。このため、歪み度推定関数Ｆ１の歪み度変化区間のうちのＳＮＲ＿ａｖｅ≦ＳＡＱである区間は、推定関数ＦＲと比べて、同一の平均値ＳＮＲ＿ａｖｅにおける歪み度Ｅ＿ｅｒｒｏｒを大きくしている。ここで、ＳＮ比の平均値ＳＮＲ＿ａｖｅ＝ＳＡＱは、歪み度推定関数Ｆ１の歪み度変化区間の変曲点における平均値であり、図６の（ａ）に示した曲線Ｆ０の変曲点におけるＳＮ比の値Ｑ１に相当する。すなわち、ＳＮ比の平均値ＳＮＲ＿ａｖｅが値ＳＡＱ以下である場合、歪み度推定関数Ｆ１に基づいて推定した骨導音信号の混合比率は、推定関数ＦＲに基づいて推定した混合比率よりも高くなる。よって、歪み度推定関数Ｆ１を用いて骨導音信号と気導音信号との混合比率を推定することにより、推定関数ＦＲに基づいて推定した混合比率と比べて、気導音信号のＳＮ比が低い場合の気導音信号の混合比率を低く抑えることが可能となる。

一方、歪み度推定関数Ｆ１の歪み度変化区間のうちのＳＡＱ＜ＳＮＲ＿ａｖｅである区間は、推定関数ＦＲと比べて、同一の平均値ＳＮＲ＿ａｖｅにおける歪み度Ｅ＿ｅｒｒｏｒを小さくしている。すなわち、ＳＮ比の平均値ＳＮＲ＿ａｖｅが値ＳＡＱよりも大きい場合、歪み度推定関数Ｆ１に基づいて推定した骨導音信号の混合比率は、推定関数ＦＲに基づいて推定した混合比率よりも低くなる。よって、歪み度推定関数Ｆ１を用いて骨導音信号と気導音信号との混合比率を推定することにより、推定関数ＦＲに基づいて推定した混合比率と比べて、気導音信号のＳＮ比が高い場合の気導音信号の混合比率を高くすることが可能となる。

このように、本実施形態に係る音声信号の合成処理では、ＳＮ比と、主観的な音質の評価との関係を示す曲線Ｆ０に基づいて設定した歪み度推定関数Ｆ１を用いて、骨導音信号と気導音信号との混合比率を示す歪み度Ｅ＿ｅｒｒｏｒを算出する。曲線Ｆ０は、上記のように、音声の歪に対する人の知覚特性を考慮した関数を表す曲線である。したがって、本実施形態に係る音声信号の合成処理では、ＳＮ比に応じた適切な混合比率で骨導音信号と気導音信号とを混合することが可能となる。すなわち、本実施形態によれば、骨導音信号と気導音信号とを混合した合成音声における、気導音信号の音質の過大評価による音質劣化や、気導音信号の音質の過小評価による違和感を抑制することが可能となる。よって、本実施形態によれば、気導音信号と骨導音信号とを合成した音声信号の音質を向上させることが可能となる。

なお、図２及び図６の（ｂ）に示した歪み度推定関数Ｆ１は、本実施形態に係る音声信号の合成処理で用いる歪み度推定関数の一例に過ぎない。本実施形態に係る音声信号の合成処理で用いる歪み度推定関数は、歪み度推定関数Ｆ１に限らず、上記のＳＮ比と主観的な音質の評価との関係に基づいて適宜変更可能である。例えば、本実施形態に係る音声信号の合成処理で用いる歪み度推定関数は、図７に示す、複数の直線を組み合わせた歪み度推定関数Ｆ２であってもよい。

図７は、歪み度推定関数の別の例を示すグラフ図である。
図７に示したグラフ図において、横軸はＳＮ比の平均値ＳＮＲ＿ａｖｅであり、縦軸は骨導音スペクトルと気導音スペクトルとを合成する際の骨導音スペクトルの混合比率を示す歪み度Ｅ＿ｅｒｒｏｒである。

図７に示した歪み度推定関数Ｆ１及び推定関数ＦＲは、それぞれ、図６の（ｂ）に示した歪み度推定関数Ｆ１及び推定関数ＦＲである。歪み度推定関数Ｆ１は、図６の（ａ）に示したＳＮ比と主観音質スコアとの関係を示す曲線Ｆ０に基づいて設定した三次関数である。また、歪み度推定関数Ｆ１おけるＳＮ比の平均値ＳＮＲ＿ａｖｅが第１の値ＳＡ１から第４の値ＳＡ４までの区間は、歪み度変化区間である。歪み度推定関数Ｆ１の歪み度変化区間は、３個の区間Ｂ１，Ｂ２，Ｂ３に分割した際に、中央の区間Ｂ２の平均変化率が他の区間Ｂ１，Ｂ３の平均変化率よりも大きい。ここで、歪み度変化区間は、ＳＮＲ＿ａｖｅ＝ＳＡＱが３個の区間Ｂ１，Ｂ２，Ｂ３のうちの中央の区間Ｂ２に含まれるよう分割している。

図７に示した歪み度推定関数Ｆ２は、歪み度変化区間に含まれる３個の区間Ｂ１，Ｂ２，Ｂ３のそれぞれにおける関数を、歪み度推定関数Ｆ１の各区間における両端の値を結ぶ線分で示される一次関数としている。すなわち、図７に示した歪み度推定関数Ｆ２は、歪み度推定関数Ｆ１を簡略化した関数である。

図７に示したグラフ図では、ＳＮ比の平均値ＳＮＲ＿ａｖｅの大小関係がＳＡ１＜ＳＡ２＜ＳＡＱ＜ＳＡ３＜ＳＡ４となる第２の値ＳＡ２と、第３の値ＳＡ３とで第１の値ＳＡ１から第４の値ＳＡ４までの区間を３個の区間Ｂ１，Ｂ２，Ｂ３に分割している。第１の区間Ｂ１はＳＮ比の平均値ＳＮＲ＿ａｖｅがＳＡ１≦ＳＮＲ＿ａｖｅ＜ＳＡ２の区間であり、第２の区間Ｂ２はＳＮ比の平均値ＳＮＲ＿ａｖｅがＳＡ２≦ＳＮＲ＿ａｖｅ＜ＳＡ３の区間である。また、第３の区間は、ＳＮ比の平均値ＳＮＲ＿ａｖｅがＳＡ３≦ＳＮＲ＿ａｖｅ≦ＳＡ４の区間である。

ＳＮ比の平均値ＳＮＲ＿ａｖｅが第１の区間Ｂ１と第２の区間Ｂ２との境界となる値ＳＡ２である場合、歪み度推定関数Ｆ１により算出される歪み度Ｅ＿ｅｒｒｏｒは、値Ｅ２である。また、ＳＮ比の平均値ＳＮＲ＿ａｖｅが第２の区間Ｂ２と第３の区間Ｂ３との境界となる値ＳＡ３である場合、歪み度推定関数Ｆ１により算出される歪み度Ｅ＿ｅｒｒｏｒは、値Ｅ１（＜Ｅ２）である。よって、歪み度推定関数Ｆ２は、下記式（４）で示される関数とする。

図７に示したように、歪み度変化区間のうちのＳＮＲ＿ａｖｅ≦ＳＡＱの区間では、歪み度推定関数Ｆ２により算出される歪み度Ｅ＿ｅｒｒｏｒは、推定関数ＦＲにより算出される歪み度よりも大きな値となる。また、歪み度変化区間のうちのＳＡＱ＜ＳＮＲ＿ａｖｅの区間では、歪み度推定関数Ｆ２により算出される歪み度Ｅ＿ｅｒｒｏｒは、推定関数ＦＲにより算出される歪み度よりも小さい値となる。このため、歪み度推定関数Ｆ２により推定した歪み度Ｅ＿ｅｒｒｏｒに基づく骨導音信号と気導音信号との混合比率は、推定関数ＦＲに基づく混合比率と比べて、人の主観音質の知覚感度に近い適切な混合比率になるといえる。

このように、歪み度推定関数を、変化量（傾き）が異なる複数の一次関数を組み合わせた関数とすることで、ＳＮ比の平均値ＳＮＲ＿ａｖｅから歪み度Ｅ＿ｅｒｒｏｒを算出する処理が簡素化される。よって、音声信号の合成処理の処理負荷を軽減することが可能となる。

更に、本実施形態に係る音声信号の合成処理で用いる歪み度推定関数は、雑音の非定常性を考慮した関数であってもよい。

図８は、雑音の非定常性を考慮した歪み度推定関数の例を説明する図である。
図８の（ａ）には、定常的な雑音のみが発生している環境下で収音した気導音信号における雑音区間（非音声区間）の時間波形と、推定雑音レベルＮＬとを示している。一方、図８の（ｂ）には、非定常的な雑音を含む気導音信号における雑音区間の時間波形と、推定雑音レベルＮＬとを示している。

定常的な雑音のみが発生している環境下で収音した気導音信号では、図８の（ａ）に示したように、時間波形の振幅レベルの時間変動が小さい。このため、定常的な雑音のみが発生している環境下で収音した気導音信号から推定される雑音レベルＮＬは、図８の（ａ）に太線で示したようになる。すなわち、定常的な雑音のみが発生している環境下で気導音信号を収音した場合、各時刻における気導音信号の振幅レベルと、推定した雑音レベルＮＬとの差に生じるばらつきが小さい。

一方、非定常的な雑音を含む気導音信号では、図８の（ｂ）に示したように、時間波形の振幅レベルの時間変動が大きい。このような非定常的な雑音を含む気導音信号から推定される雑音レベルＮＬは、図８の（ｂ）に太線で示したようになる。すなわち、非定常的な雑音が発生した場合、各時刻における気導音信号の振幅レベルと、推定した雑音レベルＮＬとの差に生じるばらつきが大きくなる。このため、非定常的な雑音を含む気導音信号は、非定常的な雑音を含まない気導音信号と比べてＳＮ比の信頼度が低下する。よって、気導音信号の周波数スペクトルにおけるＳＮ比の平均値ＳＮＲ＿ａｖｅを、図６の（ａ）に示したＳＮ比と主観音質スコアとの関係に当てはめた場合、合成音声の音質が非定常的な雑音により劣化する可能性がある。

このようなＳＮ比の信頼度の低下による合成音声の音質の劣化を防ぐには、例えば、図８の（ｃ）に示した歪み度推定関数Ｆ３のように、歪み度推定関数Ｆ１よりも歪み度Ｅ＿ｅｒｒｏｒの低下の度合いを小さくする。非定常雑音が発生する環境下では、ＳＮ比の信頼度が低下して気導音信号に音声歪みが発生する確率が高い。歪み度推定関数Ｆ３は、同一の平均値ＳＮＲ＿ａｖｅにおける歪み度Ｅ＿ｅｒｒｏｒを、ＳＮ比と主観音声スコアとの関係（曲線Ｆ０）に基づいて設定される歪み度推定関数Ｆ１の値よりも大きくしている。すなわち、歪み度推定関数Ｆ３を用いて歪み度を推定した場合、同一の平均値ＳＮＲ＿ａｖｅにおける骨導音信号の混合比率が、歪み度推定関数Ｆ１に基づく混合比率よりも高くなる。よって、歪み度推定関数Ｆ３を用いて歪み度を推定した場合、気導音信号に含まれる非定常的な雑音が合成音声の音質に与える影響を抑制することが可能となる。

なお、上記の歪み度推定関数Ｆ２及びＦ３も、本実施形態に係る音声信号の合成処理で用いる歪み度推定関数の例に過ぎないことはもちろんである。本実施形態に係る音声信号の合成処理で用いる歪み度推定関数は、ＳＮ比等の客観的な音質の評価と、主観音声スコア等の主観的な音質の評価との関係を考慮した（反映した）関数であればよい。したがって、歪み度推定関数は、上記の歪み度推定関数Ｆ１〜Ｆ３とは逆に、歪み度変化区間においてＳＮ比が大きくなるにつれて歪み度Ｅ＿ｅｒｒｏｒが単調増加する関数であってもよい。ＳＮ比が大きくなるにつれて歪み度Ｅ＿ｅｒｒｏｒが単調増加する歪み度推定関数により歪み度を推定する場合、合成信号生成部１２７は、正規化した歪み度の値を気導音スペクトルの混合比率として骨導音スペクトルと気導音スペクトルとを合成する。

また、図３のフローチャートは、本実施形態に係る音声信号の合成処理の一例に過ぎない。本実施形態に係る音声信号の合成処理は、本実施形態の要旨を逸脱しない範囲において、適宜変更可能である。例えば、ステップＳ２において処理対象のフレームが音声区間であるか否かを判定する際には、上記の方法とは異なる方法で骨導音信号における音声区間を検出し、処理対象のフレームが音声区間であるか否かを判定してもよい。また、処理対象のフレームが非音声区間である場合に行う、雑音レベルを推定して雑音成分を抑圧する処理（ステップＳ３）と、歪み度（の推定値）を１に設定する処理（ステップＳ４）とは、順序が逆であってもよいし、並列に行ってもよい。同様に、処理対象のフレームが音声区間である場合に行う、歪み度（の推定値）を算出する処理（ステップＳ５）と、雑音成分を抑圧する処理（ステップＳ６）とは、順序が逆であってもよいし、並列に行ってもよい。更に、本実施形態に係る音声信号の合成処理は、骨導音スペクトルと気導音スペクトルとを合成した後、合成した周波数スペクトルを合成音声信号として情報処理装置４等に出力する装置であってもよい。

図９は、音声処理装置の適用例を示す図である。
図９の（ａ）には、本実施形態に係る音声処理装置１の適用例として、音声入力が可能なヘッドマウントディスプレイ５を示している。ヘッドマウントディスプレイ５は、利用者６の頭部に装着して用いる表示装置であり、利用者６の視線方向に表示部５１０が配設される。表示部５１０は、ヘッドマウントディスプレイ５を利用者６の頭部に固定するための固定部５２０に接続している。表示部５１０と固定部５２０との接続部分は、利用者６の眼球から表示部５１０までの距離や、固定部５２０に対する表示部５１０の角度等を調整可能な構成となっている。

また、ヘッドマウントディスプレイ５には、例えば、利用者６が発話したときの骨導音を収音する第１のマイク２と、気導音を収音する第２のマイク３とが設けられている。第１のマイク２は、例えば、固定部５２０における利用者６の頭部と接する箇所に内蔵されている。第２のマイク３は、固定部５２０から利用者６の口元に向けて伸びるアーム５３０の先端に設けられている。

更に、ヘッドマウントディスプレイ５には、利用者６が自身の耳に装着して使用するイヤフォン等の音声出力部５４０が設けられている。

ヘッドマウントディスプレイ５は、例えば、パーソナルコンピュータやスマートフォン等の情報処理装置４に接続して使用する。情報処理装置４に接続されたヘッドマウントディスプレイ５は、情報処理装置４が出力した映像信号に基づいて表示部５１０に映像を表示するとともに、情報処理装置４が出力した音声信号を音声出力部５４０で音声（気導音）に変換して出力する。

また、ヘッドマウントディスプレイ５は、例えば、第１のマイク２から取得した骨導音信号と第２のマイク３から取得した気導音信号とを合成し、情報処理装置４に出力する。すなわち、ヘッドマウントディスプレイ５は、図９の（ｂ）に示すように、本実施形態に係る音声処理装置１を内蔵している。

図９の（ｂ）には、ヘッドマウントディスプレイ５の機能的構成を示している。機能的構成の観点では、ヘッドマウントディスプレイ５は、表示部５１０と、音声出力部５４０と、入出力部５５０と、表示制御部５６０と、音声処理装置１と、第１のマイク２と、第２のマイク３と、を備える。

音声処理装置１は、上記のように第１のマイク２から取得した骨導音信号と第２のマイク３から取得した気導音信号とを合成した合成音声信号を生成する。

入出力部５５０は、音声処理装置１で生成した合成音声信号を情報処理装置４に出力する。また、入出力部５５０は、情報処理装置４から入力された映像信号を表示制御部５６０に入力し、情報処理装置４から入力された音声信号を音声出力部５４０に入力する。表示制御部５６０は、入力された映像信号を再生して表示部５１０に表示させる。音声出力部５４０は、入力された音声信号を音波として空気中に放射する。なお、音声出力部５４０は、利用者６の頭蓋骨等を利用して音波を伝播させる骨伝導型のものであってもよい。

本実施形態に係る音声処理装置１を適用したヘッドマウントディスプレイ５は、上記の歪み度推定関数Ｆ１に基づいて、骨導音信号と気導音信号とを適切な混合比率で混合した合成音声信号を生成し、情報処理装置４に出力する（送信する）。このため、ヘッドマウントディスプレイ５から情報処理装置４に、気導音信号に含まれる雑音成分による音質の劣化等が少ない音声信号出力することが可能となる。したがって、情報処理装置４において音声入力による処理が可能である場合には、雑音等で音質が劣化することによる入力音声の誤認識を低減させることが可能となる。また、情報処理装置４が携帯電話端末やスマートフォン等の通話可能な装置である場合には、利用者６の通話相手が使用している端末に対して、雑音成分による音質の劣化等が少ない音声信号を送信することが可能となる。よって、本実施形態に係る音声処理装置１をヘッドマウントディスプレイ５に適用することで、ヘッドマウントディスプレイ５を利用した情報処理装置４の操作性を向上させることが可能となる。

なお、本実施形態に係る音声処理装置１は、ヘッドマウントディスプレイ５に限らず、情報処理装置４に設けてもよいことはもちろんである。また、音声処理装置１は、ヘッドマウントディスプレイ５及び情報処理装置４とは別に設けた１個の装置であってもよい。

更に、本実施形態に係る音声処理装置１は、図９に示したヘッドマウントディスプレイ５に限らず、表示部５１０を含まないハンズフリーヘッドセット等にも適用可能である。

［第２の実施形態］
図１０は、第２の実施形態に係る音声処理装置の機能的構成を示す図である。図１１は、第２の実施形態に係る音声処理装置における包絡特性補正部の機能的構成を示す図である。

図１０に示すように、本実施形態に係る音声処理装置１は、音声信号取得部１１０と、音声信号合成部１２０と、音声信号出力部１３０と、記憶部１９０と、を備える。

音声信号取得部１１０は、第１のマイク２で収音した骨導音の音声信号（骨導音信号）と、第２のマイク３で収音した気導音の音声信号（気導音信号）とを取得する。音声信号合成部１２０は、骨導音信号と気導音信号とを所定の混合比で合成した合成音声信号を生成する。音声信号出力部１３０は、音声信号合成部１２０で生成した合成音声信号を情報処理装置４等に出力する。情報処理装置４は、例えば、通話機能或いは音声入力機能を備えた電子機器である。記憶部１９０は、音声信号合成部１２０が参照する各種関数等を記憶する。

音声信号合成部１２０は、分割部１２１と、音声区間判定部１２２と、変換部１２３と、雑音レベル推定部１２４と、雑音抑圧部１２５と、歪み度推定部１２６と、合成信号生成部１２７と、を含む。また、本実施形態に係る音声処理装置１における音声信号合成部１２０は、包絡特性補正部１２８を更に含む。

本実施形態に係る音声信号合成部１２０における分割部１２１、音声区間判定部１２２、変換部１２３、雑音レベル推定部１２４、雑音抑圧部１２５、歪み度推定部１２６、及び合成信号生成部１２７は、それぞれ、第１の実施形態で説明した機能を有する。また、本実施形態に係る音声処理装置１において歪み度推定部１２６が参照する歪み度推定関数は、第１の実施形態で説明したように、ＳＮ比の平均値が大きくなるにつれて歪み度が単調減少し、かつ平均変化率が異なる複数の区間を含む関数とする。なお、本実施形態に係る音声信号合成部１２０における合成信号生成部１２７は、気導音スペクトルと、包絡特性補正部１２８で補正された骨導音スペクトルとを合成する。

包絡特性補正部１２８は、骨導音信号の周波数スペクトルの包絡特性と、気導音信号の周波数スペクトルの包絡特性とに基づいて、骨導音信号の周波数スペクトルを補正する。ここで、包絡特性は、人の声道の特性を反映した、周波数スペクトルのなだらかな変動の特性である。包絡特性補正部１２８は、図１１に示すように、包絡信頼度推定部１２８Ａと、包絡特性抽出部１２８Ｂと、補正係数算出部１２８Ｃと、骨導音スペクトル補正部１２８Ｄと、を含む。

包絡信頼度推定部１２８Ａは、気導音信号における音声区間の周波数スペクトルのＳＮ比と、記憶部１９０に記憶させた包絡信頼度推定関数とに基づいて、処理対象のフレームの周波数スペクトルにおける各帯域の包絡特性の信頼度を推定する。

包絡特性抽出部１２８Ｂは、推定した包絡特性の信頼度に基づいて、骨導音スペクトルの包絡特性と、気導音スペクトルの包絡特性とを抽出する。包絡特性抽出部１２８Ｂは、骨導音スペクトルの全帯域のうちの包絡特性の信頼度が閾値以上である帯域のレベルに基づいて、骨導音スペクトルの包絡特性を抽出する。同様に、包絡特性抽出部１２８Ｂは、気導音スペクトルの全帯域のうちの包絡特性の信頼度が閾値以上である帯域のレベルに基づいて、気導音スペクトルの包絡特性を抽出する。

補正係数算出部１２８Ｃは、骨導音スペクトルの包絡特性と、気導音スペクトルの包絡特性とに基づいて、骨導音スペクトルの各帯域に適用する補正係数を算出する。

骨導音スペクトル補正部１２８Ｄは、補正係数算出部１２８Ｃで算出した補正係数に基づいて、骨導音スペクトルの各帯域のレベルを補正する。

図１２は、周波数スペクトルの包絡特性を説明するグラフ図である。
図１２には、雑音レベルが低い環境下で一人の発話者が発話したときの、気導音信号の周波数パワースペクトルＳＰ１と、骨導音信号の周波数パワースペクトルＳＰ２とを模式的に示している。図１２に示したように、周波数が低い帯域では、気導音スペクトルＳＰ１のパワー値と、骨導音スペクトルＳＰ２のパワー値との差が小さい。しかしながら、骨導音信号は、気導音信号に比べて中音域から高音域の成分が減衰する傾向がある。このため、周波数が高い帯域では、気導音スペクトルＳＰ１のパワー値と、骨導音スペクトルＳＰ２のパワー値との差が大きくなる。したがって、骨導音信号と気導音信号を合成する際に骨導音信号の混合比率が高くなると、生成した合成信号は、中音域から高音域の成分が減衰した音声信号となる。よって、通話時等においては、再生した合成音声を聞く人に対し、中音域から高音域の成分の減衰による違和感を与える可能性がある。これに対し、本実施形態に係る音声処理装置１では、包絡特性補正部１２８により骨導音スペクトルにおける中音域から高音域のレベルを補正し、再生した合成音声を聞く人に違和感を与える可能性を第１の実施形態と比べて更に低減する。包絡特性補正部１２８は、まず、記憶部１９０に記憶させた包絡信頼度推定関数を参照し、処理対象のフレームの周波数スペクトルにおける各帯域の包絡特性の信頼度を推定する。

図１３は、包絡信頼度推定関数の一例を示すグラフ図である。
図１３に示したグラフ図において、横軸は周波数スペクトルにおけるＳＮ比であり、縦軸は包絡信頼度Ｅ＿ｒｅｆである。

図１３に示すように、包絡信頼度推定関数Ｆ５は、ＳＮ比が第５の値ＳＡ５から第６の値ＳＡ６（＞ＳＡ５）までの区間において、ＳＮ比に比例して包絡信頼度Ｅ＿ｒｅｆが最小値０．０から最大値１．０に増加する関数である。また、包絡信頼度推定関数Ｆ５は、ＳＮ比が第６の値ＳＡ６よりも大きい値である場合には、ＳＮ比の値によらず常に包絡信頼度Ｅ＿ｒｅｆ＝１．０とする関数である。更に、包絡信頼度推定関数Ｆ５は、ＳＮ比が第５の値ＳＡ５よりも小さい値である場合には、ＳＮ比の値によらず常に包絡信頼度Ｅ＿ｒｅｆ＝０．０とする関数である。

なお、包絡信頼度推定関数Ｆ５は、関数（数式）として記憶部１９０に記憶させてもよいし、ＳＮ比の値と包絡信頼度Ｅ＿ｒｅｆの値とを対応付けたテーブル等のデータとして記憶部１９０に記憶させてもよい。

本実施形態に係る音声処理装置１は、動作を開始させると、第１のマイク２で収音した骨導音信号と、第２のマイク３で収音した気導音信号とを取得し、取得した骨導音信号及び気導音信号を所定の時間長のフレームに分割していく処理を開始する。骨導音信号及び気導音信号の取得は、音声信号取得部１１０が行う。骨導音信号及び気導音信号をフレームに分割する処理は、音声合成部１２０の分割部１２１が行う。骨導音信号及び気導音信号を取得してフレームに分割する処理を開始した後、音声処理装置１は、分割したフレーム毎に、例えば、図１４Ａ及び図１４Ｂに示した処理を行う。

図１４Ａは、第２の実施形態に係る音声信号の合成処理を説明するフローチャート（その１）である。図１４Ｂは、第２の実施形態に係る音声信号の合成処理を説明するフローチャート（その２）である。

骨導音信号及び気導音信号を取得してフレームに分割する処理を開始した後、音声処理装置１は、まず、処理対象とする骨導音信号のフレームと気導音信号のフレームとの組を選択する（ステップＳ１）。ステップＳ１の処理は、例えば、音声区間判定部１２２が行う。音声区間判定部１２２は、所定の選択規則に従って合成処理の対象とするフレームの組を選択する。

処理対象とするフレームの組を選択した後、音声区間判定部１２２は、続けて、選択したフレームの組が音声区間のフレームであるか否かを判定する（ステップＳ２）。音声区間判定部１２２は、既知の判定方法に従って、選択したフレームが通話や音声入力等における有意な音声成分を含むフレームであるか否かを判定する。

選択したフレームが音声区間のフレームではない場合（ステップＳ２；ＮＯ）、音声処理装置１は、次に、選択したフレームにおける雑音レベルを推定し、該推定結果に基づいて気導音スペクトルの雑音成分を抑圧する（ステップＳ３）。ステップＳ３の処理は、変換部１２３と、雑音レベル推定部１２４と、雑音抑圧部１２５とが行う。ステップＳ３の処理では、まず、変換部１２３が骨導音信号のフレーム及び気導音信号のフレームを時間波形から周波数スペクトルに変換する。次に、雑音レベル推定部１２４が、雑音区間（非音声区間）における気導音信号の周波数スペクトルに基づいて、帯域毎の雑音レベルの推定値を算出する。雑音レベルを推定すると、次に、雑音抑圧部１２５が、雑音レベルの推定結果に基づいて、現在処理対象である気導音スペクトルの雑音成分を抑圧する。

ステップＳ３の処理を終えると、音声処理装置１は、次に、周波数スペクトルの歪み度を１に設定する（ステップＳ４）。ステップＳ４の処理は、歪み度推定部１２６が行う。

一方、選択したフレームが音声区間のフレームである場合（ステップＳ２；ＹＥＳ）、音声処理装置１は、次に、周波数スペクトルの歪み度を推定する（ステップＳ５）。ステップＳ５の処理は、変換部１２３と、歪み度推定部１２６が行う。変換部１２３は、骨導音信号のフレーム及び気導音信号のフレームを時間波形から周波数スペクトルに変換する。次に、歪み度推定部１２６が、処理対象のフレームにおける気導音信号についての周波数パワースペクトルと、処理済みのフレームにおける雑音レベルの推定結果とに基づいて、各帯域のＳＮ比を算出する。例えば、歪み度推定部１２６は、周波数スペクトルにおけるＭ個の帯域（周波数ビン）を変数ｍ（ｍ＝０，１，・・・，Ｍ−１）で識別し、各帯域のＳＮ比ＳＮＲ（ｍ）を上記の式（１）により算出する。

式（１）により各帯域ｍのＳＮ比ＳＮＲ（ｍ）を算出した後、歪み度推定部１２６は、処理対象の周波数パワースペクトルについてのＳＮ比の平均値ＳＮＲ＿ａｖｅを、上記の式（２）により算出する。

その後、歪み度推定部１２６は、算出したＳＮ比の平均値ＳＮＲ＿ａｖｅと、記憶部１９０に記憶させた歪み度推定関数（例えば、図２の歪み度推定関数Ｆ１）とに基づいて、処理対象のフレームにおける気導音スペクトルの歪み度Ｅ＿ｅｒｒｏｒを算出する。なお、歪み度推定関数は、図７に示した複数の一次関数を含む歪み度推定関数Ｆ２や、図８の（ｃ）に示した雑音の非定常性を考慮した歪み度推定関数Ｆ３であってもよい。

ステップＳ５の処理を終えると、音声処理装置１は、次に、周波数スペクトルの各帯域の包絡信頼度を算出する（ステップＳ１０）。ステップＳ１０の処理は、包絡特性補正部１２８の包絡信頼度推定部１２８Ａが行う。包絡信頼度推定部１２８Ａは、気導音信号における処理対象のフレームの周波数パワースペクトル（気導音パワースペクトル）と、処理済みのフレームにおける雑音レベルの推定結果とに基づいて、各帯域のＳＮ比を算出する。例えば、包絡信頼度推定部１２８Ａは、気導音パワースペクトルにおける各帯域ｍのＳＮ比ＳＮＲ（ｍ）を式（１）により算出する。なお、包絡信頼度推定部１２８Ａは、式（１）によりＳＮ比ＳＮＲ（ｍ）を算出する代わりに、ステップＳ５の処理において算出したＳＮ比ＳＮＲ（ｍ）を歪み度推定部１２６から取得してもよい。

各帯域ｍのＳＮ比ＳＮＲ（ｍ）を算出した後、包絡信頼度推定部１２８Ａは、帯域ｍ毎に、ＳＮ比ＳＮＲ（ｍ）と、包絡信頼度推定関数Ｆ５とに基づいて、包絡信頼度Ｅ＿ｒｅｆ（ｍ）を算出する（推定する）。

ステップＳ１０の処理を終えると、音声処理装置１は、次に、処理済みのフレームにおける雑音レベルの推定結果に基づいて、気導音スペクトルの雑音成分を抑圧する（ステップＳ６）。ステップＳ６の処理は、雑音抑圧部１２５が行う。ステップＳ６の処理を行う場合、雑音抑圧部１２５は、記憶部１９０を参照して処理済みのフレームにおける雑音レベルの推定結果を取得し、当該雑音レベルの推定結果に基づいて、現在処理対象である気導音スペクトルの雑音成分を抑圧する。

ステップＳ３，Ｓ４の処理、及びステップＳ５，Ｓ１０，Ｓ６の処理のいずれかを終えると、音声処理装置１は、次に、図１４Ｂに示すように、包絡信頼度に基づいて気導音スペクトル及び骨導音スペクトルの包絡特性を抽出する（ステップＳ１１）。ステップＳ１１の処理は、包絡特性補正部１２８の包絡特性抽出部１２８Ｂが行う。包絡特性抽出部１２８Ｂは、まず、気導音信号についての周波数パワースペクトル（気導音パワースペクトル）から各帯域ｍの包絡特性ＳＳ１（ｍ）を抽出する。この際、包絡特性抽出部１２８Ｂは、気導音パワースペクトルの全帯域のうちの包絡信頼度の推定値Ｅ＿ｒｅｆ（ｍ）が閾値よりも大きい帯域のパワー値のみを用いて、包絡特性ＳＳ１（ｍ）を抽出する。包絡特性抽出部１２８Ｂは、既知の抽出方法に従って、包絡特性ＳＳ１（ｍ）を抽出する。例えば、包絡特性抽出部１２８Ｂは、周波数方向にローパスフィルタをかけて周波数パワースペクトルの微細構造を除去するローパスフィルタ処理により、包絡特性ＳＳ１（ｍ）を抽出する。また、包絡特性抽出部１２８Ｂは、例えば、周波数方向のサブバンド毎の平均パワーで周波数パワースペクトルを平準化して包絡特性ＳＳ１（ｍ）を抽出してもよい。

同様に、包絡特性抽出部１２８Ｂは、骨導音信号についての周波数パワースペクトル（骨導音パワースペクトル）から各帯域ｍの包絡特性ＳＳ２（ｍ）を抽出する。包絡特性抽出部１２８Ｂは、骨導音パワースペクトルの全帯域のうちの包絡信頼度の推定値Ｅ＿ｒｅｆ（ｍ）が閾値よりも大きい帯域のパワー値のみを用い、包絡特性ＳＳ１（ｍ）と同じ抽出方法により、包絡特性ＳＳ２（ｍ）を抽出する。

ステップＳ１１の処理を終えると、音声処理装置１は、次に、抽出した包絡特性に基づいて補正係数を算出する（ステップＳ１２）。ステップＳ１２の処理は、包絡特性補正部１２８の補正係数算出部１２８Ｃが行う。補正係数算出部１２８Ｃは、下記式（５）により、各帯域ｍの補正係数ａｄｊ（ｍ）を算出する。

adj(m)＝SS1(m)／SS2(m) ・・・(5)

次に、音声処理装置１は、算出した補正係数を適用して骨導音スペクトルを補正する（ステップＳ１３）。ステップＳ１３の処理は、包絡特性補正部１２８の骨導音スペクトル補正部１２８Ｄが行う。骨導音スペクトル補正部１２８Ｄは、下記式（６）により、骨導音パワースペクトルにおける各帯域ｍのパワー値ＦＳＰＥＣ（ｍ）を、補正パワー値ＦＳＰＥＣ＿ｍｏｄ（ｍ）に補正する。

FSpec_mod(m)＝adj(m)×FSPEC(m) ・・・(6)

次に、音声処理装置１は、推定した歪み度に基づく混合比で骨導音スペクトルと気導音スペクトルとを混合し、得られた周波数スペクトルを時間波形に変換する（ステップＳ７）。ステップＳ７の処理は、合成信号生成部１２７が行う。合成信号生成部１２７は、まず、周波数スペクトルにおける帯域毎の合成レベルＦＳ＿ｏｕｔ（ｍ）を上記の式（３）により算出する。なお、処理対象のフレームが音声区間のフレームである場合、合成信号生成部１２７は、ＳＮ比の平均値ＳＮＲ＿ａｖｅと、歪み度推定関数Ｆ１（図２を参照）とに基づいて算出した歪み度Ｅ＿ｅｒｒｏｒを用いて、各帯域の合成レベルＦＳ＿ｏｕｔ（ｍ）を算出する。一方、処理対象のフレームが音声区間のフレームではない場合、合成信号生成部１２７は、歪み度Ｅ＿ｅｒｒｏｒを「１」として、各帯域の合成レベルＦＳ＿ｏｕｔ（ｍ）を算出する。

式（３）により各帯域ｍ（ｍ＝０，１，・・・Ｍ−１）の合成レベルＦＳ＿ｏｕｔ（ｍ）を算出した後、合成信号生成部１２７は、合成レベルＦＳ＿ｏｕｔ（ｍ）により表される周波数スペクトルを時間波形に変換する。合成信号生成部１２７が生成した時間波形（合成音声信号）を音声信号出力部１３０に渡すと、音声処理装置１（音声信号合成部１２０）は、選択したフレームに対する音声信号の合成処理を終了する。

なお、音声処理装置１は、図１４Ａ及び図１４Ｂに示した処理を一連の処理として逐次実行方式で実行してもよいし、パイプライン化して実行してもよい。

ここで、図１５Ａ及び図１５Ｂを参照し、本実施形態に係る音声信号の合成処理における骨導音信号の周波数スペクトルの補正方法を具体的に説明する。

図１５Ａは、骨導音信号の周波数スペクトルの補正方法を説明するグラフ図（その１）である。図１５Ｂは、骨導音信号の周波数スペクトルの補正方法を説明するグラフ図（その２）である。

図１５Ａの（ａ）のグラフ図には、気導音信号の周波数パワースペクトルＳＰ１と、該周波数パワースペクトルの包絡特性ＳＳ１との例を示している。包絡特性ＳＳ１は、上記のように、周波数パワースペクトルＳＰ１における全帯域のうちの、包絡信頼度の推定値Ｅ＿ｒｅｆ（ｍ）が閾値よりも大きい帯域ｍのパワー値のみを用いて抽出している。

一方、図１５Ａの（ｂ）のグラフ図には、気導音信号と同時に収音した骨導音信号の周波数パワースペクトルＳＰ２と、該周波数パワースペクトルの包絡特性ＳＳ２との例を示している。包絡特性ＳＳ２は、上記のように、周波数パワースペクトルＳＰ２における全帯域のうちの、包絡信頼度の推定値Ｅ＿ｒｅｆ（ｍ）が閾値よりも大きい帯域のパワー値のみを用いて抽出している。また、図１５Ａの（ｂ）のグラフ図には、気導音信号の周波数パワースペクトルＳＰ１から抽出した包絡特性ＳＳ１を太い点線で示している。気導音スペクトルＳＰ１の包絡特性ＳＳ１と、骨導音スペクトルＳＰ２の包絡特性ＳＳ２とを比較すると、中音域から高音域において、骨導音スペクトルＳＰ２の包絡特性ＳＳ２が気導音スペクトルＳＰ１の包絡特性ＳＳ１よりも小さくなっている。このため、音声区間の骨導音信号と気導音信号を合成する際に骨導音信号の合成比率が高くなると、合成音声信号は、高音域のレベルが低い音声信号となり、気導音を聞きなれている人（骨導音を聞きなれていない人）に違和感を与える可能性がある。よって、本実施形態では、骨導音スペクトルＳＰ２の包絡特性ＳＳ２を気導音スペクトルＳＰ１の包絡特性ＳＰ１に近づける補正を行う。

図１５Ｂの（ｃ）のグラフ図には、補正係数ａｄｊ（ｍ）の算出方法を模式的に示している。補正係数ａｄｊ（ｍ）は、上記の式（６）により算出する。このため、周波数が第１の周波数Ｆ１以下である帯域のように、気導音スペクトルＳＰ１の包絡特性ＳＳ１と、骨導音スペクトルＳＰ２の包絡特性ＳＳ２との差が非常に小さい場合、補正係数ａｄｊ（ｍ）はほぼ１となる。

また、気導音スペクトルＳＰ１の包絡特性ＳＳ１と、骨導音スペクトルＳＰ２の包絡特性ＳＳ２との差が大きいほど、式（６）により算出される補正係数ａｄｊ（ｍ）は大きくなる。このため、図１５Ｂの（ｃ）のグラフ図における第３の周波数Ｆ３を含む帯域ｍ３に対する補正係数ａｄｊ（ｍ３）は、第２の周波数Ｆ２を含む帯域ｍ２に対する補正係数ａｄｊ（ｍ２）よりも大きな値となる。同様に、第４の周波数Ｆ４を含む帯域ｍ４に対する補正係数ａｄｊ（ｍ４）は、第３の周波数Ｆ３を含む帯域ｍ３に対する補正係数ａｄｊ（ｍ３）よりも大きな値となる。

式（６）により算出した各帯域ｍに対する補正係数ａｄｊ（ｍ）を用いて骨導音スペクトルＳＰ２の各帯域のパワー値を補正すると、骨導音スペクトルＳＰ２は、図１５Ｂの（ｄ）に示したグラフ図のように補正される。図１５Ｂの（ｄ）のグラフ図では、点線で示したスペクトル波形が補正前の骨導音スペクトルＳＰ２であり、実線で示したスペクトル波形が補正後の骨導音スペクトルである。補正後の骨導音スペクトルは、周波数が第２の周波数Ｆ２よりも大きい区間におけるパワー値が顕著に増加しており、包絡特性が図１５Ｂの（ｃ）に示した気導音スペクトルＳＰ１の包絡特性ＳＳ１に近づいている。よって、骨導音信号と気導音信号とを合成する際に骨導音信号の合成比率が多い場合でも、中音域から高音域の成分の減衰等による違和感を抑制することが可能となる。また、骨導音信号は気導音信号と比べて雑音レベルが低いので、骨導音信号における中音域から高音域の成分を増幅させても、合成音声信号の雑音レベルが顕著に増大することはない。更に、本実施形態では、処理対象のフレームにおける包絡信頼度が高い帯域のＳＮ比のみに基づいて包絡特性を抽出している。このため、本実施形態に係る骨導音スペクトルの補正処理では、処理対象のフレームにおける雑音レベルに応じて骨導音スペクトルの包絡特性を適切に補正することが可能となる。したがって、本実施形態によれば、骨導音信号の混合比率が高い場合に中音域から高音域の成分が減衰し、合成音声信号を聞いた人に篭り等の違和感を与える可能性を低減することが可能となる。よって、本実施形態によれば、気導音信号と骨導音信号とを合成した音声信号の音質を向上させることが可能となる。

なお、本実施形態に係る音声合成処理に用いる歪み度推定関数は、図２に示した歪み度推定関数Ｆ１に限らず、図７に示した歪み度推定関数Ｆ２や、図８の（ｃ）に示した歪み度推定関数Ｆ３等であってもよい。更に、歪み度推定関数は、上記の歪み度推定関数Ｆ１，Ｆ２，Ｆ３に限らず、ＳＮ比等の客観的な音質の評価と、主観音声スコア等の主観的な音質の評価との関係を考慮した（反映した）関数であればよい。

また、図１４Ａ及び図１４Ｂのフローチャートは、本実施形態に係る音声信号の合成処理の一例に過ぎない。本実施形態に係る音声信号の合成処理は、本実施形態の要旨を逸脱しない範囲において、適宜変更可能である。ステップＳ２において処理対象のフレームが音声区間であるか否かを判定する際には、上記の方法とは異なる方法で骨導音信号における音声区間を検出し、処理対象のフレームが音声区間であるか否かを判定してもよい。また、処理対象のフレームが非音声区間である場合に行う、雑音レベルを推定して雑音成分を抑圧する処理（ステップＳ３）と、歪み度（の推定値）を１に設定する処理（ステップＳ４）とは、順序が逆であってもよいし、並列に行ってもよい。同様に、処理対象のフレームが音声区間である場合に行う、歪み度（の推定値）を算出する処理（ステップＳ５）と、包絡信頼度の推定値を算出する処理（ステップＳ１０）と、雑音成分を抑圧する処理（ステップＳ６）とは、順序を変えてもよいし、並列に行ってもよい。更に、本実施形態に係る音声信号の合成処理は、骨導音スペクトルと気導音スペクトルとを合成した後、合成した周波数スペクトルを合成音声信号として情報処理装置４等に出力する装置であってもよい。

また、本実施形態に係る音声処理装置１は、例えば、図９に示した音声入力が可能なヘッドマウントディスプレイ５や、表示部５１０を含まないハンズフリーヘッドセット等に適用可能である。

加えて、上記の各実施形態に係る音声処理装置１は、それ自体を、コンピュータと、当該コンピュータに実行させるプログラムとにより実現可能である。以下、図１６を参照して、コンピュータとプログラムとにより実現される音声処理装置１について説明する。

図１６は、コンピュータのハードウェア構成を示す図である。
図１６に示すように、コンピュータ９は、プロセッサ９０１と、主記憶装置９０２と、補助記憶装置９０３と、入力装置９０４と、出力装置９０５と、入出力インタフェース９０６と、通信制御装置９０７と、媒体駆動装置９０８と、を備える。コンピュータ９におけるこれらの要素９０１〜９０８は、バス９１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

プロセッサ９０１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ９０１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ９の全体の動作を制御する。また、プロセッサ９０１は、例えば、図３に示した音声信号の合成処理、或いは図１４Ａ及び図１４Ｂに示した音声信号の合成処理を含む音声処理プログラムを実行する。

主記憶装置９０２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置９０２のＲＯＭには、例えば、コンピュータ９の起動時にプロセッサ９０１が読み出す所定の基本制御プログラム等が予め記録されている。一方、主記憶装置９０２のＲＡＭは、プロセッサ９０１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置９０２のＲＡＭは、例えば、図１或いは図１０に示した音声処理装置１における記憶部１９０として利用可能である。すなわち、主記憶装置９０２のＲＡＭは、雑音の抑圧に用いる抑圧係数、歪み度推定関数、包絡信頼度推定関数等の記憶や、骨導音信号、骨導音スペクトル、気導音信号、及び気導音スペクトルの記憶に利用可能である。

補助記憶装置９０３は、主記憶装置９０２のＲＡＭと比べて容量の大きい記憶装置であり、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリのような不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等である。補助記憶装置９０３は、プロセッサ９０１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置９０３は、例えば、図３に示した音声信号の合成処理、或いは図１４Ａ及び図１４Ｂに示した音声信号の合成処理を含む音声処理プログラム等の記憶に利用可能である。また、補助記憶装置９０３は、例えば、図１或いは図１０に示した音声処理装置１における記憶部１９０として利用可能である。すなわち、補助記憶装置９０３は、雑音の抑圧に用いる抑圧係数、歪み度推定関数、包絡信頼度推定関数等の記憶や、骨導音信号、骨導音スペクトル、気導音信号、及び気導音スペクトルの記憶に利用可能である。

入力装置９０４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ９のオペレータ（利用者）が入力装置９０４に対して所定の操作を行うと、入力装置９０４は、その操作内容に対応付けられている入力情報をプロセッサ９０１に送信する。入力装置９０４は、例えば、音声信号の合成処理を開始させる命令、コンピュータ９が実行可能な他の処理に関する命令等の入力や、各種設定値の入力等に利用可能である。

出力装置９０５は、例えば、液晶表示装置等の表示装置やレシーバ等の音声出力装置である。

入出力インタフェース９０６は、コンピュータ９と、他の電子機器とを接続する。入出力インタフェース９０６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース９０６は、例えば、コンピュータ９と第１のマイク２との接続、並びにコンピュータ９と第２のマイク３との接続等に利用可能である。また、入出力インタフェース９０６は、例えば、コンピュータ９と、図１等に示した情報処理装置４との接続にも利用可能である。

通信制御装置９０７は、コンピュータ９をインターネット等のネットワークに接続し、ネットワークを介したコンピュータ９と他の通信機器との各種通信を制御する装置である。通信制御装置９０７は、例えば、コンピュータ９と、携帯電話端末等の通話可能な電子機器との音声通信等に利用可能である。

媒体駆動装置９０８は、可搬型記憶媒体１０に記録されているプログラムやデータの読み出し、補助記憶装置９０３に記憶されたデータ等の可搬型記憶媒体１０への書き込みを行う。媒体駆動装置９０８には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置９０８としてメモリカード用リーダ／ライタを用いる場合、可搬型記憶媒体１０としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体１０としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ９が媒体駆動装置９０８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体１０として利用可能である。可搬型記録媒体１０として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等がある。可搬型記録媒体１０は、図３に示した音声信号の合成処理、或いは図１４Ａ及び図１４Ｂに示した音声信号の合成処理を含む音声処理プログラム等の記憶に利用可能である。また、可搬型記録媒体１０は、例えば、図１或いは図１０に示した音声処理装置１における記憶部１９０として利用可能である。すなわち、可搬型記録媒体１０は、雑音の抑圧に用いる抑圧係数、歪み度推定関数、包絡信頼度推定関数等の記憶や、骨導音信号、骨導音スペクトル、気導音信号、及び気導音スペクトルの記憶に利用可能である。

オペレータが入力装置９０４等を利用して音声信号の合成処理を開始する命令をコンピュータ９に入力すると、プロセッサ９０１が、補助記憶装置９０３等の非一時的な記録媒体に記憶させた音声処理プログラムを読み出して実行する。この処理において、プロセッサ９０１は、図１又は図１０の音声処理装置１における音声信号合成部１２０として機能する（動作する）。また、プロセッサ９０１は、入出力インタフェース９０６を介して第１のマイク２から骨導音信号を取得するとともに、第２のマイク３から気導音信号を取得する。また、プロセッサ９０１は、例えば、合成した音声信号に基づく音声認識処理を行ってもよいし、合成した音声信号を入出力インタフェース９０６、或いは通信制御装置９０７を介して情報処理装置４等の外部装置に出力してもよい。プロセッサ９０１がこれらの処理を行っている間、主記憶装置９０２のＲＡＭや補助記憶装置９０３等は、図１又は図１０の音声処理装置１における記憶部１９０として機能する。

なお、音声処理装置１として動作させるコンピュータ９は、図１６に示した全ての要素９０１〜９０８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ９は、通信制御装置９０７や媒体駆動装置９０８が省略されたものであってもよい。

以上記載した各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
骨導音マイクで収音した骨導音信号と、気導音マイクで収音した気導音信号とを取得する音声信号取得部と、
前記気導音信号における雑音成分とは異なる所定の音声成分を含む音声区間の信号対雑音比を取得し、前記信号対雑音比と、前記音声信号の歪み度との関係を規定した歪み度推定関数に基づいて、前記気導音信号における前記音声区間の歪み度を推定する歪み度推定部と、
前記気導音信号の前記音声区間と、前記骨導音信号における前記気導音信号の前記音声区間と対応する音声区間とを、前記歪み度推定部で推定した前記歪み度に基づく混合比で合成した合成音声信号を生成する合成信号生成部と、
を備え、
前記歪み度推定部は、前記信号対雑音比が大きくなるにつれて前記歪み度の値が単調に変化する歪み度変化区間を含み、かつ前記歪み度変化区間内の前記信号対雑音比の最小値及び最大値を含まない区間における前記信号対雑音比に対する前記歪み度の平均変化率の絶対値が、前記信号対雑音比の最小値又は最大値を含む区間における前記平均変化率の絶対値よりも大きい前記歪み度推定関数に基づいて、前記歪み度を推定する、
ことを特徴とする音声処理装置。
（付記２）
前記歪み度推定部は、前記気導音信号についての周波数スペクトルにおける全帯域の信号対雑音比から信号対雑音比の平均値を算出し、当該信号対雑音比の平均値を前記歪み度推定関数に基づいて前記歪み度を推定する際の前記信号対雑音比とする、
ことを特徴とする付記１に記載の音声処理装置。
（付記３）
前記歪み度推定関数の前記歪み度変化区間は、前記信号対雑音比が大きくなるにつれて前記歪み度の値が単調減少する区間であり、
前記合成信号生成部は、前記歪み度の最大値を１とし、前記歪み度の最小値を０としたときの推定した前記歪み度の値を前記骨導音信号の混合比率として前記合成音声信号を生成する、
ことを特徴とする付記１に記載の音声処理装置。
（付記４）
前記歪み度推定関数は、前記歪み度減少区間内に変曲点が存在し、かつ前記歪み度減少区間のうちの前記信号対雑音比が前記変曲点における信号対雑音比よりも小さい区間では、前記信号対雑音比が大きくなるにつれて微分係数の絶対値が大きくなり、前記歪み度減少区間のうちの前記信号対雑音比が前記変曲点における信号対雑音比よりも大きい区間では、前記信号対雑音比が大きくなるにつれて微分係数の絶対値が小さくなる三次関数である、
ことを特徴とする付記３に記載の音声処理装置。
（付記５）
前記歪み度推定関数は、前記歪み度減少区間内に一次関数で規定される複数の区間を含み、前記歪み度減少区間における信号対雑音比の最小値を含む第１の区間と、前記歪み度減少区間における信号対雑音比の最大値を含む第３の区間との間となる第２の区間における前記一次関数の微分係数が、前記第１の区間における前記一次関数の微分係数及び前記第３の区間における前記一次関数の微分係数よりも小さい関数である、
ことを特徴とする付記３に記載の音声処理装置。
（付記６）
前記音声処理装置は、
前記気導音信号の周波数スペクトルにおける包絡特性と、前記骨導音信号の周波数スペクトルにおける包絡特性とに基づいて、前記骨導音信号の周波数スペクトルを補正する包絡特性補正部、を更に備え、
前記合成信号生成部は、前記気導音信号の周波数スペクトルと、補正した前記骨導音信号の周波数スペクトルとを前記歪み度に基づく混合比で合成した合成音声信号を生成する、
ことを特徴とする付記１に記載の音声処理装置。
（付記７）
前記包絡特性補正部は、
前記気導音信号の周波数スペクトルの全帯域のうちの、信号対雑音比と、包絡信頼度との関係を規定した包絡信頼度推定関数に基づいて推定した包絡信頼度が所定の閾値以上である帯域のレベルに基づいて、前記気導音信号の周波数スペクトルにおける包絡特性を抽出するとともに、前記骨導音信号の周波数スペクトルの全帯域のうちの、前記包絡信頼度推定関数に基づいて推定した包絡信頼度が所定の閾値以上である帯域のレベルに基づいて、前記骨導音信号の周波数スペクトルにおける包絡特性を抽出する包絡特性抽出部を含む、
ことを特徴とする付記６に記載の音声処理装置。
（付記８）
前記包絡特性補正部は、
前記骨導音信号の周波数スペクトルの帯域毎に、前記気導音信号の周波数スペクトルにおける包絡特性のレベルを前記骨導音信号の周波数スペクトルにおける包絡特性のレベルで除した補正係数を算出する補正係数算出部と、
算出した前記補正係数に基づいて、前記骨導音信号の周波数スペクトルの各帯域のレベルを補正する骨導音スペクトル補正部と、を含む、
ことを特徴とする付記６に記載の音声処理装置。
（付記９）
前記音声処理装置は、
前記気導音信号における前記音声成分を含まない非音声区間における雑音レベルを推定する雑音レベル推定部と、
推定した前記雑音レベルに基づいて前記気導音信号に含まれる雑音成分を抑圧する雑音抑圧部と、を更に備え、
前記合成信号生成部は、前記雑音成分を抑圧した前記気導音信号と、前記骨導音信号とを合成した合成音声信号を生成する、
ことを特徴とする付記１に記載の音声処理装置。
（付記１０）
骨導音マイクで収音した骨導音信号と、気導音マイクで収音した気導音信号とを取得し、
前記気導音信号における雑音成分とは異なる所定の音声成分を含む音声区間の信号対雑音比を算出し、
前記気導音マイクで収音した音声信号における前記信号対雑音比と、前記音声信号の歪み度との関係を規定する関数であって、前記信号対雑音比が大きくなるにつれて前記歪み度の値が単調に変化する歪み度変化区間を含み、かつ前記歪み度変化区間内の前記信号対雑音比の最小値及び最大値を含まない区間における前記信号対雑音比に対する前記歪み度の平均変化率の絶対値が、前記信号対雑音比の最小値又は最大値を含む区間における前記平均変化率の絶対値よりも大きい歪み度推定関数に基づいて、取得した前記気導音信号における前記音声区間の歪み度を推定し、
前記気導音信号の前記音声区間と、前記骨導音信号における前記気導音信号の前記音声区間と対応する音声区間とを、推定した前記歪み度に基づく混合比で合成した合成音声信号を生成する、
処理をコンピュータに実行させる音声処理プログラム。
（付記１１）
前記合成音声信号を生成する前に、前記コンピュータが、前記気導音信号の周波数スペクトルにおける包絡特性と、前記骨導音信号の周波数スペクトルにおける包絡特性とに基づいて、前記骨導音信号の周波数スペクトルを補正する処理を、更に含み、
前記合成音声信号を生成する処理は、前記気導音信号の周波数スペクトルと、補正した前記骨導音信号の周波数スペクトルとを前記歪み度に基づく混合比で合成した合成音声信号を生成する処理である、
ことを特徴とする付記１０に記載の音声処理プログラム。
（付記１２）
前記合成音声信号を生成する前に、前記コンピュータが、前記気導音信号に含まれる雑音成分を抑圧する処理、を更に含み、
前記合成音声信号を生成する処理は、前記雑音成分を抑圧した前記気導音信号の周波数スペクトルと、前記骨導音信号の周波数スペクトルとを合成する、
ことを特徴とする付記１０に記載の音声処理プログラム。

１ 音声処理装置
１１０ 音声信号取得部
１２０ 音声信号合成部
１２１ 分割部
１２２ 音声区間判定部
１２３ 変換部
１２４ 雑音レベル推定部
１２５ 雑音抑圧部
１２６ 歪み度推定部
１２７ 合成信号生成部
１２８ 包絡特性補正部
１２８Ａ 包絡信頼度推定部
１２８Ｂ 包絡特性抽出部
１２８Ｃ 補正係数算出部
１２８Ｄ 骨導音スペクトル補正部
１３０ 音声信号出力部
１９０ 記憶部
２ 第１のマイク
３ 第２のマイク
４ 情報処理装置
５ ヘッドマウントディスプレイ
５１０ 表示部
５２０ 固定部
５３０ アーム
５４０ 音声出力部
５５０ 入出力部
５６０ 表示制御部
９ コンピュータ
９０１ プロセッサ
９０２ 主記憶装置
９０３ 補助記憶装置
９０４ 入力装置
９０５ 出力装置
９０６ 入出力インタフェース
９０７ 通信制御装置
９０８ 媒体駆動装置
１０ 可搬型記録媒体

Claims (9)

1. 骨導音マイクで収音した骨導音信号と、気導音マイクで収音した気導音信号とを取得する音声信号取得部と、
   前記気導音信号における雑音成分とは異なる所定の音声成分を含む音声区間の信号対雑音比を取得し、前記信号対雑音比と、前記音声信号の歪み度との関係を規定した歪み度推定関数に基づいて、前記気導音信号における前記音声区間の歪み度を推定する歪み度推定部と、
   前記気導音信号の前記音声区間と、前記骨導音信号における前記気導音信号の前記音声区間と対応する音声区間とを、前記歪み度推定部で推定した前記歪み度に基づく混合比で合成した合成音声信号を生成する合成信号生成部と、
   を備え、
   前記歪み度推定部は、前記信号対雑音比が大きくなるにつれて前記歪み度の値が単調に変化する歪み度変化区間を含み、かつ前記歪み度変化区間内の前記信号対雑音比の最小値及び最大値を含まない区間における前記信号対雑音比に対する前記歪み度の平均変化率の絶対値が、前記信号対雑音比の最小値を含む区間における前記平均変化率の絶対値、及び前記信号対雑音比の最大値を含む区間における前記平均変化率の絶対値よりも大きい前記歪み度推定関数に基づいて、前記歪み度を推定する、
   ことを特徴とする音声処理装置。
2. 前記歪み度推定部は、前記気導音信号についての周波数スペクトルにおける全帯域の信号対雑音比から信号対雑音比の平均値を算出し、当該信号対雑音比の平均値を前記歪み度推定関数に基づいて前記歪み度を推定する際の前記信号対雑音比とする、
   ことを特徴とする請求項１に記載の音声処理装置。
3. 前記歪み度推定関数の前記歪み度変化区間は、前記信号対雑音比が大きくなるにつれて前記歪み度の値が単調減少する区間であり、
   前記合成信号生成部は、前記歪み度の最大値を１とし、前記歪み度の最小値を０としたときの推定した前記歪み度の値を前記骨導音信号の混合比率として前記合成音声信号を生成する、
   ことを特徴とする請求項１に記載の音声処理装置。
4. 前記歪み度推定関数は、前記歪み度変化区間内に変曲点が存在し、かつ前記歪み度変化区間のうちの前記信号対雑音比が前記変曲点における信号対雑音比よりも小さい区間では、前記信号対雑音比が大きくなるにつれて微分係数の絶対値が大きくなり、前記歪み度変化区間のうちの前記信号対雑音比が前記変曲点における信号対雑音比よりも大きい区間では、前記信号対雑音比が大きくなるにつれて微分係数の絶対値が小さくなる三次関数である、
   ことを特徴とする請求項３に記載の音声処理装置。
5. 前記歪み度推定関数は、前記歪み度変化区間内に一次関数で規定される複数の区間を含み、前記歪み度変化区間における信号対雑音比の最小値を含む第１の区間と、前記歪み度変化区間における信号対雑音比の最大値を含む第３の区間との間となる第２の区間における前記一次関数の微分係数が、前記第１の区間における前記一次関数の微分係数及び前記第３の区間における前記一次関数の微分係数よりも小さい関数である、
   ことを特徴とする請求項３に記載の音声処理装置。
6. 前記音声処理装置は、
   前記気導音信号の周波数スペクトルにおける包絡特性と、前記骨導音信号の周波数スペクトルにおける包絡特性とに基づいて、前記骨導音信号の周波数スペクトルを補正する包絡特性補正部、を更に備え、
   前記合成信号生成部は、前記気導音信号の周波数スペクトルと、補正した前記骨導音信号の周波数スペクトルとを前記歪み度に基づく混合比で合成した合成音声信号を生成する、
   ことを特徴とする請求項１に記載の音声処理装置。
7. 前記音声処理装置は、
   前記気導音信号における前記音声成分を含まない非音声区間における雑音レベルを推定する雑音レベル推定部と、
   推定した前記雑音レベルに基づいて前記気導音信号に含まれる雑音成分を抑圧する雑音抑圧部と、を更に備え、
   前記合成信号生成部は、前記雑音成分を抑圧した前記気導音信号と、前記骨導音信号とを合成した合成音声信号を生成する、
   ことを特徴とする請求項１に記載の音声処理装置。
8. 骨導音マイクで収音した骨導音信号と、気導音マイクで収音した気導音信号とを取得し、
   前記気導音信号における雑音成分とは異なる所定の音声成分を含む音声区間の信号対雑音比を算出し、
   前記気導音マイクで収音した音声信号における前記信号対雑音比と、前記音声信号の歪み度との関係を規定する関数であって、前記信号対雑音比が大きくなるにつれて前記歪み度の値が単調に変化する歪み度変化区間を含み、かつ前記歪み度変化区間内の前記信号対雑音比の最小値及び最大値を含まない区間における前記信号対雑音比に対する前記歪み度の平均変化率の絶対値が、前記信号対雑音比の最小値又は最大値を含む区間における前記平均変化率の絶対値よりも大きい歪み度推定関数に基づいて、取得した前記気導音信号における前記音声区間の歪み度を推定し、
   前記気導音信号の前記音声区間と、前記骨導音信号における前記気導音信号の前記音声区間と対応する音声区間とを、推定した前記歪み度に基づく混合比で合成した合成音声信号を生成する、
   処理をコンピュータに実行させる音声処理プログラム。
9. 前記合成音声信号を生成する前に、前記コンピュータが、前記気導音信号の周波数スペクトルにおける包絡特性と、前記骨導音信号の周波数スペクトルにおける包絡特性とに基づいて、前記骨導音信号の周波数スペクトルを補正する処理を、更に含み、
   前記合成音声信号を生成する処理は、前記気導音信号の周波数スペクトルと、補正した前記骨導音信号の周波数スペクトルとを前記歪み度に基づく混合比で合成した合成音声信号を生成する処理である、
   ことを特徴とする請求項８に記載の音声処理プログラム。