JP2006086877A - ピッチ周波数推定装置、無声信号変換装置、無声信号検出装置、無声信号変換方法 - Google Patents

Abstract

【課題】非可聴つぶやき音（Ｎｏｎ−Ａｕｄｉｂｌｅ Ｍｕｒｍｕｒ；ＮＡＭ）発声から、通常発声した場合の有声音区間及びそのピッチ周波数を推定し、かつ、通常発声からも有声音区間及びそのピッチ周波数を推定する。
【解決手段】声門からの振動音を検出するために、２つのＮＡＭマイクロフォン１００１、１００２を用いる。ＮＡＭマイクロフォン１００１は乳様突起直下の胸鎖乳突筋上の位置に、ＮＡＭマイクロフォン１００２はその３ｃｍ下方の位置に、それぞれ装着する。これら上下２つのＮＡＭマイクロフォンによって、声門からの振動音をそれぞれ検出してサンプリングし、そのパワーを比較することによって音源の相対的高さを推定する。定位の方法はいろいろ考えられるが、例えば一番単純な上下のパワー比を用いることができる。
【選択図】図１

Description

本発明はピッチ周波数推定装置、無声信号変換装置、無声信号検出装置、無声信号変換方法に関し、特に乳様突起直下の皮膚表面から、発声器官の運動に伴う共振フィルタ特性変化により調音された、声帯の規則振動を伴わない、外部からは非可聴な呼吸音の体内軟部組織を伝導する振動音である非可聴つぶやき音（Ｎｏｎ−Ａｕｄｉｂｌｅ Ｍｕｒｍｕｒ；ＮＡＭ）あるいは通常音声などの体内軟部組織を伝導する振動音を採取して音声入力するＮＡＭマイクロフォンを利用したピッチ周波数推定装置、無声信号変換装置、無声信号検出装置、無声信号変換方法に関する。

従来、耳介の下方部の、頭蓋骨の乳様突起直下の、胸鎖乳頭筋上の皮膚表面に装着され、発声器官の運動に伴う共振フィルタ特性変化により調音された、声帯の規則振動を伴わない、外部からは非可聴な呼吸音の体内軟部組織を伝導する振動音である非可聴つぶやき音（ＮＡＭ）を採取して、音声入力するコミュニケーションインタフェースシステムが提案されている（例えば、特許文献１）。

ただし、コミュニケーションに適用し、発話者がＮＡＭ発声を行った場合、声帯の規則振動を伴わない非可聴つぶやき音のため、受話者が発話内容を聞きとりにくいという問題がある。この問題の解決方法の一つとして、発話者のＮＡＭ音声を、できるだけ通常発声に近い音声に変換することが考えられる。
一般的に通常音声は有声音と無声音に分けられる。有声音は、声帯の規則振動により生じる規則波（ピッチ）を、のどから口蓋にかけての発声器官により構成される共振フィルタで変調して生成される。一方無声音は、規則波の代わりに気道の狭めで生ずる乱流雑音を音源とする。ここで、規則波の周期（ピッチ周波数）は声の高低・韻律に影響を与え、ピッチ周波数が高くなると高い声を生成する。また、共振フィルタは、音素に対応して形状を変えて規則波や乱流雑音を共鳴／反共鳴させ、所望の音声を生成する。

ＮＡＭ発声はもともと声帯の規則振動を伴わないため、すべて無声音となる。また、ＮＡＭ発声から従来方式で抽出できるのは、発声器官の共振フィルタ特性情報のみであり、ピッチ周波数を求める際に一般的に使用される自己相関法（例えば、非特許文献１）を適用しても、ピッチ周波数などの韻律情報は抽出できない。つまり、有声音については、自己相関法を適用してピッチ周波数を抽出できるのに対し、無声音については、取り出すべきピッチ情報がもともと含まれていないので抽出できない。
国際公開ＷＯ２００４／０２１７３８号パンフレット 古井貞煕著、「音声情報処理」、森北出版、２００２年３月１５日、Ｐ．２２−２３

従って、ＮＡＭ発声を通常発声に変換するためには、まず、通常発声した場合に有声音となる区間を検出し、この有声音区間において通常発声した場合の韻律情報をなんらかの方法で推定する必要がある。
また、ＮＡＭ発声時に一時的に通常発声が混じることがあるが、その都度、断続的に処理を中断したり、別方式に切り替えたりすると変換音声が不連続となるため、通常発声に対してもＮＡＭ発声と同様に適用できる構成及び方法が望ましい。
本発明の目的は、ＮＡＭ発声から、通常発声した場合の有声音区間及びそのピッチ周波数を推定し、かつ、通常発声からも有声音区間及びそのピッチ周波数の推定が可能なＮＡＭマイクロフォンの構成、及びそれを用いた有声音区間検出方法、及びピッチ周波数推定方法を提供することである。

本発明の請求項１によるピッチ周波数推定装置は、信号の発声された時の声帯位置により、該信号のピッチ周波数を推定するピッチ周波数推定手段と、前記声帯位置を検出するために、該声帯近傍の皮膚表面に装着された少なくとも２つの検出器とを含み、前記ピッチ周波数推定手段は、前記検出器それぞれの検出結果同士の比に基づいて前記信号のピッチ周波数を推定することを特徴とする。検出器の検出結果であるパワー比によって、声門の位置を推定し、喉頭部の位置、及びそれに対応した声のピッチ周波数を推定できる。

本発明の請求項２によるピッチ周波数推定装置は、請求項１において、前記検出器は、声帯の移動範囲の両端それぞれに対応する位置に装着されていることを特徴とする。声帯の移動範囲の上下位置など、その範囲の両端それぞれに対応する位置に検出器を装着することによって、声門の位置を良好に推定し、喉頭部の位置、及びそれに対応した声のピッチ周波数を推定できる。

本発明の請求項３による無声信号変換装置は、無声信号の発声された時の声帯位置により、該無声信号のピッチ周波数を推定するピッチ周波数推定手段と、前記ピッチ周波数推定手段により推定されたピッチ周波数を用いて、前記無声信号を有声信号に変換する変換手段とを含むことを特徴とする。この変換された通常音声を用いれば、携帯電話機などを用いた通話や音声認識処理を良好に行うことができる。

本発明の請求項４による無声信号変換装置は、請求項３において、前記声帯位置を検出するために、該声帯近傍の皮膚表面に装着された少なくとも２つの検出器を更に含み、前記ピッチ周波数推定手段は、前記検出器それぞれの検出結果同士の比に基づいて前記無声信号のピッチ周波数を推定することを特徴とする。検出器の検出結果であるパワー比によって、声門の位置を推定し、喉頭部の位置、及びそれに対応した声のピッチ周波数を推定できる。

本発明の請求項５による無声信号変換装置は、請求項４において、前記検出器は、声帯の移動範囲の両端それぞれに対応する位置に装着されていることを特徴とする。声帯の移動範囲の上下位置など、その範囲の両端それぞれに対応する位置に検出器を装着することによって、声門の位置を良好に推定し、喉頭部の位置、及びそれに対応した声のピッチ周波数を推定できる。

本発明の請求項６による無声信号変換装置は、請求項４又は５において、前記検出器の少なくとも１つは、乳様突起直下の皮膚表面から、発声器官の運動に伴う共振フィルタ特性変化により調音された、声帯の規則振動を伴わない、外部からは非可聴な呼吸音の体内軟部組織を伝導する振動音である非可聴つぶやき音（Ｎｏｎ−Ａｕｄｉｂｌｅ Ｍｕｒｍｕｒ；ＮＡＭ）あるいは通常音声などの体内軟部組織を伝導する振動音を採取して音声入力するＮＡＭマイクロフォンであることを特徴とする。ＮＡＭマイクロフォンを利用することにより、声門の位置を良好に推定し、喉頭部の位置、及びそれに対応した声のピッチ周波数を推定できる。

本発明の請求項７による無声信号検出装置は、信号の発声された時の声帯位置を検出するために、該声帯近傍の皮膚表面の、該声帯の移動範囲の両端それぞれに対応する位置に装着された少なくとも２つのマイクロフォンを含むことを特徴とする。声帯の移動範囲の上下位置など、その範囲の両端それぞれに対応する位置に検出器を装着することによって、声門の位置を良好に推定でき、喉頭部の位置、及びそれに対応した声のピッチ周波数を推定できる。

本発明の請求項８による無声信号検出装置は、請求項７において、前記マイクロフォンは、乳様突起直下の皮膚表面から、発声器官の運動に伴う共振フィルタ特性変化により調音された、声帯の規則振動を伴わない、外部からは非可聴な呼吸音の体内軟部組織を伝導する振動音である非可聴つぶやき音（Ｎｏｎ−Ａｕｄｉｂｌｅ Ｍｕｒｍｕｒ；ＮＡＭ）あるいは通常音声などの体内軟部組織を伝導する振動音を採取して音声入力するＮＡＭマイクロフォンであることを特徴とする。ＮＡＭマイクロフォンを利用することにより、声門の位置を良好に推定し、喉頭部の位置、及びそれに対応した声のピッチ周波数を推定できる。

本発明の請求項９による無声信号変換方法は、無声信号の発声された時の声帯位置により、該無声信号のピッチ周波数を推定するピッチ周波数推定ステップと、前記ピッチ周波数推定ステップにおいて推定されたピッチ周波数を用いて、前記無声信号を有声信号に変換する変換ステップとを含むことを特徴とする。無声信号の発声された時の声帯位置によりピッチ周波数を推定し、この推定されたピッチ周波数を用いて無声信号を有声信号に変換することにより、ＮＡＭ音声を通常音声に変換することができる。この変換された通常音声を用いれば、携帯電話機などを用いた通話や音声認識処理を良好に行うことができる。

本発明によれば、ＮＡＭ発声音から、通常発声した場合と同様なピッチ周波数を推定することができ、この情報を用いてＮＡＭ音声を通常音声に変換することにより、コミュニケーションに適用した場合には、音声品質の改善、音声認識入力に用いた場合には、認識率の改善が期待できる。また、通常発声に対してもＮＡＭ発声と同様にピッチ周波数を推定することができ、同様に音声品質の改善、認識率の改善が期待できる。

以下、本発明の実施の形態を、図面を参照して説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示されている。
まず非可聴つぶやき音（ＮＡＭ）とは、発声器官の運動に伴う共振フィルタ特性変化により調音された、声帯の規則振動を伴わない、外部からは非可聴な呼吸音の体内軟部組織を伝導する振動音である。

（原理）
通常発声時、声の高低に応じて、喉頭部、及び喉頭内部に固定された声門は上下に運動することは一般的に知られている。例えば、医療用超音波イメージング装置のプローブを前頸部正中に縦にあてれば、喉頭部の韻律変化に伴う上下動を観察することができる。
図２（ａ）及び図２（ｂ）は、医療用超音波イメージング装置によって得られる前頸部の超音波イメージ画像である。同図中の左側が喉頭部上部、右側が喉頭部下部である。
同図（ａ）は、個人特有の基本周波数に近い「ド」を発声したときの画像である。同図（ａ）において、甲状軟骨下縁は線Ａの位置である。
一方、同図（ｂ）は、１オクターブ高い「ド」を発声したときの画像である。同図（ｂ）において、甲状軟骨下縁は元の線Ａの位置から線Ｂの位置まで移動していることがわかる。

なお、図３は人間の喉頭部分の構造を示す図であり、同図（ａ）は正面図、同図（ｂ）は背面図である。同図（ａ）及び同図（ｂ）において、甲状軟骨１９１は、舌骨１９２の下方に位置しているが、この甲状軟骨１９１の位置が韻律変化に伴って上下に移動する。
ここで、ド（ｄｏ）、ミ（ｍｉ）、ソ（ｓｏｌ）、ド（ｄｏ）の音程をａの音韻で発声した場合、「あらゆる現実をすべて自分のほうへねじまげたのだ」という文章を通常発声した場合、同じ文章をＮＡＭ発声した場合、の信号波形、ピッチ曲線、超音波イメージ画像が図４に示されている。

同図中の区間（イ）はド（ｄｏ）、ミ（ｍｉ）、ソ（ｓｏｌ）、ド（ｄｏ）の音程を通常発声した場合、同図中の区間（ロ）は上記の文章を通常発声した場合、同図中の区間（ハ）は上記の文章をＮＡＭ発声した場合である。
同図中の区間（イ）、（ハ）及び（ロ）において、画像（３−１）は信号波形、画像（３−２）はピッチ曲線、画像（３−３）は発声時の短時間毎の超音波イメージ画像を適当な水平断線で１ピクセルずつ切り出し時系列マージして作成した画像、である。

画像（３−３）において、丸数字「３」と丸数字「４」との間の白黒境界線は、甲状軟骨下縁の動きを示している。画像（３−３）において、線Ａは個人特有の自然発声時基本周波数の高さに相当し、線Ｂはその１オクターブ上の音に相当する。
画像（３−３）の区間（イ）を参照すると、ド、ミ、ソ、ドの音程の変化に伴い、甲状軟骨下縁が上に動いているのがわかる。また、画像（３−３）の区間（ロ）を参照すると、通常の発話時には甲状軟骨下縁が、線Ａと線Ｂとの間を声の高低に応じて揺れ動いているのがわかる。さらに、画像（３−３）の区間（ハ）を参照すると、ＮＡＭ発声時にも、韻律意図による喉頭部の上下動があるのがわかる。

以上のように発明者は、声帯の規則振動を伴わないＮＡＭ発声においても、通常発声時と同様に、喉頭部、及び声門が上下に運動することを見出した。そこで、声門を上下に挟んだ位置から振動音を検出し、そのパワー比で、声門の位置を推定することにより、喉頭部の位置、及びそれに対応した声のピッチ周波数を推定することを考えた。振動音は、被験者に装着したマイクロフォンによって検出すればよい。このとき、特許文献１に記載されているＮＡＭマイクロフォンを２つ用いることが望ましい。この場合、ＮＡＭマイクロフォンの装着場所である乳様突起直下の胸鎖乳突筋上の位置に加え、胸鎖乳突筋に沿って数ｃｍ下方の位置にもう１つの同じ特性を持つＮＡＭマイクロフォンを装着し、これら２つのＮＡＭマイクロフォンによって振動音を検出すればよい。すなわち、声帯の移動範囲の上下位置など、その範囲の両端それぞれに対応する位置に検出器であるＮＡＭマイクロフォンを装着することによって、声門の位置を良好に推定し、喉頭部の位置、及びそれに対応した声のピッチ周波数を推定できる。

（マイクロフォンの装着方法）
図１は、本発明による信号変換装置に用いる信号検出装置であるＮＡＭアレイマイクロフォンの装着方法の一例を示す図である。同図において、声門からの振動音を検出するために、本例では２つのＮＡＭマイクロフォン１００１、１００２を用いる。ＮＡＭマイクロフォン１００１は乳様突起直下の胸鎖乳突筋上の位置に、ＮＡＭマイクロフォン１００２はその３ｃｍ下方の位置に、それぞれ装着する。

これら上下２つのＮＡＭマイクロフォンによって、声門からの振動音をそれぞれ検出してサンプリングし、そのパワーを比較することによって音源最強点の相対的高さを推定する。定位の方法はいろいろ考えられるが、例えば一番単純な上下のパワー比を用いることができる。アレーアンテナ等で使用されているビームフォーマ法、ＭＵＳＩＣ（Ｍｕｌｔｉｐｌｅ Ｓｉｇｎａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法などを用いてもよい。ビームフォーマ法、ＭＵＳＩＣ法については、菊間信良著、「アレーアンテナによる適応信号処理」、科学技術出版、１９９８年１１月２５日、Ｐ．１７８−１８１、Ｐ．１９４−２０２、にそれぞれ記載されている。
なお、２つのＮＡＭマイクロフォンは、乳様突起直下の胸鎖乳突筋上の位置以外の位置に装着してもよい。すなわち、声帯位置を検出するために、声帯近傍の皮膚表面の、声帯の移動範囲の両端それぞれに対応する位置に装着すればよい。

（ＮＡＭマイクロフォンの構成例）
発明者は、図５に示されているようなＮＡＭマイクロフォンを２つ用意した。ＮＡＭマイクロフォンは、皮膚表面に接触させる接触部ａにソフトシリコーンが用いられている。この接触部ａの裏側をフレームｂが覆い、フレームｂ内には外部雑音防音空間ｃが形成されている。接触部ａの奥にはコンデンサマイクロフォンｅが設けられ、そのリード線ｇがフレームｂの裏面から導出されている。コンデンサマイクロフォンｅは、振動板電極ｆを含んで構成されている。

このように構成された２つのＮＡＭマイクロフォンのうち、１つを上部ＮＡＭマイクロフォン(Ｕ)とし、これを通常装着時と同じ乳様突起直下の耳介後下方部に装着した。そして、もう１つを下部ＮＡＭマイクロフォン(Ｄ)とし、これを胸鎖乳突筋に沿って上部ＮＡＭマイクロフォン(Ｕ)の３ｃｍ下方に装着した。マイクアンプについても同じ特性のものを２つ用意し（図示せず）、サンプリングレート１６ＫＨｚにて同期ステレオ録音を行った。

（収録結果）
まずピッチ周波数を求めるのが容易な通常発声音を、ＮＡＭアレイマイクロフォンで収録した。収録内容は最初にキャリブレーション用として「ａ」の音韻で「ド、ミ、ソ、（1オクターブ上の）ド」を発声し、その後「一週間ばかり、ニューヨークを取材した」という文章を読み上げた。
収録した上部ＮＡＭマイクロフォン（Ｕｐｐｅｒ ＮＡＭ Ｍｉｃｒｏｐｈｏｎｅ（Ｕ））と下部ＮＡＭマイクロフォン（Ｄｏｗｎｅｒ ＮＡＭ Ｍｉｃｒｏｐｈｏｎｅ（Ｄ））からの信号が図６に示されている。同図には、これら２つのマイクロフォンによって得られる、スペクトラム（Ｓｐｅｃｔｒｕｍ）、波形（Ｗａｖｅｆｏｒｍ）、パワー図（Ｐｏｗｅｒ Ｐｌｏｔ）、がそれぞれ示されている。同図の左側がキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）部分、同図の右側が上記文章の読み上げ部分である。

また、図６に示されている２つの信号のパワー比Ｕｐ／Ｄｐのプロットが図７（ｂ）に、上部ＮＡＭマイクロフォン（Ｕ）の通常発声音信号を元に自己相関法で求めたピッチ周波数曲線が図７（ａ）に、それぞれ示されている。なお、図７においては、基本周波数「ド」発声時のパワー比Ｕｐ／Ｄｐ が１、 １オクターブ高い「ド」発声時のパワー比Ｕｐ／Ｄｐ が約１．１となるようにキャリブレーションを行って表示している。

図７を参照すると、無音声部は小さなノイズのためパワー比は極端値をとる。また、「ｓｈ」や「ｋ」などの摩擦性の無声子音は口唇近くで発声するためＮＡＭマイクロフォン（Ｕ）のパワーが相対的に高くなり、図７（ｂ）中の矢印で示されているように特異値をとる。これら極端値と特異値とを除いた区間が有声音部である。この有声音部において、図７（ｂ）のＵｐ／Ｄｐパワー比曲線は、図７（ａ）のピッチ周波数曲線と相関の高い曲線であることがわかる。
ここで、図８（ｂ）は、図７と同じ文章「一週間ばかり、ニューヨークを取材した」をＮＡＭ発声で読み上げた時の、キャリブレーション後のＵｐ／Ｄｐパワー比を散布図形式で示した図である。図８（ａ）は、図７（ａ）のピッチ周波数曲線のうち、文章発声部分を抜き出した図である。

これらの図を参照すると、通常発声の時と同様に、無声子音による特異値や、無音区間や促音による極端値を除いた有声音部において、図８（ｂ）のＵｐ／Ｄｐパワー比は、図８（ａ）のピッチ周波数曲線と相関の高い分布となっていることがわかる。この図８に示されているように、有声音で発声した結果をデータベースとして保存しておき、これをキャリブレーションに用いる。

（有声音／無声音判定及びピッチ周波数推定）
図９は、ＮＡＭアレイマイクロフォンで収録したＮＡＭ発声音声信号からピッチ周波数を推定する手順を示すフローチャートである。まず、準備モードとして、ＮＡＭアレイマイクロフォンを装着して、基本周波数「ド」と１オクターブ高い「ド」の音階のａを通常発声し、自己相関法などによりそれぞれのピッチ周波数Ｐｉｔｃｈ１とＰｉｔｃｈ２とを計算して記憶する（ステップ７０１）。同一ＮＡＭアレイマイクロフォンを使用する場合には、一度基準となるピッチ周波数Ｐｉｔｃｈ１とＰｉｔｃｈ２とを求めて記憶しておけば、以後はステップ７０１を行う必要はない。次に、ＮＡＭアレイマイクロフォンを装着して、ＮＡＭ発声で基本周波数「ド」と１オクターブ高い「ド」の音階のａを発声し、基本周波数「ド」 でＵｐ／Ｄｐパワー比 が「１」、 １オクターブ高い「ド」でＵｐ／Ｄｐパワー比 が「１＋α」となるようにキャリブレーション係数を求める（ステップ７０２）。このステップ７０２はＮＡＭアレイマイクロフォン使用時毎、最初に１回行う。

ステップ７０３以下が、入力モードである。
まず、サンプル毎にパワー比Ｕｐ／Ｄｐを計算し、キャリブレーションを行う（ステップ７０３）。このキャリブレーションは、加算又は乗算によって行われる。
次に、パワー比Ｕｐ／Ｄｐを、有声音判定用の閾値ＴｈＬｏｗ及びＴｈＨｉｇｈによる予め定められた範囲と、比較する（ステップ７０４）。
そして、この比較の結果、ＴｈＬｏｗ≦ Ｕｐ／Ｄｐ≦ＴｈＨｉｇｈの場合、有声音と判定し、ステップ７０１で記憶されたピッチ周波数ＴｈＬｏｗ、ＴｈＨｉｇｈとパワー比Ｕｐ／Ｄｐから、内挿又は外挿により入力音声のピッチ周波数を推定する（ステップ７０４→７０５）。その後、ステップ７０３に戻る。

一方、ステップ７０４の比較の結果、Ｕｐ／Ｄｐ＜ＴｈＬｏｗ、又は、ＴｈＨｉｇｈ＜Ｕｐ／Ｄｐの場合、無声音と判定し、もし過去Ｎサンプル中に無声音に挟まれた有声音があれば無声音に置き換える（ステップ７０４→７０６）。これは、本来無声音であるはずの部分（スパイク状に変化する波形の途中部分）が有声音として判断される範囲を通過する結果、「有声音」として判断されてしまったからである。その後、ステップ７０３に戻る。

（ＮＡＭ発声音の通常発声音への変換）
図１０は、本発明によるＮＡＭアレイマイクロフォンにより、ＮＡＭ発声音を通常発声音に変換する方法の一例を示す図である。
まず、ＮＡＭ発声音（ステップ８０１）をＮサンプル毎にひとまとめとする。これをフレームと呼ぶ（ステップ８０２）。フレーム化されたＮサンプルに対してＬＰＣ分析を行い、ＬＰＣ係数を求める（ステップ８０３）。

また一方、フレーム化されたＮサンプルに対し、まずサンプル単位について図９を参照して説明した有声音／無声音判定及びピッチ周波数推定方法により、有声音／無声音判定及びピッチ周波数推定を行う（ステップ８０４）。その後、フレーム単位での有声音／無声音判定及びピッチ周波数推定を行う。例えば、フレーム単位での有声音／無声音判定は、サンプル単位での有声音／無声音判定結果の多数決で行い、有声音フレームと判定された場合には、フレームに含まれる各有声音サンプルに対応したピッチ周波数の平均を計算して、フレームピッチ周波数とする（ステップ８０５）。

ここで、ステップ８０５で有声音フレームと判定された場合には、推定されたピッチ周波数をもつパルス信号を生成して音源とする（ステップ８０６）。一方、ステップ８０５で無声音フレームと判定された場合には、白色雑音信号を生成して音源とする（ステップ８０７）。
最後に、ステップ８０３で計算されたＬＰＣ係数をフィルタ係数とする合成フィルタに上記の音源を入力し（ステップ８０８）、通常発声音（ステップ８０９）を合成する。

（携帯電話システムへの適用例）
図１１は、本発明による信号変換装置に用いる信号検出装置であるＮＡＭアレイマイクロフォンを携帯電話システムに適用した場合の構成例を示すブロック図である。本例では、ＮＡＭアレイマイクロフォン９０１及びイヤフォン９０２と携帯電話機９０９との間が音声変換ユニット９０３を介して有線接続されている。
音声変換ユニット９０３は、携帯電話機９０９のイヤホンマイク端子を介して携帯電話機９０９に接続される。この音声変換ユニット９０３は、ＮＡＭアレイマイクロフォン９０１と一体化されてもよい。
無線ネットワーク９１０は、例えば、無線基地局９１２ａ及び９１２ｂと、基地局制御装置９１３ａ及び９１３ｂと、交換機９１４ａ及び９１４ｂと、通信網９１１とを含んで構成されている。本例では、携帯電話機が無線基地局９１２ｂと無線通信することにより、携帯電話機９０９と携帯電話機９１５との間で通話が可能となる。

（ＮＡＭマイクロフォンの構成例）
ここで、声門からの振動音の検出器となるＮＡＭマイクロフォンの一構成例が、図１２及び図１３に示されている。図１２はＮＡＭマイクロフォンの側面断面図である。
同図に示されているように、ＮＡＭマイクロフォン１００１は、乳様突起直下の皮膚表面に接触させる接触部１００１ａの裏側を、フレーム１００１ｂが覆う構成になっている。接触部１００１ａの内部には、コンデンサマイクロフォン１００１ｅが設けられ、そのリード線１００１ｇが接触部１００１ａの裏面から導出されている。コンデンサマイクロフォン１００１ｅは、振動板電極１００１ｆを含んで構成されている。また、接触部１００１ａとフレーム１００１ｂとの境界には、反射板１００１ｄが設けられている。フレーム１００１ｂの内部には、外部雑音防音空間１００１ｃが形成されている。

一方、ＮＡＭマイクロフォン１００２も同様に、皮膚表面に接触させる接触部１００２ａの裏側を、フレーム１００２ｂが覆う構成になっている。接触部１００２ａの内部には、コンデンサマイクロフォン１００２ｅが設けられ、そのリード線１００２ｇが接触部１００２ａの裏面から導出されている。コンデンサマイクロフォン１００２ｅは、振動板電極１００２ｆを含んで構成されている。また、接触部１００２ａとフレーム１００２ｂとの境界には、反射板１００２ｄが設けられている。フレーム１００２ｂの内部には、外部雑音防音空間１００２ｃが形成されている。

接触部１００１ａ、１００２ａは、皮膚との間で音響インピーダンスの不整合が生じないように、シリコーンゴムなどの人間の軟体組織に近い音響インピーダンスを有する生体適合性物質で構成される。また、連結部１００３の素材には、吸音材で柔軟性のある、例えば、天然ゴム、合成ゴム、エラストマーなどが使用される。
図１３は図１２のＮＡＭマイクロフォンを同図中の矢印Ｙ方向から見た正面図である。同図を参照すると、ＮＡＭマイクロフォン１００１、１００２は共に略円形である。接触部１００１ａの周囲にはフレーム１００１ｂが、接触部１００２ａの周囲にはフレーム１００２ｂが、それぞれ設けられている。接触部１００１ａの内部にはコンデンサマイクロフォン１００１ｅが、接触部１００２ａの内部にはコンデンサマイクロフォン１００２ｅが、それぞれ設けられている。

図１１に戻り、通話者９００は、その接触部１００２ａ、１００３ａをそれぞれ乳様突起直下の皮膚表面と、胸鎖乳突筋に沿って数ｃｍ下方に装着し、イヤフォン９０２を耳孔内に装着する。ＮＡＭアレイマイクロフォン９０１及びイヤフォン９０２は、携帯電話機９０９と有線の通信手段で接続されている。イヤフォン９０２の代わりにスピーカを用いてもよい。

（音声変換ユニットの構成例）
ここで、ＮＡＭ発声音を通常発声音に変換するための音声変換ユニット９０３の構成例について、図１４を参照して説明する。本例の音声変換ユニット９０３は、同じ特性を持つマイクアンプ１２０１及び１２０２と、同じ特性を持つＡ／Ｄコンバータ１２０３及び１２０４とを含んで構成されている。マイクアンプ１２０１及びＡ／Ｄコンバータ１２０３は、ＮＡＭマイクロフォン１００１に対応して設けられており、マイクアンプ１２０２及びＡ／Ｄコンバータ１２０４は、ＮＡＭマイクロフォン１００２に対応して設けられている。
デジタル信号処理ユニット１２０５、Ｄ／Ａコンバータ１２０６及び電池１２０７は、２つのＮＡＭマイクロフォン１００１及び１００２に共通に設けられている。

（動作例）
図１５は図１１中の通話者９００が発声した非可聴つぶやき音（ＮＡＭ）が相手側に通常発声音として伝わるまでの動作を示すフローチャートである。
同図において、通話者９００のＮＡＭ発声音を発すると（ステップ１３０１）、そのＮＡＭ発生音は、乳様突起直下とその下方の皮膚表面からＮＡＭマイクロフォン９０１の接触部１００１ａと接触部１００２ａに伝わる（ステップ１３０２）。すると、コンデンサマイクロフォン１００１ｄの振動板電極１００１ｆと、コンデンサマイクロフォン１００２ｄの振動板電極１００２ｆを振動させることによってそれぞれ電気信号となり、この電気信号は、リード線１００１ｇとリード線１００２ｇから取り出される（ステップ１３０３）。この電気信号は、音声変換ユニット９０３に送られ、マイクアンプ１２０１とマイクアンプ１２０２でそれぞれ増幅され、Ａ／Ｄコンバータ１２０３とＡ／Ｄコンバータ１２０４でデジタル信号にそれぞれ変換された後、デジタル信号処理ユニット１２０５で例えば図１０に示されている方法で通常発声音に変換される（ステップ１３０４）。

この変換後の通常発声音はＤ／Ａコンバータ１２０６によりアナログ信号に変換された後、有線の通信手段により自分の携帯電話機９０９に送られる（ステップ１３０５）。携帯電話機９０９に送信された電気信号は、無線ネットワーク９１０を介して、通話相手の携帯電話機９１５に送信され（ステップ１３０６）、通話相手の携帯電話機９１５のスピーカで電気信号から振動音に変換されて（ステップ１３０７）、通話者９００の通常発声音声として再生される（ステップ１３０８）。

一方、図１６は相手側が発声した音声が図１１中の通話者９００に伝わるまでの動作を示すフローチャートである。同図において、通話相手が発音すると（ステップ１４０１）、その音声は、通話相手の携帯電話機９１５のマイクロフォンで電気信号に変換される（ステップ１４０２）。この変換後の電気信号は、無線ネットワーク９１０を経由して、携帯電話機９０９に送信される（ステップ１４０３）。電気信号はさらに携帯電話機９０９から有線により、音声変換ユニット９０３経由でイヤフォン９０２（又はスピーカ）に送信され（ステップ１４０４）、イヤフォン９０２（又はスピーカ）で電気信号から振動音に変換されて（ステップ１４０５）、通話相手の再生音声となる（ステップ１４０６）。なお、携帯電話機９０９の設けられているスピーカから直接音声を聞く場合は、イヤフォン９０２は必要ない。

（携帯電話システムへの適用例）
図１７は、本発明による信号変換装置に用いる信号検出装置であるＮＡＭアレイマイクロフォンを携帯電話システムに適用した場合の構成例を示すブロック図である。本例では、ＮＡＭアレイマイクロフォン９０１及びイヤフォン９０２と携帯電話機９０９との間が無線接続されている。実施例１（図１１）の場合と異なるのは、音声変換ユニット９０３が音声変換・無線ユニット１５０１に置き換わった点と、新たに携帯電話機９０９側に無線ユニット１５０２が追加された点である。

（音声変換・無線ユニット、無線ユニットの構成例）
音声変換・無線ユニット１５０１と無線ユニット１５０２の構成例が図１８に示されている。同図において、音声変換・無線ユニット１５０１は、マイクアンプ１２０１及び１２０２と、Ａ／Ｄコンバータ１２０３及び１２０４と、デジタル信号処理ユニット１２０５と、Ｄ／Ａコンバータ１２０６と、電池１２０７とを含んで構成されている。これらの構成は、図１４の場合と同様であるため、その説明を省略する。

音声変換・無線ユニット１５０１には、上記に加え、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの機能を有するデジタル無線通信ユニット１６０１と、アンテナ１６０２とが設けられている。
また、無線ユニット１５０２は、アンテナ１６０４と、上記のデジタル無線通信ユニット１６０１に対応して設けられたデジタル無線通信ユニット１６０３と、Ａ／Ｄコンバータ１６０５と、Ｄ／Ａコンバータ１６０６と、電池１６０７とを含んで構成されている。

ここで、デジタル無線通信ユニット１６０１とデジタル無線通信ユニット１６０３とは同一のものでもよい。また、無線ユニット１５０２は、携帯電話機９０９内に収納されていてもよい。無線ユニット１５０２が、携帯電話機９０９内に収納されていない場合、無線ユニット１５０２は、携帯電話機９０９のイヤホンマイク端子を介して携帯電話機９０９に接続される。

さらに、無線ユニット１５０２が携帯電話機９０９から電源を供給してもらえる場合には、電池１６０７は不要である。音声変換・無線ユニット１５０１は、ＮＡＭアレイマイクロフォン９０１と一体化されてもよい。
デジタル無線通信ユニット１６０１、デジタル無線通信ユニット１６０３として、例えばＢｌｕｅｔｏｏｔｈ（登録商標）Ｖｅｒ１．１に準拠したものを使用した場合、最大通信速度は７２１ｋｂｐｓとなり、さらに出力がＢｌｕｅｔｏｏｔｈ（登録商標）Ｃｌａｓｓ２に対応している場合、デジタル無線通信ユニット１６０１、デジタル無線通信ユニット１６０３の出力は最大４ｄＢｍで、見通しの条件において１０ｍ程度の通信が可能となる。

（動作例）
図１９は、図１７のシステムを使用した場合の、通話者９００が発声した非可聴つぶやき音（ＮＡＭ）が相手側に通常発声音として伝わるまでの動作を示すフローチャートである。
図１９中のステップ１３０１からステップ１３０３までの動作は、図１５の場合と同一であるのでその説明を省略する。
ＮＡＭアレイマイクロフォン９０１からの電気信号は、音声変換・無線ユニット１５０１に送られ、マイクアンプ１２０１とマイクアンプ１２０２でそれぞれ増幅され、Ａ／Ｄコンバータ１２０３とＡ／Ｄコンバータ１２０４でそれぞれデジタル信号に変換された後、デジタル信号処理ユニット１２０５で例えば図１０に示されている方法で通常発声音に変換される（ステップ１７０１）。

この変換後の通常発声音は、デジタル無線通信ユニット１６０１でデジタル変調された後、アンテナ１６０２から送信され、無線ユニット１５０２のアンテナ１６０４で受信される（ステップ１７０２）。受信信号はデジタル無線通信ユニット１６０３でデジタル復調され、Ｄ／Ａコンバータ１６０６でアナログ信号に変換された後、有線により自分の携帯電話機９０９に送信される（ステップ１７０３）。
その後のステップ１３０６からステップ１３０８までの動作は、図１５の場合と同一であるのでその説明を省略する。
一方、図２０は、図１７のシステムを使用した場合の、相手側が発声した音声が通話者９００に伝わるまでの動作を示すフローチャートである。
図２０中のステップ１４０１からステップ１４０３までの動作は、図１６の場合と同一であるのでその説明を省略する。

携帯電話機９０９からの信号は無線ユニット１５０２に送られ（ステップ１８０１）、Ａ／Ｄコンバータ１６０５でデジタル信号に変換された後、デジタル無線通信ユニット１６０３でデジタル変調され、アンテナ１６０４から送信され、音声変換・無線ユニット１５０１のアンテナ１６０２で受信される（ステップ１８０２）。
この受信信号はデジタル無線通信ユニット１６０１でデジタル復調され、Ｄ／Ａコンバータ１２０６でアナログ信号に変換された後、有線によりイヤフォン又はスピーカに送信される（ステップ１８０３）。
その後のステップ１４０５からステップ１４０６までの動作は、図１６の場合と同一であるのでその説明を省略する。

（無声信号変換方法）
以上説明した信号変換装置においては、以下のような無声信号変換方法が実現されている。すなわち、無声信号の発声された時の声帯位置により、該無声信号のピッチ周波数を推定するピッチ周波数推定ステップ（図９の処理に対応）と、上記ピッチ周波数推定ステップにおいて推定されたピッチ周波数を用いて、上記無声信号を有声信号に変換する変換ステップ（図１０の処理に対応）とを含む無声信号変換方法が実現されている。
このように、無声信号の発声された時の声帯位置によりピッチ周波数を推定し、この推定されたピッチ周波数を用いて無声信号を有声信号に変換することにより、ＮＡＭ音声を通常音声に変換することができる。この変換された通常音声を用いれば、携帯電話機などを用いた通話や音声認識処理を良好に行うことができる。

（まとめ）
以上のように、無声信号の発声された時の声帯位置によりピッチ周波数を推定し、この推定されたピッチ周波数を用いて無声信号を有声信号に変換することにより、ＮＡＭ音声を通常音声に変換することができる。また、通常発声された時も同様に、声帯位置によりピッチ周波数を推定できるので、断続的に処理を中断したり、別方式に切り替えた場合でも、正しい通常音声に変換できる。この変換された通常音声を用いれば、携帯電話機などを用いた通話や音声認識処理を良好に行うことができる。

本発明により、ＮＡＭ発声によるコミュニケーションに適用した場合、音声の通信品質の改善が可能となる。
また、中国語など、韻律情報により認識率が向上するような言語に適用した場合、ＮＡＭ発声音声認識の性能改善が可能となる。

本発明を用いたＮＡＭアレイマイクロフォンの装着方法の一例を示す図である。 医療用超音波イメージング装置で撮影した喉頭部の超音波イメージ画像であり、（ａ）は「ド」を発声したときの画像、（ｂ）は１オクターブ高い「ド」を発声したときの画像である。 人間の喉頭部分の構造を示す図であり、同図（ａ）は正面図、同図（ｂ）は背面図である。 通常発声とＮＡＭ発声したときの信号波形、ピッチ周波数曲線、超音波イメージ画像を適当な水平断線で１ピクセルずつ切り出し時系列マージして作成した図である。 ＮＡＭマイクロフォンの構成例を示す側面断面図である。 通常発声をＮＡＭアレイマイクロフォンで収録した際の、上部マイクロフォン（Ｕ）と下部マイクロフォン（Ｄ）の信号のスペクトラム、波形図、パワー図である。 （ａ）は通常発声をＮＡＭアレイマイクロフォンで収録した際の、上部マイクロフォンの信号より抽出したピッチ周波数曲線を示す図、（ｂ）は上部マイクロフォンと下部マイクロフォンからの信号のパワー比曲線を示す図である。 （ａ）は図７（ａ）のピッチ周波数曲線のうち、文章発声部分を抜き出した図、（ｂ）は図７の場合と同じ文章をＮＡＭ発声してＮＡＭアレイマイクロフォンで収録した際の、キャリブレーション後のパワー比分布を示す図である。 本発明を用いたＮＡＭアレイマイクロフォン収録信号からピッチ周波数を推定する処理例を示すフローチャートである。 本発明を用いたＮＡＭアレイマイクロフォンにより、ＮＡＭ発声音を通常発声音に変換する処理例を示すフローチャートである。 実施例１によるＮＡＭアレイマイクロフォンを携帯電話システムに適用した場合の構成例を示すブロック図である。 ＮＡＭアレイマイクロフォンの一例を示す側面断面図である。 ＮＡＭアレイマイクロフォンの一例を示す正面図である。 音声変換ユニットの構成例を示すブロック図である。 実施例１によるＮＡＭアレイマイクロフォンを携帯電話システムに適用した場合の送信時の処理例を示すフローチャートである。 実施例１によるＮＡＭアレイマイクロフォンを携帯電話システムに適用した場合の受信時の処理例を示すフローチャートである。 実施例２によるＮＡＭアレイマイクロフォンを携帯電話システムに適用した場合の構成例を示すブロック図である。 図１７中の音声変換・無線ユニットと無線ユニットの構成例を示すブロック図である。 実施例２によるＮＡＭアレイマイクロフォンを携帯電話システムに適用した場合の送信時の別の処理例を示すフローチャートである。 実施例２によるＮＡＭアレイマイクロフォンを携帯電話システムに適用した場合の受信時の別の処理例を示すフローチャートである。

符号の説明

１９１ 甲状軟骨
１９２ 舌骨
９００ 通話者
９０１ マイクロフォン
９０２ イヤフォン
９０３ 音声変換ユニット
９０９、９１５ 携帯電話機
９１０ 無線ネットワーク
９１１ 通信網
９１２ａ、９１２ｂ 無線基地局
９１３ａ、９１３ｂ 基地局制御装置
９１４ａ、９１４ｂ 交換機
１００１、１００２ マイクロフォン
１００１ａ、１００２ａ、ａ 接触部
１００１ｂ、１００２ｂ、ｂ フレーム
１００１ｃ、１００２ｃ、ｃ 外部雑音防音空間
１００１ｄ、１００２ｄ 反射板
１００１ｅ、１００２ｅ、ｅ コンデンサマイクロフォン
１００１ｆ、１００２ｆ、ｆ 振動板電極
１００１ｇ、１００２ｇ、ｇ リード線
１００３ 連結部
１２０１、１２０２ マイクアンプ
１２０３、１２０４、１６０５ Ａ／Ｄコンバータ
１２０５ デジタル信号処理ユニット
１２０６、１６０６ Ｄ／Ａコンバータ
１２０７、１６０７ 電池
１５０１ 音声変換・無線ユニット
１５０２ 無線ユニット
１６０２、１６０４ アンテナ
１６０１、１６０３ デジタル無線通信ユニット

Claims (9)

1. 信号の発声された時の声帯位置により、該信号のピッチ周波数を推定するピッチ周波数推定手段と、前記声帯位置を検出するために、該声帯近傍の皮膚表面に装着された少なくとも２つの検出器とを含み、前記ピッチ周波数推定手段は、前記検出器それぞれの検出結果同士の比に基づいて前記信号のピッチ周波数を推定することを特徴とするピッチ周波数推定装置。
2. 前記検出器は、声帯の移動範囲の両端それぞれに対応する位置に装着されていることを特徴とする請求項１記載のピッチ周波数推定装置。
3. 無声信号の発声された時の声帯位置により、該無声信号のピッチ周波数を推定するピッチ周波数推定手段と、前記ピッチ周波数推定手段により推定されたピッチ周波数を用いて、前記無声信号を有声信号に変換する変換手段とを含むことを特徴とする無声信号変換装置。
4. 前記声帯位置を検出するために、該声帯近傍の皮膚表面に装着された少なくとも２つの検出器を更に含み、前記ピッチ周波数推定手段は、前記検出器それぞれの検出結果同士の比に基づいて前記無声信号のピッチ周波数を推定することを特徴とする請求項３記載の無声信号変換装置。
5. 前記検出器は、声帯の移動範囲の両端それぞれに対応する位置に装着されていることを特徴とする請求項４記載の無声信号変換装置。
6. 前記検出器の少なくとも１つは、乳様突起直下の皮膚表面から、発声器官の運動に伴う共振フィルタ特性変化により調音された、声帯の規則振動を伴わない、外部からは非可聴な呼吸音の体内軟部組織を伝導する振動音である非可聴つぶやき音（Ｎｏｎ−Ａｕｄｉｂｌｅ Ｍｕｒｍｕｒ；ＮＡＭ）あるいは通常音声などの体内軟部組織を伝導する振動音を採取して音声入力するＮＡＭマイクロフォンであることを特徴とする請求項４又は５記載の無声信号変換装置。
7. 信号の発声された時の声帯位置を検出するために、該声帯近傍の皮膚表面の、該声帯の移動範囲の両端それぞれに対応する位置に装着された少なくとも２つのマイクロフォンを含むことを特徴とする無声信号検出装置。
8. 前記マイクロフォンは、乳様突起直下の皮膚表面から、発声器官の運動に伴う共振フィルタ特性変化により調音された、声帯の規則振動を伴わない、外部からは非可聴な呼吸音の体内軟部組織を伝導する振動音である非可聴つぶやき音（Ｎｏｎ−Ａｕｄｉｂｌｅ Ｍｕｒｍｕｒ；ＮＡＭ）あるいは通常音声などの体内軟部組織を伝導する振動音を採取して音声入力するＮＡＭマイクロフォンであることを特徴とする請求項７記載の無声信号検出装置。
9. 無声信号の発声された時の声帯位置により、該無声信号のピッチ周波数を推定するピッチ周波数推定ステップと、前記ピッチ周波数推定ステップにおいて推定されたピッチ周波数を用いて、前記無声信号を有声信号に変換する変換ステップとを含むことを特徴とする無声信号変換方法。