JP2007111335A - 口腔センサ及び音素判定装置 - Google Patents

Abstract

【課題】より精度良く音素を判定することができるとともに、口腔形状を視認して音素を特定する技能を持たない一般ユーザが用いても音素を判定することができる口腔センサ及び音素判定装置を提供する。
【解決手段】装用者の口蓋および舌上の一方に装着された発光部３２と、他方に装着された受光部３１とを備え、発光部３２及び受光部３１のうち舌上に装着されるものが複数個あるセンサ部と、受光部３１の受光強度パターンを検出する受光強度検出手段と、を備えた口腔センサ１００である。
【選択図】図１

Description

この発明は、ユーザが発音しなくても、ユーザの口腔の状態を検出してこの検出結果に基づいて音素を判定する口腔センサ及び音素判定装置に関する。

声帯等の発音器官に障害がある人（発話障害者）は発話することができない。しかしながら、発話障害者は発話することができなくても、発話するための形状に口腔を（例えば舌を）かたち作ることができる場合がある。このような発話障害者との意思疎通を図るために、発話障害者の口腔形状に対応する音素を判定する装置や方法が提案されている。

例えば、特許文献１には、口唇の動画を外部から撮影して、撮影画像に基づいて口唇の形状や口唇の動きを推定し、この判定した口唇の形状や口唇の動きに基づいて音素を判定する装置が開示されている。

また、研究機関では、超音波プローブを発話障害者の顎下に当てて超音波画像として舌形状表示することで、専門家が患者の舌形状に対応する音素を推測する方法が提案されている。
特開平１１−２１９４２１号公報

上述した従来の装置は、外部から撮影した口唇の形状や口唇の動きから音素を認識するものであるため、舌形状や舌動作を音素の判定材料とすることができなかった。このため、舌形状や舌動作で違いが顕著である子音の判定を行うことが困難であり、正確に音素の判定をすることができない場合があった。

また、上述した従来の方法では、舌形状を音素の判定材料とすることはできるが、超音波画像を目視して音素を判定しなくてはならないため、舌形状を見て音素を判定することができる程の専門知識を持つ者でなければ採用することができない方法であった。このため、一般のユーザが使用できるような方法ではなかった。

上記課題を解決するために、本発明は、より精度良く音素を判定することができるとともに、口腔形状を視認して音素を特定する技能を持たない一般ユーザが用いても音素を判定することができる口腔センサ及び音素判定装置を提供することを目的としている。

上記課題を解決するために本発明では以下の手段を採用している。

（１）本発明は、装用者の口蓋および舌上の一方に装着された発光部と、他方に装着された受光部とを備え、前記発光部及び前記受光部のうち舌上に装着されるものが複数個あるセンサ部と、前記受光部の受光強度パターンを検出する受光強度検出手段と、を備えた口腔センサである。

上記構成によれば、発光部で発光された光は遮光されていなければ受光部によって受光される。ここで、受光部はユーザの口腔上部又は舌上に配置されるためのものである。また、発光部は、ユーザの口腔上部及び舌上のうち受光部が配置されていない方に配置されるためのものである。

このため、受光部には、口腔上部と舌上にある光出力部及び光入力部間の距離に応じた強度で光が入力される。また、舌等によって遮光されていれば受光部には光が入力されない。ここで、発光部及び受光部のうち舌上に配置される方が複数配置されるため、受光強度はユーザの舌形状によって様々なパターンになる。

この受光強度を示す明るさ情報が情報生成部によって生成される。この受光強度は、上述したようにユーザの舌形状によって様々なパターンになるため、明るさ情報もまたユーザの舌形状によって様々なパターンになる。このため、明るさ情報を分析することで、ユーザの口腔形状や、この口腔形状に対応する音素を判定することも可能となる。

（２）本発明は、上記口腔センサにおいて、前記発光部は、口腔外に設けられた発光素子と、この発光素子からの光を舌上又は口蓋に伝達するための光ファイバを備え、前記受光部は、口腔外に設けられた受光素子と、この受光素子に舌上又は口蓋で入力された光を伝達するための光ファイバを備える。

この構成によれば、口腔内に配置する部材は金属製の部材ではなく光ファイバの先端部になる。このため、口腔内にガルバニー電流が発生され、これによって歯痛が発生されることが効果的に防止される。

（３）本発明は、上記口腔センサにおいて、 前記発光部及び前記受光部のうち舌上に配置されるためのものは、ユーザの舌上に配置するための薄手のシート部材上に所定間隔を空けてそれぞれ配置されている、ことを特徴とする。

この構成によれば、シート部材を舌上に配置するだけで、口腔形状や音素を判定するために好適な所定間隔を空けて発光部又は受光部を舌上に配置することができる。また、薄手のシート部材を介して舌上に発光部又は受光部を取り付けるため、舌との密着性高く取り付けることができ、これによって、明るさ情報はより正確にユーザの舌形状を反映するものとなる。

（４）本発明は、上記口腔センサから前記明るさ情報を入力する入力部と、明るさ情報に基づいて、ユーザの口腔形状に対応する音素を判定する判定部と、を備えた音素判定装置である。この構成によれば、ユーザの舌形状によって様々なパターンである発光強度を示す明るさ情報が入力部によって入力される。そして、判定部によって、この明るさ情報に基づいてユーザの口腔形状（舌形状等）に対応する音素が判定されるため、子音等もより正確に判定することが可能となる。これによって、口唇外部からの撮影画像に基づいて音素が判定される従来技術に比較して、精度良く音素を判定することが可能となる。また、超音波画像を視認して音素を特定する従来方法に比較して、口腔形状を視認して音素を特定する技能を持たない一般ユーザであっても口腔形状や、この口腔形状に対応する音素を判定することが可能となる。

（５）本発明は、上記音素判定装置において、前記判定部は、前記明るさ情報に基づいて、前記光出力部及び前記受光部のうち舌上に配置された方の位置を所定時間間隔毎に検出する位置検出部と、前記位置検出部による複数回分の検出位置に基づいて、音素を判定する音素判定部とを備えた、ことを特徴とする。この構成によれば、位置検出部によって、光出力部及び受光部のうち舌上に配置された方の位置が所定時間間隔毎に検出される。この位置検出部による複数回分の検出位置は、舌形状及びこの舌形状の時間的変化を示す。音素判定部によって、このような複数回分の検出位置によって音素が判定されるため、更に精度良く音素を判定することが可能となる。

本発明にかかる口腔センサによれば、ユーザの舌形状によって様々なパターンになる明るさ情報が生成される。このため、明るさ情報を分析することで、ユーザの口腔形状や、この口腔形状に対応する音素をより精度良く判定することができる。

また、本発明にかかる音素判定装置によれば、上記明るさ情報に基づいて、ユーザの口腔形状（舌形状等）に対応する音素が判定されるため、子音等もより正確に判定することができる。これによって、口唇外部からの撮影画像に基づいて音素が判定される従来技術に比較して、精度良く音素を判定することができる。また、超音波画像を視認して音素を特定する従来方法に比較して、口腔形状を視認して音素を特定する技能を持たない一般ユーザであっても口腔形状や、この口腔形状に対応する音素を判定することができる。

図１〜図７を参照して本発明の一実施形態である音声判定システムを説明する。音声判定システムは、口腔センサ１００（図１を参照）と音素判定装置２００とを備える。本音声判定システムでは、口腔センサ１００からの情報に基づいて、音素判定装置２００が、本音素判定システムのユーザの口腔形状に対応する音素を判定し、判定した音素を音声として出力する。

（口腔センサ１００の外観構成）
以下に図１〜図３を用いて口腔センサ１００の外観構成を説明する。図１は、口腔センサ１００の外観構成を示す斜視図である。なお、以下の実施形態において、ユーザの正面側をＹ側、ユーザの後方側を−Ｙ側、ユーザの右側をＸ側、ユーザの左側を−Ｘ側と記載する。

口腔センサ１００は、装置本体１に接続線２を介して光ファイバ群３を接続してなる。

光ファイバ群３はその先端がユーザの口腔内に導入される。光ファイバ群３のうち、２つの光ファイバ３１（３１Ａ、３１Ｂ）はその先端が口腔上面に配置される。また、残り４つの光ファイバ３２（３２Ａ〜３２Ｄ）はその先端が舌上に配置される。以下、光ファイバ３１の先端は受光点ｒ（本願発明の受光部に対応）と、光ファイバ３２の先端は発光点ｔ（本願発明の発光部に対応）と記載する。発光点ｔ及び受光点ｒは球面状に加工されており、発光点ｔからは周囲に均一に光が出力され、受光点ｒは周囲からの光を均一に入力するように調整されている。なお、発光点ｔ及び受光点ｒは球面状に限定されないが、光の入出力特性が無指向性になる形状に加工されていることが好ましい。

発光点ｔと受光点ｒの口腔内への取り付けを説明する。受光点ｒは、Ｕ字状の支持枠４における所定の位置に取り付けられている。支持枠４は、プラスチック等の樹脂で形成されており、可撓性の部材である。支持枠４の両側の棒状部分をユーザが指等を用いて内側に撓め、この状態で上側の歯列の内側に配置した後に指等を離すと、支持枠４は歯列の内側で規制されて固定される。このように、支持枠４が上側の歯列の内側に取り付けられることで、受光点ｒは口腔上面に取り付けられる。

そして、発光点ｔは、シート部材５上に所定間隔を空けて配置される。シート部材５は、例えば食品用ラップフィルム等のような、５〜１５μｍ程度の薄手に形成された樹脂フィルム部材である。シート部材５は、舌上に密着するように載置される。このこのように、シート部材５を介して発光点ｔを舌上に取り付けるため、舌上に密着させて配置することができ、発光点ｔの座標と舌の座標とを一致させることができる。また、舌の動きを妨げずに舌上に発光点ｔを取り付けることができる。

上述のように、本実施形態では、口腔内には、光ファイバ群３及び樹脂製の支持枠４及びシート部材５を入れるだけでよいため、金属製の部材を入れなくても発光点ｔ及び受光点ｒを口腔内に取り付けることができる。口腔内に金属製の部材を入れると、歯に別の金属製の詰物がある場合等にガルバニー電流が生じ、歯の神経の疼痛を引き起こす場合があるが、本実施形態では、このようなガルバニー電流の発生を防止することができる。

なお、受光点ｒや発光点ｔの支持枠４やシート部材５への取り付け位置については、詳しくは後述する。

光ファイバ３１、３２は、例えば耳掛けタイプのフレーム部６によって、口腔外側の口唇付近で支持されている。すなわち、フレーム部６の口唇付近には、筒状部材６１と筒状部材６２が取り付けられ、この筒状部材６１、６２に光ファイバ３１、３２が挿入されており、これによって、光ファイバ３１、３２の口腔内への挿入量が可変になるように、光ファイバ３１、３２を支持することができる。

光ファイバ３１、３２の他端部は、接続線２の一端に接続されている。光ファイバ３１に接続される接続線２を接続線２Ａ、光ファイバ３２に接続される接続線２を接続線２Ｂと記載する。

図２は、（ａ）は接続線２Ａと光ファイバ３１との取り付け部分の構成を示す斜視図であり、（ｂ）は接続線２Ｂと光ファイバ３２との取り付け部分の構成を示す斜視図である。（ａ）で示すように接続線２Ａの先端には、例えばフォトダイオード等からなる受光部８Ａ（本願発明の受光部、受光素子に対応）が取り付けられている。この受光部８Ａの先端と光ファイバ３１の端部とが接した状態で筒状のキャップ９に外嵌され、これによって、受光部８Ａと光ファイバ３１が接続される。光ファイバ３１から受光部８Ａに光が入力されると、受光部８Ａによって受光強度に応じた信号が接続線２Ａを介して装置本体１に入力される。

（ｂ）で示すように、接続線２Ｂの先端には、例えば発光ダイオード等からなる発光部８Ｂ（本願発明の発光部、発光素子に対応）が取り付けられている。この発光部８Ｂの先端と光ファイバ３２の端部とが接した状態で筒状のキャップ９に外嵌され、これによって、発光部８Ｂと光ファイバ３２が接続される。発光部８Ｂは接続線２Ｂを介して装置本体１から電力が供給されることにより発光する。この光は光ファイバ３２を通って口腔内に導入され、発光点ｔから口腔内に出力される。

そして、発光点ｔから出力された光は受光点ｒに入力されて、光ファイバ３１を介して受光部８Ａに入力される。ここで、受光部８Ａへの受光強度は、発光点ｔから受光点ｒまでの距離が近い程強くなる。また、舌の受光点ｒを配置した部分を口腔上面に押し付けている場合等には、口腔上面で遮光されて受光部８Ａに光が入力されない。

なお、光ファイバ群３、受光部８Ａ、発光部８Ｂ及び接続線２で本願発明のセンサ部を構成する。

装置本体１には、受光部８Ａから受光強度に応じた信号が入力され、これを用いて各発光点ｔから各受光点ｒに入力された光の各発光強度を示す明るさ情報を生成する。装置本体１は、生成した明るさ情報を通信線７を介して音素判定装置２００に入力する。装置本体１の内部構成については、詳しくは後述する。

図３（ａ）は、口腔内に取り付けられた状態の支持枠４と受光点ｒ及びその周辺の構成をより詳細に示す図である。支持枠４には、そのＸ側に沿って光ファイバ３１Ａの一部が固着され、その−Ｘ側に沿って光ファイバ３１Ｂの一部が固着されている。そして、光ファイバ３１Ａ、３１Ｂは先端部が屈曲するように形成されており、その屈曲部が支持枠４の端部から内側に向かうように取り付けられている。

この内側に向かった屈曲部は支持枠４の中央付近で更にＹ側に屈曲されて形成されている。この屈曲された光ファイバ３１Ａの先端部は前歯付近まで延びるように形成され、光ファイバ３１Ｂの先端部は最奥の奥歯付近に位置するように形成されている。これによって、光ファイバ３１Ｂの受光点ｒ（ｒ０）が両サイドの奥歯間の略中央に位置するとともに、光ファイバ３１Ａの受光点ｒ（ｒ１）が両サイドの糸切り歯間の略中央に位置するようになっている。

ユーザが発話するように口腔を形作る場合に、舌は受光点ｒ０と受光点ｒ１との間の領域で動作する。このため受光点ｒ０と受光点ｒ１に入力された光の明るさ情報を用いることで、音素判定装置２００では精度良く発光点ｔの位置を測定することができ、これによって、音素の判定精度を向上させることができる。

なお、同図（ｂ）で示すように、受光点ｒ１の−Ｘ側に隣接して受光点ｒ（ｒ２）が位置するような光ファイバ３１Ｃが更に配設されるとともに、Ｘ側に隣接して受光点ｒ（ｒ３）が位置するような光ファイバ３１Ｄが更に配設されてもよい。この受光点ｒ２、ｒ３によって、「ｎ」や「ｔ」の音素を音素判定装置２００で精度良く判定することが可能となる。すなわち、「ｎ」と「ｔ」は、口腔形状及びこの口腔形状の変化が似ており、両方とも舌が受光点ｒ１の位置に接触することになる。

このため、「ｎ」の場合も「ｔ」の場合も、受光点ｒが遮光されて光が入力されず、受光点ｒ０、ｒ１が配置されるだけでは「ｎ」と「ｔ」との近いを判別することは困難である。しかしながら、「ｎ」と「ｔ」とは、口腔上面に舌が接触する幅が異なる。具体的には、「ｎ」より「ｔ」の方が幅広く舌が接触する。このため、受光点ｒ２、ｒ３を加えることで、受光点ｒ２、ｒ３とも舌で遮光されていれば「ｔ」、遮光されていなければ「ｎ」と判別することが可能となる。

また、受光点ｒ（ｒ４）が歯の下に配置されるような光ファイバ３１Ｅが配置されてもよい。これによって、上側及び下側の歯同士の接触を判別することが可能となるため、「ｓ」を精度良く判別することができる。また、受光点ｒ（ｒ５）が上唇の下に位置するような光ファイバ３１Ｆが更に配設されてもよい。これによって、上下の口唇の接触を判別することが可能となるため、精度良く「ｍ」を判別することができる。

同図（ｃ）は、図１で示すシート部材５と発光点ｔ及びその周辺の構成を示す図である。シート部材５は縦長形状であり、このシート部材５には所定の間隔を空けて４つの発光点ｔ（ｔ０〜ｔ３）が縦方向に並列に取り付けられている。舌の先端の動きや形状に音素の特徴が出ることから、シート部材５は、最も手前にある発光点ｔ３が舌の先端近傍に位置するように載置されることが好ましい。

（装置本体１の内部構成）
図４は、装置本体１の内部構成及び音素判定装置２００の構成を示すブロック図である。

まず、装置本体１の内部構成を説明する。装置本体１は、発光制御部１１、受光強度入力部１２、信号送受信部１３及びマイコン１４を備える。発光制御部１１は、接続端子１５（１５Ａ〜１５Ｄ）に接続された接続線２Ｂ（図２を参照）を介して発光部８Ｂに電力を供給する。この電力の供給はマイコン１４（ＣＰＵ１４３）から入力した指示信号に従って行われる。これによって、発光制御部１１は発光部８Ｂの発光を制御する。

受光強度入力部１２は、接続端子１６（１６Ａ、１６Ｂ）に接続された接続線２Ａ（図２を参照）を介して受光部８Ａから発光強度に応じた信号を入力する。受光強度入力部１２は、この発光強度を示すデジタル信号を生成してマイコン１４（ＣＰＵ１４３）に入力する。

信号送受信部１３は、接続端子１７に接続された通信線７（図１を参照）を介して音素判定装置２００との間で通信を行う通信インタフェース回路である。信号送受信部１３は、音素判定装置２００から明るさの検出開始の制御信号を入力したときにはマイコン１４（ＣＰＵ１４３）にこの制御信号を出力する。

マイコン１４は、本願発明の受光強度検出手段に対応し、ＲＯＭ１４１、ＲＡＭ１４２及びＣＰＵ１４３等を備える。

ＲＯＭ１４１は、本装置本体１を動作させるためのプログラム及びこのプログラムの実行に必要なデータが記憶されている。例えば、このプログラムには、本装置本体１に後述のダイナミック点灯処理を実行させるためのプログラムや、明るさ情報生成処理を実行させるためのプログラムがある。

ＲＡＭ１４２は、ＣＰＵ１４３の作業領域として機能する。ＣＰＵ１４３は、ＲＯＭ１４１に記憶されたプログラムを実行することで、後述のダイナミック点灯処理を実行する。このダイナミック点灯処理は、発光制御部１１を用いて４つの発光部８Ｂを順番に点灯させるように制御する処理である。なお、４つの発光部８Ｂについて異なる発光色で発光するものを用いる場合には、ＣＰＵ１４３は、ダイナミック点灯処理ではなく、４つの発光部８Ｂを同時に点灯させるように制御する処理を実行してもよい。

また、ＣＰＵ１４３は、ＲＯＭ１４１に記憶されたプログラムを実行することで、明るさ情報生成処理を実行する。明るさ情報生成処理では、ＣＰＵ１４３は、受光強度入力部１２から入力された信号を用いて明るさ情報を生成する。明るさ情報とは、発光点ｔ０〜ｔ３のそれぞれから受光点ｒ０に入力されて受光部８Ａで受光した光の強度と、発光点ｔ０〜ｔ３のそれぞれから受光点ｒ１に入力されて受光部８Ａで受光した光の強度を示す情報である。

ここで、ユーザが口唇を開いていた場合には、発光点ｔからの光に加えて口腔外からの外光が受光点ｒに入力される。発光点ｔからの成分のみの発光強度を取得するために、ＣＰＵ１４３は、入力した信号の示す発光強度のうち外光の成分に由来する部分を推測し、この外光成分を除いた発光強度を算出して（光変調法）、算出した発光強度を明るさ情報とする。

光変調法とは、発光素子と受光素子からなる計測系において、発光する光の強度に自然光では通常存在しないような時間変化（例えば１０ＫＨｚのＯｎ／Ｏｆｆ）を付し、受光部に続く後処理過程において、その時間変調成分のみ取り出す（先の例では１０ｋＨｚのバンドパスフィルタ）ことで、自然光の影響を回避し計測精度を高める手法として広く知られるもので、これを用いて口腔外からの外光の影響を避けるように構成してもよい。

ＣＰＵ１４３は、信号送受信部１３から検出開始の制御信号を入力したときに、上述したダイナミック点灯処理及び明るさ情報生成処理をマルチタスクで実行する。また、ＣＰＵ１４３は、明るさ情報生成処理によって生成した明るさ情報を信号送受信部１３を用いて音素判定装置２００に送信する。

（音素判定装置２００の構成）
次に、同図（図４）を用いて音素判定装置２００の構成を説明する。音素判定装置２００は、汎用機である。音素判定装置２００は、ＣＰＵ２１に、ＲＯＭ２２、ハードディスク２３、ＲＡＭ２４、信号送受信部２５、音源２６及びスピーカ２７がバス２８に接続されて構成される。

ＲＯＭ２２は、本音素判定装置２００を起動させるための起動用プログラムが記憶されている。ハードディスク２３は、本音素判定装置２００を動作させるためのプログラムやこのプログラムの実行に必要なデータが記憶されている。このプログラムには、例えば、本音素判定装置２００に後述の音素の判定処理（距離算出処理、座標推定処理、音素判定処理）及び発音処理を実行させるプログラムがある。これらの処理については、詳しくは後述する。

ハードディスク２３には、データベース記憶部２３１が設けられており、このデータベース記憶部２３１には、発光点ｔ０〜ｔ３の座標（舌等の口腔形状）やこの座標の変化（口腔の動き）と音素とを対応付けた音素判定データベースＤＢが記憶されている。ＲＡＭ２４は、ＣＰＵ２１の作業領域として機能し、ハードディスク２３等から読み出されたプログラムやデータが一時的に記憶される。

信号送受信部２５は、装置本体１（信号送受信部１３）との間で通信を行う通信インタフェースである。信号送受信部２５は、信号送受信部１３から明るさ情報を入力した場合に、入力した明るさ情報をＣＰＵ２１（後述の距離算出部２１２Ａ）に入力する。また、図略の操作部でユーザから音素の判定の開始指示を受け付けた場合に、ＣＰＵ２１が上述した検出開始の制御信号を信号送受信部２５に入力するが、信号送受信部２５は入力した検出開始の制御信号を信号送受信部１３に送信する。

音源２６は、例えばＰＣＭ音源ボード等であり、ＣＰＵ２１（後述の発音制御部２１３）から指示に基づいて、ハードディスク２３に記憶されたＰＣＭデータを用いて音声データ（例えばＷＡＶ形式）を生成する。生成された音声データはスピーカ２７に入力されて、スピーカ２７で音声に変換されて出力される。

ＣＰＵ２１は、ハードディスク２３に記憶されたプログラムを実行することで、センサ制御部２１１、判定部２１２及び発音制御部２１３として機能する。センサ制御部２１１は、信号送受信部２５を用いて制御信号を装置本体１に送信することで、装置本体１の動作を制御する。この制御信号には、例えば上述した検出開始の制御信号がある。

判定部２１２は、装置本体１から入力した明るさ情報を用いて音素を判定する音素の判定処理を実行する機能部である。判定部２１２は、距離算出部２１２Ａ、位置検出部２１２Ｂ及び音素判定部２１２Ｃを機能的に含む。距離算出部２１２Ａは、明るさ情報が信号送受信部２５から入力される。距離算出部２１２Ａは、距離算出処理を実行することで、明るさ情報を用いて各発光点ｔ０〜ｔ３から受光点ｒ０、ｒ１までの距離（以下、距離情報と記載）を算出する。距離算出処理については、図６のフローチャートを用いて後述する。

位置検出部２１２Ｂは、座標推定処理を実行することで、距離算出部２１２Ａで算出した距離情報に基づいて、発光点ｔ０〜ｔ３の位置座標すなわち口腔の形状を推定する。座標推定処理については、図６のフローチャートを用いて後述する。

音素判定部２１２Ｃは、音素推定処理を実行することで、位置検出部２１２Ｂの推定した位置座標を音素判定データベースＤＢと比較することで、口腔形状に合致した音素を判定する。音素判定部２１２Ｃは、判定した音素を発音制御部２１３に通知する。音素推定処理については、詳しくは図６及び図７のフローチャートを用いて後述する。

発音制御部２１３は、通知された音素を発音するように音源２６を制御する。音源２６ではこの音素の音声データが生成されてスピーカ２７に入力される。これによって、スピーカ２７から音素の音声が出力される。このため、発音することができないユーザであっても口腔形状及び動作をその音素を発音する形状及び動作にすることで、会話の相手方に意思を伝えることができる。

図５（ａ）は、ダイナミック点灯処理を示すフローチャートであり、（ｂ）は明るさ情報を示す図である。（ａ）を参照して、まず、ＣＰＵ１４３は、発光点ｔｉのみを点灯させるように発光制御部１１に指示する。最初はｉは０に設定され、発光点ｔ０が発光するように制御される（Ｓ１）。

次に、ＣＰＵ１４３は、受光点ｒｊの明るさ情報を生成する（Ｓ２）。ｊは、最初は０に設定されている。具体的には、ＣＰＵ１４３は、ステップＳ１の実行後から所定時間が経過するまでに受光強度入力部１２から入力された信号を用いて、明るさ情報を生成してＲＡＭ１４２に記憶する。

この後、ＣＰＵ１４３は、ｊが１以上であるかを判断して（Ｓ３）、ｊが１より小さい（すなわち０）であると判断した場合には（Ｓ３でＮＯ）、ｊの値に１を足して（Ｓ４）、ステップＳ２に戻す。一方、ＣＰＵ１４３は、ｊが１以上であると判断した場合には（Ｓ３でＹＥＳ）、ｉが４以上であるかを判断して（Ｓ５）する。ｉが４より小さい（０〜３）と判断した場合には（Ｓ５でＮＯ）、ＣＰＵ１４３は、ｉの値に１を足すとともにｊを０に設定して（Ｓ６）、ステップＳ１に戻す。

一方、ＣＰＵ１４３は、ｉが４以上であると判断した場合には（Ｓ５でＹＥＳ）、ＲＡＭ１４２には、同図（ｂ）で示すように各発光点ｔ０〜ｔ３から受光点ｒ０、受光点ｒ１それぞれに入力された光の各明るさ情報（明るさ情報ａ〜ｈ）が記憶されている。この場合には、ＣＰＵ１４３は本処理を終了させる。なお、各明るさ情報ａ〜ｈは上述したように音素判定装置２００に送信される。

図６は、音素の判定処理を示すフローチャートである。図７（ａ）は、音素推定処理（その１）を示すフローチャートであり、（ｂ）は音素推定処理（その２）を示すフローチャートである。音素の判定処理は、距離算出部２１２Ａに明るさ情報が入力された場合に実行される。まず、距離算出部２１２Ａは入力された明るさ情報を用いて距離算出処理を実行する（Ｓ１１）。

距離算出処理では、明るさは距離の自乗に反比例することから、発光点ｔから受光点ｒまでの距離ｄを下記式（１）を用いて算出する。

ｄ＝１／√ｂ・・・式（１）
上記ｂは、明るさ情報の示す明るさを表す。

上記式（１）によって、距離算出部２１２Ａは、各発光点ｔ０〜ｔ３から各受光点ｒ０、ｒ１それぞれまでの各距離ｄを求める。

なお、上述したように、発光点ｔ及び受光点ｒは球面状に加工されており、発光点ｔからは周囲に均一に光が出力され、受光点ｒは周囲からの光を均一に入力するように調整されている。このように調整されていても、発光点ｔ及び受光点ｒが指向性を持つ場合があり、この場合には上記式（１）を用いても正確に距離ｄを算出することができない場合がある。このような場合には、実測によって予め明るさｂに対応する距離をサンプルとしてハードディスク２３に記憶させておき、距離算出部２１２Ａがこのサンプルに最小自乗法で当てはめて距離ｄを算出するようにしてもよい。

なお、図３（ｂ）の変形例のように、受光点ｒ２〜ｒ５が配設されている場合がある。受光点ｒ２〜ｒ５は、受光点ｒ０、ｒ１のように発光点ｔの位置座標を検知することを目的としたものではなく、遮光されたかどうかだけを検知することを目的とする。距離算出部２１２Ａは受光点ｒ２〜ｒ５についての明るさ情報から受光点ｒ２〜ｒ５が遮光されたかどうかを判定し、この判定結果を音素判定部２１２Ｃに通知する。

次に、位置検出部２１２Ｂが座標推定処理を実行する（Ｓ１２）。この座標推定処理では、上述したように発光点ｔ０〜ｔ３の位置座標が算出される。すなわち、発光点ｔから受光点ｒ０までの距離が距離ｄ０であり、発光点ｔから受光点ｒ１までの距離が距離ｄ１である場合に、位置検出部２１２Ｂは受光点ｒ０から距離ｄ０の位置にあり、受光点ｒ１から距離ｄ１の位置にある位置座標を算出し、この算出した位置座標を発光点ｔの位置座標とする。

ここで、ステップＳ１１で算出した距離ｄ（上記例では距離ｄ０とｄ１）が実際の距離との間に誤差がある場合に、上記算出方法で位置座標を算出しても、この誤差によって正確な位置座標を取得することができない。そこで、位置検出部２１２Ｂは、例えば変分法による誤差評価関数を用いて、上記算出した位置座標の誤差を評価し、最も誤差の小さい位置座標を発光点ｔの位置座標としてもよい。

具体的には、ステップＳ１１で算出した距離ｄ０と距離ｄ１とを用いて、受光点ｒ０から受光点ｒ１の間の距離（距離ｄ３）を算出する。ここで、受光点ｒ０から受光点ｒ１の間の距離は、測定することで実際の距離（距離Ｌ）を取得することができる。距離ｄ３と距離Ｌの一致度が高い程、距離ｄ０及ぶ距離ｄ１は実際の距離からの誤差が小さい。そこで、位置検出部２１２Ｂは、（距離ｄ３−距離Ｌ）^２を誤差評価関数として、この誤差が最小となる位置座標を算出し、この算出した位置座標を発光点ｔの位置座標とする。

なお、算出の方法としては、例えば山登り法として知られる計算法（ＣＧＭ法（共役匂配法）、ニュートン法）を用いることができる。さらに、発光点ｔ、受光点ｒには極力無指向性となるよう加工が施されているが、ある程度の指向性は残存する場合が多い。そこで、指向性を反映する補正計算を行い、さらに座標精度を上げるようにしてもよい。

次に、音素判定部２１２Ｃが音素推定処理を実行する（Ｓ１３）。図７（ａ）を参照して、まず、音素判定部２１２Ｃは、位置検出部２１２Ｂからの位置座標の入力タイミング毎に、口腔に動きがあったと判定するまで、口腔に動きがあったかを繰り返し判定する（Ｓ１３１）。具体的には、音素判定部２１２Ｃは、今回入力されたフレーム（位置座標）を前回入力されたフレームと比較し、今回入力した位置座標が前回の位置座標から所定距離以上に変化している場合には口腔に動きがあったと判定する。なお、前回入力されたフレームだけではなく、過去所定回数分のフレームと今回入力されたフレームが比較される構成であってもよい。

口腔に動きがあったと判定した場合に（Ｓ１３１でＹＥＳ）、音素判定部２１２Ｃは、口腔の動きの終了を検出する。この口腔の動きの終了の検出は、入力したフレームと過去の所定回数分のフレームとを用いて行われる。具体的には、音素判定部２１２Ｃは、連続して所定回数分、前回の位置座標からの変化が所定距離より小さい場合には口腔の動きが終了したと検出する。音素判定部２１２Ｃは、口腔の動きが開始したと判定したときから口腔の動きの終了を検出したときまでのフレームを入力したフレーム群から切り出す（Ｓ１３２）。この後、音素判定部２１２Ｃは、本処理を終了する。

図７（ｂ）を参照して、音素判定部２１２Ｃは、ステップＳ１３２でフレーム群を切り出した場合に、音素判定データベースＤＢに登録された音素群の中から１の候補を選択する（Ｓ１３３）。音素判定部２１２Ｃは、選択した候補に対応する発光点ｔ０〜ｔ３の座標（舌等の口腔形状）やこの座標の変化（口腔の動き）を音素判定データベースＤＢから読み出して、切り出したフレーム群との一致度合いを算出する（Ｓ１３４）。

なお、図３（ｂ）の変形例のように、受光点ｒ２〜ｒ５が配設されている場合には、音素判定部２１２Ｃは、受光点ｒ２〜ｒ５が遮光されたかどうかの判定結果が距離算出部２１２Ａから通知される。受光点ｒ２〜ｒ５が配設されている場合には、この受光点ｒ２〜ｒ５の遮光の有無についても発光点ｔ０〜ｔ３の座標やこの座標の変化とともに、音素と対応付けて音素判定データベースＤＢに登録されている。そして、この遮光の有無をも考慮して、上記一致度合いが算出される。

例えば、「ｔ」と「ｎ」とでは、発光点ｔ０〜ｔ３の座標（舌等の口腔形状）やこの座標の変化（口腔の動き）の一致度合いはあまり変わらず、いずれの音素であるかを判別することが困難であるが、受光点ｒ２、ｒ３が遮光されている場合には、「ｎ」の可能性が高い。このような場合には、音素「ｔ」の場合には受光点ｒ２、ｒ３が遮光されていないと、音素「ｎ」の場合には受光点ｒ２、ｒ３が遮光されていると音素判定データベースＤＢに登録しておく。そして、受光点ｒ２、ｒ３が遮光されていないと通知された場合には、音素「ｎ」より音素「ｔ」への一致度合いが高く算出される。逆に、受光点ｒ２、ｒ３が遮光されていると通知された場合には、音素「ｔ」より音素「ｎ」への一致度合いが高く算出される。これによって、より精度良く音素の推定を行うことができる。

音素判定部２１２Ｃは、算出した一致度合い（評価結果）とＲＡＭ２４に記憶されている過去最大の一致度合いを示す評価結果（過去最大評価結果）とを比較して、評価結果が良いか（より一致度合いが高いか）どうかを判断する（Ｓ１３５）。なお、ＲＡＭ２４には、過去最大評価結果とともに、この過去最大評価結果に対応する音素の候補（過去最大候補）が記憶されている。

算出した評価結果の方が記憶されている評価結果より良い場合には（Ｓ１３５でＹＥＳ）、音素判定部２１２Ｃは今回算出した評価結果及びこれに対応する音素でＲＡＭ２４に記憶されている過去最大評価結果及び過去最大候補を更新する（Ｓ１３６）。この後、音素判定部２１２Ｃは後述のステップＳ１３７を実行する。

一方、算出した評価結果の方が記憶されている評価結果より悪い場合には（Ｓ１３５でＮＯ）、音素判定部２１２Ｃは、音素判定データベースＤＢに記憶されている全音素の候補についてステップＳ１３４を実行して一致度合いを算出したかどうかを判断する（Ｓ１３７）。音素判定データベースＤＢに記憶されている全音素の候補について一致度合いを算出していないと判断した場合には（Ｓ１３７でＮＯ）、音素判定部２１２Ｃは、本処理をステップＳ１３３に戻して、未だ選択されていない１の候補を選択する。

音素判定データベースＤＢに記憶されている全音素の候補について一致度合いを算出したと判断した場合には（Ｓ１３７でＹＥＳ）、音素判定部２１２ＣはＲＡＭ２４に記憶されている過去最大候補で発音処理を実行させるように、発音制御部２１３に指示する（Ｓ１３８）。この後、音素判定部２１２Ｃは、音素判定処理（その２）を終了させる。

なお、音素推定処理（その１）と音素推定処理（その２）とはマルチタスクで実行される。また、ステップＳ１３２で、フレーム群を切り出した場合に前回に切り出したフレーム群について音素推定処理（その２）が実行されている場合には、音素判定部２１２Ｃは前回のフレーム群についての処理を実行した後に今回切り出したフレーム群についての音素推定処理（その２）を実行する。

上述したように、本実施形態では、口腔センサ１００によって、各発光点ｔから出力されて受光点ｒに入力された光の強度を示す明るさ情報が取得される。この明るさ情報は、各発光点ｔから受光点ｒまでの距離ｄが反映されている。音素判定装置２００によって、この明るさ情報を用いて距離ｄを算出して、この距離ｄを用いて各発光点ｔ０〜ｔ３の位置座標（舌形状）を算出することができる。

そして、音素判定装置２００によって、各発光点ｔ０〜ｔ３の位置座標やこの位置座標の変化と、音素判定データベースＤＢに登録されている全ての音素に対応する各発光点ｔ０〜ｔ３の位置座標やこの位置座標の変化との一致度合いが算出される。そして、算出された一致度合いのうちで最も一意度合いが高い音素が、ユーザの口腔形状に対応する音素であると判定されて、この音素が発音される。

このように、口腔内に発光点ｔ及び受光点ｒを配設することで取得した明るさ情報を用いて舌形状及び舌形状の変化を検出し音素を判別するので、子音を精度良く判別することができる。これによって、口唇を外部から撮影した撮影画像から音素を判定する従来技術に比較してより精度良く音素を判定することができる。また、音素判定装置２００では、明るさ情報を用いて音素を判定することができるため、超音波画像を視認して音素を特定する従来方法とは異なり、口腔形状を視認して音素を特定できる技能を持たない一般ユーザでも音素を判定することができる。

また、本音声判定システムでは、口腔内には光ファイバ群３や支持枠４、シート部材５等の非金属で取り替え容易な部材のみを配置するので、洗浄や定期的な交換が容易である。このため、本音声判定システムは衛生面でも優れている。

本実施形態は、以下の変形例を採用することができる。

（１）なお、本実施形態では、発光点ｔの個数は４つであり、受光点ｒの個数は２つであるがこれに限定されず、音素を好適に特定できれば幾つであってもよい。もっとも、少なくとも、舌上に配設される発光点の個数は複数（２以上）あることが舌形状を判別することができるため好ましい。

（２）なお、発光点ｔ０〜ｔ３が舌上に配置されて、発光点ｔ０〜ｔ３の位置座標が算出される構成であるが、受光点ｒを複数（例えば４つ）舌上に配設するとともに発光点ｔを口腔上面に配設し、受光点ｒの位置座標が算出される構成であってもよい。この場合には、受光点ｒの位置座標から音素が判定される。

（３）また、音素判定データベースＤＢには、複数の音素及び各音素に対応する発光点ｔ０〜ｔ３の位置座標とこの位置座標の変化が出荷段階から予め登録されている。しかしながら、これに限定されず、出荷段階には各音素に対応する発光点ｔ０〜ｔ３の位置座標とこの位置座標の変化を未登録にしておき、ユーザが口腔センサ１００をセットした状態で、各音素の口腔形状及び動きをすることにより音素判定データベースＤＢに登録させてもよい。

（４）なお、本実施形態では、音素推定処理（その２）を用いて、音素判定データベースＤＢに登録される複数の音素から切り出したフレーム群に対応する音素を特定しているが、隠れマルコフモデル（ＨＭＭ）を生成してViterbiアルゴリズム等を用いて一番可能性の高い音素を特定してもよい。

（５）また、本実施形態では、音素判定装置２００によって、明るさ情報から発光点ｔ０〜ｔ３の位置座標（口腔形状）が算出されて、この口腔形状に基づいて音素が判定される。しかしながら、本発明はこの構成に限定されず、明るさ情報に対応する音素をニューラルネット等のアルゴリズムによって学習させて、明るさ情報から直接（口腔形状を算出せずに）音素が判定される構成であってもよい。

（６）なお、音素判定装置２００は、汎用のパーソナルコンピュータにアプリケーションプログラムをインストールした構成としたが、専用機を用いても良い。

（７）また、本実施形態では、判定した音素を発音しているが、この構成に限定されない。例えば、判定した音素を音素データとして記録したり、舌形状や文字にして画面表示してもよい。また、判定した音素が音声ワープロや電話発信のための音声ダイヤルとして用いられてもよい。

（８）また、本実施形態では、指示枠４は歯列の内側であるが、内側に代えて外側でもよい。更に、受光部ｒを指示枠４によって口蓋に取り付けられる構成に限定されず、口蓋に取り付けられさえすれば如何なる取り付け具によって取り付けてもよい。例えば、総入れ歯、歯列の矯正器具に取り付けることによって受光部ｒを口蓋に取り付ける構成等であってもよい。

口腔センサの外観構成を示す斜視図である。 （ａ）は接続線と光ファイバとの取り付け部分の構成を示す斜視図であり、（ｂ）は接続線と光ファイバとの取り付け部分の構成を示す斜視図である。 （ａ）は、図１で示す口腔内に取り付けられた状態の支持枠と受光点及びその周辺の構成をより詳細に示す図であり、（ｂ）は、変形例にかかる、口腔内に取り付けられた状態の支持枠と受光点及びその周辺の構成を示す図であり、同図（ｃ）は、図１で示すシート部材と発光点及びその周辺の構成を示す図である。 装置本体の内部構成及び音素判定装置の構成を示すブロック図である。 （ａ）は、ダイナミック点灯処理を示すフローチャートであり、（ｂ）は明るさ情報を示す図である。 音素の判定処理を示すフローチャートである。 （ａ）は、音素推定処理（その１）を示すフローチャートであり、（ｂ）は音素推定処理（その２）を示すフローチャートである。

符号の説明

１００−口腔センサ ３−光ファイバ ３１（３１Ａ〜３１Ｅ）−光ファイバ ３２−光ファイバ ５−シート部材 ８Ａ−受光部（受光素子、受光部） ８Ｂ−発光部（発光素子、発光部） １４−マイコン（受光強度検出手段） ２００−音素判定装置 ２１２−判定部 ２１２Ｂ−位置検出部 ２１２Ｃ−音素判定部 ｒ（ｒ０、ｒ１、ｒｊ）−受光点（受光部） ｔ（ｔ０〜ｔ３）−発光点（発光部）

Claims (5)

1. 装用者の口蓋および舌上の一方に装着された発光部と、他方に装着された受光部とを備え、前記発光部及び前記受光部のうち舌上に装着されるものが複数個あるセンサ部と、
   前記受光部の受光強度パターンを検出する受光強度検出手段と、
   を備えた口腔センサ。
2. 前記発光部は、口腔外に設けられた発光素子と、この発光素子からの光を舌上又は口蓋に伝達するための光ファイバを備え、
   前記受光部は、口腔外に設けられた受光素子と、この受光素子に舌上又は口蓋で入力された光を伝達するための光ファイバを備える、
   請求項１に記載の口腔センサ。
3. 前記発光部及び前記受光部のうち舌上に配置されるためのものは、ユーザの舌上に配置するための薄手のシート部材上に所定間隔を空けてそれぞれ配置されている、
   ことを特徴とする請求項１又は２に記載の口腔センサ。
4. 請求項１〜３の何れかに記載の口腔センサから前記明るさ情報を入力する入力部と、
   前記明るさ情報に基づいて、ユーザの口腔形状に対応する音素を判定する判定部と、
   を備えた音素判定装置。
5. 前記判定部は、
   前記明るさ情報に基づいて、前記光出力部及び前記受光部のうち舌上に配置された方の位置を所定時間間隔毎に検出する位置検出部と、
   前記位置検出部による複数回分の検出位置に基づいて、音素を判定する音素判定部と、
   を備えた、
   ことを特徴とする請求項４に記載の音素判定装置。

Images