JP2007187898A - 吹奏楽器練習システム及び吹奏楽器練習装置 - Google Patents

Abstract

【課題】演奏者に自己の口腔動作や口腔形状が手本に合致しているかどうかを演奏者に容易に報知することができ、これによって、演奏者に効果的に吹奏楽器の演奏の練習を行わせることができる吹奏楽器練習装置等を提供する。
【解決手段】 演奏者の口蓋および舌上の一方に装着された発光部、及び他方に装着された受光部を備え、発光部及び前記受光部のうち舌上に装着されるものが複数個あるセンサ部を備えた口腔センサ１００から受光部の受光強度パターンを入力する信号送受信部２５と、受光強度パターンに基づいて、演奏者の口腔形状及び／又は音素を判定する判定部２１２と、判定部によって判定された演奏者の口腔形状及び／又は音素を報知する表示部２７と、を備えた、ことを特徴とする吹奏楽器練習装置２００である。
【選択図】図５

Description

この発明は、吹奏楽器を練習するときに演奏者の口腔形状に対応する音素乃至は口腔形状を判定し、この判定結果を報知する吹奏楽器練習システム及び吹奏楽器練習装置に関する。

金管楽器、木管楽器等の吹奏楽器では、演奏者が適切な口腔形状や口腔動作（主に舌形状や舌動）で演奏を行わなければ、好適に演奏を行うことができない。例えば、一つの音を長く伸ばして発音するロングトーンでは、「ａ」「ｉ」「ｕ」「ｅ」「ｏ」の母音音素の口腔形状の中から適切な口腔形状が決まる。具体的には、低音では、口腔を広く開ける形状が適しており、音素「ｏ」の口腔形状等が適切である。一方、高音では、口腔を狭くして、音素「ｉ」等の口腔形状が適切である。

また、舌を口蓋（歯を含む）につくことで音を切って発音するタンギングの場合には、舌を口蓋につくときの口腔形状は「ｔ、ｄ、ｋ」等から好適なものが決定される。例えば、通常のシングルタンギングの場合には「ｔ」が、柔らかいシングルギングの場合には「ｄ」が、ダブルタンギングの場合には「ｔ−ｋ−ｔ−ｋ」または「ｄ−ｋ−ｄ−ｋ」と続けることが好適である。

そして、上記のように口蓋についた舌を離したときの口腔形状は上記母音の中から好適なものが決定される。例えば、低音では、口腔を広く開ける形状が適しており、「ｔｏ」、「ｄｏ」、「ｋｏ」等の音素の口腔形状等が適切である。一方、高音では、口腔を狭くして、「ｔｉ」、「ｄｉ」、「ｋｉ」等の音素の口腔形状が適切である。

楽譜の演奏箇所に応じた好適な口腔動作や口腔形状を示す音素は、手本として楽譜とともに教則本に記載されている。従来、演奏者は、この教則本を用いて、好適な口腔動作や口腔形状で演奏するための練習を行っていた。

しかしながら、音素と口腔形状や口腔動作との正しい対応を理解できていない場合には、演奏者は教則本の手本を用いて練習を行うことが困難であった。また、音素と口腔形状や口腔動作との正しい対応を理解できていても、演奏者が自分の口腔形状が手本の音素の口腔形状と一致するかどうかを判断することが困難であった。これらのことを原因として、従来の教則本を用いた演奏方法では、演奏者が効果的に吹奏楽器の演奏の練習を行うことができない場合があった。

上記課題を解決するために、本発明は、演奏者に自己の口腔動作や口腔形状が手本に合致しているかどうかを演奏者に容易に報知することができ、これによって、演奏者に効果的に吹奏楽器の演奏の練習を行わせることができる吹奏楽器練習システム及び吹奏楽器練習装置を提供することを目的としている。

上記課題を解決するために本発明では以下の手段を採用している。

（１）本発明は、演奏者の口蓋および舌上の一方に装着された発光部と、他方に装着された受光部とを備え、前記発光部及び前記受光部のうち舌上に装着されるものが複数個あるセンサ部と、前記受光部の受光強度パターンを検出する受光強度検出手段と、を備えた口腔センサと、前記口腔センサから受光強度パターンを入力する受光強度入力部と、前記受光強度パターンに基づいて、演奏者の口腔形状及び／又は該口腔形状によって発音されるべき音素を判定する判定部と、前記判定部によって判定された前記演奏者の口腔形状及び／又は音素を報知する報知部と、を備えた吹奏楽器練習装置と、を有することを特徴とする吹奏楽器練習システムである。

（２）本発明は、演奏者の口蓋および舌上の一方に装着された発光部、及び他方に装着された受光部を備え、前記発光部及び前記受光部のうち舌上に装着されるものが複数個あるセンサ部を備えた口腔センサから前記受光部の受光強度パターンを入力する受光強度入力部と、前記受光強度パターンに基づいて、演奏者の口腔形状及び／又は該口腔形状によって発音されるべき音素を判定する判定部と、前記判定部によって判定された前記演奏者の口腔形状及び／又は音素を報知する報知部と、を備えた、ことを特徴とする吹奏楽器練習装置である。

上記（１）及び（２）の構成によれば、口腔センサでは、発光部で発光された光は遮光されていなければ受光部によって受光される。ここで、受光部は演奏者の口蓋又は舌上に配置されるためのものである。また、発光部は、演奏者の口蓋及び舌上のうち受光部が配置されていない方に配置されるためのものである。

このため、受光部には、口腔上部と舌上にある発光部及び受光部間の距離に応じた強度で光が入力される。また、舌等によって遮光されていれば受光部には光が入力されない。ここで、発光部及び受光部のうち舌上に配置される方が複数配置されるため、受光強度は演奏者の舌形状等の口腔形状によって様々なパターンになる。この受光強度パターンが検出される。

吹奏楽器練習装置では、この受光強度パターンが入力部によって入力される。そして、判定部によって、受光強度パターンに基づいて、演奏者の口腔形状及び／又は該口腔形状によって発音されるべき音素が判定される。上述したように、受光強度パターンは演奏者の舌形状等の口腔形状に対応するものであるため、受光強度パターンを用いると口腔形状を精度良く判定することが可能になる。判定された演奏者の口腔形状及び／又は音素は報知部によって報知される。

これによって、演奏者に対して自己の口腔形状及び／又は該口腔形状によって発音されるべき音素を知らせることが可能になる。このため、演奏者は自己の口腔形状や口腔動作が好適かどうかを容易に確認することができ、効果的に吹奏楽器の演奏の練習を行うことが可能になる。

（３）本発明は、上述した吹奏楽器練習装置において、前記報知部は、前記判定部によって判定された演奏者の口腔形状及び／又は音素を表示する、ことを特徴とする。この構成によれば、演奏者に対して視覚を通じて自己の口腔形状及び／又は音素を把握させることが可能になり、演奏者に対して理解容易に自己の口腔形状及び／又は音素を知らせることが可能になる。

（４）本発明は、上述した吹奏楽器練習装置において、楽譜データを記憶する楽譜記憶部と、前記楽譜データを前記楽譜記憶部から読み出して、読み出した楽譜データに対応する音素を手本音素として取得する手本音素取得部と、前記手本音素と前記判定部によって判定された音素とを比較する比較部とを更に備え、前記報知部は、該比較部による比較結果を表示する、ことを特徴とする。

上記構成によれば、演奏者に対して、手本音素と演奏者の口腔形状に合致した音素との比較結果が表示される。このため、自己の口腔形状が手本音素と合致するかどうかを演奏者に理解容易に報知することが可能になる。

（５）本発明は、上述した吹奏楽器練習装置において、楽譜データを記憶する楽譜記憶部と、前記楽譜データを用いて、演奏タイミングが到来した音素がロングトーン及びタンギングのうちいずれに対応するかを判定する演奏方法判定部と、を更に備え、前記報知部は、前記演奏方法判定部によってロングトーンに対応すると判定されたときに、前記判定部によって判定された口腔形状を静止画として表示する、ことを特徴とする。

上記構成によれば、ロングトーンに対応すると演奏方法判定部によって判定されたときには、判定部によって判定された口腔形状が静止画として表示される。ここで、ロングトーンは、一つの音を長く伸ばして発音する演奏方法であるため、好適な口腔形状は母音の音素である。このため、静止画を表示することで、好適な口腔形状と合致しているかを判断するために十分に、かつ動画で表示するのに比較して簡易な処理で、演奏者に対して自己の口腔形状を表示することが可能になる。

（６）本発明は、上述した吹奏楽器練習装置において、前記報知部は、前記演奏方法判定部によってタンギングに対応すると判定されたときに、前記判定部によって連続的に判定された複数回の口腔形状の動きを動画で表示する、ことを特徴とする。

上記構成によれば、タンギングに対応すると演奏方法判定部によって判定されたときには、判定部によって連続的に判定された複数回の口腔形状の動きが動画として表示される。ここで、タンギングは、舌を口蓋につけることで音を切って発音する演奏方法であるため、舌をつくときの口腔形状、舌を離した後の口腔形状が好適な口腔形状あり、かつ、舌をついてから離すまでの口腔動作が好適な口腔動作でなくてはならない。このため、動画を表示することで、演奏者に対して、舌をつくときの口腔形状、舌を離した後の口腔形状及び舌をついてから離すまでの口腔動作が好適な口腔動作であるかを表示することが可能になる。このため、タンギングにおいて、好適な口腔形状及び口腔動作と合致しているかを判断するために十分な情報を、演奏者に対して表示することが可能になる。

本発明によれば、演奏者に対して自己の口腔形状及び／又は口腔形状に対応する音素を知らせることができる。これによって、演奏者は自己の口腔形状や口腔動作が好適かどうかを容易に確認することができ、効果的に吹奏楽器の演奏の練習を行うことができる。

＜第１の実施形態＞
以下に図１〜図９を参照して本発明の第１の実施形態である吹奏楽器練習システムを説明する。

（第１の実施形態の概念）
吹奏楽器練習システムは、口腔センサ１００（図２及び図５を参照）と吹奏楽器練習装置２００（図５を参照）とを備えている。口腔センサ１００は、口腔内の形状を検出するためのセンサである。本吹奏楽器練習システムでは、演奏者が口腔センサ１００を口腔内に取り付けた状態で管楽器の練習を行う。このときの口腔センサ１００からの情報に基づいて、吹奏楽器練習装置２００が、本音素判定システムの演奏者の口腔形状に対応する音素を判定し、判定した音素を表示する。

ここで、本吹奏楽器練習システムを用いて演奏練習を行うことができる吹奏楽器は、例えば、オーボエ、クラリネット、フルート、ファゴット、サックス等の木管楽器や、トランペット、トロンボーン等の金管楽器がある。

図１は、第１の実施形態でのディスプレイＤへの表示の一例を示す図である。このディスプレイＤは、吹奏楽器練習装置２００が備えているものである。同図（ａ）は、演奏開始時のディスプレイＤの表示を示す。ディスプレイＤには、演奏の流れに従って、順次楽譜画像Ｇ１の一部が表示される。これとともに、楽譜画像Ｇ１の各音符等に対応する口腔形状を表す音素を示す文字である手本音素画像Ｇ２が表示される。

練習の進行に伴って、演奏タイミングをガイドするスクロールバーＧ３がディスプレイ上の左から右に向かってスクロールする。楽譜画像Ｇ１におけるスクロールバーＧ３が重なっている箇所は演奏タイミングが到来した箇所である。スクロールバーＧ３の移動に合わせて、演奏者は管楽器の演奏を行う。

同図（ｂ）は、演奏途中でのディスプレイＤの表示を示す。ここでは、表示されている楽譜画像Ｇ１の全ての音符をスクロールバーＧ３がスクロールした後であり、演奏者の音素画像Ｇ４が表示されている。音素画像Ｇ４は吹奏楽器練習装置２００が演奏者の口腔形状や口腔動作に対応すると判定した音素を表す文字である。ここで、「対応する音素」とは、検出した口腔形状や口腔動作に最も近い口腔形状や口腔動作で発音される音素である。音素画像Ｇ４は、この音素が判定される毎に対応する手本音素画像Ｇ２の近傍に順次表示される。

手本音素画像Ｇ２として表示されるのは、従来技術で説明したようにロングトーンの場合には、「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」の母音である。また、タンギングの場合には、通常のシングルタンギングの場合には、「ｔａ」、「ｔｉ」、「ｔｕ」、「ｔｅ」、「ｔｏ」である。柔らかいシングルタンギングの場合には、「ｄａ」、「ｄｉ」、「ｄｕ」、「ｄｅ」、「ｄｏ」である。ダブルタンギングの場合の後半音には、「ｋａ」、「ｋｉ」、「ｋｕ」、「ｋｅ」、「ｋｏ」等である。

演奏者が正しい演奏をした場合には、音素画像Ｇ４は手本音素画像Ｇ２と同様の音素で表示される。一方、演奏者が誤った演奏をした場合には、音素画像Ｇ４は手本音素画像Ｇ２と異なった、演奏者の口腔形状や口腔動作で発音された音素で表示される。

また、音素画像Ｇ４を囲んで枠Ｇ５（細枠Ｇ５１、太枠Ｇ５２）が表示される。吹奏楽器練習装置２００は手本音素画像Ｇ２と音素画像Ｇ４を比較して両者が一致しているかどうかを判定し、一致している場合には細枠Ｇ５１が表示され、一致していない場合には太枠Ｇ５２が表示される。

上記のように、音素画像Ｇ４の表示によって、演奏者の口腔形状や口腔動作に対応する音素が表示されるため、演奏者は自己の口腔形状や動作を把握することができる。また、枠Ｇ５（細枠Ｇ５１、太枠Ｇ５２）の表示によって、自己の口腔形状や口腔動作に対応する音素と手本音素との一致／不一致が表示される。このため、演奏者は自己の口腔形状や口腔動作が好適なものであるかを容易に把握することができる。

（口腔センサ１００の外観構成）
以下に図２〜図４を用いて口腔センサ１００の外観構成を説明する。図２は、口腔センサ１００の外観構成を示す斜視図である。なお、以下の実施形態において、演奏者の正面側をＹ側、演奏者の後方側を−Ｙ側、演奏者の右側をＸ側、演奏者の左側を−Ｘ側と記載する。

口腔センサ１００は、装置本体１に接続線２を介して光ファイバ群３を接続してなる。

光ファイバ群３はその先端が演奏者の口腔内に導入される。光ファイバ群３のうち、２つの光ファイバ３１（３１Ａ、３１Ｂ）はその先端が口腔上面に配置される。また、残り４つの光ファイバ３２（３２Ａ〜３２Ｄ）はその先端が舌上に配置される。以下、光ファイバ３１の先端は受光点ｒ（本願発明の受光部に対応）と、光ファイバ３２の先端は発光点ｔ（本願発明の発光部に対応）と記載する。発光点ｔ及び受光点ｒは球面状に加工されており、発光点ｔからは周囲に均一に光が出力され、受光点ｒは周囲からの光を均一に入力するように調整されている。なお、発光点ｔ及び受光点ｒは球面状に限定されないが、光の入出力特性が無指向性になる形状に加工されていることが好ましい。

発光点ｔと受光点ｒの口腔内への取り付けを説明する。受光点ｒは、Ｕ字状の支持枠４における所定の位置に取り付けられている。支持枠４は、プラスチック等の樹脂で形成されており、可撓性の部材である。支持枠４の両側の棒状部分を演奏者が指等を用いて内側に撓め、この状態で上側の歯列の内側に配置した後に指等を離すと、支持枠４は歯列の内側で規制されて固定される。このように、支持枠４が上側の歯列の内側に取り付けられることで、受光点ｒは口腔上面に取り付けられる。

そして、発光点ｔは、シート部材５上に所定間隔を空けて配置される。シート部材５は、例えば食品用ラップフィルム等のような、５〜１５μｍ程度の薄手に形成された樹脂フィルム部材である。シート部材５は、舌上に密着するように載置される。このこのように、シート部材５を介して発光点ｔを舌上に取り付けるため、舌上に密着させて配置することができ、発光点ｔの座標と舌の座標とを一致させることができる。また、舌の動きを妨げずに舌上に発光点ｔを取り付けることができる。

上述のように、本実施形態では、口腔内には、光ファイバ群３及び樹脂製の支持枠４及びシート部材５を入れるだけでよいため、金属製の部材を入れなくても発光点ｔ及び受光点ｒを口腔内に取り付けることができる。口腔内に金属製の部材を入れると、歯に別の金属製の詰物がある場合等にガルバニー電流が生じ、歯の神経の疼痛を引き起こす場合があるが、本実施形態では、このようなガルバニー電流の発生を防止することができる。

なお、受光点ｒや発光点ｔの支持枠４やシート部材５への取り付け位置については、詳しくは後述する。

光ファイバ３１、３２は、例えば耳掛けタイプのフレーム部６によって、口腔外側の口唇付近で支持されている。すなわち、フレーム部６の口唇付近には、筒状部材６１と筒状部材６２が取り付けられ、この筒状部材６１、６２に光ファイバ３１、３２が挿入されており、これによって、光ファイバ３１、３２の口腔内への挿入量が可変になるように、光ファイバ３１、３２を支持することができる。

光ファイバ３１、３２の他端部は、接続線２の一端に接続されている。光ファイバ３１に接続される接続線２を接続線２Ａ、光ファイバ３２に接続される接続線２を接続線２Ｂと記載する。

図３は、（ａ）は接続線２Ａと光ファイバ３１との取り付け部分の構成を示す斜視図であり、（ｂ）は接続線２Ｂと光ファイバ３２との取り付け部分の構成を示す斜視図である。（ａ）で示すように接続線２Ａの先端には、例えばフォトダイオード等からなる受光部８Ａ（本願発明の受光部に対応）が取り付けられている。この受光部８Ａの先端と光ファイバ３１の端部とが接した状態で筒状のキャップ９に外嵌され、これによって、受光部８Ａと光ファイバ３１が接続される。光ファイバ３１から受光部８Ａに光が入力されると、受光部８Ａによって受光強度に応じた信号が接続線２Ａを介して装置本体１に入力される。

（ｂ）で示すように、接続線２Ｂの先端には、例えば発光ダイオード等からなる発光部８Ｂ（本願発明の発光部に対応）が取り付けられている。この発光部８Ｂの先端と光ファイバ３２の端部とが接した状態で筒状のキャップ９に外嵌され、これによって、発光部８Ｂと光ファイバ３２が接続される。発光部８Ｂは接続線２Ｂを介して装置本体１から電力が供給されることにより発光する。この光は光ファイバ３２を通って口腔内に導入され、発光点ｔから口腔内に出力される。

そして、発光点ｔから出力された光は受光点ｒに入力されて、光ファイバ３１を介して受光部８Ａに入力される。ここで、受光部８Ａへの受光強度は、発光点ｔから受光点ｒまでの距離が近い程強くなる。また、舌の受光点ｒを配置した部分を口腔上面に押し付けている場合等には、口腔上面で遮光されて受光部８Ａに光が入力されない。

なお、光ファイバ群３、受光部８Ａ、発光部８Ｂ及び接続線２で本願発明のセンサ部を構成する。

装置本体１には、受光部８Ａから受光強度に応じた信号が入力され、これを用いて各発光点ｔから各受光点ｒに入力された光の各受光強度（受光強度パターン）を示す明るさ情報を生成する。装置本体１は、生成した明るさ情報を通信線７を介して吹奏楽器練習装置２００に入力する。装置本体１の内部構成については、詳しくは後述する。

図４（ａ）は、口腔内に取り付けられた状態の支持枠４と受光点ｒ及びその周辺の構成をより詳細に示す図である。支持枠４には、そのＸ側に沿って光ファイバ３１Ａの一部が固着され、その−Ｘ側に沿って光ファイバ３１Ｂの一部が固着されている。そして、光ファイバ３１Ａ、３１Ｂは先端部が屈曲するように形成されており、その屈曲部が支持枠４の端部から内側に向かうように取り付けられている。

この内側に向かった屈曲部は支持枠４の中央付近で更にＹ側に屈曲されて形成されている。この屈曲された光ファイバ３１Ａの先端部は前歯付近まで延びるように形成され、光ファイバ３１Ｂの先端部は最奥の奥歯付近に位置するように形成されている。これによって、光ファイバ３１Ｂの受光点ｒ（ｒ０）が両サイドの奥歯間の略中央に位置するとともに、光ファイバ３１Ａの受光点ｒ（ｒ１）が両サイドの糸切り歯間の略中央に位置するようになっている。

演奏者が演奏するように口腔を形作る場合に、舌は受光点ｒ０と受光点ｒ１との間の領域で動作する。このため受光点ｒ０と受光点ｒ１に入力された光の明るさ情報を用いることで、吹奏楽器練習装置２００では精度良く発光点ｔの位置を測定することができ、これによって、口腔形状や口腔動作、この口腔形状や口腔動作に基づく音素の判定精度を向上させることができる。受光点ｒ０と受光点ｒ１によって、舌が口蓋についたかや母音（「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」）の口腔形状及び音素を特に精度良く判定することができる。このため、ロングトーンのときや、タンギングの舌を口蓋から離したときの口腔形状やタンギングされたかを効果的に判定することができる。

また、タンギングの舌を口蓋につけたときの口腔形状及び口腔動作を判定するためには、同図（ｂ）で示すように、受光点ｒ１の−Ｘ側に隣接して受光点ｒ（ｒ２）が位置するような光ファイバ３１Ｃと、Ｘ側に隣接して受光点ｒ（ｒ３）が位置するような光ファイバ３１Ｄが更に配設されることが好ましい。この受光点ｒ２、ｒ３によって、「ｄ」や「ｔ」の音素を吹奏楽器練習装置２００で精度良く判定することが可能となる。すなわち、「ｄ」と「ｔ」は、口腔形状及びこの口腔形状の変化が似ており、両方とも舌が受光点ｒ１の位置に接触することになる。

このため、「ｄ」の場合も「ｔ」の場合も、受光点ｒが遮光されて光が入力されず、受光点ｒ０、ｒ１が配置されるだけでは「ｄ」と「ｔ」との近いを判別することは困難である。しかしながら、「ｄ」と「ｔ」とは、口腔上面に舌が接触する幅が異なる。具体的には、「ｔ」より「ｄ」の方が幅広く舌が接触する。このため、受光点ｒ２、ｒ３を加えることで、受光点ｒ２、ｒ３とも舌で遮光されていれば「ｄ」、遮光されていなければ「ｔ」と判別することが可能となる。

なお、「ｋ」と、「ｄ」及び「ｔ」の違いは、舌が口蓋に接触した後の口腔動作によって判別される。すなわち、「ｋ」の場合には、舌が口蓋に接触した後に振動する。このため、舌が口蓋に接触した後に舌の振動を示すような受光強度の激しい変化があった場合に、「ｋ」であると判別される。

同図（ｃ）は、図２で示すシート部材５と発光点ｔ及びその周辺の構成を示す図である。シート部材５は縦長形状であり、このシート部材５には所定の間隔を空けて４つの発光点ｔ（ｔ０〜ｔ３）が縦方向に並列に取り付けられている。なお、必ずしも４つ必要ではなく、それ以下の個数（３つ等）であっても、それ以上の個数であってもよい。

舌の先端の動きや形状に音素の特徴が出ることから、シート部材５は、最も手前にある発光点ｔ３が舌の先端近傍に位置するように載置されることが好ましい。

（装置本体１の内部構成）
図５は、装置本体１の内部構成及び吹奏楽器練習装置２００の構成を示すブロック図である。

まず、装置本体１の内部構成を説明する。装置本体１は、発光制御部１１、受光強度入力部１２、信号送受信部１３及びマイコン１４を備える。発光制御部１１は、接続端子１５（１５Ａ〜１５Ｄ）に接続された接続線２Ｂ（図３を参照）を介して発光部８Ｂに電力を供給する。この電力の供給はマイコン１４（ＣＰＵ１４３）から入力した指示信号に従って行われる。これによって、発光制御部１１は発光部８Ｂの発光を制御する。

受光強度入力部１２は、接続端子１６（１６Ａ、１６Ｂ）に接続された接続線２Ａ（図３を参照）を介して受光部８Ａから発光強度に応じた信号を入力する。受光強度入力部１２は、この発光強度を示すデジタル信号を生成してマイコン１４（ＣＰＵ１４３）に入力する。

信号送受信部１３は、接続端子１７に接続された通信線７（図２を参照）を介して吹奏楽器練習装置２００との間で通信を行う通信インタフェース回路である。信号送受信部１３は、吹奏楽器練習装置２００から明るさの検出開始の制御信号を入力したときにはマイコン１４（ＣＰＵ１４３）にこの制御信号を出力する。

マイコン１４は、本願発明の受光強度検出手段に対応し、ＲＯＭ１４１、ＲＡＭ１４２及びＣＰＵ１４３等を備える。ＲＯＭ１４１は、本装置本体１を動作させるためのプログラム及びこのプログラムの実行に必要なデータが記憶されている。例えば、このプログラムには、本装置本体１に後述のダイナミック点灯処理を実行させるためのプログラムや、明るさ情報生成処理を実行させるためのプログラムがある。

ＲＡＭ１４２は、ＣＰＵ１４３の作業領域として機能する。ＣＰＵ１４３は、ＲＯＭ１４１に記憶されたプログラムを実行することで、後述のダイナミック点灯処理を実行する。このダイナミック点灯処理は、発光制御部１１を用いて４つの発光部８Ｂを順番に点灯させるように制御する処理である。なお、４つの発光部８Ｂについて異なる発光色で発光するものを用いる場合には、ＣＰＵ１４３は、ダイナミック点灯処理ではなく、４つの発光部８Ｂを同時に点灯させるように制御する処理を実行してもよい。

また、ＣＰＵ１４３は、ＲＯＭ１４１に記憶されたプログラムを実行することで、明るさ情報生成処理を実行する。明るさ情報生成処理では、ＣＰＵ１４３は、受光強度入力部１２から入力された信号を用いて明るさ情報を生成する。明るさ情報とは、発光点ｔ０〜ｔ３のそれぞれから受光点ｒ０に入力されて受光部８Ａで受光した光の強度と、発光点ｔ０〜ｔ３のそれぞれから受光点ｒ１に入力されて受光部８Ａで受光した光の強度を示す情報である。

ここで、演奏者が口唇を開いていた場合には、発光点ｔからの光に加えて口腔外からの外光が受光点ｒに入力される。発光点ｔからの成分のみの発光強度を取得するために、ＣＰＵ１４３は、入力した信号の示す発光強度のうち外光の成分に由来する部分を推測し、この外光成分を除いた発光強度を算出して算出した発光強度を明るさ情報とする。この処理には、典型的には広く知られる光変調法を用いることができる。

光変調法とは、発光素子と受光素子からなる計測系において、発光する光の強度に自然光では通常存在しないような時間変化（例えば１０ＫＨｚのＯｎ／Ｏｆｆ）を付し、受光部に続く後処理過程において、その時間変調成分のみ取り出す（先の例では１０ｋＨｚのバンドパスフィルタ）ことで、自然光の影響を回避し計測精度を高める手法として広く知られるものである。

ＣＰＵ１４３は、信号送受信部１３から検出開始の制御信号を入力したときに、上述したダイナミック点灯処理及び明るさ情報生成処理をマルチタスクで実行する。また、ＣＰＵ１４３は、明るさ情報生成処理によって生成した明るさ情報を信号送受信部１３を用いて吹奏楽器練習装置２００に送信する。

（吹奏楽器練習装置２００の構成）
次に、同図（図５）を用いて吹奏楽器練習装置２００の構成を説明する。吹奏楽器練習装置２００は、汎用のパーソナルコンピュータでアプリケーションプログラムを実行させて構成する。吹奏楽器練習装置２００は、ＣＰＵ２１に、ＲＯＭ２２、ハードディスク２３、ＲＡＭ２４、信号送受信部２５、入力部２６及び表示部２７がバス２８に接続されて構成される。

ＲＯＭ２２は、本吹奏楽器練習装置（パーソナルコンピュータ）２００を起動させるための起動用プログラムが記憶されている。ハードディスク２３は、本吹奏楽器練習装置２００を動作させるためのプログラムやこのプログラムの実行に必要なデータが記憶されている。このプログラムには、例えば、本吹奏楽器練習装置２００に後述の音素の判定処理（距離算出処理、座標推定処理、音素推定処理）を実行させるプログラムがある。これらの処理については、詳しくは後述する。

ハードディスク２３には、データベース記憶部２３１が設けられており、このデータベース記憶部２３１には、発光点ｔ０〜ｔ３の座標（舌等の口腔形状）やこの座標の変化（口腔の動き）と音素とを対応付けた音素判定データベースＤＢが記憶されている。ＲＡＭ２４は、ＣＰＵ２１の作業領域として機能し、ハードディスク２３等から読み出されたプログラムやデータが一時的に記憶される。

信号送受信部２５は、装置本体１（信号送受信部１３）との間で通信を行う通信インタフェースである。信号送受信部２５は、信号送受信部１３から明るさ情報を入力した場合に、入力した明るさ情報をＣＰＵ２１（後述の距離算出部２１２Ａ）に入力する。また、図略の操作部で演奏者から音素の判定の開始指示を受け付けた場合に、ＣＰＵ２１が上述した検出開始の制御信号を信号送受信部２５に入力するが、信号送受信部２５は入力した検出開始の制御信号を信号送受信部１３に送信する。

入力部２６は、例えばＤＶＤドライバ等であり、演奏曲の楽譜を示すデータ（楽譜データ）が記憶されたＤＶＤ等の記憶媒体２６ａを接続する。入力部２６は、ＣＰＵ２１（後述の表示制御部２１３）から指示に基づいて、記憶媒体２６ａから楽譜データを入力して、ＲＡＭ２４に記憶させる。

表示部２７は、ＬＣＤ（LiquidCrystal Display）等のディスプレイＤ（図１を参照）等で構成される。表示部２７は、ＣＰＵ２１（表示制御部２１３）によって表示制御される。

ＣＰＵ２１は、ハードディスク２３に記憶されたプログラムを実行することで、センサ制御部２１１、判定部２１２及び表示制御部２１３として機能する。センサ制御部２１１は、信号送受信部２５を用いて制御信号を装置本体１に送信することで、装置本体１の動作を制御する。この制御信号には、例えば上述した検出開始の制御信号がある。

判定部２１２は、装置本体１から入力した明るさ情報を用いて音素を判定する音素の判定処理を実行する機能部である。判定部２１２は、距離算出部２１２Ａ、位置検出部２１２Ｂ及び音素判定部２１２Ｃを機能的に含む。距離算出部２１２Ａは、明るさ情報が信号送受信部２５から入力される。距離算出部２１２Ａは、距離算出処理を実行することで、明るさ情報を用いて各発光点ｔ０〜ｔ３から受光点ｒ０、ｒ１までの距離（以下、距離情報と記載）を算出する。距離算出処理については、図８のフローチャートを用いて後述する。

位置検出部２１２Ｂは、座標推定処理を実行することで、距離算出部２１２Ａで算出した距離情報に基づいて、発光点ｔ０〜ｔ３の位置座標すなわち口腔の形状を推定する。座標推定処理については、図８のフローチャートを用いて後述する。

音素判定部２１２Ｃは、音素推定処理を実行することで、位置検出部２１２Ｂの推定した位置座標を音素判定データベースＤＢと比較することで、口腔形状に合致した音素を判定する。音素判定部２１２Ｃは、判定した音素を表示制御部２１３に通知する。音素推定処理については、詳しくは図８及び図９のフローチャートを用いて後述する。

図６は、表示制御部２１３の機能的構成を示すブロック図である。表示制御部２１３は、図６で示すように、楽譜表示制御部２１３Ａ、手本音素取得部２１３Ｂ、音素比較部２１３Ｃ、及び音素テキスト表示制御部２１３Ｄを機能的に備えている。以下、図６及び図１を参照して、表示制御部２１３の各機能部について説明する。

楽譜表示制御部２１３Ａは、楽譜画像Ｇ１をディスプレイＤに表示するための処理（楽譜表示処理）を実行する。具体的には、楽譜表示制御部２１３Ａは、入力部２６を介して記憶媒体２６ａから楽譜データ（以下、楽譜データｓ１とする）をＲＡＭ２４に読み出す。そして、楽譜表示制御部２１３Ａは、ＲＡＭ２４から楽譜データｓ１を順次読み出す。楽譜データｓ１は、１回分としてディスプレイＤに表示する単位で区分されている。この区分データの先頭部分には、各音符の演奏タイミングを示すタイミングデータが含まれている。

楽譜表示制御部２１３Ａは、読み出した楽譜データｓ１に基づいて楽譜画像Ｇ１を生成する。楽譜表示制御部２１３Ａは、生成した楽譜画像Ｇ１を表示部２７に表示させ、これによって、演奏者に演奏曲の楽譜を表示することができ、演奏者はこの楽譜を見ながら演奏することができる。

なお、ハードディスク２３には、楽譜画像Ｇ１、手本音素画像Ｇ２、スクロールバーＧ３、音素画像Ｇ４及び枠Ｇ５のための画像データがアプリケーションのインストールにともなって記憶され、この画像データを用いて楽譜画像Ｇ１、手本音素画像Ｇ２、スクロールバーＧ３、音素画像Ｇ４及び枠Ｇ５が生成される。

また、楽譜表示制御部２１３Ａは、スクロールバーＧ３を生成して表示部２７に表示する。楽譜表示制御部２１３Ａは、入力された楽譜データｓ１を参照して、楽譜画像Ｇ１におけるタイミングデータの示す演奏位置に、スクロールバーＧ３を表示する。楽譜表示制御部２１３Ａは、スクロールバーＧ３をテンポクロックに従って移動させる。これによって、各音符の演奏タイミングを演奏者に表示することができる。

手本音素取得部２１３Ｂは、楽譜データｓ１に対応する手本音素ｓ２を取得する処理（手本音素取得処理）を実行する。具体的には、手本音素取得部２１３Ｂには、楽譜表示制御部２１３Ａに楽譜データｓ１が入力されるのに同期して楽譜データｓ１が入力される。手本音素取得部２１３Ｂは、楽譜データｓ１の入力があったときに、ＲＡＭ２４に記憶されている、手本音素を取得するためのデータを参照する。

このデータＤ１とは、例えば楽譜データの特徴（各音符の音長、音高、演奏記号（スラー、スタッカート等））とこの特徴に対応する音素とが対応付けられたテーブル（音素テーブル）等である。このデータＤ１は、アプリケーションのインストールにともなって、ハードディスク２３に記憶される。

手本音素取得部２１３Ｂは、楽譜データｓ１における各音符の特徴に対応する音素を音素テーブルから取得して、この音素を手本音素ｓ２として音素テキスト表示制御部２１３Ｄに入力する。

また、手本音素取得部２１３Ｂは、楽譜表示制御部２１３Ａから各音符の演奏タイミングの到来が通知され、通知された音符に対応する手本音素ｓ２を音素比較部２１３Ｃに入力する。

音素比較部２１３Ｃには、手本音素ｓ２とともに、音素判定部２１２Ｃで判定した音素ｓ３が入力される。音素比較部２１３Ｃは、入力された音素ｓ３と手本音素ｓ２とを比較する。音素比較部２１３Ｃは、この比較の結果、手本音素ｓ２と音素ｓ３が一致しているかどうかを判定して、判定結果ｓ４を音素ｓ３とともに音素テキスト表示制御部２１３Ｄに入力する。

音素テキスト表示制御部２１３Ｄは、手本音素取得部２１３Ｂで取得した手本音素ｓ２を示す手本音素画像Ｇ２を表示する処理（手本音素表示処理）を実行する。具体的には、音素テキスト表示制御部２１３Ｄは、手本音素ｓ２が入力されたとき、入力された手本音素ｓ２に基づいて手本音素画像Ｇ２を作成し、表示部２７に表示する。これによって、楽譜データｓ１の所定の演奏箇所の手本音素画像Ｇ２を表示することができ、演奏者に対して演奏に好適な口腔形状、口腔動作を知らせることができる。

また、音素テキスト表示制御部２１３Ｄは、音素ｓ３を示す音素画像Ｇ４と、判定結果ｓ４を示す枠Ｇ５を表示する処理（音素表示処理）を実行する。具体的には、音素テキスト表示制御部２１３Ｄは、音素比較部２１３Ｃから音素ｓ３と判定結果ｓ４が入力されたときに、音素ｓ３を示す音素画像Ｇ４を生成して表示部２７に表示する。これによって、演奏者に対して自己の口腔形状や口腔動作を報知することができる。

また、音素テキスト表示制御部２１３Ｄは、判定結果ｓ４を示す枠Ｇ５を生成して表示部２７に表示する。すなわち、音素テキスト表示制御部２１３Ｄは、判定結果ｓ４が一致を示す場合（手本音素ｓ２と音素ｓ３が一致する場合）には、細枠Ｇ５１を生成して表示部２７に表示し、判定結果ｓ４が不一致を示す場合（手本音素ｓ２と音素ｓ３が不一致の場合）には、太枠Ｇ５２を生成して表示部２７に表示する。これによって、演奏者に対して自己の口腔形状や口腔動作が好適なものであったかを視認容易に報知することができる。

図７（ａ）は、ダイナミック点灯処理を示すフローチャートであり、（ｂ）は明るさ情報を示す図である。（ａ）を参照して、まず、ＣＰＵ１４３は、発光点ｔｉのみを点灯させるように発光制御部１１に指示する。最初はｉは０に設定され、発光点ｔ０が発光するように制御される（Ｓ１）。

次に、ＣＰＵ１４３は、受光点ｒｊの明るさ情報を生成する（Ｓ２）。ｊは、最初は０に設定されている。具体的には、ＣＰＵ１４３は、ステップＳ１の実行後から所定時間が経過するまでに受光強度入力部１２から入力された信号を用いて、明るさ情報を生成してＲＡＭ１４２に記憶する。

この後、ＣＰＵ１４３は、ｊが１以上であるかを判断して（Ｓ３）、ｊが１より小さい（すなわち０）であると判断した場合には（Ｓ３でＮＯ）、ｊの値に１を足して（Ｓ４）、ステップＳ２に戻す。一方、ＣＰＵ１４３は、ｊが１以上であると判断した場合には（Ｓ３でＹＥＳ）、ｉが４以上であるかを判断して（Ｓ５）する。ｉが４より小さい（０〜３）と判断した場合には（Ｓ５でＮＯ）、ＣＰＵ１４３は、ｉの値に１を足すとともにｊを０に設定して（Ｓ６）、ステップＳ１に戻す。

一方、ＣＰＵ１４３は、ｉが４以上であると判断した場合には（Ｓ５でＹＥＳ）、ＲＡＭ１４２には、同図（ｂ）で示すように各発光点ｔ０〜ｔ３から受光点ｒ０、受光点ｒ１それぞれに入力された光の各明るさ情報（明るさ情報ａ〜ｈ）が記憶されている。この場合には、ＣＰＵ１４３は本処理を終了させる。なお、各明るさ情報ａ〜ｈは上述したように吹奏楽器練習装置２００に送信される。

図８は、音素の判定処理を示すフローチャートである。音素の判定処理は、距離算出部２１２Ａに明るさ情報が入力された場合に実行される。まず、距離算出部２１２Ａは入力された明るさ情報を用いて距離算出処理を実行する（Ｓ１１）。

距離算出処理では、明るさは距離の自乗に反比例することから、発光点ｔから受光点ｒまでの距離ｄを下記式（１）を用いて算出する。

ｄ＝１／√ｂ・・・式（１）
上記ｂは、明るさ情報の示す明るさを表す。

上記式（１）によって、距離算出部２１２Ａは、各発光点ｔ０〜ｔ３から各受光点ｒ０、ｒ１それぞれまでの各距離ｄを求める。

なお、上述したように、発光点ｔ及び受光点ｒは球面状に加工されており、発光点ｔからは周囲に均一に光が出力され、受光点ｒは周囲からの光を均一に入力するように調整されている。このように調整されていても、発光点ｔ及び受光点ｒが指向性を持つ場合があり、この場合には上記式（１）を用いても正確に距離ｄを算出することができない場合がある。このような場合には、実測によって予め明るさｂに対応する距離をサンプルとしてハードディスク２３に記憶させておき、距離算出部２１２Ａがこのサンプルに最小自乗法で当てはめて距離ｄを算出するようにしてもよい。

なお、図４（ｂ）の変形例のように、受光点ｒ２、ｒ３が配設されている場合がある。受光点ｒ２、ｒ３は、受光点ｒ０、ｒ１のように発光点ｔの位置座標を検知することを目的としたものではなく、遮光されたかどうかだけを検知することを目的とする。距離算出部２１２Ａは受光点ｒ２、ｒ３についての明るさ情報から受光点ｒ２、ｒ３が遮光されたかどうかを判定し、この判定結果を音素判定部２１２Ｃに通知する。

次に、位置検出部２１２Ｂが座標推定処理を実行する（Ｓ１２）。この座標推定処理では、上述したように発光点ｔ０〜ｔ３の位置座標が算出される。すなわち、発光点ｔから受光点ｒ０までの距離が距離ｄ０であり、発光点ｔから受光点ｒ１までの距離が距離ｄ１である場合に、位置検出部２１２Ｂは受光点ｒ０から距離ｄ０の位置にあり、受光点ｒ１から距離ｄ１の位置にある位置座標を算出し、この算出した位置座標を発光点ｔの位置座標とする。

ここで、ステップＳ１１で算出した距離ｄ（上記例では距離ｄ０とｄ１）が実際の距離との間に誤差がある場合に、上記算出方法で位置座標を算出しても、この誤差によって正確な位置座標を取得することができない。そこで、位置検出部２１２Ｂは、例えば誤差評価関数を用いて、上記算出した位置座標の誤差を評価し（変分法）、最も誤差の小さい位置座標を発光点ｔの位置座標としてもよい。

具体的には、ステップＳ１１で算出した距離ｄ０と距離ｄ１とを用いて、受光点ｒ０から受光点ｒ１の間の距離（距離ｄ３）を算出する。ここで、受光点ｒ０から受光点ｒ１の間の距離は、測定することで実際の距離（距離Ｌ）を取得することができる。距離ｄ３と距離Ｌの一致度が高い程、距離ｄ０及ぶ距離ｄ１は実際の距離からの誤差が小さい。そこで、位置検出部２１２Ｂは、（距離ｄ３−距離Ｌ）^２を誤差評価関数として、この誤差が最小となる位置座標を算出し、この算出した位置座標を発光点ｔの位置座標とする。

なお、算出の方法としては、例えば山登り法として知られる計算法（ＣＧＭ法（共役匂配法）、ニュートン法）を用いることができる。さらに、発光点ｔ、受光点ｒには極力無指向性となるよう加工が施されているが、ある程度の指向性は残存する場合が多い。そこで、指向性を反映する補正計算を行い、さらに座標精度を上げるようにしてもよい。

次に、音素判定部２１２Ｃが音素推定処理を実行する（Ｓ１３）。以下、図９（ａ）（ｂ）を参照して音素推定処理を詳細に説明する。

図９（ａ）は、音素推定処理（その１）を示すフローチャートであり、（ｂ）は音素推定処理（その２）を示すフローチャートである。まず、音素判定部２１２Ｃは、位置検出部２１２Ｂからの位置座標の入力タイミング毎に、口腔に動きがあったと判定するまで、口腔に動きがあったかを繰り返し判定する（Ｓ１３１）。具体的には、音素判定部２１２Ｃは、今回入力されたフレーム（位置座標）を前回入力されたフレームと比較し、今回入力した位置座標が前回の位置座標から所定距離以上に変化している場合には口腔に動きがあったと判定する。なお、前回入力されたフレームだけではなく、過去所定回数分のフレームと今回入力されたフレームが比較される構成であってもよい。

口腔に動きがあったと判定した場合に（Ｓ１３１でＹＥＳ）、音素判定部２１２Ｃは、口腔の動きの終了を検出する。この口腔の動きの終了の検出は、入力したフレームと過去の所定回数分のフレームとを用いて行われる。具体的には、音素判定部２１２Ｃは、連続して所定回数分、前回の位置座標からの変化が所定距離より小さい場合には口腔の動きが終了したと検出する。音素判定部２１２Ｃは、口腔の動きが開始したと判定したときから口腔の動きの終了を検出したときまでのフレームを入力したフレーム群から切り出す（Ｓ１３２）。この後、音素判定部２１２Ｃは、本処理を終了する。

図９（ｂ）を参照して、音素判定部２１２Ｃは、ステップＳ１３２でフレーム群を切り出した場合に、音素判定データベースＤＢに登録された音素群の中から１の候補を選択する（Ｓ１３３）。音素判定部２１２Ｃは、選択した候補に対応する発光点ｔ０〜ｔ３の座標（舌等の口腔形状）やこの座標の変化（口腔の動き）を音素判定データベースＤＢから読み出して、切り出したフレーム群との一致度合いを算出する（Ｓ１３４）。

なお、図４（ｂ）の変形例のように、受光点ｒ２、ｒ３が配設されている場合には、音素判定部２１２Ｃは、受光点ｒ２、ｒ３が遮光されたかどうかの判定結果が距離算出部２１２Ａから通知される。受光点ｒ２、ｒ３が配設されている場合には、この受光点ｒ２、ｒ３の遮光の有無についても発光点ｔ０〜ｔ３の座標やこの座標の変化とともに、音素と対応付けて音素判定データベースＤＢに登録されている。そして、この遮光の有無をも考慮して、上記一致度合いが算出される。

例えば、「ｔ」と「ｄ」とでは、発光点ｔ０〜ｔ３の座標（舌等の口腔形状）やこの座標の変化（口腔の動き）の一致度合いはあまり変わらず、いずれの音素であるかを判別することが困難であるが、受光点ｒ２、ｒ３が遮光されている場合には、「ｄ」の可能性が高い。このような場合には、音素「ｔ」の場合には受光点ｒ２、ｒ３が遮光されていないと音素判定データベースＤＢに登録するとともに、音素「ｄ」の場合には受光点ｒ２、ｒ３が遮光されていると音素判定データベースＤＢに登録しておく。そして、受光点ｒ２、ｒ３が遮光されていないと通知された場合には、音素「ｄ」より音素「ｔ」への一致度合いが高く算出される。逆に、受光点ｒ２、ｒ３が遮光されていると通知された場合には、音素「ｄ」より音素「ｔ」への一致度合いが高く算出される。これによって、より精度良く音素の推定を行うことができる。

音素判定部２１２Ｃは、算出した一致度合い（評価結果）とＲＡＭ２４に記憶されている過去最大の一致度合いを示す評価結果（過去最大評価結果）とを比較して、評価結果が良いか（より一致度合いが高いか）どうかを判断する（Ｓ１３５）。なお、ＲＡＭ２４には、過去最大評価結果とともに、この過去最大評価結果に対応する音素の候補（過去最大候補）が記憶されている。

算出した評価結果の方が記憶されている評価結果より良い場合には（Ｓ１３５でＹＥＳ）、音素判定部２１２Ｃは今回算出した評価結果及びこれに対応する音素でＲＡＭ２４に記憶されている過去最大評価結果及び過去最大候補を更新する（Ｓ１３６）。この後、音素判定部２１２Ｃは後述のステップＳ１３７を実行する。

一方、算出した評価結果の方が記憶されている評価結果より悪い場合には（Ｓ１３５でＮＯ）、音素判定部２１２Ｃは、音素判定データベースＤＢに記憶されている全音素の候補についてステップＳ１３４を実行して一致度合いを算出したかどうかを判断する（Ｓ１３７）。音素判定データベースＤＢに記憶されている全音素の候補について一致度合いを算出していないと判断した場合には（Ｓ１３７でＮＯ）、音素判定部２１２Ｃは、本処理をステップＳ１３３に戻して、未だ選択されていない１の候補を選択する。

音素判定データベースＤＢに記憶されている全音素の候補について一致度合いを算出したと判断した場合には（Ｓ１３７でＹＥＳ）、音素判定部２１２ＣはＲＡＭ２４に記憶されている過去最大候補を音素ｓ３として取得する（Ｓ１３８）。図８に戻って。この後、音素判定部２１２Ｃは、音素ｓ３を音素比較部２１３Ｃに入力する（Ｓ１４）。

なお、音素推定処理（その１）と音素推定処理（その２）とはマルチタスクで実行される。また、ステップＳ１３２で、フレーム群を切り出した場合に前回に切り出したフレーム群について音素推定処理（その２）が実行されている場合には、音素判定部２１２Ｃは前回のフレーム群についての処理を実行した後に今回切り出したフレーム群についての音素推定処理（その２）を実行する。

上述したように、第１の実施形態では、演奏者の口腔内に発光点ｔ及び受光点ｒが配設された口腔センサ１００によって明るさ情報が取得され、この口腔センサ１００からの明るさ情報に基づいて口腔形状や口腔動作が取得される。そして、取得した口腔形状や口腔動作で発音されるべき音素を推定し、その音素の音素画像Ｇ４が表示されるため、演奏者に対して自己の口腔形状や口腔動作を比較的正確にかつ視認容易に表示することができる。

また、手本音素ｓ２と音素ｓ３（演奏者の発音した音素）の比較結果が表示されるため、演奏者に対して自己の口腔形状や口腔動作が好適であったかを視認容易に報知することができる。

＜第２の実施形態＞
以下に、図１０〜図１２を用いて本発明の第２の実施形態を説明する。

（第２の実施形態の概念）
図１０は、第２の実施形態におけるディスプレイＤの表示の一例を示す図である。第２の実施形態では、吹奏楽器練習装置２００が、手本音素画像Ｇ２に代えて、手本口腔画像Ｇ６をウィンドウｗ１内に表示する。手本口腔画像Ｇ６は、演奏に好適な口腔形状や口腔動作を示す画像である。ロングトーンの場合には、母音の発音のみであるため静止画で表示される。一方、タンギングの場合には、「ｔ」「ｄ」「ｋ」等の舌が口蓋に付いてから、離れて母音の発音をするまでの口腔形状や一連の口腔動作が重要であるため、これらの口腔動作が動画で表示される。

第１の実施形態と同様に、スクロールバーＧ３によって楽譜画像Ｇ１における各音符の演奏タイミングが表示される。同図（ａ）では、スクロールバーＧ３が楽譜画像Ｇ１の最初の音符にさしかかっており、「ド」の演奏タイミングが示されている。この「ド」はタンギングで演奏すべき箇所である。このときには、ウィンドウｗ１には、「ド」の演奏箇所における好適な口腔動作を示す手本口腔画像Ｇ６が動画で表示される。

この演奏タイミングで、演奏者は演奏動作を行う。ウィンドウｗ２は、演奏者の口腔形状や口腔動作を示す口腔画像Ｇ７を表示するためのものであるが、未だ演奏者の演奏動作が行われていないため、何も表示されていない。

同図（ｂ）では、演奏者の演奏動作が行われ、この演奏動作の口腔形状や口腔動作が口腔画像Ｇ７としてウィンドウｗ２に表示されている。ここで、口腔画像Ｇ７も、手本口腔画像Ｇ６と同様にロングトーンの場合には静止画で表示される。また、タンギングの場合には動画で表示される。

図１１は、手本口腔画像Ｇ６及び口腔画像Ｇ７の一例を示す図である。同図（ａ）が音素「ａ」の口腔形状を示す。同図（ｂ）が音素「ｉ」の口腔形状を示す。同図（ｃ）が音素「ｕ」の口腔形状を示す。同図（ｄ）が音素「ｅ」の口腔形状を示す。同図（ｅ）が音素「ｏ」の口腔形状を示す。静止画の場合には、本図のような画像が表示される。動画の場合には、母音の口腔形状箇所で本図のような画像が表示される。

なお、手本口腔画像Ｇ６や口腔画像Ｇ７における口腔の表示領域は、演奏にとって好適な口腔形状や口腔動作を十分に演奏者に対して報知することができるだけの領域であり、例えば口唇から約６ｃｍまでの領域である。

（第２実施形態にかかる吹奏楽器練習装置２００´の構成）
第２実施形態にかかる吹奏楽器練習装置２００´は、表示制御部２１３´の構成が第１の実施形態と異なる。また、吹奏楽器練習装置２００´は音素判定部２１２Ｃを有さない。その他の構成については、第１の実施形態と同様であるため、表示制御部２１３´の構成を説明して、その他の構成の説明については省略する。

図１２は、表示制御部２１３´の構成を示すブロック図である。以下、同図及び図１０を用いて表示制御部２１３´の構成を説明する。

表示制御部２１３´は、楽譜表示制御部２１３Ａ、口腔形状手本取得部２１３Ｅ、口腔形状手本表示制御部２１３Ｆ及び口腔形状表示制御部２１３Ｇを機能部として備える。楽譜表示制御部２１３Ａについては、第１の実施形態と同様であるため説明を省略する。

口腔形状手本取得部２１３Ｅには、楽譜表示制御部２１３Ａに楽譜データｓ１が入力されるのと同期して楽譜データｓ１が入力される。なお、第１の実施形態と同様に区分単位で入力される。

口腔形状手本取得部２１３Ｅは、楽譜データｓ１が入力されたときに、ハードディスク２３に記憶されている、口腔形状を取得するためのデータＤ２を参照する。このデータＤ２とは、例えば楽譜データの特徴（各音符の音長、音高、演奏記号（スラー、スタッカート等））とこの特徴に対応する口腔形状乃至は口腔動作の静止画や動画が対応付けられたものである。また、これらの静止画や動画は、後述の発光点の位置座標やこの位置座標の変化とも対応付けられている。このデータＤ２は、アプリケーションのインストールにともなって、ハードディスク２３に記憶される。

口腔形状手本取得部２１３Ｅは、データＤ２と楽譜データｓ１とを用いて、楽譜データｓ１の各音符に対応する口腔形状乃至は口腔動作ｓ１１を取得する。例えば、各音符毎に楽譜データｓ１の特徴に対応する口腔形状乃至は口腔動作ｓ１１を口腔形状テーブルから読み出す。そして、口腔形状手本取得部２１３Ｅは、楽譜表示制御部２１３Ａから各音符の演奏タイミングの到来が通知され、通知された音符に対応する口腔形状乃至は口腔動作ｓ１１を口腔形状手本表示制御部２１３Ｆ及び口腔形状表示制御部２１３Ｇに入力する。

口腔形状手本表示制御部２１３Ｆは、ウィンドウｗ１、ｗ２を表示するとともに、入力された口腔形状乃至は口腔動作ｓ１１を示す手本口腔画像Ｇ６をウィンドウｗ１内に表示させる。ここで、入力されたのが口腔形状である場合には、ロングトーンの場合であるため手本口腔画像Ｇ６は静止画として表示され、口腔動作である場合には、タンギングの場合であるため手本口腔画像Ｇ６は動画として表示される。

口腔形状表示制御部２１３Ｇには、位置検出部２１２Ｂから発光点ｔ０〜ｔ３の位置座標ｓ１２が入力される。なお、第２の実施形態では、図８で示す音素の判定処理が実行される代わりに、図１３で示す口腔形状乃至は動作の判定処理が実行され、ステップＳ１２によって推定された発光点ｔ０〜ｔ３の位置座標が口腔形状表示制御部２１３Ｇに入力される（Ｓ１５）。

口腔形状表示制御部２１３Ｇは、入力された発光点ｔ０〜ｔ３の位置座標ｓ１２でハードディスク２３に記憶されたデータＤ２を探索し、探索した静止画乃至は動画で口腔形状乃至は口腔動作を示す口腔画像Ｇ７を表示する。ここで、口腔形状手本取得部２１３Ｅは、口腔形状手本取得部２１３Ｅから入力されたのが口腔動作ｓ１１であるか口腔形状ｓ１１であるかで、静止画を探索するか静止画を探索するかを判断する。

具体的には、口腔動作ｓ１１が入力された場合には、タンギングの場合であるため口腔動作を示す動画が探索されて表示される。具体例としては、口腔形状表示制御部２１３Ｇによって舌動の開始が検出されてから連続的に入力された複数回分の口腔形状（発光点ｔ０〜ｔ３の位置座標）で、動画が探索、表示される。

一方、口腔形状手本取得部２１３Ｅから入力されたのが、口腔形状ｓ１１である場合には、ロングトーンの場合であるため口腔形状を示す静止画が探索、表示される。具体例としては、口腔形状表示制御部２１３Ｇによって舌動の開始が検出されてから連続的に入力された複数回分の口腔形状（発光点ｔ０〜ｔ３の位置座標）のうち、最も口腔形状の変化が少ない部分で静止画が探索され、表示される。

口腔形状表示制御部２１３Ｇは生成した口腔画像Ｇ７をウィンドウｗ２内に表示する。この様に、ロングトーンの場合には、静止画で口腔画像Ｇ７が表示されるため、動画で表示する構成に比較して簡易な処理で、かつ口腔形状が好適かどうかを判断することができるように口腔画像Ｇ７を表示することが可能である。また、タンギングの場合には、動画で口腔画像Ｇ７が表示されるため、タンギングの口腔形状及び口腔動作が好適かどうかを判断することができるように口腔画像Ｇ７を表示することが可能である。

第２の実施形態では、演奏者の口腔内に発光点ｔ及び受光点ｒが配設された口腔センサ１００によって明るさ情報が取得され、この口腔センサ１００からの明るさ情報に基づいて口腔形状や口腔動作が取得される。このため、より正確に演奏者の口腔形状や口腔動作ｓ１１を取得することができる。この口腔形状や口腔動作ｓ１１を用いて口腔画像Ｇ７が表示されるため、演奏者に対して自己の口腔形状や動作を比較的正確に表示することができる。

更に、手本口腔画像Ｇ６も表示されるため、好適な口腔形状や動作を視認容易に表示することができる。これによって、演奏者は、自己の口腔形状や口腔動作が好適な口腔形状や口腔動作とを比較することで、自己の口腔形状や動作が好適なものであるかどうか、また、好適なものでない場合にはどこが間違っているかを視認容易に確認することができる。

＜第３の実施形態＞
以下に、図１４〜図１６を用いて第３の実施形態を説明する。

（第３の実施形態の概念）
図１４は、第３の実施形態におけるディスプレイＤへの表示の一例を示す図である。第３の実施形態では、吹奏楽器練習装置２００が第１及び第２の実施形態で表示される全ての画像を表示する。すなわち、ディスプレイＤは、楽譜画像Ｇ１、手本音素画像Ｇ２、スクロールバーＧ３、音素画像Ｇ４、枠Ｇ５、手本口腔画像Ｇ６及び口腔画像Ｇ７を表示する。

（第３実施形態にかかる吹奏楽器練習装置２００″の構成）
第３の実施形態にかかる吹奏楽器練習装置２００″は、表示制御部２１３″の構成が第１の実施形態とは異なる。また、図１５で示すように、音素推定処理において、ステップＳ１２の実行後に、位置検出部２１２Ｂによって発光点ｔ０〜ｔ３の位置座標が口腔形状表示制御部２１３Ｇに入力される（ステップＳ１５）。その他の構成については第１の実施形態と同様であるため、以下、表示制御部２１３″の構成説明についてのみ説明し、その他の構成の説明については省略する。

図１６は、表示制御部２１３″の機能的構成を示すブロック図である。表示制御部２１３″は、第１の実施形態と同様に楽譜表示制御部２１３Ａ、手本音素取得部２１３Ｂ、音素比較部２１３Ｃ、及び音素テキスト表示制御部２１３Ｄを機能部として備える。また、表示制御部２１３″は、第２の実施形態と同様に口腔形状手本取得部２１３Ｅ、口腔形状手本表示制御部２１３Ｆ及び口腔形状表示制御部２１３Ｇを機能的に備える。これらの各部の機能については第１及び第２の実施形態と同様であるため、説明を省略する。

なお、第３の実施形態では、ハードディスク２３にデータＤ１、データＤ２が記憶されるが、データＤ１及びデータＤ２に代えて、例えば楽譜データの特徴（各音符の音長、音高、演奏記号（スラー、スタッカート等））とこの特徴に対応する音素及び口腔形状乃至は口腔動作の静止画や動画が対応付けられたデータＤ３が記憶されてもよい。

上述したように、第３の実施形態では、口腔画像Ｇ７、音素ｓ３及び手本音素ｓ２と音素ｓ３（演奏者の発音した音素）の比較結果が表示されるため、演奏者に対して自己の口腔形状や口腔動作が好適であったかを第１及び第２の実施形態に比較して更に視認容易に報知することができる。

本実施形態は、以下の変形例を採用することができる。

（１）なお、第１〜第３の実施形態では、発光点ｔの個数は４つであり、受光点ｒの個数は２〜４つであるがこれに限定されず、音素を好適に特定できれば幾つであってもよい。もっとも、少なくとも、舌上に配設される発光点の個数は複数（３以上）あることが舌形状を判別することができるため好ましい。

（２）なお、発光点ｔ０〜ｔ３が舌上に配置されて、発光点ｔ０〜ｔ３の位置座標が算出される構成であるが、受光点ｒを複数（例えば４つ）舌上に配設するとともに発光点ｔを口蓋に配設し、受光点ｒの位置座標が算出される構成であってもよい。この場合には、受光点ｒの位置座標から音素が判定される。

（３）また、音素判定データベースＤＢには、複数の音素及び各音素に対応する発光点ｔ０〜ｔ３の位置座標とこの位置座標の変化が出荷段階から予め登録されている。しかしながら、これに限定されず、出荷段階には各音素に対応する発光点ｔ０〜ｔ３の位置座標とこの位置座標の変化を未登録にしておき、演奏者が口腔センサ１００をセットした状態で、各音素の口腔形状及び動きをすることにより音素判定データベースＤＢに登録させてもよい。

（４）なお、第１〜第３の実施形態では、音素推定処理（その２）を用いて、音素判定データベースＤＢに登録される複数の音素から切り出したフレーム群に対応する音素を特定しているが、隠れマルコフモデル（ＨＭＭ）を生成してViterbiアルゴリズム等を用いて一番可能性の高い音素を特定してもよい。

（５）また、第１〜第３の実施形態では、吹奏楽器練習装置２００によって、明るさ情報から発光点ｔ０〜ｔ３の位置座標（口腔形状）が算出されて、この口腔形状に基づいて音素が判定される。しかしながら、本発明はこの構成に限定されず、明るさ情報に対応する音素をニューラルネット等のアルゴリズムによって学習させて、明るさ情報から直接（口腔形状を算出せずに）音素が判定される構成であってもよい。

（６）なお、吹奏楽器練習装置２００は、汎用のパーソナルコンピュータにアプリケーションプログラムをインストールした構成としたが、専用機を用いても良い。

（７）また、支持枠４は歯列の内側であるが、内側に代えて外側でもよい。更に、受光部ｒを支持枠４によって口蓋に取り付けられる構成に限定されず、口蓋に取り付けられさえすれば如何なる取り付け具によって取り付けてもよい。例えば、総入れ歯、歯列の矯正器具に取り付けることによって受光部ｒを口蓋に取り付ける構成等であってもよい。

（８）また、第１の実施形態では、音素比較部２１３Ｃによる判定結果は、枠５の太さとして表示されるがこれに限定されない。判定結果が演奏者に認識可能に表示されれば如何なる構成であってもよく、例えば、枠５や音素画像Ｇ４の色によって判定結果を表示したり、「合」、「否」等をテキスト表示してもよい。また、本発明では、判定結果が表示されず、音素画像Ｇ４のみが表示される構成であってもよい。

（９）第１の実施形態では、音素画像Ｇ４とともに手本音素画像Ｇ２が表示されており、第２の実施形態では、口腔画像Ｇ７とともに手本口腔画像Ｇ６が表示されているが、本発明では、手本音素画像Ｇ２や口腔画像Ｇ７が必ずしも表示されなくてもよい。

（１０）第１の実施形態では、音素画像Ｇ４を表示しているが、この構成に限定されず、演奏者の口腔形状や口腔動作に対応する音素が音声による通知等の他の方法によって報知する構成であってもよい。

（１１）センサ部と装置本体１からなる口腔センサ１００を小型化、密封して口腔内に設置するようにしてもよい。この場合には、口腔センサ１００への給電を口腔センサ１００に搭載した電池等によって行うことができる。また、吹奏楽器練習装置２００との間の通信を無線通信にすることができる。

第１の実施形態でのディスプレイＤへの表示の一例を示す図である。 口腔センサの外観構成を示す斜視図である。 （ａ）は接続線と光ファイバとの取り付け部分の構成を示す斜視図であり、（ｂ）は接続線と光ファイバとの取り付け部分の構成を示す斜視図である。 （ａ）は、図２で示す口腔内に取り付けられた状態の支持枠と受光点及びその周辺の構成をより詳細に示す図であり、（ｂ）は、変形例にかかる、口腔内に取り付けられた状態の支持枠と受光点及びその周辺の構成を示す図であり、（ｃ）は、図２で示すシート部材と発光点及びその周辺の構成を示す図である。 装置本体の内部構成及び吹奏楽器練習装置の構成を示すブロック図である。 表示制御部の機能的構成を示すブロック図である。 （ａ）は、ダイナミック点灯処理を示すフローチャートであり、（ｂ）は明るさ情報を示す図である。 音素の判定処理を示すフローチャートである。 （ａ）は、音素推定処理（その１）を示すフローチャートであり、（ｂ）は音素推定処理（その２）を示すフローチャートである。 第２の実施形態におけるディスプレイＤの表示の一例を示す図である。 手本口腔画像Ｇ６及び口腔画像Ｇ７の一例を示す図である。 表示制御部の構成を示すブロック図である。 第２の実施形態で実行される口腔形状乃至は動作の判定処理を示すフローチャートである。 第３の実施形態におけるディスプレイＤへの表示の一例を示す図である。 第３の実施形態で実行される音素推定処理を示すフローチャートである。 第３の実施形態にかかる表示制御部の機能的構成を示すブロック図である。

符号の説明

３−光ファイバ群（本願発明のセンサ部に対応） ８Ａ−受光部（本願発明のセンサ部に対応） ８Ｂ−発光部（本願発明のセンサ部に対応） ２−接続線（本願発明のセンサ部に対応） １４−マイコン（受光強度検出手段） ｒ（ｒ０、ｒ１、ｒ２、ｒ３、ｒｊ）−受光点（受光部） ｔ（ｔ０〜ｔ３）−発光点（発光部） ２４−ＲＡＭ（本願発明の楽譜記憶部に対応） ２５−信号送受信部（本願発明の受光強度入力部に対応） ２７−表示部（本願発明の報知部に対応） １００−口腔センサ ２００−吹奏楽器練習装置 ２１２−判定部 ２１３−表示制御部 ２１３Ｂ−手本音素取得部 ２１３Ｃ−音素比較部（本願発明の比較部に対応） ２１３Ｄ−音素テキスト表示制御部（本願発明の報知部に対応） ２１３Ｇ−口腔形状表示制御部（本願発明の演奏方法判定部及び報知部に対応） Ｇ４−音素画像 Ｇ５−枠（本願発明の比較結果に対応） Ｇ７−口腔画像

Claims (6)

1. 演奏者の口蓋および舌上の一方に装着された発光部と、他方に装着された受光部とを備え、前記発光部及び前記受光部のうち舌上に装着されるものが複数個あるセンサ部と、
   前記受光部の受光強度パターンを検出する受光強度検出手段と、
   を備えた口腔センサと、
   前記口腔センサから受光強度パターンを入力する受光強度入力部と、
   前記受光強度パターンに基づいて、前記演奏者の口腔形状及び／又は該口腔形状によって発音されるべき音素を判定する判定部と、
   前記判定部によって判定された演奏者の口腔形状及び／又は音素を報知する報知部と、
   を備えた吹奏楽器練習装置と、
   を有することを特徴とする吹奏楽器練習システム。
2. 演奏者の口蓋および舌上の一方に装着された発光部、及び他方に装着された受光部を備え、前記発光部及び前記受光部のうち舌上に装着されるものが複数個あるセンサ部を備えた口腔センサから前記受光部の受光強度パターンを入力する受光強度入力部と、
   前記受光強度パターンに基づいて、前記演奏者の口腔形状及び／又は該口腔形状によって発音されるべき音素を判定する判定部と、
   前記判定部によって判定された演奏者の口腔形状及び／又は音素を報知する報知部と、
   を備えた、
   ことを特徴とする吹奏楽器練習装置。
3. 前記報知部は、前記判定部によって判定された演奏者の口腔形状及び／又は音素を表示する、
   ことを特徴とする請求項２に記載の吹奏楽器練習装置。
4. 楽譜データを記憶する楽譜記憶部と、
   前記楽譜データを前記楽譜記憶部から読み出して、読み出した楽譜データに対応する音素を手本音素として取得する手本音素取得部と、
   前記手本音素と前記判定部によって判定された音素とを比較する比較部とを更に備え、
   前記報知部は、該比較部による比較結果を表示する、
   ことを特徴とする請求項３に記載の吹奏楽器練習装置。
5. 楽譜データを記憶する楽譜記憶部と、
   前記楽譜データを用いて、演奏タイミングが到来した音素がロングトーン及びタンギングのうちいずれに対応するかを判定する演奏方法判定部と、
   を更に備え、
   前記報知部は、前記演奏方法判定部によってロングトーンに対応すると判定されたときに、前記判定部によって判定された口腔形状を静止画として表示する、
   ことを特徴とする請求項３に記載の吹奏楽器練習装置。
6. 前記報知部は、前記演奏方法判定部によってタンギングに対応すると判定されたときに、前記判定部によって連続的に判定された複数回の口腔形状の動きを動画で表示する、
   ことを特徴とする請求項５に記載の吹奏楽器練習装置。

Images