JP2010164783A - 音出力装置、音出力装置の制御方法、音出力装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】どのような接触位置であっても、接触位置に応じた音を出力する音出力装置等を実現する。
【解決手段】本発明の電子楽器１００は、面状部材と、接触物が面状部材に接触している接触部分の像を撮像するスキャン処理部１２と、スキャン処理部１２によって撮像された接触部分の像の面状部材における位置を特定する接触位置特定部１４２３と、接触位置特定部１４２３が特定した位置に応じて出力する音を決定する出力音決定部１９１と、出力音決定部１９１が決定した音を出力する音出力処理部１９と、を備えている。
【選択図】図１

Description

本発明は、接触物が接触している位置と接触している圧力（接触圧）に応じた音を出力する音出力装置、音出力装置の制御方法、音出力装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

従来から、楽器の１つとしてギターが存在している。ギターは、その弾く姿がかっこよく魅力的ということもあり、老若男女を問わず、ぜひ弾きたいと思っている人が多い楽器である。

しかしながら、ギターを上手に弾くのは、そう容易ではない。その理由の１つに、いわゆる「コード」を押さえるのが難しいという点を挙げることができる。ここで、「コード」とは、所望の和音のことをいう。そして、「コード」を押さえるというのは、所望の和音となるとように、一方の手（一般的には左手）でギターのネック部の複数の弦を押さえることをいう。

この「コード」には、よく用いられるものだけでも何十という種類がある。そして、それぞれのコードに応じて、押さえる弦の数や、位置が異なっている。ギターを弾くためには、この何十という「コード」を覚えて、その通りに弦を押さえる必要がある。そして、弦を押さえるためには、弦を押さえる手の人差し指、中指、薬指、小指の微妙な動きを必要とする。

よって、上手にコードを押さえられるようになるためには、相当の習熟が必要であり、コードを上手に押さえられないために、ギターを弾くことを断念している人も少なくない。

そこで、このコードを押さえるという行為を容易にできるように、ギターのネック部分に、弦ではなく、ボタンを配置したギターが存在する。これは、コード通りに弦を押さえるのではなく、コードに対応するボタンを押下するという容易な動作で、ギターによる演奏を可能とするものである。

また、特許文献１には、バイオリン等の擦弦楽器において、ネック部に、タッチパッドコントローラを配置し、タッチパッドコントローラにおける押圧位置および押圧力を検出して音階を決定し、ワイヤ（弦）の回転量、回転速度およびワイヤに加わる圧力に応じて発音を制御することで、細かい発音制御を行うことができる技術が記載されている。

さらに、特許文献２には、エレクトリックギターの位置に応じて、楽音信号を加工する楽音信号加工装置が記載されている。

特開２０００−３２２０６４号公報（２０００年１１月２４日公開） 特開２００６−１８１５８号公報（２００６年１月１９日公開）

しかしながら、上記従来の構成では、コードを押さえる代わりにボタンを押すのみなので、ギターの醍醐味の１つである、押さえている弦を微妙に変化させる奏法、例えば、チョーキング、ビブラート、スライド奏法、クロマティック・ラン奏法等を実現することができない。

すなわち、チョーキング、ビブラート、スライド奏法、クロマティック・ラン奏法等は、押さえている弦を、上下に押し上げたり、揺らしたり、滑らせたりすることにより演奏するものなので、ボタンを押すという行為では実現することはできない。

よって、上記従来の構成では、ギターを単に演奏するということはできるが、上述したような、より幅広い演奏表現を実現することができない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、どのような接触位置であっても、接触位置に応じた音を出力する音出力装置等を実現することにある。

上記課題を解決するために、本発明に係る音出力装置は、面状部材と、接触物が該面状部材に接触している接触部分の像を撮像する撮像制御手段と、上記撮像制御手段によって撮像された上記接触部分の像の上記面状部材における位置を特定する接触位置特定手段と、上記接触位置特定手段が特定した上記位置に応じて出力する音を決定する出力音決定手段と、上記出力音決定手段が決定した音を出力する出力音制御手段と、を備えていることを特徴としている。

また、本発明に係る音出力装置の制御方法は、面状部材を備えた音出力装置の制御方法であって、接触物が該面状部材に接触している接触部分の像を撮像する撮像制御ステップと、上記撮像制御ステップで撮像された上記接触部分の像の上記面状部材における位置を特定する接触位置特定ステップと、上記接触位置特定ステップで特定した上記位置に応じて出力する音を決定する出力音決定ステップと、上記出力音決定ステップで決定した音を出力する出力音制御ステップと、を含むことを特徴としている。

上記の構成または方法によれば、備えられている面状部材に接触している接触部分の像が撮像される。そして、撮像された上記接触部分の像の上記面状部材における位置が特定される。そして、特定された上記位置に応じて出力する音が決定され、出力される。

これにより、面状部材のどのような位置に接触物が接触しても、接触した位置に応じた音を出力することができる。

例えば、ギターにおいて、ネック部に弦ではなく、上記面状部材を設け、撥弦部の弦を弾いたときの音を出力する場合を考える。上記面状部材に指が接触した状態で、撥弦部の弦が弾かれると、面状部材における指の接触位置に対応した音を出力することができる。そして、指の接触位置が面状部材のどのような位置であっても、指の接触位置に応じた音を出力することができるので、指の接触位置が、本来、弦が存在している位置から少しだけずれた場合でも、その位置のずれに対応した音を出力することができる。

よって、従来の機器では困難であった、弦の位置を微妙に変化させることに対応する演奏方法にも対応した音を出力することができる。具体的には、いわゆるビブラートのように弦を揺らすことにより鳴らす音を振動させる演奏方法にも対応した音を出力することができる。

したがって、幅広い演奏方法に対応した音を出力することができる。

なお、「面状部材」は、面状の部材であれば良く、その形状や材料は問わない。例えば、「面状部材」は、平面状の部材に限られず、曲面状の部材であってもよい。さらに、「面状部材」は、閉じられた２次元図形であってもよいし、閉じられた３次元図形の側面であってもよい。２次元図形の例としては、三角形、四角形などの凸多角形や凹多角形が例示できる。また、円や楕円などであってもよい。

３次元図形の例としては、六面体、八面体などの凸多面体や、凹多面体を挙げることができる。また、円錐、円柱、球などであってもよい。

また、面状部材は、光透過率の高い素材で構成されていることが好ましい。さらに、面状部材は、例えば、液晶パネルのように比較的剛性の高い材料で構成されていてもよいし、有機ＥＬ（Light Emitting）パネルのように比較的柔軟性のある材料で構成されていてもよい。

本発明に係る音出力装置では、上記撮像制御手段によって撮像された上記接触部分の像から上記接触物の接触状態を推定する接触状態推定手段を備え、上記出力音決定手段は、上記接触位置特定手段が特定した上記位置と、上記接触状態推定手段が推定した上記接触状態とから出力する音を決定するものであってもよい。

上記の構成によれば、接触状態推定手段は、上記撮像制御手段によって撮像された上記接触部分の像から上記接触物の接触状態を推定し、上記出力音決定手段は、上記接触位置特定手段が特定した上記位置と、上記接触状態推定手段が推定した上記接触状態とから出力する音を決定する。

これにより、接触物の接触位置に加え、接触状態も考慮して出力する音を決定することができる。

例えば、接触物の面状部材に対する接触状態が、より強く面状部材に接触しているのか、または軽く触れている程度であるのか等により、出力する音を決定することができるので、接触の程度に応じてより幅広く、出力する音を決定することができる。

本発明に係る音出力装置では、上記接触状態推定手段は、上記撮像制御手段によって撮像された上記接触部分の像における色の分布状態によって上記接触物の接触状態を推定するものであってもよい。

上記の構成によれば、上記接触状態推定手段は、上記撮像制御手段によって撮像された上記接触部分の像における色の分布状態によって上記接触物の接触状態を推定する。

そして、予め、接触物が面状部材に強く接触したときと、弱く接触したときの色の分布が分かっていれば、接触部分の像における色の分布状態によって、接触物が面状部材に強く接触しているのか、弱く接触しているのかを認識することができる。

これにより、接触物が面状部材に接している圧力である接触圧に応じた音を出力することができる。

ここで、接触物の面状部材に対する接触状態から接触圧の大小が推定できることの原理を説明する。

ここでは、接触物が人間の指の場合を例に挙げて説明する。例えば、黄色人種である日本人の場合、手のひらもしくは指先の腹には、黄色の成分が含まれている。また、手のひらもしくは指先の腹に静脈が毛細血管として存在している関係上、手のひらもしくは指先の腹には、部分的に青色の成分が含まれている。また、手のひらもしくは指先の腹に動脈が毛細血管として存在している関係から全体として手のひらもしくは指先の腹の色は、赤っぽくなっている。したがって、手のひらもしくは指先の腹には、赤色の成分も含まれている。

そして、指先の腹が面状部材の表面にすれすれで（弱く）接触している場合には、全体として指先の腹の色は赤っぽくなるので、指先の腹は相対的に赤色の成分が多く含まれる。

一方、指先の腹をペットボトルなどの表面に接触させて、その裏側から観察してみれば容易にわかるが、指先の腹が面状部材の表面にしっかりと（強く）接触している場合には、指先の腹は、血の気が引いて白くなる。よって、指先の腹が面状部材の表面にしっかりと接触している場合には、指先の腹は相対的に白色の成分が比較的多く含まれる。

すなわち、指先の腹の白っぽさの度合いがより大きくなるほど、もしくは、指先の腹の白っぽい部分の面積がより大きくなるほど、面状部材の表面に指先がより強く接触していることになる。

よって、このような指先の腹の接触状態による少なくとも赤色または白色の分布状態の変化を利用すれば、面状部材上で、その指先の腹が強く接触しているのか、それとも弱く接触しているかなどの推定や、指先の接触圧（圧力）の大きさなどの推定が可能となる。

なお、ここでは、接触物として人間の指を用いて説明したが、これに限られるものではない。接触物は、接触圧が変化すると色が変化するものであればよい。

本発明に係る音出力装置では、上記撮像制御手段によって撮像された上記接触部分の像における互いに色相の異なる少なくとも第１色および第２色の分布状態を特定する色成分特定手段を備え、上記接触状態推定手段は、上記色成分特定手段によって特定された上記第１色および上記第２色の分布状態から上記接触物の接触状態を推定するものであってもよい。

ここで、「色相」とは、色感の３要素の１つであり、その色と同じ色感を起こすスペクトル単色光の波長で表すことができる。

なお、「第１色及び第２色」の例としては、等色の原理を満たす３色のうちの２色などが例示できるが、必ずしもこのような２色に限定されない。すなわち、第１色及び第２色は、互いに色相の異なる２色であれば良い。

また、「等色の原理」とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。「等色の原理」を満たす３つの色とは、色の３原色や、光の３原色、または、１２色相環上で、環にそって４つおきに選択した３つの色（２次色など）などである。

より具体的には、例えば、Ｒ（red、赤）、Ｇ（green、緑）およびＢ（blue、青）や、Ｍ（マゼンダ）、Ｃ（シアン）およびＹ（イエロー）などを挙げることができる。

上記の構成によれば、色特定手段が、上記撮像制御手段によって撮像された上記接触部分の像における等色の原理を満たす３色のうち少なくとも第１色および第２色の分布状態を特定し、上記接触状態推定手段は、上記色成分特定手段によって特定された上記第１色および上記第２色の分布状態から上記接触物の接触状態を推定する。

これにより、接触部分の像における色の分布状態が、より正確に特定できるので、接触物の面状部材に対する接触状態を、より正確に判断することができる。

よって、より正確な接触状態に応じて出力する音を決定することができる。

本発明に係る音出力装置では、上記面状部材に、ギターの弦の画像を表示させる表示制御手段を備え、上記出力音決定手段は、上記表示制御手段が表示させた弦の位置と上記接触位置特定手段が特定した上記位置とから、出力する音を決定するものであることが好ましい。

上記の構成によれば、表示制御手段は、面上部材に、ギターの弦の画像を表示させる。そして、出力音決定手段は、表示された弦の位置と、接触位置特定手段が特定した上記位置とから、出力する音を決定する。

これにより、面状部材に表示された弦の位置と、面状部材において接触物が接触している位置とを考慮して出力する音を決定することができる。

例えば、ギターにおいて、ネック部に弦ではなく上記面状部材が備えられているものを考える。面状部材にギターの弦の画像が表示され、ユーザが表示されている弦を指で押さえて、ギターを演奏する場合、表示している弦とユーザが押さえている位置とを考慮して出力する音を決定できるので、通常のギターと同様に、ユーザが押さえている弦の位置に対応した音を出力することができる。

本発明に係る音出力装置では、上記表示制御手段は、上記接触位置特定手段が特定した位置が、上記面状部材に表示させている弦と重なった位置にある場合、上記特定した位置と重なった位置に存在する弦の表示を、他の弦の表示とは異ならせるものであってもよい。

上記の構成によれば、表示制御手段は、接触位置特定手段が特定した位置が、面状部材に表示させている弦と重なった位置にある場合、上記特定した位置と重なった位置に存在する弦の表示を、他の弦の表示とは異ならせる。

これにより、接触物が接触している弦は、他の弦と異なった表示となるので、ユーザは、接触している弦を容易に認識することができる。

本発明に係る音出力装置では、上記表示制御手段は、上記接触状態推定手段が推定した接触状態が同じまま、上記接触位置特定手段が特定した位置が、上記面状部材に表示させている弦と重なった位置から位置が変化すると、表示させている弦の位置を該変化に合わせて移動させるものであってもよい。

上記の構成によれば、表示制御手段は、接触状態推定手段が推定した接触状態が同じまま、接触位置特定手段が特定した位置から位置が変化すると、表示させている弦の位置を該変化に合わせて移動させる。

これにより、接触物の接触位置と弦の表示位置とが重なった状態で、接触物をそのまま移動すると、表示されている弦の位置も接触物の移動に合わせて移動する。

よって、ユーザは、あたかも接触物によって弦が移動しているかのように認識することができる。

例えば、接触物がユーザの指だった場合、指で弦を押さえ、そのまま指の位置を移動させると、表示されている弦の位置が移動するので、ユーザは、あたかも自分の指で弦を動かしているような感覚を得ることができる。

本発明に係る音出力装置では、弦を有する撥弦部を備え、上記出力音制御手段は、上記撥弦部の弦が弾かれると、音を出力するものであってもよい。

上記の構成によれば、弦を有する撥弦部が備えられ、出力音制御手段は、上記撥弦部の弦が弾かれると、音を出力する。

これにより、撥弦部の弦が弾かれると音を出力するので、ユーザは、ギターを弾いている感覚で音出力装置を操作することができる。

なお、上記音出力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記音出力装置をコンピュータにて実現させる音出力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る音出力装置は、面状部材と、接触物が該面状部材に接触している接触部分の像を撮像する撮像制御手段と、上記撮像制御手段によって撮像された上記接触部分の像の上記面状部材における位置を特定する接触位置特定手段と、上記接触位置特定手段が特定した上記位置に応じて出力する音を決定する出力音決定手段と、上記出力音決定手段が決定した音を出力する出力音制御手段と、を備えている構成である。

また、本発明に係る音出力装置の制御方法は、面状部材を備えた音出力装置の制御方法であって、接触物が該面状部材に接触している接触部分の像を撮像する撮像制御ステップと、上記撮像制御ステップで撮像された上記接触部分の像の上記面状部材における位置を特定する接触位置特定ステップと、上記接触位置特定ステップで特定した上記位置に応じて出力する音を決定する出力音決定ステップと、上記出力音決定ステップで決定した音を出力する出力音制御ステップと、を含む方法である。

これにより、面状部材のどのような位置に接触物が接触しても、接触した位置に応じた音を出力することができる。

本発明の実施の形態を示すものであり、電子楽器の主制御部の要部構成および記憶部に記憶されているデータを示すブロック図である。 上記実施の形態に係るセンサ内蔵液晶パネルの断面を模式的に示す図である。 図３（ａ）は、上記実施形態に係る電子楽器が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、上記実施形態に係る電子楽器が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 上記実施の形態に係る電子楽器の要部構成を示すブロック図である。 上記実施の形態に係る電子楽器で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 図７（ａ）は、上記実施形態に係る電子楽器にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、上記実施形態に係る電子楽器にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 上記実施の形態に係る電子楽器が備えるセンサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。 上記施の形態に係る電子楽器の外観を示す説明図である。 図１０（ａ）は、センサ内蔵液晶パネルにおいて、接触領域に指先が弱く接触しているときのＲ画素およびＧ画素の分布状態を示す図であり、図１０（ｂ）は、接触領域に指先が強く接触しているときのＲ画素およびＧ画素の分布状態を示す図である。 上記実施の形態に係るセンサ内蔵液晶パネルに表示される例を示す図である。 上記実施の形態において、ユーザの指が接触している例を示す図である。 上記実施の形態において、センサ内蔵液晶パネルに対する指の接触状態と、音出力処理部が出力させる音との関係を示す図である。 音の高さと波長との関係を示す図である。 上記実施の形態において、ビブラートを行うときの指の接触状態と音の波形との関係を示す図である。 上記実施の形態において、指とセンサ内蔵液晶パネルとの接触面積と接触状態との関係、および実際の光センサ液晶を用いて指を検出した画像例を示す図である。 上記実施の形態に係る電子楽器における、音を出力する処理の流れを示すフローチャートである。 上記実施の形態に係る電子楽器における、接触位置特定・接触圧判定処理の流れを示すフローチャートである。

本発明の一実施の形態について図１から図１８に基づいて説明すれば、以下のとおりである。

（電子楽器の概要）
まず、図９を用いて、本発明の一実施の形態に係る電子楽器（音出力装置）１００の概要について説明する。図９は、本実施の形態に係る電子楽器１００の外観を示す説明図である。

図９に示すように、電子楽器１００は、ギターと同様の外観を有しており、通常のギターのネック部に該当する部分に弦ではなく、表示／光センサ部３００を備えているものである。また、通常のギターにおいて、指やピック等で弦を弾く部分には、通常のギターと同様の６本の弦９１２を含む撥弦部９１１が備えられている。

また、電子楽器１００に対するユーザによる操作入力等を受け付けるための操作部９０３が備えられている。

そして、通常のギターであれば、音程やコード等に応じて、ネック部の弦を押さえて、撥弦部分（通常、指やピック等で弦を弾く部分）の弦を弾いて音を鳴らす。

これに対して、電子楽器１００では、表示／光センサ部３００に擬似弦を表示する。そして、撥弦部９１１の弦９１２が弾かれたときに、表示／光センサ部３００に接触しているユーザの指や手（接触物）の位置である接触位置が特定される。また、該接触位置で接触物が表示／光センサ部３００に接する圧力である接触圧の強弱が判断される。そして、通常のギターにおいて、上記接触位置および上記接触圧で弦が押さえられた状態で弦が弾かれた場合に鳴る音をシミュレートした音が出力される。

また、電子楽器１００は、音を出力中に、上記接触位置および上記接触圧が変化すると、通常のギターで同様の変化があった場合に鳴る音をシミュレートした音が出力される。これにより、ネック部分にボタンを用いた従来の機器では困難であった、通常のギターにおいてネック部の弦を押さえる状態を微妙に変化させることにより鳴らせていた音をシミュレートした音を出力することができる。

また、電子楽器１００は、表示／光センサ部３００に擬似弦を表示するとともに、ユーザからの指示に応じて、所望のコード（和音）の押弦位置を表示するようになっていてもよい。ここで、コードの押弦位置とは、所望のコード（和音）を出力するために各弦において押さえるべき位置のことである。これにより、ユーザは、所望のコードの押弦位置を容易に認識することが可能となり、ギターの演奏補助機能を提供することができる。

次に、以下で、上記電子楽器１００が備えるセンサ内蔵液晶パネル３０１について説明する。

（センサ内蔵液晶パネルの概要）
上記電子楽器１００の表示／光センサ部３００が備えるセンサ内蔵液晶パネル（面状部材）３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、センサ内蔵液晶パネル３０１の表面の近傍に位置する対象物、および、上記表面に接触している対象物の少なくともいずれか一方を検出することである。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれる光センサ６は、カラーフィルタ５３ｒ、５３ｇおよび５３ｂのそれぞれの近傍（それぞれの画素電極５６の近傍）に設けられているが、この構成に限定されるものではない。指先の接触状態を推定する観点からは、光センサ６は、少なくとも、赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍と、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍とに設ければよい。

次に、図３を参照しながら、ユーザが指でセンサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、光センサ６を含む光センサ回路３２は、指などの対象物（接触物）６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

上述のように、光センサ６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（電子楽器の要部構成）
次に、図４を参照しながら、上記電子楽器１００の要部構成について説明する。図４は、電子楽器１００の要部構成を示すブロック図である。図示のように、電子楽器１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、音声入力部９０９、音出力部９１０、および撥弦部９１１を備えている。ここでは、電子楽器１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもよい。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、電子楽器１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

複数の表示／光センサ部３００を備えている場合の例としては、例えば、ネック部のフレット毎に表示／光センサ部３００を備えている場合を挙げることができる。この場合、それぞれの表示／光センサ部３００は、ネック部におけるそれぞれの位置に対応した表示を行う。また、対象物のスキャンは全ての表示／光センサ部３００において行う。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、電子楽器１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、ボタンなどの入力デバイスで構成される。そして、操作部９０３は、電子楽器１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

音出力部９１０は、電子楽器１００で生成したギター音等の音を出力するためのスピーカである。

撥弦部９１１は、６本の弦９１２を備え、通常のギターにおいて弦を弾く部分に相当するものである。なお、本実施の形態では、ギターを想定しているので、撥弦部９１１に備えられた弦９１２の数は６本としたが、これに限られるものではない。適宜、想定する楽器等に応じて決定すればよい。

その他、電子楽器１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、操作ガイド等の音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。

本実施の形態では、「データ取得タイミング」フィールドの値は“01”（イベント）に設定されている。

なぜなら、センサ内蔵液晶パネル３０１に対して指等の接触があったときにスキャンした画像データがデータ処理部７００に送信されれば、指の接触があったことを認識できるからである。

これにより、所定の周期でスキャンされたデータに変化があったとき、データ処理部７００のセンサデータ処理部７０３はスキャンの結果である画像データを取得する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

本実施の形態では、「データ種別」フィールドの値は“010”（部分画像）に設定されている。なぜなら、部分画像のデータがあれば、指が接触している領域を認識することができるからである。

これにより、主制御部８００は、データ処理部７００から部分画像データを取得する。なお、「データ種別」フィールドの値を「“100”または“110”」に設定して、全体画像を取得するものであってもよい。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。

本実施の形態では、「スキャン方式」フィールドの値は“00”（反射）に設定されている。なぜなら、バックライトを点灯して、指に光を照射し、その反射光を検出するためである。これにより、表示／光センサ部３００は、バックライトを点灯した状態でスキャンを行う。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

本実施の形態では、「スキャン画像階調」フィールドの値は“01”（多値）に設定されている。なぜなら、色成分特定部１４１が指の接触部分の像における少なくともＲおよびＧの分布状態を特定する必要があるからである。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。

本実施の形態では、「スキャン解像度」フィールドの値は“0”（高）に設定されている。なぜなら、指の接触部分の像における色の分布状態が細かく認識できる方が、より正確に接触状態を認識することができるためである。

次に、「スキャンパネル」フィールドは、電子楽器１００が複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010”（第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１の表示／光センサ部３００”と“第２の表示／光センサ部３００”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１の表示／光センサ部３００”であるコマンドを受信すると、第１の表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、電子楽器１００が複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010”（第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１の表示／光センサ部３００”と“第２の表示／光センサ部３００”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１の表示／光センサ部３００”であるコマンドを受信すると、第１の表示／光センサ部３００に表示データを表示させるために、第１の表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指などでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指などは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指などでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（主制御部の構成および記憶部に記憶されているデータ）
次に、図１を参照しながら、電子楽器１００の主制御部８００の構成および記憶部９０１に記憶されているデータについて説明する。図１は、本実施の形態に係る電子楽器１００の主制御部８００の要部構成および記憶部９０１に記憶されているデータを示すブロック図である。

なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図１に示すように、記憶部９０１は、スキャン属性情報記憶部２２、画像データ記憶部２３、解析データ等記憶部２４、出力音データ記憶部２５、および表示画像記憶部２６を含んでいる。

スキャン属性情報記憶部２２は、スキャン実行部１３１が、データ処理部７００に送信する各種コマンドの各フィールド値などを記憶している。また、スキャン属性情報記憶部２２は、表示／光センサ部３００に対してスキャンを実行させたり、データ処理部７００に対して主制御部８００へ、全体画像、部分画像および代表位置などのスキャンデータを送信させたり、スキャンデータ保持部１３４もしくは画像データ記憶部２３にスキャンデータを記憶させる等の制御を行うために必要な各種データ（スキャン属性情報）を記憶しているものである。

画像データ記憶部２３は、スキャンデータを一時的に、もしくは常時記憶しているものである。

解析データ等記憶部２４は、各種解析データや、データの解析に必要なデータなどを記憶しているものである。より詳細には、解析データ等記憶部２４は、接触領域特定結果記憶部２４１、色成分特定結果記憶部２４２、および接触状態推定結果記憶部２４３の３つの記憶領域を含んでいる。

そして、接触領域特定結果記憶部２４１は、下記に説明する接触位置特定部１４２３が特定した接触領域特定結果を記憶するものである。

色成分特定結果記憶部２４２は、下記に説明する色成分特定部１４１が特定する色成分特定結果を記憶するものである。

接触状態推定結果記憶部２４３は、下記に説明する接触状態推定部１４２が推定した接触状態推定結果を記憶するものである。

出力音データ記憶部２５は、電子楽器１００の音出力部９１０から出力する音を記憶しているものである。出力音データ記憶部２５に記憶されている音としては、通常のギターの音の他、電子楽器１００で出力が可能な所定の楽器の音、例えば、ベース、三味線、バンジョー、またはピアノ等の音が記憶されていてもよい。なお、電子楽器１００は、後述するように、出力音データ記憶部２５に記憶されている音だけでなく、自装置で生成した音を出力するものであってもよい。

表示画像記憶部２６は、表示／光センサ部３００で表示させる画像を記憶しているものである。表示させる画像としては、擬似弦、押さえる位置を示すマーク、およびフレット等が挙げられる。

また、表示画像記憶部２６は、コード毎に押さえる表示するコード表示画像を記憶している。

また、表示画像記憶部２６は、曲におけるコードと、該曲において、そのコードを用いる時点とを記憶していてもよい。

次に、主制御部８００について説明する。図１に示すように、主制御部８００は、スキャン処理部（撮像制御手段）１２、接触状態推定処理部１４、画像表示処理部（表示制御手段）１８、および音出力処理部（出力音制御手段）１９を含む構成である。

また、スキャン処理部１２は、スキャン実行部（撮像制御手段）１３１、スキャンデータ保持部１３４、およびスキャン属性情報設定部１３５を含む構成である。さらに、スキャン実行部１３１は、スキャン実行指示部（撮像制御手段）１３２およびスキャンデータ格納部（撮像制御手段）１３３を含む構成である。

また、接触状態推定処理部１４は、色成分特定部（色成分特定手段）１４１、接触状態推定部（接触状態推定手段）１４２、接触状態推定結果格納部１４３、および色成分特定結果／接触状態推定結果保持部１４５を含む構成である。さらに、接触状態推定部１４２は、色成分分布状態解析部１４２１、接触状態決定部１４２２、および接触位置特定部１４２３を含む構成である。

また、音出力処理部１９は、出力音決定部（出力音決定手段）１９１、出力音モード決定部１９２、弾弦判断部１９３、および接触領域変化判断部１９４を含む構成である。

まず、図１に示すスキャン処理部１２は、図４に示すセンサデータ処理部７０３に対してスキャンの実行を指示するものである。また、スキャン処理部１２は、スキャンの実行により、画像データバッファ７０４に蓄積されていくスキャンデータを主制御部８００に送信させるとともに、主制御部８００が受信したスキャンデータを、スキャンデータ保持部１３４、または画像データ記憶部２３に記憶させる。

スキャン実行部１３１のスキャン実行指示部１３２は、データ処理部７００に対してスキャンの実行を指示して、回路制御部６００の光センサ駆動回路３０５を駆動させ、表示／光センサ部３００の光センサ回路３２を動作させて、センサ内蔵液晶パネル３０１に接触する接触物（通常は指や手）の接触部分の像を、各光センサ６を用いてスキャンさせる制御を行うものである。

また、スキャン実行部１３１のスキャンデータ格納部１３３は、画像データバッファ７０４に蓄積されていくスキャンデータを主制御部８００に送信させ、該スキャンデータをスキャンデータ保持部１３４、または画像データ記憶部２３に記憶させる制御を行うものである。

スキャンデータ保持部１３４は、主制御部８００が受信したスキャンデータ、領域ＡＰにおける座標データ（Ｘａ,Ｙａ）、および、領域ＰＰにおける座標データ（Ｘｐ,Ｙｐ）などの領域ＰＰの領域ＡＰにおける配置に関するデータや領域ＰＰの大きさおよび形状等に関するデータ等を一時記憶するものである。

なお、「領域ＰＰ」は、センサ内蔵液晶パネル３０１上の接触物の接触による接触面の領域自体であってもよいし、接触面の外部近傍を含む任意の広さの領域であってもよい。ただし、電子楽器１００の処理速度を高めると共にメモリを節約する観点からは、できるだけ狭い領域であることが好ましい。ここで、「接触面」とは、接触物の接触部分によって覆われるセンサ内蔵液晶パネル３０１上の領域のことである。

スキャン属性情報設定部１３５は、スキャン属性情報記憶部２２に記録されている各種コマンドデータを読み出して、電子楽器１００のスキャン属性の設定を行うものである。

接触状態推定処理部１４は、画像データ記憶部２３に記憶されたスキャンデータから接触物の接触部分の像における互いに色相の異なる少なくとも第１色および第２色の分布状態を特定するものである。そして、接触状態推定処理部１４は、特定した第１色および第２色の分布状態から接触物の接触状態を推定する。また、接触状態推定処理部１４は、接触物の接触状態を推定した結果（接触状態推定結果）を色成分特定結果／接触状態推定結果保持部１４５、および解析データ等記憶部２４の色成分特定結果記憶部２４２に記憶させるなどの制御を行う。

色成分特定部１４１は、画像データ記憶部２３に記憶されたスキャンデータから接触物の接触部分の像における互いに色相の異なる少なくとも第１色および第２色の分布状態を特定するものである。

また、色成分特定部１４１は、特定した第１色および第２色の分布状態に関するデータ（色成分特定結果）を色成分特定結果／接触状態推定結果保持部１４５、および色成分特定結果記憶部２４２に記憶させる。

接触状態推定部１４２は、色成分特定部１４１によって特定された第１色および第２色の分布状態から接触物の接触状態を推定するものである。

ここで、「色相」とは、色感の３要素の１つであり、その色と同じ色感を起こすスペクトル単色光の波長で表すことができる。

なお、「第１色及び第２色」の例としては、等色の原理を満たす３色のうちの２色などが例示できるが、必ずしもこのような２色に限定されない。すなわち、第１色及び第２色は、互いに色相の異なる２色であれば良い。

また、「等色の原理」とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。「等色の原理」を満たす３つの色とは、色の３原色や、光の３原色、または、１２色相環上で、環にそって４つおきに選択した３つの色（２次色など）などである。

より具体的には、例えば、Ｒ（red、赤）、Ｇ（green、緑）およびＢ（blue、青）や、Ｍ（マゼンダ）、Ｃ（シアン）およびＹ（イエロー）などを挙げることができる。

また、「分布状態」は、アナログ画像のように、第１色もしくは第２色が連続的に分布した状態であってもよいし、デジタル画像のように第１色もしくは第２色が画素毎に、非連続に分布した状態であってもよい。なお、本実施形態では、特に断らない限り、スキャンデータ中の全体画像データや部分画像データは、デジタル画像であるものとする。

ところで、例えば、黄色人種である日本人の場合、手のひらもしくは指先の腹には、黄色の成分が含まれている。また、手のひらもしくは指先の腹に静脈が毛細血管として存在している関係上、手のひらもしくは指先の腹には、部分的に青色の成分が含まれている。また、手のひらもしくは指先の腹に動脈が毛細血管として存在している関係から全体として手のひらもしくは指先の腹の色は、赤っぽくなっている。したがって、手のひらもしくは指先の腹には、赤色の成分も含まれている。

そして、指先の腹がセンサ内蔵液晶パネル３０１にすれすれで（弱く）接触している場合には、全体として指先の腹の色は赤っぽくなっているので、指先の腹は相対的に赤色の成分が多く含まれている。

一方、指先の腹をペットボトルなどの表面に接触させて、その裏側から観察してみれば容易にわかるが、指先の腹がセンサ内蔵液晶パネル３０１にしっかりと（強く）接触している場合には、血の気が引いて白くなる。よって、指先の腹がセンサ内蔵液晶パネル３０１にしっかりと接触している場合には、指先の腹は相対的に白色の成分が比較的多く含まれている。

すなわち、指先の腹の白っぽさの度合いがより大きくなるほど、もしくは、指先の腹の白っぽい部分の面積がより大きくなるほど、センサ内蔵液晶パネル３０１に指先がより強く接触していることになる。

よって、このような指先の腹の接触状態による少なくとも赤色および白色の分布状態の変化を利用すれば、センサ内蔵液晶パネル３０１上で、その指先の腹が強く接触しているのか、それとも弱く接触しているかなどの推定や、指先の接触圧（圧力）の大きさなどの推定が可能となる。

なお、ここでは、接触物として人間の指を用いて説明したが、これに限られるものではない。接触物は、接触圧が変化すると色が変化するものであればよい。

接触物として指先を対象とする場合には、第１色は、Ｒであり、第２色は、ＧおよびＢうちのいずれか１色であることが好ましい。

以上によれば、第１色はＲであるので、例えば、指先の腹が弱く接触しているときの、指先の腹の像に含まれるＲの成分の分布状態を特定することができる。

また、第２色は、ＧおよびＢのうちのいずれか１色であり、白色は、Ｒ、ＧおよびＢの混色した色なので、例えば、ＧおよびＢのうちのいずれか１色の分布状態を特定することで、指先の腹が強く接触しているときの、指先の腹の像に含まれる白色の成分の分布状態を間接的に特定することができる。

また、指先に何らかの器具を装着し、該器具でセンサ内蔵液晶パネル３０１に接触するような場合、接触部分の画像は、指先の腹の場合のような赤色および白色とは色相の異なるものとなる。よって、赤色および白色とは色相の異なる任意の色の分布状態の変化を利用するものであってもよい。

以上のような観点に基づき、電子楽器１００における接触状態推定部１４２は、色成分特定部１４１によって特定された第１色および第２色の分布状態から指先の接触状態を推定する。

なお、以下では、特に断らない限り、接触物として指先を、第１色としてＲを、第２色としてＧを選択したものとして説明する。

そして、上述した原理により、あらかじめ指先の接触部分の像に含まれるＲおよびＧの分布状態と、指先の接触状態（例えば、指先の接触圧の大きさや接触の強弱など）との関係を調べておけば、指先の接触部分の像に含まれるＲおよびＧの分布状態に基づいて、センサ内蔵液晶パネル３０１上に接触した指先の接触状態を推定することが可能となる。

ここで、接触状態推定部１４２による指先の接触状態の推定方法の具体例について説明する。

本実施形態の電子楽器１００では、接触状態推定部１４２は、ＲおよびＧの分布状態から、ＲおよびＧの成分比Ｒ／Ｇを算出（特定）し、成分比Ｒ／Ｇにあらかじめ対応付けられた指先の接触圧を特定する。これにより、成分比Ｒ／Ｇから、指先の接触圧を特定することができる。

なお、「成分比Ｒ／Ｇ」の例としては、画素毎のＲの輝度値の合計値と、画素毎のＧの輝度値の合計値との比、Ｒの輝度値の全画素の平均値と、Ｇの輝度値の全画素の平均値との比などが例示できる。

また、次のような方法によっても、接触状態を推定することができる。図１０を用いて説明する。図１０（ａ）は、センサ内蔵液晶パネル３０１において、接触領域に指先が弱く接触しているときのＲ画素およびＧ画素の分布状態を示す図であり、図１０（ｂ）は、接触領域に指先が強く接触しているときのＲ画素およびＧ画素の分布状態を示す図である。

なお、ここでは、領域ＰＰおよび指先の接触位置が特定された後の動作について説明する。これ以前の動作については、上述したとおりである。

色成分特定部１４１は、領域ＰＰに含まれる画素回路３１毎に、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が所定の閾値以上である画素回路３１（小領域）をＲ画素（第１領域）とし、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が、前記所定の閾値未満である画素回路３１をＧ画素（第２領域）として、Ｒ画素の画素数（第１領域の数）のＧ画素の画素数（第２領域の数）に対する画素数比Ｒ／Ｇ（領域数比）を特定し、その結果（色成分特定結果）を色成分特定結果／接触状態推定結果保持部１４５および色成分特定結果記憶部２４２に記憶させる。

なお、上記のように、Ｒの割合とＧの割合とのどちらが高いかの判定基準は、ＲおよびＧの輝度値の大小を用いればよい。

また、本実施形態では、領域ＰＰを複数の領域に分割した小領域が、単位画素３０を１つだけ含む領域である場合について説明するが、小領域は、複数の単位画素３０を含む任意の大きさの領域であってもよい。しかしながら、指先の接触状態を推定する精度の観点からは、領域ＰＰ内の小領域の数はできるだけ多くとることが好ましい。

例えば、小領域が、単位画素３０を１つだけ含む領域の場合、その単位画素３０のＲの輝度値（明度値）とＧの輝度値（明度値）との差が所定の閾値以上である単位画素３０を第１領域とし、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が、前記所定の閾値未満である単位画素３０を第２領域とすればよい。

一方、小領域が、複数の単位画素を含んでいる場合、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が所定の閾値以上である単位画素３０の数が多い小領域を第１領域とし、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が、前記所定の閾値未満である単位画素３０の数が多い小領域を第２領域とすればよい。

次に、接触状態推定部１４２は、色成分特定部１４１によって色成分特定結果が記憶されたことをトリガとして、色成分特定結果／接触状態推定結果保持部１４５または色成分特定結果記憶部２４２から、画素数比Ｒ／Ｇを読み出し、画素数比Ｒ／Ｇと、解析データ等記憶部２４に予め記憶されている指先の接触圧との関係を示す情報（画素数比／接触圧テーブル情報）を参照して、算出した画素数比Ｒ／Ｇに対応づけられた指先の接触の強弱（接触圧）を特定する。

なお、指先の接触圧の強弱は、接触圧を「強」と判定する接触圧の範囲および接触圧を「弱」と判定する接触圧の範囲を予め定めておき、接触圧が、これらの範囲のいずれに属するかによって判定してもよいし、接触圧自体による判定ではなく、画素数比Ｒ／Ｇの値が予め定められた閾値を超えているか否かによって判定してもよい。

なお、成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇと閾値との比較にヒステリシスを設けてもよい。

例えば、成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇが０．３未満になると、接触圧が「弱」から「強」に変化したと判断し、成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇが、０．５以上になると接触圧が「強」から「弱」に戻ったと判断する場合などが例示できる。

なお、ここでの「ヒステリシス」とは、行きと戻りとで閾値を変えることによって、強/弱の状態にある程度の安定性を持たせるためのものである。

また、画素数比Ｒ／Ｇの値の変化量に閾値を定め、画素数比Ｒ／Ｇの値の変化量がこの閾値より大きいか否かによって接触の強弱を判定してもよい。

これにより、指先の接触圧を特定するための処理データを領域ＰＰ内の情報に限定することができる。また、画素回路３１毎のＲおよびＧのそれぞれの輝度値などといった大きなメモリ容量を要する処理データを、
Ｒ画素およびＧ画素のそれぞれの画素数といった単純で、大きなメモリ容量を要しない処理データに置き換えているので、大幅に処理速度を高めると共にメモリを節約することが可能となる。

またＲ画素およびＧ画素の分布状態は、二次元的なデータなので、これを利用することで、例えば、領域ＰＰ内の接触圧の分布状態などに対応付けることも可能となる。

次に、図１０（ａ）および図１０（ｂ）に基づき、画素数比Ｒ／Ｇと、その閾値の算出方法の具体例について説明する。

図１０（ａ）の分布図と比較して、図１０（ｂ）の分布図では、Ｇ画素の数が多くなっていることがわかる。これは、指先の接触が弱い状態から強い状態に変わると、赤色に比べて白色の成分が多くなることを示している。

次に、画素数比Ｒ／Ｇの所定の閾値の算出例について説明する。まず、図１０（ａ）の分布図では、Ｒ画素の画素数（Ｒの数）＝１１５、Ｇ画素の画素数（Ｇの数）＝５４となっているので、Ｒ／Ｇ（ａ）＝１１５／５４＝２．１２と算出される。

一方、図１０（ｂ）の分布図では、Ｒ画素の画素数（Ｒの数）＝７５、Ｇ画素の画素数（Ｇの数）＝９４となっているので、Ｒ／Ｇ（ｂ）＝７５／９４＝０．７９と算出される。

そこで、画素数比Ｒ／Ｇは、Ｒ／Ｇ（ａ）およびＲ／Ｇ（ｂ）の平均値を求めて１．４５と設定している。

以上によれば、画素数比Ｒ／Ｇが、閾値１．４５を超えれば、指先の接触は弱いと推定し、画素数比Ｒ／Ｇが、閾値１．４５を超えなければ、指先の接触は強いと判定することができる。

なお、ここでは、説明を省略するが、接触状態推定部１４２は、上述した成分比Ｒ／Ｇが、予め定められた閾値を超えているか否かを特定してもよい。

これにより、例えば、指先の接触の強弱は、成分比Ｒ／Ｇもしくは画素数比Ｒ／Ｇの大小と密接に関係しているので、成分比Ｒ／Ｇもしくは画素数比Ｒ／Ｇに所定の閾値を設定し、成分比Ｒ／Ｇもしくは画素数比Ｒ／Ｇが、設定された閾値を超えているか否かによって指先がセンサ内蔵液晶パネル３０１に強く接触しているか、それとも弱く接触しているのかを区別して特定することができる。

よって、例えば、指先の接触状態が強いときをクリック操作に結び付け、指先の接触状態が弱いときをポインタによる操作に結び付けることで、指先の接触状態により、操作種別の使い分けが可能となる。

なお、「予め定められた閾値を超えているか否か」は、１つの成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇから特定する。すなわち、ここでは、ＲおよびＧの分布状態の時間的変化は無く、上記分布状態が静的である場合を想定している。

また、「閾値」の設定方法については、上述したように、指先の腹の接触が強いときの成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇと、指先の腹の接触が弱いときの成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇとを求めて、これらの成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇの平均値などを閾値として設定する場合などが例示できる。

また、上述した成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇの値は、人種による肌の色の違いや日焼けなどによる個人差の影響があるので、電子楽器１００は、ユーザが試験的に指先に強弱をつけてセンサ内蔵液晶パネル３０１に接触させたときのスキャンデータからＲ／Ｇの値を校正できるようにしておくことが好ましい。

例えば、日本人を例にとれば、電子楽器１００の出荷の際には、平均的な日本人によるスキャンデータからＲ／Ｇの値と指先の接触の強弱との関係を調べたデータを記憶させておき、ユーザ使用時にユーザが必要に応じて試験的に指先を、強弱を加えてセンサ内蔵液晶パネル３０１に接触させたときのスキャンデータから求めたＲ／Ｇの値と、上述した出荷時のＲ／Ｇの値とを比較して、上記所定の閾値の値を校正する方法などが例示できる。

次に、接触状態推定部１４２は、さらに色成分分布状態解析部１４２１、接触状態決定部１４２２、および接触位置特定部（接触位置特定手段）１４２３を含む構成である。

色成分分布状態解析部１４２１は、色成分特定部１４１によって色成分特定結果記憶部２４２に記憶された、領域ＰＰにおけるＲ画素およびＧ画素の分布状態を読み出し、領域ＰＰにおける各Ｒ画素の重心位置、または領域ＰＰにおける各Ｇ画素の重心位置を算出するものである。

また、接触状態決定部１４２２は、上述した「成分比Ｒ／Ｇ」および「成分比／接触圧テーブル情報」、もしくは「画素数比Ｒ／Ｇ」および「画素数比／接触圧テーブル情報」を参照して、算出した成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇに対応づけられた指先の接触の強弱（接触圧）を決定するものである。

また、接触位置特定部１４２３は、領域ＰＰにおける各Ｒ画素の重心位置または各Ｇ画素の重心位置から指先の接触位置として推定するものである。

各Ｒ画素および各Ｇ画素の分布状態は、指先の接触部分の形状が円形の場合、ほぼ同心円状に分布する傾向を示す。例えば、図１０（ａ）および図１０（ｂ）に示すように指先の腹のようなほぼ円形の接触面内のＲおよびＧの分布のように、ドーナツ状か、円形状、もしくは、接触領域の外周に沿ってまわりを取り囲むような囲い形の領域のいずれかの分布傾向を示す。

よって、領域ＰＰにおける上記各Ｒ画素の重心位置または上記各Ｇ画素の重心位置のいずれかを用いれば、接触圧のもっとも大きな位置、すなわち、指先の接触圧の分布状態に応じたより正確な指先の接触位置の推定が可能となる。

例えば、領域ＰＰの重心位置から上記各Ｒ画素の重心位置までの距離をＸ、領域ＰＰの重心位置から上記各Ｇ画素の重心位置までの距離をＹとすると、『Ｙ：Ｘ≒Ｒ画素の画素数：Ｇ画素の画素数』の関係が成立する。なお、領域ＰＰの重心位置、上記各Ｒ画素の重心位置および上記各Ｇ画素の重心位置は、同一直線上に存在する。

そこで、例えば、指先の接触状態が弱い場合は、Ｒがほぼ円形状の分布状態となるので、各Ｒ画素の重心位置が、ほぼ指先の接触位置を与えることになる。

しかしながら、上述のように、『Ｙ：Ｘ≒Ｒ画素の画素数：Ｇ画素の画素数』の関係が成り立つので、結局、各Ｇ画素の重心位置から逆に各Ｒ画素の重心位置、すなわち、指先の接触位置を推定することも可能である。

以上によれば、指先の接触圧のもっとも大きな位置、すなわち、より正確な指先の接触位置を推定することが可能となる。

また、接触位置特定部１４２３は、さらに、成分比Ｒ／Ｇが、予め定められた閾値を挟んで変化したか否かを特定したり、画素数比Ｒ／Ｇが、予め定められた閾値を挟んで変化したか否かを特定したりするものである。

これにより、例えば、指先の接触の強弱の変化は、成分比Ｒ／Ｇもしくは画素数比Ｒ／Ｇの大小の変化と密接に関係しているので、成分比Ｒ／Ｇもしくは画素数比Ｒ／Ｇに所定の閾値を設定し、成分比Ｒ／Ｇもしくは画素数比Ｒ／Ｇが、設定された閾値を挟んで変化したか否かによってセンサ内蔵液晶パネル３０１に接触した指先の強弱に変化があったか否かを特定することができる。

また、例えば、指先の接触の強弱と、成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇとの関係を予め調べておくことによって、指先の接触の強弱の変化（接触圧の大きさの変化）があったか否かを判定することができる。

ここで、「予め定められた閾値を挟んで変化したか否か」は、時間を隔てて特定された少なくとも２つのＲおよびＧの分布状態（成分比Ｒ／Ｇまたは領域数比Ｒ／Ｇ）から特定する。すなわち、ここでは、上記分布状態の時間的変化が存在し、上記分布状態が動的である場合を想定している。

また、閾値を挟んだ変化には、成分比Ｒ／Ｇまたは領域数比Ｒ／Ｇが上下のいずれに変化する場合も含まれる。

これにより、指先の接触状態（接触圧）の時間的変化に応じた操作種別の使い分けが可能となる。すなわち、指先の接触状態（接触圧）の時間的変化を電子楽器１００に認識させることが可能となる。

また、「閾値を挟んだ変化」は、１回だけ閾値を挟んで変化する場合のみでなく、２回以上閾値を挟んで変化する場合も含めてもよい。

また、「閾値」の設定方法については、指先の接触が強いときの成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇと、指先の接触が弱いときの成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇとを求めて、これらの成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇの平均値などを閾値として設定する方法などが例示できる。

また、接触位置特定部１４２３は、成分比Ｒ／Ｇもしくは画素数比Ｒ／Ｇの変化量を特定するものである。

なお、「成分比Ｒ／Ｇもしくは画素数比Ｒ／Ｇの変化量」は、時間を隔てて特定された２つの成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇ間の変化から特定する。すなわち、ここでは、成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇの時間的変化が存在し、成分比Ｒ／Ｇまたは画素数比が動的である場合を想定している。

例えば、指先の接触圧の変化量と、成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇの変化量との間には、ほぼ線形的な関係がある。

そこで、成分比Ｒ／Ｇまたは画素数比Ｒ／Ｇの変化量を他の何らかの変化量（例えば、音量や音程）に反映させることが可能となる。

また、接触状態決定部１４２２は、さらに成分比Ｒ／Ｇ、もしくは画素数比Ｒ／Ｇが、予め定められた閾値を超えているときの指先の接触位置を第１接触位置とし、成分比Ｒ／Ｇもしくは画素数比Ｒ／Ｇが、予め定められた閾値を超えていないときの指先の接触位置を第２接触位置として特定する。

なお、成分比Ｒ／Ｇを指先の接触状態の推定に利用する場合、指先の接触位置は、領域ＰＰの中心もしくは代表座標を採用すればよい。

これにより、上記閾値を超えているときの第１接触位置と、上記閾値を超えていないときの第２接触位置とを区別して特定することができる。

したがって、例えば、指先を弱く接触させたときの移動を、指を弦に触れている状態で移動させたことに結び付けたり、指先を強く接触させたときの移動を指で弦を押さえている状態で移動させたことに結び付けたりして、これらの動作を区別して処理することが可能となる。

以上によれば、指先の接触位置をより正確に特定したり、表示している弦に対する指や手の動作を種類の幅をより広げたりすることができる。

次に、接触状態推定結果格納部１４３は、接触状態推定部１４２が、指先の接触圧の特定（推定）結果（接触状態推定結果）に関するデータを色成分特定結果／接触状態推定結果保持部１４５、もしくは接触状態推定結果記憶部２４３に記憶させるものである。

色成分特定結果／接触状態推定結果保持部１４５は、接触状態推定部１４２が特定（推定）した接触状態推定結果を一時的に記憶するものである。

以上の構成を備える電子楽器１００によれば、センサ内蔵液晶パネル３０１上に接触した指先の接触状態を推定することが可能となる。

なお、上述した実施形態では、互いに色相の異なる少なくとも２色を用いて接触状態を推定することについて記載したが、本実施の形態はこれに限られるものではない。

上述した、接触物が指先の例の場合、例えばＲのみの分布状態からでも指先の接触状態を推定することは可能である。なぜなら、上述したように、Ｒの分布状態は、指先が軽く接触している場合と強く接触している場合とで異なる。すなわち、Ｒの分布状態は、指先の接触圧の強弱によって、異なるからである。また、これはＲに限るものではなく、他の色であっても同様のことが言える。

よって、１色の分布状態から接触物の接触状態を推定するものであってもよい。

また、等色の原理を満たさない２色であっても、同様のことが言えるので、等色の原理を満たさない２色を用いて接触状態を推定するものであってもよい。

また、画像表示処理部１８は、センサ内蔵液晶パネル３０１上に、実際のギターのような擬似弦やフレットを表示させたり、ユーザが指を押さえるべき位置を表示させたり、指が接触している位置を表示したり、押さえられている擬似弦を他の擬似弦とは異なる色で表示させたりするものである。

さらに、画像表示処理部１８は、センサ内蔵液晶パネル３０１に接触している指の動きに合わせて、表示している弦の表示位置を移動させる。具体的には、画像表示処理部１８は、接触状態推定部１４が特定した接触位置、および接触状態を取得する。そして、接触状態が強いまま接触位置が移動すると、該接触位置の移動に合わせて表示している弦の位置を移動させる。

これにより、指の位置が、弦が表示されている位置に接触したまま移動すると、該移動に合わせて、表示している弦の位置が移動される。

例えば、ユーザが、指を弦の位置に接触させたまま、素早く上下に動かすと、表示されている弦もそれに合わせて素早く上下に振動する。

また、画像表示処理部１８は、操作部９０３を介して受け付けたユーザの指示により、ユーザが指示したコードの押圧位置を示す画像を表示画像記憶部２６から取得して表示する。

これにより、ユーザは、自分が指示したコードについて、どの弦をどの位置で押さえればよいのかを容易に認識することができる。

さらに、画像表示処理部１８は、操作部９０３を介して受け付けたユーザの指示により、曲における、その時点でのコードの押圧位置を示す画像を表示画像記憶部２６から取得して表示する。

これにより、ユーザは、曲において、どの時点でどのコードを弾いたらよいのかを容易に認識することができる。

次に、センサ内蔵液晶パネル３０１に表示される例について図１１（ａ）〜図１１（ｇ）を用いて説明する。図１１（ａ）は、センサ内蔵液晶パネル３０１に、６弦の擬似弦とフレットとを表示させた状態を示す図である。なお、ここでは、表示されている弦を上から第１弦、第２弦、…、第６弦とする。また、表示されているフレットを左から第１フレット、第２フレット、…、第４フレットとする。また、図中の黒丸は押弦位置（接触位置）を示す。

図１１（ｂ）は、６弦の擬似弦とフレットとを表示させた状態で、押弦された弦のみが擬似弦よりも太く、さらに押弦位置（接触位置）によって、発色（発光）する色を異ならせて、表示した状態を示す。

図１１（ｂ）の例では、第１弦と第６弦とが、第２フレットと第３フレットとの間で押弦され、第５弦が、第１フレットと第２フレットとの間で押弦された場合を示している。

図１１（ｃ）は、図１１（ｂ）に加えて、開放されている弦（押弦されていない）も押弦されている弦とは異なる色で発色させて表示した状態を示す。

図１１（ｄ）は、押弦の押圧力（接触圧）に応じて発色する色を異ならせて表示した状態を示す。図１１（ｄ）の例では、第１弦と第６弦とが第２フレットと第３フレットとの間で押弦され、第５弦が第１フレットと第２フレットとの間で押弦され、それぞれの押圧力が同じである場合を示している。

図１１（ｅ）は、図１１（ｄ）に加えて、開放されている弦（押弦されていない）も押弦されている弦とは異なる色で発色させて表示した状態を示す。

図１１（ｆ）は、押弦された弦を振動させている状態を示す図である。図１１（ｆ）の例では、第１弦、第５弦、および第６弦が振動している状態を示す。

図１１（ｇ）は、図１１（ｆ）に加えて、開放されている弦（押弦されていない）も振動させている表示を行った状態を示す。

音出力処理部１９は、電子楽器１００から音を出力するための処理を行うものである。より詳細には、上述したように、音出力処理部１９は、出力音決定部１９１、出力音モード決定部１９２、弾弦判断部１９３、および接触領域変化判断部１９４を含む構成である。

弾弦判断部１９３は、撥弦部９１１の弦が弾かれると、弦が弾かれたと判断し、弦が弾かれたということと弾かれた弦を示す情報とを出力音決定部１９１へ送信する。

出力音モード決定部１９２は、操作部９０３で受け付けた出力音モードを、出力音決定部１９１へ通知する。出力音モードとは、電子楽器１００においてどのような楽器の音を出力するかを示すものである。具体的な例としては、ギターの他に、ベース、三味線、ピアノ等が挙げられる。例えば、出力音モードがギターであれば、電子楽器１００はギターの音を出力し、出力音モードがベースであれば、電子楽器１００がベースの音を出力する。

なお、ベースや三味線等の、ギターと弦の本数が異なる楽器の場合は、撥弦部９１１に備えられている６本の弦のうちのいずれかの弦を用いる構成とすればよい。また、ピアノのように、直接弦を弾く楽器ではない場合は、撥弦部９１１を使用しない構成とすればよい。

接触領域変化判断部１９４は、接触領域特定結果記憶部２４１に記憶されている接触領域特定結果の時系列における位置の変化を判断し、判断した結果を示す情報を出力音決定部１９１へ送信する。

出力音決定部１９１は、弾弦判断部１９３から取得した、弾かれた弦を示す情報と、出力音モード決定部１９２から取得した出力音モードと、接触領域変化判断部１９４から取得した接触領域の位置の変化と、接触位置特定部１４２３が特定した接触領域（接触位置）と、出力音データ記憶部２５記憶されている出力音データとから出力音を決定する。そして、決定した出力音を音出力部９１０から出力する。

なお、出力音決定部１９１は、出力音データ記憶部２５に記憶されている出力音データではなく、発振回路（図示せず）で作成した作成した音を電子回路（図示せず）で加工することにより、音色、音程、音量を変化させた音を出力する音として決定してもよい。

次に、出力する音について、より具体的に、図１２を用いて説明する。図１２は、本実施の形態において、ユーザの指が接触している例を示す図である。

図１２（ａ）に示す例の場合、ユーザの指は、第１フレットと第２フレットとの間の第２、３、４弦を押さえる形、すなわち、コード「Ａ」を押さえる形となっている。この状態で、撥弦部９１１の弦が弾かれると、出力音決定部１９１は、コード「Ａ」に対応する音を出力する音として決定する。

また、図１２（ｂ）に示す例の場合、ユーザの指は、端と第１フレットとの間の第２弦と、第１フレットと第２フレットとの間の第４弦と、第２フレットと第３フレットとの間の第５弦を押さえる形、すなわち、コード「Ｃ」を押さえる形となっている。この状態で、撥弦部９１１の弦が弾かれると、出力音決定部１９１は、コード「Ｃ」に対応する音を出力する音として決定する。

さらに、図１２（ｃ）は、弦を押さえている状態を示す図であり、図１２（ｄ）は、図１２（ｃ）で、弦を押さえている指が、弦と垂直方向に、少しだけずれた状態を示す図である。図１２（ｃ）に示す状態で、撥弦部９１１の弦が弾かれると、出力音決定部１９１は、指が弦を押さえている位置と対応した音を出力する音として決定する。そして、該音が出力中に、ユーザの指が、図１２（ｄ）に示すように、弦の方向に対して垂直方向に、少しだけずれると、出力音決定部１９１は、出力中の音から少しだけ音程の高い音を出力する音として決定する。

すなわち、通常のギターであれば、図１２（ｄ）に示す状態は、いわゆる「チョーキング」と呼ばれる弾き方であり、弦を本来存在する位置から少しだけ弦と垂直方向にずらすことで、音程を上げるものである。

本実施の形態では、通常のギターと同様に、通常のギターにおけるチョーキングに対応する、ユーザの指の動きがあれば、通常のギターにおけるチョーキングと同様に出力している音の音程を上げるものである。また、ユーザの指の位置が元の位置に戻れば、出力する音の音程も元の音程に戻す。

次に、センサ内蔵液晶パネル３０１に対する指の接触状態と、音出力処理部１９が出力させる音との関係について、図１３を用いて説明する。

図１３に示すように、センサ内蔵液晶パネル３０１に対して、ユーザの指が軽く触れている状態で、撥弦部９１１の弦が弾かれると、音出力処理部１９は、通常のギターにおいて、弦に軽く触れた状態で弦を弾いたときの音（いわゆるハーモニクス音）を出力する。

また、センサ内蔵液晶パネル３０１に対して、ユーザの指が強く押さえられている状態で、撥弦部９１１の弦が弾かれると、音出力処理部１９は、通常のギターにおいて、弦が押さえられた状態で弦を弾いたときの音を出力する。

また、撥弦部９１１の弦が弾かれた後、センサ内蔵液晶パネル３０１に対して、ユーザの指が強く押さえられたまま、接触位置が弦に対して垂直方向に移動すると、音出力処理部１９は、出力している音の音程を、接触位置の移動距離に応じて上げる（いわゆる、チョーキング）。

また、撥弦部９１１の弦が弾かれた後、センサ内蔵液晶パネル３０１に対して、ユーザの指が強く押さえられたまま、接触位置が弦方向に移動すると、音出力処理部１９は、出力している音の音程を、接触位置の移動距離に応じて変える。

次に、出力する音の音程の変化について、図１４を用いて説明する。図１４は、音の高さと波長との関係を示す図である。図１４（ａ）は、低い音のときの時刻と振幅との関係を示す図であり、図１４（ｂ）は、高い音のときの時刻と振幅との関係を示す図である。

図１４（ａ）および（ｂ）を比較すると分かるように、音が低いときは波長の間隔が長く、音が高いときには波長の間隔が短い。よって、波長の間隔を変更することで音の高さを変えることができる。また、振幅は音の大きさに相当する。

次に、接触状態の変化によって、音程および音量を変化させる場合について図１５を用いて説明する。図１５は、指の接触状態と音の波形と音量との関係を示す図である。

図１５に示すように、状態Ａは、センサ内蔵液晶パネル３０１に対する指の接触状態が触れている程度の状態を示す。このときの音の波形は、波長の間隔が長めである。また、振幅は小さい。

状態Ｂは、センサ内蔵液晶パネル３０１に対して指が、接触はしているが押圧が弱い状態を示す。このときの音の波形は、波長の間隔が状態Ａと比較して短めである。また、振幅は状態Ａと比較してやや大きい。

状態Ｃは、センサ内蔵液晶パネル３０１に対して指が、押圧が高い状態で接触している状態を示す。このときの音の波形は、波長の間隔が短い。また、振幅は大きい。

そして、センサ内蔵液晶パネル３０１に対する指の押圧力を強くしたり弱くしたりすると、それに応じて出力する音の波形も、波長の間隔が短めになったり長めになったりする。これにより、指のセンサ内蔵液晶パネル３０１に対する押圧力の変化に合わせて、音程を変化させることができる。また、押圧力を素早く変えることにより、揺れている音（ビブラート）を出力することができる。

また、センサ内蔵液晶パネル３０１に対する指の押圧力を強くしたり弱くしたりすると、それに応じて出力する音の波形も、振幅の大きさが小さくなったり、大きくなったりする。これにより、指のセンサ内蔵液晶パネル３０１に対する押圧力の変化に合わせて、音量を変化させることができる。

なお、音程の変化と音量の変化とは、必ず一緒に変化しなくてはならないものではなく、どちらか一方が変化するものであってもよい。

押圧力の変化により、音程を変化させる楽器としては、例えば琴を挙げることができる。また、押圧力の変化により、音量を変化させる楽器としては、例えばピアノを挙げることができる。

なお、本実施の形態では、センサ内蔵液晶パネル３０１に対する指の接触圧の変化を、検出した色によって判断しているが、これに限られるものではない。例えば、接触面積によって判断することも可能である。

図１６を用いて説明する。図１６は、指とセンサ内蔵液晶パネル３０１との接触面積と接触状態との関係、および実際の光センサ液晶を用いて指を検出した画像例を示す図である。

図１６に示すように、センサ内蔵液晶パネル３０１に対して、指の先が接触した状態では、接触面積は小さく、指の腹が接触した状態では、接触面積は中くらいの大きさで、指全体が接触した状態では、接触面積も大きくなる。これにより、接触面積から接触圧を判断することができる。

（電子楽器の動作）
次に、図１７を参照しながら、電子楽器１００において、音を出力する処理の流れについて説明する。

同図に示すように、電子楽器１００は、電源がオンにされると（Ｓ１７０１）、電子楽器１００は、操作部９０３を介して、出力音モードを受け付け、出力音モードを設定する（Ｓ１７０２）。

そして、ユーザが演奏を開始すると、弾弦判断部１９３は、撥弦部９１１の弦が弾かれたか否かを判断する（Ｓ１７０３）。弾弦判断部１９３が、撥弦部９１１の弦が弾かれたと判断すると（Ｓ１７０３でＹＥＳ）、接触状態推定部１４は、センサ内蔵液晶パネル３０１に対する接触位置および接触圧を判定する処理を行う（Ｓ１７０４）。そして、音出力処理部１９は、弾かれた弦、接触位置、接触圧に応じた音を決定し、所定の時間、出力する（Ｓ１７０５）。

そして、接触状態推定部１４は、音が出力中も、センサ内蔵液晶パネル３０１に対する接触位置および接触圧を判定する処理を行う（Ｓ１７０６）。

音を出力中に、接触位置、接触圧が変化すると（Ｓ１７０７でＹＥＳ）、音出力処理部１９は、変化した接触位置、接触圧に応じた音を決定し、出力する（Ｓ１７０８）。

そして、弾弦判断部１９３が、次にまた、撥弦部９１１の弦が弾かれたと判断すると（Ｓ１７０９でＹＥＳ）、Ｓ１７０４へ戻る。

一方、撥弦部９１１の弦が弾かれないまま（Ｓ１７０９でＮＯ）、出力音が終了し（Ｓ１７１０でＹＥＳ）、電源がオフとなると（Ｓ１７１１でＹＥＳ）、処理は終了する。

また、出力音が終了しない間は（Ｓ１７１０でＮＯ）、Ｓ１７０６へ戻り、Ｓ１７０６以降の処理を繰り返す。また、電源がオフとならない間は（Ｓ１７１１でＮＯ）、出力音モードが変更された場合は（Ｓ１７１２でＹＥＳ）、Ｓ１７０２へ戻り、Ｓ１７０２以降の処理を繰り返す。一方、出力音モードが変更されない場合は（Ｓ１７１２でＮＯ）、Ｓ１７０３へ戻り、Ｓ１７０３以降の処理を繰り返す。

以上で、電子楽器１００において、音を出力する処理の流れは終了する。

次に、接触位置特定・接触圧判定処理の流れについて、図１８を用いて説明する。

まず、電子楽器１００では、スキャン実行部１３１から送られる「接触状態推定コマンド」により、センサ制御部６０２が、光センサ駆動回路３０５を介して光センサ６によりスキャンを行って、そのスキャンデータをデータ処理部７００の画像データバッファ７０４に蓄積（保持）する動作を所定のタイミングＴＣ２で繰り返している（Ｓ１８０１）。なお、この時点では、「データ取得タイミング」のフィールド値は、既に“01”（イベント）に設定されているものとする。

次に、ユーザが、指をセンサ内蔵液晶パネル３０１に接触させると（Ｓ１８０２）、センサデータ処理部７０３は、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出されか否かを判断する（Ｓ１８０３）。センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出された場合には（Ｓ１８０３でＹＥＳ）、センサデータ処理部７０３は、該抽出した領域の画像データ（部分画像データおよび代表座標）を主制御部８００に送信する。

一方、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出されなかった場合は（Ｓ１８０３でＮＯ）、Ｓ１８０１に戻る。

そして、スキャンデータ格納部１３３は、センサデータ処理部７０３から主制御部８００に送られたスキャンデータを画像データ記憶部２３に記憶（保持）させる。

次に、色成分特定部１４１は、領域ＰＰにおける画素毎のＲの輝度値およびＧの輝度値（ＲおよびＧの分布状態）を算出（特定）する（Ｓ１８０５）。

そして、色成分特定部１４１は、領域ＰＰに含まれる画素回路３１毎に、Ｒの輝度値とＧの輝度値との差が所定の閾値Ｔ以上である画素回路３１をＲ画素とし、Ｒの輝度値とＧの輝度値との差が所定の閾値Ｔ未満である画素をＧ画素として、Ｒ画素およびＧ画素の分布状態を特定すると共に、画素数比Ｒ／Ｇを算出（特定）する（Ｓ１８０６）。

そして、色成分特定部１４１は、Ｒ画素およびＧ画素のそれぞれの画素数と共に、その結果（色成分特定結果）を色成分特定結果／接触状態推定結果保持部１４５および色成分特定結果記憶部２４２に記憶させる。

次に、接触状態推定部１４２は、色成分特定部１４１が色成分特定結果を記憶させたことをトリガとして、色成分特定結果／接触状態推定結果保持部１４５または色成分特定結果記憶部２４２からＧ画素の画素数を読み出し、Ｇ画素の画素数＝０か否かを判断する（Ｓ１８０７）。そして、Ｇ画素の画素数＝０の場合（Ｓ１８０７でＹＥＳ）、接触状態推定部１４２は、指は接触していないと判断する（Ｓ１８１１）。

一方、Ｇ画素の画素数≠０の場合には（Ｓ１８０７でＮＯ）、接触状態推定部１４２が、色成分特定結果／接触状態推定結果保持部１４５または色成分特定結果記憶部２４２から画素数比Ｒ／Ｇを読み出し、画素数比Ｒ／Ｇが、解析データ等記憶部２４に予め記憶されている（不図示）所定の閾値を参照する。そして、接触状態推定部１４２は、画素数比Ｒ／Ｇが、所定の閾値を超えているか否かを判断する（Ｓ１８０８）。画素数比Ｒ／Ｇが、所定の閾値を超えている場合（Ｓ１８０８でＹＥＳ）、接触状態推定部１４２は、指の接触状態が「弱い」と判定する（Ｓ１８１０）。一方、画素数比Ｒ／Ｇが、所定の閾値を超えていない場合（Ｓ１８０８でＮＯ）、接触状態推定部１４２は、指の接触状態が「強い」と判定する（Ｓ１８０９）。

以上で、接触位置特定・接触圧判定処理の流れが終了する。

なお、本実施の形態では、通常のギターと同様の外観を有し、ギターと同様の演奏方法を行う場合について説明したが、これに限られるものではない。接触位置と接触圧によって鳴らす音程を変える楽器（例えば、ピアノや鼓等）であれば、どのような楽器であっても本発明を適用することは可能である。

また、本実施の形態では、ネック部には、センサ内蔵液晶パネル３０１を備え、弦は備えていないものとしたが、これに限られるものではない。ネック部にも、通常のギターと同様に弦を備えた構成であってもよい。これにより、ユーザは、実際の弦の感触を得ながら、コードを押さえることができる。

この場合、センサ内蔵液晶パネル３０１に対する指の接触面は、指だけでなく、弦を含んだ状態となる。

本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、電子楽器１００の各ブロック、特に回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。

すなわち、電子楽器１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである電子楽器１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記電子楽器１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、電子楽器１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

接触した指の位置および接触圧によって、出力する音の音程を変えることができるので、接触した指の位置および接触圧によって鳴らす音程を変える楽器の練習機に適用できる。例えば、ギターの弦を押さえるという複雑な指の動きを、面を押さえるという単純な動きで対応できるのギターの練習機として好適である。

１２ スキャン処理部（撮像制御手段）
１４ 接触状態推定処理部
１８ 画像表示処理部（表示制御手段）
１９ 音出力処理部（出力音制御手段）
６４ 対象物（接触物）
１００ 電子楽器（音出力装置）
１３１ スキャン実行部（撮像制御手段）
１３２ スキャン実行指示部（撮像制御手段）
１３３ スキャンデータ格納部（撮像制御手段）
１３４ スキャンデータ保持部
１３５ スキャン属性情報設定部
１４１ 色成分特定部（色成分特定手段）
１４２ 接触状態推定部（接触状態推定手段）
１４３ 接触状態推定結果格納部
１４５ 色成分特定結果／接触状態推定結果保持部
１９１ 出力音決定部（出力音決定手段）
３０１ センサ内蔵液晶パネル（面状部材）
９１１ 撥弦部
９１２ 弦
１４２１ 色成分分布状態解析部
１４２２ 接触状態決定部
１４２３ 接触位置特定部（接触位置特定手段）

Claims (11)

1. 面状部材と、
   接触物が該面状部材に接触している接触部分の像を撮像する撮像制御手段と、
   上記撮像制御手段によって撮像された上記接触部分の像の上記面状部材における位置を特定する接触位置特定手段と、
   上記接触位置特定手段が特定した上記位置に応じて出力する音を決定する出力音決定手段と、
   上記出力音決定手段が決定した音を出力する出力音制御手段と、を備えていることを特徴とする音出力装置。
2. 上記撮像制御手段によって撮像された上記接触部分の像から上記接触物の接触状態を推定する接触状態推定手段を備え、
   上記出力音決定手段は、上記接触位置特定手段が特定した上記位置と、上記接触状態推定手段が推定した上記接触状態とから出力する音を決定することを特徴とする請求項１に記載の音出力装置。
3. 上記接触状態推定手段は、上記撮像制御手段によって撮像された上記接触部分の像における色の分布状態によって上記接触物の接触状態を推定することを特徴とする請求項２に記載の音出力装置。
4. 上記撮像制御手段によって撮像された上記接触部分の像における互いに色相の異なる少なくとも第１色および第２色の分布状態を特定する色成分特定手段を備え、
   上記接触状態推定手段は、上記色成分特定手段によって特定された上記第１色および上記第２色の分布状態から上記接触物の接触状態を推定することを特徴とする請求項３に記載の音出力装置。
5. 上記面状部材に、ギターの弦の画像を表示させる表示制御手段を備え、
   上記出力音決定手段は、上記表示制御手段が表示させた弦の位置と上記接触位置特定手段が特定した上記位置とから、出力する音を決定することを特徴とする請求項１〜４のいずれか１項に記載の音出力装置。
6. 上記表示制御手段は、上記接触位置特定手段が特定した位置が、上記面状部材に表示させている弦と重なった位置にある場合、上記特定した位置と重なった位置に存在する弦の表示を、他の弦の表示とは異ならせることを特徴とする請求項５に記載の音出力装置。
7. 上記表示制御手段は、上記接触状態推定手段が推定した接触状態が同じまま、上記接触位置特定手段が特定した位置が、上記面状部材に表示させている弦と重なった位置から変化すると、表示させている弦の位置を該変化に合わせて移動させることを特徴とする請求項５または６に記載の音出力装置。
8. 弦を有する撥弦部を備え、
   上記出力音制御手段は、上記撥弦部の弦が弾かれると、音を出力することを特徴とする請求項１〜７のいずれか１項に記載の音出力装置。
9. 請求項１〜８のいずれか１項に記載の音出力装置を動作させる音出力装置制御プログラムであって、コンピュータを上記の各手段として機能させるための音出力装置制御プログラム。
10. 請求項９に記載の音出力装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 面状部材を備えた音出力装置の制御方法であって、
    接触物が該面状部材に接触している接触部分の像を撮像する撮像制御ステップと、
    上記撮像制御ステップで撮像された上記接触部分の像の上記面状部材における位置を特定する接触位置特定ステップと、
    上記接触位置特定ステップで特定した上記位置に応じて出力する音を決定する出力音決定ステップと、
    上記出力音決定ステップで決定した音を出力する出力音制御ステップと、を含むことを特徴とする音出力装置の制御方法。