JP2010182066A - 接触状態推定装置、接触状態推定プログラム及びコンピュータ読み取り可能な記録媒体、並びに接触状態推定方法 - Google Patents

Abstract

【課題】面状部材上に接触した接触物の接触状態を推定できるようにする。
【解決手段】センサ内蔵液晶パネル３０１と、センサ内蔵液晶パネル３０１に接触する指先Ｆの接触部分の像をスキャンするスキャン処理部１２と、スキャン処理部１２によってスキャンされた指先Ｆの接触部分の像におけるＲ及Ｇの分布状態を特定する色成分特定部１４１と、色成分特定部１４１によって特定されたＲ及Ｇの分布状態から指先Ｆの接触状態を推定する接触状態推定部１４２とを備えている。
【選択図】図１

Description

本発明は、面状部材に対する接触物の接触状態を推定する接触状態推定装置、接触状態推定プログラム及びコンピュータ読み取り可能な記録媒体、並びに接触状態推定方法に関するものである。

携帯電話やＰＤＡ（Personal Digital Assistants）などの各種機器に、画像表示部として液晶ディスプレイを備えた画像表示装置が幅広く利用されていることは周知の通りである。

特に、ＰＤＡでは、古くからタッチセンサ（アナログ抵抗膜方式、静電容量方式）を備えることにより、直接指などを液晶ディスプレイに接触させることによって情報を入力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッチセンサを備えるセンサ内蔵型液晶表示装置の普及が期待されている。

ところで、直接指などを液晶ディスプレイに接触させることによって情報を入力する場合、その指の接触圧の大きさ、すなわち、その指がどのくらいの押圧で抑えているのかを特定することが同時に特定できれば、指によるタッチ入力の情報入力パターンを広げることが可能となる。

例えば、液晶ディスプレイの表示画面すれすれで指を動かすと、その表示画面に表示されているマウスポインタの移動のみを行い、表示画面に指を強く接触させたまま動かすと、クリックしながらの移動（ドラッグ操作）といった操作など操作種別の使い分けが可能となる。

このような観点に基づく従来の装置の一例として特許文献１には、座標入力及び操作方法指示装置が開示されている。

特許文献１に記載された座標入力及び操作方法指示装置では、同時に複数の座標位置を指示できる２次元の圧力分布センサで、順次特定される圧力分布中の圧力の極大値及びその座標位置の変化に基づいて、操作方法の命令種別を判別できるようになっている。

また、従来の装置の他の例として特許文献２には、速度可変付キー入力装置が開示されている。

特許文献２に記載された速度可変付キー入力装置は、一定の容量を保持した上部電極及び下部電極と、容量変化を検知する容量バランス測定回路と、容量変化があった位置座標を検知する座標特定回路と、上部電極及び下部電極に対して指で接触した圧力を特定する圧力センサと、座標特定回路及び圧力センサの出力をコード化してノートＰＣ（パーソナルコンピュータ）に供給する論理回路とを含んでおり、タッチパッドを用いたポインテイングデバイスのカーソル移動速度を自由に変化させることができるようになっている。

また、従来の装置のさらに他の例として特許文献３には、座標入力及び操作方法指示装置が開示されている。

この特許文献３に記載された座標入力及び操作方法指示装置は、タッチパネル板に圧力特定素子を取付け、位置入力を光学または静電式の入力方式で行い、位置の確定を入力面の押圧で行うことにより、位置入力とは別個に入力者の入力意志を認識できるようになっている。

一方、表示用の複数の画素とイメージセンサとを一体化したセンサ内蔵型液晶表示装置の従来例としては、イメージセンサ及びＴＦＴ液晶の前にＲ（Red）、Ｇ（Green）及びＢ（Blue）のカラーフィルタを設けて、画像の読み取りや、文字認識を行うことができるようにした入出力一体型情報処理装置が例示できる。

特開２００３−１２２５０６号公報（２００３年 ４月２５日公開） 特開平９−２３０９９５号公報（１９９７年 ９月 ５日公開） 特開昭６３−２５７８２４号公報（１９８８年１０月２５日公開）

しかしながら、前記従来の特許文献１〜３に開示された技術は、いずれも圧力センサの存在が前提となっており、イメージセンサを備えた入出力一体型情報処理装置には適用することはできないという問題点がある。

すなわち、従来のイメージセンサを備えた入出力一体型情報処理装置では、ディスプレイに接触した指の形状等の形状認識などは可能となっているが、この形状認識だけでは、指がどのような強さでディスプレイに触れているのか、また、指がディスプレイにしっかりと接触しているのか、それとも、ディスプレイにすれすれの位置で接触しているのかなどの判定ができないという問題点がある。

本発明は、前記従来の問題点に鑑みなされたものであって、その目的は、面状部材上に接触した接触物の接触状態を推定することが可能な接触状態推定装置、接触状態推定プログラム及び該接触状態推定プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに接触状態推定方法を提供することにある。

本発明の接触状態推定装置は、前記課題を解決するために、面状部材と、接触物が該面状部材に接触している接触部分の像を撮像する撮像制御手段と、前記撮像制御手段によって撮像された前記接触部分の像における互いに色相の異なる少なくとも第１色及び第２色の分布状態を特定する色成分特定手段と、前記色成分特定手段によって特定された前記第１色及び前記第２色の分布状態から前記接触物の接触状態を推定する接触状態推定手段とを備えていることを特徴としている。

また、本発明の接触状態推定方法は、前記課題を解決するために、面状部材に接触する接触物の面状部材との接触状態を推定する接触状態推定方法であって、前記接触物が前記面状部材に接触している接触部分の像を撮像する撮像制御ステップと、前記撮像制御ステップで撮像された前記接触部分の像における互いに色相の異なる少なくとも第１色及び第２色の分布状態を特定する色成分特定ステップと、前記色成分特定ステップで特定された前記第１色及び前記第２色の分布状態から前記接触物の接触状態を推定する接触状態推定ステップとを含んでいることを特徴としている。

前記構成又は方法によれば、本発明の接触状態推定装置は、面状部材を備えており、接触状態推定方法は、面状部材に接触する接触物の面状部材との接触状態を推定する方法である。

ここで「面状部材」は、面状の部材であれば良く、その形状や材料は問わない。例えば、「面状部材」は、平面状の部材に限られず、曲面状の部材であっても良い。また、「面状部材」は、閉じられた２次元図形であっても良いし、閉じられた３次元図形の側面であっても良い。２次元図形の例としては、三角形、四角形などの凸多角形や凹多角形が例示できる。また、円や楕円などであっても良い。

３次元図形の例としては、六面体、八面体などの凸多面体や、凹多面体が例示できる。また、円錐、円柱、球などであっても良い。

また、面状部材は、光透過率の高い素材で構成されていることが好ましい。また、面状部材は、例えば、液晶パネルのように比較的剛性の高い材料で構成されていても良いし、有機ＥＬ（Light Emitting）パネルのように比較的柔軟性のある材料で構成されていても良い。

また、撮像制御手段又は撮像制御ステップでは、接触物が該面状部材に接触している接触部分の像を撮像するようになっている。

なお、撮像制御手段又は撮像制御ステップでは、面状部材とは別体のアナログカメラやデジタルカメラを制御して離れた位置から接触物が該面状部材に接触している接触部分の像を撮像しても良いし、面状部材に複数の撮像センサを設け、接触部分の像を該複数の撮像センサを制御して面状部材上で直接撮像しても良い。

また、前記構成又は方法によれば、色成分特定手段は又は色成分特定ステップでは、前記撮像制御手段によって又は前記撮像制御ステップで撮像された前記接触部分の像における互いに色相の異なる少なくとも第１色及び第２色の分布状態を特定するようになっている。

「色相」とは、色感の３要素の１つであり、その色と同じ色感を起こすスペクトル単色光の波長で表すことができる。

なお、「第１色及び第２色」の例としては、等色の原理を満たす３色のうちの２色などが例示できるが、必ずしもこのような２色に限定されない。すなわち、第１色及び第２色は、互いに色相の異なる２色であれば良い。

ここで、等色の原理とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。具体的には、色の３原色や、光の３原色、また、１２色相環上で、環にそって４つおきに選択した３つの色（２次色など）などが例示できる。

より具体的には、例えば、Ｒ、Ｇ及びＢや、Ｍ（マゼンダ）、Ｃ（シアン）及びＹ（イエロー）などが例示できる。

また、「分布状態」は、アナログ画像のように、第１色若しくは第２色が連続的に分布した状態であっても良いし、デジタル画像のように第１色若しくは第２色が画素毎に、非連続に分布した状態であっても良い。

ところで、例えば、黄色人種である日本人を例にとれば、手のひら若しくは指先の腹には、黄色の成分が含まれている。また、手のひら若しくは指先の腹に静脈が毛細血管として存在している関係上、手のひら若しくは指先の腹には、部分的に青色の成分が含まれている。また、手のひら若しくは指先の腹に動脈が毛細血管として存在している関係から全体として手のひら若しくは指先の腹の色は、赤っぽくなっている。したがって、手のひら若しくは指先の腹には、赤色の成分も含まれている。

また、日本人が日焼けをしたような場合や、黒色人種を例にとれば、手のひら若しくは指先の腹には、黒褐色ないし黒色の成分が含まれる。これは、黒褐色ないし黒色のメラニン色素の存在が原因となっている。

ここで、例えば、黄色人種である日本人を例にとれば、指先の腹が面状部材の表面にすれすれで（弱く）接触している場合には、全体として指先の腹の色は赤っぽくなっているので、相対的に赤色の成分が多く含まれている。

一方、指先の腹をペットボトルなどの表面に接触させて、その裏側から観察してみれば容易にわかるが、指先の腹が面状部材の表面にしっかりと（強く）接触している場合には、血の気が引いて白くなる。そうすると、指先の腹が前記表面にしっかりと接触している場合には、相対的に白色の成分が比較的多く含まれている。

すなわち、指先の腹の白っぽさの度合いがより大きくなるほど、若しくは、指先の腹の白っぽい部分の面積がより大きくなるほど、前記表面に指先がより強く接触していることになる。

すなわち、このような指先の腹の接触状態による少なくとも赤色及び白色の分布状態の変化を利用すれば、面状部材上で、その指先の腹が強く接触しているのか、それとも弱く接触しているかなどの推定や、指先の接触圧（圧力）の大きさなどの推定が可能となる。

このため、本発明の接触状態推定装置は、前記構成に加えて、前記第１色は、赤色であり、前記第２色は、緑色及び青色うちのいずれか１色であることが好ましい。

前記構成によれば、第１色は赤色であるので、例えば、指先の腹が弱く接触しているときの、指先の腹の像に含まれる赤色の成分の分布状態を特定することができる。

また、第２色は、緑色及び青色うちのいずれか１色であり、白色は、赤色、緑色及び青色の混色した色なので、例えば、緑色及び青色うちのいずれか１色の分布状態を特定することで、指先の腹が強く接触しているときの、指先の腹の像に含まれる白色の成分の分布状態を間接的に特定することができる。

また、例えば、ペン先の色の変化を筆圧により制御するようなペンデバイスにて面状部材に入力操作を行うような場合、指先の腹のような赤色及び白色とは色相の異なる任意の色の分布状態の変化を利用することも想定される。

以上のような観点に基づき、本発明の接触状態推定装置又は接触状態推定方法における接触状態推定手段は又は接触状態推定ステップでは、前記色成分特定手段によって又は色成分特定ステップで特定された前記第１色及び前記第２色の分布状態から前記接触物の接触状態を推定する接触状態推定手段とを備えている又は接触状態推定ステップを含んでいる。

これにより、あらかじめ前記接触部分の像に含まれる第１色及び第２色の分布状態と、接触物の接触状態（例えば、接触物の接触圧の大きさや接触の強弱など）との関係を調べておけば、接触部分の像に含まれる第１色及び第２色の分布状態に基づいて、面状部材上に接触した接触物の接触状態を推定することが可能となる。

また、本発明の接触状態推定装置は、前記構成に加えて、前記接触状態推定手段は、前記第１色及び前記第２色の分布状態から、前記第１色及び前記第２色の成分比を特定し、該成分比にあらかじめ対応付けられた前記接触物の接触圧を特定しても良い。

前記構成によれば、前記第１色及び前記第２色の成分比と、前記接触物の接触圧とをあらかじめ対応付けておけば、前記第１色及び前記第２色の成分比から、前記接触物の接触圧を特定することができる。

なお、「第１色及び第２色の成分比」の例としては、アナログ画像であれば、第１色の明度の積分値（又は面積あたりの平均値）と第２色の明度の積分値（又は面積あたりの平均値）との比などが例示できる。また、デジタル画像であれば、画素毎のＲ（赤色）の輝度値の合計値（又は全画素の輝度値の平均値）と画素毎のＧ（緑色）の輝度値の合計値（又は全画素の輝度値の平均値）との比などが例示できる。

また、本発明の接触状態推定装置は、前記構成に加えて、前記接触物の接触による前記面状部材上の接触面を含む接触領域を特定する接触領域特定手段を備えており、前記接触状態推定手段は、前記接触領域を複数に分割した小領域毎に、前記第１色の明度又は輝度と前記第２色の明度又は輝度との差が所定の閾値以上である小領域を第１領域とし、前記第１色の明度又は輝度と前記第２色の明度又は輝度との差が、前記所定の閾値未満である小領域を第２領域として、前記第１領域の数の前記第２領域の数に対する領域数比を特定し、該領域数比にあらかじめ対応付けられた前記接触物の接触圧を特定しても良い。

前記構成によれば、接触領域特定手段は、前記接触物の接触による前記面状部材上の接触面を含む接触領域を特定するようになっている。

ここで、「接触面」とは、接触物の接触部分の面状部材の表面に対する射影によって形成される面状部材上の領域のことである。

また、前記接触状態推定手段は、前記接触領域を複数に分割した小領域毎に、前記第１色の明度又は輝度と前記第２色の明度又は輝度との差が所定の閾値以上である小領域を第１領域とし、前記第１色の明度又は輝度と前記第２色の明度又は輝度との差が、前記所定の閾値未満である小領域を第２領域として、前記第１領域の数の前記第２領域の数に対する領域数比を特定するようになっている。

なお、接触領域内に複数の画素が存在しているような場合、小領域は、単位画素を１つだけ含む領域であっても良いし、複数の単位画素を含む任意の大きさの領域であっても良い。しかしながら、接触物の接触状態を推定する精度の観点からは、接触領域内の小領域の数はできるだけ多くとることが好ましい。

例えば、各小領域が共に、単位画素を１つだけ含む領域の場合、その単位画素の第１色の明度（輝度）と第２色の明度（輝度）との差が所定の閾値以上である小領域を第１領域とし、第１色の明度（輝度）と第２色の明度（輝度）との差が第２色の明度（輝度）が、所定の閾値未満である単位画素の小領域を第２領域とすれば良い。

一方、各小領域が複数の単位画素を含んでいる場合、第１色の明度（輝度）と第２色の明度（輝度）との差が所定の閾値以上である小領域を第１領域とし、第１色の明度（輝度）と第２色の明度（輝度）との差が第２色の明度（輝度）が、所定の閾値未満である小領域を第２領域とすれば良い。

さらに、前記接触状態推定手段は、該領域数比にあらかじめ対応付けられた前記接触物の接触圧を特定するようになっている。

これにより、前記接触物の接触圧を特定するための処理データを接触領域内の情報に限定することができる。また、画素毎の第１色及び第２色のそれぞれの明度（輝度）などといった大きなメモリ容量を要する処理データを、第１色の明度（輝度）と第２色の明度（輝度）との差が所定の閾値以上か、未満かで選択される第１領域及び第２領域のそれぞれの数といった単純で、大きなメモリ容量を要しない処理データに置き換えているので、大幅に処理速度を高める共にメモリを節約することが可能となる。

また第１領域及び第２領域の分布状態は、二次元的なデータなので、これを利用することで、例えば、接触領域内の接触圧の分布状態などに対応付けることも可能となる。

なお、「接触領域」は、面状部材の接触面の領域自体であっても良いし、接触面の外部近傍を含む任意の広さの領域であっても良いが、処理速度を高める共にメモリを節約する観点からは、できるだけ狭い領域であることが好ましい。

また、本発明の接触状態推定装置は、前記構成に加えて、前記接触領域における、前記各第１領域の重心位置又は前記各第２領域の重心位置から前記接触物の接触位置を推定する位置特定手段を備えていることが好ましい。

前記各第１領域及び前記各第２領域の分布状態は、接触物の接触部分の形状が円形の場合、ほぼ同心円状に分布する傾向を示す。例えば、接触物の接触面の形状が指先の腹のようなほぼ円形の接触面の場合、前記各第１領域及び前記各第２領域の分布状態は、接触物の接触圧の分布状態に応じて、ドーナツ状か、円形状、若しくは、接触領域の外周に沿ってまわりを取り囲むような囲い形の形状のいずれかの分布傾向を示す＜図１３（ａ）及び１３（ｂ）参照＞。

よって、前記接触領域における、前記各第１領域の重心位置又は前記各第２領域の重心位置のいずれかを用いれば、接触圧のもっとも大きな位置、すなわち、接触物の接触圧の分布状態に応じた接触物の接触位置の推定が可能となる。

例えば、接触領域の重心位置から前記各第１領域の重心位置までの距離をＸ、接触領域の重心位置から前記各第２領域の重心位置までの距離をＹとすると、『Ｙ：Ｘ≒第１領域の数：第２領域の数』の関係が成立する。なお、接触領域の重心位置、前記各第１領域の重心位置及び前記各第２領域の重心位置は、同一直線上に存在する。

そこで、例えば、接触物が指先の腹で、接触状態が弱い場合は、赤色がほぼ円形状の分布状態となるので、赤色の割合が白色の割合よりも高い小領域を第１領域（赤領域）とすると、各赤領域の重心位置が、ほぼ指先の接触位置を与えることになる。

しかしながら、白色の割合が赤色の割合よりも高い小領域を第２領域（白領域）とすると、『Ｙ：Ｘ≒赤領域の数：白領域の数』の関係が成り立つので、結局、各白領域の重心位置から逆に各赤領域の重心位置、すなわち、指先の接触位置を推定することも可能である。

以上によれば、接触物の接触圧の最も大きな位置、すなわち、接触物の接触位置を推定することが可能となる。

また、本発明の接触状態推定装置は、前記構成に加えて、前記接触状態推定手段は、前記成分比が、予め定められた閾値を超えているか否かを特定しても良い。

また、本発明の接触状態推定装置は、前記構成に加えて、前記接触状態推定手段は、前記領域数比が、予め定められた閾値を超えているか否かを特定しても良い。

前記構成によれば、前記成分比若しくは前記領域数比が、予め定められた閾値を超えているか否かを特定する。

これにより、例えば、接触物が指先の場合、指先の接触の強弱は、前記成分比若しくは前記領域数比の大小と密接に関係しているので、前記成分比若しくは前記領域数比に所定の閾値を設定し、前記成分比若しくは前記領域数比が、設定された閾値を超えているか否かによって指先が面状部材に強く接触しているか、それとも弱く接触しているのかを区別して特定することができる。

よって、例えば、指先の接触状態が強いときをクリック操作に結び付け、指先の接触状態が弱いときをポインタによる操作に結び付けることで、指先の接触状態により、操作種別の使い分けが可能となる。

なお、「予め定められた閾値を超えているか否か」は、１つの第１色及び第２色の分布状態（成分比又は領域数比）から特定する。すなわち、ここでは、前記分布状態の時間的変化は無く、前記分布状態が静的である場合を想定している。

また、「閾値」の設定方法については、指先の腹の接触が強いときの成分比又は領域数比と、指先の腹の接触が弱いときの成分比又は領域数比とを求めて、これらの成分比又は領域数比の平均値などを閾値として設定する場合などが例示できる。

また、本発明の接触状態推定装置は、前記構成に加えて、前記接触状態推定手段は、前記成分比が、予め定められた閾値を挟んで変化したか否かを特定しても良い。

また、本発明の接触状態推定装置は、前記構成に加えて、前記接触状態推定手段は、前記領域数比が、予め定められた閾値を挟んで変化したか否かを特定しても良い。

前記構成によれば、前記成分比若しくは前記領域数比が、予め定められた閾値を挟んで変化したか否かを特定する。

これにより、例えば、接触物が指先の場合、指先の接触の強弱と、成分比又は領域数比との関係を予め調べておくことによって、指先の接触の強弱の変化（接触圧の大きさの変化）があったか否かを判定することができる。

また、以上のように、指先の接触の強弱の変化は、前記成分比若しくは前記領域数比の大小の変化と密接に関係しているので、前記成分比若しくは前記領域数比に所定の閾値を設定し、前記成分比若しくは前記領域数比が、設定された閾値を挟んで変化したか否かによって面状部材に接触した指先の強弱に変化があったか否かを特定することができる。

ここで、「予め定められた閾値を挟んで変化したか否か」は、時間を隔てて特定された少なくとも２つの第１色及び第２色の分布状態（成分比又は領域数比）から特定する。すなわち、ここでは、前記分布状態の時間的変化が存在する場合を想定している。

また、閾値を挟んだ変化には、成分比又は領域数比が上下のいずれに変化する場合も含まれる。

これにより、指先の接触状態（接触圧）の時間的変化に応じた操作種別の使い分けが可能となる。

例えば、指先の接触位置が移動せずに「閾値を挟んだ変化が１回あったとき」を「クリック」があったと、指先の接触位置が移動せずに「閾値を挟んだ変化が少なくとも２回あったとき」を「ダブルクリック」があったと判定することなどが可能になる。

また、本発明の接触状態推定装置は、前記構成に加えて、前記接触状態推定手段は、前記成分比の変化量を特定しても良い。

また、本発明の接触状態推定装置は、前記構成に加えて、前記接触状態推定手段は、前記領域数比の変化量を特定しても良い。

なお、「成分比若しくは領域数比の変化量」は、時間を隔てて特定された２つの第１色及び第２色の分布状態（成分比又は領域数比）間の変化から特定する。すなわち、ここでは、前記分布状態の時間的変化が存在する場合を想定している。

例えば、接触物が指先の場合、指先の接触圧の変化量と、成分比又は領域数比の変化量との間には、ほぼ線形的な関係がある。

そこで、例えば、レーシングゲーム機を例にとると、前記成分比若しくは前記領域数比の変化量を所定の表示画面上に表示された自動車の速度の変化量などに結び付けることで、間接的に指先の接触圧の変化量を表示画面上における自動車の速度の変化量に反映させることが可能となる。

よって、例えば、従来のゲーム機のように、加速度ボタンを長く押したり、短く押したりして表示画面上における自動車の速度を変化させるような場合と異なり、指先の接触圧に応じて、実際にアクセルペダルを踏むような感覚で、表示画面上における自動車の速度調整をリアルタイムに行うことが可能となる。

また、本発明の接触状態推定装置は、前記構成に加えて、前記第１領域の数の前記第２領域の数に対する領域数比が、予め定められた閾値を超えているときの、前記位置特定手段によって特定された前記接触物の接触位置を第１接触位置とし、前記領域数比が、予め定められた閾値を超えていないときの前記接触物の接触位置を第２接触位置として特定する位置特定手段を備えていても良い。

前記構成によれば、前記閾値を超えているときの第１接触位置と、前記閾値を超えていないときの第２接触位置とを区別して特定することができる。

したがって、例えば、指先を弱く接触させたときの移動（ポインタの移動操作）を第１の接触位置の移動に結び付けたり、指先を強く接触させたときの移動を第２接触位置の移動に結び付けたりして、これらの操作を区別して処理することが可能となる。

なお、前記接触状態推定装置及び接触状態推定方法における各手段、各機能、各ステップ及び各処理のそれぞれは、コンピュータによって実現してもよく、この場合には、コンピュータを各手段として動作させ、コンピュータに各機能を実現させ、若しくはコンピュータに各ステップ及び各処理を実行させることにより前記接触状態推定装置及び接触状態推定方法を、コンピュータにて実現させる接触状態推定プログラム、並びにそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の接触状態推定装置は、以上のように、面状部材と、接触物が該面状部材に接触している接触部分の像を撮像する撮像制御手段と、前記撮像制御手段によって撮像された前記接触部分の像における互いに色相の異なる少なくとも第１色及び第２色の分布状態を特定する色成分特定手段と、前記色成分特定手段によって特定された前記第１色及び前記第２色の分布状態から前記接触物の接触状態を推定する接触状態推定手段とを備えているものである。

また、本発明の接触状態推定方法は、以上のように、面状部材に接触する接触物の面状部材との接触状態を推定する接触状態推定方法であって、前記接触物が前記面状部材に接触している接触部分の像を撮像する撮像制御ステップと、前記撮像制御ステップで撮像された前記接触部分の像における互いに色相の異なる少なくとも第１色及び第２色の分布状態を特定する色成分特定ステップと、前記色成分特定ステップで特定された前記第１色及び前記第２色の分布状態から前記接触物の接触状態を推定する接触状態推定ステップとを含んでいる方法である。

それゆえ、面状部材上に接触した接触物の接触状態を推定することが可能となるという効果を奏する。

本発明の一実施形態であるデータ表示／センサ装置の要部構成のうち、主制御部及び記憶部の詳細を示すブロック図である。 （ａ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面の一例を示す模式図である。 （ａ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を特定する様子を示す模式図であり、（ｂ）は、前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を特定する様子を示す模式図である。 前記データ表示／センサ装置の要部構成を示すブロック図である。 前記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 （ａ）は、前記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データであり、（ｂ）は、前記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 前記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置の概観構成及びその機能の概要を示す模式図である。 前記主制御部の要部構成のうち、接触状態推定部の詳細を示すブロック図である。 前記データ表示／センサ装置の動作を示すフローチャートである。 前記データ表示／センサ装置の動作を示すフローチャートである。 （ａ）は、前記データ表示／センサ装置に関し、接触領域に指先が弱く接触しているときのＲ画素及びＧ画素の分布状態を示す図であり、（ｂ）は、接触領域に指先が強く接触しているときのＲ画素及びＧ画素の分布状態を示す図である。

本発明の一実施形態について図１〜図１３に基づいて説明すれば、以下の通りである。

〔実施の形態１〕
（データ表示／センサ装置の概観構成及びその機能の概要）
まず、図１に示す本発明の一実施形態であるデータ表示／センサ装置（接触状態推定装置）１００の主要部分である主制御部８００の各構成及び記憶部９０１の説明を行う前に、図２〜９に基づき、簡単に、本発明の一実施形態であるデータ表示／センサ装置１００の概観構成、その機能の概要及びそのベースとなる構成について説明する。

図９は、本発明の一実施形態に係るデータ表示／センサ装置１００の概観構成及びその機能の概要を示す模式図である。

図９に示すように、本実施形態に係るデータ表示／センサ装置１００の概観構成は、ヒンジＨで結合された２つ折りに折り畳み可能な筐体１００Ａ及び筐体１００Ｂを有し、筐体１００Ａ及び筐体１００Ｂを折り畳んだ状態で対向する２つの内面のそれぞれに、センサ内蔵液晶パネル（面状部材）３０１Ａ及びセンサ内蔵液晶パネル（面状部材）３０１Ｂ（以下、纏めてセンサ内蔵液晶パネル（面状部材）３０１と称する）が、互いに対向するようにそれぞれ配設されている構成である。

さらに、センサ内蔵液晶パネル３０１は、以下で説明するように、図８に示す複数の画素回路３１と、図２に示す複数の光センサ６とを含んでいる。

本実施形態では、面状部材の一例としてセンサ内蔵液晶パネル３０１を用いて説明するが、面状部材は、面状の部材であれば、良くその形状や材料は問わない。

ここで「面状部材」は、面状の部材であれば良く、その形状や材料は問わない。例えば、「面状部材」は、平面状の部材に限られず、曲面状の部材であっても良い。また、「面状部材」は、閉じられた２次元図形であっても良いし、閉じられた３次元図形の側面であっても良い。２次元図形の例としては、三角形、四角形などの凸多角形や凹多角形が例示できる。また、円や楕円などであっても良い。

３次元図形の例としては、六面体、八面体などの凸多面体や、凹多面体が例示できる。また、円錐、円柱、球などであっても良い。

例えば、面状部材が、複数の光センサを含んでおり、その形状として、ペットボトルの側面の形状を採用した場合、該ペットボトルの側面を掴んだ手が強く握っているのか弱く握っているのかなどを推定することも可能となる。

さらに、面状部材は、光透過率の高い素材で構成されていることが好ましい。

また、面状部材は、例えば、センサ内蔵液晶パネル３０１のような液晶パネルのように比較的剛性の高い材料で構成されていても良いし、有機ＥＬ（Light Emitting）パネルのように比較的柔軟性の高い材料で構成されていても良い。

以上によれば、センサ内蔵液晶パネル３０１に含まれる複数の画素回路３１を駆動させることにより、センサ内蔵液晶パネル３０１の所定の表示画面にアプリケーション画像等を表示することが可能となっている。

なお、以下では、煩雑さを避けるため、適宜「表示画面」という用語を省略する。例えば、「センサ内蔵液晶パネル３０１の表示画面にアプリケーション画像等を表示する」などは、単に「センサ内蔵液晶パネル３０１にアプリケーション画像等を表示する」などと言う。また、「センサ内蔵液晶パネル３０１の表示画面に指先Ｆを接触させる」などは、単に「センサ内蔵液晶パネル３０１に指先Ｆを接触させる」などという。

また、センサ内蔵液晶パネル３０１に含まれる画素回路３１毎に少なくとも１つ設けられた複数の光センサ６を駆動させることにより、センサ内蔵液晶パネル３０１に接触した指先（接触物）Ｆの像をスキャン（撮像）することが可能となっている。

以上によれば、センサ内蔵液晶パネル３０１の複数の画素回路３１が、発光するときの光を利用して、センサ内蔵液晶パネル３０１に接触した指先Ｆに光を当て、その反射光をセンサ内蔵液晶パネル３０１の複数の光センサ６で検出することにより、センサ内蔵液晶パネル３０１上で直接指先Ｆの接触部分の像をスキャンすることが可能となる。

また、データ表示／センサ装置１００は、指先Ｆをセンサ内蔵液晶パネル３０１（図９では、センサ内蔵液晶パネル３０１Ｂに接触している）に接触させることによりユーザによる操作命令の入力が可能なタッチパネルとしての機能を有している。

さらに、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に接触した指先Ｆの接触状態に応じて、ユーザによる操作命令の入力が可能となっている。

例えば、図９に実線で示した指先Ｆでは、センサ内蔵液晶パネル３０１の接触位置Ｚ_１に指先Ｆが弱く接触し、ポインタＰが表示された状態を示している。

また、図９に破線で示した指先Ｆは、指先Ｆが接触位置Ｚ_１から接触位置Ｚ_２に弱い接触状態で移動したときの様子を示しており、ポインタＰは、指先Ｆの移動に追随して移動している。

すなわち、データ表示／センサ装置１００では、センサ内蔵液晶パネル３０１の表示画面すれすれで（弱い接触状態で）指先Ｆを動かせば、その表示画面に表示されるポインタＰの移動のみを行い、表示画面に指先Ｆを強く接触させたまま動かせば、クリックしながらの移動（ドラッグ操作：図示せず）といった、操作種別を使い分けたユーザによる操作命令の入力が可能となっている。

以上によれば、データ表示／センサ装置１００は、指先Ｆの接触の強弱などによる操作種別の使い分けが可能となっているので、タッチ入力による操作種別の入力パターンを広げることができる。

複数の光センサ６及び複数の画素回路３１のそれぞれの個数は、画像取り込み機能及び画像表示機能を確保できる数であれば、任意であって良いが、例えば、光センサ６のセンサ面積確保の観点からは、１対１で同数であることが好ましい。これにより、従来の微細加工技術で簡単にセンサ内蔵液晶パネル３０１を作成することができ、従来のセンサ面積を維持できる。

しかしながら、技術の進歩により、将来的にセンサ面積当たりの光センサ６の感度が向上し、微細加工技術が進歩することも予想されるので、画像取り込み機能及び画像表示機能を確保可能であれば、複数の光センサ６及び複数の画素回路３１のそれぞれの個数が、１対３で、後者が前者の３倍の数であっても良い。このような構成を採用すれば、画素回路３１が、例えば、Ｒ、Ｇ及びＢの３つの色画素を有する場合に、個々の色画素が発光する光の光センサ６による検出の色ごとの独立性を高めることができる。

なお、複数の光センサ６及び複数の複数の画素回路３１のそれぞれの個数が、１対２で、後者が前者の２倍の数であっても良い。

すなわち、光センサ６は、複数の画素回路３１毎に、少なくとも１つ含んでいれば良い。

なお、複数の光センサ６及び複数の画素回路３１のそれぞれは、センサ内蔵液晶パネル３０１の面方向（表示画面の面内方向）の所定範囲に面状に並設されていることが好ましい。例えば、マトリクス状の配列などが例示できる。

以上の構成によれば、画像表示部と、画像撮像部とを別々の装置で構成する必要がないので、データ表示／センサ装置１００の小型化が可能となる。

センサ内蔵液晶パネル３０１のような面状部材としては、本実施形態のセンサ内蔵液晶パネルに限られない、例えば、ディスプレイの例としては、液晶ディスプレイの他、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ（Light Emitting）発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイなどが例示できるが、これらのディスプレイと撮像センサ（イメージセンサ、光センサ）とを一体化した入出力一体型ディスプレイが将来的に開発された場合でも、これらの入出力一体型ディスプレイに本発明を適用できることは、以下の説明から明白であろう。

ここで、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。

（センサ内蔵液晶パネルの概要）
データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像特定が可能な液晶パネルである。ここで、対象物の画像特定とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の特定や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれる光センサ６は、カラーフィルタ５３ｒ、５３ｇ及び５３ｂのそれぞれの近傍（それぞれの画素電極５６の近傍）に設けられているが、この構成に限定されるものではない。指先Ｆの接触状態を推定する観点からは、少なくとも、赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設け、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設ければ良い。

次に、図３を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を特定する方法について説明する。

図３は、反射像を特定することにより、ユーザがタッチした位置を特定する様子を示す模式図である。バックライト３０７から光６３が出射されると、光センサ６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を特定する。これにより、対象物６４の反射像を特定することができる。このように、センサ内蔵液晶パネル３０１は、反射像を特定することにより、タッチした位置を特定することができる。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、前記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加して、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加して、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせたりするために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、前記スイッチの例としては、電源のオンとオフとを切り換える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、前記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、対象物が接近する先の点の座標として、部分画像データにおける代表座標を特定し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、前記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を特定し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点特定）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行うこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、前記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点特定）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７（ａ）及び図７（ｂ）を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（主制御部の構成及び記憶部に記憶されるデータ）
次に、図１に基づき、本発明の一実施形態であるデータ表示／センサ装置（接触状態推定装置）１００の主要部分である主制御部８００及び記憶部９０１の各構成について説明する。

図１は、本発明の一実施形態であるデータ表示／センサ装置１００の要部構成のうち、主制御部８００及び記憶部９０１の詳細を示すブロック図である。

図示のように、主制御部８００は、スキャン処理部（撮像制御手段）１２、接触状態推定処理部（色成分特定手段，接触状態推定手段）１４及び画像表示処理部１８を含んでいる。

さらに、スキャン処理部１２は、スキャン実行部（撮像制御手段）１３１、スキャン実行指示部（撮像制御手段）１３２、スキャンデータ格納部（撮像制御手段）１３３、スキャンデータ／接触領域特定結果保持部１３４、スキャン属性情報設定部１３５及び接触領域特定部（接触領域特定手段）１３６を含んでいる。

接触状態推定処理部１４は、さらに、色成分特定部（色成分特定手段）１４１、接触状態推定部（接触状態推定手段）１４２、接触状態推定結果格納部１４３及び色成分特定結果／接触状態推定結果保持部１４５を含んでいる。

画像表示処理部１８は、さらに、操作種別及び操作対象決定部１８１、操作種別及び操作対象表示画像作成部１８２を含んでいる。

次に、記憶部９０１は、スキャン属性情報記憶部２２、画像データ記憶部２３、解析データ等記憶部２４及びソフトウェア・データ記憶部２５の４つの記憶領域を含んでいる。

さらに、解析データ等記憶部２４は、さらに、接触領域特定結果記憶部２４１、色成分特定結果記憶部２４２及び接触状態推定結果記憶部２４３の３つの記憶領域を含んでいる。

ソフトウェア・データ記憶部２５は、さらに、操作種別データ記憶部２５１及び操作対象データ記憶部２５２の２つの記憶領域を含んでいる。

スキャン属性情報記憶部２２には、スキャン実行部１３１が、データ処理部７００に送信する各種コマンドの各フィールド値などの他、スキャンを実行したり、データ処理部７００に主制御部８００へ、全体画像、部分画像及び代表位置などのスキャンデータを送信させたり、スキャンデータ／接触領域特定結果保持部１３４若しくは画像データ記憶部２３にスキャンデータを記憶させる等の制御を行うために必要な各種データ（スキャン属性情報）が記憶されている。

画像データ記憶部２３は、スキャンデータを一時的に若しくは常時記憶するためのものである。

解析データ等記憶部２４は、各種解析データや、データの解析に必要なデータなどを記憶させるためのものである。

接触領域特定結果記憶部２４１は、主として以下で説明する接触領域特定結果が記録される記憶領域である。

色成分特定結果記憶部２４２は、主として以下で説明する色成分特定結果が記憶される記憶領域である。

接触状態推定結果記憶部２４３は、主として以下で説明する接触状態推定結果が記憶される記憶領域である。

ソフトウェア・データ記憶部２５は、ソフトウェアプログラムや、該ソフトウェアプログラムを動作させるために必要なデータ等を一時的又は常時記憶させるためのものである。

操作種別データ記憶部２５１は、センサ内蔵液晶パネル３０１に表示されたバーチャルな操作対象を表示画面上で操作するための操作種別（例えば、クリック操作、ドラッグ操作、ポインタ表示操作、ポインタ移動操作など）に関するデータ等が記憶される記憶領域である。

操作対象データ記憶部２５２は、表示画面上で操作の対象となる操作対象に関するデータ等が記憶される記憶領域である。

まず、図１に示すスキャン処理部１２は、図４に示すセンサデータ処理部７０３に対してスキャンの実行を指示したり、スキャンの実行により、画像データバッファ７０４に蓄積されていくスキャンデータを主制御部８００に送信させたり、主制御部８００が受信したスキャンデータを、スキャンデータ／接触領域特定結果保持部１３４又は画像データ記憶部２３に記憶させたり、スキャンデータに基づいて、所定の領域ＰＰを特定したりするものである。

スキャン実行部１３１のスキャン実行指示部１３２は、データ処理部７００に対してスキャンの実行を指示して、回路制御部６００の光センサ駆動回路３０５を駆動させ、表示／光センサ部３００の光センサ回路３２を動作させて、センサ内蔵液晶パネル３０１に接触する指先Ｆの接触部分の像を、各光センサ６を用いてスキャンさせる制御を行うものである。

また、スキャン実行部１３１のスキャンデータ格納部１３３は、画像データバッファ７０４に蓄積されていくスキャンデータを主制御部８００に送信させ、該スキャンデータをスキャンデータ／接触領域特定結果保持部１３４又は画像データ記憶部２３に記憶させたりする制御を行うものである。

スキャンデータ／接触領域特定結果保持部１３４は、主制御部８００が受信したスキャンデータや、接触領域特定部１３６が特定した領域ＰＰの特定結果『領域ＡＰにおける座標データ（Ｘａ,Ｙａ）や、領域ＰＰにおける座標データ（Ｘｐ,Ｙｐ）などの領域ＰＰの領域ＡＰにおける配置に関するデータや領域ＰＰの大きさ及び形状等に関するデータ等』を一時記憶させるものである。

なお、「領域ＰＰ」は、センサ内蔵液晶パネル３０１上の指先Ｆの接触による接触面の領域自体であっても良いし、接触面の外部近傍を含む任意の広さの領域であっても良いが、データ表示／センサ装置１００の処理速度を高めると共にメモリを節約する観点からは、できるだけ狭い領域であることが好ましい。ここで、「接触面」とは、指先Ｆの接触部分によって覆われるセンサ内蔵液晶パネル３０１上の領域のことである。

スキャン属性情報設定部１３５は、スキャン属性情報記憶部２２に記録されている各種コマンドデータを読み出して、データ表示／センサ装置１００のスキャン属性の設定を行うものである。

接触領域特定部１３６は、スキャンデータをスキャンデータ／接触領域特定結果保持部１３４又は画像データ記憶部２３から読み出して、センサ内蔵液晶パネル３０１上の指先Ｆの接触による接触面を含む領域ＰＰを特定するものである。

なお、領域ＰＰは、指先Ｆの接触による接触面の領域と一致させても良いし、接触面の近傍を含む任意の大きさの領域であっても良い。また、領域ＰＰの形状は問わない。

なお、本実施形態では、面状部材としてのセンサ内蔵液晶パネル３０１に接触する指先Ｆの接触部分の像を直接、センサ内蔵液晶パネル３０１上でスキャンする構成を採用しているが、面状部材とは別体のアナログカメラやデジタルカメラを制御する撮像制御部（撮像制御手段）を設けて、離れた位置から面状部材に接触する指先Ｆの接触部分の像を撮像する構成を採用しても良い。例えば、カラースキャナーのように画像取り込み面（面状部材）上では画像取り込み機能のみで表示機能を有していない装置において、画像取り込み面に指先Ｆが接触したときの指先Ｆの接触部分の像をスキャンしたスキャンデータから指先Ｆの接触状態を特定し、別に設けられた表示部にその結果を表示させるような構成を採用しても良い。

接触状態推定処理部１４は、画像データ記憶部２３に記憶されたスキャンデータから指先Ｆの接触部分の像における互いに色相の異なる少なくとも第１色及び第２色の分布状態を特定したり、特定された第１色及び第２色の分布状態から指先Ｆの接触状態を推定したり、指先Ｆの接触状態を推定した結果（接触状態推定結果）を色成分特定結果／接触状態推定結果保持部１４５又は解析データ等記憶部２４の色成分特定結果記憶部２４２に記憶させるなどの制御を行うものである。

色成分特定部１４１は、画像データ記憶部２３に記憶されたスキャンデータから指先Ｆの接触部分の像における互いに色相の異なる少なくとも第１色及び第２色の分布状態を特定するものである。

また、色成分特定部１４１は、特定した第１色及び第２色の分布状態に関するデータ（色成分特定結果）を色成分特定結果／接触状態推定結果保持部１４５若しくは色成分特定結果記憶部２４２に記憶させるようになっている。

接触状態推定部１４２は、色成分特定部１４１によって特定された第１色及び第２色の分布状態から指先Ｆの接触状態を推定するものである。

「色相」とは、色感の３要素の１つであり、その色と同じ色感を起こすスペクトル単色光の波長で表すことができる。

なお、「第１色及び第２色」の例としては、等色の原理を満たす３色のうちの２色などが例示できるが、必ずしもこのような２色に限定されない。すなわち、第１色及び第２色は、互いに色相の異なる２色であれば良い。

ここで、等色の原理とは、色彩学の学術用語であり、すべての色は３つの色で表現できるという原理のことである。具体的には、色の３原色や、光の３原色、また、１２色相環上で、環にそって４つおきに選択した３つの色（２次色など）などが例示できる。

より具体的には、例えば、Ｒ、Ｇ及びＢや、Ｍ（マゼンダ）、Ｃ（シアン）及びＹ（イエロー）などが例示できる。

また、「分布状態」は、アナログ画像のように、第１色若しくは第２色が連続的に分布した状態であっても良いし、デジタル画像のように第１色若しくは第２色が画素毎に、非連続に分布した状態であっても良い。なお、本実施形態では、特に断らない限り、スキャンデータ中の全体画像データや部分画像データは、デジタル画像であるものとする。

ところで、例えば、黄色人種である日本人を例にとれば、手のひら若しくは指先Ｆの腹には、黄色の成分が含まれている。また、手のひら若しくは指先Ｆの腹に静脈が毛細血管として存在している関係上、手のひら若しくは指先Ｆの腹には、部分的に青色の成分が含まれている。また、手のひら若しくは指先Ｆの腹に動脈が毛細血管として存在している関係から全体として手のひら若しくは指先Ｆの腹の色は、赤っぽくなっている。したがって、手のひら若しくは指先Ｆの腹には、赤色の成分も含まれている。

また、日本人が日焼けをしたような場合や、黒色人種を例にとれば、手のひら若しくは指先Ｆの腹には、黒褐色ないし黒色の成分が含まれる。これは、黒褐色ないし黒色のメラニン色素の存在が原因となっている。

ここで、例えば、黄色人種である日本人を例にとれば、指先Ｆの腹がセンサ内蔵液晶パネル３０１にすれすれで（弱く）接触している場合には、全体として指先Ｆの腹の色は赤っぽくなっているので、相対的に赤色の成分が多く含まれている。

一方、指先Ｆの腹をペットボトルなどの表面に接触させて、その裏側から観察してみれば容易にわかるが、指先Ｆの腹がセンサ内蔵液晶パネル３０１にしっかりと（強く）接触している場合には、血の気が引いて白くなる。そうすると、指先Ｆの腹がセンサ内蔵液晶パネル３０１にしっかりと接触している場合には、相対的に白色の成分が比較的多く含まれている。

すなわち、指先Ｆの腹の白っぽさの度合いがより大きくなるほど、若しくは、指先Ｆの腹の白っぽい部分の面積がより大きくなるほど、センサ内蔵液晶パネル３０１に指先Ｆがより強く接触していることになる。

すなわち、このような指先Ｆの腹の接触状態による少なくとも赤色及び白色の分布状態の変化を利用すれば、センサ内蔵液晶パネル３０１上で、その指先Ｆの腹が強く接触しているのか、それとも弱く接触しているかなどの推定や、指先Ｆの接触圧（圧力）の大きさなどの推定が可能となる。

このため、接触物として指先Ｆを対象とする場合には、第１色は、Ｒであり、第２色は、Ｇ及びＢうちのいずれか１色であることが好ましい。

以上によれば、第１色はＲであるので、例えば、指先Ｆの腹が弱く接触しているときの、指先Ｆの腹の像に含まれるＲの成分の分布状態を特定することができる。

また、第２色は、Ｇ及びＢのうちのいずれか１色であり、白色は、Ｒ、Ｇ及びＢの混色した色なので、例えば、Ｇ及びＢのうちのいずれか１色の分布状態を特定することで、指先Ｆの腹が強く接触しているときの、指先Ｆの腹の像に含まれる白色の成分の分布状態を間接的に特定することができる。

また、例えば、将来の技術の進歩により、ペン先の色の変化を筆圧により制御するようなペンデバイスが開発される場合も予想されるので、そのようなペンデバイスにてセンサ内蔵液晶パネル３０１に入力操作を行うような場合も考慮すると、指先Ｆの腹の場合のような赤色及び白色とは色相の異なる任意の色の分布状態の変化を利用する場合も想定される。

以上のような観点に基づき、データ表示／センサ装置１００における接触状態推定部１４２は、色成分特定部１４１によって特定された第１色及び第２色の分布状態から指先Ｆの接触状態を推定するようにしている。

なお、以下では、特に断らない限り、接触物として指先Ｆを、第１色としてＲを、第２色としてＧを選択したものとして説明する。

これにより、あらかじめ指先Ｆの接触部分の像に含まれるＲ及びＧの分布状態と、指先Ｆの接触状態（例えば、指先Ｆの接触圧の大きさや接触の強弱など）との関係を調べておけば、指先Ｆの接触部分の像に含まれるＲ及びＧの分布状態に基づいて、センサ内蔵液晶パネル３０１上に接触した指先Ｆの接触状態を推定することが可能となる。

ここで、接触状態推定部１４２による指先Ｆの接触状態の推定方法の具体例について説明する。

本実施形態のデータ表示／センサ装置１００では、接触状態推定部１４２は、Ｒ及びＧの分布状態から、Ｒ及びＧの成分比Ｒ／Ｇを算出（特定）し、成分比Ｒ／Ｇにあらかじめ対応付けられた指先Ｆの接触圧を特定するようにしても良い。これにより、成分比Ｒ／Ｇから、指先Ｆの接触圧を特定することができる。

なお、「成分比Ｒ／Ｇ」の例としては、アナログ画像であれば、Ｒの明度の領域ＰＰ上の積分値（和分値）と、Ｇの明度の領域ＰＰ上の積分値（和分値）との比や、Ｒの明度の面積あたりの平均値と、Ｇの明度の面積あたりの平均値との比などが例示できる。また、デジタル画像であれば、画素毎のＲの輝度値の合計値と、画素毎のＧの輝度値の合計値との比、Ｒの輝度値の全画素の平均値と、Ｇの輝度値の全画素の平均値との比などが例示できる。

次に、接触状態推定結果格納部１４３は、接触状態推定部１４２が、指先Ｆの接触圧の特定（推定）結果（接触状態推定結果）に関するデータを色成分特定結果／接触状態推定結果保持部１４５若しくは接触状態推定結果記憶部２４３に記憶させるものである。

色成分特定結果／接触状態推定結果保持部１４５は、接触状態推定部１４２が特定（推定）した接触状態推定結果を一時的に記憶させるためのものである。

以上の構成を備えるデータ表示／センサ装置１００によれば、センサ内蔵液晶パネル３０１上に接触した指先Ｆの接触状態を推定することが可能となる。

また、画像表示処理部１８は、センサ内蔵液晶パネル３０１に表示された表示画面上の操作対象を決定したり、該操作対象に対する操作方法などの操作種別を決定したり、決定された操作対象に対する操作結果をセンサ内蔵液晶パネル３０１に表示させたりするものである。

操作種別及び操作対象決定部１８１は、画像データ記憶部２３、解析データ等記憶部２４及びソフトウェア・データ記憶部２５から適宜必要な情報を読み出して、センサ内蔵液晶パネル３０１に表示された表示画面上の操作対象を決定したり、該操作対象に対する操作方法などの操作種別を決定したりするものである。

操作種別及び操作対象表示画像作成部１８２は、決定された操作対象に対する操作結果をセンサ内蔵液晶パネル３０１に表示させるための「操作種別及び操作対象表示画像」を作成して、データ処理部７００（及び回路制御部６００）を介してセンサ内蔵液晶パネル３０１に「操作種別及び操作対象表示画像」を表示させるものである。

（コマンドとデータ表示／センサ装置の動作との関係）
ここで、データ表示／センサ装置１００におけるコマンドと、データ表示／センサ装置１００の動作との関係について説明する。

本実施形態では、データ表示／センサ装置１００の接触状態推定処理に関するコマンドの名称を「接触状態推定コマンド」と称する。

なお、「接触状態推定コマンド」は、接触状態推定処理のため主としてスキャン処理部１２のスキャン属性を設定するためのコマンドである。

まず、「接触状態推定コマンド」では、図６に示す「データ取得タイミング」フィールドの値を“01”（イベント）と指定する。

なぜなら、上述したように、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで、データ処理部７００から主制御部８００に画像データ等を送信することを指定するものであるから、これを利用することによって、接触状態推定処理を行うことが可能となるからである。

具体的には、「データ取得タイミング」フィールドの値が“イベント”であれば、指先Ｆの接触により、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信される。

次に、「接触状態推定コマンド」の「データ種別」フィールドの値は、“010”（部分画像）を指定することが好ましい。

なぜなら、上述したように、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データ（部分画像データ及び代表座標）を主制御部８００に送信するようにできるからである。

なお、以下では、便宜上、“部分画像”が占める領域をそのまま領域ＰＰとする場合について説明するが、上述した接触領域特定部１３６は、画像データ記憶部２３に記憶されている代表座標を中心として“部分画像”の領域と大きさの異なる領域を領域ＰＰとしても良い。また、領域ＰＰの形状は、矩形に限られず、閉じた図形であれば、どのような形状を採用しても良い。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、指先Ｆが接触する先の点の座標として、部分画像データにおける代表座標を特定し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。

なお、前記代表座標とは、例えば、部分画像データの中心若しくは重心の座標、領域ＰＰの中心若しくは重心の座標などが挙げられる。

次に、「接触状態推定コマンド」の「スキャン方式」フィールドの値は、“00”（反射）を指定する。指先Ｆに画素回路３１が発光する光を照射して、その反射光を検出するためである。

また、「接触状態推定コマンド」の「スキャン画像階調」フィールドの値は、“01”（多値）を指定する。色成分特定部１４１が、指先Ｆの接触部分の像における少なくともＲ及びＧの分布状態を特定する必要があるからである。

次に、データ表示／センサ装置１００の動作と「接触状態推定コマンド」との関係の詳細について説明する。

最初に、センサ内蔵液晶パネル３０１が画像表示可能になると、ソフトウェア・データ記憶部２５に記録されたソフトウェアプログラムが起動し、センサ内蔵液晶パネル３０１に表示画面上の操作対象など、データ表示／センサ装置１００の操作の用に供される画像が表示される。

次に、スキャン属性情報設定部１３５は、スキャン属性情報記憶部２２から予め記憶されている「接触状態推定コマンド」を読み出して「データ取得タイミング」のフィールド値を“イベント”に設定する。

ここで、指先Ｆがセンサ内蔵液晶パネル３０１に接触すると、上述のように、「データ取得タイミング」が“イベント”に設定されているので、指先Ｆがセンサ内蔵液晶パネル３０１に接触したことにより、センサデータ処理部７０３は、センサ制御部６０２から受信する画像データに変化が生じたと認識して、主制御部８００に得られたスキャンデータを送信する。

スキャンデータ格納部１３３は、得られたスキャンデータを画像データ記憶部２３に記憶する。

また、その後、スキャンデータ格納部１３３は、スキャンデータを画像データ記憶部２３に記憶させたことを、接触領域特定部１３６に通知し、接触領域特定部１３６は、画像データ記憶部２３に記録されたスキャンデータに基づいて、領域ＰＰ及び指先Ｆの接触位置を特定する。この場合、スキャンデータに含まれる部分画像データの全体画像データ上に占める領域をそのまま領域ＰＰとしても良いし、スキャンデータに含まれる代表座標を中心とする所定の大きさを有する領域を領域ＰＰとしても良い。また、指先Ｆの接触位置は、代表座標をそのまま採用すれば良い。

なお、接触領域特定部１３６は、主制御部８００にスキャンデータが送信されたことをトリガとして、指先Ｆがセンサ内蔵液晶パネル３０１に接触したと判定するようにしても良い。

その後、接触領域特定部１３６は、領域ＰＰ及び指先Ｆの接触位置を特定したことを接触状態推定処理部１４に通知すると共に、その特定結果（接触領域特定結果）をスキャンデータ／接触領域特定結果保持部１３４及び接触領域特定結果記憶部２４１に記憶する。

接触状態推定処理部１４の色成分特定部１４１は、上記通知を受けて、領域ＰＰにおけるＲ及びＧのそれぞれの分布状態を特定し、その特定結果（色成分特定結果）を色成分特定結果／接触状態推定結果保持部１４５及び色成分特定結果記憶部２４２に記憶させる。

接触状態推定部１４２は、色成分特定結果記憶部２４２に色成分特定結果が記憶されたことをトリガとして色成分特定結果記憶部２４２に記憶された色成分特定結果から、Ｒ及びＧの成分比Ｒ／Ｇを算出する。

接触状態推定部１４２は、算出した成分比Ｒ／Ｇと、解析データ等記憶部２４に予め記憶されている指先Ｆの接触圧との関係を示す情報（成分比／接触圧テーブル情報）を参照して、算出した成分比Ｒ／Ｇに対応づけられた指先Ｆの接触の強弱（接触圧）を特定する。

なお、指先Ｆの接触圧の強弱は、接触圧を「強」と判定する接触圧の範囲及び接触圧を「弱」と判定する接触圧の範囲を予め定めておき、接触圧が、これらの範囲のいずれに属するかによって判定しても良いし、接触圧自体による判定ではなく、成分比Ｒ／Ｇの値が予め定められた閾値を超えているか否かによって判定しても良い。

また、成分比Ｒ／Ｇの値の変化量に閾値を定め、成分比Ｒ／Ｇの値の変化量がこの閾値より大きいか否かによって接触の強弱を判定しても良い。

接触状態推定結果格納部１４３は、接触状態推定部１４２が、接触圧を特定したことをトリガとしてその結果（接触状態特定結果）を色成分特定結果／接触状態推定結果保持部１４５若しくは接触状態推定結果格納部１４３に記憶する。

接触状態推定結果格納部１４３は、接触状態特定結果色を色成分特定結果／接触状態推定結果保持部１４５及び接触状態推定結果記憶部２４３に記憶させると、その旨を、操作種別及び操作対象決定部１８１に通知する。

操作種別及び操作対象決定部１８１は、上記通知を受けて接触領域特定結果記憶部２４１に記憶されている指先Ｆの接触位置からセンサ内蔵液晶パネル３０１に表示された表示画面上の操作対象を決定し、指先Ｆの接触の強弱に応じて操作対象に対する操作種別（例えば、クリック操作、ポインタ表示操作、ポインタ移動操作、ドラッグ操作かポインタの移動操作かなどの操作種別）を決定する。

操作種別及び操作対象表示画像作成部１８２は、操作種別及び操作対象決定部１８１が決定した操作対象及び操作種別に従って、ソフトウェア・データ記憶部２５の操作種別データ記憶部２５１及び操作対象データ記憶部２５２から必要なデータを参照して、ユーザの指先Ｆによる操作命令を表示画面上で実現するための「操作種別及び操作対象表示画像」を作成し、作成した「操作種別及び操作対象表示画像」をデータ処理部７００に送信して、センサ内蔵液晶パネル３０１に「操作種別及び操作対象表示画像」を表示させる。

（接触状態推定処理の他の例）
次に、図１３（ａ）及び図１３（ｂ）に基づき、データ表示／センサ装置１００の接触状態推定処理の他の例について説明する。

ここでは、接触領域特定部１３６によって領域ＰＰ及び指先Ｆの接触位置を特定された後の動作について説明する。なお、これ以前の動作については、上述したとおりである。

色成分特定部１４１は、領域ＰＰに含まれる画素回路３１毎に、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が所定の閾値以上である画素回路３１（小領域）をＲ画素（第１領域）とし、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が、前記所定の閾値未満である画素回路３１をＧ画素（第２領域）として、Ｒ画素の画素数（第１領域の数）のＧ画素の画素数（第２領域の数）に対する画素数比Ｒ／Ｇ（領域数比）を特定し、その結果（色成分特定結果）を色成分特定結果／接触状態推定結果保持部１４５及び色成分特定結果記憶部２４２に記憶させる。

また、本実施形態では、領域ＰＰを複数の領域に分割した小領域が、単位画素３１を１つだけ含む領域である場合について説明するが、小領域は、複数の単位画素３１を含む任意の大きさの領域であっても良い。しかしながら、指先Ｆの接触状態を推定する精度の観点からは、領域ＰＰ内の小領域の数はできるだけ多くとることが好ましい。

例えば、小領域が、単位画素３１を１つだけ含む領域の場合、その単位画素３１のＲの輝度値（明度値）とＧの輝度値（明度値）との差が所定の閾値以上である単位画素３１を第１領域とし、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が、前記所定の閾値未満である画素回路３１を第２領域とすれば良い。

一方、小領域が、複数の単位画素を含んでいる場合、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が所定の閾値以上である単位画素３１の数が多い小領域を第１領域とし、Ｒの輝度値（明度値）とＧの輝度値（明度値）との差が、前記所定の閾値未満である単位画素３１の数が多い小領域を第２領域とすれば良い。

また、アナログ画像においては、Ｒの明度の積分値がとＧの明度の積分値との差が所定の閾値以上である小領域を第１領域とし、Ｇの明度の積分値とＲの明度の積分値との差が前記所定の閾値未満である小領域を第２領域とすれば良い。

次に、接触状態推定部１４２は、色成分特定部１４１によって色成分特定結果が記憶されたことをトリガとして、色成分特定結果／接触状態推定結果保持部１４５又は色成分特定結果記憶部２４２から、画素数比Ｒ／Ｇを読み出し、画素数比Ｒ／Ｇと、解析データ等記憶部２４に予め記憶されている指先Ｆの接触圧との関係を示す情報（画素数比／接触圧テーブル情報）を参照して、算出した画素数比Ｒ／Ｇに対応づけられた指先Ｆの接触の強弱（接触圧）を特定する。

なお、指先Ｆの接触圧の強弱は、接触圧を「強」と判定する接触圧の範囲及び接触圧を「弱」と判定する接触圧の範囲を予め定めておき、接触圧が、これらの範囲のいずれに属するかによって判定しても良いし、接触圧自体による判定ではなく、画素数比Ｒ／Ｇの値が予め定められた閾値を超えているか否かによって判定しても良い。

なお、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇと閾値との比較にヒステリシスを設けてもよい。

例えば、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇが０．３未満になると、接触圧が「弱」から「強」に変化したと判断し、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇが、０．５以上になると接触圧が「強」から「弱」に戻ったと判断する場合などが例示できる。

なお、ここでの「ヒステリシス」とは、行きと戻りとで閾値を変えることによって、強／弱の状態にある程度の安定性を持たせるためのものである。

また、画素数比Ｒ／Ｇの値の変化量に閾値を定め、画素数比Ｒ／Ｇの値の変化量がこの閾値より大きいか否かによって接触の強弱を判定しても良い。

これにより、指先Ｆの接触圧を特定するための処理データを領域ＰＰ内の情報に限定することができる。また、画素回路３１毎のＲ及びＧのそれぞれの輝度値などといった大きなメモリ容量を要する処理データを、Ｒ画素及びＧ画素のそれぞれの画素数といった単純で、大きなメモリ容量を要しない処理データに置き換えているので、大幅に処理速度を高める共にメモリを節約することが可能となる。

またＲ画素及びＧ画素の分布状態は、二次元的なデータなので、これを利用することで、例えば、領域ＰＰ内の接触圧の分布状態などに対応付けることも可能となる。

次に図１３（ａ）及び図１３（ｂ）に基づき、画素数比Ｒ／Ｇと、その閾値の算出方法の具体例について説明する。

図１３（ａ）は、領域ＰＰに指先Ｆが弱く接触しているときのＲ画素及びＧ画素の分布状態を示す分布図であり、（ｂ）は、領域ＰＰに指先Ｆが強く接触しているときのＲ画素及びＧ画素の分布状態を示す分布図である。

図１３（ａ）の分布図と比較して、図１３（ｂ）の分布図では、Ｇ画素の数が多くなっていることがわかる。これは、指先Ｆの接触が弱い状態から強い状態に変わると、赤色に比べて白色の成分が多くなることを示している。

次に、画素数比Ｒ／Ｇの所定の閾値の算出例について説明する。まず、図１３（ａ）の分布図では、Ｒ画素の画素数（Ｒの数）＝１１５、Ｇ画素の画素数（Ｇの数）＝５４となっているので、Ｒ／Ｇ（ａ）＝１１５／５４＝２．１２と算出される。

一方、図１３（ｂ）の分布図では、Ｒ画素の画素数（Ｒの数）＝７５、Ｇ画素の画素数（Ｇの数）＝９４となっているので、Ｒ／Ｇ（ｂ）＝７５／９４＝０．７９と算出される。

そこで、画素数比Ｒ／Ｇは、Ｒ／Ｇ（ａ）及びＲ／Ｇ（ｂ）の平均値を求めて１．４５と設定している。

以上によれば、画素数比Ｒ／Ｇが、閾値１．４５を超えれば、指先Ｆの接触は弱いと推定し、画素数比Ｒ／Ｇが、閾値１．４５を超えなければ、指先Ｆの接触は強いと判定することができる。

なお、ここでは、説明を省略するが、接触状態推定部１４２は、上述した成分比Ｒ／Ｇが、予め定められた閾値を超えているか否かを特定しても良い。

これにより、例えば、指先Ｆの接触の強弱は、成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇの大小と密接に関係しているので、成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇに所定の閾値を設定し、成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇが、設定された閾値を超えているか否かによって指先Ｆがセンサ内蔵液晶パネル３０１に強く接触しているか、それとも弱く接触しているのかを区別して特定することができる。

よって、例えば、指先Ｆの接触状態が強いときをクリック操作に結び付け、指先Ｆの接触状態が弱いときをポインタによる操作に結び付けることで、指先Ｆの接触状態により、操作種別の使い分けが可能となる。

なお、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇと閾値との比較にヒステリシスを設けてもよい。

例えば、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇが０．３未満になると、接触圧が「弱」から「強」に変化したと判断し、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇが、０．５以上になると接触圧が「強」から「弱」に戻ったと判断する場合などが例示できる。

なお、ここでの「ヒステリシス」とは、行きと戻りとで閾値を変えることによって、強／弱の状態にある程度の安定性を持たせるためのものである。

また、「予め定められた閾値を超えているか否か」は、１つの成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇから特定する。すなわち、ここでは、Ｒ及びＧの分布状態の時間的変化は無く、前記分布状態が静的である場合を想定している。

また、「閾値」の設定方法については、上述したように、指先Ｆの腹の接触が強いときの成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇと、指先Ｆの腹の接触が弱いときの成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇとを求めて、これらの成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇの平均値などを閾値として設定する場合などが例示できる。

また、上述した成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇの値は、人種による肌の色の違いや日焼けなどによる個人差の影響があるので、データ表示／センサ装置１００は、ユーザが試験的に指先Ｆに強弱をつけてセンサ内蔵液晶パネル３０１に接触させたときのスキャンデータからＲ／Ｇの値を校正できるようにしておくことが好ましい。

例えば、日本人を例にとれば、データ表示／センサ装置１００の出荷の際には、平均的な日本人によるスキャンデータからＲ／Ｇの値と指先Ｆの接触の強弱との関係を調べたデータを記憶させておき、ユーザ使用時にユーザが必要に応じて試験的に指先Ｆを、強弱を加えてセンサ内蔵液晶パネル３０１に接触させたときのスキャンデータから求めたＲ／Ｇの値と、上述した出荷時のＲ／Ｇの値とを比較して、上記所定の閾値の値を校正する方法などが例示できる。

（データ表示／センサ装置の動作）
次に、図１１及び図１２のフローチャートに基づき、データ表示／センサ装置１００の動作の詳細について説明する。

図１１に示すフローチャートでは、データ表示／センサ装置１００の電源スイッチが入ってセンサ内蔵液晶パネル３０１の表示が可能になると、ソフトウェア・データ記憶部２５に記録されたソフトウェアプログラムが起動し、センサ内蔵液晶パネル３０１に表示画面上の操作対象など、データ表示／センサ装置１００の操作の用に供される画像が表示される。

次に、スキャン属性情報設定部１３５が、スキャン属性情報記憶部２２に予め記憶されている「接触状態推定コマンド」の各フィールドの値を読み出してそのスキャン属性情報を設定してスタートとなる。

ステップＳ１（以下、「ステップ」は、省略する）では、スキャン実行部１３１から送られる「接触状態推定コマンド」により、センサ制御部６０２が、光センサ駆動回路３０５を介して光センサ６によりスキャンを行って、そのスキャンデータ（ここでは、全体画像データを含む）をデータ処理部７００の画像データバッファ７０４に蓄積（保持）する動作を所定のタイミングＴＣ２で繰り返している。なお、この時点では、「データ取得タイミング」のフィールド値は、既に“01”（イベント）に設定されているものとする。

次に、Ｓ２で、ユーザが、指先Ｆをセンサ内蔵液晶パネル３０１Ｂに接触させると、Ｓ３に進む。

Ｓ３では、センサデータ処理部７０３は、スキャン実行部１３１から送信される「接触状態推定コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサ制御部６０２から受信する画像データから、指先Ｆの接触により、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出された場合には、該抽出した領域の画像データ（部分画像データ及び代表座標）を主制御部８００に送信し、「ＹＥＳ」となり、Ｓ４に進む。

一方、Ｓ３で、指先Ｆの接触により、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域が抽出されなかった場合は、「ＮＯ」となり、センサデータ処理部７０３は、Ｓ１の動作に戻る。

Ｓ４では、スキャンデータ格納部１３３は、「接触状態推定コマンド」の「データ取得タイミング」のフィールド値が“01”（イベント）に設定されているので、センサデータ処理部７０３から主制御部８００に送られたスキャンデータを画像データ記憶部２３に記憶（保持）させる。

次に、接触領域特定部１３６は、センサデータ処理部７０３から主制御部８００にスキャンデータが送信されたことをトリガとして、「指先Ｆが、センサ内蔵液晶パネル３０１に接触した」ことを認識（判定）すると共に、領域ＰＰ及び指先Ｆの接触位置（ここでは、代表座標）を特定し、その結果（接触領域特定結果）をスキャンデータ／接触領域特定結果保持部１３４及び接触領域特定結果記憶部２４１に記憶させると共に、領域ＰＰ及び指先Ｆの接触位置を特定したことを色成分特定部１４１に通知してＳ５に進む。

Ｓ５では、色成分特定部１４１は、上記通知を受けて、領域ＰＰにおける画素毎のＲの輝度値及びＧの輝度値（Ｒ及びＧの分布状態）を算出（特定）してＳ６に進む。

Ｓ６では、色成分特定部１４１は、領域ＰＰに含まれる画素回路３１毎に、Ｒの輝度値とＧの輝度値との差が所定の閾値Ｔ以上である画素回路３１をＲ画素とし、Ｒの輝度値とＧの輝度値との差が所定の閾値Ｔ未満である画素をＧ画素として、Ｒ画素及びＧ画素の分布状態を特定すると共に、画素数比Ｒ／Ｇを算出（特定）し、Ｒ画素及びＧ画素のそれぞれの画素数と共に、その結果（色成分特定結果）を色成分特定結果／接触状態推定結果保持部１４５及び色成分特定結果記憶部２４２に記憶させてＳ７に進む。

Ｓ７では、接触状態推定部１４２は、色成分特定部１４１が色成分特定結果を記憶させたことをトリガとして、色成分特定結果／接触状態推定結果保持部１４５又は色成分特定結果記憶部２４２からＧ画素の画素数を読み出し、Ｇ画素の画素数＝０の場合には、「ＹＥＳ」となり、Ｓ１６に進む。

一方、Ｓ７で、Ｇ画素の画素数≠０の場合には「ＮＯ」となりＳ８に進む。

Ｓ８では、接触状態推定部１４２が、色成分特定結果／接触状態推定結果保持部１４５又は色成分特定結果記憶部２４２から画素数比Ｒ／Ｇを読み出し、画素数比Ｒ／Ｇが、解析データ等記憶部２４に予め記憶されている（不図示）所定の閾値を参照する。その結果、画素数比Ｒ／Ｇが、所定の閾値を超えている場合には、「ＹＥＳ」となりＳ１０に進む。一方、Ｓ８で、画素数比Ｒ／Ｇが、所定の閾値を超えていない場合には、「ＮＯ」となりＳ９に進む。

Ｓ９では、接触状態推定部１４２は、指先Ｆの接触状態が「強い」と判定して、その旨を操作種別及び操作対象決定部１８１に通知して「結合子Ｂ」に進む。

Ｓ１０では、接触状態推定部１４２は、指先Ｆの接触状態が「弱い」と判定して、その旨を操作種別及び操作対象決定部１８１に通知して「結合子Ａ」に進む。

Ｓ１６では、接触状態推定部１４２は、指先Ｆが接触していないと判定して動作を終了し「ＥＮＤ」となる。

次に図１２のフローチャートに基づき、図１１の動作フロー後におけるデータ表示／センサ装置１００の動作について説明する。

図１２の「結合子Ａ」からＳ１１に進み、操作種別及び操作対象決定部１８１は、指先Ｆの接触位置からセンサ内蔵液晶パネル３０１に表示された表示画面上の操作対象を決定し、接触状態推定部１４２から指先Ｆの接触状態が「弱い」との通知を受けて、上記操作対象の操作種別は、「ポインタ」の操作であると判定（決定）し、操作対象及び操作種別の判定結果を操作種別及び操作対象表示画像作成部１８２に通知してＳ１２に進む。

次に、図１２の「結合子Ｂ」からＳ１３に進み、操作種別及び操作対象決定部１８１は、接触領域特定部１３６が変化した指先Ｆの接触位置を特定しているか否かを確認し、指先Ｆの接触位置が変化していない場合には、「ＮＯ」となりＳ１４に進む。

一方、Ｓ１３で、指先Ｆの接触位置が変化している場合には、「ＹＥＳ」となりＳ１５に進む。

Ｓ１４では、操作種別及び操作対象決定部１８１は、接触状態推定部１４２から指先Ｆの接触状態が「強い」との通知を受け、指先Ｆの接触位置が変化していないので、上記操作対象の操作種別は、「クリック」の操作であると判定（決定）し、操作対象及び操作種別の判定結果を操作種別及び操作対象表示画像作成部１８２に通知してＳ１２に進む。

Ｓ１５では、操作種別及び操作対象決定部１８１は、接触状態推定部１４２から指先Ｆの接触状態が「強い」との通知を受け、指先Ｆの接触位置が変化しているので、上記操作対象の操作種別は、「ドラッグ」の操作であると判定（決定）し、操作対象及び操作種別の判定結果を操作種別及び操作対象表示画像作成部１８２に通知してＳ１２に進む。

Ｓ１２では、操作種別及び操作対象決定部１８１によって決定された操作対象及び操作種別に従って、ソフトウェア・データ記憶部２５の操作種別データ記憶部２５１及び操作対象データ記憶部２５２から必要なデータを参照して、表示画面上の操作対象に対して操作を行った結果を表示するための「操作種別及び操作対象表示画像」を作成して、データ処理部７００に送信し、センサ内蔵液晶パネル３０１に「操作種別及び操作対象表示画像」を表示させて「結合子Ｃ」に進む。

次に、図１１に戻り、「結合子Ｃ」からＳ４に進み、以上の動作を、「ＥＮＤ」となるまで繰り返す。

〔実施の形態２〕
次に本発明の他の実施の形態について図１０、図１３（ａ）及び図１３（ｂ）に基づいて説明すれば、以下の通りである。なお、本実施の形態において説明すること以外の構成は、前記実施の形態１と同じである。また、説明の便宜上、前記の実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

また、本実施の形態は、実施の形態１の接触状態推定部（接触状態推定手段）１４２に対して、上述したＲ画素及びＧ画素の分布状態を解析して、該分布状態に応じて指先Ｆのより正確な接触位置（最も接触圧が高い位置）を推定する機能及び指先Ｆの接触状態の変化を特定する機能などが付加されている点のみが実施の形態１と異なっている。そこで、本実施形態においても便宜上、データ表示／センサ装置（接触状態推定装置）１００と呼ぶ。

まず、図１０は、図１に示す接触状態推定部１４２に上記機能を付加した場合の各構成要素の詳細を示すブロック図である。

図１０に示すように、本実施形態では、接触状態推定部１４２は、さらに色成分分布状態解析部１４２１、接触位置特定部１４２３及び接触位置特定部１４２３を含む構成である。

色成分分布状態解析部１４２１は、色成分特定部１４１によって色成分特定結果記憶部２４２に記憶された、領域ＰＰにおけるＲ画素及びＧ画素の分布状態を読み出し、領域ＰＰにおける各Ｒ画素の重心位置、又は領域ＰＰにおける各Ｇ画素の重心位置を算出するものである。

また、接触状態決定部１４２２は、上述した「成分比Ｒ／Ｇ」及び「成分比／接触圧テーブル情報」若しくは「画素数比Ｒ／Ｇ」及び「画素数比／接触圧テーブル情報」を参照して、算出した成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇに対応づけられた指先Ｆの接触の強弱（接触圧）を決定するものである。

また、接触位置特定部（接触位置特定手段）１４２３は、領域ＰＰにおける各Ｒ画素の重心位置又は各Ｇ画素の重心位置から指先Ｆの接触位置として推定するものである。

各Ｒ画素及び各Ｇ画素の分布状態は、指先Ｆの接触部分の形状が円形の場合、ほぼ同心円状に分布する傾向を示す。例えば、図１３（ａ）及び１３（ｂ）に示すように指先Ｆの腹のようなほぼ円形の接触面内のＲ及びＧの分布のように、ドーナツ状か、円形状、若しくは、接触領域の外周に沿ってまわりを取り囲むような囲い形の領域のいずれかの分布傾向を示す。

よって、領域ＰＰにおける前記各Ｒ画素の重心位置又は前記各Ｇ画素の重心位置のいずれかを用いれば、接触圧のもっとも大きな位置、すなわち、指先Ｆの接触圧の分布状態に応じた指先Ｆの接触位置の推定が可能となる。

例えば、領域ＰＰの重心位置から前記各Ｒ画素の重心位置までの距離をＸ、領域ＰＰの重心位置から前記各Ｇ画素の重心位置までの距離をＹとすると、『Ｙ：Ｘ≒Ｒ画素の画素数：Ｇ画素の画素数』の関係が成立する。なお、領域ＰＰの重心位置、前記各Ｒ画素の重心位置及び前記各Ｇ画素の重心位置は、同一直線上に存在する。

そこで、例えば、指先Ｆの接触状態が弱い場合は、Ｒがほぼ円形状の分布状態となるので、各Ｒ画素の重心位置が、ほぼ指先Ｆの接触位置を与えることになる。

しかしながら、上述のように、『Ｙ：Ｘ≒Ｒ画素の画素数：Ｇ画素の画素数』の関係が成り立つので、結局、各Ｇ画素の重心位置から逆に各Ｒ画素の重心位置、すなわち、指先Ｆの接触位置を推定することも可能である。

以上によれば、指先Ｆの接触圧のもっとも大きな位置、すなわち、指先Ｆの接触位置を推定することが可能となる。

また、接触位置特定部１４２３は、さらに、成分比Ｒ／Ｇが、予め定められた閾値を挟んで変化したか否かを特定したり、画素数比Ｒ／Ｇが、予め定められた閾値を挟んで変化したか否かを特定したりすることができるようにしている。

なお、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇと閾値との比較にヒステリシスを設けてもよい。

例えば、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇが０．３未満になると、接触圧が「弱」から「強」に変化したと判断し、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇが、０．５以上になると接触圧が「強」から「弱」に戻ったと判断する場合などが例示できる。

なお、ここでの「ヒステリシス」とは、行きと戻りとで閾値を変えることによって、強／弱の状態にある程度の安定性を持たせるためのものである。

これにより、例えば、指先Ｆの接触の強弱の変化は、成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇの大小の変化と密接に関係しているので、成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇに所定の閾値を設定し、成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇが、設定された閾値を挟んで変化したか否かによってセンサ内蔵液晶パネル３０１に接触した指先Ｆの強弱に変化があったか否かを特定することができる。

また、例えば、指先Ｆの接触の強弱と、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇとの関係を予め調べておくことによって、指先Ｆの接触の強弱の変化（接触圧の大きさの変化）があったか否かを判定することができる。

ここで、「予め定められた閾値を挟んで変化したか否か」は、時間を隔てて特定された少なくとも２つのＲ及びＧの分布状態（成分比Ｒ／Ｇ又は領域数比Ｒ／Ｇ）から特定する。すなわち、ここでは、前記分布状態の時間的変化が存在し、前記分布状態が動的である場合を想定している。

また、閾値を挟んだ変化には、成分比Ｒ／Ｇ又は領域数比Ｒ／Ｇが上下のいずれに変化する場合も含まれる。

これにより、指先の接触状態（接触圧）の時間的変化に応じた操作種別の使い分けが可能となる。すなわち、指先Ｆの接触状態（接触圧）の時間的変化をデータ表示／センサ装置１００に認識させることが可能となる。

また、「閾値を挟んだ変化」は、１回だけ閾値を挟んで変化する場合のみでなく、２回以上閾値を挟んで変化する場合も含めても良い。

これにより、例えば、指先Ｆの接触位置が移動せずに「閾値を挟んだ変化が１回あったとき」を「クリック」があったと、指先Ｆの接触位置が移動せずに「閾値を挟んだ変化がすくなくとも２回あったとき」を「ダブルクリック」があったと判定することなどが可能になる。

また、「閾値」の設定方法については、実施の形態１で説明した指先Ｆの接触が強いときの成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇと、指先Ｆの接触が弱いときの成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇとを求めて、これらの成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇの平均値などを閾値として設定する方法などが例示できる。

また、接触位置特定部１４２３は、成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇの変化量を特定するようにしている。

なお、「成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇの変化量」は、時間を隔てて特定された２つの成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇ間の変化から特定する。すなわち、ここでは、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇの時間的変化が存在し、成分比Ｒ／Ｇ又は画素数比が動的である場合を想定している。

例えば、指先Ｆの接触圧の変化量と、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇの変化量との間には、ほぼ線形的な関係がある。

そこで、例えば、レーシングゲーム機を例にとると、成分比Ｒ／Ｇ又は画素数比Ｒ／Ｇの変化量を所定の表示画面上に表示された自動車の速度の変化量などに結び付けることで、間接的に指先Ｆの接触圧の変化量を表示画面上における自動車の速度の変化量に反映させることが可能となる。

よって、例えば、従来のゲーム機のように、加速度ボタンを長く押したり、短く押したりして表示画面上における自動車の速度を変化させるような場合と異なり、指先Ｆの接触圧に応じて、実際にアクセルペダルを踏むような感覚で、表示画面上における自動車の速度調整をリアルタイムに行うことが可能となる。

また、接触状態決定部１４２２は、さらに成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇが、予め定められた閾値を超えているときの指先Ｆの接触位置を第１接触位置とし、成分比Ｒ／Ｇ若しくは画素数比Ｒ／Ｇが、予め定められた閾値を超えていないときの指先Ｆの接触位置を第２接触位置として特定するようになっている。

なお、成分比Ｒ／Ｇを指先Ｆの接触状態の推定に利用する場合、指先Ｆの接触位置は、領域ＰＰの中心若しくは代表座標を採用すれば良い。

これにより、前記閾値を超えているときの第１接触位置と、前記閾値を超えていないときの第２接触位置とを区別して特定することができる。

したがって、例えば、指先Ｆを弱く接触させたときの移動（ポインタの移動操作）を第１の接触位置の移動に結び付けたり、指先Ｆを強く接触させたときの移動を第２接触位置の移動に結び付けたりして、これらの操作を区別して処理することが可能となる。

以上によれば、指先Ｆの接触位置をより正確に特定したり、表示画面上の操作対象に対する操作種別の幅をより広げたりすることができる。

なお、以上説明した以外の機能については、は、実施の形態１の接触状態推定部１４２における機能と同じ機能を有するものと考えればよいので、その説明は省略する。

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、データ表示／センサ装置１００の各ブロック、特に主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、前記プログラムを格納したＲＯＭ（read only memory）、前記プログラムを展開するＲＡＭ（random access memory）、前記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、前記データ表示／センサ装置１００に供給し、そのコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、面状部材上に接触した接触物の接触部分の像を撮像することが可能となっているものであれば、如何なる電子機器に適用することも可能である。具体的には、面状部材を用いた入力装置で自動車を動かすようなゲーム機などや、面状部材上に接触した足の裏の色成分の分布状態や接触圧の分布状態などを調べる検査装置などにも広く適用することができる。その他、グラフィカル・ユーザ・インタフェースを持つ情報処理装置において、ディスプレイ上の任意の対象物に対する操作を命令する装置などに広く適用することができる。

１２ スキャン処理部（撮像制御手段）
１４ 接触状態推定処理部（色成分特定手段，接触状態推定手段）
１００ データ表示／センサ装置（接触状態推定装置）
１３１ スキャン実行部（撮像制御手段）
１３２ スキャン実行指示部（撮像制御手段）
１３３ スキャンデータ格納部（撮像制御手段）
１３４ スキャンデータ／接触領域特定結果保持部
１３５ スキャン属性情報設定部
１３６ 接触領域特定部（接触領域特定手段）
１４１ 色成分特定部（色成分特定手段）
１４２ 接触状態推定部（接触状態推定手段）
１４３ 接触状態推定結果格納部
１４５ 色成分特定結果／接触状態推定結果保持部
１８１ 操作種別及び操作対象決定部
１８２ 操作種別及び操作対象表示画像作成部
２４１ 接触領域特定結果記憶部
２４２ 色成分特定結果記憶部
２４３ 接触状態推定結果記憶部
２５１ 操作種別データ記憶部
２５２ 操作対象データ記憶部
３０１ センサ内蔵液晶パネル（面状部材）
３０１Ａ センサ内蔵液晶パネル（面状部材）
３０１Ｂ センサ内蔵液晶パネル（面状部材）
１４２１ 色成分分布状態解析部（色成分特定手段）
１４２２ 接触状態決定部（接触状態推定手段）
１４２３ 接触位置特定部（接触位置特定手段）
Ｆ 指先（接触物）
ＰＰ 領域（接触領域）
Ｚ_１，Ｚ_２ 接触位置（第１接触位置，第２接触位置）

Claims (15)

1. 面状部材と、
   接触物が該面状部材に接触している接触部分の像を撮像する撮像制御手段と、
   前記撮像制御手段によって撮像された前記接触部分の像における互いに色相の異なる少なくとも第１色及び第２色の分布状態を特定する色成分特定手段と、
   前記色成分特定手段によって特定された前記第１色及び前記第２色の分布状態から前記接触物の接触状態を推定する接触状態推定手段とを備えていることを特徴とする接触状態推定装置。
2. 前記接触状態推定手段は、前記第１色及び前記第２色の分布状態から、前記第１色及び前記第２色の成分比を特定し、該成分比にあらかじめ対応付けられた前記接触物の接触圧を特定することを特徴とする請求項１に記載の接触状態推定装置。
3. 前記接触物の接触による前記面状部材上の接触面を含む接触領域を特定する接触領域特定手段を備えており、
   前記接触状態推定手段は、前記接触領域を複数に分割した小領域毎に、前記第１色の明度又は輝度と前記第２色の明度又は輝度との差が所定の閾値以上である小領域を第１領域とし、前記第１色の明度又は輝度と前記第２色の明度又は輝度との差が、前記所定の閾値未満である小領域を第２領域として、前記第１領域の数の前記第２領域の数に対する領域数比を特定し、該領域数比にあらかじめ対応付けられた前記接触物の接触圧を特定することを特徴とする請求項１に記載の接触状態推定装置。
4. 前記接触領域における、前記各第１領域の重心位置又は前記各第２領域の重心位置から前記接触物の接触位置を推定する位置特定手段を備えていることを特徴とする請求項３に記載の接触状態推定装置。
5. 前記接触状態推定手段は、前記成分比が、予め定められた閾値を超えているか否かを特定することを特徴とする請求項２に記載の接触状態推定装置。
6. 前記接触状態推定手段は、前記領域数比が、予め定められた閾値を超えているか否かを特定することを特徴とする請求項３に記載の接触状態推定装置。
7. 前記接触状態推定手段は、前記成分比が、予め定められた閾値を挟んで変化したか否かを特定することを特徴とする請求項２に記載の接触状態推定装置。
8. 前記接触状態推定手段は、前記領域数比が、予め定められた閾値を挟んで変化したか否かを特定することを特徴とする請求項３に記載の接触状態推定装置。
9. 前記接触状態推定手段は、前記成分比の変化量を特定することを特徴とする請求項２に記載の接触状態推定装置。
10. 前記接触状態推定手段は、前記領域数比の変化量を特定することを特徴とする請求項３に記載の接触状態推定装置。
11. 前記第１領域の数の前記第２領域の数に対する領域数比が、予め定められた閾値を超えているときの、前記位置特定手段によって特定された前記接触物の接触位置を第１接触位置とし、前記領域数比が、予め定められた閾値を超えていないときの前記接触物の接触位置を第２接触位置として特定する位置特定手段を備えていることを特徴とする請求項４に記載の接触状態推定装置。
12. 前記第１色は、赤色であり、前記第２色は、緑色及び青色うちのいずれか１色であることを特徴とする請求項１から１１までのいずれか１項に記載の接触状態推定装置。
13. 請求項１から１２までのいずれか１項に記載の接触状態推定装置における各手段としてコンピュータを動作させるための接触状態推定プログラム。
14. 請求項１３に記載の接触状態推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
15. 面状部材に接触する接触物の面状部材との接触状態を推定する接触状態推定方法であって、
    前記接触物が前記面状部材に接触している接触部分の像を撮像する撮像制御ステップと、
    前記撮像制御ステップで撮像された前記接触部分の像における互いに色相の異なる少なくとも第１色及び第２色の分布状態を特定する色成分特定ステップと、
    前記色成分特定ステップで特定された前記第１色及び前記第２色の分布状態から前記接触物の接触状態を推定する接触状態推定ステップとを含んでいることを特徴とする接触状態推定方法。

Images