JP2010256969A - ユーザインターフェイス装置、およびユーザインターフェイス装置の制御方法 - Google Patents

Abstract

【課題】ユーザが操作具を使用して面状部材に対して行う操作の際に、直感的な操作感を与える。
【解決手段】データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１が検知した対象物の像を取得するデータ取得部１１と、データ取得部１１が取得した対象物の像から操作具６２の像を抽出し、抽出した像の形状と対応付けられた処理を決定する処理決定部１２と、処理決定部１２で決定した処理を実行する処理実行部１５とを備えている。
【選択図】図１

Description

本発明は、ユーザが操作具を使用して面状部材に対して行った操作を検知するユーザインターフェイス装置、およびユーザインターフェイス装置の制御方法に関するものである。

近年、情報端末のユーザインターフェイス装置として、タッチパネルやタッチペンが利用されている。具体的には、これらのユーザインターフェイス装置では、ユーザが情報を入力するためのボタンや機能キー等をハードキーとして備えるのではなく、ハードキーの機能をソフトウェアにて実現し、当該ハードキーの機能をメニューアイコンとして表示画面に表示する。そして、表示画面をタッチパネルとし、タッチパネルに表示された該メニューアイコンをユーザがタッチすることによって、各種機能が実行されるようになっている。

このように、タッチパネルやタッチペンを用いたユーザインターフェイス装置では、タッチパネル上に表示した複数の表示対象物（メニューアイコン等）のうちの何れかをユーザに選択させるにあたり、ユーザが指で押えた表示対象物を選択するＧＵＩ（Graphical User Interface）が採用されている。

なお、特許文献１には、テーブルに設けられたディスプレイ上に、資料や道具等の表示阻害要因が存在すると、該表示阻害要因が存在する領域を検出し、該領域に表示するべき表示データを表示阻害要因が存在しない表示領域に移動させて表示する表示装置が記載されている。

特開２００４−２７１８６６号公報（２００４年９月３０日公開）

しかしながら、上記従来のタッチパネルやタッチペンを用いたユーザインターフェイス装置では、以下のような問題を生じる。すなわち、ユーザは情報端末に対し、何らかの処理を行わせる場合、タッチパネルをタッチすることにより、行わせることになる。しかしながら、どのような内容の処理であっても、タッチパネルにタッチして行うのみであるので、ユーザは、処理の内容に対応した直感的な操作感を得ることができない。

例えば、情報端末に何らかの数値を設定する場合、数値の変更方向（上下）を示すアイコンを変更したい数値分タッチし続け、所望の数値でタッチを終了するか、数直線状のバー上の、所望の数値の位置をタッチすることによって数値を設定することになる。つまり、ユーザは単にタッチパネルにタッチしているだけであり、数値の上下を直感的に操作することができない。

なお、特許文献１には、表示方法についての記載しかなく、操作については記載されていない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザが操作具を使用して面状部材に対して行う操作の際に、直感的な操作感を与えることができるユーザインターフェイス装置等を実現することにある。

上記課題を解決するために、本発明に係るユーザインターフェイス装置は、近傍の、操作具を含む対象物を検知する面状部材を備えたユーザインターフェイス装置であって、上記面状部材が検知した対象物の像を取得する像取得手段と、上記像取得手段が取得した対象物の像から上記操作具の像を抽出し、抽出した像の形状と対応付けられた処理に決定する処理決定手段と、上記処理決定手段が決定した処理を実行する処理実行手段とを備えていることを特徴としている。

また、本発明に係るユーザインターフェイス装置の制御方法は、近傍の、操作具を含む対象物を検知する面状部材を備えたユーザインターフェイス装置の制御方法であって、上記面状部材が検知した対象物の像を取得する像取得ステップと、上記像取得ステップで取得した像から上記操作具の像を抽出し、抽出した像の形状と対応付けられた処理に決定する決定ステップと、上記決定ステップで決定した処理を実行する処理実行ステップとを含むことを特徴としている。

上記の構成または方法によれば、面状部材が検知した対象物の像が取得されるとともに、取得された像から操作具の像が抽出される。そして、抽出された像の形状に対応付けられた処理が実行される。

これにより、面状部材の近傍に存在する操作具の像の形状に対応付けられた処理を実行するので、ユーザは、所望する処理が像の形状に対応付けられた操作具を面状部材に近づけることで、所望する処理を実行させることができる。それゆえ、操作具のユーザが見た形状が、実行される処理と直感的に結びつくような形状であれば、ユーザに対し、直感的な処理の印象を与えることができる。したがって、ユーザは直感的な感覚で処理を実行することができる。

なお、操作具は、操作具の像の形状（すなわち、面状部材が検知する形状）と、操作具のユーザが見た形状とが一致していなくてもよい。すなわち、操作具の像の形状は、実行される処理を決定できるように対応付けられていれば、任意の形状が選択できる。また、操作具のユーザが見た形状とは、ユーザが操作具を操作する際に見る形状であり、対応付けられている実行される処理をイメージできる形状であれば、任意の形状が選択できる。

例えば、面状部材に複数のアイコンが表示されている場合を考える。操作具の像の形状が、円の一部が欠けた形状であり、該形状には、表示しているアイコンが示すファイルを１つのフォルダに格納するとともに、表示しているアイコンが上記操作具に吸い込まれるように移動する表示を行う処理が対応付けられている場合、ユーザが上記形状の操作具を面状部材に近づけると、ユーザインターフェイス装置は、表示しているアイコンが示すファイルを１つのフォルダに格納するとともに、表示しているアイコンが操作具に吸い込まれるように移動する表示を行う。そして、上記対象物の欠けた部分は、あたかも口が、そこに存在しているように見えるので、ユーザに対し、該口の部分に、表示されているアイコンが吸い込まれるような印象を与えることができ、操作具の口にアイコンを吸い込むという直感的な感覚をユーザに与えることができる。

本発明に係るユーザインターフェイス装置では、上記像取得手段が取得した対象物の像の変化から、該対象物に含まれる操作具の所定の動きを検出する動き検出手段を備え、上記処理決定手段は、抽出した形状と上記動き検出手段が検出した上記操作具の動きとの組に対応付けられた処理を実行するものであることが好ましい。

上記の構成によれば、上記動き検出手段は、上記像取得手段が取得した対象物の像の変化から、該対象物に含まれる操作具の所定の動きを検出し、上記処理決定手段は、抽出した形状と上記動き検出手段が検出した上記操作具の所定の動きとの組に対応付けられた処理を実行する。

これにより、面状部材の近傍で操作具が所定の動きをすると、操作具の形状とともに対応付けられている、操作具の動きに対応付けられた処理を実行する。よって、ユーザが面状部材の近傍で操作具に対し所定の動きをさせれば、その動きと対応付けられた処理を実行する。したがって、実行する処理と直感的に結びつくような操作具の動きを操作具の形状とともに対応付けておけば、ユーザに対し、直感的な操作によって処理を実行している印象を与えることができる。

例えば、面状部材に複数のアイコンが表示されている場合を考える。操作具の像の形状が、ひし形であり、該操作具を面状部材の縦方向に振動させると、表示しているアイコンが整列する表示を行う処理が対応付けられている場合、ユーザが上記形状の操作具を面状部材に近づけ、面状部材の縦方向に振動させると、ユーザインターフェイス装置は、表示しているアイコンを整列させた状態で表示する。また、同じ操作具を面状部材の横方向に振動させると、表示しているアイコンをランダムに配置する表示を行う処理が対応付けられている場合、ユーザが上記形状の操作具を面状部材に近づけ、面状部材の横方向に振動させると、ユーザインターフェイス装置は、表示しているアイコンをランダムに配置させた状態で表示する。

これにより、同じ操作具でも、振動等の動きに応じて処理を切り替えることができる。すなわち、操作具の像の形状だけでなく、動かし方でも処理を切り替えられるため、操作具と処理との組み合わせ方がより幅広くなり、よりユーザのイメージに適合した対応づけが可能となる。よって、ユーザは、操作具の動かし方が活かせるため、直感的な操作感をより強く得ることができる。

本発明に係るユーザインターフェイス装置では、上記動き検出手段は、像取得手段が所定の複数のタイミングで取得したそれぞれの像を用いて、上記操作具の所定の動きを検出するものであってもよい。

上記の構成によれば、上記動き検出手段は、像取得手段が所定のタイミングで取得したそれぞれの像の変化を検出することによって、上記操作具の所定の動きを検出することができる。

例えば、操作具が振動した場合、該操作具の位置は特定の領域を行き来しているものとなるので、像取得手段が取得したそれぞれの像において捉えられた操作具の位置の変化を検出することにより、該振動を検出することができる。また、操作具が回転した場合であっても、該操作具の像の形状が円でなければ、回転前と回転後で、像取得手段が取得した像は異なるので、該回転を検出することができる。

なお、操作具の像の形状が円で、操作具の動きが回転であったとしても、回転に伴って変化をする位置（例えば、像の中心以外の位置）に、像取得手段が取得する像として認識可能な印（例えば、穴等）が設けられていれば、回転前と回転後とで検出された、該穴等の印を示す位置が異なるので、操作具の回転を検出することができる。

本発明に係るユーザインターフェイス装置では、上記動き検出手段は、上記操作具の動きを、上記像取得手段が取得した像と操作具の像との差分の像の位置の変化から検出するものであってもよい。

上記の構成によれば、上記像取得手段が取得した像と操作具の像との差分の像の位置の変化を用いて、上記操作具物の動きを検出する。

ここで、上記像取得手段が取得した像と操作具の像との差分は、該操作具を挟持しているユーザの指等と考えられる。

そして、上記像取得手段が取得した像と操作具の像との差分の像の位置の変化は、ユーザの指の位置の変化と考えられ、操作具はユーザの指等によって動かされると考えられるので、指の位置の変化から該操作具の動きを検出することができる。

これにより、上記操作具の像の形状が円で、回転しても像に変化がない場合であっても、ユーザの指の像の位置の変化により上記操作具が回転したことを検出することができる。

本発明に係るユーザインターフェイス装置では、上記操作具の像の形状と上記処理決定手段が決定する処理とを対応付けたテーブルを記憶しているテーブル記憶部を備えているものであってもよい。

上記の構成よれば、自装置に記憶されている、上記操作具の像の形状と上記処理決定手段が決定する処理とを対応付けたテーブルを用いて、実行する処理を操作具の像の形状に応じて決定することができる。

本発明に係るユーザインターフェイス装置では、上記操作具の像の形状および該操作具の動きの組と上記処理決定手段が決定する処理とを対応付けたテーブルを記憶しているテーブル記憶部を備えているものであってもよい。

上記の構成よれば、自装置に記憶されている、上記操作具の像の形状および該操作具の動きの組と上記処理決定手段が決定する処理とを対応付けたテーブルを用いて、実行する処理を操作具の像の形状および操作具の動きに応じて決定することができる。

本発明に係るユーザインターフェイス装置では、上記動き検出手段が上記操作具の回転を検出したとき、上記処理決定手段は、上記動き検出手段が検出した上記操作具の回転方向、および回転量に基づいて、設定する数値の変更方向、および数値の変更幅を定める処理に決定するものであってもよい。

上記の構成によれば、例えば、操作具が右回転したときに数値を増加させ、操作具が左回転したときに数値を減少させる処理が設定されている場合、ユーザは、該操作具を右回転させることで数値を増加させ、左回転させることで数値を減少させることができる。また、回転量によって上げ下げされる数値の幅が決定されるので、より大きく回転させた場合は数値の変動が大きく、より少なく回転させた場合は数値の変動が小さくなり、この点でも直感的な操作感を得ることができる。

これにより、ユーザは、操作具を回転させるという直感的な操作により、数値の設定を行うことができる。

なお、上記ユーザインターフェイス装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記ユーザインターフェイス装置をコンピュータにて実現させるユーザインターフェイス装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係るユーザインターフェイス装置は、面状部材が検知した対象物の像を取得する像取得手段と、上記像取得手段が取得した対象物の像の形状から上記操作具の像の形状を抽出し、抽出した形状と対応付けられた処理に決定する処理決定手段と、上記処理決定手段が決定した処理を実行する処理実行手段とを備えている構成である。

また、本発明に係るユーザインターフェイス装置の制御方法は、面状部材が検知した対象物の像を取得する像取得ステップと、上記像取得ステップで取得した像の形状から上記操作具の像の形状を抽出し、抽出した形状と対応付けられた処理に決定する処理決定ステップと、上記処理決定ステップで決定した処理を実行する処理実行ステップとを含む方法である。

これにより、面状部材の近傍に存在する操作具の像の形状に対応付けられた処理を実行するので、ユーザが操作具を面状部材に近づけると、該操作具の像の形状に対応付けられた処理を実行する。よって、操作具のユーザが見た形状が、実行される処理と直感的に結びつくような形状であれば、ユーザに対し、直感的な処理の印象を与えることができる。したがって、ユーザは直感的な感覚で処理を実行することができる。

本発明の実施の形態を示すものであり、データ表示／センサ装置の主制御部の要部構成および記憶部に記憶されているデータを示すブロック図である。 上記実施の形態におけるデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 図３（ａ）は、上記実施の形態におけるデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、上記実施の形態におけるデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、操作具の位置を検出する様子を示す模式図である。 上記実施の形態におけるデータ表示／センサ装置の要部構成を示すブロック図である。 上記実施の形態におけるデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 図７（ａ）は、上記実施の形態におけるデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、上記実施の形態におけるデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 上記実施の形態におけるデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 上記実施の形態において、処理決定情報記憶部に記憶されている処理内容決定テーブルの例を示す図である。 上記実施の形態において、センサ内蔵液晶パネルに操作具が接触している状態を接触面とは反対の面から見た状態を示す図である。 上記実施の形態において、データ表示／センサ装置における処理の流れを示すフローチャートである。 上記実施の形態において、複数の操作具について、それぞれがセンサ内蔵液晶パネルに検知されたときの像と該対象物を斜め上から見た状態とを示す説明図である。 上記実施の形態において、データ表示／センサ装置で、数値設定処理を行うときの様子を示す図である。 上記実施の形態において、データ表示／センサ装置で、センサ内蔵液晶パネルに表示されている多数のアイコンを１つのフォルダにまとめる様子を示す図である。 上記実施の形態において、データ表示／センサ装置で、センサ内蔵液晶パネルに表示されているフォルダに入っているデータ等を示すアイコンが展開する様子を示す図である。 上記実施の形態において、データ表示／センサ装置で、センサ内蔵液晶パネルに表示されている多数のアイコンを整列させる様子を示す図である。

本発明の一実施の形態について図１から図１６に基づいて説明すれば、以下のとおりである。

（データ表示／センサ装置の機能の概要）
本発明に係るデータ表示／センサ装置（ユーザインターフェイス装置）１００は、センサ内蔵液晶パネル（面状部材）３０１に接触した物体（操作具、対象物）の接触面における形状から実行する処理内容を決定し、ユーザが、該物体を回転させる、縦方向に振動させる、横方向に振動させる等の動作を行うと、該動作に対応した処理を実行するものである。

例えば、センサ内蔵液晶パネル３０１に接触している面が円の物体（操作具）を回転させた場合、数値設定処理となり、時計回りに回転させると、回転量に応じて設定する数値が大きくなり、反時計回りに回転させると、回転量に応じて設定する数値が小さくなるものである。また該物体を横方向（ｘ軸方向）に振動させると、微調整モードとなり、より細かい設定が行えるようになるものである。

これにより、ユーザは、物体を回転させることで数値の上げ下げを行うことができ、より直感的な操作を行うことができる。

なお、横方向とは、センサ内蔵液晶パネル３０１の水平方向（ｘ軸方向）をいい、縦方向とはセンサ内蔵液晶パネル３０１の垂直方向（ｙ軸方向）をいうものとする。

（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００の表示／光センサ部３００が備えるセンサ内蔵液晶パネル（面状部材）３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、センサ内蔵液晶パネル３０１の表面の近傍に位置する対象物、および、上記表面に接触している対象物の少なくともいずれか一方を検出することである。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれる光センサ６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが指でセンサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、光センサ６を含む光センサ回路３２は、指６４などの対象物（接触物）により反射された光６３を検知する。これにより、指６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、光センサ６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、コインなどの操作具（対象物）６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、操作具６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、光センサ６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を一つ備えているものとして説明するが、複数備えていてもよい。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、ボタンなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。

次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010”（第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１の表示／光センサ部３００”と“第２の表示／光センサ部３００”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１の表示／光センサ部３００”であるコマンドを受信すると、第１の表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、データ表示／センサ装置１００が複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010”（第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１の表示／光センサ部３００”と“第２の表示／光センサ部３００”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１の表示／光センサ部３００”であるコマンドを受信すると、第１の表示／光センサ部３００に表示データを表示させるために、第１の表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指などでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指などは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指などでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（主制御部の構成および記憶部に記憶されているデータ）
次に、図１を参照しながら、データ表示／センサ装置１００の主制御部８００の構成および記憶部９０１に記憶されているデータについて説明する。図１は、本実施の形態に係るデータ表示／センサ装置１００の主制御部８００の要部構成および記憶部９０１に記憶されているデータを示すブロック図である。

なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図１に示すように、記憶部９０１は、取得データ記憶部２１、処理決定情報記憶部（テーブル記憶部）２２、および表示データ記憶部２３を含んでいる。

取得データ記憶部２１は、後述のデータ取得部１１が取得した座標データ（全体画像における代表座標）、全体画像データ、および部分画像データを記憶するものである。

処理決定情報記憶部２２は、処理決定部１２が、データ表示／センサ装置１００において実行する処理の内容を決定するための処理決定情報を記憶しているものである。具体的には、操作具６２の像の形状と処理内容とを対応付けた処理内容決定テーブル９１を記憶している。処理内容決定テーブル９１の例を図９に示す。図９は、処理決定情報記憶部２２に記憶されている処理内容決定テーブル９１の例を示す図である。

図９に示す例の場合、操作具６２の像の形状が円のとき（図１２の（ａ）に示す形状のとき）、データ表示／センサ装置１００で実行する処理の内容は、数値設定処理となる。そして、該円が右回転したときは設定する数値が上昇し、左回転したときは設定する数値が下降する。また、該円が横振動したときは、微調整モードに変更される。この数値設定における数値とは、例えば、データ表示／センサ装置１００が出力する音の大きさ等を挙げることができる。なお、操作具６２の像の形状を問わず、操作具６２の像が回転すれば数値設定処理を実行するものであってもよい。

また、操作具６２の像の形状が、円の一部が欠けたもの（円から、該円における中心角が鋭角の扇型が欠けた形状。以降、一部欠損円と呼ぶ。）であるとき（図１２の（ｂ）に示す形状のとき）、データ表示／センサ装置１００で実行する処理の内容は、階層間移動となる。階層間移動とは、アイコンが示しているファイルが上位フォルダから下位フォルダ、またはその逆に移動することをいう。そして、該一部欠損円が縦方向（ｙ軸方向）に振動すると、表示されているアイコンがフォルダに吸い込まれる。すなわち、アイコンが示しているファイルが上位フォルダから下位フォルダに移動する。また、該一部欠損円が横方向（ｘ軸方向）に振動すると、フォルダからアイコンが吐き出される。すなわち、アイコンが示しているファイルが下位フォルダから上位フォルダに移動する。

また、操作具６２の像の形状がひし形のとき（図１２の（ｃ）に示す形状のとき）、データ表示／センサ装置１００で実行する処理の内容は、アイコン表示位置移動となる。そして、表示されているアイコンを整列させる。なお、形状のみで決定するのではなく、動きも組み合わせたものであってもよい。例えば、該ひし形が縦方向に振動すると、表示されているアイコンが整列し、該ひし形が横方向に振動すると、表示されているアイコンがランダムに配置されるものであってもよい。

表示データ記憶部２３は、表示／光センサ部３００で表示させる画像データを記憶しているものである。表示／光センサ部３００で表示させる画像データとしては、数値設定処理を行う場合に、設定する数値を自動車のアナログメータのように表示するアナログメータ画面が挙げられる。また、ユーザの操作のためのメッセージ、データ表示／センサ装置１００で実行できる処理のメニュー画面、およびデータ表示／センサ装置１００の現在の状態を示す表示等も記憶されている。

次に、主制御部８００について説明する。図１に示すように、主制御部８００は、データ取得部（像取得手段）１１、処理決定部（処理決定手段）１２、振動判断部（動き検出手段）１３、回転判断部（動き検出手段）１４、処理実行部（処理実行手段）１５、および処理画面表示制御部（処理実行手段）１６を含む構成である。また、データ取得部１１は、画像データ取得部（像取得手段）１１１、および座標データ取得部１１２を含む構成である。

なお、本実施の形態では、操作具６２の像の動きを検出する手段として、振動判断部１３および回転判断部１４を設け、操作具６２の像の振動および回転を検出する構成例について説明する。ただし、本発明はこれに限定されず、その他の動きであっても、検出する手段を設けることにより対応可能である。これら像の動きを検出する手段は、後述する、振動判断部１３および回転判断部１４の処理と同様に、操作具６２の像の時間的な変化に基づいて検知するように構成できる。

データ取得部１１は、データ処理部７００から、座標データ（全体画像における代表座標）、全体画像データ、および部分画像データを取得するものである。そのため、データ取得部１１は、画像データ取得部１１１および座標データ取得部１１２を備えている。

画像データ取得部１１１は、処理決定部１２で処理内容を決定するために全体画像データおよび部分画像データを取得するものである。そして、画像データ取得部１１１は、取得した全体画像データおよび部分画像データを取得データ記憶部２１へ記憶させる。

座標データ取得部１１２は、振動判断部１３および回転判断部１４で実行される処理のために座標データ（全体画像における代表座標）を取得するものである。また、座標データ取得部１１２は、取得した座標データを取得データ記憶部２１に記憶させる。

処理決定部１２は、データ表示／センサ装置１００で実行する処理の内容を決定するものである。具体的には、処理決定部１２は、画像データ取得部１１１から取得した全体画像データから、操作具６２の像を抽出し、抽出した操作具６２の像の形状から、処理決定情報記憶部２２に記憶されている処理内容決定テーブル９１を参照して、データ表示／センサ装置１００で実行する処理内容を決定する。そして、決定した処理内容を示す情報を処理実行部１５へ送信する。

また、処理決定部１２は、振動判断部１３または回転判断部１４から操作具６２が振動または回転していることを示す情報を取得すると、該動きに対応付けられた処理内容を決定し、決定した処理内容を示す情報を処理実行部１５へ送信する。

操作具６２の像の形状の抽出は、処理決定情報記憶部２２に記憶されている操作具６２の像の形状と画像データ取得部１１１が取得した画像データを比較して行ってもよいし、画像データ取得部１１１が取得した画像データの色を判断して行ってもよい。すなわち、画像データ取得部１１１が取得した画像データは、操作具６２にユーザの指６４が接触したような画像となっていると考えられ、操作具６２と指６４との色が異なれば、色から操作具６２の像の形状を抽出することが可能である。よって、操作具６２の色は、指６４の色とは異なるように選択する。

振動判断部１３は、座標データ取得部１１２から座標データを取得し、取得データ記憶部２１に記憶されている過去の複数の座標データと比較して代表座標Ｚの位置が振動しているか否かを判断するものである。そして、代表座標の位置が振動していると判断すると、代表座標が振動していること、および振動の方向を示す振動情報を、処理決定部１２および処理実行部１５へ送信する。なお、座標の位置が振動するとは、座標の位置が或る２点間を行き来することをいう。また、該２点間を行き来する場合に、厳密にそれぞれの点を行き来する必要はなく、該２点近傍を座標の位置が行き来するものであればよい。また、振動の判断は、処理決定部１２が抽出した操作具６２の像を用いて行ってもよい。

回転判断部１４は、画像データ取得部１１１から画像データを取得し、取得データ記憶部２１に記憶されている過去の複数の画像データと比較して、操作具６２の像が回転しているか否かを判断するとともに、回転していればどの程度回転しているかを算出するものである。また、回転判断部１４は、座標データ取得部１１２から座標データを取得し、取得データ記憶部２１に記憶されている過去の複数の座標データと比較して代表座標Ｚの位置が回転しているか否かを判断するとともに、回転していればどの程度回転しているかを算出するものである。そして、操作具６２の像が回転していると判断すると、操作具６２の像が回転していること、および回転の程度を示す回転情報を、処理決定部１２および処理実行部１５へ送信する。

回転判断部１４が、画像データ取得部１１１から取得した画像データから、操作具６２の像が回転しているか否か、および、座標データ取得部１１２から取得した座標データから、操作具６２の像が回転しているか否かを判断する方法と、回転の程度を算出する方法について、図１０を用いて説明する。図１０は、センサ内蔵液晶パネル３０１に操作具６２が接触している状態を接触面とは反対の面から見た状態を示す図である。

回転判断部１４が、代表座標Ｚが回転しているか否かを判断する方法の１つとして、コインのような円形の物体で、面の中心からずれた位置に穴６５が設けられている物体を操作具６２として用いる場合が挙げられる。

図１０の（ａ）は、操作具６２の中心からずれた位置に穴６５が設けられている場合を示す。操作具６２に穴６５が設けられている場合に、操作具６２がセンサ内蔵液晶パネル３０１に接触すると、画像データ取得部１１１は穴６５の部分があいている操作具６２の画像データを取得する。そして、該画像データが取得データ記憶部２１に記憶される。その後、操作具６２が回転すると、穴６５の位置が変わり、画像データ取得部１１１は、穴６５のあいている位置が異なる新たな画像データを取得する。そして、回転判断部１４は、画像データ取得部１１１が取得した新たな画像データと、取得データ記憶部２１に記憶されている画像データとを比較することにより、操作具６２が回転したか否かを判断するとともに、回転の程度を算出する。

回転判断部１４が、代表座標Ｚが回転しているか否かを判断するもう１つの方法として、コインのような円形の物体をユーザが挟持した状態で回転させたときに、該ユーザの指の位置を検知する場合が挙げられる。

図１０の（ｂ）は、操作具６２をユーザが３本の指６４（親指、人差し指、中指）で掴んでいる状態を示す。ユーザが操作具６２を掴んだ状態で、操作具６２がセンサ内蔵液晶パネル３０１に接触すると、座標データ取得部１１２は、代表座標Ｚとして、ユーザのそれぞれの指６４の位置の代表座標Ｚ（Ｚ１、Ｚ２、Ｚ３）の座標データを取得する。そして、該座標データが取得データ記憶部２１に記憶される。

その後、ユーザが、指６４を用いて操作具６２を回転させると、指６４の位置も変わり、座標データ取得部１１２は、新たな代表座標Ｚの座標データを取得する。そして、回転判断部１４は、座標データ取得部１１２が取得した新たな座標データと、取得データ記憶部２１に記憶されている座標データとを比較することにより、操作具６２が回転したか否かを判断するとともに、回転の程度を算出する。

以上の方法により、回転判断部１４は、操作具６２が回転したか否かを判断するとともに、回転した場合、回転の程度を算出する。

処理実行部１５は、振動判断部１３において操作具６２が振動したと判断した場合、または回転判断部１４において操作具６２が回転したと判断した場合に、処理決定部１２が決定した処理の内容を実行するものである。

より具体的には、例えば、処理決定部１２が決定した処理内容が数値設定の場合、処理実行部１５は、操作具６２が回転したことを示す回転情報を取得すると、回転の程度に応じて設定する数値を変更する。より詳細には、右回転した場合は設定する数値を大きくし、左回転した場合は設定する数値を小さくする。そして、数値設定処理において、振動判断部１３から振動情報を取得すると、より細かい設定を容易に行うことができる微調整モードとする。微調整モードとなると、回転の程度に対して増減する数値の値が、微調整モードになる前と比べて小さくなり、ユーザは、設定する数値の微調整が容易に行えるようになる。

また、処理決定部１２が決定した処理内容が「アイコンを１つにまとめる、またはアイコンの整列」の場合、処理実行部１５は、操作具６２が縦方向（ｙ軸方向）に振動したことを示す振動情報を取得すると、表示／光センサ部３００に表示されているアイコン６６を１つのフォルダにまとめる。また、処理実行部１５は、操作具６２が横方向（ｘ軸方向）に振動したことを示す振動情報を取得すると、表示／光センサ部３００に表示されているアイコン６６を整列させる。

また、処理決定部１２が決定した処理内容が「フォルダ内のアイコンを画面に展開」の場合、処理実行部１５は、操作具６２が縦方向（ｙ軸方向）に振動したことを示す振動情報を取得すると、表示／光センサ部３００において、操作具６２が接触している位置に存在しているフォルダ６８内のアイコンを表示／光センサ部３００に展開して表示させる。

処理画面表示制御部１６は、表示／光センサ部３００に表示する画面を制御するものである。例えば、処理内容が数値設定の場合、表示／光センサ部３００の操作具６２の周りにアナログメータを表示させるとともに、設定される数値を示す針を表示させる。そして、操作具６２の回転に対応させて、表示させている針を、操作具６２に針が接続しているかのように移動させるような表示を行う。

また、処理内容が表示／光センサ部３００に表示されているアイコン６６をまとめることである場合、処理が実行されると、処理画面表示制御部１６は、表示／光センサ部３００に表示されているアイコン６６が、上記一部欠損円の欠けている部分に吸い込まれるような表示を行う。

また、処理内容が表示／光センサ部３００に表示されているアイコン６６を整列することである場合、処理が実行されると、処理画面表示制御部１６は、表示／光センサ部３００に表示されているアイコン６６を整列させる表示を行う。

また、処理内容が、表示／光センサ部３００に表示されているフォルダ６８からアイコン６６を展開することである場合、処理が実行されると、処理画面表示制御部１６は、操作具６２からアイコン６６が出て行くような表示を行う。

ただし、本実施の形態では処理内容によっては、表示／光センサ部３００への表示は必須でない。すなわち、表示／光センサ部３００は、実行する処理によっては、操作具６２およびユーザの指６４の検知のみを行い、表示を行わなくてもよい。

なお、本実施の形態では、処理決定部１２が決定した処理内容に従って、処理実行部１５が実行する構成例について説明するが、処理実行部１５は外部の装置に設けられていてもよい。すなわち、処理決定部１２が決定した処理内容を、外部の装置に送信し、外部の装置において実行された処理結果を受信して、表示／光センサ部３００に表示してもよい。

（各種コマンドとデータ表示／センサ装置の動作との関係）
次に、データ表示／センサ装置１００における各種コマンドと、データ表示／センサ装置１００の動作との関係について説明する。

本実施の形態では、上記各種コマンドは、記憶部９０１に予め記憶されているものとして説明する。なお、各種コマンドは、操作部９０３を介してユーザが設定できるものであってもよい。

まず、本実施の形態では、「データ取得タイミング」フィールドの値は“01”（イベント）に設定されている。

なぜなら、センサ内蔵液晶パネル３０１に対して操作具６２、指６４等の接触があったときにスキャンした画像データがデータ処理部７００に送信されれば、操作具６２、指６４の接触があったことを認識できるからである。

これにより、所定の周期でスキャンされたデータに変化があったとき、データ処理部７００のセンサデータ処理部７０３はスキャンの結果である画像データを取得する。

次に、「データ種別」フィールドの値は“101”（座標、全体画像）に設定されている。なぜなら、座標および全体画像のデータがあれば、操作具６２、指６４が接触している領域、および操作具６２の接触面における形状を認識することができるからである。

これにより、主制御部８００は、データ処理部７００から座標データ、全体画像データを取得する。なお、「データ種別」フィールドの値を「“111”」に設定して、部分画像を取得するものであってもよい。

次に、「スキャン方式」フィールドの値は“00”（反射）、“01”（透過）、“10”（反射／透過）のいずれに設定されていてもよい。なぜなら、バックライトを点灯して、操作具６２、指６４に光を照射し、その反射光を検出してもよいし、バックライトを消灯して、操作具６２、指６４の影像を検知してもよいためである。

次に、「スキャン画像階調」フィールドの値は“00”（２値）に設定されている。なぜなら、操作具６２の接触面における形状と、代表座標の位置が認識できればよいためである。なお、“01”（多値）に設定されていてもよい。

最後に、「スキャン解像度」フィールドの値は“1”（低）に設定されている。なぜなら、上述したように、操作具６２の接触面における形状と、代表座標の位置が認識できればよく、高い解像度のスキャンデータは不要のためである。なお、“0”（高）に設定されていてもよい。

（データ表示／センサ装置の動作）
次に、図１１を参照しながら、データ表示／センサ装置１００において、各種処理が実行される流れについて説明する。図１１は、データ表示／センサ装置１００における処理の流れを示すフローチャートである。

まず、表示／光センサ部３００のセンサ内蔵液晶パネル３０１に操作具６２が接触したことを検知すると、画像データ取得部１１１は、接触面の画像データを取得する（Ｓ１）、像取得ステップ。そして、処理決定部１２は、画像データ取得部１１１が取得して画像データから、操作具６２の接触面における形状を判断し（Ｓ２）、処理決定情報記憶部２２に記憶されている処理内容決定テーブル９１を参照して、処理内容を決定する（Ｓ３、処理決定ステップ）。

そして、処理決定部１２は、処理内容を決定すると、該形状に対応付けられた動きが定義されているか否かを判断する（Ｓ２１）。動きが定義されていなければ（Ｓ２１でＮＯ）、処理実行部１５は、処理決定部１２が形状に基づいて決定した処理を行う（Ｓ２４）。一方、動きが定義されていれば（Ｓ２１でＹＥＳ）、振動判断部１３および回転判断部１４が操作具６２の動きを検出する（Ｓ２２）。そして、振動判断部１３および回転判断部１４が操作具６２の動きを検出すると（Ｓ２２でＹＥＳ）、処理決定部１２は、検出された動きに対応付けられた処理内容を決定する（Ｓ２３）。そして、処理実行部１５は、決定された処理内容を実行する（Ｓ２４、処理実行ステップ）。そして、処理は終了する。

また、決定した処理内容が数値設定の場合について詳細に説明すると以下のとおりである。処理決定部１２が処理を決定した後、回転判断部１４が操作具６２の回転を判断する（Ｓ１１）。回転判断部１４が、操作具６２が回転したと判断すると（Ｓ１１でＹＥＳ）、処理実行部１５は、回転の程度に応じて設定する数値を変更する（Ｓ１２）。その後、振動判断部１３が、操作具６２が振動したか否かを判断する（Ｓ１３）。そして、振動判断部１３が、操作具６２が振動したと判断すると（Ｓ１３でＹＥＳ）、処理実行部１５は数値設定を微調整モードとする（Ｓ１４）。そして、回転判断部１４が、操作具６２が回転したと判断すると（Ｓ１５でＹＥＳ）、処理実行部１５は、回転の程度に応じて設定する数値を変更する（Ｓ１６）。そして、処理実行部１５は数値設定を行う（Ｓ１７）。そして、処理を終了する。

一方、振動判断部１３が、操作具６２が振動したと判断しなかった場合（Ｓ１３でＮＯ）、処理実行部１５はそのまま数値設定を行う（Ｓ１７）。

以上で、データ表示／センサ装置１００における処理は終了する。

なお、図１１のフローチャートでは、数値設定の処理だけ個別のフロー（Ｓ１１〜Ｓ１７）として説明したが、基本的には、操作具６２の像の形状および動きによらず、一般のフロー（Ｓ２１〜Ｓ２３）によって処理できる。すなわち、処理内容決定テーブル９１を参照して、操作具６２の像の形状に基づいてから処理の候補を特定し、該処理の候補から、操作具６２の像の動きに基づいて、実行する処理を確定する。そして、操作具６２の像の動きが変化すれば、その時点で実行する処理を確定し直して、処理を実行する。

（操作具の例）
次に、図１２を参照して、操作具６２の例について説明する。図１２は、複数の操作具６２について、それぞれがセンサ内蔵液晶パネル３０１に検知されたときの像と該操作具６２を斜め上から見た状態とを示す説明図である。上述したように、本実施の形態では、操作具６２の像の形状を用いて実行する処理を決定するので、操作具６２の像に影響しない部分（操作具６２をセンサ内蔵液晶パネル３０１でスキャンしたときの、操作具６２のセンサ内蔵液晶パネル３０１側とは反対側の部分（以降、上側とする））については、像に影響を与えない限り任意に決定することができる。

例えば、図１２の（ａ）に示す形状の場合、操作具６２のセンサ内蔵液晶パネル３０１と接触する側（下側）から見た形状は円で、上側には、表面がギザギザした持ち手部７１が備えられるとともに、三角印が付けられている。

この場合、処理内容決定テーブル９１（図９）によれば、処理内容は数値設定処理となる。そして、ユーザは上記持ち手部７１を用いることにより、容易に操作具６２の回転を行うことができる。よって、より容易に直感的な操作感を得ることができる。また、操作具６２が回転すると上側に付けられている三角印が該回転に対応して回転するので、ユーザは容易に回転の程度を認識することができる。

また、図１２の（ｂ）に示す形状の場合、下側から見た形状は円の一部が欠けた形状で、上側には、掃除機に類似した持ち手部７２が備えられている。この場合、処理内容決定テーブル９１（図９）によれば、処理内容は階層間移動となり、センサ内蔵液晶パネル３０１に表示されているアイコン６６が吸い込まれたり、吐き出されたりする表示が行われる。そして、掃除機は物を吸い込む機器なので、該操作具６２の使用は、ユーザに対し、より直感的にアイコン６６が吸い込まれる印象を与えることができる。

また、図１２の（ｃ）に示す形状の場合、上側からも下側からも見た形状はひし形である。この場合、処理内容決定テーブル９１（図９）によれば、処理内容はセンサ内蔵液晶パネル３０１に表示されているアイコン６６を整列させる処理となる。そして、角ばっている図形というのは、ユーザに対し、きっちりしたイメージを与える。よって、該操作具６２を使用は、ユーザに対し、より直感的にアイコン６６がきっちりとする、すなわち整列する印象を与えることができる。

上述したように、操作具６２は、上側から見た形状と下側から見た形状とが異なっていてもよいし、同じであってもよい。

（データ表示／センサ装置における処理の様子）
次に、図１３〜図１６を参照して、データ表示／センサ装置１００における処理の様子を説明する。なお、ここでは、操作具６２として、接触面の形状が円の物を操作具６２ａ、接触面の形状が一部欠損円となる物を操作具６２ｂ、接触面の形状がひし形となる物を操作具６２ｃとする。

図１３は、データ表示／センサ装置１００において数値設定処理を行うときの様子を示す図である。まず、図１３の（ａ）示すように、センサ内蔵液晶パネル３０１に操作具６２ａを接触させて、少し回転させると、図１３の（ｂ）に示すようにアナログメータの画面が処理画面表示制御部１６によって表示されるとともに、針６７が表示される。そして、針６７がアナログメータの数字を指し示すことによって、設定される数値をユーザが認識することができる。

そして、ユーザが、操作具６２ａを回転させると、図１３の（ｃ）に示すように針６７の位置も移動して、設定される数値が変更される。例えば、図１３の（ｃ）の状態であれば、設定される数値は「４．２」である。

ここで、図１３の（ｄ）に示すように、ユーザが、操作具６２ａを横方向（ｘ軸方向）に振動させると、図１３の（ｅ）に示すように、微調整モードの画面となる。微調整モードの画面は、アナログメータの一部が拡大されて表示された画面であり、操作具６２ａの回転量に対し変動する数値の幅が、微調整モードとなる前と比較して小さくなるので、より細かい設定を容易に行うことができる。そして、ユーザは、操作具６２ａを回転させて、図１３の（ｆ）に示すように、所望の数値に設定する。

これにより、ユーザは、操作具６２ａを回転させることで、数値設定を行うことができるので、より直感的な操作で数値設定を行うことができる。また、操作具６２ａを横方向に振動させるのみで微調整を容易に行うことができる。

図１４は、データ表示／センサ装置１００において、センサ内蔵液晶パネル３０１に表示されている多数のアイコン６６を１つのフォルダ６８にまとめる様子を示す図である。

図１４の（ａ）は、センサ内蔵液晶パネル３０１に多数のアイコン６６が表示されているときに、操作具６２ｂを接触させた状態を示す。この状態で、図１４の（ｂ）に示すように操作具６２ｂを縦方向（ｙ軸方向）に振動させると、図１４の（ｃ）に示すように、センサ内蔵液晶パネル３０１に表示されていたアイコン６６が、操作具６２ｂの欠損している部分に吸い込まれるようにして消える。そして、操作具６２ｂを取り除くと、図１４の（ｄ）に示すように、操作具６２ｂが接触していた部分にフォルダ６８が作成され、表示されている。

図１５は、データ表示／センサ装置１００において、センサ内蔵液晶パネル３０１に表示されているフォルダ６８に入っているデータ等を示すアイコン６６が展開する様子を示す図である。

図１５の（ａ）は、センサ内蔵液晶パネル３０１にフォルダ６８が表示されている状態を示す。この状態で図１５の（ｂ）に示すように、フォルダ６８が表示されていた位置に操作具６２ｂを接触させ、図１５の（ｃ）に示すように操作具６２ｂを縦方向（ｙ軸方向）に振動させると、図１５の（ｄ）に示すように、操作具６２ｂから出てくるように、フォルダ６８に入っていたデータ等を示すアイコン６６が展開する。

図１６は、データ表示／センサ装置１００において、センサ内蔵液晶パネル３０１に表示されている多数のアイコン６６を整列させる様子を示す図である。

図１６の（ａ）は、センサ内蔵液晶パネル３０１に多数のアイコン６６が表示されているときに、操作具６２ｃを接触させた状態を示す。このように、操作具６２ｃをセンサ内蔵液晶パネル３０１に接触させると、図１６の（ｂ）に示すように、センサ内蔵液晶パネル３０１に表示されているアイコン６６が整列する。

以上のように、本実施の形態では、操作具６２を用いることで、ユーザが直感的な操作感を得つつ、各種処理を行うことができる。

なお、上記実施の形態では、像の形状に対応した処理を実行するものとしたが、これに限られるものではない。像の大きさ、位置、パターン、色等により実行する処理を決定するものであってもよい。

本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、データ表示／センサ装置１００の各ブロック、特に回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。

すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

ユーザが操作具を使用して面状部材に対して行う操作の際に、ユーザに直感的な操作感を与えることができるので、タッチパネルを備えたユーザインターフェイス装置およびそれを備えた情報処理装置に好適である。

１１ データ取得部（像取得手段）
１２ 処理決定部（処理決定手段）
１３ 振動判断部（動き検出手段）
１４ 回転判断部（動き検出手段）
１５ 処理実行部（処理実行手段）
１６ 処理画面表示制御部（処理実行手段）
２２ 処理決定情報記憶部（テーブル記憶部）
６２ 操作具（対象物）
６４ 指（対象物）
９１ 処理内容決定テーブル（テーブル）
１００ データ表示／センサ装置（ユーザインターフェイス装置）
１１１ 画像データ取得部（像取得手段）
３０１ センサ内蔵液晶パネル（面状部材）

Claims (8)

1. 近傍の、操作具を含む対象物を検知する面状部材を備えたユーザインターフェイス装置であって、
   上記面状部材が検知した対象物の像を取得する像取得手段と、
   上記像取得手段が取得した対象物の像から上記操作具の像を抽出し、抽出した像の形状と対応付けられた処理を決定する処理決定手段と、
   上記処理決定手段が決定した処理を実行する処理実行手段とを備えていることを特徴とするユーザインターフェイス装置。
2. 上記像取得手段が取得した対象物の像の変化から、該対象物に含まれる操作具の所定の動きを検出する動き検出手段を備え、
   上記処理決定手段は、抽出した形状と上記動き検出手段が検出した上記操作具の動きとの組に対応付けられた処理を決定することを特徴とする請求項１に記載のユーザインターフェイス装置。
3. 上記動き検出手段は、像取得手段が所定の複数のタイミングで取得したそれぞれの像を用いて、上記操作具の動きを検出することを特徴とする請求項２に記載のユーザインターフェイス装置。
4. 上記動き検出手段は、上記操作具の動きを、上記像取得手段が取得した像と操作具の像との差分の像の位置の変化から検出することを特徴とする請求項２に記載のユーザインターフェイス装置。
5. 上記操作具の像の形状と上記処理決定手段が決定する処理とを対応付けたテーブルを記憶しているテーブル記憶部を備えていることを特徴とする請求項１に記載のユーザインターフェイス装置。
6. 上記操作具の像の形状および該操作具の動きの組と上記処理決定手段が決定する処理とを対応付けたテーブルを記憶しているテーブル記憶部を備えていることを特徴とする請求項２〜４のいずれか１項に記載のユーザインターフェイス装置。
7. 上記動き検出手段が上記操作具の回転を検出したとき、
   上記処理決定手段は、上記処理実行手段が実行する処理として、上記動き検出手段が検出した上記操作具の回転方向、および回転量に基づいて、設定する数値の変更方向、および数値の変更幅を定める処理を決定することを特徴とする請求項２〜４、６のいずれか１項に記載のユーザインターフェイス装置。
8. 近傍の、操作具を含む対象物を検知する面状部材を備えたユーザインターフェイス装置の制御方法であって、
   上記面状部材が検知した対象物の像を取得する像取得ステップと、
   上記像取得ステップで取得した像から、上記操作具の像を抽出し、抽出した像の形状と対応付けられた処理を決定する処理決定ステップと、
   上記処理決定ステップで決定した処理を実行する処理実行ステップとを含むことを特徴とするユーザインターフェイス装置の制御方法。

Images