JP2010118016A - 入力装置、入力方法、入力プログラム、及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】複数のユーザからの入力を取得するために、複数の入力手段を設ける必要がなく、汎用性の高い入力装置、入力方法、入力プログラム、及びコンピュータ読み取り可能な記録媒体を提供する。
【解決手段】データ表示／センサ装置１００は、近傍の複数の入力者の指の像を撮像するセンサ内蔵液晶パネル３０１と、センサ内蔵液晶パネル３０１が撮像した複数の入力者の指の像のうち、一群の像ごとに入力者エリア設定する入力者エリア制御部８３０と、入力者エリア制御部８３０が設定した入力エリアごとに、上記指の像の個数を計数するデータ計数部８４０とを備える。
【選択図】図１

Description

本発明は、複数のユーザからの入力操作を取得可能な入力装置、入力方法、入力プログラム、及びコンピュータ読み取り可能な記録媒体に関する。

ユーザからの指などの接触を検知し、当該検知した指などの接触をユーザの入力操作として取得する入力装置が知られている。このような入力装置として、例えば、検知した指の軌跡をユーザの入力操作として表示する手書き入力装置などを挙げることができる。

しかし、近年では、さらに、複数本の指の同時認識や、複数本の指の入力の大きさに見合った入力エリアの確保を行うことが要求されている。

特許文献１には、複数本の指の入力を取得可能なキー入力支援装置が開示されている。特許文献１に記載のキー入力支援装置は、キーボードと、当該キーボートのキーを押下するための手の形を画面に表示し、ユーザは、画面に表示された手の形を確認しながらキーボードのキーの入力を行うことができる。
特開２００１−１４７７６５号公報（公開日：平成１３年５月２９日）

しかし、特許文献１に記載の入力支援装置では、提供されたキーボードからしか入力操作を行うことができず、複数のユーザが入力操作を行う場合、キーボードをユーザの人数分用意する必要があり汎用性が低い。

また、大画面を有する表示装置への入力は、一般的に、ユーザが入力できる入力エリアが予め決められており、複数のユーザが入力操作を行った場合、複数のユーザの入力結果を認識することができなかった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、複数の入力者の入力操作の操作性を向上させ、汎用性が高い入力装置、入力方法、入力プログラム、及びコンピュータ読み取り可能な記録媒体を提供する。

本発明に係る入力装置は、上記課題を解決するために、近傍の複数のユーザの指の像を撮像する面状部材と、上記面状部材が撮像した複数のユーザの指の像のうち、一群の像ごとに領域を設定する領域設定手段と、上記領域設定手段が設定した領域ごとに、上記指の像の個数を計数する計数手段とを備えることを特徴とする。

本発明に係る入力方法は、上記課題を解決するために、近傍の複数のユーザの指の像を撮像する面状部材を備えた入力装置の入力方法において、上記面状部材が撮像した複数のユーザの指の像のうち、一群の像ごとに領域設定する領域設定ステップと、上記領域設定ステップで設定した領域ごとに、上記指の像の個数を計数する計数ステップとを含む。

上記構成により、上記面状部材は、近傍の複数のユーザの指の像を撮像する。そして、上記領域設定手段は、上記面状部材が撮像した複数のユーザの指の像のうち、一群の像ごとに領域を設定する。さらに、上記計数手段は、上記領域設定手段が設定した領域内の一群の像の個数を計数する。

これにより、複数のユーザが、それぞれ複数の指を上記面状部材に近づけたとしても、上記領域設定手段は、上記面状部材が撮像した複数のユーザの指の像のうち、一群の像ごとに領域を設定するので、上記領域設定手段は、ユーザごとの複数の指の像を、一群の像として領域を設定することができる。このため、上記計数手段は、各領域ごとの複数の指の個数を計数することができる。

すなわち、各領域と、各領域に含まれる指の像の個数とを対応付けることができるので、複数のユーザからの入力を取得するために、複数の入力手段を設ける必要がなく、汎用性の高い入力装置を提供できる。

本発明の入力装置は、上記面状部材に、上記領域設定手段が設定した複数の上記領域と、当該複数の領域ごとに含まれる像とを表示させる表示手段を備えることが好ましい。

上記構成により、上記表示手段により、上記領域設定手段が設定した複数の上記領域と、当該複数の領域ごとに含まれる像が上記面状部材に表示される。

このため、ユーザに対して上記領域設定手段が設定した複数の上記領域と、当該複数の領域ごとに含まれる像を視認させることができる。

本発明の入力装置は、上記計数手段は、上記面状部材が撮像した指の像を検知したときの、当該指の像の検知によって取得可能なユーザの入力操作に応じて、当該領域内の指の像の個数を計数することが好ましい。

上記構成により、上記面状部材が撮像した指の像を検知したときの、当該指の像の検知によって取得可能なユーザの入力操作に応じて、上記計数手段は、当該領域内の指の像の個数を計数する。このため、領域内へのユーザの入力操作の取得により、上記計数手段は、上記領域内指の像の個数を計数することができる。

本発明の入力装置は、上記面状部材が撮像した指の像を検知したときの、当該指の像の検知によって取得可能なユーザの入力操作に応じて、上記領域を移動させる領域移動手段を備えることが好ましい。

上記構成により、上記領域移動手段は、上記指の像の検知によって、取得可能なユーザの入力操作に応じて、上記領域を移動させることができる。このため、ユーザの任意に上記領域を移動させることができる。

本発明の入力装置の上記領域設定手段は、上記領域移動手段が移動させた領域が、当該領域と異なる他の領域と接触したときに、それぞれに含まれる像を含む新たな領域を設定し、上記計数手段は、上記新たな領域に含まれる像の個数を計数することが好ましい。

上記構成により、複数の上記領域を新たな領域としてまとめることができ、上記計数手段は、当該まとめた新たな領域内に含まれる像の個数を計数することができる。

本発明の入力装置は、上記面状部材が撮像した指の像に基づいて、当該指の像を入力したユーザを特定し、当該特定したユーザと、上記面状部材が撮像した像が含まれる領域とを対応付けて管理するユーザ特定手段を備えることが好ましい。

上記構成により、上記ユーザ特定手段によって特定されたユーザと、上記面状部材が撮像した像、及び当該像が含まれる領域とを対応付けて管理することが可能である。

また、本発明に係る入力装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。

本発明の入力装置は、以上のように、近傍の複数のユーザの指の像を撮像する面状部材と、上記面状部材が撮像した複数のユーザの指の像のうち、一群の像ごとに領域を設定する領域設定手段と、上記領域設定手段が設定した領域ごとに、上記指の像の個数を計数する計数手段とを備える。

また、本発明の入力方法は、近傍の複数のユーザの指の像を撮像する面状部材が撮像した複数のユーザの指の像のうち、一群の像ごとに領域設定する領域設定ステップと、上記領域設定ステップで設定した領域ごとに、上記指の像の個数を計数する計数ステップとを含む。

これにより、複数のユーザからの入力を取得するために、複数の入力手段を設ける必要がなく、汎用性の高い入力装置、入力方法、入力プログラム、及びコンピュータ読み取り可能な記録媒体を提供できるという効果を奏する。

本実施の形態に係るデータ表示／センサ装置１００（入力装置）は、近傍の複数の入力者（ユーザ）の指の像を撮像するセンサ内蔵液晶パネル３０１（面状部材）と、センサ内蔵液晶パネル３０１が撮像した複数のユーザの指の像のうち、一群の像ごとに入力者エリア（領域）を設定する入力者エリア制御部８３０（領域設定手段）と、入力者エリア制御部８３０が設定した入力者エリアごとに、上記像の個数を計数するデータ計数部８４０（計数手段）とを備えるものである。

まず、以下で、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。なお、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は１つでもよいし、複数でもよい。

また、本実施の形態では、センサ内蔵液晶パネル３０１は、対象物がタッチ（接触）した場合に、タッチした位置の検出や、画像の読み取りを行うものとして説明するが、実際には、センサ内蔵液晶パネル３０１は、対象物が完全に接触しなくても、当該対象物が有る程度、接近すれば当該対象物の位置や画像を読み取ることが可能である。

なお、センサ内蔵液晶パネル３０１は、入力者が複数本の指を離さず、互いにくっ付けてセンサ内蔵液晶パネル３０１にタッチした場合など、指に該当する部分の画素の明度と、指同士の境目に該当する部分の画素の明度との差異が微小であったとしても、それぞれの指の座標データを取得できるように設定されている。

（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（データ表示／センサ装置の詳細説明）
次に、図１を参照しながら、データ表示／センサ装置１００の詳細な説明を行う。

図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。

図１に示すように、主制御部８００は、表示データ生成部８１０（表示手段）、データ取得部８２０、入力者エリア制御部８３０（領域設定手段）、データ計数部８４０（計数手段）を備える。また、入力者エリア制御部８３０は、入力者特定部８３２（ユーザ特定手段）、入力者エリア移動部８３３（領域移動手段）、入力者エリア接触判定部８３４を備える。

表示データ生成部８１０は、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に、入力者エリア制御部８３０が設定した複数の入力者エリアと、当該複数の入力者エリアごとに含まれるタッチエリアとを表示させるものである。

表示データ生成部８１０は、センサ内蔵液晶パネル３０１に表示させるための表示データを生成し、当該生成した表示データをデータ処理部７００に出力することにより、センサ内蔵液晶パネル３０１に表示データを表示させる。

表示データ生成部８１０は、入力者エリア制御部８３０から、センサ内蔵液晶パネル３０１に入力者エリア、及びタッチエリアを表示させるための指示情報である入力者エリア及びタッチエリア表示指示情報を取得すると、入力者エリア制御部８３０から取得した座標データ、部分画像データから、センサ内蔵液晶パネル３０１に入力者エリア及びタッチエリアを表示させるための表示データを生成し、当該生成した表示データをデータ処理部７００に出力することにより、センサ内蔵液晶パネル３０１にタッチエリア、及び入力者エリアを表示させる。

また、表示データ生成部８１０は、センサ内蔵液晶パネル３０１が入力者の指の像を検知した際、データ処理部７００から、上記検知した像の部分画像データ、上記像の代表を示す座標データ（例えば中心を示す座標データなど）、及び全体画像データを取得するためのコマンドをデータ処理部７００に出力する。

データ取得部８２０は、データ処理部７００から、部分画像データ、座標データ、及び全体画像データを取得し、当該取得した部分画像データ、座標データ、及び全体画像データを入力者エリア制御部８３０に出力するものである。データ取得部８２０は、データ処理部７００から上記部分画像データ、座標データ、及び全体画像データを取得することにより、センサ内蔵液晶パネル３０１への入力者の指のタッチを検出する。

入力者エリア制御部８３０は、センサ内蔵液晶パネル３０１が撮像した複数の入力者の指の像のうち、一群の像ごとに入力者エリアを設定するものである。

また、入力者エリア制御部８３０は、データ取得部８２０から出力される部分画像データ、座標データ、及び全体画像データを取得すると、当該取得した部分画像データ、座標データ、及び全体画像データを記憶部９０１に、取得した順に記憶する。そして、入力者エリア制御部８３０は、データ取得部８２０から取得する座標データと、記憶部９０１に記憶した座標データとを比較することにより、入力者が指をセンサ内蔵液晶パネル３０１にタッチしたか、及びタッチしていた指を離したかを判定する。

入力者エリア制御部８３０は、センサ内蔵液晶パネル３０１が撮像した像の代表的な座標（例えば中心座標）を座標データとしてデータ処理部７００から取得し、当該取得した座標データ間の距離を確認する。そして、入力者エリア制御部８３０は、座標データ間の距離が、予め決められた閾値以下であれば、上記複数の座標データは、同一の入力者のものであると判定する。

そして、入力者エリア制御部８３０は、同一の入力者のものであると判定した複数の座標データを一群の座標データとして、当該複数の座標データを取得した像を一群の像として認識し、当該一群の像を含む入力者エリアを設定する。また、入力者エリア制御部８３０は、データ処理部７００から取得する複数の座標データ間の距離が、予め決められた閾値以上であれば、上記複数の座標データは、異なる入力者のものであると判定する。

そして、入力者エリア制御部８３０は、異なる入力者のものであると判定した複数の座標データから取得した像には、それぞれ、異なる入力者エリアを設定する。

入力者特定部８３２は、センサ内蔵液晶パネル３０１が撮像した指の像に基づいて、当該指の像を入力した入力者を特定し、当該特定した入力者と、センサ内蔵液晶パネル３０１が撮像した像が含まれる入力者エリアとを対応付けて管理するものである。

すなわち、入力者特定部８３２は、入力者エリア制御部８３０がデータ取得部８２０から取得する部分画像データが、記憶部９０１に予め記憶されている形状または指紋と一致するか否かを判定することにより、入力者エリア内に指をタッチした入力者が、当該入力者エリアを設定した本人であるか否かの認証を行う。

入力者エリア移動部８３３は、センサ内蔵液晶パネル３０１が撮像した指の像を検知したときの、当該指の像の検知によって取得可能な入力者の入力操作に応じて、上記入力者エリアを移動させるものである。

入力者エリア接触判定部８３４は、入力者エリア制御部８３０が設定した複数の入力者エリアのうち、入力者エリア移動部８３３が移動させた入力者エリアの位置と、他の入力者エリアの位置との接触を判定するものである。

データ計数部８４０は、入力者エリア制御部８３０が設定した入力者エリアごとに、上記指の像の個数を計数するものである。データ計数部８４０は、入力者エリア制御部８３０から座標データを取得すると、当該取得した座標データを計数する。そして、計数結果を入力者の入力数値として認識し、表示データ生成部８１０に計数結果を出力すると共に、計数結果を、計数した座標データが含まれる入力者エリアと対応付けて記憶部９０１に記憶する。さらに、データ計数部８４０は、計数結果を含めた計数結果画面をセンサ内蔵液晶パネル３０１に表示させるための表示データを表示データ生成部８１０に生成させる。

（データ表示／センサ装置の動作説明）
次に、図９（ａ）〜（ｃ）、図１０（ａ）（ｂ）、図１１（ａ）（ｂ）、図１２（ａ）（ｂ）を用い、データ表示／センサ装置１００の表示画面の説明を行う。

図９（ａ）〜（ｃ）は、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１に複数のユーザそれぞれの入力者エリアが確定される様子を表す説明図である。

図９（ａ）は、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１に複数の入力者が指をタッチしている様子を表す説明図であり、図９（ｂ）は図９（ａ）のセンサ内蔵液晶パネル３０１に指をタッチした領域の周囲に入力者エリアが設定されている様子を表し、図９（ｃ）は図９（ｂ）のセンサ内蔵液晶パネル３０１に設定された複数の入力者エリア内のタッチエリアの個数が表示されている様子を表す説明図である。

図９（ａ）に示すように、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１に、複数の入力者が指をタッチする。ここで、図示しないが、センサ内蔵液晶パネル３０１には、例えば、クイズやアンケートなど、複数の入力者に選択肢を選択させるための複数の選択肢を含む画面を表示しているものとする。ここでは、入力者Ａは、３本の指をセンサ内蔵液晶パネル３０１にタッチし、入力者Ｂは２本の指をセンサ内蔵液晶パネル３０１にタッチする。

すると、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１が、入力者がタッチした指の像を撮像する。これにより、データ表示／センサ装置１００は、入力者のセンサ内蔵液晶パネル３０１への指のタッチを検知する。

そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１へのタッチを検知した位置を座標データとして取得し、さらに、当該座標データと対応する部分画像データを取得する。

そして、データ表示／センサ装置１００は、取得した座標データからそれぞれの距離を求め、予め記憶部９０１に記憶された閾値と比較する。データ表示／センサ装置１００は、上記求めた距離が、閾値以下である場合、同じ入力者の指の座標データであると判定する。
ここでは、データ表示／センサ装置１００は、入力者Ａがセンサ内蔵液晶パネル３０１にタッチした３本の指のから取得した座標データを一群の座標データとして認識し、入力者Ｂがセンサ内蔵液晶パネル３０１にタッチした２本の指から取得した座標データを、他の一群の座標データとして認識する。

また、予め記憶部９０１に入力者の指の指紋（または指の形状）を記憶しておき、センサ内蔵液晶パネル３０１が撮像した入力者の指の指紋（または指の形状）と、記憶部９０１に記憶している指の指紋（または指の形状）とを比較することにより、センサ内蔵液晶パネル３０１に指をタッチした入力者を特定し、同じ入力者の指であると特定した像と対応する座標データを一群の座標データとして認識してもよい。

そして、次に、データ表示／センサ装置１００は、特定した一群の座標データの代表座標（例えば真ん中の座標や、中心座標）を求める。

ここでは、入力者Ａがセンサ内蔵液晶パネル３０１にタッチした３本の指の座標から代表座標を求め、当該代表座標から一群の座標データと認識した座標データを含めて、所定のエリアを入力者Ａの入力者エリアＳＤ１として仮設定する。

また、データ表示／センサ装置１００は、同様に、入力者Ｂがセンサ内蔵液晶パネル３０１にタッチした２本の指の代表座標を求め、当該代表座標から所定のエリアを入力者Ｂの入力者エリアＳＤ２として仮設定する。

そして、入力者は、仮設定されたそれぞれの入力者エリア内の全ての指を、センサ内蔵液晶パネル３０１から離すまでは、センサ内蔵液晶パネル３０１にタッチする指の本数を増減することにより、データ表示／センサ装置１００への入力数値の変更が可能である。

すなわち、データ表示／センサ装置１００は、仮設定した入力者エリア内の座標データを全て検知しなかったとき、入力者が入力者エリア内にタッチしていた全ての指をセンサ内蔵液晶パネル３０１から離したと認識し、入力者からの入力数値を認識する。

ここでは、入力者Ａは、入力数値「３」をデータ表示／センサ装置１００に入力するために、センサ内蔵液晶パネル３０１にタッチした３本の指をセンサ内蔵液晶パネル３０１から離す。また、入力者Ｂは、入力数値「２」をデータ表示／センサ装置１００に入力するために、センサ内蔵液晶パネル３０１にタッチした２本の指をセンサ内蔵液晶パネル３０１から離す。

すると、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしていた入力者Ａの指が、仮設定した入力者エリアＳＤ１内のセンサ内蔵液晶パネル３０１から全て離れたことを認識し、図９（ｂ）に示すように、仮に設定していた入力者エリアＳＤ１を設定（確定）する。そして、当該確定した入力者エリアＳＤ１をセンサ内蔵液晶パネル３０１に表示すると共に、入力者Ａの指のタッチを検出していた座標データに対応する部分画像データをタッチエリアｓｄ１としてセンサ内蔵液晶パネル３０１に表示する。入力者Ａは、タッチしていた３本の指をセンサ内蔵液晶パネル３０１から離したので、データ表示／センサ装置１００は、タッチエリアｓｄ１を３箇所表示する。つまり、データ表示／センサ装置１００は、入力者Ａのみがタッチエリアｓｄ１の変更が可能なエリアとして入力者エリアＳＤ１を設定する。

また、同様に、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１にタッチしていた入力者Ｂの指が、仮に設定していた入力者エリアＳＤ２内のセンサ内蔵液晶パネル３０１から全て離れたことを検出すると、図９（ｂ）に示すように、仮設定していた入力者エリアＳＤ２を設定（確定）する。そして当該設定した入力者エリアＳＤ２をセンサ内蔵液晶パネル３０１に表示すると共に、入力者Ｂの指のタッチを検出していた座標データに対応する部分画像データをタッチエリアｓｄ２としてセンサ内蔵液晶パネル３０１に表示する。入力者Ｂは、タッチしていた２本の指をセンサ内蔵液晶パネル３０１から離したので、データ表示／センサ装置１００は、タッチエリアｓｄ２を２箇所表示する。

つまり、データ表示／センサ装置１００は、入力者Ｂのみがタッチエリアｓｄ２の変更が可能なエリアとして入力者エリアＳＤ１を設定する。

そして、図９（ｃ）に示すように、データ表示／センサ装置１００は、各入力者エリア内のタッチエリアの個数を計数し、計数結果をセンサ内蔵液晶パネル３０１に表示する。

図９（ｃ）では、データ表示／センサ装置１００は、入力数値「１」を入力した入力者は１人であり、入力数値「２」を入力した入力者は３人であり、入力数値「３」を入力した入力者は３人であることをセンサ内蔵液晶パネル３０１に表示している。

なお、データ表示／センサ装置１００がタッチエリアの個数を計数するタイミングは、入力者エリアごとに、当該入力者エリア内の全ての指が離れたことを検出したとき、または所定時間経過後であってもよく、また、センサ内蔵液晶パネル３０１にタッチしている指が全て離れたことを検出したときでもよく、任意に設定することが可能である。

（入力者エリア内の入力者の認証）
次に図１０（ａ）（ｂ）を用い、設定された入力者エリア内のタッチエリアの修正方法の一例について説明する。

図１０（ａ）は、センサ内蔵液晶パネル３０１に設定された入力者エリア内に指をタッチした入力者の認証を行う様子を表す説明図であり、図１０（ｂ）はデータ表示／センサ装置が認証した結果、設定したタッチエリアの個数を変更した様子を表す説明図である。

データ表示／センサ装置１００は、設定した入力者エリア内への指のタッチを検出した場合、当該検出した指の像が、当該入力者エリアを設定させた入力者本人であるかを判定し、本人であると判定した場合、各入力者エリア内のタッチエリアの個数の変更を許可してもよい。

データ表示／センサ装置１００の記憶部９０１には、予め、入力者エリアを設定させた入力者の指紋（または指の形状）と、入力者エリアとを対応付けて記憶しておく。そして、データ表示／センサ装置１００は、入力者エリア内へのタッチを検出した指の指紋（または形状）と、当該入力者エリアに対応つけられた指紋（または形状）とが一致するかの判定を行うことにより、センサ内蔵液晶パネル３０１へのタッチを検出した指が入力者本人であるか否かの判定を行うものとする。

図１０（ａ）に示すように、図９（ｂ）の入力者エリアＳＤ１、及び入力者エリアＳＤ２が設定された後、入力者エリアＳＤ１の入力者である入力者Ａが、入力者エリアＳＤ１、及び入力者エリアＳＤ２に指をタッチする。すると、データ表示／センサ装置１００は、入力者エリアＳＤ１内へのタッチを検出した指は、入力者本人であると判定し、入力者エリアＳＤ１内のタッチエリアｓｄ１の個数の変更を許可する。

そして、入力者Ａは、入力者エリアＳＤ１内に再度、タッチした指を離す。ここでは、入力者Ａは、入力者エリアＳＤ１内にタッチした２本の指を、センサ内蔵液晶パネル３０１から離す。すると、図１０（ｂ）に示すように、データ表示／センサ装置１００は、入力者エリアＳＤ１内にタッチしていた指が全て離れたことを検出する。そして、データ表示／センサ装置１００は、入力者エリアＳＤ１内のタッチエリアｓｄ１の表示を２個に変更する。そして、この後、データ表示／センサ装置１００は、入力者エリアＳＤ１内のタッチエリアｓｄ１の個数を計数し、計数結果をセンサ内蔵液晶パネル３０１に再度、表示してもよい。

また、入力者エリアＳＤ２の入力者は入力者Ｂであるので、データ表示／センサ装置１００は、入力者エリアＳＤ２内に、再度、指をタッチした入力者Ａは、入力者本人ではないと判定し、入力者エリアＳＤ１内のタッチエリアの表示の変更を許可しない。

（入力エリアの合成）
次に、図１１（ａ）（ｂ）を用い、入力者エリアを移動し、他の入力者エリアと合成する方法の一例について説明する。

図１１（ａ）は、センサ内蔵液晶パネル３０１に設定された複数の入力者エリアに、入力者が指をタッチしている様子を表し、図１１（ｂ）は（ａ）で示した入力者エリアを移動し、合成している様子を表す説明図である。

データ表示／センサ装置１００は、設定した入力者エリア内への指のタッチを検出し、当該検出した指の像が移動していると検知した場合、当該検知した移動に合わせて、設定した入力者エリアを移動する。そして、上記移動した入力者エリアと、他の入力者エリアとが接触した場合、それぞれに含まれていたタッチエリアを含めて、上記接触した上記入力者エリア及び上記他の入力者エリアを、１つの入力者エリアとして、再度設定してもよい。

図１１（ａ）に示すように、図９（ｂ）の入力者エリアＳＤ１、及び入力者エリアＳＤ２が設定された後、入力者Ａが入力者エリアＳＤ１内に指をタッチし、入力者Ｂが入力者エリアＳＤ２内に指をタッチする。

そして、図１１（ｂ）に示すように、入力者Ｂは、入力者エリアＳＤ２にタッチした指を、入力者エリアＳＤ１が配置されている方向へスライドさせる。すると、データ表示／センサ装置１００は、入力者Ｂの指の移動に合せて、入力者エリアＳＤ２を移動する。

そして、入力者エリアＳＤ２と入力者エリアＳＤ１とが接触すると、データ表示／センサ装置１００は、入力者エリアＳＤ２と入力者エリアＳＤ１とを合成する。

ここで、図１０（ａ）（ｂ）を用いて説明したように、データ表示／センサ装置１００は、入力者エリアＳＤ１、及び入力者エリアＳＤ２のそれぞれにタッチしている指が、入力者本人であるか否かを判定し、本人であると判定した場合のみ、入力者エリアＳＤ１または入力者エリアＳＤ２の移動を許可するようにしてもよい。

そして、入力者Ａ及び入力者Ｂが、ともに合成された入力者エリアから指を離すと、データ表示／センサ装置１００は、入力者エリアＳＤ１及び入力者エリアＳＤ２からなる入力者エリアＳＤ１２を設定する。

また、データ表示／センサ装置１００は、図９（ｃ）に示すように、センサ内蔵液晶パネル３０１に表示している各入力者エリア内のタッチエリアの個数を計数し、計数結果を表示する。

（タッチエリアの削除）
図１２（ａ）は、センサ内蔵液晶パネル３０１に設定された入力者エリア内にタッチした指をスライドさせ、表示されているタッチエリアに指を接触し、入力者エリア外に指をスライドさせた様子を表し、図１２（ｂ）は、（ａ）で指が接触したタッチエリアが削除された様子を表す説明図である。

データ表示／センサ装置１００は、設定された入力者エリア内に指のタッチを検出した場合、検出した指の移動に応じて、上記入力者エリア内のタッチエリアを削除してもよい。

図１２（ａ）に示すように、データ表示／センサ装置１００は、４つのタッチエリアを含む入力者エリアＳＤ３を、センサ内蔵液晶パネル３０１に表示しているものとする。

そして、入力者Ａは、入力者エリアＳＤ３内に指をタッチし、当該タッチした指をスライドし、入力者エリアＳＤ３に含まれる３つのタッチエリアと接触し、入力者エリアＳＤ３のエリア外へ指をスライドさせる。すると、データ表示／センサ装置１００は、入力者エリアＳＤ３内に含まれるタッチエリアｓｄ３のうち、入力者Ａが指をタッチしたタッチエリアｓｄ３の表示を削除する。

ここで、データ表示／センサ装置１００は、入力者エリアＳＤ３の入力者が入力者Ａであるか否かを判定し、入力者エリアＳＤ３の入力者が入力者Ａであると判定した場合のみ、タッチエリアｓｄ３の削除を許可してもよいし、そうでなくてもよい。

また、図９（ｃ）に示すように、データ表示／センサ装置１００は、各入力者エリア内のタッチエリアの個数を計数し、計数結果を表示してもよい。

なお、図１０（ａ）（ｂ）、図１１（ａ）（ｂ）、図１２（ａ）（ｂ）で説明したそれぞれの処理は、例えば、データ表示／センサ装置１００が、所定時間が経過したか否かを判定することにより、それぞれの処理を許可するなど、組み合わせて処理を行うことが可能である。

（データ表示／センサ装置の処理の流れ）
次に、図１３を用い、データ表示／センサ装置１００の処理の流れ、及び主制御部８００からデータ処理部７００に送信されるコマンドの説明を行う。

図１３は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。

まず、データ表示／センサ装置１００は、入力者の操作に応じて、入力者に選択肢を選択させるための複数の選択肢を備える選択画面をセンサ内蔵液晶パネル３０１にさせるための表示データを、表示データ生成部８１０が生成し、センサ内蔵液晶パネル３０１に選択画面を表示させる（ステップＳ１１）。

また、併せて、表示データ生成部８１０は、「データ取得タイミング」フィールドに、”イベント”を指定し、「データ種別」フィールドに”座標”、”全体画像”、および”部分画像”を指定（”111”を指定）したコマンドをデータ処理部７００に出力する。

これにより、データ取得部８２０は、センサ内蔵液晶パネル３０１が取得する画像データに変化が生じた場合のみ、データ処理部７００から座標データ、部分画像データ、及び全体画像データを取得する。ここで、データ取得部８２０は、センサ内蔵液晶パネル３０１にタッチしている指の本数分の座標データ、及び部分画像データをデータ処理部７００から取得する。

なお、表示データ生成部８１０は「データ取得タイミング」フィールドに”オール”を指定してもよい。

そして、センサ内蔵液晶パネル３０１が、入力者がタッチした指の像を撮像すると、データ取得部８２０は、データ処理部７００から全体画像データ、部分画像データ、及び座標データを取得する。これにより、データ取得部８２０は、センサ内蔵液晶パネル３０１への入力者の指のタッチを検出（検知）する（ステップＳ１２）。

次に、データ取得部８２０は、データ処理部７００から全体画像データ、部分画像データ及び座標データを取得すると、当該取得した全体画像データ、部分画像データ及び座標データを入力者エリア制御部８３０に出力する。

入力者エリア制御部８３０は、データ取得部８２０から全体画像データ、部分画像データ、及び座標データを取得すると、入力者は、センサ内蔵液晶パネル３０１に指をタッチしている状態であると認識する。ここで、入力者エリア制御部８３０は、データ取得部から、センサ内蔵液晶パネル３０１にタッチしている指の本数分の座標データ及び部分画像データを取得する。そして、入力者エリア制御部８３０は、データ取得部８２０から取得した順に、部分画像データ、及び座標データを記憶部９０１に記憶する。

そして、入力者エリア制御部８３０は、記憶部９０１から予め記憶された閾値を取得し、データ取得部８２０から取得した複数の座標データのうち、所定の閾値以下の距離である座標データを一群の座標データとして認識する（ステップＳ１２）。そして、認識した一群の座標データを含めて所定の範囲内を入力者エリアとして仮設定する。

ここで、入力者がセンサ内蔵液晶パネル３０１へタッチする指の本数を増減した場合、つまり、センサ内蔵液晶パネル３０１が取得する画像データに変化が生じた場合、データ取得部８２０は、データ処理部７００から座標データ、部分画像データ、及び全体画像データを取得し、入力者エリア制御部８３０に出力する。

そして、入力者エリア制御部８３０は、データ取得部８２０から取得した座標データと、記憶部９０１に記憶された最新の座標データとを比較することにより、変更があった座標データを認識する。そして、入力者エリア制御部８３０は、データ取得部８２０から取得した座標データを記憶部９０１に記憶する。

ここで、入力者がセンサ内蔵液晶パネル３０１にタッチしていた指を離した場合、入力者エリア制御部８３０は、データ取得部８２０から取得した座標データと、記憶部９０１に記憶されている座標データとを比較することにより、仮設定した入力者エリア内の座標データを全て取得しなかったと認識する。

つまり、入力者エリア制御部８３０は、仮設定した入力者エリア内の座標データを全て取得しないか否かによって、入力者がセンサ内蔵液晶パネル３０１から全て指を離したか否かを判定する（ステップＳ１３）。

そして、入力者エリア制御部８３０は、入力者がセンサ内蔵液晶パネル３０１から指を離したと判定した場合（ステップＳ１３のＹＥＳ）、記憶部９０１を参照し、データ取得部８２０から取得しなかった座標データを、記憶部９０１から取得する。

さらに、入力者エリア制御部８３０は、仮設定した入力者エリアを設定する（ステップＳ１４）。

そして、入力者エリア制御部８３０は、設定した入力者エリアと、当該入力者エリアに含まれる座標データとを対応付けて記憶部９０１に記憶すると共に、当該座標データと、対応付けられた部分画像データとを表示データ生成部８１０に出力する。さらに、入力者エリア制御部８３０は、設定した入力者エリアに含まれる座標データをデータ計数部８４０に出力する。

次に、表示データ生成部８１０は、入力者エリア制御部８３０から、入力エリア及びタッチエリア表示指示情報、座標データ、及び部分画像データを取得すると、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に設定画面を表示させる（ステップＳ１５）。

すなわち、表示データ生成部８１０は、入力者エリア、及びタッチエリアをセンサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、表示データ生成部８１０は、生成した表示データをデータ処理部７００に出力する。これにより、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に、設定した入力者エリア、及びタッチエリアを表示させる。

次に、データ計数部８４０は、入力者エリア制御部８３０から座標データを取得すると、当該取得した座標データの個数を計数することにより、入力者エリア内のタッチエリアの個数を計数する（ステップＳ１６）。そして、データ計数部８４０は、計数結果を入力者の入力数値として認識し、認識した入力数値を計数した座標データと対応付けて、記憶部９０１に記憶すると共に、表示データ生成部８１０に出力する。

表示データ生成部８１０は、データ計数部８４０から、計数結果を取得すると、当該取得した計数結果を含めた計数結果画面をセンサ内蔵液晶パネル３０１に表示させる（ステップＳ１７）。

すなわち、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、表示データ生成部８１０は、当該生成した表示データをデータ処理部７００に出力し、センサ内蔵液晶パネル３０１に、上記計数結果を表示させる。

（入力者エリア内の入力者の認証の処理の流れ）
次に、図１４を用い、設定した入力者エリア内のタッチエリアの個数を変更する場合の処理の流れについて説明する。

図１４は、設定した入力者エリア内のタッチエリアの個数を変更する場合の処理の流れを表すフローチャートである。

ステップＳ１７の処理の後、センサ内蔵液晶パネル３０１が入力者の指の像を撮像し、当該撮像された像に基づいて、入力者エリア制御部８３０が、データ取得部８２０から入力者エリア内の座標データを取得した場合、入力者特定部８３２は、記憶部９０１を参照し、入力者エリア内に指をタッチした入力者の認証を行う（ステップＳ２２）。

ここで、入力者特定部８３２は、予め記憶部９０１に記憶された指紋、もしくは指の像の形状と、上記入力者エリア内にタッチした指の指紋、もしくは指の像の形状とを比較すうことにより、上記入力者エリア内に指をタッチした入力者の認証を行う。

そして、入力者特定部８３２は、記憶部９０１に記憶されている指紋、もしくは指の像の形状と、上記入力者エリア内にタッチした指の指紋、もしくは指の像の形状とが一致しなかった場合、上記入力者エリア内に指をタッチした入力者は、本人ではないと判定し（ステップＳ２３のＮＯ）、入力者エリア内のタッチエリアの変更を許可しない。

また、入力者特定部８３２は、記憶部９０１に記憶されている指紋、もしくは指の像の形状と、上記入力者エリア内にタッチした指の指紋、もしくは指の像の形状とが一致した場合、上記入力者エリア内に指をタッチした入力者は、本人であると判定する（ステップＳ２３のＹＥＳ）。

入力者エリア制御部８３０は、入力者特定部８３２が入力者本人であると判定すると、データ取得部８２０から取得した順番に、座標データ、及び部分画像データを記憶部９０１に記憶していく。

そして、入力者がセンサ内蔵液晶パネル３０１にタッチした指を全て離した場合、すなわち、入力者エリア制御部８３０は、設定した入力エリア内に含まれる座標データを、データ取得部８２０から取得しなかった場合、入力者はセンサ内蔵液晶パネル３０１にタッチしていた指を全て離したと認識する（ステップＳ２４のＹＥＳ）。

そして、入力者エリア制御部８３０は、記憶部９０１に記憶されている最新の座標データ及び部分画像データのうち、設定された入力者エリア内に含まれていた座標データ及び部分画像データを取得し、当該取得した座標データ及び部分画像データを表示データ生成部に出力する。

さらに、入力者エリア制御部８３０は、記憶部９０１から取得した座標データをデータ計数部８４０に出力する。

次に、表示データ生成部８１０は、入力者エリア制御部８３０から、座標データ、及び部分画像データを取得すると、変更したタッチエリアをセンサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、表示データ生成部８１０は、生成した表示データをデータ処理部７００に出力する。これにより、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に変更したタッチエリアを表示させる（ステップＳ２５）。

（入力者エリアを合成）
次に、設定された複数の入力者エリアを合成する構成について説明する。

図１５は、設定された入力者エリアを合成する場合の処理の流れを表すフローチャートである。

ステップＳ２３のＹＥＳの後、入力者エリア制御部８３０の入力者エリア移動部８３３は、記憶部９０１を参照し、データ取得部８１０から取得する座標データが移動しているか否かを判定することにより、入力者がタッチ位置を移動しているか否かを判定する（ステップＳ３０）。

そして、入力者エリア移動部８３３は、データ取得部８１０から取得する座標データが移動していると判定した場合（ステップＳ３０のＹＥＳ）、記憶部９０１から最新に記憶された座標データ及び部分画像データを取得し、移動後の座標データに基づいて、上記取得した座標データ及び部分画像データの座標データを移動することにより、移動させた入力エリア、及びタッチエリアをセンサ内蔵液晶パネル３０１に表示させる（ステップＳ３１）。

次に、入力者エリア制御部８３０の入力者エリア接触判定部８３４は、記憶部９０１を参照し、移動した入力者エリアの座標と、他の入力者エリアの座標データとを比較し、入力者エリアが接触したか否かを判定する（ステップＳ３２）。

そして、入力者エリア接触判定部８３４は、移動した入力者エリアが、他の入力者エリアと接触したと判定した場合（ステップＳ３２のＹＥＳ）、入力者エリア制御部８３０は、上記移動した入力者エリアと、当該入力者エリアと接触した入力者エリアとを合成し（ステップＳ３３）、互いのエリア内に含まれるタッチエリアを当該合成した入力者エリア内に含める。

そして、入力者エリア制御部８３０は、上記合成した入力者エリア、及び当該合成した入力者エリアに含まれるタッチエリアを設定し、当該設定したことを示す合成確定情報を表示データ生成部８１０に出力すると共に、座標データ及び部分画像データを表示データ生成部８１０に出力する。さらに、入力者エリア制御部８３０は、移動させた座標データをデータ計数部８４０に出力する。

そして、表示データ生成部８１０は、入力者エリア制御部８３０から合成確定情報、座標データ、部分画像データを取得すると、合成した入力者エリア、及びタッチエリアをセンサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、表示データ生成部８１０は、上記生成した表示データをデータ処理部７００に出力することにより、センサ内蔵液晶パネル３０１に合成した入力者エリア、及びタッチエリアを表示する（ステップＳ３４）。

なお、上述した説明では、ステップＳ３０は、ステップＳ２２の処理の次の処理として説明したが、これに限定されるものではない。データ表示／センサ装置１００は、入力者エリア内に指をタッチした入力者の認証を省略して、つまり、入力者エリアに指をタッチした入力者が本人ではなくても、当該指のタッチを検出した入力者エリアの移動、及び合成をしてもよい。

（タッチエリアの削除）
次に、設定された複数の入力者エリア内のタッチエリアを削除する構成について説明する。

図１６は、設定された入力者エリア内のタッチエリアを削除する場合の処理の流れを表すフローチャートである。

ステップＳ２３のＹＥＳの処理の後、入力者エリア制御部８３０は、入力者特定部８３２から、入力者本人である旨の通知を取得すると、記憶部９０１を参照し、データ取得部８２０から取得する座標データが、記憶部９０１に記憶されているタッチエリアの座標と一致するか否かを判定する（ステップＳ４０）。すなわち、入力者エリア制御部８３０は、データ取得部８２０から取得する座標データと、センサ内蔵液晶パネル３０１に表示しているタッチエリアの座標データとが一致するか否かを判定する。

そして、入力者エリア制御部８３０は、データ取得部８２０から取得する座標データが、記憶部９０１に記憶されている座標データと一致すると判定した場合（ステップＳ４０のＹＥＳ）、次に、入力者エリア移動部８３３は、データ取得部８２０から取得する座標データが、入力者エリア外へ移動したか否かを判定する（ステップＳ４１）。

入力者エリア移動部８３３は、データ取得部８２０から取得する座標データが、入力者エリア外へ移動したと判定した場合（ステップＳ４１のＹＥＳ）、ステップＳ４０で、一致した座標データを記憶部９０１から削除する（ステップＳ４２）。

そして、入力者エリア制御部８３０は、上記削除した以外の座標データ及び部分画像データを取得し、表示データ生成部８１０に出力する。

表示データ生成部８１０は、入力者エリア制御部８３０から取得した座標データ及び部分画像データから、センサ内蔵液晶パネル３０１に、修正したタッチエリアを表示させるための表示データを生成し、当該生成した表示データをデータ処理部７００に出力する。

これにより、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に、入力者がタッチ位置を接触させたタッチエリアを削除した画面を表示する（ステップＳ４２）。

また、入力者エリア移動部８３３は、データ取得部８２０から取得する座標データが、入力者エリア外へ移動していないと判定した場合（ステップＳ４１のＮＯ）、入力者エリア制御部８３０は、入力者エリア内の全ての指が離れたか否かを判定する（ステップＳ４４）。

そして、入力者エリア制御部８３０は、入力者エリア内の全ての指が離れたと判定した場合（ステップＳ４４のＹＥＳ）、入力者エリア内のタッチエリアの修正は行わない。また、入力者エリア制御部８３０は、入力者エリア内の全ての指が離れていないと判定した場合（ステップＳ４４のＮＯ）、ステップＳ４０の処理に戻る。

また、入力者エリア制御部８３０は、データ取得部８２０から取得する座標データが、記憶部９０１に記憶されている座標データと一致しないと判定した場合（ステップＳ４０のＮＯ）、入力者エリア移動部８３３は、データ取得部８２０から取得する座標データが、入力者エリア外へ移動したか否かを判定する（ステップＳ４５）。

入力者エリア移動部８３３は、データ取得部８２０から取得する座標データが、入力者エリア外へ移動していないと判定した場合（ステップＳ４５のＮＯ）、ステップＳ４４の処理に戻る。また、入力者エリア移動部８３３は、データ取得部８２０から取得する座標データが、入力者エリア外へ移動したと判定した場合（ステップＳ４５のＹＥＳ）、処理を終了する。

なお、上述した説明では、ステップＳ４０は、ステップＳ２３の処理の次の処理として説明したが、これに限定されるものではない。データ表示／センサ装置１００は、入力者エリア内に指をタッチした入力者の認証を省略して、つまり、入力者エリアに指をタッチした入力者が本人ではなくても、当該指のタッチを検出した入力者エリア内のタッチエリアの削除をしてもよい。

（商品購入の場合の説明）
図１７（ａ）〜（ｈ）を用い、センサ内蔵液晶パネル３０１に表示された複数の項目の中から、入力者に、特定の項目を選択させる場合の動作について説明する。

図１７（ａ）は、センサ内蔵液晶パネル３０１が表示する複数の項目のエリア内に入力者が指をタッチしている様子を表す。

図１７（ｂ）は、図１７（ａ）でタッチを検出したエリアにタッチエリアを表示している様子を表す。

図１７（ｃ）は、図１７（ｂ）で表示したタッチエリアに、入力者が、再度指をタッチしている様子を表す。

図１７（ｄ）は、図１７（ｃ）でタッチを検出した項目に示す商品の注文個数と、合計金額とを表示している様子を表す。

図１７（ｅ）は、図１７（ｄ）で表示した商品の、入力者からの確定動作を取得している様子を表す。

図１７（ｆ）は、図１７（ｅ）で発注の確定を取得した商品を発注するための準備画面をセンサ内蔵液晶パネル３０１に表示している様子を表す。

図１７（ｇ）は、図１７（ｆ）で表示した準備画面から、入力者からの発注の取りやめ動作を取得している様子を表す。

図１７（ｈ）は、図１７（ｇ）で取得した発注の取りやめ動作に基づいて、発注の準備画面を解除した様子を表す。

図１７（ａ）に示すように、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に、入力者に選択させるための複数の項目ＳＤＡ１、ＳＤＡ２、ＳＤＡ３・・・が配置された選択画面を表示している。

上記選択画面は、例えば、インターネットを通じて、入力者が商品を購入することができるものであり、項目ＳＤＡ１には商品Ａ１についての商品情報（例えば、商品名や価格など）が表示されている。同様に、項目ＳＤＡ２には商品Ａ２についての商品情報が表示されている。

図１７（ａ）に示すように、入力者は、商品Ａ１を２個、購入することを予定している場合、商品Ａ１が表示されている項目ＳＤＡ１のエリア内に２本の指をタッチし、当該タッチした指を離す。すると、データ表示／センサ装置１００は、項目ＳＤＡ１内へタッチした２本の指が離れたことを検出し、当該検出した２本の指の像を認識する。

そして、図１７（ｂ）に示すように、データ表示／センサ装置１００は、入力者が指をタッチしたエリアを表示するタッチエリアと、入力者が選択した項目を表す設定表示エリアとを配置した設定画面をセンサ内蔵液晶パネル３０１に表示する。

すなわち、データ表示／センサ装置１００は、項目ＳＤＡ１内の入力者が指をタッチした箇所に、当該タッチした指の像であるタッチエリアｓｄａ１Ａを表示すると共に、入力者が項目ＳＤＡ１を選択したことを視認させやするするために、項目ＳＤＡ１の端部の近傍に、例えば、ショッピング用のカートを表示したカート表示エリア（設定表示エリア）ｓｄａ１Ｂを表示する。

そして、データ表示／センサ装置１００は、項目ＳＤＡ１を入力者エリアとして設定し、当該入力者エリアを設定させた入力者以外の入力者からの項目ＳＤＡ１への変更を許可しない。

また、入力者は、続けて、商品Ａ３を選択するために、項目ＳＤＡ３のエリア内に１本の指をタッチし、当該タッチした指を離した場合、データ表示／センサ装置１００は、項目ＳＤＡ３内の入力者が指をタッチしたエリアをタッチエリアｓｄａ３Ａとして表示すると共に、項目ＳＤＡ３の端部の近傍にカート表示エリア（設定表示エリア）ｓｄａ３Ｂを表示する。

同様に、さらに続けて、入力者は商品Ａ５を選択するために、項目ＳＤＡ５のエリア内に１本の指をタッチし、当該タッチした指を離した場合、データ表示／センサ装置１００は、項目ＳＤＡ５内の入力者が指をタッチしたエリアのタッチエリアｓｄａ５Ａとして表示すると共に、項目ＳＤＡ５の端部の近傍にカート表示エリア（設定表示エリア）ｓｄａ５Ｂを表示する。

ここで、各項目にタッチエリアを表示させた入力者は、当該表示させたタッチエリアを削除することができる。このタッチエリアの修正方法について、図１８（ａ）（ｂ）を用いて説明する。

図１８（ａ）は、項目に表示されているタッチエリアを修正する方法を説明する説明図であり、図１８（ｂ）は、項目に表示されているタッチエリアを修正する他の方法を説明する説明図である。

データ表示／センサ装置１００の記憶部９０１には、予め入力者の指の指紋、もしくは指の像の形状が記憶されている。そして、データ表示／センサ装置１００は、予め記憶部９０１に記憶された指紋、もしくは指の像の形状と、センサ内蔵液晶パネル３０１へのタッチを検出した指の指紋、もしくは指の像の形状とを比較することにより、入力者の認証を行う。

入力者は、センサ内蔵液晶パネル３０１の項目ＳＤＡ１に表示されたタッチエリアｓｄａ１Ａを削除する場合、削除したいタッチエリアｓｄａ１Ａの近傍に指をタッチし、当該タッチした指をスライドさせて、削除したいタッチエリアｓｄａ１Ａと指とを接触させて、そのまま項目ＳＤＡ１のエリア外に指を移動させる。

図１８（ａ）に示すように、項目ＳＤＡ１と隣接する項目ＳＤＡ２のエリア内に指を移動させてもよいし、図１８（ｂ）に示すように、各項目を表示しているアプリケーション（例えば、インターネットを通じて取得可能な画面を表示するためのアプリケーションなど）の外側に指を移動させる。

すると、データ表示／センサ装置１００は、タッチエリアｓｄａ１Ａへの指のタッチと、当該タッチした指の項目ＳＤＡ１のエリア外への移動を検出し、指のタッチを検出したタッチエリアｓｄａ１Ａを、センサ内蔵液晶パネル３０１の表示から削除する。

このように、データ表示／センサ装置１００は、一度設定したタッチエリアの表示を修正することができる。

次に、図１７（ｃ）に示すように、入力者は、センサ内蔵液晶パネル３０１に表示されているタッチエリアｓｄａ１Ａに再度、指をタッチし、当該タッチした指をセンサ内蔵液晶パネル３０１から離す。すると、データ表示／センサ装置１００は、項目ＳＤＡ１のエリア内への指のタッチを検出し、検出した指の本数を入力者からの入力数値として取得する。すなわち、データ表示／センサ装置１００は、２本の指のタッチを検出し、当該検出した２本の指の像の個数をカウントし、入力数値「２」を取得する。

すると、図１７（ｄ）に示すように、データ表示／センサ装置１００は、取得した入力数値が商品の注文すべき個数として認識し、商品Ａ１の注文個数と、商品Ａ１の合計価格とを表示する計数結果表示エリアｓｄａ１Ｃを項目ＳＤＡ１のエリア内に表示する。これにより、データ表示／センサ装置１００は、入力者に、注文予定の商品の個数と、合計金額とを視認させることができる。

ここで、入力者は、商品の注文個数を変更する場合、センサ内蔵液晶パネル３０１に表示されている計数結果表示エリアｓｄａ１Ｃのエリア内に指をタッチし、当該タッチした指を項目ＳＤＡ１のエリア外にスライドさせる。図１７（ｄ）の例では、入力者は、計数結果表示エリアｓｄａ１Ｃにタッチした指を、項目ＳＤＡ１と隣接して配置されている項目ＳＤＡ２のエリアに移動させたり、また、項目ＳＤＡ１を表示しているアプリケーションの外側へ移動させたりする。

すると、データ表示／センサ装置１００は、計数結果表示エリアｓｄａ１Ｃ内へのタッチを検出した指の像が、項目ＳＤＡ１のエリア外へ移動したことを検出し、計数結果表示エリアｓｄａ１Ｃの表示を削除する。つまり、図１７（ｂ）の状態に戻り、項目ＳＤＡ１で示す商品Ａ１の個数の入力を再度、取得可能な状態となる。

次に、データ表示／センサ装置１００は、カート表示エリアｓｄａ１Ｂと、計数結果表示エリアｓｄａ１Ｃとへの指のタッチを検出すると、カート表示エリアｓｄａ１Ｂの表示色を変化させ、入力数値「２」を表示する入力数値表示エリアｓｄａ１Ｄをカート表示エリアｓｄａ１Ｂ内に表示する。

そして、データ表示／センサ装置１００は、カート表示エリアｓｄａ１Ｂと、計数結果表示エリアｓｄａ１Ｃとへのタッチを検出した指が離れたことを検出すると、センサ内蔵液晶パネル３０１に確定準備画面を表示する。

確定準備画面として、データ表示／センサ装置１００は、図１７（ｆ）に示すように、例えば、配送車に入力数値、商品の発注個数、及び合計金額を表示した確定準備表示エリアｓｄａ１Ｅを、項目ＳＤＡ１のエリア内の画面向かって左側に表示する。また、データ表示／センサ装置１００は、項目ＳＤＡ１の右側に”発注！”と表示し、経過時間と共に、確定準備表示エリアｓｄａ１Ｅを画面、向かって右側へと移動する。

所定時間が経過すると、確定準備表示エリアｓｄａ１Ｅを項目ＳＤＡ１の右側端部へと移動したデータ表示／センサ装置１００は、項目ＳＤＡ１のエリア内への入力数値を確定する。すなわち、データ表示／センサ装置１００は、商品Ａ１の２個の発注動作を行う。

また、データ表示／センサ装置１００は、所定時間が経過する前に確定準備表示エリアｓｄａ１Ｅ内への入力者の指のタッチを検出すると、センサ内蔵液晶パネル３０１の表示を確定準備画面から設定画面に戻す。すなわち、データ表示／センサ装置１００は、図１７（ｄ）で示したように、センサ内蔵液晶パネル３０１に計数結果表示エリアｓｄａ１Ｃと、カート表示エリアｓｄａ１Ｂとを表示する。

（商品購入のフローチャート）
次に、図１９を用い、本実施の形態に係るデータ表示／センサ装置１００の処理の流れ、及び主制御部８００からデータ処理部７００に送信されるコマンドの説明を行う。

図１９は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。

なお、記憶部９０１には、項目ＳＤＡ１、項目ＳＤＡ２、…の各項目を表示する領域と、各項目に表示させる商品情報とが対応付けて記憶されているものとする。また、入力者エリアは、各項目の領域と対応付けて記憶されている。

そして、表示データ生成部８１０は、項目ＳＤＡ１、項目ＳＤＡ２、…からなる選択画面をセンサ内蔵液晶パネル３０１に表示させると共に、「データ取得タイミング」フィールドに、”イベント”を指定し、「データ種別」フィールドに”座標”、”全体画像”、および”部分画像”を指定（”111”を指定）したコマンドをデータ処理部７００に出力する。

これにより、データ取得部８２０は、センサ内蔵液晶パネル３０１が取得する画像データに変化が生じた場合のみ、データ処理部７００から座標データ、部分画像データ、及び全体画像データを取得する。

ステップ５１〜Ｓ５３の処理は、ステップＳ１１〜１３の処理と対応する。

そして、入力者エリア制御部８３０は、データ取得部８２０から取得する座標データと、記憶部９０１に記憶された座標データとを比較し、入力者がセンサ内蔵液晶パネル３０１から指を離したと判定した場合（ステップＳ５３のＹＥＳ）、記憶部９０１を参照し、データ取得部８２０から取得しなかった座標データを、記憶部９０１から取得する。

そして、入力者エリア制御部８３０は、記憶部９０１から取得した座標データに含まれる項目を特定する（ステップＳ５４）。すなわち、入力者エリア制御部８３０は、特定した項目を入力者エリアとして設定する。

そして、入力者エリア制御部８３０は、データ取得部８２０から取得した座標データのうち、特定した項目に含まれる座標データがあるか否かを判定する（ステップＳ５５）。

入力者エリア制御部８３０は、特定した項目に含まれる座標データがあると判定した場合（ステップＳ５５のＮＯ）、ステップＳ５２の処理に戻る。

また、入力者エリア制御部８３０は、特定した項目に含まれる座標データがないと判定した場合（ステップＳ５５のＹＥＳ）、入力者は、センサ内蔵液晶パネル３０１にタッチしていた指を全て離したと認識する。

そして、入力者エリア制御部８３０は、上記特定した項目を入力者エリアとして設定し、設定した入力者エリアに含まれるタッチエリアを設定し（ステップＳ５６）、設定画面表示情報を表示データ生成部８１０に出力する。さらに、入力者エリア制御部８３０は、記憶部９０１を参照し、特定した項目に含まれる座標データと、当該座標データに対応する部分画像データとを表示データ生成部８１０に出力すると共に、特定した項目に含まれる座標データをデータ計数部８４０に出力する。

次に、表示データ生成部８１０は、入力者エリア制御部８３０から、設定画面表示情報、座標データ、及び部分画像データを取得すると、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に設定画面を表示させる（ステップＳ５７）。

すなわち、表示データ生成部８１０は、設定画面をセンサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、表示データ生成部８１０は、生成した表示データをデータ処理部７００に出力する。これにより、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に設定画面を表示させる。

図１７（ａ）の例では、データ表示／センサ装置１００は、設定画面として、項目ＳＤＡ１のエリア内に、入力者Ａがタッチしたタッチエリアを２箇所表示すると共に、項目ＳＤＡ１が特定されたことが入力者に認識されるように、項目ＳＤＡ１のエリア内にカート表示エリアｓｄａ１Ｂを表示している。

そして、入力者エリア制御部８３０は、特定したタッチエリアの座標データを取得するか否かを判定することにより、入力者がタッチエリアに指をタッチしたか否かを判定する（ステップＳ５８）。

入力者エリア制御部８３０は、設定したタッチエリアの座標データを、データ取得部８２０から取得した場合、データ計数部８４０に、座標データの計数指示を出力する。

そして、データ計数部８４０は、入力者エリア制御部８３０から座標データ計数指示を取得すると、入力者エリア制御部８３０から取得した座標データの個数を計数することにより、項目内のタッチエリアの個数を計数する（ステップＳ５９）。

そして、データ計数部８４０は、計数結果を入力者の入力数値として認識し、表示データ生成部８１０に出力する。

表示データ生成部８１０は、データ計数部８４０から、計数結果を取得すると、当該取得した計数結果を含めた計数結果をセンサ内蔵液晶パネル３０１の計数結果表示エリアｓｄａ１Ｃに表示させる（ステップＳ６０）。

すなわち、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、表示データ生成部８１０は、当該生成した表示データをデータ処理部７００に出力し、センサ内蔵液晶パネル３０１に、計数結果表示エリアｓｄａ１Ｃを表示させる。

図１７（ｄ）の例では、項目ＳＤＡ１のエリア内に、項目ＳＤＡ１で表示している商品が選択された個数と、合計金額とを計数結果表示エリアｓｄａ１Ｃに表示している。

次に、センサ内蔵液晶パネル３０１は、入力者のカート表示エリアｓｄａ１Ｂへの指のタッチを検出すると（ステップＳ６１）、データ取得部８２０は、データ処理部７００から座標データを取得する。

次に、入力者エリア移動部８３３は、データ取得部８１０から取得した座標データが、移動しているか否かを判定する（ステップＳ６２）ことにより、入力者がタッチした指を移動したか否かを判定する。

そして、入力者エリア移動部８３３は、入力者がタッチした指を移動していると判定した場合、すなわち、データ取得部８２０から取得した座標データが移動していると判定した場合（ステップＳ６２のＹＥＳ）、次に、入力者エリア移動部８３３は、上記座標データが含まれていた項目ＳＤＡ１のエリアの外側に移動したか否かを判定する（ステップＳ６３）。入力者エリア移動部８３３は、座標データが項目エリアの外側へ移動したと判定するまで待機する（ステップＳ６３のＮＯ）。

そして、入力者エリア移動部８３３は、座標データが項目エリアの外側へ移動したと判定した場合（ステップＳ６３のＹＥＳ）、当該項目ＳＤＡ１のエリア内に表示しているタッチエリアｓｄａ１Ａ、及びカート表示エリアｓｄａ１Ｂ、計数結果表示エリアｓｄａ１Ｃの表示を削除させるための削除指示情報を表示データ生成部８１０に出力する。

そして、表示データ生成部８１０は、入力者エリア制御部８３０から、削除指示情報を取得すると、項目ＳＤＡ１内のタッチエリアｓｄ１、及びカート表示エリアｓｄａ１Ｂ、計数結果表示エリアｓｄａ１Ｃを削除した表示データを生成する。そして表示データ生成部８１０は、当該表示データをデータ処理部７００に出力することにより、センサ内蔵液晶パネル３０１に項目ＳＤＡ１内のタッチエリアｓｄ１、及びカート表示エリアｓｄａ１Ｂ、計数結果表示エリアｓｄａ１Ｃを削除させる（ステップＳ６４）。そして、ステップＳ５２へ戻る。

また、入力者エリア移動部８３３は、入力者がタッチした指を移動していないと判定した場合、すなわち、データ取得部８２０から取得した座標データが移動していないと判定した場合（ステップＳ６２のＮＯ）、入力者エリア制御部８３０は、続いて、カート表示エリアｓｄａ１Ｂ内に含まれる座標データを取得するか否かを判定する。すなわち、入力者エリア制御部８３０は、カート表示エリアｓｄａ１Ｂ内への指のタッチを検出するか否かを判定する（ステップＳ６５）。

そして、入力者エリア制御部８３０は、カート表示エリアｓｄａ１Ｂ内に含まれる座標データをデータ取得部８２０から取得すると（ステップＳ６５のＹＥＳ）、入力者エリア制御部８３０は、入力数値表示エリアｓｄａ１Ｄを表示させるための入力数値表示指示情報を表示データ生成部８１０に出力する。

そして、表示データ生成部８１０は、入力数値表示エリアｓｄａ１Ｄに入力数値を表示する表示データを生成する。そして表示データ生成部８１０は、生成した表示データをデータ処理部７００に出力することにより、センサ内蔵液晶パネル３０１に入力数値表示エリアｓｄａ１Ｄを表示させる（ステップＳ６６）。

次に、入力者エリア制御部８３０は、入力者がカート表示エリアｓｄａ１Ｂ、及び計数結果表示エリアｓｄａ１Ｃにタッチした指を離したか否かを判定する（ステップＳ６７）。すなわち、入力者エリア制御部８３０は、データ取得部８２０から、カート表示エリアｓｄａ１Ｂ、及び計数結果表示エリアｓｄａ１Ｃに含まれる座標データを取得しなかった場合（ステップＳ６７のＹＥＳ）、センサ内蔵液晶パネル３０１に確定準備画面を表示させるために、表示データ生成部８１０に対して確定準備画面生成指示情報を出力する。

表示データ生成部８１０は、入力者エリア制御部８３０から確定準備画面生成指示情報を取得すると、確定準備画面をセンサ内蔵液晶パネル３０１に表示させるための表示データを生成する。そして、表示データ生成部８１０は、生成した表示データをデータ処理部７００に出力することにより、センサ内蔵液晶パネル３０１に確定準備画面を表示させる（ステップＳ６８）。

図１７（ｆ）の例では、センサ内蔵液晶パネル３０１は、確定準備画面として、配送車を表示した確定準備表示エリアｓｄａ１Ｅを表示する。そして、センサ内蔵液晶パネル３０１は、確定準備表示エリアｓｄａ１Ｅを、画面向かって左側に表示し、時間経過と共に、確定準備表示エリアｓｄａ１Ｅを、画面向かって右側へ移動させる。

そして、入力者エリア制御部８３０は、所定時間が経過したか否かを判定する（ステップＳ６９）。そして、入力者エリア制御部８３０は、所定時間が経過したと判定すると（ステップＳ６９のＹＥＳ）、確定画面を表示させるための確定画面表示指示情報を表示データ生成部８１０に出力する。そして、表示データ生成部８１０は、入力者エリア制御部８３０から、確定画面表示指示情報を取得すると、確定画面をセンサ内蔵液晶パネル３０１に表示させるための表示データを生成し、当該表示データをデータ処理部７００に出力することにより、センサ内蔵液晶パネル３０１に確定画面を表示させる（ステップＳ７０）。

また、入力者エリア制御部８３０は、所定時間が経過する前に（ステップＳ６９のＮＯ）、データ取得部８２０から確定準備表示エリアｓｄａ１Ｅに含まれる座標データを取得すると、Ｓ６０の処理に戻る。

これにより、センサ内蔵液晶パネル３０１は、確定準備表示エリアｓｄａ１Ｅを削除し、タッチエリアｓｄ１、カート表示エリアｓｄａ１Ｂ、及び計数結果表示エリアｓｄａ１Ｃを表示する。

（プログラム、コンピュータ読み取り可能な記録媒体）
また、データ表示／センサ装置１００の各ブロック、特に表示データ生成部８１０、入力者エリア制御部８３０、データ計数部８４０は、ハードウェアロジックによって構成してもよいし、次のようにコンピュータを用いてソフトウェアによって実現してもよい。

すなわち、表示データ生成部８１０、入力者エリア制御部８３０、データ計数部８４０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである表示データ生成部８１０、入力者エリア制御部８３０、データ計数部８４０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記表示データ生成部８１０、入力者エリア制御部８３０、データ計数部８４０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、表示データ生成部８１０、入力者エリア制御部８３０、及びデータ計数部８４０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、ユーザからの入力操作を取得する装置に適用でき、特に、複数のユーザからの複数の入力操作を取得する入力装置に好適に適用できる。

本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 図９（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルに複数の入力者が指をタッチしている様子を表す説明図であり、図９（ｂ）は、図９（ａ）のセンサ内蔵液晶パネルに入力者エリアが設定された様子を表し、図９（ｃ）は、図９（ｂ）のセンサ内蔵液晶パネルに設定された入力者エリア内のタッチエリアの個数を計数した計数結果を表示している様子を表す説明図である。 図１０（ａ）は、センサ内蔵液晶パネルに設定された入力者エリア内に指をタッチした入力者の認証を行う様子を表す説明図であり、図１０（ｂ）はデータ表示／センサ装置が認証した結果、設定したタッチエリアの個数を変更した様子を表す説明図である。 図１１（ａ）は、センサ内蔵液晶パネルに設定された複数の入力者エリアに、入力者が指をタッチしている様子を表し、図１１（ｂ）は（ａ）で示した入力者エリアを移動し、合成している様子を表す説明図である。 図１２（ａ）は、センサ内蔵液晶パネルに設定された入力者エリア内にタッチした指をスライドさせ、表示されているタッチエリアに指を接触し、入力者エリア外に指をスライドさせた様子を表し、図１２（ｂ）は、（ａ）で指が接触したタッチエリアが削除された様子を表す説明図である。 図１３は、本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。 図１４は、本発明の一実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルに設定された入力者エリア内のタッチエリアの個数を変更する場合の処理の流れを表すフローチャートである。 図１５は、本発明の一実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルに設定された入力者エリア内を合成する際の処理の流れを表すフローチャートである。 図１６は、本発明の一実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルに設定された入力者エリア内のタッチエリアを削除する際の処理の流れを表すフローチャートである。 図１７（ａ）は、センサ内蔵液晶パネルが表示する複数の項目のエリア内に入力者が指をタッチしている様子を表し、図１７（ｂ）は、図１７（ａ）でタッチを検出したエリアにタッチエリアを表示している様子を表し、図１７（ｃ）は、図１７（ｂ）で表示したタッチエリアに、入力者が、再度指をタッチしている様子を表し、図１７（ｄ）は、図１７（ｃ）でタッチを検出した項目に示す商品の注文個数と、合計金額とを表示している様子を表す。図１７（ｅ）は、図１７（ｄ）で表示した商品の、入力者からの確定動作を取得している様子を表し、図１７（ｆ）は、図１７（ｅ）で発注の確定を取得した商品を発注するための準備画面をセンサ内蔵液晶パネルに表示している様子を表し、図１７（ｇ）は、図１７（ｆ）で表示した準備画面から、入力者からの発注の取りやめ動作を取得している様子を表し、図１７（ｈ）は、図１７（ｇ）で取得した発注の取りやめ動作に基づいて、発注の準備画面を解除した様子を表す。 図１８（ａ）は、項目に表示されているタッチエリアを修正する方法を説明する説明図であり、図１８（ｂ）は、項目に表示されているタッチエリアを修正する他の方法を説明する説明図である。 図１９は、本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。

符号の説明

１００ データ表示／センサ装置（入力装置）
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
７００ データ処理部
８００ 主制御部
８１０ データ取得部
８１０ 表示データ生成部（表示手段）
８２０ データ取得部
８３０ 入力者エリア制御部（領域設定手段）
８３２ 入力者特定部（ユーザ特定手段）
８３３ 入力者エリア移動部（領域移動手段）
８３４ 入力者エリア接触判定部
８４０ データ計数部（計数手段）
９０１ 記憶部

Claims (9)

1. 近傍の複数のユーザの指の像を撮像する面状部材と、
   上記面状部材が撮像した複数のユーザの指の像のうち、一群の像ごとに領域を設定する領域設定手段と、
   上記領域設定手段が設定した領域ごとに、上記指の像の個数を計数する計数手段とを備えることを特徴とする入力装置。
2. 上記面状部材に、上記領域設定手段が設定した複数の上記領域と、当該複数の領域ごとに含まれる像とを表示させる表示手段を備えることを特徴とする請求項１に記載の入力装置。
3. 上記計数手段は、上記面状部材が撮像した指の像を検知したときの、当該指の像の検知によって取得可能なユーザの入力操作に応じて、当該領域内の指の像の個数を計数することを特徴とする請求項１または２に記載の入力装置。
4. 上記面状部材が撮像した指の像を検知したときの、当該指の像の検知によって取得可能なユーザの入力操作に応じて、上記領域を移動させる領域移動手段を備えることを特徴とする請求項１または２に記載の入力装置。
5. 上記領域設定手段は、上記領域移動手段が移動させた領域が、当該領域と異なる他の領域と接触したときに、それぞれに含まれる像を含む新たな領域を設定し、
   上記計数手段は、上記新たな領域に含まれる像の個数を計数することを特徴とする請求項４に記載の入力装置。
6. 上記面状部材が撮像した指の像に基づいて、当該指の像を入力したユーザを特定し、当該特定したユーザと、上記面状部材が撮像した像が含まれる領域とを対応付けて管理するユーザ特定手段を備えることを特徴とする請求項１〜５の何れか１項に記載の入力装置。
7. 近傍の複数のユーザの指の像を撮像する面状部材を備えた入力装置の入力方法において、
   上記面状部材が撮像した複数のユーザの指の像のうち、一群の像ごとに領域設定する領域設定ステップと、
   上記領域設定ステップで設定した領域ごとに、上記指の像の個数を計数する計数ステップとを含むことを特徴とする入力方法。
8. 請求項１から６のいずれか一項に記載の入力装置を動作させるためのプログラムであって、コンピュータを上記の各手段として機能させるための入力プログラム。
9. 請求項８に記載の入力プログラムを記録している、コンピュータ読み取り可能な記録媒体。

Images