JP2010204945A - 入力装置、及び入力方法 - Google Patents

Abstract

【課題】操作領域を狭めることなく、入力操作を取得する複数の入力画面を表示する入力装置を実現する。
【解決手段】データ表示／センサ装置１００は、近傍の像の検知によりユーザの入力操作の取得が可能な、第１入力画面Ｌ１、および第２入力画面Ｌ２を重畳表示するためのセンサ内蔵液晶パネル３０１と、センサ内蔵液晶パネル３０１が検知した像の形状に応じて、第１入力画面Ｌ１または第２入力画面Ｌ２を選択する入力画面選択部８４０と、第２入力画面Ｌ２からの入力操作に応じて、第１入力画面Ｌ１となり得る複数の候補画面から１つの候補画面を選択する候補画面選択部８５５と、候補画面選択部８５５が選択した候補画面を第１入力画面Ｌ１として設定する候補画面設定部８６５と、候補画面設定部８６５が設定した第１入力画面Ｌ１を、第２入力画面Ｌ２とともにセンサ内蔵液晶パネル３０１に重畳表示させる表示データ生成部８１０と、を備える。
【選択図】図１

Description

本発明は、画像の表示および対象物の読み取りを同時に行うことができ、特に、異なる複数の入力画面を表示する入力装置、及び入力方法に関するものである。

ユーザからの指などの接触を検知し、当該検知した指などの接触をユーザの入力操作として取得する入力装置が知られている。

特許文献１には、右手指のボートと、左手指のボートとを配置し、それぞれのボートに置かれた指の本数を検知し、検知した指の本数の組み合わせによって割り当てられた文字を認識する入力ボードが開示されている。

また、特許文献２には、キーボードのキーに押し当てられた利用者の指の本数に応じて、ダイヤル信号を発生させる電話機が開示されている。

特開平１０−９７３６７号公報（１９９８年４月１４日公開） 特開平３−２６７８４９号公報（１９９１年１１月２８日公開）

しなしながら、近年、携帯電話および携帯型ゲーム機器をはじめとする携帯型情報端末などに適用される入力装置では、同一の入力キー（アイコン）にて、複数の種類の機能を割り当てることが可能な入力装置が必要である。

上述した、特許文献１、及び特許文献２に開示された内容では、入力装置に複数種類の機能を割り当てることができない。

また、同一の入力キーに複数の種類の機能を割り当てる場合、複数の種類の機能から入力キーに割り当てる機能を、ユーザに選択させるためのモード切替キー（アイコン）が必要である。ユーザは、モード切替キーを押すことで、入力キーに割り当てる機能を選択することができる。

しかしながら、入力キーと共に、モード切替キーを配置することが必要となり、本来の操作領域である入力キーを配置するための領域が狭められることになる。このため、操作領域が狭くなり、操作性が悪くなるという問題が生じる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、操作領域を狭めることなく、入力操作を取得する複数の入力画面を表示する入力装置、及び入力方法を実現することにある。

本発明に係る入力装置は、上記課題を解決するために、近傍の像を検知することによりユーザの入力操作を取得することが可能な、第１入力画面と、当該第１入力画面とは異なる第２入力画面とを重畳表示するための面状部材と、上記面状部材が検知した像の形状に応じて、上記入力操作を取得するための上記第１入力画面または第２入力画面を選択する入力画面選択手段と、上記入力画面選択手段が上記第２入力画面を選択したときの入力操作に応じて、上記第１入力画面となり得る複数の候補画面から１つの候補画面を選択する候補画面選択手段と、上記候補画面選択手段が選択した候補画面を上記第１入力画面として設定する候補画面設定手段と、上記候補画面設定手段が設定した第１入力画面を、上記第２入力画面とともに上記面状部材に重畳表示させる表示制御手段と、を備えたことを特徴とする。

本発明に係る入力方法は、上記課題を解決するために、近傍の像を検知することによりユーザの入力操作を取得することが可能な、第１入力画面と、当該第１入力画面とは異なる第２入力画面とを重畳表示するための面状部材を備える入力装置の入力方法であって、
上記面状部材が検知した像の形状に応じて、上記入力操作を取得するための上記第１入力画面または第２入力画面を選択する入力画面選択ステップと、上記入力画面選択ステップで、上記第２入力画面を選択したときの入力操作に応じて、上記第１入力画面となり得る複数の候補画面から１つの候補画面を選択する候補画面選択ステップと、上記候補画面選択ステップで選択した候補画面を上記第１入力画面として設定する候補画面設定ステップと、上記候補画面設定ステップで設定した第１入力画面を、上記第２入力画面とともに上記面状部材に重畳表示させる表示ステップと、を含むことを特徴とする。

上記構成によると、上記面状部材は、上記第１入力画面と、当該第１入力画面とは異なる第２入力画面とを重畳表示するためのものである。そして、上記第１入力画面及び上記第２入力画面は、上記面状部材が近傍の像を検出することにより、ユーザの入力操作を取得することが可能である。

そして、上記入力画面選択手段は、上記面状部材が検知した上記像の形状に応じて、ユーザの入力操作を取得する第１入力画面、または第２入力画面を選択する。

また、上記候補画面選択手段は、上記入力画面選択手段が第２入力画面を選択した場合の第２入力画面からの入力操作に応じて、第１入力画面となり得る複数の候補画面から１つの候補画面を選択する。そして、上記候補画面設定手段は、上記候補画面選択手段が選択した候補画面を第１入力画面として設定する。

さらに、上記表示制御手段は、上記候補画面が設定した第１入力画面と、上記第２入力画面とを上記面状部材に重畳表示させる。

これにより、複数の候補画面の中から、第１入力画面となるべき候補画面を第２入力画面に対する入力操作に応じて選択させることができる。

このため、第１入力画面とする候補画面を選択するための選択画面を表示する領域を、当該第１入力画面に設ける必要がない。これにより、第１入力画面の表示領域を広くとることができる。

このため、操作領域を狭めることなく、入力操作を取得する第１入力画面、及び第２入力画面を表示する入力装置、及び入力方法を実現することができる。

本発明の入力装置は、上記面状部材が検知した像の領域の個数を計数する計数手段をさらに備え、上記入力画面選択手段は、上記計数手段が計数した領域の個数に応じて、上記第１入力画面または第２入力画面を選択することが好ましい。

上記構成により、上記計数手段は、上記面状部材が検知した像の領域の個数を計数する。そして、上記計数手段が計数した上記像の領域の個数に応じて、上記入力画面選択手段は、ユーザの入力操作を取得するための第１入力画面と、第２入力画面とを選択する。

このため、像の領域の個数に応じて第１入力画面、または第２入力画面を選択することができる。

本発明の入力装置は、上記面状部材が検知した像の面積を求める面積算出手段と、上記面積算出手段が求めた像の面積が、所定の閾値以上であるか否かを判定する判定手段と、上記入力画面選択手段は、上記判定手段の判定結果に応じて、上記第１入力画面または第２入力画面を選択することが好ましい。

上記構成により、上記面積算出手段は、上記面状部材が検知した像の面積を求める。そして、上記判定手段は、上記面積算出手段が求めた像の面積が、所定の閾値以上であるか否かを判定し、当該判定結果に応じて、上記入力画面選択手段が、上記第１入力画面または上記第２入力画面を選択する。

このため、像の領域の面積に応じて上記第１入力画面、または上記第２入力画面を選択することができる。

本発明の入力装置は、上記面状部材が検知する上記近傍の像は、ユーザが入力操作を行う指の像であることが好ましい。

上記構成により、上記面状部材は、ユーザが入力操作を行う指の像を、近傍の像として検知する。

このため、ユーザは、上記面状部材に近づける指の本数を変更するだけで、上記第１入力画面と、上記第２入力画面とを選択することができるので、操作性がよい入力装置を提供できる。

本発明の入力装置は、近傍の像を検知することによりユーザの入力操作を取得することが可能な、第１入力画面と、当該第１入力画面とは異なる第２入力画面とを重畳表示するための面状部材と、上記面状部材が検知した像の形状に応じて、上記入力操作を取得するための上記第１入力画面または第２入力画面を選択する入力画面選択手段と、上記入力画面選択手段が上記第２入力画面を選択したときの入力操作に応じて、上記第１入力画面となり得る複数の候補画面から１つの候補画面を選択する候補画面選択手段と、上記候補画面選択手段が選択した候補画面を上記第１入力画面として設定する候補画面設定手段と、上記候補画面設定手段が設定した第１入力画面を、上記第２入力画面とともに上記面状部材に重畳表示させる表示制御手段と、を備える。

本発明の入力方法は、近傍の像を検知することによりユーザの入力操作を取得することが可能な、第１入力画面と、当該第１入力画面とは異なる第２入力画面とを重畳表示するための面状部材を備える入力装置の入力方法であって、上記面状部材が検知した像の形状に応じて、上記入力操作を取得するための上記第１入力画面または第２入力画面を選択する入力画面選択ステップと、上記入力画面選択ステップで、上記第２入力画面を選択したときの入力操作に応じて、上記第１入力画面となり得る複数の候補画面から１つの候補画面を選択する候補画面選択ステップと、上記候補画面選択ステップで選択した候補画面を上記第１入力画面として設定する候補画面設定ステップと、上記候補画面設定ステップで設定した第１入力画面を、上記第２入力画面とともに上記面状部材に重畳表示させる表示ステップと、を含む。

これにより、操作領域を狭めることなく、入力操作を取得する第１入力画面、及び第２入力画面を表示する入力装置を実現することができる。

本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルに重畳表示する第１入力画面Ｌ１及び第２入力画面Ｌ２の様子、及び複数の候補画面を表す説明図である。 図１０（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置がセンサ内蔵液晶パネルに重畳表示する入力画面のうち、第２入力画面の構成の一例を表す説明図であり、図１０（ｂ）は第１入力画面を英字入力画面として構成する一例を表す説明図であり、図１０（ｃ）は第１入力画面をテンキー入力画面として構成する一例を表す説明図であり、図１０（ｄ）は第１入力画面をローマ字入力画面として構成する一例を表す説明図であり、図１０（ｅ）は第１入力画面を手書き入力画面として構成する一例を表す説明図である。 図１１（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルが、第１入力画面と、第２入力画面とを重畳表示している様子を表す説明図であり、図１１（ｂ）は、図１１（ａ）に示すデータ表示／センサ装置のセンサ内蔵液晶パネルが、第２入力画面のメニュー項目を選択表示している様子を表す説明図であり、図１１（ｃ）は、図１１（ｂ）で選択されたメニュー項目に対応付けられている候補画面が、第１入力画面として表示された様子を表す説明図であり、図１１（ｄ）は、図１１（ａ）に示す第１入力画面の入力操作を取得した入力領域が選択表示されている様子を表す説明図である。 図１２は、本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。 図１３は、本発明の一実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルに重畳表示する第１入力画面、及び候補画面を含む第２入力画面の様子、および複数の候補画面を表す説明図である。 本発明の一実施形態に係るデータ表示／センサ装置の変形例の要部構成の変形例を表すブロック図である。 （ａ）は、本発明の一実施形態に係るデータ表示／センサ装置のセンサ内蔵液晶パネルが、第１入力画面と、第２入力画面とを重畳表示している様子を表す説明図である。（ｂ）は、（ａ）に示すセンサ内蔵液晶パネルが、第２入力画面のテンキー入力領域を選択表示している様子を表す説明図である。（ｃ）は、（ａ）に示すセンサ内蔵液晶パネルが、第１入力画面の英字入力領域を選択表示している様子を表す説明図である。（ｄ）は、（ａ）に示す表示画面のうち、第２入力画面に配置された第２入力画面入力領域の表示を強調表示している様子を表す。 本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置の処理の流れを表すフローチャートである。 本発明の一実施形態に係るデータ表示／センサ装置の要部構成を表すブロック図である。

本実施の形態に係るデータ表示／センサ装置１００（入力装置）は、近傍の像を検知することによりユーザの入力操作を取得することが可能な、第１入力画面Ｌ１と、当該第１入力画面Ｌ１とは異なる第２入力画面Ｌ２とを重畳表示するためのセンサ内蔵液晶パネル３０１（面状部材）と、センサ内蔵液晶パネル３０１が検知した像の形状に応じて、上記入力操作を取得するための第１入力画面Ｌ１または第２入力画面Ｌ２を選択する入力画面選択部８４０（入力画面選択手段）と、入力画面選択部８４０が第２入力画面Ｌ２を選択したときの入力操作に応じて、第１入力画面Ｌ１となり得る複数の候補画面から１つの候補画面を選択する候補画面設定部８６５（候補画面選択手段）と、候補画面設定部８６５が選択した候補画面を第１入力画面Ｌ１として設定する候補画面設定部８６５（候補画面設定手段）と、候補画面設定部８６５が設定した第１入力画面Ｌ１を、第２入力画面Ｌ２とともにセンサ内蔵液晶パネル３０１に重畳表示させる表示データ生成部８１０（表示制御手段）と、を備えている装置である。

まず、以下で、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。なお、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は１つでもよいし、複数でもよい。

（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

なお、本実施の形態では、センサ内蔵液晶パネル３０１は、対象物がタッチ（接触）した場合に、タッチした位置の検出や、画像の読み取りを行うものとして説明するが、実際には、センサ内蔵液晶パネル３０１は、対象物が完全に接触しなくても、当該対象物が有る程度、接近すれば当該対象物の位置や画像を読み取ることが可能である。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

なお、センサ内蔵液晶パネル３０１は、ユーザが複数本の指を離さず、互いにくっ付けてセンサ内蔵液晶パネル３０１にタッチした場合など、指に該当する部分の画素の明度と、指同士の境目に該当する部分の画素の明度との差異が微小であったとしても、それぞれの指の座標データを取得できるように設定されている。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（データ表示／センサ装置の要部構成の説明）
次に、図１を参照しながら、データ表示／センサ装置１００の詳細な説明を行う。

図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。

図１に示すように、主制御部８００は、表示データ生成部８１０（表示制御手段）と、データ取得部８２０と、データ計数部８３０（計数手段）と、入力画面選択部８４０（入力画面選択手段）と、第１入力画面制御部８６０と、第２入力画面制御部８５０とを含む。また、第１入力画面制御部８６０は、候補画面設定部８６５（候補画面設定手段）を含み、第２入力画面制御部８５０は、候補画面選択部８５５（候補画面選択手段）を含む。

表示データ生成部８１０は、第１入力画面制御部８６０、第２入力画面制御部８５０からの出力に基づいて、記憶部９０１を参照し、第１入力画面Ｌ１と第２入力画面Ｌ２とをセンサ内蔵液晶パネル３０１に重畳表示させるための表示データを生成し、当該生成した表示データをデータ処理部７００に出力するものである。

また、表示データ生成部８１０は、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳した表示画面をセンサ内蔵液晶パネル３０１に表示させる際、併せて、コマンドを設定し、設定したコマンドをデータ処理部７００に出力するものである。

データ取得部８２０は、データ処理部７００から出力される座標データや全体画像データを取得するものであり、上記取得した座標データや全体画像データをデータ計数部８３０に出力する。

データ計数部８３０は、データ取得部８２０から出力される座標データを計数するものである。そして、データ計数部８３０は、上記計数した結果を座標データの個数として、入力画面選択部８４０に出力すると共に、併せて、データ取得部８２０から出力される座標データも入力画面選択部８４０へ出力する。

入力画面選択部８４０は、データ計数部８３０から出力される座標データの個数の値に応じて、入力操作を取得するための第１入力画面Ｌ１または第２入力画面Ｌ２を選択するものである。入力画面選択部８４０は、データ計数部８３０から出力される座標データの個数の値、または判定部８８０（後述する）から出力される判定結果によって、センサ内蔵液晶パネル３０１に接触している指の本数を認識する。

第２入力画面制御部８５０は、第２入力画面Ｌ２への入力操作に応じて、複数の候補画面のうち、第１入力画面Ｌ１となる候補画面を選択したり、第２入力画面Ｌ２の表示を変更させたりするものである。

第２入力画面制御部８５０は、センサ内蔵液晶パネル３０１へのユーザの２本の指の接触があった場合に、記憶部９０１を参照し、上記指の接触位置が、第２入力画面Ｌ２に配置している入力選択領域内であるか否かを判定する。そして、第２入力画面制御部８５０は、上記指の接触位置が上記入力選択領域内であると判定した場合、第２入力画面制御部８５０の候補画面選択部８５５は、記憶部９０１を参照し、上記入力選択領域に対応付けられた候補画面を選択する。そして、候補画面選択部８５５は、上記選択した候補画面を特定するための情報を第１入力画面制御部８６０へ出力する。

また、第２入力画面制御部８５０は、上記指の接触位置が上記入力選択領域内であると判定した場合、上記入力選択領域を選択表示するための情報を表示データ生成部８１０に出力する。

第１入力画面制御部８６０は、第２入力画面制御部８５０からの出力を取得し、また記憶部９０１に記憶されている情報を参照することにより、第１入力画面Ｌ１を生成するのに必要な情報を、表示データ生成部８１０に出力するものである。

第１入力画面制御部８６０は、センサ内蔵液晶パネル３０１へのユーザの１本の指の接触があった場合に、記憶部９０１を参照し、上記指の接触位置が第１入力画面Ｌ１に表示している入力領域内であるか否かを判定する。そして、第１入力画面制御部８６０は、ユーザの指の接触位置が第１入力画面Ｌ１に表示している入力領域内であると判定した場合、当該入力領域を選択表示させるための情報を表示データ生成部８１０に出力する。

また、第１入力画面制御部８６０は、候補画面選択部８５５が選択した候補画面を特定するための情報を取得すると、第１入力画面制御部８６０の候補画面設定部８６５は、候補画面選択部８５５が選択した候補画面を、第１入力画面Ｌ１として設定する。

記憶部９０１には、表示データ生成部８１０が、センサ内蔵液晶パネル３０１に第１入力画面Ｌ１及び第２入力画面Ｌ２を重畳表示させる表示データを生成するための情報（表示データ生成情報）が記憶されている。

表示データ生成情報は、例えば、第２入力画面Ｌ２のメニュー項目を表示するための領域である入力選択領域を示す情報（入力選択領域情報）、各入力選択領域と対応付けられたメニュー項目を表す情報（メニュー項目情報）、各入力選択領域と対応付けられた候補画面を特定する情報（候補画面特定情報）、各候補画面を表す情報（候補画面情報）、第１入力画面Ｌ１の各選択画面の各文字の入力操作を取得するための各入力領域を示す情報（入力領域情報）が含まれる。また、各入力領域と文字とを対応付けて記憶している。

入力選択領域情報は、入力領域を第２入力画面Ｌ２に配置するための領域や位置を表す座標データであり、入力領域情報は、各入力領域を第１入力画面に配置するための領域や位置を現す座標データである。

メニュー項目情報は、入力選択領域に表示するためのメニュー項目を表す情報である。また、候補画面特定情報は、各入力選択領域と対応付けられている候補画面を特定するための情報である。そして、候補画面情報は、第１入力画面Ｌ１として候補画面を表示させるための情報である。

（入力画面及び候補画面の説明）
次に、図９、図１０（ａ）〜（ｅ）を用い、データ表示／センサ装置１００が、センサ内蔵液晶パネル３０１に重畳表示する第１入力画面Ｌ１、及び第２入力画面Ｌ２について説明する。

図９は、センサ内蔵液晶パネル３０１に重畳表示する第１入力画面Ｌ１及び第２入力画面Ｌ２の様子、及び複数の候補画面を表す説明図である。

図１０（ａ）は、データ表示／センサ装置１００がセンサ内蔵液晶パネル３０１に重畳表示する入力画面のうち、第２入力画面Ｌ２の構成の一例を表す説明図である。

図１０（ｂ）〜（ｅ）は、データ表示／センサ装置１００がセンサ内蔵液晶パネル３０１に重畳表示する入力画面のうち、第１入力画面Ｌ１となりうる複数の候補画面を表す。

図１０（ｂ）は第１入力画面Ｌ１を英字入力画面Ｌ１ａとして構成する一例を表し、図１０（ｃ）は第１入力画面Ｌ１をテンキー入力画面Ｌ１ｂとして構成する一例を表し、図１０（ｄ）は第１入力画面Ｌ１をローマ字入力画面として構成する一例を表し、図１０（ｅ）は第１入力画面Ｌ１を手書き入力画面として構成する一例を表す説明図である。

図９に示すように、センサ内蔵液晶パネル３０１が表示する表示画面（入力画面）は、第１入力画面Ｌ１と、第２入力画面Ｌ２とが重畳されたものである。つまり、センサ内蔵液晶パネル３０１が表示する表示画面は、第１入力画面Ｌ１で表示している複数の文字のうちの一部と、第２入力画面Ｌ２で表示している複数の文字のうちの一部とが重なっているものである。

そして、第１入力画面Ｌ１と、第２入力画面Ｌ２とは、センサ内蔵液晶パネル３０１が、近傍の像を検知することによりユーザの入力操作を取得することが可能である。

第１入力画面Ｌ１は、センサ内蔵液晶パネル３０１がユーザの１本の指のタッチを検知することにより、ユーザからの入力操作を取得するものである。第１入力画面Ｌ１には、ユーザの１本の指での入力操作を取得するための入力領域である第１入力画面入力領域が配置されている。

そして、第２入力画面Ｌ２は、センサ内蔵液晶パネル３０１がユーザの２本の指のタッチを検知することにより、ユーザからの入力操作を取得するものである。第２入力画面Ｌ２には、ユーザの２本の指での入力操作を取得するための入力領域である第２入力画面入力領域が配置されている。

第１入力画面Ｌ１と、第２入力画面Ｌ２とは、例えば、それぞれの文字を異なる色で表示したり、一方の文字等を通常に表示し、他方の文字等を半透明で表示したりするなど、それぞれに表示されている文字等をユーザが視認できるように、センサ内蔵液晶パネル３０１に重畳表示されている。ここでは、センサ内蔵液晶パネル３０１は、第２入力画面Ｌ２に表示されている文字を通常に表示し、第１入力画面Ｌ１に表示されている文字を半透明で表示している。

第２入力画面Ｌ２は、第１入力画面Ｌ１として表示する候補画面を選択させる、ユーザからの入力操作を取得するためのメニュー項目が表示された複数の入力選択領域が、第２入力画面入力領域として配置されている。

第１入力画面Ｌ１は、ユーザからの入力操作として、文字の入力等を取得するための入力画面である。第１入力画面Ｌ１は、第２入力画面Ｌ２から取得した、ユーザからの入力操作に応じて、複数の候補画面から選択されるものである。このため、第１入力画面Ｌ１とする候補画面を選択するために選択画面を表示する領域を、第１入力画面Ｌ１に設ける必要がない。これにより、ユーザからの入力操作として文字等の入力を取得するための第１入力画面の表示領域を広くとることができるので、操作性を向上させることができる。

図９では、第２入力画面Ｌ２には、メニュー項目として”英字”、”テンキー”、”ローマ字”、”手書き”と表示された項目が配置されている。そして、第１入力画面Ｌ１として、上記メニュー項目のうち、”英字”項目と対応付けられている第１入力画面入力領域が配置された英字入力画面Ｌ１ａが選択されている。つまり、センサ内蔵液晶パネル３０１は、第２入力画面Ｌ２と、第１入力画面Ｌ１としての英字入力画面Ｌ１ａとを重畳表示している。

また、第１入力画面Ｌ１となり得る複数の候補画面は、上記メニュー項目のうち、”テンキー”と対応付けられているテンキー入力画面Ｌ１ｂ、”ローマ字”と対応付けられているローマ字入力画面Ｌ１ｅ、および”手書き”と対応付けられている手書き入力画面Ｌ１ｄを含む。

次に、図１０（ａ）〜（ｅ）を用い、第１入力画面Ｌ１、候補画面、および第２入力画面Ｌ２について説明する。

図１０（ａ）に示すように、第２入力画面Ｌ２には、ユーザの入力操作を取得するための複数のメニュー項目が第２入力画面入力領域として配置されている。

複数のメニュー項目のそれぞれには入力選択領域が割り当てられており、データ表示／センサ装置１００は、上記入力選択領域内への２本の指のタッチを検出することにより、上記入力選択領域内に対応付けられている候補画面を第１入力画面Ｌ１として選択する。

ここでは、第２入力画面Ｌ２は、メニュー項目として”英字”と表示する英字入力選択領域Ｌ２ａ、”テンキー”と表示するテンキー入力選択領域Ｌ２ｂ、”ローマ字”と表示するローマ字入力選択領域Ｌ２ｃ、および”手書き”と表示する手書き入力選択領域Ｌ２ｄを配置している。

図１０（ｂ）に示す英字入力画面Ｌ１ａは、英字入力選択領域Ｌ２ａと対応付けられている。そして、英字入力画面Ｌ１ａは、データ表示／センサ装置１００が、英字入力選択領域Ｌ２ａ内への入力操作を取得することにより、第１入力画面Ｌ１として選択されるものである。

英字入力画面Ｌ１ａは、各英字の入力操作を取得するための入力画面である。英字入力画面Ｌ１ａには、各英字の入力操作を取得するために割り当てられた各入力領域（英字入力領域）が配置されている。

そして、データ表示／センサ装置１００は、上記各英字入力領域内への１本の指のタッチを検出すると、検出した入力領域に対応付けられている英字の入力操作を取得する。

ここでは、英字は、ＰＣ（パーソナルコンピュータ）のキーボードなどで一般的に用いられているＱＷＥＲＴＹ配列で配列されており、さらに、スペース入力用の領域が配列されている。なお、図示しないが、さらに、一般的にキーボードに配列されているキーに割り当てられている機能（例えば、エンター（Enter）や、シフト（Shift）等）を入力するための領域を設けてもよい。

図１０（ｃ）に示すテンキー入力画面Ｌ１ｂは、テンキー入力選択領域Ｌ２ｂと対応付けられている。そして、テンキー入力画面Ｌ１ｂは、データ表示／センサ装置１００が、テンキー入力選択領域Ｌ２ｂ内への入力操作を取得することにより、第１入力画面Ｌ１として選択されるものである。

テンキー入力画面Ｌ１ｂは、０〜９までの数字、および四則計算用の入力操作を取得するための入力画面である。テンキー入力画面Ｌ１ｂには、数字や四則計算用の入力操作を取得するために割り当てられた各入力領域（テンキー入力領域）が配置されている。

そして、データ表示／センサ装置１００は、上記各テンキー入力領域内への１本の指のタッチを検出すると、検出した入力領域に対応付けられている数字、四則計算用の入力操作を取得する。

図１０（ｄ）に示すローマ字入力画面Ｌ１ｃは、ローマ字入力選択領域Ｌ２ｃと対応付けられている。そして、ローマ字入力画面Ｌ１ｃは、データ表示／センサ装置１００が、ローマ字入力選択領域Ｌ２ｃ内への入力操作を取得することにより、第１入力画面Ｌ１として選択されるものである。

ローマ字入力画面Ｌ１ｃは、日本語をローマ字形式で入力するための入力操作を取得するための入力画面である。ローマ字入力画面Ｌ１ｃには、日本語をローマ字形式で入力するための入力操作を取得するために割り当てられた各入力領域（ローマ字入力領域）が配置されている。

そして、データ表示／センサ装置１００は、上記各入力領域内への１本の指の近接を検出すると、検出した入力領域に対応付けられているローマ字用の入力操作を取得する。

図１０（ｅ）に示す手書き入力画面Ｌ１ｄは、手書き入力選択領域Ｌ２ｄと対応付けられている。そして、手書き入力画面Ｌ１ｄは、データ表示／センサ装置１００が、手書き入力選択領域Ｌ２ｄ内への入力操作を取得することにより、第１入力画面Ｌ１として選択されるものである。

手書き入力画面Ｌ１ｄは、指やペンなどで文字等を入力するための入力操作を取得するための入力画面であり、手書き入力領域を備えている。そして、手書き入力画面Ｌ１ｄは、手書き入力領域で、センサ内蔵液晶パネル３０１に近接させた指やペン等が移動した場合の軌跡を取得する。そして、データ表示／センサ装置１００は、上記取得した軌跡に基づいて文字の入力操作として取得する。

ここで、図１０（ａ）で示した入力選択領域、及び図１０（ｂ）〜（ｅ）で示した入力領域の大きさは任意に設定することができる。例えば、センサ内蔵液晶パネル３０１に接触する指の面積に応じて設定することができる。

図１０（ａ）で示した各入力選択領域は、図１０（ｂ）〜（ｅ）で示した入力領域と比較して、センサ内蔵液晶パネル３０１に配置する個数が少なくてすむので、面積を広くすることができる。このため、各入力選択領域をユーザからの２本指での入力操作を取得するための第２入力画面入力領域を、第２入力画面Ｌ２に配置する。

また、図１０（ｂ）〜（ｅ）で示した各入力領域は、図１０（ａ）で示した入力選択領域と比較して、センサ内蔵液晶パネル３０１に配置する個数が多くなるので、面積が小さくなる。このため、各入力領域は、ユーザからの１本指での入力操作を取得するための第１入力画面入力領域を、第１入力画面Ｌ１に配置する。

このように、センサ内蔵液晶パネル３０１にタッチする指の接触面積に応じて、上記入力選択領域の面積と、上記入力領域の面積とを設定することができる。

なお、図１０（ｂ）〜（ｅ）で示した各入力領域のうち、例えば、テンキー入力領域などのように、比較的、１画面内に配置する個数が少なく、入力領域の面積を広くすることができる場合、第２入力画面入力領域として第２入力画面Ｌ２に配置してもよい。これについては、後述する。

また、ユーザからの３本指での入力操作を取得するための第３入力画面入力領域が配置された第３入力画面や、さらに、ユーザからの４本指での入力操作を取得するための第４入力画面入力領域が配置された第４入力画面を設け、第１入力画面Ｌ１、及び第２入力画面Ｌ２と、センサ内蔵液晶パネル３０１の表示画面として重畳表示させてもよい。

（データ表示／センサ装置の動作説明）
次に、図１１（ａ）〜（ｄ）を参照しながら、データ表示／センサ装置１００が、センサ内蔵液晶パネル３０１に、第１入力画面Ｌ１及び第２入力画面Ｌ２を表示する動作の典型例について説明する。なお、ここでは、動作の概要について説明し、データ表示／センサ装置１００の処理の詳細については後述する。

図１１（ａ）〜（ｄ）では、データ表示／センサ装置１００は、１つのセンサ内蔵液晶パネル３０１に、第１入力画面Ｌ１及び第２入力画面Ｌ２を重畳表示する例について説明する。

図１１（ａ）は、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１が、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示している様子を表す説明図である。図１１（ｂ）は、図１１（ａ）に示すデータ表示／センサ装置１００のセンサ内蔵液晶パネル３０１が、第２入力画面Ｌ２のメニュー項目を選択表示している様子を表す説明図である。図１１（ｃ）は、図１１（ｂ）で選択されたメニュー項目に対応付けられている候補画面が、第１入力画面Ｌ１として表示された様子を表す。図１１（ｄ）は、図１１（ａ）に示す第１入力画面Ｌ１の入力操作を取得した入力領域が選択表示されている様子を表す説明図である。

図１１（ａ）に示すように、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示する。

ここでは、データ表示／センサ装置１００は、第１入力画面Ｌ１としての英字入力画面Ｌ１ａと、複数のメニュー項目を備える第２入力画面Ｌ２を重畳表示している。つまり、第１入力画面Ｌ１には、第１入力画面入力領域として英字入力領域が配されており、第２入力画面には第２入力画面入力領域としてメニュー項目表示された入力選択領域が配されている。また、データ表示／センサ装置１００は、第１入力画面Ｌ１を通常に表示し、第２入力画面Ｌ２を半透明で表示している。

これにより、データ表示／センサ装置１００は、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示していたとしても、ユーザが、第１入力画面Ｌ１の表示を視認しやする入力画面をセンサ内蔵液晶パネル３０１に表示することができる。

次に、図１１（ｂ）に示すように、ユーザは、センサ内蔵液晶パネル３０１のメニュー項目のうち”テンキー”と表示されているテンキー入力選択領域Ｌ２ｂの領域内に、２本の指を接近させる。

すると、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１は、テンキー入力選択領域Ｌ２ｂ内にタッチした２本の指の像を読み取り、入力操作として取得する。

そして、例えば、テンキー入力選択領域Ｌ２ｂ内の表示色と、テンキー入力選択領域Ｌ２ｂに表示している文字”テンキー”の表示色とを反転表示するなど、テンキー入力選択領域Ｌ２ｂを選択表示した表示画面を表示する。これにより、データ表示／センサ装置１００は、ユーザに、テンキー入力選択領域Ｌ２ｂが選択されたことを視認させることができる。

次に、図１１（ｃ）に示すように、データ表示／センサ装置１００は、第１入力画面Ｌ１の表示を、英字入力画面Ｌ１ａから、ユーザによって選択されたテンキー入力画面Ｌ１ｂへと切替える。つまり、データ表示／センサ装置１００は、第１入力画面入力領域を英字入力領域からテンキー入力領域へと切替える。また、データ表示／センサ装置１００は、第１入力画面Ｌ１として表示されるテンキー入力画面Ｌ１ｂに表示する文字の濃度を濃くし、第２入力画面Ｌ２に表示する文字を半透明で表示する。これにより、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に、テンキー入力画面Ｌ１ｂと、第２入力画面Ｌ２とを重畳表示し、さらに、ユーザが選択したテンキー入力画面Ｌ１ｂの表示を、ユーザに視認させ易くすることができる。

また、ユーザが、図１１（ａ）に示すデータ表示／センサ装置１００のセンサ内蔵液晶パネル３０１に表示されている英字入力領域内に１本の指を接近させた場合、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１は、英字入力領域内に接近してきた１本の指の像を読み取り、入力操作として取得する。

そして、図１１（ｄ）に示すように、データ表示／センサ装置１００は、例えば、１本の指のタッチを検出した英字入力領域の表示色と、当該英字入力領域内に表示している文字の表示色とを反転表示するなどの選択表示をした表示画面をセンサ内蔵液晶パネル３０１に表示する。ここでは、ユーザは”ｃ”が表示されている英字入力領域に１本の指をタッチしている。すると、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１は、上記ユーザが接近させた１本の指の像を読み取り、”ｃ”を表示する英字入力領域を選択表示した表示画面を表示している。

（フローチャート）
次に、図１１（ａ）〜（ｄ）、図１２を用い、データ表示／センサ装置１００の処理の流れと、主制御部８００からデータ処理部７００に送信されるコマンドの詳細とについて説明する。

図１２は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。

まず、データ表示／センサ装置１００は、第１入力画面Ｌ１及び第２入力画面Ｌ２をセンサ内蔵液晶パネル３０１に表示させるための、ユーザの操作部９０３からの入力操作を取得すると、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に第１入力画面Ｌ１及び第２入力画面Ｌ２を表示させるための表示データを、記憶部９０１から取得する。そして、表示データ生成部８１０は、記憶部９０１から取得する表示データに基づいて、第１入力画面Ｌ１と、第２入力画面Ｌ２とをセンサ内蔵液晶パネル３０１に表示させるための表示データをデータ処理部７００に出力する。これにより、センサ内蔵液晶パネル３０１は、第１入力画面及び第２入力画面Ｌ２を重畳表示する（ステップＳ１１）。

なお、図１１（ａ）の例では、第１入力画面Ｌ１として、英字入力画面Ｌ１ａが選択されるように初期設定が成されているものとしている。

また、併せて、表示データ生成部８１０は「データ取得タイミング」フィールドに”イベント”を指定し、「データ種別」フィールドに”座標”（”001”を指定）を指定したコマンドをデータ処理部７００に出力する。

これにより、データ取得部８２０は、センサ内蔵液晶パネル３０１が取得する画像データに変化が生じた場合のみ、データ処理部７００から座標データを取得する。

なお、表示データ生成部８１０は「データ取得タイミング」フィールドに”オール”を指定してもよい。

また、データ取得部８２０は、座標データに替えて、データ処理部７００から、全体画像データを取得してもよい。この場合は、データ取得部８２０は「データ種別」フィールドに”全体画像”（”100”を指定）を指定したコマンドをデータ処理部７００に出力する。

そして、データ取得部８２０は、データ処理部７００から座標データを取得するか否かによって、センサ内蔵液晶パネル３０１にユーザが指をセンサ内蔵液晶パネル３０１にタッチをしたか否かを判定する（ステップＳ１２）。ユーザが指をセンサ内蔵液晶パネル３０１にタッチしていない場合（ステップＳ１２のＮＯ）、データ取得部８２０は、データ処理部７００から座標データを取得するまでに所定時間経過したか否かを判定する（ステップＳ２１）。データ取得部８２０が、所定時間経過したと判定すれば（ステップＳ２１のＹＥＳ）、データ表示／センサ装置１００はユーザからの入力操作取得を終了する。また、データ取得部８２０は、所定時間経過していないと判定すると（ステップＳ２１のＮＯ）、ステップＳ１２の処理に戻る。なお、所定時間は、適宜設定可能である。

データ取得部８２０は、データ処理部７００から座標データを取得することにより、センサ内蔵液晶パネル３０１へのユーザの指のタッチを検出し（ステップＳ１２のＹＥＳ）する。そして、データ取得部８２０は、データ処理部７００から取得した座標データをデータ計数部８３０に出力する。

データ計数部８３０は、データ取得部８２０から取得する座標データを計数することにより、センサ内蔵液晶パネル３０１にタッチした指の本数を求める（ステップＳ１３）。そして、データ計数部８３０は、データ取得部８２０から取得した座標データと共に、ステップＳ１３で計数した座標データの個数を入力画面選択部８４０に出力する。

入力画面選択部８４０は、データ計数部８３０から、座標データ及び、当該座標データの個数を取得すると、当該座標データの個数に応じて、座標データの出力先を変更する。

まず、入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が２である場合、センサ内蔵液晶パネル３０１に接触した指の本数が２本であると認識する（ステップＳ１４のＹＥＳ）。すると、入力画面選択部８４０は、データ計数部８３０から取得した座標データを第２入力画面制御部８５０に出力する。

第２入力画面制御部８５０は、入力画面選択部８４０から出力される座標データを取得すると、記憶部９０１を参照し、データ計数部８３０から取得した座標データが第２入力画面Ｌ２に配置される各入力選択領域（ここでは、英字入力選択領域Ｌ２ａ、テンキー入力選択領域Ｌ２ｂ、ローマ字入力選択領域Ｌ２ｃ、および手書き入力選択領域Ｌ２ｄ）の何れかの領域内に含まれるか否かを判定する（ステップＳ１５）。

そして、第２入力画面制御部８５０は、データ計数部８３０から取得した座標データが、第２入力画面Ｌ２に配置される各入力選択領域に含まれないと判定した場合（ステップＳ１５のＮＯ）ステップＳ２１の処理に戻る。

また、第２入力画面制御部８５０は、データ計数部８３０から取得した座標データが第２入力画面Ｌ２に配置される各入力選択領域の何れかの領域内に含まれると判定した場合（ステップＳ１５のＹＥＳ）、上記座標データが含まれる入力選択領域を表す情報を表示データ生成部８１０に出力する。

図１１（ａ）（ｂ）の例では、第２入力画面制御部８５０は、データ計数部８３０から取得した座標データが、テンキー入力選択領域Ｌ２ｂ内に含まれると判定し、テンキー入力選択領域Ｌ２ｂを表す情報を表示データ生成部８１０に出力する。

そして、表示データ生成部８１０は、第２入力画面制御部８５０から出力される上記座標データが含まれる入力選択領域を表す情報を取得すると、上記入力選択領域を選択表示した第２入力画面Ｌ２と、第１入力画面とを重畳表示するための表示データを生成する。そして、表示データ生成部８１０は、上記生成した表示データをデータ処理部７００に出力し、センサ内蔵液晶パネル３０１に第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示させる。

これにより、センサ内蔵液晶パネル３０１は、ユーザが選択した入力選択領域を選択表示する（ステップＳ１６）。

図１１（ｂ）の例では、表示データ生成部８１０は、第２入力画面制御部８５０から出力されるテンキー入力選択領域Ｌ２ｂを表す情報を取得し、テンキー入力選択領域Ｌ２ｂが選択表示とした第２入力画面Ｌ２と、第１入力画面とを重畳表示するための表示データを生成する。そして、表示データ生成部８１０は、生成した表示データをデータ処理部７００に出力し、センサ内蔵液晶パネル３０１に第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示させる。

さらに、第２入力画面制御部８５０の候補画面選択部８５５は、記憶部９０１から、上記指のタッチを検出した入力選択領域である、上記座標データが含まれる入力選択領域（ここでは、テンキー入力選択領域Ｌ２ｂ）と対応付けられた候補画面（ここでは、テンキー入力画面Ｌ１ｂ）を特定するための情報として候補画面特定情報を取得し、当該取得した候補画面特定情報を第１入力画面制御部８６０に出力する。

第１入力画面制御部８６０は、候補画面選択部８５５から候補画面特定情報を取得すると、第１入力画面制御部８６０の候補画面設定部８６５は、記憶部９０１を参照し、複数の候補画面のうち、取得した候補画面特定情報で特定された候補画面を第１入力画面Ｌ１として設定する（ステップＳ１７）。ここでは、第１入力画面制御部８６０は、テンキー入力画面Ｌ１ｂを第１入力画面Ｌ１として設定する。

そして、第１入力画面制御部８６０は、候補画面設定部８６５が設定した候補画面を、第１入力画面Ｌ１とする旨の候補画面情報を表示データ生成部８１０に出力する。

表示データ生成部８１０は、第１入力画面制御部８６０から出力される候補画面情報を取得すると、取得した候補画面を第１入力画面Ｌ１とし、第２入力画面Ｌ２と重畳表示する表示画面をセンサ内蔵液晶パネル３０１に表示させるために、表示データを生成し、データ処理部７００に出力する。これにより、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に第１入力画面Ｌ１と、第２入力画面Ｌ２とが重畳表示された表示画面をセンサ内蔵液晶パネル３０１に表示させる。すなわち、ステップＳ１１の処理に戻る。

これにより、図１１（ｃ）に示すように、センサ内蔵液晶パネル３０１は、第１入力画面Ｌ１としてのテンキー入力画面Ｌ１ｂと、第２入力画面Ｌ２とを重畳表示する。

なお、表示データ生成部８１０からデータ処理部７００に出力したコマンドについては、再度送信しなくてもよい。

また、入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が２でないと判定した場合（ステップＳ１４のＮＯ）、センサ内蔵液晶パネル３０１に接触した指の本数が２本でないと認識する。そして、入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が１であるか、すなわち、センサ内蔵液晶パネル３０１に接触した指の本数が１本であるかを判定する（ステップＳ１８）。

入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が１でない、すなわち、センサ内蔵液晶パネル３０１に接触した指の本数が１本でないと認識した場合（ステップＳ１８のＮＯ）、ステップＳ２１の処理に戻る。

また、入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が１である、すなわち、センサ内蔵液晶パネル３０１に接触した指の本数が１本であると認識した場合（ステップＳ１８のＹＥＳ）、入力画面選択部８４０は、データ計数部８３０から取得した座標データを第１入力画面制御部８６０に出力する。

第１入力画面制御部８６０は、入力画面選択部８４０から出力される座標データを取得すると、記憶部９０１を参照し、データ計数部８３０から取得した座標データが第１入力画面Ｌ１に配置される各入力領域の何れかの領域内に含まれるか否かを判定する（ステップＳ１９）。例えば、図１１（ａ）の例では、第１入力画面制御部８６０は、第１入力画面Ｌ１として表示されている英字入力画面Ｌ１ａに配置されている複数の英字入力領域の何れかの領域に含まれているか否かを判定する（ステップＳ１９）。

次に、第１入力画面制御部８６０は、データ計数部８３０から取得した座標データが、第１入力画面Ｌ１に配置される各入力領域に含まれないと判定した場合（ステップＳ１９のＮＯ）ステップＳ２１の処理に戻る。

また、第１入力画面制御部８６０は、データ計数部８３０から取得した座標データが第１入力画面Ｌ１に配置される各入力領域の何れかの領域内に含まれると判定した場合（ステップＳ１９のＹＥＳ）、第１入力画面制御部８６０は、上記座標データが含まれる入力領域を選択表示させる旨の情報を表示データ生成部８１０に出力すると共に、上記座標データが含まれる入力領域に対応付けられた情報を取得する。

そして、表示データ生成部８１０は、第１入力画面制御部８６０から出力される上記座標データが含まれる入力領域を選択表示させる旨の情報を取得すると、第１入力画面Ｌ１の指のタッチを検出した入力領域である、上記座標データが含まれる入力領域を選択表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示するための表示データを生成する。そして、表示データ生成部８１０は、上記生成した表示データをデータ処理部７００に出力し、センサ内蔵液晶パネル３０１に上記座標データが含まれる入力領域を選択表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示させる（ステップＳ２０）。

例えば、図１１（ｄ）の例では、センサ内蔵液晶パネル３０１は、英字入力画面Ｌ１ａに配置されている英字”ｃ”を入力操作として取得するための英字入力領域を選択表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示している。

また、ステップＳ１９のＹＥＳの場合で、文字を入力させるアプリケーションを起動している場合、第１入力画面制御部８６０は、記憶部９０１を参照し、上記座標データが含まれる入力領域に対応付けられている文字を取得し、当該取得した文字を上記アプリケーションへ入力された画面を選択表示として、センサ内蔵液晶パネル３０１に表示させてもよい。

次に、データ表示／センサ装置１００は、ステップＳ２１の処理として、所定時間が経過したか否かを判定し、所定時間が経過したと判定すると（ステップＳ２１のＹＥＳ）入力操作の取得動作を終了する。また、データ表示／センサ装置１００は、ステップＳ２１の処理として、所定時間が経過していないと判定した場合（ステップＳ２１のＮＯ）、ステップＳ１２の処理に進み、ユーザからの入力操作を受け付ける。

このように、本実施の形態に係るデータ表示／センサ装置１００の入力画面選択部８４０は、データ計数部８３０が計数した指の本数に応じて、ユーザの入力操作を取得するための上記第１入力画面Ｌ１または第２入力画面Ｌ２を選択する。このため、データ表示／センサ装置１００は、第１入力画面Ｌ１と、第２入力画面Ｌ２とのうち、センサ内蔵液晶パネル３０１が検出した指の本数に対応する入力画面から、ユーザからの入力操作を取得することができる。このため、データ表示／センサ装置１００は、ユーザに対して、センサ内蔵液晶パネル３０１へタッチする指の本数を変更させるだけで、第１入力画面Ｌ１と、第２入力画面Ｌ２とのうち、ユーザからの入力操作を取得するための入力画面を切替えることができるので操作性が高い。

加えて、データ表示／センサ装置１００は、第１入力画面Ｌ１の表示を切替えるための入力選択領域を、第１入力画面Ｌ１と重畳表示している第２入力画面Ｌ２に配置している。このため、第１入力画面Ｌ１が表示されている領域外に、上記入力選択領域を表示するための領域を別途設ける必要がない。これにより、センサ内蔵液晶パネル３０１の表示画面全体を、第１入力画面Ｌ１と、第２入力画面Ｌ２として使用することができる。

〔実施の形態２〕
本発明の入力装置に関する第２の実施形態について、図１３、１４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施の形態１にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

実施の形態１では、第２入力画面Ｌ２は、第１入力画面Ｌ１となりうる複数の候補画面を選択させるためのメニュー項目が配置された構成として説明したが、加えて、文字の入力操作を取得するための入力領域が配置されてもよい。

図１３は、センサ内蔵液晶パネル３０１に重畳表示する第１入力画面Ｌ１、及び候補画面を含む第２入力画面Ｌ２の様子、および複数の候補画面を表す説明図である。

図１３に示すように、センサ内蔵液晶パネル３０１が表示する表示画面は、第１入力画面Ｌ１と、第２入力画面Ｌ２とが重畳表示されている。ここでは、第１入力画面入力領域として英字入力領域が配されている。すなわち、第１入力画面Ｌ１として英字入力画面Ｌ１ａが選択されている。また、第２入力画面入力領域として、”英字””ローマ字””手書き”のそれぞれのメニュー項目が表示された複数の入力選択領域と、上述したテンキー入力領域とが配置されている。”英字”と表示された入力選択領域は、英字入力画面Ｌ１ａと対応付けられている。”ローマ字”と表示されたメニュー項目ローマ字入力画面Ｌ１ｃと対応付けられている。”手書き”と表示するメニュー項目は、手書き入力画面Ｌ１ｄと対応付けられている。

このように、第２入力画面Ｌ２にテンキー入力が可能なテンキー入力領域が配置されているため、データ表示／センサ装置１００は、検知する指の本数に対応して、テンキーの入力操作と、第１入力画面Ｌ１からの入力操作とを取得することができる。本実施の形態では、データ表示／センサ装置１００は、予め第１入力画面Ｌ１として選択された英字入力画面Ｌ１ａから取得する入力操作と、テンキー入力領域から取得する入力操作とを切替えるための操作を取得する必要がない。このため、データ表示／センサ装置１００によると、ユーザの操作性を向上させることができる。

次に、本実施の形態に係るデータ表示／センサ装置１００の処理の流れについて、フローチャートを用いて説明する。

図１４は、本実施の形態に係るデータ表示／センサ装置１００の処理の流れを表すフローチャートである。

図１４の説明では、実施の形態１で説明した処理の流れと異なる点について説明し、同様のステップについては、同様のステップ番号を付し、説明を省略する。

ステップＳ１４で、入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が２である場合、センサ内蔵液晶パネル３０１に接触した指の本数が２本であると認識する（ステップＳ１４のＹＥＳ）。すると、入力画面選択部８４０は、データ計数部８３０から取得した座標データを第２入力画面制御部８５０に出力する。

第２入力画面制御部８５０は、入力画面選択部８４０から出力される座標データを取得すると、記憶部９０１を参照し、データ計数部８３０から取得した座標データが第２入力画面Ｌ２に配置される各入力選択領域（ここでは、英字入力選択領域Ｌ２ａ、ローマ字入力選択領域Ｌ２ｃ、および手書き入力選択領域Ｌ２ｄ）の何れかの領域内に含まれるか否かを判定する（ステップＳ１５）。

そして、第２入力画面制御部８５０は、データ計数部８３０から取得した座標データが、第２入力画面Ｌ２に配置される各入力選択領域に含まれないと判定した場合（ステップＳ１５のＮＯ）、次に、第２入力画面制御部８５０は、データ計数部８３０から取得した座標データが第２入力画面Ｌ２に配置されるテンキー入力領域に含まれるか否かを判定する（ステップＳ２２）。

そして、第２入力画面制御部８５０は、データ計数部８３０から取得した座標データが、第２入力画面Ｌ２に配置されるテンキー入力領域に含まれないと判定した場合（ステップＳ２２のＮＯ）ステップＳ２１の処理に戻る。

また、第２入力画面制御部８５０は、データ計数部８３０から取得した座標データが第２入力画面Ｌ２に配置されるテンキー入力領域に含まれると判定した場合（ステップＳ２２のＹＥＳ）、上記座標データが含まれるテンキー入力領域を選択表示させる旨の情報を表示データ生成部８１０に出力すると共に、上記座標データが含まれるテンキー入力領域に対応付けられた数値を取得する。

そして、表示データ生成部８１０は、第２入力画面制御部８５０から出力される上記座標データが含まれるテンキー入力領域を選択表示させる旨の情報を取得すると、上記座標データが含まれるテンキー入力領域を選択表示した第２入力画面Ｌ２と、第１入力画面Ｌ１とを重畳表示するための表示データを生成する。そして、表示データ生成部８１０は、上記生成した表示データをデータ処理部７００に出力し、センサ内蔵液晶パネル３０１に上記座標データが含まれるテンキー入力領域を選択表示した第２入力画面Ｌ２と、第１入力画面Ｌ１とを重畳表示させる。つまり、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に、ユーザからの指のタッチを検出したテンキー入力領域を選択表示させる（ステップＳ２３）。そして、ステップＳ２１の処理に戻る。

〔実施の形態３〕
次に、本発明の入力装置に関する第３の実施形態について、図１５（ａ）〜（ｄ）、図１６、図１７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施の形態１、２にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

図１５（ａ）は、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１が、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示している様子を表す説明図である。図１５（ｂ）は、図１５（ａ）に示すデータ表示／センサ装置１００のセンサ内蔵液晶パネル３０１が、第２入力画面Ｌ２のテンキー入力領域を選択表示している様子を表す説明図である。図１５（ｃ）は、図１５（ａ）に示すデータ表示／センサ装置１００のセンサ内蔵液晶パネル３０１が、第１入力画面Ｌ１の英字入力領域を選択表示している様子を表す説明図である。図１５（ｄ）は、図１５（ａ）に示す表示画面のうち、第２入力画面Ｌ２に配置された第２入力画面入力領域の表示を強調表示している様子を表す。

また、図１６は、データ表示／センサ装置１００の要部構成を表すブロック図である。本実施の形態に係るデータ表示／センサ装置１００は、第２入力画面制御部８５０に替えて、候補画面選択部８５５を省略した第２入力画面制御部８５０ａを備え、また、第１入力画面制御部８６０に替えて、候補画面選択部８６５を省略した第１入力画面制御部８６０ａを備える。

図１５（ａ）に示すように、センサ内蔵液晶パネル３０１は、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示する。

第１入力画面Ｌ１には第１入力画面入力領域として、実施の形態１で説明した英字入力領域が配された英字入力画面Ｌ１ａが表示されている。また、第２入力画面Ｌ２には、第２入力画面入力領域として、実施の形態１で説明したテンキー入力領域が配されたテンキー入力画面Ｌ２２ｂが表示されている。

次に、図１５（ｂ）に示すように、ユーザは、センサ内蔵液晶パネル３０１のテンキー入力領域内に２本の指を接触させる。ここでは、ユーザは、テンキー入力領域のうち”２”と対応付けられたテンキー入力領域内に、２本の指を接近させる。

すると、センサ内蔵液晶パネル３０１は、テンキー入力領域内にタッチした２本の指の像を読み取り、入力操作として取得する。

そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に、第１入力画面Ｌ１の表示を半透明で表示させ、第２入力画面Ｌ２の表示を強調表示させる。

そして、データ表示／センサ装置１００は、”２”と対応付けられたテンキー入力領域内の表示色と、”２”の表示色とを反転表示するなどして、選択表示した表示画面をセンサ内蔵液晶パネル３０１に表示する。これにより、データ表示／センサ装置１００は、ユーザに、テンキー入力領域のうち”２”を表示するテンキー入力領域が選択されたことを視認させることができる。このように、センサ内蔵液晶パネル３０１が、テンキー入力領域内に２本の指の像を検知すると、データ表示／センサ装置１００は、第２入力画面Ｌ２から、上記検知した像をユーザからの入力操作として取得する。

また、図１５（ａ）に示す表示画面に対して、ユーザは、センサ内蔵液晶パネル３０１の英字入力領域に１本の指を接近させる。ここでは、ユーザは、英字入力領域のうち”ｃ”の英字と対応付けられた英字入力領域内に、１本の指を接近させる。

すると、センサ内蔵液晶パネル３０１は、英字入力領域内にタッチした１本の指の像を読み取り、入力操作として取得する。

そして、図１５（ｃ）に示すように、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に、第２入力画面Ｌ２の表示を半透明で表示させ、第１入力画面Ｌ１の表示を強調させる。

さらに、データ表示／センサ装置１００は、”ｃ”を表示する英字入力領域内の表示色と、”ｃ”の表示色とを反転表示するなどして、選択表示した表示画面をセンサ内蔵液晶パネル３０１に表示する。これにより、データ表示／センサ装置１００は、ユーザに、英字入力領域のうち”ｃ”を表示する英字入力領域が選択されたことを視認させることができる。このように、センサ内蔵液晶パネル３０１が、英字入力領域内に１本の指の像を検知すると、データ表示／センサ装置１００は、第１入力画面Ｌ１から、上記検知した像をユーザからの入力操作として取得する。

また、図１５（ｄ）に示すように、センサ内蔵液晶パネル３０１にユーザの指が完全に接触していなくとも、データ表示／センサ装置１００が、センサ内蔵液晶パネル３０１に近づいている指の本数の検出が可能であれば、その時点で検出した指の本数に応じた入力画面の表示を強調表示するようにしてもよい。図１５（ｄ）の例では、データ表示／センサ装置１００は、２本の指を検出し、第２入力画面Ｌ２の表示を強調し、第１入力画面Ｌ１の表示を半透明で表示している。

このように、本実施のデータ表示／センサ装置１００は、第１入力画面Ｌ１に配置する第１入力画面入力領域と、第２入力画面Ｌ２に配置する第２入力画面入力領域とを予め設定して、センサ内蔵液晶パネル３０１に重畳表示している。このため、データ表示／センサ装置１００は、第１入力画面Ｌ１と、第２入力画面Ｌ２とのうち、センサ内蔵液晶パネル３０１が検出した指の本数に対応する入力画面から、ユーザからの入力操作を取得することができる。このため、データ表示／センサ装置１００は、ユーザに対して、センサ内蔵液晶パネル３０１へタッチする指の本数を変更させるだけで、第１入力画面Ｌ１と、第２入力画面Ｌ２とのうち、ユーザからの入力操作を取得するための入力画面を切替えることができるので、操作性が高い。

加えて、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１が検出する指の本数によって、第１入力画面Ｌ１と、第２入力画面Ｌ２とのうち、ユーザからの入力操作を取得するための入力画面を切替えるので、入力画面切替えるためのアイコンを表示する必要がない。このため、センサ内蔵液晶パネル３０１の表示画面全体を、第１入力画面Ｌ１と、第２入力画面Ｌ２として使用することができる。

また、図１５（ａ）〜（ｄ）で示した例以外にも、１本指でのユーザからの入力操作を取得する第１入力画面入力領域としてローマ字入力領域を第１入力画面Ｌ１に配置し、２本指でのユーザからの入力操作を取得する第２入力画面入力領域としてアルファベット入力を取得するためのアルファベット入力領域を第２入力画面Ｌ２に配置してもよい。加えて、３本指でのユーザからの入力操作を取得するための第３入力画面を設けてもよい。テンキー入力領域を第３入力画面入力領域として配置した第３入力画面に、第１入力画面Ｌ１、第２入力画面Ｌ２と重畳表示してもよい。さらに、４本指でのユーザからの入力操作を取得するための第４入力画面を、センサ内蔵液晶パネル３０１に重畳表示してもよい。

次に、本実施の形態に係るデータ表示／センサ装置１００の処理の流れについて、フローチャートを用いて説明する。

図１７は、本実施の形態に係るデータ表示／センサ装置１００の処理の流れを表すフローチャートである。

ステップＳ１４で、入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が２である場合、センサ内蔵液晶パネル３０１に接触した指の本数が２本であると認識する（ステップＳ１４のＹＥＳ）。すると、入力画面選択部８４０は、データ計数部８３０から取得した座標データを第２入力画面制御部８５０ａに出力する。

第２入力画面制御部８５０ａは、入力画面選択部８４０から出力される座標データを取得すると、記憶部９０１を参照し、データ計数部８３０から取得した座標データが第２入力画面Ｌ２に配置される第２入力画面入力領域（ここでは、テンキー入力選択領域Ｌ２ｂ）の何れかの領域内に含まれるか否かを判定する（ステップＳ３２）。

そして、第２入力画面制御部８５０ａは、データ計数部８３０から取得した座標データが、第２入力画面入力領域に含まれないと判定した場合（ステップＳ３２のＮＯ）ステップＳ２１の処理に戻る。

また、第２入力画面制御部８５０ａは、データ計数部８３０から取得した座標データが第２入力画面入力領域内に含まれると判定した場合（ステップＳ３２のＹＥＳ）、上記座標データが含まれる第２入力画面入力領域を選択表示させる旨の情報を表示データ生成部８１０に出力すると共に、上記座標データが含まれる第２入力画面入力領域に対応付けられた数値を取得する。

図１５（ｂ）の例では、第２入力画面制御部８５０ａは、データ計数部８３０から取得した座標データが、”２”を表示する第２入力画面入力領域内に含まれると判定し（ステップＳ３２のＹＥＳ）、”２”を選択表示させる旨の情報を表示データ生成部８１０に出力すると共に、数値”２”を表す情報を取得する。

そして、表示データ生成部８１０は、第２入力画面制御部８５０ａから出力される上記座標データが含まれる第２入力画面入力領域を選択表示させる旨の情報を取得すると、上記座標データが含まれる第２入力画面入力領域を選択表示した第２入力画面Ｌ２と、第１入力画面Ｌ１とを重畳表示するための表示データを生成する。そして、表示データ生成部８１０は、上記生成した表示データをデータ処理部７００に出力し、センサ内蔵液晶パネル３０１に上記座標データが含まれるテンキー入力領域を選択表示した第２入力画面Ｌ２と、第１入力画面Ｌ１とを重畳表示させる（ステップＳ３３）。そして、ステップＳ２１の処理に戻る。

また、入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が２でないと判定した場合（ステップＳ１４のＮＯ）、センサ内蔵液晶パネル３０１に接触した指の本数が２本でないと認識する。そして、入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が１であるか、すなわち、センサ内蔵液晶パネル３０１に接触した指の本数が１本であるかを判定する（ステップＳ１８）。

入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が１でない、すなわち、センサ内蔵液晶パネル３０１に接触した指の本数が１本でないと認識した場合（ステップＳ１８のＮＯ）、ステップＳ２１の処理に戻る。

また、入力画面選択部８４０は、データ計数部８３０から取得した座標データの個数が１である、すなわち、センサ内蔵液晶パネル３０１に接触した指の本数が１本であると認識した場合（ステップＳ１８のＹＥＳ）、入力画面選択部８４０は、データ計数部８３０から取得した座標データを第１入力画面制御部８６０ａに出力する。

第１入力画面制御部８６０は、入力画面選択部８４０から出力される座標データを取得すると、記憶部９０１を参照し、データ計数部８３０から取得した座標データが第１入力画面Ｌ１に配置されている第１入力画面入力領域内に含まれるか否かを判定する（ステップＳ３４）。例えば、図１５（ｃ）の例では、第１入力画面制御部８６０ａは、第１入力画面Ｌ１として表示されている英字入力画面Ｌ１ａに配置されている複数の英字入力領域の何れかの領域に含まれているか否かを判定する（ステップＳ３４）。

そして、第１入力画面制御部８６０ａは、データ計数部８３０から取得した座標データが、第１入力画面入力領域に含まれないと判定した場合（ステップＳ３４のＮＯ）ステップＳ２１の処理に戻る。

また、第１入力画面制御部８６０ａは、データ計数部８３０から取得した座標データが第１入力画面入力領域の何れかの領域内に含まれると判定した場合（ステップＳ３４のＹＥＳ）、第１入力画面制御部８６０ａは、上記座標データが含まれる第１入力画面入力領域を選択表示させる旨の情報を表示データ生成部８１０に出力すると共に、上記座標データが含まれる入力領域に対応付けられた情報を取得する。

そして、表示データ生成部８１０は、第１入力画面制御部８６０ａから出力される上記座標データが含まれる第１入力画面入力領域を選択表示させる旨の情報を取得すると、上記座標データが含まれる第１入力画面入力領域を選択表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示するための表示データを生成する。そして、表示データ生成部８１０は、上記生成した表示データをデータ処理部７００に出力し、センサ内蔵液晶パネル３０１に上記座標データが含まれる入力領域を選択表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示させる。つまり、表示データ生成部８１０は、センサ内蔵液晶パネル３０１に、ユーザからの指のタッチを検出した第１入力画面入力領域を選択表示させる（ステップＳ３５）
例えば、図１５（ｃ）の例では、センサ内蔵液晶パネル３０１は、英字入力画面Ｌ１ａに配置されている英字”ｃ”を入力操作として取得するための英字入力領域を選択表示した第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示している（ステップ３５）。

次に、データ表示／センサ装置１００は、ステップＳ２１の処理として、所定時間が経過したか否かを判定し、所定時間が経過したと判定すると（ステップＳ２１のＹＥＳ）入力操作の取得動作を終了する。また、データ表示／センサ装置１００は、ステップＳ２１の処理として、所定時間が経過していないと判定した場合（ステップＳ２１のＮＯ）、ステップＳ１２の処理に進み、ユーザからの入力操作を受け付ける。

〔実施の形態４〕
次に、本発明の入力装置に関する第４の実施形態について、図１８を用いて説明すれば以下のとおりである。なお、説明の便宜上、前記実施の形態１〜３にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施の形態のデータ表示／センサ装置１００は、センサ内蔵液晶パネル３０１への指のタッチを検出した場合、検出した指の像に応じて、第１入力画面Ｌ１と、第２入力画面Ｌ２とを選択するものである。これについて、図１８を用いて説明する。

図１８は、データ表示／センサ装置１００の要部構成の変形例を表すブロック図である。

図１８と、図１とでは、主制御部８００に面積算出部８７０（面積算出手段）を設けた点、データ計数部８３０に替えて判定部８８０（判定手段）を設けた点で相違する。

面積算出部８７０は、データ取得部８２０がデータ処理部７００から取得する、センサ内蔵液晶パネル３０１が検知した像の画像データである全体画像データの面積を求めるものである。

また、判定部８８０は、面積算出部８７０が求めた全体画像データの面積と、所定の閾値とを比較して、上記全体画像データの面積が、上記所定の閾値以上であるか否かを判定するものである。

所定の閾値は、予め設定しておき、記憶部９０１に記憶されていてもよいし、判定部８８０に記憶されていてもよい。

所定の閾値は、センサ内蔵液晶パネル３０１に接触した指の本数を求めるためのものである。センサ内蔵液晶パネル３０１に接触する指の本数が多くなるほど、センサ内蔵液晶パネル３０１が検出する指の像の面積が大きくなるので、この面積と、指の本数とを対応付けて予め設定しておく。

そして、主制御部８００からデータ処理部７００に対して、「データ取得タイミング」フィールドに、”イベント”を指定し、「データ種別」フィールドに”座標”および”全体画像”の両方を指定（”101”を指定）したコマンドをデータ処理部７００に出力する。

これにより、面積算出部８７０は、センサ内蔵液晶パネル３０１が取得する画像データに変化が生じた場合のみ、データ処理部７００から全体画像データ及び座標データを取得する。

データ取得部８２０は、データ処理部７００から全体画像データ及び座標データを取得すると、当該取得した全体画像データ及び座標データを面積算出部８７０に出力する。

面積算出部８７０は、データ取得部８２０から全体画像データと、座標データを取得すると、当該取得した全体画像データの面積を求める。そして、当該求めた面積を、面積算出部８７０は判定部８８０に出力すると共に、併せて座標データも出力する。

判定部８８０は、面積算出部８７０から出力された面積を取得すると、当該取得した面積が予め設定された所定の閾値以上であるか否かを判定する。そして、判定部８８０は、上記判定結果と共に、面積算出部８７０から取得した座標データを入力画面選択部８４０に出力する。

そして、入力画面選択部８４０は、判定部８８０から取得した判定結果に基づいて、判定部８８０から取得した座標データの出力先を変更する。

ここでは、入力画面選択部８４０は、判定部８８０から、上記面積は、所定の閾値以上であるとの判定結果を取得した場合、センサ内蔵液晶パネル３０１に接触している指の本数は２本以上であると判断する。そして、入力画面選択部８４０は、判定部８８０から取得した座標データを第２入力画面制御部８５０に出力する。

また、入力画面選択部８４０は、判定部８８０から、上記面積は、所定の閾値未満であるとの判定結果を取得した場合、センサ内蔵液晶パネル３０１に接触している指の本数は１本であると判断する。そして、入力画面選択部８４０は、判定部８８０から取得した座標データを第１入力画面制御部８６０に出力する。

この後の処理は、図１２で示したステップＳ１５以降の処理、またはステップＳ１９以降の処理と同じため、説明を省略する。

（プログラム、コンピュータ読み取り可能な記録媒体）
また、データ表示／センサ装置１００の各ブロック、特に表示データ生成部８１０、データ取得部８２０、入力画面選択部８４０、第２入力画面制御部８５０、第１入力画面制御部８６０は、ハードウェアロジックによって構成してもよいし、次のようにコンピュータを用いてソフトウェアによって実現してもよい。

すなわち、表示データ生成部８１０、データ取得部８２０、入力画面選択部８４０、第２入力画面制御部８５０、第１入力画面制御部８６０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである表示データ生成部８１０、データ取得部８２０、入力画面選択部８４０、第２入力画面制御部８５０、第１入力画面制御部８６０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記表示データ生成部８１０、データ取得部８２０、入力画面選択部８４０、第２入力画面制御部８５０、第１入力画面制御部８６０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、表示データ生成部８１０、データ取得部８２０、入力画面選択部８４０、第２入力画面制御部８５０、第１入力画面制御部８６０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

なお、上述した説明では、センサ内蔵液晶パネル３０１には、第１入力画面Ｌ１と、第２入力画面Ｌ２とを重畳表示するものとして説明したが、重畳表示する入力画面は、２つに限定されるものではなく、さらに、指の本数と対応付けて、第３入力画面、第４入力画面と、重畳表示する入力画面を増やしてもよい。

なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、文字等の入力を行う装置に適用でき、特に、複数の入力画面を表示するデータ表示／センサ装置に好適に適用できる。

１００ データ表示／センサ装置（入力装置）
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
７００ データ処理部
８００ 主制御部
８１０ 表示データ生成部（表示制御手段）
８２０ データ取得部
８３０ データ計数部（計数手段）
８４０ 入力画面選択部（入力画面選択手段）
８５０ 第２入力画面制御部
８５０ａ 第２入力画面制御部
８５５ 候補画面選択部（候補画面選択手段）
８６０ 第１入力画面制御部
８６０ａ 第１入力画面制御部
８６５ 候補画面設定部（候補画面設定手段）
８７０ 面積算出部（面積算出部）
８８０ 判定部（判定手段）
９０１ 記憶部
Ｌ１ 第１入力画面
Ｌ２ 第２入力画面

Claims (5)

1. 近傍の像を検知することによりユーザの入力操作を取得することが可能な、第１入力画面と、当該第１入力画面とは異なる第２入力画面とを重畳表示するための面状部材と、
   上記面状部材が検知した像の形状に応じて、上記入力操作を取得するための上記第１入力画面または第２入力画面を選択する入力画面選択手段と、
   上記入力画面選択手段が上記第２入力画面を選択したときの入力操作に応じて、上記第１入力画面となり得る複数の候補画面から１つの候補画面を選択する候補画面選択手段と、
   上記候補画面選択手段が選択した候補画面を上記第１入力画面として設定する候補画面設定手段と、
   上記候補画面設定手段が設定した第１入力画面を、上記第２入力画面とともに上記面状部材に重畳表示させる表示制御手段と、を備えたことを特徴とする入力装置。
2. 上記面状部材が検知した像の領域の個数を計数する計数手段をさらに備え、
   上記入力画面選択手段は、上記計数手段が計数した領域の個数に応じて、上記第１入力画面または第２入力画面を選択することを特徴とする請求項１に記載の入力装置。
3. 上記面状部材が検知した像の面積を求める面積算出手段と、
   上記面積算出手段が求めた像の面積が、所定の閾値以上であるか否かを判定する判定手段と、
   上記入力画面選択手段は、上記判定手段の判定結果に応じて、上記第１入力画面または第２入力画面を選択することを特徴とする請求項１に記載の入力装置。
4. 上記面状部材が検知する上記近傍の像は、ユーザが入力操作を行う指の像であることを特徴とする請求項１〜３の何れか１項に記載の入力装置。
5. 近傍の像を検知することによりユーザの入力操作を取得することが可能な、第１入力画面と、当該第１入力画面とは異なる第２入力画面とを重畳表示するための面状部材を備える入力装置の入力方法であって、
   上記面状部材が検知した像の形状に応じて、上記入力操作を取得するための上記第１入力画面または第２入力画面を選択する入力画面選択ステップと、
   上記入力画面選択ステップで、上記第２入力画面を選択したときの入力操作に応じて、上記第１入力画面となり得る複数の候補画面から１つの候補画面を選択する候補画面選択ステップと、
   上記候補画面選択ステップで選択した候補画面を上記第１入力画面として設定する候補画面設定ステップと、
   上記候補画面設定ステップで設定した第１入力画面を、上記第２入力画面とともに上記面状部材に重畳表示させる表示ステップと、を含むことを特徴とする入力方法。

Images