JP2010129052A - 入力装置、入力方法、および入力プログラム - Google Patents

Abstract

【課題】仮想の入力キーを表示するとともに当該入力キーに対応する命令を受け付けるための入力装置であって、ユーザが誤入力をし難い入力装置を提供する。
【解決手段】入力装置１００は、表示パネル１０２と、表示パネル１０２に入力キーを表示させる表示制御手段１１１と、表示パネル１０２に対する少なくとも１つの入力位置を検出する検出手段１１２と、検出手段１１２が入力キーの表示領域内で複数の入力位置を検出したか否かを判断する判断手段１１３と、判断手段が複数の入力位置を検知することにより、入力キーに対応する命令を有効とし実行する実行手段１１４とを備える。
【選択図】図１３

Description

本発明は、タッチ操作に応じてユーザからの命令を受け付ける入力装置、入力方法、および入力プログラムに関し、特に、表示パネルに対するタッチ操作に応じて表示されている入力キーに対応する命令を受け付ける入力装置、入力方法、および入力プログラムに関する。

表示パネル上に仮想の入力キーを表示することができる電子機器（入力装置）が知られている。そのような電子機器の中には、タッチパネル機能を搭載した表示パネルあるいは光センサ内蔵の表示パネルを有し、当該表示パネルを介してボタンなどの入力キーを表示するとともに、当該表示パネルを介して入力キーに対する選択命令を受け付けるものがある。

表示パネル上に仮想の入力キーを表示することができる電子機器は、画面情報を変更することによって、ユーザが入力する命令を容易に変更することができる。すなわち、電子機器は、ユーザから受け付ける操作項目によって入力キーを変更することができる。

具体的には、たとえば、ＰＯＳ（Point Of Sale）、ハンディーターミナルは、多くの場合、タブレット機能を有する液晶パネル（いわゆるタッチパネル）が搭載されている。タッチパネルは、液晶パネルによる表示機能とタブレット機能による入力機能を備えている。すなわち、タッチパネルは、画像データやテキストデータに基づいて画像やテキストなどの情報を液晶パネルを介して表示する。そして、ユーザは、手やスタイラスペンを用いてタッチパネル上の入力キー（ボタンなど）が表示されている箇所に接触することによって、入力キーに対応する命令をＰＯＳやハンディーターミナルに入力する。ＰＯＳやハンディーターミナルは、タブレットを機能を利用して、ユーザとタッチパネルとの接触位置を検出することによって、当該接触位置に基づいてユーザが所望する操作命令を受け付ける。

ユーザは画面に表示されている操作項目を見ながらタッチパネルに操作命令を入力することができるため、タッチパネルはユーザにとって直感的に扱い易いユーザインターフェイスを提供できる。その他にも、タッチパネルにおいては、機械的なボタンの配置スペースが不要になる。また、タッチパネルは、表示される画像をアプリケーションプログラムなどに基づいて随時切り替えることが可能であるため、１つの表示画面を多様な操作項目に対応させることができる。

なお、タッチパネルには、抵抗膜方式（アナログ抵抗膜方式）、超音波方式、光遮断方式など多くの方式が存在する。ＰＯＳやハンディーターミナルなどの小中画面を有する電子機器の多くが、抵抗膜方式のタッチパネルを採用している。

従来のタッチパネルは、ＰＯＳ、ハンディーターミナル、キオスクの端末、銀行のＡＴＭ（Automatic Teller Machine）、自動販売機、携帯情報端末、携帯ゲーム機などの多くの機器に採用されている。一例として、ハンディーターミナルを接客用の端末として利用する場合について説明する。

ハンディーターミナルは、接客用のアプリケーションを搭載しており、タッチパネルを介して接客用の画面を表示する。接客店員は、顧客と対面しながら、ハンディーターミナルのタッチパネルに表示されているボタンにタッチすることによって、ボタンに対応する命令を入力する。たとえば、接客店員は、ハンディーターミナルに、３個の商品Ａを購入する命令や２個の商品Ｂを購入する命令を入力する。ハンディーターミナルは、購入金額の合計を計算する。接客店員は、ハンディーターミナルに、現金による支払いやクレジットカードの使用などの決済方法を選択する命令を入力する。このように、接客定員は、ハンディーターミナルのタッチパネルに表示される各種のボタンを押すことによって、各種の命令を入力することができるため、ハンディーターミナルに対して直感的に操作命令を入力することが可能である。

その他にも、タッチパネルを利用する電子機器に関して、下記のような技術が公知となっている。

たとえば、特開平６−２３０８９９号公報（特許文献１）には、液晶タッチパネル付き多項目入力装置が開示されている。特開平６−２３０８９９号公報（特許文献１）によると、入力装置は、複数頁に分類された入力すべき情報の項目名を頁単位に１つ又は複数個の領域に分割して表示し、分割領域ごとに表示されている頁番号を表示する液晶表示手段と、液晶表示手段の上面に配置され、液晶表示手段に表示された項目名の位置を上部から押すことによってその位置情報を出力するタッチパネル入力手段と、各分割領域に表示される頁ごとのイメージと情報項目名とその位置情報からなる表示データ等を記憶する記憶手段と、キー入力の位置を検出し入力された情報項目名を判定する入力項目判定手段及び表示頁切替手段等からなる制御手段とから構成される。

また、特開昭６３−１２７３２４号公報（特許文献２）には、タッチパネル入力装置が開示されている。特開昭６３−１２７３２４号公報（特許文献２）によると、タッチパネル入力装置は、文字を含む画像を表示する手段、および該表示手段上に重ねられ、透明材質から構成される入力キーを含む。タッチパネル入力装置は、該キーの配列に対応した位置に、該表示手段により、該文字を含む画像を表示する。タッチパネル入力装置は、上記キーの中、オペレータが押下すると有効となる押下対象キーに対応する位置の画像部分を、該押下対象キーを除いたキーに対応する位置の画像部分の表示方法とは異なる表示方法で表示する手段を備える。タッチパネル入力装置は、オペレータがキーを押下する以前に、上記表示手段に表示された該押下対象キーに対応する位置の画像部分を、該押下対象キーを除いたキーに対応する位置の画像部分の表示方法とは異なる方法で表示する。

また、特開平８−３５８３４号公報（特許文献３）には、平面精度測定装置並びにその入力装置及び監視装置が開示されている。特開平８−３５８３４号公報（特許文献３）によると、入力装置は、測定装置の測定状況を監視するモニタ装置またはパネル型コンピュータのタッチパネルからなる入力表示部に、モニタ画面ごとに異なる配置で入力キーを表示する。また、入力装置は、入力キーを操作したときその部分を着色し、その着色状態を所定時間保持させる。
特開平６−２３０８９９号公報 特開昭６３−１２７３２４号公報 特開平８−３５８３４号公報

上記のような、表示パネル上に仮想の入力キーを表示することができる電子機器に関しては、ユーザによる誤入力を防止するための技術が求められている。たとえば、ユーザは、入力操作に慣れてくると、表示パネルに表示されている内容をしっかり確認することなく、最終決定を下すための決定ボタンなどを押してしまうことがある。ユーザが、誤って決定ボタンを押すと、電子機器は、それまでに入力された命令群を確定し、当該命令群を他の装置へ送信する虞がある。

本発明は、かかる問題を解決するためになされたものであり、その目的は、仮想の入力キーを表示するとともに当該入力キーに対応する命令を受け付けるための入力装置、入力方法、および入力プログラムであって、ユーザが誤入力をし難い入力装置、入力方法、および入力プログラムを提供することにある。

この発明のある局面に従うと、入力装置が提供される。入力装置は、表示パネルと、表示パネルに入力キーを表示させる表示制御手段と、表示パネルに対する少なくとも１つの入力位置を検出する検出手段と、検出手段が入力キーの表示領域内で複数の入力位置を検出したか否かを判断する判断手段と、判断手段が複数の入力位置を検知することにより、入力キーに対応する命令を有効とし実行する実行手段とを備える。

好ましくは、表示パネルは、画像データを取得する。検出手段は、表示パネルからの画像データに基づいて入力キーの表示領域内に対応する少なくとも１つの入力位置を検出する。

好ましくは、表示パネルは、入射光に応じて出力信号を生成する複数の光センサ回路と、入力信号に応じて色を発するための複数の画素回路とを含む。表示パネルは、複数の画素回路のそれぞれに入力信号を入力することによって、入力キーを表示し、複数の光センサ回路からの出力信号に基づいて画像データを取得する。

好ましくは、表示パネルは、少なくとも１つの入力位置を示す入力データを生成する。検出手段は、入力データを取得することによって、少なくとも１つの入力位置を取得する。

好ましくは、入力装置は、複数の入力キーに対応付けて、入力キーが重要キーであるか通常キーであるかを示す重要情報を記憶する記憶部をさらに備える。実行手段は、重要情報を参照して、通常キーの表示領域内で少なくとも１つの入力位置が検出されたときに、通常キーに対応する命令を有効とし、重要情報を参照して、重要キーの表示領域内で複数の入力位置が検出されたときに、重要キーに対応する命令を有効とする。

この発明の別の局面に従うと、表示パネルと演算処理部とを備える入力装置における入力方法が提供される。入力方法は、演算処理部が、表示パネルに入力キーを表示させるステップと、演算処理部が、表示パネルに対する少なくとも１つの入力位置を検出するステップと、演算処理部が、同一の入力キーに対して同時に複数の入力位置を検出したときに、入力キーに対応する命令を受け付けるステップとを備える。

この発明の別の局面に従うと、表示パネルと演算処理部とを備える入力装置に命令を入力させるための入力プログラムが提供される。入力プログラムは、演算処理部に、表示パネルに入力キーを表示させるステップと、表示パネルに対する少なくとも１つの入力位置を検出するステップと、同一の入力キーに対して同時に複数の入力位置を検出したときに、入力キーに対応する命令を受け付けるステップとを実行させる。

以上のように、本発明によって、仮想の入力キーを表示するとともに当該入力キーに対応する命令を受け付けるための入力装置、入力方法、および入力プログラムであって、ユーザが誤入力をし難い入力装置、入力方法、および入力プログラムが提供される。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［実施の形態１］
＜電子機器１００の全体構成＞
まず、入力装置の一例である電子機器１００の全体構成について説明する。本実施の形態に係る電子機器１００は、表示パネルにユーザが押下するための仮想ボタンを表示させる。ユーザは、表示パネルに表示された仮想ボタンにタッチすることによって、当該仮想ボタンに対応する命令を電子機器１００に入力する。

以下では、本実施の形態に係る電子機器１００の一例としてハンディーターミナルについて説明する。ただし、電子機器１００は、ＰＯＳ（Point of sale）ターミナルや、ＰＤＡ（Personal Digital Assistant）、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などのような、仮想の入力キーを表示するとともに、当該入力キーに対応する選択命令を受け付けることができる入力装置であればよい。

また、以下では、入力キーとは、名称とともに表示パネル上に表示されるボタンだけでなく、名称が付されないボタンをも含む概念である。すなわち、表示パネルがボタンの存在（ボタンの枠）を示す画像のみを表示して、当該ボタンの名称が記載されたシールなどが表示パネルの周囲に貼られてもよい。

図１は、本実施の形態に係る電子機器１００の外観を示す概略図である。より詳細には、図１（Ａ）はユーザが表示パネル１０２を介して商品ボタン１０２Ａを押すときの電子機器１００を示すイメージ図であり、図１（Ｂ）はユーザが表示パネル１０２を介して決済ボタン１０２Ｂを押すときの電子機器１００を示すイメージ図であり、図１（Ｃ）はユーザが１本の指９００Ａで表示パネル１０２を介して決定ボタン１０２Ｃを押すときの電子機器１００を示すイメージ図であり、図１（Ｄ）はユーザが２本の指９００Ａ，９００Ｂで表示パネル１０２を介して決定ボタン１０２Ｃを押すとき電子機器１００を示すイメージ図であり、図１（Ｅ）は表示パネル１０２を介して決定ボタン１０２Ｃに対応する決定命令を受け付けたときの電子機器１００を示すイメージ図である。

図１（Ａ）から図１（Ｅ）を参照して、電子機器１００は、表示パネル１０２や操作キー１７７を含む。本実施の形態に係る表示パネル１０２は、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０ともいう。）を含む。電子機器１００は、表示パネル１０２を介して、ユーザの指９００Ａ，９００Ｂなどの外部の物体と表示パネル１０２との複数の入力位置を検知することができる。

ここで、「入力位置」とは、外部の物体と表示パネル１０２との接触位置だけでなく、たとえば表示パネル１０２に後述の光センサ内蔵液晶パネル１４０を使用する場合のように、外部の物体が表示パネル１０２上にかざされた際の、外部の物体の位置に対応する表示パネル１０２上の位置などをも含む概念である。電子機器１００は、各種のセンサ機能を利用して、このような入力位置を検出できればよい。換言すれば、本実施の形態に係る電子機器１００は、外部の物体と表示パネル１０２との間に隙間が存在しても、入力位置を検出できるものである。以下では、入力位置の一例として「接触位置」という用語を用いて説明する。

電子機器１００は、外部の物体と表示パネルとの複数の接触位置を検出できるものであればよい。すなわち、表示パネルは、外部の物体と表示パネルとの複数の接触位置を検出できるタブレット機能を有していてもよい。表示パネルは、いわゆる多点検出型タッチパネルであってもよい。

そして、本実施の形態に係る電子機器１００は、表示パネル１０２に商品の選択命令を受け付けるための商品ボタン１０２Ａなどのような各種の入力キーを表示させる。電子機器１００は、表示パネル１０２を介して、ユーザから入力キーに対応する命令を受け付ける。たとえば、電子機器１００は、表示パネル１０２に表示されている商品ボタン１０２Ａがタッチされたことを検知して、ユーザから商品Ａの選択命令を受け付ける。たとえば、電子機器１００は、表示パネル１０２に表示されている決済ボタン１０２Ｂがタッチされたことを検知して、ユーザからクレジット決済の選択命令を受け付ける。たとえば、電子機器１００は、表示パネル１０２に表示されている決定ボタン１０２Ｃがタッチされたことを検知して、ユーザから既に入力された一連の命令群の入力を確定するための決定命令（確定命令）を受け付ける。

＜電子機器１００の動作概要＞
次に、図１（Ａ）から図１（Ｅ）を参照して、本実施の形態に係る電子機器１００の動作概要について説明する。

図１（Ａ）を参照して、まず、電子機器１００は、表示パネル１０２を介して第１の通常ボタンを表示する。ここでは、電子機器１００は、表示パネル１０２に商品の各々に対応する商品ボタン１０２Ａを選択可能に表示させる。ユーザは、自身の第１の指９００Ａ（たとえば人差し指）などを用いて、本実施の形態に係る電子機器１００の表示パネル１０２に表示されている商品ボタン１０２Ａにタッチする。これによって、電子機器１００は、商品ボタン１０２Ａに対応する商品（商品Ａ）の選択命令を受け付ける。すなわち、電子機器１００は、選択命令を実行する。

図１（Ｂ）を参照して、電子機器１００は、表示パネル１０２を介して第２の通常ボタンを表示する。ここでは、電子機器１００は、表示パネル１０２に決済方法の各々に対応する決済ボタン１０２Ｂを選択可能に表示させる。ユーザは、自身の第１の指９００Ａなどを用いて、本実施の形態に係る電子機器１００の表示パネル１０２に表示されている決済ボタン１０２Ｂにタッチする。これによって、電子機器１００は、決済ボタン１０２Ｂに対応する決済方法（クレジット決済）の選択命令を受け付ける。すなわち、電子機器１００は、選択命令を実行する。

図１（Ｃ）を参照して、電子機器１００は、表示パネル１０２を介して重要ボタンを表示する。ここでは、電子機器１００は、表示パネル１０２に既に入力済みの一連の命令群を確定するための決定ボタン１０２Ｃを（選択可能に）表示させる。ユーザが、自身の第１の指９００Ａだけを用いて、本実施の形態に係る電子機器１００の表示パネル１０２に表示されている決定ボタン１０２Ｃにタッチする。このとき、電子機器１００は、表示パネル１０２の決定ボタン１０２Ｃの表示領域に１箇所しか接触位置を検知しないため、決定ボタン１０２Ｃに対応する決定命令を受け付けない。

図１（Ｄ）を参照して、同様に、電子機器１００は、表示パネル１０２を介して重要ボタンを表示する。ここでは、電子機器１００は、表示パネル１０２に入力済みの一連の命令群を決定するための決定ボタン１０２Ｃを（選択可能に）表示させる。ユーザが、自身の第１の指９００Ａおよび第２の指９００Ｂ（たとえば中指）を用いて、本実施の形態に係る電子機器１００の表示パネル１０２に表示されている決定ボタン１０２Ｃにタッチする。このとき、電子機器１００は、表示パネル１０２の決定ボタン１０２Ｃの表示領域に２箇所（複数箇所）の接触位置を検知するため、決定ボタン１０２Ｃに対応する決定命令を受け付ける。すなわち、電子機器１００は、決定命令が有効であることを認識し、当該決定命令を実行する。

図１（Ｅ）を参照して、電子機器１００は、決定ボタン１０２Ｃに対応する決定命令を受け付ける（実行する）と、表示パネル１０２を介して、入力済みの一連の命令群が確定された旨、すなわち一連の操作手順に関する入力処理が完了したことを表示する。

なお、電子機器１００は、同時に複数の通常ボタンや重要ボタンを表示しても良いし、同時に１つの通常ボタンだけや１つの重要ボタンだけを表示させてもよい。また、いずれのボタンを通常ボタンに設定し、いずれのボタンを重要ボタンに設定するかは、ユーザや他のアプリケーションによって任意に決定される。

このように、本実施の形態に係る電子機器１００は、表示パネル１０２上に重要な命令を受け付けるための重要キーが表示されている場合、ユーザが複数の指９００Ａ，９００Ｂを用いて重要ボタンを押下したときにのみ、当該重要ボタンに対応する命令を受け付ける。その結果、本実施の形態に係る電子機器１００においては、ユーザが誤入力をし難い。

特に、本実施の形態に係る電子機器１００においては、電子機器１００に重要な命令を入力する際にはユーザが命令を誤入力し難く、電子機器１００に通常の命令を入力する際にはスムーズに命令を入力することができる。以下、このような機能を実現するための構成について詳述する。

＜電子機器１００のハードウェア構成＞
電子機器１００の具体的構成の一態様について説明する。図２は、電子機器１００のハードウェア構成を表わすブロック図である。図２を参照して、電子機器１００は、主たる構成要素として、本体装置１０１と、表示パネル１０２とを含む。

本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＳＲＡＭ（Static Random Access Memory）１７１と、フラッシュメモリ１７２と、メモリカードインターフェイス１７３と、通信部１７４と、ＵＳＢ（Universal Serial Bus）インターフェイス１７５と、クロック１７６と、操作キー１７７と、電源回路１９１と、バッテリ１９２を含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。

ＣＰＵ１１０は、各種のプログラムを実行することによって、電子機器１００の各部を制御する。

ＳＲＡＭ１７１は、ＣＰＵ１１０が実行するプログラムや、ＣＰＵ１１０のプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータなどを揮発的に格納する。

フラッシュメモリ１７２は、データを不揮発的に格納する。また、フラッシュメモリ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどのように、データの書き込みおよび消去が可能な記録媒体である。ただし、フラッシュメモリ１７２は、ＲＯＭ（Read-Only Memory）であってもよい。

また、フラッシュメモリ１７２は、その一部の領域に、電子機器１００を制御するためのオペレーティングシステム（Operating System、OS）を搭載している。また、フラッシュメモリ１７２は、その一部の領域に、たとえば接客用のアプリケーションやデータを格納している。そして、ユーザは、ＳＲＡＭ１７１の接客用のアプリケーションやデータを書き換えることによって、電子機器１００の動作を変更することができる。なお、本実施の形態においては、接客店員などのユーザに表示するための操作画面の推移、表示するボタンの態様などの構成はアプリケーションによって定義される。

メモリカードインターフェイス１７３には、メモリカード１７３１が装着される。メモリカード１７３１は、アプリケーションプログラムやその他のデータを格納する。電子機器１００のＣＰＵ１１０は、メモリカードインターフェイス１７３を介して、メモリカード１７３１からアプリケーションプログラムやその他のデータを読み出してＳＲＡＭ１７１やフラッシュメモリ１７２に格納することによって、アプリケーションプログラムやその他のデータを利用する。

通信部１７４は、図示しない他の電子機器との間で無線通信を行う。これによって、ユーザは、電子機器１００に入力した商品の選択命令や決済方法の選択命令などを示すデータをサーバなどの他の装置へ送信することができる。

ＵＳＢインターフェイス１７５は、同じくＵＳＢインターフェイスを有する外部のＵＳＢ機器１７５１と電子機器１００とを接続する。

クロック１７６は、時計機能を有し、ＣＰＵ１１０にアプリケーションが利用可能なタイミングを提供する。

操作キー１７７は、電子機器１００のユーザから命令やデータの入力を受け付ける。操作キー１７７は、たとえば、テンキーやキーボードなどを含む。操作キー１７７は、入力された命令やデータをＣＰＵ１１０に受け渡す。

電源回路１９１およびバッテリ１９２は、電子機器１００の各部に電力を供給する。バッテリ１９２は、電子機器１００から着脱可能であってもよい。また、電源回路１９１は、コネクタを介して外部電源１９３から電力を取得して、電子機器１００の各部に電力を供給する。

表示パネル１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。

ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。

液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。

内部ＩＦ（Interface）１７８は、本体装置１０１と表示パネル１０２との間で、データのやり取りを仲介する。

バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。

画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。

ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。

タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。

上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７〜図９）。

なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示パネル１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。

ここで、表示パネル１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示パネル１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。

ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、フラッシュメモリ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードインターフェイス１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、フラッシュメモリ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってフラッシュメモリ１７２から読み出され、ＳＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。

図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＳＲＡＭ１７１、フラッシュメモリ１７２、メモリカード１７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器１００の本体装置１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

＜光センサ内蔵液晶パネル１４０の構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。

図３を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。

また、図２に示した表示パネル１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。

走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。

データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。

なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。

画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。

画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。

なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示パネル１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。

Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。

ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。

光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。

そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。

また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。

なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。

光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。

フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。

ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。

スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。

アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図２に示した信号処理部１８３に送られる。

なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。

図４は、液晶パネル１４０とバックライト１７９との断面図である。図４を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。

アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。

また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。

対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。

また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。

カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。

液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。

なお、フォトダイオード１４５の位置は、上記の位置に限定されるものではなく、カラーフィルタ１５３ｒに対向する位置やカラーフィルタ１５３ｇに対向する位置に設けることも可能である。

ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。

以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。

まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。

ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ … （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。

ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。

次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。

このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。

なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。

次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。

このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。

この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。

ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。

ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。

まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。

なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。

１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。

以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。

なお、表示パネル１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。

また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。

以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。

このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。

図６は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。

図６を参照して、ユーザの指９００が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５は、当該反射された光を受光する。

また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５は、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５の受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５は受光できない。

ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４は、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。

以上により、表示パネル１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。

なお、指９００以外のスキャン対象物としては、スタイラスペンなどが挙げられる。
ところで、本実施の形態においては、電子機器１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。

＜データについて＞
次に、センシングコマンドについて説明する。なお、表示パネル１０２においては、画像処理エンジン１８０は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。

図７は、センシングコマンドの概略構成を示した図である。図７を参照して、センシングコマンドは、ヘッダのデータ領域ＤＡ０１と、タイミングを示すデータ領域ＤＡ０２と、データ種別を示すデータ領域ＤＡ０３と、読取方式を示すデータ領域ＤＡ０４と、画像階調を示すデータ領域ＤＡ０５と、解像度を示すデータ領域ＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。

図８は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。

図８を参照して、タイミングを示すデータ領域に「００」が設定されたセンシングコマンドは、画像処理エンジン１８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン１８０が受信した後に、光センサ回路１４４を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「０１」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「１０」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。

データ種別を示すデータ領域に「００１」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「０１０」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「１００」が設定されたセンシングコマンドは、全体画像の送信を要求する。

ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン１８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。

なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル１４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。

読取方式を示すデータ領域に「００」が設定されたセンシングコマンドは、バックライト１７９を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「０１」が設定されたセンシングコマンドは、バックライト１７９を消灯してスキャンすることを要求する。なお、バックライト１７９を消灯してスキャンする構成については後述する（図１１）。さらに、読取方式を示すデータ領域に「１０」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト１７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。

画像階調を示すデータ領域に「００」が設定されたセンシングコマンドは、白黒の２値の画像データを要求する。また、画像階調を示すデータ領域に「０１」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「１０」が設定されたセンシングコマンドは、ＲＧＢのカラーの画像データを要求する。

解像度を示すデータ領域に「０」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「１」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。

また、センシングコマンドには、図７および図８に示したデータ以外に、スキャンを行う領域（光センサ回路１４４を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。

図９は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示パネル１０２の画像処理エンジン１８０が本体装置１０１に対して送信するデータである。

図９を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン１８０のタイマ１８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン１８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。

図１０は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１０を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。

本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。

また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。

ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。

センシングコマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン１８０は、上記中心座標の値の書き込みを行った後、当該中心座標の値を含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。

また、センシングコマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記スキャン結果が変化した部分画像の画像データの書き込みを行った後、当該部分画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１０」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。

なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。

また、センシングコマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。

また、センシングコマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン１８０は、図９に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記全体画像の画像データの書き込みを行った後、当該全体画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。

また、センシングコマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。

＜スキャンの方法の変形例＞
次に、図６を参照して説明したスキャンの方法（つまり、反射像をスキャンする方法）とは異なるスキャンの方法について、図１１を参照して説明する。

図１１は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図１１を参照して、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している液晶パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。

ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４は、液晶パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。

以上により、表示パネル１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。

さらに、表示パネル１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示パネル１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。

この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。

＜本実施の形態に係る記憶媒体に格納されるデータ＞
次に、本実施の形態に係る電子機器１００のＳＲＡＭ１７１が格納するデータについて説明する。図１２は、本実施の形態に係るＳＲＡＭ１７１が格納する各種データを示すイメージ図である。

図１２を参照して、ＳＲＡＭ１７１は、「ボタンの数」、「ボタンの表示領域」、「ボタンの指数」、「ボタン内の面積」、「指の閾値」、「重要ボタン情報」、「入力命令」、「入力画像」、「認識用画像」、「ラベル１」、「ラベル２」、「計算用カウンタ」、「入力用カウンタ」、「認識用カウンタ」などの各種データ（図１３におけるデータ１７１Ａ）を一時的に格納する。

ここで、「ボタンの数」は、ＣＰＵ１１０がアプリケーションを実行することによって表示パネル１０２に表示させるボタンの数を示す情報である。「ボタンの表示領域」は、ボタン毎の、画面上に表示されるべき場所（領域）を示す情報である。たとえば、ボタンの表示領域は、ボタン毎の、ボタンの４隅の座標、ボタンの左上の座標とボタンの縦サイズとボタンの横サイズ、ボタンの中心の座標とボタンの縦サイズとボタンの横サイズなどを含む。「ボタンの指数」は、ボタン毎の、当該ボタンを押している指の数を示す情報である。「ボタン内の面積」は、ボタン毎の、および後述するラベル毎の、外部の物体と表示パネル１０２との接触面積を示す情報である。

「指の閾値」は、後述するラベルの各々を指として認識するための面積の閾値を示す情報である。たとえば、ＳＲＡＭ１７１は、１本の指を認識するための閾値として最小値と最大値とを格納し、２本の指を認識するための閾値として最小値と最大値とを格納する。「重要ボタン情報」は、ボタン毎に当該ボタンが重要ボタンであるか否かを示す情報である。「入力命令」は、ボタン毎の、操作命令を示す情報である。たとえば、入力命令は、商品を選択する選択命令であったり、決済方法を選択する命令であったり、一連の入力済みの命令を確定する決定命令であったりする。

「入力画像」は、表示パネル１０２を介して入力された画像を示す情報である。すなわち、入力画像は、ＣＰＵ１１０が、表示パネル１０２の画像処理エンジン１８０から取得した画像データである。画像データは、カラーであってもよいし、モノクロであってもよい。また、画像データは、２値画像であってもよいし、２より大きい多値画像であってもよい。

「認識用画像」は、ＣＰＵ１１０が、表示パネル１０２を介して入力された画像データに基づいて、ボタン毎の領域において２値化した画像を示すための情報である。すなわち、認識用画像は、ボタン毎にＳＲＡＭ１７１に格納される２値画像データである。

「ラベル１」は、ボタン毎の、ラベリング処理後のラベルの面積のうち、最大値を示す情報である。「ラベル２」は、ボタン毎の、ラベリング処理後のラベルの面積のうち、最大値の次に大きい値を示す情報である。

「計算用カウンタ」は、ボタン毎の画像認識を行うために演算上使用する情報である。「入力用カウンタ」は、表示パネル１０２を介して同じ画像データが入力された回数を示す情報である。「認識用カウンタ」は、回数の閾値を示す情報である。すなわち、ＣＰＵ１１０は、当該回数の閾値以上、表示パネル１０２を介して同じ画像データが入力された場合に、ボタンに対応する命令の入力を受け付ける。

＜本実施の形態に係る電子機器１００の機能構成＞
以下では、図１、図２、図１３を参照して、本実施の形態に係る電子機器１００の機能構成について説明する。なお、図１３は、本実施の形態に係る電子機器１００の機能構成を示すブロック図である。

本実施の形態に係る電子機器１００は、表示制御部１１１と、検出部１１２と、判断部１１３と、実行部１１４とを含む。また、電子機器１００は、図２にも示したように、ＳＲＡＭ１７１と、複数の光センサ回路１４４および複数の画素回路１４１を含む光センサ内蔵液晶パネル１４０を含む表示パネル１０２とを含む。

まず、表示パネル１０２の複数の光センサ回路１４４のそれぞれは、入射光を受光して、入射光に応じた電気信号を生成する。複数の光センサ回路１４４は全体として、画像処理エンジン１８０（図２）などを介して、入射光に対応する電気信号を画像データとして検出部１１２に入力する。なお、複数の光センサ回路１４４は、図１１に示すようにバックライト１７９を消灯させた状態で、指やスタイラスペンの位置を読み取ってもよい。

このように、本実施の形態に係る複数の光センサ回路１４４および画像処理エンジン１８０は全体として操作部を実現する。そして、操作部は、表示パネル１０２を介して、ユーザから表示パネル１０２に表示されている入力キーに対応する命令（選択命令や決定命令など）を受け付ける。

表示パネル１０２の複数の画素回路１４１のそれぞれは、表示制御部１１１からの画像データやテキストデータに基づいて、すなわちＣＰＵ１１０からの出力信号に基づいて外部に可視光を発する。より詳細には、複数の画素回路１４１は全体として、画像処理エンジン１８０（図２）などを介して、表示制御部１１１からの画像データやテキストデータに基づいて、バックライト１７９からの光を利用しながら入力キーやテキストなどを表示する。

このように、本実施の形態に係る複数の画素回路１４１および画像処理エンジン１８０は全体として表示部を実現する。すなわち、表示部は、表示パネル１０２に商品ボタン１０２Ａや決済ボタン１０２Ｂや決定ボタン１０２Ｃなどの入力キーを表示させる。

本実施の形態に係る操作部および表示部は光センサ内蔵液晶パネル１４０によって実現されているが、操作部および表示部は、外部の物体と表示パネルとの複数の接触位置を検出できるタッチパネルによって実現されてもよい。そして、表示パネルが、画像データではなく、直接、接触位置（接触座標）を示すデータを検出部１１２に受け渡してもよい。

表示制御部１１１と、検出部１１２と、判断部１１３と、実行部１１４とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＳＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。

まず、表示制御部１１１は、ＳＲＡＭ１７１の「ボタンの表示領域」を参照して、複数の画素回路１４１を介して表示パネル１０２にボタンを表示する。図１に示すように、表示制御部１１１は、ＳＲＡＭ１７１の重要ボタン情報を参照して、表示パネル１０２に、重要ボタンを通常ボタンとは異なる表示態様にて表示させる。より詳細には、たとえば、表示制御部１１１は、表示パネル１０２に、重要ボタンに背景色を付して表示させ、通常ボタンに背景色を付さずに表示させる。あるいは、表示制御部１１１は、表示パネル１０２に、重要ボタンを大きく表示させ、通常ボタンを小さく表示させる。あるいは、表示制御部１１１は、表示パネル１０２に、ユーザに複数の指でタッチするように促すメッセージとともに重要ボタンを表示させる。

検出部１１２は、複数の光センサ回路１４４から画像処理エンジン１８０を介して入力される電気信号に基づいて、表示パネル１０２が取得した画像データを受け付ける。より詳細には、検出部１１２は、センシング時間毎に表示パネル１０２の画像処理エンジン１８０から出力される画像データを取得して、当該画像データに基づいて外部の物体と表示パネル１０２との接触位置を検出する。

なお、検出部１１２は、ＣＰＵ１１０と表示パネル１０２の複数の光センサ回路１４４とによって実現される機能であってもよい。すなわち、検出部１１２は、ＣＰＵ１１０の一部の機能と表示パネル１０２の受光機能とを含む機能ブロックを示す概念であってもよい。

以下では、本実施の形態に係る電子機器１００の検出部１１２におけるラベリング処理について説明する。図１４は、本実施の形態に係る各ボタンの表示領域に対応する２値画像を示すイメージ図である。

図２、図１２、図１３を参照して、検出部１１２として機能するＣＰＵ１１０は、表示パネル１０２からの画像データに基づいて、ラベリング処理を行う。本実施の形態において、検出部１１２は、外部の対象物（たとえば、ユーザの指９００など）を示す画像とそれ以外の画像とを区別するために、表示パネル１０２から取得した画像データに対して２値化処理を施すことによって、外部の物体と表示パネル１０２とのを検出する。そして、検出部１１２は、同一の値を有する連続した画素の塊（画素群）を一つの接触領域（ラベル）として認識する。

本実施の形態に係る検出部１１２は、表示パネル１０２が表示しているボタンの表示領域毎に、画素の塊を抽出する。そして、検出部１１２は、画素の塊毎に、画素の個数（たとえば、黒画素の個数など）をカウントすることによって、対象となる画素の塊の面積を計算する。そして、検出部１１２は、最大の面積を有する塊をラベル１、次に大きい塊をラベル２として、ＳＲＡＭ１７１に格納する。

そして、検出部１１２は、上記のラベリング処理の後に、ＳＲＡＭ１７１の指の閾値を参照して、画素の塊毎の面積が予め定められた指の閾値内に収まるか否かを判断する。検出部１１２は、指１本の閾値内に収まる画素の塊を、指１本の表示パネル１０２に対する接触領域として認識する。検出部１１２は、指２本の閾値内に収まる画素の塊を、指２本の表示パネル１０２に対する接触領域として認識する。検出部１１２は、各接触領域の中心あるいは重心などを、接触位置として判断部１１３へ出力する。

これによって、指９００以外の外部の物体が表示パネル１０２に接触した場合に、誤入力を防止することができる。すなわち、指９００の表示パネル１０２に対する接触位置の検出制度を向上させることができる。

ＳＲＡＭ１７１は、縦に連続する同一の値を有する画素の個数や、横に連続する同一の値を有する画素の個数の範囲を閾値として記憶してもよい。検出部１１２は、画素の塊毎の面積ではなく、連続した同一の値を有する画素の塊の縦方向の画素数や、連続した同一の値を有する画素の塊の縦方向の画素数に基づいて、画素の塊が指９００と表示パネル１０２との接触領域を示すか否かを判断してもよい。そして、検出部１１２は、指９００の表示パネル１０２に対する接触位置を取得してもよい。

ただし、画像処理エンジン１８０が、自身が生成した画像データに基づいて外部の物体を表わす画素の塊の中心座標を接触位置として取得して、当該接触位置を検出部１１２として機能するＣＰＵ１１０に受け渡してもよい。あるいは、検出部１１２が、画像処理エンジン１８０などによって実現されるものであってもよい。すなわち、検出部１１２の一部として機能する画像処理エンジン１８０が、外部の物体を表わす画素の塊の中心座標を接触位置として取得して、当該接触位置を検出部１１２の一部として機能するＣＰＵ１１０に受け渡してもよい。

図１２を参照して、簡便には、判断部１１３は、検出部１１２が検出した接触位置に基づいて、検出部１１２が複数の接触位置を検出したか否かを判断する。そして、実行部１１４は、ＳＲＡＭ１７１の「入力命令」を参照して、当該判断結果に基づいて、表示パネル１０２に表示されている入力キーに対応する命令を受け付ける。すなわち、実行部１１４は、判断部１１３が検出部１１２が複数の接触位置を検出したと判断した場合に、入力キーに対応する命令を有効なものとして認識し、当該命令を実行する。

より詳細には、判断部１１３は、ＳＲＡＭ１７１の重要ボタン情報に基づいて、表示パネル１０２が重要ボタン（たとえば、決定ボタン１０２Ｃ）を表示しているか否かを判断する。判断部１１３は、表示パネル１０２が重要ボタンを表示している場合に、検出部１１２が複数の接触位置を検出したか否かを判断する。判断部１１３は、表示パネル１０２が通常ボタンを表示している場合に、検出部１１２が１つの接触位置を検出したか否かを判断する。あるいは、判断部１１３は、表示パネル１０２が通常ボタンを表示している場合に、検出部１１２が少なくとも１つの接触位置を検出したか否かを判断する。

好ましくは、判断部１１３は、ＳＲＡＭ１７１のボタンの表示領域と、検出部１１２からの接触位置とに基づいて、ボタン毎に、ボタンの表示領域内に複数の接触位置が検出されたか否かを判断する。そして、実行部１１４は、ボタンの表示領域内に複数の接触位置が検出された場合に、当該ボタンに対応する命令を受け付ける。すなわち、実行部１１４は、当該ボタンに対応する命令を有効とし、当該命令を実行する。

より好ましくは、判断部１１３は、ＳＲＡＭ１７１のボタンの表示領域と、重要ボタン情報と、検出部１１２からの接触位置とに基づいて、重要ボタン（たとえば、決定ボタン１０２Ｃなど）の表示領域内に複数の接触位置が検出されたか否かを判断する。そして、実行部１１４は、重要ボタンの表示領域内に複数の接触位置が検出された場合に、当該重要ボタンに対応する命令を受け付ける。すなわち、実行部１１４は、当該重要ボタンに対応する命令を有効とし、当該命令を実行する。

また、判断部１１３は、ＳＲＡＭ１７１のボタンの表示領域と、重要ボタン情報と、検出部１１２からの接触位置とに基づいて、通常ボタン（たとえば、商品ボタン１０２Ａや決済ボタン１０２Ｂなど）の表示領域内に１つの（少なくとも１つの）接触位置が検出されたか否かを判断する。そして、実行部１１４は、通常ボタンの表示領域内に１つの（少なくとも１つの）接触位置が検出された場合に、当該通常ボタンに対応する命令を受け付ける。すなわち、実行部１１４は、当該通常ボタンに対応する命令を有効とし、当該命令を実行する。

前述したラベリング処理および後述する入力処理を含め、本実施の形態に係る電子機器１００においては、検出部１１２として機能するＣＰＵ１１０が、表示パネル１０２が表示しているボタン毎に接触位置を検出する。そして、判断部１１３として機能するＣＰＵ１１０が、ボタン毎に複数の接触位置が検出されたか否かを判断する。

しかしながら、たとえば、検出部１１２として機能するＣＰＵ１１０が、表示パネル１０２の全領域における少なくとも１つの接触領域を取得してもよい。より詳細には、検出部１１２は、表示パネル１０２からの画像データに基づいて表示パネル１０２の全領域の２値画像データを生成する。検出部１１２は、当該２値画像データに基づいて表示パネル１０２の全領域における少なくとも１つの接触位置を取得して、当該少なくとも１つの接触位置を判断部１１３に受け渡す。判断部１１３として機能するＣＰＵ１１０は、ＳＲＡＭ１７１の「ボタンの表示領域」を参照して、当該少なくとも１つの接触位置が各ボタンの表示領域内で検出されたか否かを判断する。

そして、実行部１１４として機能するＣＰＵ１１０は、ＳＲＡＭ１７１の「重要ボタン情報」と「入力命令」とを参照して、重要ボタンの表示領域内で複数の接触位置が検出されたときに、当該重要ボタンに対応する命令を受け付ける。実行部１１４は、ＳＲＡＭ１７１の「重要ボタン情報」と「入力命令」とを参照して、通常ボタンの表示領域内で少なくとも１つの接触位置が検出されたときに、当該通常ボタンに対応する命令を受け付ける。

あるいは、前述したように、表示パネル１０２が、光センサ内蔵液晶パネル１４０や多点検知用のタブレット機能を有してもよい。すなわち、表示パネル１０２が、直接、複数の接触位置を検出できるものであってもよい。そして、表示パネル１０２は、少なくとも１つの接触位置（接触座標）を示す位置データを検出部１１２として機能するＣＰＵ１１０に受け渡してもよい。この場合、検出部１１２は、表示パネル１０２から位置データを取得して、少なくとも１つの接触位置を判断部１１３に受け渡す。このように、検出部１１２は、画像データを利用することなく、少なくとも１つの接触位置を検出してもよい。判断部１１３は、ＳＲＡＭ１７１の「ボタンの表示領域」を参照して、当該少なくとも１つの接触位置が各ボタンの表示領域内で検出されたか否かを判断する。実行部１１４の処理は、上記同様であるため、ここでは説明を繰り返さない。

＜入力処理＞
次に、本実施の形態に係る電子機器１００における入力処理の処理手順について説明する。図１５は、本実施の形態に係る電子機器１００における入力処理の処理手順を示すフローチャートである。

図２、図１２、図１５を参照して、まず、表示制御部１１１として機能するＣＰＵ１１０は、表示パネル１０２に操作用の画面を表示させる（ステップＳ１０２）。すなわち、ＣＰＵ１１０は、表示パネル１０２に次に入力すべき命令の属性などを表示する。ＣＰＵ１１０は、ＳＲＡＭ１７１の「重要ボタン情報」を参照して、表示パネル１０２に重要な操作画面を表示するか否かを判断する（ステップＳ１０４）。重要な操作画面とは、重要ボタンの画像が含まれる画面をいう。すなわち、ＣＰＵ１１０は、表示パネル１０２に重要ボタンを表示させか否かを判断する。

ＣＰＵ１１０は、表示パネル１０２に重要な操作画面を表示させている場合（ステップＳ１０４にてＹＥＳである場合）、重要ボタンのための多点数を設定する（ステップＳ１０６）。重要ボタンに対する多点数とは、ＣＰＵ１１０が、重要ボタンに対応する命令を受け付けるか否かを判断するための接触位置の個数の閾値である。

ＣＰＵ１１０は、多点数が設定された重要ボタンを他の通常ボタンとは異なる表示形態にて表示パネル１０２に表示させる（ステップＳ１０８）。ＣＰＵ１１０は、重要でない項目に対応する通常ボタンを通常の表示形態にて表示パネル１０２に表示させる（ステップＳ１１０）。たとえば、本実施の形態においては、ＣＰＵ１１０は、表示パネル１０２に、背景色が赤色の重要ボタンを表示させ、背景色が無色の通常ボタンを表示させる。

検出部１１２として機能するＣＰＵ１１０は、表示パネル１０２の光センサ回路１４４を介して画像データを取得する（ステップＳ１１２）。そして、ＣＰＵ１１０は、表示パネル１０２からの画像データに基づいて、ボタン読込処理（ステップＳ２００）を実行する。なお、ボタン読込処理（ステップＳ２００）については後述する。

判断部１１３として機能するＣＰＵ１１０は、ボタン読込処理（ステップＳ２００）の返り値に基づいて、重要ボタンに対して正しい多点入力がされたか否かを判断する（ステップＳ１１４）。重要ボタンに対して正しい多点入力がされた場合（ステップＳ１１４にてＹＥＳである場合）、実行部１１４として機能するＣＰＵ１１０は、重要ボタンに対応する命令を受け付けて、当該命令に対応する処理を実行する（ステップＳ１１６）。すなわち、ＣＰＵ１１０は、重要ボタンに対応する命令の入力を有効とみなす。

ＣＰＵ１１０は、操作画面の遷移が終了したか否かを判断する（ステップＳ１３０）。操作画面の遷移が終了した場合（ステップＳ１３０にてＹＥＳである場合）、ＣＰＵ１１０は入力処理を終了する。操作画面の遷移が終了しない場合（ステップＳ１３０にてＮＯである場合）、ＣＰＵ１１０はステップＳ１０２からの処理を繰り返す。

一方、重要ボタンに対して正しい多点入力がされなかった場合（ステップＳ１１４にてＮＯである場合）、ＣＰＵ１１０は、通常ボタンに対して正しい１点入力がされたか否かを判断する（ステップＳ１１８）。通常ボタンに対して正しい１点入力がされた場合（ステップＳ１１８にてＹＥＳである場合）、ＣＰＵ１１０は、通常ボタンに対応する命令を受け付けて、当該命令に対応する処理を実行する（ステップＳ１２０）。すなわち、ＣＰＵ１１０は、通常ボタンに対応する命令の入力を有効とみなす。ＣＰＵ１１０は、ステップＳ１３０からの処理を繰り返す。通常ボタンに対して正しい１点入力がされなかった場合（ステップＳ１１８にてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１１２からの処理を繰り返す。

一方、ＣＰＵ１１０は、表示パネル１０２に重要な操作画面を表示させていない場合（ステップＳ１０４にてＮＯである場合）、表示パネル１０２に通常ボタンを表示させる（ステップＳ１２２）。ＣＰＵ１１０は、表示パネル１０２の光センサ回路１４４を介して、画像データを取得する（ステップＳ１２４）。ＣＰＵ１１０は、通常ボタンに対して正しい１点入力がされたか否かを判断する（ステップＳ１２６）。

通常ボタンに対して正しい１点入力がされた場合（ステップＳ１２６にＹＥＳである場合）、ＣＰＵ１１０は、通常ボタンに対応する命令を受け付けて、当該通常ボタンに対応する処理を実行する（ステップＳ１２８）。ＣＰＵ１１０は、ステップＳ１３０からの処理を繰り返す。一方、通常ボタンに対して正しい１点入力がされなかった場合（ステップＳ１２６にてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１２４からの処理を繰り返す。

＜ボタン読込処理＞
次に、本実施の形態に係る電子機器１００におけるボタン読み込み込処理（ステップＳ２００）について説明する。図１６は、本実施の形態に係る電子機器１００におけるボタン読み込み処理（ステップＳ２００）の処理手順を示すフローチャートである。

図２、図１２、図１６を参照して、検出部１１２として機能するＣＰＵ１１０は、ＳＲＡＭ１７１のｐの値を初期化する（ステップＳ２０２）。ｐは、表示パネル１０２が表示しているボタン毎に割り振られる引数である。ＣＰＵ１１０は、ＳＲＡＭ１７１のｐにｍが格納されているか否か、すなわちｐ＝ｍであるか否かを判断する（ステップＳ２０４）。

ｐ＝ｍでない場合（ステップＳ２０４にてＮＯである場合）、ＣＰＵ１１０はｐの値をインクリメントする（ステップＳ２０６）。ＣＰＵ１１０は、ＳＲＡＭ１７１に格納されている画像データを参照して、ｐ番目のボタンが表示されている領域の画像を２値化する（ステップＳ２０８）。ＣＰＵ１１０は、ｐ番目のボタンが表示されている領域の２値画像に対してラベリング処理を行う（ステップＳ２１０）。

ＣＰＵ１１０は、各ラベル（画素の塊）の面積を計算する（ステップＳ２１２）。すなわち、ＣＰＵ１１０は、ｐ番目のボタンが表示されている領域における黒画素の塊の画素数をカウントする（ステップＳ２１２）。ＣＰＵ１１０は、各ラベルの中で、面積が１番大きいラベルを「ラベル１」に、２番目に面積が大きいラベルを「ラベル２」に設定する（ステップＳ２１４）。ＣＰＵ１１０は、ラベル１の面積が２本指の閾値の範囲内か否かを判断する（ステップＳ２１６）。

ラベル１の面積が２本の指の閾値の範囲内でない場合（ステップＳ２１６にてＮＯである場合）、ＣＰＵ１１０は、ＳＲＡＭ１７１のａ［ｐ］に０を代入する（ステップＳ２２０）。ＣＰＵ１１０は、ラベル１の面積が１本の指の閾値の範囲内か否かを判断する（ステップＳ２２２）。ラベル１の面積が１本の指の閾値の範囲内である場合（ステップＳ２２２にてＹＥＳである場合）、ＣＰＵ１１０は、ＳＲＡＭ１７１のａ［ｐ］の値をインクリメントする（ステップＳ２２４）。ＣＰＵ１１０は、ラベル２の面積が２本の指の閾値の範囲内か否かを判断する（ステップＳ２２６）。

一方、ラベル１の面積が１本の指の閾値の範囲内でない場合（ステップＳ２２２にてＮＯである場合）にも、ＣＰＵ１１０は、ラベル２の面積が２本の指の閾値の範囲内か否かを判断する（ステップＳ２２６）。ラベル２の面積が２本の指の閾値の範囲内である場合（ステップＳ２２６にてＹＥＳである場合）、ＣＰＵ１１０は、ＳＲＡＭ１７１のａ［ｐ］をインクリメントする（ステップＳ２２８）。ＣＰＵ１１０は、ステップＳ２０４からの処理を繰り返す。

一方、ラベル２の面積が２本の指の閾値の範囲内でない場合（ステップＳ２２６にてＮＯである場合）、ＣＰＵ１１０は、ステップＳ２０４からの処理を繰り返す。また、ラベル１の面積が２本の指の閾値の範囲内である場合（ステップＳ２１６にてＹＥＳである場合）、ＣＰＵ１１０は、ＳＲＡＭ１７１のａ［ｐ］に２を代入し（ステップＳ２１８）、ステップＳ２０４からの処理を繰り返す。

そして、ｐ＝ｍである場合（ステップＳ２０４にてＹＥＳである場合）、ＣＰＵ１１０は、ＳＲＡＭ１７１を参照して、ａ［１］〜ａ［ｍ］の中に、０以外のデータが１つだけ存在するか否かを判断する（ステップＳ２３０）。ＳＲＡＭ１７１のａ［１］〜ａ［ｍ］のうち、０以外のデータが１つだけ存在する場合（ステップＳ２３０にてＹＥＳである場合）、ＣＰＵ１１０は、表示パネル１０２に表示されているボタンが押下されたと認識する。すなわち、ＣＰＵ１１０は、入力処理に対する返り値として、当該０以外のデータと当該データに対応するボタンを識別するための情報とを対応付けてＳＲＡＭ１７１の「ボタンの指数」に格納する（ステップＳ２３２）。一方、ａ［１］〜ａ［ｍ］の中に、０以外のデータがない場合および０以外のデータが複数存在する場合（ステップＳ２３０にてＮＯである場合）、ＣＰＵ１１０はボタンが押下されなかったと認識する（ステップＳ２３４）。ＣＰＵ１１０は、ボタン読込処理（ステップＳ２００）を終了する。

これにより、図１５に示す入力処理のステップＳ１１４において、判断部１１３として機能するＣＰＵ１１０は、ＳＲＡＭ１７１の「ボタンの指数」を参照して重要ボタンに対応するａ［ｐ］に２が代入されているか否かを判断することによって、重要ボタンに正しい多点入力がされたか否かを判断することができる。すなわち、ＣＰＵ１１０は、重要ボタンに対応するａ［ｐ］が２である場合、重要ボタンに正しい多点入力がされたと判断する（ステップＳ１１４にてＹＥＳである場合）。一方、ＣＰＵ１１０は、重要ボタンに対応するａ［ｐ］が２でない場合、重要ボタンに正しい多点入力がされなかったと判断する（ステップＳ１１４にてＮＯである場合）。

また、図１５に示す入力処理のステップＳ１１８において、ＣＰＵ１１０は、ＳＲＡＭ１７１の「ボタンの指数」を参照して通常ボタンに対応するａ［ｐ］に１が代入されているか否かに基づいて、通常ボタンに正しい１点入力がされたか否かを判断する。すなわち、ＣＰＵ１１０は、ＳＲＡＭの通常ボタンに対応するａ［ｐ］が１である場合、通常ボタンに正しい１点入力がされたものと判断する（ステップＳ１１８にてＹＥＳである場合）。一方、ＣＰＵ１１０は、ＳＲＡＭ１７１のすべての通常ボタンに対応するａ［ｐ］が１でない場合、あるいはボタンが押下されなかったと認識した場合（ステップＳ２３４）、通常ボタンに正しい１点入力がされなかったものと判断する（ステップＳ１１８にてＮＯである場合）。

＜その他の実施の形態＞
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本実施の形態に係る電子機器の外観を示す概略図である。 電子機器のハードウェア構成を表わすブロック図である。 液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。 液晶パネルとバックライトとの断面図である。 光センサ回路を動作させる際のタイミングチャートを示した図である。 スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。 センシングコマンドの概略構成を示した図である。 センシングコマンドの各領域におけるデータの値と当該値が示す意味内容とを示した図である。 応答データの概略構成を示した図である。 指をスキャンすることにより得られた画像を示した図である。 スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。 本実施の形態に係るＳＲＡＭが格納する各種データを示すイメージ図である。 本実施の形態に係る電子機器の機能構成を示すブロック図である。 本実施の形態に係る各ボタンの表示領域に対応する２値画像を示すイメージ図である。 本実施の形態に係る電子機器における入力処理の処理手順を示すフローチャートである。 本実施の形態に係る電子機器におけるボタン読み込み処理の処理手順を示すフローチャートである。

符号の説明

１００ 電子機器、１０１ 本体装置、１０２ 表示パネル、１１０ ＣＰＵ、１１１ 表示制御部、１１２ 検出部、１１３ 判断部、１１４ 実行部、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０ 光センサ内蔵液晶パネル、１４１ 画素回路、１４１ｂ，１４１ｇ，１４１ｒ サブピクセル回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ回路、１４５，１４５ｂ，１４５ｇ，１４５ｒ フォトダイオード、１４６ コンデンサ、１５１Ａ アクティブマトリクス基板、１５１Ｂ 対向基板、１５２ 液晶層、１５３ｂ，１５３ｇ，１５３ｒ カラーフィルタ、１５７ データ信号線、１６１ 偏光フィルタ、１６２ ガラス基板、１６３ 遮光膜、１６４ 配向膜、１７１ ＲＡＭ、１７３ メモリカードインターフェイス、１７４ 通信装置、１７５ ＵＳＢインターフェイス、１７６ クロック、１７７ 操作キー、１７９ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御部、１８２ タイマ、１８３ 信号処理部、１９１ 電源回路、１９２ バッテリ、１９３ 外部電源、９００，９００Ａ，９００Ｂ 指、１７３１ メモリカード、１７５１ ＵＳＢ機器、ＤＢ１，ＤＢ２ データバス。

Claims (7)

1. 表示パネルと、
   前記表示パネルに入力キーを表示させる表示制御手段と、
   前記表示パネルに対する少なくとも１つの入力位置を検出する検出手段と、
   前記検出手段が前記入力キーの表示領域内で複数の入力位置を検出したか否かを判断する判断手段と、
   前記判断手段が複数の入力位置を検知することにより、前記入力キーに対応する命令を有効とし実行する実行手段とを備える、入力装置。
2. 前記表示パネルは、画像データを取得し、
   前記検出手段は、前記表示パネルからの前記画像データに基づいて前記入力キーの表示領域内に対応する前記少なくとも１つの入力位置を検出する、請求項１に記載の入力装置。
3. 前記表示パネルは、
   入射光に応じて出力信号を生成する複数の光センサ回路と、
   入力信号に応じて色を発するための複数の画素回路とを含み、
   前記表示パネルは、
   前記複数の画素回路のそれぞれに前記入力信号を入力することによって、前記入力キーを表示し、
   前記複数の光センサ回路からの前記出力信号に基づいて前記画像データを取得する、請求項２に記載の入力装置。
4. 前記表示パネルは、前記少なくとも１つの入力位置を示す入力データを生成し、
   前記検出手段は、前記入力データを取得することによって、前記少なくとも１つの入力位置を取得する、請求項１に記載の入力装置。
5. 複数の前記入力キーに対応付けて、入力キーが重要キーであるか通常キーであるかを示す重要情報を記憶する記憶部をさらに備え、
   前記実行手段は、
   前記重要情報を参照して、前記通常キーの表示領域内で前記少なくとも１つの入力位置が検出されたときに、前記通常キーに対応する命令を有効とし、
   前記重要情報を参照して、前記重要キーの表示領域内で前記複数の入力位置が検出されたときに、前記重要キーに対応する命令を有効とする、請求項１から４のいずれかに記載の入力装置。
6. 表示パネルと演算処理部とを備える入力装置における入力方法であって、
   前記演算処理部が、前記表示パネルに入力キーを表示させるステップと、
   前記演算処理部が、前記表示パネルに対する少なくとも１つの入力位置を検出するステップと、
   前記演算処理部が、同一の入力キーに対して同時に複数の前記入力位置を検出したときに、前記入力キーに対応する命令を受け付けるステップとを備える、入力方法。
7. 表示パネルと演算処理部とを備える入力装置に命令を入力させるための入力プログラムであって、
   前記演算処理部に、
   前記表示パネルに入力キーを表示させるステップと、
   前記表示パネルに対する少なくとも１つの入力位置を検出するステップと、
   同一の入力キーに対して同時に複数の前記入力位置を検出したときに、前記入力キーに対応する命令を受け付けるステップとを実行させる、入力プログラム。

Images