JP2010117841A - 像検知装置、入力位置の認識方法、およびプログラム - Google Patents

Abstract

【課題】情報機器とユーザとの間の対話を円滑化する。
【解決手段】本発明に係る像検知装置は、面状部材（センサ内蔵液晶パネル３０１など）が検知した対象物（指６４など）の像に基づいて、面状部材上の選択された領域（選択領域３６０）の位置を検出し、当該対象物の像から対象物の進入方向を検出し、当該進入方向に応じて上記領域の位置に対する補正の方向を決定して当該領域の位置に対する補正を行い、当該補正後の位置を面状部材に対する入力位置として認識する。
【選択図】図２

Description

本発明は、像検知装置、及び該装置における入力位置の認識方法に関するものである。また、当該像検知装置を動作させるためのプログラムに関する。

情報化社会の発展に伴い、様々な場面において情報機器が利用される。そのため、情報機器とそのユーザとの対話を円滑化する技術は非常に重要である。とりわけ、情報機器に対する、ユーザによる情報入力を円滑化する技術の開発がもとめられている。例えば、特許文献１には、情報機器に表示された反応領域（アイコンなど）をユーザが上手く選択できなかった場合に、当該反応領域を拡大表示してユーザを補助する技術が開示されている。

また、近年、低コストでかつデザイン性に優れるという観点から、入力端末としてタッチパネル式の入力キーを備えた情報機器が増加している。しかし、例えばタッチパネル式の入力キーでは、当該入力キーの中心をユーザが正確に触れることは少なく、通常のキーボード入力と比較して誤入力の問題が生じ易い。

そこで、特許文献２に記載のように、ユーザのタッチ位置から離れた位置に、当該タッチ位置と重複しないようにポインタを表示してユーザを補助するタッチパネル式入力端末を備えた情報機器が提案されている。
特開平９−２５１３４１号公報（公開日：１９９７年９月２２日） 特開平６−５１９０８号公報（公開日：１９９４年２月２５日公開）

しかしながら、特許文献１及び２に記載の技術では、ユーザによる情報入力は十分には円滑とはならず、さらなる改良がもとめられている。

とりわけ、情報機器の小型化に伴い、入力キー自身もより小さくなり、かつ片手で操作を行うユーザが増加したため、誤入力の問題がより生じ易くなっている現状がある。

本発明は、上記課題に鑑みてなされたものであり、特に情報機器に対するユーザの入力を円滑化する技術を提供することを主たる目的とする。

本発明に係る像検知装置は、上記の課題を解決するために、像を検知する面状部材と、面状部材が検知した対象物の像に基づいて、選択された当該面状部材上の領域の位置を検出する選択位置検出手段と、面状部材が検知した対象物の像から対象物の進入方向を検出する進入方向検出手段と、上記領域の位置に対する補正を行い、当該補正後の位置を面状部材に対する入力位置として認識する入力位置認識手段とを備え、入力位置認識手段は、進入方向検出手段が検出した上記進入方向に応じて上記補正の方向を決定する、ことを特徴としている。

上記の構成によれば、対象物による現実の選択位置に対して、当該対象物の進入方向を考慮した方向に位置補正を行い、当該補正後の位置を面状部材に対する入力位置として認識する。これにより、対象物の進入方向に応じたより正確な入力操作を実現することができる。

本発明に係る像検知装置では、進入方向検出手段は、面状部材の面内方向における対象物の進入方向を検出し、入力位置認識手段は、選択位置検出手段が検出した領域の位置を進入方向に沿う方向に補正する構成としてもよい。なお、本発明において「面状部材の面内方向における対象物の進入方向」とは、対象物の、面状部材に対する二次元的な進入方向を指す。

上記の構成によれば、対象物による現実の選択位置に対して、対象物の進入方向に沿う方向に補正し、より正確な入力操作を実現することができる。

特に限定されないが、例えば、上記面状部材が、当該面状部材上の各位置における受光量を検出するフォトダイオード群を備え、当該フォトダイオード群が検出した受光量の変化に基づいて上記近傍の像を検知する場合には、対象物が面状部材に接触する前に検知される場合もある。このような場合に、対象物による現実の選択位置に対して、対象物の進入方向に沿う方向（すなわち、対象物が進むであろう方向）に位置補正を行い、より正確な入力操作を実現することができる。

本発明に係る像検知装置では、進入方向検出手段は、対象物の進入方向が、面状部材の面内における特定方向又は当該特定方向と反対方向の何れにより近い方向であるかを検出し、入力位置認識手段は、進入方向が特定方向により近い場合は、前記領域の位置を特定方向に沿って補正し、進入方向が特定方向と反対方向により近い場合は、前記領域の位置を当該反対方向に沿って補正する構成としてもよい。

なお、対象物の進入方向が、上記特定方向とそれに相対する反対方向との何れにより近いかの判定は、当該進入方向が何れの方向と鋭角に交わるかを基準に定めればよい。

上記の構成によれば、対象物の進入方向を大きく二方向（特定方向／特定方向と反対方向）に分類して補正を行う。これにより、補正が簡潔となるとともに、より正確な入力操作を実現することができる。

なお、基準となる上記特定方向は、予め任意に定めておき、検知装置の記憶部に格納しておけばよい。また、特定方向としては、具体的には例えば、１）面状部材の面内に複数の入力キーが設けられている場合には、当該入力キーの並び方向の何れか、２）ユーザが像検知装置を使用する際に、当該ユーザにとって面状部材の左側端から右向き方向又はその逆方向（面状部材の面内におけるＸ軸の＋方向又は−方向）、或いは、上側端から下向き方向又はその逆方向（面状部材の面内におけるＹ軸の−方向又は＋方向）となる方向の何れか、などが好適なものとして挙げられる。

特に、ユーザが片手で持ち、残りの指で操作するタイプの像検知装置の場合、ユーザが左利きであれば面状部材の左側から、右利きであれば面状部材の右側から、操作する指が進入するのが通常である。よって、上記特定方向は、上記２）のうちユーザにとり面状部材の左側端から右向き方向、又はその逆方向の何れかであることが好ましい。

本発明に係る像検知装置では、進入方向検出手段は、予め定めた基準軸に対する対象物の進入角αを検出し、入力位置認識手段は、進入角αが４５度以下の場合に前記補正を行う構成としてもよい。なお、進入角αは基準軸に対する角度のうち、９０度以下の角度のことを指す。

上記の構成によれば、誤入力が生じやすい、進入角αが４５度以下の場合のみに補正を行う。これにより、必要な場合のみ補正がなされるとともに、より正確な入力操作を実現することができる。

なお、上記基準軸は、予め任意に定めておき像検知装置の記憶部に格納しておけばよい。また、基準軸としては、具体的には例えば、１）面状部材の面内に複数の入力キーが設けられている場合には、当該入力キーの並び方向の何れかの方向に延びる軸、２）ユーザが像検知装置を使用する際に、当該ユーザにとり面状部材の左右方向（面状部材の面内におけるＸ軸）、或いは、上下方向（面状部材の面内におけるＹ軸）となる方向の何れかに延びる軸、などが好適なものとして挙げられる。

特に、ユーザが片手で持ち、残りの指で操作するタイプの像検知装置の場合には、上記基準軸は、上記２）に示す面状部材の左右方向に延びる軸（Ｘ軸）であることが好ましい。この場合、進入角αが９０度により近いほど、操作する指は近傍の入力キーを選択しようとしていると考えられるので、誤入力が起こる確率が比較的低い。一方、進入角αが４５度以下になれば、操作する指はより遠くの入力キーを選択しようとして負荷がかかっている状態と考えられるので、誤入力が起こる確率が比較的高い。

また、上記のように特定方向又はその反対方向に沿う方向を補正の方向とする場合には、上記基準軸を当該特定方向に延びる軸とすることがより好ましい。

本発明に係る像検知装置では、入力位置認識手段により認識された入力位置を示すポインタを面状部材に表示する構成としてもよい。

上記の構成によれば、入力位置と認識されている箇所がポインタで示されるため、ユーザの入力操作を補助することができる。

本発明に係る像検知装置では、面状部材に入力キーが設けられており、選択位置検出手段が検出した領域の位置が、入力キーの中心から外れている場合に、入力位置認識手段による補正を行う構成としてもよい。

上記の構成によれば、対象物による現実の選択位置が入力キーの中心から外れている場合のみ補正を行う。これにより、必要な場合のみ補正がなされるとともに、より正確な入力操作を実現することができる。

本発明に係る像検知装置では、面状部材に複数の入力キーが設けられており、隣接する入力キー間のキーピッチをＡとした場合に、入力位置認識手段による補正は、その補正量がＡ×進入角α÷９０の関係式を満たすように行われる構成としてもよい。

上記の構成によれば、進入角α及びキーピッチに応じて補正量を決定し、より正確な入力操作を実現することができる。

なお、上記キーピッチとは、隣接する入力キーの重心間距離である。

本発明に係る像検知装置では、面状部材に複数の入力キーが設けられており、入力位置認識手段による補正は、隣接する入力キー間のキーピッチの半分以下の補正量で行われる構成としてもよい。

上記の構成によれば、キーピッチに応じて補正量の上限を決定し、より正確な入力操作を実現することができる。

本発明に係る入力位置の認識方法は、上記の課題を解決するために、像を検知する面状部材を含んでなる像検知装置における入力位置の認識方法であって、検知した対象物の像に基づいて、対象物により選択された面状部材上の領域の位置を検出する選択位置検出工程と、検知した対象物の像から面状部材に対する対象物の進入方向を検出する進入方向検出工程と、検出した進入方向に応じて上記領域の位置に対する補正の方向を決定して、当該領域の位置に対する補正を行い、補正後の位置を面状部材に対する入力位置として認識する入力位置認識工程と、を含むことを特徴としている。

上記の構成によれば、本発明に係る像検知装置と同様の作用効果を奏する。

また、本発明に係る像検知装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。

本発明によれば、像を検知する面状部材における、対象物による現実の選択位置に対して、当該対象物の進入方向を考慮した方向に位置補正を行い、当該補正後の位置を面状部材に対する入力位置として認識する。これにより、対象物の進入方向に応じたより正確な入力操作を実現することができる。

（データ表示／センサ装置の動作の概要）
図１は、本発明の一実施形態に係るデータ表示／センサ装置１００の外観を模式的に示す図である。図１に示すように、データ表示／センサ装置１００は筐体の一面にセンサ内蔵液晶パネル（面状部材）３０１が配設されており、その長方形状のパネル面（表示面）にて画像の表示及び情報の入力を受付けるタッチパネル式の入力・表示装置である。データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１が配されないグリップ部１００ａを有し、ユーザが当該グリップ部１００ａを片手で握り持ちながら、片手の親指（対象物）６４により情報の入力などの操作がなされる。

図２は、図１に記載のデータ表示／センサ装置１００の動作の一例を模式的に示す図である。一例において、センサ内蔵液晶パネル３０１の表示面には、複数の入力キー３５０から構成されるスクリーンキーボード３５１が表示されている。

そして、指６４が上記表示面上の特定の領域（選択領域３６０）を選択したとき、センサ内蔵液晶パネル３０１に対する指６４の進入方向に基づいて選択領域３６０の位置に対する補正が加えられ、当該補正後の位置が指６４による入力位置として認識される。また、当該補正後の位置には、必要に応じてその位置を示す目印であるポインタ３６１が表示される。

具体的には、図２では、センサ内蔵液晶パネル３０１に対して右側から指６４が進入しており、選択領域３６０から左側に所定の距離はなれた補正後の位置が、指６４による入力位置として認識される。また、当該補正後の位置には、その位置を中心とした円形のポインタ３６１が表示される。なお、図２では、説明の便宜上、選択領域３６０と指６４の先端とを互いにずれた状態で示しているが、実際には両者は重複している。

本明細書において「選択領域」及び「選択位置」とは、順に、「指６４により実際に選択された表示面上の領域」及び「指６４により実際に選択された表示面上の領域の位置（領域全体又はその一部の位置を示すものでもよく、或いは領域に含まれる点の位置を示すものであってもよい）」を指し、指６４の進入方向に基づいて補正された後の位置を表す「入力位置」とは区別される。

一般にスクリーンキーボードに対する入力では、ユーザの指が入力キーの中心を正確に触れることは少ない。また、光センサを用いて入力の有無を検知する方式では、ユーザの指がスクリーンキーボードに所定距離まで近接した状態をもって入力有りと検知する場合がある。そのため、入力キーを押し込むタイプの通常のキーボード入力と比較して誤入力の問題が生じ易い。しかしながら、本発明に係るデータ表示／センサ装置１００では、指６４により選択された選択領域３６０に対して、指６４の進入方向に応じた位置補正を行い、補正後の位置を指６４による入力位置として認識する。そのため、誤入力の発生が低減する。

さらに、上記補正後の位置に対応してポインタ３６１が表示されるので、ユーザは入力位置として認識されている領域を容易に知ることができ、スクリーンキーボード３５１を介した入力を円滑に行なうことができる。

なお、入力の実行は、センサ内蔵液晶パネル３０１の表示面に指６４が接触又は近接したと同時に行われてもよく、或いは、指６４を当該表示面に一旦接触又は近接させた後、離す動作（アップ動作）がなされる際に行われてもよい。アップ動作時に入力が実行される構成では、ポインタ３６１の位置を指標にしたより正確な入力が実現可能である。

なお、ユーザは、指６４の他にも、タッチペンなどの遮光物を用いてセンサ内蔵液晶パネル３０１上を指示してもよい。

以下、上述した機能を実現する各部材の構成について詳細に説明する。まず、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。

（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置（選択位置）の検出や、印刷物などの画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図４（ａ）および図４（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置（選択位置）を検出する２種類の方法について説明する。

図４（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指６４などの対象物により反射された光６３を検知する。これにより、当該対象物の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図４（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図５を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図５は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）などで構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリなどで構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカなどの音声出力部９０８、音声信号を入力するためのマイクなどの音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図６および図７を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図６は、コマンドのフレーム構造の一例を模式的に示す図である。また、図７は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図６に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図７に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、対象物が接近する先の点の座標として、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置などが分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図８を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図８（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図８（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図８（ｂ）に示す画像データでは、図８（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図８（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

なお、本発明において、上記の部分画像データに含まれる、明度が所定の閾値より大きく変化している画素からなる領域は選択領域３６０（図２参照）に相当し、代表座標Ｚは前記「選択位置」の一例に相当する。なお、「選択位置」は選択領域３６０内に含まれる一点の位置、或いは、選択領域３６０に含まれる全体又は一部領域の位置であればよく、特に代表座標Ｚのみに限定されるものではない。

また、データ表示／センサ装置１００では、ユーザの使用時におけるセンサ内蔵液晶パネル３０１（図１、図２、図５参照）の左右方向をＸ軸、上下方向をＹ軸として座標軸が設定されており、当該ＸＹ座標軸は記憶部９０１（図５参照）に格納されている。すなわち、データ表示／センサ装置１００では、その長手方向とＹ軸方向とが一致しており、幅方向とＸ軸方向とが一致している。また、データ表示／センサ装置１００では、ユーザの使用時において、Ｘ軸は複数の入力キー３５０（図２参照）の横並び方向に一致し、Ｙ軸は複数の入力キー３５０の縦並び方向に一致している。

なお、Ｘ軸とＹ軸との交点、すなわち座標軸の原点は、センサ内蔵液晶パネル３０１のパネル面の重心に固定してもよいが、例えば、上記選択位置の位置座標が原点となるように設定することもできる。

（センサ内蔵液晶パネルの構成）
次に、図９を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図９は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（データ表示／センサ装置のより詳細な構成）
次に、図１０を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００（図５参照）の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図１０は、本実施形態に係るデータ表示／センサ装置１００の構成を主制御部８００および記憶部９０１を中心に示すブロック図である。図１０に示すように、主制御部８００は、被指示画面表示制御部１１、選択位置検出部（選択位置検出手段）１２、補助画像表示制御部１３、進入方向検出部（進入方向検出手段）１４、および入力位置認識部（入力位置認識手段）１５を備えている。また、記憶部９０１は、被指示画面データ記憶部２１、補助画像データ記憶部２３を備えている。

次に、図１０及び図１１を参照しながら、データ表示／センサ装置１００の動作の一例について説明する。図１１は、本実施形態に係るデータ表示／センサ装置１００の動作を説明するフローチャートである。

ステップＳ１では、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上に被指示画面、すなわち指６４による入力を受付けるための入力キーを含んだ画面を表示する。一実施形態において、被指示画面表示制御部１１が、センサ内蔵液晶パネル３０１に、複数の入力キー３５０によって構成されるスクリーンキーボード３５１を表示させる（図２も参照）。

詳しく述べれば、まず、被指示画面表示制御部１１は、被指示画面データ記憶部２１からデータを呼び出して、表示すべき画像データを取得する。被指示画面データ記憶部２１から呼び出すデータは、例えば、各入力キー３５０の座標、寸法、ならびに画像データであり、すべての入力キー３５０の画像データをそれぞれの座標および寸法に基づいて合成することにより、表示すべき全体画像のデータを生成することができる。また、表示すべき全体画像（スクリーンキーボード３５１の全体画像）のデータをそのまま被指示画面データ記憶部２１から呼び出してもよい。

次に、被指示画面表示制御部１１は、上記のように得た表示すべき全体画面のデータを表示データ処理部７０１に送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送る。データ処理部７００は、上述したように、表示制御部６０１およびバックライト制御部６０３を制御してセンサ内蔵液晶パネル３０１上にスクリーンキーボード３５１を表示させる（図２、図５も参照）。

なお、ステップＳ１は、必要に応じて開始されればよく、例えば、アプリケーションの開始とともに開始される。

次に、ステップＳ２において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上の、指６４が指示する先の点の座標（「選択座標」と称する：図８（ｂ）に示す代表座標Ｚに相当）を検出し、この選択座標を、指６４により選択されたセンサ内蔵液晶パネル３０１上の領域の位置（選択位置）として認識する。一実施形態において、選択位置検出部１２が、センサデータ処理部７０３から上記選択座標を取得して、当該選択座標を入力位置認識部１５での認識処理に供する。

詳しく述べれば、選択位置検出部１２は、データ処理部７００に対して、「データ種別」を”座標”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。選択位置検出部１２は、上記コマンドの応答としてセンサデータ処理部７０３から得られた上記座標を、選択座標として取得し入力位置認識部１５での認識処理に供する。なお、選択位置検出部１２が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。

なお、ステップＳ２は、ステップＳ１と同様、例えば、アプリケーションの開始とともに開始される。

次に、ステップＳ３において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に対する指６４の進入方向を検出する。一実施形態において、進入方向検出部１４が、センサデータ処理部７０３から全体画像データを取得し、当該全体画像データに基づいて指６４の進入方向を検出する。

詳しく述べれば、進入方向検出部１４は、データ処理部７００に対して、「データ種別」を”全体画像”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。進入方向検出部１４は、上記コマンドの応答としてセンサデータ処理部７０３から得られた全体画像から、１）センサ内蔵液晶パネル３０１の表示面内（パネル面内）における指６４の進入角α、及び２）センサ内蔵液晶パネル３０１の表示面内（パネル面内）における６４の進入方向、を取得し、入力位置認識部１５での認識処理に供する。

ここで、指６４の進入方向は、上記全体画像に含まれる指６４の画像の形状及び明度の相違から検知することができる。例えば、図８（ｂ）の例においては、明度が所定の閾値より大きく変化している部分に含まれる代表座標Ｚを終点側とし、指６４の画像の長手方向に沿う方向が、指６４の進入方向となる（図８（ｂ）中に矢印で示す）。

進入方向検出部１４は、必要に応じてさらに、指６４の進入方向が、センサ内蔵液晶パネル３０１のパネル面内における特定方向又は当該特定方向と反対方向の何れにより近い方向であるかを検出して、指６４の進入方向を大きく二方向に分類する。基準となる特定方向は予め定めておき、記憶部９０１に格納しておけばよい。

例えば、図８（ｂ）の例においては、ユーザにとりセンサ内蔵液晶パネル３０１の左側端から右向きの方向（Ｘ軸の＋方向）が特定方向であり、指６４の進入方向は特定方向に対して鋭角に交わり、特定方向と反対方向に対して鈍角に交わる。よって、指６４の進入方向は特定方向により近いと検出される。

また、指６４の進入角αは、データ表示／センサ装置１００において予め定めた基準軸と、上記進入方向とのなす角（ただし、０度以上９０度以下の角を指す）として検知することができる。例えば、図８（ｂ）の例においては、予め定めた上記基準軸はＸ軸であり、当該Ｘ軸と指６４の進入方向とのなす角を座標計算により算出して、進入角αを検知する。

なお、進入方向検出部１４が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。

なお、ステップＳ３は、ステップＳ１と同様、例えば、アプリケーションの開始とともに開始される。また、ステップＳ２とステップＳ３とは実行順序を入れ替えることもできる。

次に、ステップＳ４において、データ表示／センサ装置１００は、ステップＳ２にて検出された選択座標に対して補正を行うか否かを判定する。一実施形態において、入力位置認識部１５が、１）上記進入角αが４５度以下であるか否か、又は、２）上記選択座標が、何れかの入力キー３５０の中心から所定の距離以内にあるか否か（すなわち、指６４により選択された領域の位置が入力キーの中心から外れているか否か）、の少なくとも一方を基準として補正の要否を判定する。

より具体的には、進入角αが４５度以下の場合には上記補正を行い、進入角αが４５度を超える場合には補正を行わないと判定する。また、上記選択座標が何れかの入力キー３５０の中心から所定の距離以内にない場合には上記補正を行い、当該所定の距離以内にある場合には上記補正を行わないと判定する。

なお、上記選択座標と入力キー３５０の中心との距離は、例えば、入力位置認識部１５が、被指示画面データ記憶部２１より各入力キー３５０の座標を呼び出し、選択座標と比較をすることで求めることができる。

次に、ステップＳ４にて補正「要」と判定された場合には、ステップＳ５に進む。一方、ステップＳ４にて補正「不要」と判定された場合には、後述するステップＳ６に進む。

ステップＳ５において、データ表示／センサ装置１００は、上記選択座標に対して行う補正の量（補正量）と方向（補正の方向）とを決定する。

一実施形態において、入力位置認識部１５は、進入方向検出部１４が検出した指６４の進入方向に応じて補正の方向を決定する。具体的には、例えば、入力位置認識部１５は、１）上記進入方向に沿う方向、又は、２）予め定めた上記特定方向とその反対方向とのうち、指６４の進入方向により近い方向（図８（ｂ）の例では、特定方向たるＸ軸の＋方向）、を補正の方向として決定する。

また、入力位置認識部１５は、決定した補正の方向に沿ってどの程度の補正量で補正を行うべきかを決定する。当該補正量は、固定量であってもよく、指６４の進入角αにより変動する量であってもよい。なお、何れの場合でも、補正量は、上記補正の方向に沿って隣接する入力キー３５０・３５０間のキーピッチの半分以下であることが好ましい。

また、進入角αにより補正量を変動させる場合、上記補正の方向に沿って隣接する入力キー間のキーピッチをＡとした場合に、補正量＝Ａ×進入角α÷９０の関係式を満たすように決定することが好ましい。ただし、この例示では、進入角αが４５度以下の場合に補正を行うため、上記関係式における進入角αは０度〜４５度以下の角度を表す。

さらに、ステップＳ５において、入力位置認識部１５は、決定した補正量と補正の方向とに基づいて上記選択座標に対する補正を行い、当該補正後の位置を、センサ内蔵液晶パネル３０１に対する指６４の入力位置として認識する。そして、この認識結果を、データ処理部７００での処理に供する。

次に、ステップＳ６において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上における指６４の入力位置にポインタ３６１を表示する。一実施形態において、補助画像表示制御部１３が、補助画像データ記憶部２３から表示すべき補助画像（ポインタ３６１）の画像データを呼び出し、当該画像データをデータ処理部７００に供する。

データ処理部７００では、ポインタ３６１の画像データと、スクリーンキーボード３５１の画像データとを周知の画像合成技術により合成し、センサ内蔵液晶パネル３０１上に、入力位置認識部１５により認識された入力位置を中心点としたポインタ３６１を表示する。

ここで、ポインタ３６１の中心点となる上記入力位置とは、ステップＳ４において補正が「要」と判定された場合には、入力位置認識部１５が入力位置と認識した補正後の位置である。一方、ステップＳ４において補正が「不要」と判定された場合は、指６４による選択位置（すなわち、代表座標Ｚ）自身が上記入力位置となる。

以降は、ステップＳ２に戻り、ユーザの新たな指示を待つ。

なお、上記ステップＳ１において表示する被指示画面は、スクリーンキーボード３５１である必要はなく、種々の入力キーとすることができる。例えば、それぞれ特定の機能（例えば、ＯＫボタン、キャンセルボタンなど）に対応する入力キーを表示させてもよい。

また、ここでは、センサ内蔵液晶パネル３０１上にスクリーンキーボード３５１が液晶表示される形態を例示したが、センサ内蔵液晶パネルの面内に、少なくとも一部の入力キーを予めプリントした構成であってもよい。特に、文字、又は一桁の数字のような汎用される入力キーのみを予めプリントした構成であってもよい。なお、予めプリントした入力キーを用いる場合にはステップＳ１は省略される。

また、ここでは、ステップＳ４において位置補正の要否を判定する形態を例示したが、Ｓ４を省略して、常時、位置補正を行う構成とすることもできる。この場合、位置補正の有無による入力のブレが生じないため、ユーザにとり好ましい場合もある。

また、ここでは、ステップＳ６において、ユーザを補助するための補助画像（円形のポインタ３６１）を表示する形態を例示したが、表示されるポインタの形状・大きさなどは特に限定されるものではない。また、場合によっては、Ｓ６を省略してもよい。

（補正の方向、及び補正量の決定の詳細の一例）
以下、上記ステップＳ５にて説明した、選択座標に対して行う補正の量（補正量）と補正の方向との決定の一例について、図１２（ａ）・（ｂ）に基づき具体的に説明する。

なお、図１２（ａ）・（ｂ）に示す例ではいずれも、ユーザにとり当該センサ内蔵液晶パネル３０１のパネル面内における左側端から右向きの方向（図中のＸ軸の＋方向）を特定方向、右側端から左向きの方向（図中のＸ軸の−方向）を特定方向と反対方向とし、指６４の進入方向が、上記特定方向と反対方向との何れにより近いか分類をする。すなわち、指６４が、センサ内蔵液晶パネル３０１の右側から（上記反対方向により近い方向から）進入しているのか、或いは左側から（上記特定方向により近い方向から）進入しているのか大きく二種類に分類をする。

また、進入角αの算出のために予め定めた基準軸はＸ軸であり、当該Ｘ軸と指６４の進入方向とのなす角（０度以上で９０度以下）が進入角αとなる。

さらに、Ｘ軸方向に隣接する入力キー間のキーピッチは８ｍｍである。

なお、図１２（ａ）・（ｂ）では、説明の便宜上、選択領域３６０と指６４の先端とを互いにずれた状態で示しているが、実際には両者は重複している。

図１２（ａ）に示す例では、ユーザが右手にてデータ表示／センサ装置１００のグリップ部１００ａ（図１参照）を持ち、右手の親指６４にて複数の入力キー３５０に対する操作を行っている。また、指６４は、ユーザから見てセンサ内蔵液晶パネル３０１の右側から進入している。さらに、進入角αは４５度である。

この場合、入力位置認識部１５は、上記特定方向とその反対方向とのうち、指６４の進入方向により近い方向である反対方向（Ｘ軸の−方向）を補正の方向として決定する。

さらに、入力位置認識部１５は、決定した補正の方向に沿ってどの程度の補正量で補正を行うべきかを決定する。ここでは、選択位置検出部１２が検出した選択座標（図８（ｂ）に示す代表座標Ｚ）をＰ、入力位置認識部１５による補正後の位置をＰ’、上記補正の方向（Ｘ軸の−方向）に沿って隣接する入力キー３５０・３５０間のキーピッチをＡとした場合に、補正量＝Ａ×進入角α÷９０という関係を満足するように当該補正量を決定する。

ここで、キーピッチＡは８ｍｍ、進入角αは４５度であるから、補正量は８×４５÷９０＝４（単位：ｍｍ）となる。すなわち、入力位置認識部１５は、指６４により現実に選択されたセンサ内蔵液晶パネル３０１上の領域の位置を表す選択座標（すなわちＰ）に対して、Ｘ軸上の−方向に４ｍｍの補正を行った補正後の位置Ｐ’を、当該センサ内蔵液晶パネル３０１に対する入力位置として認識する。

一方、図１２（ｂ）に示す例では、ユーザが左手にてデータ表示／センサ装置１００のグリップ部１００ａ（図１参照）を持ち、左手の親指６４にて複数の入力キー３５０に対する操作を行っている。また、指６４は、ユーザから見てセンサ内蔵液晶パネル３０１の左側から進入している。さらに、進入角αは３０度である。

この場合、入力位置認識部１５は、上記特定方向とその反対方向とのうち、指６４の進入方向により近い方向である特定方向（Ｘ軸の＋方向）を補正の方向として決定する。

さらに、入力位置認識部１５は、決定した補正の方向に沿ってどの程度の補正量で補正を行うべきかを決定する。ここでは、選択位置検出部１２が検出した選択座標（図８（ｂ）に示す代表座標Ｚ）をＰ、入力位置認識部１５による補正後の位置をＰ’、上記補正の方向（Ｘ軸の＋方向）に沿って隣接する入力キー３５０・３５０間のキーピッチをＡとした場合に、補正量＝Ａ×進入角α÷９０という関係を満足するように当該補正量を決定する。

ここで、キーピッチＡは８ｍｍ、進入角αは３０度であるから、補正量は８×３０÷９０≒２．６（単位：ｍｍ）となる。すなわち、入力位置認識部１５は、指６４により現実に選択されたセンサ内蔵液晶パネル３０１上の領域の位置を表す選択座標（すなわちＰ）に対して、Ｘ軸上の＋方向に２．６ｍｍの補正を行った補正後の位置Ｐ’を、当該センサ内蔵液晶パネル３０１に対する入力位置として認識する。

（補正の方向、及び補正量の決定の詳細の他の例）
以下、上記ステップＳ５にて説明した、選択座標に対して行う補正の量（補正量）と補正の方向との決定の他の例について、図１３に基づき具体的に説明する。

図１３に示す例では、進入角αの算出のために予め定めた基準軸はＸ軸であり、当該Ｘ軸と指６４の進入方向とのなす角（０度以上で９０度以下）が進入角αとなる。さらに、Ｘ軸方向に隣接する入力キー間のキーピッチは８ｍｍである。また、図１３では、説明の便宜上、選択領域３６０と指６４の先端とを互いにずれた状態で示しているが、実際には両者は重複している。

この例では、ユーザが右手にてデータ表示／センサ装置１００のグリップ部１００ａ（図１参照）を持ち、右手の親指６４にて複数の入力キー３５０に対する操作を行っている。また、指６４は、図中、矢印で示す方向（進入方向）からセンサ内蔵液晶パネル３０１の表示面内に進入し、当該指６４の進入角αは４５度である。

この例では、入力位置認識部１５は、矢印で示す指６４の進入方向に沿う方向を、補正の方向として決定する。

さらに、入力位置認識部１５は、決定した補正の方向に沿ってどの程度の補正量で補正を行うべきかを決定する。ここでは、選択位置検出部１２が検出した選択座標（図８（ｂ）に示す代表座標Ｚ）をＰ、入力位置認識部１５による補正後の位置をＰ’、Ｘ軸方向に隣接する入力キー３５０・３５０間のキーピッチをＡとした場合に、補正量＝Ａ×進入角α÷９０という関係を満足するように当該補正量を決定する。

ここで、キーピッチＡは８ｍｍ、進入角αは４５度であるから、補正量は８×４５÷９０＝４（単位：ｍｍ）となる。すなわち、入力位置認識部１５は、指６４により現実に選択されたセンサ内蔵液晶パネル３０１上の領域の位置を表す選択座標（すなわちＰ）に対して、指６４の進入方向に沿って４ｍｍの補正を行った補正後の位置Ｐ’を、当該センサ内蔵液晶パネル３０１に対する入力位置として認識する。

なお、図１３の例においては、補正の方向（指の進入方向）に沿って隣接する入力キー３５０・３５０（「２」のナンバーキー及び「６」のナンバーキー）間の距離（約１１ｍｍ）を、上記キーピッチＡとして用いてもよい。

（プログラムおよび記録媒体）
最後に、データ表示／センサ装置１００に含まれている回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。

すなわち、回路制御部６００、データ処理部７００および主制御部８００は、各機能を実現するプログラムの命令を実行するＭＰＵなどのＣＰＵ、このプログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを実行可能な形式に展開するＲＡＭ（Random Access Memory）、および、上記プログラムおよび各種データを格納するメモリなどの記憶装置（記録媒体）を備えている。

そして、本発明の目的は、回路制御部６００、データ処理部７００および主制御部８００のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、または、ソースプログラム）を記録した記録媒体をデータ表示／センサ装置１００に供給し、データ表示／センサ装置１００が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。

上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒなどの光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭなどの半導体メモリ系などとすることができる。

また、回路制御部６００、データ処理部７００および主制御部８００（またはデータ表示／センサ装置１００）を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して回路制御部６００、データ処理部７００および主制御部８００に供給する。この通信ネットワークは回路制御部６００、データ処理部７００および主制御部８００にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網などであればよい。

この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線などの有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、各種情報機器において利用することができる。

本発明の一実施形態に係るデータ表示／センサ装置の外観を模式的に示す図である。 本発明の一実施形態に係るデータ表示／センサ装置の動作の一例を模式的に示す図である。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 図４（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図６に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 図８（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図８（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置の構成を主制御部および記憶部を中心に示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置の動作の一例を説明するフローチャートである。 図１２（ａ）は、指が右側から進入した場合における本発明に係るデータ表示／センサ装置の動作の例を模式的に説明する図である。図１２（ｂ）は、指が左側から進入した場合における当該データ表示／センサ装置の動作の例を模式的に説明する図である。 図１３は、指が右側から進入した場合における本発明に係るデータ表示／センサ装置の動作の他の例を模式的に説明する図である。

符号の説明

１２ 選択位置検出部（選択位置検出手段）
１４ 進入方向検出部（進入方向検出手段）
１５ 入力位置認識部（入力位置認識手段）
６４ 指（対象物）
１００ データ表示／センサ装置（像検知装置）
３０１ センサ内蔵液晶パネル（面状部材）
３５０ 入力キー
３６０ 選択領域（対象物により選択された面状部材上の領域）
３６１ ポインタ

Claims (10)

1. 近傍に位置する対象物の像を検知する面状部材と、
   上記面状部材が検知した対象物の像に基づいて、当該対象物により選択された当該面状部材上の領域の位置を検出する選択位置検出手段と、
   上記面状部材が検知した対象物の像から当該面状部材に対する対象物の進入方向を検出する進入方向検出手段と、
   上記選択位置検出手段が検出した上記領域の位置に対する補正を行い、当該補正後の位置を面状部材に対する入力位置として認識する入力位置認識手段とを備え、
   上記入力位置認識手段は、進入方向検出手段が検出した上記進入方向に応じて上記補正の方向を決定する、
   ことを特徴とする像検知装置。
2. 前記進入方向検出手段は、前記面状部材の面内方向における対象物の進入方向を検出し、
   前記入力位置認識手段は、前記選択位置検出手段が検出した領域の位置を上記進入方向に沿う方向に補正することを特徴とする請求項１に記載の像検知装置。
3. 前記進入方向検出手段は、前記面状部材の面内方向における対象物の進入方向が、当該面内における特定方向又は当該特定方向と反対方向の何れにより近い方向であるかを検出し、
   前記入力位置認識手段は、上記対象物の進入方向が上記特定方向により近い場合は、前記領域の位置を特定方向に沿って補正し、上記対象物の進入方向が特定方向と反対方向により近い場合は、前記領域の位置を当該反対方向に沿って補正することを特徴とする請求項１に記載の像検知装置。
4. 前記進入方向検出手段は、予め定めた基準軸に対する対象物の進入角αを検出し、
   前記入力位置認識手段は、上記進入角αが４５度以下の場合に前記補正を行うことを特徴とする請求項１から３の何れか一項に記載の像検知装置。
5. 前記面状部材が画像を表示する機能をさらに有し、前記入力位置認識手段により認識された入力位置を示すポインタを当該面状部材に表示することを特徴とする請求項１から４の何れか一項に記載の像検知装置。
6. 前記面状部材に入力キーが設けられており、
   前記選択位置検出手段が検出した前記領域の位置が、入力キーの中心から外れている場合に、前記入力位置認識手段による補正を行うことを特徴とする、請求項１から５の何れか一項に記載の像検知装置。
7. 前記面状部材に複数の入力キーが設けられており、
   隣接する入力キー間のキーピッチをＡとした場合に、
   前記入力位置認識手段による補正は、その補正量がＡ×進入角α÷９０の関係式を満たすように行われることを特徴とする請求項４に記載の像検知装置。
8. 前記面状部材に複数の入力キーが設けられており、前記入力位置認識手段による補正は、隣接する入力キー間のキーピッチの半分以下の補正量で行われることを特徴とする請求項１から５の何れか一項に記載の像検知装置。
9. 請求項１から８のいずれか一項に記載の像検知装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるための、プログラム。
10. 近傍に位置する対象物の像を検知する面状部材を含んでなる像検知装置における入力位置の認識方法であって、
    上記面状部材が検知した対象物の像に基づいて、当該対象物により選択された当該面状部材上の領域の位置を検出する選択位置検出工程と、
    上記面状部材が検知した対象物の像から当該面状部材に対する対象物の進入方向を検出する進入方向検出工程と、
    上記進入方向検出工程にて検出した対象物の進入方向に応じて、上記選択位置検出工程にて検出した上記領域の位置に対する補正の方向を決定して、当該領域の位置に対する補正を行い、当該補正後の位置を面状部材に対する入力位置として認識する入力位置認識工程と、
    を含むことを特徴とする入力位置の認識方法。

Images