JP2011164746A

JP2011164746A - 端末装置、持ち手検出方法、及びプログラム

Info

Publication number: JP2011164746A
Application number: JP2010024076A
Authority: JP
Inventors: Masaki Morita; 雅紀森田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2010-02-05
Filing date: 2010-02-05
Publication date: 2011-08-25

Abstract

【課題】ペンタッチによる入力を受け付ける端末装置が、操作者の利き手（ペンの持ち手）を正しく判断し、その利き手に合ったＧＵＩを提供すること。
【解決手段】電磁誘導方式ペン検出部１５、静電容量検出部方式手指検出部１６は、ペン３のペン先座標（Ｘｐ，Ｙｐ）、手のひら座標（Ｘｈ，Ｙｈ）を取得する。ペン先Ｘ座標Ｘｐが手のひらＸ座標Ｘｈより小さい場合、端末装置は右利き手用ＧＵＩを設定し、ペン先Ｘ座標Ｘｐが手のひらＸ座標Ｘｈより大きい場合、左利き手用ＧＵＩを設定する。
【選択図】図６

Description

本発明は、操作者からペンによるタッチ操作による指示を入力する端末装置、持ち手検出方法、及びプログラムに関する。

近年、タッチ操作によって入力を受け付ける装置が多く存在する。このような装置では、表示部に操作メニュー画面等を表示し、操作者がメニュー等を選択して指等でタッチし、そのタッチの位置を認識することによって、さまざまな動作を行う。このとき、操作者には利き手があるので、利き手に応じてメニュー画面を変更することも可能である。特許文献１では、タッチパネルにおける操作者のタッチ分布から操作者の利き手を判定し、操作しやすい画面表示を行う技術が記載されている。
一方、近年では、ペンを用いたタッチ操作によって入力を受け付ける端末装置も多く存在する。端末装置の表示部にメニュー画面等を表示し、操作者がペンによりメニューを選択すると、端末はペンによるタッチ操作の入力を受け付けて様々な動作を行う。

特開２００６−３３１０９２号公報

ペンを用いて指示する場合でも、操作者には利き手がある。従って、操作者は、利き手にペンを持って入力を行うため、端末装置の画面上に表示される指示部品（ＧＵＩボタン（ＧＵＩ：ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）など）が配置される位置によっては、操作の快適性が異なる。例えば、画面の右端にＧＵＩボタンが表示される場合、左利きの操作者は、左手にペンを持ち、画面を横切って画面右端のＧＵＩボタンにペンタッチすることになり、右利きの操作者よりも腕を多く伸ばす必要がある。さらには、伸ばした腕により画面が隠されて画面の状況を確認できないといった問題がある。このため、操作性が悪くなるだけでなく、ボタンの選択ミスといった誤動作を起こしやすいという問題も生じる。
また、特許文献１に記載されたような方法では、ペン入力を受け付ける端末装置における操作者の利き手は正しく判定できないという問題もある。

本発明は、以上の点に鑑みてなされたものであり、ペンタッチによる入力を受け付ける端末装置が操作者の利き手（ペンの持ち手）を正しく判断し、左右の利き手に合ったＧＵＩを実現する端末装置、持ち手検出方法、及び、そのプログラムを提供することを目的とする。

前述した目的を達成するために本発明は、画面を表示する表示体を有し、前記画面上の位置を指示するペンの入力を受け付ける端末装置であって、前記ペンによって指示されたペン先の位置を示す座標と、前記ペンを持つ操作者の手が前記画面上に触れられた位置を示す手の位置の座標とを検出する検出部と、前記検出されたペン先の位置の座標と手の位置の座標とに基づいて、前記ペンを持つ操作者の持ち手が右手であるか、左手であるかを判定する判定部、を有することを特徴とする。

また、本発明は、上記に記載の発明において、前記判定部によるペンの持ち手の判定結果に基づいて、ＧＵＩを配置する位置を決定することを特徴とする。
また、本発明は、上記に記載の発明において、前記判定部は、前記検出部により検出された、水平方向の軸上における前記ペン先の位置の座標と前記手の位置の座標に基づいて、持ち手を判定することを特徴とする。

また、本発明は、上記に記載の発明において、前記判定部は、前記検出部の予め決められた原点から前記ペンのペン先の位置の座標までの距離と、前記検出部の予め決められた原点から前記ペンを持つ操作者の手の位置の座標までの距離とに基づいて、持ち手を判定することを特徴とする。
また、本発明は、上記に記載の発明において、前記判定部は、前記検出部によって、前記ペンのペン先の位置の座標と、前記ペンを持つ操作者の手の位置の座標との２箇所の座標が検出された場合に、持ち手を判定することを特徴とする。
また、本発明は、上記に記載の発明において、前記判定部は、持ち手の判定を行った後、前記検出部が再度前記２箇所の座標を検出した場合に、再度持ち手を判定し、前回の持ち手の判定結果と今回の持ち手の判定結果とが異なる場合に、ＧＵＩの配置位置を変更することを特徴とする。

また、本発明は、画面を表示する表示体を有し、前記画面上の位置を指示するペンの入力を受け付ける端末装置であるコンピューターを用いて、前記コンピューターの検出部が、前記ペンによって指示されたペン先の位置を示す座標と、前記ペンを持つ操作者の手が前記画面上に触れられた位置を示す手の位置の座標とを検出するステップと、前記コンピューターの判定部が、前記検出されたペン先の位置の座標と手の位置の座標とに基づいて、前記ペンを持つ操作者の持ち手が右手であるか、左手であるかを判定するステップと、を実行することを特徴とする。

また、本発明は、画面を表示する表示体を有し、前記画面上の位置を指示するペンの入力を受け付けるコンピューターに、前記ペンによって指示されたペン先の位置を示す座標と、前記ペンを持つ操作者の手が前記画面上に触れられた位置を示す手の位置の座標とを検出する検出手段、前記検出されたペン先の座標と手の位置の座標とに基づいて、前記ペンを持つ操作者の持ち手が右手であるか、左手であるかを判定する判定手段、として機能させるためのプログラムである。

本発明によれば、ペンタッチによる入力を受け付ける端末装置において、操作者の利き手（ペンの持ち手）がどちらであるかを正しく判断することが可能である。
また、操作者のペンの持ち手に合ったＧＵＩを設定することで、操作者の操作性を向上させ、誤動作を防止することが可能となる。
また、一度持ち手を判定した場合でも、ペン先の位置座標と手のひらの座標が再度検出された場合に、持ち手の再判定を行い、前回の判定結果と異なる場合はＧＵＩを変更することで、操作者の操作性を向上することが可能である。

本発明の実施形態に係る端末装置の概略構成図である。同実施形態に係る端末装置の表示制御処理の流れを示すフローチャートである。同実施形態に係る端末装置の外観とログイン画面を示す図である。同実施形態に係る端末装置の利き手検出処理の流れを示すフローチャートである。同実施形態に係るペン操作の様子を示す図である。同実施形態に係るペン先と手のひらの位置関係を示す図である。同実施形態に係る右利き検出時のＧＵＩ設定の一例を示す図である。同実施形態に係る左利き検出時のＧＵＩ設定の一例を示す図である。

以下に、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、端末装置１の概略構成図である。端末装置１は、ＣＰＵ１１（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ１２（ＲＯＭ：ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ１３（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、タブレット制御部１４、電磁誘導方式ペン検出部１５、静電容量検出部方式手指検出部１６、電源制御部１７、バッテリ１８、端末記憶装置１９、表示体制御部２０、表示体２１を有する。端末装置１は、ペン３による位置の指示を受け付ける。ペン３はコイル３１を有する。

ＣＰＵ１１は、中央演算処理装置であり、プログラムに従って、端末装置１の各部、各装置を制御し、後述する利き手判定処理及び表示処理等を実行する。ＲＯＭ１２は、読み出し専用の記憶装置であり、ＣＰＵ１１が実行する利き手判定処理及び表示処理等のプログラム等を記憶する。ＲＡＭ１３は、ＣＰＵ１１等が処理を行う際に必要なデータ等を読み書きする記憶装置である。

タブレット制御部１４は、入力装置となるタブレットを制御する。端末装置１において、ペン３、電磁誘導方式ペン検出部１５、静電容量検出部方式手指検出部１６によりタブレットが構成される。ペン３は、電磁誘導方式ペン検出部１５上の位置を指示するものであり、電磁誘導方式ペン検出部１５はペン３によって指示された位置を検出し、座標を算出する。

その検出方法の一例を以下に説明する。
例えば、電磁誘導方式ペン検出部１５は、表示体２１に設置された板状のパネルであり、パネルには複数のループ状のセンサコイルが平行に配置されており、一方、ペン３のコイル３１は、コンデンサと接続してＬＣ共振回路を形成している。電磁誘導方式ペン検出部１５のセンサコイルに短時間だけ交流電流を流すと、電磁誘導方式ペン検出部１５の入力面上に磁界が発生し、近づけたペン３のコイル３１に電流が流れてペン３側のコンデンサに電気が蓄積される。センサコイルの電流を切ると、ペン３のコンデンサに蓄えられた電気を電源としてコイル３１に電流が流れてペン先に磁界が発生する。ペン先に発生した磁界によりセンサコイルに誘導電流が流れ、電磁誘導方式ペン検出部１５は、複数のセンサコイルのうち電流が流れたセンサコイルの位置をペン３の位置として検出する。

また、静電容量検出部方式手指検出部１６は、操作者の手（あるいは手のひらの一部）や指が触れた場合に、その位置を検出し、座標を算出する。例えば、表示体２１のパネル等の表面に導電性材を施し、表面に一様の電界を発生させておき、静電容量検出部方式手指検出部１６は、操作者の手や指がパネルに触れることによって生じる電界の変化を基に、操作者の手や指の触れた位置を検出し、座標を算出する。

電源制御部１７は、端末装置１の電源となるバッテリ１８を制御する。端末記憶装置１９は、ハードディスク等の記憶装置であり、データ等を記憶する。表示体制御部２０は、表示体２１の表示を制御する。表示体２１は、液晶パネル等のディスプレイ装置である。ここで、表示体２１と電磁誘導方式ペン検出部１５、静電容量検出部方式手指検出部１６とは組み合わせて設けられ、表示体２１に表示された表示をペン３や手、指等で指示された場合に、電磁誘導方式ペン検出部１５、静電容量検出部方式手指検出部１６はその位置を検出する。即ち、表示体２１の表示画面上の位置と、電磁誘導方式ペン検出部１５上の位置と、静電容量検出部方式手指検出部１６上の位置の座標は一意的に対応される。

次に、端末装置１の動作について説明する。
図２は、端末装置１の表示処理の流れを示すフローチャートである。
表示体制御部２０は、表示体２１に初期のログイン画面を表示させ（ステップＳ１０１）、ペン３によるペンタップ（入力）を受け付ける（ステップＳ１０２）。入力がない場合（ステップＳ１０２で「入力なし」）ステップＳ１０２に戻り、更にペンタップを待ち受ける。

ペン３による入力があった場合（ステップＳ１０２で「入力あり」）、ＣＰＵ１は操作者の左右の利き手（ペンの持ち手）を検出する利き手検出処理を行い（ステップＳ１０３）、利き手を判定する（ステップＳ１０４）。ステップＳ１０４の検出の結果、利き手が右手であった場合、ＣＰＵ１１は、右利きユーザーインターフェイス（ＵＩ）の設定を決定する（ステップＳ１０５）。ステップＳ１０４の検出の結果、利き手が左手であった場合、ＣＰＵ１１は、左利きユーザーインタフェース（ＵＩ）の設定を決定する（ステップＳ１０６）。表示体制御部２０は、それぞれのユーザーインターフェイスの設定に従って表示体２１に画面を表示する。

以下、各ステップの処理について詳細に説明する。
ステップＳ１０１において、表示体制御部２０は表示体２１にログイン画面を表示する。図３は、端末装置１の外観とログイン画面の一例を示す図である。端末装置１の表示体２１の両側には右利き用操作用ボタン４１−１と左利き用操作ボタン４１−２が設けられる。右利き用操作用ボタン４１−１、左利き用操作ボタン４１−２に割り当てられる機能は差左右に関わらず同じである。

端末装置１の電源が投入されると、表示体２１には図３に示すようなログイン画面が表示される。操作者は、ペン３を画面上に当接させることによって、ログイン画面の表示を指示し、入力操作を行う。例えば、操作者が「ユーザーＡ」である場合、ログイン画面上に表示された「ユーザーＡ」の表示をペン３で指示する。電磁誘導方式ペン検出部１５、静電容量検出部方式手指検出部１６は、ペン３、操作者の手や指の接触を入力として受け付ける。ここでは、操作者がペン入力を行う際、画面の何れかの位置をペンでタッチするとともに、手のひらの一部も画面上に触れるため、電磁誘導方式ペン検出部１５がペン先の位置を検出し、静電容量検出部方式手指検出部１６が操作者の手のひらの位置を検出する。

ペン３による入力が確認されると、ステップＳ１０３における利き手判定処理が行われる。
図４は、利き手判定処理の流れを示すフローチャートである。電磁誘導方式ペン検出部１５、静電容量検出部方式手指検出部１６は、それぞれ、ペン３のペン先座標（Ｘｐ，Ｙｐ）、手のひら座標（Ｘｈ，Ｙｈ）を取得する（ステップＳ２０１）。ＣＰＵ１１は、取得したペン先座標（Ｘｐ，Ｙｐ）と手のひら座標（Ｘｈ，Ｙｈ）を比較する（ステップＳ２０２）。

ステップＳ２０２においてペン先Ｘ座標Ｘｐが手のひらＸ座標Ｘｈより小さい場合（Ｘｐ＜Ｘｈ）、ＣＰＵ１１は操作者が右利き手（持ち手が右手）であると設定する（ステップＳ２０３）。
ステップＳ２０２においてペン先Ｘ座標Ｘｐが手のひらＸ座標Ｘｈより大きい場合（Ｘｐ＞Ｘｈ）、ＣＰＵ１１は操作者が左利き手（持ち手が左手）であると設定する（ステップＳ２０４）。

図５は、ペン３を操作する際の手とペン３の様子を示す図である。図６は、ペン３のペン先と手のひらの位置関係を示す図である。
左利きである操作者は、図５（ａ）に示すように左手でペン３を持ち、図３に示すログイン画面で「ユーザーＡ」を指示する。この際、静電容量検出部方式手指検出部１６が検出した操作者の手のひら接触面５１−２と、電磁誘導方式ペン検出部１５が検出したペン３のペン先との位置関係は図６（ｂ）に示すものとなる。

ここで、手のひらの位置座標として、手のひら接触面５１−２の代表となる点（例えば、接触面５１−２の重心の位置を算出して得られた座標を示す点）の位置ｈの座標（Ｘｈ，Ｙｈ）とし、ペン先位置ｐの座標を（Ｘｐ，Ｙｐ）とすると、操作者の利き手が左利きである場合は「Ｘｐ＞Ｘｈ」となる。即ち、電磁誘導方式ペン検出部１５、静電容量検出部方式手指検出部１６のそれぞれが検出したペン３のペン先Ｘ座標Ｘｐと手のひらＸ座標Ｘｈを比較して、「Ｘｐ＞Ｘｈ」であれば、操作者はペン３を左手に持っており左利きであると判定される。

また、右利きである操作者は、図５（ｂ）に示すように右手でペン３を持ち、図３に示すログイン画面で「ユーザーＡ」を指示する。この際、静電容量検出部方式手指検出部１６が検出した操作者の手のひら接触面５１−１と、電磁誘導方式ペン検出部１５が検出したペン３のペン先との位置関係は図６（ａ）に示すものとなる。

ここで、手のひらの位置座標として、手のひら接触面５１−１の代表となる点（例えば、接触面５１−１の重心など）の位置ｈの座標（Ｘｈ，Ｙｈ）とし、ペン先位置ｐの座標を（Ｘｐ，Ｙｐ）とすると、操作者の利き手が右利きである場合は「Ｘｐ＜Ｘｈ」となる。即ち、電磁誘導方式ペン検出部１５、静電容量検出部方式手指検出部１６のそれぞれが検出したペン３のペン先Ｘ座標Ｘｐと手のひらＸ座標Ｘｈを比較して、「Ｘｐ＜Ｘｈ」であれば、操作者はペン３を右手に持っていると判定され、右利きであると判定される。

尚、手のひら位置のＸ座標Ｘｈとペン３のペン先位置のＸ座標Ｘｐが等しい（Ｘｐ＝Ｘｈ）場合は、右利きと判定して処理しても良いし、次のペンタップ入力を受け付けた場合に、再度利き手判定処理を行ってもよい。
以上のようにして、図２に示すステップＳ１０３、ステップＳ１０４の操作者の左右の利き手判定処理が行われる。

操作者の利き手が検出されると、ＣＰＵ１１は利き手に合わせたユーザーインターフェイスを設定するよう表示体制御部２０に等に指示する。表示体制御部２０は、表示体２１に利き手に合わせた画面表示を行う。
操作者が右利きであると検出された場合、ステップＳ１０５に示すように、右利き用のユーザーインターフェイスが設定される。すなわち、右利き用として予めＧＵＩボタンがレイアウトされた配置情報を記憶するメモリーから読み出し、この配置情報に従って、各ＧＵＩボタンを配置する。図７は、右利き検出時のユーザーインターフェイスの一例を示す図である。ＣＰＵ１１は、端末装置１の両側に配置された操作ボタンのうち、左利き用操作ボタン４１−２の操作を無効にして入力を受け付けず、表示体制御部２１は、スクロールバーなど画面を確認しながら操作するＧＵＩボタン６１を表示体２１の右側の画面上に表示させる。

ここで、ＧＵＩボタン６１を右側に表示することで、右利きの操作者は画面を確認しつつペン３で操作を指示することが容易となる。また、端末装置１の右側に配置された左利き用操作ボタン４１−２を無効にすることで、ＧＵＩボタン６１を操作するつもりで誤って操作ボタン４１−２を押してしまうなどといった操作ミスを防止し、安全に作業を行うことができる。

また、操作者が左利きであると検出された場合、ステップＳ１０６に示すように、左利き用のユーザーインターフェイスが設定される。すなわち、左利き用として予めＧＵＩボタンがレイアウトされた配置情報を記憶するメモリーから読み出し、この配置情報に従って、各ＧＵＩボタンを配置する。図８は、左利き検出時のユーザーインターフェイスの一例を示す図である。ＣＰＵ１１は、端末装置１の両側に配置された操作ボタンのうち、右利き用操作ボタン４１−１の操作を無効にして入力を受け付けず、表示体制御部２１は、スクロールバーなど画面を確認しながら操作するＧＵＩボタン６３を表示体２１の左側の画面上に表示させる。
こうして、左利きの操作者も、右利きの操作者の場合と同様に、容易に安全に画面操作等を行うことが可能となる。

尚、図２に示すように初期のログイン画面にて操作者の利き手判定処理を行った後にも、利き手判定処理を行うことも可能である。
例えば、ログイン画面における入力で右利きであると判定された操作者において、以降の入力画面における操作において、再度ステップＳ１０２からステップＳ１０４の処理を続けて行い、左利きであると判定された場合は左利き用ＵＩに設定しても良いし、表示体２１の画面に「ＧＵＩを左利き用に設定しますか？」などと表示して操作者による入力を受けつけてもよい。
また、操作者の利き手を検出したら、操作者のユーザー情報として端末記憶装置１９に記憶することも可能である。

また、ペン３のペン先や手のひらの検出において、感圧式センサを用いることも可能である。感圧式センサとは、圧力の強さを検出するセンサである。例えば、表示体２１の上面に感圧式センサを配置して、ペン３の圧力と接触した手のひらの圧力とを比較し、ペン３のペン先の圧力の方が手のひらから受ける圧力より大きいことを利用してペン３のペン先と手のひらの位置関係を求めることも可能である。
また、ペン３のペン先と手のひらの両者の検出に静電容量検出方式のセンサを用いてもよい。

また、ペン先と手のひらの検出を前記の感圧式センサや静電容量検出方式センサで行い、表示体２１に設けられたそれぞれのセンサパネルのペン先の接触領域と手のひらの接触領域の大きさの違いを用いて、ペン３と手のひらの位置座標を検出することも可能である。この場合、例えば、接触領域の大きい場合が手のひらであると判定され、接触領域の小さい場合がペン先であると判定され、それぞれの位置座標を検出することも可能である。

また、図２や図４に示すＣＰＵ１１が実行するプログラムを作成し、ペンタブレットを有する汎用のコンピューターがそのプログラムを読み込んで端末装置１を実現することも可能である。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されてもよいし、ネットワークを介して流通させることも可能である。

１………端末装置
３………ペン
１１………ＣＰＵ
１２………ＲＯＭ
１３………ＲＡＭ
１４………タブレット制御部
１５………電磁誘導方式ペン検出部
１６………静電容量方式手指検出部
１７………電源制御部
１８………バッテリ
１９………端末記憶装置
２０………表示体制御部
２１………表示体

Claims

画面を表示する表示体を有し、前記画面上の位置を指示するペンの入力を受け付ける端末装置であって、
前記ペンによって指示されたペン先の位置を示す座標と、前記ペンを持つ操作者の手が前記画面上に触れられた位置を示す手の位置の座標とを検出する検出部と、
前記検出されたペン先の位置の座標と手の位置の座標とに基づいて、前記ペンを持つ操作者の持ち手が右手であるか、左手であるかを判定する判定部、
を有することを特徴とする端末装置。
前記判定部によるペンの持ち手の判定結果に基づいて、ＧＵＩを配置する位置を決定することを特徴とする請求項１記載の端末装置。
前記判定部は、前記検出部により検出された、水平方向の軸上における前記ペン先の位置の座標と前記手の位置の座標に基づいて、持ち手を判定することを特徴とする請求項１または請求項２に記載の端末装置。
前記判定部は、前記検出部の予め決められた原点から前記ペンのペン先の位置の座標までの距離と、前記検出部の予め決められた原点から前記ペンを持つ操作者の手の位置の座標までの距離とに基づいて、持ち手を判定することを特徴とする請求項１または請求項２に記載の端末装置。
前記判定部は、前記検出部によって、前記ペンのペン先の位置の座標と、前記ペンを持つ操作者の手の位置の座標との２箇所の座標が検出された場合に、持ち手を判定することを特徴とする請求項１から請求項４のいずれか１つに記載の端末装置。
前記判定部は、持ち手の判定を行った後、前記検出部が再度前記２箇所の座標を検出した場合に、再度持ち手を判定し、前回の持ち手の判定結果と今回の持ち手の判定結果とが異なる場合に、ＧＵＩの配置位置を変更することを特徴とする請求項２から請求項５のいずれか１つに記載の端末装置。
画面を表示する表示体を有し、前記画面上の位置を指示するペンの入力を受け付ける端末装置であるコンピューターを用いて、
前記コンピューターの検出部が、
前記ペンによって指示されたペン先の位置を示す座標と、前記ペンを持つ操作者の手が前記画面上に触れられた位置を示す手の位置の座標とを検出するステップと、
前記コンピューターの判定部が、
前記検出されたペン先の位置の座標と手の位置の座標とに基づいて、前記ペンを持つ操作者の持ち手が右手であるか、左手であるかを判定するステップと、
を実行することを特徴とする持ち手検出方法。
画面を表示する表示体を有し、前記画面上の位置を指示するペンの入力を受け付けるコンピューターに、
前記ペンによって指示されたペン先の位置を示す座標と、前記ペンを持つ操作者の手が前記画面上に触れられた位置を示す手の位置の座標とを検出する検出手段、
前記検出されたペン先の座標と手の位置の座標とに基づいて、前記ペンを持つ操作者の持ち手が右手であるか、左手であるかを判定する判定手段、
として機能させるためのプログラム。