JP2018156305A - タッチパネルシステム、タッチパネルシステムの制御方法及びプログラム - Google Patents

Abstract

【課題】電子ペンの傾きが大きく、ペン先がタッチパネルに接触していない場合であっても、電子ペンがタッチパネルに接触していることを識別する。
【解決手段】判定部が、ペン接触検知部（接触検知部）が、電子ペンがタッチパネルに接触したことを検知していない場合に、ペン把持検知部（把持検知部）が、電子ペンが把持されていることを検知し、なおかつ、ペン姿勢検知部（姿勢検知部）が検知した電子ペンの角度（姿勢）が所定の範囲であると判定したときに、表示制御部は、表示面に電子ペンの筆跡を表示する。
【選択図】図７

Description

本発明は、タッチパネルシステム、タッチパネルシステムの制御方法及びプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、この背景画像の上にユーザが文字や数字、図形等のストローク画像を描画可能な電子黒板が利用されている。このような、例えばインタラクティブホワイトボードシステムにあっては、電子ペンのペン先にスイッチを搭載し、電子ペンのペン先をタッチパネルに押し当てて、前記スイッチがＯＮとされた状態のときのみ、ディスプレイ上に筆跡を表示させている。

しかし、このような電子ペンにあっては、電子ペンを傾けすぎると、ペン先にかかる力が分散されてしまうため、電子ペンのペン先に搭載されたスイッチがＯＮにならず、電子ペンを用いて筆記を行っているにも関わらず、タッチパネルに指が触れていると誤認識されてしまうという問題があった。このような問題に対して、電子ペンに加速度センサを搭載して、タッチパネル上に閾値以上の面積を有する接触領域と、閾値以下の面積を有する接触領域とを検出した場合であって、なお且つ加速度センサが所定値以上の加速度を検出した場合のみ、前記閾値以下の面積を有する接触領域を、電子ペンのペン先の接触領域であると判定する技術があった。

しかしながら、当該技術では、手つきがされない場合、すなわち、閾値以上の面積を有する接触領域が発生しない場合には、閾値以下の面積を有する接触領域を検出した場合であっても、ペン筆記であることを認識できない。すなわち、電子ペンを傾けすぎた場合には筆記出来ないという課題は、依然として解決できていない。

本発明は、上記に鑑みてなされたものであって、電子ペンの傾きが大きく、ペン先がタッチパネルに接触していない場合であっても、電子ペンによる筆跡を表示することができるタッチパネルシステム、タッチパネルシステムの制御方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、電子ペン又は遮蔽物の筆跡を表示するタッチパネルシステムであって、前記電子ペンがタッチパネルに接触したことを検知する接触検知部と、前記電子ペンが把持されていることを検知する把持検知部と、前記電子ペンの、前記タッチパネルに対する姿勢を検知する姿勢検知部と、前記接触検知部が、前記電子ペンが前記タッチパネルに接触したことを検知している場合は、前記電子ペンの筆跡を表示する表示制御部と、を有し、前記表示制御部は、さらに、前記接触検知部が、前記電子ペンが前記タッチパネルに接触したことを検知していない場合は、前記把持検知部が、前記電子ペンが把持されていることを検知し、なおかつ、前記姿勢検知部が検知した前記電子ペンの姿勢が所定の範囲であるときに、前記電子ペンの筆跡を表示することを特徴とする。

本発明によれば、電子ペンの傾きが大きく、電子ペンのペン先がタッチパネルに接触していない場合であっても、電子ペンによる筆跡を表示させることができる。

図１は、タッチパネルシステムの一例である電子情報ボードシステムの外観斜視図である。 図２は、電子情報ボードシステムと周辺機器等との接続の一例を示す概略図である。 図３は、電子情報ボードシステムの制御系を示すブロック図である。 図４は、電子情報ボードシステムのハードウェア構成の一例を示すハードウェア構成図である。 図５は、電子情報ボードシステムのコントローラの構成及びその周辺を示すブロック図である。 図６は、電子情報ボードシステムに設けられた受光センサの構成を示す図である。 図７は、コントローラが電子ペン（及び遮蔽物）の動きに応じて画像を表示面に表示させるために備える機能の概要を示すブロック図である。 図８は、電子ペンの内部構造を示す概略構造図である。 図９は、電子ペン及び遮蔽物の座標位置を検知するタッチパネルの構成を例示する図である。 図１０は、表示面に遮蔽物が接触した時の動作例を示す図である。 図１１は、遮蔽物が表示面に接触した時の、受光センサの受光量を示す図である。 図１２は、遮断検知モードで電子ペンが存在する時の電子情報ボードシステムの動作例を示す図である。 図１３は、電子情報ボードシステムが発光ペン検知モードにより電子ペンの座標検知を行う方法を示す図である。 図１４は、電子ペンが表示面に接触した時の、受光センサの受光量を示す図である。 図１５は、電子ペンをタッチパネル（表示面）に接触させた状態の一例を示す図である。 図１６は、コントローラが行う処理の流れの一例を示すフローチャートである。

（電子情報ボードシステムの概要の説明）
以下に添付図面を参照して、実施の形態に係るタッチパネルシステムの利用形態の一例である電子情報ボードシステム１０の概要について説明する。図１は、タッチパネルシステムの一例である電子情報ボードシステム１０を用いた光学式タッチパネルシステムの外観斜視図である。図１に示すように、電子情報ボードシステム１０は、ディスプレイ部２０と、スタンド４０と、機器収納部５０と、電子ペン１００とを有する。

ディスプレイ部２０は、液晶パネル又はプラズマパネルなどのフラットパネルで形成されている。ディスプレイ部２０は、前面に、画像を表示する表示面２２を備える。表示面２２の前面には、タッチパネル２４が積層して形成されている。電子情報ボードシステム１０は、ペン形入力装置である電子ペン（発光ペン）１００又は後述する遮蔽物１５の一端が表示面２２に接触されると、タッチパネル２４により検知された座標位置に書き込まれた文字や図形等を表示する。遮蔽物１５は、例えば人の指などである。なお、本実施形態で説明するタッチパネル２４は、光学方式に基づくものとして説明するが、タッチパネル２４としては、静電容量検出方式、電磁誘導方式、抵抗変化検出方式等、いずれの検出原理に基づくものを用いてもよい。

電子情報ボードシステム１０は、ペン型入力装置である電子ペン１００のペン先が表示面２２に接触すると、タッチパネル２４は、ペン先が接触した座標位置を検知する。そして、電子情報ボードシステム１０は、表示面２２上の検知された座標位置に、電子ペン１００のペン先が接触したことを示す情報を表示する。そして、電子ペン１００のペン先が表示面２２に接触した状態のまま移動すると、表示面２２には、移動軌跡に沿った筆跡Ｋが表示される。

なお、タッチパネル２４は、表示面２２に電子ペン１００のペン先が接触したのか、タッチパネル２４上の接触位置を検知するために用いる光を遮断する、遮蔽物である人の指等が接触したのかを識別する。そして、電子情報ボードシステム１０は、ペン先が接触した場合には筆跡Ｋを表示させて、指先が接触した場合には、表示面２２にマーカ等の所定の情報を表示させる。

次に、図２を用いて、電子情報ボードシステム１０と周辺機器等との接続について説明する。図２は、本実施の形態に係る電子情報ボードシステム１０と周辺機器等との接続の一例を示す概略図である。図２に示すように、本実施の形態の電子情報ボードシステム１０は、ユーザＰＣ（Personal Computer）９０や、インターネットまたはＬＡＮ（Local Area Network）等であるネットワーク２０４と接続されている。

また、電子情報ボードシステム１０は、電子情報ボードシステム１０全体を制御するコントローラ６０と、外部装置とのインタフェースを行うＵＳＢ（Universal Serial Bus）ソケット７２及びＶＧＡ（Video Graphics Array）入力ソケット８２とを備える。

ＵＳＢソケット７２に接続されたＵＳＢケーブル７０、及びＶＧＡ入力ソケット８２に接続されたＶＧＡケーブル８０を介して、電子情報ボードシステム１０は、ユーザＰＣ９０と接続する。なお、他の通信規格に基づくケーブル及びコネクタや、あるいは無線通信によって電子情報ボードシステム１０とユーザＰＣ９０間を接続してもよい。

また、電子情報ボードシステム１０は、光ファイバなどの通信回線２００及びネットワークソケット２０２を介して、無線通信または有線通信によってネットワーク２０４に接続する。

ユーザＰＣ９０は、ＣＰＵ等の制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶装置と、ＨＤＤ（Hard Disk Drive）、ＣＤドライブ装置等の外部記憶装置と、ディスプレイ装置等の表示装置と、キーボードやマウス等の入力装置を備える通常のコンピュータのハードウェア構成を備える。ユーザＰＣ９０は外部に接続されるコンピュータの一例であり、ユーザＰＣ９０の代わりに、タブレット端末等を接続する構成としてもよい。

また、ユーザＰＣ９０は、磁気ディスク装置などからなるストレージ９４を有する。ストレージ９４は、各種コンテンツ及びコンテンツ表示用アプリケーションソフトウェアなどのプログラムを格納する。

電子情報ボードシステム１０のコントローラ６０は、電子情報ボードシステム１０全体を制御すると共に、電子情報ボードシステム１０に接続したユーザＰＣ９０及びネットワーク２０４との間でデータの送受信の制御を行う。例えば、コントローラ６０は、ストレージ９４に格納されたコンテンツの中から選択されてユーザＰＣ９０のモニタ９２に表示された画像データを、ＵＳＢケーブル７０またはＶＧＡケーブル８０を介して転送し、ディスプレイ部２０の表示面２２に表示する。すなわち、モニタ９２に表示された画像データと同じ画像を表示面２２に表示する。また、コントローラ６０は、例えば、ネットワーク２０４を介して遠隔地のコンピュータと接続することによって、電子情報ボードシステム１０を遠隔地間での会議に使用する。

また、コントローラ６０は、ディスプレイ部２０の表示面２２及びタッチパネル２４を制御する。具体的には、コントローラ６０は、タッチパネル２４が検知した電子ペン１００の接触点の座標位置を取得して、表示面２２に、ユーザが描いた筆跡Ｋ（図１）を表示する。また、ユーザが表示面２２上の各画面操作部２６を電子ペン１００で押下する等の画面操作を実行した場合、コントローラ６０は、ユーザがタッチパネル２４上で実行した画面操作に基づいて、表示面２２の表示を変更する。

画面操作部２６は、ディスプレイ部２０の表示面２２上に表示される操作ボタンである。画面操作部２６は、ユーザが実行することができる処理を表示する。ユーザは、画面操作部２６を電子ペン１００で押下することによって、押下された画面操作部２６に応じた操作を電子情報ボードシステム１０に行わせる。

次に、図３を用いて電子情報ボードシステム１０と電子ペン１００との関係について説明する。図３は、電子情報ボードシステム１０の制御系を示すブロック図である。

図３に示すように、ディスプレイ部２０は、コントローラ６０により制御されており、入力操作される各画面操作部２６（図２）やユーザＰＣ９０から取り込まれた画像を表示面２２（図２）に表示する。

電子情報ボードシステム１０は電子ペン１００との間で信号を送受信するペン信号受信部２１０を備える。また、電子ペン１００は、電子情報ボードシステム１０との間で信号を送受信するための通信制御部１０２を備える。なお、電子ペン１００の使い勝手を高めるために、通信制御部１０２とペン信号受信部２１０との間の通信は無線通信で行うのが望ましい。そのため、本実施の形態では、通信制御部１０２とペン信号受信部２１０との間の通信は、よく知られた無線通信規格であるＢｌｕｅｔｏｏｔｈ（登録商標）を用いて行うものとする。

コントローラ６０は、タッチパネル２４から電子ペン１００が接触したタッチパネル２４上の接触点の座標位置を取得する。

コントローラ６０は、電子ペン１００が備える後述する各種センサの出力と、タッチパネル２４から取得した電子ペン１００の接触点の座標位置とに基づいて、ユーザがタッチパネル２４上で描いた線の座標位置等を検知する。そして、コントローラ６０は、表示面２２上の、電子ペン１００が接触した座標位置に点を表示する。さらに、ユーザが、電子ペン１００をタッチパネル２４に接触させたまま文字や図形を描くと、コントローラ６０は、表示面２２上に、電子ペン１００のペン先の移動軌跡を表示させる。したがって、表示面２２上には、図１に示した筆跡Ｋが表示される。

（電子情報ボードシステムのハードウェア構成の説明）
次に、本実施の形態における電子情報ボードシステム１０のハードウェア構成について説明する。図４は、電子情報ボードシステム１０のハードウェア構成の一例を示すハードウェア構成図である。

図４に示すように、電子情報ボードシステム１０のコントローラ６０はＣＰＵ６１、ＲＯＭ６３、ＲＡＭ６４、ＨＤＤ６５を備える。また、電子情報ボードシステム１０内では、ＣＰＵ６１、ＲＯＭ６３、ＲＡＭ６４、ＨＤＤ６５、ＶＧＡ入力ソケット８２、ＵＳＢソケット７２、ペン信号受信部２１０、表示面２２、タッチパネル２４が、それぞれバス１１１によって接続される。

コントローラ６０のＣＰＵ６１は、ＲＯＭ６３に格納されている制御プログラムにしたがって、電子情報ボードシステム１０の処理を制御する。

ＲＯＭ６３は、ＣＰＵ６１が実行する制御プログラムを記憶する。また、ＲＡＭ６４は、ＣＰＵ６１の処理実行時に、ワーキングメモリとして用いられる。

ＨＤＤ６５は、電子情報ボードシステム１０の各種設定値等を記憶する。

（電子情報ボードシステムの機能構成の説明）
次に、図５を用いて、電子情報ボードシステム１０の機能構成について説明する。図５は、電子情報ボードシステム１０のコントローラ６０の構成及びその周辺を示すブロック図である。図５に示すように、電子情報ボードシステム１０のコントローラ６０は、ペン信号受信部２１０と、コントローラオペレーティングシステム部２２０と、アプリケーション部２３０と、映像入力デバイス部２４０と、タッチパネルドライバ部２５０を有する。また、アプリケーション部２３０は、イベント信号判断部２３１と、映像入力処理部２３２と、画面描画処理部２３４と、画面消去処理部２３６と、画面操作処理部２３８とを有する。

コントローラオペレーティングシステム部２２０は、コントローラ６０で行う制御処理を管理、実行するメイン制御部である。アプリケーション部２３０は、ディスプレイ部２０の表示面２２（図２）に表示する画像を生成する制御処理、ユーザＰＣ９０の画面を表示する制御処理、電子ペン１００の発光信号及び指の接触情報が検知された場合に、筆記された図形や文字などの表示や、指タッチの動作等の制御処理を行う。

イベント信号判断部２３１は、コントローラオペレーティングシステム部２２０から入力されるイベント信号を監視して、入力されたイベント信号に応じた制御処理を行う。映像入力処理部２３２は、ユーザＰＣ９０から入力されてユーザＰＣ９０の画面に表示された画像を表示面２２に表示するための制御処理を行う。

画面描画処理部２３４は、イベント信号判断部２３１を介してタッチパネル２４から入力される座標位置のデータに基づいて、手書きのグラフィックを生成し、既に表示された画像に手書きのグラフィックを重畳してディスプレイ部２０の表示面２２に表示する。画面消去処理部２３６は、イベント信号判断部２３１を介してタッチパネル２４から入力される座標位置のデータに基づいて、現在表示されている画像の背景色でグラフィックを生成し、既に表示された画像に背景色のグラフィックを重畳してディスプレイ部２０の表示面２２に表示する。これにより、ディスプレイ部２０に表示された手書きグラフィックに背景色のグラフィックが重畳されるため、見かけ上、手書きグラフィックは表示面２２から消去される。

画面操作処理部２３８は、タッチパネル２４から入力される座標位置の情報（信号）を、マウスイベント等のポインティングデバイス信号に変換し、ディスプレイ部２０の表示面２２に表示される画面操作部２６（図２）のオン・オフ操作による処理を行う。また、画面操作処理部２３８は、タッチパネル２４の、後述する受光センサ３００、３１０（図６）により検知された、電子ペン１００が接触した座標位置の情報を、マウスダウンイベントとして座標値と共にコントローラオペレーティングシステム部２２０に伝送する。また、電子ペン１００がタッチパネル２４の表示面２２に接触したまま移動させられた場合、マウスアップイベントとして座標値と共にコントローラオペレーティングシステム部２２０に伝送する。

映像入力デバイス部２４０は、ユーザＰＣ９０のモニタ９２に表示された画像データを、例えばＶＧＡケーブル８０（図３）を介して転送し、ディスプレイ部２０の表示面２２に表示する。

タッチパネルドライバ部２５０は、電子ペン１００及びタッチパネル２４から入力された座標位置信号及び筆記検知信号又は消去検知信号を所定のイベント信号に変換してコントローラオペレーティングシステム部２２０に伝送する。また、タッチパネルドライバ部２５０は、ペン信号受信部２１０で電子ペン１００より筆記検知信号又は消去検知信号が受信されると、座標位置信号と共に筆記検知信号又は消去検知信号をコントローラオペレーティングシステム部２２０に伝送する。

（タッチパネルの動作概要の説明）
次に、タッチパネル２４の動作概要について、図面を用いて説明する。図６は、電子情報ボードシステム１０に設けられた受光センサ３００の構成を示す図である。受光センサ３００は、光検知部の一例であり、例えば、赤外光を透過する受光レンズ３５０と、イメージセンサ基板３５２から構成されている。受光センサ３００は、後述する照明光源４１０が照射する光信号（例えば赤外光）を受光する。また、図６に不図示の受光センサ３１０も、受光センサ３００と同様に構成されている。受光センサ３００（受光センサ３１０）の作用については後述する。

図７は、コントローラ６０が電子ペン１００（及び遮蔽物１５）の動きに応じて画像を表示面２２に表示させるために備える機能の概要を示すブロック図である。図７に示すように、コントローラ６０は、電子ペン１００（及び遮蔽物１５）の動きに応じて画像を表示面２２に表示させるために、信号検知部６００、ペン接触検知部６０１、ペン姿勢検知部６０２、ペン把持検知部６０３、位置検知部６０４、判定部６０６、及び表示制御部６０８を有する。

信号検知部６００は、電子ペン１００又は遮蔽物１５を介した光信号を、受光センサ３００を介して検知する。ペン接触検知部６０１は、接触検知部の一例であり、電子ペン１００のペン先１０１のタッチパネル２４に対する接触を検知する。より具体的には、ペン接触検知部６０１は、電子ペン１００の先端がタッチパネル２４に接触したことを示す接触信号を検知する。本実施の形態にあっては、後述する押圧センサ１０４（図８）がコントローラ６０と協働することによって、ペン接触検知部６０１を実現する。ペン姿勢検知部６０２は、姿勢検知部の一例であり、電子ペン１００のタッチパネル２４に対する姿勢（後述する角度θ）を示す姿勢信号を検知する。本実施の形態にあっては、後述する姿勢センサ１０８（図８）がコントローラ６０と協働することによって、ペン姿勢検知部６０２を実現する。ペン把持検知部６０３は、把持検知部の一例であり、ユーザが電子ペン１００を把持しているかを検知する。より具体的には、ペン把持検知部６０３は、電子ペン１００が把持されていることを示す把持信号を検知する。本実施の形態にあっては、後述する把持センサ１０６（図８）がコントローラ６０と協働することによって、ペン把持検知部６０３を実現する。位置検知部６０４は、電子ペン１００又は遮蔽物１５のタッチパネル２４上の位置を検知する。本実施の形態にあっては、タッチパネル２４がコントローラ６０と協働することによって、位置検知部６０４を実現する。

判定部６０６は、信号検知部６００が検知した光信号が電子ペン１００又は遮蔽物１５のいずれを介した光信号であるかを判定する。また、判定部６０６は、信号検知部６００が検知した光信号が電子ペン１００又は遮蔽物１５のいずれを介した光信号であるかを判定した順序と、ペン接触検知部６０１が検知した接触信号と、ペン姿勢検知部６０２が検知した姿勢信号と、ペン把持検知部６０３が検知した把持信号と、に基づいて、電子ペン１００の状態を判定する。本実施の形態にあっては、コントローラ６０が、判定部６０６を実現する。

表示制御部６０８は、判定部６０６の判定結果に基づいて、位置検知部６０４が検知した電子ペン１００又は遮蔽物１５の位置に基づく所定の位置に、筆跡Ｋまたはマーカ等を表示させる。

次に、図８を用いて、電子ペン１００の内部構造について説明する。図８は、電子ペン１００の内部構造を示す概略構造図である。図８に示すように、電子ペン１００は、先端部が透光性を有する部材で形成されており、内部に発光部１０３を備える。さらに、電子ペン１００は、ペン先１０１がタッチパネル２４（表示面２２）に接触したことを検知する押圧センサ１０４と、ユーザが電子ペン１００を把持したことを検知する把持センサ１０６と、電子ペン１００のタッチパネル２４に対する姿勢を検知する姿勢センサ１０８とを備える。また、電子ペン１００は、前記した各センサが出力する検知信号を処理する信号処理回路１０５と、発光部１０３と、各センサ及び信号処理回路１０５に電源を供給するバッテリー１０７と、電子情報ボードシステム１０が備えるペン信号受信部２１０（図５）との間で信号を送受信する通信制御部１０２とを備える。

発光部１０３は、電子ペン１００の先端に備えられて、前記した受光センサ３００、３１０が検知可能な波長の光で発光する。

押圧センサ１０４は、例えば、圧力によって抵抗値が変化したことを検知して、抵抗値に応じた電気信号を出力する圧電素子で構成される。電子ペン１００のペン先１０１の根元にはゴムやウレタン等の弾性体１１０が設置されており、ペン先１０１がタッチパネル２４に押し当てられると、ペン先１０１の根元が弾性体１１０に圧縮荷重を加える。弾性体１１０の対面側は押圧センサ１０４に当接しているため、弾性体１１０に加えられた圧縮荷重は、押圧センサ１０４に伝達される。したがって、ペン先１０１の接触に伴って、押圧センサ１０４に圧力が加えられ、押圧センサ１０４は圧力に応じた電気信号（接触信号）を出力する。押圧センサ１０４が出力した姿勢信号は、信号処理回路１０５において、増幅等の信号処理を施されて、通信制御部１０２及びペン信号受信部２１０を介して、コントローラ６０（図５）に伝送される。

把持センサ１０６は、例えば、感圧導電性ゴムを用いた圧力センサで構成される。具体的には、把持センサ１０６は、感圧導電性ゴムを電子ペン１００の側面に沿って巻回することによって構成される。ユーザが電子ペン１００を把持すると、指先が把持センサ１０６に接触するため、把持力に応じて把持センサ１０６の抵抗値が変化し、抵抗値に応じた電気信号（把持信号）を出力する。より具体的には、把持力が大きいほど電気抵抗が小さくなる。そのため、ユーザが電子ペン１００を把持すると、把持センサ１０６に流れる電流が大きくなる。この電流値の変化を検出することによって、電子ペン１００が把持されたことを検知することができる。なお、把持センサ１０６の構成は、感圧導電性ゴムを用いた圧力センサに限定されるものではなく、例えば、把持することによる静電容量の変化を検出するセンサ等であってもよい。把持センサ１０６が出力した把持信号は、信号処理回路１０５において、増幅等の信号処理を施されて、通信制御部１０２及びペン信号受信部２１０を介して、コントローラ６０に伝送される。

なお、電子ペン１００が把持されずに、机上に横倒しで放置された場合を考える。このような場合であっても、把持センサ１０６は机に接触しているため、電気抵抗が小さくなって電気信号を出力する。ここで、把持センサ１０６の出力信号の分解能が２５６段階（８ビット）であると仮定する。このとき、机上に横倒しで放置された電子ペン１００の把持センサ１０６からは、例えば、３０前後のほぼ一定の値が出力される。したがって、本実施の形態の電子情報ボードシステム１０は、把持センサ１０６が２０〜４０の値を所定時間（例えば２秒間）に亘って出力し続けたときは、電子ペン１００はユーザの手に把持されていないと判定する。例えば、コントローラ６０は、把持センサ１０６が２０〜４０の値を所定時間に亘って出力し続けている場合には、仮に、後述する姿勢センサ１０８が筆記中に相当する値を出力している場合であっても、電子ペン１００は、姿勢センサ１０８の値が示す姿勢で放置されているものと判定する。

姿勢センサ１０８は、例えば、角速度を検出するセンサとしてよく知られたジャイロセンサで構成される。姿勢センサ１０８は、ユーザが電子ペン１００を把持して、筆記動作を行った際の電子ペン１００の姿勢を検知する。本実施の形態にあっては、姿勢センサ１０８は、後述する図７（ｂ）に示す、電子ペン１００がタッチパネル２４の表面となす傾きに相当する角度θに応じた電気信号（姿勢信号）を出力する。なお、姿勢センサ１０８の構成は、ジャイロセンサに限定されるものではなく、例えば、加速度センサを用いて構成してもよい。姿勢センサ１０８が出力した姿勢信号は、信号処理回路１０５において、増幅等の信号処理を施されて、通信制御部１０２及びペン信号受信部２１０を介して、コントローラ６０に伝送される。また、姿勢センサ１０８は、仮に電子ペン１００がユーザに把持されていない場合であっても、電子ペン１００の姿勢を検知して姿勢信号を出力する。したがって、電子情報ボードシステム１０のコントローラ６０は、受光センサ３００、３１０の出力である光信号と、押圧センサ１０４の出力である接触信号と、把持センサ１０６の出力である把持信号と、姿勢センサ１０８の出力である姿勢信号とを組み合わせて、電子ペン１００及び指（遮蔽物）の状態を判定する。詳しくは後述する（図１６）。

なお、バッテリー１０７の消費量を低減するために、電子ペン１００に、図８に不図示の電源スイッチを設けて、電子ペン１００を使用する際には、ユーザが電源スイッチを投入する構成としてもよい。あるいは、例えば、姿勢センサ１０８と信号処理回路１０５のみ常時通電しておき、姿勢センサ１０８の出力が所定値を超えた場合のみ、把持センサ１０６等に通電する構成としてもよい。

図９は、電子ペン１００及び遮蔽物１５の座標位置を検知するタッチパネル２４の構成を例示する図である。図９に示すように、タッチパネル２４は、表示面２２の上側の左右角部に一対の受光センサ３００、３１０が配置されている。受光センサ３００、３１０にはそれぞれ、受光センサ３００、３１０が検知可能な波長を有する光（例えば赤外光）を照射する照明光源４１０、４２０が設けられている。また、表示面２２の側面方及び下方には、再帰反射部４３０が配置されている。

照明光源４１０からは光線が表示面２２上に照射される。光線の一部を光線４４０として示す。照明光源４１０から照射された光線は、再帰反射部４３０にて反射され、受光センサ３００に達する。再帰反射部からの反射光の光線の一部を光線４５０として示す。同様に、照明光源４２０からは光線が表示面２２上に照射される。光線の一部を光線４６０として示す。照明光源４２０から照射された光線は、再帰反射部４３０にて反射され、受光センサ３１０に達する。再帰反射部４３０からの反射光の光線の一部を光線４７０として示す。

電子ペン１００の先端部は、前記したように透光性を有するため、照明光源４１０、４２０及び再帰反射部４３０からの光線を透過させる。また、電子ペン１００の先端部に設置された発光部１０３は、制御回路６２の指示に従って発光する。発光部１０３から照射される光線は、受光センサ３００、３１０に受光されて、波長、強度などが検知される。通信制御部１０２は、制御回路６２が備える通信部と通信する。なお、制御回路６２は、上述したコントローラ６０に含まれることとする。

タッチパネル２４は、指等の遮蔽物１５が接触した座標位置を検知する遮断検知モードと、電子ペン１００が接触した座標位置を検知する発光ペン検知モードと、を備える。遮断検知モード時には、照明光源４１０、４２０を点灯させて、電子ペン１００の発光部１０３を消灯させた状態とする。そして、受光センサ３００、３１０で、受光量が極小となる位置を検知して、その検知結果に基づいて後述する傾斜角度α、β（図１０）を算出する。また、発光ペン検知モード時には、照明光源４１０、４２０を消灯させて、電子ペン１００の発光部１０３を点灯させた状態とする。そして、受光センサ３００、３１０で、受光量が極大となる位置を検知して、その検知結果に基づいて後述する傾斜角度α、β（図１３）を算出する。タッチパネル２４の動作開始時は、いずれのモードで動作させるかが不確定であるため、例えば、制御回路６２の指示により両モードを所定のタイミングで切り替えて、どちらのモードで動作させるべきかを特定した後、特定されたモードで動作させればよい。以下、各モードの動作概要について説明する。

次に、遮蔽物（非発光体）１５の位置座標を電子情報ボードシステム１０が検知する原理について説明する。図１０は、表示面２２に遮蔽物１５が接触した時の動作例を示す図である。電子情報ボードシステム１０は、制御回路６２の指示により、照明光源４１０、４２０を点灯させる。

遮蔽物１５の先端が表示面２２に接触した場合、光線４４０、４６０は、遮蔽物１５によって遮断される。そのため、図１０に示した光線４５０、４７０は、受光センサ３００、３１０で検知されない。そこで、制御回路６２は、受光センサ３００、３１０からの光信号に基づいて赤外光を検知しなかった箇所の水平方向に対する傾斜角度（α、β）を検知し、三角測量の数式で座標位置を演算し、ＸＹ座標に変換する。そして、電子情報ボードシステム１０は、制御回路６２で得られた座標位置を元に書き込まれた文字や図形等をディスプレイ部２０に表示する。図１０に示された方法において、遮蔽物１５が表示面２２に接触した時の、受光センサ３００、３１０の受光量Ｉの一例を図１１に示す。

図１２は、遮断検知モードで電子ペン１００が存在する場合の電子情報ボードシステム１０の動作例を示す図である。この場合は、制御回路６２より通信制御部１０２を介して発光部１０３を消灯しておく。また、電子ペン１００の先端部は透光性を有するため、照明光源４１０、４２０から出射した光線を透過する。したがって、電子ペン１００は、受光センサ３００、３１０では感知されず、遮蔽物１５の座標位置の検知に影響を与えない。以上より、遮断検知モードでは遮蔽物１５のみの表示面２２への接触を検知することが可能となる。

次に、電子ペン１００の位置座標を電子情報ボードシステム１０が検知する原理について説明する。図１３は、電子情報ボードシステム１０が発光ペン検知モードにより電子ペン１００の座標検知を行う方法を示す図である。発光ペン検知モードでは、制御回路６２の指示により照明光源４１０、４２０は消灯しておき、かつペン先１０１が表示面２２に接触した場合のみ電子ペン１００の発光部１０３を点灯させる。そのため、発光部１０３が照射する光線４８０、４９０のみが受光センサ３００、３１０に入射し検知される。

そこで、制御回路６２は、受光センサ３００、３１０からの光信号に基づいて赤外光を検知した箇所の水平方向に対する傾斜角度（α、β）を検知し、三角測量の数式で座標位置を演算し、ＸＹ座標に変換する。そして、電子情報ボードシステム１０は、制御回路６２で得られた座標位置を元に書き込まれた文字や図形等をディスプレイ部２０に表示する。

図１３に示された方法において、電子ペン１００が表示面２２に接触した時の、受光センサ３００、３１０の受光量Ｉの一例を図１４に示す。発光ペン検知モードで遮蔽物１５が存在する場合は、照明光源４１０、４２０は消灯されており光線が照射されていないため、受光センサ３００、３１０には検知されない。以上より、発光ペン検知モードでは、電子ペン１００のみの表示面２２への接触を検知することが可能となる。

（押圧センサの作用の説明）
次に、図１５を用いて、前記したペン接触検知部６０１（図７）の作用について説明する。図１５は、電子ペン１００をタッチパネル２４（表示面２２）に接触させた状態の一例を示す図である。特に、図１５（ａ）は、電子ペン１００のペン先１０１が、タッチパネル２４の表面に垂直に接触している様子を示す。図１５（ｂ）は、電子ペン１００のペン先１０１が、タッチパネル２４の表面に対して角度θだけ傾いた状態で接触している様子を示す。また、図１５（ｃ）は、電子ペン１００はタッチパネル２４に接触しているが、ペン先１０１はタッチパネル２４に接触していない状態を示す。

図１５に示すように、ユーザは電子ペン１００を把持して、電子ペン１００の軸Ｓに沿う方向に力Ｎを作用させて、ペン先１０１をタッチパネル２４（表示面２２）に接触させて筆記を行う。ここで、図１５（ａ）に示すように、電子ペン１００をタッチパネル２４の表面に垂直に押し当てて、電子ペン１００の軸Ｓに沿う方向に力Ｎを加えたときに、ペン先１０１は、タッチパネル２４の面に直交する方向に、力Ｆ（Ｎ）で押し当てられるとする。このとき、力Ｆ（Ｎ）が所定の閾値を超えた場合に、前記したコントローラ６０（図５）は、ペン先１０１がタッチパネル２４に接触していると判定する。

ここで、図１５（ｂ）に示すように、電子ペン１００を、タッチパネル２４の表面と角度θをなすように傾けた状態で、電子ペン１００の軸Ｓに沿う方向に力Ｎを加えて、ペン先１０１をタッチパネル２４に押し当てた場合を想定する。このとき、電子ペン１００の軸Ｓに沿う方向に力Ｎを加えると、ペン先１０１は、タッチパネル２４の表面に直交する方向に、力Ｆ（Ｎ）ｓｉｎθで押し当てられる。すなわち、タッチパネル２４の表面に垂直な方向にペン先１０１を押し当てた場合と比べると、角度θに応じた量だけ、タッチパネル２４を押す力が小さくなる。すなわち、電子ペン１００を、タッチパネル２４の面と角度θをなすように傾けた場合には、前記した力Ｆ（Ｎ）の所定の閾値の大きさによっては、コントローラ６０は、ペン先１０１がタッチパネル２４に接触していると判定しない可能性がある。したがって、本実施の形態の電子情報ボードシステム１０では、タッチパネル２４の表面に対して角度θだけ傾いた状態で、電子ペン１００のペン先１０１を押し当てた状態であるときに、電子ペン１００のペン先１０１がタッチパネル２４に接触していると判定されるように、前記した力Ｆ（Ｎ）の所定の閾値を設定しておくものとする。

さらに、図１５（ｃ）に示すように、筆記時の電子ペン１００の角度θをさらに小さくして、これ以上傾けられない状態、すなわち、電子ペン１００の傾きが角度θｍｉｎであるとする。電子ペン１００はペン本体からペン先１０１にかけて徐々に細くなる構造を有しているため、電子ペン１００を傾ける角度θを小さくしていくと、図１５（ｃ）に示すように、ペン先１０１がタッチパネル２４に接触していると判定されない状態となる。このとき、押圧センサ１０４は電気信号を出力しない。

なお、角度θの値は、前記した姿勢センサ１０８（図８）によって計測される。そして、本実施の形態の電子情報ボードシステム１０は、角度θｍｉｎ（例えば２０°）を閾値として、２０°≦θ≦１８０°−２０°の範囲内であるときに、タッチパネル２４が検知した表示面２２上の座標位置に、図１に示した筆跡Ｋを描画するものとする。すなわち、図１５（ｃ）のように電子ペン１００のペン先１０１がタッチパネル２４に接触していると判定されない場合であっても、ペン入力を行わせるものとする。

このように、本実施の形態に係る電子情報ボードシステム１０は、押圧センサ１０４の出力が得られない状態であっても、以下の条件を満足する場合には、電子ペン１００による筆跡Ｋを描画する。すなわち、図６の把持センサ１０６が、電子ペン１００が把持されていると判断して、なおかつ、姿勢センサ１０８が、２０°≦θ≦１６０°の範囲内の値を出力して、さらに、タッチパネル２４が、表示面２２への接触を検知している場合には、電子情報ボードシステム１０は、タッチパネル２４が検知した表示面２２上の座標位置に筆跡Ｋを描画する。

したがって、例えば、電子ペン１００を角度θ＝０°の姿勢で格納する所定のペンホルダに格納した状態であるときに、タッチパネル２４に指（遮蔽物）でタッチした場合には、電子情報ボードシステム１０は、指イベントが発生していると判断して、指入力に対応した情報（例えば、所定のマーカ等）を表示面２２に表示する。すなわち、ペンイベントと指イベントとを確実に識別することができる。

（コントローラが行う処理の流れの説明）
次に、図１６を用いて、コントローラ６０が行う処理の流れについて説明する。図１６は、コントローラ６０が行う処理の流れの一例を示すフローチャートである。

電子情報ボードシステム１０において、電源が投入される（ステップＳ１０）と、タッチパネル２４を含む各機能が起動する（ステップＳ１２）。

判定部６０６（図７）は、タッチパネル２４起動後に信号検知部６００がイベント信号を検出したか否かを判定する（ステップＳ１４）。イベント信号を検出していると判定されたとき（ステップＳ１４：Ｙｅｓ）は、ステップＳ１６に移行して、イベント信号を検出していると判定されないとき（ステップＳ１４：Ｎｏ）は、ステップＳ３０に移行する。

次に判定部６０６は、ペン接触検知部６０１（図７）が検知した接触信号により電子ペン１００がタッチパネル２４に接触しているか判定する（ステップＳ１６）。電子ペン１００が接触していると判定されたとき（ステップＳ１６：Ｙｅｓ）はステップＳ１８に移行して、それ以外のとき（ステップＳ１６：Ｎｏ）は、ステップＳ２２に移行する。

次に位置検知部６０４（図７）は、タッチパネル２４の出力から、接触点の座標位置を取得する（ステップＳ１８）。

表示制御部６０８（図７）は、表示面２２に筆跡Ｋを表示する（ステップＳ２０）。その後、ステップＳ３０に移行する。

前記したステップＳ１６で、電子ペン１００がタッチパネル２４に接触していると判定されない場合（ステップＳ１６：Ｎｏ）は、判定部６０６は、ペン把持検知部６０３（図７）が検知した把持信号により、電子ペン１００が把持されているかを判定する（ステップＳ２２）。電子ペン１００が把持されていると判定されたとき（ステップＳ２２：Ｙｅｓ）は、ステップＳ２４に移行する。一方、電子ペン１００が把持されていると判定されないとき（ステップＳ２２：Ｎｏ）は、ステップＳ２６に移行する。

次に、判定部６０６は、ペン姿勢検知部６０２（図７）が検知した姿勢信号により、電子ペン１００の姿勢が所定の範囲内にあるかを判定する（ステップＳ２４）。電子ペン１００の姿勢が所定の範囲内にあると判定されたとき（ステップＳ２４：Ｙｅｓ）は、前記したステップＳ１８に移行する。一方、電子ペン１００の姿勢が所定の範囲内にあると判定されないとき（ステップＳ２４：Ｎｏ）は、ステップＳ２６に移行する。

次に位置検知部６０４（図７）は、接触点の座標位置を取得する（ステップＳ２６）。そして、判定部６０６は、指イベント発生時の操作に対応した表示を行うように、表示制御部６０８に指示する（ステップＳ２８）。そして、ステップＳ３０に移行する。

続いて、電子情報ボードシステム１０の電源が切断されたか否かが判定される（ステップＳ３０）。電源が切断されたと判定されたとき（ステップＳ３０：Ｙｅｓ）は、図１６に示した一連の処理を終了する。一方、電源が切断されたと判定されないとき（ステップＳ３０：Ｎｏ）は、ステップＳ１４に戻って、前記した処理を繰り返す。

以上説明したように、本実施の形態に係るタッチパネルシステムの一例である電子情報ボードシステム１０によれば、判定部６０６が、ペン接触検知部６０１（接触検知部）が、電子ペン１００がタッチパネル２４に接触したことを検知していない場合に、ペン把持検知部６０３（把持検知部）が、電子ペン１００が把持されていることを検知し、なおかつ、ペン姿勢検知部６０２（姿勢検知部）が検知した電子ペン１００の角度θ（姿勢）が所定の範囲であると判定したときに、表示制御部６０８は、表示面２２に電子ペン１００の筆跡Ｋを表示する。したがって、電子ペン１００の傾きが大きく（角度θが小さく）、電子ペン１００のペン先がタッチパネル２４に接触していないと判定された場合であっても、電子ペン１００による筆跡Ｋを表示させることができる。

また、本実施の形態に係る電子情報ボードシステム１０によれば、判定部６０６が、ペン接触検知部６０１（接触検知部）が、電子ペン１００がタッチパネル２４に接触したことを検知していない場合に、ペン把持検知部６０３（把持検知部）が、電子ペン１００が把持されていることを検知し、なおかつ、ペン姿勢検知部６０２（姿勢検知部）が検知した電子ペン１００の角度θ（姿勢）が所定の範囲でないと判定したときに、表示制御部６０８は、表示面２２に指（遮蔽物）の筆跡Ｋを表示する。したがって、ペンイベントと指イベントとを確実に識別して、各イベントに応じた情報入力を行うことができる。

以上、本発明の実施の形態について説明したが、上述した実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施の形態で説明した制御プログラムは、予めＲＯＭ６３（図４）に記憶されて提供される以外に、インストール可能な形式、または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、制御プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

１０ 電子情報ボードシステム（タッチパネルシステム）
２２ 表示面
２４ タッチパネル
１００ 電子ペン
１０１ ペン先
３００、３１０ 受光センサ（光検知部）
６００ 信号検知部
６０１ ペン接触検知部（接触検知部）
６０２ ペン姿勢検知部（生成検知部）
６０３ ペン把持検知部（把持検知部）
６０４ 位置検知部
６０６ 判定部
６０８ 表示制御部
Ｋ 筆跡
θ、θｍｉｎ 角度（傾き）

特開２０１３−２３２０４４号公報

Claims (4)

1. 電子ペン又は遮蔽物の筆跡を表示するタッチパネルシステムであって、
   前記電子ペンがタッチパネルに接触したことを検知する接触検知部と、
   前記電子ペンが把持されていることを検知する把持検知部と、
   前記電子ペンの、前記タッチパネルに対する姿勢を検知する姿勢検知部と、
   前記接触検知部が、前記電子ペンが前記タッチパネルに接触したことを検知している場合は、前記電子ペンの筆跡を表示する表示制御部と、を有し、
   前記表示制御部は、さらに、前記接触検知部が、前記電子ペンが前記タッチパネルに接触したことを検知していない場合は、前記把持検知部が、前記電子ペンが把持されていることを検知し、なおかつ、前記姿勢検知部が検知した前記電子ペンの姿勢が所定の範囲であるときに、前記電子ペンの筆跡を表示する
   ことを特徴とするタッチパネルシステム。
2. 前記表示制御部は、前記接触検知部が、前記電子ペンが前記タッチパネルに接触したことを検知していない場合は、前記把持検知部が、前記電子ペンが把持されていることを検知せず、なおかつ、前記姿勢検知部が検知した前記電子ペンの姿勢が所定の範囲でないときに、前記遮蔽物の筆跡を表示する
   ことを特徴とする請求項１に記載のタッチパネルシステム。
3. 電子ペン又は遮蔽物の筆跡を表示するタッチパネルシステムの制御方法であって、
   前記電子ペンがタッチパネルに接触したことを検知する接触検知ステップと、
   前記電子ペンが把持されていることを検知する把持検知ステップと、
   前記電子ペンの、前記タッチパネルに対する姿勢を検知する姿勢検知ステップと、
   前記接触検知ステップが、前記電子ペンが前記タッチパネルに接触したことを検知している場合は、前記電子ペンの筆跡を表示する表示制御ステップと、を有し、
   前記表示制御ステップは、さらに、前記接触検知ステップが、前記電子ペンが前記タッチパネルに接触したことを検知していない場合は、前記把持検知ステップが、前記電子ペンが把持されていることを検知し、なおかつ、前記姿勢検知ステップが検知した前記電子ペンの姿勢が所定の範囲であるときに、前記電子ペンの筆跡を表示する
   タッチパネルシステムの制御方法。
4. 電子ペン又は遮蔽物の筆跡を表示するタッチパネルシステムを制御するコンピュータに対して、
   前記電子ペンがタッチパネルに接触したことを検知する接触検知ステップと、
   前記電子ペンが把持されていることを検知する把持検知ステップと、
   前記電子ペンの、前記タッチパネルに対する姿勢を検知する姿勢検知ステップと、
   前記接触検知ステップが、前記電子ペンが前記タッチパネルに接触したことを検知している場合は、前記電子ペンの筆跡を表示する表示制御ステップと、を実行させて、
   前記表示制御ステップは、さらに、前記接触検知ステップが、前記電子ペンが前記タッチパネルに接触したことを検知していない場合は、前記把持検知ステップが、前記電子ペンが把持されていることを検知し、なおかつ、前記姿勢検知ステップが検知した前記電子ペンの姿勢が所定の範囲であるときに、前記電子ペンの筆跡を表示させるプログラム。

Images