JP2016038902A - 接触検出システム、情報処理方法、情報処理装置、及びプログラム - Google Patents

Abstract

【課題】入力デバイスと人の身体の一部を用いた入力とを両方とも検出し、入力デバイスを用いたスムーズな入力を妨げることがない接触検出システムを提供する。
【解決手段】表示装置の周辺に１以上設けられ、物体の接触を検出する物体検出装置は物体に光を発する発光手段を備え、先端から照射される照射光を検知して入力デバイスの表示装置への接触を検出するデバイス検出装置は、入力デバイスから照射された照射光又は発光手段から発せられた発光光を撮像する撮像手段を備え、情報処理装置は、撮像手段により撮像された撮像画像を取得する画像取得手段と、画像取得手段により取得された照射光及び発光光が撮像された撮像画像のうち照射光の撮像画像により輝度値が高い領域があるとき、発光手段を消灯制御し、入力デバイスの表示装置への接触検出を待機するようデバイス検出装置を制御する制御手段と、を備える。
【選択図】図１

Description

本発明は、接触検出システム、情報処理方法、情報処理装置、及びプログラムに関する。

従来から、会議等において使用される電子情報ボード、電子ホワイトボード、電子黒板に搭載される光学式タッチセンサを用いてペン型デバイスの発光の位置を検知することが行われている。これにより、ユーザは、ペン型デバイスを用いて電子的にペン入力を行うことができる。

光学式タッチパネルとしては、ディスプレイの左上隅と右上隅の二箇所それぞれに設けた、イメージセンサとレンズを含むカメラモジュールにより発光体の位置を取得し、三角測量の原理を用いて、タッチ検知面上における発光体の２次元座標値を算出する技術が知られている。

他方、検知対象物を発光させる代わりに、カメラモジュール近傍にディスプレイ表面の物体を走査する赤外線照射部を、ディスプレイ端に再帰反射材を、ディスプレイ面の僅かに上方を撮影するような位置と方向にカメラモジュールをそれぞれ設置し、再帰反射板が発する反射光をカメラモジュールに撮影させる技術も知られている。この方式は、光遮断方式と呼ばれ、検知したい物体の位置を反射光の影から算出する。

なお、ここでカメラモジュールとは、２次元画像を取得するためのＣＭＯＳやＣＣＤイメージセンサデバイスだけでなく、リニアイメージセンサのように１次元データを取得するデバイスやＰＳＤ（ｐｏｓｉｔｉｏｎ ｓｅｎｓｉｔｉｖｅ ｄｅｔｅｃｔｏｒ）と呼ばれる位置検知用デバイスを含む、光を面的若しくは線的に検知するデバイス全般を指すものとする。

ここで、電子情報ボードにおいて、その表示画面に手を付いた状態で筆記可能にする機能が知られている。この機能は、パームリジェクションと呼ばれ、よく知られている。これらは、ペン型デバイスとユーザの指等をともに検知するため、ペン型デバイスとして先端が発光するペン（以下「発光ペン」という。）、再帰反射板を備え、再帰反射板の点灯と消灯を制御する。

パームリジェクションでは、ユーザが発光ペンで筆記するときは周辺発光、つまり再帰反射板が反射する光を消灯させて発光ペンの位置を検出及び追跡する（以下「ペン検出モード」という。）。他方、ユーザが発光ペンでの筆記を行わないときは背景光を点灯して指の位置を検出及び追跡する（以下「指検出モード」）。そして、これら２つの動作モードを好適に切り替えている。また、ここでの光学式タッチセンサは、ユーザがペンで一筆書く毎に、ペン検出モードと指検出モードとを切り替える。

上記パームリジェクションに関し、例えば特許文献１には、指によるタッチ入力を感知するモードにおいて、タッチペンでタッチされたことを感知したら、タッチペンを感知するモードに移行する手法において、タッチパネルの入力イベントとペンタッチパネルの入力イベントとを相互排他的に感知するように制御する複合タッチスクリーン装置が開示されている。

ここで、光学式タッチセンサが発光ペンの存在を検出する方法として、例えば、発光ペンがタッチ検出面への接触及び分離を検出するための接触検出センサと無線送信部を搭載し、発光ペンが接触や分離を検出したことを、光学式タッチセンサの制御部に無線を通じて通知する、という方法がある（以下「手法Ａ」という。）。

従来の光学式タッチセンサの制御部は、指を発見・追跡する指検出モードと、発光ペンを発見・追跡して画面に筆跡を描画するペン検出モードの２つの動作モードを備える。そして、指検出モードからペン検出モードへの遷移は、発光ペンが送信するタッチ信号の受信をトリガーとする。指検出モードでは周辺発光が点灯し、ペン検出モードでは周辺発光が消灯する（図２２〜２３参照）。

しかし、この方法に従い光学式タッチセンサが発光ペンの存在を検出して、指検出モードからペン検出モードへ移行すると、その移行にかかる所要時間が大きい。これは、具体的には、光学式タッチセンサが発光ペンの存在を検出してから、周辺発光が消灯した状態で取得した最初の画像を処理してペン先の座標を算出するまでの所要時間である（図２４参照）。

このため、ユーザが発光ペンを使って書き始めたとき、筆跡が画面に表示されるタイミングが遅延し、その結果、ユーザが感じる書き心地を低下させるという問題がある。さらに、上記遅延により発生する、ユーザが描きたかった線の先頭部分が欠損する、いわゆる「線の欠け」と呼ばれる現象も、ユーザが感じる書き心地を低下させる。つまり、入力デバイスを用いたスムーズな入力を妨げることになってしまう。

他方、光学式タッチセンサが発光ペンの存在を検出する方法として、発光ペンがタッチ検出面に接触しているときは発光し、分離のときは消灯し、光学式タッチセンサはその光の存在を基に発光ペンがタッチしたものと見なす、という方法がある（以下「手法Ｂ」という。）。

しかし、この方法では、周辺発光が邪魔をして発光ペンのペン光の存在と位置を正確に検出することができない。手法Ａでは発光ペンが自らタッチしたことを通知するときにその発光ペンの固体に固有のＩＤデータ等の識別情報や属性情報を一緒に通知できる。つまり、手法Ａでは、複数存在する発光ペンの内のどれが接触又は分離したのかを判別することができるが、手法Ｂではそれができない。

本発明は、このような実情に鑑みてなされたものであって、入力デバイスによる入力と指等のような人の身体の一部を用いた入力とを両方とも検出し、入力デバイスを用いたスムーズな入力を妨げることがない接触検出システムを提供することを目的とする。

上記の課題を解決するため、本発明の接触検出システムは、画像を表示する表示装置と、表示装置の周辺に１以上設けられ、物体の接触を検出する物体検出装置と、先端から照射される照射光を検知して入力デバイスの表示装置への接触を検出するデバイス検出装置と、情報処理装置と、がネットワークにより接続された接触検出システムであって、物体検出装置は、物体に所定の光を発する発光手段を備え、デバイス検出装置は、入力デバイスから照射された照射光、又は、発光手段から発せられた発光光を撮像する撮像手段を備え、情報処理装置は、撮像手段により撮像された撮像画像を取得する画像取得手段と、画像取得手段により取得された照射光及び発光光が撮像された撮像画像のうち照射光の撮像画像により輝度値が高い領域があるとき、発光手段を消灯制御し、入力デバイスの表示装置への接触検出を待機するようデバイス検出装置を制御する制御手段と、を備えることを特徴とする。

本発明によれば、入力デバイスによる入力と指等のような人の身体の一部を用いた入力とを両方とも検出し、入力デバイスを用いたスムーズな入力を妨げることがないようにすることができる。

本発明の第１実施形態における接触検出システムの動作モード概略を示す模式図である。 図１に示した各動作モード間の状態遷移を示す模式図である。 本発明の第１実施形態における接触検出システムの動作概略を示す模式図である。 本発明の第１実施形態における接触検出システムの概略構成を示すシステム構成図である。 本発明の第１実施形態における発光ペンの概略構成を示す模式図である。 本発明の第１実施形態における情報処理装置のハードウェア構成図である。 本発明の第１実施形態における接触検出システムの機能ブロック図である。 本発明の第１実施形態において取得される画像の一例を示す模式図である。 本発明の第１実施形態における指検出モードの処理手順を示すフローチャートである。 本発明の第１実施形態において取得される画像の一例を示す模式図である。 本発明の第１実施形態におけるホバリング検出モードの処理手順を示すフローチャートである。 本発明の第１実施形態におけるホバリング検出モードの処理手順を示すフローチャートである。 本発明の第１実施形態におけるペン検出モードの処理手順を示すフローチャートである。 本発明の第１実施形態におけるペン検出モードの処理手順を示すフローチャートである。 本発明の第１実施形態における指検出モードからホバリング検出モードへの移行タイミングを示すタイミングチャートである。 本発明の第１実施形態におけるホバリング検出モードからペン検出モードへの移行タイミングを示すタイミングチャートである。 本発明の第２実施形態における概略構成を示すシステム構成図である。 本発明の第２実施形態における処理手順を示すフローチャートである。 本発明の第２実施形態の変形例に係る概略構成を示すシステム構成図である。 本発明の第２実施形態の変形例に係る処理手順を示すフローチャートである。 従来の指検出モードからペン検出モードへの移行タイミングを示すタイミングチャートである。 従来技術における動作モード概略を示す模式図である。 図１８に示した各動作モード間の状態遷移を示す模式図である。 従来技術における動作概略を示す模式図である。

本発明の実施形態の接触検出システムに関し以下図面を用いて説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。

［第１実施形態］
本発明の第１実施形態における接触検出システムの動作概略について図１〜図３を参照して説明する。第１実施形態は、概略的には、光学式タッチセンサの動作モードは、指検出モードとペン検出モードの２種類に加えて、指検出モードからペン検出モードに切り替わる過渡的な状態であるホバリング検出モードを加えた３種類の動作モードを備える（図１参照）。

第１実施形態においては、指検出モードからホバリング検出モードへの遷移は、光学式タッチセンサが検出・取得する画像の中で発光ペンの像が周辺発光の像と重なったタイミングをトリガーとする。また、第１実施形態では、ホバリング検出モードからペン検出モードへの遷移は、発光ペンが送信するタッチ信号の受信をトリガーとする（図２参照）。つまり、第１実施形態においては、指検出モードでは周辺発光が点灯し、ホバリング検出モードとペン検出モードでは周辺発光が消灯することになる。

例えば、指検出モードで発光ペンが検出面の至近に来ると、周辺発光を消灯する処理を実施し、発光ペンのタッチを待機するホバリング検出モードに移行する。ホバリング検出モードで、発光ペンがタッチした場合、周辺発光を消灯する処理を行うことなく、そのペン先の座標を算出することができるため、周辺発光を消灯する処理に関わる遅延時間が総遅延時間に加算されなくなる（図３参照）。

次に、第１実施形態における接触検出システムの概略構成について図４を参照して説明する。第１実施形態における接触検出システム５００は、ディスプレイ２００と、４つの検出部１１ａ〜１１ｄと、４つの周辺発光部１５ａ〜１５ｄと、コンピュータ１００と、パーソナルコンピュータ（以下「ＰＣ」という。）３００を備える。なお、以下の説明において、１つ以上の検出部を示す場合は、単に検出部１１といい、１つ以上の周辺発光部を示す場合は、単に周辺発光部１５という。

４つの周辺発光部１５ａ〜１５ｄは、ディスプレイ２００の周囲に配置されているか、着脱可能に装着されていることが好ましい。また、コンピュータ１００にはＰＣ３００が接続されており、コンピュータ１００はＰＣ３００が出力した映像をディスプレイ２００に表示する機能を備えていることが好ましい。

コンピュータ１００には、接触検出システム５００に対応したアプリケーションがインストールされており、アプリケーションは検出部１１からの信号に基づきユーザが入力デバイスとしての発光ペン１３を用いて操作した位置を検出する。アプリケーションはその位置に基づき操作内容を解析し、コンピュータ１００を制御する。なお、アプリケーションは、操作用のメニューをディスプレイ２００に表示することができる。

例えば、ユーザが線を描画するメニューに触れた後、発光ペン１３でディスプレイ２００の盤面に図形を描画した場合、コンピュータ１００は発光ペン１３が触れている位置をリアルタイムに解析して、時系列の座標を作成する。その際、コンピュータ１００は時系列の座標を接続して線を作成しディスプレイ２００に表示する。

図ではユーザが三角形の形状に沿って発光ペン１３を移動させたため、コンピュータ１００は一連の座標を１つのストロークで表される三角形として記録する。そして、ＰＣ３００の画像と合成してディスプレイ２００に表示する。

このように、ディスプレイ２００がタッチパネル機能を有していなくても、接触検出システム５００を適用することで、ユーザは発光ペン１３でディスプレイ２００に触れるだけで様々な操作が可能になる。また、後述するように、ユーザは発光ペン１３を用いなくても手指で位置を入力することが可能になる。

次に、第１実施形態において使用される発光ペン１３の概略構成について図５を参照して説明する。ユーザが線を描画するメニューに触れた後、先端に発光部を有する発光ペン１３でディスプレイ２００の盤面に図形を描画した場合、コンピュータ１００は発光ペン１３が有する発光部から照射される光に基づいて、発光ペン１３が触れている位置をリアルタイムに解析して、時系列の座標を作成する。コンピュータ１００は時系列の座標を接続して線を作成しディスプレイ２００に表示する。

発光ペン１３は、赤外光を発する先端部１と、先端部１がタッチ検知面に物理的にタッチ及びデタッチしたことを検知する接触検知部２と、接触検知部２が検知したタッチ又はデタッチ情報をコンピュータ１００に無線信号により通知する無線通知部３を備える。発光ペン１３が、固有のＩＤデータなどの属性情報をメモリに格納しており、無線通知部３がタッチ又はデタッチ信号と共にそのＩＤデータを送信するような構成であっても良い。

そのような構成にすると、コンピュータ１００がタッチ又はデタッチ信号を送信した発光ペン３の固体を識別することができる。発光部１は常時点灯しているものとするが、ユーザの使用状態を推定するための加速度センサ等のセンサを搭載し、その出力によりユーザが使用しているかどうかを判定し、使用していないときは消灯する、という構成であっても良い。

次に、第１実施形態における接触検出システム５００に係る情報処理装置としてのコンピュータ１００のハードウェア構成について図６を参照して説明する。第１実施形態におけるコンピュータ１００は、アドレスバスやデータバス等のバスライン１１８を介して電気的に接続されたＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０４を備えている。

また、第１実施形態におけるコンピュータ１００は、ネットワークコントローラ１０５、外部記憶コントローラ１０６、センサコントローラ１１４、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１２、及び、キャプチャデバイス１１１を備えている。さらに、第１実施形態におけるコンピュータ１００は、ディスプレイコントローラ１１３及び電子ペンコントローラ１１６を備えている。

ＣＰＵ１０１はアプリケーションを実行して接触検出システム５００の動作全体を制御する。ＲＯＭ１０２にはＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）等が記憶されており、主に起動時にＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１がアプリケーションを実行する際のワークエリアとなる。ＳＳＤ１０４は、接触検出システム５００用のアプリケーション１１９や各種データが記憶された不揮発メモリである。

ネットワークコントローラ１０５は、不図示のネットワークを介してサーバなどと通信する際に通信プロトコルに基づく処理を行う。なお、ネットワークは、ＬＡＮ又は複数のＬＡＮが接続されたＷＡＮ、例えばインターネット等である。

外部記憶コントローラ１０６は、着脱可能な外部メモリ１１７に対する書き込み又は外部メモリ１１７からの読み出しを行う。外部メモリ１１７は、例えばＵＳＢメモリ、ＳＤカード等である。キャプチャデバイス１１１は、ＰＣ３００が表示装置３０１に表示している映像を取り込む。ＧＰＵ１１２は、ディスプレイ２００の各ピクセルの画素値を演算する描画専用のプロセッサである。ディスプレイコントローラ１１３は、ＧＰＵ１１２が作成した画像をディスプレイ２００に出力する。

センサコントローラ１１４には、４つの検出部１１ａ〜１１ｄが接続されており、赤外線光遮断又はペン発光方式による三角測量方式による座標の検出を行う。詳細は後述する。

なお、第１実施形態では、コンピュータ１００は発光ペン１３と通信する必要はないが、通信機能を有していてもよい。この場合、コンピュータ１００は電子ペンコントローラ１１６を有し、発光ペン１３が有する不図示の通知手段との通信を介して、発光ペン１３から押圧信号を受信することが好ましい。これにより、コンピュータ１００は先端が押圧されているか否かを検出することができる。

なお、接触検出システム５００用のアプリケーションは、外部メモリ１１７に記憶された状態で流通されてもよいし、ネットワークコントローラ１０５を介して不図示のサーバからダウンロードされてもよい。また、上記アプリケーションは圧縮された状態でも実行形式でダウンロードされてもよい。

次に、第１実施形態における接触検出システム５００の機能ブロックについて図７を参照して説明する。第１実施形態における接触検出システム５００は、機能ブロックとして、検出部１１と、周辺発光部１５と、コンピュータ１００に含まれる各機能ブロックで構成される。コンピュータ１００は、画像取得部１５１と、制御部１５２と、接触・分離信号受信部１５３と、記憶部１５４と、描画部１５５を含み構成されている。

検出部１１は、先端から照射される照射光を検知して発光ペン１３のディスプレイ２００への接触を検出するデバイス検出装置である。検出部１１は発光ペン１３から照射された照射光と周辺発光部１５が備える発光手段が放射する赤外線を撮像する撮像手段としてのイメージセンサを内蔵し、ディスプレイ２００の表面付近の画像を撮像する。

周辺発光部１５は、ディスプレイ２００の周辺に１以上設けられ、物体の接触を検出する物体検出装置である。なお、第１実施形態においては、図４に示したように、４つの周辺発光部１５ａ〜１５ｄを備えているが、一例であり、これに限定されるものでない。

画像取得部１５１は、撮像手段により撮像された撮像画像を取得する画像取得手段である。

制御部１５２は、画像取得部１５１により取得された照射光及び発光光が撮像された撮像画像のうち照射光の撮像画像により輝度値が高い領域があるとき、発光手段を消灯制御する制御手段である。また、制御部１５２は、発光ペン１３のディスプレイ２００への接触検出を待機するよう検出部１１を制御する制御手段である。制御部１５２は、周辺発光部１５を制御して発光手段の点灯と消灯を切り替える制御を行う。より具体的には、制御部１５２は、図２に示した３つの動作モードを切り替える制御を行う。切替制御の手順については別途、後述する。

描画部１５５は、ディスプレイ２００に筆跡等の画像を描画する描画手段（以下「描画用ソフトウェア」とも言う。）である。そして、制御部１５２は、画像取得部１５１により取得された発光光の撮像画像のうち物体に遮蔽された部分により輝度値が低い領域があるとき、周辺発光部１５により接触が検出された物体の位置座標を算出し、算出された位置座標から描画を開始するよう描画部１５５を制御する。

具体的には、例えば、制御部１５２は描画部１５５に対して、ユーザが発光ペン１３を用いて、又は、ユーザが手指や発光しない指示具を用いて、ディスプレイ２００に筆記操作を行うとき、それらの座標を区別して通知する制御を行う。

記憶部１５４は、発光ペン１３のディスプレイ２００の表示上における位置座標の座標データを記憶する記憶手段である。なお、記憶部１５４は、例えば図６に示したＲＯＭ１０２等を用いることにより、その機能が達成される。

そして、制御部１５２は、画像取得部１５１により取得された照射光及び発光光が撮像された撮像画像のうち照射光の撮像画像により輝度値が高い領域があるとき、検出部１１により接触が検出された発光ペン１３の位置座標を算出し、算出された位置座標の座標データを記憶するよう記憶部１５４を制御する。

接触・分離信号受信部１５３は、発光ペン１３から送出される接触信号又は分離信号を受信する信号受信手段である。そして、制御部１５２は、接触・分離信号受信部１５３により接触信号を受信したとき、記憶部１５４に記憶された座標データにより特定される発光ペン１３の位置座標から描画を開始するよう描画部１５５を制御する。他方、制御部１５２は、接触・分離信号受信部１５３により分離信号を受信したとき、物体の接触検出を待機するよう周辺発光部１５を制御する。

図８（ａ）は、検出部１１が取得する撮像画像の例であり、例えば、斜線を除く白抜き部分Ｂは周辺発光部１５から発光された発光光を撮像した撮像画像である。なお、Ａは例えば背景画像等である。

図８（ｂ）は、指検出モードのときに検出部１１が取得する撮像画像の例を示したものである。この撮像画像は、ユーザがディスプレイ２００を指で操作しているときに取得されたものであって、白抜き部分Ｂが途切れている箇所Ｃは指で周辺発光部１５からの発光光が遮られたものである。

図８（ｃ）は、指検出モードのときに検出部１１が取得する撮像画像のもう一つの例を示したものである。この撮像画像は、ユーザがディスプレイ２００の表面付近に発光ペン１３の先端部１を近づけたときに取得されたものであって、周辺発光部１５からの発光光の撮像画像の上に発光ペン１３からの照射光Ｄが重畳された状態の撮像画像である。

次に、第１実施形態における指検出モードの処理手順について図９を参照して説明する。まず、第１実施形態においては、一定時間毎に起動するタイマーが設定されており、そのタイマー・イベントにより処理が開始される（ＳＴＡＲＴ）。

検出部１１は、一定時間毎に発光手段としてのイメージセンサを一定時間露光する。第１実施形態では、例えば、検出部１１のイメージセンサの露光が終了した直後にタイマー・イベントが起動するものとすることが好ましい。タイマー・イベントの間隔は、例えば１０ｍｓｅｃ、露光時間は８ｍｓｅｃであるとするが、他の値であっても良い。

画像取得部１５１において撮像画像を取得した（ステップＳ１）後、制御部１５２は、その画像を構成する画素のうち、周辺発光部１５に対応する画素を切り出す（ステップＳ２）。ここで、図８（ａ）で示した遮蔽物がない状態の周辺発光部１５の画像を、予め記憶部１５４に記憶しておくものとする。又は、指検出モードで動作しているときにある一定間隔毎に撮像画像を取得して、遮蔽物がない状態であれば、その撮像画像を記憶するようにしても良い。

制御部１５２は、切り出した画像に対して、記憶部１５４に記憶しておいた撮像画像の対応する画素と比較して、発光ペン１３の発光部１からの照射光のために輝度が高くなっている領域（以下、「輝度増加領域」という。）があるかどうかを判定する（ステップＳ３）。

そして、制御部１５２は、輝度増加領域が存在すると判断したとき（ステップＳ３、ＹＥＳ）、発光ペン１３が存在するものと判定し、周辺発光部１５を消灯し（ステップＳ４）、動作モードをホバリング検出モードに変更する（ステップＳ５）。

なお、この発光ペン１３の存在判定について、ここでは１つの検出部１１から取得した撮像画像を使って判定したように説明したが、例えば、光学式タッチセンサに搭載された全ての検知部の内の２つ以上の検知部が発光ペン１３を検出したら動作モードを移行する方法でも、別の方法であっても良い。以降の説明でも同様である。

一方、制御部１５２は、輝度増加領域が存在しないと判断したとき（ステップＳ３、ＮＯ）、次に、遮蔽物により輝度が低くなっている領域（以下、「輝度減少領域」という。）が存在するかどうかを判定する（ステップＳ６）。そして、制御部１５２は、輝度減少領域が存在すると判定したとき（ステップＳ６、ＹＥＳ）、指のような遮蔽物（以下、単に「指」という。）が存在するものと判定し、ディスプレイ２００上で指が存在する位置を示す２次元座標を算出する（ステップＳ７）。

そして、制御部１５２は、描画部１５５に算出された座標を指の位置として通知する。この座標算出処理は、例えば、光学式タッチセンサで用いられる三角測量方式等によって行われることが好ましい。

なお、上記の処理フローにおいて、検出部１１の画像から周辺発光部１５からの発光光領域を切り出して、比較することにより、発光ペン１３の存在を検知した。他方、図８（ａ）で示した白抜き部分ではなく、図１０（ａ）の破線で示した矩形Ｅのような、周辺発光部１５の発光光領域を含むより広い領域、若しくは取得した撮像画像全体を用いても良い。そのようにすると、ユーザが発光ペン１３をディスプレイ２００に近づけたときに、指検出モードからホバリング検出モードへの切り替えタイミングを、変化させることができる。

図１０（ｂ）は、ホバリング検出モードのときに検出部１１が取得する撮像画像の例を示したものである。この撮像画像は、ユーザがディスプレイ２００の表面付近に発光ペン１３を近づけたときに取得されたものであって、発光ペン１３の発光部１から照射された照射光領域の撮像画像Ｄが映っている。

次に、第１実施形態におけるホバリング検出モードの処理手順について図１１を参照して説明する。なお、図９に示した指検出モードと同じ、一定期間毎に起動するタイマー・イベントにより処理を開始するものとする（ＳＴＡＲＴ）。制御部１５２は、指検出モードから移行した直後であるとき、例えば１回目は（ステップＳ１１、ＹＥＳ）、何もせずに処理を終了する（ＥＮＤ）。その理由は後述する。

一方、制御部１５２は、指検出モードから移行した直後でないとき（ステップＳ１１、ＮＯ）、検出部１１の撮像画像を取得した（ステップＳ１２）後、輝度増加領域がその画像に存在するかどうかを判定する（ステップＳ１３）。そして、制御部１５２は、輝度増加領域が存在すると判定したとき（ステップＳ１３、ＹＥＳ）、発光ペン１３が存在するものと判定し、ディスプレイ２００上で発光ペン１３が存在する位置を示す２次元座標を算出する（ステップＳ１４）。

そして、制御部１５２は、算出された座標を記憶部１５４に記憶する（ステップＳ１５）。第１実施形態では、記憶部１５４のデータ構造はリングバッファであることが好ましいが、これに限られず、他の構造であってもよい。

他方、制御部１５２は、輝度増加領域が存在しないと判定したとき（ステップＳ１３、ＮＯ）、動作モードを指検出モードに変更し（ステップＳ１６）、処理を終了する。

なお、検出部１１の撮像画像を取得した後に行う、輝度増加領域がその撮像画像に存在するかどうかを判定する処理は、図１０（ａ）に破線で示した矩形領域のように、画像全体ではなく周辺発光部１５からの発光光領域を含む部分画像のみを対象としても良い。

次に、ホバリング検出モードにおいて、ペンタッチ・イベントを受信した後の処理手順について図１２を参照して説明する。制御部１５２は、接触・分離信号受信部１５３により発光ペン１３が送出するタッチ信号を受信すると、ペンタッチ・イベント受信処理を開始し、動作モードをペン検出モードに変更する（ステップＳ２１）。そして、制御部１５２は、描画用ソフトウェアに対して、記憶部１５４に記憶された最新の値を、発光ペン１３の座標として通知する（ステップＳ２２）。

なお、制御部１５２は、記憶部１５４に記憶された最新の値１つを描画用ソフトウェアに通知するのではなく、記憶部１５４が記憶する複数の座標値の内、新しいものから順に複数個の座標を描画用ソフトウェアに対して通知するような構成であっても良い。また、座標を受け取った描画用ソフトウェアは直後に描画を開始するため、発光ペン１３が送出するタッチ信号を受信した直後に、ディスプレイ２００上での描画が開始されることが好ましい。

次に、第１実施形態におけるペン検出モードの処理手順について図１３を参照して説明する。なお、図９で示した指検出モードと同様に、一定期間毎に起動するタイマー・イベントにより処理が開始するものとする。

画像取得部１５１が検出部１１の撮像画像を取得した（ステップＳ３１）後、制御部１５２は、その撮像画像の発光ペン１３による照射光領域を見つけ、ディスプレイ２００上で発光ペン１３が存在する位置を示す座標を算出する（ステップＳ３２）。そして、制御部１５２は、描画部１５５にその座標を発光ペン１３の座標として通知する（ステップＳ３３）。

ペン検出モードにおいて、ペンデタッチ・イベントが受信された後の処理手順について図１４を参照して説明する。接触・分離信号受信部１５３により発光ペン１３が送出するデタッチ信号を受信すると、ペンデタッチ・イベント受信処理を開始し、動作モードを指検出モードに変更する（ステップＳ４１）。

次に、第１実施形態における指検出モードからホバリング検出モードへの移行タイミングについて図１５を参照して説明する。第１実施形態において、検出部１１のイメージセンサは毎１０ｍｓｅｃ毎に８ｍｓｅｃ露光し、露光完了時にコンピュータ１００のイベント処理が開始される。イベント処理は動作モード毎に異なり、本図は指検出モードで起動したイベント処理において、発光ペン１３を検出したため、周辺発光部１５を消灯し、ホバリング検出モードに移行した前後の状態を表している。

また、本図のように、指検出モード処理の所要時間が、露光間隔２ｍｓｅｃより大きい場合、ホバリング検出モード移行後の最初のイベント処理で取得する撮像画像には、周辺発光部１５による発光光領域が映っている。周辺発光部１５による発光光領域が撮像画像に映っていると、撮像画像から発光ペン１３の発光の位置を正確に検出することができない可能性がある。これが、図１１で示したホバリング検出モード処理手順において、指検出モードから移行した直後は、処理を行わない理由である。例えば、指検出モードの所要時間がもっと大きければ、ホバリング検出モード移行後の最初の複数回のイベント処理をスキップすれば良い。

次に、第１実施形態におけるホバリング検出モードからペン検出モードへの移行タイミングについて図１６を参照して説明する。発光ペン１３がディスプレイ２００に接触してからある時間間隔の後に、コンピュータ１００がペンタッチ信号を受信する。そのとき、動作モードはホバリング検出モードであり、ペンタッチ信号を受信すると、図１２のペンタッチ・イベント受信処理が動作し、予め記憶部１５４に記憶しておいた座標値が、発光ペン１３の座標値として描画ソフトウェアに通知される。

遅延時間を、発光ペン１３がディスプレイ２００に接触してから、座標値が描画ソフトウェアに通知されるまでの時間間隔として定義すると、本図に記載した大きさとなる。

参考までに、従来技術における指検出モードからペン検出モードへの移行タイミングについて図２１を参照して説明する。ここでは、第１実施形態の光学式タッチセンサに比較して、従来技術の光学式タッチセンサの遅延時間が大きいことを説明する。従来技術の光学式タッチセンサは、指検出モードとペン検出モードの２つの動作モードを備え、ペンタッチ信号の受信をトリガーとして、指検出モードからペン検出モードに移行するというものである。

本図に示すように、従来技術の遅延時間は、ペンタッチ信号受信からその直後のイベント処理が開始されるまで所要時間として「０〜８ｍｓｅｃ」、ペン検出モードに移行した直後のイベント処理をスキップしたことに起因する「１０ｍｓｅｃ」、及び、ペン検出モードのイベント処理において座標を算出するまでの所要時間、の合計時間だけ、図１６に示した第１実施形態における光学式タッチセンサの遅延時間よりも大きいことが分かる。

［第２実施形態］
次に、本発明の第２実施形態における接触検出システムの概略構成について図１７を参照して説明する。第２実施形態における接触検出システムは、第１実施形態と異なり、指検出モード及びペン検出モードの２つのモードを切り替える方式を取る。

第２実施形態における接触検出システムは、検出部７０１と、光遮断用照明７０２と、ディスプレイ７０３と、再帰反射板７０４と、指示具有無判定部７１１と、入力モード切替部７１２と、指示具判定部７１３を備える。なお、ディスプレイ７０３上に指示具７０５を示している。指示具７０５は指やペンを問わず、検出部７０１により検出可能なあらゆる物体が含まれる。

検出部７０１は、指や発光ペン等の物体を検出する、例えば第１実施形態において説明した撮像装置等のデバイス検出装置である。検出部７０１による検出結果が指示具有無判定部７１１に転送される。

光遮断用照明７０２は、ディスプレイ７０３を透過して、再帰反射板７０４に、例えば赤外線等の光遮断検出用照明を照射する。光遮断用照明７０２は、再帰反射板７０４に反射した光遮断検出用照明の反射光を受光する受光部を備え、光遮断検出用照明を物体が遮り、受光部が反射光を検出できないとき、何らかの物体の存在を検出する。光遮断用照明７０２による物体検出結果は入力モード切替部７１２に転送される。

指示具有無判定部７１１は、検出部７０１による検出結果に基づいて指示具の有無を判定する。

入力モード切替部７１２は、指示具有無判定部７１１による指示具の有無に基づいて入力モードを切り替える。入力モードは、上述した指検出モード及びペン検出モードである。

指示具判定部７１３は、指示具有無判定部７１１により指示具が存在すると判定された場合、その指示具が、例えば指であるか発光ペンであるかを判定し、これら指示具の特徴量を算出する。指示具判定部７１３により算出された特徴量を受けて、ＰＣは、例えば発光ペンによるペン入力処理や指による指入力処理等の情報処理を実行する。

ここで、指示具の特徴量とは例えば指示具の座標、数、サイズ、検知時間等であればよい。なお、図１７では検出部７０１近傍に光遮断用照明７０２を設置し、ディスプレイ７０３の外側に再帰反射板７０４を設置する光遮断方式を採用しているが、周辺発光方式を採用してもよい。

次に、第２実施形態における処理手順について図１８を参照して説明する。まず、指示具有無判定部７１１は、検出部７０１による検出結果に基づいて指示具の有無を判定する（ステップＳ１０１）。

指示具有無判定部７１１は、指示具が存在すると判定した場合（ステップＳ１０１、ＹＥＳ）、検出部７０１による検出結果で示される指示具の影の領域から指入力処理用のパラメータを算出する（ステップＳ１０２）。指入力処理用のパラメータとは、例えば座標、数、サイズ、検知時間等である。他方、指示具有無判定部７１１は、指示具が存在しないと判定した場合（ステップＳ１０１、ＮＯ）、存在判定処理を継続する。

指示具有無判定部７１１により指示具が存在すると判定された場合（ステップＳ１０１、ＹＥＳ）、入力モード切替部７１２は、指示具が何であるかに関わらず、デフォルトの指検出モードからペン検出モードに切り替える（ステップＳ１０３）。これにより、モード切替後のペン入力処理を遅延なく行うことができる。なお、ペン検出モード切替後、光遮断用照明７０２により照射される照明光を消灯する。

指示具判定部７１３は、検出部７０１による検出結果に基づいて指示具が指であるか発光ペンであるか判定する（ステップＳ１０４）。

指示具判定部７１３により、指示具が発光ペンであると判定された場合（ステップＳ１０４、ＹＥＳ）、検出部７０１による検出結果から発光ペンの特徴量を算出する。特徴量を受けてＰＣはペン入力処理を実行する。

ＰＣによるペン入力処理終了後（ステップＳ１０６、ＹＥＳ）、所定のタイマーにより所定時間の経過を検出すると（ステップＳ１０７、ＹＥＳ）、入力モード切替部７１２は、光遮断用照明７０２を点灯させることにより、ペン検出モードから指検出モードに切り替える（ステップＳ１０８）。

一方、指示具判定部７１３は、指示具が指や掌、袖等の発光ペン以外の物体であると判定した場合（ステップＳ１０４、ＮＯ）、検出部７０１による検出結果における画像上に発光画像はないことから、指示具がペン以外の物体であると判定する。指示具判定部７１３による判定結果を受け、入力モード切替部７１２は、ペン検出モードから指検出モードに切り替える（ステップＳ１１１）。

その後、ＰＣは、指示具判定部７１３による判定結果を受け、指示具有無判定部７１１により算出された指入力処理用のパラメータを用いて指入力処理を実行する（ステップＳ１１２）。なお、入力モード切替部７１２は、光遮断用照明７０２を制御し、指示具を検出可能な状態にしておく。

次に、第２実施形態の変形例について図１９を参照して説明する。なお、図１７と同様の構成についての説明は省略する。図１９に示した変形例では、図１７に示した第２実施形態におけるシステムと異なり、入力モード切替部７１２に入力検出オン・オフ信号受信部７２１を備えている。

入力検出オン・オフ信号受信部７２１は、入力検出のオン信号、オフ信号の受信により、所定時間、検出部７０１等により指示具が検出されないと判定した場合、検出部７０１や光遮断用照明７０２等、物体検出用のデバイスの電力を遮断するよう、入力モード切替部７１２を制御する。これにより、各検出デバイスの電力消費を軽減することが可能となる。

なお、本変形例において、検出部７０１及び光遮断用照明７０２の双方の電源をオフにしても、何れか一方のみの電源をオフにしてもよい。なお、前者の場合、後者に比べて電力消費を大きく軽減することが可能となる。他方、前者の場合、入力検出オン・オフ信号受信部７２１は、別途、無線送信部を有する発光ペンから、例えばディスプレイ７０３への接触・非接触に関する信号を受信するようにしておくことが好ましい。

なお、発光ペンにおける無線信号の送信部及び受信部は複数ペンの識別信号や筆圧の信号を入力検出オン・オフ信号受信として用いることとしてもよい。また、入力検出のオフ信号に関しては所定時間指示具による入力がなかったことをもってオフ信号受信と見なすように、入力検出オン・オフ信号受信部７２１が判断してもよい。

また、入力検出オン・オフ信号として、手動のスイッチや無線によるリモコン等による信号を用いてもよい。これによれば、入力モード切替部７１２により入力検出オン・オフ信号を受信することができる。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した各実施形態の接触検出システムにおける各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

また、第１実施形態においては、発光ペン１３の発光部１は常時点灯しているものとしたが、接触検知部２がデタッチを検知してから一定時間（以下「タイムアウト時間」という。）が経過したら消灯し、その後タッチを検知したら再度点灯するような構成であっても良い。このような構成により、発光ペンの電源が電池で駆動されているような場合に、その電池の寿命を延ばすことができる。

なお、そのような発光ペンを採用する場合、指検出モードでペンタッチ・イベントを受信し、ペン検出モードに移行させると、指検出モードからペン検出モードへの移行は、従来技術を示した図１７のタイミング同様の遅延時間も考えられる。しかし、このような場合でも、タイムアウト時間を十分大きく、例えば５秒程度以上に設定しておけばよい。例えば、ユーザが発光ペンを使って文字を書くような場合、発光ペンのデタッチからタッチまではタイムアウト時間よりも小さいため、ユーザが書く文字の最初の一筆以外では遅延時間は小さいというメリットがあるからである。

１１、１１ａ、１１ｂ、１１ｃ、７０１ 検出部
１５、１５ａ、１５ｂ、１５ｃ、１５ｄ 周辺発光部
１００ コンピュータ
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＳＳＤ
１０５ ネットワークコントローラ
１０６ 外部記憶コントローラ
１１１ キャプチャデバイス
１１２ ＧＰＵ
１１３ ディスプレイコントローラ
１１４ センサコントローラ
１１６ 電子ペンコントローラ
１１７ 外部メモリ
１１８ バスライン
１５１ 画像取得部
１５２ 制御部
１５３ 接触・分離信号受信部
１５４ 記憶部
１５５ 描画部
２００、７０３ ディスプレイ
３００ パーソナルコンピュータ
５００ 接触検出システム
７０２ 光遮断用照明
７０４ 再帰反射板
７０５ 指示具
７１１ 指示具有無判定部
７１２ 入力モード切替部
７１３ 指示具判定部
７２１ 入力検出オン・オフ信号受信部

特開２０１３−１７５１６３号公報

Claims (16)

1. 画像を表示する表示装置と、前記表示装置の周辺に１以上設けられ、物体の接触を検出する物体検出装置と、先端から照射される照射光を検知して入力デバイスの前記表示装置への接触を検出するデバイス検出装置と、情報処理装置と、がネットワークにより接続された接触検出システムであって、
   前記物体検出装置は、
   前記物体に所定の光を発する発光手段を備え、
   前記デバイス検出装置は、
   前記入力デバイスから照射された照射光、又は、前記発光手段から発せられた発光光を撮像する撮像手段を備え、
   前記情報処理装置は、
   前記撮像手段により撮像された撮像画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記照射光及び前記発光光が撮像された撮像画像のうち前記照射光の撮像画像により輝度値が高い領域があるとき、前記発光手段を消灯制御し、前記入力デバイスの前記表示装置への接触検出を待機するよう前記デバイス検出装置を制御する制御手段と、
   を備えることを特徴とする接触検出システム。
2. 前記情報処理装置は、前記表示装置に画像を描画する描画手段を備え、
   前記制御手段は、前記画像取得手段により取得された前記発光光の撮像画像のうち前記物体に遮蔽された部分により輝度値が低い領域があるとき、前記物体検出装置により接触が検出された物体の位置座標を算出し、算出された前記位置座標から描画を開始するよう前記描画手段を制御することを特徴とする請求項１記載の接触検出システム。
3. 前記情報処理装置は、前記入力デバイスの前記表示装置の表示上における位置座標の座標データを少なくとも記憶する記憶手段を備え、
   前記制御手段は、前記画像取得手段により取得された前記照射光及び前記発光光が撮像された撮像画像のうち前記照射光の撮像画像により輝度値が高い領域があるとき、前記デバイス検出装置により接触が検出された前記入力デバイスの位置座標を算出し、算出された前記位置座標の座標データを記憶するよう前記記憶手段を制御することを特徴とする請求項１又は２記載の接触検出システム。
4. 前記情報処理装置は、前記入力デバイスから送出される接触信号又は分離信号を受信する信号受信手段を備え、
   前記制御手段は、前記信号受信手段により前記接触信号を受信したとき、前記記憶手段に記憶された座標データにより特定される前記入力デバイスの位置座標から描画を開始するよう前記描画手段を制御することを特徴とする請求項３記載の接触検出システム。
5. 前記制御手段は、前記信号受信手段により前記分離信号を受信したとき、前記物体の接触検出を待機するよう前記物体検出装置を制御することを特徴とする請求項４記載の接触検出システム。
6. 画像を表示する表示装置と、前記表示装置の周辺に１以上設けられ、物体の接触を検出する物体検出装置と、先端から照射される照射光を検知して入力デバイスの前記表示装置への接触を検出するデバイス検出装置と、情報処理装置と、がネットワークにより接続されたシステムの情報処理方法であって、
   前記物体検出装置は、
   発光手段により前記物体に所定の光を発する工程を備え、
   前記デバイス検出装置は、
   前記入力デバイスから照射された照射光、又は、前記発光手段から発せられた発光光を撮像手段により撮像する工程を備え、
   前記情報処理装置は、
   前記撮像手段により撮像された撮像画像を取得して記憶部に記憶する工程と、
   前記記憶部に記憶された前記照射光及び前記発光光が撮像された撮像画像のうち前記照射光の撮像画像により輝度値が高い領域があるとき、前記発光手段を消灯制御し、前記入力デバイスの前記表示装置への接触検出を待機するよう前記デバイス検出装置を制御する工程と、
   を備えることを特徴とする情報処理方法。
7. 前記情報処理装置は、描画手段により前記表示装置に画像を描画する工程を備え、
   前記情報処理装置は、前記記憶部に記憶された前記発光光の撮像画像のうち前記物体に遮蔽された部分により輝度値が低い領域があるとき、前記物体検出装置により接触が検出された物体の位置座標を算出し、算出された前記位置座標から描画を開始するよう前記描画手段を制御する工程を備えることを特徴とする請求項６記載の情報処理方法。
8. 前記情報処理装置は、
   前記記憶部に、前記入力デバイスの前記表示装置の表示上における位置座標の座標データを少なくとも記憶する工程と、
   前記記憶部に記憶された前記照射光及び前記発光光が撮像された撮像画像のうち前記照射光の撮像画像により輝度値が高い領域があるとき、前記デバイス検出装置により接触が検出された前記入力デバイスの位置座標を算出し、算出された前記位置座標の座標データを記憶するよう前記記憶部を制御する工程と、
   を備えることを特徴とする請求項６又は７記載の情報処理方法。
9. 前記情報処理装置は、
   前記入力デバイスから送出される接触信号又は分離信号を受信する工程と、
   前記接触信号を受信したとき、前記記憶部に記憶された座標データにより特定される前記入力デバイスの位置座標から描画を開始するよう前記描画手段を制御する工程と、
   を備えることを特徴とする請求項８記載の情報処理方法。
10. 前記情報処理装置は、前記分離信号を受信したとき、前記物体の接触検出を待機するよう前記物体検出装置を制御する工程を備えることを特徴とする請求項９記載の情報処理方法。
11. ネットワークにより、画像を表示する表示装置と、前記表示装置の周辺に１以上設けられ、物体の接触を検出する物体検出装置と、先端から照射される照射光を検知して入力デバイスの前記表示装置への接触を検出するデバイス検出装置とに接続される情報処理装置であって、
    前記デバイス検出装置に含まれる撮像手段により撮像された、前記入力デバイスから照射された照射光の撮像画像、又は、前記物体検出装置に含まれる発光手段から発せられた発光光の撮像画像を取得する画像取得手段と、
    前記画像取得手段により取得された前記照射光及び前記発光光が撮像された撮像画像のうち前記照射光の撮像画像により輝度値が高い領域があるとき、前記発光手段を消灯制御し、前記入力デバイスの前記表示装置への接触検出を待機するよう前記デバイス検出装置を制御する制御手段と、
    を備えることを特徴とする情報処理装置。
12. 前記表示装置に画像を描画する描画手段を備え、
    前記制御手段は、前記画像取得手段により取得された前記発光光の撮像画像のうち前記物体に遮蔽された部分により輝度値が低い領域があるとき、前記物体検出装置により接触が検出された物体の位置座標を算出し、算出された前記位置座標から描画を開始するよう前記描画手段を制御することを特徴とする請求項１１記載の情報処理装置。
13. 前記入力デバイスの前記表示装置の表示上における位置座標の座標データを少なくとも記憶する記憶手段を備え、
    前記制御手段は、前記画像取得手段により取得された前記照射光及び前記発光光が撮像された撮像画像のうち前記照射光の撮像画像により輝度値が高い領域があるとき、前記デバイス検出装置により接触が検出された前記入力デバイスの位置座標を算出し、算出された前記位置座標の座標データを記憶するよう前記記憶手段を制御することを特徴とする請求項１１又は１２記載の情報処理装置。
14. 前記入力デバイスから送出される接触信号又は分離信号を受信する信号受信手段を備え、
    前記制御手段は、前記信号受信手段により前記接触信号を受信したとき、前記記憶手段に記憶された座標データにより特定される前記入力デバイスの位置座標から描画を開始するよう前記描画手段を制御することを特徴とする請求項１３記載の情報処理装置。
15. 前記制御手段は、前記信号受信手段により前記分離信号を受信したとき、前記物体の接触検出を待機するよう前記物体検出装置を制御することを特徴とする請求項１４記載の情報処理装置。
16. ネットワークにより、画像を表示する表示装置と、前記表示装置の周辺に１以上設けられ、物体の接触を検出する物体検出装置と、先端から照射される照射光を検知して入力デバイスの前記表示装置への接触を検出するデバイス検出装置とに接続される情報処理装置に実行させるプログラムであって、
    前記デバイス検出装置に含まれる撮像手段により撮像された、前記入力デバイスから照射された照射光の撮像画像、又は、前記物体検出装置に含まれる発光手段から発せられた発光光の撮像画像を取得して記憶部に記憶する処理と、
    前記記憶部により記憶された前記照射光及び前記発光光が撮像された撮像画像のうち前記照射光の撮像画像により輝度値が高い領域があるとき、前記発光手段を消灯制御し、前記入力デバイスの前記表示装置への接触検出を待機するよう前記デバイス検出装置を制御する処理と、
    を含むことを特徴とするプログラム。

Images