JP2016162032A - 表示装置、表示制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザーの意図を反映して自動的に表示装置の動作モードを切り替える。
【解決手段】表示装置は、情報処理装置上で動作しているアプリケーションプログラムの画面を表示面に表示する表示手段と、表示面上における指示体の位置を検知する検知手段と、画面においてアプリケーションプログラムに対して入力を行うための画像オブジェクトを含む所定範囲内に位置があるかの判定結果を受信する受信手段と、自装置の動作モードが第１モードである場合、検知手段により検知された位置の軌跡に応じた線を表示面に描画する描画手段と、動作モードが第２モードである場合、検知手段により検知された位置を示す情報を情報処理装置に送信する第２送信手段と、動作モードが第１モードである場合において、検知手段により検知された位置が所定範囲内であること示す判定結果を受信手段が受信したときは、当該動作モードを第２モードに切り替える切り替え手段とを有する。
【選択図】図１

Description

本発明は、指示体の位置に応じて、第１モードと第２モードで異なる処理を行う表示装置の動作モードを切り替える技術に関する。

表示面上において指示体で指示された位置に応じた画像を表示する表示装置が知られている。例えば特許文献１には、指示体（ポインター）により指示された位置に応じた画像を、映像供給装置（ＰＣ）から供給される画像に重ねて投写するプロジェクターが記載されている。このプロジェクターの動作モードには、指示体の座標に応じてプロジェクターが画像を描画する動作モード、および指示体の座標をポインティングデバイスの座標としてＰＣが画像を描画する動作モードがある。特許文献１において、これら２つの動作モードは、表示されるメニューバーに対する操作に応じて切り替えられる。また、特許文献２には、タッチパネルを有する表示装置において、ドラッグ長（画面をタッチしてから離すまでに移動した長さ）に応じて動作モードを切り替えることが記載されている。

特開２０１３−１３４４０９号公報 特開２００５−９２５３８号公報

特許文献１に記載の技術においては、プロジェクターにメニューを表示させ、その中から動作モードの切り替えに相当する項目を選択する操作を行う必要があった。また、ユーザーが動作モードの切り替えを行う意図を有しているかどうかは、指示体により指示された位置において映像供給装置により表示されている画像オブジェクトに依存する場合があるところ、特許文献２に記載の技術においてはこの点が考慮されていなかった。

本発明は、メニューの表示および選択によらずに、よりユーザーの意図を反映して自動的に表示装置の動作モードを切り替える技術を提供する。

本発明は、情報処理装置上で動作しているアプリケーションプログラムの画面を表示面に表示する表示手段と、前記表示面上における指示体の位置を検知する検知手段と、前記検知手段により検知された位置を示す情報を含む問い合わせを前記情報処理装置に送信する第１送信手段と、前記問い合わせに対する回答として、前記画面において前記アプリケーションプログラムに対して入力を行うための画像オブジェクトを含む所定範囲内に前記位置があるかの判定結果を受信する受信手段と、自装置の動作モードが第１モードである場合、前記検知手段により検知された位置の軌跡に応じた線を前記表示面に描画する描画手段と、前記動作モードが第２モードである場合、前記検知手段により検知された位置を示す情報を前記情報処理装置に送信する第２送信手段と、前記動作モードが前記第１モードである場合において、前記検知手段により検知された位置が前記所定範囲内であること示す前記判定結果を前記受信手段が受信したときは、当該動作モードを前記第２モードに切り替える切り替え手段とを有する表示装置を提供する。
この表示装置によれば、メニューの表示および選択によらずに、よりユーザーの意図を反映して自動的に表示装置の動作モードを第２モードに切り替えることができる。

前記検知手段は、前記指示体が前記表示面に接触していることを示す第１イベントを検知し、前記描画手段は、前記第１イベントが連続して検知されている間の前記位置の軌跡に応じて前記線を描画し、前記受信手段が前記回答を受信する前から、前記線の描画を開始し、前記検知手段により検知された位置が前記所定範囲内であること示す前記判定結果を前記受信手段が受信し、かつ、前記線の長さがしきい値よりも短い場合、当該線を消去してもよい。
この表示装置によれば、ユーザーの意図と反して描かれた線を消去することができる。

前記検知手段は、前記指示体が前記表示面に接触していることを示す第１イベントを検知し、前記描画手段は、前記第１イベントが連続して検知されている間の前記位置の軌跡に応じて前記線を描画し、前記受信手段が前記回答を受信するまでは、前記線の描画を開始せず、前記線の長さがしきい値よりも長くなった場合、当該線の少なくとも一部を描画してもよい。
この表示装置によれば、ユーザーが画像オブジェクトに対して行った操作により線が描かれることを防止しつつ、ユーザーが線を描こうとしているときには線を描くことができる。

前記線の長さがしきい値よりも長くなった場合、前記描画手段は、当該線に関し前記第１イベントが最初に検知された点まで遡って当該線を描画してもよい。
この表示装置によれば、ユーザーが線を描こうとしているときには始点まで遡って線を描くことができる。

前記検知手段は、前記表示面に接触していた前記指示体が当該表示面から離れたことを示す第２イベントを検知し、前記第１送信手段は、前記第２イベントが前記検知手段により検知されたことを契機として前記問い合わせを送信し、前記第２イベントが前記検知手段により検知された場合であっても、当該時点で前記線の長さがしきい値よりも長い場合、前記問い合わせを送信しなくてもよい。
この表示装置によれば、問い合わせによる待ち時間が発生する頻度を低減することができる。

前記動作モードが前記第２モードに切り替わってからしきい値時間経過するまで、前記第１送信手段は、前記問い合わせを送信しなくてもよい。
この表示装置によれば、問い合わせによる待ち時間が発生する頻度を低減することができる。

前記検知手段は、前記指示体が前記表示面に接触していることを示す第１イベントを検知し、前記切り替え手段は、前記動作モードが前記第２モードである場合において、前記第１イベントが連続して検知されている間の前記位置の軌跡の長さがしきい値よりも長いときは、当該動作モードを前記第１モードに切り替えてもよい。
この表示装置によれば、メニューの表示および選択によらずに、よりユーザーの意図を反映して自動的に表示装置の動作モードを第１モードに切り替えることができる。

前記検知手段は、前記指示体が前記表示面から離れておりかつ当該表示面との距離がしきい値以下であることを示す第３イベントを検知し、前記第１送信手段は、前記第３イベントが前記検知手段により検知されているときに前記問い合わせを送信してもよい。
この表示装置によれば、ユーザーが体感する待ち時間を低減することができる。

この表示装置は、前記動作モードが切り替わったことをユーザーに通知する通知手段を有してもよい。
この表示装置によれば、ユーザーは、動作モードが切り替わったことを容易に確認することができる。

また、本発明は、情報処理装置上で動作しているアプリケーションプログラムの画面を表示面に表示するステップと、前記表示面上における指示体の位置を検知するステップと、前記検知された位置を示す情報を含む問い合わせを前記情報処理装置に送信するステップと、前記問い合わせに対する回答として、前記画面において前記アプリケーションプログラムに対して入力を行うための画像オブジェクトを含む所定範囲内に前記位置があるかの判定結果を受信するステップと、自装置の動作モードが第１モードである場合、前記検知手段により検知された位置の軌跡に応じた線を前記表示面に描画するステップと、前記動作モードが第２モードである場合、前記検知手段により検知された位置を示す情報を前記情報処理装置に送信するステップと、前記動作モードが前記第１モードである場合において、前記検知された位置が前記所定範囲内であること示す前記判定結果が受信されたときは、当該動作モードを前記第２モードに切り替えるステップとを有する表示制御方法を提供する。
この表示制御方法によれば、メニューの表示および選択によらずに、よりユーザーの意図を反映して自動的に表示装置の動作モードを第２モードに切り替えることができる。

さらに、本発明は、コンピューターに、当該コンピューター上で動作しているアプリケーションプログラムの画面を表示装置により表示面に表示するステップと、前記表示面上において検知された指示体の位置を取得するステップと、前記画面において前記アプリケーションプログラムに対して入力を行うための第１画像オブジェクトを含む所定範囲内に前記位置があるか判定するステップと、自装置の動作モードが第１モードである場合、前記検知された位置の軌跡に応じた線を前記表示面に描画するステップと、前記動作モードが第２モードである場合、前記検知された位置に第２画像オブジェクトを表示させるステップと、前記動作モードが前記第１モードである場合において、前記検知された位置が前記所定範囲内であると判定されたときは、当該動作モードを前記第２モードに切り替えるステップとを実行させるためのプログラムを提供する。
このプログラムによれば、メニューの表示および選択によらずに、よりユーザーの意図を反映して自動的に表示装置の動作モードを第２モードに切り替えることができる。

一実施形態に係る表示システム１の機能構成を示す図。 表示装置１０のハードウェア構成を例示する図。 情報処理装置３０のハードウェア構成を例示する図。 インタラクティブモードの概要を示す図。 ＰＣモードの概要を示す図。 動作例１に係るモード切り替え処理を示すフローチャート。 動作例２に係るモード切り替え処理を示すフローチャート。 動作例３に係るモード切り替え処理を示すフローチャート。

１．構成
図１は、一実施形態に係る表示システム１の機能構成を示す図である。表示システム１は、表示装置１０、指示体２０、および情報処理措置３０を有する。表示装置１０は、情報処理措置３０から供給される映像を表示面に表示する装置である。情報処理装置３０は、表示装置１０に映像を供給する映像供給装置の一例である。この例で、情報処理装置３０は汎用のパーソナルコンピューターであり、アプリケーションプログラムを動作させる機能を有する。

指示体２０は、表示面上の位置を指示する装置である。表示装置１０は、指示体２０により指示された位置に応じた処理を行う。この例で、指示された位置に応じた処理は、表示装置１０の動作モードによって異なる。表示システム１は、この動作モードを自動的に切り替える機能を有する。

表示装置１０は、表示手段１１、検知手段１２、送信手段１３、受信手段１４、描画手段１５、送信手段１６、切り替え手段１７、および通知手段１８を有する。

表示手段１１は、情報処理措置３０上で動作しているアプリケーションプログラムの画面を表示面に表示する。アプリケーションプログラムの画面とは、アプリケーションプログラムの実行に伴って情報処理装置３０において生成される画面をいい、例えばマルチウインドウのＧＵＩ（Graphical User Interface）の場合にはアクティブなアプリケーションプログラムのウインドウを含むデスクトップ画面全体をいう。表示面とは画像が表示される面であり、例えば表示装置１０がプロジェクターの場合はスクリーンまたは壁面、表示装置１０が液晶ディスプレイの場合は液晶パネルである。

検知手段１２は、表示面１１上における指示体２０の位置（以下単に「指示体２０の位置」という）を検知する。この例で、検知手段１２は、指示体２０の位置を含むイベントを検知する。指示体２０は、ユーザーが表示面１１上の位置を指定するのに用いるものであり、例えば電子ペンまたはユーザー自身の指である。検知手段１２は、例えば、表示面を撮像するカメラを有し、指示体２０の形状または色、もしくは指示体２０に設けられた発光体（例えば赤外線発光ダイオード）の発光によって指示体２０の位置を検知する。検知手段１２は、表示面に設けられた圧力センサーや静電センサーにより指示体２０の位置を検知してもよい。検知手段１２は、例えば発光体の発酵パターンによりイベントの種別を認識する。

指示体２０に関するイベントには、例えばペンダウンイベントおよびペンアップイベントがある。ペンダウンイベントは、指示体２０が表示面に接触していることを示すイベントである。ペンダウンイベントは、指示体２０が表示面に接触している位置を示す情報（例えば座標）を含む。ペンアップイベントは、それまで表示面に接触していた指示体２０が表示面から離れたことを示す。ペンアップイベントは、それまで表示面に接触していた指示体２０が表示面から離れる前に最後に接触が検知された位置を示す情報を含む。

送信手段１３は、情報処理装置３０に対して問い合わせを送信する。この問い合わせは、検知手段１２により検知された指示体２０の位置がＵＩ（User Interface）オブジェクトに相当する位置であるか否かの問い合わせである。ＵＩオブジェクトとは、情報処理装置３０上で動作しているアプリケーションプログラムの画面において、そのアプリケーションプログラムに対して入力を行うための画像オブジェクト、例えば、アイコン、ボタン、およびメニュー項目である。ＵＩオブジェクトに相当する位置とは、ＵＩオブジェクトを含む所定範囲（例えばＵＩオブジェクトの外形に所定のマージンを加えた範囲。第１の範囲の一例）をいう。なお、この問い合わせは、指示体２０の位置を示す情報を含む。

受信手段１４は、上記の問い合わせに対する回答を受信する。この回答は、指示体２０の位置がＵＩオブジェクトに相当する位置であるか否かの判定結果を含んでいる。

描画手段１５は、表示装置１０の動作モードが第１モードである場合に有効になる機能であり、指示体２０の位置の軌跡に応じた線（すなわち手書き画像）を表示面に描画する。この例で、描画手段１５は、ペンダウンイベントが連続して検知されている間の指示体２０の位置の軌跡に応じて線を描く。より詳細には、描画手段１５は、ペンダウンイベントが検知されていない状態から初めてペンダウンイベントが検知された位置から、その後ペンアップイベントが検知されるまでの位置に応じて線を描く。

送信手段１６は、表示装置１０の動作モードが第２モードである場合に有効になる機能であり、指示体２０の位置を示す情報を情報処理装置３０に送信する。なお、描画手段１５は、第２モードの間の間に検知した指示体２０の位置の軌跡に応じた線は描画しないようにしてもよいし、特定の条件を満たす場合のみ描画するようにしてもよい。

切り替え手段１７は、表示装置１０の動作モードを切り替える。具体的には、表示装置１０の動作モードが第１モードである場合において、指示体２０の位置がＵＩオブジェクトに相当する位置であることを示す判定結果を含む回答を受信手段１４が受信したときは、切り替え手段１７は、動作モードを第２モードに切り替える。

通知手段１８は、動作モードが切り替わったことをユーザーに通知する。ユーザーへの通知は、例えば音、振動、または表示面に表示する画像を介して行われる。

情報処理措置３０は、実行手段３１、映像供給手段３２、および判定手段３３を有する。実行手段３１は、プログラムを実行する。映像供給手段３２は、表示装置１０に映像を供給する。この例で、映像供給手段３２は、実行手段３１が実行しているプログラムの画面を供給する。判定手段３３は、表示装置１０からの問い合わせに応じて、その問い合わせに係る位置が実行手段３１により実行されているプログラムのＵＩオブジェクトに相当する位置であるか判定する。さらに、判定手段３１は、判定結果を表示装置１０に送信する。

図２は、表示装置１０のハードウェア構成を例示する図である。表示装置１０は、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１、ＲＡＭ（Random Access Memory）１０２、記憶部１０３、ＩＦ部１０４、画像処理回路１０５、投写ユニット１０６、操作パネル１０７、およびカメラ１０８を有する。

ＣＰＵ１００は、表示装置１０の各部を制御する制御装置である。ＲＯＭ１０１は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＡＭ１０２は、データを記憶する揮発性の記憶装置であり、ＣＰＵ１００が処理を実行する際のワークエリアとして機能する。記憶部１０３は、データやプログラムなどを記憶する不揮発性の記憶装置であり、例えば、フラッシュＲＯＭ、ＳＳＤ（Solid State Drive）、またはＨＤＤ（Hard Disk Drive）を含む。なお、記憶部１０３は、ＲＯＭ１０１に含まれていてもよい。あるいは、記憶部１０３は、ネットワーク上の記憶装置であってもよい。

ＩＦ部１０４は、外部装置（例えば表示装置１０）と信号またはデータのやりとりを仲介するインターフェースである。ＩＦ部１０４は、外部装置と信号またはデータのやりとりをするための端子（例えば、ＶＧＡ端子、ＵＳＢ端子、有線ＬＡＮインターフェース、Ｓ端子、ＲＣＡ端子、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）端子、マイクロフォン端子など）および無線ＬＡＮインターフェースを含む。これらの端子は、映像入力端子に加え、映像出力端子を含んでもよい。

画像処理回路１０５は、入力された映像信号（以下「入力映像信号」という）に所定の画像処理（例えばサイズ変更、台形補正等）を施す。

投写ユニット１０６は、画像処理が施された映像信号に従って、スクリーンまたは壁面等の投写面に画像を投写する。投写ユニット１０６は、光源、光変調器、および光学系（いずれも図示略）を有する。光源は、高圧水銀ランプ、ハロゲンランプ、もしくはメタルハライドランプなどのランプ、またはＬＥＤ（Light Emitting Diode）もしくはレーザーダイオードなどの固体光源、およびこれらの駆動回路を含む。光変調器は、光源から照射された光を映像信号に応じて変調する装置であり、例えば液晶パネルまたはＤＭＤ（Digital Mirror Device）、およびこれらの駆動回路を有する。なお、液晶パネルは、透過型および反射型のいずれの方式であってもよい。光学系は、光変調器により変調された光をスクリーンに投写する素子などで構成されており、例えばミラー、レンズ、およびプリズムを有する。光源および光変調器は色成分毎に設けられていてもよい。

操作パネル１０７は、ユーザーが表示装置１０に対し指示を入力するための入力装置であり、例えば、キーパッド、ボタン、またはタッチパネルを含む。

カメラ１０８は、指示体２０の位置を特定するためのカメラである。この例で、指示体２０は、ペン先に発光体（例えば赤外線発光ダイオード）、圧力センサー、および制御回路（いずれも図示略）を有する。圧力センサーによりペン先が物体（投写面等）に触れたことが検知されると、制御回路は、所定の発光パターンで発光体を発光させる。カメラ１０８は赤外線カメラであり、投写面の画像を撮影する。ＣＰＵ１００は、カメラ１０８が撮影した画像から指示体２０の位置および対応するイベントを特定する。

この例で、投写ユニット１０６は表示手段１１の一例である。投写面が表示面である。カメラ１０８およびＣＰＵ１００は検知手段１２の一例である。ＩＦ部１０４は送信手段１３、受信手段１４、および送信手段１６の一例である。ＣＰＵ１００は、描画手段１５、切り替え手段１７、および通知手段１８の一例である。

図３は、情報処理装置３０のハードウェア構成を例示する図である。情報処理装置３０は例えば汎用のパーソナルコンピューターであり、ＣＰＵ３００、ＲＯＭ３０１、ＲＡＭ３０２、ＩＦ部３０３、記憶部３０４等のハードウェア要素を有する。記憶部３０４は、オペレーティングシステム（Operating System、ＯＳ）およびアプリケーションプログラム（例えばプレゼンテーションのスライドを順次表示するプログラム）に加え、表示装置１０からの問い合わせに対し回答するためのプログラム（以下「位置判定プログラム」という）を記憶している。位置判定プログラムはアプリケーションプログラムのバックグラウンドで動作する。情報処理装置３０においてＣＰＵ３００は実行手段３１および判定手段３３の一例であり、ＩＦ部３０３は映像供給手段３２の一例である。

２．動作モードの概要
ここで、表示装置１０の動作モードについて説明する。この例で、表示装置１０の動作モードには、インタラクティブモード（第１モードの一例）およびＰＣモード（第２モードの一例）がある。

図４は、インタラクティブモードの概要を示す図である。インタラクティブモードは、指示体２０の軌跡に応じた線（以下「手書き画像」という）を表示装置１０が描画する動作モードである。インタラクティブモードにおいては、表示装置１０をホワイトボードや電子黒板のように使用することができる。さらに、表示装置１０は、映像供給装置から供給される映像に手書き画像を重ねて合成した画像を表示することができる。例えば、表示装置１０は、情報処理装置３０で実行されているアプリケーションプログラムの画面の上に、手書き画像（この場合はアノテーションやメモ書き）を重ねて表示することができる。図３の例では、ユーザーが指示体２０を投写面にタッチ（接触）させながら移動した軌跡に伴って、スクリーンＳＣ上に手書き画像ＩＭ１が表示されている。

図５は、ＰＣモードの概要を示す図である。ＰＣモードは、指示体２０が情報処理装置３０のポインティングデバイスとして用いられる動作モードである。表示装置１０は、指示体２０の投写面における位置（座標）を含むイベントを示す情報を情報処理装置３０に送信する。情報処理装置３０のデバイスドライバーは、表示装置１０から送信される情報をマウス操作の情報に変換し、ＯＳに引き渡す。

表示装置１０は、情報処理装置３０で実行されているアプリケーションプログラムの画面を表示する。この例で、この画面は、マウスカーソルＣおよびアプリケーションプログラムのウインドウＷを含んでいる。ウインドウＷは、ボタンＢを含んでいる。ボタンＢは、ウインドウＷを閉じるためのボタンである。ユーザーが指示体２０で投写面にタッチすると、マウスカーソルＣはタッチされた位置に移動する。ユーザーがタッチした位置がボタンＢである場合、ボタンＢがクリックされたと解釈され、ウインドウＷは閉じる。

３．動作
以下、表示システム１の動作例をいくつか説明する。以下の動作例は単独で用いられてもよいし、２つ以上が組み合わせて用いられてもよい。

３−１．動作例１
図６は、動作例１に係るモード切り替え処理を示すフローチャートである。図６のフローは、例えば表示装置１０の電源が投入されたことを契機として開始される。なお、以下の説明において、ソフトフェアを処理の主体として記載する場合があるが、これは、このソフトウェアを実行しているハードウェア資源（ＣＰＵ等）が他のハードウェア資源（メモリーや通信インターフェース等）と共働して処理を行うことを意味する。

ステップＳ１００において、表示装置１０のＣＰＵ１００は、ペンイベントを検知する。詳細には以下のとおりである。ＣＰＵ１００は、カメラ１０８により撮影された画像を定期的に取得する。ＣＰＵ１００は、この画像に含まれている発光点の位置および発光強度の変化から、ペンイベントおよびそのペンイベントが発生した位置を特定する。この位置は、スクリーンを基準とした座標系上の座標に変換される。ＣＰＵ１００は、検知したペンイベント（座標を含む）をＲＡＭ１０２に記憶する。

検知されたイベントがペンアップイベントであった場合、ＣＰＵ１００は、処理をステップＳ１１０に移行する。検知されたイベントがペンアップイベント以外のイベントであった場合、またはペンイベントが検出されない場合、ＣＰＵ１００は、処理を再びステップＳ１００に移行する。

ステップＳ１１０において、ＣＰＵ１００は、直近のペンイベントに関するストローク長を測定する。ストローク長とは、指示体２０の位置の軌跡に応じた線の長さをいう。指示体２０の位置の軌跡に応じた線とは、連続して検知されたペンダウンイベントに含まれる座標を用いて描かれる線、要するに指示体２０が投写面に触れながら移動した軌跡をいう。ここではＣＰＵ１００は、描き終わったばかりの線（ペンアップイベントが検知されたばかりの線）について、ストローク長を測定する。

ステップＳ１２０において、ＣＰＵ１００は、測定されたストローク長がしきい値以下であるか判断する。このしきい値は、動作モードの切り替えの判断基準となるしきい値である。換言すると、このしきい値は、ユーザーによる指示体２０の操作が、画面上のＵＩオブジェクト（アイコンやボタン等）に対する操作であるか、線を描画する操作であるかの判断基準となるしきい値である。ストローク長がＵＩオブジェクトのサイズ（高さや幅）よりも短い場合、指示体２０の操作は、ＵＩオブジェクトへの指示入力（クリック等）である可能性がある。したがって、このしきい値は、ＵＩオブジェクトのサイズ程度の大きさに設定される。なお、この例ではストローク長がしきい値以下であるかの判断を行っているが、ストローク長がしきい値より短いか否かの判断を行うようにしてもよい。

ストローク長がしきい値以下であると判断された場合（Ｓ１２０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ１３０に移行する。ストローク長がしきい値を超えていると判断された場合（Ｓ１２０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ１５０に移行する。

ステップＳ１３０において、ＣＰＵ１００は、ペンアップイベントが検知された座標に、ＵＩオブジェクトが存在するか判断する。この例では、表示装置１０は、この座標にＵＩオブジェクトが存在するか自分自身だけでは判断することができないので、映像供給装置である情報処理装置３０に問い合わせを行う。詳細には以下のとおりである。

ＣＰＵ１００は、情報処理装置３０に対し問い合わせを送信する。この問い合わせは、映像信号と同じ経路で送られてもよいし、映像信号と異なる経路で送られてもよい。この問い合わせは、ペンアップイベントが検知された座標を示す情報を含んでいる。

表示装置１０から問い合わせを受信すると、情報処理装置３０の位置判定プログラムは、問い合わせに含まれる座標を、情報処理装置３０のデスクトップ（画面）上の座標に変換する。位置判定プログラムは、その座標にＵＩオブジェクトが存在するか否か判定する。位置判定プログラムは、例えば、ＯＳに対し、その座標に、クリックにより反応するオブジェクトが存在するか問い合わせることにより、この判定を行う。ＯＳは、座標が指定されると、その座標にクリック可能なオブジェクトが存在するか判定する機能を有している。位置判定プログラムは、この判定の結果を用いて、表示装置１０からの問い合わせに対する回答を生成する。この回答は、その座標にＵＩオブジェクトが存在するか否かの判定結果を含む。位置判定プログラムは、生成された回答を表示装置１０に送信する。

情報処理装置３０から回答を受信すると、表示装置１０のＣＰＵ１００は、その回答に従って、この座標にＵＩオブジェクトが存在するか判断する。ＵＩオブジェクトが存在すると判断された場合（Ｓ１３０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ１４０に移行する。ＵＩオブジェクトが存在しないと判断された場合（Ｓ１３０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ１５０に移行する。

ステップＳ１４０において、ＣＰＵ１００は、動作モードをＰＣモードに設定する。すなわち、それまで動作モードがインタラクティブモードであった場合、動作モードはＰＣモードに切り替えられる。この場合において、直近の一連のペンイベント（一連のペンダウンイベントが最初に検知されてからペンアップイベントが検知されるまでの連続したペンイベント）はＰＣモードにおいて処理される。それまで動作モードがＰＣモードであった場合、動作モードは維持される。動作モードを設定すると、ＣＰＵ１００は、図６のフローを終了する。

ステップＳ１５０において、ＣＰＵ１００は、動作モードをインタラクティブモードに設定する。すなわち、それまで動作モードがＰＣモードであった場合、動作モードはインタラクティブモードに切り替えられる。この場合において、直近の一連のペンイベントはインタラクティブモードにおいて処理される。それまで動作モードがインタラクティブモードであった場合、動作モードは維持される。動作モードを設定すると、ＣＰＵ１００は、図６のフローを終了する。

図６のフローは、表示装置１０の電源が投入されている間は定期的に繰り返し実行される。この動作例によれば、ユーザーの意図をより反映して動作モードの切り替えが行われる。具体的には、指示体２０により描かれる線のストロークがしきい値より短く、かつペンアップが検知された位置がＵＩオブジェクトの位置であった場合、動作モードが自動的にＰＣモードに切り替えられる。また、ストロークがしきい値よりも長い場合、動作モードが自動的にインタラクティブモードに切り替えられる。なお、ペンアップイベントが検知された場合であっても、ストロークがしきい値よりも長い場合には、問い合わせは行われない。

以下、より具体的に判定の例を説明する。以下の例において、長さの単位は画素（ピクセル）である。また、ステップＳ１２０におけるしきい値は１０画素である。現在実行中のアプリケーションプログラムにおいて、ＵＩオブジェクトは、（４１５，１７）および（４２５，２７）を結ぶ線を対角線とする矩形領域にのみ表示されている。

（１）例１
この例で、タッチ開始座標（一連のペンイベントにおける最初のペンダウンイベントの座標）が（９６０，３９０）であり、タッチ終了座標（一連のペンイベントにおけるペンアップイベントの座標）が（９６０，３９５）である。ストローク長は５画素であり、しきい値よりも短いので、表示装置１０は、（９６０，３９５）にＵＩオブジェクトがあるか情報処理装置３０に問い合わせを行う。この座標にＵＩオブジェクトは無いので、情報処理装置３０は、ＵＩオブジェクトが無い旨の回答を表示装置１０に送信する。この回答を受信すると、表示装置１０は、動作モードをインタラクティブモードに設定する。すなわち、長さ５画素分の短い線を描画する。

（２）例２
この例で、タッチ開始座標が（４２０，８０）であり、タッチ終了座標が（４２２，８１）である。ストローク長は√５画素であり、しきい値よりも短いので、表示装置１０は、座標（９６０，３９５）にＵＩオブジェクトがあるか情報処理装置３０に問い合わせを行う。この座標にはＵＩオブジェクトが有るので、情報処理装置３０は、ＵＩオブジェクトが有る旨の回答を表示装置１０に送信する。この回答を受信すると、表示装置１０は、動作モードをインタラクティブモードに設定する。すなわち、長さ√５画素分の線は描画されず、座標（４２２，８１）がクリックされたことを示すイベントが情報処理装置３０に送信される。

３−２．動作例２
図７は、動作例２に係るモード切り替え処理を示すフローチャートである。動作例１においては、ペンアップイベントが発生する度に表示装置１０は情報処理装置３０に問い合わせを行っていた。すなわち動作例１においてはペンアップイベントが検知される度に情報処理装置３０との通信待ちの時間が発生するため、表示装置１０と情報処理装置３０との通信状況によっては、遅延が生じていると感じられてしまう可能性がある。

動作例２においては、遅延がユーザーに認識される可能性を低減するため、表示装置１０が情報処理装置３０へ問い合わせを行う頻度を低減する。そのため、動作例２においては、前回のペン操作が行われてから一定時間が経過するまでは、モード切り替えの判断は行われない。詳細には以下のとおりである。

ステップＳ２００において、表示装置１０のＣＰＵ１００は、ペンイベントを検知する。ＣＰＵ１００は、検知したペンイベント（座標を含む）を、そのペンイベントを検知した時刻と共にＲＡＭ１０２に記憶する。検知されたイベントがペンアップイベントであった場合、ＣＰＵ１００は、処理をステップＳ２１０に移行する。検知されたイベントがペンアップイベント以外のイベントであった場合、またはペンイベントが検出されない場合、ＣＰＵ１００は、処理を再びステップＳ２００に移行する。

ステップＳ２１０において、ＣＰＵ１００は、直前のペン操作からの経過時間ΔＴを更新する。ここで、「直前のペン操作」とは、前回検出されたペンアップイベントをいう。すなわち時間ΔＴは、前回、線を書き終えてから今回のペンアップイベントに係る線を書き終えるまでに経過した時間を示す。ＣＰＵ１００は、時間ΔＴの値を更新し、ＲＡＭ１０２に書き込む。

ステップＳ２２０において、ＣＰＵ１００は、時間ΔＴがしきい値Ｔｈを超えているか（すなわちΔＴ＞Ｔｈであるか）判断する。しきい値Ｔｈは、モード切り替えの判断を行うか否かの判断基準となるしきい値である。時間ΔＴがしきい値Ｔｈ以下であると判断された場合（ステップＳ２２０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ２３０に移行する。

ステップＳ２３０において、ＣＰＵ１００は、動作モードを維持する。ステップＳ２４０〜Ｓ２８０の処理は、ステップＳ１１０〜Ｓ１５０の処理と同様である。この動作例によれば、所定のペンイベントが発生する度に情報処理装置３０に問い合わせを行う場合と比較して、問い合わせを行う頻度を低減することができる。すなわちこの例によれば、例えば動作モードがインタラクティブモードからＰＣモードに切り替わったときに、その後しきい値時間が経過するまでは、インタラクティブモードへの切り替えは行われない。

なお動作例２において、現状の動作モードがインタラクティブモードである場合、ＣＰＵ１００は、時間ΔＴを用いた判断（ステップＳ２２０）をスキップしてストローク長の計測（ステップＳ２４０）に移行してもよい。これは、インタラクティブモードにおいてクリックに相当する動作（短い点が打たれる可能性）が行われる可能性が低いことに起因する。

３−３．動作例３
検知手段１２の具体的構成によっては、指示体２０が投写面にタッチしているかいないかの２つの状態だけでなく、タッチしている、タッチしていないが投写面との距離が近い（いわゆるホバリング状態）、タッチしておらず投写面との距離が遠い、の３つの状態を検知することができる場合がある。動作例３においては、指示体２０がホバリング状態にあるときに、モード切り替えの判定が行われる。

図８は、動作例３に係る処理を示すフローチャートである。ステップＳ３００において、ＣＰＵ１００は、ホバリングイベントを検知する。ホバリングイベントとは、指示体２００がホバリング状態にあることを示すイベントである。ホバリングイベントは、指示体がホバリングしている位置（以下「ホバリング位置」という）を示す情報（座標）を含んでいる。ホバリングイベントが検知された場合、ＣＰＵ１００は、処理をステップＳ３１０に移行する。ホバリングイベントが検知されない場合、ＣＰＵ１００は、処理を再びステップＳ３００に移行する。

ステップＳ３１０において、ＣＰＵ１００は、ホバリング位置にＵＩオブジェクトが存在するか判断する。この判断は、ステップＳ１３０と同様に行われる。ホバリング位置にＵＩオブジェクトが存在しないと判断された場合（ステップＳ３１０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ３２０に移行する。ホバリング位置にＵＩオブジェクトが存在すると判断された場合（ステップＳ３１０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ３３０に移行する。

ステップＳ３２０において、ＣＰＵ１００は、動作モードを維持する。動作モードを維持することを決定すると、ＣＰＵ１００は、図８のフローを終了する。

ステップＳ３３０において、ＣＰＵ１００は、動作モードを待機モードに移行する。待機モードとは、動作モードの切り替えを保留している状態であって、インタラクティブモードにおける線の描画、およびＰＣモードにおける座標の情報処理装置３０への送信のいずれも行わない動作モードをいう。すなわち待機モードにおいては、検知された指示体２０の座標は履歴として記録されるだけで、線の描画も情報処理装置３０への座標の出力も行われない。なお、動作モードが待機モードに切り替わると、ＣＰＵ１００は、その旨をユーザーに通知してもよい。通知の方法としては、例えば、マウスカーソルの形状をマウスモードおよびインタラクティブモードのときと変える、画面に視覚効果（暗転、明転、点滅等）を加える、電子ペンを振動させる、ビープ音を発生させる等がある。

ステップＳ３４０において、表示装置１０のＣＰＵ１００は、ペンイベントを検知する。ＣＰＵ１００は、検知したペンイベント（座標を含む）をＲＡＭ１０２に記憶する。検知されたイベントがペンアップイベントであった場合、ＣＰＵ１００は、処理をステップＳ３５０に移行する。検知されたイベントがホバリングイベントであった場合、ＣＰＵ１００は、処理をステップＳ３００に移行する。検知されたイベントがペンアップイベントおよびホバリングイベント以外のイベントであった場合、またはペンイベントが検出されない場合、ＣＰＵ１００は、処理を再びステップＳ３４０に移行する。

ステップＳ３５０において、ＣＰＵ１００は、直近のペンイベントに関するストローク長を測定する。ステップＳ３６０において、ＣＰＵ１００は、測定されたストローク長がしきい値以下であるか判断する。このしきい値は、ステップＳ１２０で説明したものと同じである。ストローク長がしきい値以下であると判断された場合（ステップＳ３６０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ３７０に移行する。ストローク長がしきい値を超えていると判断された場合（ステップＳ３６０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ３９０に移行する。

ステップＳ３７０において、ＣＰＵ１００は、ペンアップイベントが検知された座標がホバリング位置の近傍であるか、すなわちホバリング位置との距離がしきい値以下であるか判断する。このしきい値は、ステップＳ３６０で用いられるしきい値と同じでもよい。ペンアップイベントが検知された座標がホバリング位置の近傍であると判断された場合（ステップＳ３７０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ３８０に移行する。ペンアップイベントが検知された座標がホバリング位置の近傍でないと判断された場合（ステップＳ３７０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ３９０に移行する。

ステップＳ３８０において、ＣＰＵ１００は、動作モードをＰＣモードに設定する。動作モードを設定すると、ＣＰＵ１００は、図８のフローを終了する。

ステップＳ３９０において、ＣＰＵ１００は、動作モードをインタラクティブモードに設定する。動作モードを設定すると、ＣＰＵ１００は、図８のフローを終了する。

この動作例によれば、動作モード切り替えの判断は、指示体２０の投写面へのタッチに先んじて行われる。すなわち、ユーザーが指示体２０を投写面にタッチする前に動作モードの切り替えの判断を行うことができる。

以下、より具体的に判定の例を説明する。以下の例において、ステップＳ３６０およびＳ３７０におけるしきい値はいずれも１０画素である。現在実行中のアプリケーションプログラムにおいて、ＵＩオブジェクトは、（４１５，１７）および（４２５，２７）を結ぶ線を対角線とする矩形領域にのみ表示されている。

（１）例３
この例で、ホバリング位置が（４２０，８０）である。表示装置１０は、座標（４２０，８０）にＵＩオブジェクトがあるか情報処理装置３０に問い合わせを行う。この座標にはＵＩオブジェクトが有るので、情報処理装置３０は、ＵＩオブジェクトが有る旨の回答を表示装置１０に送信する。この回答を受信すると、表示装置１０は、動作モードを待機モードに設定する。その後、ユーザーは、座標（４２２，８２）からタッチを開始し、座標（４２２，８１）において指示体２０を投写面から離す。このとき、ストローク長は１画素であり、ステップＳ３６０のしきい値よりも短い。さらに、ペンアップイベントの座標とホバリング位置との距離は√８画素であり、しきい値よりも短い。したがって動作モードはＰＣモードに設定され、座標（４２２，８１）がクリックされたことを示すイベントが情報処理装置３０に送信される。

（２）例４
この例で、ホバリング位置が（４２０，８０）である。表示装置１０は、座標（４２０，８０）にＵＩオブジェクトがあるか情報処理装置３０に問い合わせを行う。この座標にはＵＩオブジェクトが有るので、情報処理装置３０は、ＵＩオブジェクトが有る旨の回答を表示装置１０に送信する。この回答を受信すると、表示装置１０は、動作モードを待機モードに設定する。その後、ユーザーは、座標（４２２，８２）からタッチを開始し、座標（５００，８１）において指示体２０を投写面から離す。このとき、ストローク長はステップＳ３６０のしきい値よりも長い。したがって動作モードはインタラクティブモードに設定され、指示体２０の軌跡に応じた線の画像が画面上に描画される。

（２）例５
この例で、ホバリング位置が（４２０，８０）である。表示装置１０は、座標（４２０，８０）にＵＩオブジェクトがあるか情報処理装置３０に問い合わせを行う。この座標にはＵＩオブジェクトが有るので、情報処理装置３０は、ＵＩオブジェクトが有る旨の回答を表示装置１０に送信する。この回答を受信すると、表示装置１０は、動作モードを待機モードに設定する。その後、ユーザーは、座標（４２５，８０）からタッチを開始し、座標（４３１，８０）において指示体２０を投写面から離す。このとき、ストローク長は６画素でありステップＳ３６０のしきい値よりも短い。ただし、ペンアップイベントの座標とホバリング位置との距離は１１画素でありしきい値よりも長い。したがって動作モードはインタラクティブモードに設定され、指示体２０の軌跡に応じた線の画像が画面上に描画される。

４．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

４−１．変形例１
動作例１〜３において、ストローク長を測定する契機（次の処理へ進む契機）となるペンイベントおよびストローク長についての判断条件の組み合わせは、実施形態で説明したものに限定されない。例えば、ストローク長を測定する契機となるペンイベントがペンダウンイベントおよびペンアップイベントであり、ストローク長についての判断条件が「ストローク長がしきい値より長いか、またはペンアップイベントが検知された時点でストローク長がしきい値以下である」であってもよい。

４−２．変形例２
動作例２において、ステップＳ２００からＳ２１０に移行する契機となるペンイベントはペンアップイベントに限定されない。ペンダウンイベントが検知された場合にＣＰＵ１００はステップＳ２００からＳ２１０に処理を移行してもよい。

４−３．変形例３
動作例３の待機モードにおける動作は、実施形態で例示したものに限定されない。以下の（ｉ）〜（ｉｖ）の４つの観点の組み合わせにより、待機モードにおける動作が規定されてもよい。（ｉ）待機モードにおいて最初のペンダウンイベントが検知されたことを契機として線の描画を開始するか、最初のペンダウンイベントが検知された時点では線の描画は保留するか。（ｉｉ）ストローク長の測定の契機となるイベントはペンアップイベントかペンダウンイベントか。（ｉｉｉ）ストローク長がしきい値より長い場合に次の動作を行うか、短い場合に次の動作を行うか。（ｉｖ）「次の動作」は何か。

なお、動作例３では、（ｉ）待機モードにおいて最初のペンダウンイベントが検知された時点では線の描画は保留する、（ｉｉ）ストローク長の測定の契機となるイベントはペンアップイベント、（ｉｉｉ）ストローク長がしきい値より短い場合に次の動作を行う。（ｉｖ）次の動作は、ステップＳ３７０の処理、である。

例えば、待機モードにおける動作は、（ｉ）待機モードにおいて最初のペンダウンイベントが検知されたことを契機として線の描画を開始する、（ｉｉ）ストローク長の測定の契機となるイベントはペンアップイベント、（ｉｉｉ）ストローク長がしきい値より短い場合に次の動作を行う、（ｖ）次の動作は、直近に描画した線の消去（その後、ステップＳ３７０の処理）であってもよい。

別の例で、待機モードにおける動作は、（ｉ）待機モードにおいて最初のペンダウンイベントが検知された時点では線の描画は保留する、（ｉｉ）ストローク長の測定の契機となるイベントはペンダウンイベント、（ｉｉｉ）ストローク長がしきい値より長い場合に次の動作を行う、（ｖ）次の動作は、継続中のペンダウンイベントに係る線の描画。なおこの場合において、ＣＰＵ１００は、ストローク長がしきい値を超えた座標から線の描画を開始してもよいし、最初のペンダウンイベントが検知された座標まで遡って線の描画を開始してもよい。

４−４．変形例４
動作例１および２において、ペンダウンイベントを最初に検出してから、一連のペンイベントに対する動作モードが決定されるまでの間、ＣＰＵ１００は、動作モードを待機モードに移行してもよい。この場合において、以下の（ａ）〜（ｄ）の４つの観点の組み合わせにより、待機モードにおける動作が規定されてもよい。（ａ）待機モードにおいて最初のペンダウンイベントが検知されたことを契機として（情報処理装置３０からの回答を待たずに）線の描画を開始するか、最初のペンダウンイベントが検知された時点では線の描画は保留するか。（ｂ）ストローク長の測定の契機となるイベントはペンアップイベントかペンダウンイベントか。（ｃ）次の動作に進むための条件は何か。（ｄ）「次の動作」は何か。

動作例１および２における待機モードにおける動作は、（ａ）待機モードにおいて最初のペンダウンイベントが検知されたことを契機として線の描画を開始する、（ｂ）ストローク長の測定の契機となるイベントはペンアップイベント、（ｃ）次の動作に進むための条件は、情報処理装置３０からペンアップの座標にＵＩオブジェクトが存在するという回答を受信し、かつ描画された線の長さがしきい値よりも短いという条件、（ｄ）次の動作は、直近に描画した線の消去（その後、モード設定）、であってもよい。

別の例で、動作例１および２における待機モードにおける動作は、（ａ）待機モードにおいて最初のペンダウンイベントが検知された時点では線の描画は保留する、（ｂ）ストローク長の測定の契機となるイベントはペンダウンイベント、（ｃ）次の動作に進むための条件は、継続中のペンダウンイベントに係る線（この判断時点では画面上に描画されていない仮想的な線）の長さがしきい値よりも長いという条件、（ｄ）次の動作は、継続中のペンダウンイベントに係る線の少なくとも一部の描画、であってもよい。なおこの場合において、ＣＰＵ１００は、ストローク長がしきい値を超えた座標から線の描画を開始してもよいし、最初のペンダウンイベントが検知された座標まで遡って線の描画を開始してもよい。

４−５．他の変形例
表示装置１０はプロジェクターに限定されず、そのハードウェア構成は図２で例示したものに限定されない。液晶ディスプレイや有機ＥＬディスプレイなど、直視の表示装置であってもよい。この場合において、表示装置はタッチスクリーンを有し、表示面上で指示された位置をタッチスクリーンにより検知する。

検知手段１２が表示面上の位置を検知する方法および指示体２０に係るイベントを検知する方法は実施形態で説明したものに限定されない。表示装置１０は、指示体２０の形状または色によって指示体２０の位置を特定してもよい。また、指示体２０は筐体のグリップ部にボタンを有しており、ユーザーがこのボタンを押したときにペンダウンイベントを示す信号を出力してもよい（この場合、指示体２０はペン先に圧力センサーを有していなくてもよい）。あるいは、ビームがスクリーンを覆うように、スクリーンの周囲に発光素子（レーザーダイオード等）および受光素子（フォトダイオード等）を設け、受光素子からの信号を用いて指示体２０の位置およびペンイベントを検知してもよい。

指示体２０は電子ペンに限定されない。特定の形状または色の筐体を有するスタイラスペンであってもよいし、ユーザーの指であってもよい。

実施形態においては動作モードが待機モードに切り替わったときにユーザーに通知が行われる例を説明したが、インタラクティブモードまたはＰＣモードに切り替わったときに通知が行われてもよい。この場合において、切り替え後の動作モードに応じて通知の方法が異なっていてもよい。

表示システム１において、表示装置１０と情報処理装置３０との間の機能の分担は図１で例示したものに限定されない。図１の機能の一部は省略されてもよい。また、実施形態において表示装置１０の機能として説明したものの少なくとも一部を、情報処理装置３０に実装してもよい。例えば、情報処理装置３０が、描画手段１５に相当する機能を有していてもよい。この場合、情報処理装置３０においては、情報処理装置３０上で動作しているアプリケーションプログラムの画面を表示装置１０により表示面に表示するステップと、表示面上において検知された指示体２０の位置を取得するステップと、画面においてアプリケーションプログラムに対して入力を行うための第１画像オブジェクトを含む所定範囲内に指示体２０の位置があるか判定するステップと、自装置の動作モードがインタラクティブモードである場合、検知された位置の軌跡に応じた線を表示面に描画するステップと、動作モードがＰＣモードである場合、検知された位置に第２画像オブジェクトを表示させるステップと、動作モードがインタラクティブモードである場合において、検知された位置が所定範囲内であると判定されたときは、動作モードをＰＣモードに切り替えるステップとを実行させるためのプログラムが実行される。なお、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスク（ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk））など）、光磁気記録媒体、半導体メモリ（フラッシュＲＯＭなど）などのコンピューター読取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、インターネットのようなネットワーク経由でダウンロードされてもよい。

１…表示システム、１０…表示装置、１１…表示手段、１２…検知手段、１３…送信手段、１４…受信手段、１５…描画手段、１６…送信手段、１７…切り替え手段、１８…通知手段、２０…指示体、３０…情報処理装置、３１…実行手段、３２…映像供給手段、３３…判定手段、１００…ＣＰＵ、１０１…ＲＯＭ、１０２…ＲＡＭ、１０３…記憶部、１０４…ＩＦ部、１０５…画像処理回路、１０６…投写ユニット、１０７…操作パネル、１０８…カメラ、３００…ＣＰＵ、３０１…ＲＯＭ、３０２…ＲＡＭ、３０３…ＩＦ部、３０４…記憶部

Claims (11)

1. 表示装置であって、
   情報処理装置上で動作しているアプリケーションプログラムの画面を表示面に表示する表示手段と、
   前記表示面上における指示体の位置を検知する検知手段と、
   前記検知手段により検知された位置を示す情報を含む問い合わせを前記情報処理装置に送信する第１送信手段と、
   前記問い合わせに対する回答として、前記画面において前記アプリケーションプログラムに対して入力を行うための画像オブジェクトを含む第１の範囲内に前記位置があるかの判定結果を受信する受信手段と、
   前記表示装置の動作モードが第１モードである場合、前記検知手段により検知された位置の軌跡に応じた線を前記表示面に描画する描画手段と、
   前記動作モードが第２モードである場合、前記検知手段により検知された位置を示す情報を前記情報処理装置に送信する第２送信手段と、
   前記動作モードが前記第１モードである場合において、前記検知手段により検知された位置が前記第１の範囲内であること示す前記判定結果を前記受信手段が受信したときは、当該動作モードを前記第２モードに切り替える切り替え手段と
   を有する表示装置。
2. 前記検知手段は、前記指示体が前記表示面に接触していることを示す第１イベントを検知し、
   前記描画手段は、
   前記第１イベントが連続して検知されている間の前記位置の軌跡に応じて前記線を描画し、
   前記受信手段が前記回答を受信する前から、前記線の描画を開始し、
   前記検知手段により検知された位置が前記第１の範囲内であることを示す前記判定結果を前記受信手段が受信し、かつ、前記線の長さが第１のしきい値よりも短い場合、当該線を消去する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記検知手段は、前記指示体が前記表示面に接触していることを示す第１イベントを検知し、
   前記描画手段は、
   前記第１イベントが連続して検知されている間の前記位置の軌跡に応じて前記線を描画し、
   前記受信手段が前記回答を受信するまでは、前記線の描画を開始せず、
   前記線の長さが第１のしきい値よりも長くなった場合、当該線の少なくとも一部を描画する
   ことを特徴とする請求項１に記載の表示装置。
4. 前記線の長さが前記第１のしきい値よりも長くなった場合、前記描画手段は、当該線に関し前記第１イベントが最初に検知された点まで遡って当該線を描画する
   ことを特徴とする請求項３に記載の表示装置。
5. 前記検知手段は、前記表示面に接触していた前記指示体が当該表示面から離れたことを示す第２イベントを検知し、
   前記第１送信手段は、
   前記第２イベントを検知した時点で、前記線が第２のしきい値よりも短い場合、前記第２イベントが前記検知手段により検知されると前記問い合わせを送信し、
   前記第２ベントを検知した時点で、前記線が前記第２のしきい値よりも長い場合、前記第２イベントが前記検知手段により検知されても、前記問い合わせを送信しない
   ことを特徴とする請求項１ないし４のいずれか一項に記載の表示装置。
6. 前記動作モードが前記第２モードに切り替わってから第１の時間が経過するまで、前記第１送信手段は、前記問い合わせを送信しない
   ことを特徴とする請求項１ないし５のいずれか一項に記載の表示装置。
7. 前記検知手段は、前記指示体が前記表示面に接触していることを示す第１イベントを検知し、
   前記切り替え手段は、前記動作モードが前記第２モードである場合において、前記第１イベントが連続して検知されている間の前記位置の軌跡の長さが第３のしきい値よりも長いときは、当該動作モードを前記第１モードに切り替える
   ことを特徴とする請求項１に記載の表示装置。
8. 前記検知手段は、前記指示体が前記表示面から離れておりかつ当該表示面との距離が第４のしきい値以下であることを示す第３イベントを検知し、
   前記第１送信手段は、前記第３イベントが前記検知手段により検知されているときに前記問い合わせを送信する
   ことを特徴とする請求項１ないし７のいずれか一項に記載の表示装置。
9. 前記動作モードが切り替わったことをユーザーに通知する通知手段
   を有する請求項１ないし８のいずれか一項に記載の表示装置。
10. 情報処理装置上で動作しているアプリケーションプログラムの画面を表示面に表示するステップと、
    前記表示面上における指示体の位置を検知するステップと、
    前記検知された位置を示す情報を含む問い合わせを前記情報処理装置に送信するステップと、
    前記問い合わせに対する回答として、前記画面において前記アプリケーションプログラムに対して入力を行うための画像オブジェクトを含む第１の範囲内に前記位置があるかの判定結果を受信するステップと、
    自装置の動作モードが第１モードである場合、前記検知された位置の軌跡に応じた線を前記表示面に描画するステップと、
    前記動作モードが第２モードである場合、前記検知された位置を示す情報を前記情報処理装置に送信するステップと、
    前記動作モードが前記第１モードである場合において、前記検知された位置が前記第１の範囲内であること示す前記判定結果が受信されたときは、当該動作モードを前記第２モードに切り替えるステップと
    を有する表示制御方法。
11. コンピューターに、
    当該コンピューター上で動作しているアプリケーションプログラムの画面を表示装置により表示面に表示するステップと、
    前記表示面上において検知された指示体の位置を取得するステップと、
    前記画面において前記アプリケーションプログラムに対して入力を行うための第１画像オブジェクトを含む第１の範囲内に前記位置があるか判定するステップと、
    自装置の動作モードが第１モードである場合、前記検知された位置の軌跡に応じた線を前記表示面に描画するステップと、
    前記動作モードが第２モードである場合、前記検知された位置に第２画像オブジェクトを表示させるステップと、
    前記動作モードが前記第１モードである場合において、前記検知された位置が前記第１の範囲内であると判定されたときは、当該動作モードを前記第２モードに切り替えるステップと
    を実行させるためのプログラム。

Images