JP2016162273A - 表示装置および表示制御方法 - Google Patents

Abstract

【課題】動作モードの切り替えの際、ユーザーの意図に反して描かれてしまった線を自動的に消去する。【解決手段】表示装置は、情報処理装置上で動作しているアプリケーションプログラムの画面を表示面に表示する表示手段と、表示面上における指示体の位置を検知する検知手段と、自装置の動作モードが第１モードである場合、検知手段により検知された位置の軌跡に応じた線を表示面に描画する描画手段と、動作モードが第２モードである場合、検知手段により検知された位置を示す情報を情報処理装置に送信する第２送信手段と、動作モードが第１モードであったときに検知手段により検知された指示体の第１位置が画面においてアプリケーションプログラムに対して入力を行うための第１画像オブジェクトを含む所定範囲内にあり、かつ、当該動作モードを第２モードに切り替えるユーザーからの指示が受け付けられた場合、線を消去する消去手段とを有する。【選択図】図１

Description

本発明は、指示体の位置に応じて、第１モードと第２モードで異なる処理を行う表示装置に関する。

表示面上において指示体で指示された位置に応じた画像を表示する表示装置が知られている。例えば特許文献１には、指示体（ポインター）により指示された位置に応じた画像を、映像供給装置（ＰＣ）から供給される画像に重ねて投写するプロジェクターが記載されている。このプロジェクターの動作モードには、指示体の座標に応じてプロジェクターが画像を描画する動作モード、および指示体の座標をポインティングデバイスの座標としてＰＣが画像を描画する動作モードがある。特許文献１において、これら２つの動作モードは、表示されるメニューバーに対する操作に応じて切り替えられる。また、特許文献２には、タッチパネルを有する表示装置において、ドラッグ長（画面をタッチしてから離すまでに移動した長さ）に応じて動作モードを切り替えることが記載されている。

特開２０１３−１３４４０９号公報 特開２００５−９２５３８号公報

特許文献１に記載の技術においては、プロジェクターにメニューを表示させ、その中から動作モードの切り替えに相当する項目を選択する操作を行う必要があった。また、ユーザーが動作モードの切り替えを行う意図を有しているかどうかは、指示体により指示された位置において映像供給装置により表示されている画像オブジェクトに依存する場合があるところ、特許文献２に記載の技術においてはこの点が考慮されていなかった。また、特許文献１および２においては、動作モードの切り替えがユーザーの意図どおりにいかず、意図に反した線が描かれてしまった場合、ユーザーがその線を消去するための操作を行う必要があった。

本発明は、動作モードの切り替えの際、ユーザーの意図に反して描かれてしまった線を自動的に消去する技術を提供する。

本発明は、表示装置であって、情報処理装置上で動作しているアプリケーションプログラムの画面を表示面に表示する表示手段と、前記表示面上における指示体の位置を検知する検知手段と、前記表示装置の動作モードが第１モードである場合、前記検知手段により検知された位置の軌跡に応じた線を前記表示面に描画する描画手段と、前記動作モードが第２モードである場合、前記検知手段により検知された位置を示す情報を前記情報処理装置に送信する送信手段と、前記動作モードが前記第１モードであったときに前記検知手段により検知された前記指示体の第１位置が前記画面において前記アプリケーションプログラムに対して入力を行うための第１画像オブジェクトを含む所定範囲内にあり、かつ、当該動作モードを前記第２モードに切り替えるユーザーからの指示が受け付けられた場合、前記線を消去する消去手段とを有する表示装置を提供する。
この表示装置によれば、動作モードの切り替えの際、ユーザーの意図に反して描かれてしまった線を自動的に消去することができる。

前記第１位置が前記第１画像オブジェクトを含む所定範囲内にあり、かつ、当該動作モードを前記第２モードに切り替えるユーザーからの指示が受け付けられた場合において、当該動作モードが前記第２モードに切り替わった後に前記検知手段により検知された前記指示体の位置が前記第１位置を含む所定範囲にあったとき、前記消去手段は、前記線を消去してもよい。
この表示装置によれば、ユーザーの意図に反して描かれた線をより正確に特定することができる。

前記動作モードが第３モードである場合、前記表示手段は、前記動作モードを前記第２モードに切り替える指示を入力するための第２画像オブジェクトを前記表示面に表示してもよい。
この表示装置によれば、動作モードを第２モードに切り替えるためのユーザーの負荷を低減することができる。

前記第１位置が前記第１画像オブジェクトを含む所定範囲内にあり、かつ、当該動作モードを前記第２モードに切り替えるユーザーからの指示が前記第２画像オブジェクトを介して受け付けられた場合、前記消去手段は、前記線を消去してもよい。
この表示装置によれば、ユーザーの意図に反して描かれた線をより正確に特定することができる。

前記表示手段は、前記第１位置を含む所定範囲内に前記第２画像オブジェクトを表示してもよい。
この表示装置によれば、動作モードを第２モードに切り替えるためのユーザーの負荷を低減することができる。

また、本発明は、情報処理装置上で動作しているアプリケーションプログラムの画面を、表示装置が表示面に表示するステップと、前記表示面上における指示体の位置を検知するステップと、前記表示装置の動作モードが第１モードである場合、前記検知された位置の軌跡に応じた線を前記表示面に描画するステップと、前記動作モードが第２モードである場合、前記検知された位置を示す情報を前記表示装置から前記情報処理装置に送信するステップと、前記動作モードが前記第１モードであったときに前記検知された前記指示体の第１位置が前記画面において前記アプリケーションプログラムに対して入力を行うための第１画像オブジェクトを含む所定範囲内にあり、かつ、当該動作モードを前記第２モードに切り替えるユーザーからの指示が受け付けられた場合、前記線を消去するステップとを有する表示制御方法を提供する。
この表示制御方法によれば、動作モードの切り替えの際、ユーザーの意図に反して描かれてしまった線を自動的に消去することができる。

一実施形態に係る表示システム１の機能構成を示す図。 表示装置１０のハードウェア構成を例示する図。 インタラクティブモードの概要を示す図。 ＰＣモードの概要を示す図。 表示システム１の一実施形態に係る動作を示すフローチャート。 待機モードにおける動作を示すフローチャート。 表示システム１の動作例１に係る画面遷移を例示する図。 動作例２に係る待機モードにおける動作を示すフローチャート。 表示システム１の動作例２に係る画面遷移を例示する図。

１．構成
図１は、一実施形態に係る表示システム１の機能構成を示す図である。表示システム１は、表示装置１０、指示体２０、および情報処理装置３０を有する。表示装置１０は、情報処理装置３０から供給される映像を表示面に表示する装置である。情報処理装置３０は、表示装置１０に映像を供給する映像供給装置の一例である。この例で、情報処理装置３０は汎用のパーソナルコンピューターであり、アプリケーションプログラムを動作させる機能を有する。

指示体２０は、表示面上の位置を指示する装置である。表示装置１０は、指示体２０により指示された位置に応じた処理を行う。この例で、指示された位置に応じた処理は、表示装置１０の動作モードによって異なる。表示システム１は、この動作モードを自動的に切り替える機能を有する。

表示装置１０は、表示手段１１、検知手段１２、描画手段１３、送信手段１４、切り替え手段１５、送信手段１６、受信手段１７、消去手段１８、および通知手段１９を有する。

表示手段１１は、情報処理装置３０上で動作しているアプリケーションプログラムの画面を表示面に表示する。アプリケーションプログラムの画面とは、アプリケーションプログラムの実行に伴って情報処理装置３０において生成される画面をいい、例えばマルチウインドウのＧＵＩ（Graphical User Interface）の場合にはアクティブなアプリケーションプログラムのウインドウを含むデスクトップ画面全体をいう。表示面とは画像が表示される面であり、例えば表示装置１０がプロジェクターの場合はスクリーンまたは壁面、表示装置１０が液晶ディスプレイの場合は液晶パネルである。

検知手段１２は、表示面上における指示体２０の位置（以下単に「指示体２０の位置」という）を検知する。この例で、検知手段１２は、指示体２０の位置を含むイベントを検知する。指示体２０は、ユーザーが表示面１１上の位置を指定するのに用いるものであり、例えば電子ペンまたはユーザー自身の指である。検知手段１２は、例えば、表示面を撮像するカメラを有し、指示体２０の形状または色、もしくは指示体２０に設けられた発光体（例えば赤外線発光ダイオード）の発光によって指示体２０の位置を検知する。検知手段１２は、表示面に設けられた圧力センサーや静電センサーにより指示体２０の位置を検知してもよい。検知手段１２は、例えば発光体の発酵パターンによりイベントの種別を認識する。

指示体２０に関するイベントには、例えばペンダウンイベントおよびペンアップイベントがある。ペンダウンイベントは、指示体２０が表示面に接触していることを示すイベントである。ペンダウンイベントは、指示体２０が表示面に接触している位置を示す情報（例えば座標）を含む。ペンアップイベントは、それまで表示面に接触していた指示体２０が表示面から離れたことを示す。ペンアップイベントは、それまで表示面に接触していた指示体２０が表示面から離れる前に最後に接触が検知された位置を示す情報を含む。

描画手段１３は、表示装置１０の動作モードが第１モードである場合に有効になる機能であり、指示体２０の位置の軌跡に応じた線（すなわち手書き画像）を表示面に描画する。この例で、描画手段１３は、ペンダウンイベントが連続して検知されている間の指示体２０の位置の軌跡に応じて線を描く。より詳細には、描画手段１３は、ペンダウンイベントが検知されていない状態から初めてペンダウンイベントが検知された位置から、その後ペンアップイベントが検知されるまでの位置に応じて線を描く。

送信手段１４は、表示装置１０の動作モードが第２モードである場合に有効になる機能であり、指示体２０の位置を示す情報を情報処理装置３０に送信する。すなわち第２モードは、指示体２０を情報処理装置３０のポインティングデバイスとして用いるための動作モードである。

切り替え手段１５は、表示装置１０の動作モードを切り替える。切り替え手段１５は、例えば、ユーザーから入力された指示に応じて動作モードを切り替える。

送信手段１６は、情報処理装置３０に対して問い合わせを送信する。この問い合わせは、検知手段１２により検知された指示体２０の位置がＵＩ（User Interface）オブジェクトに相当する位置であるか否かの問い合わせである。ＵＩオブジェクトとは、情報処理装置３０上で動作しているアプリケーションプログラムの画面において、そのアプリケーションプログラムに対して入力を行うための画像オブジェクト、例えば、アイコン、ボタン、およびメニュー項目である。ＵＩオブジェクトに相当する位置とは、ＵＩオブジェクトを含む所定範囲（例えばＵＩオブジェクトの外形に所定のマージンを加えた範囲）をいう。なお、この問い合わせは、指示体２０の位置を示す情報を含む。

受信手段１７は、上記の問い合わせに対する回答を受信する。この回答は、指示体２０の位置がＵＩオブジェクトに相当する位置であるか否かの判定結果を含んでいる。

消去手段１８は、特定の条件が満たされたときに、その直前に描画手段１３により描かれた線を消去する。特定の条件とは、例えば、動作モードが第１モードであったときに検知手段１２により検知された指示体２０の第１位置が、表示面に表示されている画面においてアプリケーションプログラムに対して入力を行うための第１画像オブジェクトを含む所定範囲内にあり、かつ、動作モードを第２モードに切り替えるユーザーからの指示が受け付けられた、という条件である。

通知手段１９は、動作モードが切り替わったことをユーザーに通知する。ユーザーへの通知は、例えば画像、音、または振動を介して行われる。

情報処理装置３０は、実行手段３１、映像供給手段３２、および判定手段３３を有する。実行手段３１は、プログラムを実行する。映像供給手段３２は、表示装置１０に映像を供給する。この例で、映像供給手段３２は、実行手段３１が実行しているプログラムの画面を供給する。判定手段３３は、表示装置１０からの問い合わせに応じて、その問い合わせに係る位置が実行手段３１により実行されているプログラムのＵＩオブジェクトに相当する位置であるか判定する。さらに、判定手段３１は、判定結果を表示装置１０に送信する。

図２は、表示装置１０のハードウェア構成を例示する図である。表示装置１０は、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１、ＲＡＭ（Random Access Memory）１０２、記憶部１０３、ＩＦ部１０４、画像処理回路１０５、投写ユニット１０６、操作パネル１０７、およびカメラ１０８を有する。

ＣＰＵ１００は、表示装置１０の各部を制御する制御装置である。ＲＯＭ１０１は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＡＭ１０２は、データを記憶する揮発性の記憶装置であり、ＣＰＵ１００が処理を実行する際のワークエリアとして機能する。記憶部１０３は、データやプログラムなどを記憶する不揮発性の記憶装置であり、例えば、フラッシュＲＯＭ、ＳＳＤ（Solid State Drive）、またはＨＤＤ（Hard Disk Drive）を含む。なお、記憶部１０３は、ＲＯＭ１０１に含まれていてもよい。あるいは、記憶部１０３は、ネットワーク上の記憶装置であってもよい。

ＩＦ部１０４は、外部装置（例えば情報処理装置３０）と信号またはデータのやりとりを仲介するインターフェースである。ＩＦ部１０４は、外部装置と信号またはデータのやりとりをするための端子（例えば、ＶＧＡ端子、ＵＳＢ端子、有線ＬＡＮインターフェース、Ｓ端子、ＲＣＡ端子、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）端子、マイクロフォン端子など）および無線ＬＡＮインターフェースを含む。これらの端子は、映像入力端子に加え、映像出力端子を含んでもよい。

画像処理回路１０５は、入力された映像信号（以下「入力映像信号」という）に所定の画像処理（例えばサイズ変更、台形補正等）を施す。

投写ユニット１０６は、画像処理が施された映像信号に従って、スクリーンまたは壁面等の投写面に画像を投写する。投写ユニット１０６は、光源、光変調器、および光学系（いずれも図示略）を有する。光源は、高圧水銀ランプ、ハロゲンランプ、もしくはメタルハライドランプなどのランプ、またはＬＥＤ（Light Emitting Diode）もしくはレーザーダイオードなどの固体光源、およびこれらの駆動回路を含む。光変調器は、光源から照射された光を映像信号に応じて変調する装置であり、例えば液晶パネルまたはＤＭＤ（Digital Mirror Device）、およびこれらの駆動回路を有する。なお、液晶パネルは、透過型および反射型のいずれの方式であってもよい。光学系は、光変調器により変調された光をスクリーンに投写する素子などで構成されており、例えばミラー、レンズ、およびプリズムを有する。光源および光変調器は色成分毎に設けられていてもよい。

操作パネル１０７は、ユーザーが表示装置１０に対し指示を入力するための入力装置であり、例えば、キーパッド、ボタン、またはタッチパネルを含む。

カメラ１０８は、指示体２０の位置を特定するためのカメラである。この例で、指示体２０は、ペン先に発光体（例えば赤外線発光ダイオード）、圧力センサー、および制御回路（いずれも図示略）を有する。圧力センサーによりペン先が物体（投写面等）に触れたことが検知されると、制御回路は、所定の発光パターンで発光体を発光させる。カメラ１０８は赤外線カメラであり、投写面の画像を撮影する。ＣＰＵ１００は、カメラ１０８が撮影した画像から指示体２０の位置および対応するイベントを特定する。

この例で、投写ユニット１０６は表示手段１１の一例である。投写面が表示面である。カメラ１０８およびＣＰＵ１００は検知手段１２の一例である。ＩＦ部１０４は送信手段１４、送信手段１６、および受信手段１７の一例である。ＣＰＵ１００は、描画手段１３、切り替え手段１５、消去手段１８、および通知手段１９の一例である。

情報処理装置３０は例えば汎用のパーソナルコンピューターであり、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶部、ＩＦ部等のハードウェア要素（いずれも図示略）を有する。記憶部は、オペレーティングシステム（Operating System、ＯＳ）およびアプリケーションプログラム（例えばプレゼンテーションのスライドを順次表示するプログラム）に加え、表示装置１０からの問い合わせに対し回答するためのプログラム（以下「位置判定プログラム」という）を記憶している。位置判定プログラムはアプリケーションプログラムのバックグラウンドで動作する。情報処理装置３０においてＣＰＵは実行手段３１および判定手段３３の一例であり、ＩＦ部は映像供給手段３２の一例である。

２．動作モードの概要
ここで、表示装置１０の動作モードについて説明する。この例で、表示装置１０の動作モードには、インタラクティブモード（第１モードの一例）およびＰＣモード（第２モードの一例）がある。

図３は、インタラクティブモードの概要を示す図である。インタラクティブモードは、指示体２０の軌跡に応じた線（以下「手書き画像」という）を表示装置１０が描画する動作モードである。インタラクティブモードにおいては、表示装置１０をホワイトボードや電子黒板のように使用することができる。さらに、表示装置１０は、映像供給装置から供給される映像に手書き画像を重ねて合成した画像を表示することができる。例えば、表示装置１０は、情報処理装置３０で実行されているアプリケーションプログラムの画面の上に、手書き画像（この場合はアノテーションやメモ書き）を重ねて表示することができる。図３の例では、ユーザーが指示体２０を投写面にタッチ（接触）させながら移動した軌跡に伴って、スクリーンＳＣ上に手書き画像ＩＭ１が表示されている。

図４は、ＰＣモードの概要を示す図である。ＰＣモードは、指示体２０が情報処理装置３０のポインティングデバイスとして用いられる動作モードである。表示装置１０は、指示体２０の投写面における位置（座標）を含むイベントを示す情報を情報処理装置３０に送信する。情報処理装置３０のデバイスドライバーは、表示装置１０から送信される情報をマウス操作の情報に変換し、ＯＳに引き渡す。

表示装置１０は、情報処理装置３０で実行されているアプリケーションプログラムの画面を表示する。この例で、この画面は、マウスカーソルＣおよびアプリケーションプログラムのウインドウＷを含んでいる。ウインドウＷは、ボタンＢを含んでいる。ボタンＢは、アプリケーションプログラムに対して入力を行うＵＩオブジェクトの一例であり、ここではウインドウＷを閉じるためのボタンである。ユーザーが指示体２０で投写面にタッチすると、マウスカーソルＣはタッチされた位置に移動する。ユーザーがタッチした位置がボタンＢである場合、ボタンＢがクリックされたと解釈され、ウインドウＷは閉じる。

背景にアプリケーションプログラムの画面（例えばプレゼンテーションのスライド）を表示させた状態でインタラクティブモードにおいて手書き画像を描いているときに、ユーザーがアプリケーションプログラムのＵＩオブジェクトに入力を行おうとする場合は、動作モードをＰＣモードに切り替えてから、そのＵＩオブジェクト近傍を指示体２０でタッチする必要がある。しかし、例えば動作モードの切り替えがユーザーの指示に応じて行われる場合において、ユーザーが動作モード切り替えの操作をするのを忘れてインタラクティブモードのままＵＩオブジェクト近傍を指示体２０でタッチすると、そのＵＩオブジェクトの近傍にユーザーの意図に反する線（または点）が描かれてしまう。

インタラクティブモードにおいてユーザーが誤ってＵＩオブジェクト近傍をタッチしてしまった場合、ユーザーは例えば以下の操作を行うことが想定される。
（１）誤タッチに応じてＵＩオブジェクト近傍に線（または点）が描かれる。
（２）コントロールメニューから「消去」機能を選択する。
（３）（１）で誤描画された線の近傍をタッチし、この線を消去する。
（４）コントロールメニューから「モード切り替え」機能を選択する。
（５）ＵＩオブジェクト近傍をタッチし、ＵＩオブジェクトに対する操作を行う。

このように、誤操作を行ってしまうと、それをリカバーするにはユーザーは多くの操作を行わなければならず、ユーザーにとって負担である。本実施形態は、誤操作時のユーザーの負担を低減する。

３．動作
以下、表示システム１の動作例をいくつか説明する。以下の動作例は単独で用いられてもよいし、２つ以上が組み合わせて用いられてもよい。

３−１．動作例１
図５は、表示システム１の一実施形態に係る動作を示すフローチャートである。図５のフローは、例えば表示装置１０の電源が投入されたことを契機として開始される。なお、以下の説明において、ソフトフェアを処理の主体として記載する場合があるが、これは、このソフトウェアを実行しているハードウェア資源（ＣＰＵ等）が他のハードウェア資源（メモリーや通信インターフェース等）と共働して処理を行うことを意味する。

なお、この例では、インタラクティブモードからＰＣモードへの切り替えは、例えば表示装置１０の機能により画面に表示されるコントロールメニューを介してユーザーの指示により行われる。

ステップＳ１００において、表示装置１０のＣＰＵ１００は、ペンイベントを検知する。詳細には以下のとおりである。ＣＰＵ１００は、カメラ１０８により撮影された画像を定期的に取得する。ＣＰＵ１００は、この画像に含まれている発光点の位置および発光強度の変化から、ペンイベントおよびそのペンイベントが発生した位置を特定する。この位置は、スクリーンを基準とした座標系上の座標に変換される。ＣＰＵ１００は、検知したペンイベント（座標を含む）をＲＡＭ１０２に記憶する。

ステップＳ１１０において、ＣＰＵ１００は、現在の動作モードがインタラクティブモードであるか判断する。動作モードがＰＣモードであると判断された場合（Ｓ１１０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ１２０に移行する。動作モードがインタラクティブモードであると判断された場合（Ｓ１１０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ１３０に移行する。

ステップＳ１２０において、ＣＰＵ１００は、ＰＣモードにおける処理を実行、すなわち、検知されたペンイベント（座標を含む）を情報処理装置３０に送信する。ステップＳ１２０の処理を終了すると、ＣＰＵ１００は、処理を再びステップＳ１００に移行する。

ステップＳ１３０において、ＣＰＵ１００は、検知されたイベントがペンアップイベントであるか判断する。検知されたイベントがペンアップイベントであった場合（Ｓ１３０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ１４０に移行する。検知されたイベントがペンアップイベントでなかった場合（Ｓ１３０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ１８０に移行する。

ステップＳ１４０において、ＣＰＵ１００は、直近のペンイベントに関するストローク長を測定する。ストローク長とは、指示体２０の位置の軌跡に応じた線の長さをいう。指示体２０の位置の軌跡に応じた線とは、連続して検知されたペンダウンイベントに含まれる座標を用いて描かれる線、要するに指示体２０が投写面に触れながら移動した軌跡をいう。ここではＣＰＵ１００は、描き終わったばかりの線（ペンアップイベントが検知されたばかりの線）について、ストローク長を測定する。

ステップＳ１５０において、ＣＰＵ１００は、測定されたストローク長がしきい値以下であるか判断する。このしきい値は、動作モードの切り替えの判断基準となるしきい値である。換言すると、このしきい値は、ユーザーによる指示体２０の操作が、画面上のＵＩオブジェクト（アイコンやボタン等）に対する操作であるか、線を描画する操作であるかの判断基準となるしきい値である。ストローク長がＵＩオブジェクトのサイズ（高さや幅）よりも短い場合、指示体２０の操作は、ＵＩオブジェクトへの指示入力（クリック等）である可能性がある。したがって、このしきい値は、ＵＩオブジェクトのサイズ程度の大きさに設定される。

ストローク長がしきい値以下であると判断された場合（Ｓ１５０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ１６０に移行する。ストローク長がしきい値を超えていると判断された場合（Ｓ１５０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ１８０に移行する。

ステップＳ１６０において、ＣＰＵ１００は、ペンアップイベントが検知された座標に、情報処理装置３０によって表示されているＵＩオブジェクトが存在するか判断する。この例では、表示装置１０は、この座標にＵＩオブジェクトが存在するか自分自身だけでは判断することができないので、映像供給装置である情報処理装置３０に問い合わせを行う。詳細には以下のとおりである。

ＣＰＵ１００は、情報処理装置３０に対し問い合わせを送信する。この問い合わせは、映像信号と同じ経路で送られてもよいし、映像信号と異なる経路で送られてもよい。この問い合わせは、ペンアップイベントが検知された座標を示す情報を含んでいる。

表示装置１０から問い合わせを受信すると、情報処理装置３０の位置判定プログラムは、問い合わせに含まれる座標を、情報処理装置３０のデスクトップ（画面）上の座標に変換する。位置判定プログラムは、その座標にＵＩオブジェクトが存在するか否か判定する。位置判定プログラムは、例えば、ＯＳに対し、その座標に、クリックにより反応するオブジェクトが存在するか問い合わせることにより、この判定を行う。ＯＳは、座標が指定されると、その座標にクリック可能なオブジェクトが存在するか判定する機能を有している。位置判定プログラムは、この判定の結果を用いて、表示装置１０からの問い合わせに対する回答を生成する。この回答は、その座標にＵＩオブジェクトが存在するか否かの判定結果を含む。位置判定プログラムは、生成された回答を表示装置１０に送信する。

情報処理装置３０から回答を受信すると、表示装置１０のＣＰＵ１００は、その回答に従って、この座標にＵＩオブジェクトが存在するか判断する。ＵＩオブジェクトが存在すると判断された場合（Ｓ１６０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ１７０に移行する。ＵＩオブジェクトが存在しないと判断された場合（Ｓ１６０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ１８０に移行する。

ステップＳ１７０において、ＣＰＵ１００は、待機モード（第３モードの一例）を有効にする。待機モードとは、直近に描かれた線（ペンアップイベントが検知されたばかりの線）の消去を待機している状態をいう。以下、消去される候補となっている線であるという意味において、この線を「候補線」という。また、ＣＰＵ１００は、候補線の代表点の座標をＲＡＭ１０２に記憶する。代表点は、例えば、線の終点、始点、中点、または重心である。待機モード中の動作の詳細は後述する。

なお、待機モードは、他の動作モード（インタラクティブモードまたはＰＣモード）と同時に設定することが可能である。そこで、待機モードが有効であることを待機モードが「オン」になっているといい、待機モードが無効である（解除されている）ことを待機モードが「オフ」になっているという。待機モードがオンである場合、併せて有効である他の動作モードに応じた処理が行われる。例えば動作モードがインタラクティブモードである場合において待機モードがオンであるときは、指示体２０の軌跡に応じた線が描画される。あるいは動作モードがＰＣモードである場合において待機モードがオンであるときは、ペンイベントの座標が情報処理装置３０に送信される。

ステップＳ１８０において、ＣＰＵ１００は、インタラクティブモードにおける処理を実行、すなわち、直近のペンアップイベントに関する線を描画する。直近のペンアップイベントに関する線とは、ステップＳ１３０においてストローク長が測定された線をいう。ここでは、待機モードがオンになっている場合でも、指示体２０の軌跡に応じた線が描画される。ステップＳ１７０の処理を終了すると、ＣＰＵ１００は、処理をステップＳ１００に移行する。

図６は、待機モードにおける動作を示すフローチャートである。なおこのフローは、待機モードがオンでありかつ動作モードがＰＣモードである場合の例を示している。すなわち、待機モードがオンになった後、ユーザーの指示により動作モードがＰＣモードに切り替えられている。なお、インタラクティブモードとＰＣモードとの間の動作モードの切り替えに係る処理は、図５のフローには示していない。

ステップＳ２００において、ＣＰＵ１００は、ペンイベントを検知する。ＣＰＵ１００は、検知されたペンイベント（座標を含む）をＲＡＭ１０２に記憶する。何らかのペンイベントが検知された場合（Ｓ２００：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ２３０に移行する。ペンイベントが検知されない場合（Ｓ２００：ＮＯ）、ＣＰＵ１００は、処理をステップＳ２１０に移行する。

ステップＳ２１０において、ＣＰＵ１００は、ペンイベントが検知されない状態がしきい値時間継続したか、すなわち、しきい値時間（所定時間）ペン操作が行われなかったか判断する。ペンイベントが検知されない状態がしきい値時間継続した場合（Ｓ２１０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ２２０に移行する。ペンイベントが検知されない状態がしきい値時間継続していない場合（Ｓ２１０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ２００に移行する。

ステップＳ２２０において、ＣＰＵ１００は、待機モードを解除する（オフ状態に切り替える）。待機モードがオフ状態になると、処理は図６のフローから抜ける。

ステップＳ２３０において、ＣＰＵ１００は、ペンイベントが検知された座標が、候補線の近くであるか判断する。この判断は、例えば（１）ペンイベントが検知された座標と候補線の代表点の座標とを対比する、または（２）ペンイベントが検知された座標とＵＩオブジェクトの位置とを対比することによって行われる。（１）の方法が用いられる場合、ＣＰＵ１００は、ＲＡＭ１０２に記憶されている代表点の座標とペンイベントが検知された座標とを対比し、両者の距離がしきい値以下である場合、ペンイベントが検知された座標が、候補線の近くであると判断する。（２）の方法が用いられる場合、ＣＰＵ１００は、情報処理装置３０に対し、ペンイベントが検知された座標がＵＩオブジェクトの近傍であるか問い合わせを行う。

ペンイベントが検知された座標が候補線の近くであると判断された場合（Ｓ２３０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ２４０に移行する。ペンイベントが検知された座標が候補線の近くでないと判断された場合（Ｓ２３０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ２２０に移行する。

ステップＳ２４０において、ＣＰＵ１００は、候補線を画面から消去する。なおインタラクティブモードにおいて描画される線は、例えばペンアップイベントと次のペンダウンイベントとの時間間隔がしきい値時間以下であるものを一群の手書き画像として扱う、といったような規則に従って、手書き画像をグループ化して記憶している。したがって、ＣＰＵ１００は、このグループ毎に、画像の属性を変えることができる。なおここで、候補線は画面から消去されていればよく、ＲＡＭ１０２には候補線のデータは残されていてもよい。ステップＳ２４０の処理を終了すると、ＣＰＵ１００は、処理をステップＳ２２０に移行する。

図７は、表示システム１の動作例１に係る画面遷移を例示する図である。この例で、ユーザーは、指示体２０を用いて手書き画像ＩＭ２を描画した後、情報処理装置３０により表示されているＵＩオブジェクトＢ１を操作しようとするが、動作モードをＰＣモードに切り替えるのを忘れたまま、ＵＩオブジェクトＢ１の近傍をタッチしてしまう。表示装置１０は、ペンイベントが検知された位置にＵＩオブジェクトがあるか情報処理装置３０に問い合わせを行う。この座標にＵＩオブジェクトＢ１が有るので、情報処理装置３０は、ＵＩオブジェクトが有る旨の回答を表示装置１０に送信する。この回答を受信すると、表示装置１０は、線ＩＭ３（この線が候補線である）を描画する（図７（Ａ））。さらに、表示装置１０は、待機モードをオンにする。なお、候補線の代表点は終点である。

その後、ユーザーが、コントロールメニューを介して動作モードをＰＣモードに設定する。ユーザーは、ＵＩオブジェクトの近傍をタッチする（図７（Ｂ））。この位置は、候補線の代表点の近傍、すなわち候補点の代表点との距離がしきい値以下である。したがって、表示装置１０は、候補線である線ＩＭ３を消去する（図７（Ｃ））。

３−２．動作例２
図８は、動作例２に係る待機モードにおける動作を示すフローチャートである。この例では、待機モードに移行したことを契機として、動作モードをＰＣモードに切り替えるためのＵＩオブジェクト（例えばボタン）が画面上に表示される。待機モードが有効になるまでの処理は動作例１と同じである。

ステップＳ３００において、ＣＰＵ１００は、動作モードをＰＣモードに切り替えるためのＵＩオブジェクトを画面上に表示させる。このＵＩオブジェクトは、表示装置１０により表示されるものであり、候補線の近傍（候補線の代表点から所定範囲内）に表示される。

ステップＳ３１０において、ＣＰＵ１００は、このＵＩオブジェクトが操作されたか判断する。すなわち、ＣＰＵ１００は、このＵＩオブジェクトを含む所定範囲内でペンイベントが検知されたか判断する。このＵＩオブジェクトが操作されたと判断された場合（Ｓ３１０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ３２０に移行する。このＵＩオブジェクトが操作されていないと判断された場合（Ｓ３１０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ３３０に移行する。

ステップＳ３２０において、ＣＰＵ１００は、候補線を消去する。ＵＩオブジェクトが操作されたということであり、これはすなわち、直近に描かれた線がユーザーの意図に反していたことを意味する。候補線を消去すると、ＣＰＵ１００は、処理をステップＳ３４０に移行する。

ステップＳ３３０において、ＣＰＵ１００は、ペンイベントが検知されない状態がしきい値時間継続したか、すなわち、しきい値時間（所定時間）ペン操作が行われなかったか判断する。ペンイベントが検知されない状態がしきい値時間継続した場合（Ｓ３３０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ３４０に移行する。ペンイベントが検知されない状態がしきい値時間継続していない場合（Ｓ３３０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ３１０に移行する。

ステップＳ３４０において、ＣＰＵ１００は、ステップＳ３００において表示されたＵＩオブジェクトを消去する。さらに、ＣＰＵ１００は、待機モードを解除する（ステップＳ３５０）。

図９は、表示システム１の動作例２に係る画面遷移を例示する図である。この例で、ユーザーは、指示体２０を用いて手書き画像ＩＭ２を描画した後、情報処理装置３０により表示されているＵＩオブジェクトＢ１を操作しようとするが、動作モードをＰＣモードに切り替えるのを忘れたまま、ＵＩオブジェクトＢ１の近傍をタッチしてしまう。表示装置１０は、ペンイベントが検知された位置にＵＩオブジェクトがあるか情報処理装置３０に問い合わせを行う。この座標にＵＩオブジェクトＢ１が有るので、情報処理装置３０は、ＵＩオブジェクトが有る旨の回答を表示装置１０に送信する。この回答を受信すると、表示装置１０は、線ＩＭ３（この線が候補線である）を描画する。さらに、表示装置１０は、待機モードをオンにする。待機モードがオンになると、表示装置１０は、動作モードをＰＣモードに切り替えるためのＵＩオブジェクトＢ２を表示する（図９（Ａ））。ここで、ＵＩオブジェクトＢ１は情報処理装置３０により表示されている（情報処理装置３０から供給される映像信号により表示される）画像オブジェクトであり、ＵＩオブジェクトＢ２は表示装置１０により表示されている画像オブジェクトである。

ユーザーは、動作モードをＰＣモードに切り替えるため、ＵＩオブジェクトＢ２が表示されている位置を指示体２０でタッチする（図９（Ｂ））。ＵＩオブジェクトＢ２が操作されたので、表示装置１０は、候補線である線ＩＭ３を消去する。さらに、表示装置１０は、ＵＩオブジェクトＢ２を消去し、動作モードをＰＣモードに移行する。

４．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

ステップＳ１３０においてストローク長の測定に進む契機となるイベントはペンアップイベントに限定されない。線の描画が完了したことを示すイベントであれば、ペンアップイベント以外のイベントが発生したときに、ストローク長の測定に進んでもよい。

ステップＳ２００において検知されるペンイベントは実施形態で説明したものに限定されない。例えば、ＣＰＵ１００は、ペンアップイベントが検知されたときに、処理をステップＳ２３０に移行してもよい。

表示装置１０はプロジェクターに限定されず、そのハードウェア構成は図２で例示したものに限定されない。液晶ディスプレイや有機ＥＬディスプレイなど、直視の表示装置であってもよい。この場合において、表示装置はタッチスクリーンを有し、表示面上で指示された位置をタッチスクリーンにより検知する。

検知手段１２が表示面上の位置を検知する方法および指示体２０に係るイベントを検知する方法は実施形態で説明したものに限定されない。表示装置１０は、指示体２０の形状または色によって指示体２０の位置を特定してもよい。また、指示体２０は筐体のグリップ部にボタンを有しており、ユーザーがこのボタンを押したときにペンダウンイベントを示す信号を出力してもよい（この場合、指示体２０はペン先に圧力センサーを有していなくてもよい）。あるいは、ビームがスクリーンを覆うように、スクリーンの周囲に発光素子（レーザーダイオード等）および受光素子（フォトダイオード等）を設け、受光素子からの信号を用いて指示体２０の位置およびペンイベントを検知してもよい。

指示体２０は電子ペンに限定されない。特定の形状または色の筐体を有するスタイラスペンであってもよいし、ユーザーの指であってもよい。

実施形態においては動作モードが待機モードに切り替わったときにユーザーに通知が行われる例を説明したが、インタラクティブモードまたはＰＣモードに切り替わったときに通知が行われてもよい。この場合において、切り替え後の動作モードに応じて通知の方法が異なっていてもよい。

表示システム１において、表示装置１０と情報処理装置３０との間の機能の分担は図１で例示したものに限定されない。実施形態において表示装置１０の機能として説明したものの少なくとも一部を、情報処理装置３０に実装してもよい。また、図１の機能の一部は省略されてもよい。

１…表示システム、１０…表示装置、１１…表示手段、１２…検知手段、１３…描画手段、１４…送信手段、１５…切り替え手段、１６…送信手段、１７…受信手段、１８…消去手段、１９…通知手段、２０…指示体、３０…情報処理装置、３１…実行手段、３２…映像供給手段、３３…判定手段、１００…ＣＰＵ、１０１…ＲＯＭ、１０２…ＲＡＭ、１０３…記憶部、１０４…ＩＦ部、１０５…画像処理回路、１０６…投写ユニット、１０７…操作パネル、１０８…カメラ

Claims (6)

1. 表示装置であって、
   情報処理装置上で動作しているアプリケーションプログラムの画面を表示面に表示する表示手段と、
   前記表示面上における指示体の位置を検知する検知手段と、
   前記表示装置の動作モードが第１モードである場合、前記検知手段により検知された位置の軌跡に応じた線を前記表示面に描画する描画手段と、
   前記動作モードが第２モードである場合、前記検知手段により検知された位置を示す情報を前記情報処理装置に送信する送信手段と、
   前記動作モードが前記第１モードであったときに前記検知手段により検知された前記指示体の第１位置が前記画面において前記アプリケーションプログラムに対して入力を行うための第１画像オブジェクトを含む所定範囲内にあり、かつ、当該動作モードを前記第２モードに切り替えるユーザーからの指示が受け付けられた場合、前記線を消去する消去手段と
   を有する表示装置。
2. 前記第１位置が前記第１画像オブジェクトを含む所定範囲内にあり、かつ、当該動作モードを前記第２モードに切り替えるユーザーからの指示が受け付けられた場合において、当該動作モードが前記第２モードに切り替わった後に前記検知手段により検知された前記指示体の位置が前記第１位置を含む所定範囲にあったとき、前記消去手段は、前記線を消去する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記動作モードが第３モードである場合、前記表示手段は、前記動作モードを前記第２モードに切り替える指示を入力するための第２画像オブジェクトを前記表示面に表示する
   ことを特徴とする請求項１または２に記載の表示装置。
4. 前記第１位置が前記第１画像オブジェクトを含む所定範囲内にあり、かつ、当該動作モードを前記第２モードに切り替えるユーザーからの指示が前記第２画像オブジェクトを介して受け付けられた場合、前記消去手段は、前記線を消去する
   ことを特徴とする請求項３に記載の表示装置。
5. 前記表示手段は、前記第１位置を含む所定範囲内に前記第２画像オブジェクトを表示する
   ことを特徴とする請求項３または４に記載の表示装置。
6. 情報処理装置上で動作しているアプリケーションプログラムの画面を、表示装置が表示面に表示するステップと、
   前記表示面上における指示体の位置を検知するステップと、
   前記表示装置の動作モードが第１モードである場合、前記検知された位置の軌跡に応じた線を前記表示面に描画するステップと、
   前記動作モードが第２モードである場合、前記検知された位置を示す情報を前記表示装置から前記情報処理装置に送信するステップと、
   前記動作モードが前記第１モードであったときに前記検知された前記指示体の第１位置が前記画面において前記アプリケーションプログラムに対して入力を行うための第１画像オブジェクトを含む所定範囲内にあり、かつ、当該動作モードを前記第２モードに切り替えるユーザーからの指示が受け付けられた場合、前記線を消去するステップと
   を有する表示制御方法。

Images