JP2016090895A - 表示装置、表示制御方法および表示システム - Google Patents

表示装置、表示制御方法および表示システム Download PDF

Info

Publication number
JP2016090895A
JP2016090895A JP2014227372A JP2014227372A JP2016090895A JP 2016090895 A JP2016090895 A JP 2016090895A JP 2014227372 A JP2014227372 A JP 2014227372A JP 2014227372 A JP2014227372 A JP 2014227372A JP 2016090895 A JP2016090895 A JP 2016090895A
Authority
JP
Japan
Prior art keywords
image
mode
unit
indicator
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014227372A
Other languages
English (en)
Other versions
JP6488653B2 (ja
JP2016090895A5 (ja
Inventor
名取 孝
Takashi Natori
孝 名取
京亮 板花
Kyosuke Itahana
京亮 板花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014227372A priority Critical patent/JP6488653B2/ja
Priority to US14/880,609 priority patent/US9953434B2/en
Publication of JP2016090895A publication Critical patent/JP2016090895A/ja
Publication of JP2016090895A5 publication Critical patent/JP2016090895A5/ja
Priority to US15/919,023 priority patent/US10269137B2/en
Application granted granted Critical
Publication of JP6488653B2 publication Critical patent/JP6488653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】合成表示されている画像を消去する操作を支援する。【解決手段】表示装置(300)は、画像供給装置(200)から画像データを入力する入力部(330)と、指示体(指示体400)の位置を検出し、該検出した位置に関する情報を含む指示体情報(Dp)を生成する検出部(310)と、前記指示体情報の処理に関するモードを第1モードまたは第2モードに設定する設定部(360)と、前記入力された画像データに基づいて生成される第1画像(IM1)に、前記指示体情報に基づいて生成される第2画像(IM2)を重ねて描画する描画部(341)と、前記第1モードが設定されている場合には前記指示体情報を前記描画部に出力する一方、前記第2モードが設定されている場合には前記指示体情報を前記画像供給装置に出力する選択部(320)と、前記第1モードから前記第2モードへの切替えが行われると前記第2画像を消去する描画制御部(342)とを有する。【選択図】図2

Description

本発明は、表示装置、表示制御方法および表示システムに関する。
表示装置には、表示領域に対して電子ペンや指などの指示体を用いて各種指示を入力する機能を有するものがある(特許文献1参照)。この機能によれば、背景画像への画像オブジェクト(いわゆるアノテーション)の描画のほか、アプリケーションウィンドウのスクロールなどアプリケーションに対する種々の操作を、表示装置を制御するコンピューターから離れた場所から行うことができる。例えば、文書作成アプリケーションやプレゼンテーション画像を表示するアプリケーションが実行されている状態で、表示されている画面(背景画像)に重ねて電子ペンを用いてアノテーションを描画することで、特定の箇所を聴衆に着目させることが行われる。
ここで、背景画像の内容が変更されると、描画されたアノテーションを消去する必要が生じることが多い。一般的に、アノテーションは特定の背景画像が特定の位置にある場合に意味をなすので、この関係性に変化が生じると、もはや存在意味がなくなるからである。
従来、ウィンドウのスクロールやアプリケーションの切替えやなどによって背景画像の内容が変化があると、一般的には、ユーザーは、指示体を用いて、表示されているアノテーションを削除するための操作を行う必要があった。背景画像が更新されるたびにこのような操作を行うのは、手間である。この点に関し、アプリケーションに、新しいページを表示する際は描画されていたアノテーションを強制的に消去する機能を持たせるという技術がある。
特開2011-253306号公報
しかし、上記技術では、アノテーションの自動消去が機能するのは、一つのアプリケーションにおいて特定の操作(具体的には、ページ切替えに伴う表示画像の全体の変更・更新)に対してだけであって、ウィンドウのスクロールなどによって表示内容が部分的に変更されるような場合には機能しない。加えて、上記技術では、複数のアプリケーションを跨ぐような操作(アクティブアプリケーションの切替え操作など)が行われた結果として背景画像の内容が変更されアノテーションの効果がなくなるような場合にも、機能しない。
本発明は、合成表示されている画像を消去する操作を支援することを目的とする。
本発明は、画像供給装置から画像データを入力する入力部と、指示体の位置を検出し、該検出した位置に関する情報を含む指示体情報を生成する検出部と、前記指示体情報の処理に関するモードを第1モードまたは第2モードに設定する設定部と、前記入力された画像データに基づいて生成される第1画像に、前記指示体情報に基づいて生成される第2画像を重ねて描画する描画部と、前記第1モードが設定されている場合には前記指示体情報を前記描画部に出力する一方、前記第2モードが設定されている場合には前記指示体情報を前記画像供給装置に出力する選択部と、前記第1モードから前記第2モードへの切替えが行われると前記第2画像を消去する描画制御部とを有する表示装置を提供する。
この表示装置によれば、合成表示されている画像を消去する操作が支援される。
前記描画制御部は、前記切替えが行われた後、前記第1画像が更新されたことを検出すると前記第2画像の消去を実行してもよい。
この表示装置によれば、第1画像に変化があったことが確認された後、前記消去が実行される。
前記描画制御部は、前記切替えが行われた後、第1画像が更新されることなく所定期間が経過した場合に、前記第2画像の消去を実行してもよい。
この表示装置によれば、第1画像の更新がなされないまま一定時間が経過した場合にも第2画像が自動的に消去される。
前記表示装置は、前記第2画像を記憶する記憶部を更に備え、前記描画制御部は、前記第2画像の消去を実行する前に、前記第2画像を前記記憶部に記憶してもよい。
この表示装置によれば、一度表示された第2画像を事後的に利用することができる。
本発明は、また、画像供給装置から画像データを入力するステップと、指示体の位置を検出し、該検出した位置に関する情報を含む指示体情報を生成するするステップと、前記指示体情報の処理に関するモードを第1モードまたは第2モードに設定するステップと、描画部に、前記入力された画像データに基づいて生成される第1画像に前記指示体情報に基づいて生成される第2画像を重ねて描画させるステップと、前記第1モードが設定されている場合には、前記指示体情報を、前記描画部に出力する一方、前記第2モードが設定されている場合には前記指示体情報を前記画像供給装置に出力するステップと、前記第1モードから前記第2モードへの切替えが行われると前記第2画像を消去するステップとを有する表示制御方法を提供する。
この表示制御方法によれば、合成表示されている画像を消去する操作が支援される。
本発明は、また、画像供給部と、前記画像供給部から画像データを入力する入力部と、前記指示体の位置を検出し、該検出した位置に関する情報を含む指示体情報を生成する検出部と、前記指示体情報の処理に関するモードを第1モードまたは第2モードに設定する設定部と、前記入力された画像データに基づいて生成される第1画像に、前記指示体情報に基づいて生成される第2画像を重ねて描画する描画部と、前記第1モードが設定されている場合には前記指示体情報を前記描画部に出力する一方、前記第2モードが設定されている場合には前記指示体情報を前記画像供給部に出力する選択部と、前記第1モードから前記第2モードへの切替えが行われると前記第2画像を消去する描画制御部とを有する表示システムを提供する。
この表示システムによれば、成表示されている画像を消去する操作が支援される。
表示システム100の概要を示す図。 PC200の機能を示す図。 プロジェクター300の機能を示す図。 プロジェクター300の動作例(その1)を示す図。 画面SCの例を示す図。 プロジェクター300の動作例(その2)を示す図。 画面SCの例を示す図。 画面SCの例を示す図。 プロジェクター300の動作例(その3)を示す図。
図1は表示システム100の概要を示す。表示システム100は、PC200、プロジェクター300、指示体400、表示面500を含む。PC200は、文書作成アプリケーションや画像閲覧アプリケーションなどを実行可能な一般的なパーソナルコンピューターである。PC200は、表示面500で表示すべき画像(例えばPC200で実行中のアプリケーションの画面)のデータをPC200に接続されたプロジェクター300に供給する。
プロジェクター300は一般的なプロジェクターとしての機能を有し、PC200からされた画像データに基づく映像を表示面500に投写する。表示面500は、専用のスクリーンまたは壁面である。
指示体400は、ユーザーによって把持される電子ペン等の入力デバイス、あるいはユーザー自身の手や指である。ユーザーは、指示体400を用いて表示面500内の位置を指定することで、表示面500上に、PC200から供給される画像データに基づく画像に重ねて画像オブジェクトを描画したり、PC200で動作しているアプリケーションプログラムに当該位置に対応する動作を実現させたりすることができる。例えば、PC200において文書閲覧アプリケーションが起動され、そのアプリケーションの関するウィンドウが表示されている場合、当該画面に重ねて線や図形(アノテーション)などの描画のほか、ウィンドウをスクロールしたり、他のアプリケーションの起動や切替え等が、指示体400を操作することによって行われる。
図2は、PC200の機能を示す。PC200は、通信部210、画像処理部240、制御部230、表示部260、記憶部250、入力部220を含む。
通信部210は、通信インターフェースであって、送信部211および受信部212を含む。受信部212は、プロジェクター300から指示体情報Dpを受信して制御部230に供給する。送信部211は、画像処理部240から供給された画像情報Diをプロジェクター300に送信する。
制御部230は、CPU等のプロセッサーによって実現され、文書作成アプリケーションや画像閲覧アプリケーションなどの各種アプリケーションプログラムを実行する。さらに、制御部230は、受信部212から指示体情報Dpを取得すると、指示体情報Dpに含まれる座標情報を当該アプリケーションプログラムに引き渡す。位置座標に基づいてアプリケーションプログラムに規定された動作(ページの切替え、画面のスクロールなど)を特定する。そして、特定された動作が画面の更新を伴うものである場合は、画面の更新の命令を画像処理部240に出力する。
画像処理部240は、制御部230から供給される命令に基づいて、更新後の画面データに対応する画像情報Diを生成する。生成された画像情報Diは、表示部260および送信部211に供給される。
表示部260は、液晶ディスプレイ等の表示装置である。
表示部260キーボードやマウスなどの入力装置であって、ユーザーの指示や命令を制御部230に入力する。
記憶部250は、ハードディスクや半導体メモリー等の記憶装置であって、制御部230で実行されるOSやアプリケーションプログラムを格納する。
図3はプロジェクター300の機能を示す。プロジェクター300は一般的なプロジェクターであって、PC200の指示の下、映像を表示面500に投写する。
プロジェクター300は、検出部310、選択部320、通信部330、画像処理部340、投写部350、モード設定部360、計時部370、記憶部380を含む。
検出部310は、指示体400の位置を監視し、指示体400によって表示面500上の位置が指定されると、指示体400の操作内容を示す指示体情報Dpを生成する。指示体情報Dpには当該位置の座標が含まれる。具体的には、検出部310は、光源および光センサを備え、可視光や赤外光を表示面500に向けて照射し、反射光を受信して解析することにより、指示体400の存在およびその位置を特定する。あるいは、指示体400が無線送信機能を有するデバイスである場合、指示体400からの電波を受信し、受信強度等に基づいて表示面500内の指示体400の位置を決定してもよい。生成された指示体情報Dpは、逐次、選択部320に供給される。
モード設定部360は、指示体400の操作内容の処理に関するモードについて、第1のモード(描画モードという)と第2のモード(マウスモードという)のうちのいずれか一方を指定する。描画モードとは、指示体400をアノテーションを描画するための入力デバイスとして機能させるモードである。マウスモードとは、指示体400を描画以外の操作(アノテーション以外の画像の変更に関係する操作)に用いるモードであって、入力内容をPC200に引き渡すモードである。この指定や指定の変更は、ユーザーが指示体400を用いて所望のタイミングで行うことができる。具体的には、検出部310から供給される指示体情報Dpがモードの切替えを示すか否かを判定し、切替えである場合は、切替え後のモードを示す信号を選択部320および描画制御部342に出力する。
選択部320は、モード設定部360から供給されるモード情報Smに基づいて、指示体情報Dpを通信部330または描画部341のいずれか一方のみに出力する。出力先の選択はモード情報Smに基づいて決定される。具体的には、描画モードの場合は描画部341に出力され、マウスモードの場合は通信部330に出力される。この結果、描画モードが選択されている場合には指示体400にて指定された位置に点などの図形が描画され、マウスモードである場合は当該指定位置における描画は行われず、当該位置の座標が、PC200にて起動する第1画像IM1の描画を担うアプリケーションに引き渡されて、該引き渡し先のアプリケーションで規定されている動作(例えばページの切替えやウィンドウのスクロールなど)が実行される。
通信部330は通信インターフェースであって、選択部320から出力された指示体情報DpをPC200に送信する一方、PC200から受信した第1画像IM1を描画部341に供給する。
画像処理部340は、描画部341および描画制御部342を含む。描画部341は、指示体情報Dpに基づいて第2画像IM2を生成し、通信部330から供給された第1画像IM1と該生成された第2画像IM2とを合成する。合成された画像を表す映像信号が、描画部341から投写部350に出力される。また、描画制御部342から供給される制御信号Sdに基づいて、第2画像IM2の消去や第1画像IM1および第2画像IM2の記憶を行う。
描画制御部342は、制御信号Sdを描画部341に出力する。制御信号Sdには、第2画像IM2の消去の実行に関する命令または第1画像IM1および第2画像IM2の記憶に関する命令が含まれる。具体的には、描画制御部342は、モード設定部360から供給されるモード情報Smを監視し、マウスモードと描画モードとの間で切替えがあった場合に、第2画像IM2の消去命令を制御信号Sdに内包させる。加えて、描画制御部342は、計時部370から供給された時間情報Itに基づいて、第2画像IM2の消去命令を内包させてもよい。なお、第1画像IM1および第2画像IM2の記憶は、個別に行われる。すなわち、合成後の画面を表す一つのデータを記憶しておくのではなく、第1画像IM1および第2画像IM2のそれぞれが独立して事後的に利用できる形で280に保存される。
投写部350は、光源(レーザーなど)、レンズ、ミラー、プリズム等の投写機構、各色に対応する液晶パネルなどの光学素子を含み、光源からの光を映像信号に基づいて変調する変調機構、変調された光を投写部350へ導く光学系によって実現される。
計時部370は、任意の時点からの経過時刻をカウントして描画制御部342に供給する。
記憶部380は、半導体メモリーやハードディスク等の記憶装置であって、プロジェクター300の起動時に画像処理部340にて実行され、後述する、第1画像IM1と第2画像IM2との合成表示に関する動作を実現するためのプログラムが記憶される。加えて、記憶部380には、必要に応じて第1画像IM1および第2画像IM2を個別に保存し、後に再利用することができる。
図4はプロジェクター300の動作例(その1)を示す。描画モードが選択され(S102、YES)、その後マウスモードへ変更されたことが検出されると(S104、YES)、画像処理部340は、現在表示されている第2画像IM2があれば、それらを全て消去する(S106)。
図5は、画面SCの例を示す。画面SCはPC200で所定のアプリケーションを起動させた場合に表示される。画面SCには、第1画像IM1、第2画像IM2、操作パネルIM3が含まれる。この例では、第1画像IM1は表計算ソフトの実行画面であって、ここにユーザー所望する箇所をマークするための描いた画像オブジェクト(円)が合成表示されている。
操作パネルIM3は、指示体400の入力機能を指定するためのものであり、第1画像IM1や第2画像IM2の内容とは無関係に、描画部341によって、画面SC上に常に表示される画像オブジェクトである。具体的には、操作パネルIM3内の各位置は各機能と対応づけられており、ユーザーは指示体400を用いて操作パネルIM3内の位置を指定することで、所望の入力機能を指定する。より具体的には、操作パネルIM3は、描画内容の属性ないし詳細(ペンの色や線種等)を指定する機能を有する。加えて、操作パネルIM3には、所定位置をタッチすることによって、マウスモード(2)と描画モード(1)とを切替える機能を有する。また、操作パネルIM3は、一度描画された第2画像IM2を消去・修正する(消しゴム機能)も備える。
今、ユーザーは描画モードを指定して上側の図に示すように第2画像IM2を描画した後、「(2)」をタッチしてマウスモードに切替えると、下側の図のように、第2画像IM2が自動的に消去される。
従来技術では、ユーザーは消去したい第2画像IM2があった場合は、消しゴム機能を有効にするための操作パネルIM3のタッチ操作を指示体400で行い、消去対象(オブジェクト単位、ドット単位、領域単位など)を指示体400で指定していた。例えば第2画像IM2をドット単位で消去する場合は、複数の第2画像IM2が描画されていると、消去に手間がかかっていた。
これに対し、上記実施例においては、ユーザーが明示的に第2画像IM2を削除する動作を行うことなく、操作モードの切替えを契機として表示されている全ての第2画像IM2が自動的に削除されるので、この後に第1画像IM1に変更が発生したとしても不要なアノテーションが残らない。このように、上記実施例によればユーザーがアノテーションの消去に係る手間が省ける。特に、プロジェクター300を用いてプレゼンテーションを行う場合、貴重な公演時間のうちアノテーションの削除操作に費やされる時間が減るばかりでなく、プレゼンテーション自体に集中することができる。
なお、この自動的消去の時刻がユーザーの意図に反するものである可能性は低い。なぜなら、入力モードを切替えるということは、通常、描画操作を完了して、これから描画以外の操作を行う(ことによって第1画像IM1の内容が変更する蓋然性が極めて高い)場合であると把握される。換言すると、上記実施例では、ユーザーの操作を先読み(推測)して、明示的な消去操作が行われるのを待たずに消去を実行しているといえる。
2.他の実施例
図6は、プロジェクター300の動作例(その2)を示す。描画モードからマウスモードへ変更されたことを検知すると(S202、YES)、表示中の画面を保存、すなわち第1画像IM1と第2画像IM2とが合成された画面をキャプチャーする(S204)。その後、マウスモードから描画モードへ変更があったことを検知すると(S206、YES)、その時点で表示されている画像とS204で保存した画像とを比較する(S208)。すなわち、マウスモードになった状態で第1画像IM1の内容に変化があったか否かを判定する。
比較の結果、差異があった場合(すなわち第1画像IM1の内容に変化があった場合)(S210、YES)、第2画像IM2を消去する(S214)。この際、削除に先立ち、第1画像IM1および第2画像IM2を関連付けて、別個の画像ファイルとして、保存してもよい(S212)。
差異がなかった場合(すなわち第1画像IM1の内容に変化がなかった場合)は(S210、NO)、S204で保存した画像を削除する(S216)。
図7は図6の動作例に対応する画面SCの例を示す。描画モードにて第2画像IM2が描画され、第1画像IM1(old)に第2画像IM2が合成表示された状態になり (上図)、この状態でマウスモードに切替わったタイミングで、第1画像IM1(old)と第2画像IM2の合成画面が保存される。その後、描画モードへ切り替わったタイミングで画面の比較が行われる。この時、操作によって第1画像IM1(old)が第1画像IM1(new)に変更されていたとする。このとき、合成画像{第1画像IM1(old)+第2画像IM2}と合成画像{第1画像IM1(new)+第2画像IM2}とが比較されることになる。ここで、操作モードの間は第2画像IM2の内容に変化することはないので、第1画像IM1の画面の変化を判定していることと等価である。第1画像IM1が変更されていると判定すると、図7の下図のような、第2画像IM2が自動消去された、画面が表示される。
この動作例では、描画モードからマウスモードに切替わっても、表示されている第2画像IM2を無条件に消去するのではなく、実際に第1画像IM1が更新されたことが確認された場合に自動消去を実行する。よって、ユーザーが描画モードからマウスモードに切替えたにも関わらず、実質的な操作がなされなかった場合や、なされた操作が第1画像IM1の変更とは関係ない操作である場合のように、第2画像IM2を消去する必然性がない場合にまで消去が実行されてしまうことが防止される。
図8は、第1画像IM1および第2画像IM2の保存を概念的に示す。同図に示すように、第1画像IM1と第2画像IM2とは別の画像ファイルとして保存される。合成画像を事後的に編集する(アノテーション自体の形状や位置を変更するなど)が容易である。
図9はプロジェクター300の動作例(その3)を示す。描画モードからマウスモードへの変更を検知する(S302、YES)、表示中の画面を保存する(S304)。加えて、マウスモードに変更されてからの経過時間の計測を開始する(S306)。経過時間が所定値に達していない場合は(S306、NO)、図6の動作と同様、マウスモードから描画モードに変更されたことを監視し(S308)、当該変更を検知すると(S308、Y)。図6のS208と同様、第1画像IM1に変更があったか否かをチェックする(S310)。ここで、モードの切替えが検知されてなくても所定期間が経過した場合(S306、YES)は、第1画像IM1の変更をチェックする(S310)。
S306のチェックの結果、第1画像IM1が変更されたことを確認した場合(S312、YES)、第2画像IM2を削除する(S318)。続いて、チェック用に保存してあった画像を削除し(S322)、タイマーをリセットした後(S324)、再びマウスモードへの切替えを監視する(302)。
第1画像IM1が変更されておらず、且つ描画モードのままである場合(314、NO)、第2画像IM2の消去を行うことなく、チェック用に保存したあった画像を削除し(S322)、タイマーをリセットした後(S324)マウスモードへの切替えを監視する(S302)。第1画像IM1に更新がなかった場合で、その後描画モードからマウスへの切替えを検知すると(S314、YES)、タイマーをリセットし(S320)、経過時間の監視(S306)および描画モードへの切替えの監視(S308)を合わせて実行する処理に再び戻る。
このように、マウスモードへの切替えが行われた後、第1画像IM1が更新されることなく所定期間が経過した場合にも、マウスモードが終了した場合には、第1画像IM1をチェックして第2画像の消去を実行できるようにする。その理由は、長い間マウスモードのままであった場合、何らかの操作が行われ、その結果としてマウスモード終了の際には第1画像IM1が変更されている可能性が高いので、このタイミングで第1画像IM1の変化のチェックを実行する実益があるからである。
なお、所定時間経過後に、マウスモードの終了判定やその後の第1画像IMIに比較ステップ(S308〜S314)を省略し、第2画像を消去してもよい。要するに、マウスモードの切替えがあってから所定時間経過した場合は、無条件に第2画像を消去する。マウスモードを切替えてから所定時間が経過した場合は、何らかの操作が行われて第1画像の内容が変化している可能性が高いので、第2画像を削除する合理性があるからである。
指示体の操作内容の処理に関するモードの数や各モードの定義は、上述した例に限られない。要は、ユーザーは明示的な消去操作を行うことなく、指示体の操作内容の処理に関する設定(換言すると、操作内容をどのような処理に反映させるのかを指定する情報)がユーザーによって切替えられたことを契機として、重ねて表示された画像の消去の実行の可否を判定する。要するに、本発明は、モードの切替え(およびこれに加えてモードの持続時間)に基づいて、ユーザーが第2画像IM2を消去する操作を行う蓋然性を合理的に推定し、推定結果に基づいて第2画像IM2を自動的に消去するか否かを判定する。
一台のプロジェクターに複数台の画像供給元としてのコンピューターを接続した場合に、重ねて表示された画像の自動消去を行う条件として、指示体によるモードの切替えの検知に替えて、または当該検知に加えて、画像供給元がユーザーによる切替えを検知したことを用いてもよい。モードの切替えのチェックと設定されたモードの持続時間によるチェックとを組み合わせる場合、各チェックを実行する順序や組み合わせ方は、上述した動作例に限られない。
本発明の制御方法を適用する対象の表示装置の表示機構やPCとの接続の形式は、上述の例に限定されない。例えば、プロジェクターが第1画像IM1を生成する機能を有していもよい。換言すると、上述のPC200の機能とプロジェクター300の機能とが一つのハードウェアによって、本発明の表示システムが実現されてもよい。この場合、投写機能を省略する替わりにPC200の表示部260に指示体400を検出する機能を設け、ユーザがPCの画面上で指示体400を用いて位置を指定することによって、PC200の画面上にアノテーションを描画するようにしてもよい。
換言すると、本発明に係る表示システムは、画像供給部と、前記画像供給部から画像データを入力する入力部と、前記指示体の位置を検出し、該検出した位置に関する情報を含む指示体情報を生成する検出部と、前記指示体情報の処理に関するモードを第1モードまたは第2モードに設定する設定部と、該入力された画像データに基づいて生成される第1画像に、前記指示体情報に基づいて生成される第2画像を重ねて描画する描画部と、前記第1モードが設定されている場合には前記指示体情報を前記描画部に出力する一方、前記第2モードが設定されている場合には前記指示体情報を前記画像供給装置に出力する選択部と、前記第1モードから前記第2モードへの切替えが行われると前記第2画像を消去する描画制御部とを有していればよい。そして、この描画部は、第1画像を供給する装置に設けられてもよいし、当該コンピューターとは別体の装置に設けられてもよい。
100・・・表示システム、200・・・PC、260・・・表示部、220・・・入力部、211・・・送信部、212・・・受信部、230・・・制御部、250・・・記憶部、240・・・画像処理部、300・・・プロジェクター、310・・・検出部、320・・・選択部、330・・・通信部、350・・・投写部、340・・・画像処理部、341・・・描画部、342・・・描画制御部、370・・・計時部、360・・・モード設定部、380・・・記憶部、400・・・指示体、500・・・表示面

Claims (6)

  1. 画像供給装置から画像データを入力する入力部と、
    指示体の位置を検出し、該検出した位置に関する情報を含む指示体情報を生成する検出部と、
    前記指示体情報の処理に関するモードを第1モードまたは第2モードに設定する設定部と、
    前記入力された画像データに基づいて生成される第1画像に、前記指示体情報に基づいて生成される第2画像を重ねて描画する描画部と、
    前記第1モードが設定されている場合には前記指示体情報を前記描画部に出力する一方、前記第2モードが設定されている場合には前記指示体情報を前記画像供給装置に出力する選択部と、
    前記第1モードから前記第2モードへの切替えが行われると前記第2画像を消去する描画制御部と
    を有する表示装置。
  2. 前記描画制御部は、前記切替えが行われた後、前記第1画像が更新されたことを検出すると前記第2画像の消去を実行する
    ことを特徴とする請求項1に記載の表示装置。
  3. 前記描画制御部は、前記切替えが行われた後、第1画像が更新されることなく所定期間が経過した場合に、前記第2画像の消去を実行する
    ことを特徴とする請求項1または2に記載の表示装置。
  4. 前記第2画像を記憶する記憶部を更に備え、
    前記描画制御部は、前記第2画像の消去を実行する前に、前記第2画像を前記記憶部に記憶する
    ことを特徴とする請求項1ないし3のいずれか一つに記載の表示装置。
  5. 画像供給装置から画像データを入力するステップと、
    指示体の位置を検出し、該検出した位置に関する情報を含む指示体情報を生成するするステップと、
    前記指示体情報の処理に関するモードを第1モードまたは第2モードに設定するステップと、描画部に、前記入力された画像データに基づいて生成される第1画像に前記指示体情報に基づいて生成される第2画像を重ねて描画させるステップと、
    前記第1モードが設定されている場合には、前記指示体情報を、前記描画部に出力する一方、前記第2モードが設定されている場合には前記指示体情報を前記画像供給装置に出力するステップと、
    前記第1モードから前記第2モードへの切替えが行われると前記第2画像を消去するステップと
    を有する表示制御方法。
  6. 画像供給部と、
    前記画像供給部から画像データを入力する入力部と、
    指示体の位置を検出し、該検出した位置に関する情報を含む指示体情報を生成する検出部と、
    前記指示体情報の処理に関するモードを第1モードまたは第2モードに設定する設定部と、
    前記入力された画像データに基づいて生成される第1画像に、前記指示体情報に基づいて生成される第2画像を重ねて描画する描画部と、
    前記第1モードが設定されている場合には前記指示体情報を前記描画部に出力する一方、前記第2モードが設定されている場合には前記指示体情報を前記画像供給部に出力する選択部と、
    前記第1モードから前記第2モードへの切替えが行われると前記第2画像を消去する描画制御部と
    を有する表示システム。
JP2014227372A 2014-11-07 2014-11-07 表示装置、表示制御方法および表示システム Active JP6488653B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014227372A JP6488653B2 (ja) 2014-11-07 2014-11-07 表示装置、表示制御方法および表示システム
US14/880,609 US9953434B2 (en) 2014-11-07 2015-10-12 Display device, display control method, and display system
US15/919,023 US10269137B2 (en) 2014-11-07 2018-03-12 Display device, display control method, and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014227372A JP6488653B2 (ja) 2014-11-07 2014-11-07 表示装置、表示制御方法および表示システム

Publications (3)

Publication Number Publication Date
JP2016090895A true JP2016090895A (ja) 2016-05-23
JP2016090895A5 JP2016090895A5 (ja) 2017-11-02
JP6488653B2 JP6488653B2 (ja) 2019-03-27

Family

ID=55912603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014227372A Active JP6488653B2 (ja) 2014-11-07 2014-11-07 表示装置、表示制御方法および表示システム

Country Status (2)

Country Link
US (2) US9953434B2 (ja)
JP (1) JP6488653B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6844159B2 (ja) * 2016-09-12 2021-03-17 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10785413B2 (en) * 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
JP7238594B2 (ja) * 2019-05-21 2023-03-14 セイコーエプソン株式会社 表示システムの制御方法、及び表示システム
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
CN112672118A (zh) * 2019-10-15 2021-04-16 中强光电股份有限公司 投影机、投影系统、计算机可读取存储介质及显示操作方法
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094679A (ja) * 2002-08-30 2004-03-25 Ricoh Co Ltd 表示制御装置、タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法および制御プログラム
JP2008027080A (ja) * 2006-07-19 2008-02-07 Casio Comput Co Ltd プレゼンテーションシステム
JP2008122650A (ja) * 2006-11-13 2008-05-29 Seiko Epson Corp プロジェクタ
JP2009210625A (ja) * 2008-02-29 2009-09-17 Canon Inc 表示装置及び表示方法
JP2013134409A (ja) * 2011-12-27 2013-07-08 Seiko Epson Corp プロジェクター、及び、プロジェクターの制御方法
JP2013222280A (ja) * 2012-04-16 2013-10-28 Seiko Epson Corp プロジェクター、プロジェクターの制御方法、プログラム、および、プロジェクションシステム
JP2013246285A (ja) * 2012-05-25 2013-12-09 Seiko Epson Corp 表示装置、表示制御方法、および、表示システム
JP2014119530A (ja) * 2012-12-14 2014-06-30 Seiko Epson Corp 表示制御装置、プロジェクター、及び、プロジェクターの制御方法
US20150339050A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink for Interaction

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5138304A (en) * 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
JP4697916B2 (ja) * 2000-07-07 2011-06-08 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
JP2003248551A (ja) 2002-02-25 2003-09-05 Ricoh Co Ltd タッチパネル付きディスプレイ装置およびタッチパネル付きディスプレイ装置の表示制御方法
US6979087B2 (en) * 2002-10-31 2005-12-27 Hewlett-Packard Development Company, L.P. Display system with interpretable pattern detection
EP1747806B1 (en) * 2004-03-22 2011-03-23 Nintendo Co., Ltd. Game apparatus, game program, memory medium where game program is stored, and game control method
US8160363B2 (en) * 2004-09-25 2012-04-17 Samsung Electronics Co., Ltd Device and method for inputting characters or drawings in a mobile terminal using a virtual screen
JP2006121181A (ja) * 2004-10-19 2006-05-11 Casio Comput Co Ltd プロジェクタ装置、表示出力方法及び表示出力プログラム
KR20070105322A (ko) * 2005-02-10 2007-10-30 유겐가이샤 타크람 디자인 엔지니어링 포인터광 트래킹 방법, 프로그램 및 그 기록 매체
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
JP2008217590A (ja) * 2007-03-06 2008-09-18 Fuji Xerox Co Ltd 情報共有支援システム、情報処理装置及び制御プログラム
US8482539B2 (en) 2010-01-12 2013-07-09 Panasonic Corporation Electronic pen system
JP4857385B2 (ja) 2010-01-12 2012-01-18 パナソニック株式会社 電子ペンシステム
JP5560913B2 (ja) 2010-06-01 2014-07-30 大日本印刷株式会社 ストローク表示装置及びプログラム
JP5585505B2 (ja) * 2011-03-17 2014-09-10 セイコーエプソン株式会社 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
US20120280948A1 (en) * 2011-05-06 2012-11-08 Ricoh Company, Ltd. Interactive whiteboard using disappearing writing medium
WO2013029162A1 (en) * 2011-08-31 2013-03-07 Smart Technologies Ulc Detecting pointing gestures iν a three-dimensional graphical user interface
JP5849560B2 (ja) * 2011-09-20 2016-01-27 セイコーエプソン株式会社 表示装置、プロジェクター、及び、表示方法
JP5927845B2 (ja) 2011-11-01 2016-06-01 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US8982066B2 (en) * 2012-03-05 2015-03-17 Ricoh Co., Ltd. Automatic ending of interactive whiteboard sessions
JP6217058B2 (ja) * 2012-05-09 2017-10-25 セイコーエプソン株式会社 画像表示システム
CN103425354B (zh) 2012-05-25 2017-10-13 精工爱普生株式会社 数据处理装置、显示装置以及数据处理装置的控制方法
US20130342458A1 (en) * 2012-06-23 2013-12-26 VillageTech Solutions Methods and systems for input to an interactive audiovisual device
JP6364893B2 (ja) * 2014-04-01 2018-08-01 日本電気株式会社 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094679A (ja) * 2002-08-30 2004-03-25 Ricoh Co Ltd 表示制御装置、タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法および制御プログラム
JP2008027080A (ja) * 2006-07-19 2008-02-07 Casio Comput Co Ltd プレゼンテーションシステム
JP2008122650A (ja) * 2006-11-13 2008-05-29 Seiko Epson Corp プロジェクタ
JP2009210625A (ja) * 2008-02-29 2009-09-17 Canon Inc 表示装置及び表示方法
JP2013134409A (ja) * 2011-12-27 2013-07-08 Seiko Epson Corp プロジェクター、及び、プロジェクターの制御方法
JP2013222280A (ja) * 2012-04-16 2013-10-28 Seiko Epson Corp プロジェクター、プロジェクターの制御方法、プログラム、および、プロジェクションシステム
JP2013246285A (ja) * 2012-05-25 2013-12-09 Seiko Epson Corp 表示装置、表示制御方法、および、表示システム
JP2014119530A (ja) * 2012-12-14 2014-06-30 Seiko Epson Corp 表示制御装置、プロジェクター、及び、プロジェクターの制御方法
US20150339050A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink for Interaction

Also Published As

Publication number Publication date
US20160133038A1 (en) 2016-05-12
JP6488653B2 (ja) 2019-03-27
US20180204348A1 (en) 2018-07-19
US10269137B2 (en) 2019-04-23
US9953434B2 (en) 2018-04-24

Similar Documents

Publication Publication Date Title
JP6488653B2 (ja) 表示装置、表示制御方法および表示システム
KR102021048B1 (ko) 사용자 입력을 제어하기 위한 방법 및 그 전자 장치
US9898996B2 (en) Display apparatus and display control method
JP2016090895A5 (ja)
JP6543960B2 (ja) 表示装置、表示制御方法およびプログラム
US10747425B2 (en) Touch operation input device, touch operation input method and program
WO2018010440A1 (zh) 一种投影画面调整方法、装置和投影终端
US20120105322A1 (en) Drawing device and drawing method
KR20140110452A (ko) 전자장치에서 근접 터치를 이용한 사용자 인터페이스 제어 방법 및 장치
JP2012168621A (ja) タッチ描画表示装置及びその操作方法
JP2013012063A (ja) 表示制御装置
US20190171702A1 (en) Controlling Digital Input
JP2009252083A (ja) 情報処理装置、ウィンドウ表示方法および表示制御プログラム
JP5995206B2 (ja) 情報処理装置
US9417780B2 (en) Information processing apparatus
JP6065433B2 (ja) 投影装置、投影システム、プログラム
US9787731B2 (en) Dynamically determining workspace bounds during a collaboration session
JP2010198509A (ja) 表示制御装置、入力操作装置、及び管制システム
TWI446234B (zh) 無線觸控顯示系統及其方法
JP6682768B2 (ja) 表示システム、表示装置、情報処理装置及び制御方法
KR20160053590A (ko) 터치스크린상에 손필기 입력 방법
JP2019074948A (ja) 情報処理装置
KR20140067681A (ko) 터치 스크린을 통한 문서서식 적용방법 및 장치
JP2023042186A (ja) 情報処理方法、情報処理装置及びプログラム
JP2019035993A (ja) 座標検出装置、制御方法、及び座標検出システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190211

R150 Certificate of patent or registration of utility model

Ref document number: 6488653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150