JP2022082074A - 表示装置及び表示システム - Google Patents

表示装置及び表示システム Download PDF

Info

Publication number
JP2022082074A
JP2022082074A JP2020193421A JP2020193421A JP2022082074A JP 2022082074 A JP2022082074 A JP 2022082074A JP 2020193421 A JP2020193421 A JP 2020193421A JP 2020193421 A JP2020193421 A JP 2020193421A JP 2022082074 A JP2022082074 A JP 2022082074A
Authority
JP
Japan
Prior art keywords
unit
operating member
display
control unit
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020193421A
Other languages
English (en)
Inventor
諒也 加藤
Ryoya Kato
孝行 小川
Takayuki Ogawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2020193421A priority Critical patent/JP2022082074A/ja
Publication of JP2022082074A publication Critical patent/JP2022082074A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】操作部材を表示部に対して接触又は非接触させることによって異なる画像を表示させることが可能な表示装置及び表示システムを提供する。【解決手段】表示装置10は、表示部11と、タッチ検出部13と、読取部15と、制御部20とを備える。タッチ検出部13は、表示部11に対する操作部材50の接触位置を検出する。読取部15は、操作部材50に配置される無線タグ60と無線通信する。制御部20は、読取部15の通信結果に基づいて、読取部15が無線タグ60と通信できる通信可能状態であるか、通信できない通信不可状態であるかを判定する。読取部15が通信可能状態である場合、制御部20は、タッチ検出部13の検出結果に基づいて、操作部材50が表示部11に対して接触する接触状態であるか、接触しない非接触状態であるかを判定し、接触状態及び非接触状態に応じて異なる画像を表示部11に表示させる。【選択図】図2

Description

本発明は、表示装置及び表示システムに関する。
従来、画像を表示する表示部と、表示部上に配置されるタッチパネルと、操作部材の識別情報を読み取る読取装置とを備えた表示装置が知られている(例えば特許文献1参照)。特許文献1の筆記入力システムは、識別子が装着されたペンと、識別子からの識別信号を識別するボードとを備える。識別信号は、ペンの色を識別するための信号である。ボードは、タッチパネルを含む。筆記入力システムは、ペンのペン先部がタッチパネルに接触されると、ペンの筆跡とペンの色とに基づく筆跡データを生成する。筆記入力システムでは、ペンをタッチパネルに接触させることによって点又は線を表示させることができる。
特開2019-28786号公報
しかしながら、特許文献1の筆記入力システムでは、ペンをタッチパネルから離隔させると何も表示させることができない。
本発明は、上記課題に鑑みてなされたものであり、その目的は、操作部材を表示部に対して接触又は非接触させることによって異なる画像を表示させることが可能な表示装置及び表示システムを提供することにある。
本発明の第1局面の表示装置は、表示部と、タッチ検出部と、通信部と、制御部とを備える。前記タッチ検出部は、前記表示部に対する操作部材の接触位置を検出する。前記通信部は、前記操作部材に配置される無線通信素子と無線通信する。前記制御部は、前記通信部の通信結果に基づいて、前記通信部が前記無線通信素子と通信できる通信可能状態であるか、通信できない通信不可状態であるかを判定する。前記通信部が前記通信可能状態である場合、前記制御部は、前記タッチ検出部の検出結果に基づいて、前記操作部材が前記表示部に対して接触する接触状態であるか、接触しない非接触状態であるかを判定し、前記接触状態及び前記非接触状態に応じて異なる画像を前記表示部に表示させる。
なお、タッチ検出部としては、表示部上に配置されるもの、表示部に内蔵されるもの、及び表示部の周縁に配置されるもの等の様々なタッチ検出部が存在する。従って、本明細書及び特許請求の範囲では、操作部材が表示部に直接接触する場合だけでなく、操作部材がタッチ検出部を介して表示部に接触する場合も、操作部材が表示部に接触すると表現することがある。
本発明の第2局面の表示システムは、第1局面の表示装置と、前記操作部材と、前記操作部材に配置される前記無線通信素子とを備える。
本発明によれば、操作部材を表示部に対して接触又は非接触させることによって異なる画像を表示させることが可能な表示装置及び表示システムを提供できる。
本発明の第1実施形態の表示システムを示す模式図である。 第1実施形態の表示システムを示すブロック図である。 第1実施形態の表示装置及びペン型の操作部材を示す模式図である。 第1実施形態の表示装置及びコンパス型の操作部材を示す模式図である。 第1実施形態の三角定規型の操作部材を示す模式図である。 第1実施形態の消しゴム型の操作部材を示す模式図である。 第1実施形態の表示装置及びペン型の操作部材を示す模式図である。 第1実施形態の表示装置及びコンパス型の操作部材を示す模式図である。 第1実施形態の表示装置及び分度器型の操作部材を示す模式図である。 第1実施形態の表示装置及びペン型の操作部材を示す模式図である。 第1実施形態の表示装置及びペン型の操作部材を示す模式図である。 第1実施形態の表示装置及びペン型の操作部材を示す模式図である。 第1実施形態の表示装置及びペン型の操作部材を示す模式図である。 第1実施形態の表示装置の処理フローを示す図である。 第1実施形態の表示装置の処理フローを示す図である。 第1実施形態の表示装置の処理フローを示す図である。 第1実施形態の表示装置の処理フローを示す図である。 第2実施形態の表示システム及び他の表示装置を示すブロック図である。 第2実施形態の他の表示装置を示す模式図である。
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
(第1実施形態)
図1及び図2を参照して、本発明の第1実施形態に係る表示システム100について説明する。図1は、本発明の第1実施形態の表示システム100を示す模式図である。図2は、第1実施形態の表示システム100を示すブロック図である。
図1及び図2に示すように、表示システム100は、表示装置10と、操作部材50と、無線タグ60とを備える。表示装置10は、表示部11と、タッチ検出部13と、読取部15と、記憶部17と、制御部20とを備える。表示部11は、画像を表示する表示領域Rを有する。表示部11は、例えば液晶パネル又は有機EL(Electro Luminescence)パネルを含む。なお、無線タグ60は、本発明の「無線通信素子」の一例である。また、読取部15は、本発明の「通信部」の一例である。
タッチ検出部13は、表示部11に対する操作部材50の接触位置を検出する。接触位置は、表示部11における位置座標として検出される。タッチ検出部13は、例えば静電容量方式のタッチパネルで構成される。タッチ検出部13は、表示部11の表示領域Rを覆うように配置される。タッチ検出部13は、例えば操作部材50が接触されることによる静電容量の変化を検出する。タッチ検出部13は、表示部11に対する操作部材50の接触位置を検出する。ただし、タッチ検出部13が静電容量方式のタッチパネルである場合、操作部材50がタッチ検出部13に接触又は近接すると、静電容量が変化するため、タッチ検出部13は、操作部材50が接触したことを検出する。すなわち、本明細書及び特許請求の範囲において、操作部材の接触位置を検出するとは、操作部材が接触することだけでなく、近接することで実質的に接触することも含む。タッチ検出部13は、検出結果を制御部20に送信する。なお、タッチ検出部13は、静電容量方式に限らない。タッチ検出部13は、例えば電磁誘導方式又は赤外線方式を用いたタッチパネルであってもよい。
読取部15は、操作部材50に配置される無線タグ60の識別情報を無線通信によって読み取る。具体的には、読取部15は、無線タグ60と近距離の無線通信が可能である。読取部15は、操作部材50がタッチ検出部13に接触している場合だけでなく、操作部材50がタッチ検出部13から離隔している場合にも、操作部材50の無線タグ60と無線通信可能である。読取部15と無線タグ60とが無線通信できる距離としては、例えば数cmから数mが挙げられる。このような近距離無線通信として、例えばRFID(Radio Frequency Identification)技術を用いてもよく、特にNFC(Near Field Communication)技術を用いてもよい。
読取部15は、複数設けられている。制御部20は、複数の読取部15の通信結果に基づいて操作部材50の位置を検出する。従って、操作部材50がタッチ検出部13に接触していない状態であっても、操作部材50と通信できる読取部15を特定することによって、操作部材50の位置を特定することができる。具体的には、表示部11の表示領域Rは、複数の領域に区分けされる。読取部15は、区分けされた領域毎に配置される。読取部15の数を増やすことによって、操作部材50の位置をより精度良く特定することができる。また、複数の読取部15が無線タグ60と通信した場合に、各読取部15で受信した信号の強度に基づいて操作部材50の位置を特定してもよい。この場合、操作部材50の位置をより精度良く特定することができる。
読取部15は、アンテナ15aと、読取回路部15bとを含む。アンテナ15aは、無線タグ60からの信号を受信する。読取回路部15bは、アンテナ15aが受信する信号から識別情報を読み取る。識別情報は、操作部材50の種類を識別するための情報を含む。また、読取部15は、読み取った識別情報を制御部20に送信する。制御部20は、読取部15からの識別情報に基づいて、操作部材50の種類を識別する。
記憶部17は、ハードディスクやEEPROM(Electrically Erasable Programmable Read-Only Memory)(登録商標)等の不揮発性記憶媒体で構成される。記憶部17は、制御部20の制御の下、表示部11に表示された画像データ、及び操作部材50の位置情報等を記憶する。
制御部20は、CPU(Central Processing Unit)及びメモリ(ROM(Read Only Memory)及びRAM(Random Access Memory)を含む)を有する制御回路で構成される。CPUがROMに記憶されたプログラムを実行することにより、制御部20は、ユーザUの動作に基づいて、表示部11における表示を制御する。制御部20による表示装置10の制御方法については、後述する。
操作部材50は、本実施形態では文房具の形状を有する模型である。具体的には、操作部材50は、例えばペン型、コンパス型、三角定規型及び消しゴム型の模型である。各操作部材50には、例えばペン型、コンパス型、三角定規型及び消しゴム型を識別するための無線タグ60が取り付けられている。無線タグ60は、ICチップ61と、アンテナ62とを含む。ICチップ61には、識別情報が記憶されている。読取部15が発生する磁場によって、無線タグ60のアンテナ62に誘導起電力が生じる。そして、ICチップ61に電流が流れ、無線タグ60から識別信号が発信される。無線タグ60から発信された識別信号は、読取部15で読み取られる。なお、無線タグ60は、電池を含んでいない。
無線タグ60は、例えば操作部材50の表面に貼り付けられていてもよいし、操作部材50の内部に配置されていてもよい。本実施形態では、無線タグ60は、操作部材50に対して着脱可能である。従って、専用の操作部材50を用いる必要がない。すなわち、例えば市販のペンを操作部材として用いることができる。また、無線タグ60を付け替えることによって、1つの操作部材50を複数種類の文房具として用いることができる。また、無線タグ60が取り外し不可能に取り付けられた専用の操作部材50を用いてもよい。
以下、操作部材50の形状の一例及び無線タグ60の操作部材50における配置位置の一例を簡単に説明する。ここでは、操作部材50の一例として、ペン型の操作部材51、コンパス型の操作部材52、三角定規型の操作部材53及び消しゴム型の操作部材54について説明する。
図3は、表示装置10及びペン型の操作部材51を示す模式図である。図3の左側の図は、表示装置10の正面側から見た図であり、図3の右側の図は、表示装置10の側方から見た図である。図3に示すように、ペン型の操作部材51は、ペン先端部51aを含む。ペン先端部51aは、タッチ検出部13に接触される接触部である。ペン型の操作部材51では、ペン先端部51aの近傍に無線タグ60aが取り付けられる。無線タグ60aは、ペン型の操作部材51であることを示す識別情報を有する。また、無線タグ60aは、ペンの色及びペン先の太さを示す識別情報を有する。
図4は、表示装置及びコンパス型の操作部材52を示す模式図である。図4に示すように、コンパス型の操作部材52は、第1脚部52a及び第2脚部52bを含む。第1脚部52aは、回転中心となる先端部52cを含む。第2脚部52bは、描画を行うための先端部52dを含む。
先端部52c及び先端部52dは、タッチ検出部13に接触される接触部である。コンパス型の操作部材52では、先端部52cの近傍及び先端部52dの近傍に、無線タグ60b及び無線タグ60cがそれぞれ取り付けられる。すなわち、無線タグ60b及び無線タグ60cは、先端部52c及び先端部52dにそれぞれ対応する位置に配置される。無線タグ60b及び無線タグ60cは、操作部材52における無線タグ60b及び無線タグ60cの配置位置を識別するための互いに異なる識別情報を有する。従って、無線タグ60b及び無線タグ60cが読取部15と通信することにより、表示部11上における操作部材52の配置角度を検出することができる。よって、操作部材52の配置角度に合わせて、画像を表示させることができる。なお、本実施形態では、無線タグ60bは、操作部材52の第1脚部52aに取り付けられることを示す識別情報を有する。無線タグ60cは、操作部材52の第2脚部52bに取り付けられることを示す識別情報を有する。また、無線タグ60b及び無線タグ60cは、操作部材52の種類を識別するための同じ識別情報を有してもよい。
操作部材52は、第1脚部52a及び第2脚部52bの内角を変更できるように構成されている。従って、先端部52cと先端部52dとの間の距離は、変化可能である。先端部52cと先端部52dとの間の距離が変化可能であっても、先端部52c及び先端部52dに無線タグ60b及び無線タグ60cをそれぞれ取り付けるため、先端部52c及び先端部52dが同一の操作部材50の一部であることを、制御部20は認識することができる。
図5は、三角定規型の操作部材53を示す模式図である。図5の上側の図は、操作部材53の側面図であり、図5の下側の図は、操作部材53の平面図である。図5に示すように、三角定規型の操作部材53は、定規本体53aと、複数の突起53b,53c,53dとを含む。定規本体53aは、直角三角形状を有する板部材である。突起53b,53c,53dは、定規本体53aの所定位置に配置される。突起53b,53c,53dは、定規本体53aから突出する。突起53b,53c,53dは、タッチ検出部13に接触される接触部である。操作部材53では、定規本体53aから突出する突起53b,53c,53dを配置することによって、操作部材53はタッチ検出部13に対して点接触する。すなわち、操作部材53は、タッチ検出部13に点接触する突起53b,53c,53dを含む。従って、タッチ検出部13による検出精度を向上させることができる。具体的には、操作部材53をタッチ検出部13に対して点接触させることによって、定規本体53aをタッチ検出部13に対して面接触させる場合に比べて、タッチ検出部13に対する操作部材53の接触位置が安定する。また、タッチ検出部13として例えば赤外線方式のタッチパネルを用いた場合であっても、定規本体53aによって赤外線の光路を遮断することがない。また、タッチ検出部13として例えば静電容量方式のタッチパネルを用いた場合であっても、接触面積が広くなることに起因して検出精度が低下することを抑制できる。
三角定規型の操作部材53では、突起53b,53c,53dの近傍に、無線タグ60d,60e,60fがそれぞれ配置される。本実施形態では、無線タグ60d,60e,60fは、定規本体53aのうち突起53b,53c,53dが固定される位置にそれぞれ配置される。無線タグ60d,60e,60fは、定規本体53aに埋め込まれていてもよい。また、無線タグ60d,60e,60fは、突起53b,53c,53dに貼り付けられていてもよいし、埋め込まれていてもよい。
無線タグ60d,60e,60fは、操作部材53における無線タグ60d,60e,60fの配置位置を識別するための互いに異なる識別情報を有する。従って、表示部11上における操作部材53の配置角度を検出することができる。よって、操作部材53の配置角度に合わせて、画像を表示させることができる。本実施形態では、無線タグ60d,60e,60fは、操作部材53の突起53b,53c,53dの位置に配置されていることを示す識別情報をそれぞれ有する。なお、無線タグ60d,60e,60fは、操作部材53における配置位置を識別するための互いに異なる識別情報を有しなくてもよい。また、無線タグ60d,60e,60fは、操作部材53の種類を識別するための同じ識別情報を有してもよい。すなわち、無線タグ60d,60e,60fは、三角定規型の操作部材53であることを示す識別情報を有してもよい。また、操作部材53は、突起53b,53c,53dを含まなくてもよい。すなわち、操作部材53は、タッチ検出部13に対して面接触するように構成されていてもよい。
図6は、消しゴム型の操作部材54を示す模式図である。図6に示すように、消しゴム型の操作部材54は、先端部54aを含む。先端部54aは、タッチ検出部13に接触される接触部である。消しゴム型の操作部材54では、先端部54aに無線タグ60gが取り付けられる。無線タグ60gは、消しゴム型の操作部材54であることを示す識別情報を有する。なお、本明細書では、消去用文房具の一例として「消しゴム」を用いて説明するが、消去用文房具は、例えばホワイトボード用又は黒板用のイレーザーを含んでもよい。
次に、表示部11に対する制御部20の制御について詳細に説明する。
図2を参照して、制御部20は、タッチ検出部13の検出結果及び読取部15の通信結果に基づいて、操作部材50が表示部11に対して接触する接触状態であるか、接触しない非接触状態であるかを判定する。
具体的には、制御部20は、読取部15の通信結果に基づいて、読取部15が無線タグ60と通信できる通信可能状態であるか、通信できない通信不可状態であるかを判定する。通信可能状態とは、無線タグ60が表示部11から所定範囲内に配置され、読取部15と無線タグ60と無線通信が可能な状態である。通信可能状態では、所定周期で読取部15と無線タグ60との間で通信が行われる。一方、通信不可状態とは、無線タグ60が表示部11から所定範囲外に配置され、読取部15と無線タグ60との間で通信ができない状態である。
読取部15が通信可能状態である場合、制御部20は、タッチ検出部13の検出結果に基づいて、操作部材50が表示部11に対して接触する接触状態(以下、単に接触状態ともいう)であるか、接触しない非接触状態(以下、単に非接触状態ともいう)であるかを判定する。タッチ検出部13が静電容量方式のタッチパネルである場合、上述したように制御部20は静電容量の変化に基づいて接触状態であるか非接触状態であるかを判定する。よって、操作部材50がタッチ検出部13に接触又は近接すると、制御部20は、接触状態であると判定する。制御部20は、接触状態及び非接触状態に応じて異なる画像を表示部11に表示させる。従って、操作部材50を表示部11に対して接触又は非接触させることによって異なる画像を表示させることができる。具体的には、タッチ検出部13が操作部材50を検出する場合、制御部20は、操作部材50が表示部11に対して接触する接触状態であると判定する。一方、タッチ検出部13が操作部材50を検出しない場合、制御部20は、操作部材50が表示部11に対して接触していない非接触状態であると判定する。そして、制御部20は、接触状態及び非接触状態に応じて異なる画像を表示部11に表示させる。
また、操作部材50が非接触状態である場合、制御部20は、複数の読取部15の通信結果に基づいて、操作部材50の位置を特定する。具体的には、複数の読取部15のうち通信可能状態である読取部15を特定することによって、操作部材50が非接触状態であっても、操作部材50の位置を特定することができる。なお、操作部材50が接触状態である場合、操作部材50の接触位置はタッチ検出部13によって精度良く検出される。
また、図3に示すように、例えばペン型の操作部材51が非接触状態である場合、制御部20は、操作部材51の種類を示す「ペン(pen)」の文字を表示部11に表示させてもよい。この場合、制御部20は、他の文字、図形、線等と重ならない位置に、文字を表示させてもよい。すなわち、制御部20は、ユーザUの描画動作によらない文字、図形、線等を付加的に表示させる場合、他の文字、図形、線等と重ならない位置に表示させてもよい。
また、操作部材50が接触状態である場合、制御部20は、読取部15によって読み取られた識別情報に基づいて操作部材50の種類を識別する。そして、制御部20は、操作部材50の種類に応じた図形を表示部11に表示させる。従って、視聴者(図示せず)は、ユーザUが使用している文房具の種類を認識しやすいので、講義又は解説の内容を理解しやすくなる。
具体的には、ペン型の操作部材51が接触状態である場合、制御部20は、ペンの形状を示す図形P51(図7参照)を表示部11に表示させる。
また、操作部材51の接触位置が変化した場合、制御部20は、無線タグ60aの識別情報に基づいて、所定の色及び太さの線画像を表示する。図7は、表示装置10及びペン型の操作部材51b,51c,51dを示す模式図である。例えば図7に示すように、ペン型の操作部材51b,51c,51dを用いた場合、色及び太さの異なる線画像が表示される。操作部材51bは、例えば黒色で細線の識別情報を有する無線タグ60aが貼り付けられている。操作部材51bを接触状態で移動させることによって、黒色で細線の画像P51bが表示される。操作部材51cは、例えば赤色で細線の識別情報を有する無線タグ60aが貼り付けられている。操作部材51cを接触状態で移動させることによって、赤色で細線の画像P51cが表示される。操作部材51dは、例えば黒色で太線の識別情報を有する無線タグ60aが貼り付けられている。操作部材51dを接触状態で移動させることによって、黒色で太線の画像P51dが表示される。
また、制御部20は、操作部材50の種類によっては、操作部材50の種類に応じた図形を表示させなくてもよい。例えば、三角定規型の操作部材53が接触状態である場合、制御部20は、三角定規を示す図形を表示部11に表示させない。なお、三角定規型の操作部材53が接触状態である場合に、制御部20は、三角定規を示す図形を表示部11に表示させてもよい。
本実施形態では、1つの操作部材50に配置される複数の無線タグ60と読取部15が通信できる通信可能状態であるとともに、タッチ検出部13が複数の接触位置を検出した場合に、制御部20は、読取部15と複数の無線タグ60との間の通信結果と、検出された複数の接触位置とに応じた処理を実行する。従って、制御部20は、タッチ検出部13が複数の接触位置を検出した場合であっても、1つの操作部材50として画像を表示させることができる。具体的には、操作部材50がコンパス型の操作部材52又は三角定規型の操作部材53である場合、読取部15は無線タグ60b,60c又は無線タグ60d,60e,60fと通信する。また、操作部材52又は操作部材53がタッチ検出部13に接触されると、タッチ検出部13は、複数の接触位置を検出する。
そして、図4に示すように、コンパス型の操作部材52の先端部52c及び先端部52dをタッチ検出部13に接触させた場合、制御部20は、回転中心を示す点又は小さい円の画像P52cを、先端部52cの接触位置に表示させてもよい。また、制御部20は、ペン先であることを示す点又は小さい円の画像P52dを、先端部52dの接触位置に表示させてもよい。図8は、表示装置10及びコンパス型の操作部材52を示す模式図である。図8に示すように、操作部材52の先端部52dを先端部52cを中心として回転させた場合、制御部20は、先端部52dの軌跡を示す円弧の画像P52eを表示させてもよい。なお、コンパス型の操作部材52の先端部52c及び先端部52dをタッチ検出部13に接触させた場合に、制御部20は、コンパスを示す図形を表示部11に表示させてもよい。
また、図9に示すように、分度器型の操作部材55をタッチ検出部13に接触させた場合、制御部20は、分度器を示す図形P55を表示部11に表示させてもよい。図9は、表示装置10及び分度器型の操作部材55を示す模式図である。図9では、理解を容易にするために、操作部材55を二点鎖線で示している。また、分度器型の操作部材55の縁に沿ってペン先端部51aを移動させた場合、制御部20は、円弧状の線P55aを表示させるとともに、円弧状の線P55aの角度を示す線P55b、及び「45°」の文字を表示させてもよい。
なお、分度器型の操作部材55は、三角定規型の操作部材53と同様、3つ以上の突起を含んでもよい。3つ以上の突起は、複数のタッチ検出部13に点接触する接触部である。また、分度器型の操作部材55は、三角定規型の操作部材53と同様、突起の近傍にそれぞれ無線タグが配置されてもよい。また、分度器型の操作部材55は、三角定規型の操作部材53と同様、突起を含まなくてもよい。
図10は、表示装置10及びペン型の操作部材51を示す模式図である。本実施形態では、操作部材50が非接触状態である場合、制御部20は、複数の読取部15の通信結果に基づいて、操作部材50の位置を特定する。そして、制御部20は、操作部材50の動きに基づいてユーザUによるジェスチャーを認識し、ジェスチャーに応じた描画ツールの画像を表示部11に表示させる。従って、例えば、接触状態では線を描画し、非接触状態では描画ツールを表示させることができる。具体的には、図10に示すように、非接触状態において、例えば円を描くようにペン型の操作部材51を移動させた場合(図10の上側の図参照)、制御部20は表示部11にペンの色を変更するためのパレットP51eを表示させる(図10の下側の図参照)。パレットP51eに表示されている例えば赤色の円を操作部材51でタッチすることによって、操作部材51の色を赤色に変更することができる。なお、ジェスチャーに応じた描画ツールは、パレットP51eに限らない。例えば、描画する線の太さを変更するための描画ツールが表示されてもよい。また、例えば、消しゴム型の操作部材54を用いた場合に、消す領域の太さを変更するための描画ツールが表示されてもよい。
図11及び図12は、表示装置10及びペン型の操作部材51を示す模式図である。制御部20は、ジェスチャーに応じて描画ツール以外の画像を表示部11に表示してもよい。例えば、図11に示すように、非接触状態において、例えばペン型の操作部材51を表示部11の右端から左方向に向かって水平に移動させた場合に、制御部20は表示部11にメニュー画面P51fを表示させてもよい。また、例えば、図12に示すように、非接触状態において、例えばペン型の操作部材51を表示部11の上端から下方向に向かって移動させた場合に、制御部20は表示部11に表示されている画像P51gを次ページの画像P51hに変更してもよい。すなわち、制御部20は、画像をページ送りしてもよい。
図13は、表示装置10及びペン型の操作部材51を示す模式図である。本実施形態では、制御部20は、操作部材50の接触位置から離隔した位置に画像を表示させてもよい。図13に示すように、接触位置から離隔した位置に画像P51iを表示させることによって、表示部11に表示された画像P51iを視聴者(図示せず)に見えやすくできる。すなわち、表示部11に表示された画像P51iがユーザUによって隠れることを抑制できる。具体的には、例えばペン型の操作部材51をタッチ検出部13に接触させた場合、制御部20は、表示部11に対する操作部材50の接触位置から平行移動した位置に画像P51iを表示させてもよい。なお、制御部20は、操作部材50の接触位置から離隔した位置に画像を表示させる際に、画像を拡大又は縮小して表示させてもよい。
次に、表示装置10の処理フローについて説明する。図14から図17は、表示装置10の処理フローを示す図である。
図14に示すように、ステップS1において、操作部材50が表示部11から所定範囲内に配置されると、読取部15は、操作部材50に配置される無線タグ60と無線通信を行う。読取部15は、無線タグ60の識別情報を読み取り、読み取った識別情報を制御部20に送信する。
ステップS2において、制御部20は、読取部15から識別情報を受信したか否かを判定する。言い換えると、制御部20は、表示部11から所定範囲内に操作部材50が配置されているか否かを判定する。制御部20が識別情報を受信していないと判定した場合、ステップS2の判定が繰り返される。制御部20が識別情報を受信したと判定した場合、ステップS3に進む。
ステップS3において、制御部20は、読取部15の検出結果に基づいて、操作部材50の位置及び種類を特定する。具体的には、制御部20は、識別情報を読み取った読取部15を特定することによって、操作部材50の位置を特定する。また、読取部15が読み取った識別情報に基づいて、制御部20は、操作部材50の種類を特定する。
ステップS4において、制御部20は、タッチ検出部13の検出結果に基づいて操作部材50が接触状態であるか否かを判定する。具体的には、タッチ検出部13が表示部11に対する操作部材50の接触位置を検出した場合、制御部20は、操作部材50が接触状態であると判定する。一方、タッチ検出部13が表示部11に対する操作部材50の接触位置を検出しない場合、制御部20は、操作部材50が非接触状態であると判定する。ステップS4において、操作部材50が非接触状態であると制御部20が判定した場合、ステップS5に進む。
ステップS5において、操作部材50の種類が三角定規、コンパス又は分度器であるか、ペン又は消しゴムであるかを、制御部20は判定する。操作部材50の種類が三角定規、コンパス又は分度器であると制御部20が判定した場合、ステップS6に進む。
ステップS6において、表示装置10の電源がオフされたか否かを、制御部20は判定する。表示装置10の電源がオフされたと制御部20が判定した場合、処理が終了する。一方、表示装置10の電源がオフされていないと制御部20が判定した場合、ステップS1に戻る。
ステップS5において、操作部材50の種類がペン又は消しゴムであると制御部20が判定した場合、図15のステップS11に進む。
また、ステップS4において、操作部材50が接触状態であると制御部20が判定した場合、図16のステップS21に進む。
図15に示すように、ステップS11において、制御部20は、操作部材50の位置を特定する。具体的には、制御部20は、識別情報を読み取った読取部15を特定することによって、操作部材50の位置を特定する。
ステップS12において、操作部材50の位置が移動したか否かを、制御部20は判定する。操作部材50の位置が移動していないと制御部20が判定した場合、ステップS13に進む。
ステップS13において、操作部材50の種類に応じた画像を表示部11に表示させる。すなわち、例えば操作部材50の種類がペン型である場合、制御部20は、「ペン(pen)」の文字(図3参照)を表示部11に表示させる。そして、ステップS11に戻る。
ステップS12において、操作部材50の位置が移動したと制御部20が判定した場合、ステップS14に進む。
ステップS14において、制御部20は、タッチ検出部13の検出結果に基づいて、操作部材50の移動距離と移動方向とを特定する。
ステップS15において、制御部20は、操作部材50の位置、移動距離及び移動方向に基づいて、予め設定された処理を実行する。具体的には、例えばペン型の操作部材51が表示部11の右端から左方向に向かって水平に移動した場合、制御部20は、表示部11にメニュー画面51f(図11参照)を表示させる。そして、図14のステップS6に進む。
図16に示すように、ステップS21において、操作部材50の種類が三角定規、コンパス又は分度器であるか、ペン又は消しゴムであるかを、制御部20は判定する。操作部材50の種類が三角定規、コンパス又は分度器であると制御部20が判定した場合、ステップS22に進む。
ステップS22において、操作部材50の種類が三角定規であるか否かを、制御部20は判定する。操作部材50の種類が三角定規であると制御部20が判定した場合、ステップS23に進む。
ステップS23において、制御部20は、三角定規型の操作部材53の3辺の位置を特定する。具体的には、制御部20は、タッチ検出部13の検出結果に基づいて、無線タグ60d,60e,60fの位置を特定する。記憶部17には、操作部材53における3辺の位置情報と無線タグ60d,60e,60fの位置情報とが関連付けられて三角定規情報として記憶されている。制御部20は、三角定規情報と特定した無線タグ60d,60e,60fの位置とに基づいて、表示部11における操作部材53の3辺の位置を特定する。そして、図14のステップS6に進む。なお、後述するステップS35における補正処理を行わない場合、ステップS23の処理を行わなくてもよい。
ステップS22において、操作部材50の種類が三角定規ではないと制御部20が判定した場合、ステップS24に進む。
ステップS24において、操作部材50の種類がコンパスであるか否かを、制御部20は判定する。操作部材50の種類がコンパスであると制御部20が判定した場合、ステップS25に進む。
ステップS25において、制御部20は、タッチ検出部13の検出結果に基づいて、操作部材50の位置を特定する。この場合、制御部20は、タッチ検出部13の検出結果と読取部15の読取結果とに基づいて、コンパス型の操作部材52の先端部52c及び先端部52dの位置を特定してもよい。
ステップS26において、制御部20は、コンパスの図形を表示部11に表示させる。この場合、制御部20は、先端部52cの接触位置に回転中心を示す点又は小さい円の画像P52c(図8参照)を表示させる。また、制御部20は、先端部52dの接触位置にペン先であることを示す点又は小さい円の画像P52d(図8参照)を表示させる。
ステップS27において、操作部材50の位置が移動したか否かを、制御部20は判定する。操作部材50の位置が移動していないと制御部20が判定した場合、ステップS25に戻る。一方、操作部材50の位置が移動したと制御部20が判定した場合、ステップS28に進む。
ステップS28において、制御部20は、先端部52dの移動に応じた画像を表示させる。具体的には、制御部20は、先端部52cを中心とする円弧の画像P52e(図8参照)を表示させる。そして、図14のステップS6に進む。
ステップS24において、操作部材50の種類がコンパスではないと制御部20が判定した場合、ステップS29に進む。
ステップS29において、制御部20は、操作部材50の種類に応じて予め設定された処理を実行する。そして、図14のステップS6に進む。
図17に示すように、ステップS31において、制御部20は、タッチ検出部13の検出結果に基づいて、操作部材50の位置を特定する。
ステップS32において、制御部20は、操作部材50の種類に応じた図形を表示させる。具体的には、例えば操作部材50の種類がペン型である場合、制御部20は、ペンの形状を示す図形P51(図7参照)を表示部11に表示させる。
ステップS33において、操作部材50の位置が移動したか否かを、制御部20は判定する。操作部材50の位置が移動していないと制御部20が判定した場合、ステップS31に戻る。一方、操作部材50の位置が移動したと制御部20が判定した場合、ステップS34に進む。
ステップS34において、表示する画像に補正が必要であるか否かを、制御部20は判定する。具体的には、例えば、ペン型の操作部材51と三角定規型の操作部材53とが使用されている場合、制御部20は、操作部材51の位置と操作部材53の3辺の位置とを特定する。そして、例えば、操作部材51のペン先端部51aが操作部材53のいずれかの辺の近傍を移動しているにもかかわらず、少し曲がって移動している場合に、制御部20は、表示する線画像を補正する必要があると判定する。
ステップS35において、例えば、制御部20は、表示する線画像が三角定規型の操作部材53の辺に沿った直線になるように補正処理する。
ステップS36において、制御部20は、操作部材50の移動に応じた画像を表示させる。そして、図14のステップS6に進む。
(第2実施形態)
図18を参照して、本発明の第2実施形態に係る表示システム100及び他の表示装置210について説明する。図18は、第2実施形態の表示システム100及び他の表示装置210を示すブロック図である。
図18に示すように、本実施形態の表示装置10は、表示部11と、タッチ検出部13と、読取部15と、記憶部17と、制御部20と、マイク18と、通信I/F(インターフェイス)19とを備える。
通信I/F19は、通信ネットワーク300に接続するためのインターフェイス装置である。通信ネットワーク300は、例えばインターネット又はLAN(Local Area Network)である。本実施形態では、表示装置10は、通信ネットワーク300を介して他の表示装置210と通信可能である。なお、図18では、他の表示装置210を1つだけ記載しているが、他の表示装置210は複数あってもよい。
マイク18は、音声を集音する。マイク18は、集音データを制御部20に送信する。
制御部20は、集音データをタッチ検出部13の検出結果及び読取部15の通信結果に関連付けて記憶部17に記憶させる。また、制御部20は、集音データ、タッチ検出部13の検出結果及び読取部15の通信結果に基づいて、他の表示装置210に画像を表示させるための画像データを生成する。制御部20は、生成した画像データを記憶部17に記憶させる。すなわち、制御部20は、集音データを操作部材50の動作履歴と関連付けて画像データを生成し、生成した画像データを記憶部17に記憶させる。制御部20は、他の表示装置210に画像を表示させる際には、記憶させた画像データを記憶部17から読み出すとともに、他の表示装置210に送信する。従って、ユーザUが表示装置10の表示部11に表示させた画像を、例えば後日に、他の表示装置210の表示部211に表示させることができる。従って、例えば、視聴者(図示せず)は、ユーザUが過去に行った講義又は解説の内容を知ることができる。
具体的には、他の表示装置210は、表示部211と、記憶部217と、制御部220と、スピーカ218と、通信I/F219とを備える。表示部211は、例えば液晶パネル又は有機ELパネルを含む。
記憶部217は、ハードディスクやEEPROM(登録商標)等の不揮発性記憶媒体で構成される。記憶部217は、制御部220の制御の下、表示部211に表示された画像データ、及び表示装置10から受信した画像データ等を記憶する。
スピーカ218は、音声を出力する。本実施形態では、スピーカ218は、表示装置10から受信した画像データに含まれる音声データに基づいて、音声を出力することができる。
通信I/F219は、通信ネットワーク300に接続するためのインターフェイス装置である。
制御部220は、CPU及びメモリ(ROM及びRAMを含む)を有する制御回路で構成される。CPUがROMに記憶されたプログラムを実行することにより、制御部220は、表示部211における表示を制御する。
また、本実施形態では、表示装置10が集音した音声を表示装置210が出力するため、視聴者(図示せず)は、音声を聞きながら画像を見ることができる。従って、視聴者(図示せず)は、講義又は解説の内容を理解しやすくなる。
図19は、他の表示装置210を示す模式図である。図19に示すように、表示装置210に画像を表示させる場合には、表示装置10に表示した画像にさらに別の画像を追加して表示させてもよい。具体的には、表示装置10ではコンパスの図形を表示させなかった場合(図8参照)であっても、表示装置210ではコンパスの図形、及び操作部材50の種類を示す「コンパス使用」の文字を表示させてもよい。この場合、視聴者(図示せず)は、講義又は解説の内容をより理解しやすくなる。
第2実施形態のその他の構成及び効果は、第1実施形態の構成及び効果と同様である。
以上、図面を参照しながら本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。また、上記の実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の材質、形状、寸法等は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。
例えば上記の実施形態では、無線タグ(無線通信素子)が操作部材の種類を識別するための識別情報を有する例について示したが、本発明はこれに限らない。無線タグは、読取部(通信部)と通信可能であれば、識別情報を有しなくてもよい。
また、上記の実施形態では、操作部材の種類として、ペン、コンパス、三角定規、消しゴム及び分度器を例に示したが、本発明はこれに限らない。操作部材の種類として、例えば鉛筆、クレヨン、チョーク、矩形形状の定規、毛筆及び刷毛を用いてもよい。また、操作部材の種類は、文房具以外であってもよい。
また、無線タグの識別情報は、書き換え可能であってもよい。具体的には、表示装置又はコンピューターを用いて、無線タグの識別情報を書き換えてもよい。この場合、操作部材の種類を必要に応じて変更することができるため、1つの操作部材を例えば黒ペン、赤ペン、消しゴム及び毛筆として用いることができる。
また、上記の第2実施形態では、表示装置10が画像データを記憶部17から読み出すとともに、他の表示装置210に送信する例について示したが、本発明はこれに限らない。表示装置10の記憶部17に記憶されている画像データを、USB(Universal Serial Bus)フラッシュメモリ、DVD(Digital Versatile Disc)及びBD(Blu-ray Disc)(登録商標)などの記録媒体に書き込み、記録媒体を用いて他の表示装置210に表示させてもよい。
本発明は、表示装置及び表示システムの分野に有用である。
10 表示装置
11 表示部
13 タッチ検出部
15 読取部(通信部)
17 記憶部
20 制御部
50,51,51b~51d,52~55 操作部材
52c,52d 先端部(接触部)
53b~53d 突起(接触部)
60,60a~60g 無線タグ(無線通信素子)
100 表示システム
210 他の表示装置
P51e パレット(描画ツールの画像)
U ユーザ

Claims (12)

  1. 表示部と、
    前記表示部に対する操作部材の接触位置を検出するタッチ検出部と、
    前記操作部材に配置される無線通信素子と無線通信する通信部と、
    前記通信部の通信結果に基づいて、前記通信部が前記無線通信素子と通信できる通信可能状態であるか、通信できない通信不可状態であるかを判定する制御部と
    を備え、
    前記通信部が前記通信可能状態である場合、前記制御部は、前記タッチ検出部の検出結果に基づいて、前記操作部材が前記表示部に対して接触する接触状態であるか、接触しない非接触状態であるかを判定し、前記接触状態及び前記非接触状態に応じて異なる画像を前記表示部に表示させる、表示装置。
  2. 前記通信部を複数備え、
    前記操作部材が前記非接触状態である場合、前記制御部は、前記複数の通信部の通信結果に基づいて前記操作部材の位置を特定する、請求項1に記載の表示装置。
  3. 前記操作部材が前記非接触状態である場合、前記制御部は、
    前記操作部材の動きに基づいてユーザによるジェスチャーを認識し、
    前記ジェスチャーに応じた描画ツールの画像を前記表示部に表示させる、請求項2に記載の表示装置。
  4. 前記無線通信素子は、前記操作部材の種類を識別するための識別情報を有し、
    前記通信部は、前記無線通信素子の識別情報を読み取り、
    前記操作部材が前記接触状態である場合、前記制御部は、前記読み取られた識別情報に基づいて前記操作部材の種類を識別し、前記操作部材の種類に応じた図形を前記表示部に表示させる、請求項1から請求項3のいずれか1項に記載の表示装置。
  5. 前記操作部材には、複数の前記無線通信素子が配置され、
    前記通信部が前記複数の無線通信素子と前記通信可能状態であるとともに、前記タッチ検出部が前記複数の接触位置を検出した場合に、前記制御部は、前記通信部と前記複数の無線通信素子との間の通信結果と、前記検出された複数の接触位置とに応じた処理を実行する、請求項1から請求項4のいずれか1項に記載の表示装置。
  6. 前記制御部は、前記操作部材の接触位置から離隔した位置に画像を表示させる、請求項1から請求項5のいずれか1項に記載の表示装置。
  7. 請求項1から請求項6のいずれか1項に記載の表示装置と、
    前記操作部材と、
    前記操作部材に配置される前記無線通信素子と
    を備える、表示システム。
  8. 前記操作部材は、前記タッチ検出部に点接触する複数の接触部を含む、請求項7に記載の表示システム。
  9. 前記操作部材には、複数の前記無線通信素子が配置され、
    前記複数の無線通信素子は、前記操作部材における前記無線通信素子の配置位置を識別するための互いに異なる識別情報を有し、
    前記複数の無線通信素子は、前記複数の接触部にそれぞれ対応する位置に配置される、請求項8に記載の表示システム。
  10. 前記複数の接触部の間の距離は、変化可能である、請求項9に記載の表示システム。
  11. 前記無線通信素子は、前記操作部材に対して着脱可能である、請求項7から請求項10のいずれか1項に記載の表示システム。
  12. 前記表示装置は、記憶部を含み、
    前記制御部は、
    前記タッチ検出部の検出結果及び前記通信部の通信結果に基づいて、他の表示装置に画像を表示させるための画像データを生成し、
    前記画像データを前記記憶部に記憶させ、
    前記記憶部に記憶させた前記画像データを読み出すとともに、前記他の表示装置に送信する、請求項7から請求項11のいずれか1項に記載の表示システム。
JP2020193421A 2020-11-20 2020-11-20 表示装置及び表示システム Pending JP2022082074A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020193421A JP2022082074A (ja) 2020-11-20 2020-11-20 表示装置及び表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020193421A JP2022082074A (ja) 2020-11-20 2020-11-20 表示装置及び表示システム

Publications (1)

Publication Number Publication Date
JP2022082074A true JP2022082074A (ja) 2022-06-01

Family

ID=81801254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020193421A Pending JP2022082074A (ja) 2020-11-20 2020-11-20 表示装置及び表示システム

Country Status (1)

Country Link
JP (1) JP2022082074A (ja)

Similar Documents

Publication Publication Date Title
KR102184288B1 (ko) 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법
CN102067153B (zh) 多模态学习系统
US8907931B2 (en) Electronic terminal, input correction method, and program
US8558872B1 (en) Apparatus and method for processing digital image
CN104238768A (zh) 手写输入装置以及控制方法
US20150241970A1 (en) Method and apparatus for providing haptic effect
CN102576268A (zh) 利用多种输入检测技术的交互表面
US20140033098A1 (en) Electronic apparatus, display method and display program
CN104007925B (zh) 用于通过触摸屏上的书写输入产生内容的方法和设备
US20140111488A1 (en) Stylus pen and information device
CN103380413A (zh) 电子设备、内容显示方法及内容显示程序
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
KR102102663B1 (ko) 휴대단말기의 사용 방법 및 장치
US9965049B2 (en) Display apparatus and controlling method thereof
CN103765367A (zh) 信息处理设备、信息处理方法和程序
JP7477691B2 (ja) 学習支援システム
JP2013235523A (ja) 情報処理端末、その制御方法、および、その制御プログラム
CN104956378A (zh) 电子设备和手写文档处理方法
KR20130123691A (ko) 터치 입력 방법 및 이를 적용한 터치 디스플레이 장치
JP2014191662A (ja) 補正装置
JP6045962B2 (ja) 入力装置及びそれを用いた電子機器
JP2022082074A (ja) 表示装置及び表示システム
US20140198082A1 (en) Method for correcting real and digital ink
JP6528450B2 (ja) 手書き入力装置
JP5908326B2 (ja) 表示装置および表示プログラム