JP2022087633A - 表示装置、消去方法切替方法、プログラム - Google Patents
表示装置、消去方法切替方法、プログラム Download PDFInfo
- Publication number
- JP2022087633A JP2022087633A JP2020199679A JP2020199679A JP2022087633A JP 2022087633 A JP2022087633 A JP 2022087633A JP 2020199679 A JP2020199679 A JP 2020199679A JP 2020199679 A JP2020199679 A JP 2020199679A JP 2022087633 A JP2022087633 A JP 2022087633A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- stroke
- display
- erasing
- input means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザが消去方法を明示的に入力しなくても消去方法を切り替えることができる表示装置を提供すること。【解決手段】入力手段による入力に応じて手書きデータを表示する表示装置であって、前記入力手段がディスプレイに接触する面積、前記入力手段の移動速度、又は、前記入力手段がディスプレイを押す圧力に応じて、前記手書きデータの消去方法を切り替える消去方法切替部、を有することを特徴とする。【選択図】図4
Description
本発明は、表示装置、消去方法切替方法、及び、プログラムに関する。
タッチパネル式のディスプレイにユーザが専用の電子ペンや指などの入力手段でストロークを描画し、いくつかのストロークで形成される手書きデータを表示する電子黒板などの表示装置が知られている。ユーザはストロークを消去することもできる。ストロークを消去する方法としては、ユーザが触れたストローク全体を消す方法(以下、ストローク消去という)と、触れた部分だけを消す方法(以下、部分消去という)がある。ストローク消去は、ユーザがストロークを全てなぞらずに消すことができるため、まとめて消す場合に有効であるが、細かいところを部分的に消すことはできない。一方、部分消去は、ストロークの一部分だけを消すことができるため、細かいところを部分的に消すのに有効であるが、まとめて消す場合には丁寧に消さないと消し残りが出やすい。
ストロークの消去に関する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、ユーザがストロークを手書きしてから一定時間内に手で触れればストローク消去に、一定時間経過後に触れれば部分消去する技術が開示されている。ユーザは、間違った直後にすぐ消す場合にはストロークの全体を容易に消去できる。
しかしながら、従来の技術は、ユーザが手書きしてから一定時間が経過した後は、ユーザが消去方法を明示的に入力する必要があるという問題がある。
本発明は、上記課題に鑑み、ユーザが消去方法を明示的に入力しなくても消去方法を切り替えることができる表示装置を提供することを目的とする。
上記課題に鑑み、本発明は、入力手段による入力に応じて手書きデータを表示する表示装置であって、前記入力手段がディスプレイに接触する面積、前記入力手段の移動速度、又は、前記入力手段がディスプレイを押す圧力に応じて、前記手書きデータの消去方法を切り替える消去方法切替部、を有することを特徴とする。
ユーザが消去方法を明示的に入力しなくても消去方法を切り替えることができる表示装置を提供することができる。
以下、本発明を実施するための形態の一例として、電子黒板と電子黒板における消去方法切替方法について実施例を挙げながら説明する。
<消去方法の例>
まず、図1~図3を参照して、電子黒板に表示された手書きデータの消去方法を説明する。本実施形態では手書きデータの消去方法としてストローク消去と部分消去がある。図1は、ストローク消去を説明する図である。図1(a)はカタカナの「イ」である。入力手段とディスプレイの接触部201を円形で表す。ユーザが「イ」の第二辺202(1つのストローク全体)を消去したい場合、ユーザはメニューに表示されるアイコンなどからストローク消去を選択する。ユーザは入力手段で第二辺202の一部に触れる。図1(a)では入力手段が第二辺202を右から左に横切っている。
まず、図1~図3を参照して、電子黒板に表示された手書きデータの消去方法を説明する。本実施形態では手書きデータの消去方法としてストローク消去と部分消去がある。図1は、ストローク消去を説明する図である。図1(a)はカタカナの「イ」である。入力手段とディスプレイの接触部201を円形で表す。ユーザが「イ」の第二辺202(1つのストローク全体)を消去したい場合、ユーザはメニューに表示されるアイコンなどからストローク消去を選択する。ユーザは入力手段で第二辺202の一部に触れる。図1(a)では入力手段が第二辺202を右から左に横切っている。
これにより、電子黒板は第二辺202のストローク全体を消去する。図1(b)は第二辺202が消去された「イ」の一部を示す。このように、ストローク消去では、入力手段が触れたストロークの一部だけでなく、ストローク全体が消去される。
図2は、部分消去を説明する図である。図2(a)は図1(a)と同じである。ユーザが「イ」の第二辺202の一部(1つのストロークの一部)を消去したい場合、ユーザはメニューに表示されるアイコンなどから部分消去を選択する。ユーザは入力手段で第二辺202の消去したい部分に触れる。これにより、電子黒板は第二辺202のうち入力手段が触れた座標点を消去する。
図2(b)は第二辺202の一部が消去された「イ」を示す。このように、部分消去では、入力手段が触れたストロークの一部だけが消去される。
図3は、多くの手書きデータをユーザが部分消去で消去する例を説明する図である。部分消去では入力手段が横切った部分(手書きデータのうち入力手段とディスプレイの接触部が通過した座標と一致する座標点)しか消去されないため、ストロークの破片が残ってしまう。ユーザは手を何度も動かさないと所望の範囲を消去できない。
<消去方法の切り替え方法の一例>
そこで、本実施形態では、入力手段の接触面積又は入力手段の移動速度の少なくとも1つに応じて、自動的にストローク消去と部分消去を切り替える電子黒板について説明する。
そこで、本実施形態では、入力手段の接触面積又は入力手段の移動速度の少なくとも1つに応じて、自動的にストローク消去と部分消去を切り替える電子黒板について説明する。
図4は、本実施形態の消去方法の切り替え方法を説明する図の一例である。図4(a)では、ユーザが手のひら210をタッチパネルに触れさせている。したがって、入力手段の接触面積が大きい。この状態で、ユーザが手のひらを速く移動させることで、第二辺202の一部に触れる。電子黒板は、入力手段の接触面積が閾値以上、かつ、入力手段の移動速度が閾値以上であると判断して、消去方法をストローク消去に切り替える(初期状態を部分消去とする)。したがって、電子黒板は第二辺202のストローク全体を消去する。
図4(b)では、ユーザが指の一部211をタッチパネルに触れさせている。したがって、入力手段の接触面積が小さい。この状態で、ユーザが手を移動させることで(移動速度は閾値以上でも閾値未満でもよい)、第二辺202の一部に触れる。電子黒板は、入力手段の接触面積が閾値以上でないと判断して、消去方法を部分消去に切り替える(部分消去を継続する)。したがって、電子黒板は第二辺202のうち入力手段が触れた座標点を消去する。
なお、後述するように、電子黒板は接触面積のみ、又は、移動速度のみで消去方法を切り替えてもよい。
このように、本実施形態の電子黒板は、入力手段が接触している面積、又は、移動速度に応じて、自動的にストローク消去と部分消去を切り替えることができる。したがって、電子黒板は手書き後に一定時間が経過した後も、ユーザがメニューから消去方法を切り替えないで、ストローク消去と部分消去を使い分けることができる。
<用語について>
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材、及び、専用の消しゴム部品、などがある。また、視線入力が可能でもよい。また、入力手段は手書きする場合だけでなく、消去する場合にも使用される。
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材、及び、専用の消しゴム部品、などがある。また、視線入力が可能でもよい。また、入力手段は手書きする場合だけでなく、消去する場合にも使用される。
手書きデータとは、タッチパネル上でユーザが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザがタッチパネルに入力手段を押しつけてから連続的に移動させた後、タッチパネルから離すという一連の操作をストロークという。ストロークにより手書きされたデータはストロークデータという。手書きデータは1つ以上のストロークデータを有する。手書き入力とは、ユーザによって、手書きデータが入力されることを示している。
手書きデータの消去方法は、ユーザが手書きデータを消去できる範囲を指定する。例えば、ストローク単位で消去するストローク消去、又は、座標点単位で消去する部分消去がある。この他、文字単位で消去する文字消去、接触部位から一定距離の範囲だけ消去する一定距離消去などの消去方法があってもよい。一つの文字はストロークの集まりの外接矩形により検出される。例えば、本実施形態のストローク消去が文字消去に置き換えられてよい。
<システム構成例>
図5は、本実施形態の通信システムの全体構成図である。なお、図5では、説明を簡略化するために、2台の電子黒板2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の電子黒板2や電子ペン等を利用してもよい。
図5は、本実施形態の通信システムの全体構成図である。なお、図5では、説明を簡略化するために、2台の電子黒板2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の電子黒板2や電子ペン等を利用してもよい。
図5に示されているように、通信システム1は、複数の電子黒板2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、ノートPC(Personal Computer)6a,6b、テレビ(ビデオ)会議端末7a,7b、及びPC8を有する。また、電子黒板2a,2b、及びPC8は、通信ネットワーク9を介して通信可能に接続されている。更に、複数の電子黒板2a,2bには、それぞれディスプレイ3a,3bが設けられている。
また、電子黒板2aには、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)による描画された画像を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザの手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。
また、電子黒板2aには、USBメモリ5aが接続可能であり、電子黒板2aはUSBメモリ5aからPDF等の電子ファイルを読み出したり、電子黒板2aはUSBメモリ5aに電子ファイルを記録したりすることができる。また、電子黒板2aには、DisplayPort(登録商標)、DVI(Digital Visual Interface)、HDMI(High-Definition Multimedia Interface。登録商標)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、電子黒板2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。同じく、電子黒板2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。
一方、電子黒板2bが設置されている他の拠点では、上記と同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
これにより、一の拠点で電子黒板2aのディスプレイ3a上に描画された画像は、他の拠点で電子黒板2bのディスプレイ3b上にも表示される。逆に他の拠点で電子黒板2bのディスプレイ3b上に描画された画像は、一の拠点で電子黒板2aのディスプレイ3a上に表示される。このように、通信システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
なお、以下では、複数の電子黒板2のうち任意の電子黒板2を示す場合には「電子黒板2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPCのうち任意のノートPCを示す場合には「ノートPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。
また、本実施形態では、表示装置の一例として、電子黒板2を説明するが、これに限るものではない。表示装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等であってもよい。また、情報処理端末の一例として、ノートPC6を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA(Personal Digital Assistant)、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。
<電子黒板のハードウェア構成>
続いて、図6を用いて、本実施形態の電子黒板2のハードウェア構成を説明する。なお、図6は、電子黒板2のハードウェア構成図である。
続いて、図6を用いて、本実施形態の電子黒板2のハードウェア構成を説明する。なお、図6は、電子黒板2のハードウェア構成図である。
図6に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、電子黒板2用のプログラム等の各種データを記憶するSSD104、通信ネットワーク9との通信を制御するネットワークコントローラ105、及び、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。
SSD104は、OSや電子黒板2用のプログラム等の各種データを記憶する。なお、このプログラムは汎用的なOS(Windows(登録商標)、Mac OS(登録商標)、Android(登録商標)、iOS(登録商標)等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。
また、電子黒板2は、ノートPC6のディスプレイに対して映像情報を静止画又は動画として表示させるキャプチャデバイス111、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112、及び、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ113を備えている。
更に、電子黒板2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。この接触センサ115は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば赤外線遮断方式である。この方式では、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射する。ディスプレイ3の周囲に設けられた反射部材が赤外線を反射し、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ115は、物体によって遮断された遮断位置をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を三角測量で特定する。
また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、又は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
また、電子黒板2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
更に、電子黒板2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116を、図6に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
<電子黒板の機能構成>
続いて、図7乃至図20を用いて、電子黒板2の機能構成について説明する。なお、先ずは、図7を用いて、電子黒板2の全体的な機能構成について説明する。図7は、電子黒板2の機能ブロック図である。
続いて、図7乃至図20を用いて、電子黒板2の機能構成について説明する。なお、先ずは、図7を用いて、電子黒板2の全体的な機能構成について説明する。図7は、電子黒板2の機能ブロック図である。
電子黒板2は、図6に示されているハードウェア構成及びプログラムによって、図7にされ示されている各機能構成を有する。電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板2は、大きく分けて、クライアント部20及びサーバ部90の両方によって構成されている。クライアント部20及びサーバ部90は、電子黒板2の1台の筐体内で実現される機能である。そして、電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20とサーバ部90が実現される。また、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現されるが、サーバ部90は実現されない。即ち、図5において、電子黒板2aが主催装置で、電子黒板2bが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2bのクライアント部20と通信を行う。一方、電子黒板2bのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2aのクライアント部と通信を行う。
<<クライアント部の機能構成>>
続いて、主に図7乃至図9を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、圧力検知部24-2、イベント振分部25、消去方法切替部25-2、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
続いて、主に図7乃至図9を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、圧力検知部24-2、イベント振分部25、消去方法切替部25-2、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
このうち、映像取得部21は、ケーブル10に接続された映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。
座標検知部22は、ディスプレイ3上に入力手段によって生じたイベント(ディスプレイ3上に入力手段が触れた動作等)の座標位置を検出する。また、座標検知部22は、入力手段の接触面積も検出する。
自動調整部23は、電子黒板2の起動時に起動され、接触センサ115が座標検知部22に適切な値を出力できるように、接触センサ115の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
接触検知部24は、ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等を検出する。
圧力検知部24-2は、ディスプレイ3が入力手段で押下された際の圧力を検知する。圧力の検知には、ディスプレイ3に生じた変位又は圧力を検出する方法と、電子ペン4が検出した圧力を電子黒板2に送信する方法がある。本実施形態では、電子ペン4が使用されない場合も想定されるので、ディスプレイ3側で圧力を検知できるとよい。
イベント振分部25は、座標検知部22によって検知されたイベントの座標位置、接触検知部24によって検出された検出結果、及び、圧力検知部24-2が検知した圧力を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。
ここで、「ストローク描画」は、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである(図20のストローク画像(B))。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を消去したり、描画された画像を編集したりするイベントも含まれる。
「UI操作」は、ディスプレイ3上に図20に示されている後述のUI画像(A)が表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
「ジェスチャ操作」は、ディスプレイ3上に図20に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動したりさせるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素にしたがって、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
イベント振分部25、消去方法切替部25-2、操作処理部26、ジェスチャ処理部27、及び、ストローク処理部32は、ユーザの操作を受け付ける操作受付部99となる。
映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として映像出力機器(ディスプレイ3等)に対して表示する。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。
画像処理部30は、図20に示されているような各画像レイヤの重畳処理等を行う。この画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、及び遠隔ライセンス管理テーブル310を有している。
このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、図20に示されている映像出力機器(ノートPC6等)からの出力画像(C)に相当する。
消去方法切替部25-2は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、消去方法を切り替える。すなわち、消去方法切替部25-2は、入力手段の接触面積、移動速度、及び、圧力の1つに基づいて消去方法がストローク消去か部分消去かを判断する。また、消去方法切替部25-2は、入力手段の接触面積と移動速度、又は、圧力と移動速度に基づいて消去方法がストローク消去か部分消去かを判断する。
ストローク処理部32は、消去方法切替部25-2による判断に基づいて、画像を描画したり、描画された画像を消去したり、描画された画像を編集する。このストローク描画による画像は、図20に示されているストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、消去、編集の各結果は、後述の操作データとして、操作データ記憶部840に記憶される。
UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図20に示されているUI画像(A)に相当する。
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、図20に示されている背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、及びUI画像生成部33(又は背景生成部34)から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、及びUI画像生成部33(背景生成部34)から出力された各画像のレイアウトを行う。
ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、図10に示されているストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。出力画像(C)のデータは、図10に示されているメディアデータIDで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶される。その後に出力画像(C)がページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
表示重畳部36は、 画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトにしたがって重畳する。これにより、図20に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイアの構成となっている。
また、表示重畳部36は、図20に示されている画像(C)と画像(D)を切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)及び画像(C)が表示されている状態で、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれたとする。表示重畳部36は、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
ページデータ記憶部300は、図10に示されているようなページデータを記憶する。図10は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図10乃至図13に分けて、ページデータの内容を説明する。
ページデータは、図10に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、後述の図20に示されているストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、後述の16に示されている背景画像(D)がディスプレイ3上に表示されるためのデータである。
このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
また、ストローク配列データは、図11に示されているように詳細な情報を示している。図11は、ストローク配列データを示す概念図である。図11に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。
更に、この座標配列データは、図12に示されているように詳細な情報を示している。図12は、座標配列データを示す概念図である。図12に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、図12に示されている1点の集まりが、図11に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
また、図10に示されているページデータのうちのメディアデータは、図13に示されているように詳細な情報を示している。図13は、メディアデータを示す概念図である。図13に示されているように、メディアデータは、図10に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。
また、図7に戻り、遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル310では、図14に示されているように、電子黒板2のプロダクトID、認証に用いられるライセンスID、及びライセンスの有効期限が関連付けて管理されている。
<<ファイル処理部の機能構成>>
続いて、図8を用いて、図7に示されているファイル処理部40の機能構成を説明する。なお、図8は、ファイル処理部40の機能ブロック図である。
続いて、図8を用いて、図7に示されているファイル処理部40の機能構成を説明する。なお、図8は、ファイル処理部40の機能ブロック図である。
ファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a、及び設定ファイル出力部49bを有している。更に、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、及び接続先管理テーブル440を有している。
このうち、リカバリ処理部41は、電子黒板2が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがPDFファイルとしてファイル処理部40を介してUSB5に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部41は、ページデータ記憶部300からページデータを読み出すことで復旧させる。
ファイル入力部42aは、USBメモリ5から、PDFファイルを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。
ファイル変換部43は、ページデータ記憶部300に記憶されているページデータを、PDF形式のファイルに変換する。
ファイル出力部42bは、ファイル変換部42によって出力されたPDFファイルをUSBメモリ5に記録する。
ファイル送信部44は、ファイル変換部43によって生成されたPDFファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部36によってディスプレイ3上にアドレス帳管理テーブル410の内容を表示し、ファイル送信部44がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル410には、図15に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。また、ファイル送信部44が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。
アドレス帳入力部45は、USBメモリ5から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル410に管理する。
バックアップ処理部46は、ファイル出力部42bによって出力されたファイルや、ファイル送信部44によって送信されたファイルを、バックアップデータ記憶部420に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図16に示されているように、PDF形式で記憶される。
バックアップ出力部47は、バックアップされたファイルをUSBメモリ5に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。
設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はDNS(Domain Name System)の設定等である。
設定ファイル出力部49bは、電子黒板2の各種設定情報を、設定ファイルとしてUSBメモリ5に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。
設定ファイル入力部49aは、USBメモリ5に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板2の各種設定に反映させる。
接続先リスト入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧ファイルを読み込み、接続先管理テーブル440に管理する。なお、図17に示されているように、接続先管理テーブル440は、電子黒板2が遠隔共有処理に参加しようとする参加装置である場合、予め管理しておくテーブルである。この参加装置のユーザが主催装置としての役割を果たす電子黒板2のIPアドレスを入力する手間を削減できる。この接続先管理テーブル440では、参加されることが可能な主催装置としての電子黒板2が設置されている拠点の名称、及び主催装置としての電子黒板2のIPアドレスが関連付けて管理されている。
なお、接続先管理テーブル440は、無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のIPアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のIPアドレスを知得する。
<<通信制御部の機能構成>>
次に、図9を用いて、通信制御部60の機能構成について説明する。図9は、通信制御部60の機能ブロック図である。通信制御部60は、通信ネットワーク9を介して、他の電子黒板2と行う通信や、サーバ部90における後述の通信制御部70と行う通信を制御する。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、及び参加拠点管理テーブル610を有している。
次に、図9を用いて、通信制御部60の機能構成について説明する。図9は、通信制御部60の機能ブロック図である。通信制御部60は、通信ネットワーク9を介して、他の電子黒板2と行う通信や、サーバ部90における後述の通信制御部70と行う通信を制御する。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、及び参加拠点管理テーブル610を有している。
このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ部90に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部90から要求の結果を受信する。この場合、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照し、ライセンス情報(プロダクトID、ライセンスID、及び有効期限)が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
参加拠点管理テーブル610は、電子黒板2が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板2を管理するテーブルである。この参加拠点管理テーブル610では、図18に示されているように、参加中の電子黒板2が設置されている拠点の名称及び当該電子黒板2のIPアドレスが関連付けて管理されている。
遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置としての電子黒板2のサーバ部90における遠隔接続要求受信部71に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル440を参照して、参加先の電子黒板2のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板2のIPアドレスが入力されてもよい。
遠隔画像送信部63は、映像取得部21から画像取得部31を介して送られて来た出力画像(C)を、サーバ部90に送信する。
遠隔画像受信部64は、サーバ部90から、他の電子黒板2に接続された映像出力機器からの画像データを受信し、表示重畳部36に出力することで、遠隔共有処理を可能にする。
遠隔操作送信部65は、遠隔共有処理に必要な各種操作データをサーバ部90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの消去、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部66は、サーバ部90から、他の電子黒板2で入力された操作データを受信し、画像処理部30に出力することで、遠隔共有処理を行う。
<サーバ部の機能構成>
続いて、図9を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部90としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、及びデータ管理部80を有している。
続いて、図9を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部90としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、及びデータ管理部80を有している。
<<通信制御部の機能構成>>
次に、図9を用いて、通信制御部70の機能構成について説明する。通信制御部70は、同じ電子黒板2内のクライアント部20における通信制御部60、及び通信ネットワーク9を介して他の電子黒板2内のクライアント部20における通信制御部60との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
次に、図9を用いて、通信制御部70の機能構成について説明する。通信制御部70は、同じ電子黒板2内のクライアント部20における通信制御部60、及び通信ネットワーク9を介して他の電子黒板2内のクライアント部20における通信制御部60との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
更に詳細に説明すると、通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、及び遠隔操作送信部76を有している。
このうち、遠隔接続要求受信部71は、遠隔開始処理部61からの遠隔共有処理の開始要求を受信し、遠隔参加処理部62からの遠隔共有処理に対する参加要求を受信する。遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求の結果を送信し、遠隔参加処理部62へ遠隔共有処理に対する参加要求の結果を送信する。
遠隔画像受信部73は、遠隔画像送信部63からの画像データ(出力画像(C)のデータ)を受信し、後述の遠隔画像処理部82に送信する。遠隔画像送信部74は、遠隔画像処理部82から画像データを受信し、遠隔画像受信部64に対して、この画像データを送信する。
遠隔操作受信部75は、遠隔操作送信部65からの操作データ(ストローク画像(B)等のデータ)を受信し、後述の遠隔操作処理部83に送信する。遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、この操作データを送信する。
<<データ管理部の機能構成>>
次に、図9を用いて、データ管理部80の機能構成について説明する。データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、及びページ処理部85を有している。更に、サーバ部90は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、及びページデータ記憶部850を有している。
次に、図9を用いて、データ管理部80の機能構成について説明する。データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、及びページ処理部85を有している。更に、サーバ部90は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、及びページデータ記憶部850を有している。
このうち、遠隔接続処理部81は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。あるいは、遠隔接続処理部81は、遠隔接続要求受信部71が遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部81は、クライアント部としての他の電子黒板2からの参加要求が予め定められた参加可能数を超えていないかを確認する。
更に、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、主催装置としての電子黒板2のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。
また、電子黒板2が主催装置の場合、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部90の参加拠点管理テーブル820に記憶する。そして、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。遠隔接続結果送信部72は、同じ主催装置のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。遠隔開始処理部61は、参加拠点管理テーブルに610に、遠隔拠点情報を記憶する。これにより、主催装置は、クライアント部20及びサーバ部90の両方で、遠隔拠点情報を管理することになる。
遠隔画像処理部82は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板2のクライアント部を含む)に接続された映像出力機器(ノートPC6等)からの画像データ(出力画像(C))を受信して画像データ記憶部830に記憶する。また、遠隔画像処理部82は、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像データの表示順を判断する。また、遠隔画像処理部82は、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部を含む)に、通信制御部70(遠隔画像送信部74)を介して、上記判断した順番で画像データを送信する。
遠隔操作処理部83は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板2のクライアント部を含む)で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を受信する。遠隔操作処理部83は、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像の表示順を判断する。なお、各種操作データは、上記の各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部を含む)に操作データを送信する。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データにグローバルシーケンスを付与し、操作データを操作データ記憶部840に記憶すると共に遠隔操作処理部83に戻す。この操作データは、遠隔操作送信部76から、主催装置である電子黒板2のクライアント部、及び参加装置である電子黒板2のクライアント部のそれぞれに送信されることで、各電子黒板2で同じ操作データに係る画像が表示される。したがって、操作データ記憶部840は各電子黒板2のクライアント部も共有する。
ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ部90でも、図10乃至図12に示されているページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容であるため、その説明を省略する。
図19は、実施形態に係る操作データ記憶部840に記憶される操作データ管理テーブルの一例を示す概念図である。操作データ管理テーブルには、同じ会議に参加している各電子黒板2の間で相互通信を行うためのセッションを識別するためのセッションID毎に、電子黒板2の間で共有される操作データと画像データに情報が記憶されて管理されている。
操作データ管理テーブルに示されているデータには、各データを識別するためのID、各データの発生順序を示すシーケンス番号(グローバルシーケンス番号)、データの内容を示す情報(body)、並びに親となるデータを特定するための情報(parent)が含まれている。例えば、複数の電子黒板2によって実行されている遠隔会議を示す会議情報の場合、操作データ管理テーブルには、実行されている会議を識別するための会議ID(セッションID)、会議によって生成されたページを示す情報(children)並びに電子黒板2に現在表示されている画面を構成するページを示す情報(Current Page)が含まれている。また、例えば、ページデータの場合、操作データ管理テーブルには、ページ(ページデータ)を識別するためのページID、該当するページを構成する背景画像データの保存位置を示すURL(Uniform Resource Locator)が含まれている。
更に、例えば、ストロークデータの場合、操作データ管理テーブルには、「ストローク描画」イベントによって生成されたストロークデータを識別するためのストロークID、ストロークデータの内容を示す情報、及び、親となるページ(ページデータ)を特定するための情報(parent)が含まれている。この場合、ストロークデータの内容を示す情報(body)には、描画されたストロークの色、描画されたストロークの線の太さを示す幅、及び、描画されたストロークの頂点(x,y)の情報が含まれている。この操作データ管理テーブルにより、電子黒板2は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを含む共有画面に関する各種データを管理することができる。
<実施形態の処理又は動作>
続いて、図21及び図22を用いて、本実施形態の処理又は動作について説明する。なお、図21及び図22は、各電子黒板2の処理を示したシーケンス図である。
続いて、図21及び図22を用いて、本実施形態の処理又は動作について説明する。なお、図21及び図22は、各電子黒板2の処理を示したシーケンス図である。
図21及び図22に示す実施形態では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部及びクライアント部)としての役割を果たしており、電子黒板2b,2cが遠隔共有処理に参加する参加装置(クライアント部)としての役割を果たす場合について説明する。また、ここでは、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが接続され、更に、それぞれノートPC6a,6b,6cが接続されている。また、電子黒板2a,2b,2cでは、それぞれ電子ペン4a,4b,4cが使用される。
(参加の処理)
まずは、図21を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
まずは、図21を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
ユーザが電子黒板2aの電源スイッチをオンにすると、電子黒板2aのクライアント部20が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部90を起動させる操作をすると、クライアント部20の遠隔開始処理部61から同じ電子黒板2aのサーバ部90における遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなくサーバ部90も各種処理を開始可能となる(ステップS21)。
次に、電子黒板2aのクライアント部20におけるUI画像生成部33が電子黒板2aとの接続を確立するための接続情報を生成し、映像重畳部28が、UI画像生成部33から表示重畳部36を介して得た接続情報をディスプレイ3aに表示させる(ステップS22)。この接続情報には、主催装置のIPアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部810に記憶されているパスコードは、図9に示されている遠隔接続処理部81によって読み出され、遠隔接続結果送信部72、遠隔開始処理部61の順に送信される。更に、パスコードは、遠隔開始処理部61を含む通信制御部60から、図7に示されている画像処理部30に送信され、最終的にUI画像生成部33に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板2aのユーザによって、電話や電子メールにより、電子黒板2b,2cのユーザに伝えられる。なお、接続先管理テーブル440があれば、接続情報には、主催装置のIPアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
次に、電子黒板2b,2cは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付ける。これにより、各電子黒板2a,2bのクライアント部20における遠隔参加処理部62が、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90における通信制御部70に対してパスコードを送信して参加要求を行う(ステップS23,S24)。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b,2cから、参加要求(パスコードを含む)を受信し、このパスコードを遠隔接続処理部81に出力する。
次に、遠隔接続処理部81は、各電子黒板2b,2cから受信したパスコードに対し、パスコード管理部810で管理されているパスコードを用いて認証する(ステップS25)。そして、遠隔接続結果送信部72が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS26,S27)。ステップS25の認証により、各電子黒板2b,2cが正当な電子黒板2であると判断されていた場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b,2cとの遠隔共有処理の通信が確立される。各電子黒板2b,2cのクライアント部20における遠隔参加処理部62が、それぞれ他の電子黒板2との間の遠隔共有処理の開始を可能にする(ステップS28,S29)。
(出力画像の表示)
続いて、図21を用いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
続いて、図21を用いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
まず、電子黒板2bは、ディスプレイ3bに出力画像(C)を表示する(ステップS30)。具体的には、電子黒板2bの画像取得部31が、ノートPC6bから映像取得部21を介して、ノートPC6bで表示されている出力画像(C)のデータを受信する。表示重畳部36は映像重畳部28を介してディスプレイ3bに送信することで、ディスプレイ3bは出力画像(C)を表示する。
次に、電子黒板2bの画像取得部31を含む画像処理部30が、遠隔画像送信部63に出力画像(C)のデータを送信する。これにより、遠隔画像送信部63を含む通信制御部60が通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70に出力画像(C)のデータを送信する(ステップS31)。これにより、電子黒板2aの遠隔画像受信部73は、出力画像(C)のデータを受信し、遠隔画像処理部82に出力することで、遠隔画像処理部82が画像データ記憶部830に出力画像(C)のデータを記憶する。
次に、主催装置である電子黒板2aは、ディスプレイ3aに出力画像(C)を表示する(ステップS32)。具体的には、電子黒板2aの遠隔画像処理部82は、遠隔画像受信部73から受信した出力画像(C)のデータを、遠隔画像送信部74に出力する。遠隔画像送信部74は、同じ主催装置である電子黒板2aのクライアント部20における遠隔画像受信部64に、出力画像(C)のデータを出力する。遠隔画像受信部64は、表示重畳部36に出力画像(C)のデータを出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3aに出力画像(C)のデータを出力する。これにより、ディスプレイ3aは、出力画像(C)を表示する。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔画像送信部74を含む通信制御部70は、通信ネットワーク9を介して、電子黒板2cの通信制御部60に出力画像(C)のデータを送信する(ステップS33)。電子黒板2cは、出力画像(C)のデータの送信元である電子黒板2b以外の電子黒板2である。これにより、参加装置である電子黒板2cの遠隔画像受信部64は、出力画像(C)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに出力画像(C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔画像受信部64が、上記ステップS33によって受信された出力画像(C)のデータを、電子黒板2cの表示重畳部36に出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3cに出力画像(C)のデータを出力する。これにより、ディスプレイ3cは、出力画像(C)を表示する。
なお、出力画像(C)のデータだけでなく、UI画像(A)、及びストローク画像(B)の各データが、表示重畳部36に入力されている場合には、表示重畳部36が、重畳画像(A,B,C)を生成する。映像重畳部28はディスプレイ3cに重畳画像(A,B,C)のデータを出力する。また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(E)のデータが送信されている場合、映像重畳部28は、重畳画像(A,B,C)にピクチャ・イン・ピクチャによりテレビ会議用の映像(E)のデータを重畳して、ディスプレイ3cに出力する。
(重畳画像の表示)
続いて、図22を用いて、共有処理における重畳画像が表示される処理について説明する。
続いて、図22を用いて、共有処理における重畳画像が表示される処理について説明する。
まず、電子黒板2bは、ユーザが電子ペン4bを用いて電子黒板2bにストローク画像(B)を描画する(ステップS41)。
次に、電子黒板2bの表示重畳部36は、図20に示されているように、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳し、映像重畳部28が電子黒板2bのディスプレイ3b上に、重畳された重畳画像(A,B,C)を表示させる(ステップS42)。具体的には、電子黒板2bのストローク処理部32が座標検知部22及び接触検知部24からイベント振分部25を介して、操作データとしてのストローク画像(B)のデータを受信し、表示重畳部36に送信する。これにより、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳することができ、映像重畳部28が電子黒板2bのディスプレイ3b上に重畳画像(A,B,C)を表示させることができる。
次に、電子黒板2bのストローク処理部32を含む画像処理部30が、遠隔操作送信部65にストローク画像(B)のデータを送信する。これにより、電子黒板2bの遠隔操作送信部65は、通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70にストローク画像(B)のデータを送信する(ステップS43)。これにより、電子黒板2aの遠隔操作受信部75は、ストローク画像(B)のデータを受信し、遠隔操作処理部83に出力することで、遠隔操作処理部83が操作合成処理部84にストローク画像(B)のデータを出力する。このようにして、電子黒板2bで描画されたストローク画像(B)のデータは、描画される度に、主催装置である電子黒板2aの遠隔操作処理部83に順次送信される。このストローク画像(B)のデータは、図11に示されているストロークデータID毎に示されるデータである。よって、例えば、上記したように、ユーザが電子ペン4によってアルファベット「T」を描く場合は二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(B)のデータが順次送信される。
次に、主催装置である電子黒板2aは、ディスプレイ3aに、電子黒板2bから送られて来たストローク画像(B)のデータが含まれた重畳画像(A,B,C)を表示する(ステップS44)。具体的には、電子黒板2aの操作合成処理部84は、遠隔操作処理部83を介して順次送られて来た複数のストローク画像(B)のデータを合成して、操作データ記憶部840に記憶すると共に遠隔操作処理部83に戻す。これにより、遠隔操作処理部83は、操作合成処理部84から受信した、合成後のストローク画像(B)のデータを、遠隔操作送信部76に出力する。遠隔操作送信部76は、同じ主催装置である電子黒板2aのクライアント部20における遠隔操作受信部66に、合成後のストローク画像(B)のデータを出力する。遠隔操作受信部66は、画像処理部30における表示重畳部36に、合成後のストローク画像(B)のデータを出力する。よって、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、合成後のストローク画像(B)を重畳する。最後に、映像重畳部28が、表示重畳部36によって重畳された重畳画像(A,B,C)をディスプレイ3a上に表示させる。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔操作送信部76を含む通信制御部70は、通信ネットワーク9を介して、電子黒板2cの通信制御部60に、合成後のストローク画像(B)のデータを送信する(ステップS45)。電子黒板2cはストローク画像(B)のデータの送信元である電子黒板2b以外の電子黒板2である。これにより、参加装置である電子黒板2cの遠隔操作受信部66は、合成後のストローク画像(B)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに重畳画像(A,B,C)を表示する(ステップS44)。具体的には、電子黒板2cの遠隔操作受信部66が、上記ステップS45によって受信された合成後のストローク画像(B)のデータを、電子黒板2cの画像処理部30に出力する。画像処理部30の表示重畳部36は、UI画像(A)、及び出力画像(C)の各データと、合成後のストローク画像(B)のデータを重畳し、映像重畳部28に重畳画像(A,B,C)のデータを出力する。映像重畳部28は、ディスプレイ3cに重畳画像(A,B,C)のデータを出力する。これにより、ディスプレイ3cは、重畳画像(A,B,C)を表示する(ステップS46)。
なお、上記処理では、ディスプレイ3上に出力画像(C)が表示されているが、この出力画像(C)に代えて、背景画像(D)を表示してもよい。また、電子黒板2は、出力画像(C)と背景画像(D)との排他的に表示するのでなく、出力画像(C)と背景画像(D)との両方を同時にディスプレイ3上に表示させてもよい。
(参加の終了)
続いて、図22を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図22に示す実施形態では、電子黒板2cが参加を終了する処理が示されている。
続いて、図22を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図22に示す実施形態では、電子黒板2cが参加を終了する処理が示されている。
まず、電子黒板2cでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部62は、主催装置としての電子黒板2aのサーバ部90における通信制御部70に、参加の終了要求を行う(ステップS47)。これにより、通信制御部70の遠隔接続要求受信部71は、電子黒板2cから、参加の終了要求を受信し、遠隔接続処理部81に、電子黒板2cのIPアドレスと共に参加の終了要求を出力する。そして、電子黒板2aの遠隔接続処理部81は、遠隔接続要求受信部71から送信されたIPアドレスに基づいて、参加拠点管理テーブル820から、参加の終了要求を行った電子黒板2cのIPアドレス及び電子黒板2cが設置されている拠点の名称を削除する。遠隔接続処理部81は、遠隔接続結果送信部72に、電子黒板2cのIPアドレス及び削除した旨の通知を出力する。
次に、遠隔接続結果送信部72を含んだ通信制御部70が、通信ネットワーク9を介して、電子黒板2cのクライアント部20における通信制御部60に、参加の終了を指示する(ステップS48)。これにより、電子黒板2cにおける通信制御部60の遠隔参加処理部62が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する(ステップS49)。
<入力手段の接触面積と移動速度に応じた手書きデータの消去>
続いて、消去方法の切り替えについて説明する。消去方法切替部25-2は入力手段の接触面積と移動速度の少なくとも一方に応じて、手書きデータの消去方法を切り替える。
続いて、消去方法の切り替えについて説明する。消去方法切替部25-2は入力手段の接触面積と移動速度の少なくとも一方に応じて、手書きデータの消去方法を切り替える。
図23は、入力手段の接触面積の大きさを説明する図である。図23(a)では手のひら210、手のひらの側面212、指の一部211(第1関節から第2関節まで)、及び、指先213がディスプレイ3に接している。図23に示すように、ユーザが手を使ってストロークを消去する場合、手の形によってディスプレイ3との接触面積が異なる。一般に、ユーザが細かく狭い部分を消去する際には接触面積を小さくし、逆に、大まかに広い部分を消す際には接触面積を大きくする。
また、図23(a)では比較のため、ペン状部材214による接触面積が示されている。ペン状部材214の先端部は半球状に整形されており、指よりも接触面積が小さい場合が多い。ペン状部材214はペンの形状を有するが電子黒板2との通信機能を有さない。
閾値Aはユーザが使用した入力手段がペン状部材214かそうでないかを電子黒板2が判断するための閾値である(第一の閾値の一例)。電子黒板2はペン状部材214が入力手段の場合、ストロークを描画する。
閾値Bは、ユーザが消去したいという前提で、電子黒板2がストローク消去又は部分消去を切り替えるための閾値である(第二の閾値の一例)。
また、電子黒板2には図23(b)に示すような専用のイレーサー215が用意されている。ユーザはイレーサー215を黒板消しのように使用できる。イレーサー215はその姿勢をユーザが変えることで、ディスプレイ3との接触面積を大きくしたり小さくしたりすることができる。したがって、ユーザは手の代わりにイレーサー215を使って消去方法を切り替えることができる。以下では、ユーザが手を使って消去する場合を説明するが、イレーサー215を使った場合も本実施形態の消去方法の切り替えを同様に適用できる。
ユーザは消去したいストロークの描画範囲の広さに応じて、手の形を変えて消去する。また、一般に、消去したいストロークの描画範囲が広いほど、ユーザが速く手を動かす傾向がある。
そこで、本実施形態の電子黒板2は、入力手段の接触面積と移動速度に応じて、ストローク消去と部分消去を切り替える。また、ユーザによっては、接触面積のみ又は移動速度のみでストローク消去と部分消去を切り替えたいので、ユーザが切り替え方法を設定できるとよい。
図24は、電子黒板2が表示する消去方法の切り替え方法設定画面220の一例である。切り替え方法設定画面220は、チェック欄221aに対応付けて、「ストローク消去と部分消去を自動的に切り替える」というメッセージ221bを表示する。ユーザがメニューからストローク消去と部分消去に対応するアイコンを都度、選択するのでなく、自動的にストローク消去と部分消去を切り替えたい場合、チェック欄221aをチェックする。
切り替え方法設定画面220は以下の選択肢からユーザの選択を受け付ける。
・「手のひら全体で消した場合にのみストローク消去とする」222は、入力手段の接触面積のみを消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「速く動かした場合にのみストローク消去とする」223は、入力手段の移動速度のみを消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「手のひら全体で速く動かした場合にのみストローク消去とする」224は、入力手段の接触面積と移動速度を消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「手のひら全体で消した場合にのみストローク消去とする」222は、入力手段の接触面積のみを消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「速く動かした場合にのみストローク消去とする」223は、入力手段の移動速度のみを消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「手のひら全体で速く動かした場合にのみストローク消去とする」224は、入力手段の接触面積と移動速度を消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
電子黒板2は、切り替え方法設定画面220において、図23(a)に示した接触面積に関する閾値Bをユーザから受け付けることができる。切り替え方法設定画面220は「ストローク消去のときに使用する部位を選択してください」というメッセージと共に、指の一部225、手の側面226、及び、手のひら227の選択肢を表示する。ユーザは自分がストローク消去のときに使用する部位を選択できる。これにより、閾値Bが切り替わる。なお、これら選択肢は、ユーザが「手のひら全体で消した場合にのみストローク消去とする」222又は「手のひら全体で速く動かした場合にのみストローク消去とする」224を選択した場合にのみ表示されたり、半輝度から通常輝度に変更されたりしてもよい。
自分がストローク消去のときに使用する部位をユーザが選択できるので、ユーザによって手の大きさが異なったり、ストローク全体を消去したい場合に使用する手の部位が異なったりする場合に、操作性を向上できる。
同様に、ユーザによってストローク全体を消去したい場合の移動速度も異なると考えられるので、電子黒板2が移動速度の閾値の変更を受け付けることができるとよい。ユーザは自分の移動速度を考慮して閾値を設定できる。なお、閾値Aについてもユーザが変更可能でもよいし、固定であってもよい。
<接触面積の検出方法>
図25を参照して接触面積の検出方法について説明する。図25は、ディスプレイ3の画面と接触面積を示す概念図である。一実施形態において、ディスプレイ3の画面における座標は画素に対応している。例えば、画面の左上の頂点の座標C0が(0,0)であり、画面の右下の頂点が(1920,1080)である。接触部HT1の縦横の長さは、接触部HT1の接線により形成される矩形Rの右下の頂点の座標CR(例えば(11,11))から矩形の左上CLの頂点(例えば(7,5))の座標を引いた差分(例えば(4,6))である。したがって、接触部HT1の接触面積は4×6=24である。接触部HT2の接触面積も同様に算出できる。
図25を参照して接触面積の検出方法について説明する。図25は、ディスプレイ3の画面と接触面積を示す概念図である。一実施形態において、ディスプレイ3の画面における座標は画素に対応している。例えば、画面の左上の頂点の座標C0が(0,0)であり、画面の右下の頂点が(1920,1080)である。接触部HT1の縦横の長さは、接触部HT1の接線により形成される矩形Rの右下の頂点の座標CR(例えば(11,11))から矩形の左上CLの頂点(例えば(7,5))の座標を引いた差分(例えば(4,6))である。したがって、接触部HT1の接触面積は4×6=24である。接触部HT2の接触面積も同様に算出できる。
なお、接触面積のこの求め方は一例に過ぎず、電子黒板2が接触部HT1の画素の数をカウントしてもよいし、OS(Operating System)から取得してもよい。
<手書きデータの入力と消去の判断について>
本実施形態の電子黒板2は、消去方法を判断する前に、手書きデータの入力なのか、消去なのかを判断する。ユーザが電子ペン4を使用しない場合は、ユーザが手書きデータを入力したいのか、消去したいのかが不明なためである。
本実施形態の電子黒板2は、消去方法を判断する前に、手書きデータの入力なのか、消去なのかを判断する。ユーザが電子ペン4を使用しない場合は、ユーザが手書きデータを入力したいのか、消去したいのかが不明なためである。
(i) まず、ユーザが電子ペン4を使用する場合を補足する。ユーザが電子ペン4を使用する場合、座標検知部22が座標を検知するタイミングで、接触検知部24が電子ペン4の先端、又は、ペン尻のどちらがディスプレイ3に接触したのかを電子ペン4から受信する。したがって、電子ペン4から受信した信号でイベント振分部25が入力か消去かを判断できる。イベント振分部25は
・電子ペン4の先端…手書きデータの入力
・電子ペン4のペン尻…手書きデータの消去
であると判断する。
・電子ペン4の先端…手書きデータの入力
・電子ペン4のペン尻…手書きデータの消去
であると判断する。
電子ペン4による手書きデータの消去の場合、ユーザがメニューからアイコンを選択するか、又は、電子ペン4のボタンを操作するなどにより、部分消去とストローク消去を切り替えることができる。
(ii) ユーザがペン状部材214、イレーサー215又は手を使用する場合、座標検知部22が座標を検知するタイミングで、接触検知部24が電子ペン4と通信しない。このため、イベント振分部25は電子ペン4が使用されていないと判断できる。この場合、イベント振分部25は、入力手段の接触面積で、手書きデータの入力か消去かを判断する。
・接触面積が閾値A未満…手書きデータの入力
・接触面積が閾値A以上…手書きデータの消去
このように、閾値Aはユーザがペン状部材214を使用したのか、手又はイレーサー215を使用したのかを判断するための閾値であるため、手書きデータの入力か手書きデータの消去かを判断するための閾値である。
・接触面積が閾値A未満…手書きデータの入力
・接触面積が閾値A以上…手書きデータの消去
このように、閾値Aはユーザがペン状部材214を使用したのか、手又はイレーサー215を使用したのかを判断するための閾値であるため、手書きデータの入力か手書きデータの消去かを判断するための閾値である。
一方、閾値Bは、消去方法切替部25-2がストローク消去か部分消去かを判断するための閾値である。したがって、電子黒板2は、接触面積により、手書きデータの入力か消去、及び、消去方法を判断できる。
<ユーザが「手のひら全体で消した場合にのみストローク消去とする」を選択した場合>
切り替え方法設定画面220において、ユーザが「手のひら全体で消した場合にのみストローク消去とする」を選択した場合の消去方法の切り替え方法を説明する。
切り替え方法設定画面220において、ユーザが「手のひら全体で消した場合にのみストローク消去とする」を選択した場合の消去方法の切り替え方法を説明する。
図26は、ユーザが「手のひら全体で消した場合にのみストローク消去とする」を選択した場合の切り替え方法をテーブルで示す図である。列はパネルへの接触面積が「広い」か「狭い」かを表し、行は手を動かす速さが「速い」か「遅い」かを表す。図26の例では、接触面積が広い場合、移動速度に関係なく、消去方法切替部25-2は自動的に消去方法をストローク消去に切り替え、それ以外は、部分消去に切り替える。
図27は、ユーザが「手のひら全体で速く動かした場合にのみストローク消去とする」を選択した場合に、電子黒板2が消去方法を切り替える手順を説明するフローチャート図の一例である。なお、図27の説明では、入力手段が電子ペン4でないものとする。
図27の処理は入力手段が接触した場合にスタートする。接触とは、入力手段の少なくとも一部がディスプレイ3と接触するか、又は、接触したとみなせるほど接近したことをいう。この接触をペンダウンという場合がある。また、入力手段がディスプレイから離間するとは、入力手段がディスプレイ3から離れるか、又は、一定距離以上離れたことをいう。離間をペンアップという場合がある。
座標検知部22が接触センサ115を介して接触を検出すると、イベント振分部25は接触検知部24から電子ペン4の接触検知がないため、手又はイレーサー215が接触したことを検出する。イベント振分部25は、座標検知部22から接触面積を取得している。そして、イベント振分部25は接触面積が閾値A以上か否かを判断する(S1)。
ステップS1の判断がNoの場合、ユーザが手書き入力するので、ストローク処理部32が座標の入力を受け付け、ストロークを描画する。
ステップS1の判断がYesの場合、イベント振分部25は消去方法の判断を消去方法切替部25-2に要求する。消去方法切替部25-2は、ユーザが手書きデータを消去すると判断する。消去方法の初期状態は部分消去である(S2)。つまり、ユーザがペン状部材214でなく、手又はイレーサー215を使用したので、手書きデータを消去したいと消去方法切替部25-2が判断する。
消去方法が部分消去である場合、ストロークを構成する座標点のうち入力手段が接触した座標のみをストローク処理部32が消去する。したがって、ユーザがディスプレイ3に触れた直後から、ストロークの一部を消去できる。
次に、消去方法切替部25-2は、接触面積が閾値B以上か否かを判断する(S3)。ステップS3の判断がNoの場合、ストローク消去の条件を満たさないので、処理はステップS2に戻る。したがって、消去方法は部分消去のままである。
接触面積が閾値B以上の場合(S3のYes)、消去方法切替部25-2は消去方法をストローク消去に切り替える(S4)。消去方法がストローク消去である場合、手又はイレーサー215が接触した座標を有するストローク全体をストローク処理部32が消去する。
その後、一定時間が経過するまで、消去方法切替部25-2はストローク消去を継続する(S5)。消去方法切替部25-2は一定時間の経過後に再度、ステップS3を判断する。すなわち、消去方法切替部25-2が部分消去からストローク消去に切り替えた場合、一定時間、ストローク消去を継続し、一定時間の経過後に、再度、入力手段がディスプレイに接触する面積に応じて、手書きデータの消去方法を判断する。一度ストローク消去となった場合、一定時間はストローク消去が継続されるので、消去中にユーザの手が一時的に離れた場合でも部分消去に戻ってしまうことを防ぐことができる。
なお、一定時間は、例えば数秒でよい。この時間をユーザが設定可能でもよい。
一定時間内にユーザが手又はイレーサー215をディスプレイ3から離した場合、消去方法切替部25-2はストローク消去を継続しても部分消去に切り替えてもよい。消去方法切替部25-2がストローク消去を継続すれば、ユーザが離れた場所のストロークを消去する場合に便利である。消去方法切替部25-2が部分消去に切り替えれば、ユーザが任意にストローク消去から部分消去に切り替えることができる。
このようにすることで、ユーザが広い範囲を消去する動作をした場合、電子黒板2は自動的にストローク消去に切り替わるため、消し残りがなくなり少ない動作でストロークを消去することができる。一方、ユーザが細かい部分を消したい場合、ストローク消去とならないため(部分消去のままであるため)、任意の部分を消すことができる。
また、ユーザは接触面積のみで、部分消去かストローク消去かを切り替えることができる。
<ユーザが「速く動かした場合にのみストローク消去とする」を選択した場合>
次に、ユーザが「速く動かした場合にのみストローク消去とする」を選択した場合を説明する。
次に、ユーザが「速く動かした場合にのみストローク消去とする」を選択した場合を説明する。
図28は、ユーザが「速く動かした場合にのみストローク消去とする」を選択した場合の切り替え方法をテーブルで示す図である。列はパネルへの接触面積が「広い」か「狭い」かを表し、行は手を動かす速さが「速い」か「遅い」かを表す。図28の例では、移動速度が速い場合、接触面積に関係なく、消去方法切替部25-2は自動的に消去方法をストローク消去に切り替え、それ以外は、部分消去に切り替える。
図29は、ユーザが「速く動かした場合にのみストローク消去とする」を選択した場合に、電子黒板2が消去方法を切り替える手順を説明するフローチャート図の一例である。図29の説明では主に図27との相違を説明する。
図29のフローチャート図では、ステップS13が図27のステップS3と異なっている。すなわち、消去方法切替部25-2は、座標検知部22が検知した座標に基づく入力手段の移動速度が閾値C以上か否かを判断する(S13)。移動速度とは、所定時間に座標点が移動した長さを、所定時間で割った値である。閾値Cは第三の閾値の一例である。
ステップS13の判断がNoの場合、ストローク消去の条件を満たさないので、処理はステップS12に戻る。したがって、消去方法は部分消去のままである。
移動速度が閾値C以上の場合(S13のYes)、消去方法切替部25-2は消去方法をストローク消去に切り替える(S14)。一度ストローク消去となった場合、一定時間はストローク消去が継続されるので、ユーザが手をジグザグに動かして消去する際の折り返し時などにすぐに部分消去に戻ってしまうことを防ぐことができる。以降の処理は図27と同様でよい。
このようにすることで、ユーザが広い範囲を消去する動作をした場合、電子黒板2は自動的にストローク消去に切り替わるため、消し残りがなくなり少ない動作でストロークを消去することができる。一方、ユーザが細かい部分を消したい場合、ストローク消去とならないため(部分消去のままであるため)、任意の部分を消すことができる。
また、ユーザは移動速度のみで、部分消去かストローク消去かを切り替えることができる。
<ユーザが「手のひら全体で速く動かした場合にのみストローク消去とする」を選択した場合>
次に、ユーザが「手のひら全体で速く動かした場合にのみストローク消去とする」を選択した場合を説明する。
次に、ユーザが「手のひら全体で速く動かした場合にのみストローク消去とする」を選択した場合を説明する。
図30は、ユーザが「手のひら全体で速く動かした場合にのみストローク消去とする」を選択した場合の切り替え方法をテーブルで示す図である。列はパネルへの接触面積が「広い」か「狭い」かを表し、行は手を動かす速さが「速い」か「遅い」かを表す。図30の例では、接触面積が広く、かつ、移動速度が速い場合にのみ、消去方法切替部25-2は自動的にストローク消去に切り替え、それ以外は、部分消去に切り替える。
図31は、ユーザが「手のひら全体で速く動かした場合にのみストローク消去とする」を選択した場合に、電子黒板2がストロークを消去する手順を説明するフローチャート図の一例である。図31の説明では主に図27との相違を説明する。
図31のフローチャート図では、ステップS53-2が図27に追加された処理になっている。すなわち、消去方法切替部25-2は、接触面積が閾値B以上(S53)、かつ、座標検知部22が検知した座標に基づく入力手段の移動速度が閾値C以上の場合(S53-2)、消去方法をストローク消去に切り替える(S54)。
ステップS53又はS53-2がNoの場合、消去方法は部分消去のままである。
このようにすることで、ユーザが広い範囲を消去する動作をした場合、電子黒板2は自動的にストローク消去に切り替わるため、消し残りがなくなり少ない動作でストロークを消去することができる。一方、ユーザが細かい部分を消したい場合、ストローク消去とならないため(部分消去のままであるため)、任意の部分を消すことができる。
また、接触面積が大きくても移動速度が遅い場合や、移動速度が速くても接触面積が小さい場合も、消去方法は部分消去のままなので、意図しない消去が生じることを抑制しやすい。
<主な効果>
以上説明したように、本実施例の電子黒板2は、入力手段が接触している面積、又は、移動速度の少なくとも1つに応じて、自動的にストローク消去と部分消去を切り替えるので、ユーザがメニューから消去方法を切り替えないで、ストローク消去と部分消去を使い分けることができる。
以上説明したように、本実施例の電子黒板2は、入力手段が接触している面積、又は、移動速度の少なくとも1つに応じて、自動的にストローク消去と部分消去を切り替えるので、ユーザがメニューから消去方法を切り替えないで、ストローク消去と部分消去を使い分けることができる。
本実施例では、消去方法を判断する場合に、接触面積の代わりに圧力を使用する電子黒板2について説明する。
なお、本実施例においては、上記の実施例にて説明した図6のハードウェア構成図、及び、図7に示した機能ブロック図を援用できるものとして説明する。
<消去方法の切り替え方法設定画面>
図32は、電子黒板2が表示する消去方法の切り替え方法設定画面230の一例である。切り替え方法設定画面230は、チェック欄231aに対応付けて、「ストローク消去と部分消去を自動的に切り替える」というメッセージ231bを表示する。ユーザがメニューからストローク消去と部分消去を都度、選択するのでなく、自動的にストローク消去と部分消去を切り替えたい場合、チェック欄231aをチェックする。
図32は、電子黒板2が表示する消去方法の切り替え方法設定画面230の一例である。切り替え方法設定画面230は、チェック欄231aに対応付けて、「ストローク消去と部分消去を自動的に切り替える」というメッセージ231bを表示する。ユーザがメニューからストローク消去と部分消去を都度、選択するのでなく、自動的にストローク消去と部分消去を切り替えたい場合、チェック欄231aをチェックする。
切り替え方法設定画面230は以下の選択肢からユーザの選択を受け付ける。
・「強く消した場合にのみストローク消去とする」232は、入力手段のディスプレイ3に対する圧力のみを消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「速く動かした場合にのみストローク消去とする」233は、入力手段の移動速度のみを消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「強くかつ速く動かした場合にのみストローク消去とする」234は、入力手段のディスプレイ3に対する圧力と移動速度を消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「強く消した場合にのみストローク消去とする」232は、入力手段のディスプレイ3に対する圧力のみを消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「速く動かした場合にのみストローク消去とする」233は、入力手段の移動速度のみを消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
・「強くかつ速く動かした場合にのみストローク消去とする」234は、入力手段のディスプレイ3に対する圧力と移動速度を消去方法の切り替えに電子黒板2が使用することをユーザが選択する選択肢である。
電子黒板2は、切り替え方法設定画面230において、圧力に関する閾値Dをユーザから受け付けることができる(閾値Dは第四の閾値の一例)。切り替え方法設定画面220は「ストローク消去のときに押す力の大きさを選択してください」というメッセージと共に、強い235、中くらい236、及び、弱い237の選択肢を表示する。ユーザは自分がストローク消去のときに押下する圧力の大きさを選択できる。これにより、閾値Dが切り替わる。なお、これら選択肢は、ユーザが「強く消した場合にのみストローク消去とする」232又は「強くかつ速く動かした場合にのみストローク消去とする」234を選択した場合にのみ表示されたり、半輝度から通常輝度に変更されたりしてもよい。
自分がストローク消去のときに押下する圧力の強さをユーザが選択できるので、ユーザによって押下する圧力が異なる場合に、操作性を向上できる。
図33は、圧力を使用した消去方法の切り替え方法をテーブルで示す図である。列はディスプレイ3への圧力が「強い」か「弱い」かを表し、行は手を動かす速さが「速い」か「遅い」かを表す。図33の例では、圧力が強く、かつ、移動速度が速い場合にのみ、消去方法切替部25-2は自動的にストローク消去に切り替え、それ以外は、部分消去に切り替える。
したがって、ユーザは手のひらをディスプレイ3に接触させなくても、強めに押した指を速く移動させればストローク消去に切り替えることができる。
図34は、ユーザが「強くかつ速く動かした場合にのみストローク消去とする」を選択した場合に、電子黒板2がストロークを消去する手順を説明するフローチャート図の一例である。図34の説明では主に図31との相違を説明する。
図34のフローチャート図では、ステップS63が図31のステップS53と異なっている。すなわち、消去方法切替部25-2は、圧力検知部24-2が検知した圧力が閾値D以上(S63)、かつ、座標検知部22が検知した座標に基づく入力手段の移動速度が閾値C以上の場合(S63-2)、消去方法をストローク消去に切り替える(S64)。
ステップS63又はS63-2がNoの場合、消去方法は部分消去のままである。
このようにすることで、ユーザが強く押して消去する動作をした場合、電子黒板2は自動的にストローク消去に切り替わるため、消し残りがなくなり少ない動作でストロークを消去することができる。一方、ユーザが細かい部分を消したい場合、ストローク消去とならないため(部分消去のままであるため)、任意の部分を消すことができる。
また、圧力が強くても移動速度が遅い場合や、移動速度が速くても圧力が小さい場合も、消去方法は部分消去のままなので、意図しない消去を生じることを抑制しやすい。
なお、切り替え方法設定画面230において「強く消した場合にのみストローク消去とする」が選択された場合、処理の流れは図34のステップS63-2がなくなる以外は図34と同様になる。この場合、ユーザはストロークを強く押すか弱く押すかを使い分けるとストローク消去と部分消去を切り替えることができる。
また、切り替え方法設定画面230において「速く動かした場合にのみストローク消去とする」が選択された場合、処理の流れは図34のステップS63がなくなる以外は図34と同様になる。
<主な効果>
以上説明したように、本実施例の電子黒板2は、入力手段がディスプレイ3を押す圧力、又は、移動速度の少なくとも1つに応じて、自動的にストローク消去と部分消去を切り替えるので、ユーザがメニューから消去方法を切り替えないで、ストローク消去と部分消去を使い分けることができる。
以上説明したように、本実施例の電子黒板2は、入力手段がディスプレイ3を押す圧力、又は、移動速度の少なくとも1つに応じて、自動的にストローク消去と部分消去を切り替えるので、ユーザがメニューから消去方法を切り替えないで、ストローク消去と部分消去を使い分けることができる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。
また、電子黒板2は、入力手段がディスプレイに接触する面積、入力手段の移動速度、及び、前記入力手段がディスプレイを押す圧力の全てを使用して、消去方法を切り替えてもよい。
また、電子黒板2はマーカーモードを有している。マーカーモードとは太い半透明のストロークを描画し、一定時間で消えるモードである。ユーザが電子ペン4を使用する場合、ユーザが指で手書きすることで(接触検知部が接触を検知しない)マーカーモードになる。ユーザが電子ペン4以外の入力手段を使用する場合、ユーザが指で手書きすると電子黒板2は消去モード(入力手段が接触した座標に応じてストロークを消去する動作モード)になるので、アイコンなどからマーカーモードを選択する。
また、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、PJ(Projector:プロジェクター)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。
また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、電子黒板2は、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、電子黒板2は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画(投影)する。
また、図7などの構成例は、電子黒板2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。電子黒板2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
また、本実施形態で説明した電子黒板の処理をサーバが行ってもよい。この場合、電子黒板2は座標、接触面積、圧力をサーバに送信する。サーバは、ディスプレイに接触する面積、入力手段の移動速度、又は、前記入力手段がディスプレイを押す圧力に応じて、消去方法を判断し、電子黒板2に送信する。
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
2 電子黒板
3 ディスプレイ
4 電子ペン
20 クライアント部
3 ディスプレイ
4 電子ペン
20 クライアント部
Claims (11)
- 入力手段による入力に応じて手書きデータを表示する表示装置であって、
前記入力手段がディスプレイに接触する接触面積、前記入力手段の移動速度、又は、前記入力手段がディスプレイを押す圧力に応じて、前記手書きデータの消去方法を切り替える消去方法切替部、
を有することを特徴とする表示装置。 - 前記消去方法切替部は、手書きデータのうち前記入力手段とディスプレイとの接触部が通過した座標と一致する座標点のみを消去する部分消去と、
前記手書きデータが有するストロークのうち前記入力手段がディスプレイに接触した座標を含むストローク全体を消去するストローク消去と、を切り替えることを特徴とする請求項1に記載の表示装置。 - 前記消去方法切替部は、前記入力手段がディスプレイに接触する面積が第二の閾値以上の場合、前記手書きデータの消去方法を前記部分消去から前記ストローク消去に切り替えることを特徴とする請求項2に記載の表示装置。
- 前記消去方法切替部は、前記入力手段の移動速度が第三の閾値以上の場合、前記手書きデータの消去方法を前記部分消去から前記ストローク消去に切り替えることを特徴とする請求項2に記載の表示装置。
- 前記消去方法切替部は、前記入力手段がディスプレイを押す圧力が第四の閾値以上の場合、前記手書きデータの消去方法を前記部分消去から前記ストローク消去に切り替えることを特徴とする請求項2に記載の表示装置。
- 前記消去方法切替部は、前記入力手段がディスプレイに接触する面積が第二の閾値以上、かつ、前記入力手段の移動速度が第三の閾値以上の場合、前記手書きデータの消去方法を前記部分消去から前記ストローク消去に切り替えることを特徴とする請求項2に記載の表示装置。
- 前記消去方法切替部は、前記入力手段がディスプレイを押す圧力が第四の閾値以上、かつ、前記入力手段の移動速度が第三の閾値以上の場合、前記手書きデータの消去方法を前記部分消去から前記ストローク消去に切り替えることを特徴とする請求項2に記載の表示装置。
- 前記消去方法切替部は、前記部分消去から前記ストローク消去に切り替えた場合、一定時間、前記ストローク消去を継続し、一定時間の経過後に、再度、前記入力手段がディスプレイに接触する面積、前記入力手段の移動速度、又は、前記入力手段がディスプレイを押す圧力に応じて、前記手書きデータの消去方法を判断することを特徴とする請求項2~7のいずれか1項に記載の表示装置。
- 前記接触面積が第一の閾値以上である場合に、手書きデータの入力であると判断し、
前記接触面積が第一の閾値未満である場合に、手書きデータの消去であると判断し、
前記接触面積が第一の閾値未満である場合に、前記消去方法切替部は、前記入力手段がディスプレイに接触する面積、前記入力手段の移動速度、又は、前記入力手段がディスプレイを押す圧力に応じて、前記手書きデータの消去方法を切り替えることを特徴とする請求項1~8のいずれか1項に記載の表示装置。 - 入力手段による入力に応じて手書きデータを表示する表示装置が行う消去方法切替方法であって、
前記入力手段がディスプレイに接触する面積、前記入力手段の移動速度、又は、前記入力手段がディスプレイを押す圧力に応じて、前記手書きデータの消去方法を切り替えることを特徴とする消去方法切替方法。 - 入力手段による入力に応じて手書きデータを表示する表示装置を、
前記入力手段がディスプレイに接触する面積、前記入力手段の移動速度、又は、前記入力手段がディスプレイを押す圧力に応じて、前記手書きデータの消去方法を切り替える消去方法切替部、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020199679A JP2022087633A (ja) | 2020-12-01 | 2020-12-01 | 表示装置、消去方法切替方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020199679A JP2022087633A (ja) | 2020-12-01 | 2020-12-01 | 表示装置、消去方法切替方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022087633A true JP2022087633A (ja) | 2022-06-13 |
Family
ID=81975628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020199679A Pending JP2022087633A (ja) | 2020-12-01 | 2020-12-01 | 表示装置、消去方法切替方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022087633A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117193565A (zh) * | 2023-11-02 | 2023-12-08 | 广州众远智慧科技有限公司 | 触控屏检测方法、装置、电子设备和存储介质 |
-
2020
- 2020-12-01 JP JP2020199679A patent/JP2022087633A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117193565A (zh) * | 2023-11-02 | 2023-12-08 | 广州众远智慧科技有限公司 | 触控屏检测方法、装置、电子设备和存储介质 |
CN117193565B (zh) * | 2023-11-02 | 2024-03-01 | 广州众远智慧科技有限公司 | 触控屏检测方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6094550B2 (ja) | 情報処理装置、プログラム | |
JP6493546B2 (ja) | 電子黒板、記憶媒体、及び情報表示方法 | |
JP2016134014A (ja) | 電子情報ボード装置、情報処理方法およびプログラム | |
US20180082663A1 (en) | Information processing apparatus, image displaying method, and non-transitory computer readable medium | |
WO2017138223A1 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
JP5846270B2 (ja) | 画像処理システム、情報処理装置 | |
JP2019096367A (ja) | 電子黒板、電子黒板の画像処理方法、及び電子黒板のプログラムを記録した記録媒体 | |
JP7310546B2 (ja) | 表示装置、表示方法、プログラム、画像処理システム | |
JP6540367B2 (ja) | 表示制御装置、通信端末、通信システム、表示制御方法、及びプログラム | |
JP2017076207A (ja) | 画像処理装置及び画像処理システム | |
JP6631643B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
JP2022087633A (ja) | 表示装置、消去方法切替方法、プログラム | |
JP6589621B2 (ja) | 表示装置、カメラ位置制御方法、およびプログラム | |
JP7435184B2 (ja) | 通信装置、通信装置の制御方法、及びプログラム | |
JP7279425B2 (ja) | 表示装置、表示システム、動作モード制御方法、プログラム | |
JP7383959B2 (ja) | 表示装置、使用方法提供方法、プログラム、画像処理システム | |
JP7484568B2 (ja) | 表示装置、表示方法、プログラム | |
JP7388159B2 (ja) | 表示装置、表示方法 | |
JP7363064B2 (ja) | 画像処理装置、方法、およびプログラム | |
JP7331578B2 (ja) | 表示装置、画像表示方法、プログラム | |
JP7306190B2 (ja) | 表示装置、表示方法、プログラム | |
US20230333731A1 (en) | Display apparatus, display system, display method, and non-transitory recording medium | |
WO2015186453A1 (ja) | 座標検知装置、画像処理装置、及び座標検知方法 | |
JP2016076775A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP2022146853A (ja) | 表示装置、プログラム、表示方法、表示システム |