JP2015197795A - 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム - Google Patents

端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム Download PDF

Info

Publication number
JP2015197795A
JP2015197795A JP2014075452A JP2014075452A JP2015197795A JP 2015197795 A JP2015197795 A JP 2015197795A JP 2014075452 A JP2014075452 A JP 2014075452A JP 2014075452 A JP2014075452 A JP 2014075452A JP 2015197795 A JP2015197795 A JP 2015197795A
Authority
JP
Japan
Prior art keywords
input operation
drawing area
electronic whiteboard
input
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014075452A
Other languages
English (en)
Other versions
JP6364893B2 (ja
Inventor
恭久 上藤
Yukihisa Kamifuji
恭久 上藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014075452A priority Critical patent/JP6364893B2/ja
Priority to US14/666,428 priority patent/US20150278983A1/en
Publication of JP2015197795A publication Critical patent/JP2015197795A/ja
Application granted granted Critical
Publication of JP6364893B2 publication Critical patent/JP6364893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】電子ホワイトボードの利用において、入力方式に制限を受けることなく、入力操作におけるユーザの負担を軽減し得る、端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラムを提供する。
【解決手段】電子ホワイトボードシステム100は、ネットワーク30上に電子ホワイトボードを提供するサーバ装置20と、入力を行うための端末装置10とを備える。端末装置10は、電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、オブジェクト表示部11と、電子ホワイトボードに対して入力操作が行われた場合に、入力操作の内容を特定する、入力操作特定部12と、入力操作の内容、及び画面上の入力操作が行われた位置と描画エリアの位置との関係に基づいて、入力操作が意図する命令を推定する、入力操作推定部13とを備える。
【選択図】図1

Description

本発明は、電子ホワイトボードを利用するための端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラムに関する。
近年、パーソナルコンピュータ(PC)、更には、スマートフォン、タブレット等の端末装置を介して、遠隔地にいる複数のユーザが議論を行なえるようにするため、ネットワークを利用した電子ホワイトボードが提案されている。このような電子ホワイトボードは、ネットワーク上に設けられた仮想的なホワイトボードであり、各ユーザは、自身の端末装置の画面に表示されたホワイトボード上で、テキスト、図形(矢印等)等のオブジェクトを自由に配置することができる。電子ホワイトボードによれば、複数のユーザは、実物のホワイトボードを用いた場合と同様に、オンライン上で情報を共有し、議論を行うことができる。
ところで、電子ホワイトボードでは、操作性において、ユーザが、図形とテキストとのいずれを書き込みたい場合であっても、実物のホワイトボードと同様に、思ったことをすぐに書き込めることが求められている。しかし、従来からの電子ホワイトボードでは、ツールバー等に別途表示されたメニュー画面から、ユーザが行いたい操作、例えば、テキスト入力、オブジェクト選択、図形描画等を、その都度、選択する必要がある。このため、従来からの電子ホワイトボードには、ユーザにとって、テキストと図形との書き分けが面倒であり、ユーザが思ったことをすぐ書き込めるようにはなっていないという問題がある。
一方、従来から、端末装置の操作において、入力を支援する技術は数多く提案されているので(例えば、特許文献1及び2参照)、これらの技術を電子ホワイトボードに適用すれば、上述の問題を解決できると考えられる。
具体的には、特許文献1は、ペンデバイスによる手書きとマウスによるメニュー操作との両方を頻繁に切替えることが必要な場合に有用な技術を開示している。特許文献1に開示されている技術では、ペンデバイスがオン及びオフのいずれであるかの判定結果と、ペンデバイスの位置が描画領域内にあるかどうかの判定結果とに基づいて、ペンデバイスによる手書きとマウスイベントとのいずれが行われているかが判定される。
また、特許文献2は、マウス又はスタイラスによる入力によって、操作すべきオブジェクトを選択する際の選択モードを自動的に決定する技術を開示している。特許文献2に開示されている技術では、メニューからの選択操作を必要とせず、選択ジェスチャの開始位置及びドラッグの軌跡等に基づいて、複数の選択モードのうち、最適な選択モードが自動的に選択される。なお、選択モードとしては、クリック又はタップによる選択モード、矩形ドラッグによる選択モード、自由軌跡による選択モード、多角形による囲みによる選択モードがある。
また、ユーザの端末装置がPCである場合に限定されるが、この場合は、マウスによる右クリック、キーボードによるショートカットキーの入力によって、ツールバーからの選択を行うことなく、操作を切り替えることができる。
特開2013-114593号公報 特許第4301842号公報
しかしながら、この特許文献1に開示された技術を、電子ホワイトボードに適用するためには、各ユーザの端末装置が、特殊なペンデバイスを備えている必要があり、使用可能な端末装置に制限が与えられてしまうという問題が発生する。また、ペンデバイスの位置が判定基準となるため、画面上のボタンオブジェクトを操作する際に、押し間違え等によって誤操作が生じる可能性もある。
更に、特許文献2に開示された技術は、選択操作だけに限定されているのに対して、電子ホワイトボード上でユーザによる議論を実現するためには、選択操作に加え、テキスト入力及び図形の描画等の操作も必要となる。このため、特許文献2に開示された技術には、電子ホワイトボードへの適用が難しいという問題がある。
また、右クリック及びショートカットキーの入力によって、操作の切り替えを実現する場合も、特許文献1に開示された技術と同様に、使用可能な端末装置に制限が与えられてしまうとう問題が発生する。
本発明の目的の一例は、上記問題を解消し、電子ホワイトボードの利用において、入力方式に制限を受けることなく、入力操作におけるユーザの負担を軽減し得る、端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における端末装置は、画面上に表示された電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、オブジェクト表示部と、
前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、入力操作特定部と、
特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、入力操作推定部と、
を備えている、ことを特徴とする。
上記目的を達成するため、本発明の一側面における電子ホワイトボードシステムは、ネットワーク上に電子ホワイトボードを提供するサーバ装置と、前記電子ホワイトボードへの入力を行うための端末装置とを備え、
前記端末装置は、
画面上に表示された前記電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、オブジェクト表示部と、
前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、入力操作特定部と、
特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、入力操作推定部と、を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における電子ホワイトボードシステムの入力支援方法は、電子ホワイトボードへの入力を支援するための方法であって、
(a)画面上に表示された前記電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、ステップと、
(b)前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、ステップと、
(c)特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、ステップと、
を有する、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、電子ホワイトボードへの入力を支援するためのプログラムであって、
前記コンピュータに、
(a)画面上に表示された前記電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、ステップと、
(b)前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、ステップと、
(c)特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、ステップと、
を実行させることを特徴とする。
以上のように、本発明によれば、電子ホワイトボードの利用において、入力方式に制限を受けることなく、入力操作におけるユーザの負担を軽減することができる。
図1は、本発明の実施の形態における電子ホワイトボードシステムの概略構成を示す図である。 図2は、本発明の実施の形態における端末装置及びサーバ装置の構成を示すブロック図である。 図3は、本発明の実施の形態において端末装置のデータ記憶部に可能されているデータの一例を示す図である。 図4は、本発明の実施の形態においてサーバ装置の管理データ記憶部に格納されているデータの一例を示す図である。 図5は、本発明の実施の形態においてサーバ装置のホワイトボード記憶部に格納されているデータの一例を示す図である。 図6は、本発明の実施の形態における端末装置の入力操作推定フェーズでの動作を示すフロー図である。 図7は、図6に示す推定処理1を具体的に示すフロー図である。 図8は、描画エリアで入力操作が行われた場合に行われる処理の具体例を示す図である。 図9は、描画エリアのアクティブ化及び非アクティブ化を説明するための図である。 図10は、図6に示す推定処理2を具体的に示すフロー図である。 図11は、描画エリアでドラッグ操作が行われた場合に行われる処理の具体例を示す図である。 図12は、図6に示す推定処理3を具体的に示すフロー図である。 図13は、本発明の実施の形態における端末装置のオブジェクト登録・共有フェーズでの動作を示すフロー図である。 図14は、図13に示す編集用描画エリアの拡張又は縮小処理を説明する図である。 図15は、本発明の実施の形態におけるサーバ装置の動作を示すフロー図であって、ユーザによって描画エリアへの操作が行われた場合について示している。 図16は、本発明の実施の形態におけるサーバ装置の動作を示すフロー図であって、ユーザによって描画エリアのオブジェクトへの操作が行われた場合について示している。 図17は、本発明の実施の形態における変形例4を説明する図である。 図18は、本発明の実施の形態における変形例5を説明する図である。 図19は、本発明の実施の形態における変形例6を説明する図である。 図20は、本発明の実施の形態における変形例9を説明する図である。 図21は、本発明の実施の形態における変形例12を説明する図である。 図22は、本発明の実施の形態における変形例13を説明する図である。 図23は、本発明の実施の形態における変形例14を説明する図である。 図24は、本発明の実施の形態における変形例15を説明する図である。 図25は、本発明の実施の形態における変形例16を説明する図である。 図26は、本発明の実施の形態における端末装置を実現するコンピュータの一例を示すブロック図である。
(実施の形態)
以下、本発明の実施の形態における端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラムについて、図1〜図26を参照しながら説明する。
[システム構成及び装置構成]
最初に、本実施の形態における電子ホワイトボードシステムの概略構成について図1を用いて説明する。図1は、本発明の実施の形態における電子ホワイトボードシステムの概略構成を示す図である。
図1に示すように、本実施の形態における電子ホワイトボードシステム100は、サーバ装置20と、端末装置10とを備えている。このうち、サーバ装置20は、ネットワーク上に電子ホワイトボードを提供するホワイトボード提供装置として機能する。なお、以下においては、サーバ装置20は「電子ホワイトボード提供装置」20とも表記する。
端末装置10は、電子ホワイトボードへの入力を行うための装置であり、オブジェクト表示部11と、入力操作特定部12と、入力操作推定部13とを備えている。このうち、オブクト表示部11は、画面上に表示された電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する。入力操作特定部12は、電子ホワイトボードに対して入力操作が行われた場合は、入力操作の内容を特定する。
そして、入力操作推定部13は、特定した入力操作の内容、及び画面上の入力操作が行われた位置と描画エリアの位置との関係に基づいて、入力操作が意図する命令を推定する。具体的には、入力操作推定部13は、入力操作が、テキストの入力、オブジェクトの選択、及び図形の描画のいずれに該当するかを推定する。
以上のように、本実施の形態では、ユーザが電子ホワイトボードを操作した場合において、端末装置10は、ユーザの入力操作が意図する命令を推定する。また、推定は、入力方式を限定することなく行われる。このため、本実施の形態によれば、電子ホワイトボードの利用において、入力方式に制限を受けることなく、入力操作におけるユーザの負担を軽減することができる。
続いて、図2を用いて、電子ホワイトボードシステムを構成する端末装置及びサーバ装置の構成について更に具体的に説明する。図2は、本発明の実施の形態における端末装置及びサーバ装置の構成を示すブロック図である。
[端末装置]
まず、端末装置10について説明する。本実施の形態では、端末装置10の具体例としては、スマートフォン、タブレット端末といった携帯型の情報端末、PC(Personal Computer)等が挙げられる。情報端末10は、これらの機器に、後述するプログラムを導入することによって構築される。また、図2の例では、説明のため、単一の端末装置10のみを図示しているが、本実施の形態では、端末装置10の個数は特に限定されうことはない。
図2に示すように、端末装置10は、上述したオブジェクト表示部11、入力操作特定部12、及び入力操作推定部13に加えて、描画エリア修正部14と、データ送信部15と、データ受信部16と、データ記憶部17とを備えている。データ記憶部17は、表示オブジェクトデータ171と、描画エリアデータ172とを格納している。これらのデータの具体例については後述する。
オブジェクト表示部11は、まず、データ記憶部17に格納されている表示オブジェクトデータ171を取得し、これに従って、画面に表示された電子ホワイトボード(図2において図示せず)上に、テキスト、図形等のオブジェクトを表示する。また、オブジェクト表示部11は、データ記憶部17に格納されている描画エリアデータ172を取得し、これに従って、上述した描画エリアを設定し、これを電子ホワイトボード上に表示する。また、オブジェクト表示部11は、表示オブジェクトデータ171及び描画エリアデータ172が更新されると、更新されたデータに基づいて、画面上の電子ホワイトボードも更新する。
入力操作特定部12は、ユーザが、端末装置10に備えられた入力デバイス(図2において図示せず)、例えば、キーボード、マウス、タッチパネル等を操作して、入力操作を行うと、入力操作の内容を特定する。具体的な入力操作の内容としては、文字入力、クリック/タップ、ドラッグ等が挙げられる。
また、クリックとタップとはデバイスが違うだけで同じ操作であるので、入力操作特定部12は、クリックとタップとを同じ入力操作として特定する。また、入力操作の内容を特定する際、入力操作特定部12は、入力操作が、画面上の1点の指定、画面上の2点以上の指定、及び画面上へのテキストの入力のいずれであるかを特定することもできる。
入力操作推定部13は、上述したように、入力操作の内容、及び画面上の入力操作が行われた位置と描画エリアの位置との関係に基づいて、入力操作が、テキストの入力、オブジェクトの選択、及び図形の描画のいずれに該当するかを推定する。
また、入力操作推定部13は、ユーザによる入力操作に基づいて、ユーザが描画エリアに参加しているかどうかを判定し、判定結果に基づいて、描画エリアの参加及び参加終了の切り替えを実行する。その後、データ送信部15は、サーバ装置20に、参加又は参加終了を示す情報を送信する。
データ送信部15は、入力操作推定部13によって推定された入力操作を特定する情報、実際に行われた入力操作を特定する情報、参加又は参加終了を示す情報等を、操作情報として、サーバ装置(ホワイトボード提供装置)20に送信する。また、データ送信部15は、入力操作によって描画エリアにおいて変化が生じた場合は、変化を特定する情報を、サーバ装置20に送信する。これにより、サーバ装置20は、送信されてきた情報に基づいて、電子ホワイトボードに表示される情報を更新する。
描画エリア修正部14は、サーバ装置20からの指示に応じて、描画エリアの大きさを拡大又は縮小する。また、描画エリア修正部14は、拡大又は縮小後の描画エリアを、オブジェクト表示部11によって画面上に表示させる。
データ受信部16は、サーバ装置20から送信されてきた情報、例えば、当該端末装置10のユーザが行った入力操作に対する結果、及び別の端末装置で他のユーザが行った入力操作の結果を受信する。また、データ受信部16は、受信した結果を用いて、オブジェクト表示部11に、電子ホワイトボードを更新させる。具体的には、データ受信部16は、受信した結果を用いて、表示オブジェクトデータ171及び描画エリアデータ172を更新すると共に、オブジェクト表示部11に対して、画面上において更新内容を反映させる。また、その際においても、描画エリア修正部14は、上述したように描画エリアを拡大又は縮小する。
また、別の端末装置で他のユーザによって描画エリアへの参加又は参加終了が行われた場合は、サーバ装置20は、このことを示す情報を送信してくるので、データ受信部16この情報も受信する。更に、データ受信部16は、この場合も、表示オブジェクトデータ171及び描画エリアデータ172を更新すると共に、オブジェクト表示部11に対して、画面上において更新内容を反映させる。
ここで、図3を用いて、データ記憶部17に格納される表示オブジェクトデータ171及び描画エリアデータ172の具体例について説明する。図3は、本発明の実施の形態において端末装置のデータ記憶部に可能されているデータの一例を示す図である。
図3に示すように、表示オブジェクトデータ171は、ホワイトボード上でテキストを表示させるために必要な情報と、図形を表示させるために必要な情報とを含んでいる。具体的には、表示オブジェクトデータは、オブジェクト毎の、オブジェクトID、ホワイトボードID、グループID、オブジェクト種別、X座標、Y座標、幅、高さ、Zオーダー、及び固有データを含んでいる。なお、Zオーダーは、表示される際の前後の位置を表す値である。
このうち、ホワイトボードIDは、オブジェクトが表示されているホワイトボードのIDであり、グループIDは、オブジェクトが属しているグループのIDである。また、本実施の形態では、各オブジェクトは、必ず1つのグループに属し、描画エリアは必ず1つのグループに対応付けされている。つまり、同じ描画エリアにあるオブジェクトは、1つのグループを構成している。
また、図3に示すように、描画エリアデータ172は、現在ホワイトボード上に存在する描画エリアを特定する情報、及び当該端末装置10のユーザを含む編集ユーザが存在している描画エリアを特定する情報(アクティブ情報)を含んでいる。具体的には、描画エリアデータ172は、描画エリア毎の、ホワイトボードID、エリアID、グループID、X座標、Y座標、幅、高さ、Zオーダー、及びアクティブ情報を含んでいる。
アクティブ情報は、描画エリアデータ172に特有の情報であり、該当する描画エリアにおいて、現在、ユーザが描画操作を行っているかどうかを示す情報である。アクティブ情報において、初期値はすべて非アクティブ(FALSE)に設定される。また、オブジェクト表示部11は、描画エリアデータ172に基づき、それに登録されている描画エリアだけを表示し、その際、アクティブな描画エリアと非アクティブな描画エリアとを区別する。
なお、本実施の形態では、後述するように、描画エリアは、オブジェクトとは異なり、当該端末装置10のユーザも含め、この描画エリアにおいて、編集ユーザがいないと、電子ホワイトボード上から削除される。また、これに伴い、該当するデータが、描画エリアデータ172からも消去される。描画エリアは、常に存在するわけではない。
[サーバ装置(ホワイトボード提供装置)]
続いて、サーバ装置20の構成について説明する。図2に示すように、サーバ装置20は、データ受信部21と、データ送信部22と、描画オブジェクト操作処理部23と、描画エリア管理部24と、ホワイトボードデータ記憶部26と、管理データ記憶部27とを備えている。
このうち、ホワイトボードデータ記憶部26は、オブジェクト情報テーブル261、テキスト・図形固有データ262、参加者データ263、及びオブジェクトグループ管理テーブル264を格納している。管理データ記憶部27は、描画エリアサイズデータ271、及び描画エリア編集ユーザデータ272を格納している。なお、ホワイトボードデータ記憶部26及び管理データ記憶部27に格納されているデータの具体例について後述する。
データ受信部21は、端末装置10から送信されてきた操作情報を受け取り、これを描画オブジェクト操作処理部23に渡す。描画オブジェクト操作処理部23は、操作情報から、端末装置10においてオブジェクトに対して行われた入力操作を特定し、特定した入力操作に基づいて、ホワイトボードデータ記憶部26に格納されている各種データを更新する。
また、描画オブジェクト操作処理部23は、更新の際、同じ描画エリアに存在するオブジェクトについてはグループ化し、オブジェクトについての情報とグループについての情報とを、オブジェクト情報テーブル261とオブジェクトグループ管理テーブル264とで管理する。
描画エリア管理部24は、端末装置10によって設定された描画エリアを特定する情報と、描画エリアに描画されているオブジェクトを特定する情報と、描画エリアにおいて入力操作を行っている端末装置10のユーザを特定する情報と、を管理する。
具体的には、描画エリア管理部24は、ホワイトボードデータ記憶部26においてデータの更新が行われると、更新されたデータに基づいて、描画エリアの範囲を修正し、描画エリアに参加するユーザ(編集ユーザ)を特定する。そして、描画エリア管理部24は、これらの処理の結果を用いて、管理データ記憶部27が格納するデータを更新する。
また、端末装置10は、サーバ装置20に対して、新たに設定された描画エリアを特定する情報、又は既に設定されている描画エリアにおけるオブジェクトの変更を特定する情報を送信してくる。この場合、描画エリア管理部24は、これらの情報を送信してきた端末装置10に対して、新たに設定された描画エリア又はオブジェクトの変更があった描画エリアを拡大するように指示する。
また、データ送信部23は、ホワイトボードデータ記憶部26及び管理データ記憶部27においてデータの更新が行われると、更新されたデータを、電子ホワイトボードに参加している各ユーザの端末装置10に送信する。
ここで、図4及び図5を用いて、ホワイトボードデータ記憶部26及び管理データ記憶部27に格納されているデータの具体例について説明する。図4は、本発明の実施の形態においてサーバ装置の管理データ記憶部に格納されているデータの一例を示す図である。図5は、本発明の実施の形態においてサーバ装置のホワイトボード記憶部に格納されているデータの一例を示す図である。
図4に示すように、描画エリアサイズデータ271は、描画エリア毎の、ホワイトボードID、描画エリアID、X座標、Y座標、幅、高さ、及びZオーダーを含んでいる。また、描画エリア編集ユーザデータ272は、描画エリア毎の、ホワイトボードID、描画エリアID、編集ユーザの識別子を含んでいる。また、描画エリアは動的に作成されるため、描画エリアサイズデータ271及び描画エリア編集ユーザデータ272において、描画エリアIDは、ホワイトボード単位で、作成される度に、1から順番に採番されて設定される。
また、図5に示すように、オブジェクト情報テーブル261は、オブジェクト毎の、オブジェクトID、ホワイトボードID、グループID、オブジェクト種別、X座標、Y座標、幅、高さ、及びZオーダーを含んでいる。このように、各オブジェクトは、テキスト/図形の種別に分けられ、必ず1つのグループに所属している。
オブジェクトグループ管理テーブル264は、オブジェクトグループ毎の、ホワイトボードID、グループID、及びオブジェクト数を含んでいる。オブジェクト数は、各オブジェクトグループに所属するオブジェクトの数を表している。本実施の形態では、このように、描画エリア内に存在するオブジェクトは、グループ化されるため、複数人が作成したオブジェクトであっても1つのグループとして扱うことが可能になる。
また、参加者データ263は、ホワイトボード毎の、ホワイトボードID、及び参加ユーザの識別子を含んでいる。参加者データ263によれば、各ホワイトボードに参加しているユーザが特定される。
[システム動作及び装置動作]
次に、本発明の実施の形態における電子ホワイトボードシステムの動作について図6〜図15を用いて説明する。また、本実施の形態1では、電子ホワイトボードシステムを構成する端末装置を動作させることによって、電子ホワイトボードの入力支援方法が実施される。よって、本実施の形態における電子ホワイトボードの入力支援方法の説明は、以下の電子ホワイトボードシステムの動作説明に代える。
[端末装置の動作]
本実施の形態において、端末装置10は、大きくわけて2つの動作、即ち、入力操作推定フェーズと、オブジェクト登録・共有フェーズとを行う。入力操作推定フェーズでは、ユーザによって入力操作が行われた場合に、入力操作によって意図されている命令が、テキストの入力、オブジェクトの選択、及び図形の描画のいずれであるかが推定される。オブジェクト登録・共有フェーズでは、推定された命令がサーバ装置20に登録され、命令後の更新データが端末装置間で共有される。また、オブジェクト登録・共有フェーズでは、描画エリアの大きさの拡大化が自動的に行われる。以下、動作毎に説明する。
入力操作推定フェーズ:
入力操作推定フェーズについて図6〜図12を用いて説明する。まず、描画操作推定フェーズの全体について図6を用いて説明する。
前提として、ユーザが、端末装置10上で、電子ホワイトボードを利用するためのアプリケーションプログラムを起動したとする。これにより、サーバ装置20から、端末装置10へと、電子ホワイトボードに関する情報、例えば、オブジェクト(テキスト/図形)のリストを特定する情報と、電子ホワイトボード上に現在存在している描画エリアを特定する情報とが送信されてくる。また、れらの情報は、それぞれ、表示オブジェクトデータ171及び描画エリアデータ172として、データ記憶部17に格納される。オブジェクト表示部11は、送信されてきた情報に基づいて、画面上にホワイトボートを表示する。
図6に示すように、まず、入力操作特定部12は、ユーザが入力操作を行うと、まず、入力操作がクリック又はタップであるかどうかを判定する(ステップB1)。ステップB1の判定の結果、入力操作がクリック又はタップである場合は、入力操作推定部13による推定処理1が行われる。
一方、ステップB1の判定の結果、入力操作がクリック又はタップでない場合は、入力操作特定部12は、入力操作がドラッグ操作であるかどうかを判定する(ステップB14)。ステップB14の判定の結果、入力操作ドラッグ操作である場合は、入力操作推定部13による推定処理2が行われる。
また、ステップB14の判定の結果、入力操作がドラッグ操作でない場合は、入力操作特定部12は、入力操作が文字入力であるかどうかを判定する(ステップB23)。ステップB23の判定の結果、入力操作が文字入力である場合は、入力操作推定部13による推定処理3が行われる。
入力操作推定部13は、入力操作の判定結果と、入力操作が行われた位置の情報とを、引数にして、入力操作が意図する命令(ユーザによる描画操作)を推定する。入力操作推定部13による推定処理1〜3について説明する。なお、本実施の形態では、複数のユーザによって同時に電子ホワイトボードが利用されることが想定されるため、以下においては、画面上に描画エリアが表示される場合の推定動作を含めて説明する。
まず、推定処理1について説明する。図7は、図6に示す推定処理1を具体的に示すフロー図である。図8は、描画エリアで入力操作が行われた場合に行われる処理の具体例を示す図である。図9は、描画エリアのアクティブ化及び非アクティブ化を説明するための図である。
図7に示すように、上述のステップB1において、入力操作がクリック又はタップであると判定されると、入力操作推定部13は、その操作位置にオブジェクトが存在しているかどうかを判定する(ステップB2)。ステップB2の判定の結果、その操作位置にオブジェクトが存在しない場合は、入力操作推定部13は、更に、描画エリアデータ172にアクティブ化された描画エリアが存在しているかどうかを判定する(ステップB3)。
ステップB3の判定の結果、アクティブ化された描画エリアが存在していない場合は、入力操作推定部13は、先の操作位置に新たな描画エリアを設定し、これをアクティブ化し(ステップB4)、処理を終了する。
つまり、アクティブな描画エリアがない状態でオブジェクトが存在しない箇所が選択されると、その選択された位置において、既存の描画エリア及び非描画エリアの内外に関わらず新規の描画エリアが作成される(図8のC1及びC2、図9のD1及びD2参照)。
一方、ステップB3の判定の結果、アクティブ化された描画エリアが存在している場合は、入力操作推定部13は、操作位置が描画エリアの外であるかどうかを判定する(ステップB5)。
ステップB5の判定の結果、操作位置が描画エリア外でない場合は、入力操作推定部13は、文字の入力操作に備えて、先の操作位置を保持し(ステップB6)、処理を終了する。一方、ステップB5の判定の結果、操作位置が描画エリアの外である場合は、入力操作推定部13は、現在アクティブ化されている描画エリアを終了し(ステップB7)、処理を終了する。つまり、アクティブな描画エリアは、エリア外をユーザがクリック/タップすることで終了する(図7のB5、B7)。
また、上述のステップB2の判定の結果、その操作位置にオブジェクトが存在している場合は、入力操作推定部13は、オブジェクトがアクティブ化された描画エリアに属しているかどうかを判定する(ステップB8)。
ステップB8の判定の結果、オブジェクトがアクティブ化された描画エリアに属している場合は、入力操作推定部13は、そのオブジェクトが選択された推定する(ステップB13)。一方、ステップB8の判定の結果、オブジェクトがアクティブ化された描画エリアに属していない場合は、入力操作推定部13は、オブジェクトが非アクティブ化された描画エリアに属しているかどうかを判定する(ステップB9)。
ステップB9の判定の結果、オブジェクトが非アクティブ化された描画エリアに属している場合は、入力操作推定部13は、現在アクティブ化されている描画エリアを終了する(ステップB11)。続いて、入力操作推定部13は、ユーザを、この非アクティブ化された描画エリアに参加させ、これをアクティブ化させ(ステップB12)、その後ステップB13を実行する。
つまり、現在アクティブな描画エリアの存在の有無に拘わらず、描画エリア及び非描画エリア内のオブジェクトが選択されると、選択されたオブジェクトが所属するグループの描画エリアは、アクティブ化される(図9のD3〜D8参照)。また、その際、描画エリアデータ172に描画エリアのデータが存在する場合は、サーバ装置20に、ユーザが描画エリアに参加することが通知される(図9のD3及びD4参照)。
一方、ステップB9の判定の結果、オブジェクトが非アクティブ化された描画エリアに属していない場合は、入力操作推定部13は、オブジェクトが属するグループに対応する描画エリアを新たに設定し、これをアクティブ化させ(ステップB10)、その後、ステップB13を実行する。
つまり、オブジェクトが、描画エリアが存在しない箇所(非描画エリア)に存在する場合、即ち、描画エリアデータ172にデータが存在しない場合は、表示オブジェクトデータ171から、選択されたオブジェクトのグループIDが取得される。そして、そのグループを新たな描画エリアに描画すること、即ち、ユーザが新たな描画エリアに参加することが、サーバ装置20に通知される。
これにより、後述するように、サーバ装置20は、グループの描画エリアのサイズを計算し、描画エリアを特定する情報を返却する。また、返却された情報が、描画エリアデータ172に追加されると、新たな描画エリアはアクティブに切り替える(図9のD5〜D8参照)。また、アクティブ化された新たな描画エリアにおいては、それに属するオブジェクトの表示上のZオーダーが書き換えられ、これらのオブジェクトは、常に最前面に表示される。
続いて、推定処理2について説明する。図10は、図6に示す推定処理2を具体的に示すフロー図である。図11は、描画エリアでドラッグ操作が行われた場合に行われる処理の具体例を示す図である。
図10に示すように、上述のステップB14において、入力操作がドラッグ操作であると判定されると、入力操作判定部13は、ドラッグ開始位置にアクティブ化された描画エリアが存在しているかどうかを判定する(ステップB15)。
ステップB15の判定の結果、ドラッグ開始位置にアクティブ化された描画エリアが存在している場合は、入力操作判定部13は、図形描画操作が行われたと推定する(ステップB16)。続いて、入力操作判定部13は、ドラッグ操作が継続している限り、オブジェクト表示部11に、画面上に軌跡を表示させる(ステップB17)。
つまり、アクティブな描画エリアが表示されている場合に、描画エリア内でドラッグ操作が行われると、入力操作は描画操作であると推定される(図8のC4参照)。また、開始位置がアクティブな描画エリア内ならば図形描画であると推定される。なお、反対に、アクティブな描画エリア外でドラッグ操作が行われた場合は、後述するように複数選択操作であると推定される(図8のC5及びC6参照)。
一方、ステップB15の判定の結果、ドラッグ開始位置にアクティブ化された描画エリアが存在してない場合は、入力操作推定部13は、ドラッグ軌跡上にオブジェクトが存在していないかどうかを判定する(ステップB18)。
ステップB18の判定の結果、ドラッグ軌跡上にオブジェクトが存在していない場合は、入力操作推定部13は、処理を終了する。一方、ステップB18の判定の結果、ドラッグ軌跡上にオブジェクトが存在している場合は、入力操作推定部13は、ドラッグ軌跡上のオブジェクトが、非アクティブ化された描画エリアに属しているかどうかを判定する(ステップB19)。
ステップB19の判定の結果、ドラッグ軌跡上のオブジェクトが、非アクティブ化された描画エリアに属していない場合は、入力操作推定部13は、入力操作はオブジェクトの複数選択操作であると推定する(ステップB20)。
一方、ステップB19の判定の結果、ドラッグ軌跡上のオブジェクトが、非アクティブ化された描画エリアに属している場合は、入力操作推定部13は、ドラッグ軌跡上のオブジェクトのうち、アクティブ化された描画エリアに属しているものが存在しているかどうかを判定する(ステップB21)。
ステップB21の判定の結果、アクティブ化された描画エリアに属しているものが存在している場合は、入力操作推定部13は、処理を終了する。一方、ステップB21の判定の結果、アクティブ化された描画エリアに属しているものが存在していない場合は、入力操作推定部13は、アクティブ化された描画エリアに属するオブジェクトを対象とした複数選択操作であると推定する(ステップB22)。
つまり、上述したように、開始位置がアクティブな描画エリア外だった場合、複数選択操作であると推定される(図11のE1〜E6参照)。また、ドラッグの軌跡上のオブジェクトが、全て、描画エリアデータ172に存在しない非描画エリアのオブジェクトの場合は、全ユーザが編集していないため複数選択と推定される(ステップB18〜B20、図11のE1及びE2参照)。
但し、他のユーザが編集している/していないにかかわらず、ドラッグの軌跡がアクティブな描画エリアをまたぐように、オブジェクト選択が行われた場合は、アクティブな描画エリア内のオブジェクトのみが選択される(ステップB21及びB22、図11のE3〜E6参照)。このように、ドラッグ操作では、アクティブな描画エリアは切り替わらないが、ドラッグの開始位置に応じて、図形描画と複数選択の操作とのいずれかと推定される。
また、非描画エリアからアクティブでない描画エリアへとドラッグ操作が行われた場合は、複数選択及び描画操作のいずれとも推定されない(ステップB19及びB21参照)。そうすることで、他のユーザが編集している描画エリアへの影響が避けられ、複数選択操作において、ユーザが現在議論している描画エリアとその他の描画エリアとの区別が行われることとなる。
また、図7において、ステップB9〜B13で示したように、クリック/タップによってオブジェクトが1つ1つ選択される場合は、オブジェクトの選択によって、アクティブな描画エリアが切り替わるため、アクティブな描画エリア以外が選択されることはない。このように、推定処理1及び推定処理2では、描画エリアが複数ある場合でも、アクティブな描画エリアを切り替えることで、描画操作を推定することが可能となる。
最後に、推定処理3について説明する。図12は、図6に示す推定処理3を具体的に示すフロー図である。
図12に示すように、上述のステップB23において、入力操作が文字入力であると判定されると、入力操作推定部13は、前回の操作位置にテキストが存在していたかどうかを判定する(ステップB24)。
ステップB24の判定の結果、前回の操作位置にテキストが存在している場合は、入力操作推定部13は、入力操作は描画エリアへのテキスト入力操作であると推定する(ステップB26:図8のC4参照)。
一方、ステップB24の判定の結果、前回の操作位置にテキストが存在していなかった場合は、前回の操作位置がアクティブ化された描画エリア内であるかどうかを判定する(ステップB25)。ステップB24の判定の結果、前回の操作位置がアクティブ化された描画エリア内である場合は、入力操作推定部13は、ステップB26を実行する。一方、
ステップB24の判定の結果、前回の操作位置がアクティブ化された描画エリア内でない場合は、入力操作推定部13は、処理を終了する。
このように、上述の推定処理1〜3が実行されることにより、入力操作が意図する命令が推定される。また、本実施の形態では、端末装置10は、一度入力操作を推定されると、その入力操作が終了するか、次の入力操作が行われるまで、その入力操作を継続させる。また、入力操作推定部13は、ユーザが、描画エリア内で再度クリック/タップ、ドラッグをした場合は、連続して入力操作の推定処理を実行することができる。
オブジェクト登録・共有フェーズ:
オブジェクト登録・共有フェーズについて図13及び図14を用いて説明する。図13は、本発明の実施の形態における端末装置のオブジェクト登録・共有フェーズでの動作を示すフロー図である。
図13に示すように、まず、データ送信部15は、入力操作推定部13によって推定され命令が、テキスト入力及び図形の描画のいずれかであったかどうかを判定する(ステップF1)。ステップF1の判定の結果、テキスト入力及び図形の描画のいずれかでない場合は、データ送信部15は、後述のステップF6を実行する。
一方、ステップF1の判定の結果、テキスト入力及び図形の描画のいずれかである場合は、データ送信部15は、入力操作推定フェーズにおいて、アクティブ化された描画エリアへの参加、又は新たな描画エリアの作成が行われているかどうかを判定する(ステップF2)。ステップF2の判定の結果、参加又は作成が行われていない場合は、データ送信部15は、後述するステップF4を実行する。
一方、ステップF2の判定の結果、参加又は作成が行われている場合は、データ送信部15は、サーバ装置20に対して、描画エリアへの参加、又は新たな描画エリアの作成を通知する(ステップF3)。これにより、サーバ装置20は、新たな描画エリアについて位置のIDを付与し、更に通知された内容を登録し、その後、登録の結果を示す情報(エリア情報)を送信する。これにより、データ受信部16は、情報を受信し、受信した情報を用いて描画エリアデータ172を更新する。
次に、データ送信部15は、ユーザが参加した描画エリアで操作されたオブジェクト、又は新規の描画エリアに新規に登録されたオブジェクトを、サーバ装置20に通知する(ステップF4)。具体的には、データ送信部15は、これらのオブジェクトを特定する情報(オブジェクト情報)をサーバ装置20に送信する。
ステップF4の実行後、サーバ装置20は、オブジェクトの登録結果と、描画エリアの大きさとを返却する。これにより、描画エリア修正部14は、返却されてきた、オブジェクトの登録結果と描画エリアの大きさとに基づいて、オブジェクト表示部11に表示させる描画エリアの大きさを拡張又は縮小する(ステップF5)。
具体的には、描画エリア修正部14は、ユーザが編集に用いる編集用描画エリアが、サーバ装置20が指定する描画エリアよりも、上下左右に一定量大きくなるように、下記の数1〜数5に基づいて、各値を計算する。
なお、下記の数1〜数5において、Aは描画エリアのx座標、Aは描画エリアのy座標、Aは描画エリアの幅、Aは描画エリアの高さ、Aは描画エリアのZオーダー、Eは編集用描画エリア内のx座標、Eは編集用描画エリア内のy座標、Eは編集用描画エリア内の幅、Eは編集用描画エリア内の高さ、Eは編集用描画エリア内のZオーダー、Dは、編集用の拡張幅(又は縮小幅)である。
(数1)
=A−D
(数2)
=A−D
(数3)
=A+2D
(数4)
=A+2D
(数5)
=A
図14は、図13に示す編集用描画エリアの拡張又は縮小処理を説明する図である。図9に示すように、ステップF5が実行されると、編集ユーザ向けの描画エリアH1と本来の描画エリアH2の大きさとが分けられる。
この結果、同じ電子ホワイトボードを複数人で作業する場合に、編集していない非編集ユーザの端末装置の画面には、本来の大きさの描画エリアH2が表示される。一方、この場合において、描画エリアに参加している編集ユーザの端末装置の画面には、描画しやすいように大きめの描画エリアH1が表示される。
つまり、編集ユーザにおいては作業のしやすい描画エリアが表示され、非編集ユーザにおいては作業の邪魔にならない描画エリアが表示される。なお、非編集ユーザが、描画エリアに参加すると、その描画エリアの大きさは自動的に編集用の大きさに変更される(H3参照)。
次に、ステップF5の実行後、データ送信部15は、ユーザが、アクティブ化された描画エリアを終了しているかどうかを判定する(ステップF6)。ステップF6の判定の結果、アクティブ化された描画エリアを終了している場合は、データ送信部15は、サーバ装置20に、アクティブ化された描画エリアを終了することを通知する(ステップF7)。
また、これにより、サーバ装置20は、通知された内容を登録し、その後、登録の結果を示す情報(エリア情報)を送信する。これにより、データ受信部16は、情報を受信し、受信した情報に基づいて、該当する描画エリアのデータを描画エリアデータ172から削除する。
以上のように、操作データ送信部15は、入力操作推定フェーズで判定された描画操作結果と操作内容(オブジェクト位置、テキスト内容/ドラッグ軌跡、幅、高さ、Zオーダーなどの情報)を操作情報として、サーバ装置20に送信する。これにより、サーバ装置20は、オブジェクトの新規登録又は修正を行う。
また、データ受信部16は、サーバ装置20を経由して、他のユーザが追加したオブジェクトの情報や、他のユーザが追加、削除、又は修正した描画エリアの情報を受信し、これを反映させる。このため、当該端末装置10においては、複数のユーザ間で、情報を共有することができる。なお、受信側の描画エリア処理は、受け取ったデータを反映するだけのため、この処理についての説明は省略する。
[サーバ装置(ホワイトボード提供装置)の動作]
続いて、サーバ装置20の動作について、ユーザによって描画エリアへの操作が行われた場合と、ユーザによって描画エリアのオブジェクトへの操作が行われた場合とに分けて説明する。
まず、ユーザによって描画エリアへの操作が行われた場合について、図15を用いて説明する。図15は、本発明の実施の形態におけるサーバ装置の動作を示すフロー図であって、ユーザによって描画エリアへの操作が行われた場合について示している。また、前提として、サーバ装置20のデータ受信部21は、情報端末10のデータ送信部15から、新たな描画エリアの作成、描画エリアへの参加、又は、描画エリアの終了が通知されているとする。そして、データ受信部21は、受信した通知を描画エリア管理部24に出力する。
図15に示すように、描画エリア管理部24は、まず、ユーザが、非描画エリアの既存オブジェクトをクリックして描画エリアに参加しようとしているかを判定する(ステップK1:図9のD5〜D8参照)具体的には、描画エリア管理部24は、端末装置10からの通知において、引数としてグループIDが指定され、且つ、新規の描画エリアの作成が指示されているかどうかを判定する(ステップK1:図9のD5〜D8参照)。
ステップK1の判定の結果、グループIDの指定と新規の描画エリアの作成指示とがなされている場合は、描画エリア管理部24は、通知されたグループIDを用いて、オブジェクト情報テーブル261を検索して、グループに属するオブジェクトを特定する(ステップK2)。また、描画エリア管理部24は、特定したオブジェクトに基づいて、表示すべき描画エリアのサイズを算出する。その後、描画エリア管理部24は、後述するステップK1を実行する。
一方、ステップK1の判定の結果、グループIDの指定と新規の描画エリアの作成指示とがなされていない場合は、ユーザが、空白を選択して描画エリアを新規に作成する場合に該当する。よって、この場合、描画エリア管理部24は、オブジェクトグループ管理テーブルから新規のグループIDを採番し、更に、この新規のグループIDが紐付けられる新規の描画エリアのサイズを初期値に設定する(ステップK4)。
次に、描画エリア管理部24は、ステップK4で採番したグループIDと、描画エリアの初期値とを、描画エリアサイズデータ271に登録する(ステップK5)。
その後、描画エリア管理部24は、描画エリア編集ユーザデータ272に、ユーザを追加し(ステップK6)、処理を終了する。このように、描画エリア管理部24は、描画エリアに参加しているユーザの情報を、図4に示した描画エリア編集ユーザデータ272に管理する。つまり、描画エリア管理部24は、出力されてきた情報を用いて、管理データ記憶部27に格納されている情報を更新する。
また、描画エリア管理部24は、編集ユーザがいなくなった描画エリアについては、その時点で管理データ記憶部27から削除し、削除通知を、同じ電子ホワイトボードに参加しているユーザの端末装置10に送信する。更に、描画エリア管理部24は、描画エリアを新規に作成しない場合は、特に処理を行うことはない。
また、上述のステップK2では、描画エリア管理部24は、描画エリアの大きさが、常に、それに属する全てのオブジェクトが収まる範囲で最小となるように、下記の数6〜数10に基づいて、描画エリアのサイズを算出する。
なお、下記の数6〜数10において、Oは描画エリア内のオブジェクトのx座標、Oは描画エリア内のオブジェクトのy座標、Oは描画エリア内のオブジェクトの幅、Oは描画エリア内のオブジェクトの高さ、Oは描画エリア内のオブジェクトのZオーダーである。
(数6)
=min(O
(数7)
=min(O
(数8)
=(max(O)−min(O))+max(O
(数9)
=(max(O)−min(O))+max(O
(数10)
=(max(O))+1
続いて、ユーザによって描画エリアのオブジェクトへの操作が行われた場合について図16を用いて説明する。図16は、本発明の実施の形態におけるサーバ装置の動作を示すフロー図であって、ユーザによって描画エリアのオブジェクトへの操作が行われた場合について示している。
図16に示すように、データ受信部21は、まず、送信されてきたオブジェクトの新規登録の操作情報又はオブジェクトの修正の操作情報を受信し、受信した情報を、オブジェクト操作処理部23に入力する(ステップL1)。
次に、オブジェクト操作処理部23は、入力された操作情報を用いて、ホワイトボードデータ記憶部26に格納されているオブジェクト情報テーブル261を更新する(ステップL2)。
次に、オブジェクト操作処理部23は、ホワイトボードデータ記憶部26に、テキストの内容、ドラッグの軌跡といった、オブジェクト固有の情報を、テキスト・図形固有データ262として格納させる(ステップL3)。
次に、オブジェクト操作処理部23は、受信した操作情報に含まれる描画エリアIDからグループIDを特定し、特定したグループIDも、テキスト・図形固有データ262に付与して登録する(ステップL4)。
次に、ステップL4が実行されると、描画エリア管理部24は、操作オブジェクトが属する描画エリアの大きさを修正し(ステップL5)、処理を終了する。なお、ステップL5においても、描画エリア管理部24は、上記の数6〜数10に基づいて、描画エリアのサイズを算出する。
また、上記の操作結果(操作オブジェクトの情報、描画エリアの登録・修正情報)は、操作情報を送信したユーザの端末装置10だけでなく、同じ電子ホワイトボードを見ている別ユーザの端末装置10にも送信される。
更に、同じホワイトボードを見ているかどうかは参加者データ263に基づいて判断される(図5参照)。参加者データ263は、端末装置10が電子ホワイトボードを利用するためのアプリケーションプログラムを起動した時に、その端末装置が保持する情報に基づいて登録される。また、端末装置10は、データ受信部16で操作結果を受け取ると、それをオブジェクト表示部11によって画面上に反映させる。本実施の形態によれば、電子ホワイトボードで複数のユーザが作業(議論)をする場合でも、オブジェクト及び描画エリアについての情報の共有が可能になる。
[実施の形態における効果]
以上のように、本実施の形態では、端末装置10は、入力方式を限定することなく、ユーザの入力操作が意図する命令を推定できる。従って、端末装置10として、PC、スマートフォン、タブレット型端末等のいずれが用いられていても、電子ホワイトボードの利用において、入力方式に制限を受けることなく、入力操作におけるユーザの負担が軽減される。
また、本実施の形態は、複数のユーザが同時に電子ホワイトボードを利用する場合にも対応でき、ユーザ間で情報を共有できる。更に、複数のユーザが共同で描画を行った場合でも、入力操作におけるユーザ負担は軽減される。
また、本実施の形態では、描画エリア内外における操作に応じて、テキスト入力、図形描画、オブジェクトの複数選択といった操作の自動切替が行われるので、電子ホワイトボード上にテキスト及び図形が混在する場合において、ユーザの操作性の向上が図られることとなる。
[変形例1]
本実施の形態では、入力操作推定部13は、ドラッグ操作によってアクティブ化された描画エリア内の判定の後に、ドラッグの始点がテキストオブジェクト上にあるかどうかを判定することができる。この場合は、入力操作推定部13は、判定結果から、描画操作ではなく、テキストの範囲選択であると推定できる。
[変形例2]
本実施の形態では、入力操作推定部13は、他の入力操作についても対応することが可能である。例えば、入力操作として、マウスのクリック長押し、タッチパネルを備えた端末でのロングタップが行われたとする。この場合、入力操作推定部13は、描画エリア内であれば、例えば、この入力操作をフォントの太さ及び描画のペンの太さをそれぞれ調整する操作であると推定する、機能を備えることができる。この機能追加により、議論で重要な個所を強調する操作(太字で上書きする操作)作が可能になる。なお、太さは一定の値を超えると初期値に戻るように設定すれば、長押し及びロングタップの時間が長すぎる場合にも対応することができる。
[変形例3]
また、本実施の形態では、図形の形状を認識する図形認識システムを利用することができる。図形認識システムは、フリーハンドで描かれた図形の線情報が入力されると、この図形を成型するシステムである。更に、その際、複数に分かれた線であって、線が交わっており、且つ、操作順序が連続しているものを、まとめて入力とすることで、複雑な図形にも対応可能である。
[変形例4]
上述の図形認識システムが使用できない環境下で、フリーハンドで描かれた図形をを成型する場合は、図17に示すように、入力操作推定部13に、描画操作だと推定した後に、ドラッグ操作によって図形M1が描かれると、オブジェクト選択ボタンM2を表示させる。この場合、ユーザは、選択ボタンM2の中から、描画した図形に近い図形を選択する。この結果、成型された図形M3が画面に表示される。図17は、本発明の実施の形態における変形例4を説明する図である。
[変形例5]
また、本実施の形態では、サーバ装置20は、描画エリアの編集者を特定できる。このため、図18に示すように、サーバ装置20は、オブジェクトの登録を行う前に、描画エリアの編集ユーザ同士だけに、他の編集ユーザの入力操作の開始から終了までの過程、例えば、描画の軌跡を共有させることができる。この場合、編集ユーザは、他の編集ユーザが現在何を描こうとしているのかをすぐに把握できるので、共同での編集時の操作性が向上する。図18は、本発明の実施の形態における変形例5を説明する図である。
つまり、描画エリアに参加している編集ユーザの端末装置10において、そのデータ送信部15が、入力操作の開始から終了までの過程を示す情報を、サーバ装置20に送信するとする。この場合、サーバ装置20において、データ送信部22は、送信されてきた情報を、他の編集ユーザの端末装置10に送信し、それぞれの画面上に、入力操作の開始から終了までの過程を表す情報を表示させる。
具体的には、ユーザの端末装置10においてデータ送信部15が、ドラッグの軌跡及び文字入力を逐次サーバ装置20に送信し、サーバ装置20が、送信の度に、描画エリア編集ユーザデータ272を用いて、他の編集ユーザに更新された情報を送信すれば、上記の共有は実現できる(図18のN1及びN2参照)。なお、この場合、描画エリアに参加していないユーザは、ドラッグの軌跡及び文字入力を確認できない(図18のN3参照)。
[変形例6]
本実施の形態では、描画エリア編集ユーザデータ272の編集ユーザ情報を用いることで、その描画エリアに参加しているユーザを特定することができる。従って、図19に示すように、ユーザが、オブジェクト表示部11によって画面上に表示されている、非アクティブの描画エリアをクリック/タップした場合、又はこの非描画エリアに、カーソルを合わせるなどの操作をした場合は、サーバ装置20は、このユーザ以外のユーザの端末装置10に、このユーザが描画エリアに参加してたことを示す情報を送信する。これにより、情報を受信したユーザの端末装置10において、オブジェクト表示部11は、その描画エリアに参加しているユーザを表示させることが可能である(図19のO2参照)。図19は、本発明の実施の形態における変形例6を説明する図である。
[変形例7]
本実施の形態では、端末装置10は、表示画面において、アクティブ化された描画エリアと、それ以外の描画エリアとを区別して表示するが、その際、各描画エリアの表現態様を異ならせて区別することもできる。
[変形例8]
本実施の形態では、サーバ装置20は、ユーザがアクティブな描画エリア内のオブジェクトを選択する際に、オブジェクトの他のユーザによる操作状況を確認することもできる。その際、サーバ装置20は、選択されたオブジェクトを他のユーザが編集している場合は、そのオブジェクトの移動、修正等の変更操作ができないように制限を設定することもできる。
[変形例9]
本実施の形態では、端末装置10が、スマートフォンなどの画面の大きさが制限される装置である場合は、図20に示すように、アクティブ化された描画エリアの大きさは、表示画面よりも少し小さい大きさ(最大描画エリア枠)までしか拡大できないように制限することができる。それにより、アクティブ化された描画エリアのサイズが大きくなった場合でも、ユーザは、描画と選択とを使い分けることができる。また、画面上の描画エリアのサイズは、描画エリア修正部14によって修正されるため、本来の描画エリアの大きさには影響しない。図20は、本発明の実施の形態における変形例9を説明する図である。
[変形例10]
描画エリアは、オブジェクト表示部11によって画面上に表示される。その際、描画エリアのサイズは、サーバ装置20からの返却値に基づいて算出されるが、通信速度が低下すると、描画エリアの表示における反応速度が低下してしまう。このような事態を回避するため、通信速度が低下する際においては、描画エリア修正部14が、図15のステップK2と同様に、表示オブジェクトデータ171を上記数6〜数10に適用して、描画エリアのサイズを算出することができる。
[変形例11]
入力操作推定フェーズでは、ユーザが、画面エリアに表示されているオブジェクトを削除するための入力操作を行うと、入力操作推定部13は、指定されたオブジェクトを削除し、表示オブジェクトデータ171を更新する。また、これに対応して、サーバ装置20は、オブジェクトの削除処理を受け付け、オブジェクト情報テーブル261から該当するデータを削除する。そして、描画エリア管理部24は、描画エリアのサイズを再計算する。再計算の結果、描画エリアのサイズが小さくなる場合は、端末装置10において、オブジェクト表示部11は、該当する描画エリアのサイズを縮小する。
[変形例12]
本実施の形態では、端末装置10は、入力操作について推定処理を行う際に、誤操作を防止するために、ユーザが予定している入力操作を気づかせる仕組みを備えることができる。例えば、図21に示すように、ユーザが、カーソルを合わせたり、クリック長押し/タップ長押しを行ったり、等すると、端末装置は、その選択位置に応じて、予定される操作を推定し、推定した予定操作を提示させることが可能できる(図21のP1〜P5参照)。図21は、本発明の実施の形態における変形例12を説明する図である。
[変形例13]
図22に示すように、端末装置10では、例えば、ユーザが、異なる描画エリアのオブジェクトの間に矢印を引きたい場合、どちらかの描画エリアをアクティブにした上で、この描画エリア内からドラッグすれば、矢印を引くことができる(Q1〜Q6参照)。図22は、本発明の実施の形態における変形例13を説明する図である。
また、図22に示すように、端末装置10では、ユーザが、異なる描画エリアのオブジェクトを選択する場合(Q7〜Q9参照)、又は大きなオブジェクト上にある複数のオブジェクト(三角形と四角形)を複数選択する場合(Q10〜Q12参照)は、ユーザによって、描画エリアが終了される。これにより、強制的に選択操作に切り替えられ、これらの選択が可能となる。
更に、図22に示すように、端末装置10では、ユーザが、大きなオブジェクト上にある複数のオブジェクト(三角形と四角形)をまたぐ線を描画する場合は、ユーザによって、アクティブな描画エリア上でドラッグ操作が行われれば、描画が可能となる(Q13〜Q14参照)。
[変形例14]
本実施の形態では、ユーザが、クリック/タップによって、複数のオブジェクトを選択する操作を行いたい場合にも対応できる。この場合、入力操作推定部13は、複数選択モードがオンになっているかどうかを判定する。具体的には、図23に示すように、入力操作推定部13は、PCの場合は、ユーザがCtrlキーを押しながらクリックしているかどうか、スマートフォンの場合は、複数選択ボタンを設け、これらをオンにしてからタップしているかどうかを判定する。図23は、本発明の実施の形態における変形例14を説明する図である。
そしてオンになっている場合は、入力操作推定部13は、同一エリア内の複数選択(図R4〜R6参照)、異なるエリアの複数選択(R7〜R6参照9参照)を実行する。なお、異なるエリアの複数選択は、複数の描画エリアをまたいだ行われるため、その際、ユーザは、アクティブ化された描画エリアを、一旦終了する(R9参照)。
[変形例15]
本実施の形態では、図24に示すように、ユーザは、描画エリアから離れている箇所に、同一描画エリアのオブジェクトとして図形を描画することができる(S1参照)。この場合、ユーザは、描画エリアの縁上からドラッグすることで描画エリアを拡大でき、離れた箇所に図形を描画することができる(S2〜S6参照)。図24は、本発明の実施の形態における変形例15を説明する図である。
この場合、端末装置10は、描画エリアを拡大できることを、ユーザに知らせるため、エリアサイズ拡大アイコンを表示させることができる(S2参照)。また、端末装置10は、拡大した描画エリアを縮小することも可能であるが、縮小後のサイズが描画エリアデータ172に登録されているサイズよりも小さくなると、オブジェクトのレイアウトが崩れてしまう。このため、端末装置10は、描画エリアの縮小を可能とする場合は、縮小幅に制限を設定するのが好ましい。
[変形例16]
描画エリアが広大となり、オブジェクトの数も増加した場合に、ユーザが、描画エリア全体を移動しやすいようにするために、端末装置10は、描画エリア内のオブジェクトを一括して選択する仕組みを備えることもできる。例えば、入力操作推定部13は、図25に示すように、ユーザが描画エリアの縁上をクリック/タップした場合に、描画エリア内のオブジェクトを全選択する機能を備えることができる。図25は、本発明の実施の形態における変形例16を説明する図である。
[プログラム]
本実施の形態におけるプログラムは、端末装置として機能するコンピュータに、図6、図7、図10及び図12に示したステップB1〜B26、図13に示しステップたF1〜F7を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における端末装置10及び電子ホワイトボードの入力支援方法を実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、オブジェクト表示部11、入力操作特定部12、入力操作推定部13、描画エリア修正部14、データ送信部15、及びデータ受信部16として機能し、処理を行なう。
ここで、本実施の形態におけるプログラムを実行することによって、端末装置10を実現するコンピュータの一例について図26を用いて説明する。図26は、本発明の実施の形態における端末装置を実現するコンピュータの一例を示すブロック図である。
図26に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記15)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
画面上に表示された電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、オブジェクト表示部と、
前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、入力操作特定部と、
特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、入力操作推定部と、
を備えている、ことを特徴とする端末装置。
(付記2)
前記入力操作特定部が、前記入力操作が、画面上の1点の指定、画面上の2点以上の指定、及び画面上へのテキストの入力のいずれであるかを特定し、
前記入力操作推定部が、特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が、テキストの入力、オブジェクトの選択、及び図形の描画のいずれに該当するかを推定する、
付記1に記載の端末装置。
(付記3)
前記電子ホワイトボードが、サーバ装置によってネットワーク上に提供されており、
当該端末装置が、データ送信部を更に備え、
前記データ送信部は、前記入力操作によって前記描画エリアにおいて変化が生じた場合に、前記変化を特定する情報を、前記サーバ装置に送信し、前記サーバ装置に、前記情報に基づいて前記電子ホワイトボードに表示される情報を更新させる、
付記1または2に記載の端末装置。
(付記4)
前記サーバ装置からの指示に応じて、前記描画エリアの大きさを変更する、描画エリア修正部を、更に備えている、
付記3に記載の端末装置。
(付記5)
前記サーバ装置から、前記入力操作に対する結果、及び前記電子ホワイトボードを利用する他の端末装置で行われた入力操作の結果を受信する、データ受信部を更に備え、
前記データ受信部は、受信した結果を用いて、前記オブジェクト表示部に、前記画面上の前記電子ホワイトボードを更新させる、
付記3又は4に記載の端末装置。
(付記6)
ネットワーク上に電子ホワイトボードを提供するサーバ装置と、前記電子ホワイトボードへの入力を行うための端末装置とを備え、
前記端末装置は、
画面上に表示された前記電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、オブジェクト表示部と、
前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、入力操作特定部と、
特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、入力操作推定部と、を備えている、
ことを特徴とする電子ホワイトボードシステム。
(付記7)
前記サーバ装置は、
前記端末装置によって設定された前記描画エリアを特定する情報と、前記描画エリアに描画されているオブジェクトを特定する情報と、前記描画エリアにおいて入力操作を行っている前記端末装置のユーザを特定する情報と、を管理する、描画エリア管理部を備えている、付記6に記載の電子ホワイトボードシステム。
(付記8)
前記端末装置において、
前記入力操作特定部が、前記入力操作が、画面上の1点の指定、画面上の2点以上の指定、及び画面上へのテキストの入力のいずれであるかを特定し、
前記入力操作推定部が、特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が、テキストの入力、オブジェクトの選択、及び図形の描画のいずれに該当するかを推定する、
付記6又は7に記載の電子ホワイトボードシステム。
(付記9)
前記端末装置が、データ送信部を、更に備え、
前記サーバ装置が、オブジェクト操作処理部を更に備え、
前記端末装置において、前記データ送信部は、前記入力操作によって前記描画エリアにおいて変化が生じた場合に、前記変化を特定する情報を、前記サーバ装置に送信し、
前記サーバ装置において、前記オブジェクト操作処理部は、前記情報が送信されてきた場合に、前記情報に基づいて前記電子ホワイトボードに表示される情報を更新する、
付記6〜8に記載の電子ホワイトボードシステム。
(付記10)
複数の前記端末装置が備えられており、
前記サーバ装置は、更に、
いずれかの前記端末装置から前記情報が送信され、前記オブジェクト操作処理部によって、前記電子ホワイトボードに表示される情報が更新された場合に、複数の前記端末装置全てに、前記電子ホワイトボードにおける更新の内容を送信する、送信部を更に備え、
付記9に記載の電子ホワイトボードシステム。
(付記11)
前記サーバ装置において、前記描画管理部が、複数の前記端末装置それぞれのユーザのうち、前記描画エリアに参加しているユーザを特定すると、前記送信部は、特定したユーザの前記端末装置に、他の特定したユーザが前記描画エリアに参加していることを示す情報を送信する、
付記10に記載の電子ホワイトボードシステム。
(付記12)
前記情報が送信されてきた前記端末装置装置において、その前記オブジェクト表示部は、前記画面上において、他の特定したユーザを表示する、
付記11に記載の電子ホワイトボードシステム。
(付記13)
特定したユーザの前記端末装置において、その前記データ送信部が、入力操作の開始から終了までの過程を示す情報を、前記サーバ装置に送信すると、、
前記サーバ装置において、前記送信部は、送信されてきた、入力操作の開始から終了までの過程を示す情報を、他の特定したユーザの前記端末装置に送信し、当該端末装置の画面上に、前記入力操作の開始から終了までの過程を表す情報を表示させる、
付記11に記載の電子ホワイトボードシステム。
(付記14)
前記端末装置が、前記サーバ装置の指示に応じて、前記描画エリアの大きさを変更する、描画エリア修正部を、更に備え、
前記端末装置において、前記データ送信部が、前記情報として、新たに設定された描画エリアを特定する情報、又は既に設定されている描画エリアにおけるオブジェクトの変更を特定する情報を送信した場合に、
前記サーバ装置において、前記描画エリア管理部は、前記情報を送信した前記端末装置に対して、新たに設定された描画エリア又はオブジェクトの変更があった描画エリアを拡大するように指示する、
付記9に記載の電子ホワイトボードシステム。
(付記15)
電子ホワイトボードへの入力を支援するための方法であって、
(a)画面上に表示された前記電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、ステップと、
(b)前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、ステップと、
(c)特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、ステップと、
を有する、ことを特徴とする電子ホワイトボードの入力支援方法。
(付記16)
前記(b)のステップにおいて、前記入力操作が、画面上の1点の指定、画面上の2点以上の指定、及び画面上へのテキストの入力のいずれであるかを特定し、
前記(c)のステップにおいて、特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が、テキストの入力、オブジェクトの選択、及び図形の描画のいずれに該当するかを推定する、
付記15に記載の電子ホワイトボードの入力支援方法。
(付記17)
前記電子ホワイトボードが、サーバ装置によってネットワーク上に提供されており、
当該電子ホワイトボード入力支援方法が、
(d)前記入力操作によって前記描画エリアにおいて変化が生じた場合に、前記変化を特定する情報を、前記サーバ装置へと送信し、前記サーバ装置に、前記情報に基づいて、前記電子ホワイトボードに表示される情報を更新させる、ステップ、を更に有する、
付記15または16に記載の電子ホワイトボードの入力支援方法。
(付記18)
(e)前記サーバ装置からの指示に応じて、前記描画エリアの大きさを変更する、ステップを、更に有している、
付記17に記載の電子ホワイトボードの入力支援方法。
(付記19)
(f)前記サーバ装置から、前記入力操作に対する結果、及び前記電子ホワイトボードを利用する他の端末装置で行われた入力操作の結果を受信する、ステップと、
(g)前記(f)のステップで受信した結果を用いて、前記画面上の前記電子ホワイトボードを更新させる、ステップと、を更に有する、
付記18又は19に記載の電子ホワイトボードの入力支援方法。
(付記20)
コンピュータによって、電子ホワイトボードへの入力を支援するためのプログラムであって、
前記コンピュータに、
(a)画面上に表示された前記電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、ステップと、
(b)前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、ステップと、
(c)特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、ステップと、
を実行させる、プログラム。
(付記21)
前記(b)のステップにおいて、前記入力操作が、画面上の1点の指定、画面上の2点以上の指定、及び画面上へのテキストの入力のいずれであるかを特定し、
前記(c)のステップにおいて、特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が、テキストの入力、オブジェクトの選択、及び図形の描画のいずれに該当するかを推定する、
付記20に記載のプログラム。
(付記22)
前記電子ホワイトボードが、サーバ装置によってネットワーク上に提供されている場合に、
前記コンピュータに、
(d)前記入力操作によって前記描画エリアにおいて変化が生じた場合に、前記変化を特定する情報を、前記サーバ装置へと送信し、前記サーバ装置に、前記情報に基づいて、前記電子ホワイトボードに表示される情報を更新させる、ステップ、を更に実行させる、
付記20または21に記載のプログラム。
(付記23)
前記コンピュータに、
(e)前記サーバ装置からの指示に応じて、前記描画エリアの大きさを変更する、ステップを、更に実行させる、
付記22に記載のプログラム。
(付記24)
前記コンピュータに、
(f)前記サーバ装置から、前記入力操作に対する結果、及び前記電子ホワイトボードを利用する他の端末装置で行われた入力操作の結果を受信する、ステップと、
(g)前記(f)のステップで受信した結果を用いて、前記画面上の前記電子ホワイトボードを更新させる、ステップと、を更に実行させる、
付記22又は23に記載のプログラム。
以上のように、本発明によれば、電子ホワイトボードの利用において、入力方式に制限を受けることなく、入力操作におけるユーザの負担を軽減することができる。本発明は、電子ホワイトボード、特にはオンライホワイトボードに有用である。
10 端末装置
11 オブジェクト表示部
12 入力操作特定部
13 入力操作推定部
14 描画エリア修正部
15 データ送信部
16 データ受信部
17 データ記憶部
20 サーバ装置
21 データ受信部
22 データ送信部
23 描画オブジェクト操作処理部
24 描画エリア管理部
26 ホワイトボードデータ記憶部
27 管理データ記憶部
100 電子ホワイトボードシステム
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
171 表示オブジェクトデータ
172 描画エリアデータ
261 オブジェクト情報テーブル
262 テキスト・図形固有データ
263 参加者データ
264 オブジェクトグループ管理テーブル
271 描画エリアサイズデータ
272 描画エリア編集ユーザデータ

Claims (8)

  1. 画面上に表示された電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、オブジェクト表示部と、
    前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、入力操作特定部と、
    特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、入力操作推定部と、
    を備えている、ことを特徴とする端末装置。
  2. 前記入力操作特定部が、前記入力操作が、画面上の1点の指定、画面上の2点以上の指定、及び画面上へのテキストの入力のいずれであるかを特定し、
    前記入力操作推定部が、特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が、テキストの入力、オブジェクトの選択、及び図形の描画のいずれに該当するかを推定する、
    請求項1に記載の端末装置。
  3. 前記電子ホワイトボードが、サーバ装置によってネットワーク上に提供されており、
    当該端末装置が、データ送信部を更に備え、
    前記データ送信部は、前記入力操作によって前記描画エリアにおいて変化が生じた場合に、前記変化を特定する情報を、前記サーバ装置に送信し、前記サーバ装置に、前記情報に基づいて前記電子ホワイトボードに表示される情報を更新させる、
    請求項1または2に記載の端末装置。
  4. 前記サーバ装置からの指示に応じて、前記描画エリアの大きさを変更する、描画エリア修正部を、更に備えている、
    請求項3に記載の端末装置。
  5. 前記サーバ装置から、前記入力操作に対する結果、及び前記電子ホワイトボードを利用する他の端末装置で行われた入力操作の結果を受信する、データ受信部を更に備え、
    前記データ受信部は、受信した結果を用いて、前記オブジェクト表示部に、前記画面上の前記電子ホワイトボードを更新させる、
    請求項3又は4に記載の端末装置。
  6. ネットワーク上に電子ホワイトボードを提供するサーバ装置と、前記電子ホワイトボードへの入力を行うための端末装置とを備え、
    前記端末装置は、
    画面上に表示された前記電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、オブジェクト表示部と、
    前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、入力操作特定部と、
    特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、入力操作推定部と、を備えている、
    ことを特徴とする電子ホワイトボードシステム。
  7. 電子ホワイトボードへの入力を支援するための方法であって、
    (a)画面上に表示された前記電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、ステップと、
    (b)前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、ステップと、
    (c)特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、ステップと、
    を有する、ことを特徴とする電子ホワイトボードの入力支援方法。
  8. コンピュータによって、電子ホワイトボードへの入力を支援するためのプログラムであって、
    前記コンピュータに、
    (a)画面上に表示された前記電子ホワイトボードの指示された箇所に、テキスト及び図形を含むオブジェクトの描画が許可された描画エリアを設定する、ステップと、
    (b)前記電子ホワイトボードに対して入力操作が行われた場合に、前記入力操作の内容を特定する、ステップと、
    (c)特定された前記入力操作の内容、及び前記画面上の前記入力操作が行われた位置と前記描画エリアの位置との関係に基づいて、前記入力操作が意図する命令を推定する、ステップと、
    を実行させる、プログラム。
JP2014075452A 2014-04-01 2014-04-01 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム Active JP6364893B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014075452A JP6364893B2 (ja) 2014-04-01 2014-04-01 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム
US14/666,428 US20150278983A1 (en) 2014-04-01 2015-03-24 Terminal apparatus, electronic whiteboard system, input assist method for electronic whiteboard, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014075452A JP6364893B2 (ja) 2014-04-01 2014-04-01 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015197795A true JP2015197795A (ja) 2015-11-09
JP6364893B2 JP6364893B2 (ja) 2018-08-01

Family

ID=54191080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014075452A Active JP6364893B2 (ja) 2014-04-01 2014-04-01 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム

Country Status (2)

Country Link
US (1) US20150278983A1 (ja)
JP (1) JP6364893B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018007109A (ja) * 2016-07-05 2018-01-11 株式会社MetaMoJi コンテンツ共有システム
CN111610893A (zh) * 2020-06-05 2020-09-01 北京大麦地信息技术有限公司 呈现电子白板的方法和装置、计算机可读存储介质
WO2021124753A1 (ja) * 2019-12-17 2021-06-24 株式会社ワコム 手書き入力装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102294705B1 (ko) * 2014-08-29 2021-08-30 삼성전자주식회사 유저 입력에 기초한 오브젝트 속성을 제어하는 전자 장치 및 방법
JP6488653B2 (ja) * 2014-11-07 2019-03-27 セイコーエプソン株式会社 表示装置、表示制御方法および表示システム
JP6515603B2 (ja) * 2015-03-13 2019-05-22 日本電気株式会社 電子ホワイトボードシステム、電子ホワイトボードアクセス権付与方法およびそのプログラム
JP6540116B2 (ja) * 2015-03-13 2019-07-10 日本電気株式会社 電子ホワイトボードシステム、電子ホワイトボード検索結果表示方法およびそのプログラム
JP2018116411A (ja) * 2017-01-17 2018-07-26 株式会社リコー 表示制御システム、表示制御方法、表示装置、プログラムおよび情報処理装置
EP3796145B1 (en) * 2019-09-19 2024-07-03 MyScript A method and correspond device for selecting graphical objects
CN110716680B (zh) * 2019-10-09 2021-05-07 广州视源电子科技股份有限公司 智能交互平板的控制方法和装置
CN110912870B (zh) * 2019-10-18 2021-09-14 北京字节跳动网络技术有限公司 一种电子白板数据的同步方法、装置、介质和电子设备
CN113448455B (zh) * 2020-09-27 2023-09-01 深圳市艾博德科技股份有限公司 一种电子白板快捷键实现方法及电子白板
JP2023007696A (ja) * 2021-07-02 2023-01-19 セイコーエプソン株式会社 画像処理方法および画像処理装置
CN113419664A (zh) * 2021-07-23 2021-09-21 广州朗国电子科技股份有限公司 一体机多窗模式下的白板书写区域适配方法、设备、介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05257904A (ja) * 1991-10-15 1993-10-08 Fuji Xerox Co Ltd 共同作業装置
JP2001236202A (ja) * 2000-02-22 2001-08-31 Sharp Corp 通信システム
JP2004005575A (ja) * 2002-04-11 2004-01-08 Jst Mfg Co Ltd 3次元空間図形処理装置および3次元空間図形処理方法
JP2006139679A (ja) * 2004-11-15 2006-06-01 Canon Inc 端末操作装置及び方法、記憶媒体、並びプログラム
JP2007511000A (ja) * 2003-11-10 2007-04-26 マイクロソフト コーポレーション 自動拡張を伴うテキスト入力ウィンドウ
JP2007279831A (ja) * 2006-04-03 2007-10-25 Canon Inc 情報処理装置および情報処理方法および情報処理プログラム
JP2010182008A (ja) * 2009-02-04 2010-08-19 Nikon Corp 画像表示プログラム、および画像表示装置
JP2012018644A (ja) * 2010-07-09 2012-01-26 Brother Ind Ltd 情報処理装置、情報処理方法およびプログラム
JP2013041333A (ja) * 2011-08-11 2013-02-28 Sharp Corp 情報処理装置、画面表示方法、制御プログラムおよび記録媒体
WO2013121455A1 (ja) * 2012-02-13 2013-08-22 日立コンシューマエレクトロニクス株式会社 プロジェクタ、図形入力・表示装置、携帯端末およびプログラム。
JP2013246420A (ja) * 2012-05-29 2013-12-09 Sharp Corp 画像表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665259B2 (en) * 2013-07-12 2017-05-30 Microsoft Technology Licensing, Llc Interactive digital displays

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05257904A (ja) * 1991-10-15 1993-10-08 Fuji Xerox Co Ltd 共同作業装置
JP2001236202A (ja) * 2000-02-22 2001-08-31 Sharp Corp 通信システム
JP2004005575A (ja) * 2002-04-11 2004-01-08 Jst Mfg Co Ltd 3次元空間図形処理装置および3次元空間図形処理方法
JP2007511000A (ja) * 2003-11-10 2007-04-26 マイクロソフト コーポレーション 自動拡張を伴うテキスト入力ウィンドウ
JP2006139679A (ja) * 2004-11-15 2006-06-01 Canon Inc 端末操作装置及び方法、記憶媒体、並びプログラム
JP2007279831A (ja) * 2006-04-03 2007-10-25 Canon Inc 情報処理装置および情報処理方法および情報処理プログラム
JP2010182008A (ja) * 2009-02-04 2010-08-19 Nikon Corp 画像表示プログラム、および画像表示装置
JP2012018644A (ja) * 2010-07-09 2012-01-26 Brother Ind Ltd 情報処理装置、情報処理方法およびプログラム
JP2013041333A (ja) * 2011-08-11 2013-02-28 Sharp Corp 情報処理装置、画面表示方法、制御プログラムおよび記録媒体
WO2013121455A1 (ja) * 2012-02-13 2013-08-22 日立コンシューマエレクトロニクス株式会社 プロジェクタ、図形入力・表示装置、携帯端末およびプログラム。
JP2013246420A (ja) * 2012-05-29 2013-12-09 Sharp Corp 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尾崎 裕子: "地図、配線図、間取り図… こんなに楽しい使い方があった! エクセルで「図」を描く!", アスキー ドットPC 第14巻 第3号, vol. 第14巻, JPN6018007342, 28 December 2010 (2010-12-28), JP, pages 50 - 51, ISSN: 0003750354 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018007109A (ja) * 2016-07-05 2018-01-11 株式会社MetaMoJi コンテンツ共有システム
WO2021124753A1 (ja) * 2019-12-17 2021-06-24 株式会社ワコム 手書き入力装置
US11880563B2 (en) 2019-12-17 2024-01-23 Wacom Co., Ltd. Handwriting input device
JP7520887B2 (ja) 2019-12-17 2024-07-23 株式会社ワコム 手書き入力装置
CN111610893A (zh) * 2020-06-05 2020-09-01 北京大麦地信息技术有限公司 呈现电子白板的方法和装置、计算机可读存储介质
CN111610893B (zh) * 2020-06-05 2024-03-15 北京大麦地信息技术有限公司 呈现电子白板的方法和装置、计算机可读存储介质

Also Published As

Publication number Publication date
US20150278983A1 (en) 2015-10-01
JP6364893B2 (ja) 2018-08-01

Similar Documents

Publication Publication Date Title
JP6364893B2 (ja) 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム
US11301126B2 (en) Icon control method and terminal
US9811349B2 (en) Displaying operations performed by multiple users
US12093506B2 (en) Systems and methods for a touchscreen user interface for a collaborative editing tool
US9645782B2 (en) Multiple displays for displaying workspaces
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
US20150067540A1 (en) Display apparatus, portable device and screen display methods thereof
JP2012194673A (ja) 情報処理装置およびその制御方法およびプログラム
US20170277381A1 (en) Cross-platform interactivity architecture
JP2008293361A (ja) 画面表示システム、その制御方法、プログラム及び記録媒体
US20200201519A1 (en) Information processing apparatus
WO2022242379A1 (zh) 笔画渲染方法、装置、存储介质以及终端
EP3066550B1 (en) Two step content selection
US20140223298A1 (en) Method of editing content and electronic device for implementing the same
US9495063B2 (en) Displaying tooltips to users of touch screens
US9830056B1 (en) Indicating relationships between windows on a computing device
JP2004317583A (ja) 描画装置
US9965134B2 (en) Method and apparatus for providing a user interface for a file system
US20220358258A1 (en) Computer-aided design methods and systems
CN108885556B (zh) 控制数字输入
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
US20160210101A1 (en) Document display support device, terminal, document display method, and computer-readable storage medium for computer program
JP6209868B2 (ja) 情報端末、情報処理プログラム、情報処理システム、及び情報処理方法
JP2011238040A (ja) プログラムおよび電子機器
JP2015204046A (ja) オブジェクトを管理する情報処理装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6364893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150