JP2017076207A - 画像処理装置及び画像処理システム - Google Patents

画像処理装置及び画像処理システム Download PDF

Info

Publication number
JP2017076207A
JP2017076207A JP2015202516A JP2015202516A JP2017076207A JP 2017076207 A JP2017076207 A JP 2017076207A JP 2015202516 A JP2015202516 A JP 2015202516A JP 2015202516 A JP2015202516 A JP 2015202516A JP 2017076207 A JP2017076207 A JP 2017076207A
Authority
JP
Japan
Prior art keywords
image
unit
electronic blackboard
display
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015202516A
Other languages
English (en)
Inventor
周平 坪根
Shuhei Tsubone
周平 坪根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015202516A priority Critical patent/JP2017076207A/ja
Priority to US15/274,263 priority patent/US10754606B2/en
Priority to EP16193245.4A priority patent/EP3156895A1/en
Priority to CN201610899268.2A priority patent/CN107037939B/zh
Publication of JP2017076207A publication Critical patent/JP2017076207A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/04Display device controller operating with a plurality of display units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Abstract

【課題】表示装置に表示されている画像に対して、コピー、切り取り、及び貼り付けが可能であり、ユーザの使い勝手を向上させることができる画像処理装置を提供する。【解決手段】 ユーザは、ディスプレイ(表示装置)に表示されている任意のストローク画像に対して、コピー及び切り取りのいずれかの操作を行うことができる。コピーの操作では、選択されたストローク画像が保持され、該ストローク画像はディスプレイ上にそのまま残される。切り取りの操作では、選択されたストローク画像が保持され、該ストローク画像はディスプレイ上から削除される。そして、コピー及び切り取りのいずれかの操作で保持されたストローク画像は、貼り付けの操作で、ディスプレイ上の任意の位置に表示される。また、コピー、切り取り、及び貼り付けに関する情報は、通信ネットワークを介して送信される。【選択図】図7

Description

本発明は、画像処理装置及び画像処理システムに係り、更に詳しくは、表示装置を有する画像処理装置、及び該画像処理装置を含む画像処理システムに関する。
近年、液晶ディスプレイなどのフラットパネル・ディスプレイ又はプロジェクタの投影スクリーンにタッチパネルを搭載した、電子情報ボードと呼ばれる電子黒板が、通常の会議や遠隔会議で活用されている。
例えば、特許文献1には、背景画像を表示装置に表示するとともに、ユーザの入力操作により描画されるストロークを再現するストローク画像を背景画像の上に重ねて表示装置に表示する画像処理装置が開示されている。
しかしながら、特許文献1に開示されている画像処理装置では、表示装置に表示されているストローク画像に対する編集処理に関して、ユーザの使い勝手の点で改善の余地があった。
本発明は、画像を表示する表示装置と、前記表示装置に表示されている画像で、ユーザによって選択された画像の複製を作成する作成手段と、前記作成手段で作成された複製を前記表示装置に表示させる表示手段とを備える画像処理装置。
本発明の画像処理装置によれば、表示装置に表示されている画像に対して、コピー、切り取り、及び貼り付けが可能であり、ユーザの使い勝手を向上させることができる。
一実施形態に係る画像処理システムの概略構成図である。 電子黒板のハードウェア構成図である。 電子黒板の機能を説明するためのブロック図である。 イベント振分部での処理を説明するためのフローチャートである。 ボタンを用いたストローク画像のコピー、切り取り、貼り付けを説明するための図である。 ストローク画像の選択を説明するための図である。 サブメニューを説明するための図である。 ストローク画像の切り取りを説明するための図である。 切り取られたストローク画像の貼り付けを説明するための図(その1)である。 切り取られたストローク画像の貼り付けを説明するための図(その2)である。 コピーされたストローク画像の貼り付けを説明するための図(その1)である。 コピーされたストローク画像の貼り付けを説明するための図(その2)である。 コピーされたストローク画像の貼り付けを説明するための図(その3)である。 コンテキストメニューを用いたストローク画像のコピー、切り取り、貼り付けを説明するための図である。 コンテキストメニューを用いたストローク画像のコピー及び貼り付けを説明するための図(その1)である。 コンテキストメニューを用いたストローク画像のコピー及び貼り付けを説明するための図(その2)である。 コンテキストメニューを用いたストローク画像のコピー及び貼り付けを説明するための図(その3)である。 ページデータを説明するための図である。 複数の画像の重畳を説明するための図である。 ストロークデータを説明するための図である。 座標配列データを説明するための図である。 メディアデータを説明するための図である。 遠隔ライセンス管理テーブルを説明するための図である。 ファイル処理部の機能を説明するためのブロック図である。 アドレス帳管理テーブルを説明するための図である。 バックアップデータを説明するための図である。 接続先管理テーブルを説明するための図である。 サーバ部及び送信制御部の機能を説明するためのブロック図である。 参加拠点管理テーブルを説明するための図である。 操作データを説明するための図である。 遠隔共有処理を説明するためのシーケンス図(その1)である。 遠隔共有処理を説明するためのシーケンス図(その2)である。 遠隔共有処理を説明するためのシーケンス図(その3)である。 遠隔共有処理を説明するためのシーケンス図(その4)である。
以下、本発明の一実施形態を図1〜図34に基づいて説明する。図1には、一実施形態に係る画像処理システム1の概略構成が示されている。
この画像処理システム1は、通信ネットワーク9を介して相互に通信可能に接続された複数の電子黒板、及びPC(パーソナルコンピュータ)8等を有している。ここでは、便宜上、複数の電子黒板が2つの電子黒板(2a,2b)である場合について説明するが、これに限定されるものではない。複数の電子黒板が3つ以上の電子黒板であっても良い。なお、複数の電子黒板は、互いに異なる拠点に設けられているものとする。そして、PC8は、共有される画像を閲覧するためのPCである。
電子黒板2aには、ケーブル10a1を介してノートPC6aが接続され、ケーブル10a2を介してテレビ会議端末7aが接続されている。同様に、電子黒板2bには、ケーブル10b1を介してノートPC6bが接続され、ケーブル10b2を介してテレビ会議端末7bが接続されている。
各ケーブルは、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High−Definition Multimedia Interface)、VGA(Video Graphics Array)等の規格による通信が可能なケーブルである。
なお、各ノートPC及び各テレビ会議端末は、Bluetooth(登録商標)等の規格に準拠した無線通信によって対応する電子黒板と接続されていても良い。
電子黒板2aは、ディスプレイ3aを有している。同様に、電子黒板2bは、ディスプレイ3bを有している。
さらに、画像処理システム1は、電子黒板2aに対応して、電子ペン4a、及びUSBメモリ5aを含み、電子黒板2bに対応して、電子ペン4b、及びUSBメモリ5bを含んでいる。
各電子ペンのペン先は、ディスプレイに押しつけられると、ディスプレイからの反発力で電子ペンの中に押し込まれるようになっている。そして、各電子ペンは、ペン先が電子ペンの中に押し込まれると、対応する電子黒板に通知する。ここでは、電子ペンと対応する電子黒板との間の通信は、赤外線によって行われる。なお、図1における符号Haは、電子黒板2aのユーザの手であり、符号Hbは、電子黒板2bのユーザの手である。
電子黒板2aでは、電子ペン4aを用いてディスプレイ3a上に描画することができる。また、電子黒板2bでは、電子ペン4bを用いてディスプレイ3b上に描画することができる。
そして、一の拠点にある電子黒板2aのディスプレイ3a上に描画された画像は、他の拠点にある電子黒板2bのディスプレイ3b上にも表示され、逆に他の拠点にある電子黒板2bのディスプレイ3b上に描画された画像は、一の拠点にある電子黒板2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。なお、共有される画像は、PC8のディスプレイ上にも表示される。
各電子黒板では、ユーザが手を用いた、例えば、拡大、縮小、ページめくり等のジェスチャに基づいて、ディスプレイ上に表示されている画像を変更させることもできる。
また、電子黒板2aには、USBメモリ5aが接続可能であり、電子黒板2aは、USBメモリ5aから電子ファイルを読み出したり、USBメモリ5aに電子ファイルを記録することができる。
同様に、電子黒板2bには、USBメモリ5bが接続可能であり、電子黒板2bは、USBメモリ5bから電子ファイルを読み出したり、USBメモリ5bに電子ファイルを記録することができる。
ここでは、電子黒板2aと電子黒板2bは、同じ構成及び機能を有しているため、以下の説明において、電子黒板2aと電子黒板2bを区別する必要がない場合、それらを総称して、単に「電子黒板2」と記述する。そして、該電子黒板2に対応するディスプレイを「ディスプレイ3」、対応する電子ペンを「電子ペン4」、対応するUSBメモリを「USBメモリ5」、対応するノートPCを「ノートPC6」、対応するテレビ会議端末を「テレビ会議端末7」、対応する手を「手H」、対応するケーブルを「ケーブル10」と記述する。
次に、電子黒板2のハードウェア構成について説明する。電子黒板2のハードウェア構成の一例が図2に示されている。
電子黒板2は、ディスプレイ3、CPU101、ROM102、RAM103、SSD(Solid State Drive)104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU(Graphics Processing Unit)112、ディスプレイコントローラ113、センサコントローラ114、接触センサ115、及び電子ペンコントローラ116等を備えている。なお、接触センサ115は、ディスプレイ3と一体化されている。
CPU101は、SSD104に格納されているプログラムを実行し、電子黒板2の全体の動作を制御する。ROM102は、複数のプログラム及び各種データが格納されているメモリである。該複数のプログラム及び各種データのうち、CPU101で実行されるプログラム及び該プログラムで用いられるデータは、CPU101で実行される際にROM102からSSD104にコピーされる。RAM103は、作業用のメモリである。
ネットワークコントローラ105は、通信ネットワーク9を介した他の電子黒板等との通信を制御する。外部記憶コントローラ106は、USBメモリ5との通信を制御する。キャプチャデバイス111は、ノートPC6のディスプレイ上に表示されている映像情報を静止画又は動画として取得する。GPU112は、グラフィックスに関するデータ処理を行う。
ディスプレイコントローラ113は、ディスプレイ3の表示画面の制御及び管理を行い、GPU112から出力される画像、及びテレビ会議端末7から出力される画像をディスプレイ3に表示する。
接触センサ115は、赤外線遮断方式のタッチパネルであり、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する。また、接触センサ115は、ディスプレイ3上における接触位置に関する情報を検出する。ところで、赤外線遮断方式では、ディスプレイ3の上側両端部に設置された2つ受発光装置(不図示)が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、戻ってくる光を受光する。
接触センサ115は、電子ペン4やユーザの手Hがディスプレイ3に接触することによって遮断された赤外線のID(Identification)を、接触位置に関する情報としてセンサコントローラ114に出力する。そして、センサコントローラ114は、接触センサ115からの接触位置に関する情報に基づいて、電子ペン4やユーザの手Hの接触位置の座標を特定する。
なお、接触センサ115としては、赤外線遮断方式のタッチパネルに限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いても良い。また、接触センサ115として、タッチパネル以外の入力手段を用いても良い。
電子ペンコントローラ116は、電子ペン4と通信し、電子ペン4がディスプレイ3に押しつけられたか否かを判断する。
上記の構成各部のうち、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116は、アドレスバス及びデータバスを含むバス120に接続されている。
電子黒板2は、最初に遠隔共有処理を開始する「主催装置」になりうるとともに、すでに開始されている遠隔共有処理に後から参加する「参加装置」にもなりうる。
次に、電子黒板2の機能について説明する。電子黒板2の機能は、前述したハードウェア、複数のプログラム、及び各種データによって実現される。
電子黒板2の機能が図3に示されている。電子黒板2の機能は、クライアント部20とサーバ部90とに大別される。
電子黒板2が「主催装置」となる場合には、該電子黒板2では、クライアント部20とサーバ部90の両方が稼働する。一方、電子黒板2が「参加装置」となる場合には、該電子黒板2では、クライアント部20は稼働するが、サーバ部90は稼働しない。
そこで、例えば、電子黒板2aが「主催装置」で、電子黒板2bが「参加装置」となる場合、電子黒板2aのクライアント部20は、電子黒板2aのサーバ部90を介して、電子黒板2bのクライアント部20と通信を行う。一方、電子黒板2bのクライアント部20は、電子黒板2aのサーバ部90を介して、電子黒板2aのクライアント部と通信を行う。
クライアント部20の機能について説明する。クライアント部20は、図3に示されるように、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有している。
画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ページデータ記憶部300、遠隔ライセンス管理テーブル310、及びファイル処理部40を有している。
映像取得部21は、電子黒板2に接続されているノートPC6から出力される映像(以下では、「PC出力映像」ともいう)を取得する。また、映像取得部21は、取得したPC出力映像を解析して、ノートPC6において表示される画像の解像度や更新の頻度等を含む画像情報を抽出する。ここで取得されたPC出力映像及び画像情報は、画像取得部31に出力される。
座標検知部22は、ディスプレイ3に電子ペン4あるいはユーザの手Hが接触すると、該接触の位置座標を検知する。また、座標検知部22は、ディスプレイ3における接触された領域の面積も検知する。これらの検知結果は、イベント振分部25に出力される。
自動調整部23は、電子黒板2に電源が投入された時に起動され、接触センサ115が座標検知部22に適切な値を出力できるように、接触センサ115における各種パラメータを調整する。
接触検知部24は、電子ペン4との通信によって、電子ペン4がディスプレイ3に押しつけられたか否か検知する。その検知結果は、イベント振分部25に出力される。
イベント振分部25は、座標検知部22で検知された位置座標と、接触検知部24での検知結果とに基づいて、イベントの種別を判断する。ここでのイベントとしては、「ストローク描画」、「UI(ユーザインターフェース)操作」、及び「ジェスチャ操作」がある。なお、以下では、座標検知部22で検知された位置座標と接触検知部24での検知結果を「イベント情報」ともいう。
「ストローク描画」は、ユーザが電子ペン4をディスプレイ3に押しつけ、この状態で電子ペン4を移動させ、ディスプレイ3から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベットの「S」や「T」等がディスプレイ3に描画される。
なお、「ストローク描画」には、ストローク画像を描画するだけでなく、すでに描画されているストローク画像を削除したり、該ストローク画像を編集するイベントも含まれる。
「UI操作」は、ディスプレイ3にUI(ユーザインターフェース)画像が表示されているときに、ユーザが、電子ペン4又は手Hで、UIの要素(例えば、ボタン、リスト、チェックボックス、テキストボックス等)にタッチするイベントである。この「UI操作」により、例えば、描画される線の色や線幅等が設定される。
「ジェスチャ操作」は、ユーザが手Hでディスプレイ3に接触したり、手Hをディスプレイ3上で移動させるイベントである。例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大若しくは縮小、表示領域の変更、又は、ページ切り換え等を行うことができる。
そして、イベント振分部25は、その判断結果に応じて、イベント情報を、ストローク処理部32、操作処理部26及びジェスチャ処理部27のいずれかに出力する。
イベント振分部25での処理(以下では、「イベント振分処理」ともいう)について図4のフローチャートを用いて説明する。
最初のステップS401では、座標検知部22から位置座標を取得する。
次のステップS403では、位置がUI領域と重なっているか否かを判断する。なお、UI領域とは、ディスプレイ画面において、UIの要素が表示されている領域をいう(図19参照)。位置がUI領域と重なっていないならば、ここでの判断は否定され、ステップS405に移行する。
このステップS405では、接触検知部24の検知結果から電子ペン4が押しつけられているか否か判断する。電子ペン4が押しつけられていれば、ここでの判断は肯定され、ステップS407に移行する。
このステップS407では、イベントは「ストローク描画」であると判断する。
次のステップS409では、イベント情報をストローク処理部32に出力する。そして、イベント振分処理を終了する。
なお、上記ステップS405において、電子ペン4が押しつけられていなければ、ステップS405での判断は否定され、ステップS411に移行する。
このステップS411では、イベントは「ジェスチャ操作」であると判断する。
次のステップS413では、イベント情報をジェスチャ処理部27に出力する。そして、イベント振分処理を終了する。
また、上記ステップS403において、位置がUI領域と重なっていれば、ステップS403での判断は肯定され、ステップS415に移行する。
このステップS415では、イベントは「UI操作」であると判断する。
次のステップS417では、イベント情報を操作処理部26に出力する。そして、イベント振分処理を終了する。
図3に戻り、操作処理部26は、イベント振分部25によって「UI操作」と判断されたイベント情報を受信し、そのイベントが生じたUIの要素に応じた操作を実行する。「UI操作」には、コピー(COPY)、切り取り(CUT)、貼り付け(PASTE)の操作を含んでおり、コピー、切り取り、貼り付けの操作は、画像処理部30に通知される。
ジェスチャ処理部27は、イベント振分部25によって「ジェスチャ操作」と判断されたイベント情報を受信し、それに対応する操作を実行する。
ストローク処理部32は、イベント振分部25によって「ストローク描画」と判別されたイベント情報を受信し、ストロークによる画像(ストローク画像)の描画、すでに描画されているストローク画像の削除、及びすでに描画されているストローク画像の編集を行う。また、ストローク処理部32は、コピー、切り取り、貼り付けの操作を受け取ると、それらの処理を行う。
ストローク画像の描画、削除、編集、コピー、切り取り、貼り付けの各結果は、表示重畳部36及びページ処理部37に出力されるとともに、操作データとして、データ管理部80の操作データ記憶部840(図15参照)に記憶される。
ここで、コピー、切り取り、貼り付けの操作及びそれらの処理について具体的に説明する。ここでは、一例として図5に示されるように、ディスプレイ3にストローク画像401、UIの要素の一つであるボタン402が表示されているものとする。なお、ディスプレイ3に複数のストローク画像が表示されていても良い。また、ここでは、煩雑さを避けるため、ボタン402以外のUIの要素の図示は省略している。
ユーザによってストローク画像401が選択されると、ストローク画像401は破線で囲まれ、選択されていることが明示される(図6参照)。なお、ユーザは、ストローク画像401をタップするか、ストローク画像401を囲むことによって、ストローク画像401を選択することができる。
次に、ユーザによってボタン402が押下されると、一例として図7に示されるように、サブメニュー403が表示される。そして、ユーザによってサブメニュー403の中の「切り取り」ボタン405が押下されると、ストローク画像401のデータ(ストロークデータ)がページ処理部37を介してページデータ記憶部300に保持されるとともに、ディスプレイ3上では削除される(図8参照)。
続いて、ユーザによってサブメニュー403の中の「貼り付け」ボタン406が押下され、ディスプレイ3上における貼り付けたい位置がタップされる(図9参照)と、ページデータ記憶部300に保持されているストローク画像401のデータがページ処理部37を介して読み出される。そして、該データに基づいてストローク画像が生成され、該ストローク画像が、タップされた位置を中心位置にして貼り付けられる(図10参照)。なお、タップされた位置は、座標検知部22での検知結果から知ることができる。
また、図7において、ユーザによってサブメニュー403の中の「コピー」ボタン404が押下されると、ストローク画像401のデータがページ処理部37を介してページデータ記憶部300に保持される。この場合、ストローク画像401は削除されない。
続いて、ユーザによってサブメニュー403の中の「貼り付け」ボタン406が押下され、ディスプレイ3上における貼り付けたい位置がタップされる(図11参照)と、ページデータ記憶部300に保持されているストローク画像401のデータがページ処理部37を介して読み出される。そして、該データに基づいてストローク画像が生成され、該ストローク画像が、タップされた位置を中心位置にして貼り付けられる(図12参照)。すなわち、ストローク画像401の複製がディスプレイ3上に表示される(図13参照)。
なお、ボタン402を用いるのに代えて、コンテキストメニューを用いても良い。この場合、ユーザによってストローク画像401が選択されると、一例として図14に示されるように、コンテキストメニュー413が表示される。ここでは、一例として、ストローク画像が選択されると、コンテキストメニュー413が自動的に表示されるように設定されているが、これに限定されるものではない。
ユーザによってコンテキストメニュー413の中の「コピー」414が選択されると、ストローク画像401のデータがページ処理部37を介してページデータ記憶部300に保持される。
続いて、ユーザによってディスプレイ3上における貼り付けたい位置が長押しされると、その近傍にコンテキストメニュー413が表示され(図15参照)、コンテキストメニュー413の中の「貼り付け」416が選択されると、ページデータ記憶部300に保持されているストローク画像401のデータがページ処理部37を介して読み出される。そして、該データに基づいてストローク画像が生成され、該ストローク画像が、貼り付けたい位置を中心位置にして貼り付けられる(図16及び図17参照)。なお、貼り付けたい位置を指定する方法として、貼り付けたい位置を長押しするのに代えて、他の方法を用いても良い。例えば、貼り付けたい位置を2点タップしても良い。また、貼り付けたい位置を指定するジェスチャを予め設定しておいても良い。
映像重畳部28は、表示重畳部36で重畳された画像(以下では、「重畳画像」と略述する)をディスプレイ3に表示する。また、映像重畳部28は、重畳画像をディスプレイ3の全体に表示するとともに、テレビ会議端末7から送られる映像をディスプレイ3の一部に別表示(ピクチャ・イン・ピクチャ)する。また、映像重畳部28は、別表示された映像をディスプレイ3の全体に表示するための表示の切り換えを行うことができる。
画像取得部31は、映像取得部21からのPC出力映像に含まれるフレーム情報を画像として取得し、表示重畳部36及びページ処理部37に出力する。なお、以下では、便宜上、画像取得部31で取得された画像を「PC出力画像」ともいう。
UI画像生成部33は、予め設定されているUI画像を生成し、表示重畳部36に出力する。
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータに含まれるメディアデータをページ処理部37から受信し、該メディアデータを表示重畳部36に出力する。背景画像のパターンは、無地、グリッド等である。
レイアウト管理部35は、画像取得部31から出力される画像、ストローク処理部32から出力される画像、UI画像生成部33又は背景生成部34から出力される画像、のレイアウトに関する情報(以下、「レイアウト情報」と略述する)を管理する。そのレイアウト情報は、表示重畳部36に出力される。
これにより、レイアウト管理部35は、表示重畳部36に対して、PC出力画像及びストローク画像を、UI画像及び背景画像中のどの位置に表示させるか、または非表示にさせるかを指示することができる。
表示重畳部36は、レイアウト管理部35からのレイアウト情報に基づいて、画像取得部31から出力された画像、ストローク処理部32から出力された画像、UI画像生成部33又は背景生成部34から出力された画像、のレイアウトを行う。
ページ処理部37は、ストローク画像に関するデータとPC出力画像に関するデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。
ページデータの一例が図18に示されている。ページデータは、ページデータID、開示時刻、終了時刻、ストローク配列データID、及びメディアデータIDを含んでいる。
ページデータIDは、ページを識別するためのIDである。開示時刻は、そのページの表示を開始した時刻である。終了時刻は、ページデータの更新が終了した時刻である。ストローク配列データIDは、「ストローク描画」イベントによって生成されたストローク配列データを識別するためのIDである。
メディアデータIDは、メディアデータを識別するためのIDである。ストローク配列データは、ストローク画像をディスプレイ3上に表示するためのデータである。メディアデータは、背景画像をディスプレイ3上に表示するためのデータである。
ストローク画像に関するデータは、ストローク配列データIDと関連付けされているストローク配列データとして、ページデータの一部を成している。PC出力画像に関するデータは、メディアデータIDと関連付けされているメディアデータとして、ページデータの一部を成している。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像のデータとして取り扱われる。
ページ処理部37が、一旦記憶されたページデータにおけるメディアデータを、背景生成部34を介して表示重畳部36に送信すると、映像重畳部28は背景画像をディスプレイ3に再表示させることができる。
また、ページ処理部37が、一旦記憶されたページデータにおけるストローク配列データを、ストローク処理部32に戻すと、ストローク画像の再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
すなわち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されているPC出力画像のデータは、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像を示すメディアデータとして読み出される。
そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータにおけるストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータにおけるメディアデータを、背景生成部34に出力する。
表示重畳部36は、画像取得部31からのPC出力画像、ストローク処理部32からのストローク画像、UI画像生成部33からのUI画像、及び背景生成部34からの背景画像を、レイアウト管理部35によって指定されたレイアウトに従って重畳する。
ここでは、図19に示されるように、UI画像のためのレイヤと、ストローク画像のためのレイヤと、PC出力画像のためのレイヤと、背景画像のためのレイヤとが設けられており、ユーザ側から見たときに、UI画像が1層目、ストローク画像が2層目、PC出力画像が3層目、背景画像が4層目となるように重畳される。
また、表示重畳部36は、PC出力画像と背景画像を切り替えて、UI画像及びストローク画像に対して排他的に重畳することも可能である。例えば、当初、UI画像、ストローク画像、及びPC出力画像が表示されている状態で、電子黒板2とノートPC6との間のケーブル10が抜かれた場合には、レイアウト管理部35の指示によって、PC出力画像を重畳対象から外し、背景画像を表示させることができる。また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
ストローク配列データの一例が図20に示されている。1つのストローク配列データは、複数のストロークデータから構成されている。各ストロークデータは、「ストローク描画」イベント毎に生成される。
例えば、ユーザが電子ペン4でアルファベットの「S」を描く場合は一筆書きとなるため、1つのストロークデータIDで、一文字のアルファベットの[S]が示される。また、例えば、ユーザが電子ペン4でアルファベットの「T」を描く場合、二筆書きとなるため、2つのストロークデータIDで、一文字のアルファベットの「T」が示されることになる。
各ストロークデータは、ストロークデータID、開始時刻、終了時刻、色、幅、及び座標配列データIDを含んでいる。
ストロークデータIDは、そのストロークデータを識別するためのIDである。開始時刻は、そのストロークの書き始めの時刻である。終了時刻は、そのストロークの書き終わりの時刻である。色は、そのストロークの色であり、幅は、そのストロークの幅である。座標配列データIDは、そのストロークの通過点に関する情報が含まれる座標配列データを識別するためのIDである。
座標配列データの一例が図21に示されている。座標配列データは、ストロークが通過した複数の点(通過点)について、通過点毎に、ディスプレイ3上での位置(X座標値、Y座標値)、該位置を通過したときの、ストロークの開示時刻からの差分の時刻(m秒)、及び該位置における電子ペン4の筆圧を情報として含んでいる。例えば、ユーザが電子ペン4でアルファベットの「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を含んでいる。
メディアデータの一例が図22に示されている。各メディアデータは、メディアデータID、データの種類、記録時刻、X座標値、Y座標値、幅、高さ、及びデータを含んでいる。
メディアデータIDは、メディアデータを識別するためのIDである。データの種類は、メディアデータの種類である。記録時刻は、ページ処理部37からページデータ記憶部300にページデータが記憶された時刻である。X座標値とY座標値は、ページデータに基づいてディスプレイ3上に表示される画像の位置である。幅と高さは、画像のサイズである。データは、メディアデータの内容を示している。
このうち、ページデータ基づいてディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)としたときの、該画像の左上端の位置を示している。
図3に戻り、遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。
遠隔ライセンス管理テーブル310の一例が図23に示されている。遠隔ライセンス管理テーブル310は、プロダクトID、ライセンスID、及び有効期限を含んでいる。プロダクトIDは、電子黒板2のプロダクトIDである。ライセンスIDは、認証に用いられるIDであり、有効期限は、ライセンスの有効期限である。
次に、ファイル処理部40の機能について説明する。図24は、ファイル処理部40の機能ブロック図である。
このファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル出力部49b、設定ファイル入力部49a、及びアドレス帳入力部50を有している。
また、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、及び接続先管理テーブル440を有している。
リカバリ処理部41は、電子黒板2が電源の遮断等により異常終了した場合、次に電源が投入されたときに、異常終了を検知し、ページデータを復旧させる。
例えば、電子黒板2が正常に終了する場合は、ページデータがPDFファイルとしてファイル処理部40を介してUSBメモリ5に記録されるが、異常終了した場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、リカバリ処理部41は、次に電子黒板2の電源がオン(ON)になったときに、異常終了を検知すると、ページデータ記憶部300からページデータを読み出して、ページデータを復旧させる。
ファイル変換部43は、ページデータ記憶部300に記憶されているページデータをPDFファイルに変換する。なお、ページデータ記憶部300に複数のページデータが記憶されている場合、該複数のページデータは、それぞれ個別に、すなわちページ単位で複数のPDFファイルに変換されても良いし、あるいはまとめて1つのPDFファイルに変換されても良い。ここで変換されたPDFファイルは、バックアップ処理部46及びファイル送信部44に出力される。
ファイル入力部42aは、USBメモリ5からPDFファイルを読み込み、各ページをページデータとして、ページデータ記憶部300に記憶する。なお、USBメモリ5に複数のPDFファイルが記憶されている場合、ファイル入力部42aは、それらのすべてを読み込む。
ファイル出力部42bは、ファイル変換部43から出力されるPDFファイルをUSBメモリ5に保存する。
ファイル送信部44は、ファイル変換部43から出力されるPDFファイルを電子メールに添付して送信する。なお、ユーザは、表示重畳部36を介してディスプレイ3上に表示されるアドレス帳管理テーブル410の中から、電子ペン4あるいは手Hによってファイルの送信先を選択することができる。
アドレス帳管理テーブル410の一例が図25に示されている。このアドレス帳管理テーブル410には、送信先の名前と送信先のメールアドレスとが関連付けて格納されている。
なお、ユーザは、電子ペン4を用いて、送信先のメールアドレスを入力することもできる。
アドレス帳入力部45は、USBメモリ5からメールアドレスの一覧ファイル(アドレス帳)を読み込み、アドレス帳管理テーブル410に保存する。
バックアップ処理部46は、ファイル出力部42bから出力されたファイルや、ファイル送信部44から送信されたファイルを、バックアップデータ記憶部420に記憶することでバックアップ処理を行う。
バックアップデータの一例が図26に示されている。バックアップデータは、PDF形式のファイル(PDFファイル)として記憶される。なお、このバックアップ処理は、ユーザにより「バックアップが有効」に設定されている場合に行われ、設定されていない場合には行われない。
バックアップ出力部47は、バックアップされたファイルをUSBメモリ5に記憶する。なお、この記憶の際に、セキュリティ確保のため、ユーザに対してパスワードの入力が求められる。また、USBメモリ5に記憶されたファイルは、ファイル入力部42aにより読み出すことができる。
設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶するとともに、設定ファイル記憶部430から各種設定情報を読み出す。各種設定情報としては、例えば、ネットワークに関する情報、日付及び時刻、地域及び言語、メールサーバに関する情報、アドレス帳、接続先リスト、バックアップに関する情報等がある。なお、ネットワークに関する情報には、例えば、電子黒板2のIPアドレス、ネットマスク、デフォルトゲートウェイ、DNS(Domain Name System)等が含まれる。
設定ファイル出力部49bは、電子黒板2の上記各種設定情報を設定ファイルとしてUSBメモリ5に保存する。なお、セキュリティ確保の観点から、ユーザは設定ファイルの内容を見ることができない。
設定ファイル入力部49aは、USBメモリ5から設定ファイルを読み込み、その内容を設定管理部48に出力する。これにより、各種設定情報が電子黒板2の各種設定内容に反映される。
アドレス帳入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧である接続先リスト(例えばCVS形式の電子ファイル)を読み込み、接続先管理テーブル440に保存する。
接続先管理テーブル440は、電子黒板2が参加装置(既に開始されている遠隔共有処理に後から参加する電子黒板)である場合に、ユーザが主催装置(遠隔共有処理を開始した電子黒板)のIPアドレスを入力する手間を省くために、前もって電子黒板2のIPアドレスが保存されたテーブルである。
接続先管理テーブル440の一例が図27に示されている。接続先管理テーブル440には、主催装置として機能することができる電子黒板2の名称とIPアドレスとが関連付けてまとめられている。図27の例では、電子黒板2の名称として、該電子黒板2が設置されている場所を用いている。
なお、接続先管理テーブル440を使用することに代えて、参加装置のユーザが、逐一、電子ペン4を用いて、主催装置のIPアドレスを入力することとしても良い。この場合、参加装置のユーザは、主催装置のユーザから電話や電子メール等によってそのIPアドレスを知る必要がある。
次に、通信制御部60の機能について説明する。
通信制御部60は、通信ネットワーク9を介して行われる他の電子黒板2との通信や、サーバ部90の通信制御部70との通信を制御する。通信制御部60は、図28に示されるように、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、及び参加拠点管理テーブル610を有している。
遠隔開始処理部61は、同じ電子黒板2のサーバ部90に対して、新たに遠隔共有処理を開始することを要求し、その要求の結果をサーバ部90から受信する。なお、遠隔開始処理部61は、要求に先立って、遠隔ライセンス管理テーブル310を参照し、ライセンス情報(電子黒板2のプロダクトID、ライセンスID、及び有効期限)が管理されているか否かを確認する。そして、遠隔開始処理部61は、ライセンス情報が管理されている場合には、遠隔共有処理の開始要求を行うことができるが、ライセンス情報が管理されていない場合には、遠隔共有処理の開始要求を行うことができない。
参加拠点管理テーブル610は、電子黒板が主催装置である場合に、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するためのテーブルである。参加拠点管理テーブル610の一例が図29に示されている。この参加拠点管理テーブル610には、参加装置である電子黒板2の名称とIPアドレスとが関連付けてまとめられている。図29の例では、電子黒板2の名称として、該電子黒板2が設置されている場所を用いている。
遠隔参加処理部62は、通信ネットワーク9を介して、主催装置(遠隔共有処理を開始した電子黒板2)におけるサーバ部90の遠隔接続要求受信部71に遠隔共有処理への参加を要求し、その要求の結果をサーバ部90から受信する。なお、遠隔参加処理部62は、要求に先立って遠隔ライセンス管理テーブル310を参照する。
また、遠隔参加処理部62は、既に開始されている遠隔共有処理に参加する場合に、接続先管理テーブル440を参照して、主催装置のIPアドレスを取得する。なお、遠隔参加処理部62が接続先管理テーブル440を参照することに代えて、ユーザが、逐一、電子ペン4を用いて、主催装置のIPアドレスを入力することとしても良い。
遠隔画像送信部63は、画像取得部31からのPC出力画像をサーバ部90の遠隔画像受信部73に送信する。
遠隔画像受信部64は、サーバ部90の遠隔画像送信部74から、他の電子黒板2におけるPC出力画像のデータを受信し、表示重畳部36に出力する。これにより、遠隔共有処理が可能になる。
遠隔操作送信部65は、遠隔共有処理に必要な操作データをサーバ部90の遠隔操作受信部75に送信する。この操作データとしては、例えば、ストローク画像の追加、ストローク画像の削除、ストローク画像の編集(拡大、縮小、移動)、ストローク画像のコピー、ストローク画像の切り取り、ストローク画像の貼り付け、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等、に関するデータが挙げられる。
遠隔操作受信部66は、サーバ部90の遠隔操作送信部76から、他の電子黒板2において入力された操作データを受信し、画像処理部30に出力する。これにより、遠隔共有処理が行われる。
次に、サーバ部90の機能について説明する。サーバ部90は、図28に示されるように、通信制御部70とデータ管理部80とに大別することができる。
先ず、通信制御部70の機能について説明する。通信制御部70は、(1)同じ電子黒板2におけるクライアント部20の通信制御部60との通信と、(2)他の電子黒板2におけるクライアント部20の通信制御部60との通信ネットワーク9を介しての通信と、を制御する。
通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、及び遠隔操作送信部76を有している。
遠隔接続要求受信部71は、遠隔開始処理部61から遠隔共有処理の開始要求を受信したり、他の電子黒板2の遠隔参加処理部62から遠隔共有処理への参加要求を通信ネットワーク9を介して受信する。
遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求に対する結果を送信したり、他の電子黒板2の遠隔参加処理部62へ遠隔共有処理への参加要求に対する結果を通信ネットワーク9を介して送信する。
遠隔画像受信部73は、遠隔画像送信部63からPC出力画像のデータを受信し、遠隔画像処理部82に送信する。遠隔画像送信部74は、遠隔画像処理部82からPC出力画像のデータを受信し、遠隔画像受信部64に送信する。
遠隔操作受信部75は、遠隔操作送信部65から操作データを受信し、遠隔操作処理部83に送信する。遠隔操作送信部76は、遠隔操作処理部83から操作データを受信すると、該操作データを遠隔操作受信部66に送信する。
次に、データ管理部80の機能について説明する。このデータ管理部80は、図28に示されるように、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、ページ処理部85、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、及びページデータ記憶部850を有している。
遠隔接続処理部81は、遠隔共有処理の開始及び終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が遠隔開始処理部61から遠隔共有処理の開始要求とともに受信したライセンス情報、又は、遠隔参加処理部62から遠隔共有処理の参加要求とともに受信したライセンス情報に基づいて、ライセンスの有無やライセンスの有効期間内であるか否かを確認する。
また、遠隔接続処理部81は、他の電子黒板2からの遠隔共有処理への参加要求に対して、予め定められた参加可能数を超えているか否かを確認する。
遠隔接続処理部81は、有効なライセンスを有していない場合や、参加要求が参加可能数を超える場合には、遠隔共有処理への参加を拒否する。
また、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理への参加要求とともに送られてくるパスコードが、パスコード管理部810で管理されているパスコードに一致するか否か判断し、一致する場合のみ遠隔共有処理への参加を許可する。
パスコードは、新たに遠隔共有処理が開始される際に遠隔接続処理部81によって発行され、パスコード管理部810で管理される。遠隔共有処理に参加しようとする参加装置のユーザは、主催装置のユーザから電話や電子メール等によりパスコードを取得する。参加装置のユーザは、取得したパスコードを電子ペン4を用いて入力することで、遠隔共有処理への参加を要求することができる。なお、セキュリティよりもユーザの使い勝手を優先する場合は、ライセンス状況のみを確認し、パスコードの確認を省略しても良い。
電子黒板2が主催装置の場合、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られてくる参加要求に含まれる参加拠点情報を、参加拠点管理テーブル820に記憶する。
また、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。
遠隔接続結果送信部72は、同じ主催装置のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。そして、遠隔開始処理部61は、受信した遠隔拠点情報を参加拠点管理テーブルに610に記憶する。これにより、主催装置では、クライアント部20及びサーバ部90の両方で、遠隔拠点情報を管理することになる。
遠隔画像処理部82は、遠隔共有処理に加わっている電子黒板2(主催装置と参加装置との両方を含む)におけるPC出力画像のデータを受信すると、画像データ記憶部830に記憶するとともに、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。
また、遠隔画像処理部82は、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板のクライアント部を含む)に、通信制御部70の遠隔画像送信部74を介して、上記判定した順番で画像データを送信する。
遠隔操作処理部83は、遠隔共有処理に加わっている電子黒板2(主催装置と参加装置との両方を含む)での操作データを受信し、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像の表示順を決定する。
なお、操作データは、前述の操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理に加わっている全ての電子黒板(主催装置と参加装置との両方を含む)のクライアント部20に操作データを送信する。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板の操作データを合成し、合成結果としての操作データを操作データ記憶部840に記憶するとともに、遠隔操作処理部83に戻す。遠隔操作処理部83に戻された操作データは、遠隔操作送信部76を介して、主催装置及び参加装置のクライアント部20にそれぞれ送信される。これにより、各電子黒板において、同じ操作データに係る画像が表示される。
操作データの一例が図30に示されている。操作データには、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板2のIPアドレス、及び該電子黒板2におけるクライアント部又はサーバ部のポート番号、操作データの送信先である電子黒板2のIPアドレス、及び該電子黒板2におけるクライアント部又はサーバ部のポート番号、操作データの操作種類、操作データの操作対象、並びに操作内容を示すデータが関連付けされている。
操作名には、ADD、UPDATE、DELETE、COPY、PASTE、CUTなどがある。ADDは、新たにストローク画が描画されたことを意味し、UPDATEは、すでに描画されているストローク画が編集されたことを意味している。また、DELETEは、すでに描画されているストローク画が削除されたことを意味し、COPYは、すでに描画されているストローク画がコピーされたことを意味している。PASTEは、保持されているストローク画が貼り付けられたことを意味し、CUTは、すでに描画されているストローク画が切り取られたことを意味している。なお、COPY及びCUTでは、選択されたストローク画のデータが保持される。
例えば、操作データSEQ1には、主催装置である電子黒板(IPアドレスは「192.0.0.1」)のクライアント部(ポート番号は「50001」)でストローク画が描画され、同じ主催装置である電子黒板(IPアドレスは「192.0.0.1」)のサーバ部(ポート番号は「50000」)に操作データが送られたことが示されている。このときの操作名は「ADD」、操作種類は「STROKE」、操作対象は「IDがp005のページデータ」、操作内容を示すデータは「ストロークデータ」である。
また、操作データSEQ2には、主催装置である電子黒板(IPアドレスは「192.0.0.1」)のサーバ部(ポート番号は「50000)から参加装置である他の電子黒板(IPアドレスは「192.0.0.2」)のクライアント部(ポート番号は「50001」)に、操作データが送られたことが示されている。このときの操作名は「ADD」、操作種類は「STROKE」、操作対象は「IDがp005のページデータ」、操作内容を示すデータは「ストロークデータ」である。
なお、操作合成処理部84は、入力された順に操作データを合成するため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストロークの順に、遠隔共有処理に加わっている全ての電子黒板2のディスプレイ3にストローク画像が表示される。
ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、ページデータをページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30内のページデータ記憶部300と同じ機能であるため、その説明を省略する。
次に、本実施形態の画像処理システム1を構成する複数の電子黒板間での遠隔共有処理における各電子黒板の動作について図31〜図34を用いて説明する。
ここでは、一例として、画像処理システム1は3つの電子黒板(2a,2b,2c)を含み、電子黒板2aが遠隔共有処理を主催する主催装置であり、電子黒板2b及び電子黒板2cは、電子黒板2aが開始した遠隔共有処理に参加する参加装置であるものとする。
電子黒板2aはディスプレイ3aを有し、電子黒板2bはディスプレイ3bを有し、電子黒板2cはディスプレイ3cを有している。また、電子黒板2aにはノートPC6aが接続され、電子黒板2bにはノートPC6bが接続され、電子黒板2cにはノートPC6cが接続されている。さらに、電子黒板2aでは電子ペン4aが使用され、電子黒板2bでは電子ペン4bが使用され、電子黒板2cでは電子ペン4cが使用される。
1.参加の処理
まず、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
なお、電子黒板2a、電子黒板2b、電子黒板2cのそれぞれは、ユーザにより電源が入れられ、それによりクライアント部20が起動しているものとする。
電子黒板2aのユーザが、電子ペン4を用いて、サーバ部90を起動させる操作をすると、クライアント部20の遠隔開始処理部61から同じ電子黒板2aのサーバ部90における遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、サーバ部90での各種処理が開始可能となる(ステップS21)。
次に、電子黒板2aのクライアント部20におけるUI画像生成部33が、電子黒板2aとの接続を確立するための接続情報を生成し、表示重畳部36に出力する。映像重畳部28は、表示重畳部36を介して得た該接続情報をディスプレイ3aに表示させる(ステップS22)。この接続情報は、電子黒板2aのユーザによって、電話や電子メールで、電子黒板2b及び電子黒板2cのユーザに伝えられる。
上記接続情報には、主催装置のIPアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。
ところで、パスコード管理部810に記憶されているパスコードは、遠隔接続処理部81によって読み出され、遠隔接続結果送信部72、遠隔開始処理部61の順に送信される。更に、パスコードは、遠隔開始処理部61を含む通信制御部60から、画像処理部30に送信され、最終的にUI画像生成部33に入力される。
なお、接続先管理テーブル440があれば、接続情報に主催装置のIPアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
次に、電子黒板2bでは、ユーザが電子ペン4を用いて接続情報を入力すると、電子黒板2bのクライアント部20における遠隔参加処理部62が、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90における通信制御部70に対してパスコードを送信して参加要求を行う(ステップS23)。
同様に、電子黒板2cでは、ユーザが電子ペン4を用いて接続情報を入力すると、電子黒板2cのクライアント部20における遠隔参加処理部62が、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90における通信制御部70に対してパスコードを送信して参加要求を行う(ステップS24)。
電子黒板2aでは、通信制御部70の遠隔接続要求受信部71が、電子黒板2b及び電子黒板2cから参加要求(パスコードを含む)を受信すると、該パスコードを遠隔接続処理部81に出力する。
次に、電子黒板2aでは、遠隔接続処理部81が、電子黒板2b及び電子黒板2cから受信したパスコードに対し、パスコード管理部810で管理されているパスコードを用いて認証する(ステップS25)。
そして、電子黒板2aでは、遠隔接続結果送信部72が、電子黒板2b及び電子黒板2cのクライアント部20に認証結果を通知する(ステップS26,S27)。
上記ステップS25での認証において、電子黒板2b及び電子黒板2cが正当な電子黒板であると判断された場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b及び電子黒板2cとの遠隔共有処理の通信が確立され、電子黒板2b及び電子黒板2cのクライアント部20における遠隔参加処理部62が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする(ステップS28,S29)。
2.PC出力画像の表示
続いて、遠隔共有処理においてPC出力画像が表示される処理について説明する。ここでは、一例として、電子黒板2bにおけるPC出力画像が、電子黒板2aのディスプレイ3a、及び電子黒板2cのディスプレイ3cに表示される場合について説明する。なお、以下では、わかりやすくするため、電子黒板2bにおけるPC出力画像を「PC出力画像(2b)」と表記する。
まず、電子黒板2bは、ディスプレイ3bにPC出力画像を表示する(ステップS30)。なお、以下では、わかりやすくするため、ここでディスプレイ3bに表示されるPC出力画像を「PC出力画像(2b)」と表記する。
具体的には、電子黒板2bの画像取得部31が、ノートPC6bの出力映像(PC出力映像)からPC出力画像(2b)を取得する。そして、該PC出力画像(2b)は、表示重畳部36及び映像重畳部28を介してディスプレイ3bに送られ、ディスプレイ3bに表示される。
次に、電子黒板2bでは、画像取得部31が、PC出力画像(2b)のデータを遠隔画像送信部63に出力する。そして、遠隔画像送信部63は、該PC出力画像(2b)のデータを、通信ネットワーク9を介して電子黒板2aの通信制御部70に送信する(ステップS31)。
電子黒板2aでは、遠隔画像受信部73が、電子黒板2bからPC出力画像(2b)のデータを受信すると、該PC出力画像(2b)のデータを遠隔画像処理部82に出力する。そして、遠隔画像処理部82は、該PC出力画像(2b)のデータを画像データ記憶部830に記憶する。
次に、電子黒板2aは、ディスプレイ3aに電子黒板2bからのPC出力画像(2b)を表示する(ステップS32)。
具体的には、電子黒板2aの遠隔画像処理部82は、遠隔画像受信部73で受信した電子黒板2bからのPC出力画像(2b)のデータを、遠隔画像送信部74に出力する。そして、遠隔画像送信部74は、該PC出力画像(2b)のデータを同じ電子黒板2aのクライアント部20における遠隔画像受信部64に出力する。
さらに、電子黒板2aの遠隔画像受信部64は、表示重畳部36に電子黒板2bからのPC出力画像(2b)のデータを出力する。表示重畳部36は、該PC出力画像(2b)のデータを映像重畳部28に出力する。映像重畳部28はディスプレイ3aに該PC出力画像(2b)のデータを出力する。これにより、ディスプレイ3aは、電子黒板2bからのPC出力画像(2b)を表示する。
次に、電子黒板2aでは、サーバ部90における遠隔画像送信部74が、電子黒板2bからのPC出力画像(2b)のデータを、通信ネットワーク9を介して電子黒板2cの通信制御部60に送信する(ステップS33)。
これにより、電子黒板2cの遠隔画像受信部64は、電子黒板2bにおけるPC出力画像(2b)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに電子黒板2bにおけるPC出力画像(2b)を表示する(ステップS34)。
具体的には、電子黒板2cでは、遠隔画像受信部64が、電子黒板2aからPC出力画像(2b)のデータを受信すると、該PC出力画像(2b)のデータは、電子黒板2cの表示重畳部36に出力される。この表示重畳部36は、該PC出力画像(2b)のデータを映像重畳部28に出力する。
映像重畳部28は、PC出力画像(2b)のデータをディスプレイ3cに出力する。これにより、電子黒板2bにおけるPC出力画像(2b)がディスプレイ3cに表示される。
なお、PC出力画像のデータだけでなく、UI画像及びストローク画像の各データが、映像重畳部28に入力されている場合には、表示重畳部36により、UI画像とストローク画像とPC出力画像の重畳画像が生成され、映像重畳部28はディスプレイ3cに該重畳画像のデータを出力する。
また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(以下では、「会議映像」ともいう)のデータが送られて来ている場合には、映像重畳部28は、上記重畳画像にピクチャ・イン・ピクチャにより会議映像のデータを重畳して、ディスプレイ3cに出力する。
3.重畳画像の表示
続いて、遠隔共有処理において重畳画像が表示される処理について説明する。ここでは、一例として、電子黒板2bにおける重畳画像が、電子黒板2aのディスプレイ3a、及び電子黒板2cのディスプレイ3cに表示される場合について説明する。
まず、電子黒板2bにおいて、ユーザが電子ペン4bを用いて電子黒板2bにストローク画像を描画する(ステップS41)。なお、以下では、わかりやすくするため、ここで描画されたストローク画像を「ストローク画像(2b)」と表記する。
次に、電子黒板2bの表示重畳部36は、UI画像及びPC出力画像に対して、ストローク画像(2b)を重畳する。そして、UI画像とストローク画像(2b)とPC出力画像とが重畳された重畳画像を、映像重畳部28が電子黒板2bのディスプレイ3b上に表示させる(ステップS42)。
具体的には、電子黒板2bのストローク処理部32が、イベント振分部25から、ストローク画像(2b)のデータを受信し、表示重畳部36に送信する。これにより、表示重畳部36は、UI画像及びPC出力画像に対して、ストローク画像(2b)を重畳することができ、映像重畳部28が電子黒板2bのディスプレイ3b上に重畳画像を表示させることができる。
次に、電子黒板2bにおいて、画像処理部30が、ストローク画像(2b)のデータを遠隔操作送信部65に出力する。この遠隔操作送信部65は、ストローク画像(2b)のデータを、通信ネットワーク2を介して電子黒板2aの通信制御部70に送信する(ステップS43)。
電子黒板2aでは、遠隔操作受信部75が電子黒板2bからストローク画像(2b)のデータを受信すると、遠隔操作処理部83に出力する。この遠隔操作処理部83は、該ストローク画像(2b)のデータを操作合成処理部84に出力する。
このようにして、電子黒板2bで描画されたストローク画像(2b)のデータは、描画される度に、主催装置である電子黒板2aの遠隔操作処理部83に順次送信される。このストローク画像(2b)のデータは、ストロークデータID毎に示されるデータである。よって、例えば、ユーザが電子ペン4bによってアルファベットの「T」を描く場合は二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(2b)のデータが順次送信される。
次に、電子黒板2aは、電子黒板2bから送られて来たストローク画像(2b)のデータが含まれた重畳画像を、ディスプレイ3aに表示する(ステップS44)。
具体的には、電子黒板2aの操作合成処理部84は、遠隔操作処理部83を介して順次送られて来た複数のストローク画像(2b)のデータを合成して、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。
これにより、遠隔操作処理部83は、操作合成処理部84から出力された合成後のストローク画像(2b)のデータを、遠隔操作送信部76に出力する。この遠隔操作送信部76は、同じ電子黒板2aのクライアント部20における遠隔操作受信部66に、合成後のストローク画像(2b)のデータを出力する。
遠隔操作受信部66は、画像処理部30における表示重畳部36に、合成後のストローク画像(2b)のデータを出力する。そして、表示重畳部36は、UI画像、及びPC出力画像に対して、合成後のストローク画像(2b)を重畳する。最後に、映像重畳部28が、表示重畳部36にて重畳された重畳画像をディスプレイ3aに出力する。この重畳画像は、ディスプレイ3bに表示されている重畳画像と同じである。
次に、電子黒板2aのサーバ部90における遠隔操作送信部76は、通信ネットワーク9を介して、合成後のストローク画像(2b)のデータを電子黒板2cの通信制御部60に送信する(ステップS45)。
これにより、電子黒板2cの遠隔操作受信部66は、合成後のストローク画像(2b)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに重畳画像を表示する(ステップS34)。
具体的には、電子黒板2cにおいて、遠隔操作受信部66が、合成後のストローク画像(2b)のデータを受信すると、該ストローク画像(2b)のデータを画像処理部30に出力する。この画像処理部30では、表示重畳部36が、UI画像、及びPC出力画像の各データと、ストローク画像(2b)のデータを重畳し、重畳画像のデータを映像重畳部28に出力する。
この映像重畳部28は、該重畳画像のデータをディスプレイ3cに出力する。これにより、ディスプレイ3cは、重畳画像を表示する。この重畳画像は、ディスプレイ3a及びディスプレイ3bに表示されている重畳画像と同じである。
なお、上記処理では、ディスプレイ3上にPC出力画像が表示されているが、このPC出力画像に代えて、背景画像を表示してもよい。また、PC出力画像と背景画像との排他的な関係をやめて、PC出力画像と背景画像との両方を同時にディスプレイ3上に表示させてもよい。
4.ストローク画像のコピーと貼り付け
次に、遠隔共有処理において、ストローク画像に対するコピーと貼り付けがなされる処理について説明する。ここでは、一例として、電子黒板2cにおいて、ディスプレイ3c上に表示されているストローク画像に対して、コピーと貼り付けがなされた場合について説明する。
電子黒板2cにおいて、ユーザがディスプレイ3c上に表示されているストローク画像をコピーする(ステップS47)。
電子黒板2cにおいて、ユーザがストローク画像を貼り付ける(ステップS48)。これにより、電子黒板2cでは、ストローク画像のレイヤに、新たなストローク画像(複製ストローク画像)が追加される。なお、以下では、わかりやすくするため、該新たなストローク画像(コピーと貼り付けがなされたストローク画像)を「ストローク画像C&P」ともいう。
次に、電子黒板2cの画像処理部30が、遠隔操作送信部65にストローク画像C&Pのデータを出力する。この遠隔操作送信部65は、通信ネットワーク2を介して、該ストローク画像C&Pのデータを電子黒板2aの通信制御部70に送信する(ステップS49)。
次に、電子黒板2aは、ディスプレイ3aに、電子黒板2cから送られて来たストローク画像C&Pのデータが含まれる重畳画像を表示する(ステップS50)。
次に、電子黒板2aのサーバ部90における通信制御部70は、通信ネットワーク9を介して、ストローク画像C&Pのデータを電子黒板2bの通信制御部60に送信する(ステップS51)。
これにより、電子黒板2bの遠隔操作受信部66は、ストローク画像C&Pのデータを受信する。
次に、電子黒板2bは、電子黒板2aから送られて来たストローク画像C&Pのデータが含まれた重畳画像を、ディスプレイ3bに表示する(ステップS51)。
5.参加の終了
続いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。ここでは、一例として電子黒板2cが参加を終了する場合について説明する。
まず、電子黒板2cでは、ユーザによる電子ペン4を用いた操作によって参加の終了要求を受け付けると、遠隔参加処理部62は、電子黒板2aのサーバ部90における通信制御部70に、参加の終了要求を行う(ステップS61)。
電子黒板2aでは、通信制御部70の遠隔接続要求受信部71が、電子黒板2cからの参加の終了要求を受信すると、該終了要求とともに電子黒板2cのIPアドレスを、遠隔接続処理部81に出力する。
この遠隔接続処理部81は、遠隔接続要求受信部71から送られて来たIPアドレスに基づいて、参加拠点管理テーブル820から、参加の終了要求を行った電子黒板2cのIPアドレス及び電子黒板2cが設置されている拠点の名称を削除し、遠隔接続結果送信部72に、電子黒板2cのIPアドレス及び拠点の名称を削除した旨の通知を出力する。
次に、電子黒板2aの通信制御部70が、通信ネットワーク9を介して、電子黒板2cのクライアント部20における通信制御部60に、参加の終了を指示する(ステップS62)。
電子黒板2cでは、通信制御部60の遠隔参加処理部62が、電子黒板2aからの参加終了の指示を受信すると、遠隔共有処理の通信を切断し、参加の終了処理を行う。これにより、電子黒板2cの遠隔共有処理への参加が終了する(ステップS63)。
以上説明したように、本実施形態に係る画像処理システム1は、通信ネットワーク9を介して相互に通信可能に接続された複数の電子黒板を有している。さらに、各電子黒板には、ノートPC6及びテレビ会議端末7が接続されている。
電子黒板2は、ディスプレイ3、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、ディスプレイコントローラ113、センサコントローラ114、接触センサ115、及び電子ペンコントローラ116等を備えている。
そして、電子黒板2は、クライアント部20としての機能とサーバ部90としての機能とを有している。電子黒板2が「主催装置」となる場合には、該電子黒板2では、クライアント部20とサーバ部90の両方が稼働する。一方、電子黒板2が「参加装置」となる場合には、該電子黒板2では、クライアント部20は稼働するが、サーバ部90は稼働しない。
クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60に分けることができる。
座標検知部22は、ディスプレイ3に電子ペン4あるいはユーザの手Hが接触したとき、その接触位置の座標を検知する、接触検知部24は、接触したのが電子ペン4であるか否かを検知する。
イベント振分部25は、座標検知部22で検知された位置座標と、接触検知部24での検知結果とに基づいて、イベントが「ストローク描画」、「UI操作」、及び「ジェスチャ操作」のいずれかであるかを判断し、「ストローク描画」であれば画像処理部30に、「UI操作」であれば操作処理部26に、「ジェスチャ操作」であればジェスチャ処理部27に、イベント情報を出力する。
ユーザは、ディスプレイ3に表示されている任意のストローク画像に対して、コピー及び切り取りのいずれかの操作を行うことができる。コピーの操作では、選択されたストローク画像が保持され、該ストローク画像はディスプレイ3上にそのまま残される。一方、切り取りの操作では、選択されたストローク画像が保持され、該ストローク画像はディスプレイ3上から削除される。そして、コピー及び切り取りのいずれかの操作で保持されたストローク画像は、貼り付けの操作で、ディスプレイ3上の任意の位置に表示される。
すなわち、ディスプレイ3に表示されているストローク画像のうち、ユーザによって選択されたストローク画像の複製が、コピー又は切り取りの操作によって作成され、貼り付けの操作によって、該複製をディスプレイ3上に表示させることができる。
このように、本実施形態に係る電子黒板2によると、表示装置に表示されている画像に対して、コピー、切り取り、及び貼り付けが可能であり、ユーザの使い勝手を向上させることができる。
また、本実施形態に係る電子黒板2によると、コピー、切り取り、及び貼り付けに関する情報が、通信ネットワーク9を介して他の電子黒板に送信されるため、画像処理システム1において、遠隔共有を容易に実現することが可能となる。
なお、上記実施形態において、通信ネットワーク9は、LAN(Local Area Network)、インターネット、携帯電話通信網等をその一部に含むネットワークであっても良い。
また、上記実施形態では、画像処理装置の一例として、電子黒板が用いられる場合について説明したが、これに限定されるものではなく、電子看板(デジタルサイネージ)、スポーツ、天気予報等で利用されるテレストレータ、遠隔画像(映像)診断装置等を用いることもできる。
また、上記実施形態では、設定ファイル、バックアップファイル、アドレス帳等が、USBメモリ5に格納される場合について説明したが、これに限定されるものではなく、USBメモリ5に代えて、あるいはUSBメモリ5とともに、SDカード等の他の記録メディアに格納されても良い。
また、上記実施形態では、ノートPCが映像出力機器の一例として用いられる場合について説明したが、これに限定されるものではなく、ノートPCに代えて、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等を用いても良い。要するに、画像フレームを出力可能な端末であれば用いることが可能である。
また、上記実施形態では、各種プログラムが、ROM102に格納されている場合について説明したが、これに限定されるものではない。例えば、各種プログラムが、CDやDVD等の情報記録媒体に格納されていても良い。この場合、電子黒板は、情報記録媒体から各種プログラムを読み出すためのドライブ装置を有することとなる。
また、上記実施形態において、CPU101によるプログラムに従う処理の一部をハードウェアによって構成することとしても良い。
1…画像処理システム、2…電子黒板(画像処理装置)、2a…電子黒板(画像処理装置)、2b…電子黒板(画像処理装置)、3…ディスプレイ(表示装置)、3a…ディスプレイ(表示装置)、3b…ディスプレイ(表示装置)、4・・・電子ペン、4a・・・電子ペン、4b・・・電子ペン、5・・・USBメモリ、5a・・・USBメモリ、5b・・・USBメモリ、6・・・ノートPC、6a・・・ノートPC、6b・・・ノートPC、8…PC、9…通信ネットワーク、10a1・・・ケーブル、10a2・・・ケーブル、10b1・・・ケーブル、10b2・・・ケーブル、20…クライアント部、21…映像取得部、22…座標検知部、23…自動調整部、24…接触検知部、25…イベント振分部、26…操作処理部、27…ジェスチャ処理部、28…映像重畳部(表示手段)、30…画像処理部、31…画像取得部、32…ストローク処理部(作成手段)、33…UI画像生成部、34…背景生成部、35…レイアウト管理部、36…表示重畳部、37…ページ処理部、40…ファイル処理部、60…通信制御部、70…通信制御部、80…データ管理部、90…サーバ部、101…CPU、102…ROM、103…RAM(保持手段)、104…SSD、105…ネットワークコントローラ(通信制御部)、106…外部記憶コントローラ、111…キャプチャデバイス、112…・GPU、113…ディスプレイコントローラ、114…センサコントローラ、115…接触センサ、116…電子ペンコントローラ、300…ページデータ記憶部(保持手段)、310…遠隔ライセンス管理テーブル、401…ストローク画像、402…ボタン、403…サブメニュー、410…アドレス帳管理テーブル、413…コンテキストメニュー、420…バックアップデータ記憶部、430…設定ファイル記憶部、440…接続先管理テーブル、610…参加拠点管理テーブル、810…パスコード管理部、820…参加拠点管理テーブル、830…画像データ記憶部、840…操作データ記憶部、850…ページデータ記憶部。
特開2015‐069284号公報

Claims (9)

  1. 画像を表示する表示装置と、
    前記表示装置に表示されている画像で、ユーザによって選択された画像の複製を作成する作成手段と、
    前記作成手段で作成された複製を前記表示装置に表示させる表示手段とを備える画像処理装置。
  2. 前記表示手段は、前記表示装置におけるユーザによって指定された位置に、前記複製を表示させることを特徴とする請求項1に記載の画像処理装置。
  3. 前記ユーザによって選択された画像は、ストローク画像であることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記作成手段は、ユーザによるコピー操作あるいは切り取り操作によって、前記複製を作成することを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
  5. 前記表示手段は、ユーザによる貼り付け操作によって、前記複製を前記表示装置に表示させることを特徴とする請求項1〜4のいずれか一項に記載の画像処理装置。
  6. 前記作成手段は、作成した複製を保持する保持手段を有することを特徴とする請求項1〜5のいずれか一項に記載の画像処理装置。
  7. ネットワーク回線に接続して用いられ、
    前記ネットワーク回線を介した通信を制御する通信制御部を有することを特徴とする請求項1〜6のいずれか一項に記載の画像処理装置。
  8. 前記通信制御部は、前記複製に関するデータを前記ネットワーク回線を介して送出することを特徴とする請求項7に記載の画像処理装置。
  9. ネットワーク回線に接続された複数の画像処理装置を有する画像処理システムであって、
    前記複数の画像処理装置は、請求項7又は8に記載の画像処理装置を含む画像処理システム。
JP2015202516A 2015-10-14 2015-10-14 画像処理装置及び画像処理システム Pending JP2017076207A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015202516A JP2017076207A (ja) 2015-10-14 2015-10-14 画像処理装置及び画像処理システム
US15/274,263 US10754606B2 (en) 2015-10-14 2016-09-23 Image processing apparatus and image processing system
EP16193245.4A EP3156895A1 (en) 2015-10-14 2016-10-11 Image processing apparatus and image processing system
CN201610899268.2A CN107037939B (zh) 2015-10-14 2016-10-14 电子黑板和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015202516A JP2017076207A (ja) 2015-10-14 2015-10-14 画像処理装置及び画像処理システム

Publications (1)

Publication Number Publication Date
JP2017076207A true JP2017076207A (ja) 2017-04-20

Family

ID=57189775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015202516A Pending JP2017076207A (ja) 2015-10-14 2015-10-14 画像処理装置及び画像処理システム

Country Status (4)

Country Link
US (1) US10754606B2 (ja)
EP (1) EP3156895A1 (ja)
JP (1) JP2017076207A (ja)
CN (1) CN107037939B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198177B2 (en) 2016-07-14 2019-02-05 Ricoh Company, Ltd. Image processing apparatus, image processing method, and recording medium
US11243674B2 (en) 2018-07-10 2022-02-08 Seiko Epson Corporation Display apparatus and image processing method
JP7388159B2 (ja) 2019-11-29 2023-11-29 株式会社リコー 表示装置、表示方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977510B1 (en) * 2016-09-23 2018-05-22 Wayne A. Moffett Gesture-driven introduction system
JP7069891B2 (ja) * 2018-03-16 2022-05-18 株式会社リコー 設定情報同期システム、同期方法、情報処理装置、委譲先装置、プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608426A (en) 1993-09-28 1997-03-04 Ncr Corporation Palette management for application sharing in collaborative systems
US7039234B2 (en) * 2001-07-19 2006-05-02 Microsoft Corporation Electronic ink as a software object
JP2003224811A (ja) * 2002-01-30 2003-08-08 Funai Electric Co Ltd Pvr録画装置
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
US20040119762A1 (en) 2002-12-24 2004-06-24 Fuji Xerox Co., Ltd. Systems and methods for freeform pasting
US7185291B2 (en) 2003-03-04 2007-02-27 Institute For Information Industry Computer with a touch screen
US7966368B2 (en) * 2003-05-02 2011-06-21 Microsoft Corporation Communicating messages over transient connections in a peer-to-peer network
US8689125B2 (en) * 2003-10-23 2014-04-01 Google Inc. System and method for automatic information compatibility detection and pasting intervention
CN1820451B (zh) * 2003-10-23 2010-09-08 微软公司 虚拟文件夹和项目共享系统和方法
US20060288218A1 (en) 2005-06-15 2006-12-21 Microsoft Corporation Protecting ink strokes from duplication
CN100588218C (zh) * 2006-03-20 2010-02-03 株式会社理光 图像形成装置和电子邮件传送服务器
JP4692364B2 (ja) 2006-04-11 2011-06-01 富士ゼロックス株式会社 電子会議支援プログラム、電子会議支援方法、電子会議システムにおける情報端末装置
US7841801B2 (en) 2006-05-10 2010-11-30 Burnes James J Splash plate
CN101877180A (zh) * 2009-11-18 2010-11-03 北京同方瑞博数字技术有限公司 多媒体电子交互教学系统
EP2333651B1 (en) * 2009-12-11 2016-07-20 Dassault Systèmes Method and system for duplicating an object using a touch-sensitive display
US8261213B2 (en) * 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
JP2012005107A (ja) 2010-05-17 2012-01-05 Ricoh Co Ltd 多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体
JP6069881B2 (ja) 2012-04-25 2017-02-01 株式会社リコー 中継装置、表示データ共有システム、データ制御方法およびプログラム
US20140160153A1 (en) * 2012-12-07 2014-06-12 Jatinder Pal Singh Method and system for real-time learning and collaboration solution
CA2897463A1 (en) * 2012-12-12 2014-06-19 Boost Academy, Inc. Systems and methods for interactive, real-time tablet-based tutoring
JP2014149579A (ja) 2013-01-31 2014-08-21 Ricoh Co Ltd データ制御装置、データ共有システムおよびプログラム
US9489114B2 (en) * 2013-06-24 2016-11-08 Microsoft Technology Licensing, Llc Showing interactions as they occur on a whiteboard
JP2015069284A (ja) 2013-09-27 2015-04-13 株式会社リコー 画像処理装置
US10205754B2 (en) 2014-02-13 2019-02-12 Ricoh Company, Ltd. Transmission system, transmission management apparatus and non-transitory computer-readable information recording medium
JP6372156B2 (ja) 2014-05-13 2018-08-15 株式会社リコー 接続制御システム、通信端末、通信システム、プログラム、及び接続制御方法
JP2016034129A (ja) 2014-07-30 2016-03-10 株式会社リコー 情報送信システム、通信端末、通信システム、情報送信方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198177B2 (en) 2016-07-14 2019-02-05 Ricoh Company, Ltd. Image processing apparatus, image processing method, and recording medium
US11243674B2 (en) 2018-07-10 2022-02-08 Seiko Epson Corporation Display apparatus and image processing method
JP7388159B2 (ja) 2019-11-29 2023-11-29 株式会社リコー 表示装置、表示方法

Also Published As

Publication number Publication date
US10754606B2 (en) 2020-08-25
US20170109121A1 (en) 2017-04-20
EP3156895A1 (en) 2017-04-19
CN107037939B (zh) 2021-01-15
CN107037939A (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
JP2015069284A (ja) 画像処理装置
JP6583432B2 (ja) 画像処理装置、画像表示方法、プログラム
JP6402826B2 (ja) 情報処理装置、画像表示方法、プログラム
JP6885416B2 (ja) 電子黒板、電子黒板の画像処理方法、及びプログラム
JP2016134014A (ja) 電子情報ボード装置、情報処理方法およびプログラム
JP6493546B2 (ja) 電子黒板、記憶媒体、及び情報表示方法
JP2019186946A (ja) 電子黒板
CN107037939B (zh) 电子黑板和图像处理方法
JP6143100B2 (ja) 画像処理装置及び画像処理システム
US10489049B2 (en) Image processing apparatus, image processing system, and image processing method
CN113495708A (zh) 输出装置及系统、格式信息变更方法、记录介质、控制器
JP6036621B2 (ja) システム、情報処理装置
JP2017091559A (ja) 装置及び方法
JP7298224B2 (ja) 表示装置、及び表示方法
JP6589621B2 (ja) 表示装置、カメラ位置制御方法、およびプログラム
JP7363064B2 (ja) 画像処理装置、方法、およびプログラム
JP2016076775A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2021086576A (ja) 表示装置、表示方法
JP2015056038A (ja) 画像処理装置及びプログラム