以下、図面を用いて、本発明の第1の実施形態について説明する。
<<通信システムの全体構成>>
まず、図1を用いて、通信システム1について説明する。図1は、一実施形態に係る通信システムの全体構成図である。
通信システム1は、複数の電子黒板2a,2b,2c、伝送端末8、中継装置30、及び管理システム50を備える。
電子黒板2a,2b,2cは、通信ネットワーク9aを介して通信可能に接続されている。また、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが設けられている。
電子黒板2a,2b,2cは、電子ペン4a,4b,4cによって生じたイベント(ディスプレイ3a,3b,3cへの電子ペン4a,4b,4cのペン先、又は、ペン尻のタッチ)により描画された画像を、ディスプレイ3a,3b,3cに表示させることができる。なお、電子黒板2a,2b,2cは、電子ペン4a,4b,4cだけでなく、ユーザの手Ha,Hb,Hc等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a,3b,3c上に表示されている画像を変更させることもできる。以下、電子黒板2a,2b,2cのうち任意の電子黒板を示す場合には、電子黒板2と表す。また、ディスプレイ3a,3b,3cのうち任意のディスプレイを示す場合には、ディスプレイ3と表す。また、電子ペン4a,4b,4cのうち任意の電子ペンを示す場合には電子ペン4と示す。また、ユーザの手Ha,Hb,Hcのうち任意の手を示す場合には手Hと示す。
また、電子黒板2a,2b,2cには、USB(Universal Serial Bus)メモリ5a,5b,5cが接続可能である。電子黒板2a,2b,2cはUSBメモリ5a,5b,5cからPDF(Portable Document Format)等の電子ファイルを読み出したり、USBメモリ5a,5b,5cに電子ファイルを記録したりすることができる。また、電子黒板2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)およびVGA(Video Graphics Array)等の規格による通信が可能なケーブルを介して、ノートPC6a,6b,6cが接続されている。なお、USBメモリ5a,5b,5cのうち任意のUSBメモリを示す場合にはUSBメモリ5と示す。ノートPC6a,6b,6cのうち任意のノートPCを示す場合にはノートPC6と示す。
これにより、一の拠点で電子黒板2のディスプレイ3上に描画されたストロークのストロークデータは、通信ネットワーク9aを介して他の拠点で電子黒板2へ送信されることで、他の拠点のディスプレイ3上にも表示される。逆に他の拠点で電子黒板2のディスプレイ3上に描画されたストロークのストロークデータは、通信ネットワーク9aを介して一の拠点の電子黒板2へ送信されることで、一の拠点の電子黒板2のディスプレイ3上に表示される。このように、通信システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
なお、上記の電子黒板2に加えて、電子黒板以外の他の通信端末が通信ネットワーク9aに接続することで、電子黒板2との間でストロークデータを共有することもできる。他の通信端末としては、ストローク共有機能を有するPC、テレビ会議端末、タブレット、スマートフォン、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等の画像処理装置、携帯情報端末、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末等のコンピュータが含まれる。
伝送端末8は、映像データ、及び音データを送信するテレビ会議用の通信端末の一例である。伝送端末8は、タブレット、スマートフォン、電子看板(デジタルサイネージ)、テレストレータ、画像処理装置、携帯情報端末、デジタルビデオカメラ、デジタルカメラ、及びゲーム機等の画像フレームを供給可能な通信端末に置き換え可能である。電子黒板2a,2b,2cのうち電子黒板2cには、テレビ会議用のアプリケーションがインストールされており、ストロークデータだけでなく、映像データ、及び音データを送信する機能を有する。これにより、電子黒板2c、及び伝送端末8は、通信ネットワーク9bを介して、テレビ会議用の映像データ及び音データの送受信することができる。
中継装置30は、電子黒板2c、及び伝送端末8の間で、一方の通信端末が送信する映像データ及び音データを他方に中継する。
管理システム50は、電子黒板2c、及び伝送端末8の通信状況等を一元的に管理する。
一実施形態によると、通信ネットワーク9aはイントラネットであり、通信ネットワーク9bはインターネットである。ただし、通信ネットワーク9a,9bは、上記に限られず、インターネット、LAN(Local Area Network)、イントラネット、又は携帯電話網等の任意の通信ネットワークの中から適宜、選択される。また、通信ネットワーク9a,9bは、共にインターネットである場合のように同じであっても良い。
<電子黒板のハードウェア構成>
図2を用いて、一実施形態に係る電子黒板のハードウェア構成を説明する。なお、図2は、一実施形態に係る電子黒板のハードウェア構成図である。
図2に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU(Central Processing Unit)201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、電子黒板用のプログラム等の各種データを記憶するSSD204、通信ネットワーク9との通信を制御するネットワークI/F205、および、USBメモリ5との通信を制御する外部記憶コントローラ206を備えている。さらに、電子黒板2は、CPU201の制御に従って被写体を撮像するカメラ207と、このカメラ207の駆動を制御する撮像素子I/F208と、ノートPC6のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス211、グラフィクスを専門に扱うGPU(Graphics Processing Unit)212、および、GPUからの出力画像をディスプレイ3へ出力するために画面表示の制御および管理を行うディスプレイコントローラ213を備えている。さらに、電子黒板2は、接触センサ215の処理を制御するセンサコントローラ214、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ215を備えている。一実施形態における、接触センサ215は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標を検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ215は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ214に出力し、センサコントローラ214が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。
また、接触センサ215としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、接触センサ215は、カメラを用いて、接触を判断し、座標位置を特定するものであっても良い。
また、電子黒板2は、電子ペンコントローラ216を備えている。この電子ペンコントローラ216は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ216が、電子ペン4のペン先およびペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
さらに、電子黒板2は、CPU101の制御に従って、外部のマイク222、及び外部のスピーカ223との間で音信号を入出力する音入出力I/F224と、ユーザの操作を受け付ける操作ボタン225と、電子黒板2の電源のON/OFFを切り換えるための電源スイッチ226と、を備えている。なお、マイク222及びスピーカ223のいずれかが、電子黒板2に内蔵されていても良い。
さらに、電子黒板2は、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン230を備えている。
なお、電子黒板用のプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体や、ネットワーク上のサーバに記録して流通やダウンロードさせるようにしてもよい。
<管理システムのハードウェア構成>
図3を用いて、一実施形態に係る管理システムのハードウェア構成を説明する。なお、図3は、一実施形態に係る管理システムのハードウェア構成図である。
管理システム50は、管理システム50全体の動作を制御するCPU501と、伝送管理用プログラムを記憶したROM502と、CPU501のワークエリアとして使用されるRAM503と、各種データを記憶するHD(Hard Disk)504と、CPU501の制御に従ってHD504に対する各種データの読み出しおよび書き込みを制御するHDD505と、フラッシュメモリ等の記録メディア506に対するデータの読み出しおよび書き込み(記憶)を制御するメディアI/F507とを備えている。さらに、管理システム50は、カーソル、メニュー、ウィンドウ、文字、画像等の各種情報をディスプレイ516に表示させるためのディスプレイI/F508と、通信ネットワーク9を利用してデータ伝送をするためのネットワークI/F509と、文字、数値、各種指示等を入力するための複数のキーを備えたキーボード511と、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行うマウス512とを備えている。さらに、管理システム50は、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)513に対するデータの読み出しおよび書き込みを制御するCD−ROMドライブ514と、外部の装置との間で情報を送受信するための外部装置I/F515と、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン510とを備えている。
また、上記伝送管理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア506やCD−ROM513等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。上記伝送管理用プログラムはHD504に記憶されていてもよい。
中継装置30のハードウェア構成は、管理システム50と同様であるので説明を省略する。
<伝送端末のハードウェア構成>
図4は、一実施形態に係るテレビ会議端末としての伝送端末8のハードウェア構成図である。伝送端末8は、CPU801、ROM802、RAM803、フラッシュメモリ804、SSD805、メディアI/F807、電源スイッチ809、バスライン810、ネットワークI/F811、カメラ812、撮像素子I/F813、マイク814、スピーカ815、音入出力I/F816、ディスプレイI/F817、外部機器接続I/F818、キーボード821、及びマウス822を備えている。これらのうち、CPU801は、伝送端末8全体の動作を制御する。ROM(Read Only Memory)802は、IPL(Initial Program Loader)等のCPU801の駆動に用いられるプログラムを記憶する。RAM(Random Access Memory)803は、CPU801のワークエリアとして使用される。フラッシュメモリ804は、通信用プログラム、表示データ、及び音データ等の各種データを記憶する。SSD(Solid State Drive)805は、CPU801の制御にしたがってフラッシュメモリ804に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F807は、フラッシュメモリ等の記録メディア806に対するデータの読み出し又は書き込み(記憶)を制御する。
また、ネットワークI/F(Interface)811は、通信ネットワーク9bを利用してデータ通信をするためのインターフェースである。カメラ812は、CPU801の制御に従って被写体を撮像して表示データを得る内蔵型の撮像手段の一種である。撮像素子I/F813は、カメラ812の駆動を制御する回路である。マイク814は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F816は、CPU801の制御に従ってマイク814及びスピーカ815との間で音信号の入出力を処理する回路である。ディスプレイI/F817は、CPU801の制御に従って外付けのディスプレイ820に表示データを送信する回路である。外部機器接続I/F818は、各種の外部機器を接続するためのインターフェースである。キーボード821は、文字、数値、各種指示等を入力するための複数のキーを備えている。マウス822は、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行う。
また、バスライン810は、CPU801等の図4に示されている各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ820は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示手段の一種である。また、ディスプレイ820は、ケーブル820cによってディスプレイI/F817に接続される。このケーブル820cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(登録商標)(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、カメラ812は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含む。固体撮像素子としては、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。外部機器接続I/F818には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。
記録メディア806は、伝送端末8に対して着脱自在な構成となっている。また、CPU801の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ804に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
<ソフトウェア構成>
図5の(A)は、一実施形態に係る電子黒板のソフトウェア構成図である。図5の(A)に示されているように、OS(Operating System)2020、通信アプリケーションA11、及び通信アプリケーションB11は、RAM203の作業領域2010上で動作する。以後、アプリケーションは、「アプリ」と表す。
OS2020は、基本的な機能を提供し、電子黒板全体を管理する基本ソフトウェアである。通信アプリA11,B11は、他の端末と通信を行うためのアプリであり、それぞれ通信プロトコルが異なる。通信アプリA11は、ストロークデータを他の端末との間で送信するための通信制御機能と、ストロークデータを画像として出力するための画像処理機能を電子黒板2に実行させるクライアントアプリである。通信アプリB11は、会議映像等の映像データ、及び音データを他の端末との間で送信するための通信制御機能と、映像データを入出力するための画像処理機能と、音データを入出力するための音処理機能と、を電子黒板2に実行させるクライアントアプリである。
OS2020、及び、通信アプリA11は、工場出荷前から、電子黒板2a,2b,2cにインストールされている。また、通信アプリB11は、工場出荷後に、任意に電子黒板2にインストール可能である。以下、電子黒板2cに通信アプリB11がインストールされており、電子黒板2a,2bに通信アプリB11がインストールされていないものとして説明を続ける。
図5の(B)は、一実施形態に係る伝送端末8のソフトウェア構成図である。図5の(B)に示されているように、OS8020、通信アプリB11は、RAM803の作業領域8010上で動作する。
OS8020は、基本的な機能を提供し、伝送端末8全体を管理する基本ソフトウェアである。通信アプリB11は、会議映像等の映像データを他の通信端末との間で送信するための通信制御機能と、映像データを画像として出力するための画像処理機能と、を伝送端末8に実行させる。
また、OS8020、及び、通信アプリB11は、工場出荷前又は工場出荷後に、伝送端末8にインストールされる。
<<実施形態の機能構成>>
次に、一実施形態に係る通信システムの機能構成について説明する。図6は、一実施形態に係る通信システムの一部を構成する電子黒板、伝送端末8、及び管理システム50の機能ブロック図である。
電子黒板2は、図2に示されているハードウェア構成およびプログラムによって、図6に示されている各機能構成を実現する。また、電子黒板2は、SSD204により構築される記憶部2000を有する。伝送端末8は、図4に示されているハードウェア構成およびプログラムによって、図6に示されている各機能構成を実現する。また、伝送端末8は、SSD805により構築される記憶部8000を有している。
電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板2は、大きく分けて、クライアント部20およびサーバ部90の両方によって構成されている。クライアント部20およびサーバ部90は、電子黒板2の1台の筐体内で通信アプリA11が起動することで実現される機能である。なお、クライアント部20およびサーバ部90のうち、電子黒板2にクライアント部20を備え、サーバ部90を配信制御装置などの電子黒板2とは異なる装置とするようにしてもよい。
電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20とサーバ部90が実現(実行)される。また、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現(実行)されるが、サーバ部90は実現(実行)されない。即ち、電子黒板2aが主催装置で、電子黒板2b,2cが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2b,2cのクライアント部20と通信を行う。一方、電子黒板2b,2cのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2a,2b又は2cのクライアント部と通信を行う。
〔クライアント部20の機能構成〕
電子黒板2において、通信アプリA11が起動することにより、クライアント部20は動作開始する。クライアント部20は、通信制御部21、及び描画制御部22を有する。
通信制御部21は、CPU201からの命令、或いはネットワークI/F205によって実現され、他の電子黒板2と行う通信や、同じ電子黒板2のサーバ部90等と行う通信を制御する。
描画制御部22は、CPU201からの命令により実現され、ディスプレイ3上の操作により生成するストロークデータ、或いはUSBメモリ5、ノートPC6、通信制御部21、記憶部2000等から取得されるデータに基づいて画像処理を行う。また、描画制御部22は、処理されたデータに基づいて画像レイヤを生成し、これらが重畳された重畳画像を出力する制御を行う。
図7は、一実施形態に係る描画制御部を示した機能ブロック図である。描画制御部22は、ストローク処理部22A、重畳部22Y、及びページ処理部22Zを有している。
ストローク処理部22Aは、CPU201からの命令によって実現され、ディスプレイ3上の電子ペン4や手Hの操作によってストローク描画のイベントが発生すると、操作に応じたストロークデータを生成する処理を行う。
重畳部22Yは、CPU201からの命令によって実現され、各データに基づいて各画像レイヤを生成し、これらを重畳する処理を行う。
ページ処理部22Zは、ストロークデータ等の各表示用のデータを1つのページデータにまとめて、記憶部2000の一部であるページデータ記憶部220に記憶する。
ページデータ記憶部220は、記憶部2000の一部に構築され、表1に示されているようなページデータを記憶する。表1は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。
ページデータは、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、ストローク画像がディスプレイ3上に表示されるためのデータである。メディアデータは、ストローク画像と重畳する他の画像がディスプレイ3上に表示されるためのデータである。
また、ストローク配列データは、表2に示されているように詳細な情報を示している。表2は、ストローク配列データを示す概念図である。表2に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
更に、この座標配列データは、表3に示されているように詳細な情報を示している。表3は、座標配列データを示す概念図である。座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、表3に示されている1点の集まりが、表2に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
また、表1に示されているページデータのうちのメディアデータは、表4に示されているように詳細な情報を示している。表4は、メディアデータを示す概念図である。メディアデータは、表1に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、メディアデータが記憶された記録時刻、メディアデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、メディアデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、メディアデータによって表示される画像の左上端の位置を示している。
〔サーバ部90の機能構成〕
サーバ部90は、通信制御部91を有している。
通信制御部91は、CPU201からの命令により実現され、同じ電子黒板2内のクライアント部20における通信制御部21、および通信ネットワーク9aを介して他の電子黒板2内のクライアント部20における通信制御部21との間における通信を制御する。
〔クライアント部80の機能構成〕
電子黒板2、又は伝送端末8において通信アプリB11が起動することによりクライアント部80は動作開始する。クライアント部80は、通信制御部81、表示制御部82、及び入力受付部83を有している。
通信制御部81は、CPU201,801からの命令、或いはネットワークI/F205,811により実現され、他の端末等との間の通信を制御する。
表示制御部82は、CPU201,801からの命令により実現され、記憶部2000,8000等から取得されるデータに基づいて画像処理を行い、画像を出力する制御を行う。
入力受付部83は、CPU201,801からの命令により実現され、ユーザによる操作入力を受け付ける。
〔表示順制御部〕
電子黒板2cは、更に表示順制御部24を有する。表示順制御部24は、電子黒板2cにおいてOS2020が起動することにより、動作開始する。
表示順制御部24は、CPU201からの命令により実現され、クライアント部20,80により作成される画像の一方をアクティブに、他方を非アクティブに制御することで、各画像の表示順を制御する。なお、画像をアクティブに表示制御する処理は、その画像を他の画像に対してより前面に表示する処理である。画像を非アクティブに表示制御する処理は、他の画像をその画像よりも前面に表示する処理である。
〔管理システム50の機能構成〕
管理システム50は、図3に示されているハードウェア構成およびプログラムによって、図6に示されている各機能構成を実現する。また、管理システム50は、HD504より構築される記憶部5000を有している。
管理システム50の通信制御部51は、CPU501からの命令により実現され、通信ネットワーク9bを介して電子黒板2又は伝送端末8との通信を制御する。
<<処理>>
続いて、一実施形態に係る処理について説明する。
(電子黒板間の通信の確立)
図8を用いて、電子黒板2a,2b,2c間の通信アプリA11による通信を確立する処理について説明する。図8は、電子黒板間の通信を確立する処理の一例を示すシーケンス図である。ユーザが電子黒板2aの電源スイッチ226をオンにすると、通信アプリA11が起動することで電子黒板2aのクライアント部20の処理が開始する(ステップS1)。そして、ディスプレイ3a上の操作により会議主催の要求が受け付けられると、クライアント部20の通信制御部21から同じ電子黒板2aのサーバ部90における通信制御部91に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなくサーバ部90も各種処理を開始する(ステップS2)。
電子黒板2aの通信制御部91は、当該電子黒板2aとの接続を確立するための接続情報を生成し、生成された接続情報をディスプレイ3aに表示させる(ステップS3)。この接続情報には、主催装置のIPアドレス、および今回の遠隔共有処理のために生成されたパスコードが含まれている。このパスコードは、記憶部2000に記憶される。そして、接続情報は、電子黒板2aのユーザによって、電話、電子メール等の手段で電子黒板2b,2cのユーザに通知される。
次に、電子黒板2b,2cでは、ユーザが電子黒板2b,2cの電源スイッチ226をオンにすると、通信アプリA11が起動することで電子黒板2b,2cのクライアント部20の処理が開始する(ステップS4,S5)。電子黒板2b,2cにおいて、ディスプレイ3b,3c上の操作によって接続情報の入力が受け付けられると、各電子黒板2b,2cのクライアント部20における通信制御部21が、接続情報のIPアドレスに基づき、通信ネットワーク9aを介して、電子黒板2aのサーバ部90における通信制御部91に対してパスコードを送信して参加要求を行う(ステップS6,S7)。電子黒板2aの通信制御部91は、各電子黒板2b,2cから、参加要求(パスコードを含む)を受信する。
次に、通信制御部91は、各電子黒板2b,2cから受信したパスコードに対し、記憶部2000で管理されているパスコードを用いて認証する(ステップS8)。そして、通信制御部91が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS9,S10)。ステップS8の認証により、各電子黒板2b,2cが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b,2cとの遠隔共有処理の通信が確立される(ステップS11,S12)。なお、本実施形態では、電子黒板2a,2b,2c間で送信されるコンテンツデータは、ストロークデータを含む場合について説明する。
電子黒板2a,2b,2cのユーザが電子ペン4a,4b,4cを用いてストローク画像を描画すると、電子黒板2a,2b,2cのストローク処理部22Aは、電子ペン4a,4b,4cとディスプレイ3a,3b,3cとの接触部の座標位置に基づいて、描画されたストロークのストロークデータを生成する。電子黒板2a,2b,2cの通信制御部21は、主催装置である電子黒板2aの通信制御部91へ生成されたストロークデータを送信する。
電子黒板2aの通信制御部91は、電子黒板2a,2b,2cから送られて来たストロークデータを受信すると、このストロークデータを電子黒板2a,2b,2cのクライアント部20へ送信する。送信されたストロークデータは電子黒板2a,2b,2cの通信制御部21によって受信される。電子黒板2a,2b,2cのページ処理部22Zは、ページデータ記憶部220において、すでに記憶されているストロークデータを上書きすることなく、新たに受信されたストロークデータを追加して記憶させる(ステップS13,S14,S15)。これにより、電子黒板2a,2b,2cのページデータ記憶部220には、電子黒板2a,2b,2c間の通信が確立されてから、電子黒板2a,2b,2cのいずれかにより生成されるストロークデータが蓄積されることになる。
(電子黒板と伝送端末との間の通信の確立)
図9を用いて、電子黒板2c、及び伝送端末8間の通信アプリB11による通信を確立する処理について説明する。図9は、電子黒板、及び伝送端末間の通信を確立する処理の一例を示すシーケンス図である。
電子黒板2cにおいて、ユーザの操作に応じて通信アプリB11が起動することで、クライアント部80は各種処理を開始する(ステップS21)。
クライアント部80の通信制御部81は、管理システム50に対し、ログイン要求を送信する(ステップS22)。このログイン要求には、ユーザID、及びパスコードが含まれている。これにより、管理システム50の通信制御部51は、ログイン要求を受信する。
管理システム50は、ログイン要求に含まれているユーザID、及びパスコードの組と、記憶部5000に予め記憶されているユーザID、及びパスコードの組とが一致するかに基づいて、ログイン要求元の電子黒板2cを認証する(ステップS23)。管理システム50の通信制御部51は、ログイン要求元の電子黒板2cに対して、認証結果を送信する(ステップS24)。電子黒板2cの通信制御部81は、この認証結果を受信する。以下、電子黒板2cが正当なログイン要求元であると判断された場合について説明を続ける。
伝送端末8において、ユーザの操作により、通信アプリB11の起動要求が受け付けられると、通信アプリB11が起動して、伝送端末8のクライアント部80は各種処理を開始する(ステップS31)。
伝送端末8の通信制御部81は、管理システム50に対し、ユーザID、及びパスコードが含まれるログイン要求を送信する(ステップS32)。管理システム50は、このログイン要求を受信する。
管理システム50は、ログイン要求に含まれるユーザID、及びパスコードによりログイン要求元の伝送端末8を認証し(ステップS33)、伝送端末8へ認証結果を送信する(ステップS34)。以下、伝送端末8が正当なログイン要求元であると判断された場合について説明を続ける。
電子黒板2cのユーザによる操作に応じて、電子黒板2cの入力受付部83は、伝送端末8との間の通話の開始要求の入力を受け付ける(ステップS41)。通話の開始要求の入力の受け付けに応じて、電子黒板2cの通信制御部81は、管理システム50に対し、通話の開始要求を送信する(ステップS42)。この通話の開始要求には、要求元の電子黒板2cのユーザID、および宛先の伝送端末8のユーザIDが含まれている。
管理システム50の通信制御部51は、電子黒板2cによって送信された通話の開始要求を受信すると、受信した通話の開始要求を宛先の伝送端末8へ送信する(ステップS43)。
伝送端末8の通信制御部81は、管理システム50によって送信された通話の開始要求を受信する。伝送端末8のユーザが通話を許可する旨の入力をすると、通信制御部81は、応答する旨の情報を管理システム50へ送信する(ステップS44)。
管理システム50の通信制御部51は、伝送端末8によって送信された応答する旨の情報を受信すると、受信した応答する旨を示す情報を開始要求元の電子黒板2cへ送信する(ステップS45)。電子黒板2cの通信制御部81は、管理システム50によって送信された応答する旨の情報を受信する。
管理システム50は、電子黒板2cと伝送端末8との間の通信を確立させる(ステップS46−1,S46−2)。この処理で、管理システム50の通信制御部51は、伝送端末8、及び電子黒板2cへ、相手側の電子黒板2c、又は伝送端末8のIPアドレス、及び中継装置30の中継装置IDを送信する。伝送端末8、及び電子黒板2cの各通信制御部81は、管理システム50から受信したIPアドレス、中継装置IDを中継装置30へ送信して、中継装置30と接続する。
電子黒板2c、及び伝送端末8の各通信制御部81は、自端末側のカメラ207,812で撮像される映像の映像データ、及びマイク222,814で集音される音の音データを中継装置30へ送信する。中継装置30は、伝送端末8、又は電子黒板2cの一方から送られてきた映像データ、及び音データを他方へ送信する(ステップS47)。伝送端末8、及び電子黒板2cの各通信制御部81は、相手側の映像データ、及び音データを受信する。なお、映像データ及び音データは、ストリーミングデータであって、時間ごとに分割された複数の画像データ又は音データを含む。
電子黒板2cの通信制御部81は、新たな画像データ及び音データを受信すると、新たな画像データ及び音データにより、記憶部2000に記憶されている画像データ及び音データを上書き更新する(ステップS48,S49)。これにより、最新の画像データ及び音データが記憶部2000には記憶されることになる。
(通信アプリA11による画像生成)
続いて、図10の(A)を用いて、ストロークデータに基づいて画像を生成する処理について説明する。図10の(A)は、通信アプリA11により画像を生成する処理の一例を示すフロー図である。以下、電子黒板2cの通信アプリA11が画像を生成する処理について説明する。
ページデータ記憶部220には、背景画像の画像データが記憶されている。電子黒板2cのページ処理部22Zは、ページデータ記憶部220に記憶されている背景画像の画像データを取得する(ステップS51)。背景画像は、ディスプレイ3cの画面の解像度(サイズ)の非透過の領域を有し、例えば、白色で無地の画像である。背景画像は、後述の処理で、画面を構築する背景画像のレイヤとして利用される。
ノートPC6cは、電子黒板2cに接続されると、ノートPC6cのディスプレイに出力するものと同じ画像を電子黒板2cに出力する。電子黒板2cのページ処理部22Zは、ノートPC6cから入力される外部画像を取得する(ステップS52)。外部画像は、後述の処理で、画面を構築する外部画像のレイヤとして利用される。なお、外部画像の入力がない場合、電子黒板2cのページ処理部22Zは、この処理をスキップする。
ページデータ記憶部220には、オブジェクト画像の画像データ(メディアデータ)が記憶されている。オブジェクト画像は、例えば、丸、四角形、或いは三角形等の予め定められたオブジェクトを示す画像である。電子黒板2cのページ処理部22Zは、ページデータ記憶部220に記憶されているオブジェクト画像のうちユーザの操作により指定されたものを、ユーザの操作により指定された位置に配置したオブジェクト画像のレイヤを生成する(ステップS53)。ページ処理部22Zは、この処理で、ディスプレイ3cの画面の解像度(サイズ)の透過の画素領域上に、オブジェクト画像を合成する。
電子黒板2cのページ処理部22Zは、ページデータ記憶部220に蓄積されているストロークデータ(ステップS15参照)に基づいて、ストローク画像のレイヤを生成する(ステップS54)。ページ処理部22Zは、この処理で、ディスプレイ3cの画面の解像度(サイズ)の透過の画素領域上に、ストロークデータが示すストローク画像を合成する。例えば、ページデータ記憶部220に、黒色の「S」の文字を示すストロークデータが記憶されている場合、ページ処理部22Zは、黒色の「S」の文字を含むストローク画像のレイヤを生成する。
電子黒板2cのページデータ記憶部220には、UI画像(user interface)の画像データが記憶されている。UI画像の画像データは、例えば、描画の操作に係るアイコンやボタンである。電子黒板2cのページ処理部22Zは、ページデータ記憶部220に記憶されているUI画像の画像データに基づいて、UI画像のレイヤを生成する(ステップS55)。ページ処理部22Zは、この処理で、ディスプレイ3cの画面の解像度(サイズ)の透過の画素領域上に、UI画像の画像データが示すUI画像を合成する。
電子黒板2cの重畳部22Yは、ステップS51で取得される背景画像のレイヤ、ステップS52で取得される外部画像のレイヤ、ステップS53で生成されるオブジェクト画像のレイヤ、及びステップS54で生成されるストローク画像のレイヤを順に重畳して、UI画像を除く重畳画像のレイヤをレンダリングにより生成する(ステップS56)。なお、ステップS52で外部画像のレイヤが取得されなかった場合、即ち、ノートPC6cが電子黒板2cと接続していない場合、重畳部22Yは、外部画像のレイヤを含めずにUI画像を除く重畳画像のレイヤ生成する。
更に、電子黒板2cの重畳部22Yは、ステップS56で生成されるUI画像を除く重畳画像のレイヤ、ステップS51で取得される背景画像のレイヤ、ステップS52で取得される外部画像のレイヤ、ステップS53で生成されるオブジェクト画像のレイヤ、ステップS54で生成されるストローク画像のレイヤ、及びステップS55で生成されるUI画像のレイヤを順に重畳して、UI画像を含む重畳画像をレンダリングにより生成する(ステップS57)。なお、ステップS52における外部画像のレイヤが取得されなかった場合、即ち、ノートPC6cが電子黒板2cと接続していない場合、重畳部22Yは、外部画像のレイヤを含めずにUI画像を含む重畳画像のレイヤ生成する。
電子黒板2cの重畳部22Yは、UI画像を含む重畳画像のレイヤを表示順制御部24へ出力する(ステップS58)。図11の(A)は、UI画像を含む重畳画像の各レイヤを示す概念図である。図11の(B)は、UI画像を含む重畳画像を示す概念図である。図11の(A)及び(B)に示されているように、UI画像を含む重畳画像140は、UI画像のレイヤ140a、ストローク画像のレイヤ140b、オブジェクト画像のレイヤ140c、外部画像のレイヤ140d、背景画像のレイヤ140e、及びUI画像を除く重畳画像のレイヤ140fを含む。背景画像のレイヤ140eは全画面で非透過であるので、重畳画像140において、UI画像を除く重畳画像のレイヤ140fは視認できない。
通信アプリA11が起動している間、電子黒板2cのクライアント部20は、ステップS51乃至S58の処理を繰り返す。これにより、最新の背景画像、外部画像、オブジェクト画像、ストローク画像、UI画像が反映された重畳画像が、表示順制御部24へ繰り返し出力される。
(通信アプリB11による画像生成)
続いて、図10の(B)を用いて、電子黒板2c、及び伝送端末8間で送信される映像データに基づいて画像を生成する処理について説明する。図10の(B)は、通信アプリB11により画像を生成する処理の一例を示すフロー図である。以下、電子黒板2cの通信アプリB11が画像を生成する処理について説明する。
電子黒板2cの表示制御部82は、記憶部2000に記憶されている最新の画像の画像データ(ステップS48参照)を取得する(ステップS61)。なお、最新の画像の画像データとは、電子黒板2cが受信した映像データのうち最新の画像を示す画像データである。
電子黒板2cの表示制御部82は、ステップS61で取得された最新の画像の画像データを表示順制御部24へ出力する(ステップS62)。
通信アプリB11が起動している間、電子黒板2cのクライアント部80は、ステップS61,S62の処理を繰り返す。これにより、映像を構築する最新の画像が、表示順制御部24へ繰り返し出力される。
電子黒板2cの表示順制御部24は、ユーザによる操作に応じて、或いは、通信アプリA11,B11による通信で発生するイベントに応じて、クライアント部20,80から出力される画像のうち、一方をアクティブに、他方を非アクティブに制御する。この処理で、表示順制御部24は、クライアント部20,80から出力される画像のうち、一方をディスプレイ3cの画面の最前面に表示されるよう出力する。これにより、電子黒板2cのディスプレイ3cには、ステップS58で出力される重畳画像、又はステップS62で出力されるテレビ会議の映像の一方がアクティブにディスプレイ3cから出力される。
続いて、図12を用いて、電子黒板2cのディスプレイ3cの画面を伝送端末8へ送信する処理について説明する。図12は、電子黒板側の画面を伝送端末へ送信する処理の一例を示すシーケンス図である。
電子黒板2cは、ディスプレイ3cの画面を伝送端末8と共有する要求を受け付ける。この要求は、電子黒板2cのユーザによる操作入力によるものであっても、伝送端末8によるものであっても良い。この要求が受け付けられると、電子黒板2cの通信制御部81は、ステップS56で生成されるUI画像を除く重畳画像のレイヤを取得する(ステップS71)。
電子黒板2cの通信制御部81は、取得されたUI画像を除く重畳画像のレイヤを、電子黒板2c側で表示されている画面を示す表示データとして中継装置30へ送信する(ステップS72)。
中継装置30は、電子黒板2cによって送信された表示データを受信すると、これを伝送端末8へ送信する(ステップS73)。なお、中継装置30と、電子黒板2c及び伝送端末8との間でスケーラブルな通信が確立されている場合には、通信ネットワーク9bの帯域等に応じて、電子黒板2cから受信した表示データの品質を変更して、伝送端末8へ送信しても良い。
伝送端末8の通信制御部81は、中継装置30によって送信された表示データを受信する。伝送端末8の表示制御部82は、ステップS47で中継装置30から送られてきた電子黒板2c側の映像データと、ステップS73で中継装置30から送られてきた電子黒板2cの表示画面の表示データと、を伝送端末8のディスプレイ820へ出力する(ステップS74)。図13は、ステップS74における伝送端末8側のディスプレイの表示例である。図13のように、ディスプレイ3には、電子黒板2c側の会議参加者の映像150、及び表示画面としてUI画像を除く重畳画像のレイヤ140fが表示される。
電子黒板2cの通信制御部81は、ステップS56でUI画像を除く重畳画像のレイヤが生成される度、ステップS71で新たな表示データを中継装置30へ送信する。これにより、伝送端末8では、新たな表示データを受信して、ディスプレイ820へ出力する。
<<<第2の実施形態>>>
続いて、第2の実施形態について、上記の実施形態と異なる点について説明する。
ステップS53の処理で、電子黒板2cのページ処理部22Zは、ディスプレイ3cの画面の解像度(サイズ)の非透過の画素領域上に、入力された外部画像を合成して、外部画像のレイヤを生成する。この処理で、非透過で全画面の外部画像のレイヤが生成される。
ノートPC6cから外部画像が入力されてステップS53で非透過の外部画像のレイヤが生成された場合、電子黒板2cの重畳部22Yは、ステップS56で、電子黒板2cの重畳部22Yは、外部画像のレイヤに、オブジェクト画像のレイヤ、ストローク画像のレイヤを順に重畳したUI画像を除く重畳画像を生成する。外部画像のレイヤは非透過で全画面であるので、重畳する画像として背景画像を含めなくても、重畳する画像として背景画像を含めた場合と同じ重畳画像が生成される。この場合、重畳部22Yは、重畳する画像から背景画像のレイヤを除くことで、処理の負荷を低減できる。
<<<第3の実施形態>>>
続いて、第3の実施形態について、上記の実施形態と異なる点について説明する。
電子黒板2cのページデータ記憶部220は、機能設定画面、及びテレビ会議設定画面を記憶している。電子黒板2cのページ処理部22Zは、起動時、或いはユーザによる要求に応じて、ページデータ記憶部220に記憶されている機能設定画面をUI画像のレイヤとして取得する。重畳部22Yは、取得された機能設定画面が含まれる重畳画像を表示順制御部24へ出力する。表示順制御部24は、機能設定画面を含む画像データをディスプレイ3cへ出力する。図14の(A)は、機能設定画面の一例を示す図である。機能設定画面には、テレビ会議設定画面に移行するためのボタンB1が含まれている。
ユーザが電子ペン4c等によりディスプレイ3cに出力されているボタンB1に接触する操作を行うと、電子黒板2cのページ処理部22Zは、ページデータ記憶部220に記憶されているテレビ会議設定画面を取得する。重畳部22Yは、ステップS57で、取得されたテレビ会議設定画面が含まれる重畳画像を表示順制御部24へ出力する。表示順制御部24は、テレビ会議設定画面を含む画像データをディスプレイ3cへ出力する。図14の(B)は、テレビ会議設定画面の一例を示す図である。
ユーザが、電子ペン4c等により、テレビ会議設定画面の入力欄B2におけるテレビ会議機能を使用する旨のチェックボックスにチェックを入れる操作を行うと、通信アプリB11は、テレビ会議用に管理システム50を利用する旨の情報を記憶部2000に記憶させる。
電子黒板2cの重畳部22Yは、ステップS56の処理で、記憶部2000を参照して、管理システム50を利用する旨の情報が記憶されているか判断する。ここで、管理システム50を利用する旨の情報が記憶されていると判断された場合、重畳部22Yは、UI画像を除く重畳画像を生成する。一方で、管理システム50を利用する旨の情報が記憶されていないと判断された場合、重畳部22Yは、UI画像を除く重畳画像を生成しない。上記の判断を行うことで、通信アプリB11による画面共有機能を利用しないことが想定される場合には、電子黒板2cは、UI画像を除く重畳画像を生成する処理を省略できるので、処理の負荷を低減できる。
なお、PC等の通信端末を通信ネットワーク9a又は9bに接続し、Webブラウザに所望の電子黒板2のIPアドレスを入力してアクセスさせることで、PC等の通信端末において電子黒板2のテレビ会議設定画面を表示させ、上記の項目を設定可能にしてもよい。
<<<第4の実施形態>>>
続いて、第4の実施形態について、上記の実施形態と異なる点について説明する。
図15は、第4の実施形態における通信システムの全体構成図である。図15に示されているように、通信システム1´は、通信システム1における各装置に加え、データサーバ60、及び通話端末7を備える。
通信システム1´における通信ネットワーク9cは、携帯電話網である。通信ネットワーク9cは、ゲートウェイを介してインターネットである通信ネットワーク9bと接続している。通信ネットワーク9cの末端には、基地局が設けられている。通信ネットワーク9bの末端には、無線通信のアクセスポイントである無線LANルータが設けられている。
通話端末7は、例えば、スマートフォン等の携帯型の通信装置であって、基地局を介して通信ネットワーク9cに接続して、他の通話端末7と通信する。更に、通話端末7は、無線LANルータを介して通信ネットワーク9bに接続して、或いは、基地局、通信ネットワーク9c、及びゲートウェイを介して通信ネットワーク9bに接続して、データサーバ60、及び電子黒板2と通信する。
データサーバ60は、通信ネットワーク9bに接続する。データサーバ60は、クライアントである任意の通信装置からアップロードされたデータを記憶して管理する。また、データサーバ60は、クライアントである任意の通信装置からデータのダウンロードの要求を受け付ける。
図16は、一実施形態に係る通話端末のハードウェア構成図である。図16に示されているように、通話端末7は、通話端末7全体の動作を制御するCPU101、プログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM103、CPU101の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)104、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107を備えている。そして、メディアドライブ107の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア106が着脱自在な構成となっている。なお、EEPROM104には、CPU101が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。
更に、通話端末7は、アンテナ111a、このアンテナ111aを利用して無線通信信号により、最寄りの基地局と通信を行う通信回路111を備えている。更に通話端末10は、CPU101の制御に従って被写体を撮像し撮像画像データを得るCMOS(Complementary Metal Oxide Semiconductor)センサ112、音を音信号に変換する音入力部114、音信号を音に変換する音出力部115を備えている。なお、CMOSセンサ112は、光を電荷に変換して被写体の画像を電子化する電荷結合素子である。被写体を撮像することができれば、CMOSセンサに限らず、CCD(Charge Coupled Device)センサを用いてもよい。また、音入力部114は、音を入力するマイクが含まれ、音出力部115には、音を出力するスピーカが含まれている。更に通話端末7は、被写体や各種アイコン等の画像を表示する液晶や有機ELなどのディスプレイ120、このディスプレイ120上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ120上におけるタッチ位置を検出するタッチパネル121を備えている。更に、通話端末7は、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
データサーバ60のハードウェア構成は、管理システム50のハードウェア構成と同様であるので、説明を省略する。
図17の(A)は、第4の実施形態における電子黒板2cの機能ブロック図である。第4の実施形態において、電子黒板2cのクライアント部20は、上記の実施形態における機能構成に加え、入力受付部23、及びコード処理部25を有する。
入力受付部23は、CPU201からの命令、センサコントローラ214、及び接触センサ215の処理により、ユーザによる操作入力を受け付ける。
コード処理部25は、ユーザによる操作入力に応じて、データをダウンロードするために用いられるバーコードを生成する。バーコードについては後述する。
図17の(B)は、第4の実施形態におけるデータサーバ60の機能ブロック図である。データサーバ60は、通信制御部61、及び記憶・読出部69を有する。また、データサーバ60は、HD504により構築される記憶部6000を有している。
記憶部6000には、任意のクライアントの通信装置からアップロードされた各種のデータが記憶されている。各種のデータには、JPEG、TIFF、PNG、又はBMP等の画像データ、MPEG−4等の動画データ、CADファイル、テキスト、若しくは、ワープロソフト、表計算ソフト、プレゼンテーションソフト、又はビュアーで利用されるファイル等が含まれる。
通信制御部61は、CPU201からの命令、及びネットワークI/F205によって実現され、電子黒板2、又は、通話端末7と行う通信を制御する。
記憶・読出部69は、CPU201からの命令、及びHDD505によって実現され、記憶部6000に各種情報を記憶させたり、記憶部6000から各種情報を読み出したりする処理を行う。
図17の(C)は、第4の実施形態における通話端末7の機能ブロック図である。通話端末7は、通信制御部71、撮像部72、解析部73、及び記憶・読出部79を有する。また、通話端末7は、ROM102、RAM103、EEPROM104、又は記録メディア108により構築される記憶部7000を有している。
通信制御部61は、CPU101からの命令、及び通信回路111によって実現され、電子黒板2、又は、データサーバ60と行う通信を制御する。
撮像部72は、COMSセンサ112によって実現され、電子黒板2cのディスプレイ3cに表示されたバーコードなどの任意の対象を撮像する。
解析部73は、CPU101からの命令によって実現され、撮像部72によって撮像されたバーコードを解析して、バーコードからコード情報を抽出する。コード情報に関しては、後述する。
図18は、第4の実施形態において電子黒板が背景画像のデータをダウンロードする処理を示すシーケンス図である。図18を用いて、電子黒板2cが背景画像のデータをダウンロードする処理について説明する。
電子黒板2cのユーザによる、ディスプレイ3cの背景画像をダウンロードするための操作入力に応じて、電子黒板2cの入力受付部23は、背景画像をダウンロードするための要求の入力を受け付ける(ステップS101)。以下、背景画像をダウンロードするための要求を、ダウンロード要求と表す。
電子黒板2cにおいて、ダウンロード要求の入力が受け付けられると、コード処理部25は、背景画像をダウンロードするために用いられるバーコードを生成する(ステップS102)。この処理で、コード処理部25は、ダウンロード要求を示す識別情報、ダウンロード対象データとしての背景画像の識別情報、背景画像の送信先情報、及びパスワード等のコード情報を、所定の規格に従って表したバーコードを生成する。所定の規格としては、JAN(Japanese Article Number)、EAN(European Article Number)、UPC(Universal Product Code)、ITF (Interleaved Two of Five)、CODE39、CODE128、及びNW−7等が例示される。背景画像の識別情報は、例えば、ファイル名であり、画像データの送信先情報は、例えば、電子黒板2cを示すURLであり、パスワードは、例えば、電子黒板2cにおいて予め定められたものである。コード情報の一部、又は全部は、電子黒板2cのユーザによって入力されてもよい。
電子黒板2cのページ処理部22Zは、ステップS55において、ページデータ記憶部220に記憶されているUI画像、及びステップS102において生成されたバーコードを含む、UI画像のレイヤを生成する。電子黒板2cの重畳部22Yは、ステップS58において、UI画像のレイヤにバーコードが含まれた重畳画像を表示順制御部へ出力する。表示順制御部24は、UI画像のレイヤにバーコードが含まれた重畳画像をディスプレイ3cに表示させる(ステップS103)。図19は、ステップS103におけるディスプレイの表示例である。
通話端末7の撮像部72は、ユーザによる操作に基づいて、電子黒板2cのディスプレイ3cに表示されたバーコードを撮像する(ステップS104)。通話端末7の解析部73は、撮像されたバーコードを解析する。具体的には、解析部73は、撮像画像に含まれるバーコードから、所定の規則に従い、ダウンロード要求を示す識別情報、背景画像の識別情報、背景画像の送信先情報、及びパスワード等のコード情報を抽出する(ステップS105)。なお、抽出されたコード情報のうち、パスワードは、後の認証の処理で用いるため、CPU101からの命令によりディスプレイ120に表示される。なお、他の一実施形態では、パスワードは、コード情報が含まれておらず、電子黒板2cにおいて表示されなくてもよい。この場合、パスワードは、例えば、通話端末7においてユーザから入力を受け付けられてもよいし、通話端末7においてアプリの設定情報として、記憶部7000に記憶されていてもよい。通話端末7の通信制御部71は、抽出されたコード情報をデータサーバ60に送信する(ステップS106)。他の一実施形態では、更に、ユーザから受け付けられたパスワード、又は記憶部7000に記憶されたパスワードをデータサーバ60に送信する
データサーバ60の通信制御部61は、通話端末7から送信されたコード情報を受信する。データサーバ60の記憶・読出部69は、コード情報に含まれる識別情報によって識別される背景画像のデータを記憶部6000から取得する(ステップS107)。データサーバ60の通信制御部61は、取得された背景画像のデータ、及びコード情報に含まれるパスワードを、コード情報に含まれる送信先情報によって示される電子黒板2cへ送信する(ステップS108)。
電子黒板2cの通信制御部21は、データサーバ60によって送信された背景画像のデータを受信する。即ち、電子黒板2cは、データサーバ60から背景画像のデータをダウンロードする。電子黒板2cにおいて、背景画像のデータがダウンロードされると、入力受付部23は、パスワードの入力を受け付ける。電子黒板2cのコード処理部25は、入力受付部23によって受け付けられたパスワードと、ステップS102において生成されたコード情報に含まれるパスワードと、が一致するか判断する。一致すれば、コード処理部25は、ユーザを認証する(ステップS109)。ユーザが認証されると、電子黒板2cのページ処理部22Zは、ダウンロードした背景画像のデータを、ページデータ記憶部220に記憶させる(ステップS110)。
ダウンロードされた背景画像のデータがページデータ記憶部220に記憶された後、電子黒板2cのページ処理部22Zは、ステップS51で、ページデータ記憶部220から、ダウンロードされた背景画像のデータを取得する。ページ処理部22Zによって、ダウンロードされた背景画像のデータが取得されると、電子黒板2cの重畳部22Yは、ステップS57,S58で、ダウンロードされた背景画像のデータを含む重畳画像をレンダリングにより生成し、表示順制御部24へ出力する。重畳部22Yによって、ダウンロードされた背景画像のデータを含む重畳画像が出力されると、電子黒板2cの表示順制御部24は、ダウンロードされた背景画像のデータを含む重畳画像をディスプレイ3cから表示させる(ステップS111)。
また、ページ処理部22Zによって、ダウンロードされた背景画像のデータが取得されると、電子黒板2cの重畳部22Yは、ステップS56で、UI画像が含まれず、ダウンロードされた背景画像のデータを含む重畳画像をレンダリングにより生成する。重畳部22Yによって、UI画像が含まれず、ダウンロードされた背景画像のデータを含む重畳画像が生成されると、電子黒板2cの通信制御部81は、ステップS71で、UI画像が含まれず、ダウンロードされた背景画像のデータを含む重畳画像を取得する。
電子黒板2cの通信制御部81は、ステップS72で、UI画像が含まれず、ダウンロードされた背景画像のデータを含む重畳画像を、表示データとして中継装置30へ送信する。
以後、上記の実施形態のステップS73,74の処理と同様に、中継装置30は、電子黒板2cから送られてきた表示データを伝送端末8へ中継し、伝送端末8は、中継装置30から送られてきた表示データを受信して、ディスプレイ820に表示させる。なお、表示データには、UI画像が含まれていないので、電子黒板2c側でUI画像として表示されるバーコードは、伝送端末8側では表示されない。
<<<第5の実施形態>>>
続いて、第5の実施形態について、上記の第4の実施形態と異なる点について説明する。
第5の実施形態では、第4の実施形態の通信システム1´におけるデータサーバ60が設けられていなくてもよい。第5の実施形態において、通話端末7の記憶部7000には、任意のクライアントの通信装置からアップロードされた各種のデータが記憶されている。各種のデータは、第4の実施形態におけるデータサーバ6が、記憶部6000に記憶して管理しているものと同様である。
図20は、第5の実施形態において電子黒板が背景画像のデータをダウンロードする処理を示すシーケンス図である。図20を用いて、電子黒板2cが背景画像のデータをダウンロードする処理について、第4の実施形態と異なる点を説明する。
通話端末7の解析部73によって、コード情報が抽出されると、記憶・読出部79は、コード情報に含まれる背景画像の識別情報によって識別される背景画像のデータを記憶部7000から取得する(ステップS107´)。通話端末7の通信制御部71は、背景画像のデータ、及びコード情報に含まれるパスワードを、コード情報に含まれる送信先情報によって示される電子黒板2cへ送信する(ステップS108´)。
電子黒板2cの通信制御部21は、通話端末7によって送信された背景画像のデータを受信する。即ち、電子黒板2cは、通話端末7から背景画像のデータをダウンロードする。以後の処理は、第4の実施形態と同様であるので説明を省略する。
<<実施形態の主な効果>>
上記実施形態の送信方法によると、電子黒板2c(通信端末の一例)のストローク処理部22Aは、描画の操作を受け付ける。電子黒板2cの表示順制御部24(表示制御手段の一例)は、ストローク処理部22Aによって受け付けられる操作により描画される画像、及び描画の操作に係るUI画像が背景の画像に重畳された第1の重畳画像をディスプレイ3c(表示装置の一例)の画面に表示させる(表示制御処理の一例)。電子黒板2cの通信制御部81(送信手段の一例)は、重畳される画像からUI画像が除かれた、描画される画像が背景の画像に重畳された第2の重畳画像を示す表示データ(画像データの一例)を、画面の画像データとして伝送端末8(他の通信端末の一例)へ送信する(送信処理の一例)。これにより、描画された画像の表示機能を有する電子黒板2cが、伝送端末8へ画面を送信するときに、伝送端末8で、操作できないUI画像が出力されて、視認性が低下することを防ぐことができる。また、電子黒板2cは、描画される画像が背景画像に重畳された画像を伝送端末8へ送信することで、伝送端末8側で設定されている背景色と描画される画像の色が同じであっても、伝送端末8のユーザは、描画される画像を読み取ることができる。
電子黒板2cの重畳部22Y(生成手段の一例)は、レンダリングにより、背景画像のレイヤに、描画される画像のレイヤが合成された第2の重畳画像のレイヤ(合成画像の一例)を生成する(生成処理の一例)。電子黒板2cの通信制御部81は、重畳部22Yによって生成された第2の重畳画像の表示データを伝送端末8へ送信する。これにより、通信制御部81は、重畳部22Yが生成する画面の画像を取得して、伝送端末8へ送信することができる。
電子黒板2cの表示順制御部24は、第2の重畳画像のレイヤに、背景画像のレイヤ、描画される画像のレイヤ、及びUI画像のレイヤが順に重畳された第1の重畳画像のレイヤをディスプレイ3cの画面に表示させる。この場合、背景画像の下に第2の重畳画像のレイヤを配置することで、電子黒板2cは、第2の重畳画像のレイヤを視認できないようにすることができる。
電子黒板2cのページデータ記憶部220(管理手段の一例)は、背景画像(第1の背景の画像の一例)の画像データを管理する。電子黒板2cのページ処理部22Z(入力手段の一例)は、ノートPC6cから外部画像(第2の背景の画像の一例)を入力する。電子黒板2cの重畳部22Yは、ページ処理部22Zにおいて第2の背景の画像が入力されていない場合には、背景画像のレイヤ、及び描画される画像のレイヤを合成して第2の重畳画像のレイヤを生成する。また、電子黒板2cの重畳部22Yは、ページ処理部22Zにおいて第2の背景の画像が入力されている場合には、外部画像のレイヤ、及び描画される画像のレイヤを合成して第2の重畳画像のレイヤを生成する。これにより、電子黒板2cは、第2の重畳画像のレイヤを生成するときの処理の負荷を低減できる。
管理システム50の利用が電子黒板2cにおいて設定されていない場合に、電子黒板2cの重畳部22Yは、第2の重畳画像を生成しない。これにより、伝送端末8への表示データの送信が想定されないケースでは、電子黒板2cは第2の重畳画像の生成を省略することで処理の負荷を低減することができる。
<<実施形態の補足>>
スマートフォン等の通信端末は、通信ネットワーク9aに接続して、自端末に保存されている背景画像のファイルを、WebAPI(Web Application Programming Interface)等を利用して電子黒板2のいずれかに転送しても良い。電子黒板2は、転送されたファイルを受信して、画面の背景画像として表示する。通信端末に保存されるファイルは、MFP(Multifunction Peripheral)等の画像形成装置のスキャン機能により生成され、画像形成装置から通信端末へ転送されたファイルであってもよい。この場合、画像形成装置は、通信ネットワーク9aに接続して、スキャンにより生成したファイルを、画像形成装置のメール送信機能により通信端末に直接送信してもよい。また、画像形成装置は、スキャンにより生成されたファイルを、画像形成装置の遠隔フォルダ保存機能により、通信ネットワーク9aに接続しているファイルサーバーに転送し、ファイルサーバーにファイルを蓄積させてもよい。この場合は、通信端末は、ファイルサーバーに蓄積されたファイルを取得することにより所望のファイルを通信端末に保存することができる。
通信アプリA11,B11は、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、上記記録媒体、あるいは、これらプログラムが記憶されたHD(Hard Disk)は、プログラム製品(Program Product)として、国内又は国外へ提供可能である。
また、上記実施形態における電子黒板2、伝送端末8、中継装置30、及び管理システム50は、単一の装置によって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数の装置によって構築されていてもよい。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路を含むプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)や従来の回路モジュール等のデバイスを含むものとする。