JP2021144632A - 通信管理装置、通信システム、通信方法およびプログラム - Google Patents

通信管理装置、通信システム、通信方法およびプログラム Download PDF

Info

Publication number
JP2021144632A
JP2021144632A JP2020044586A JP2020044586A JP2021144632A JP 2021144632 A JP2021144632 A JP 2021144632A JP 2020044586 A JP2020044586 A JP 2020044586A JP 2020044586 A JP2020044586 A JP 2020044586A JP 2021144632 A JP2021144632 A JP 2021144632A
Authority
JP
Japan
Prior art keywords
communication
electronic blackboard
management device
data
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020044586A
Other languages
English (en)
Other versions
JP7396136B2 (ja
Inventor
毅史 本間
Takashi Homma
毅史 本間
寛 日野原
Hiroshi Hinohara
寛 日野原
滋 中村
Shigeru Nakamura
滋 中村
佑一 河崎
Yuichi Kawasaki
佑一 河崎
将 小笠原
Masashi Ogasawara
将 小笠原
篤 宮本
Atsushi Miyamoto
篤 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020044586A priority Critical patent/JP7396136B2/ja
Priority to US17/169,557 priority patent/US11647059B2/en
Publication of JP2021144632A publication Critical patent/JP2021144632A/ja
Application granted granted Critical
Publication of JP7396136B2 publication Critical patent/JP7396136B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G06F21/79Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data in semiconductor storage media, e.g. directly-addressable memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/84Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】複数の通信端末において共有されている表示画面に対する操作の不整合を防止することを目的とする。【解決手段】通信管理装置5は、表示画面を構成する複数のページ、および当該ページごとに示されているオブジェクトが関連づけられた階層構造を記憶する。また、通信管理装置5は、特定のオブジェクトに対する操作要求を電子黒板1aから受信し、受信された操作要求に係る特定のオブジェクトの編集が許可されるとともに、特定のオブジェクトの上位層に関連づけられた下位層に対する編集が許可された場合、電子黒板1aに対して、当該特定のオブジェクトに対する操作が成功したことを示す成功通知を送信する。【選択図】図27

Description

本発明は、通信管理装置、通信システム、通信方法およびプログラムに関する。
インターネット等の通信ネットワークを介して遠隔地との間で通信する通信システムが普及している。当該通信システムとしては、例えば、遠隔会議を行う会議システムが挙げられる。一般的な会議システムにおいて、遠隔会議を行う当事者の一方が利用する通信端末側で保持または表示中の画像データを、通信ネットワークを介して当事者の他方が利用する通信端末に送信することで、画像データを共有することができる(特許文献1参照)。これにより、実際の会議に近い状態で遠隔地との会議を行うことができる。
また、ディスプレイに画像を表示させ、この画像の上に、利用者が、文字、数字および図形等のストローク画像を描画する電子黒板等の通信端末が利用されている(特許文献2参照)。このストローク画像は、通信端末が利用者により電子ペンや手でディスプレイ上に接触して移動させることで描いた内容を電子的に変換して、座標データ等のストロークデータを生成することによって描画される。さらに、一方の通信端末でストローク画像が描画された場合、このストローク画像を再生するためのストロークデータが通信ネットワークを介して他方の通信端末に送信されることで、他方の通信端末でも同じストローク画像が表示される。このような場合において、通信端末間での操作の競合を避けるため、他方の通信端末の利用者の操作を事前に把握可能な技術も知られている(特許文献3参照)。
しかしながら、例えば、複数の通信端末が同じストローク画像に対する操作を行った場合、双方の操作に関するデータが、共有データを管理する通信管理装置に届いた順に処理されることによって、操作の結果が双方の利用者の意図と食い違ってしまう場合があった。また、一方の通信端末で操作中の個別のストロークデータに対して操作制限を設けることもできるが、他方の通信端末においてページの切り替え等の画面全体に対する操作が行われる場合もあり、従来の方法では、個別のデータに対する操作制限のみでは編集の不整合を回避しきれないという課題があった。
上述した課題を解決すべく、請求項1に係る発明は、複数の通信端末との間で共有される表示画面に係るデータを管理する通信管理装置であって、前記表示画面を構成する複数のページ、および当該ページごとに示されているオブジェクトが関連づけられた階層構造を記憶する記憶手段と、特定のオブジェクトに対する操作要求を、前記通信端末から受信する受信手段と、前記特定のオブジェクトの編集が許可されるとともに、前記特定のオブジェクトの上位層に関連づけられた下位層に対する編集が許可された場合、前記通信端末に対して、当該特定のオブジェクトに対する操作が成功したことを示す成功通知を送信する送信手段と、を備える通信管理装置である。
本発明によれば、複数の通信端末において共有されている表示画面に対する操作の不整合を防止することができるという効果を奏する。
実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。 実施形態に係る電子黒板の使用イメージについて説明するための図である。 実施形態に係る電子黒板のハードウエア構成の一例を示す図である。 実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。 実施形態に係る通信システムのシステム構成の一例を示す図である。 実施形態に係る通信システムの機能構成の一例を示す図である。 実施形態に係る表示画面情報の一例を概略的に説明するための図である。 実施形態に係る操作情報管理DBに記憶されている操作情報の一例を概略的に説明するための図である。 実施形態に係る認証管理テーブルの一例を示す概念図である。 実施形態に係る端末管理テーブルの一例を示す概念図である。 実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。 実施形態に係るセッション管理テーブルの一例を示す概念図である。 実施形態に係る中継装置管理テーブルの一例を示す概念図である。 実施形態に係る共有データ管理テーブルの一例を示す概念図である。 実施形態に係る下位層設定条件管理テーブルの一例を示す概念図である。 電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。 電子黒板に表示される宛先リスト画面の一例を示す図である。 遠隔通信を開始する処理の一例を示すシーケンス図である。 実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。 実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。 実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。 (A)電子黒板1aの画面例、(B)電子黒板1bの画面例、(C)電子黒板1aの画面例、(D)電子黒板1bの画面例を示す図である。 (A)〜(C)電子黒板の間で共有される表示画面の一例を示す図である。 実施形態に係る通信システムにおける編集権限に応じた電子黒板への描画処理の一例を示すシーケンス図である。 (A)(B)電子黒板1に表示される表示画面の一例を示す図である。 実施形態に係る通信管理装置における操作対象のストロークの編集権限の判断処理の一例を示すフローチャートである。 実施形態に係る通信管理装置における操作対象の編集権限の判断処理の一例を示すフローチャートである。 実施形態に係る通信管理装置における編集権限の設定処理の一例を示すフローチャートである。
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●通信システムの概略●
●通信ルート
まず、図1を用いて、複数の電子黒板1a,1b間で描画しながらビデオ会議を行なうための通信システムについて説明する。図1は、実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。なお、「ビデオ会議」は、「テレビ会議」、「遠隔会議」等と呼ばれる場合もある。また、「ビデオ会議」「テレビ会議」または「遠隔会議」の会議は、複数の端末の間で画像データおよびストロークデータを共有するセッションの一例である。例えば、画像データおよびストロークデータを共有するセッションは、遠隔授業、遠隔診察、打ち合わせ、単なる会話等を行う、会議以外のセッションであってもよい。また、画像データおよびストロークデータを共有するセッションは、一方向での情報の提示に使用されてもよい。
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理装置5および画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の画像データおよび音データ、並びに、共有用の画像データおよびストロークデータ等のコンテンツデータの相互通信を行う。ストロークデータには、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ、ストロークが描画された際の筆圧を示すデータ等が含まれている。また、ストロークデータは、電子黒板1a,1bによってシリアライズされた文字列として送受信される。電子黒板1a,1bは、通話用の画像データおよび音データの送受信により、相手側の拠点の拠点画像および音を再生することで、遠隔ビデオ通話が可能となる。
電子黒板1a,1bは、共有用の背景画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ背景画像を共有することができる。背景画像は、電子黒板1のディスプレイに表示された画像である。背景画像には、例えば、会議の資料等の電子ファイルがディスプレイ180に表示された資料画像が含まれている。背景画像の画像データは、例えば、JPEG(Joint Photographic Experts Group)等のファイル形式で送受信される。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
なお、通信システムは、二つの電子黒板1a,1bに限らず、三つ以上の電子黒板によって構築されてもよい。以降、電子黒板1a,1bの総称を示す場合は、「電子黒板1」と示す。また、電子黒板1は、通信機能、描画機能および表示機能等を備える通信端末の一例である。通信端末は、例えば、通信システムに対応するアプリケーションプログラムがインストールされたPC(Personal Computer)、スマートフォン、タブレット端末、スマートウォッチ、カーナビゲーション端末、ゲーム機またはテレプレゼンスロボット等であってもよい。さらに、通信端末は、医療機器であってもよい。医療機器の場合には、背景画像が患者の画像となる。
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、拠点画像データに係る拠点画像は、動画であっても静止画であってもよい。
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。ただし、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1a,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内または屋外と屋外での通信で使われてもよい。
中継装置3は、コンピュータによって構成され、複数の電子黒板1a,1b間で、通話用のコンテンツデータを中継する処理を行なう。
通信管理装置5は、コンピュータによって構成され、電子黒板1a,1bからのログイン認証、電子黒板1a,1bの通信状況の管理、宛先リストの管理、および中継装置3の通信状況等を一元的に管理する。また、通信管理装置5は、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する。
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の背景画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。すなわち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
なお、中継装置3、通信管理装置5および画像保存装置7は、それぞれが単一のコンピュータによって構築されてもよいし、各装置の各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。ここで、通信管理装置5と画像保存装置7は、複数の電子黒板1a,1b間で共有されるデータを管理するサーバシステム6を構成する。このサーバシステム6は、通信管理装置5および画像保存装置7の各部(機能または手段)を備える単一のコンピュータによって構成されてもよい。また、画像保存装置7は、通信管理装置5に変わり、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する構成であってもよい。
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理装置5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の拠点画像データ、中解像度の拠点画像データ、低解像度の拠点画像データ、および音データの四つの各データを送受信するための四つのセッションが確立される。図1では、これら四つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも四つのセッションである必要はなく、四つのセッション数より少ないまたは多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。さらに、通信システムにおいて、通信管理装置5が中継装置3の機能を有しており、通信管理装置5を介して電子黒板1a,1bとの間の画像・音データ用セッションsedが確立されてもよい。
さらに、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
ここで、本実施形態で扱われる拠点画像データの画像の解像度について説明する。低解像度の拠点画像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の拠点画像データは、横が320画素、縦が240画素から成る。高解像度の拠点画像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の拠点画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の拠点画像データ、および中解像度の拠点画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の拠点画像データ、中解像度の拠点画像データ、および高解像度の拠点画像データから成る高画質の画像データが中継される。音データは、拠点画像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
●電子黒板の使用イメージ
図2は、実施形態に係る電子黒板の使用イメージについて説明するための図である。電子黒板1は、図2に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、および本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。ディスプレイ180は、表示部の一例である。
●ハードウエア構成●
次に、図3および図4を用いて、通信システムを構成する各装置または端末のハードウエア構成について説明する。なお、図3および図4に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
●電子黒板のハードウエア構成
図3は、実施形態に係る電子黒板のハードウエア構成の一例を示す図である。図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105、および外部機器接続I/F106を備えている。
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM103は、CPU101のワークエリアとして使用される揮発性のメモリである。SSD104は、電子黒板用のプログラム等の各種データを記憶する大容量の記憶装置である。ネットワークI/F105は、電子黒板1を通信ネットワーク100に接続し、通信を行うための通信インターフェースである。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
また、電子黒板1は、キャプチャデバイス111、GPU(Graphics Processing Unit)112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、近距離通信回路119のアンテナ119a、電源スイッチ122および選択スイッチ類123を備えている。
これらのうち、キャプチャデバイス111は、外付けのPC170のディスプレイ等に対して画像データ(画像情報)を静止画または動画として表示させる。GPU112は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御および管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190や利用者の手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ180の上側両端部に設置された二つの受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された二つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
さらに、電子黒板1は、バスライン110を備えている。バスライン110は、図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する二つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先およびペン尻だけでなく、電子ペン190の利用者が握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
●通信管理装置、中継装置、および画像保存装置のハードウエア構成
図4は、実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。通信管理装置5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD−RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、およびバスライン510を備えている。
これらのうち、CPU501は、通信管理装置5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM503は、CPU501のワークエリアとして使用される揮発性のメモリである。HD504は、通信管理用プログラム等の各種データを記憶する大容量の記憶装置である。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD−RWドライブ514は、DVD−RW513に対するデータの読み出しまたは書き込み(記憶)を制御する。なお、DVD−RW513は、DVD−R等であってもよい。また、DVD−RWドライブ514は、BD−RE(Blu-ray(登録商標) Disc Rewritable)またはCD−RW(Compact Disc-ReWritable)等のディスクに対するデータの読み出しまたは書き込み(記憶)を制御するブルーレイドライブまたはCD−RWドライブ等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出しまたは書き込み(記憶)を制御する。また、バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、中継装置3は、一般的なコンピュータによって構築されており、図6に示されているように、CPU301、ROM302、RAM303、HD304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、キーボード311、ポインティングデバイス312、DVD−RWドライブ314、メディアI/F316およびバスライン310を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD−RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。ただし、中継装置3の場合は、HD304に中継用プログラムが記憶されている。
さらに、画像保存装置7は、一般的なコンピュータによって構築されており、図6に示されているように、CPU701、ROM702、RAM703、HD704、HDDコントローラ705、ディスプレイ706、外部機器接続I/F708、ネットワークI/F709、キーボード711、ポインティングデバイス712、DVD−RWドライブ714、メディアI/F716およびバスライン710を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD−RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。また、画像保存装置7の場合は、HD704に画像保存用プログラムが記憶されている。
また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD−R(Compact Disc Recordable)、DVD、ブルーレイディスク、SDカードまたはUSBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、通信管理装置5は、本発明に係るプログラムが実行されることで本発明に係る通信方法を実現する。
●通信システムの全体構成●
続いて、図5を用いて、通信システムの全体構成について説明する。図5は、実施形態に係る通信システムのシステム構成の一例を示す図である。
図5において、電子黒板1aは拠点A、電子黒板1bは拠点Bに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは中国の北京事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用しているものとする。
さらに、電子黒板1a,1b、中継装置3、通信管理装置5、および画像保存装置7は、例えば、インターネットやLAN(Local Area Network)等の通信ネットワーク100を介して、相互にデータの送受信を行なうことができる。なお、通信ネットワーク100には、有線だけでなく、Wi−Fi(登録商標)等の無線による通信が行われる箇所があってもよい。
●通信システムの機能構成●
次に、図6乃至図15を用いて、本実施形態に係る通信システムの機能構成について説明する。図6は、実施形態に係る通信システムの機能構成の一例を示す図である。なお、図6では、図5に示されている各端末、装置およびサーバのうち、後述の処理または動作に関連しているものが示されている。
●電子黒板の機能構成
まず、図6を用いて、電子黒板1a,1bの機能構成について説明する。なお、電子黒板1a,1bが有している機能は同様であるため、ここでは、電子黒板1が有している機能として説明する。電子黒板1は、通信部11、受付部12、画像・音処理部13、表示制御部14、判断部15、画像処理部16、近距離通信部18、表示画面管理部21および記憶・読出処理部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、または機能する手段である。また、電子黒板1は、図3に示されているRAM103、SSD104またはUSBメモリ130によって構築される記憶部1000を有している。
通信部11は、図3に示されているCPU101からの命令、およびネットワークI/F105によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。通信部11は、例えば、開始部としての役割も果たし、他の電子黒板1と通信を開始する処理を行う。また、通信部11は、例えば、他の電子黒板との間で、ディスプレイ180に表示させる描画画面データを、通信管理装置5を介して送受信する。受付部12は、図3に示されているCPU101からの命令、並びに接触センサ114および電子ペンコントローラ116によって実現され、利用者から電子ペン190等による各種入力を受け付ける。
画像・音処理部13は、図3に示されているCPU101からの命令によって実現され、ビデオ会議機能の主な処理を行う。画像・音処理部13は、例えば、マイク140の出力信号およびカメラ160の出力信号に共づき、拠点画像データおよび音データのエンコード等のデジタル処理を行う。また、画像・音処理部13は、例えば、通信部11で受信された拠点画像データおよび音データに基づき、画像信号を生成したり音信号を生成したりする。さらに、画像・音処理部13は、例えば、解像度の異なる拠点画像データを組み合わせる処理を行う。
表示制御部14は、図3に示されているCPU101からの命令、および図3に示されているディスプレイコントローラ113によって実現され、ディスプレイ180に画像信号等を出力するための制御を行う機能である。表示制御部14は、例えば、画像処理部16によって生成された表示画面データに係る表示画面を、ディスプレイ180に表示させる。判断部15は、図3に示されているCPU101からの命令によって実現され、各種判断を行う機能である。
画像処理部16は、図3に示されているCPU101からの命令、およびキャプチャデバイス111によって実現され、電子黒板機能の主な処理を行う機能である。画像処理部16は、例えば、受付部12によって受け付けられた電子ペン190等のストロークに基づいてストロークデータおよびストローク画像を生成する。また、画像処理部16は、例えば、通信部11によって受信されたストロークデータに基づいてストローク画像を生成する。さらに、画像処理部16は、例えば、生成したストローク画像を含む描画画面データを生成する。
近距離通信部18は、図3に示されているCPU101からの命令、並びに近距離通信回路119およびアンテナ119aによって実行され、ICカードやスマートフォン等の近距離通信部を有する各端末との間で、近距離無線通信により、データの取得および提供を行なう機能である。
表示画面管理部21は、、図3に示されているCPU101からの命令によって実現され、他の電子黒板1との間で共有される表示画面を構成する画面データを管理する機能である。
記憶・読出処理部19は、図3に示されているCPU101からの命令によって実行され、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す機能である。記憶部1000には、他の端末との通信を行う際に受信される拠点画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の拠点画像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。さらに、記憶部1000には、ディスプレイ180に描画されたストローク画像に係るストロークデータ、およびディスプレイ180に表示された背景画像に係る背景画像データが記憶される。
○表示画面情報
図7は、実施形態に係る表示画面情報の一例を概略的に説明するための図である。図7は、表示画面管理DB1001に記憶されている電子黒板1に表示される表示画面の状態の一例のイメージを示している。
図7の例では、表示画面は、「会議」、「ページ(ページ1〜3)」、「ストローク(ストローク1〜5)」の階層構造を有している。「ストローク」は、本実施形態に係るストロークデータに対応しており、「ページ」毎に管理されている。ストロークは、そのストロークが示されているページを上位層として関連づけられている。また、「ページ」とは、ディスプレイ180に表示された1ページの画面(表示画面)に係る画像データが記憶された状態を示す。ページは、そのページが共有されている会議を上位層として関連づけられている。さらに、「会議」とは、電子黒板1によって実行されている会議の情報を示す。例えば、ストローク1には、ストローク1を識別するストロークID(id=aaaaa)、ストローク1が存在するページ1を特定するための情報(parent=pag01)、描画データ1のgid(global id)「g001」、ストローク1に対する編集可否を示す編集可否情報(edit)および描画データ1等が含まれている。このうち、編集可否情報(edit)には、編集が制限されているストローク、編集が許可されないストロークに対して、「lock」が設定される。一方で、編集可否情報には、編集が制限されていないストローク、すなわち編集が許可されるストロークに対して、「unlock」が設定される。
また、例えば、ストローク1が表すストローク画像に対して、移動等の操作が行われると、ストロークID(id=aaaaa)は、そのまま引き継がれるが、描画データ1と描画データ1を識別するgid「g001」は、更新される。描画データ1は、ストローク1を再現するための描画データである。描画データ1には、例えば、座標データ、線の幅データ、線の色データ、およびベクトルデータ等が含まれている。
電子黒板1は、ページの切り替えが可能であり、「ページ」は、電子黒板1の各ページに対応している。例えば、ページ1には、ページ1を識別するページID(id=pag01)、電子黒板1で実行されている「会議」を特定するための情報(parent=se01)、ページ(ページデータ)を識別するgid「g01」、ページ1に対する編集可否を示す編集可否情報(edit)、ページ1の下位層であるストロークに対する編集可否を示す下位層編集可否情報(lower level)および画像データ1等が含まれている。このうち、下位層編集可否情報(lower level)は、ページの子孫となるデータである下位層のストロークに対する編集を許可するか否かを示す情報である。下位層編集可否情報(lower level)には、下位層の編集を許可しない場合に「lock」が設定され、下位層の編集を許可する場合に「unlock」が設定される。
また、画像データ1は、ページ1を構成する背景画像の画像データである。すなわち、画像データ1は、ページ1に表示されている背景画像を示す。なお、ページには、画像データが含まれていなくてもよい。この場合、画像データが含まれているページは、背景画像を有していない(空白の背景である)ことを意味する。
「会議」は、電子黒板1で実行されている会議に対応しており、会議を識別するための会議ID、会議(会議情報)のgid「g1」、会議によって生成されたページを示す情報(pages)、電子黒板1に現在表示されている表示画面を構成するページを示す情報(current page)、会議に対する編集可否を示す編集可否情報(edit)、および会議の下位層に対する編集可否を示す下位層編集可否情報(lower level)によって管理されている。また、電子黒板1が他の電子黒板との遠隔通信を行っている場合、会議IDは、セッションを識別するためのセッションID(id=se01)に対応している。例えば、電子黒板1の画像処理部16は、ストローク1〜3に含まれている描画データ1〜3を用いて、ページ1に描画されたストローク画像を生成することができる。なお、各階層に示されいるgidは、他の電子黒板との間でデータの共有を行う際に、通信管理装置5によって採番される。また、図7に示されている共有データの階層構造は、複数の電子黒板1の間で共有される。
○操作情報
ここで、図8を用いて、電子黒板1で実行された表示画面に対する操作を示す操作情報について説明する。図8は、実施形態に係る操作情報の一例を概略的に説明するための図である。図8に示されている操作情報には、電子黒板1に表示される表示画面に対して実行された操作の情報が記憶されている。図8に示されている操作情報には、ストロークデータを識別するためのストロークID(Id)、ストロークデータが描画されたページを識別するためのページID(DistId)、表示画面に対して実行された操作の種類を示す操作種別情報(Operation Type)、操作対象となるデータの種別を示すデータ種別情報(Data Type)、操作対象となるデータの内容を示すデータ詳細情報(Date)が含まれている。
このうち、操作種別情報には、表示画面に含まれているストロークやページに対して、利用者によって実行された操作の種類が示されている。例えば、操作対象がストロークである場合において、操作種別情報は、ストロークが描画されたときには「Add(追加)」、ストロークが削除されたときには「Remove(削除)」、ストロークが移動されたときには「Update」が示される。また、データ種別情報には、操作対象がストロークである場合には「Stroke」、ページである場合には「Page」が示される。さらに、操作対象がストロークである場合において、データ詳細情報は、ストロークデータに対応し、座標データ、線の幅データ、線の色データ等の情報が含まれる。データ詳細情報は、後述する共有データ管理テーブル(図14参照)に示されているbodyの情報に対応している。
●中継装置の機能構成
続いて、図6を用いて、中継装置3の機能構成について説明する。中継装置3は、転送部を兼ねた通信部31、判断部35および記憶・読出処理部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD304からRAM303上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、中継装置3は、図4に示されているRAM303、HD304または記録メディア315によって構築される記憶部3000を有している。
通信部31は、図4に示されているCPU301からの命令、およびネットワークI/F309によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。また、通信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た拠点画像データおよび音データを、他の端末に転送する。判断部35は、図4に示されているCPU301からの命令によって実現され、データの遅延状態等の判断等の各種判断を行なう機能である。
記憶・読出処理部39は、図4に示されているCPU301からの命令によって実行され、記憶部3000に各種データを記憶させ、または記憶部3000に記憶された各種データを読み出す機能である。
●通信管理装置の機能構成
続いて、図6を用いて、通信管理装置5の機能構成について説明する。通信管理装置5は、通信部51、認証部52、判断部53、端末管理部54、セッション管理部55、中継装置管理部56、共有データ管理部57、設定部58および記憶・読出処理部59を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、通信管理装置5は、図4に示されているRAM503、HD504または記録メディア515によって構築される記憶部5000を有している。
通信部51は、図4に示されているCPU501からの命令、およびネットワークI/F509によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。通信部51は、例えば、電子黒板1に対して、他の電子黒板1から送信されたストロークデータの送受信を行う。
認証部52は、図4に示されているCPU501からの命令によって実現され、ログイン要求元の認証を行う機能である。認証部52は、通信部51によってログイン要求情報を受信した場合、認証管理DB5001を用いて、ログイン要求元の認証処理を実行する。判断部53は、図4に示されているCPU501からの命令によって実現され、各種判断を行う機能である。
端末管理部54は、図4に示されているCPU501からの命令によって実現され、電子黒板1の状態に応じて、端末管理DB5002で管理されている電子黒板1に関する各種情報を管理する機能である。端末管理部54は、例えば、端末管理DB5002における稼動状態、受信日時、端末のIPアドレス等の情報を更新する。また、端末管理部54は、宛先リスト管理DB5003を管理し、電子黒板1からの要求に応じて、宛先リスト管理DB5003で管理されている宛先端末の端末IDを含む宛先リスト情報を提供する。
セッション管理部55は、図4に示されているCPU501からの命令によって実現され、通信システムで開催されるセッションを管理する機能である。セッション管理部55は、例えば、電子黒板1から通信の開始を要求する開始要求情報に応じて、セッションを識別するためのセッションIDを生成する。また、セッション管理部55は、例えば、セッションIDに対応づけて、セッションに関する各種情報をセッション管理DB5004に記憶させて管理する。
中継装置管理部56は、図4に示されているCPU501からの命令によって実現され、複数の中継装置3からセッションの中継に用いる中継装置3を選択する機能である。中継装置管理部56は、例えば、中継装置管理DB5005を管理し、中継装置管理DB5005に記憶されている各中継装置3に関する各種情報を用いて、中継装置3を選択する。中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3のIPアドレスと、開始端末のIPアドレスとから、開始端末の近くにある中継装置3を選択する。また、中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3の最大データ伝送速度等に基づいて、中継装置3を選択する。なお、本実施形態では、セッションの中継に用いる中継装置3の選択方法は任意の方法であって良い。また、通信システムが有する中継装置3の数は、一つであってもよい。
共有データ管理部57は、図4に示されているCPU501からの命令によって実現され、各電子黒板1(通信端末)の間で送受信される表示画面に関する各種データを管理する機能である。共有データ管理部57は、例えば、セッションに参加している電子黒板1から、セッションseiで送信される各種データを、セッションIDと関連づけて、共有データ管理DB5006に記憶して管理する。
設定部58は、図4に示されているCPU501からの命令によって実現され、表示画面を構成する各種データに対する編集可否(編集権限)を設定する機能である。
記憶・読出処理部59は、図4に示されているCPU501からの命令によって実行され、記憶部5000に各種データを記憶させ、または記憶部5000に記憶された各種データを読み出す機能である。
○認証管理テーブル
図9は、実施形態に係る認証管理テーブルの一例を示す概念図である。記憶部5000には、図9に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理装置5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連づけられて管理される。例えば、図9に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
○端末管理テーブル
図10は、実施形態に係る端末管理テーブルの一例を示す概念図である。記憶部5000には、図10に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理装置5で受信された受信日時、および各電子黒板1(通信端末)のIPアドレスが関連づけられて管理される。例えば、図10に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「Online(通信可能)」で、通信管理装置5でログイン要求情報が受信された日時が「2020年2月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、および端末のIPアドレスは、各電子黒板1が、通信管理装置5によるサービスの提供を受けるために事前登録する際に記憶される。
○宛先リスト管理テーブル
図11は、実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。記憶部5000には、図11に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連づけられて管理される。例えば、図11に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理装置5に対する追加または削除の要請により、追加または削除されることで更新される。
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。
○セッション管理テーブル
図12は、実施形態に係るセッション管理テーブルの一例を示す概念図である。記憶部5000には、図12に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において拠点画像データが受信される際の受信の遅延時間(ms)、およびこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理装置5で受信された受信日時が関連づけられて管理される。例えば、図12に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、拠点画像データおよび音データを中継しており、電子黒板(宛先端末)において「2020年2月10日の13時41分」時点における拠点画像データの遅延時間が200(ms)であることが示されている。
○中継装置管理テーブル
図13は、実施形態に係る中継装置管理テーブルの一例を示す概念図である。記憶部5000には、図13に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置3の中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理装置5で受信された受信日時、中継装置3のIPアドレス、および、中継装置3における最大データ伝送速度(Mbps)が関連づけられて管理される。例えば、図13に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「Online」で、通信管理装置5で状態情報が受信された日時が「2020年2月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
○共有データ管理テーブル
図14は、実施形態に係る共有データ管理テーブルの一例を示す概念図である。記憶部5000には、図14に示されているような共有データ管理テーブルによって構成されている共有データ管理DB5006が構築されている。この共有データ管理テーブルには、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、電子黒板1の間で共有して記憶される表示画面に関する各種データが記憶されて管理されている。共有データ管理テーブルに示されているデータは、各電子黒板1の表示画面管理DB1001に記憶されている表示画面の状態(図7参照)に対応している。
共有データ管理テーブルに示されているデータには、各データを識別するためのID、各データの発生順序を示すシーケンス番号、データの内容を示す情報(body)、上位層(親)となるデータを特定するための情報(parent)、編集可否を示す編集可否情報(edit)、および当該データに関連づけられた下位層に対する編集可否を示す下位層編集可否情報(lower level)が含まれている。例えば、複数の電子黒板1によって実行されている遠隔会議を示す会議情報の場合、共有データ管理テーブルには、実行されている会議を識別するための会議ID(セッションID)、会議によって生成されたページを示す情報(children)、電子黒板1に現在表示されている表示画面を構成するページを示す情報(current page)、会議に対する編集可否を示す編集可否情報(edit)、および会議に関連づけられた下位層に対する編集可否を示す下位層編集可否情報(lower level)が含まれている。また、例えば、ページデータの場合、共有データ管理テーブルには、ページ(ページデータ)を識別するためのページID、該当するページを構成する背景画像データの記憶位置を示すURL(Uniform Resource Locator)、ページに対する編集可否を示す編集可否情報(edit)、およびページに関連づけられた下位層であるストロークに対する編集可否を示す下位層編集可否情報(lower level)が含まれている。
さらに、例えば、ストロークデータの場合、共有データ管理テーブルには、「ストローク描画」イベントによって生成されたストロークデータを識別するためのストロークID、ストロークデータの内容を示す情報、ストロークが存在するページ(ページデータ)を特定するための情報(parent)、およびストロークに対する編集可否を示す編集可否情報(edit)が含まれている。この場合、ストロークデータの内容を示す情報(body)には、描画されたストロークの色、描画されたストロークの線の太さを示す幅、および描画されたストロークの頂点(x,y)の情報が含まれている。
ここで、「ストローク描画」は、利用者による描画情報の入力処理であり、例えば、利用者が電子ペン190をディスプレイ180に押し付け、この状態で電子ペン190を移動させ、ディスプレイ180から電子ペン190を離すまでのイベントである。また、ストロークの色は、RGBA(Red Green Blue Alpha)のデータ形式で、各要素が0−255の数値で表される。さらに、描画されたストロークの線の太さの幅は、ピクセル数で表される。また、描画されたストロークの頂点は、XY座標で表され、それぞれの頂点をベジェ曲線で結ぶとストロークを示す線分となる。この共有データ管理テーブルにより、通信管理装置5は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを含む表示画面に関する各種データを管理することができる。
○下位層設定条件管理テーブル
図15は、実施形態に係る下位層設定条件管理テーブルの一例を示す概念図である。記憶部5000には、図15に示されているような下位層設定条件管理テーブルによって構成されている下位層設定条件管理DB5007が構築されている。この下位層設定条件管理テーブルには、下位層編集可否設定情報を設定するための設定情報が記憶されている。下位層設定条件管理テーブルには、表示画面を構成する各種データに対する操作の内容を示す操作項目ごとに、操作対象のデータに関連づけられた下位層に対する編集可否を設定するための設定情報が関連づけられた設定条件が記憶されている。例えば、図15に示されている下位層設定条件管理テーブルにおいて、操作項目「ページの削除」に対応する設定情報は、「lock」であり、操作項目「ページ切替」に対応する設定情報は、「unlock」であり、操作項目「オブジェクトグループの移動」に対応する設定情報は、「lock」である。設定部58は、通信部51で受信された操作要求に対応する操作項目に設定情報に基づいて、下位層編集可否情報を設定する。
●画像保存装置の機能構成
続いて、図6を用いて、画像保存装置7の機能構成について説明する。画像保存装置7は、通信部71、生成部73および記憶・読出処理部79を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD704からRAM703上に展開された画像保存用プログラムに従ったCPU701からの命令によって動作することで実現される機能、または機能する手段である。また、画像保存装置7は、図4に示されているRAM703、HD704または記録メディア715によって構築される記憶部7000を有している。
通信部71は、図4に示されているCPU701からの命令、およびネットワークI/F709によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。生成部73は、図4に示されているCPU701からの命令によって実現され、背景画像データの記憶位置を示すURLを生成する機能である。記憶・読出処理部79は、図4に示されているCPU701からの命令によって実行され、記憶部7000に各種データを記憶させ、または記憶部7000に記憶された各種データを読み出す機能である。
●実施形態の処理または動作●
次に、図16乃至図28を用いて、本実施形態に係る通信システムにおける処理または動作を説明する。
●遠隔通信の準備段階の処理
まず、図16および図17を用いて、ログイン要求端末としての電子黒板1aが行なう通信の準備処理を説明する。図16は、電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。図17は、電子黒板に表示される宛先リスト画面の一例を示す図である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS11)。
次に、通信部11aは、通信ネットワーク100を介して、通信管理装置5へログイン認証の要求を示すログイン要求情報を送信する(ステップS12)。このログイン要求情報には、電子黒板1aの端末IDおよびパスワードが含まれている。これら端末IDおよびパスワードは、記憶・読出処理部19aによって記憶部1000aから読み出されて、通信部11aに送られたデータである。なお、これら端末IDおよびパスワードは、これに限るものではなく、利用者がキーボード等の入力手段によって入力した端末IDやパスワードが送信されてもよい。また、電子黒板1aに接続されたSIM(Subscriber Identity Module Card)カードやSDカード等の記録媒体から読み出された端末IDやパスワードが送信されてもよい。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたログイン要求情報を受信する。
次に、通信管理装置5の認証部52は、通信部51を介して受信したログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、認証管理テーブル(図9参照)を検索する。また、認証部52は、ログイン要求情報に含まれている端末IDおよびパスワードの組み合わせが、認証管理テーブルで管理されている場合、電子黒板1aのログインを許可する(ステップS13)。ここで、ログイン要求情報に含まれている端末IDおよびパスワードの組合せが、認証管理テーブルで管理されている場合、ステップS14以降の処理が実行される。
電子黒板1aのログインが許可された場合、端末管理部54は、端末管理テーブル(図10参照)において、電子黒板1aの端末ID「01aa」に対応する情報を更新する。例えば、端末管理部54は、端末ID「01aa」に対応する「稼動状態」の情報を「Online(通信可能)」」に変更するとともに、「受信日時」の情報を、ログイン要求情報を受信した日時に更新する(ステップS14)。なお、端末のIPアドレスの情報は、事前に登録されているのではなく、上記ステップS12で電子黒板1aから送信されたIPアドレスを用いるようにしても良い。これにより、端末管理テーブルには、例えば、図10に示されているように端末ID「01aa」に、稼動状態「Online(通信可能)」、受信日時「2020.2.10.13:40」およびIPアドレス「1.2.1.3」が関連づけて管理されることになる。
次に、セッション管理部55は、ステップS12によって受信された電子黒板1aの端末ID「01aa」を、「開始端末の端末ID」とする新しいレコードを、セッション管理テーブル(図12参照)に追加して管理する(ステップS15)。そして、通信部51は、ステップ13の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aへ送信する(ステップS16)。
電子黒板1a(ログイン要求端末)の通信部11aは、ログインが許可されたことを示す認証結果情報を受信すると、通信ネットワーク100を介して通信管理装置5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS17)。これにより、通信管理装置5の通信部51は、宛先リスト要求情報を受信する。
次に、端末管理部54は、電子黒板1a(ログイン要求端末)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図11参照)を検索し、電子黒板1aと通信することができる宛先候補の端末IDを読み出す。また、端末管理部54は、端末管理テーブル(図10参照)から、宛先候補の端末IDに対応する宛先名を読み出す(ステップS18)。ここでは、電子黒板1aの端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
次に、通信部51は、記憶・読出処理部59を介して、例えば、記憶部5000から宛先リスト枠のデータおよび稼動状態を示すアイコンのデータ等を読み出す(ステップS19)。また、通信部51は、読み出した宛先リスト枠およびアイコン、並びにステップS18で抽出した端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、電子黒板1aへ送信する(ステップS20)。これにより、電子黒板1aは、通信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aに、受信した宛先リスト情報を記憶する(ステップS21)。
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理装置5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板1が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、本実施形態に係る通信システムは、通信管理装置5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
また、端末管理部54は、ステップ18で抽出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図10参照)を検索し、宛先候補の端末ID毎に、対応する稼動状態を読み出す。これにより、端末管理部54は、宛先候補の端末IDに対応する各電子黒板1の各稼動状態を取得する(ステップS22)。
次に、通信部51は、ステップS22で検索キーとして使用された端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介して、電子黒板1aに送信する(ステップS23)。
次に、電子黒板1aの記憶・読出処理部19aは、順次、通信管理装置5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS24)。よって、電子黒板1aは、上記各電子黒板の状態情報を受信することで、電子黒板1aと通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
次に、表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、および端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成する。また、表示制御部14aは、作成した宛先リストを用いて、電子黒板1aのディスプレイ180に対して、図17に示されているような宛先リスト画面800を表示させる(ステップS25)。この宛先リスト画面800には、宛先候補毎に、稼動状態を示すアイコン、端末ID、および宛先名が表示されている。図17では、各端末の稼動状態を示したアイコンが、上から「Offline」、「Online(通信可能)」として表示されている。
一方、通信管理装置5の端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて宛先リスト管理テーブル(図10(A)参照)を検索することにより、電子黒板1aを宛先候補として登録している他の端末の端末IDを抽出する(ステップS26)。図10(A)に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ca」、「01da」等である。
次に、端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて端末管理テーブル(図10参照)を検索し、電子黒板1aの稼動状態を取得する(ステップS27)。
そして、通信部51は、ステップS26で抽出された端末IDに係る端末のうち、端末管理テーブル(図10参照)で稼動状態が「Online」となっている端末に、ステップS27で取得された電子黒板1aの端末ID「01aa」と稼動状態「Online」が含まれる「端末の状態情報」を送信する(ステップS28)。なお、通信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図10参照)で管理されている電子黒板のIPアドレスを参照する。これにより、電子黒板1aを宛先候補として通信することができる他の宛先端末のそれぞれに、電子黒板1aの端末ID「01aa」、および稼動状態「Online」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS29)。
●遠隔通信の開始処理
続いて、図18を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図18は、遠隔通信を開始する処理の一例を示すシーケンス図である。
まず、開始端末(電子黒板1a)の利用者A1が図17に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS31)。そして、開始端末(電子黒板1a)の通信部11aは、通信管理装置5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS32)。この開始要求情報には、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理装置5の通信部51は、上記開始要求情報を受信すると共に、送信元である開始端末(電子黒板1a)のIPアドレスを受信する。
そして、端末管理部54は、開始要求情報に含まれる開始端末(電子黒板1a)の端末ID「01aa」および宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図10参照)を更新する。例えば、端末管理部54は、開始要求情報に含まれる開始端末の端末ID「01aa」、宛先端末の端末ID「01ba」に基づき、端末管理テーブルにおいて、端末ID「01aa」、「01ba」に対応する「稼動状態」を「Online(通信中)」に更新する。なお、この状態では、開始端末である電子黒板1a、および宛先端末である電子黒板1bは、セッションに参加していないが、通信中状態として管理する(ステップS33)。なお、この状態では、開始端末(電子黒板1a)、および宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板(例えば、途中参加端末)が開始端末(電子黒板1a)または宛先端末(電子黒板1b)と通話しようとする(途中参加しようとする)と、いわゆる通話中状態を示す旨の通知音または表示が出力される。
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理装置5のセッション管理部55は、電子黒板1aと電子黒板1bとの間で開催されるセッションを識別するためのセッションIDを生成する(ステップS34)。ここでは、セッションID「se01」が生成された場合について説明する。
そして、セッション管理部55は、セッション管理テーブル(図12参照)に、ステップS34で生成されたセッションID「se01」、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」を関連づけて記憶して管理する(ステップS35)。
次に、中継装置管理部56は、開始端末(電子黒板1a)と宛先端末(電子黒板1b)との間のセッションを中継する中継装置3を選択する(ステップ36)。例えば、中継装置管理部56は、中継装置管理テーブル(図13参照)において稼動状態が「Online」の中継装置3に係る中継装置IDのうち、端末管理テーブル(図10参照)において開始端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3を選択する。ここでは、中継装置ID「111a」の中継装置3が選択された場合について、以降、続けて説明する。
以上のステップS36における中継装置の選択の処理が終了すると、通信管理装置5の通信部51は、開始端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS37−1)。この中継装置選択情報には、ステップS36によって選択された中継装置3のIPアドレス、およびステップS34によって生成されたセッションID「se01」が含まれている。これにより、開始端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
さらに、通信管理装置5の通信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS37−2)。この中継装置選択情報には、ステップS36によって選択された中継装置3のIPアドレス、開始端末(電子黒板1a)の端末ID「01aa」、およびステップS34によって生成されたセッションID「se01」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
次に、開始端末(電子黒板1a)の通信部11は、通信管理装置5に対して、ステップS37−1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38−1)。この受信完了情報には、ステップS37−1の処理で送受信されたセッションIDが含まれている。これにより、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
さらに、宛先端末(電子黒板1b)は、同様に通信管理装置5へ、ステップS37−2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38−2)。この場合も、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
以上により、電子黒板1a,1bは、上記ステップS36で選択された中継装置3を介して、拠点画像データおよび音データを送受信することで、ビデオ会議を行うことができる。
●電子黒板間でのデータの共有処理
次に、図19乃至図23を用いて、電子黒板1の間でデータを共有する処理について説明する。図19乃至図21は、実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。ここでは、電子黒板1a,1bで背景画像データおよびストロークデータを共有する場合であって、電子黒板1aで表示された背景画像および入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。図22のうち、(A)は電子黒板1aの画面例、(B)は電子黒板1bの画面例、(C)は電子黒板1aの画面例、(D)は電子黒板1bの画面例である。
まず、拠点Aの電子黒板1aでは、表示制御部14aによって図22(A)に示されている画面がディスプレイ180上に表示されている。ここでは、背景画像dA、拠点Bの映像v2、背景画像dAを共有する場合に押下される「共有」ボタンb1が表示されている。この状態で、電子黒板1aの利用者aが「共有」ボタンb1を押下すると、受付部12aが利用者aから背景画像の共有処理を受け付ける(ステップS51)。次に、通信部11aは、画像保存装置7に対して、背景画像の画像データのアップロードを要求する旨を示すアップロード要求を送信する(ステップS52)。この場合、通信部11aは、例えば、予め定められた所定のアップロード用のURL(例えば、「http://○○○.jp/upload」)に対して、背景画像データを送信する。これにより、画像保存装置7の通信部71は、電子黒板1aから送信されたアップロード要求を受信する。
画像保存装置7の記憶・読出処理部79は、ステップS52で受信された背景画像データを、記憶部7000に記憶する(ステップS53)。そして、画像保存装置7の生成部73は、記憶した背景画像データの記憶位置を示すURLを生成する(ステップS54)。URLは記憶位置情報の一例であり、記憶位置情報にはURI(Uniform Resource Identifier)も含まれる。なお、ステップS53およびステップS54の処理の順序は、前後してもよく、または並行して行われてもよい。これにより、電子黒板1aは、URLに対して、背景画像データのアップロードを開始する。
画像保存装置7の通信部71は、電子黒板1aに対して、生成部73によって生成された背景画像データのURLを送信する(ステップS55)。これにより、電子黒板1aの通信部11aは、画像保存装置7から送信された背景画像データのURLを受信する。
次に、電子黒板1aの表示画面管理部21aは、表示画面管理DB1001aに記憶されたページ情報を更新する(ステップS56)。この場合、表示画面管理部21aは、画像保存装置7へアップロードする背景画像データに対応するページデータ(例えば、ページ1)を記憶する。
そして、通信部11aは、通信管理装置5に対して、背景画像データのアップロードを開始した旨を示すアップロード開始通知を送信する(ステップS57)。このアップロード開始通知には、アップロード対象の背景画像データに対応するページのページID、およびステップS55で受信されたURLが含まれている。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたアップロード開始通知を受信する。
通信管理装置5の共有データ管理部57は、ステップS57で受信された各種情報に基づいて、共有データ管理DB5006(図14参照)に記憶されているページ情報を更新する(ステップS58)。具体的には、共有データ管理部57は、共有データ管理テーブルを検索することにより、ステップS57で受信されたページIDに関連づけられているbodyに、ステップS57で受信されたURLを記述する。また、共有データ管理部57は、共有データ管理DB5006に記憶させるページ(ページデータ)に対応するgidを採番する。
通信管理装置5の通信部51は、アップロード開始通知を、遠隔会議中の相手側の電子黒板1bに対して、ステップS57で受信されたアップロード開始通知を転送する(ステップS59)。これにより、電子黒板1bの通信部11bは、開始通知を受信する。そして、電子黒板1bの表示制御部14bは、電子黒板1bのディスプレイ180上に、図22(B)に示されているような画面を表示させる(ステップS60)。ここでは、もともと拠点Aの映像v1および共有する場合に押下される「共有」ボタンb2が表示されており、ステップS59の開始通知により、背景画像の画像データのダウンロードの時間経過を視覚的に示す砂時計のアイコンc2を表示する出力が行われる。
また、時間経過は、静止画の砂時計によって示したり、砂の動きがある動画の砂時計によって示したりすることができる。また、砂時計のアイコンc2は、画像データをダウンロードする予定である旨を示す予定情報の一例である。予定情報の他の例としては、砂時計以外のアイコン(例えば、時計のアイコン)であっても良いし、アイコンではなく文字(および/または「記号」)であってもよし、アイコンと文字(および/または「記号」)の組み合わせであってもよい。また、予定情報は、音による通知であってもよい。この場合、表示制御部14aではなく、画像・音処理部13aによってスピーカ150から音の出力が行われる。
続いて、拠点Aでは、利用者A1が、電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aが、移動のストローク(軌跡)の入力を受け付ける(ステップS61)。そして、画像処理部16aがストロークに基づいて、二次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成する(ステップS62)。そして、表示制御部14aは、電子黒板1aのディスプレイ180上に、ストローク画像を表示させる(ステップS63)。これにより、図22(C)に示されているように、ストローク画像stAが表示される。
次に、通信部11aは、通信管理装置5に対して、ステップS62で作成されたストローク画像を再生するためのストロークデータを送信する(ステップS64)。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたストロークデータを受信する。
そして、共有データ管理部57は、共有データ管理DB5006(図14参照)に、ステップS64で受信されたストロークデータを記憶させる(ステップS65)。この場合、共有データ管理部57は、図14に示されるように、通信部51によって受信されたストロークデータを、発生順(シーケンス順)に、実行されている遠隔会議を示す会議ID(セッションID)に関連づけて共有データ管理テーブルに記憶させる。また、共有データ管理部57は、ステップS64で受信されたストロークデータに対応するgidを採番する。
次に、通信部51は、電子黒板1aに対して、ステップS65によって記憶されたストロークデータ、および共有データ管理部57によって採番されたgidを送信する(ステップS66)。これにより、電子黒板1aは、通信管理装置5から送信されたストロークデータおよびgidを受信する。電子黒板1aは、ストロークデータが受け付けられたことを把握することができるとともに、採番されたgidを知ることができる。
また、通信部51は、相手側の電子黒板1bに対して、ストロークデータおよびgidを送信する(ステップS67)。これにより、電子黒板1bの通信部11bは、通信管理装置5から送信されたストロークデータおよびgidを受信する。そして、電子黒板1bの画像処理部16bは、通信部11bによって受信されたストロークデータに基づいて、ストローク画像を生成する(ステップS68)。そして、表示制御部14bは、ステップS68によって生成されたストローク画像を、電子黒板1bのディスプレイ180上に表示させる(ステップS69)。これにより、電子黒板1bには、図22(D)に示されているように、相手側の電子黒板1aと同じストローク画像stAが表示される。このように、通信システムは、電子黒板1aに描画されたストローク画像を、電子黒板1bに共有させることができる。
続いて、図21に示されているように、画像保存装置7の通信部71は、電子黒板1aに対して、背景画像データのアップロードが完了した旨を示すアップロード完了通知を送信する(ステップS71)。このアップロード完了通知には、アップロードされた背景画像データの記憶位置を示すURLが含まれている。これにより、電子黒板1aの通信部11aは、画像保存装置7から送信されたアップロード完了通知を受信する。
電子黒板1aの通信部11aは、通信管理装置5に対して、ステップS71で受信されたアップロード完了通知を転送する(ステップS72)。また、通信管理装置5の通信部51は、電子黒板1bに対して、ステップS72で受信されたアップロード完了通知を転送する(ステップS73)。これにより、電子黒板1bの通信部11bは、通信管理装置5から送信されたアップロード完了通知を受信する。
電子黒板1bの通信部11bは、ステップS73で受信された画像保存装置7に係るURLに対して、背景画像データのダウンロードを要求する旨を示すダウンロード要求を送信する(ステップS74)。これにより、画像保存装置7の通信部71は、電子黒板1bから送信されたダウンロード要求を受信する。
次に、画像保存装置7の記憶・読出処理部79は、通信部71によって受信されたダウンロード要求に示されているURLに基づいて、記憶部7000から要求対象である背景画像データを読み出す(ステップS75)。そして、通信部71が、要求元である電子黒板1bに対して、要求対象である背景画像データを送信する(ステップS76)。これにより、電子黒板1bの通信部11bは、背景画像データのダウンロード(受信)を行う。そして、電子黒板1bの表示制御部14bは、通信部11bによってダウンロード(受信)された背景画像データに係る背景画像を、ディスプレイ180に表示させる(ステップS77)。具体的には、表示制御部14bが、図22(D)に示されている画面上に、図22(C)に示されている背景画像dAと同じ背景画像を表示させると共に、それまで表示していた砂時計のアイコンc2を非表示にする。
これにより、電子黒板1aと電子黒板1bは、ディスプレイ180に表示されるストローク画像および背景画像を共有することができる。一方の電子黒板1(例えば、電子黒板1a)に表示された背景画像に係る背景画像データは、画像保存装置7にアップロードされ、他方の電子黒板1(例えば、電子黒板1b)にダウンロード可能な状態となる。また、一方の電子黒板1(例えば、電子黒板1a)に描画されたストロークに係るストロークデータは、通信管理装置5を経由して他方の電子黒板1(例えば、電子黒板1b)に共有される。さらに、電子黒板1に表示される表示画面(ページ)の作成および表示画面(ページ)の変更等の操作情報(図8参照)についても、通信管理装置5を経由して、それぞれの電子黒板1に共有される。なお、ステップS51〜ステップS60の電子黒板1aから画像保存装置7への背景画像データのアップロードを開始する処理と、ステップS61〜ステップS69のストロークデータの共有処理の順序は前後してもよく、または並行して行われてもよい。
ここで、図23を用いて、電子黒板1aと電子黒板1bとの間で共有される表示画面について説明する。まず、図23(A)に示されている表示画面200aには、背景画像d1およびストローク画像st1が表示されている。また、図23(B)に示されている表示画面200bには、背景画像d2およびストローク画像st2が表示されている。さらに、図23(C)に示されている表示画面200cは、背景画像d3およびストローク画像st3が表示されている。
このように、電子黒板1aと電子黒板1bには、図23(A)〜(C)に示されているような複数の表示画面が共有されている。また、電子黒板1aおよび電子黒板1bは、図7に示されている表示画面情報として、ディスプレイ180に表示させる表示画面を構成する画面データ(背景画像データおよびストロークデータ)を管理している。例えば、図23(A)に示されている表示画面200aは、「ページ1」の画面データに対応する表示画面であり、図23(B)に示されている表示画面200bは、「ページ2」の画面データに対応する表示画面である。また、例えば、図23(C)に示されている表示画面200cは、「ページ3」の画面データに対応する表示画面である。なお、図23に示されている表示画面200a〜200cは、ディスプレイ180に表示される表示画面の一例である。
以上説明したように、電子黒板1aが、背景画像データを送信した後に、ストローク画像のストロークデータを送信しても、ストロークデータが画像データよりも非常にデータ量が小さいために、相手側の電子黒板1bにはストロークデータが先に届いてしまう。これに対して、本実施形態において、通信管理装置5は、画像データをアップロードする電子黒板1aからアップロードの開始通知を受信し、電子黒板1bに対して開始通知を転送(送信)する(S59参照)。そして、電子黒板1bでは、図22(B)に示されているように、背景画像データのダウンロードを行う旨を視覚的に示す砂時計のアイコンc2を表示する出力が行われる(S60参照)。これにより、拠点Bの電子黒板1bの利用者B1,B2は、ストローク画像の表示が進んでいる最中に、後ほど送られて来る資料等の背景画像の存在に気づくため、拠点Aの電子黒板1aの利用者A1との円滑なコミュニケーションを行うことができる。
●編集権限に応じた描画処理
次に、図24乃至図28を用いて、複数の拠点の電子黒板1を用いて行われている遠隔会議(ビデオ会議)中において、操作対象に設定された編集権限に応じた電子黒板1への描画処理について説明する。以下の例では、電子黒板1a,1bの二拠点の間で遠隔会議が行われている場合の例を説明するが、遠隔会議が行われる拠点または電子黒板の数は、これに限られず、複数の拠点または電子黒板の間で遠隔会議が行われる構成であればよい。
図24は、実施形態に係る通信システムにおける編集権限に応じた電子黒板への描画処理の一例を示すシーケンス図である。ここで、図24は、電子黒板1aの利用者A1が、図25(A)に示されている表示画面200aaに対して所定の操作を行う場合の例について説明する。
図25(A)に示されている表示画面200aaには、図23(A)に示されている表示画面200aに描画されたストロークデータの集合であるオブジェクトが含まれている。ここで、オブジェクトとは、座標が連結されたストローク、ストロークが文字もしくは数値等の記号としてOCR(Optical Character Reader)処理されたテキスト、日付もしくは時刻等のシステム生成文字、三角形、星もしくは円形等の予め定められた図形、絵文字もしくはイラスト等の特定のアプリケーションで使用可能な画像、または矢印、線分もしくはベジェ曲線等の線が含まれる。利用者の描画操作によりディスプレイ180に表示されているこのような情報をオブジェクトと称する。図25(A)の表示画面200aに示されているオブジェクトは、特定のオブジェクトの一例である。
まず、電子黒板1aの利用者A1が電子ペン190等を用いて表示画面200aに示されているオブジェクトを移動させることにより、受付部12aは、オブジェクトに対する操作を受け付ける(ステップS101)。例えば、利用者A1は、表示画面200aaに示されているオブジェクトを、図25(B)に示されているように左上に移動させる。そして、通信部11aは、通信管理装置5に対して、ページに示されているオブジェクトに対する操作を要求するオブジェクト操作要求を送信する(ステップS102)。このオブジェクト操作要求には、操作対象のオブジェクトを構成するデータが含まれている。この場合、オブジェクト操作要求には、オブジェクトを構成するストロークデータが含まれている。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたオブジェクト操作要求を受信する。
なお、オブジェクトに対する操作(オブジェクト操作)は、オブジェクトの移動に限られず、オブジェクトの拡大、縮小もしくは削除、またはストロークの追加、削除もしくは色相の変換等のオブジェクトの編集であってもよい。また、以下の説明において、表示画面に対する操作は、表示画面に示されているストロークデータの集合としてのオブジェクトに対する操作であるものとして説明するが、表示画面に示されているストローク単位での操作であってもよい。
次に、通信管理装置5は、通信部51によって受信されたオブジェクト操作要求に基づいて、操作対象のオブジェクトに対する編集権限を判断する(ステップS103)。ここで、図26を用いて、通信管理装置5における操作対象であるオブジェクトを構成するストロークに対する編集権限の判断処理の詳細を説明する。図26は、実施形態に係る通信管理装置における操作対象のストロークの編集権限の判断処理の一例を示すフローチャートである。
まず、判断部53は、共有データ管理DB5006に記憶された編集可否情報に基づいて、操作対象のオブジェクトであるストロークの編集可否を判断する(ステップS201)。判断部53は、操作対象のストロークのIDに関連づけられた編集可否情報が「lock」である場合、操作対象のストロークの編集が許可されないと判断し、処理をステップ209へ移行させる。一方で、判断部53は、編集可否情報が「unlock」である場合、操作対象のオブジェクトの編集が許可されると判断し、処理をステップS202へ移行させる。
次に、判断部53は、操作対象のストロークに上位層のページが存在するかを判断する(ステップS202)。判断部53は、操作対象のストロークのIDに関連づけられた上位層(親)となるページを示す情報(parent)が、共有データ管理DB5006に記憶されている場合、上位層のページが存在すると判断し、処理をステップS203へ移行させる。一方で、判断部53は、操作対象のストロークのIDに関連づけられた上位層(親)となるページを示す情報(parent)が、共有データ管理DB5006に記憶されていない場合、上位層のページが存在しないと判断し、処理をステップS210へ移行させる。
次に、ステップS203において、判断部53は、ステップS202によって存在する判断された上位層のページに、判断対象を変更する。次に、判断部53は、判断対象であるページの編集可否を判断する(ステップS204)。判断部53は、判断対象のページのIDに関連づけられた編集可否情報が「lock」である場合、判断対象のページの編集が許可されないと判断し、処理をステップS205へ移行させる。一方で、判断部53は、判断対象のページのIDに関連づけられた編集可否情報が「unlock」である場合、判断対象のページの編集が許可されると判断し、処理をステップS206へ移行させる。
次に、ステップ205において、判断部53は、共有データ管理DB5006に記憶された下位層編集可否情報に基づいて、判断対象であるページの下位層であるストロークに対する編集可否を判断する。判断部53は、判断対象であるページのIDに関連づけられた下位層編集可否情報が「lock」である場合、下位層のストロークに対する編集が許可されないと判断し、処理をステップS209へ移行させる。一方で、判断部53は、判断対象であるページのIDに関連づけられた下位層編集可否情報が「unlock」である場合、下位層のストロークに対する編集が許可されると判断し、処理をステップS206へ移行させる。
次に、ステップS206において、判断部53は、判断対象を電子黒板1aで実行されている会議に変更する。次に、判断部53は、判断対象である会議の編集可否を判断する(ステップS207)。判断部53は、判断対象である会議のIDに関連づけられた編集可否情報が「lock」である場合、判断対象である会議が「編集不可」であると判断し、処理をステップS208へ移行させる。一方で、判断部53は、判断対象である会議のIDに関連づけられた編集可否情報が「unlock」である場合、判断対象である会議が「編集可」であると判断し、処理をステップS210へ移行させる。
次に、ステップ208において、判断部53は、共有データ管理DB5006に記憶された下位層編集可否情報に基づいて、判断対象である会議の下位層に対する編集可否を判断する。判断部53は、判断対象である会議のIDに関連づけられた下位層編集可否情報が「lock」である場合、会議の下位層に対する編集が許可されないと判断し、処理をステップS209へ移行させる。一方で、判断部53は、判断対象である会議のIDに関連づけられた下位層編集可否情報が「unlock」である場合、ページの下位層に対する編集が許可されると判断し、処理をステップS210へ移行させる。
そして、ステップS209において、通信部51は、電子黒板1aに対して、オブジェクト操作が失敗した旨を示すエラー通知を送信する(ステップS104b)。一方で、ステップS210において、通信管理装置5は、ステップS102で受信されたオブジェクト操作要求に応じた処理を実行する。
このように、通信管理装置5は、表示画面として電子黒板1a,1bの間で共有されているデータを、階層構造(ツリー構造)で関連づけて管理することによって、操作対象の編集権限を判断する際に、操作対象となるストロークの編集可否だけでなく、上位層となるページがストロークの編集を許可するかどうかも含めて判断することで、操作の競合によって電子黒板1a,1b間で発生する編集操作の不整合を防止することができる。
図26は、操作対象のオブジェクトがストロークまたは複数のストロークの集合である場合の例を示したが、操作対象のオブジェクトがページ単位であってもよい。そこで、図27を用いて、操作対象のオブジェクトがストロークに限定されない場合の処理の流れを説明する。
まず、判断部53は、共有データ管理DB5006に記憶された編集権限に基づいて、操作対象のオブジェクトの編集可否を判断する(ステップS251)。判断部53は、操作対象のオブジェクトのIDに関連づけられた編集可否情報が「lock」である場合、操作対象のオブジェクトの編集が許可されないと判断し、処理をステップ256へ移行させる。一方で、判断部53は、編集可否情報が「unlock」である場合、操作対象のオブジェクトの編集が許可されると判断し、処理をステップS252へ移行させる。
次に、判断部53は、操作対象のオブジェクトに上位層が存在するかを判断する(ステップS252)。判断部53は、操作対象のオブジェクトのIDに関連づけられた上位層(親)となるデータ(parent)が、共有データ管理DB5006に記憶されている場合、上位層が存在すると判断し、処理をステップS253へ移行させる。一方で、判断部53は、操作対象のオブジェクトのIDに関連づけられた上位層(親)となるデータ(parent)が、共有データ管理DB5006に記憶されていない場合、上位層が存在しないと判断し、処理をステップS257へ移行させる。
次に、ステップS253において、判断部53は、ステップS252によって存在する判断された上位層に、判断対象を変更する。次に、判断部53は、判断対象である上位層の編集可否を判断する(ステップS254)。判断部53は、編集可否情報が「lock」である場合、上位層の編集が許可されないと判断し、処理をステップS255へ移行させる。一方で、判断部53は、編集可否情報が「unlock」である場合、上位層の編集が許可されると判断し、ステップS252からの処理を繰り返す。
次に、ステップ255において、判断部53は、共有データ管理DB5006に記憶された下位層編集可否情報に基づいて、判断対象である上位層の下位層に対する編集可否を判断する。判断部53は、判断対象である上位層のIDに関連づけられた下位層編集可否情報が「lock」である場合、上位層の下位層に対する編集が許可されないと判断し、処理をステップS256へ移行させる。一方で、判断部53は、判断対象である上位層のIDに関連づけられた下位層編集可否情報が「unlock」である場合、上位層の下位層に対する編集が許可されると判断し、ステップS255からの処理を繰り返す。
そして、ステップS256において、通信部51は、電子黒板1aに対して、オブジェクト操作が失敗した旨を示すエラー通知を送信する。一方で、ステップS257において、通信管理装置5は、ステップS102で受信されたオブジェクト操作要求に応じた処理を実行する。このように、通信管理装置5は、操作対象のオブジェクトがストローク以外のデータである場合であっても、データの階層構造を利用して、上位層が有する下位層の編集可否を判断することができる。
図25に戻り、編集権限に応じた描画処理の説明を続ける。まず、図26の処理において操作対象のオブジェクトに対する編集権限があると判断された場合、すなわちステップS210における処理が実行される場合について説明する。
通信部51は、オブジェクト操作要求を送信した電子黒板1aに対して、オブジェクト操作が成功したことを示す成功通知を送信する(ステップS104a)。これにより、電子黒板1aの通信部11aは、通信管理装置5から送信された成功通知を受信する。また、通信部51は、他の電子黒板である電子黒板1bに対して、ページ1に対する操作を制限することを示すロック通知を送信する(ステップS105a)。これにより、電子黒板1bの通信部11bは、通信管理装置5から送信されたロック通知を受信する。
次に、通信管理装置5は、オブジェクト操作に応じた編集権限の設定を行う(ステップS106a)。編集権限の設定処理の詳細は、後述する。また、電子黒板1aの表示制御部14aは、オブジェクトに対する操作が行われた表示画面200ab(図25(B)参照)を、ディスプレイ180に表示させる。そして、電子黒板1aの通信部11aは、通信管理装置5に対して、ステップS101によって受け付けられたオブジェクト操作に係るストロークデータの送信が完了したことを示す送信完了通知を送信する(ステップS108a)。これにより、通信管理装置5の通信部51は、電子黒板1aから送信された送信完了通知を受信する。そして、通信管理装置5の通信部51は、電子黒板1bに対して、電子黒板1aから送信された送信完了通知を送信する(ステップS109a)。これにより、電子黒板1bの通信部11bは、通信管理装置5から送信された送信完了通知を受信する。
次に、電子黒板1bの表示制御部14bは、通信部11bによって受信された送信完了通知に示されているストロークデータに基づいて画像処理部16bによって生成された表示画面200ab(図25(B)参照)をディスプレイ180に表示させる(ステップS110b)。これにより、電子黒板1bは、電子黒板1aによって行われたオブジェクト操作(オブジェクトの移動)が反映された表示画面を、ディスプレイ180に表示させることができる。
一方で、図26の処理において操作対象のオブジェクトに対する編集権限がないと判断された場合、すなわちステップS209における処理が実行される場合について説明する。
通信管理装置5の通信部51は、判断部53によって操作要求に係るオブジェクトの編集権限がないと判断された場合、オブジェクト操作要求を送信した電子黒板1aに対して、オブジェクト操作が失敗した旨を示すエラー通知を送信する(ステップS104b)。これにより、電子黒板1aの通信部11aは、通信管理装置5から送信されたオブジェクト操作要求を受信する。そして、電子黒板1aは、例えば、ディスプレイ180にエラー通知を示す画像等を表示させることによって、利用者A1に操作に失敗した旨を知らせることができる。
このように、本実施形態に係る通信システムは、電子黒板1a,1bの間で共有される表示画面を構成するデータを階層構造(ツリー構造)で表現し、通信管理装置5を介して共有する。これにより、通信システムは、例えば、電子黒板1aから操作要求が通信管理装置5に対して行われた場合、操作要求に係るオブジェクトが個別にロックされているか否かだけでなく、上位層が有する下位層となるオブジェクトの編集可否を含めて判断されるので、操作の競合によって電子黒板1a,1b間で発生する編集操作の不整合を防止することができる。
○編集権限の設定処理
ここで、図28を用いて、図24のステップS106aに示されている編集権限の設定処理の詳細について説明する。図28は、実施形態に係る通信管理装置における編集権限の設定処理の一例を示すフローチャートである。
まず、設定部58は、操作対象のオブジェクトであるストローク単位での編集可否を設定する(ステップS301)。具体的には、設定部58は、共有データ管理DB5006に記憶されている操作対象のストロークのIDに関連づけられた編集可否情報を、「unlock」から「lock」に設定する。
次に、判断部53は、下位層設定条件管理DB5007を検索することによって、ステップS101で受け付けられたオブジェクト操作に対応する操作項目の編集権限を判断する(ステップS302)。具体的には、判断部53は、オブジェクト操作に対応する操作項目の設定情報が「unlock」である場合、「編集可」であると判断し、処理をステップS303へ移行させる。一方で、判断部53は、オブジェクト操作に対応する操作項目の設定情報が「lock」である場合、「編集不可」であると判断し、処理をステップS304へ移行させる。
そして、ステップS303において、設定部58は、共有データ管理DB5006において、操作対象のストロークの上位層であるページのIDに関連づけられた下位層編集可否情報を「unlock」に設定する。一方で、ステップS304において、設定部58は、共有データ管理DB5006において、操作対象のストロークの上位層であるページのIDに関連づけられた下位層編集可否情報を「lock」に設定する。
このように、通信管理装置5は、電子黒板1aからオブジェクトの操作要求を受信した場合、オブジェクト自体のロック設定だけでなく、下位層設定条件管理テーブルを用いて、操作内容に応じて下位層(子孫)のデータのロック設定も行う。例えば、ページの切替やページ自体が有する付加情報の更新等の操作であれば、ページの下位層として保持されているストローク自体の編集は、行われても差し支えないことが考えられる。そのため、通信管理装置5は、下位層の編集可否を設定するための操作項目を予め記憶しておくことで、電子黒板1からの操作要求がエラーとなる場合を減らすことができる。これにより、通信システムは、下位層のロック設定を通信管理装置5によって自律的に設定されることで、各拠点からの操作要求を行う際にロック設定を行うための情報を付与しなくてもよいため、電子黒板1a,1bのアプリケーションの煩雑化を低減させることができる。
なお、通信管理装置5は、電子黒板1aから送信された下位層のロックを要求する要求情報に応じて、下位層のロック設定を行う構成であってもよい。この場合、電子黒板1aの通信部11aは、例えば、オブジェクトの操作要求とともに、オブジェクトの下位層のロックを要求する要求情報を、通信管理装置5に対して送信する。通信管理装置5の設定部58は、受信された要求情報に応じて、下位層編集可否情報を設定する。これにより、通信システムは、電子黒板1aから編集可否を指定することができるので、例えば、操作内容によっては下位層の編集を拒絶する必要がない場合等、電子黒板1aの利用者A1が明示的に編集を許可することができる。
●まとめ●
以上説明したように、本発明の一実施形態に係る通信管理装置は、複数の通信端末(例えば、電子黒板1a,1b)との間で共有される表示画面に係るデータを管理する通信管理装置5である、通信管理装置5は、表示画面を構成する複数のページ、および当該ページごとに示されているオブジェクトが関連づけられた階層構造を記憶する。また、通信管理装置5は、特定のオブジェクトに対する操作要求を電子黒板1aから受信し、受信された操作要求に係る特定のオブジェクトの編集が許可されるとともに、特定のオブジェクトの上位層に関連づけられた下位層に対する編集が許可された場合、電子黒板1aに対して、当該特定のオブジェクトに対する操作が成功したことを示す成功通知を送信する。これにより、通信管理装置5は、電子黒板1aから送信された操作要求が受信された場合、操作要求に係るオブジェクトのみでなく、上位層が有する下位層に対する編集が許可された場合に操作を実行することで、操作の競合によって電子黒板1a,1b間で発生する編集操作の不整合を防止することができる。
また、本発明の一実施形態に係る通信管理装置5は、受信された操作要求に係る特定のオブジェクトの編集が許可されるが、特定のオブジェクトの上位層に関連づけられた下位層に対する編集が許可されない場合、特定のオブジェクトに対する操作が失敗した旨を示す通知を、電子黒板1a(通信端末の一例)に対して送信する。これにより、通信管理装置5は、操作要求に係るオブジェクトの編集が許可されても、上位層が有する下位層に対する編集が許可されない場合には操作を制限することで、操作の競合によって電子黒板1a,1b間で発生する編集操作の不整合を防止することができる。
さらに、本発明の一実施形態に係る通信管理装置5は、階層ごとの編集可否を示す編集可否情報を記憶するとともに、階層に下位層が存在する場合、当該階層に関連づけて下位層の編集可否を示す下位層編集可否情報を記憶する。また、通信管理装置5は、記憶された編集可否情報および下位層編集可否情報に基づいて、操作対象の編集権限を判断する。これにより、通信管理装置5は、表示画面として電子黒板1a,1bの間で共有されているデータを、階層構造で関連づけて管理することによって、操作対象の編集権限を判断する際に、操作対象となるストロークの編集可否だけでなく、上位層となるページがストロークの編集を許可するかどうかも含めて判断することで、操作の競合によって電子黒板1a,1b間で発生する編集操作の不整合を防止することができる。
また、本発明の一実施形態に係る通信管理装置5は、受信された操作要求に係る操作対象が編集権限を有すると判断された場合、操作対象に関連づけられた編集可否情報を、編集が制限されていることを示すロックに設定し、編集可否情報がロックである場合、操作対象の編集が許可されないと判断する。また、通信管理装置5は、操作対象が編集権限を有すると判断された場合、受信された操作要求に係る操作内容に応じて、下位層編集可否情報を設定する。これにより、通信管理装置5は、下位層のロック設定を自律的に設定することで、各拠点からの操作要求を行う際にロック設定を行うための情報を付与しなくてもよいため、電子黒板1a,1bのアプリケーションの煩雑化を低減させることができる。
さらに、本発明の一実施形態に係る通信管理装置5は、操作要求に係る特定のオブジェクトの下位層の編集可否の設定を要求する要求情報を、電子黒板1a(通信端末の一例)から受信し、受信された要求情報に応じて、下位層編集可否情報を設定する。これにより、通信管理装置5は、電子黒板1aから編集可否を指定することができるので、例えば、操作内容によっては下位層の編集を拒絶する必要がない場合等、電子黒板1aの利用者A1が明示的に編集を許可することができる。
また、本発明の一実施形態に係る通信システムは、通信管理装置5と、電子黒板1a(通信端末の一例)と、を備える。電子黒板1aは、表示画面200aaに表示された特定のオブジェクトに対する操作要求を受け付ける。また、電子黒板1aは、通信管理装置5から送信された、当該特定のオブジェクトに対する操作が成功したことを示す成功通知を受信し、操作要求に係る操作が反映された表示画面200abをディスプレイ180(表示部の一例)に表示させる。これにより、本発明の一実施形態に係る通信システムは、例えば、電子黒板1aから操作要求が通信管理装置5に対して行われた場合、操作要求に係るオブジェクトが個別にロックされているか否かだけでなく、上位層が有する下位層となるオブジェクトの編集可否を含めて判断されるので、操作の競合によって電子黒板1a,1b間で発生する編集操作の不整合を防止することができる。
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPUおよび従来の回路モジュール等のデバイスを含むものとする。
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
これまで本発明の一実施形態に係る通信管理装置、通信システム、通信方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1a,1b 電子黒板(通信端末の一例)
3 中継装置
5 通信管理装置
6 サーバシステム
7 画像保存装置
11 通信部(第2の受信手段の一例)
12 受付部(受付手段の一例)
14 表示制御部(表示制御手段の一例)
51 通信部(受信手段の一例、送信手段の一例)
54 判断部(判断手段の一例)
58 設定部(設定手段の一例)
180 ディスプレイ(表示部の一例)
5000 記憶部(記憶手段の一例)
特開2011−254453号公報 特開2015−70543号公報 特開2015−60592号公報

Claims (11)

  1. 複数の通信端末との間で共有される表示画面に係るデータを管理する通信管理装置であって、
    前記表示画面を構成する複数のページ、および当該ページごとに示されているオブジェクトが関連づけられた階層構造を記憶する記憶手段と、
    特定のオブジェクトに対する操作要求を、前記通信端末から受信する受信手段と、
    前記特定のオブジェクトの編集が許可されるとともに、前記特定のオブジェクトの上位層に関連づけられた下位層に対する編集が許可された場合、前記通信端末に対して、当該特定のオブジェクトに対する操作が成功したことを示す成功通知を送信する送信手段と、
    を備える通信管理装置。
  2. 前記送信手段は、前記特定のオブジェクトの編集が許可されるが、前記特定のオブジェクトの上位層に関連づけられた下位層に対する編集が許可されない場合、前記特定のオブジェクトに対する操作が失敗した旨を示す通知を、前記通信端末に対して送信する請求項1に記載の通信管理装置。
  3. 前記記憶手段は、階層ごとの編集可否を示す編集可否情報を記憶するとともに、前記階層に下位層が存在する場合、当該階層に関連づけて前記下位層の編集可否を示す下位層編集可否情報を記憶する請求項1または2に記載の通信管理装置。
  4. 請求項3に記載の通信管理装置であって、
    前記記憶手段に記憶された前記編集可否情報および前記下位層編集可否情報に基づいて、操作対象の編集権限を判断する判断手段を備える通信管理装置。
  5. 請求項4に記載の通信管理装置であって、
    前記操作対象が編集権限を有すると判断された場合、前記特定のオブジェクトに関連づけられた前記編集可否情報を、編集が制限されていることを示すロックに設定する設定手段を備え、
    前記判断手段は、前記編集可否情報が前記ロックである場合、前記操作対象の編集が許可されないと判断する通信管理装置。
  6. 前記設定手段は、前記操作対象が編集権限を有すると判断された場合、前記操作要求に係る操作内容に応じて、前記下位層編集可否情報を設定する請求項5に記載の通信管理装置。
  7. 前記受信手段は、前記特定のオブジェクトの下位層の編集可否の設定を要求する要求情報を、前記通信端末から受信し、
    前記設定手段は、前記要求情報に応じて、前記下位層編集可否情報を設定する請求項5に記載の通信管理装置。
  8. 前記オブジェクトは、前記表示画面に描画されたストローク画像であり、
    前記記憶手段は、前記ストローク画像を構成するストロークデータと前記ストローク画像が描画されたページが関連づけられた前記階層構造を記憶する請求項1乃至7のいずれか一項に記載の通信管理装置。
  9. 請求項1乃至8の通信管理装置と、前記通信端末と、を備える通信システムであって、
    前記通信端末は、
    前記特定のオブジェクトに対する操作要求を受け付ける受付手段と、
    前記通信管理装置から送信された前記成功通知を受信する第2の受信手段と、
    前記成功通知が受信された場合、前記操作要求に係る操作が反映された前記表示画面を表示部に表示させる表示制御手段と、
    を備える通信システム。
  10. 複数の通信端末との間で共有される表示画面に係るデータを管理する通信管理装置が実行する通信方法であって、
    前記通信管理装置は、
    前記表示画面を構成する複数のページ、および当該ページごとに示されているオブジェクトが関連づけられた階層構造を記憶する記憶手段を備え、
    特定のオブジェクトに対する操作要求を、前記通信端末から受信する受信ステップと、
    前記特定のオブジェクトの編集が許可されるとともに、前記特定のオブジェクトの上位層に関連づけられた下位層に対する編集が許可された場合、前記通信端末に対して、当該特定のオブジェクトに対する操作が成功したことを示す成功通知を送信する送信ステップと、
    を実行する通信方法。
  11. 複数の通信端末との間で共有される表示画面に係るデータを管理する通信管理装置に実行させるプログラムであって、
    前記通信管理装置は、
    前記表示画面を構成する複数のページ、および当該ページごとに示されているオブジェクトが関連づけられた階層構造を記憶する記憶手段を備え、
    特定のオブジェクトに対する操作要求を、前記通信端末から受信する受信ステップと、
    前記特定のオブジェクトの編集が許可されるとともに、前記特定のオブジェクトの上位層に関連づけられた下位層に対する編集が許可された場合、前記通信端末に対して、当該特定のオブジェクトに対する操作が成功したことを示す成功通知を送信する送信ステップと、
    を実行させるプログラム。
JP2020044586A 2020-03-13 2020-03-13 通信管理装置、通信システム、通信方法およびプログラム Active JP7396136B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020044586A JP7396136B2 (ja) 2020-03-13 2020-03-13 通信管理装置、通信システム、通信方法およびプログラム
US17/169,557 US11647059B2 (en) 2020-03-13 2021-02-08 Communication management apparatus, communication system, communication method, and non-transitory recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020044586A JP7396136B2 (ja) 2020-03-13 2020-03-13 通信管理装置、通信システム、通信方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021144632A true JP2021144632A (ja) 2021-09-24
JP7396136B2 JP7396136B2 (ja) 2023-12-12

Family

ID=77663780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020044586A Active JP7396136B2 (ja) 2020-03-13 2020-03-13 通信管理装置、通信システム、通信方法およびプログラム

Country Status (2)

Country Link
US (1) US11647059B2 (ja)
JP (1) JP7396136B2 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069899A (ja) 2007-09-10 2009-04-02 Ricoh Co Ltd オブジェクト文書作成システム
JP5846270B2 (ja) 2014-09-04 2016-01-20 株式会社リコー 画像処理システム、情報処理装置
JP6515603B2 (ja) * 2015-03-13 2019-05-22 日本電気株式会社 電子ホワイトボードシステム、電子ホワイトボードアクセス権付与方法およびそのプログラム
EP3293955A4 (en) * 2015-05-07 2018-03-21 Ricoh Company, Ltd. Information processing device, information processing method and information processing program
EP3660687A4 (en) 2017-07-24 2020-08-19 Fujitsu Limited INFORMATION PROCESSING DEVICE, SHARE ORDER PROCESS AND SHARE ORDER PROGRAM
US10868923B2 (en) 2018-11-30 2020-12-15 Ricoh Company, Ltd. Communication management system, communication system, communication control method, and recording medium
US11061641B2 (en) 2019-02-28 2021-07-13 Ricoh Company, Ltd. Screen sharing system, and information processing apparatus
JP7243322B2 (ja) 2019-03-13 2023-03-22 株式会社リコー 通信端末、通信システム、表示制御方法およびプログラム
EP3709634A1 (en) 2019-03-13 2020-09-16 Ricoh Company, Ltd. Communication management system, communication system, communication management device, image processing method, and carrier medium
JP7326963B2 (ja) 2019-07-25 2023-08-16 株式会社リコー 通信端末、通信システム、画像共有方法およびプログラム

Also Published As

Publication number Publication date
US11647059B2 (en) 2023-05-09
US20210286773A1 (en) 2021-09-16
JP7396136B2 (ja) 2023-12-12

Similar Documents

Publication Publication Date Title
JP7326963B2 (ja) 通信端末、通信システム、画像共有方法およびプログラム
JP7373712B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
JP7413693B2 (ja) 通信端末、通信システム、データ共有方法およびプログラム
EP3817326A1 (en) Communication terminal, communication system, method for sharing data, and carrier means
JP7243322B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP2022049507A (ja) 通信システム、通信端末、画面共有方法、及びプログラム
JP7396136B2 (ja) 通信管理装置、通信システム、通信方法およびプログラム
JP2021022041A (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP7476586B2 (ja) 通信端末、通信システム、画面共有方法およびプログラム
JP7467986B2 (ja) 通信端末、通信システム、通信方法およびプログラム
JP7243323B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP7476596B2 (ja) 通信端末、方法、プログラム、およびシステム
JP2022029341A (ja) 通信システム、通信端末、通信方法、及びプログラム
JP7215341B2 (ja) 通信端末、通信システム、表示制御方法およびプログラム
JP7476548B2 (ja) 通信端末、通信システム、表示方法、及びプログラム
JP7487542B2 (ja) 通信端末、通信システム、通信方法、プログラム
JP7428027B2 (ja) 通信システム、通信端末、表示方法、プログラム
JP2022145219A (ja) 表示装置、データ共有システム、表示制御方法およびプログラム
JP2020095705A (ja) 通信管理システム、通信システム、通信方法、及びプログラム
JP2022143264A (ja) 表示装置、表示システム、表示制御方法およびプログラム
JP2020135864A (ja) 情報処理装置、情報処理システム及び情報処理方法
JP2022025652A (ja) 通信端末、通信システム、通信方法及びプログラム
JP2022043668A (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2020095690A (ja) 情報処理装置、情報処理システム及び情報処理方法
JP2020077375A (ja) 通信端末、情報共用システム、表示方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R151 Written notification of patent or utility model registration

Ref document number: 7396136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151