JP2020149634A - 画像処理装置、方法、およびプログラム - Google Patents

Abstract

【課題】電子黒板等の画像処理装置のページの一覧表示内で書き込みを行う。【解決手段】複数のページの一覧の画面を生成して表示させ、前記一覧内の１つのページまたは２つ以上のページは、用途の異なる複数のレイヤで構成されており、前記複数のレイヤの構成を変更することによって、前記１つのページまたは前記２つ以上のページに対する書き込みを受け付ける、一覧制御部を備える。【選択図】図３

Description

本発明は、画像処理装置、方法、およびプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、この背景画像の上にユーザが文字や数字、図形等のストローク画像を描画可能な電子黒板が利用されている。

このような電子黒板等の画像処理装置において、手書き等の書き込みや、キャプチャした画像等から構成されるページを作成する機能があることが知られている。また、複数の画像処理装置を接続することで、遠隔地にある画像処理装置にページの内容を共有できることも知られている。また、作成したページを一覧表示して内容を確認したり、ページの追加や複製等の操作を行ったりできることも知られている。

例えば、特許文献１では、サーバで管理されているデータを、各情報処理装置が一覧的に表示して閲覧できるようにすることが開示されている。特許文献１では、オリジナルデータから作成した閲覧表示用データに対して、情報処理装置で手書き等による描画を加えることができる（特許文献１の段落［００４６］）。

しかしながら、特許文献１では、閲覧表示用データを一覧にして表示する際には、手書き等による描画を加えることはできない。

そこで、本発明の一実施形態では、電子黒板等の画像処理装置のページの一覧表示内で書き込みを行うことを目的とする。

上述した課題を解決するために、本発明の一実施形態は、複数のページの一覧の画面を生成して表示させ、前記一覧内の１つのページまたは２つ以上のページは、用途の異なる複数のレイヤで構成されており、前記複数のレイヤの構成を変更することによって、前記１つのページまたは前記２つ以上のページに対する書き込みを受け付ける、一覧制御部を備える。

本発明の一実施形態によれば、電子黒板等の画像処理装置のページの一覧表示内で書き込みを行うことができる。

本実施形態の画像処理システムの全体構成図である。 本実施形態の画像処理装置のハードウェア構成である。 本実施形態の電子黒板の機能ブロック図である。 本実施形態のファイル処理部の機能ブロック図である。 本実施形態の装置内サーバ及び送信制御部の機能ブロック図である。 本実施形態のページデータを示す概念図である。 本実施形態のストローク配列データを示す概念図である。 本実施形態の座標配列データを示す概念図である。 本実施形態のメディアデータを示す概念図である。 本実施形態の遠隔ライセンス管理テーブルを示す概念図である。 本実施形態のアドレス帳管理テーブルを示す概念図である。 本実施形態のバックアップデータを示す概念図である。 本実施形態の接続先管理テーブルを示す概念図である。 本実施形態の参加拠点管理テーブルを示す概念図である。 本実施形態の操作データを示す概念図である。 本実施形態の各画像レイヤ構成図である。 本実施形態の各電子黒板の処理を示したシーケンス図である。 本実施形態の各電子黒板の処理を示したシーケンス図である。 本実施形態の一覧に表示するページのアイテムのレイヤ構成の一例を表す図である。 本実施形態のページ読み込みのフローチャートである。 本実施形態の一覧に表示するページのアイテムのレイヤ構成を決定するフローチャートである。 本実施形態のディスプレイに表示される画面の一例である。 本実施形態のディスプレイに表示される画面の一例である。

以下、図面を用いて、本発明の一実施形態を説明する。

＜システムの概要＞
図１は、本実施形態の画像処理システム１の全体構成図である。なお、図１では、説明を簡略化するために、２台の電子黒板２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の電子黒板や電子ペン等を利用してもよい。

図１に示されているように、画像処理システム１は、複数の電子黒板２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、電子黒板２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の電子黒板２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。

また、電子黒板２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、電子黒板２ａには、ＵＳＢメモリ５ａが接続可能であり、電子黒板２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、電子黒板２ａはＵＳＢメモリ５ａに電子ファイルを記録することができる。また、電子黒板２ａには、DisplayPort、DVI(Digital Visual Interface)、HDMI（登録商標）（High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、電子黒板２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、電子黒板２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板２ａと通信してもよい。

一方、電子黒板２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた電子黒板２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一の拠点で電子黒板２ａのディスプレイ３ａ上に描画された画像は、他の拠点で電子黒板２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で電子黒板２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で電子黒板２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、画像処理装置の一例として、電子黒板を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例として、ノートＰＣ６を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。

＜電子黒板のハードウェア構成＞
続いて、図２を用いて、本実施形態の電子黒板のハードウェア構成を説明する。なお、図２は、電子黒板のハードウェア構成図である。

図２に示されているように、電子黒板２は、電子黒板２全体の動作を制御するＣＰＵ１０１、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、電子黒板２用のプログラム等の各種データを記憶するＳＳＤ１０４、通信ネットワーク９との通信を制御するネットワークコントローラ１０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６を備えている。

また、電子黒板２は、ノートＰＣ６のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス１１１、グラフィクスを専門に扱うＧＰＵ(Graphics Processing Unit)１１２、及び、ＧＰＵからの出力画像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ１１３を備えている。

更に、電子黒板２は、接触センサ１１５の処理を制御するセンサコントローラ１１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ１１５を備えている。この接触センサ１１５は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置（不図示）が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ１１５は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤ(Identification)をセンサコントローラ１１４に出力し、センサコントローラ１１４が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各ＩＤは、識別情報の一例である。

また、接触センサ１１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。

また、電子黒板２は、電子ペンコントローラ１１６を備えている。この電子ペンコントローラ１１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ１１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

更に、電子黒板２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１１１、ＧＰＵ１１２、センサコントローラ１１４、及び電子ペンコントローラ１１６を、図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。

なお、電子黒板２用のプログラムは、ＣＤ−ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

＜電子黒板の機能構成＞
続いて、図３乃至図１６を用いて、電子黒板の機能構成について説明する。なお、先ずは、図３を用いて、電子黒板２の全体的な機能構成について説明する。図３は、電子黒板の機能ブロック図である。

電子黒板２は、図２に示されているハードウェア構成及びプログラムによって、図３にされている各機能構成を有する。電子黒板２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。クライアント部２０及びサーバ部９０は、電子黒板２の１台の筐体内で実現される機能である。そして、電子黒板２が主催装置となる場合には、この電子黒板２では、クライアント部２０とサーバ部９０が実現される。また、電子黒板２が参加装置となる場合には、この電子黒板２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図１において、電子黒板２ａが主催装置で、電子黒板２ｂが参加装置となる場合、電子黒板２ａのクライアント部２０は、同じ電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ｂのクライアント部２０と通信を行う。一方、電子黒板２ｂのクライアント部２０は、他の電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ａのクライアント部と通信を行う。

〔クライアント部２０の機能構成〕
続いて、主に図３乃至図５を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、指判別部２９、画像処理部３０、及び通信制御部６０を有する。

このうち、映像取得部２１は、ケーブル１０に接続された映像出力機器の出力映像を取得する。映像取得部２１は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。

座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上にユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。

自動調整部２３は、電子黒板２の起動時に起動され、接触センサ１１５が座標検知部２２に適切な値を出力できるように、接触センサ１１５の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。

接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。

イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。

ここで、「ストローク描画」は、ディスプレイ３上に図１６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集するイベントも含まれる。

「ＵＩ操作」は、ディスプレイ３上に図１６に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。

「ジェスチャ操作」は、ディスプレイ３上に図１６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動させるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。

操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素に従って、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。

ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。

映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として映像出力機器（ディスプレイ３等）に対して表示する。また、映像重畳部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部２８は、ピクチャ・イン・ピクチャされてディスプレイ３の一部に表示された映像を、ディスプレイ３の全体に表示させるための切り替えを行う。

画像処理部３０は、図１６に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、マーカー処理部３８、コンテキスト処理部３９、ファイル処理部４０、一覧制御部４１、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。

このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図１６に示されている映像出力機器（ノートＰＣ６等）からの出力画像（Ｃ）に相当する。

ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図１６に示されているストローク画像（Ｂ）に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部８４０に記憶される。

ＵＩ画像生成部３３は、電子黒板２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図１６に示されているＵＩ画像（Ａ）に相当する。

背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図１６に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。

表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。

ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、図６に示されているストローク配列データＩＤで示されるストローク配列データ（各ストロークデータ）として、ページデータの一部を成す。出力画像（Ｃ）のデータは、図６に示されているメディアデータＩＤで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製することもできる。

即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読み出される。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。

表示重畳部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトに従って重畳する。これにより、図１６に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。

また、表示重畳部３６は、図１６に示されている画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、電子黒板２と映像出力機器（ノートＰＣ６等）との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。

ページデータ記憶部３００は、図６に示されているようなページデータを記憶する。図６は、ページデータを示す概念図である。ページデータは、ディスプレイ３に表示される１ページ分のデータ（ストローク配列データ（各ストロークデータ）及びメディアデータ）である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図６乃至９に分けて、ページデータの内容を説明する。

ページデータは、図６に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。ストローク配列データは、後述の図１６に示されているストローク画像（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、後述の１６に示されている背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。

このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、ストローク配列データは、図７に示されているように詳細な情報を示している。図７は、ストローク配列データを示す概念図である。図７に示されているように、１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。

更に、この座標配列データは、図８に示されているように詳細な情報を示している。図８は、座標配列データを示す概念図である。図８に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開示時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。即ち、図８に示されている１点の集まりが、図７に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

また、図６に示されているページデータのうちのメディアデータは、図９に示されているように詳細な情報を示している。図９は、メディアデータを示す概念図である。図９に示されているように、メディアデータは、図６に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、ページ処理部３７からページデータ記憶部３００にページデータが記憶された記録時刻、ページデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）及び画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、ページデータによって表示される画像の左上端の位置を示している。

また、図３に戻り、遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル３１０では、図１０に示されているように、電子黒板２のプロダクトＩＤ、認証に用いられるライセンスＩＤ、及びライセンスの有効期限が関連付けて管理されている。

（ファイル処理部４０の機能構成）
続いて、図４を用いて、図３に示されているファイル処理部４０の機能構成を説明する。なお、図４は、ファイル処理部の機能ブロック図である。

ファイル処理部４０は、リカバリ部４１、ファイル入力部４２ａ、ファイル出力部４２ｂ、ファイル変換部４３、ファイル送信部４４、アドレス帳入力部４５、バックアップ処理部４６、バックアップ出力部４７、設定管理部４８、設定ファイル入力部４９ａ、及び設定ファイル出力部４９ｂを有している。更に、ファイル処理部４０は、アドレス帳管理テーブル４１０、バックアップデータ記憶部４２０、設定ファイル記憶部４３０、及び接続先管理テーブル４４０を有している。

このうち、リカバリ処理部４１は、電子黒板２が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがＰＤＦファイルとしてファイル処理部４０を介してＵＳＢ５に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部３００に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部４１は、ページデータ記憶部３００からページデータを読み出すことで復旧させる。

ファイル入力部４２ａは、ＵＳＢメモリ５から、ＰＤＦファイルを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。

ファイル変換部４３は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換する。

ファイル出力部４２ｂは、ファイル変換部４２によって出力されたＰＤＦファイルをＵＳＢメモリ５に記録する。

ファイル送信部４４は、ファイル変換部４３によって生成されたＰＤＦファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部３６によってディスプレイ３上にアドレス帳管理テーブル４１０の内容を表示し、ファイル送信部４４がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル４１０には、図１１に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。また、ファイル送信部４４が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。

アドレス帳入力部４５は、ＵＳＢメモリ５から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル４１０に管理する。

バックアップ処理部４６は、ファイル出力部４２ｂによって出力されたファイルや、ファイル送信部４４によって送信されたファイルを、バックアップデータ記憶部４２０に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図１２に示されているように、ＰＤＦ形式で記憶される。

バックアップ出力部４７は、バックアップされたファイルをＵＳＢメモリ５に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。

設定管理部４８は、電子黒板２の各種設定情報を設定ファイル記憶部４３０に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板２のＩＰアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はＤＮＳ(Domain Name System)の設定等である。

設定ファイル出力部４９ｂは、電子黒板２の各種設定情報を、設定ファイルとしてＵＳＢメモリ５に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。

設定ファイル入力部４９ａは、ＵＳＢメモリ５に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板の各種設定に反映させる。

アドレス帳入力部５０は、ＵＳＢメモリ５から遠隔共有処理の接続先ＩＰアドレスの一覧ファイルを読み込み、接続先管理テーブル４４０に管理する。なお、図１３に示されているように、接続先管理テーブル４４０は、電子黒板２が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のＩＰアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル４４０では、参加されることが可能な主催装置としての電子黒板２が設置されている拠点の名称、及び主催装置としての電子黒板２のＩＰアドレスが関連付けて管理されている。

なお、接続先管理テーブル４４０は、無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のＩＰアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のＩＰアドレスを知得する。

画像処理部３０の一覧制御部４１は、ページの一覧を制御する。具体的には、一覧制御部４１は、ページの一覧を表示するためのアイコン等がユーザにより押下されると、ページ一覧の画面を生成して表示する。一覧制御部４１は、ストローク処理部３２やマーカー処理部３８で編集されたデータ（つまり、手書き等の書き込みのデータ）を受け取り、一覧のアイテム（一覧を構成する要素。例えば、アイテムは、１つのページまたは２つ以上のページである）上に追加する処理を行う。接続している他の電子黒板２からの書き込み内容や表示ページに対する操作に関するデータは、通信制御部６０から送られてきて、画像処理部３０にて受信される。一覧制御部４１は、処理された書き込みや操作の情報を受け取り、一覧のアイテムへ内容を反映させる。このように、本発明の一実施形態では、一覧制御部４１は、複数のページを一覧表示させることができ、それらのページにユーザに手書き等の書き込みをさせることができる。

（通信制御部６０の機能構成）
次に、図５を用いて、通信制御部６０の機能構成について説明する。

通信制御部６０は、通信ネットワーク９を介して、他の電子黒板２と行う通信や、サーバ部９０における後述の通信制御部７０と行う通信を制御する。そのため、通信制御部６０は、遠隔開始処理部６１、遠隔参加処理部６２、遠隔画像送信部６３、遠隔画像受信部６４、遠隔操作送信部６５、遠隔操作受信部６６、及び参加拠点管理テーブル６１０を有している。

このうち、遠隔開始処理部６１は、同じ電子黒板２のサーバ部９０に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部９０から要求の結果を受信する。この場合、遠隔開始処理部６１は、遠隔ライセンス管理テーブル３１０を参照し、ライセンス情報（プロダクトＩＤ、ライセンスＩＤ、及び有効期限）が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。

参加拠点管理テーブル６１０は、電子黒板が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル６１０では、図１４に示されているように、参加中の電子黒板２が設置されている拠点の名称及び当該電子黒板２のＩＰアドレスが関連付けて管理されている。

遠隔参加処理部６２は、通信ネットワーク９を介して、既に遠隔共有処理を開始している主催装置としての電子黒板２のサーバ部９０における遠隔接続要求受信部７１に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部６２は、遠隔ライセンス管理テーブル３１０を参照する。また、遠隔参加処理部６２が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル４４０を参照して、参加先の電子黒板２のＩＰアドレスを取得する。なお、遠隔参加処理部６２によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板２のＩＰアドレスが入力されてもよい。

遠隔画像送信部６３は、映像取得部２１から画像取得部３１を介して送られて来た出力画像（Ｃ）を、サーバ部９０に送信する。

遠隔画像受信部６４は、サーバ部９０から、他の電子黒板２に接続された映像出力機器からの画像データを受信し、表示重畳部３６に出力することで、遠隔共有処理を可能にする。

遠隔操作送信部６５は、遠隔共有処理に必要な各種操作データをサーバ部９０に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集（拡大、縮小、移動）、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部６６は、サーバ部９０から、他の電子黒板２で入力された操作データを受信し、画像処理部３０に出力することで、遠隔共有処理を行う。

〔サーバ部の機能構成〕
続いて、図５を用いて、サーバ部９０の機能構成について説明する。サーバ部９０は、各電子黒板２に設けられており、いずれの電子黒板２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。

（通信制御部７０の機能構成）
次に、図５を用いて、通信制御部７０の機能構成について説明する。

通信制御部７０は、同じ電子黒板２内のクライアント部２０における通信制御部７０、及び通信ネットワーク９を介して他の電子黒板２内のクライアント部２０における通信制御部７０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。

更に詳細に説明すると、通信制御部７０は、遠隔接続要求受信部７１、遠隔接続結果送信部７２、遠隔画像受信部７３、遠隔画像送信部７４、遠隔操作受信部７５、及び遠隔操作送信部７６を有している。

このうち、遠隔接続要求受信部７１は、遠隔開始処理部６１からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部６２からの遠隔共有処理に対する参加要求を受信する。遠隔接続結果送信部７２は、遠隔開始処理部６１へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部６２へ遠隔共有処理に対する参加要求の結果を送信する。

遠隔画像受信部７３は、遠隔画像送信部６３からの画像データ（出力画像（Ｃ）のデータ）を受信し、後述の遠隔画像処理部８２に送信する。遠隔画像送信部７４は、遠隔画像処理部８２から画像データを受信し、遠隔画像受信部６４に対して、この画像データを送信する。

遠隔操作受信部７５は、遠隔操作送信部６５からの操作データ（ストローク画像（Ｂ）等のデータ）を受信し、後述の遠隔操作処理部８３に送信する。遠隔操作送信部７６は、遠隔操作処理部８３から操作データを受信し、遠隔操作受信部６６に対して、この操作データを送信する。

（データ管理部の機能構成）
次に、図５を用いて、データ管理部８０の機能構成について説明する。

データ管理部８０は、遠隔接続処理部８１、遠隔画像処理部８２、遠隔操作処理部８３、操作合成処理部８４、及びページ処理部８５を有している。更に、サーバ部９０は、パスコード管理部８１０、参加拠点管理テーブル８２０、画像データ記憶部８３０、操作データ記憶部８４０、及びページデータ記憶部８５０を有している。

このうち、遠隔接続処理部８１は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部８１は、遠隔接続要求受信部７１が、遠隔開始処理部６１から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部６２から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部８１は、クライアント部としての他の電子黒板２からの参加要求が予め定められた参加可能数を超えていないかを確認する。

更に、遠隔接続処理部８１は、他の電子黒板２から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部８１０で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部８１によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板２のユーザが、主催装置としての電子黒板２のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。

また、電子黒板２が主催装置の場合、遠隔接続処理部８１は、参加装置の遠隔参加処理部６２から通信ネットワーク９を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部９０の参加拠点管理テーブル８２０に記憶する。そして、遠隔接続処理部８１は、参加拠点管理テーブル８２０に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部７２に送信する。遠隔接続結果送信部７２は、同じ主催装置のクライアント部２０における遠隔開始処理部６１に遠隔拠点情報を送信する。遠隔開始処理部６１は、参加拠点管理テーブルに６１０に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部２０及びサーバ部９０の両方で、遠隔拠点情報を管理することになる。

遠隔画像処理部８２は、遠隔共有処理中の各電子黒板２のクライアント部（主催装置である自己の電子黒板のクライアント部を含む）に接続された映像出力機器（ノートＰＣ６等）からの画像データ（出力画像（Ｃ））を受信して画像データ記憶部８３０に記憶すると共に、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部８２は、参加拠点管理テーブル８２０を参照し、遠隔共有処理に参加中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に、通信制御部７０（遠隔画像送信部７４）を介して、上記判定した順番で画像データを送信する。

遠隔操作処理部８３は、遠隔共有処理中の各電子黒板２のクライアント部（主催装置である自己の電子黒板のクライアント部を含む）で描画されたストローク画像等の各種操作データ（ストローク画像（Ｂ）等）を受信し、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部８３は、参加拠点管理テーブル８２０を参照し、遠隔共有処理中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に操作データを送信する。

操作合成処理部８４は、遠隔操作処理部８３から出力された各電子黒板２の操作データを合成し、この合成結果としての操作データを、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。この操作データは、遠隔操作送信部７６から、主催装置である電子黒板のクライアント部、及び参加装置である電子黒板のクライアント部のそれぞれに送信されることで、各電子黒板２で同じ操作データに係る画像が表示される。そのために、操作データは、図１５に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のPort No.、操作データの送信先である電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のクライアント部（Port No.:50001）でストロークが描画されると、同じ主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のサーバ部（Port No.:50000）に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータＩＤ「p005」、及び、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のサーバ部（Port No.:50000）から、参加装置である他の電子黒板（ＩＰアドレス：192.0.0.1）のクライアント部（Port No.:50001）に、操作データが送られたことが示されている。

なお、操作合成処理部８４は、この操作合成処理部８４に操作データが入力された順に合成を行うため、通信ネットワーク９が混雑していなければ、各電子黒板２のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板２のディスプレイ３にストローク画像（Ｂ）が表示される。

ページ処理部８５は、クライアント部２０の画像処理部３０におけるページ処理部３７と同様の機能を有し、サーバ部９０でも、図６乃至図８に示されているページデータを、ページデータ記憶部８５０に記憶する。なお、ページデータ記憶部８５０は、画像処理部３０におけるページデータ記憶部３００と同じ内容であるため、その説明を省略する。

＜実施形態の処理又は動作＞
続いて、図１７及び図１８を用いて、本実施形態の処理又は動作について説明する。なお、図１７及び図１８は、各電子黒板の処理を示したシーケンス図である。

図１７及び図１８に示す実施形態では、電子黒板２ａが遠隔共有処理を主催する主催装置（サーバ部及びクライアント部）としての役割を果たしており、電子黒板２ｂ，２ｃが遠隔共有処理に参加する参加装置（クライアント部）としての役割を果たす場合について説明する。また、ここでは、電子黒板２ａ，２ｂ，２ｃには、それぞれディスプレイ３ａ，３ｂ，３ｃが接続され、更に、それぞれノートＰＣ６ａ，６ｂ，６ｃが接続されている。また、電子黒板２ａ，２ｂ，２ｃでは、それぞれ電子ペン４ａ，４ｂ，４ｃが使用される。

（参加の処理）
まずは、図１７を用いて、電子黒板２ｂ，２ｃが遠隔共有処理に参加するための処理について説明する。

ユーザが電子黒板２ａの電源スイッチをオンにすると、電子黒板２ａのクライアント部２０が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部９０を起動させる操作をすると、クライアント部２０の遠隔開始処理部６１から同じ電子黒板２ａのサーバ部９０における遠隔接続要求受信部７１に、サーバ部９０の処理を開始させる指示を出力する。これにより、電子黒板２ａでは、クライアント部２０だけでなくサーバ部９０も各種処理を開始可能となる（ステップＳ２１）。

次に、電子黒板２ａのクライアント部２０におけるＵＩ画像生成部３３が電子黒板２ａとの接続を確立するための接続情報を生成し、映像重畳部２８が、ＵＩ画像生成部３３から表示重畳部３６を介して得た接続情報をディスプレイ３ａに表示させる（ステップＳ２２）。この接続情報には、主催装置のＩＰアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部８１０に記憶されているパスコードは、図５に示されている遠隔接続処理部８１によって読み出され、遠隔接続結果送信部７２、遠隔開始処理部６１の順に送信される。更に、パスコードは、遠隔開始処理部６１を含む通信制御部６０から、図３に示されている画像処理部３０に送信され、最終的にＵＩ画像生成部３３に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板２ａのユーザによって、電話や電子メールにより、電子黒板２ｂ，２ｃのユーザに伝えられる。なお、接続先管理テーブル４４０があれば、接続情報には、主催装置のＩＰアドレスが含まれていなくても、参加装置は参加要求を行うことができる。

次に、電子黒板２ｂ，２ｃでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板２ａ，２ｂのクライアント部２０における遠隔参加処理部６２が、接続情報のＩＰアドレスに基づき、通信ネットワーク９を介して、電子黒板２ａのサーバ部９０における通信制御部７０に対してパスコードを送信して参加要求を行う（ステップＳ２３，Ｓ２４）。これにより、通信制御部７０の遠隔接続要求受信部７１は、各電子黒板２ｂ，２ｃから、参加要求（パスコードを含む）を受信し、このパスコードを遠隔接続処理部８１に出力する。

次に、遠隔接続処理部８１は、各電子黒板２ｂ，２ｃのから受信したパスコードに対し、パスコード管理部８１０で管理されているパスコードを用いて認証する（ステップＳ２５）。そして、遠隔接続結果送信部７２が、各電子黒板２ｂ，２ｃのクライアント部２０に認証結果を通知する（ステップＳ２６，Ｓ２７）。ステップＳ２５の認証により、各電子黒板２ｂ，２ｃが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板２ａと、参加装置である電子黒板２ｂ，２ｃとの遠隔共有処理の通信が確立され、各電子黒板２ｂ，２ｃのクライアント部２０における遠隔参加処理部６２が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする（ステップＳ２８，Ｓ２９）。

（出力画像の表示）
続いて、図１７を用いて、遠隔共有処理における出力画像（Ｃ）が表示される処理について説明する。

まず、電子黒板２ｂは、ディスプレイ３ｂに出力画像（Ｃ）を表示する（ステップＳ３０）。具体的には、電子黒板２ｂの画像取得部３１が、ノートＰＣ６ｂから映像取得部２１を介して、ノートＰＣ６ｂで表示されている出力画像（Ｃ）のデータを受信し、表示重畳部３６及び映像重畳部２８を介してディスプレイ３ｂに送信することで、ディスプレイ３ｂは出力画像（Ｃ）を表示する。

次に、電子黒板２ｂの画像取得部３１を含む画像処理部３０が、遠隔画像送信部６３に出力画像（Ｃ）のデータを送信することで、遠隔画像送信部６３を含む通信制御部６０が通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０に出力画像（Ｃ）のデータを送信する（ステップＳ３１）。これにより、電子黒板２ａの遠隔画像受信部７３は、出力画像（Ｃ）のデータを受信し、遠隔画像処理部８２に出力することで、遠隔画像処理部８２が画像データ記憶部８３０に出力画像（Ｃ）のデータを記憶する。

次に、主催装置である電子黒板２ａは、ディスプレイ３ａに出力画像（Ｃ）を表示する（ステップＳ３２）。具体的には、電子黒板２ａの遠隔画像処理部８２は、遠隔画像受信部７３から受信した出力画像（Ｃ）のデータを、遠隔画像送信部７４に出力する。遠隔画像送信部７４は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔画像受信部６４に、出力画像（Ｃ）のデータを出力する。遠隔画像受信部６４は、表示重畳部３６に出力画像（Ｃ）のデータを出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ａに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ａは、出力画像（Ｃ）を表示する。

次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔画像送信部７４を含む通信制御部７０は、通信ネットワーク９を介して、出力画像（Ｃ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に出力画像（Ｃ）のデータを送信する（ステップＳ３３）。これにより、参加装置である電子黒板２ｃの遠隔画像受信部６４は、出力画像（Ｃ）のデータを受信する。

次に、電子黒板２ｃは、ディスプレイ３ｃに出力画像（Ｃ）を表示する（ステップＳ３４）。具体的には、電子黒板２ｃの遠隔画像受信部６４が、上記ステップＳ３３によって受信された出力画像（Ｃ）のデータを、電子黒板２ｃの表示重畳部３６に出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ｃに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、出力画像（Ｃ）を表示する。

なお、出力画像（Ｃ）のデータだけでなく、ＵＩ画像（Ａ）、及びストローク画像（Ｂ）の各データが、表示合成部２８に入力されている場合には、表示重畳部３６により、重畳画像（Ａ，Ｂ，Ｃ）が生成され、映像重畳部２８はディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。また、テレビ会議端末７から映像重畳部２８に、テレビ会議用の映像（Ｅ）のデータが送られて来ている場合には、映像重畳部２８は、重畳画像（Ａ，Ｂ，Ｃ）にピクチャーインピクチャーによりテレビ会議用の映像（Ｅ）のデータを重畳して、ディスプレイ３ｃに出力する。

（重畳画像の表示）
続いて、図１８を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。

まず、電子黒板２ｂは、ユーザが電子ペン４ｂを用いて電子黒板２ｂにストローク画像（Ｂ）を描画する（ステップＳ４１）。

次に、電子黒板２ｂの表示重畳部３６は、図１６に示されているように、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳し、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に、重畳された重畳画像（Ａ，Ｂ，Ｃ）を表示させる（ステップＳ４２）。具体的には、電子黒板２ｂのストローク処理部３２が座標検知部２２及び接触検知部２４からイベント振分部２５を介して、操作データとしてのストローク画像（Ｂ）のデータを受信し、表示重畳部３６に送信する。これにより、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳することができ、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に重畳画像（Ａ，Ｂ，Ｃ）を表示させることができる。

次に、電子黒板２ｂのストローク処理部３２を含む画像処理部３０が、遠隔操作送信部６５にストローク画像（Ｂ）のデータを送信することで、電子黒板２ｂの遠隔操作送信部６５は、通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０にストローク画像（Ｂ）のデータを送信する（ステップＳ４３）。これにより、電子黒板２ａの遠隔操作受信部７５は、ストローク画像（Ｂ）のデータを受信し、遠隔操作処理部８３に出力することで、遠隔操作処理部８３が操作合成処理部８４にストローク画像（Ｂ）のデータを出力する。このようにして、電子黒板２ｂで描画されたストローク画像（Ｂ）のデータは、描画される度に、主催装置である電子黒板２ａの遠隔操作処理部８３に順次送信される。このストローク画像（Ｂ）のデータは、図７に示されているストロークデータＩＤ毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合は二筆書きとなるため、２つのストロークデータＩＤのそれぞれで示されるストローク画像（Ｂ）のデータが順次送信される。

次に、主催装置である電子黒板２ａは、ディスプレイ３ａに、電子黒板２ｂから送られて来たストローク画像（Ｂ）のデータが含まれた重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ４４）。具体的には、電子黒板２ａの操作合成処理部８４は、遠隔操作処理部８３を介して順次送られて来た複数のストローク画像（Ｂ）のデータを合成して、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。これにより、遠隔操作処理部８３は、操作合成処理部８４から受信した、合成後のストローク画像（Ｂ）のデータを、遠隔操作送信部７６に出力する。遠隔操作送信部７６は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔操作受信部６６に、合成後のストローク画像（Ｂ）のデータを出力する。遠隔操作受信部６６は、画像処理部３０における表示重畳部３６に、合成後のストローク画像（Ｂ）のデータを出力する。よって、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、合成後のストローク画像（Ｂ）を重畳する。最後に、映像重畳部２８が、表示重畳部３６によって重畳された重畳画像（Ａ，Ｂ，Ｃ）をディスプレイ３ａ上に表示させる。

次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔操作送信部７６を含む通信制御部７０は、通信ネットワーク９を介して、ストローク画像（Ｂ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に、合成後のストローク画像（Ｂ）のデータを送信する（ステップＳ４５）。これにより、参加装置である電子黒板２ｃの遠隔操作受信部６６は、合成後のストローク画像（Ｂ）のデータを受信する。

次に、電子黒板２ｃは、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ３４）。具体的には、電子黒板２ｃの遠隔操作受信部６６が、上記ステップＳ４５によって受信された合成後のストローク画像（Ｂ）のデータを、電子黒板２ｃの画像処理部３０に出力する。画像処理部３０の表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）の各データと、合成後のストローク画像（Ｂ）のデータを重畳し、映像重畳部２８に重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。映像重畳部２８は、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、重畳画像（Ａ，Ｂ，Ｃ）を表示する。

なお、上記処理では、ディスプレイ３上に出力画像（Ｃ）が表示されているが、この出力画像（Ｃ）に代えて、背景画像（Ｄ）を表示してもよい。また、出力画像（Ｃ）と背景画像（Ｄ）との排他的な関係をやめて、出力画像（Ｃ）と背景画像（Ｄ）との両方を同時にディスプレイ３上に表示させてもよい。

（参加の終了）
続いて、図１８を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図１８に示す実施形態では、電子黒板２ｃが参加を終了する処理が示されている。

まず、電子黒板２ｃでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部６２は、主催装置としての電子黒板２ａのサーバ部９０における通信制御部７０に、参加の終了要求を行う（ステップＳ４７）。これにより、通信制御部７０の遠隔接続要求受信部７１は、電子黒板２ｃから、参加の終了要求を受信し、遠隔接続処理部８１に、電子黒板２ｃのＩＰアドレスとともに参加の終了要求を出力する。そして、電子黒板２ａの遠隔接続処理部８１は、遠隔接続要求受信部７１から送られて来たＩＰアドレスに基づいて、参加拠点管理テーブル８２０から、参加の終了要求を行った電子黒板２ｃのＩＰアドレス及び電子黒板２ｃが設置されている拠点の名称を削除し、遠隔接続結果送信部７２に、電子黒板２ｃのＩＰアドレス及び削除した旨の通知を出力する。

次に、遠隔接続結果送信部７２を含んだ通信制御部７０が、通信ネットワーク９を介して、電子黒板２ｃのクライアント部２０における通信制御部６０に、参加の終了を指示する（ステップＳ４８）。これにより、電子黒板２ｃにおける通信制御部６０の遠隔参加処理部６２が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する（ステップＳ４９）。

図１９は、一覧に表示するページのアイテムのレイヤ構成の一例を表す図である。図１９に示されるように、ページに対する操作を受け付けるための透明なボタンのレイヤと、双方の書き込みを反映させるためのストローク情報のレイヤと、ページの背景情報を表示するための背景画像のレイヤと、で構成される。ここで、ストローク情報のレイヤは、例えば、Microsoft社のWPF（Windows Presentation Foundation）の機能であるInkCanvas等、直接ストローク情報を編集できるようなものとする。また、一覧内のどのページが他の電子黒板に共有されているかをユーザが分かるようにするため、一覧制御部４１は、共有中のページの情報をページ処理部３７から取得し、アイテムの枠にハイライトを付ける。

図２０は、ページ読み込みのフローチャートである。ページ一覧の画面表示開始時には、図２０のフローを全ての保持するページについて行う。透明なボタンのレイヤとストローク情報のレイヤは全てのページのアイテムが持つ構成であり（ステップＳ２０１、Ｓ２０２）、背景画像のレイヤはそのページに背景が設定されているページのアイテムのみが持つ構成である（ステップＳ２０３）。ページ内にストロークの書き込みがある場合には、ストローク情報のレイヤにストロークを描画する。背景画像のレイヤが作成された場合には、ページから背景画像を取得し描画する（ステップＳ２０４）。このように、レイヤ化されたアイテムを一覧で画面上に表示させることによって、全てのページの一覧表示を可能にする（ステップＳ２０５）。

電子黒板上でページ一覧を表示中に、他の電子黒板やＰＣからページの追加要求があった場合、その要求の情報をもとに図２０のフローを処理することによって、ページ一覧の画面上に、新たに追加されたページの情報を追加する。同様に、ページ一覧を表示中に、他の電子黒板からストロークの書き込みや消去が行われた場合には、そのストロークの変更を受け取ってストローク情報のレイヤを更新する。また、背景情報のレイヤが無いページに対して背景画像が後から設定された場合には、そのページのアイテムに対して新しく背景画像のレイヤを作成して最背部に配置する。

図２１は、一覧に表示するページのアイテムのレイヤ構成を決定するフローチャートである。
・ステップ２１１（Ｓ２１１）において、ボタン等のトリガを用いてボタンの状態変更の処理が実行された場合、ページ内容を確認する状態か否かを判定する。ページ内容を確認する状態である場合はステップ２１２へ進み、ページ内容を確認する状態ではない場合はステップ２１３へ進む。
・ステップ２１２（Ｓ２１２）において、ページ内容を確認する状態である場合はボタンのレイヤを最前面にする。そうすることで、ユーザからのクリックイベントを受け取れるようになり、ページに対する操作を実行できるようになる。
・ステップ２１３（Ｓ２１３）において、ページ内容を確認する状態ではない場合ストローク情報のレイヤを最前面にする。そうすることで、一覧表示内から直接ページに対して書き込み処理を行うことができるようになる。

図２２および図２３は、ディスプレイに表示される画面の一例である。レイヤの構成を変更するトリガは、図２２のようにページごとに適応できるようにしたり、図２３のように一覧全体に適用できるようにしたりすることが想定される。

本発明の一実施形態では、一覧上に表示するアイテムを用途の異なる複数のレイヤで構成させ、動的にその構成を変化させるので、ユーザは、一覧機能としてページを閲覧すること、追加や複製等の操作を行う機能を損なわずにページに書き込みを行うことができる。

このように、本発明の一実施形態では、電子黒板等の画像処理装置のページの一覧表示内で書き込みを行うことができる。そのため、会議の参加者達は、前後のページを確認しながら書き込みを行って議論する（つまり、ページの一覧表示中にも議論を継続する）ことができる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１ 画像処理システム
２ 電子黒板（画像処理装置）
３ ディスプレイ
４ 電子ペン
５ ＵＳＢメモリ
６ ノートＰＣ
７ テレビ会議端末
８ ＰＣ
９ 通信ネットワーク
１０ ケーブル
２０ クライアント部
２１ 映像取得部
２２ 座標検知部
２３ 自動調整部
２４ 接触検知部
２５ イベント振分部
２６ 操作処理部
２７ ジェスチャ処理部
２８ 映像重畳部
２９ 指判別部
３０ 画像処理部
３１ 画像取得部
３２ ストローク処理部
３３ ＵＩ画像生成部
３４ 背景生成部
３５ レイアウト管理部
３６ 表示重畳部
３７ ページ処理部
３８ マーカー処理部
３９ コンテキスト処理部
４０ ファイル処理部
４１ 一覧制御部
３００ ページデータ記憶部
３１０ 遠隔ライセンス管理テーブル
６０ 通信制御部
７０ 通信制御部
８０ データ管理部
９０ サーバ部

特開２０１５−１３８４４６号公報

Claims (6)

1. 複数のページの一覧の画面を生成して表示させ、前記一覧内の１つのページまたは２つ以上のページは、用途の異なる複数のレイヤで構成されており、
   前記複数のレイヤの構成を変更することによって、前記１つのページまたは前記２つ以上のページに対する書き込みを受け付ける、一覧制御部を備えた画像処理装置。
2. 前記複数のレイヤは、前記１つのページまたは前記２つ以上のページに対する操作を受け付けるための透明なボタンのレイヤと、前記書き込みを反映させるためのストローク情報のレイヤとを含む、請求項１に記載の画像処理装置。
3. 前記複数のレイヤの構成を変更することは、前記書き込みを反映させるためのストローク情報のレイヤを最前面にすることである、請求項２に記載の画像処理装置。
4. 前記複数のレイヤは、前記１つのページまたは前記２つ以上のページの背景情報を表示するための背景画像のレイヤを含む、請求項１から３のいずれか一項に記載の画像処理装置。
5. 複数のページの一覧の画面を生成して表示させるステップであって、前記一覧内の１つのページまたは２つ以上のページは、用途の異なる複数のレイヤで構成されている、ステップと、
   前記複数のレイヤの構成を変更することによって、前記１つのページまたは前記２つ以上のページに対する書き込みを受け付けるステップと、を含む方法。
6. コンピュータを
   複数のページの一覧の画面を生成して表示させ、前記一覧内の１つのページまたは２つ以上のページは、用途の異なる複数のレイヤで構成されており、
   前記複数のレイヤの構成を変更することによって、前記１つのページまたは前記２つ以上のページに対する書き込みを受け付ける、一覧制御部として機能させるためのプログラム。

Images