JP2016134069A - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】ストローク描画中に情報処理装置を遠隔でクリック操作可能な画像処理装置を提供する。【解決手段】クリックイベント処理部２５１は、クリックタイマー２５２が計時を完了した時に、イベント振分部２５が他のストロークに係るペンイベントを取得している場合、又は、判定対象ペンイベントよりも前に取得された他のストロークに係るペンイベントの終了からの経過時間が所定時間内である場合に、判定対象ペンイベントを点画像のストロークに係るイベントと判定し、それ以外の場合に判定対象ペンイベントをクリック操作に係るイベントと判定する。【選択図】図３０

Description

本発明は、画像処理装置、画像処理システム及び画像処理方法に係り、特にネットワーク回線に接続して用いられる画像処理装置、該画像処理装置にネットワーク回線を介して接続された通信機能を有する情報処理装置を含む画像処理システム、及び画像処理装置において実行される画像処理方法に関する。

近年、液晶ディスプレイやプラズマディスプレイなどのフラットパネル・ディスプレイまたはプロジェクタの投影スクリーンにタッチパネルを搭載した、電子情報ボードと呼ばれる電子黒板装置が、通常の会議や遠隔会議で活用されている。例えば、特許文献１には、パーソナル・コンピュータ（ＰＣ）に接続することによって、該ＰＣの画面に表示されている画像を、その画面上に表示することができる電子黒板装置（電子情報ボード）が開示されている。

しかしながら、上記特許文献１に記載の電子黒板装置を含み、従来の電子黒板装置においてストローク描画の実行中に電子黒板からＰＣ等を遠隔操作する場合に、点画像のストロークとクリック操作とをどのように判別するかが問題となる。
本発明は上述の事情に鑑みてなされたものであり、ストローク描画の実行中にＰＣ等の情報処理装置を遠隔でクリック操作可能な画像処理装置、画像処理システム及び画像処理方法を提供することを目的とする。

本発明は、画面に対する操作に基づいてペンイベントを取得するイベント取得手段と、前記ペンイベントが点画像のストローク又はクリック操作に係るイベントかを判定する描画クリック判定手段と、前記描画クリック判定手段が判定するべき判定対象ペンイベントを受信した場合に計時を開始するカウントダウンタイマーと、を備え、前記描画クリック判定手段は、前記計時を完了し、前記イベント取得手段が他のストロークに係るペンイベントを取得している場合、又は、前記判定対象ペンイベントよりも前に取得された他のストロークに係るペンイベントの終了からの経過時間が所定時間内である場合に、前記判定対象ペンイベントを点画像のストロークに係るイベントと判定することを特徴とする。

本発明によれば、点画像のストロークとクリック操作を判別できるので、ストローク描画中に情報処理装置を遠隔でクリック操作できる。

一実施形態に係る画像処理システムの全体構成図である。 電子黒板のハードウェア構成図である。 電子黒板及びノートＰＣの機能ブロック図である。 画像レイヤの構成図である。 ページデータを示す概念図である。 ストロークデータを示す概念図である。 座標配列データを示す概念図である。 メディアデータを示す概念図である。 遠隔ライセンス管理テーブルを示す概念図である。 ファイル処理部の機能ブロック図である。 アドレス帳管理テーブルを示す概念図である。 バックアップデータを示す概念図である。 接続先管理テーブルを示す概念図である。 参加拠点管理テーブルを示す概念図である。 サーバ部及びクライアント部の通信制御部の機能ブロック図である。 操作データを示す概念図である。 ノートＰＣと電子黒板とのネットワーク回線を介した接続確立のための処理の流れを示すシーケンス図である。 電子黒板に対する複数の情報処理装置間の接続切り替え処理の流れを示すフローチャートである。 ノートＰＣから送信された画像を電子黒板のディスプレイ上に拡大して表示する処理の流れを示すフローチャートである。 図２０（Ａ）及び図２０（Ｂ）は、それぞれ、電子黒板側での遠隔操作により、ノートＰＣのマウス操作実行するための処理、及びキーボード操作を実行するための処理を説明するための図である。 遠隔共有処理の開始及び参加処理の流れを示すシーケンス図である。 遠隔共有処理における画像データの共有処理の流れを示すシーケンス図である。 遠隔共有処理における操作データの共有処理の流れを示すシーケンス図である。 遠隔共有処理への参加を終了する処理の流れを示すシーケンス図である。 イベント振分部とストローク処理部の機能ブロック図である。 ペンダウンのプレビューイベントを受信した時の処理を示すフローチャートである。 ペンムーブのプレビューイベントを受信した時の処理を示すフローチャートである。 ペンアップのプレビューイベントを受信した時の処理を示すフローチャートである。 クリックタイマーが完了した時の処理を示すフローチャートである。 （ａ）〜（ｃ）は、クリックイベントの処理を説明するためのタイムチャートの一例を示す図である。

以下、本発明の一実施形態を、図１〜図３０に基づいて説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。

〔画像処理システム１の概要〕
まず、画像処理システム１の概要について説明する。
図１には、一実施形態に係る画像処理システム１の構成が示されている。画像処理システム１は、ネットワーク回線としての通信ネットワーク９を介して相互に通信可能に接続された複数（図１の例では２つ）の画像処理装置としての電子黒板２ａ、２ｂと、パーソナルコンピュータ（ＰＣ）８と、情報処理装置としてのノートパソコン（ノートＰＣ）１１とを含む。なお、電子黒板を２つに限らず、３つ以上含んで画像処理システム１を構成しても良い。本実施形態では、通信ネットワーク９は、一例として社内無線ＬＡＮであるものとする。

電子黒板２ａ（２ｂ）は、表示手段としてのディスプレイ３ａ（３ｂ）を有する。すなわち、ディスプレイ３ａ（３ｂ）は、画像処理装置としての電子黒板２ａ（２ｂ）の構成要素であるが、説明の便宜上から図１、図２、図３等では、電子黒板とは別にディスプレイが図示されている。なお、ディスプレイ３ａ（３ｂ）には、電子ペン４ａ（４ｂ）、ＵＳＢメモリ５ａ（５ｂ）等が付随する。電子黒板２ａ（２ｂ）には、ノートＰＣ６ａ（６ｂ）、テレビ（ビデオ）会議端末７ａ（７ｂ）等が接続されている。

ディスプレイ３ａ（３ｂ）は、層状に配設された複数の表示パネル（レイヤ）を有するマルチレイヤーディスプレイであり、複数のレイヤのそれぞれに異なる画像を表示することでそれら複数の画像が重畳してなる１つの画像をユーザに向けて表示する（図４参照）。ディスプレイ３ａ（３ｂ）は、一種のタッチパネルから成る後述する接触センサが搭載されたタッチパネル搭載型のディスプレイである。ディスプレイ３ａ（３ｂ）は、その画面上での電子ペン４ａ（４ｂ）のペン先又はペン尻による接触（タッチ）等のイベントを検出し、そのイベントにより描画される画像を画面上に表示することができる。ディスプレイ３ａ（３ｂ）は、ユーザの手Ｈａ（Ｈｂ）等によるフリック、スワイプ、ピンチ（イン／アウト）といったジェスチャを検出し、画面上に表示されている画像を拡大、縮小、及びページめくり（変更）することもできる。

ディスプレイ３ａ（３ｂ）には、ＵＳＢメモリ５ａ（５ｂ）を接続することができる。電子黒板２ａ（２ｂ）は、ディスプレイ３ａ（３ｂ）に接続されたＵＳＢメモリ５ａ（５ｂ）からＰＤＦファイル等の電子ファイルを読み出すこと、ＵＳＢメモリ５ａ（５ｂ）に電子ファイルを書き込むことができる。

ノートＰＣ６ａ（６ｂ）は、ＤｉｓｐｌａｙＰｏｒｔ、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、ＶＧＡ（Video Graphics Array）等の規格による通信が可能なケーブル１０ａ１（１０ｂ１）を介して、電子黒板２ａ（２ｂ）に接続されている。これにより、ディスプレイ３ａ（３ｂ）により検出されたイベント情報（イベントの検出結果）を、ノートＰＣ６ａ（６ｂ）に送信することができる。また、テレビ（ビデオ）会議端末７ａ（７ｂ）も、同様の規格による通信が可能なケーブル１０ａ２（１０ｂ２）を介して、電子黒板２ａ（２ｂ）に接続されている。なお、ノートＰＣ６ａ（６ｂ）及びテレビ会議端末７ａ（７ｂ）は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の各種無線通信プロトコルに準拠した無線通信を介して電子黒板２ａ（３ｂ）に接続しても良い。

ノートＰＣ１１は、通信ネットワーク９に、無線接続（又は有線接続）されている。ノートＰＣ１１は、図３に示されるように、第１の通信制御手段としての第１の遠隔画面転送通信制御部７７、画像送信部７８、及びイベント受信部７９を有している。ノートＰＣ１１としては、通信機能を備えた一般的なノートＰＣが用いられている。ここで、第１の遠隔画面転送通信制御部７７は、通信ネットワーク９を介して行われるノートＰＣ１１と電子黒板２ａ（２ｂ）との間の通信を制御するものである。第１の遠隔画面転送通信制御部７７は、後述するクライアント部（クライアント機）２０の第２の遠隔画面転送通信制御部８７との間で、後述する接続確立のための処理（接続認証処理を含む）を行い、接続が確立されたときには、画像送信部７８に画像データ（例えば、ノートＰＣ１１の画面に表示されている画像のデータ）の電子黒板（クライアント部）への転送を指示する。なお、第１の遠隔画面転送通信制御部７７と電子黒板２ａ（２ｂ）の後述する第２の遠隔画面転送通信制御部８７との間で行われる接続確立のための処理の詳細については、後述する。

画像送信部７８は、第１の遠隔画面転送通信制御部７７で指示された画像のデータを電子黒板２ａ（２ｂ）へ送信する。
イベント受信部７９は、電子黒板２ａ（２ｂ）の後述するイベント送信部８９よりマウスイベント又はキーボードイベントの情報を受信する。受信したイベントの情報に応じた操作がノートＰＣ１１のＯＳ（オペレーションシステム）によって実行されることとなる。

上述の構成の画像処理システム１において、２つの電子黒板２ａ、２ｂは通信ネットワーク９を介して相互に通信することで、例えば、電子黒板２ａのディスプレイ３ａ上で描画された画像を電子黒板２ｂのディスプレイ３ｂ上に表示することができる。また、電子黒板２ｂのディスプレイ３ｂ上で描画された画像を電子黒板２ａのディスプレイ３ａ上に表示することもできる。このように、画像処理システム１では、遠く離れた２つの電子黒板２ａ、２ｂの間で同じ画像を共有する遠隔共有処理を行うことができる。なお、画像処理システム１で行われる遠隔共有処理の詳細については、後述する。

なお、以下の説明では、複数の電子黒板のうちの任意の電子黒板を示す場合、単に「電
子黒板２」と記す。同様に、「ディスプレイ３」、「電子ペン４」、「ＵＳＢメモリ５」、「ノートＰＣ６」、「テレビ会議端末７」、「手Ｈ」、及び「ケーブル１０」と記す。

〔電子黒板２のハードウェア構成〕
次に、電子黒板２のハードウェア構成について説明する。
図２には、電子黒板２のハードウェア構成が示されている。電子黒板２は、その全体の動作を制御するＣＰＵ１０１、ＣＰＵ１０１の駆動に用いられるＩＰＬ（Initial Program Loader）等のプログラムを記憶するＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、プログラム等の各種データが保存されたＳＳＤ（Solid State Drive）１０４、通信ネットワーク９（図１参照）を介した他の電子黒板等との通信を制御するネットワークコントローラ１０５、ディスプレイ３に接続されるＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６、ノートＰＣ６のディスプレイ上に映像情報を静止画又は動画として表示するキャプチャデバイス１１１、グラフィクスに必要な画像データ処理を行うＧＰＵ（Graphics Processing Unit）１１２、ＧＰＵ１１２からの出力画像をディスプレイ３、テレビ会議端末７等に表示するために画面表示の制御及び管理を行うディスプレイコントローラ１１３、ディスプレイ３上への電子ペン４、ユーザの手Ｈ等の接触（タッチ）を検知する接触センサ１１５、接触センサ１１５を制御するセンサコントローラ１１４、及び電子ペン４と通信してそのディスプレイ３上へのタッチを検知する電子ペンコントローラ１１６を備える。

上記の構成各部のうち、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１１１、ＧＰＵ１１２、センサコントローラ１１４、及び電子ペンコントローラ１１６は、電気的に接続するためのアドレスバス、データバス等のバスライン１２０に接続されている。

接触センサ１１５は、赤外線走査方式（赤外線遮断検出方式とも呼ぶ）により、電子ペン４等によるディスプレイ３上での入力操作及びその位置座標を検出する一種のタッチパネルである。赤外線遮断検出方式では、例えば、ディスプレイ３の上側両端部に配置された２つ受発光装置（不図示）が、画面に平行に複数の赤外線を放射し、画面の周囲に配置された反射部材によって反射される光を受光する。ここで、電子ペン４等が画面に接触すると２つ受発光装置が放射する各１つの赤外線の光路が遮られ、それら赤外線の遮断が２つの受発光装置によりそれぞれ検知される。接触センサ１１５は、遮断された赤外線を特定し、そのＩＤ（Identification）をセンサコントローラ１１４に出力する。センサコントローラ１１４は、受信したＩＤを用いて、画面上での電子ペン４等の接触（すなわち入力操作）及びその位置座標を特定する。

なお、接触センサ１１５の検出方式として、赤外線遮断検出方式に限らず、静電容量の変化を検知することにより入力操作及びその位置座標を特定する静電容量方式のタッチパネル、対向する２枚の抵抗膜の電圧変化を検知する抵抗膜方式のタッチパネル、専用の電子ペンと画面と間で生じる電磁誘導を検知する電磁誘導方式のタッチパネル等、種々の検出方式を採用しても良い。

なお、電子ペンコントローラ１１６は、電子ペン４のペン先及びペン尻によるディスプレイ３上へのタッチの有無を検知することとするが、これに限らず、握持部、その他の部分によるタッチの有無も検知することとしても良い。

なお、ＳＳＤ１０４に保存されたプログラム等の各種データは、ＣＤ−ＲＯＭ等の情報記録媒体に保存（記録）することとしても良い。

〔電子黒板２の機能構成〕
次に、電子黒板２の機能構成について説明する。電子黒板２は、最初に遠隔共有処理を開始する「主催装置」になるとともに、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなる。

図３には、電子黒板２の全体的な機能構成が示されている。電子黒板２の機能は、クライアント部（クライアント機）２０及びサーバ部（サーバ機）９０に大別される。これらの機能は、前述のハードウェア構成における構成各部及び各種プログラムによって実現される。ここで、サーバ部９０は、遠隔共有処理における必要な情報等のサービスを通信ネットワーク９を介してクライアント部２０に提供することでその遠隔共有処理を主催する。一方、クライアント部２０は、サーバ部９０から遠隔共有処理に係るサービスを受けることでその遠隔共有処理に参加する。

なお、本実施形態の電子黒板２は、クライアント部２０及びサーバ部９０の両機能を備える。従って、画像処理システム１を構成する電子黒板２ａ、２ｂのいずれもが、参加装置になるとともに主催装置になることができる。ただし、主催装置になる電子黒板２ではクライアント部２０及びサーバ部９０の両機能が起動するのに対して、参加装置となる電子黒板２ではクライアント部２０のみが起動する。従って、例えば電子黒板２ａが主催装置、電子黒板２ｂが参加装置の場合、遠隔共有処理において、電子黒板２ａ内のサーバ部９０が処理に係るサービスを提供し、電子黒板２ａ内のクライアント部２０は同じ電子黒板２ａのサーバ部９０を介して電子黒板２ｂのクライアント部２０と通信し、電子黒板２ｂのクライアント部２０は電子黒板２ａのサーバ部９０を介して電子黒板２ａのクライアント部２０と通信する。

〔クライアント部２０の機能構成〕
次に、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、キーイベント入力部９１、イベント取得手段としてのイベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。この他、クライアント部２０は、他の電子黒板に接続されることなく、通信ネットワーク９に接続された情報処理装置、例えば図３に示されるノートＰＣ１１との間で行われる通信に関連する部分も有している。かかる部分として、第２の通信制御手段（及び通信制御手段）としての第２の遠隔画面転送通信制御部８７、画像データ受信部としての画像受信部８８、及びイベント送信部８９がある。

映像取得部２１は、ケーブル１０を介して電子黒板２に接続されたノートＰＣ６等の映像出力機器からの出力映像（画像信号）を取得する。また、映像取得部２１は、取得した画像信号を解析して、映像出力機器の表示画像（画像フレーム）の解像度、更新頻度等の画像情報を抽出する。取得された画像信号及び画像情報は、後述する画像処理部３０（画像取得部３１）に出力される。

座標検知部２２は、ユーザにより生成されるイベント（ディスプレイ３上での電子ペン４のペン先又はペン尻によるタッチ等）の位置座標を検出する。また、座標検知部２２は、タッチされたディスプレイ３上のエリアの面積を検出する。これらの検出結果は、イベント振分部２５に出力される。

自動調整部２３は、電子黒板２の起動時に起動され、座標検知部２２がタッチ等のイベントの位置座標を十分な分解能で検出できるように、接触センサ１１５の赤外線走査方式における信号処理等の各種パラメータを調整する。

接触検知部２４は、ユーザにより生成されるイベント（ディスプレイ３上での電子ペン４のペン先又はペン尻によるタッチ等）を検出する。その検出結果は、イベント振分部２５に出力される。

キーイベント入力部９１は、電子黒板２のディスプレイ３上に表示されたキーボードを介してユーザが入力操作を行った場合に、その入力操作で発生したキーボードイベントを検出する。キーイベント入力部９１で検出したキーボードイベントは、イベント振分部２５に出力される。

イベント振分部２５は、操作対象機器として、電子黒板２及び通信ネットワーク９を介して接続された外部機器（ここではノートＰＣ１１）のいずれが操作対象機器として設定されているかの判断を行う。実際には、マウス入力（電子ペン４のタッチ入力、手Ｈによる入力）又はキーボード入力が行われる際には、ディスプレイ３の画面上に操作対象機器設定用のボタン（又は選択用のボタン）が表示され、そのボタンをユーザが例えば電子ペン４でクリックすることで、操作対象機器の設定が行われる。この操作対象機器の設定を、イベント振分部２５は、座標検知部２２及び接触検知部２４の検出結果に基づいて認識する。なお、操作対象機器の設定が行われた状態で、ユーザによるマウス入力又はキーボード入力が行われるので、対象機器の指定コマンドを、マウス入力又はキーボード入力の一部に含めても良い。いずれにしても、イベント振分部２５は、ノートＰＣ１１（情報処理装置）が操作対象機器として設定されていると判断した場合には、そのマウスイベント（マウス入力に対応するストローク描画、ＵＩ操作、及びジェスチャ操作の各イベント）又はキーボードイベントの情報を、イベント送信部８９に送る（図２０（Ａ）及び図２０（Ｂ）参照）。

一方、イベント振分部２５は、電子黒板２が操作対象機器として設定されていると判断した場合には、そのマウスイベント又はキーボードイベントの情報を、操作処理部２６、ジェスチャ処理部２７及びストローク処理部３２のいずれかに送る。より詳細には、イベント振分部２５は、座標検知部２２によって検出されたイベントの位置座標と接触検知部２４によって検出された検出結果、及びキーイベント入力部９１からのキーボードイベントに基づき、入力されたイベントの種別を判別する。具体的には、イベント振分部２５は、入力されたイベントが、ストローク描画、ＵＩ操作、ジェスチャ操作のいずれであるかを判別し、その判別結果に応じて、イベントの情報を画像処理部３０（ストローク処理部３２）、操作処理部２６及びジェスチャ処理部２７のいずれかに振り分けて出力する。

ここで、ストローク描画は、ディスプレイ３に後述するストローク画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、その状態で電子ペン４をディスプレイ３上で滑らせ、最後にディスプレイ３上から電子ペン４を離すことで、ディスプレイ３上にストロークを描画するイベントである。なお、ストローク描画には、ストロークを描画するだけでなく、既に描画されたストロークを削除するイベント、描画されたストロークを編集するイベント等も含まれる。

ＵＩ操作は、ディスプレイ３に後述するＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４、手Ｈ等により所定の位置を押下するイベントである。ＵＩ操作により、例えば、電子ペン４により描画される線の色、幅等が設定される。また、ＵＩ操作により、前述した操作対象機器の設定なども行われる。

ジェスチャ操作は、ディスプレイ３上に後述するストローク画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上にタッチし、スライドすることでフリック、スワイプ、ピンチ（イン／アウト）といったジェスチャをするイベントである。ジェスチャ操作により、例えば、画像の拡大（若しくは縮小）、表示領域の変更、又はページ切り換え等を行うことができる。
操作処理部２６は、イベント振分部２５によってＵＩ操作と判別されたイベントの情報を受信し、そのイベントが生じたＵＩの要素に従って上述の各種操作を実行する。ＵＩの要素として、例えば、ボタン（前述の操作対象機器設定用のボタンを含む）、リスト、チェックボックス、テキストボックス等がある。

ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判別されたイベントの情報を受信し、それに対応する操作（画像の拡大若しくは縮小、表示領域の変更、又はページ切り換え等）を実行する。

映像重畳部２８は、後述する画像処理部３０（表示重畳部３６）で重畳（レイアウト）された画像をディスプレイ３に表示する。また、映像重畳部２８は、例えば、映像出力機器（ノートＰＣ６等）から画像処理部３０を介して送られる映像をディスプレイ３の全体に表示するとともに、他の映像出力機器（テレビ会議端末７等）から送られる映像をディスプレイ３の一部に別表示する（ピクチャ・イン・ピクチャと呼ぶ）。また、そのピクチャ・イン・ピクチャされた表示をディスプレイ３の全体に表示する表示の切り換えを行う。

第２の遠隔画面転送通信制御部８７は、通信ネットワーク９を介して接続されたノートＰＣ１１の第１の遠隔画面転送通信制御部７７との間で接続認証処理を含む接続確立のための処理を実行する。この接続確立のための処理については後述する。

画像受信部８８は、電子黒板２との接続が確立されたノートＰＣ１１の画像送信部７８から通信ネットワーク９を介して送信された画像データを受信する。この場合の画像データとしては、例えばノートＰＣ１１の画面に表示されている画像のデータなどが代表的に考えられる。画像受信部８８は、受信した画像データを、後述する画像処理部３０の遠隔画像取得部９２に送る。

イベント送信部８９は、図２０（Ａ）のステップＳ７２に示されるように、イベント振分部２５から受信したマウスイベントの情報を、ノートＰＣ１１のイベント受信部７９に送信する。また、イベント送信部８９は、図２０（Ｂ）のステップＳ７４に示されるように、イベント振分部２５から受信したキーボードイベントの情報をノートＰＣ１１のイベント受信部７９に送信する。これにより、ノートＰＣ１１のＯＳによって、画面上で受信したイベントの情報に対応するマウス操作又はキーボード操作が実行される。

＜画像処理部３０＞
画像処理部３０は、画像（画像レイヤ）の重畳処理等を行う。画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、遠隔画像取得部９２、表示重畳部３６、ページ処理部３７、ページデータ記憶部３００、遠隔ライセンス管理テーブル３１０、及びファイル処理部４０を有する。

画像取得部３１は、映像取得部２１により取得された出力映像からそれに含まれるフレームのそれぞれを画像として取得し、表示重畳部３６に出力する。なお、この画像は、図４に示される、映像出力機器（ノートＰＣ６等）からの出力画像（Ｃ）に相当する。

ストローク処理部３２は、イベント振分部２５によってストローク描画（電子ペン４、手Ｈ等を用いてのストロークによる描画）と判別されたイベントの情報を受信し、ストロークによる画像（ストローク画像）を描画、削除、及び編集して、その画像データ及びストロークデータを表示重畳部３６及びページ処理部３７に出力する。このストロークにより描画される画像は、図４に示されるストローク画像（Ｂ）に相当する。なお、ストローク画像の描画、削除、及び編集の各結果は、操作データ記憶部８４０（図１５参照）に操作データとして記憶される。

ＵＩ画像生成部３３は、電子黒板２に予め設定されているＵＩ（ユーザインターフェース）画像を生成し、表示重畳部３６に出力する。なお、このＵＩ画像は、図４に示されるＵＩ画像（Ａ）に相当する。

背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータに含まれるメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図４に示される背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、画像取得部３１及びストローク処理部３２から出力される出力画像（Ｃ）及びストローク画像（Ｂ）をＵＩ画像生成部３３及び背景生成部３４から出力されるＵＩ画像（Ａ）及び背景画像（Ｄ）に対してどうレイアウトするか（どの位置に表示するか）又は非表示にするかを指示するレイアウトに関する情報（レイアウト情報）を管理する。そのレイアウト情報は、表示重畳部３６に出力される。

遠隔画像取得部９２は、画像受信部８８により取得された出力映像から各フレームを画像として取得し、後述する表示重畳部３６に出力する。なお、この画像は、情報処理装置（ノートＰＣ１１等）からの出力画像（図４（Ｃ）参照）に相当する。

表示重畳部３６は、レイアウト管理部３５から出力されるレイアウト情報に従って、ＵＩ画像生成部３３から出力されるＵＩ画像（Ａ）、ストローク処理部３２から出力されるストローク画像（Ｂ）、画像取得部３１又は遠隔画像取得部９２から出力される出力画像（Ｃ）、及び背景生成部３４から出力される背景画像（Ｄ）をレイアウトし、順にディスプレイ３の手前（ユーザ側）から１つめ〜４つめの表示パネル（レイヤ）にそれぞれ表示する。それにより、４つの画像は、図４に示されるように、ユーザ側からＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の順に重なって表示される。

なお、表示重畳部３６は、出力画像（Ｃ）と背景画像（Ｄ）とのそれぞれを、レイアウト管理部３５から出力されるレイアウト情報に従って適宜非表示にすることもできる。例えば、映像出力機器（ノートＰＣ６等）の接続が切れた場合、出力画像（Ｃ）を非表示にし、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、及び背景画像（Ｄ）をディスプレイ３の手前（ユーザ側）から１つめ、２つめ、及び４つめの表示パネル（レイヤ）にそれぞれ表示する。それにより、３つの画像は、ユーザ側からＵＩ画像（Ａ）、ストローク画像（Ｂ）、及び背景画像（Ｄ）の順に重なって表示される。また、表示重畳部３６は、画像の表示領域の拡大、縮小、及び移動の各処理も行う。なお、ノートＰＣ１１から送信された画像をディスプレイ３上に拡大して表示する処理については、後述する。

ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、図５に示されているストローク配列データＩＤで示されるストローク配列データ（各ストロークデータ）として、ページデータの一部を成す。出力画像（Ｃ）のデータは、図５に示されるメディアデータＩＤで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。

すなわち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。

図５には、ページデータの一例が示されている。ページデータは、ディスプレイ３に表示される１ページ分のデータ、すなわちストローク画像（Ｂ）をディスプレイ３に表示するためのストローク配列データ（各ストロークデータ）及び背景画像（Ｄ）をディスプレイ３に表示するためのメディアデータである。ページデータは、ページを識別するページデータＩＤ、そのページの表示を開始した時刻（開示時刻）、ストローク、ジェスチャ等によりページデータの更新が終了した時刻（終了時刻）、電子ペン４、手Ｈ等を用いてのストロークによって生成されるストローク配列データを識別するストローク配列データＩＤ、及びメディアデータを識別するメディアデータＩＤを含む。

図６には、ストローク配列データの一例が示されている。１つのストローク配列データは、複数のストロークデータから構成される。ストロークデータは、電子ペン４を用いて描かれるストローク毎に生成される。従って、アルファベット「Ｓ」を描く場合、１ストロークを要するため、１つのストロークデータよりそのストローク画像が再現される。また、アルファベット「Ｔ」を描く場合、２ストロークを要するため、２つのストロークデータよりそのストローク画像が再現される。

各ストロークデータは、そのストロークデータを識別するストロークデータＩＤ、そのストロークの書き始めの時刻（開始時刻）及び書き終わりの時刻（終了時刻）、ストロークの色、幅、及び通過点に関する情報を含む座標配列データを識別する座標配列データＩＤから構成される。

図７には、座標配列データの一例が示されている。座標配列データは、１つのストロークに対応して、その開始から終了までの一定時間毎にそのストロークが通過した複数の通過点に関する情報を含む。座標配列データは、ディスプレイ３上の位置座標（Ｘ座標値及びＹ座標値）、その位置座標上の点をストロークが通過した時刻（ストロークの開示時刻に対する差分時刻）、及び電子ペン４の筆圧から構成される。

図８には、メディアデータの一例が示されている。メディアデータは、ページデータを記録する際にディスプレイ３に表示されていた画像の情報（ストローク画像（Ｂ）及び背景画像（Ｄ））に関するデータであり、データの種類、記録時刻、画像のレイアウトに関するデータ（レイアウトデータと呼ぶ）、及びデータ内容を含む。なお、例えば、ディスプレイ３上に背景画像（Ｄ）は表示されず、ストローク画像（Ｂ）のみが表示されている場合には、そのストローク画像（Ｂ）のデータのみがメディアデータに含まれ、ディスプレイ３上に背景画像（Ｄ）とストローク画像（Ｂ）との両方が表示されている場合にはそれらの両方のデータがメディアデータに含まれる。

図３に戻り、遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。図９には、遠隔ライセンス管理テーブルの一例が示されている。遠隔ライセンス管理テーブルは、電子黒板２のプロダクトＩＤ、認証に用いられるライセンスＩＤ、及びライセンスの有効期限から構成される。

〔ファイル処理部４０の機能構成〕
次に、ファイル処理部４０の機能構成について説明する。
図１０には、ファイル処理部４０の機能構成が示されている。ファイル処理部４０は、リカバリ処理部４１、ファイル変換部４３、ファイル入力部４２ａ、ファイル出力部４２ｂ、ファイル送信部４４、アドレス帳入力部４５、バックアップ処理部４６、バックアップ出力部４７、設定管理部４８、設定ファイル出力部４９ｂ、設定ファイル入力部４９ａ、及びアドレス帳入力部５０を有する。ファイル処理部４０は、さらに、各種データを保存、管理するアドレス帳管理テーブル４１０、バックアップデータ記憶部４２０、設定ファイル記憶部４３０、及び接続先管理テーブル４４０を有する。

リカバリ処理部４１は、電子黒板２が電源のダウン等により異常終了した場合、その異常終了を検知して未保存のページデータを復旧する。電子黒板２が異常終了した場合であっても、ページデータはページデータ記憶部３００に記憶されて残っている。そこで、リカバリ処理部４１は、電源がオンになった際に、ページデータ記憶部３００から読み出すことでページデータを復旧する。

ファイル変換部４３は、ページデータ記憶部３００にページ単位で記憶されているページデータ（図５参照）を読み出し、ＰＤＦファイルに変換する。なお、ページデータ記憶部３００に複数のページデータが記憶されている場合、それぞれ個別に（すなわちページ単位で）複数のＰＤＦファイルに又はまとめて１つのＰＤＦファイルに変換される。変換されたＰＤＦファイルは、バックアップ処理部４６に出力される。

ファイル入力部４２ａは、ＵＳＢメモリ５からＰＤＦファイルを読み込み、ページ単位で記憶されたストローク画像（Ｂ）及び背景画像（Ｄ）のそれぞれのデータ及びレイアウトデータ（図８参照）をページデータとして取り込み（変換し）、ページデータ記憶部３００に記憶する。ＵＳＢメモリ５に複数のＰＤＦファイルが記憶されている場合、それらのすべてについてページデータが取り込まれる。

ファイル出力部４２ｂは、ファイル変換部４３から出力されるＰＤＦファイルをＵＳＢメモリ５に保存する。

ファイル送信部４４は、ファイル変換部４３から出力されるＰＤＦファイルを電子メールに添付して送信する。ここで、電子メールの送信先（電子メールアドレス）は、アドレス帳管理テーブル４１０において管理されている。図１１には、アドレス帳管理テーブル４１０の一例が示されている。アドレス帳管理テーブル４１０には、宛先の名前と電子メールアドレスとが関連付けてまとめられている。アドレス帳管理テーブル４１０の内容が表示重畳部３６によりディスプレイ３上に表示され、その表示を見てユーザがタッチパネル等の入力装置を操作することで送信先の電子メールアドレスを選択する。また、ユーザがタッチパネル等の入力装置を操作することで送信先の電子メールアドレスを入力することもできる。ファイル送信部４４は、選択又は入力された電子メールアドレスを送信先として決定する。

アドレス帳入力部４５は、ＵＳＢメモリ５から電子メールアドレスの一覧であるアドレス帳（例えばＣＳＶ形式の電子ファイル）を読み込み、その内容をアドレス帳管理テーブル４１０に保存する。

バックアップ処理部４６は、ファイル変換部４３からＰＤＦファイルを受信し、バックアップデータ記憶部４２０に記憶することでバックアップする。図１２には、バックアップデータの一例が示されている。バックアップデータは、ＰＤＦ形式のファイル（ＰＤＦファイル）として記憶される。なお、このバックアップ処理は、ユーザによりバックアップ設定されている場合に行われ、設定されていない場合には行われない。

バックアップ出力部４７は、バックアップデータ記憶部４２０に記憶されたＰＤＦファイルをＵＳＢメモリ５に記憶する。なお、記憶する際、セキュリティのため、ユーザに対してタッチパネル等の入力装置の操作によるパスワードの入力が求められる。また、ＵＳＢメモリ５に記憶されたＰＤＦファイルは、前述のファイル入力部４２ａにより読み取ることができる。

設定管理部４８は、電子黒板２の各種設定情報を設定ファイル記憶部４３０に記憶したり読み出したりして管理する。電子黒板２の設定情報として、例えば、ネットワーク設定、日付及び時刻の設定、地域及び言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップの設定に関する情報等がある。なお、ネットワーク設定は、例えば、電子黒板２のＩＰアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、ＤＮＳ（Domain Name System）の設定等である。

設定ファイル出力部４９ｂは、上記の電子黒板２の各種設定情報を設定ファイルとしてＵＳＢメモリ５に保存する。なお、セキュリティにより、ユーザは設定ファイルの内容を見ることができない。

設定ファイル入力部４９ａは、ＵＳＢメモリ５から設定ファイルを読み込み、その内容を設定管理部４８に出力する。これにより、各種設定情報が電子黒板２の各種設定に反映される。

アドレス帳入力部５０は、ＵＳＢメモリ５から遠隔共有処理の接続先ＩＰアドレスの一覧である接続先リスト（例えばＣＶＳ形式の電子ファイル）を読み込み、接続先管理テーブル４４０に保存する。接続先管理テーブル４４０は、電子黒板２が参加装置（既に開始されている遠隔共有処理に後から参加する電子黒板２）である場合にユーザが主催装置（遠隔共有処理を開始した電子黒板２）のＩＰアドレスを入力する手間を省くために、前もって電子黒板２のＩＰアドレスが保存されたテーブルである。

図１３には、接続先管理テーブル４４０の一例が示されている。接続先管理テーブル４４０には、主催装置として機能する電子黒板２の名称（この例では電子黒板２が設置された場所を用いて与えられている）とＩＰアドレスとが関連付けてまとめられている。

なお、接続先管理テーブル４４０を使用することに代えて、参加装置のユーザが、逐一、タッチパネル等の入力装置を操作して主催装置のＩＰアドレスを入力することとしても良い。この場合、参加装置のユーザは、主催装置のユーザから電話、電子メール等によっ
てそのＩＰアドレスを知る必要がある。

〔通信制御部６０の機能構成〕
次に、通信制御部６０の機能構成について説明する。
図１５には、サーバ部９０の機能構成とともに通信制御部６０の機能構成が示されている。通信制御部６０は、通信ネットワーク９を介して行われる他の電子黒板２との通信を制御する。通信制御部６０は、図１５に示されるように、遠隔開始処理部６１、遠隔参加処理部６２、遠隔画像送信部６３、遠隔画像受信部６４、遠隔操作送信部６５、遠隔操作受信部６６、及び参加拠点管理テーブル６１０を有する。

遠隔開始処理部６１は、後述するサーバ部９０に新たに遠隔共有処理を開始することを要求し、その要求の結果をサーバ部９０から受信する。要求に先立って、遠隔開始処理部６１は、遠隔ライセンス管理テーブル３１０を参照して、ライセンス情報（電子黒板２のプロダクトＩＤ、ライセンスＩＤ、及びライセンスの有効期限）が管理されているかを確認する。遠隔開始処理部６１は、ライセンス情報が管理されている場合にのみ遠隔共有処理の開始を要求し、管理されていない場合には要求しない。

遠隔参加処理部６２は、通信ネットワーク９を介して、主催装置（遠隔共有処理を開始した電子黒板２）のサーバ部９０（遠隔接続要求受信部７１）に遠隔共有処理への参加を要求し、その要求の結果をサーバ部９０から受信する。要求に先立って、遠隔参加処理部６２は、遠隔ライセンス管理テーブル３１０を参照する。また、遠隔参加処理部６２は、接続先管理テーブル４４０を参照して、主催装置のＩＰアドレスを取得する。なお、遠隔参加処理部６２が接続先管理テーブル４４０を参照することに代えて、ユーザが、逐一タッチパネル等の入力装置を操作して主催装置のＩＰアドレスを入力することとしても良い。

遠隔画像送信部６３は、画像取得部３１又は遠隔画像取得部９２を介して映像取得部２１（図３参照）又は画像受信部８８（図３参照）から送られる出力画像（Ｃ）をサーバ部９０（遠隔画像受信部７３）に送信する。

遠隔画像受信部６４は、サーバ部９０（遠隔画像送信部７４）から、他の電子黒板２に接続された映像出力機器からの出力画像（画像信号）を受信し、表示重畳部３６に出力する。これにより、遠隔共有処理が可能になる。

遠隔操作送信部６５は、遠隔共有処理に必要な各種操作データをサーバ部９０（遠隔操作受信部７５）に送信する。各種操作データとして、例えば、ストロークの追加、ストロークの削除、ストロークの編集（拡大、縮小、移動）、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。

遠隔操作受信部６６は、サーバ部９０（遠隔操作送信部７６）から他の電子黒板２において入力された操作データを受信し、画像処理部３０に出力する。これにより、遠隔共有処理が行われる。

参加拠点管理テーブル６１０は、電子黒板が主催装置である場合に、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するためのテーブルである。図１４には、参加拠点管理テーブル６１０の一例が示されている。参加拠点管理テーブル６１０には、参加装置である電子黒板２の名称（この例では電子黒板２が設置された場所を用いて与えられている）とＩＰアドレスとが関連付けてまとめられている。

〔サーバ部９０の機能構成〕
次に、サーバ部９０の機能構成について説明する。本実施形態では、いずれの電子黒板２にもサーバ部９０が設けられ、いずれの電子黒板２もサーバ部９０の機能を発揮し得る。サーバ部９０は、図１５からわかるように、大別して、通信制御部７０と、データ管理部８０と、を有する。

＜通信制御部７０の機能構成＞
まず、通信制御部７０の機能構成について説明する。通信制御部７０は、同じ電子黒板２のクライアント部２０内の通信制御部６０との通信と、他の電子黒板２のクライアント部２０内の通信制御部６０との通信ネットワーク９を介しての通信と、を制御する。通信制御部７０は、遠隔接続要求受信部７１、遠隔接続結果送信部７２、遠隔画像受信部７３、遠隔画像送信部７４、遠隔操作受信部７５、及び遠隔操作送信部７６を有する。

遠隔接続要求受信部７１は、遠隔開始処理部６１から遠隔共有処理の開始要求を受信し、他の電子黒板２の遠隔参加処理部６２から遠隔共有処理への参加要求を通信ネットワーク９を介して受信する。遠隔接続結果送信部７２は、遠隔開始処理部６１へ遠隔共有処理の開始要求に対する結果を送信し、他の電子黒板２の遠隔参加処理部６２へ遠隔共有処理への参加要求に対する結果を通信ネットワーク９を介して送信する。

遠隔画像受信部７３は、遠隔画像送信部６３から画像データ（出力画像（Ｃ））を受信し、後述する遠隔画像処理部８２に送信する。遠隔画像送信部７４は、遠隔画像処理部８２から画像データを受信し、遠隔画像受信部６４に送信する。

遠隔操作受信部７５は、遠隔操作送信部６５から操作データ（ストローク画像（Ｂ）等のデータ）を受信し、後述する遠隔操作処理部８３に送信する。遠隔操作送信部７６は、遠隔操作処理部８３から操作データを受信し、遠隔操作受信部６６に送信する。

＜データ管理部８０の機能構成＞
次に、データ管理部８０の機能構成について説明する。データ管理部８０は、操作データや画像データ等を管理する。データ管理部８０は、遠隔接続処理部８１、遠隔画像処理部８２、遠隔操作処理部８３、操作合成処理部８４、及びページ処理部８５を有する。サーバ部９０は、さらに、各種データを保存、管理するパスコード管理部８１０、参加拠点管理テーブル８２０、画像データ管理部８３０、操作データ記憶部８４０、及びページデータ記憶部８５０を有する。

遠隔接続処理部８１は、遠隔共有処理の開始及び終了を行う。遠隔共有処理の開始に際し、遠隔接続処理部８１は、他の電子黒板２の遠隔共有処理への参加を許可するか否かを判断する。ここで、遠隔接続処理部８１は、遠隔接続要求受信部７１が遠隔開始処理部６１から遠隔共有処理の開始要求と共に受信したライセンス情報、又は遠隔参加処理部６２から遠隔共有処理の参加要求と共に受信したライセンス情報を受信し、ライセンスの有無及びライセンスの有効無効を確認する。また、遠隔接続処理部８１は、他の電子黒板２からの参加要求が予め定められた参加可能数を超えないか確認する。遠隔接続処理部８１は、有効なライセンスを有していない場合、また参加要求が参加可能数を超える場合、遠隔共有処理への参加を拒否する。

また、遠隔接続処理部８１は、他の電子黒板２から遠隔共有処理への参加要求とともに送られるパスコードが、パスコード管理部８１０で管理されているパスコードに一致するか否か判断（認証）し、一致する場合のみ遠隔共有処理への参加を許可する。

パスコードは、新たに遠隔共有処理が開始される際に遠隔接続処理部８１によって発行され、パスコード管理部８１０で管理される。遠隔共有処理に参加する参加装置のユーザは、主催装置のユーザから電話、電子メール等によりパスコードを取得する。参加装置のユーザは、取得したパスコードを参加装置に入力することで、遠隔共有処理への参加を要求することができる。なお、セキュリティよりもユーザの使い勝手を優先して、ライセンス状況のみ確認し、パスコードの確認を省略しても良い。

遠隔共有処理の開始に際し、遠隔接続処理部８１は、参加装置の遠隔参加処理部６２から通信ネットワーク９を介して送られる参加要求に含まれる参加拠点情報を、参加拠点管理テーブル８２０に記憶する。また、遠隔接続処理部８１は、参加拠点管理テーブル８２０に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部７２に送信する。遠隔拠点情報は、遠隔開始処理部６１に送信され、参加拠点管理テーブル６１０に記憶される。これにより、主催装置では、クライアント部２０及びサーバ部９０の両方で同じ内容の参加拠点管理情報が管理されることになる。

遠隔画像処理部８２は、遠隔共有処理に加わっている電子黒板２（主催装置と参加装置との両方を含む）のクライアント部２０に接続された映像出力機器（ノートＰＣ６等（図３参照））からの画像データ（出力画像（Ｃ））を受信して画像データ管理部８３０に記憶するとともに、受信した時刻（時間順）に従って遠隔共有処理する画像データの表示順を決定する。また、遠隔画像処理部８２は、参加拠点管理テーブル８２０を参照し、遠隔共有処理に加わっている全ての電子黒板２（主催装置と参加装置との両方を含む）のクライアント部２０に、通信制御部７０（遠隔画像送信部７４）を介して、決定した表示順に従って画像データを送信する。

遠隔操作処理部８３は、遠隔共有処理に加わっている電子黒板２（主催装置と参加装置との両方を含む）のクライアント部２０で描画されたストローク画像等の各種操作データ（ストローク画像（Ｂ）等）を受信し、受信した時刻（時間順）に従って画像の表示順を決定する。なお、各種操作データは、前述の各種操作データと同じである。また、遠隔操作処理部８３は参加拠点管理テーブル８２０を参照し、遠隔共有処理に加わっている全ての電子黒板２（主催装置と参加装置との両方を含む）のクライアント部２０に操作データを送信する。

操作合成処理部８４は、遠隔操作処理部８３から出力された各電子黒板２の操作データを合成し、合成された操作データを操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。遠隔操作処理部８３に戻された操作データは、遠隔操作送信部７６を介して、主催装置及び参加装置のクライアント部２０にそれぞれ送信される。これにより、各電子黒板２において、操作データに係る同じ画像が表示される。

図１６には、操作データの一例が示されている。操作データには、ＳＥＱ（Ｓｅｑｕｅｎｃｅ）、操作名、送信元の電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のＰｏｒｔ Ｎｏ．、送信先の電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のＰｏｒｔ Ｎｏ．、操作種類、操作対象、並びに操作の内容に係るデータが関連付けてまとめられている。例えば、操作データＳＥＱ１には、主催装置である電子黒板（ＩＰアドレス：１９２．０．０．１）のクライアント部（Ｐｏｒｔ Ｎｏ．：５０００１）でストロークが描画され、操作種類「ＳＴＲＯＫＥ」及び操作対象「（ページデータＩＤ）ｐ００５」のストロークデータが、同じ主催装置である電子黒板（ＩＰアドレス：１９２．０．０．１）のサーバ部（Ｐｏｒｔ Ｎｏ．：５００００）に送られたことが示されている。また、操作データＳＥＱ２には、主催装置である電子黒板（ＩＰアドレス：１９２．０．０．１）のサーバ部（Ｐｏｒｔ Ｎｏ．：５００００）から参加装置である他の電子黒板（ＩＰアドレス：１９２．０．０．１）のクライアント部（Ｐｏｒｔ Ｎｏ．：５０００１）にストロークデータが送られたことが示されている。

なお、操作合成処理部８４は、入力された順に操作データを合成するため、通信ネットワーク９が混雑していなければ、各電子黒板２においてユーザによるストロークの順に遠隔共有処理に加わっている全ての電子黒板２のディスプレイ３にストローク画像（Ｂ）が表示される。

ページ処理部８５は、クライアント部２０の画像処理部３０におけるページ処理部３７と同様の機能を有し、図５乃至図７に示されているようなページデータをページデータ記憶部８５０に記憶する。なお、ページデータ記憶部８５０は、画像処理部３０内のページデータ記憶部３００と同じ内容であるため、その説明を省略する。

〔接続確立のための処理〕
次に、一例として、電子黒板２（２ａ又は２ｂ）と同一の部屋にあるノートＰＣ１１と、電子黒板２のクライアント部２０との間の接続認証処理を含む接続確立のための処理について、図１７に基づいて説明する。ここでは、接続認証処理として、共通鍵暗号方式、一例としてＡＥＳ（Advanced Encryption Standard（高度暗号化規格））暗号化を用いるチャレンジ・レスポンス方式の認証処理が行われるものとする。また、以下のノートＰＣ１１（第１の遠隔画面転送通信制御部７７）とクライアント部２０（第２の遠隔画面転送通信制御部８７）との間の通信は、通信ネットワーク９を介して行われるが、以下では、特に必要な場合を除き、通信ネットワークに関する説明は省略する。

まず、ステップＳ５１において、ノートＰＣ１１の第１の遠隔画面転送通信制御部７７は、チャレンジ（ランダムなデータ）を第２の遠隔画面転送通信制御部８７に送信する。このチャレンジの送信はノートＰＣ１１から電子黒板２に対する接続要求処理を兼ねる。

次に、ステップＳ５２で、クライアント部２０の第２の遠隔画面転送通信制御部８７が、受信（取得）したチャレンジを、共通鍵（ここでは予め保持しているパスワードが用いられるものとする）を鍵としてＡＥＳ暗号化し、レスポンスコード（以下、レスポンスと略記する）と呼ばれるワンタイムパスワードを作成する。

ステップＳ５３では、第２の遠隔画面転送通信制御部８７は、作成したレスポンスを第１の遠隔画面転送通信制御部７７に送信する。

レスポンスを受信した第１の遠隔画面転送通信制御部７７は、ステップＳ５４において、クライアント側で行ったレスポンス作成手順と同様に、パスワードを鍵としてチャレンジをＡＥＳ暗号化してレスポンスを算出する。次のステップＳ５５において、第１の遠隔画面転送通信制御部７７は、受信したレスポンスと、自身で算出したレスポンス（自身で暗号化したチャレンジ）とを照合（比較）する。

そして、第１の遠隔画面転送通信制御部７７は、次のステップＳ５６において、認証結果を第２の遠隔画面転送通信制御部８７に送信する。このステップＳ５６では、上記の照合結果、自身で算出したレスポンス（暗号化したチャレンジ）と、受信したレスポンスとが一致している場合には、認証結果として、第２の遠隔画面転送通信制御部８７に認証が成功した旨の情報を送信し、一致していない場合には第２の遠隔画面転送通信制御部８７に認証が失敗した旨の情報を送信する。なお、本実施形態では、認証を受ける側の装置であるノートＰＣ１１側から接続要求処理を兼ねて、チャレンジを送信するようになっているので、第三者の不正接続を防止するための手段が別途採用されていることは言うまでもない。かかる手段として、例えば認証が成功した旨の情報の一部に、所定の暗号化データ、例えば鍵として用いられるパスワードの所定の一部分を暗号化したデータを含めるなどが挙げられる。

認証が成功した場合、第１の遠隔画面転送通信制御部７７は、ノートＰＣ１１との間における接続を確立する。

以上のようにして、ノートＰＣ１１の第１の遠隔画面転送通信制御部７７と、クライアント部２０の第２の遠隔画面転送通信制御部８７との間で接続確立のための処理が行われる。

上述したように、本実施形態では、チャレンジ・レスポンス方式の認証処理が行われるので、パスワード（パスワードの全体）をネットワーク上に流すことなく（パスワード（パスワードの全体）を電文でやり取りすること無く）、ノートＰＣ１１が正しいパスワードを持っていることを、電子黒板２ａ側に証明することができる。また、第三者が、ノートＰＣ１１が送るチャレンジだけでレスポンスを作成したり、チャレンジとレスポンスからパスワードを逆算するようなことはできないようになっている。また、ノートＰＣが送るチャレンジは毎回変わり、それを基に算出したレスポンスも毎回変化する。このため、第三者がパケットを盗聴してもパスワードを解読することは困難になっている。また、電子黒板２への不正接続のため、レスポンスをコピーしてノートＰＣ１１にログインしようとしても、ログインするたびにレスポンスが変わるため、認証に失敗する。また、ＡＥＳ暗号化が採用されており、ＡＥＳ暗号化は、ＷｅｂブラウザとＷｅｂサーバ間でのＳＳＬ通信でよく使用されているＲＣ４などの他の暗号化に比べてはるかに強固である。このように、本実施形態では、ノートＰＣ１１と電子黒板２ａとの間で、セキュリティレベルの高い接続認証処理が行われる。

上述のようにして、第１の遠隔画面転送通信制御部７７と第２の遠隔画面転送通信制御部８７とのＡＥＳ暗号による認証が成功し、ノートＰＣ１１と電子黒板２との間の接続が確立されると、画像受信部８８は、画像送信部７８から通信ネットワーク９を介して送信された画像データを受信する。この場合の画像データとしては、例えばノートＰＣ１１の画面に表示されている画像のデータなどが代表的に考えられる。画像受信部８８は、受信した画像データを、画像処理部３０の遠隔画像取得部９２に送る。

次に、第１の情報処理装置、例えばノートＰＣ１１と電子黒板２のクライアント部２０とが接続されているときに、例えば通信ネットワーク９に接続された別のノートＰＣなどの第２の情報処理装置から接続リクエストが送信された場合の処理について説明する。図１８には、この場合の処理の流れを示すフローチャートが示されている。以下では、第２の情報処理装置が、一例として、通信ネットワーク９に接続されたノートＰＣ１１と同一の部屋にある別のノートＰＣである場合について説明する。

第１の情報処理装置（例えばノートＰＣ１１）と接続中に、第２の情報処理装置から接続リクエストがなされると、ステップＳ５７において、第２の遠隔画面転送通信制御部８７は、その接続リクエスト（例えば、前述と同様のチャレンジ）を受信する。そして、第２の遠隔画面転送通信制御部８７は、その第２の情報処理装置（の通信制御部）との間で、前述と同様の接続認証処理を行う。そして、接続認証が成功し、第２の情報処理装置（の通信制御部）から認証が成功した旨の情報を受信すると、第２の遠隔画面転送通信制御部８７は、第２の情報処理装置との接続を確立するとともに、第１の情報処理装置（ノートＰＣ１１）との接続を切断する（ステップＳ５８、Ｓ５９）。これにより、電子黒板２に対する接続先情報処理装置の変更（切り換え）が終了する。本実施形態では、電子黒板２に対する接続先の情報処理装置の変更（切り換え）が、いわゆる後勝ち方式で行われる。また、上記の電子黒板に対する接続先の情報処理装置の変更（切り換え）に際して、切り換えの都度、ケーブルを差し替えるなどの操作は不要である。

上述のようにして、電子黒板２に対する接続先が、第１の情報処理装置から第２の情報処理装置に切り換えられると、電子黒板２の画像受信部８８が、第２の情報処理装置から送信された画像データを受信する。受信された画像データは画像処理部３０（遠隔画像取得部９２）に送信され、表示重畳部３６でその画像データを用いて前述したような処理が行われ、レイアウトされた画像のデータがディスプレイ３の画面上に表示するための表示用画像データとして作成される。そして、その表示用画像データに対応する画像が映像重畳部２８を介してディスプレイ３の画面上に表示される（ステップＳ６０）。

〔ノートＰＣ１１から送信された画像をディスプレイ３上に表示する処理〕
次に、ノートＰＣ１１から送信された画像をディスプレイ３上に拡大（又は縮小）して表示する処理について説明する。図１９には、一例として、拡大表示を行う際の処理の流れがフローチャートにて示されている。

前提として、ノートＰＣ１１の画面に表示されている画像と同じ画像が、電子黒板２が備えるディスプレイ３の画面上に表示されているものとする。

図１９のフローチャートで示される処理は、一例として画像が表示されたディスプレイ３の画面上で、ユーザが、ピンチアウトのジェスチャを行うことによって開始する。ここで、ピンチアウトのジェスチャとは、２本の指を画面上に載せて指と指の間を広げる動作を指し、その指の動きで拡大率等も指示されることとなる。

まず、ステップＳ６１で、ノートＰＣ１１の画面に表示されている画像のデータを、画像受信部８８が、画像送信部７８から通信ネットワーク９を介して受信する。この画像データは、遠隔画像取得部９２に送られる。

次のステップＳ６２では、遠隔画像取得部９２が、上述のユーザによるピンチアウトのジェスチャで指示された拡大率を、ジェスチャ操作に対応した処理の指示データ（座標検知部２２で得られた座標のデータを含む）とともに、ジェスチャ処理部２７から取得する。この拡大率の算出に先立って、ユーザが、ディスプレイ３上で行ったジェスチャの際の指の動き（座標位置）が座標検知部２２で検知され、イベント振分部２５がジェスチャ操作であると判断し、ジェスチャ処理部２７において、ジェスチャ操作に対応した処理を実行する。この処理の一部として、拡大率が算出される。具体的には、ジェスチャ処理部２７は、ユーザの画面タッチ情報から現在の拡大率と位置情報を保存している。例えばユーザがディスプレイを２本指でタッチして、指の間隔を２倍に広げると、ジェスチャ処理部には２倍という情報と、どこを中心に拡大したかという位置情報が保存される。この２つの情報を拡大率（の情報）としている。

次のステップＳ６３では、遠隔画像取得部９２が、得られた拡大率（の情報）から、画像受信部８８から取得した画像の切り出し部分と、表示位置とを計算する。この計算結果は、表示重畳部３６に送られる。例えば、ノートＰＣ１１の画像を２倍に拡大して表示するときには、ノートＰＣ１１からの画像の２分の１のサイズの画像の切り出し部分と、それを２倍に引き伸ばした画像の表示位置とが、表示重畳部３６へ送られる。このようにして、遠隔画像取得部９２は、画像受信部８８から取得した画像データに対応する画像をジェスチャ処理部２７の拡大率に合わせて変形させて、表示重畳部３６へ送信する。

次のステップＳ６４では、表示重畳部３６が、遠隔画像取得部９２から取得した切り出し部分と表示位置とに基づいて、画像を合成する。これにより、映像重畳部２８によってディスプレイ３の画面上に所定の拡大画像が表示される。

なお、ノートＰＣ１１から送信された画像をディスプレイ３上に縮小して表示する場合には、一例とし画像が表示されたディスプレイ３の画面上で、ユーザが、ピンチインのジェスチャを行うことによって、図１９のフローチャートと同様の手順で同様の処理が行われ、最終的にノートＰＣ１１から送信された画像をディスプレイ３上に縮小表示される。ただし、この場合、画像の全体が表示の対象となるので、画像の切り出し部分の計算は行われない。ここで、ピンチインのジェスチャとは、２本の指を画面上に載せて指と指の間を縮める動作を指し、その指の動きで縮小率等も指示されることとなる。

〔ノートＰＣ１１のマウス操作及びキーボード操作を実行するための処理〕
次に、電子黒板２側での遠隔操作により、ノートＰＣ１１のマウス操作及びキーボード操作を実行するための処理について、図２０（Ａ）及び図２０（Ｂ）に基づいて説明する。
前提として、ノートＰＣ１１の画面の画像が、ディスプレイ３の画面上に表示されているものとする。また、一例としてディスプレイ３の画面上に、操作対象機器設定用のボタンが表示されているものとする。
電子黒板２のユーザは、操作対象の機器として、通信ネットワーク９を介して接続された情報処理装置（この場合、ノートＰＣ１１）を設定すべく、そのボタンを電子ペン４でクリックする。
このクリックの操作が、接触検知部２４及び座標検知部２２で検知され、イベント振分部２５では、その検知結果に基づいて、操作対象機器が、情報処理装置に設定されたものと判断する。

この状態（操作対象の機器が情報処理装置に設定された状態）で、電子黒板２のユーザが、ノートＰＣ１１の画面の画像が表示されたディスプレイ３の画面上で、電子ペン４又は手Ｈにより、必要な入力操作（マウス操作）を行う。この入力操作で生じたマウスイベント（マウス入力に対応するストローク描画、ＵＩ操作、及びジェスチャ操作の各イベント）が、座標検知部２２及び接触検知部２４の検知結果に基づいて、イベント振分部２５で取得される（図２０（Ａ）のステップＳ７１）。
このとき、操作対象機器が、情報処理装置に設定されているので、イベント振分部２５は、マウスイベントの情報をノートＰＣ１１に送信する（ステップＳ７２）。このマウスイベントのノートＰＣ１１への送信は次のようにして実現される。
すなわち、イベント振分部２５が取得したマウスイベントの情報をイベント送信部８９に送信する。そして、イベント送信部８９が、マウスイベントの情報を通信ネットワーク９を介してノートＰＣ１１のイベント受信部７９に送信する。
このようにして、ノートＰＣ１１のイベント受信部７９が、マウスイベントの情報を受信すると、ノートＰＣ１１のＯＳ（オペレーティング・システム）によって、マウスイベントの情報に応じたマウス操作がノートＰＣ１１の画面上で行われる。

一方、ノートＰＣ１１のキーボード操作を遠隔操作により行う場合、操作対象機器が情報処理装置に設定された状態で、電子黒板２のユーザが、ノートＰＣ１１の画面の画像とともにディスプレイ３の画面上に表示されたキーボードに、例えば電子ペン４又は手Ｈなどにより、入力操作を行う。
この入力操作で生じたキーボードイベントが、キーイベント入力部９１を介してイベント振分部２５で取得される（図２０（Ｂ）のステップＳ７３）。
このとき、操作対象機器が、情報処理装置に設定されているので、イベント振分部２５は、キーボードイベントの情報をノートＰＣ１１に送信する（ステップＳ７４）。このキーボードイベントの情報のノートＰＣ１１への送信は前述と同様にして実現される。
そして、ノートＰＣ１１のイベント受信部７９が、キーボードイベントの情報を受信すると、ノートＰＣ１１のＯＳによって、そのデータに応じたキーボード入力操作がノートＰＣ１１側で行われる。

〔電子黒板間での遠隔共有処理における各電子黒板の動作〕
次に、本実施形態の画像処理システム１を構成する電子黒板間での遠隔共有処理における各電子黒板の動作について説明する。

ここでは、一例として、画像処理システム１は電子黒板２ａ、２ｂ、２ｃから構成され、電子黒板２ａが遠隔共有処理を主催する主催装置（主催装置２ａと呼ぶ）、電子黒板２ｂ、２ｃが主催装置２ａが開始した遠隔共有処理に参加する参加装置（参加装置２ｂ、２ｃと呼ぶ）とする。電子黒板２ａのサーバ部９０及びクライアント部２０並びに電子黒板２ｂ、２ｃのクライアント部２０の動作に注目する。また、電子黒板２ａ、２ｂ、２ｃには、それぞれディスプレイ３ａ、３ｂ、３ｃが接続され、更にそれぞれノートＰＣ６ａ、６ｂ、６ｃが接続されている。また、電子黒板２ａ、２ｂ、２ｃでは、それぞれ電子ペン４ａ、４ｂ、４ｃが使用される。

まず、遠隔共有処理の開始及び参加処理について、遠隔共有処理の開始及び参加処理の流れを示す図２１のシーケンス図に基づいて、説明する。
電気黒板２ａ、２ｂ、２ｃのそれぞれはユーザにより電源が入れられ、それによりクライアント部２０が起動しているものとする。

まず、ステップＳ２１において、主催装置２ａのユーザがタッチパネル等の入力装置を介して遠隔共有処理の開始を指示することにより、クライアント部２０の遠隔開始処理部６１からサーバ部９０の遠隔接続要求受信部７１にサーバ部９０の起動を指示する信号を出力する。これにより、主催装置２ａでは、クライアント部２０に加えてサーバ部９０が起動する。主催装置２ａ（サーバ部９０）は、遠隔共有処理（参加装置２ｂ、２ｃの遠隔共有処理への参加処理を受け付けるための前処理）を開始する。

次のステップＳ２２では、主催装置２ａのクライアント部２０内のＵＩ画像生成部３３が主催装置２ａとの接続を確立するための接続情報を表示するＵＩ画像を生成し、表示重畳部３６を介して映像重畳部２８に出力する。映像重畳部２８は、そのＵＩ画像をディスプレイ３ａに表示する。ここで、接続情報には、主催装置のＩＰアドレス及び今回の遠隔共有処理に対して遠隔接続処理部８１により発行されるパスコードが含まれる。パスコードは、遠隔接続処理部８１によってパスコード管理部８１０から読み出され、順に遠隔接続結果送信部７２及び遠隔開始処理部６１（通信制御部６０）を介して、ＵＩ画像生成部３３（画像処理部３０）に送信される（図１５及び図３参照）。

主催装置２ａのユーザは、ディスプレイ３ａに表示された接続情報を見て、その内容を電話、電子メール等により参加装置２ｂ、２ｃのユーザに伝える。なお、接続先管理テーブル４４０に保存されている接続先リストにおいて主催装置２ａのＩＰアドレスが管理されている場合、接続情報にはパスコードのみ含まれていれば良い。参加装置２ｂ、２ｃのユーザは、伝えられた接続情報をそれぞれの参加装置２ｂ、２ｃにタッチパネル等の入力装置を用いて入力する。

参加装置２ｂ、２ｃが接続情報の入力を受けると、それぞれステップＳ２３、Ｓ２４において、それぞれのクライアント部２０内の遠隔参加処理部６２が、接続情報に含まれるＩＰアドレスを用いて、通信ネットワーク９を介して、主催装置２ａのサーバ部９０内の通信制御部７０にパスコードを送信する。これにより、主催装置２ａが開始した遠隔共有処理への参加要求が行われる。これにより、通信制御部７０の遠隔接続要求受信部７１は、各電子黒板２ｂ、２ｃから参加要求（パスコードを含む）を受信し、このパスコードを遠隔接続処理部８１に出力する。

主催装置２ａがパスコードを受信すると、ステップＳ２５において、そのサーバ部９０内の遠隔接続処理部８１が、パスコード管理部８１０で管理されているパスコードを用いて受信したパスコードを認証する。その認証結果は、遠隔接続結果送信部７２により、それぞれステップＳ２６において参加装置２ｂ、２ｃのクライアント部２０に通知される。これにより、主催装置２ａと参加装置２ｂ、２ｃとの間での遠隔共有処理の通信が確立し、遠隔共有処理の開始及び参加処理が完了する。

〔遠隔共有処理における画像データの共有処理〕
次に、遠隔共有処理における画像データの共有処理について、画像データの共有処理の流れを示す図２２のシーケンス図に基づいて、説明する。

まず、ステップＳ３０において、参加装置２ｂのクライアント部２０内の画像取得部３１が、ノートＰＣ６ｂの出力映像を用いて画像データ（出力画像（Ｃ））を生成する。生成された画像データ（出力画像（Ｃ））は、表示重畳部３６を介して映像重畳部２８に出力され、参加装置２ｂのディスプレイ３ｂに表示される（図３参照）。

次のステップＳ３１では、参加装置２ｂのクライアント部２０内の遠隔画像送信部６３（通信制御部６０）が、画像データ（出力画像（Ｃ））を、画像取得部３１（画像処理部３０）から受信し、通信ネットワーク９を介して、主催装置２ａのサーバ部９０内の通信制御部７０（遠隔画像受信部７３）に送信する。画像データ（出力画像（Ｃ））は、遠隔画像受信部７３を介して遠隔画像処理部８２に送信され、画像データ管理部８３０に記憶される（図１５参照）。

次に、ステップＳ３２において、主催装置２ａのクライアント部２０内の映像重畳部２８が、参加装置２ｂから受信した画像データ（出力画像（Ｃ））をディスプレイ３ａ上に表示する。ただし、ステップ３１においてサーバ部９０内の遠隔画像受信部７３により受信された出力画像（Ｃ）は、順に、サーバ部９０内の遠隔画像処理部８２及び遠隔画像送信部７４並びにクライアント部２０内の遠隔画像受信部６４及び表示重畳部３６を介して、クライアント部２０内の映像重畳部２８に送られる。

次のステップＳ３３では、主催装置２ａのサーバ部９０内の遠隔画像送信部７４（通信制御部７０）が、（ステップ３２において）同じ主催装置２ａのクライアント部２０内の遠隔画像受信部６４に画像データ（出力画像（Ｃ））を送信するとともに、通信ネットワーク９を介して、その画像データを送信した参加装置２ｂ以外の参加装置２ｃのクライアント部２０内の通信制御部６０（遠隔画像受信部６４）に画像データ（出力画像（Ｃ））を送信する。

なお、参加装置２ｃ内では、クライアント部２０内の遠隔画像受信部６４により受信された出力画像（Ｃ）は、表示重畳部３６を介して、映像重畳部２８に送られる。

次に、ステップＳ３４において、参加装置２ｃのクライアント部２０内の映像重畳部２８が、参加装置２ｂから主催装置２ａ（サーバ部９０）を介して送られた画像データ（出力画像（Ｃ））をディスプレイ３ｃ上に表示する。ただし、ステップ３３においてクライアント部２０内の遠隔画像受信部６４により受信された出力画像（Ｃ）は、表示重畳部３６を介して映像重畳部２８に送られる。これにより、遠隔共有処理における画像データの共有処理が完了する。

なお、出力画像（Ｃ）の画像データだけでなく、ＵＩ画像（Ａ）及びストローク画像（Ｂ）のそれぞれの画像データが表示重畳部３６に入力されている場合には、表示重畳部３６は重畳画像（Ａ、Ｂ、Ｃ）を生成し、映像重畳部２８に出力する。映像重畳部２８は、重畳画像（Ａ、Ｂ、Ｃ）をディスプレイ３ｃに表示する。また、テレビ会議端末７から映像重畳部２８にテレビ会議用の映像（Ｅ）の画像データが送られている場合には、映像重畳部２８は、重畳画像（Ａ、Ｂ、Ｃ）にテレビ会議用の映像（Ｅ）の画像データをピクチャ・イン・ピクチャにより重畳して、ディスプレイ３ｃに表示する。

〔遠隔共有処理における操作データの共有処理〕
次に、遠隔共有処理における操作データの共有処理について、操作データの共有処理の流を示す図２３のシーケンス図に基づいて、説明する。

まず、ステップＳ４１において、参加装置２ｂは、ユーザが電子ペン４ｂを用いて電子黒板２ｂ上に描くストローク画像（Ｂ）を描画し、ディスプレイ３ｂに表示する。

次のステップＳ４２では、参加装置２ｂのクライアント部２０内の表示重畳部３６が、図４に示されるように、ＵＩ画像（Ａ）、出力画像（Ｃ）、及び背景画像（Ｄ）に対してストローク画像（Ｂ）を重畳し、映像重畳部２８が重畳された重畳画像（Ａ、Ｂ、Ｃ、Ｄ）を電子黒板２ｂのディスプレイ３ｂに表示する。ただし、ストローク処理部３２が、座標検知部２２及び接触検知部２４からイベント振分部２５を介してストローク画像（Ｂ）の操作データを受信し、表示重畳部３６に送信する（図３参照）。

次のステップＳ４３では、参加装置２ｂのクライアント部２０内の遠隔操作送信部６５が、ストローク処理部３２（画像処理部３０）から、ストローク画像（Ｂ）のデータ（操作データ）を受信し、通信ネットワーク９を介して、主催装置２ａの通信制御部７０（遠隔操作受信部７５）に送信する（図１５参照）。

主催装置２ａ内では、サーバ部９０内の遠隔操作受信部７５により受信されたストローク画像（Ｂ）のデータ（操作データ）は、遠隔操作処理部８３を介して、操作合成処理部８４に送られる。

なお、ストローク画像（Ｂ）のデータは、ストロークデータＩＤ毎に示されるデータである（図６参照）。例えば、前述の通り、ユーザが電子ペン４を用いてアルファベット「Ｔ」を描いた場合、２つのストロークデータＩＤがそれぞれ示すストローク画像（Ｂ）のデータが順次送信されることとなる。

次に、ステップＳ４４において、主催装置２ａは、参加装置２ｂから送られたストローク画像（Ｂ）のデータが含まれた重畳画像（Ａ、Ｂ、Ｃ）をディスプレイ３ａに表示する。ここで、主催装置２ａの操作合成処理部８４は、遠隔操作処理部８３を介して順次送られる複数のストローク画像（Ｂ）のデータを合成して操作データ記憶部８４０に記憶するとともに、遠隔操作処理部８３に戻す。合成後のストローク画像（Ｂ）のデータは、主催装置２ａのサーバ部９０内の遠隔操作送信部７６及びクライアント部２０内の遠隔操作受信部６６を介して、表示重畳部３６に送信される。表示重畳部３６は、ＵＩ画像（Ａ）、出力画像（Ｃ）、及び背景画像（Ｄ）に合成後のストローク画像（Ｂ）を重畳し、その重畳画像（Ａ、Ｂ、Ｃ、Ｄ）を映像重畳部２８に出力する。映像重畳部２８は、重畳画像（Ａ、Ｂ、Ｃ、Ｄ）を主催装置２ａのディスプレイ３ａ上に表示する。

次のステップＳ４５では、主催装置２ａのサーバ部９０内の遠隔操作送信部７６（通信制御部７０）が、（ステップ４４において）遠隔操作処理部８３から合成後のストローク画像（Ｂ）のデータを受信して同じ主催装置２ａのクライアント部２０内の遠隔操作受信部６６に送信するとともに、ストローク画像（Ｂ）のデータを送信した参加装置２ｂ以外の参加装置２ｃのクライアント部２０内の通信制御部６０（遠隔操作受信部６６）に通信ネットワーク９を介して送信する。

次にステップＳ４６において、参加装置２ｃが重畳画像（Ａ、Ｂ、Ｃ）をディスプレイ３ｃに表示する。ここで、電子黒板２ｃの遠隔操作受信部６６は、ステップＳ４５において受信した合成後のストローク画像（Ｂ）のデータを画像処理部３０（表示重畳部３６）に出力する。表示重畳部３６は、ステップＳ４４と同様に、ＵＩ画像（Ａ）、出力画像（Ｃ）、及び背景画像（Ｄ）に合成後のストローク画像（Ｂ）を重畳し、その重畳画像（Ａ、Ｂ、Ｃ、Ｄ）を映像重畳部２８に出力する。映像重畳部２８は、重畳画像（Ａ、Ｂ、Ｃ、Ｄ）をディスプレイ３ｃに表示する。これにより、遠隔共有処理における操作データの共有処理が完了する。

なお、上述の処理では出力画像（Ｃ）と背景画像（Ｄ）との両方をディスプレイ３ｃに表示することとしたが、これに代えて、出力画像（Ｃ）と背景画像（Ｄ）との一方をＵＩ画像（Ａ）及び合成後のストローク画像（Ｂ）と重畳してディスプレイ３に表示することとしても良い。

〔遠隔共有処理への参加を終了する処理〕
最後に、参加装置２ｃを例にして、遠隔共有処理への参加を終了する処理について、参
加の終了処理の流れを示す図２４のシーケンス図に基づいて、説明する。

まず、ステップＳ４７において、参加装置２ｃのユーザがタッチパネル等の入力装置を用いて遠隔共有処理への参加の終了を要求すると、参加装置２ｃのクライアント部２０内の遠隔参加処理部６２が主催装置２ａのサーバ部９０内の通信制御部７０（遠隔接続要求受信部７１）に参加の終了を要求する。主催装置２ａの遠隔接続要求受信部７１は、電子黒板２ｃから参加の終了要求を受信し、電子黒板２ｃのＩＰアドレスとともに遠隔接続処理部８１に送信する。遠隔接続処理部８１は、参加装置２ｃの参加拠点情報（電子黒板２ｃのＩＰアドレス及び電子黒板２ｃが設置されている拠点の名称）を参加拠点管理テーブル８２０から削除し、遠隔接続結果送信部７２に電子黒板２ｃのＩＰアドレス及び削除した旨の通知を送信する。

次に、ステップＳ４８において、遠隔接続結果送信部７２（通信制御部７０）が、通信ネットワーク９を介して、参加装置２ｃのクライアント部２０内の通信制御部６０（遠隔参加処理部６２）に参加の終了を通知する。

次に、ステップＳ４９において、参加装置２ｃのクライアント部２０内の遠隔参加処理部６２が、遠隔共有処理の通信を切断する。これにより、遠隔共有処理における参加の終了処理が完了する。

これまでの説明から明らかなように、本実施形態では、電子黒板２のクライアント部２０が有する画像処理部３０（遠隔画像取得部９２及び表示重畳部３６等を含む）によって通信ネットワーク９を介して接続された情報処理装置、例えばノートＰＣ１１からの画像データを用いて表示画像データを作成する画像データ作成部が構成されている。また、ディスプレイ３の画面上に表示された操作対象機器設定用のボタンが、クリックされたとき、その設定内容を、接触検知部２４と座標検知部２２との検出結果に基づいて、イベント振分部２５が認識する。従って、本実施形態では、上記のボタンが表示されるディスプレイ３に搭載されたタッチパネル（接触センサ１１５）、これに対応する接触検知部２４と座標検知部２２とを含んで、入力されるイベントに応じた操作を行うための操作対象機器を設定可能な設定手段が構成されている。しかしながら、これに限らず、ハードウェアから成る操作対象機器設定用のスイッチなどを、設定手段として設けても良い。なお、上記の説明では、操作対象機器設定用のボタンのクリック操作により、操作対象機器を、情報処理装置（ノートＰＣ１１など）と、電子黒板２とのいずれにも設定できるものとした。しかし、これに限らず、操作対象機器設定用のボタンなどが操作されない間は、操作対象機器を電子黒板２自身とし、操作対象機器設定用のボタンなど操作された場合のみ、操作対象機器を通信ネットワークに接続された情報処理装置（ノートＰＣ１１など）に切り替えるようにしても良い。すなわち、そのような設定手段を、設けても良い。

以上詳細に説明したように、本実施形態に係る画像処理システム１では、電子黒板２は、通信ネットワーク９（例えば社内無線ＬＡＮ）を介して通信機能を有する情報処理装置としてのノートＰＣ１１に接続されている。また、電子黒板２は、通信ネットワーク９を介して接続されたノートＰＣ１１、より正確にはノートＰＣの第１の遠隔画面転送通信制御部７７との間で接続確立のための処理を行う第２の遠隔画面転送通信制御部８７と、接続が確立されたノートＰＣ１１から画像データを通信ネットワーク９を介して受信する画像受信部８８と、受信された前記画像データを用いて表示用画像データを作成する画像処理部３０（遠隔画像取得部９２、表示重畳部３６）と、該画像処理部３０で作成された表示用画像データに対応する画像を表示するためのディスプレイ３と、を備えている。このため、同一の部屋の内部にあるノートＰＣ１１と電子黒板２との距離が離れており、ケーブル１０等では両者を接続できない場合であっても、ノートＰＣ１１の画面に表示された画像（映像）をディスプレイ３上に表示させることができる。

また、ノートＰＣ１１（第１の情報処理装置）と電子黒板２との接続が確立されている状態で、通信ネットワーク９に接続されている第２の情報処理装置、例えばＰＣ、又は他の電子黒板などから接続要求が電子黒板２になされると、いわゆる後勝ち方式で電子黒板２に対する接続の切り換えが実行される。従って、接続の切り換えに際して、その度に、通信ケーブルを抜き差しする、あるいはスイッチを切り換えるなどの面倒な作業が不要である。

従って、本実施形態に係る電子黒板２は、例えば大会議室内での大人数の会合などに際しての、使い勝手が良好なものになっている。

さらに、本実施形態に係る電子黒板２によると、ノートＰＣ１１の画像がディスプレイ３上に表示されている際に、ユーザが拡大・縮小を指示する手Ｈによるジェスチャ操作（ピンチ・アウト）を行うことで、簡単にディスプレイ３上の表示画像の拡大・縮小を行うことができる。

また、本実施形態に係る電子黒板２によると、ディスプレイ３の画面上に操作対象機器設定用のボタンが表示されるようになっており、そのボタンをユーザが電子ペン４を用いてクリックすることで、操作対象機器をノートＰＣ１１と電子黒板２自身とのいずれにも設定できる。そして、ユーザにより操作対象機器設定用のボタンがクリックされ、操作対象機器がノートＰＣ１１に設定された場合、イベント振分部２５は、座標検知部２２及び接触検知部２４の検出結果に基づいて、操作対象機器がノートＰＣ１１に設定されたと認識し、その後に取得したイベントの情報をイベント送信部８９に送信する。イベント送信部８９は、受信したイベントの情報を通信ネットワーク９を介してノートＰＣ１１のイベント受信部７９に送信する。これにより、イベント受信部７９で受信したイベントの情報に応じた操作が、ノートＰＣ１１のＯＳによって実行されることになる。すなわち、イベント受信部７９で受信したイベントの情報がマウスイベントの情報であった場合には、ノートＰＣ１１の画面上でそのマウスイベントに応じたマウス操作がＯＳによって実行される。また、イベント受信部７９で受信したイベントの情報がキーボードイベントの情報であった場合には、ノートＰＣ１１のＯＳによってそのキーボードイベントに応じたキーボード入力が実行される。

この一方、ユーザにより操作対象機器設定用のボタンがクリックされ、操作対象機器が電子黒板２自身に設定された場合、イベント振分部２５は、座標検知部２２及び接触検知部２４の検出結果に基づいて、操作対象機器が電子黒板２自身に設定されたと認識し、その後に取得したイベントの情報を、その種類に応じて操作処理部２６、ジェスチャ処理部２７及びストローク処理部３２のいずれかに送信する。この場合、電子黒板２側で、イベント振分部２５が取得したイベントに対応する操作、処理が行われる。

これまでの説明から明らかなように、本実施形態に係る電子黒板２のユーザは、電子黒板２のディスプレイ３の画面上でマウス操作又はキーボード入力による、通常と同様の電子黒板２の操作に加えて、ノートＰＣ１１などの通信機能を有する情報処理装置の遠隔操作をも行うことができる。

なお、上記実施形態では、通信ネットワーク９が社内無線ＬＡＮである場合について例示したが、通信ネットワークは、社内有線ＬＡＮは勿論、社内ＬＡＮ以外の広域ネットワーク、例えばインターネット及び／又は携帯電話通信網をその一部に含むネットワークであっても良い。ただし、電子黒板２とノートＰＣ１１とが、同一の部屋の内部ではなく、遠隔地にある場合には、前述した後勝ち方式の電子黒板２に対する情報処理装置の接続の切り換えに際しては、その電子黒板２のユーザに対して接続の切り換えを予告するなどの工夫が必要になる。

また、上記実施形態では、共通化鍵暗号化の一例として、ラインダール（Ｒｉｊｎｄａｅｌ）アルゴリズムを用いるＡＥＳ暗号化を採用する場合について説明したが、これに限らず、他のアルゴリズムを用いるＲＣ４、ＤＥＳ、３ＤＥＳなどの暗号化を採用することもできる。

また、上記実施形態では、共通鍵暗号方式を用いるチャレンジ・レスポンス方式の接続認証処理を、電子黒板２とノートＰＣ１１との間での接続認証処理に採用するものとした。しかしながら、接続認証処理は、チャレンジ・レスポンス方式の接続認証処理に限定されるものではない。

また、上記実施形態では、前記接続確立のための処理を含む、情報処理装置（例えばノートＰＣ１１）と電子黒板２との間の通信に関する処理を行うためのプログラムは、電子黒板２が有する記憶装置内にダウンロード用のプログラムとして格納しておいても良いし、あるいは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報記録媒体に格納しておいても良い。前者の場合、そのプログラムを通信ネットワーク９を介して電子黒板２に接続されたノートＰＣ１１のユーザがダウンロードして、ノートＰＣ１１にインストールすることとすれば良い。後者の場合、その情報記録媒体を電子黒板２の付属品として、電子黒板のメーカがユーザに販売しても良い。電子黒板のメーカが、ノートＰＣ等をも製造している場合には、電子黒板、情報記録媒体及びノートＰＣをセット物としてユーザに販売しても良い。これらの場合には、その情報記録媒体は、通信ネットワークを介して接続される電子黒板とノートＰＣとを含んで構成される画像処理システムの一部を構成すると言える。

なお、上記実施形態では、画像処理装置の一例として電子黒板を採用したが、これに限らず、電子看板（デジタルサイネージ）、スポーツ、天気予報等で利用されるテレストレータ、遠隔画像（映像）診断装置等を採用することもできる。また、情報処理装置としてノートＰＣを採用する場合を例示したが、これに限らず、デスクトップ型ＰＣ、タブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末を採用することもできる。また、記録媒体の一例としてＵＳＢメモリを採用したが、これに限らず、ＳＤカード等の各種記録メディアを採用することもできる。

〔クリックイベントの処理〕
＜概要＞
本実施形態に係るクリックイベントの処理について説明する。本実施形態に係る電子黒板は、ストローク描画中にノートＰＣを遠隔でクリック操作できる点に特徴がある。
上述の通り、電子黒板２は遠隔操作によりノートＰＣ１１のマウス操作を実行できる。マウス操作を実行するためには、情報処理装置（ノートＰＣ１１）を操作対象機器に設定しておく必要がある。逆に電子黒板２に対して入力されたマウスイベントをストローク描画として処理するためには、電子黒板２が操作対象機器として設定されている必要がある。このように、マウス操作とストローク描画とを交互に実行するためには、その都度、操作対象機器を切り換える必要がある。
ここで、電子黒板２から実行するノートＰＣ１１のマウス操作は、アプリケーションの起動・終了やファイルのオープン・クローズといったクリック操作が多い。そこで、本実施形態においては、ノートＰＣ１１の画面の画像がディスプレイ３に表示され、且つ、ディスプレイ３にストローク画像を描画可能になっている場合のディスプレイ３上のクリックを、ノートＰＣ１１のクリック操作とするための処理方法を提供する。
前提として、第一の操作対象機器として電子黒板２が設定されており、電子ペン４を用いた手書きによるストローク画像の描画が可能な状態となっているものとする。さらに、第二の操作対象機器としてノートＰＣ１１が設定されており、ノートＰＣ１１の画面の画像がディスプレイ３の画面上に表示されているものとする。

ディスプレイ３（画面）に対する電子ペン４によるタッチ操作に起因して、電子ペン４が押されたイベント（ペンダウン）、電子ペン４が移動したイベント（ペンムーブ）、及び電子ペン４がリリースされたイベント（ペンアップ）が発生する。これらのペンイベントは、夫々マウスイベントで処理できる。例えば、Ｗｉｎｄｏｗｓ（登録商標）７の．ｎｅｔ４では、夫々ＭｏｕｓｅＤｏｗｎ／ＰｒｅｖｉｅｗＭｏｕｓｅＤｏｗｎイベント、ＭｏｕｓｅＭｏｖｅ／ＰｒｅｖｉｅｗＭｏｕｓｅＭｏｖｅイベント、およびＭｏｕｓｅＵｐ／ＰｒｅｖｉｅｗＭｏｕｓｅＵｐイベントを使用する。なお、各プレビューイベントはマウスイベントの受信前に受信することができるので、本実施形態に示す各処理はプレビューイベントに基づいて処理される。また、プレビューイベント後に受信されたマウスイベントは消去される。以下の説明においては、電子ペン４の操作（電子ペン４のタッチ入力）としてペンイベント、ペンダウン、ペンムーブ、ペンアップの各語を用いる。

図２５は、イベント振分部とストローク処理部の機能ブロック図である。本実施形態に係る電子黒板２のイベント振分部２５は、クリックイベント処理部２５１（描画クリック判定手段、クリックイベント生成手段）とクリックタイマー２５２（カウントダウンタイマー）とを備える。
クリックイベント処理部２５１は、受信したペンイベントがストローク画像の描画に関わるものか、又はクリック操作であるか否かを判定する処理を実行する。クリックイベント処理部２５１がペンイベントをストローク画像の描画に関わるものと判定した場合、イベント振分部２５はストローク処理部３２のキャッシュストローク処理部３２１にストローク画像を描画させる。クリックイベント処理部２５１がペンイベントをクリック操作と判定した場合、クリックイベント処理部２５１はクリックイベントを生成し、当該クリックイベントの情報をイベント送信部８９から操作対象機器であるノートＰＣ１１に送信する。
クリックタイマー２５２は、ユーザが点を描画した場合に当該点をクリック操作と誤検出しないように、遠隔操作中のノートＰＣ１１に対して送信するクリックイベントの送信タイミングを指定時間遅延させる処理を実行する。

本実施形態に係る電子黒板２のストローク処理部３２は、キャッシュストローク処理部３２１を備える。キャッシュストローク処理部３２１は、クリックイベント処理部２５１によって取得される一連のペンイベントの各座標を一時的にキャッシュメモリ［ｓ］に格納して、ストローク画像の描画を一時的に遅らせて描画する処理を実行する。
図２のＲＡＭ１０３の所定のワークエリア内には、ペンイベントの座標を一時的に格納するキャッシュストローク［ｓ］（キャッシュメモリ）が設けられる。キャッシュストローク［ｓ］は、ストローク画像を描画するための各ストロークデータ（図６）の座標配列データ（図７）に相当するデータ、即ちペンダウン、ペンムーブ、ペンアップの少なくとも各座標データが一時的に格納される。
クリックイベント処理部２５１によって受信されたペンイベントがストローク描画に関わるものである場合にキャッシュストローク処理部３２１は、キャッシュストローク［ｓ］内のデータを読み出して、ストローク画像として描画処理する。

本実施形態において使用する真偽値である「キャッシュモード」、「クリック監視モード」及び「連続描画フラグ」、並びに変数である「初期ペン位置［ｐ］」、「クリック位置［ｃ］」、及び「ペンアップ時間［ｔ］」について説明する。
「キャッシュモード」は、キャッシュストローク［ｓ］内に各ストロークデータ（図６）の座標配列データ（図７）に相当するデータを格納するか否かを示すフラグである。キャッシュモードは真偽値で表現され、値が「真」である場合は、受信したプレビューイベントに基づいて一連のペンダウン、ペンムーブの各座標データ等がキャッシュストローク［ｓ］内に格納される。
なお、ペンアップのプレビューイベントが受信された後、キャッシュモードは「偽」となる。即ち、キャッシュモードが「真」であることによって、キャッシュストローク［ｓ］内には一連のストロークデータのみが格納される。

「クリック監視モード」は、イベント振分部２５が受信したプレビューイベントに関して、クリック操作であるかを監視する必要があるか否かを示すフラグである。クリック監視モードは真偽値で表現され、値が「真」である場合は、受信したプレビューイベントがクリック操作に関わるものである可能性があり、監視する必要があることを示す。また、クリック監視モードの値が「偽」である場合は、受信したプレビューイベントがストローク描画に関わるものであり、クリック操作であるか否かを監視する必要がないことを示す。
「連続描画フラグ」は、キャッシュストローク［ｓ］内に格納したペンイベントの各データを連続的にストローク画像として描画するべきか否かを示すフラグである。連続描画フラグの値が「真」である場合は、イベント振分部２５が受信したプレビューイベントがストローク画像に関わるものであることを示すと共に、キャッシュストローク処理部３２１は、ストローク画像を描画する。連続描画フラグの値が「偽」である場合、キャッシュストローク処理部３２１は、キャッシュストローク［ｓ］内に格納した座標配列データに基づくストローク画像の描画を実行しない。

「初期ペン位置［ｐ］」は、最新のペンダウンのペン位置を格納する変数である。
「クリック位置［ｃ］」は、ペンアップ後に一連のペンイベントのペンダウンのペン位置を格納する変数である。
「ペンアップ時間［ｔ］」は、点以外のストローク画像のペンアップ時間を格納する変数である。
以上説明した夫々の真偽値と変数の値は、それぞれ図２のＲＡＭ１０３の所定のワークエリア内に記憶される。

＜ペンダウン処理＞
イベント振分部２５がペンダウンのプレビューイベント（ＰｒｅｖｉｅｗＭｏｕｓｅＤｏｗｎ）を受信した場合の処理について説明する。図２６は、ペンダウンのプレビューイベントを受信した時の処理を示すフローチャートである。本処理では、キャッシュストローク［ｓ］、キャッシュモード、クリック監視モード、及び連続描画フラグが初期化される。

ステップＳ１０１において、クリックイベント処理部２５１は、キャッシュモードが「偽」であるか否かを確認する。キャッシュモードが「真」である場合（ステップＳ１０１にてＮＯ）は処理を終了する。キャッシュモードが「偽」である場合（ステップＳ１０１にてＹＥＳ）はステップＳ１０３の処理を実行する。
ステップＳ１０３において、クリックイベント処理部２５１は、初期ペン位置［ｐ］にペンダウンの座標を代入する。
ステップＳ１０５において、キャッシュストローク処理部３２１は、キャッシュストローク［ｓ］を空にする。即ち、キャッシュストローク処理部３２１は、キャッシュストローク［ｓ］を初期化する。
ステップＳ１０７において、キャッシュストローク処理部３２１は、キャッシュストローク［ｓ］に初期ペン位置［ｐ］のデータを追加する。
ステップＳ１０９において、クリックイベント処理部２５１は、キャッシュモードを「真」にする。
ステップＳ１１１において、クリックイベント処理部２５１は、クリック監視モードを「真」にする。
ステップＳ１１３において、クリックイベント処理部２５１は、連続描画フラグを「真」にする。
ステップＳ１１５において、クリックイベント処理部２５１は、ペンダウンのプレビューイベントの受信後に受信したペンダウンイベントを消去する。

＜ペンムーブ処理＞
イベント振分部２５がペンムーブのプレビューイベント（ＰｒｅｖｉｅｗＭｏｕｓｅＭｏｖｅ）を受信した時の処理について説明する。図２７は、ペンムーブのプレビューイベントを受信した時の処理を示すフローチャートである。本処理は、ペンムーブのイベントがクリック操作に関わるものかストローク画像の描画に関わるものであるかをクリックイベント処理部２５１が判定する処理である。ペンムーブのイベントがクリック操作に関わるものではないとクリックイベント処理部２５１が判定したときに、キャッシュストローク処理部３２１はストローク画像の描画を開始する。

ステップＳ１２１において、クリックイベント処理部２５１は、キャッシュモードが「真」であるか否かを確認する。キャッシュモードが「偽」である場合（ステップＳ１２１にてＮＯ）は、処理を終了する。キャッシュモードが「真」である場合（ステップＳ１２１にてＹＥＳ）は、ステップＳ１２３の処理を実行する。
ステップＳ１２３において、クリックイベント処理部２５１は、クリック監視モードが「真」であるか否かを確認する。クリック監視モードが「偽」である場合（ステップＳ１２３にてＮＯ）は、ステップＳ１３３の処理を実行する。クリック監視モードが「真」である場合（ステップＳ１２３にてＹＥＳ）は、ステップＳ１２５の処理を実行する。

ステップＳ１２５において、クリックイベント処理部２５１は、初期ペン位置［ｐ］（即ち、ペンダウンの座標位置）と、ペンムーブの座標位置との距離が「クリック距離閾値」よりも大きいか否かを判断する。
ここで「クリック距離閾値」は、ディスプレイ３に対する電子ペン４の接触位置が移動したか否かに基づいてストローク画像の描画が実行されたかクリック操作が実行されたかを判断するための閾値である。クリック操作である場合は電子ペン４の接触位置がほとんど移動しないのに対し、ストローク画像の描画中には、点を描く場合を除いて電子ペン４の接触位置が移動する。従って、電子ペン４の接触位置が「クリック距離閾値」を超えて移動した場合には、ストローク画像の描画が実行されたものと判断して、以降の処理が実行される。
初期ペン位置［ｐ］の座標位置とペンムーブの座標位置との距離が「クリック距離閾値」よりも小さい場合（ステップＳ１２５にてＮＯ）は、ステップＳ１３３の処理を実行する。初期ペン位置［ｐ］の座標位置とペンムーブの座標位置との距離が「クリック距離閾値」よりも大きい場合（ステップＳ１２５にてＹＥＳ）、即ちペンイベントがストローク画像の描画に関わるものである場合は、ステップＳ１２７以降の処理を実行する。

ステップＳ１２７において、クリックイベント処理部２５１は、クリック監視モードを「偽」にする。本ステップ以降は、ペンアップのプレビューイベントが検知されるまでのペンイベントが、ストローク画像の描画に関わるものであるとして、一連のペンイベントが処理される。
ステップＳ１２９において、クリックイベント処理部２５１は、連続描画フラグを「真」にする。
ステップＳ１３１において、キャッシュストローク処理部３２１は、連続描画フラグが「真」となったことを受けてストローク画像の描画を開始する。即ち、キャッシュストローク処理部３２１はキャッシュストローク［ｓ］内のデータを読み出して、ストローク画像の描画を開始する。
ステップＳ１３３において、キャッシュストローク処理部３２１は、キャッシュストローク［ｓ］にペンムーブのペン位置を追加する。
ステップＳ１３５において、クリックイベント処理部２５１は、ペンムーブのプレビューイベントの受信後に受信したペンムーブイベントを消去する。

なお、このフローチャートに示した処理は、１つのペンダウンと１つのペンアップを含む一連のペンイベント内で複数のペンムーブイベントを受信した場合には、ペンムーブイベントを受信する度に実行される。この場合、ステップＳ１２５においてクリックイベント処理部２５１は、初期ペン位置［ｐ］と最新のペンムーブの座標位置との距離が「クリック距離閾値」よりも大きいか否かを判断する。

＜ペンアップ処理＞
イベント振分部２５がペンアップのプレビューイベント（ＰｒｅｖｉｗｅＭｏｕｓｅＵｐ）を受信した時の処理について説明する。図２８は、ペンアップのプレビューイベントを受信した時の処理を示すフローチャートである。
イベント振分部２５が受信したペンアップイベントがクリック操作に関わるイベントである場合に、遠隔操作中のノートＰＣ１１に対してイベント送信部８９によりクリックイベントを送信する処理を実行する。しかし、アルファベットの「ｉ」のように点を手書き描画する場合等に当該点がクリック操作として判断されないようにする必要がある。そこで本処理においては、クリックイベントを送るタイミングをクリックタイマーによって指定時間遅延させる。

ステップＳ１４１において、クリックイベント処理部２５１は、キャッシュモードが「真」であるか否かを確認する。キャッシュモードが「偽」である場合（ステップＳ１４１にてＮＯ）は、処理を終了する。キャッシュモードが「真」である場合（ステップＳ１４１にてＹＥＳ）は、ステップＳ１４３の処理を実行する。
ステップＳ１４３において、クリックイベント処理部２５１は、クリック監視モードが「真」であるか否かを確認する。クリック監視モードが「偽」である場合（ステップＳ１４３にてＮＯ）は、ステップＳ１５３の処理を実行する。クリック監視モードが「真」である場合（ステップＳ１４３にてＹＥＳ）は、ステップＳ１４５の処理を実行する。

ステップＳ１４５において、クリックイベント処理部２５１は、クリック位置［ｃ］に初期ペン位置［ｐ］を代入する。ここで、ストローク画像が連続的に描画されている場合、ステップＳ１３に示したように初期ペン位置［ｐ］には最新のペンダウンのペン位置が代入される。そのため、クリックイベント処理部２５１は、クリックの位置又は描画された点の位置をクリック位置［ｃ］に一時的に記憶させ、クリック位置の座標が失われないようにする。
ステップＳ１４７において、クリックイベント処理部２５１は、クリックタイマー２５２を停止させると共にリセット処理をする。
ステップＳ１４９において、クリックイベント処理部２５１は、クリックタイマー２５２をスタートする。
ステップＳ１５１において、クリックイベント処理部２５１は、クリック監視モードを「偽」にする。

ステップＳ１５３において、クリックイベント処理部２５１は、ペンアップ時間［ｔ］に現在の時間を代入する。ここで、ペンアップ時間［ｔ］には、クリック監視モードが「偽」である場合、即ちペンイベントがストローク描画に関わるものと判定された場合にのみ、新たに時間が代入される。逆に、クリック監視モードが「真」である場合、即ち、クリック操作かストロークによる点描画かを監視する必要がある場合、ペンアップ時間［ｔ］には新たな時間が代入されない。
ステップＳ１５５において、クリックイベント処理部２５１は、キャッシュモードを「偽」にする。
ステップＳ１５７において、クリックイベント処理部２５１は、ペンアップのプレビューイベントの受信後に受信したペンアップイベントを消去する。

＜クリックタイマー完了時の処理＞
クリックタイマーが完了した時の処理について説明する。図２９は、クリックタイマーが完了した時の処理を示すフローチャートである。本処理は、ユーザが手書き画像を描画してすぐに点を打った場合や、アルファベットの「ｉ」の字のように点を打ってすぐに手書き画像を描画した場合に、当該点をクリック操作ではなくストローク画像と判定する処理である。

ステップＳ１６１において、クリックイベント処理部２５１は、クリックタイマーを停止させる。
ステップＳ１６３において、クリックイベント処理部２５１は、「（現在の時間−ペンアップ時間）＜（連続描画閾値）」又は「連続描画フラグが真」であるか否かを確認する。本ステップにおける条件の詳細については後述する。条件を満たす場合（ステップＳ１６３にてＹＥＳ）は、ステップＳ１６５の処理を実行する。条件を満たさない場合（ステップＳ１６３にてＮＯ）は、ステップＳ１６７の処理を実行する。
ステップＳ１６５において、クリックイベント処理部２５１は、クリック位置［ｃ］に対応するディスプレイ３上にストローク画像として「点」を描画する。
ステップＳ１６７において、クリックイベント処理部２５１は、クリック位置［ｃ］におけるクリックイベントを、イベント送信部８９を介して遠隔処理対象のノートＰＣ１１に送信する。
ステップＳ１６９において、クリックイベント処理部２５１は、連続描画フラグを「偽」にする。

以上の処理をタイムチャートに基づいて説明する。図３０（ａ）〜（ｃ）は、クリックイベントの処理を説明するためのタイムチャートの一例を示す図である。なお、図においてＤはペンダウン、Ｍ・・・はペンムーブ、Ｕはペンアップの各イベントを示す。また一組の「Ｄ、Ｍ・・・、Ｕ」は一連のペンイベントを示す。

図３０（ａ）は、点画像のストロークを入力した後に線画像等のストロークを入力する例を示している。
この場合は、先の点画像のペンアップ時にクリックタイマー２５２が計時を開始し、後のストローク画像の入力中（ペンダウン後、ペンアップ前）にクリックタイマーが計時を終了する。クリックタイマー停止時において連続描画フラグが「真」となっているので（ステップＳ１６３にてＹＥＳ）、ステップＳ１６５においてクリック位置［ｃ］に対応するディスプレイ３上にストローク画像として点が描画される。
このようにクリックタイマー２５２の時間は、点画像のペンアップ後に連続して入力されるストローク画像のペンムーブイベントが発行されている間に計時が完了するように設定される。

図３０（ｂ）は、線画像等のストロークを入力した後に点画像のストロークを入力する例を示している。点画像のストロークによって発生するペンイベントは、点画像のストロークに係るイベントかクリック操作に係るイベントかが判定されるべき判定対象ペンイベントである。
この場合は、先のストロークのペンアップ時（判定対象ペンイベントよりも前に取得された他のストロークに係るペンイベントの終了時）にペンアップ時間［ｔ］が代入される（ステップＳ１５３）。また、後の点画像のペンアップ時にクリックタイマーが計時を開始する。クリックタイマー完了時において「（現在の時間−ペンアップ時間）＜（連続描画閾値）」が「真」となるので、（ステップＳ１６３にてＹＥＳ）、ステップＳ１６５においてクリック位置［ｃ］に対応するディスプレイ３上にストローク画像として点が描画される。
ここで「現在の時間−ペンアップ時間」は、判定対象ペンイベントよりも前に取得された他のストロークに係るペンイベントの終了からの経過時間を示す。なお、本例においては点の描画後にストローク画像の描画が実行されないので、連続描画フラグは「偽」のままである。

図３０（ｃ）は、線画像等のストロークを入力した後にクリック操作する例を示している。クリック操作によって発生するペンイベントは、点画像のストロークに係るイベントかクリック操作に係るイベントかが判定されるべき判定対象ペンイベントである。
この場合は、先のストローク画像のペンアップ時にペンアップ時間［ｔ］が代入される（ステップＳ１５３）。また、後のクリック操作のペンアップ時にクリックタイマーが計時を開始する。クリックタイマー完了時において「（現在の時間−ペンアップ時間）＜（連続描画閾値）」が「偽」、且つ連続描画フラグが「偽」となるので、（ステップＳ１６３にてＮＯ）、ステップＳ１６７においてクリック位置［ｃ］におけるクリックイベントがノートＰＣ１１に送信される。
このように「連続描画閾値」は、クリックタイマー２５２に設定される時間に対して、連続する２つのストローク画像のペンアップ時間の間隔として許容される最大時間を加えた時間に設定される。

＜効果＞
以上のように本実施形態によれば、連続してストローク画像を描画する場合には、画像として入力した点がクリック操作と認識されない。従って、操作対象機器を情報処理装置に切り換えることなくストローク画像の描画中に情報処理装置の遠隔操作を実行できるので、ユーザビリティが向上する。

〔本発明の作用、効果のまとめ〕
＜第一の実施態様＞
本態様に係る画像処理装置（電子黒板２）は、画面（ディスプレイ３）に対する操作に基づいてペンイベントを取得するイベント取得手段（イベント振分部２５）と、ペンイベントが点画像のストローク又はクリック操作に係るイベントかを判定する描画クリック判定手段（クリックイベント処理部２５１）と、描画クリック判定手段が判定するべき判定対象ペンイベントを受信した場合に計時を開始するカウントダウンタイマー（クリックタイマー２５２）と、を備え、描画クリック判定手段は、計時を完了し、イベント取得手段が他のストロークに係るペンイベントを取得している場合、又は、判定対象ペンイベントよりも前に取得された他のストロークに係るペンイベントの終了からの経過時間が所定時間内である場合に、判定対象ペンイベントを点画像のストロークに係るイベントと判定することを特徴とする。
本態様によれば、点画像のストロークとクリック操作を判別できるので、ストローク描画中にノートＰＣを遠隔でクリック操作できる。

＜第二の実施態様＞
本態様に係る画像処理装置（電子黒板２）において、描画クリック判定手段（クリックイベント処理部２５１）は、判定対象ペンイベントを点画像のストロークに係るイベントと判定しない場合に、判定対象ペンイベントをクリック操作に係るイベントと判定することを特徴とする。
本態様によれば、点画像のストロークとクリック操作を判別できるので、ストローク描画中にノートＰＣを遠隔でクリック操作できる。

＜第三の実施態様＞
本態様に係る画像処理装置（電子黒板２）は、各ペンイベントの表示画面（ディスプレイ３）上の位置座標を検知する座標検知手段（座標検知部２２）と、イベント取得手段（イベント振分部２５）によって取得される一連のペンイベントについて、座標検知手段が検知した各座標を一時的にキャッシュメモリ［ｓ］に格納するキャッシュキャッシュストローク処理手段（キャッシュストローク処理部３２１）と、を備え、キャッシュストローク処理手段は、ペンイベントがストロークに係るイベントである場合にキャッシュメモリからペンイベントの座標を読み出してストローク画像を描画することを特徴とする。
本態様によれば、一連のペンイベントの各座標を一時的にキャッシュメモリ［ｓ］に格納してストロークの描画を遅延させるので、点画像のストロークかクリック操作かを確実に判定できる。

＜第四の実施態様＞
本態様に係る画像処理装置において、描画クリック判定手段（クリックイベント処理部２５１）は、一連のペンイベントに含まれるペンダウンイベントとペンムーブイベントの位置座標の距離がクリック距離閾値を超える場合にペンイベントを線画像のストロークに係るイベントと判定し、ペンダウンイベントとペンムーブイベントの位置座標の距離がクリック距離閾値以下の場合にペンイベントを点画像のストロークに係るイベント又はクリック操作に係るイベントと判定することを特徴とする。
本態様によれば、ストロークであることが明らかなペンイベントを判定対象ペンイベントから除外するので、点画像のストロークかクリック操作かの判定処理が容易となる。

＜第五の実施態様＞
本態様に係る画像処理システムは、請求項１乃至３の何れか一項に記載の画像処理装置（電子黒板２）と、画像処理装置と通信ネットワーク９を介して接続された情報処理装置（ノートＰＣ１１）と、を備えた画像処理システム１であって、画像処理装置は、描画クリック判定手段（クリックイベント処理部２５１）が判定対象ペンイベントをクリック操作に係るイベントと判定した場合にクリックイベントを生成するクリックイベント生成手段（クリックイベント処理部２５１）と、クリックイベントを通信ネットワークを介して情報処理装置に送信するイベント送信部８９と、を備えたことを特徴とする。
本態様によれば、第一の実施態様と同様の効果を奏する。

＜第六の実施態様＞
本態様に係る画像処理方法は、イベント取得手段（イベント振分部２５）が、画面（ディスプレイ３）に対する操作に基づいてペンイベントを取得するステップと、描画クリック判定手段（クリックイベント処理部２５１）が、ペンイベントが点画像のストローク又はクリック操作に係るイベントかを判定するステップと、カウントダウンタイマー（クリックタイマー２５２）が、描画クリック判定手段が判定するべき判定対象ペンイベントを受信した場合に計時を開始するステップと、を含み、描画クリック判定手段は、計時を完了し、イベント取得手段が他のストロークに係るペンイベントを取得している場合、又は、判定対象ペンイベントの直前に取得された他のストロークに係るペンイベントの終了からの経過時間が所定時間内である場合に、判定対象ペンイベントを点画像のストロークに係るイベントと判定することを特徴とする。
本態様によれば、第一の実施態様と同様の効果を奏する。

１…画像処理システム、２…電子黒板（画像処理装置）、３…ディスプレイ（表示手段、画面）、９…通信ネットワーク、１１…ノートＰＣ（情報処理装置）、２０…クライアント部、２１…映像取得部、２２…座標検知部（設定手段の一部）、２３…自動調整部、２４…接触検知部（設定手段の一部）、２５…イベント振分部（イベント取得手段）、２５１…クリックイベント処理部（描画クリック判定手段、クリックイベント生成手段）、２５２…クリックタイマー（カウントダウンタイマー）、２６…操作処理部、２７…ジェスチャ処理部、２８…映像重畳部、３０…画像処理部（画像データ作成部）、３１…画像取得部、３２…ストローク処理部、３２１…キャッシュストローク処理部（キャッシュストローク処理手段）、３３…ＵＩ画像生成部、３４…背景生成部、３５…レイアウト管理部、３６…表示重畳部、３７…ページ処理部、４０…ファイル処理部。７７…第１の遠隔画面転送通信制御部（第１の通信制御手段）、７８…画像送信部、７９…イベント受信部、８７…第２の遠隔画面転送通信制御部（第２の通信制御手段及び通信制御手段）、８８…画像受信部（画像データ受信部）、８９…イベント送信部８９、９０…サーバ部、９１…キーイベント入力部、１１５…接触センサ（設定手段の一部）、３００…ページデータ記憶部、３１０…遠隔ライセンス管理テーブル

特開２０１３−１３１２０４公報

Claims (6)

1. 画面に対する操作に基づいてペンイベントを取得するイベント取得手段と、
   前記ペンイベントが点画像のストローク又はクリック操作に係るイベントかを判定する描画クリック判定手段と、
   前記描画クリック判定手段が判定するべき判定対象ペンイベントを受信した場合に計時を開始するカウントダウンタイマーと、を備え、
   前記描画クリック判定手段は、前記計時を完了し、前記イベント取得手段が他のストロークに係るペンイベントを取得している場合、又は、前記判定対象ペンイベントよりも前に取得された他のストロークに係るペンイベントの終了からの経過時間が所定時間内である場合に、前記判定対象ペンイベントを点画像のストロークに係るイベントと判定することを特徴とする画像処理装置。
2. 前記描画クリック判定手段は、前記判定対象ペンイベントを点画像のストロークに係るイベントと判定しない場合に、前記判定対象ペンイベントをクリック操作に係るイベントと判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記各ペンイベントの前記画面上の位置座標を検知する座標検知手段と、前記イベント取得手段によって取得される一連の前記ペンイベントについて、前記座標検知手段が検知した各座標を一時的にキャッシュメモリに格納するキャッシュストローク処理手段と、を備え、
   前記キャッシュストローク処理手段は、前記ペンイベントがストロークに係るイベントである場合に前記キャッシュメモリから前記ペンイベントの座標を読み出してストローク画像を描画することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記描画クリック判定手段は、前記一連のペンイベントに含まれるペンダウンイベントとペンムーブイベントの位置座標の距離がクリック距離閾値を超える場合に前記ペンイベントを線画像のストロークに係るイベントと判定し、
   前記ペンダウンイベントと前記ペンムーブイベントの位置座標の距離が前記クリック距離閾値以下の場合に前記ペンイベントを点画像のストロークに係るイベント又はクリック操作に係るイベントと判定することを特徴とする請求項３に記載の画像処理装置。
5. 請求項１乃至４の何れか一項に記載の画像処理装置と、前記画像処理装置と通信ネットワークを介して接続された情報処理装置と、を備えた画像処理システムであって、
   前記画像処理装置は、前記描画クリック判定手段が前記判定対象ペンイベントをクリック操作に係るイベントと判定した場合にクリックイベントを生成するクリックイベント生成手段と、前記クリックイベントを前記通信ネットワークを介して前記情報処理装置に送信するイベント送信部と、を備えたことを特徴とする画像処理システム。
6. イベント取得手段が、画面に対する操作に基づいてペンイベントを取得するステップと、
   描画クリック判定手段が、前記ペンイベントが点画像のストローク又はクリック操作に係るイベントかを判定するステップと、
   カウントダウンタイマーが、前記描画クリック判定手段が判定するべき判定対象ペンイベントを受信した場合に計時を開始するステップと、を含み、
   前記描画クリック判定手段は、前記計時を完了し、前記イベント取得手段が他のストロークに係るペンイベントを取得している場合、又は、前記判定対象ペンイベントよりも前に取得された他のストロークに係るペンイベントの終了からの経過時間が所定時間内である場合に、前記判定対象ペンイベントを点画像のストロークに係るイベントと判定することを特徴とする画像処理方法。

Images