JP2017033543A - 画像処理装置、画像処理システム、及び画像処理方法 - Google Patents

Abstract

【課題】電子情報端末からの操作イベントを適切に処理する。【解決手段】複数の電子情報端末２０（２０−１〜２０−ｎ）が通信ネットワークを介して接続されたインタラクティブホワイトボード４０であって、画像を取得するキャプチャ部２７０と、複数の前記画像から所定形式の画像を生成するフレーム出力部４３０と、各電子情報端末２０に配信された画像に対して行われた操作に関わる操作イベントを各電子情報端末２０から受信する通信制御部２４０と、所定の機能を実行する機能実行部４１０とを備え、機能実行部は、ストロークを描画する処理を実行中に、ページ切り替え処理の実行を制限する。【選択図】図１

Description

本発明は画像処理装置、画像処理システム、及び画像処理方法に関する。

近年、画像処理装置として、インタラクティブホワイトボード（Interactive White board：ＩＷＢ）と称される電子情報ボードが広く使用されている。このインタラクティブホワイトボードは、液晶パネル等のフラットパネルを用いたディスプレイと、ディスプレイの表示面における入力用の物体、例えば入力ペンあるいは指が接触した位置の座標を検知する座標検知装置であるタッチパネルと、座標検知装置から出力された座標データに基づいてディスプレイの表示面に書き込まれた文字や数字、図形を含む各種画像を表示させる制御装置とを組み合わせた構成を備える。この種の装置では、資料等を拡大表示できる他、入力ペン又は指でディスプレイの表示面に書き込みを行える。

また、インタラクティブホワイトボードでは、無線ＬＡＮ（Local Area Network）等を介して、例えばタブレット型コンピュータ等の電子情報端末に接続して、この電子情報端末にインタラクティブホワイトボードのディスプレイに表示された画像を表示し、電子情報端末においても画像にストロークの書き込み等の操作を行うことができる。電子情報端末で実行された書き込み等の操作イベントは、インタラクティブホワイトボードに伝えられ、インタラクティブホワイトボードの操作イベントとして処理され、ストロークがディスプレイに表示される。

このようなインタラクティブホワイトボードでは、複数の電子情報端末を接続して画像を配信し、各電子情報端末においてストロークの描画等の操作を行い、各電子情報端末で実行した操作に基づいて、各電子情報端末での描画内容をインタラクティブホワイトボードにおける操作イベントとして、ディスプレイに表示したいという要望がある。

特許文献１には、サーバーから電子情報端末に映像を伝送するにあたり、サーバーが複数の画像をＨＴＭＬ（Hyper Text Markup Language）５のコンテンツとしてレンダリングし、そのレンダリング結果を圧縮データとして電子情報端末に配信する画像配信システムが開示されている。

インタラクティブホワイトボードのディスプレイには、各電子情報端末からストロークの描画を行える表示画面が複数のページで構成される。インタラクティブホワイトボードの表示画面のページを切り替えながら各電子情報端末のストロークを描画するものが知られている。このようなインタラクティブホワイトボードにおいてストロークの描画中にページが切り替わってしまうと、本来描画されるべきページのストロークがユーザの意図に反して複数のページに描画されるという問題がある。特許文献１には、上記問題の解決方法は記載されていない。
本発明は上記に鑑みてなされたものであり、ストロークの描画等の特定の処理が、ホワイトボードの表示画面のページを切り替えるといった他の処理の影響を受けることなく実行され、所望の処理結果を得られるようにした画像処理装置、画像処理システム、及び画像処理方法を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、複数の電子情報端末が通信ネットワークを介して接続された画像処理装置であって、画像を取得する画像取得手段と、複数の前記画像から所定形式の画像を生成する画像生成手段と、前記各電子情報端末に配信された画像に対して行われた操作に関わる操作イベントを前記各電子情報端末から受信する通信手段と、前記各操作イベントに付された識別情報に基づいて、前記操作イベントを行った電子情報端末を識別する電子情報端末識別手段と、を備えたことを特徴とする。

本発明によれば、特定の処理が他の処理の影響を受けることなく実行され、所望の処理結果を得ることが可能となる。

本発明の一実施形態に係るインタラクティブホワイトボードシステムの構成を示すブロック図である。 本発明の一実施形態に係るインタラクティブホワイトボードのハードウェア構成を示すブロック図である。 インタラクティブホワイトボードの機能ブロック図である。 電子処理端末の機能ブロック図である。 画像の受信準備の手順を示すシーケンス図である。 圧縮データ配信の手順を示すシーケンス図である。 操作イベント入力の手順を示すシーケンス図である。 ページ切り替え指示があった場合の処理手順を示すフローチャートである。 ストロークの描画中にページ切り替え操作を制限する処理の手順を示すシーケンス図である。 ストロークの描画中にページ切り替え操作を制限する変形例に係る処理の手順を示すシーケンス図である。 ストロークの描画中にページ切り替え操作を制限する第２の処理の手順を示すシーケンス図である。 ストロークの描画中にページ切り替え操作を制限する第３の処理の手順を示すシーケンス図である。

本発明の実施形態に係る画像処理装置、画像処理システム、及び画像処理方法について説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
画像処理装置の一例であるインタラクティブホワイトボードは、ディスプレイとして液晶パネル等のフラットパネルを備え、ディスプレイの表示面における入力用の物体、例えば入力ペンあるいは指が接触した位置の座標を検知する座標検知装置であるタッチパネルと、座標検知装置から出力された座標データに基づいてディスプレイの表示面に書き込まれた文字、数字、又は図形を含む各種画像をディスプレイに表示させる制御装置とを備える。インタラクティブホワイトボードにおいては、資料等を拡大表示できる他、入力ペン又は指でディスプレイの表示面に書き込みを行える。インタラクティブホワイトボードは、ディスプレイの表示面に書き込まれた各種画像を電子処理端末に配信するものである。

＜ＩＷＢシステム＞
続いて、画像処理システムの一例であるインタラクティブホワイトボードシステム（ＩＷＢシステム）について説明する。
図１は本発明の一実施形態に係るインタラクティブホワイトボードシステムの構成を示すブロック図である。本実施形態に係るインタラクティブホワイトボードシステムは、画像処理装置であるインタラクティブホワイトボード４０と、このインタラクティブホワイトボード４０に無線ＬＡＮ（local area network）で接続された複数の電子情報端末２０（２０−１、２０−２、…、２０−ｎ）とで構成される。無線ＬＡＮは例えば社内ネットワークにおいて使用される。なお、インタラクティブホワイトボード４０と、電子情報端末２０との接続は無線ＬＡＮに限らず、有線ＬＡＮ、インターネット等、有線、無線を問わず各種の通信ネットワークを使用できる。

図２は本発明の一実施形態に係るインタラクティブホワイトボードのハードウェア構成を示すブロック図である。インタラクティブホワイトボード４０は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤＤ（Hard Disc Drive）５０４、ＨＤＣ(Hard Disk Controller)５０５、メディアドライブ５０７、ディスプレイ（画像表示装置）５０８、インターフェース（I/F）５０９、キーボード５１１、マウス５１２、マイク５１３、スピーカ５１４、ＧＰＵ(Graphics Processing Unit)５１５を拡張バスライン５２０で接続した構成を有する。

ＣＰＵ５０１は、インタラクティブホワイトボード４０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶している。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤＤ５０４は、プログラム等の各種データを記憶している。ＨＤＣ５０５は、ＣＰＵ５０１の制御にしたがってＨＤＤ５０４に対する各種データの読み出し又は書き込みを制御する。メディアドライブ５０７は、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ５０８は、各種情報を表示するディスプレイ５０８、Ｉ／Ｆ５０９は、通信ネットワークを介してデータ送信又はドングルの接続を行う。ＧＰＵ５１５には、ＧＰＵ５１５の駆動に用いられるプログラムを記憶したＲＯＭ５１６、ＧＰＵ５１５のワークエリアとして使用されるＲＡＭ５１７が接続されている。拡張バスライン５２０は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等を備える。

更にインタラクティブホワイトボード４０は、タッチパネル５１９を備える。このタッチパネル５１９により、入力ペン又は指のディスプレイ５０８における接触位置の座標を検出する。また、インタラクティブホワイトボード４０において、ディスプレイ５０８は液晶ディスプレイ等、大画面のものである。インタラクティブホワイトボード４０では、ＣＰＵ５０１が所定のソフトウエアを実行することにより図１に示すホワイトボードアプリケーション４００と、配信サービス２００とを実現する。

図１に示す電子情報端末２０は、ノート型パーソナルコンピュータ、タブレット型コンピュータ等であり、各種のＯＳ（Operation System）、例えば、ｉＯＳ、Ａｎｄｒｏｉｄ（登録商標）、ｗｉｎｄｏｗｓ（登録商標）、ｍａｃＯＳ（登録商標）に基づいて動作する。

次に図２に基づいてインタラクティブホワイトボードシステムの動作の概略について説明する。インタラクティブホワイトボード４０において、ホワイトボードアプリケーション４００は、入力ペン又は指によるディスプレイ５０に対するストロークの書き込みや、ページの操作をタッチパネルで検出する。また、ホワイトボードアプリケーション４００は、タッチパネルで検出された操作イベントに基づいてディスプレイ５０にストローク５１等を描画する。
また、ホワイトボードアプリケーション４００は、電子情報端末２０に配信するディスプレイ５０の画像（ホワイトボード画像）を配信サービス２００に送る（ステップＳ１１）。配信サービス２００は、ホワイトボードアプリケーション４００から送られる複数の画像を圧縮データに変換し、各電子情報端末２０に配信する（ステップＳ１２）。この例では、１台のインタラクティブホワイトボード４０から複数（ｎ台）の電子情報端末２０−１、２０−２、…、２０−ｎに同時に配信がなされる。

一方、電子情報端末２０は、配信されたホワイトボード画像を表示し、この表示された画像に対してタッチ操作又はマウス操作を行うことができる。タッチ操作又はマウス操作に基づいて発生した操作イベントはインタラクティブホワイトボード４０の配信サービス２００に送信される（ステップＳ１３）。

操作イベントを受信した配信サービス２００は、ホワイトボードアプリケーション４００に操作イベントを送出する（ステップＳ１４）。操作イベントを受け取ったホワイトボードアプリケーション４００は操作に応じた処理、即ちディスプレイ５０へのストローク５１等の描画を行う。ホワイトボードアプリケーション４００に入力された操作イベントには座標情報が付随している。このため、ホワイトボードアプリケーション４００は、座標情報からストロークを生成してディスプレイ５０の画像に描画を行う。よって、電子情報端末２０は遠隔操作によりインタラクティブホワイトボード４０のディスプレイ５０にストローク等を描画することができる。

また、操作イベントを処理した結果は画像として電子情報端末２０に再度配信されるので、電子情報端末２０を使用しているユーザはインタラクティブな操作をすることが可能である。
更に、配信サービス２００は、電子情報端末２０を識別する端末ＩＤを付与して操作イベントをホワイトボードアプリケーション４００に送出するので、ホワイトボードアプリケーション４００は、操作イベントが何れの電子情報端末２０のものかを判別することができる。このため、複数の電子情報端末２０による操作が混乱することがない。

次にインタラクティブホワイトボード４０の構成について説明する。図３はインタラクティブホワイトボードの機能ブロック図である。インタラクティブホワイトボード４０は、上述のようにホワイトボードアプリケーション４００と、配信サービス２００とを備える。
ホワイトボードアプリケーション４００は、配信サービス２００と連携してインタラクティブホワイトボード４０のユーザにホワイトボードとしての機能を提供するものである。ホワイトボードアプリケーション４００は、インタラクティブホワイトボード４０の機能を実現し、電子情報端末２０に配信すべき画像を生成する。ホワイトボードアプリケーション４００は、機能実行部４１０と、アプリケーション入出力部４２０と、フレーム出力部４３０と、画像表示制御部４４０と、タッチパネル制御部４５０とを備える。

機能実行部４１０は、インタラクティブホワイトボード固有の機能を実行するモジュールである。即ち図２に示したディスプレイ５０に表示するホワイトボード画像又は描画コマンドに基づくストロークを描画する。
アプリケーション入出力部４２０は配信サービス入出力部２１０が出力したデータ、例えば操作イベントを受信する。また、アプリケーション入出力部４２０は、受信したデータを機能実行部４１０が処理できる形式に変換して送出するイベント処理手段として機能する。更に、アプリケーション入出力部４２０は、配信サービス入出力部２１０にサービス開始、停止等のデータを送信する。
フレーム出力部４３０は、電子情報端末２０に配信する画像を出力する生成手段として機能する。例えばＲＧＢビットマップである画像を、Ｈ．２６４／ＡＶＣ形式で圧縮したデータとして出力する。
画像表示制御部４４０は、機能実行部４１０からの描画信号を受けて、ディスプレイ５０の画像表示を制御する。
タッチパネル制御部４５０は、タッチパネルからの検出信号を受けて、機能実行部４１０に出力する。

配信サービス２００はインタラクティブホワイトボードシステムにおけるインタラクティブホワイトボード４０側の画像配信に関わるモジュールの総称である。配信サービス２００は、配信サービス入出力部２１０と、配信制御部２２０と、配信情報管理部２３０と、通信制御部２４０と、エンコーダー制御部２５０と、エンコーダー部２６０と、キャプチャ部２７０とを備える。配信制御部２２０、配信情報管理部２３０及び通信制御部２４０は、配信モジュール２８０を構成し、エンコーダー制御部２５０、及びエンコーダー部２６０はコーデックモジュール２９０を構成する。
配信サービス入出力部２１０は、アプリケーション入出力部４２０が出力する例えばサービスの開始、停止データ等のデータを受信する。また、配信サービス入出力部２１０は、アプリケーション入出力部４２０に操作イベント等のデータを送信する。
配信情報管理部２３０は、配信に関するエンコード設定、接続中の電子情報端末２０の情報を管理する。通信制御部２４０は、通信手段として機能する。配信制御部２２０は、配信全体の制御、コーデックモジュール２９０の起動、終了指示を行う。
エンコーダー制御部２５０は、配信制御部２２０から指定されたフレームレートでフレーム画像を取得し、取得したフレーム画像をエンコーダー部２６０に送出する。エンコーダー部２６０は、取得した画像から圧縮データを生成する。
キャプチャ部２７０は、画像取得手段として機能し、ホワイトボードアプリケーション４００のフレーム出力部４３０が出力するフレーム画像を取得する。

次に電子情報端末２０について説明する。電子情報端末２０は、基本的には図２に示したインタラクティブホワイトボードと同様のハードウェア構成を有しているため、ハードウェアについての説明は省略する。
図４はインタラクティブホワイトボードシステムを構成する電子処理端末の機能ブロック図である。電子情報端末２０は、ＧＵＩ部３１０と、配信情報管理部３２０と、全体制御部３３０と、通信制御部３４０と、再生制御部３５０と、デコーダー部３６０とを備える。
ＧＵＩ部３１０は、ユーザーインターフェース（ＵＩ）を表示する。全体制御部３３０は通信の開始、切断指示など、全体の制御を行う。配信情報管理部３２０は、配信に関する情報、例えばエンコード設定を保持する。通信制御部３４０は、インタラクティブホワイトボード４０との通信制御、インタラクティブホワイトボード４０の配信サービス２００とデータの送受信を行う。再生制御部３５０は、圧縮データをデコーダー部に投入する。デコーダー部３６０は、圧縮データを伸長して表示する。

次に、インタラクティブホワイトボードシステムにおける処理について説明する。動作は、画像の受信準備、圧縮データの配信、操作イベントの入力の順になされる。
図５はインタラクティブホワイトボードシステムにおける画像の受信準備の手順を示すシーケンス図である。図５は電子情報端末２０がインタラクティブホワイトボード４０の配信サービス２００に接続し、画像を受信する準備が完了するまでの処理の流れを示している。
まず、電子情報端末２０の通信制御部３４０は、配信サービス２００の通信制御部２４０にエンコードパラメーターの取得要求を送信する（ステップＳ１０）。配信サービス２００の通信制御部２４０は、エンコードパラメーターの取得要求を受信すると、配信情報管理部２３０からエンコードパラメーターを取得し、電子情報端末２０にレスポンスとして送信する（ステップＳ２０）。
次いで、電子情報端末２０の通信制御部２４０は配信サービス２００の通信制御部２４０にＵｐｌｏａｄ用セッション確立要求を行う（ステップＳ３０）。更に配信サービス２００の通信制御部２４０はＵｐｌｏａｄ用のセッションの確立の要求を受信すると、Ｕｐｌｏａｄ用のセッションの確立の完了のレスポンスを送信する（ステップＳ４０）。ここで、Ｕｐｌｏａｄ用のセッションは、電子情報端末２０から配信サービス２００に操作イベントなどを送信するためのネットワーク接続であり、常時接続状態を維持している。

そして、電子情報端末２０の通信制御部３４０は配信サービス２００の通信制御部２４０にＤｏｗｎｌｏａｄ用のセッションの確立の要求を行う（ステップＳ５０）。配信サービス２００の通信制御部２４０はＤｏｗｎｌｏａｄ用のセッションの確立の要求を受信すると、Ｄｏｗｎｌｏａｄ用のセッションの確立の完了のレスポンスを送信する（ステップＳ６０）。ここで、Ｄｏｗｎｌｏａｄ用のセッションは、配信サービス２００から電子情報端末２０に画像などを送信するためのネットワーク接続のことであり、常時接続状態を維持している。
Ｄｏｗｎｌｏａｄ用のセッションの確立が完了すると電子情報端末２０の画像の受信準備は完了する。また、本実施形態では、Ｄｏｗｎｌｏａｄ用とＵｐｌｏａｄ用のセッションを分けているが、これらは、分けることなく実施できる。

次にインタラクティブホワイトボード４０から電子情報端末２０への圧縮データの配信手順について説明する。図６はインタラクティブホワイトボードシステムにおける圧縮データ配信の手順を示すシーケンス図である。
ホワイトボードアプリケーション４００のフレーム出力部４３０は画像として配信したいホワイトボード画像を配信サービス２００のキャプチャ部２７０に送出する（ステップＳ３００）。ホワイトボード画像の送出方法としては、例えばフレーム出力部４３０がキャプチャ部２７０に直接画像を送信する方法を採用しても良い。或いは、フレーム出力部４３０とキャプチャ部２７０が共有する画像保存用バッファーを設けておき、フレーム出力部４３０が画像保存用バッファーに画像を書き込み、キャプチャ部２７０が画像保存用バッファーの画像を取得するようにしてもよい。
次いで、配信サービス２００のキャプチャ部２７０が取得した画像はエンコーダー部２６０で圧縮されたフレームデータにエンコードされる（ステップＳ３１０）。エンコーダー部２６０はエンコードが完了すると通信制御部２４０に圧縮されたフレームデータを送出し、通信制御部２４０は電子情報端末２０に圧縮データを送信する（ステップＳ３２０）。このとき、通信制御部２４０は接続中の全ての電子情報端末２０に圧縮データを送信するので、接続中の電子情報端末２０は同じホワイトボード画像を共有することができる。

上述したステップＳ３００、Ｓ３１０、Ｓ３２０は画像の１フレーム分を配信する一連の処理を示しており、この一連の処理を繰り返す（ステップＳ３３０、Ｓ３４０、Ｓ３５０・・・）ことで継続的にホワイトボード画像から生成した圧縮データを配信することができる。
ここで、インタラクティブホワイトボード４０から各電子情報端末２０に配信されるホワイトボード画像はホワイトボードアプリケーション４００がディスプレイ５０（図１参照）に表示した画面そのものではなく、ストロークなどが描画されているキャンバス画像であり、ホワイトボード操作用のＵＩ、具体的にはペンモードの変更ボタンや消しゴムボタン等は含まれていない。
この設定は必要に応じて変更することができる。本実施形態では、ホワイトボードアプリケーション４００が出力する任意の画像を配信することができるので、ＵＩを含まない画像を配信することも可能である。このように本実施形態では、電子情報端末２０の使用者に不必要な画像を表示させないことができる。

次に電子情報端末２０における操作イベント入力の手順について説明する。図７はインタラクティブホワイトボードシステムにおける操作イベント入力の手順を示すシーケンス図である。図７は電子情報端末２０の利用者が電子情報端末２０に表示されているホワイトボード画像に対して、マウス操作を行った場合の処理の流れを示している。
まず、電子情報端末２０は操作イベントの種類、発生座標などが含まれる操作イベント情報を配信サービス２００の通信制御部２４０に送信する（ステップＳ４００）。通信制御部２４０は受信した操作イベント情報を配信サービス入出力部２１０に送出し、配信サービス入出力部２１０は電子情報端末２０を識別する端末ＩＤ（例えば１、２、…、ｎ）を付与して操作イベントの情報をアプリケーション入出力部４２０に送出する。
次いで、アプリケーション入出力部４２０は操作イベントの情報を受信すると、機能実行部４１０が実行できる形式の機能実行コマンド、例えばストロークの描画コマンドに変換して、機能実行部４１０に送出する（ステップＳ４２０）。アプリケーション入出力部４２０は操作イベントの情報に付された端末ＩＤ毎に操作イベントの情報を処理して、端末ＩＤ毎に機能実行コマンドを生成する。即ち、アプリケーション入出力部４２０は電子情報端末を識別する電子情報端末識別手段として機能する。
機能実行部４１０はアプリケーション入出力部４２０から渡された機能実行コマンドを実行する（ステップＳ４３０）。例えば機能実行部４１０は、機能実行コマンドであるストロークの描画コマンドを実行することにより、ストロークをインタラクティブホワイトボード４０のディスプレイ５０に描画する。
これにより、複数の電子情報端末２０（２０−１〜２０−ｎ）でなされた操作イベントが、電子端末毎の操作イベントとして区別されてホワイトボードアプリケーション４００で実行される。

以上のように、電子情報端末２０の利用者が電子情報端末２０に表示されているホワイトボード画像に対して、マウス操作等の操作を行った場合、ホワイトボードアプリケーション４００が動作しているインタラクティブホワイトボード４０のディスプレイ５０にストローク５１が表示され、表示された結果が画像として電子情報端末２０に表示される。また、操作イベント情報には端末ＩＤが付与されているためアプリケーション入出力部は電子情報端末２０毎、つまりユーザ毎にストロークの描画コマンドを生成することができる。
よって、複数のユーザが同時に操作イベントを送信しても、ストロークは乱れることなく、操作イベントを入力した全ての使用者が意図したとおりのストロークが描画される。
また、ストロークが表示されたホワイトボードの画像は他の電子情報端末２０にも配信されるため、インタラクティブホワイトボード４０で資料を表示し、その画像を複数のユーザで共有し、複数のユーザで資料に書き込みを行うことが可能になる。
本実施形態に係るインタラクティブホワイトボードによれば、複数の電子情報端末からの操作イベントを区別して適切に処理できる。

＜ＩＷＢシステムの変形例＞
次にインタラクティブホワイトボードシステムの変形実施形態について説明する。変形例に係るインタラクティブホワイトボードシステムにおいて、電子情報端末２０は、操作イベントに識別情報である自身の端末ＩＤ（例えば１、２、３、…、ｎ）を付与する。即ち、電子情報端末２０は、図４中に仮想線で示したように、識別情報付与手段である識別情報付与部３７０を備える。識別情報付与部３７０が付与した端末ＩＤは、操作イベントとともにインタラクティブホワイトボード４０に送信される。
一方、インタラクティブホワイトボード４０においては、配信サービス入出力部２１０（図３参照）は端末ＩＤを付与しない。また、インタラクティブホワイトボード４０のアプリケーション入出力部４２０は、電子情報端末２０からの端末ＩＤに基づいて操作イベントがどの電子情報端末２０で実行されかを判断する。その後の処理は、実施形態２に係るインタラクティブホワイトボード４０と同一である。

本例によっても、複数の電子情報端末２０（２０−１〜２０−ｎ）でなされた操作イベントが、電子端末毎の操作イベントとして区別されてホワイトボードアプリケーション４００で実行される。よって、複数の電子情報端末からの操作イベントを区別して適切に処理できる。
本実施形態によっても、電子情報端末２０の利用者が電子情報端末２０に表示されているホワイトボード画像に対して、マウス操作等の操作を行った場合、ホワイトボードアプリケーション４００が動作しているインタラクティブホワイトボード４０のディスプレイ５０にストローク５１が表示され、表示された結果が画像として電子情報端末２０に表示される。また、操作イベント情報には端末ＩＤが付与されているためアプリケーション入出力部４２０は電子情報端末２０毎、つまりユーザ毎にストローク描画コマンドを生成することができる。
よって、複数のユーザが同時に操作イベントを送信しても、ストロークは乱れることなく、操作イベントを入力した全ての使用者が意図したとおりのストロークが描画される。
また、ストロークが表示されたホワイトボードの画像は他の電子情報端末２０にも配信されるため、インタラクティブホワイトボード４０で資料を表示し、その画像を複数のユーザで共有し、複数のユーザで資料に書き込みを行うことが可能になる。

＜第１実施形態＞
ストロークの描画中にインタラクティブホワイトボード４０でページの切り替え指示が発生した場合について考える。なお、前提として、インタラクティブホワイトボード４０では、ホワイトボード画像（背景）が複数のページから構成されており、適宜ページを切り替えて線画等の書き込みが可能である。ページの切り替え処理は、インタラクティブホワイトボード４０のタッチパネル制御部４５０は、タッチパネルからのページ切り替え指示に関わる検出信号を受けて、ページの切り替えコマンドを生成して機能実行部４１０に出力することにより実行される。
なお、ページの切り替えは、いずれかの電子情報端末２０から送出されたページの切り替え指示に基づいて実行されてもよい。この場合、アプリケーション入出力部４２０が電子情報端末２０からページの切り替えに関わる操作イベントを受信すると、機能実行部４１０が実行できる形式のページの切り替えコマンドを生成して機能実行部４１０に送出する。

従来技術における不具合について説明する。ユーザが、ある電子情報端末２０からホワイトボード画像のページ１に対して線画を書き込んでいるときに、インタラクティブホワイトボード４０での操作により、ホワイトボード画像がページ２に切り替えられたと仮定する。その結果、連続した一筆の線画がユーザの意図に反して異なるページに分割して描画されてしまう。また、一筆の線画が順次連続的に描画されてなる一連の線画がユーザの意図に反して異なるページに分割して描画されてしまう。
このように従来のインタラクティブホワイトボードでは、書き込み途中のストロークがユーザの意図しないページに描画されてしまうという問題があった。

そこで、本発明の第１実施形態では、一筆のストロークの書き込み中におけるページの操作を禁止して、ユーザの意図通りのストロークの描画を実現する。
ページの操作を禁止するため、図３に示す機能実行部４１０は、ページ切り替えの可否を示す情報であるページの切り替えの禁止フラグを保持する。ページの切り替えの禁止フラグＯＮ（１）はページの切り替えを禁止することを意味し、ページの切り替えの禁止フラグＯＦＦ（０）はページの切り替えを許容することを意味する。なお、ページの切り替えの禁止フラグは、図２に示すＲＡＭ５０３又はＨＤＤ５０４内の所定の領域に記憶される。

図８は、ページの切り替え指示があった場合の処理手順を示すフローチャートである。このフローチャートは、機能実行部４１０が実行する処理を示している。
まず、機能実行部４１０は、ページの切り替えの指示の有無を判断する（ステップＳ５００）。ページの切り替えの指示があった場合（ステップＳ５００：ＹＥＳ）は、ページの切り替えの禁止フラグの状態を確認する（ステップＳ５１０）。ページの切り替えの禁止フラグがＯＮ、即ちページの切り替えが禁止されている場合（ステップＳ５１０：ＹＥＳ）、機能実行部４１０はページの切り替えの指示を無視し、ページの切り替え処理を実行しない（ステップＳ５２０）。ページ切り替え禁止フラグがＯＦＦ、即ちページ切り替えが許容されている場合（ステップＳ５１０：ＮＯ）、機能実行部４１０はページの切り替えの指示に従ってページを切り替える処理を実行する（ステップＳ５３０）。

図９は、インタラクティブホワイトボードシステムにおけるストロークの描画中にページの切り替え操作を制限する処理の手順を示すシーケンス図である。この図は、一筆のストロークが描画中である場合にページの切り替えを禁止する処理手順を示している。
ここで、一筆のストロークは複数の（一組の）マウスイベントから生成される。一筆のストロークは、１つのＭｏｕｓｅ＿Ｄｏｗｎイベント、任意の数のＭｏｕｓｅ＿Ｍｏｖｅイベント、及び１つのＭｏｕｓｅ＿Ｄｏｗｎイベントから生成される。Ｍｏｕｓｅ＿Ｄｏｗｎイベントは電子ペン等による線画等の描画開始時に発生するイベントであり、ストロークの始点座標の情報が付随している。Ｍｏｕｓｅ＿Ｍｏｖｅイベントはストロークの中間座標の情報が付随している。Ｍｏｕｓｅ＿Ｄｏｗｎイベントは電子ペン等による線画等の描画の終了時に発生するイベントであり、ストロークの終点座標の情報が付随している。

図９に戻り、まず電子情報端末２０は操作イベント情報の一つであるマウスダウンイベントを配信サービス２００の通信制御部２４０に送信する（ステップＳ６００）。
通信制御部２４０は受信したマウスダウンイベントを配信サービス入出力部２１０に送出し、配信サービス入出力部２１０は電子情報端末２０を識別する端末ＩＤ（例えば１、２、…、ｎ）を付与してマウスダウンイベントをホワイトボードアプリケーション４００のアプリケーション入出力部４２０に送出する（ステップＳ６０５）。

次いで、アプリケーション入出力部４２０はマウスダウンイベントを受信すると、マウスダウンイベントを機能実行部４１０が実行できる形式の機能実行コマンドに変換して、機能実行部４１０に送出する（ステップＳ６１０）。アプリケーション入出力部４２０はマウスイベントに付された端末ＩＤ毎にマウスイベントを処理して、端末ＩＤ毎に機能実行コマンドを生成する。本例のマウスダウンイベントはストロークの描画開始に関わる操作イベントであるので、アプリケーション入出力部４２０は機能実行コマンドとしてストロークの始点描画コマンドを生成する。
機能実行部４１０は、ストロークの始点の描画コマンドを受信した場合に、まずページの切り替えの禁止フラグをＯＮにする（ステップＳ６１５）。
次いで機能実行部４１０はアプリケーション入出力部４２０から渡されたストロークの始点描画コマンドを実行する（ステップＳ６２０）。ここでは、ディスプレイ５０（図１参照）にストロークの始点を描画する。

マウスダウンイベントに続いて電子情報端末２０は、マウスムーブイベントを配信サービス２００の通信制御部２４０に送信する（ステップＳ６２５）。通信制御部２４０は受信したマウスムーブイベントを配信サービス入出力部２１０に送出し、配信サービス入出力部２１０は電子情報端末２０を識別する端末ＩＤ（例えば１、２、…、ｎ）を付与してマウスムーブイベントをホワイトボードアプリケーション４００のアプリケーション入出力部４２０に送出する（ステップＳ６３０）。アプリケーション入出力部４２０は受信したマウスムーブイベントを機能実行部４１０が実行できる形式の機能実行コマンド、ここではストロークの中間点描画コマンドに変換して、機能実行部４１０に送出する（ステップＳ６３５）。
機能実行部４１０はアプリケーション入出力部４２０から渡されたストロークの中間点描画コマンドを実行する（ステップＳ６４０）。ここでは、ディスプレイ５０（図１参照）にストロークの中間点を描画する。
ステップＳ６２５〜Ｓ６４０までの処理は、電子情報端末２０がマウスムーブイベントを送信する度に繰り返し実行される。

最後に電子情報端末２０は、マウスアップイベントを配信サービス２００の通信制御部２４０に送信する（ステップＳ６４５）。
通信制御部２４０は受信したマウスアップイベントを配信サービス入出力部２１０に送出し、配信サービス入出力部２１０は電子情報端末２０を識別する端末ＩＤ（例えば１、２、…、ｎ）を付与してマウスアップイベントをホワイトボードアプリケーション４００のアプリケーション入出力部４２０に送出する（ステップＳ６５０）。
次いで、アプリケーション入出力部４２０はマウスアップイベントを受信すると、機能実行部４１０が実行できる形式の機能実行コマンドに変換して、機能実行部４１０に送出する（ステップＳ６５５）。アプリケーション入出力部４２０はマウスイベントに付された端末ＩＤ毎にマウスイベントを処理して、端末ＩＤ毎に機能実行コマンドを生成する。本例のマウスアップイベントはストロークの描画終了に関わる操作イベントであるので、アプリケーション入出力部４２０は機能実行コマンドとしてストロークの終点描画コマンドを生成する。
機能実行部４１０はアプリケーション入出力部４２０から渡されたストロークの終点の描画コマンドを実行する（ステップＳ６６０）。ここでは、ディスプレイ５０（図１参照）にストロークの終点を描画する。
最後に機能実行部４１０は、ページの切り替えの禁止フラグをＯＦＦにする（ステップＳ６６５）。
以上の処理により、一筆のストロークの描画中にページの切り替えが禁止され、書き込み中のストロークがユーザの意図しないページに反映されてしまうという不具合を防止する。

＜第１実施形態の変形例＞
ここで、ステップＳ６１０とステップＳ６１５は入れ替えて実行してもよい。図１０は、インタラクティブホワイトボードシステムにおけるストロークの描画中にページの切り替えの操作を制限する変形例に係る処理の手順を示すシーケンス図である。図９と同一のステップには同一のステップ番号を付してその説明を省略する。
まず、ステップＳ６００、Ｓ６０５処理が実行される。
次いで、アプリケーション入出力部４２０は、ストロークの描画に関わるマウスダウンイベントを受信すると、機能実行部４１０に対してページの切り替えの禁止フラグをＯＮにするよう通知する（ステップＳ７００）。
機能実行部４１０は、ページの切り替えの禁止フラグをＯＮにする旨の通知を受信すると、ページ切り替え禁止フラグをＯＮにする（ステップＳ６１５）。

アプリケーション入出力部４２０は、マウスダウンイベントを機能実行部４１０が実行できる形式の機能実行コマンドに変換して、機能実行部４１０に送出する（ステップＳ６１０）。アプリケーション入出力部４２０はマウスイベントに付された端末ＩＤ毎にマウスイベントを処理して、端末ＩＤ毎に機能実行コマンドを生成する。本例のマウスダウンイベントはストロークの描画開始に関わる操作イベントであるので、アプリケーション入出力部４２０は機能実行コマンドとしてストロークの始点描画コマンドを生成する。
機能実行部４１０はアプリケーション入出力部４２０から渡されたストロークの始点の描画コマンドを実行する（ステップＳ６２０）。ここでは、ディスプレイ５０（図１参照）にストロークの始点を描画する。
以降の処理は、図９と同一であるので、説明を省略する。
本実施形態によっても、一筆のストロークの描画中にページの切り替えが禁止され、書き込み中のストロークがユーザの意図しないページに反映されてしまうという不具合を防止することができる。

＜第２実施形態＞
本発明の第２実施形態として、いずれかの電子情報端末から送信された操作イベントに基づくストロークの描画処理を実行中にページ切り替え処理を制限する処理の一例について説明する。
本例における機能実行部４１０（図３参照）は、ストロークの始点の描画コマンドと終点描画コマンドの数を計数する手段としてカウンタを備える。このカウンタは、いずれかの電子情報端末から送信されたマウスダウンイベントに基づくストロークの始点の描画コマンドを受信するごとに１を加算する。その一方でカウンタは、いずれかの電子情報端末から送信されたマウスアップイベントに基づくストロークの終点の描画コマンドを受信するごとに１を減算する。
カウンタに０以外の数値（例：１、２、３…）が代入されている場合、機能実行部４１０はいずれかの電子情報端末２０から送信されたマウスイベントに基づく一筆のストロークを少なくとも一つ描画中であるため、ページの切り替えの禁止フラグをＯＦＦにしない。一方、カウンタに代入されている数値が０である場合は、全ての一筆のストロークの描画が完了しているため、機能実行部４１０はページの切り替えの禁止フラグをＯＦＦにする。

図１１は、ストロークの描画中にページの切り替えの操作を制限する第２の処理の手順を示すシーケンス図である。図９と同一のステップには同一のステップ番号を付してその説明を省略する。
まず、ステップＳ６００、Ｓ６０５、Ｓ６１０の処理が実行される。
機能実行部４１０は、ストロークの始点の描画コマンドを受信した場合に、ページの切り替えの禁止フラグをＯＮにする（ステップＳ６１５）。
次いで機能実行部４１０は、カウンタに１を加算する（ステップＳ８００）。
更に機能実行部４１０は、アプリケーション入出力部４２０から渡されたストロークの始点の描画コマンドを実行する（ステップＳ６２０）。ここでは、ディスプレイ５０（図１参照）にストロークの始点を描画する。
ステップＳ６２５〜Ｓ６５５の処理が実行される。

機能実行部４１０は、アプリケーション入出力部４２０から渡されたストロークの終点の描画コマンドを実行する（ステップＳ６６０）。ここでは、ディスプレイ５０（図１参照）にストロークの終点を描画する。
次いで機能実行部４１０は、カウンタから１を減算する（ステップＳ８０５）。
最後に機能実行部４１０は、カウンタに代入されている数値を確認する。カウンタに数値０が入っている場合は一筆のストロークを描画中ではないため、機能実行部４１０はページの切り替えの禁止フラグをＯＦＦにする（ステップＳ６６５）。
機能実行部４１０は、以上の処理を実行することで、ストロークの描画に関わる操作イベントが複数の端末から同時に送信される場合であっても、一筆の線画がユーザの意図に反して異なるページに分割して描画されるといった事態を回避できる。

＜第３実施形態＞
本発明の第３実施形態は、マウスアップイベントに基づくストロークの終点の描画から一定時間経過後にページの切り替えのフラグをＯＦＦにするものである。上記処理を実行するために機能実行部４１０は、上記一定時間を計時するタイマ手段を備えている。図１２は、インタラクティブホワイトボードシステムにおけるストロークの描画中にページ切り替え操作を制限する第３の処理の手順を示すシーケンス図である。この図は、一筆のストロークが順次連続的に描画されてなる一連のストロークが描画中である場合にページの切り替えを禁止する処理例を示している。以下、図９と同一のステップには、同一のステップ番号を付してその説明を省略する。

まず、ステップＳ６００〜Ｓ６５５の処理が実行される。
機能実行部４１０はアプリケーション入出力部４２０から渡されたストロークの終点の描画コマンドを実行する（ステップＳ６６０）。ここでは、ディスプレイ５０（図１参照）にストロークの終点を描画する。
機能実行部４１０は、タイマ手段による計時を開始し、一定時間が経過するまで待機する（ステップＳ９００）。
新たなストローク始点描画コマンドを受信することなく一定時間が経過した場合に機能実行部４１０は、ページの切り替えの禁止フラグをＯＦＦにする（ステップＳ６６５）。
なお、一定時間が経過する前に新たなマウスダウンイベントが発生した場合（ステップＳ６００、Ｓ６０５、Ｓ６１０が実行された場合）、機能実行部４１０はページの切り替えの禁止フラグをＯＦＦにすることなくステップＳ６２０の処理を実行する。ステップＳ６２０の実行後は、順次ステップＳ６２５以下の処理が実行される。

以上の処理により、一筆のストロークが複数個連続的に描画される一連のストロークの描画中におけるページの切り替えが禁止され、書き込み中のストロークがユーザの意図しないページに反映されてしまうという不具合を防止する。ステップＳ９００で機能実行部４１０が待機する時間は、予めインタラクティブホワイトボード４０に固定的に設定されていてもよいし、図２に示すキーボード５１１、マウス５１２、又はタッチパネル５１９や、電子情報端末２０を介してユーザから設定可能に構成されてもよい。

以上説明した各実施形態に示した各処理は、互いに矛盾しない限り適宜組み合わせて実行することができる。
また、以上説明した画像処理装置において実行される画像処理方法について、その処理手順をコンピュータプログラムとして記述し、このエラー通知プログラムを予めジョブ実行装置である画像形成装置のＲＯＭに格納して画像形成装置に実行させることによって実現可能である。また、上記プログラムは、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）やＤＶＤ−ＲＯＭ（DVD - Read Only Memory）等のコンピュータが読み取り可能な記録媒体に記録することによって、或いはインターネット上の所定の領域に格納した上記プログラムをダウンロードさせることによって、配布することが可能である。

＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
本態様は、複数の電子情報端末２０（２０−１〜２０−ｎ）が通信ネットワークを介して接続されたインタラクティブホワイトボード４０であって、画像を取得するキャプチャ部２７０と、複数の画像から所定形式の画像を生成するフレーム出力部４３０と、各電子情報端末２０に配信された画像に対して行われた操作に関わる操作イベントを各電子情報端末２０から受信する通信制御部２４０と、所定の機能に係る処理を実行する機能実行部４１０と、を備え、機能実行部４１０は、操作イベントに基づく特定の処理を実行中に、他の処理の実行を制限することを特徴とする。
本態様によれば、特定の処理が他の処理の影響を受けることなく実行されるので、所望の処理結果を得ることが可能となる。

＜第２態様＞
本態様において機能実行部４１０は、マウスイベントに基づいてストロークを描画する処理を実行中に、ページ切り替え処理の実行を制限することを特徴とする。
本態様によれば、ストロークの描画中にページ切り替えが禁止されるので、書き込み中のストロークがユーザの意図しないページに反映されてしまうという不具合を防止する。特に本態様では、一筆のストロークがユーザの意図しないページに反映されてしまうという不具合を防止することができる。

＜第３態様＞
本態様において機能実行部４１０は、マウスイベントに基づいてストロークを描画する処理を実行後、所定時間が経過するまでページ切り替え処理の実行を制限することを特徴とする。
本態様によれば、ストロークの描画後、所定時間が経過するまでページ切り替えが禁止されるので、書き込み中のストロークがユーザの意図しないページに反映されてしまうという不具合を防止する。特に本態様では、一筆のストロークが複数個連続的に描画される一連のストロークがユーザの意図しないページに反映されてしまうという不具合を防止することができる。

＜第４態様＞
本態様は、各操作イベントに付された識別情報に基づいて、操作イベントを行った電子情報端末２０を識別するアプリケーション入出力部４２０を備えたことを特徴とする。
本態様において電子情報端末２０からの操作イベントは、アプリケーション入出力部４２０により識別情報に基づいてどの電子情報端末２０からのものかが判定される。これにより、複数の電子情報端末からの操作イベントを適切に処理できる。

＜第５態様＞
本態様は、識別情報に基づいて各操作イベントを電子情報端末毎に処理するアプリケーション入出力部４２０を備えたことを特徴とする。
本態様によれば、各操作イベントを電子情報端末毎に処理する。これにより、複数の電子情報端末からの操作イベントを区別して処理できる。

＜第６態様＞
本態様は、操作イベントにどの電子情報端末２０が操作を行ったかを示す端末ＩＤを付与する配信サービス入出力部２１０を備えることを特徴とする。
本態様によれば、配信サービス入出力部２１０において操作イベントに端末ＩＤを付することができる。これにより、複数の電子情報端末からの操作イベントを適切に処理できる。

＜第７態様＞
本態様は、インタラクティブホワイトボード４０と、インタラクティブホワイトボード４０と無線ＬＡＮを介して接続された電子情報端末２０と、を備えたことを特徴とするインタラクティブホワイトボードシステムである。
本態様によれば、インタラクティブホワイトボード４０と電子情報端末２０と無線ＬＡＮで接続してインタラクティブホワイトボードシステムを構成する。これにより、インタラクティブホワイトボード４０及び電子情報端末２０での操作イベントに基づく処理をインタラクティブホワイトボード４０及び電子情報端末２０で共有できる。

＜第８態様＞
本態様は、インタラクティブホワイトボード４０と、通信ネットワークを介して接続された電子情報端末２０と、を備え、電子情報端末２０は操作イベントに端末ＩＤを付与する識別情報付与部３７０を備えることを特徴とする。
本態様によれば、インタラクティブホワイトボード４０と電子情報端末２０と無線ＬＡＮで接続してインタラクティブホワイトボードシステムを構成し、電子情報端末２０の識別情報付与部３７０から操作イベントに端末ＩＤを付与する。これにより、インタラクティブホワイトボード４０はどの電子情報端末２０での操作イベントかを認識して処置することができる。

＜第９態様＞
本態様は、複数の電子情報端末２０と無線ＬＡＮを介して接続されたインタラクティブホワイトボード４０における画像処理方法であって、画像を取得するステップと、複数の画像から所定形式の画像を生成するステップと、各電子情報端末に配信された画像に対して行われた操作に関わる操作イベントを各電子情報端末から受信するステップと、所定の機能に係る処理を実行するイベント実行ステップと、を含み、イベント実行ステップでは、操作イベントに基づく特定の処理を実行中に、他の処理の実行を制限することを特徴とする。
本態様によれば、特定の処理が他の処理の影響を受けることなく実行されるので、所望の処理結果を得ることが可能となる。

２０：電子情報端末、４０：インタラクティブホワイトボード（画像処理装置）、４００：ホワイトボードアプリケーション、４１０：機能実行部（イベント実行手段）、４２０：アプリケーション入出力部（電子情報端末識別手段、イベント処理手段）、４３０：フレーム出力部（画像生成手段）、２００：配信サービス、２１０：配信サービス入出力部（識別情報付与手段）、２２０：配信制御部、２３０：配信情報管理部、２４０：通信制御部（通信手段）、２５０：エンコーダー制御部、２６０：エンコーダー部、２７０：キャプチャ部（画像取得手段）、３７０：識別情報付与部（識別情報付与手段）

特開２０１４−２０００７６公報

Claims (9)

1. 複数の電子情報端末が通信ネットワークを介して接続された画像処理装置であって、
   画像を取得する画像取得手段と、
   複数の前記画像から所定形式の画像を生成する画像生成手段と、
   前記各電子情報端末に配信された前記画像に対して行われた操作に関わる操作イベントを前記各電子情報端末から受信する通信手段と、
   前記各操作イベントに付された識別情報に基づいて、前記操作イベントを行った電子情報端末を識別する電子情報端末識別手段と、を備えたことを特徴とする画像処理装置。
2. 所定の機能に係る処理を実行するイベント実行手段を備え、
   前記イベント実行手段は、前記操作イベントに基づく特定の処理を実行中に、他の処理の実行を制限することを特徴とする請求項１に記載の画像処理装置。
3. 前記イベント実行手段は、マウスイベントに基づいてストロークを描画する処理を実行中に、ページ切り替え処理の実行を制限することを特徴とする請求項２に記載の画像処理装置。
4. 前記イベント実行手段は、マウスイベントに基づいてストロークを描画する処理を実行後、所定時間が経過するまでページ切り替え処理の実行を制限することを特徴とする請求項２に記載の画像処理装置。
5. 前記識別情報に基づいて前記各操作イベントを前記電子情報端末毎に処理するイベント処理手段を備えたことを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記操作イベントに前記識別情報を付与する識別情報付与手段を備えることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 請求項１乃至６の何れか一項に記載の画像処理装置と、通信ネットワークを介して接続された前記電子情報端末と、を備えたことを特徴とする画像処理システム。
8. 請求項１乃至５の何れか一項に記載の画像処理装置と、通信ネットワークを介して接続された前記電子情報端末と、を備え、
   前記電子情報端末は、前記操作イベントに識別情報を付与する識別情報付与手段を備えることを特徴とする画像処理システム。
9. 複数の電子情報端末と通信ネットワークを介して接続された画像処理装置における画像
   処理方法であって、
   画像を取得するステップと、
   複数の前記画像から所定形式の画像を生成するステップと、
   前記各電子情報端末に配信された前記画像に対して行われた操作に関わる操作イベントを前記各電子情報端末から受信するステップと、
   前記各操作イベントに付された識別情報に基づいて、前記操作イベントを行った電子情報端末を識別するステップと、を実行することを特徴とする画像処理方法。

Images