JP2017151491A - 画像表示装置、画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】負担が大きい処理を実行することなく、遅延なく手書き編集が可能な画像表示装置を提供する。
【解決手段】画像表示装置は電子情報ボードであって、画像を表示するタッチパネルディスプレイ１０１と、タッチパネルディスプレイ１０１が表示している画像の上にストロークを描画し編集するための操作を行った際の状態を表示するストローク編集状態表示部１０５と、操作によって発生する操作イベントを送信する操作イベント送信部１０２と、操作イベントに基づくストロークを示す映像を受信する映像受信部１０６と、映像受信部１０６によって受信した映像を表示する映像表示部１０７と、を有する。
【選択図】図１

Description

本発明は、画像表示装置、画像処理システム、画像処理方法及び画像処理プログラムに関し、特にユーザが行った操作を遅延なく表示可能な画像表示装置、画像処理システム、画像処理方法及び画像処理プログラムに関する。

液晶やプラズマなどのフラットパネルやプロジェクタを用いた４０インチ〜８０インチ程度のサイズの大型のディスプレイに、タッチパネルを搭載した、いわゆる「電子情報ボード」製品が市場に出ている。電子情報ボードの典型的な外観を図２に示す。

これらの製品はパソコンを接続することによって、接続したパソコンの画面を大きく映すことができ、企業や行政機関の会議におけるプレゼンテーション等や教育機関等で用いられている。これらの製品におけるタッチパネルを用いた代表的な機能として、パソコン操作機能及び手書き機能がある。

まず、パソコン操作機能とは、搭載するタッチパネル機能を用いて、映されている画面にマウス操作の代わりに直接タッチすることで、画面を表示しているパソコンを操作するものである。

次に、手書き機能とは、黒板の役割をする画面上タッチパネルを介して文字等を手書きで入力し、また、パソコンの画面を取り込んでその上に手書きを重畳して描くものである。この機能は、電子情報ボードと共に提供される電子黒板アプリケーションソフトウエアによって実現される。

具体的な製品事例では、例えばシャープ社の「ＢＩＧ ＰＡＤ」（登録商標）、日立ソフトウェアエンジニアリング社の「スターボード」（登録商標）や、パイオニア社の「サイバーカンファレンス」（登録商標）、が既に知られている。

このような手書き機能が動作する電子情報ボードを利用すると、オフィスの会議シーン等において、説明のための表示資料を操作しながら、適宜画面上に直接指摘事項等の書き込みを行い、さらに必要に応じ書き込みを含む画面内容を記録することができ、結果、会議終了時に画面内容を振り返り、画面内容を再利用することで効率的に結論などをまとめることが期待できる。

このような機能を有する電子情報ボードを利用した会議において重要なことは、会議の進行を妨げずに電子情報ボードが操作されて必要な情報の表示と入力が可能であることである。

しかし、今までの電子情報ボードでは、電子情報ボードの組み込みソフトウェアを動作させるため、電子情報ボードにソフトウェア処理能力が必要とされ、その結果コストが高くなってしまうという問題があった。

また、遠隔会議においては、各電子情報ボードが手書きデータや、読み込んだファイルのデータを保持する必要があったため、それを共有するために多くのネットワーク帯域を必要とするという問題があった。

さらに、現行機種には処理の重い機能を新たに追加したい場合に、端末の交換が必要となるという問題があった。これら問題を避けるために、外部のサーバでソフトウェア処理を実行するという方法が提案されている。この場合には、ネットワーク遅延のために、手書き画像が遅れてしまうという問題があった。

この問題を解決するために、端末側で一時的に手書き描画を行い、手書き描画の遅れをユーザに感じさせないようにする技術が提案されている。しかし、サーバ側で描画された手書きを削除、移動、拡大・縮小、等の編集操作をする場合、編集すべき手書きのデータはサーバ側にあるので、手書き描画のときのように、手書きデータをサーバに送信する前に端末で描画するという手法で遅延を感じさせないようにさせることはできない、という問題があった。

これらの問題を解決するために、特許文献１には、ホワイトボードへの書き込みを共有する目的で、物理的なホワイトボードに書き込まれたペンストロークをイメージとして取得し、そこからペンストローク属性情報を抽出し別のデジタル書き込み面にペンストロークを描画するシステムが開示されている。

特許文献１に記載の発明は、ストロークの情報をデジタル化し送信可能としているため、複数の機器でストローク情報を共有可能である。しかし、端末側であるホワイトボード側に組み込みソフトウェアを動作させるための処理リソースが必要となるため、前述の電子情報ボードにソフトウェア処理能力が必要とされ、その結果コストが高くなってしまうという問題が解決されない。

本発明は、負担が大きい処理を実行することなく、遅延なく手書き編集が可能な画像表示装置を提供することを目的とする。

本発明の画像表示装置は、画像を表示する画像表示手段と、前記画像表示手段が表示している画像の上にストロークを描画し編集するための操作を行う操作手段と、を有する画像表示装置であって、前記操作手段による操作の状態を表示する操作状態表示手段と、前記操作手段によって発生する操作イベントを送信する操作イベント送信手段と、前記操作イベントに基づくストロークを示す動画を受信する動画受信手段と、前記動画受信手段によって受信した動画を表示する動画表示手段と、を有することを特徴とする。

本発明によれば、負担が大きい処理を実行することなく、遅延なく手書き編集が可能な画像表示装置を提供することができる。

本発明の画像処理システムの実施形態１の構成を示すブロック図である。 本発明の画像処理システムの実施形態１の構成を示す図である。 本発明の画像処理システムの実施形態１の動作を示すフローチャート図である。 本発明の電子情報ボードの実施形態１のレイヤの構成を示す図である。 本発明の画像処理システムの実施形態１の動作を示す図である。 本発明の画像処理システムの実施形態１のモード変更時の動作を示す図である。 本発明の電子情報ボードの実施形態１のコマンドを示す図である。 本発明の画像処理システムの実施形態１の操作時の動作を示す図である。 本発明の電子情報ボードの実施形態１の操作パネルの消去コマンドを選択した時の動作を示す図である。 本発明の電子情報ボードの実施形態１の消去時の動作を示す図である。 本発明の電子情報ボードの実施形態１の消去時の動作フローを示す図である。 本発明の電子情報ボードの実施形態１の消去時の動作フローを示す図である。 本発明の画像処理システムの実施形態１の背景画像配信時の動作を示す図である。 本発明の画像処理システムの実施形態１の背景画像配信時の動作フローを示す図である。 本発明の電子情報ボードの実施形態１の選択消去時の動作を示す図である。 本発明の電子情報ボードの実施形態１の選択消去時の動作フローを示す図である。 本発明の電子情報ボードの実施形態１のストローク単位消去時の動作を示す図である。 本発明の電子情報ボードの実施形態１のストローク単位消去時の動作フローを示す図である。 本発明の電子情報ボードの実施形態１の投げ縄による選択の動作を示す図である。 本発明の電子情報ボードの実施形態１の投げ縄による選択の動作フローを示す図である。 本発明の電子情報ボードの実施形態１のその他の選択の動作を示す図である。 本発明の電子情報ボードの実施形態１のその他の選択の動作フローを示す図である。 本発明の電子情報ボードの実施形態１の移動の動作を示す図である。 本発明の電子情報ボードの実施形態１の移動の動作フローを示す図である。 本発明の電子情報ボードの実施形態１の移動直後の動作を示す図である。 本発明の電子情報ボードの実施形態１の移動直後の動作フローを示す図である。 本発明の電子情報ボードの実施形態１の拡大の動作を示す図である。 本発明の電子情報ボードの実施形態１の拡大の動作フローを示す図である。 本発明の電子情報ボードの実施形態１の拡大直後の動作を示す図である。 本発明の電子情報ボードの実施形態１の拡大直後の動作フローを示す図である。 本発明の電子情報ボードの実施形態１のズームの動作を示す図である。 本発明の電子情報ボードの実施形態１のズームの動作フローを示す図である。 本発明の情報処理システムの実施形態１のズームの動作を示す図である。 本発明の電子情報ボードの実施形態１のズームの動作フローを示す図である。 本発明の電子情報ボードの実施形態１のパンの動作を示す図である。 本発明の電子情報ボードの実施形態１のパンの動作フローを示す図である。 本発明の電子情報ボードの実施形態１のパンの動作フローを示す図である。 本発明の電子情報ボードの実施形態１のパンのその他の動作を示す図である。 本発明の電子情報ボードの実施形態１のパンのその他の動作フローを示す図である。

＜実施形態１の全体の構成と動作の概要＞
以下、本発明の実施形態１における構成及び動作について説明する。図２は全体の構成を表した図である。本実施形態においては、画像表示装置として電子情報ボード１を使用し、サーバ２は画像処理装置として機能し、図２に示すように、電子情報ボード１とサーバ２はネットワークによって接続されている。図１は、電子情報ボード１及びサーバ２の具体的な構成要素を示すブロック図である。

図１に示すように、電子情報ボード１は、タッチパネルディスプレイ１０１を有する。タッチパネルディスプレイ１０１は、画像表示手段として機能する。また、操作手段は、タッチパネルディスプレイ１０１をタッチすることであっても良いし、タッチペンやマウス等の機器を用いて入力することであっても良い。そのため、タッチパネルディスプレイ１０１が操作手段として機能する場合もある。

また、電子情報ボード１は、タッチパネルディスプレイ１０１で発生した操作イベントを受信する操作イベント受信部１０３、受信した操作イベントをサーバ２に送信する操作イベント送信部１０２を有する。操作イベント送信部１０２は送信手段として機能する。

また、受信した操作イベントでストローク編集用のインタフェースや、編集中の状態等を表示するストローク編集状態表示部１０５、を有する。なお、ストローク編集状態表示部１０５は、以降の説明においてローカルフィードバックとも呼ばれ、操作状態表示手段として機能する。

さらに、サーバ２のストローク表示・編集部２０１からイベント送信部２０４を介して送信されたイベントを受信するイベント受信部１０４、サーバ２から映像を受信する映像受信部１０６、受信した映像を表示する映像表示部１０７を有する。映像受信部１０６は動画受信手段として、映像表示部１０７は動画表示手段として機能する。

サーバ２は、操作イベントを受信するイベント受信手段として機能する操作イベント受信部２０３、操作イベントを一旦保存するための操作イベントキュー２０２を有する。また、操作イベントキューから操作イベントを取り出してストロークを表示・編集するストローク表示・編集部２０１を有する。

その他にも、サーバ２は、ストローク編集中に発生したイベントを電子情報ボードに送信するイベント送信部２０４、背景映像を表示する背景映像表示部２０５を有する。また、背景映像とストローク映像を合成し動画を生成する映像合成部２０６、生成された動画を電子情報ボードに配信する映像送信部２０７からなる。映像合成部２０６は動画作成手段として機能し、映像送信部２０７は動画送信手段として機能する。

図３は、本実施形態の電子情報ボード１及びサーバ２の動作を示すフローである。各フローの主体及び対象となる構成要素については、図１の名称を用いて説明する。まず、タッチ等により電子情報ボード１にストロークの描画を行うと、マウスイベントが発生する（ステップＳ１０１）。

操作の状態をストローク編集状態表示部１０５により画面に表示する（ステップＳ１０３）と共に、マウスイベントを操作イベント送信部１０２によりサーバ２に送信する（ステップＳ１０２）。

そして、サーバ２ではストローク表示・編集部２０１のストローク描画アプリケーションでストロークを描画する（ステップＳ２０１）。アプリケーションの画面を映像合成部２０６で動画エンコーディングし（ステップＳ２０２）、映像送信部２０７により電子情報ボード１に配信する（ステップＳ２０３）。

電子情報ボード１は、映像受信部１０６により動画を受信し、受信した動画を映像表示部１０７により画面に表示する（ステップＳ１０４）。なお、説明中の「動画」とは画像を連続的に表示する一般的な動画を表すが、特に、動画の中でもＨ．２６４等の特定の形式にエンコードされ配信されたものを「映像」としている。本実施形態においては、前述の通り、サーバ２より電子情報ボードに配信される動画を特に映像と呼んでいる。

＜実施形態１の構成と動作の詳細＞
ここまでは全体的な構成と動作の概要について説明したが、以降は本実施形態の構成と動作の詳細について説明する。図４は、電子情報ボード１のレイヤ構成を示す図である。電子情報ボード１は、操作パネル表示レイヤ１０１ｃ、ストローク編集用のインタフェースや、編集中の状態等を表示するローカルフィードバックレイヤ１０１ｂ、サーバから配信された映像を表示する映像表示レイヤ１０１ａからなる。

図５は、映像配信の概略を示す図である。図５に示すように、サーバ２はストロークと背景を合成し、それを動画にエンコーディングして、電子情報ボードに配信する。電子情報ボードでは、動画がデコードされ、映像として表示される。

図６は、操作のモードを変更した時のフローを示す図である。図６に示すように、電子情報ボード１の操作パネルにあるボタンを押すと、操作イベントとして、サーバ２にコマンドが送信される。ボタンが押下されると、電子情報ボードでは即座にモードが変更される。サーバ２側では、コマンド受信後にモードが変更される。なお、操作パネルとは、図４の操作パネル表示レイヤ１０１ｃの左側に表示されているコマンドの一覧を示すものである。

図７は、電子情報ボードにおいて使用可能なコマンドの一覧の例を示す図である。図７に示すように、ペンモード、消去モード、選択モード、ズームモード等がある。各コマンドは、必要な情報を引数としてサーバに送信することができる。

図８は、マウスイベントが送信される際のフローを示す図である。操作パネル以外の、ストローク描画領域でペン操作をすると、操作イベントとして、マウスイベントがサーバに送信される。マウスイベントは座標情報を含む。

また、ＭｏｕｓｅＭｏｖｅイベントは、ペンモーブ中に大量に発生するので、順序制御するために、イベントＩＤやシーケンス番号を持つことが望ましい。また、サーバ２側に送信されたＭｏｕｓｅＭｏｖｅイベントは、一旦キューに保存されるのが望ましい。大量のＭｏｕｓｅＭｏｖｅイベントが一度にストローク編集アプリに届けられると、アプリの処理が追いつかない可能性があるからである。

以降、説明する動作は、特に記載がない場合はローカルフィードバックの動作を示すものである。サーバ側から配信される映像には、基本的には操作の結果得られる画像のみが含まれる。ただし、デバッグやデモ等の目的で、サーバ側から配信される映像中にもローカルフィードバックと同じ動作が含まれるようにしても良い。なお、前述の通り、映像とはサーバから配信された映像を示しており、図４の映像表示レイヤ１０１ａに表示されるものである。

また、端末側であるローカルフィードバックで示すストロークと、サーバ側で作成し配信される映像とは、当然厳密には一致しない。例えば、端末側で曲線を描画した場合、ローカルフィードバックにおいてはマウスが移動した座標を直線で結んだマルチラインで表示されるが、サーバ側では描画の際のマウスが移動した座標を基に、スムージングを行った曲線を作成する。これは、スムージングという負荷の大きい処理をサーバ側で行うことによって、端末側にかかる負荷を小さくするためである。

図９は、操作パネルの消去アイコンを押した時の動作を示す図である。消去アイコンを押すと、消去範囲を選択できる。例えば４種類の範囲の中から選択した大きさで描画したストロークの消去を行うことができる。

図１０は、消去時の動作を示す図である。図１０の（ａ）は消去前の画面を示し、図１０の（ｂ）は消去中の画面を示している。図１０の（ｂ）に示すように、黒板消しアイコン５０２を操作すると、アイコンが掃いた領域５０１が選択した消去範囲の大きさで塗りつぶされ、消したように見える。塗りつぶしは、一定時間経過後にフェードアウトさせる。一定時間とは、映像配信により生じる遅延時間＋αである。

また、ざっと黒板消しアイコン５０２を操作すると、５０３に示すような消し残しが残ることがよくある。そこで、消去されたストロークが所定の長さ以下になった場合、あるいは、長さが所定の割合以下になった場合、消し残しも消去するようにしても良い。

図１１は消去時の動作のフローの１例を示す図である。消去中は、黒板消しアイコン５０２が掃いた領域を特定の色で塗りつぶす。特定の色とは、簡単にはホワイトボードの背景色として採用されている白が考えられる。しかし、電子情報ボード１にはＰＣ画像などがストロークの下に表示されることがあるため、単純に白で塗りつぶすと背景が消えてしまったという印象を与えてしまう。

そこで、画像全体の中央値の色や、消去開始した座標周辺の中央値の色などで塗りつぶすとより効果的である。さらに、これらの色を半透明にするとより効果的である。半透明の効果は、明るい色ほど透明効果を低くし、暗色ほど透明効果を大きくするとよい。色の明暗は、ＹＣｂＣｒのＹ値で判断する。

図１２は図１１とは異なる方法による消去時の動作のフローを示す図である。図１１で示した消去では特定色で塗りつぶしていた。しかし、映像はその位置によって色が異なるので、一色で塗りつぶすのは効果的でない。そこで、黒板消しアイコン５０２が掃いた領域をその裏の映像をぼかして表示することでより効果的な消去感覚を与えることができる。

図１２に示すように、前処理としては、映像をキャプチャーし、キャプチャーした画像を一旦縮小し、それにぼかしをかける。ぼかしフィルターとしては、モザイク、ガウンシアンフィルター等がよく知られている。ぼかしフィルターを掛けた後、それをもとのサイズに戻す。縮小した画像にぼかし処理を行うことにより、処理の負荷を小さくしている。

なお、後処理のため、同サイズの空画像である画像Ａを作成しておく。消去中の処理としては、黒板消しアイコン５０２の座標周辺を前記ぼかし画像から切り出し、映像の上に貼り付ける。また、後処理のため、切り出した画像は、画像Ａにも貼り付けておく。
後処理としては、前記映像の上に貼り付けた画像を削除し、代わりに、画像Ａを貼り付ける。そして、一定時間経過後に画像Ａをフェードアウトさせる。

映像の上に貼り付けた画像をフェードアウトしないのは、これら画像は大量に存在するため、処理が煩雑になるためである。映像の上に貼り付けた画像を集約した１枚の画像をフェードアウトさせることで、自然なフェードアウトを実現する。

図１３は背景画像を配信する際の動作を示す図である。図１２では、ストロークが消えたように見せるため、映像をキャプチャーした画像にぼかしを入れて、それを黒板消しアイコン５０２の掃いた領域に貼り付けていた。これは、ストロークと背景画像が合成された映像が配信されるために発生する。

しかし、図１３の図のように背景画像が別途エンコードして配信されていれば、このようなぼかし処理は必要ない。背景画像の黒板消しが掃いた領域を切り取って貼り付ければよい。ただし、常に背景画像を動画送信する必要はなく、映像と同じｆｐｓで送信される必要はない。消去モードに変更されたときに、１ｆｐｓ程度で配信されれば十分である。

また、配信時は通常の３０ｆｐｓ中、１ｆｐｓ分を背景送信に割り当てることで、ネットワーク帯域を余計に消費せずにすむ。通常の動画フレーム中に割り込んだ背景映像フレームはそれを受信した電子情報ボード中で分離する。分離するために、フレームのヘッダ情報を参照するとよい。図１４はこの場合のフローを示す図である。

図１５は、選択消去の動作を示す図である。図１５の（ａ）は、消去を行う前の画面の表示を示している。選択消去とは、投げ縄で囲んだ領域内にあるストロークを消去する機能である。

図１５の（ｂ）に示すように、囲んだ領域を塗りつぶすことで、遅延を感じさせず消したかのように感じさせることができる。図１５の（ｂ）では白で塗りつぶしているが、前述の通常の消去の動作の説明で述べたように、映像のぼかし画像で塗りつぶしたり、背景映像を別途配信させ、それを使って塗りつぶしたりしても良い。図１６は選択消去の動作フローを示す図である。

図１７はストローク単位消去の動作を示す図である。ストローク単位消去とは、消しゴムアイコン５１１の軌跡と交差したり、触れたりしたストロークをストロークごと消去する方法である。

しかし、ストローク単位消去は、軌跡に触れただけでストローク全体を消去するため、前述の消去のようにストロークを白で塗りつぶして、遅延を感じさせないようにすることができない。そこで、図１７の（ｂ）に記載のように、消しゴムの軌跡と消しゴムの残像を表示することで、すぐに消えないストレスを軽減させる。

消しゴムの軌跡は図では白で塗りつぶしているが、点線で描いたり、前述の通常の消去の動作と同様に、映像のぼかし画像で塗りつぶしたり、背景映像を別途配信させ、それを使って塗りつぶしてもよい。また、消しゴムの残像は、先に表示したアイコンから順に削除するよう構成されている。表示する残像の数、削除を開始するまでの時間は遅延時間に比例させるようにしても良い。図１８はストローク単位消去の動作フローを示す図である。

図１９は投げ縄による選択の動作を示す図である。図１９の（ａ）は選択前の状態を示している。投げ縄で選択を開始すると、途中までの選択結果が表示される。図１９の（ｂ）及び（ｃ）は選択中の図である。選択中であるため、表示される矩形は、未確定の選択領域となる。

未確定選択領域を描画するためその座標とサイズが必要となるが、ペンモーブイベントが逐一サーバに送信され、そのレスポンスとして返される。図１９の（ｂ）と（ｃ）との間で未確定選択領域の大きさが変化しているが、大きさの変化は、アニメーションさせるようにしても良い。

ペンアップがされた後、ペンアップイベントがサーバに送信され、その結果が返ってきた時に選択確定となり、図１９の（ｄ）に示すように、未確定選択領域は確定選択領域となる。四隅には拡大・縮小用のつまみが表示される。また、確定選択領域の枠の色は、未確定選択領域の色よりも濃くする。例えば、確定選択領域の色をグレーとし、未確定選択領域の色をライトグレーとする。

なお、未確定選択領域は、ペン操作で移動できるように構成する。これにより、選択未確定状態でも移動操作できることで、選択確定までユーザを待たせる必要がなくなり、遅延によるストレスを軽減できる。

他に、ストロークの選択状態は選択領域以外の部分でペンダウンすることで解除できる。このときは、ペンダウン時に選択領域の表示を削除する。削除はフェードアウトにしてもよい。図２０は投げ縄による選択の動作フローを示す図である。

図２１はその他の選択方法の動作を示す図である。この場合は、投げ縄で選択しても前述のような未確定選択領域は表示されない。図２１の（ａ）は選択前の状態を示す図である。図２１の（ｂ）に示すように、ペンアップ後、投げ縄のバウンディングボックスが未確定選択領域として表示される。

その後、ペンアップイベントのレスポンスをサーバから受信したときに、図２１の（ｃ）に示すように、未確定選択領域を確定選択領域に変更する。変更に際してはアニメーションを表示させても良い。なお、前述の選択の場合と同様に、未確定選択領域はペン操作で移動できるようにしても良い。図２２は選択の動作フローを示す図である。

図２３は移動の動作を示す図である。図２３の（ａ）に示すように、選択領域をペンでドラッグすることで、ストロークを移動させることができる。移動中はガイド枠を表示する。ガイド枠のみが移動するようにしても良いし、ガイド枠に映像のキャプチャー画像の選択領域部分を貼り付けるとようにしても良い。移動中であるため、半透明にする。

図２３の（ｂ）に示すように、ペンアップすると、移動が確定し、選択領域自体を移動させる。同時に前記ガイドと貼り付けた画像を削除する。画像は単に削除するのではなく、一定時間経過後にフェードアウトさせるとよい。図２４は移動の動作の動作フローを示す図である。

図２５は移動直後の状態を示す図である。図２５に示すように、選択領域は移動しているが、遅延のため、映像上の文字はまだ移動していない。問題は、映像上の文字がもとの位置のままであるため、映像上で文字が移動するまで、ユーザを待たせてしまうことである。

そこで、前述のように背景画像を取得できれば、選択領域のもとの位置に、背景画像の該当部分を貼り付けることで文字を隠すことができる。貼り付けた画像は一定時間経過後に消去する。図２６は移動直後の動作フローを示す図である。

図２７は、拡大の動作を示す図である。図２７の（ａ）に示すように、選択領域四隅のツマミをペンでドラッグすることで、ストロークのサイズ変更、即ち拡大・縮小ができる。基本的動作は移動と同様である。例えば、拡大動作を行った後は図２７の（ｂ）に示す状態となる。図２８は拡大の動作フローを示す図である。

ツマミをペンでドラッグすることで、選択領域の拡大・縮小を行う。サイズの変更中はガイド枠を表示する。ガイド枠のみがサイズ変更されるようにしても良いし、ガイド枠には映像のキャプチャー画像の選択領域部分を貼り付けるようにしても良い。サイズの変更中であるため、半透明にする。

移動の場合と同様に、図２９に示すように、拡大・縮小でも、映像が拡大・縮小されるまで、遅延が生じる。図２５で示した移動の場合と同様の方法でこの問題を解決することが可能である。

即ち、背景画像を取得し、選択領域の拡大・縮小前の位置に、背景画像の該当部分を貼り付けることで文字を隠すことができる。貼り付けた画像は一定時間経過後に消去する。図３０は拡大・縮小の動作フローを示す図である。

図３１はズームの動作を示す図である。図３１の（ａ）はズーム前の状態を示し、図３１の（ｂ）はズームの倍率を設定する様子を示している。画面をズームする場合は、まず映像をキャプチャーし、それをズームさせる。ズーム後にキャプチャー画像をフェードアウトさせる。図３１の（ｃ）はズームの動作を行った結果を示している。図３２は拡大の動作フローを示す図である。

例えばズーム率を２００％から１００％に変化させる場合、２００％の映像は、端末で表示される部分だけ配信されるため、映像をキャプチャーしてズーム率を変更すると、図３１の（ｄ）のように映像が表示できない領域が生じる。この領域はグレーで塗りつぶす。なお、ズーム中に現在のズーム率を示すために、画面中央にズーム率を表示してもよい。

図３３はズームのその他の動作を示す図である。前述の動作の場合、２００％から１００％にズームの倍率を変化させる場合に、グレーの部分が見えてしまうという問題があった。この問題は、拡大した場合もフルサイズの映像を配信することで解決できる。即ち、ズームの倍率が減少した場合に、グレーの部分としていた場所にフルサイズの映像を表示する。

しかし、例えば８００％のサイズの場合にフルサイズの映像をすべての端末に配信すると帯域を圧迫するため現実的ではない。そこで、図３３に示すように、１ｆｐｓ程度でフルサイズの映像を配信することで解決する。なお、のフルサイズ映像はローカルフィードバック用なので、８００％の場合でも８００％のサイズで配信する必要はなく、２００％程度にしてから配信するようにしても良い。図３４はこの場合の動作フローを示す図である。

図３５はパンの動作を示す図である。ズームした場合は、希望の場所を閲覧するために、画面をパンすることができる。ズームと同様に、映像をキャプチャーして移動させることで実現できる。しかし、キャプチャー画像のサイズは電子情報ボードの画面サイズと同じなので、パンすると図３５の（ｂ）に示すように、背後の領域が見えてしまうことになり、図３５の（ｃ）の状態となるまでに遅延が生じる。

そこで、ズームの場合と同様の方法により、この問題を解決する。即ち、フルサイズ若しくは大きめのサイズの映像を配信しておき、パン直後の遅延が発生している間に表示する方法である。図３６及び図３７はパンの動作フローを示している。

しかし、フルサイズの映像のキャプチャー画像は巨大であり、この画像をパン操作のために移動すると、処理遅延が発生する可能性がある。なお、パン中は、全体の中のどこにいるかを示すため、現在位置を表示するガイドを表示してもよい。

この問題を解決するため、図３８の（ｂ）に示すように、キャプチャー画像をパンするのではなく、枠線を表示し、それを移動させることでパンしていることを示すことが考えられる。図３８の（ｃ）に示すように、枠線は一定時間経過後に消去する。この場合の動作フローを図３９に示す。

＜実施形態１の効果＞
これらの動作に共通して、手書き処理をサーバ側で行い、端末側ではサーバから配信された動画の表示と、手書き編集状態表示のみを行うので端末側に負荷をかけない。そのため、安価な電子情報ボードを提供できる。また、端末を交換することなく、処理の重い機能を提供することができる。さらに、安価でローパワーの電子情報ボードでありながら、手書き編集を遅延なく行うことができる。

なお、上記の実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

画像表示装置である電子情報ボード１と、画像処理装置であるサーバ２をネットワークで接続し画像処理システムとしても良い。また、これらの画像処理を実行させるためのプログラムを電子情報ボード１及びサーバ２にインストールして実行させるようにしても良い。

また、画像表示装置の例としてタッチパネルによって操作される電子情報ボードを挙げているが、画像表示装置としては電子情報ボードに限らず、ディスプレイ一体型のパーソナルコンピュータやタブレット端末等であっても良い。

１ 電子情報ボード
２ サーバ
１０１ タッチパネルディスプレイ
１０１ａ 映像表示レイヤ
１０１ｂ ローカルフィードバックレイヤ
１０１ｃ 操作パネル表示レイヤ
１０２ 操作イベント送信部
１０３ 操作イベント受信部
１０４ イベント受信部
１０５ ストローク編集状態表示部
１０６ 映像受信部
１０７ 映像表示部
２０１ ストローク表示・編集部
２０２ 操作イベントキュー
２０３ 操作イベント受信部
２０４ イベント送信部
２０５ 背景映像表示部
２０６ 映像合成部
２０７ 映像送信部
５０２ 黒板消しアイコン
５１１ 消しゴムアイコン

特表２０１１−５２４５７２

Claims (28)

1. 画像を表示する画像表示手段と、
   前記画像表示手段が表示している画像の上にストロークを描画し編集するための操作を行う操作手段と、
   を有する画像表示装置であって、
   前記操作手段による操作の状態を表示する操作状態表示手段と、
   前記操作手段によって発生する操作イベントを送信する操作イベント送信手段と、
   前記操作イベントに基づくストロークを示す動画を受信する動画受信手段と、
   前記動画受信手段によって受信した動画を表示する動画表示手段と、を有することを特徴とする画像表示装置。
2. 前記画像表示手段と、前記操作手段と、を機能として備えるタッチパネルディスプレイを有する電子情報ボードであることを特徴とする請求項１記載の画像表示装置。
3. 前記操作状態表示手段は、
   前記操作手段によって投げ縄によって選択した領域を消去する操作が行われた場合、消去の対象となる領域に塗りつぶしを表示することで消去の操作状態を表示し、操作が確定した後、一定時間経過後に前記塗りつぶしを消去することを特徴とする請求項１または２記載の画像表示装置。
4. 前記操作状態表示手段は、
   前記操作手段によってアイコンが移動した範囲を消去する操作が行われた場合、消去の対象となる領域に塗りつぶしを表示することで消去の操作状態を表示し、操作が確定した後、一定時間経過後に前記塗りつぶしを消去することを特徴とする請求項１から３のいずれか１項に記載の画像表示装置。
5. 前記塗りつぶしは、消去の対象の領域の画像のキャプチャーにぼかし処理を行ったものであることを特徴とする請求項３または４記載の画像表示装置。
6. 前記ぼかし処理は、ガウンシアンフィルターによるぼかし処理であることを特徴とする請求項５記載の画像表示装置。
7. 前記ぼかし処理は、消去の対象の領域の画像のキャプチャーを縮小した縮小画像に対して行われ、
   前記塗りつぶしは、前記ぼかし処理が行われた前記縮小画像を拡大したものであることを特徴とする請求項５または６記載の画像表示装置。
8. 前記消去する操作は、
   消去の操作によりストロークの所定の長さの部分が消去されずに残った場合、残った部分も消去することを特徴とする請求項３から７のいずれか１項に記載の画像表示装置。
9. 前記消去する操作は、
   消去の操作によりストロークの一定の割合の部分が消去された場合、残りの部分も消去することを特徴とする請求項３から７のいずれか１項に記載の画像表示装置。
10. 前記操作状態表示手段は、
    前記操作手段によって移動したアイコンが触れたストロークをストローク単位で消去する操作が行われた場合、アイコンが移動した軌跡を残像として表示し、一定時間経過後に前記残像を消去することを特徴とする請求項１から９のいずれか１項に記載の画像表示装置。
11. 前記操作状態表示手段は、
    前記操作手段によって投げ縄による領域の選択が行われた場合、選択されたストロークを含む領域を矩形の未確定選択領域として表示した後、矩形の確定選択領域になることを特徴とする請求項１から１０のいずれか１項に記載の画像表示装置。
12. 前記確定選択領域の枠の色は、前記未確定選択領域の枠の色と異なる色で表示されることを特徴とする請求項１１記載の画像表示装置。
13. 前記操作状態表示手段は、
    前記操作手段によって選択領域を移動する操作が行われた場合、移動の対象となる領域の画像のキャプチャーを移動の操作と共に移動させ、操作が確定した後、一定時間経過後に前記移動の対象となる領域の画像のキャプチャーを消去することを特徴とする請求項１から１０のいずれか１項に記載の画像表示装置。
14. 前記画像のキャプチャーは、移動の操作が行われている間は半透明で表示されることを特徴とする請求項１３記載の画像表示装置。
15. 前記操作状態表示手段は、
    前記操作手段によって選択領域を移動する操作が行われた場合、移動の対象となる領域に表示されるガイド枠のみが移動し、操作が確定した後、一定時間経過後に前記ガイド枠を消去することを特徴とする請求項１から１４のいずれか１項に記載の画像表示装置。
16. 前記移動の対象となる領域は、移動の操作が行われている間は、背景画像の前記移動の対象となる領域に該当する部分が貼り付けられることを特徴とする請求項１３から１５のいずれか１項に記載の画像表示装置。
17. 前記操作状態表示手段は、
    前記操作手段によって選択領域のサイズを変更する操作が行われた場合、変更する対象の領域の画像のキャプチャーを変更の操作と共にサイズを変更し、操作が確定した後、一定時間経過後に前記変更する対象の領域の画像のキャプチャーを消去することを特徴とする請求項１から１６のいずれか１項に記載の画像表示装置。
18. 前記画像のキャプチャーは、サイズの変更の操作が行われている間は半透明で表示されることを特徴とする請求項１７記載の画像表示装置。
19. 前記操作状態表示手段は、
    前記操作手段によって選択領域のサイズを変更する操作が行われた場合、変更する対象の領域に表示されるガイド枠のみが移動し、操作が確定した後、一定時間経過後に前記ガイド枠を消去することを特徴とする請求項１から１８のいずれか１項に記載の画像表示装置。
20. 前記サイズの変更の対象となる領域は、移動の操作が行われている間は、背景画像の前記変更する対象の領域に該当する部分が貼り付けられることを特徴とする請求項１７から１９のいずれか１項に記載の画像表示装置。
21. 前記操作状態表示手段は、前記操作手段によってズームの操作が行われた場合、画像のキャプチャーをズームして表示し、操作が確定した後、一定時間経過後に前記画像のキャプチャーを消去することを特徴とする請求項１から２０のいずれか１項に記載の画像表示装置。
22. 前記操作状態表示手段は、前記操作手段によってズーム後にパンの操作が行われた場合、ズームして表示している画像のキャプチャー上を移動し表示し、操作が確定した後、一定時間経過後に前記画像のキャプチャーを消去することを特徴とする請求項１から２１のいずれか１項に記載の画像表示装置。
23. 前記操作状態表示手段は、前記操作手段によってズームの倍率を小さくする操作が行われた場合に生じる、画面を表示することができない領域をグレーで塗りつぶして表示することを特徴とする請求項２１または２２のいずれか１項に記載の画像表示装置。
24. 前記動画受信手段は、前記操作手段によってズームの操作が行われた場合に、画面には表示されない範囲を含むフルサイズの映像を受信し、
    前記画像のキャプチャーは、前記フルサイズの映像から取得されることを特徴とする請求項２１から２３のいずれか１項に記載の画像表示装置。
25. 前記操作状態表示手段は、ズーム後にパンの操作が行われた場合、枠線を表示し、前記枠線を移動させることによって前記パンの操作が行われていることを表すことを特徴とする請求項１から２４のいずれか１項に記載の画像表示装置。
26. 請求項１から２５のいずれか１項に記載の画像表示装置を有し、
    画像処理装置を有する画像処理システムであって、
    前記画像処理装置は、
    前記操作イベント送信手段によって送信された操作イベントを受信する操作イベント受信手段と、
    前記操作イベント受信手段が受信した操作イベントに基づいてストロークを示す動画を作成する動画作成手段と、
    前記動画作成手段により作成された動画を前記動画受信手段に対して送信する動画送信手段と、を有することを特徴とする画像処理システム。
27. 画像表示装置に表示されている画像の上にストロークを描画し編集するための操作を行う操作ステップと
    前記操作ステップによる操作の状態を表示する操作状態表示ステップと、
    前記操作ステップによって発生する操作イベントを送信する操作イベント送信ステップと、
    前記操作イベントに基づくストロークを示す動画を受信する動画受信ステップと、
    前記動画受信ステップによって受信した動画を表示する動画表示ステップと、を有することを特徴とする画像処理方法。
28. 画像表示装置に、請求項２７記載の方法によって画像処理を実行させることを特徴とする画像処理プログラム。