JP2014238449A - 画像処理装置 - Google Patents

Abstract

【課題】手書き画像以外の他の画像を表示装置に表示する場合でも、手書き画像を適切に表示可能として、画面全体を効率よく活用することが可能な電子情報ボードを提供する。【解決手段】表示部１１２の表示面に近接又は接触する電子ペン３の座標位置を入力座標位置として検出する座標検出部２２４と、表示面の所定領域を占める会議映像と、座標検出部２２４によって検出された入力座標位置に手書き画像を表示する表示制御部２２０と、座標検出部２２４で検出された入力座標位置が、会議映像が表示される所定領域内にあるときに、表示制御手段による会議映像の表示態様を変更する制御を行う映像表示領域制御部２１９と、を備える【選択図】図４

Description

本発明は、画像処理装置に関し、特に電子ペンや指を用いた書込が可能な電子情報ボードに関する。

電子ペンや指等を用いてディスプレイに対し自在に書き込み可能な電子情報ボードが既に知られている。例えば、特許文献１には、表示部に対して電子ペン等で記述（手書き画像）することにより、表示部に文字が表示される電子情報ボードが記載されている。
昨今では、このような電子情報ボードを、物理的に離れた遠隔地等の拠点同士を接続したテレビ会議にも利用するようになっている。
例えば、遠隔会議用の端末装置に電子情報ボードを接続し、互いの端末装置が備えるカメラで取得した映像を、互いの電子情報ボードに対する書き込みとともに電子情報ボード間で送受信してボードの表示部に表示させながらテレビ会議を行う態様が知られている。
例えば上記の特許文献１によれば、一般的なビデオ会議システムに接続することにより、電子情報ボードのディスプレイ上にビデオ会議システムのカメラ画像を出力することが可能である。

しかし、例えばユーザ端末装置が有するカメラで取得した映像（カメラ映像）と電子情報ボードに対する書き込み（手書き画像）の両方を、互いの電子情報ボードに表示する場合、手書き画像よりも前面のレイヤにカメラ映像を表示することが多かった。
その場合、例えばビデオ会議システムにおける電子情報ボードにおいて、相手方の電子情報ボードからのカメラ映像を表示した状態で手書き画像を記述すると、その背面に位置する手書き画像レイヤには手書き画像が記録されているにも拘わらず、会議映像（カメラ映像）と重なる部分には手書き画像が表示されない。
そのため、会議参加者からは常に会議映像（カメラ画像）が見え、記述した手書き画像（手書き画像）が見えない、という問題があった。従って、会議参加者はカメラ映像の領域を避けて手書きを行うなどする必要があり非常に煩雑である。
本発明は、上記の課題を鑑みて、表示面への入力以外の画像を表示画面に表示している場合でも、表示面への入力を適切に表示可能とした画像処理装置を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、表示面における座標位置を検出する座標検出手段と、前記表示面の所定領域に画像を表示する表示制御手段と、前記座標位置が、前記所定領域にあるときに、前記表示制御手段による前記画像の表示態様を変更する制御を行う領域制御手段と、を備える画像処理装置を特徴とする。

本発明によれば、表示面への入力以外の画像を表示画面に表示している場合でも、表示面への入力を適切に表示可能として、画面全体を効率よく活用することが可能な画像処理装置を実現することが出来る。

本実施形態に係る電子情報ボードが適用される遠隔会議システムを示す図。 本発明尾実施形態に係る電子情報ボードのハードウェア構成およびソフトウェアによる機能構成を示す図。 遠隔会議システムの電子情報ボードが実行する処理の一例を示すシーケンス図。 本実施形態の電子情報ボードの表示部を示す図。 電子情報ボードにおける電子ペンの接触位置情報および会議映像の表示位置情報の定義方式を表す図。 会議映像の制御処理を説明するフローチャート。 映像表示領域制御部による会議映像制御の一例を示す図。 映像表示領域制御部による会議映像制御の他の例を示す図。 映像表示領域制御部による会議映像制御の他の例を示す図。 映像制御の第１の終了処理を説明するフローチャート。 映像制御の第２の終了処理を説明するフローチャート。

以下に、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本実施形態に係る電子情報ボード（画像処理装置）が適用されるテレビ会議システム（画像処理システム）を示す図である。
図１に示す遠隔会議システム１００において、例えば２つの電子情報ボード１１０（１１０ａ、１１０ｂ）がＬＡＮやインターネット等のネットワークＮＷを介して相互に接続されている。
図１に示す会議システムでは、一方の電子情報ボード１１０に対して電子ペン３等の入力装置を用いて手書き画像（手書き画像領域）５が記述、削除、又は編集等がされると、ネットワークＮＷに接続された他方の電子情報ボードに同一の手書き画像５が表示される。
つまり、異なる拠点間で全く同じ手書き画像情報を共有することが可能である。

また、各電子情報ボード１１０には、電子情報ボード１１０に表示すべき画像を提供する情報処理装置としての遠隔会議ユーザ端末（以下、単にユーザ端末と呼ぶ）１３０（１３０ａ、１３０ｂ）が接続されている。
ユーザ端末１３０（１３０ａ、１３０ｂ）は夫々カメラ（画像取得手段）１３１（１３１ａ、１３１ｂ）を備え、各拠点における会議参加者の映像等を撮影し、手書き画像とともに他の電子情報ボードに対して送信可能である。
また、ユーザ端末１３０は、画像信号を外部出力するＶＧＡ出力端子等インタフェースを備えており、ＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を電子情報ボード１１０に送信することができる。

例えば、ユーザ端末１３０における画像信号（カメラ１３１で取得した画像信号）を所定のレート（例えば、毎秒３０フレーム等）で電子情報ボード１１０に供給する。
ユーザ端末１３０は、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。
ユーザ端末１３０のカメラ１３１より撮影された映像が電子情報ボード１１０に入力されることで、手書き情報に加えて映像や音声を遠隔地の電子情報ボード１１０間で送受信する遠隔会議システム１００を実現することが出来る。

なお、ユーザ端末１３０としては、ノート型ＰＣ、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、さらにはデジタルビデオカメラ、デジタルカメラ等が適用可能である。
なお、図１に示す実施形態では電子情報ボード１１０ａ、１１０ｂがネットワークＮＷを介して接続されるが、これらの電子情報ボードを、ネットワークＮＷを介さずにスター型等の接続形態で直接接続してもよい。

また、電子情報ボード１１０をネットワークに接続せずにスタンドアロンで使用する場合にも本発明を適用することが可能である。
また、カメラ１３１等ユーザ端末１３０が有する機能を全て電子情報ボード１１０が備えていても良い。
なお、電子情報ボード１１０ａ、１１０ｂは互いに同一の構成を有する装置であり、以下では、２以上の装置の通信等を説明する場合以外は、単に電子情報ボード１１０、それに接続されるユーザ端末１３０として説明を行う。

図２は、本発明の実施形態に係る電子情報ボードのハードウェア構成およびソフトウェアによる機能構成を示す図である。
以下、図２を参照して、電子情報ボード１１０のハードウェア構成および機能構成について説明する。
電子情報ボード１１０は、画像入力インタフェース２３２および画像出力インタフェース２３４を備えており、これらのインタフェースを介してユーザ端末１３０と接続される。
画像入力インタフェース２３２は、ユーザ端末１３０の表示画像や、カメラ１３１ａ、マイク１３２ｂによって取得された会議映像や音声の信号を受信するインタフェースである。

本実施形態では、画像入力インタフェース２３２としてＤＶＩ（Digital Visual Interface）端子によって構成されるＤＶＩコネクタ等を採用することができる。
画像入力インタフェース２３２は、ユーザ端末１３０からＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を受信し、電子情報ボード１１０が備える画像取得部２０６にＶＧＡ信号を供給する。
画像入力インタフェース２３２としては、ＶＧＡ（Video Graphics Array）コネクタ、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）コネクタ、Ｄｉｓｐｌａｙｐｏｒｔコネクタ等を採用することができる。また、画像入力インタフェース２３４としてＵＳＢソケットを採用することもできる。

また、画像入力インタフェース２３２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザ端末１３０から画像信号を受信してもよい。
画像出力インタフェース２３４は、電子情報ボード１１０の表示画像をユーザ端末１３０などの外部装置に出力する物理インタフェースである。本実施形態では、画像出力インタフェース２３４としてＵＳＢソケットを採用することができる。
電子情報ボード１１０は、プロセッサ２００と、ＲＯＭ２０２と、ＲＡＭ２０４と、画像取得部２０６と、座標検出部２２４と、接触検知装置２２６と、表示部１１２とを備えている。

プロセッサ２００は、ＣＰＵやＭＰＵ等の処理演算装置であり、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳを動作させる。
そして、これらのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。

ＲＯＭ２０２は、ＢＩＯＳやＥＦＩ等のブートプログラムなどが保存される不揮発性メモリである。
ＲＡＭ２０４は、ＤＲＡＭやＳＲＡＭ等の主記憶装置であり、本発明のプログラムを実行するための実行空間を提供する。

プロセッサ２００は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置（不図示）から、本発明のプログラムを読み出し、ＲＡＭ２０４に展開して実行する。
これらのプログラムは、プログラムモジュールであるイベント処理部２１０、表示領域生成部２１２、映像描画部２１４、映像表示領域制御部（領域制御手段）２１９、手書き画像生成部２１６が主に含まれる。
また、プロセッサ２００が実行するプログラムモジュールとして、合成部２１８、表示制御部２２０が更に含まれる。

画像取得部２０６は、ユーザ端末１３０から画像信号を取得する機能手段である。
画像取得部２０６は、ユーザ端末１３０から画像入力インタフェース２３２を介して画像信号を受信すると、当該画像信号を解析して当該画像信号によって形成される画像フレームの解像度の更新頻度などの画像情報を導出し、表示領域生成部２１２に送信する。
また、画像取得部２０６は、当該画像信号を使用して画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオＲＡＭ２０８にそれぞれ上書き保存する。

表示領域生成部２１２は、表示部（画像表示手段）１１２に表示すべき種々の表示ウィンドウを生成する（表示領域を割り当てる）機能手段である。
表示領域には、ネットワークを介して他のユーザ端末１３０ｂから送信されてきたカメラ映像を表示する映像表示領域９や、電子情報ボード１１０ａ、及び他の電子情報ボード１１０ｂにおいて生成された手書き画像を表示する手書き画像表示領域４が含まれる。

また、表示領域には、電子情報ボード１１０の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやＷｅｂブラウザ等の表示ウィンドウなどが含まれてもよい。
表示領域生成部２１２は、これらの表示領域を、当該表示領域を描画すべき画像レイヤに描画する。

映像描画部２１４は、表示領域生成部２１２が生成する表示領域にユーザ端末１３０から入力されるカメラ画像（映像）を描画する機能手段である。
映像描画部２１４は、画像取得部２０６から画像情報を取得すると、ビデオＲＡＭ２０８に格納されている画像フレームを取得する。
そして、映像描画部２１４は、取得した画像情報を使用して、画像フレームの大きさを表示領域生成部２１２が生成した表示ウィンドウの大きさに適合するように変更して当該画像フレームを描画すべき画像レイヤに描画する。
接触検知装置２２６は、表示部１１２に対する電子ペン３等の物体の接触を検知する機能手段である。
本実施形態では、接触検知装置２２６として、赤外線遮断方式による座標入力／検出装置を採用する。

この座標入力／検出装置では、表示部１１２の下側両端部に設置された２の受発光装置が、表示部１１２に平行して複数の赤外線を放射し、表示部１１２の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。接触検知装置２２６は、物体によって遮断された２の受発光装置が放射した赤外線の識別情報を座標検出部２２４に通知し、座標検出部２２４が、物体の接触位置である座標位置を特定する。
なお、接触検知装置２２６として、その他の方式のタッチパネルが採用可能である。

例えば、タッチパネルの方式として、静電容量の変化を検知することで接触位置を特定する静電容量方式、対向する２の抵抗膜の電圧変化により接触位置を特定する抵抗膜方式が採用可能である。
さらに、接触物体が表示部（の表示面）に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルも適用可能である。

座標検出部２２４は、物体が表示部１１２（の表示面）に接触した位置である座標位置を算出すると共に、種々のイベントを発行する機能手段である。
座標検出部２２４が検出する表示部１１２に物体が接触した位置である座標は電子情報ボード１１０に対する入力座標位置である。
本実施形態では、座標検出部２２４は、接触検知装置２２６が通知する遮断された赤外線の識別情報を利用して、物体の接触位置の座標位置を算出する。

座標検出部２２４は、接触位置の座標位置と共に、種々のイベントをイベント処理部２１０に発行する。
これらのイベントには、物体が接触又は接近したことを通知するイベント、物体が表示部１１２に接触または接近した状態で接触点又は接近点が移動したことを通知するイベント、物体が表示部１１２から離れたことを通知するイベントが含まれる。
これらのイベントには、接触位置座標および接近位置座標である座標位置情報（座標位置）が含まれる。

電子ペン（入力装置）３は、電子情報ボード１１０の接触検知装置２２６に接触させて描画（入力）する装置である。
電子ペン３は、先端部に物体の接触を検知する接触検知装置を備えたペン形状をしており、当該接触検知装置が物体に接触すると、接触したことを示す接触信号を当該描画装置の識別情報と共に座標検出部２２４に送信する。
本実施形態では、座標検出部２２４は、接触検知装置２２６から赤外線の識別情報を受信すると、物体の接触位置である座標位置を算出し、次いで、電子ペン３から接触信号を受信すると、各種イベントを発行する。
本実施形態では、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって各種信号を送信する。他の実施形態では、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。

イベント処理部２１０は、座標検出部２２４が発行するイベントを処理する機能手段である。
描画指示イベントとは、電子情報ボード１１０に対して描画を指示するイベントである。描画指示イベントは、画像処理装置操作モードが指定されている場合に、電子ペン３が表示部１１２に接触することに起因して発行される。
選択通知イベントとは、表示部１１２（の表示面）に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。選択通知イベントは画像処理装置操作モードが指定されている場合に、電子ペン３が表示部１１２に接触することに起因して発行される。イベント処理部２１０は、座標検出部２２４が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。
本実施形態では、描画指示イベントおよび選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する電子情報ボード１１０の機能手段は、当該識別情報を参照して種々の処理を実行する。

また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する電子情報ボード１１０の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。
手書き画像生成部２１６は、ユーザが電子ペン３を用いて描画した手書き画像を生成する機能手段である。手書き画像生成部２１６は、座標位置情報が示す座標位置の色を特定の色に変更した画像レイヤを生成する。手書き画像生成部２１６は、当該座標位置を描画情報としてＲＡＭ２０４の描画情報の格納領域に保存する。
合成部２１８は、種々の画像を合成する機能手段である。合成部２１８は、表示領域生成部２１２が画像を描画すべき画像レイヤ（以下、「アプリ画像レイヤ」とする。）と、手書き画像生成部２１６が画像を描画すべき画像レイヤ（以下、「手書きレイヤ」とする）とを合成する。

表示制御部２２０は、表示部１１２を制御する機能手段である。表示制御部２２０は、合成部２１８が生成した合成画像を表示部１１２（の表示面）に表示する。本実施形態では、合成部２１８は、表示制御部２２０を呼び出して合成画像を表示部１１２に表示する。他の実施形態では、合成部２１８および表示制御部２２０は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部１１２に表示してもよい。

電子情報ボード１１０は、さらに、通信制御部２５０と、通信部２５２とを備えている。通信制御部２５０は、ネットワークＮＷを介した電子情報ボード１１０間の通信を制御する機能手段である。
また、通信部２５２は、ネットワークＮＷとのネットワークインタフェースである。
通信制御部２５０は、下記の認証情報、画像フレームやスナップショット画像等の画像データや描画情報、イベントなどの情報を、通信部２５２を介して通信する。
映像表示領域制御部２１９は、電子ペン３の座標位置情報と、表示領域生成部２１２によって生成されたカメラ画像の表示領域との関係に基づいて、手書き画像の作成時に手書き画像がカメラ画像に隠れないように、画像表示領域の制御を行う。

図３は、遠隔会議システム１００の電子情報ボード１１０ａ、１１０ｂが実行する処理の一例を示すシーケンス図である。
遠隔会議システム１００では、電子情報ボード１１０ａ、１１０ｂのいずれかが、画像データやイベント等のデータ共有を図るサーバ機として機能し、他の画像処理装置がクライアント機として機能する。図３に示す実施形態では、電子情報ボード１１０ａがサーバ機として機能し、電子情報ボード１１０ｂ、がクライアント機として機能する。

初めに、サーバ機としての電子情報ボード１１０ａが、サーバ機能を有効にさせるユーザ指示（ユーザ端末１３０ａによる操作）を受信することにより、サーバ機能フラグを有効にする（Ｓ１０）。
次に、電子情報ボード１１０ａが、電子情報ボード１１０ａとの接続を確立するための接続情報を表示部１１２（の表示面）に表示する（ステップＳ１１）。接続情報には、電子情報ボード１１０ａの識別情報と、電子情報ボード１１０ａとの接続を確立するための認証情報とが含まれる。電子情報ボード１１０ａの識別情報は、例えば、電子情報ボード１１０ａのＩＰアドレスや電話番号等の識別情報である。認証情報は、例えば、任意の数字や記号、文字で構成されるパスコードである。

次に、クライアント機としての電子情報ボード１１０ｂ、が、電子情報ボード１１０ａに対して認証情報を送信し、接続を要求する（ステップＳ１２）。
電子情報ボード１１０ａは、電子情報ボード１１０ｂから受信した認証情報を用いて、これらの画像処理装置を認証し（ステップＳ１３）、その結果を通知する（ステップＳ１４）。
認証が成功した場合には、電子情報ボード１１０ａと電子情報ボード１１０ｂとのの通信が確立され、電子情報ボード１１０ｂが、他の電子情報ボードとの間のデータ共有の有無を示す共有フラグを有効にする（ステップＳ１５）。

次いで、電子情報ボード１１０ｂが、ユーザ端末１３０ｂの提供する画像信号（カメラ映像）を用いて画像フレームを生成し（ステップＳ１６）する。
そして、電子情報ボード１１０ｂは、生成した画像フレームを電子情報ボード１１０ａに送信する（ステップＳ１７）。
電子情報ボード１１０ａは、電子情報ボード１１０ｂから画像フレームを受信すると、受信した画像フレームを表示部１１２に表示する（Ｓ１８）。
なお、遠隔会議システム１００に（すなわち、サーバとしての電子情報ボード１１０ａに）さらに電子情報ボードが接続されている場合は、画像フレームを提供した電子情報ボード１１０ｂ以外の電子情報ボードにも画像フレームを送信する。
他の電子情報ボードは、電子情報ボード１１０ａから画像フレームを受信すると、当該画像フレームを表示部１１２に表示する。

次に、電子情報ボード１１０ｂのユーザによる描画装置の操作に基づいて、電子情報ボード１１０ｂが手書き画像を生成する。
電子情報ボード１１０ｂは、当該手書き画像を電子情報ボード１１０ｂの表示部１１２に表示し（Ｓ１９）、当該手書き画像を構成する描画情報を電子情報ボード１１０ａに送信する（Ｓ２０）。
電子情報ボード１１０ａは、電子情報ボード１１０ｂから描画情報を受信すると、当該描画情報を用いて手書き画像を生成し、電子情報ボード１１０ａの表示部１１２に表示する（Ｓ２１）。
電子情報ボード１１０ａにさらに電子情報ボードが接続されている場合は、画像フレームを提供した電子情報ボード１１０ｂ以外の電子情報ボードにも手書き画像を送信する。

他の電子情報ボードは、電子情報ボード１１０ａから手書き画像を受信すると、当該手書き画像を表示部１１２に表示する。
なお、サーバ機としての電子情報ボード１１０ａも、画像フレームや手書き画像をクライアント機１１０ｂに送信することが可能である。

電子情報ボード１１０ａのユーザによる描画装置の操作に基づいて、電子情報ボード１１０ａが手書き画像を生成する。
電子情報ボード１１０ａは、当該手書き画像を電子情報ボード１１０ａの表示部１１２に表示し（ステップＳ２２）、当該手書き画像を構成する描画情報を電子情報ボード１１０ｂに送信する（ステップＳ２３）。
電子情報ボード１１０ｂは、電子情報ボード１１０ｂから描画情報を受信すると、当該描画情報を用いて手書き画像を生成し、電子情報ボード１１０ｂの表示部１１２に表示する（Ｓ２１）。

電子情報ボード１１０ａにさらに電子情報ボードが接続されている場合は、電子情報ボード１１０ｂ以外の電子情報ボードにも手書き画像を送信する。
他の電子情報ボードは、電子情報ボード１１０ａから手書き画像を受信すると、当該手書き画像を表示部１１２に表示する。
電子情報ボード１１０ａが、ユーザ端末１３０ａの提供する画像信号（カメラ映像）を用いて画像フレームを生成（ステップＳ２５）する。

また、電子情報ボード１１０ａは、生成した画像フレームを電子情報ボード１１０ｂに送信する（ステップＳ２６）。
電子情報ボード１１０ｂは、電子情報ボード１１０ａから画像フレームを受信すると、受信した画像フレームを表示部１１２に表示する（Ｓ２７）。

電子情報ボード１１０ａにさらに電子情報ボードが接続されている場合は、電子情報ボード１１０ｂ以外の電子情報ボードにも画像フレームを送信する。
他の電子情報ボードは、電子情報ボード１１０ａから画像フレームを受信すると、当該画像フレームを表示部１１２に表示する。

次いで、図３に示す実施形態では、電子情報ボード１１０ｂが、切断要求を電子情報ボード１１０ａに送信し（Ｓ２８）、通信を切断する（Ｓ２９）。電子情報ボード１１０ａは、電子情報ボード１１０ｂから切断要求を受信すると、サーバ機能フラグを無効にする（Ｓ３０）。
本実施形態では、サーバ機が、いずれかの電子情報ボードが生成する画像フレームをクライアント機に提供するため、複数の画像処理装置の間で同一の画像フレームや手書き画像を共有することができる。

上記のような基本構成を備えることで、本実施形態の遠隔会議システム１００では、複数の電子情報ボード１１０において相互にビデオ画像を送信して表示させるとともに、同一の手書き画像を表示してビデオ会議システムを実現することが出来る。

以下に、本実施形態の電子情報ボードに対して相手方ユーザ端末から送信された会議映像を表示中に、電子ペン３にて書き込みをする場合の問題点を説明する。
なお、以下では、説明の単純化のために遠隔会議システム１００に含まれる電子情報ボードの一方のみを使用して説明するものとする。

図４は、本実施形態の電子情報ボードの表示部を示す図である。
図４に示す電子情報ボードは、その表示部１１２（の表示面）１１２にユーザ端末１３０が出力する第１の画像としての会議映像（映像表示領域）９を表示している。
また、電子情報ボードは、その表示部１１２に電子ペン３を用いて記述された第２の画像としての手書き画像（手書き画像表示領域）５が表示されている。
上記したように電子情報ボード１１０に電子ペン３にて手書き画像５を記述していき、会議映像（第１の画像）９の領域に手書き画像（第２の画像）５を書いた場合には、会議映像９の背面に手書き画像５が隠れてしまい、会議参加者からは見えなくなってしまう。

本実施形態に係る電子情報ボードは、そのような問題を解決する会議映像の表示制御処理に特徴を有する。
すなわち、本実施形態の電子情報ボード１１０は、座標検出部２２４（図２）が検出する電子ペン３の座標位置情報と、表示領域生成部２１２による映像表示領域９の表示位置に基づいて映像表示領域９の表示態様を制御する映像表示領域制御部２１９を備える。

図５は、電子情報ボード１１０における電子ペンの接触位置情報（座標位置情報）および会議映像の表示位置の定義方式を表す図である。
表示部１１２の上辺左側を原点０として、水平方向をｘ方向と定義し、表示部１１２に対面して右方向をプラス方向と定義する。また、垂直方向をｙ方向とし表示部１１２に対面して下方向をプラス方向と定義する。
また、表示部１１２に接触する電子ペン３のペン先の座標はＰ（ｘｐ、ｙｐ）と定義する。
電子ペン３の位置情報の認識は、人間による操作速度を考慮して、例えば２０ｍｓ程度の時間間隔に設定する。

映像表示領域制御部２１９は遠隔会議機器（他の電子情報ボード１１０）が出力する出力映像を表示する位置を、上記のｘ座標、ｙ座標の考えに基づいて制御する。
すなわち、映像表示領域９の上辺左を原点として、この原点を表示部１１２上のｘ座標、ｙ座標に合わせて表示する。

ここで、映像表示領域９の座標は左上をＡ（ｘ１，ｙ１）、右上をＢ（ｘ２，ｙ１）、左下をＣ（ｘ１，ｙ２）、右下をＤ（ｘ２，ｙ２）と定義する。
映像表示領域制御部２１９は、イベント処理部２１０に対して電子ペン３の座標位置情報を定期的に問い合わせる。
この周期は、電子ペン３の位置情報に基づいて、会議映像の表示位置を制御するため、電子ペン制御部が電子ペン３の位置情報を読み取る周期よりも長くする必要がある。例えば、１００ｍｓ程度に設定する。

映像表示領域制御部２１９は、イベント処理部２１０に電子ペン３の座標位置情報を問い合わせた後、続いて表示領域生成部２１２に対して、会議映像を表示している映像表示領域９の座標位置を問い合わせる。
映像表示領域は二次元空間に表示されているため、表示部１１２上の２座標の情報が必要となる。

図５に示す例では、表示部１１２における映像表示領域９の左上の座標Ａ（ｘ１，ｙ１）と、右下の座標Ｄ（ｘ２，ｙ２）の２点の基準とする。
映像表示領域制御部２１９は、電子ペン３の座標位置情報（接触するペン先の座標Ｐ）と、映像表示領域９の上記２座標（Ａ，Ｄ）を比較することにより、電子ペン３の位置が映像表示領域９内に入ったことを認識する。

図６は、映像表示領域制御部２１９による会議映像の制御処理を説明するフローチャートである。
まず、ステップＳ１０１において、映像表示領域制御部２１９は、電子ペン３を用いた手書き画像の入力（ストローク）があるか否かを判定する。
例えば、映像表示領域制御部２１９は２０ｍｓ程度の定期間隔にてイベント処理部２１０に電子ペン３の座標位置情報を問い合わせる。この時、電子ペン３が表示部１１２に近接してない場合には電子ペン３の座標位置情報は異常な値となる。

逆に、異常な値である場合には、電子ペン３が表示部１１２に近づいていない（ストロークがない）と判断して、映像表示領域制御部２１９は何も制御をせず処理を終了する（ステップＳ１０１でＮｏ）。
電子ペン３の座標位置情報が正常な値、つまり電子ペン３が表示部１１２に近接しており、電子ペン３を使った手書き画像５の記述がされていることを認識すると（ステップＳ１０１でＹｅｓ）、映像表示領域制御部２１９は表示領域生成部２１２に映像表示領域９を表示している位置情報を問い合わせ、電子ペン３の座標との比較を行う（ステップＳ１０２）。

まず、映像表示領域制御部２１９は、ステップＳ１０３において、ｘ方向（図５）の判定を実施する。
映像表示領域制御部２１９は、ペン先Ｐのｘ座標ｘｐが、映像表示領域の左右のｘ座標ｘ１、ｘ２に対してｘ１＜ｘｐ＜ｘ２を満たすか否か（電子ペン３のｘ座標が、映像表示領域９の横方向範囲内に入っているか否か）を判定する。

座標ｘｐが会議映像の表示領域９のｘ座標内に入っている場合は（ステップＳ１０３でＹｅｓ）は、映像表示領域制御部２１９は、ステップＳ１０４において、ペン先Ｐのｙ座標ｙｐが映像表示領域の上下のｙ座標ｙ１、ｙ２に対してｙ１＜ｙｐ＜ｙ２を満たすか否か（座標ｙｐが映像表示領域９の縦方向範囲内に入っているか否か）を判定する。
座標ｘｐが、会議映像の表示領域９のｙ座標内に入っている場合は（ステップＳ１０４でＹｅｓ）、映像表示領域制御部２１９は、ステップＳ１０５において、手書き画像５が会議映像９に隠れると判断し、ステップＳ１０６において会議映像９の制御を要求する。
ステップＳ１０３、ステップＳ１０４の何れかで判定結果がＮｏの場合は、手書き画像５が会議映像９に隠れないと判断し、そのまま処理を終了する（ステップＳ１０７）。

図７は、映像表示領域制御部による制御処理の一例を示す図である。
電子ペン３の位置が会議映像の表示領域９に入ったことを認識した結果、映像表示領域制御部２１９は、手書き画像５が視認可能となるように映像表示領域９に対する制御処理を行う。
例えば図７に示すように、会議映像（映像表示領域）９の表示位置を移動させるように、映像表示領域２１４を制御する。
具体的には、映像表示領域９が元々表示されていた領域９ａから、領域９ｂに映像表示領域９を移動するように、表示領域生成部２１４を制御している。
図７に示す例では、映像表示領域９の表示位置を表示部１１２の対角線上に移動する場合の例を示している。

図８は、映像表示領域制御部による制御処理の他の例を示す図である。
映像表示領域制御部２１９は、電子ペン３の位置が会議映像の表示領域９に入ったことを認識した結果、図８に示すように会議映像を、その色を透過色に変更した映像９Ａとするように画像描画部２１４を制御するようにしても良い。
透過色への変換は、既知の技術である「アルファー値」の変換にて実施する。例えば色を表すデータはＡＲＧＢ形式の場合、「透過度：赤：緑：青」の順番で、各データは１バイトの計４バイトデータとなる。本図の例ではアルファー値（透過度）を８７％程度に設定した例である。
これにより、会議映像の表示位置や大きさが変更されること無く、会議映像９の背面に記載する手書き画像５が視認可能となる。

図９は、映像表示領域制御部による制御処理の他の例を示す図である。
映像表示領域制御部２１９は、電子ペン３の位置が会議映像の表示領域９に入ったことを認識した結果、図９に示すように、会議映像自体を非表示とするように、画像描画部２１４、あるいは表示領域生成部２１２を制御するようにしても良い。
このようにすれば、会議映像９の背面に描画された手書き画像５を読むことが可能となり、且つ表示部１１２の全面に手書き画像５を描画することも可能となる。
なお、図７乃至９に示した会議映像を移動したり、色を変えたり、非表示にした後の会議映像の制御に関しては、その利用シーンに応じて様々な態様が考え得る。

すなわち、会議映像を表示することの優先度が低い場合には、制御後の状態を維持することが可能となる。または、一定時間経過後等、様々な条件で映像表示を元の状態に戻すことが考えられる。

映像制御の終了処理について以下に説明する。
図１０は、映像制御の第１の終了処理を説明するフローチャートである。
映像表示領域制御部２１９は、ステップＳ２０１において会議映像を制御中であるか否かを判断する。
会議映像が制御中である場合は（ステップＳ２０１でＹｅｓ）、映像表示領域制御部２１９は、ステップＳ２０２において、制御の開始から所定時間を経過したか否かを判断する。

一定期間が経過していた場合は（ステップＳ２０２でＹｅｓ）、ステップＳ２０３において会議映像の制御を終了するように表示領域生成部２１２を制御する。

これにより、ユーザが特に操作することなく、会議映像が元の状態に復帰し、会議を円滑に継続することが可能となる。
制御した会議映像を元の状態に戻す契機として、会議映像の状態を元に戻すためのボタンを表示部１１２上に配置し、前記ボタンを押下したことを契機として元に戻すようにしても良い。

図１１は、映像制御の第２の終了処理を説明するフローチャートである。
映像表示領域制御部２１９は、ステップＳ３０１において会議映像を制御中であるか否かを判断する。
会議映像が制御中である場合は（ステップＳ３０１でＹｅｓ）、映像表示領域制御部２１９は、ステップＳ３０２において、画面上に表示された制御終了（復帰）ボタンが押下（タッチ）されたた否かを判断する。
一定期間が経過していた場合は（ステップＳ３０２でＹｅｓ）、ステップＳ３０３において会議映像の制御を終了するように表示領域生成部２１２を制御する。
これにより、ユーザが意図したタイミングで会議映像が元の状態に復帰し、会議を円滑に継続することが可能となる。

なお、図５に示すペン先位置が会議映像の表示領域９内に入ったことを検知する処理では、会議映像の表示領域９外にマージンを設けた領域に基づいて判断しても良い。
すなわち、映像表示領域９の実際の表示領域内にペン先座標が入ったことを契機に映像表示領域９の制御を行うのではなく、映像表示領域９よりも広い一定範囲の領域にペン先座標が入った時点で映像表示領域９の制御を行う。
これにより、電子ペン３が近づいてきていることをより早く予測して映像表示領域９の表示を制御して、ユーザ操作にすばやく対応することが可能となる。

なお、以上の説明では電子ペンを用いて書込を行う電子情報ボードの例を示したが、これに限らず、本発明は、例えば電子ペンの他に指等で書込が可能なタブレットデバイス等にも適用することが出来る。
この場合、座標検出部２２４が検出するのはペン先ではなく指先の座標である。
映像表示領域制御部２１９は、指先の座標が映像表示領域９内に検知される場合、上記に説明した各種の制御を行う。

３ 電子ペン、５ 手書き画像（手書き画像領域）、９ 会議映像（映像表示領域）、９Ａ 会議映像、１００ 遠隔会議システム、１１０ 電子情報ボード、１１２ 表示部、１２４ ケーブル、１３０ ユーザ端末、１３０ａ ユーザ端末、１３１ カメラ、２００ プロセッサ、２０２ ＲＯＭ、２０４ ＲＡＭ、２０６ 画像取得部、２０８ ビデオＲＡＭ、２１０ イベント処理部、２１２ 表示領域生成部、２１４ 映像描画部、２１６ 手書き画像生成部、２１８ 合成部、２２０ 表示制御部、２２４ 座標検出部、２２６ 接触検知装置、２３２ 画像入力インタフェース、２３４ 画像出力インタフェース、２５０ 通信制御部、２５２ 通信部

特開２０１２−２３４５３８公報

Claims (7)

1. 表示面における座標位置を検出する座標検出手段と、
   前記表示面の所定領域に画像を表示する表示制御手段と、
   前記座標位置が前記所定領域にあるときに、前記表示制御手段による前記画像の表示態様を変更する制御を行う領域制御手段と、
   を備えることを特徴とする特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記領域制御手段は、
   前記座標位置が前記所定領域にあるとき、前記座標位置が前記所定領域とならない位置に前記画像の表示領域を移動するように制御することを特徴とする画像処理装置。
3. 請求項１記載の画像処理装置において、
   前記領域制御手段は、
   前記座標位置が前記所定領域にあるとき、前記画像の表示色を透過色とするように制御することを特徴とする画像処理装置。
4. 請求項１記載の画像処理装置において、
   前記領域制御手段は、
   前記座標位置が前記所定領域にあるとき、前記画像の表示を行わないように制御することを特徴とする画像処理装置。
5. 請求項１乃至４の何れか一項記載の画像処理装置において、
   前記領域制御手段は、
   前記画像の表示態様を変更する制御を行ったあと、所定期間が経過したときに前記画像の表示態様を当初の態様に戻すように制御することを特徴とする画像処理装置。
6. 請求項１乃至５の何れか一項記載の画像処理装置において、
   前記領域制御手段は、
   前記表示面に表示された操作ボタンが操作されたときに、前記画像の表示態様を当初の態様に戻すように制御することを特徴とする画像処理装置。
7. 請求項１乃至５の何れか一項記載の画像処理装置において、
   前記座標位置が前記画像の表示領域に存在するか否かの判断は、前記所定領域よりも広い座標平面を基準として行われることを特徴とする画像処理装置。

Images