JP2017111624A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ＰｉｎＰ機能を搭載した画像処理装置において、画面に対する描画のための操作に応じて重畳画像を適切なタイミングで非表示にすることを目的とする。【解決手段】画像処理装置において、判定手段が、検出手段により画面への接触が検出された物体の位置がＰｉｎＰ画像の表示領域に含まれていると判定したとき、または、検出手段により画面への接触が検出された物体の位置がＰｉｎＰ画像の表示領域に含まれていないときに、当該物体の動きに基づいて、その直後に当該物体がＰｉｎＰ画像の表示領域内に移動すると判定したとき、表示制御手段はＰｉｎＰ画像を非表示とする。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年、液晶やプラズマなどのフラットパネルやプロジェクタを用いた４０〜８０インチ程度の大型のディスプレイにタッチパネルを搭載した「電子情報ボード」が、公共機関、民間機関を問わず多く用いられている。電子情報ボードは、例えば、パーソナルコンピュータ（以下「ＰＣ」という。）を接続することによって、接続したＰＣの表示画面を大きく映すことができる。

また、電子情報ボードによっては、タッチパネル機能を備えるディスプレイ上へのタッチ操作により、接続先のＰＣを操作できるものもある。さらに、ＰＣにインストールされた電子黒板アプリケーションを用いて、電子情報ボードのディスプレイ上へのタッチ操作等を介してディスプレイ上に描画を行う等、黒板やホワイトボードのように電子情報ボードを使用することもできる。

また、電子情報ボードにおいて、表示画面にメイン画像の一部にサブ画像を重畳表示させるピクチャーインピクチャー（以下「ＰｉｎＰ」という。）機能が搭載されている場合もある。

ＰｉｎＰ機能に関する技術が、例えば特許文献１に開示されている。特許文献１には、ＰｉｎＰ機能を有する装置において、サブ画面の表示位置を、固定または選択するのではなく、任意の位置に移動することができる技術が開示されている。

電子情報ボードにＰｉｎＰ機能が搭載されている場合、ディスプレイ上に表示されたメイン画像にＰｉｎＰ機能を利用してサブ画像が重畳表示されると、メイン画像のその部分が隠れてしまうため、その隠れた部分には描画することができない。これは、メイン画像は描画のための操作を受け付ける機能を有するのに対し、ＰｉｎＰ機能を利用して表示されたサブ画像は描画のための操作を受け付ける機能を有しないことに起因する。

そのため、例えば、サブ画像に隠れて見えなくなったメイン画像の描画領域を確保するために、サブ画像の表示位置を変更する等の対応が必要となる。このような対応を描画の度ごとに要するとなると、例えば、説明者がそのような電子情報ボードを用いて被説明者に説明を行う場合に、上記の対応によってその進行が止まってしまうと、説明者にとっても被説明者にとっても非常に煩わしいことになってしまう。

そこで、本発明は、前記事情に鑑みてなされたものであって、ＰｉｎＰ機能を搭載した画像処理装置において、画面に対する描画のための操作に応じて重畳画像を適切なタイミングで非表示にすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、描画のための操作を反映させる第１の画像を画面に表示する画像表示手段と、描画のための操作を反映させない第２の画像を、画像表示手段により表示された第１の画像の一部に重畳して画面に表示する重畳画像表示手段と、描画のための操作として画面への物体の接触を検出する検出手段と、画面に、画像表示手段により第１の画像が表示されるとともに、重畳画像表示手段により第２の画像が第１の画像の一部に重畳して表示されている場合に、検出手段により画面への接触が検出された物体の位置が第２の画像の表示領域に含まれているか否かを判定するとともに、検出手段により画面への接触が検出された物体の位置が第２の画像の表示領域に含まれていないときに、当該物体の動きに基づいて、その直後に当該物体が第２の画像の表示領域内に移動するか否か、を判定する判定手段と、表示制御手段と、を備えることを特徴とする画像処理装置である。判定手段が、検出手段により画面への接触が検出された物体の位置が第２の画像の表示領域に含まれていると判定したとき、または、検出手段により画面への接触が検出された物体の位置が第２の画像の表示領域に含まれていないときに、当該物体の動きに基づいて、その直後に当該物体が第２の画像の表示領域内に移動すると判定したとき、表示制御手段は当該第２の画像を非表示とする。

本発明によれば、ＰｉｎＰ機能を搭載した画像処理装置において、画面に対する描画のための操作に応じて重畳画像を適切なタイミングで非表示にすることができるという効果を奏する。

図１は、実施形態における画像処理システムの概略図である。 図２は、実施形態における画像処理装置の概略構成図である。 図３は、実施形態におけるＰｉｎＰ領域の非表示処理の概略について説明するための模式図である。 図４は、実施形態におけるＰｉｎＰ領域の非表示処理の概略について説明するための模式図である。 図５は、実施形態における処理手順を示すフローチャートである。

以下、添付図面を参照して、画像処理装置、画像処理方法、及びプログラム（ソフトウェアプログラム）の実施形態を詳細に説明する。なお、本実施形態においては、画像処理装置として電子情報ボードを例として説明するが、画像処理装置は、これに限定されるものではなく、例えば、情報処理機能を備えたテレビジョンや、パーソナルコンピュータ等であってもよい。

本実施形態における画像処理システムの概略について、図１を参照して説明する。図１に示すように、本実施形態における画像処理システムは、画像処理装置としての電子情報ボード１と、情報処理装置３ａ、３ｂとが、ケーブル４を介して接続されて構成されている。なお、これに限らず、情報処理装置３ａ、３ｂのそれぞれが電子情報ボード１とＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して接続される構成であってもよい。

電子情報ボード１の画面１１には情報処理装置３ａ、３ｂから取得した画像を表示することができる。また、電子情報ボード１は、ＰｉｎＰ機能により、画面１１の一部である画面１２にＰｉｎＰ画像を表示することができる。例えば、情報処理装置３ａから取得した画像を画面１１に表示し、画面１１に表示された画像に重なる画像を情報処理装置３ｂから取得して画面１２にＰｉｎＰ画像として重畳表示することができる。以下において、画面１１に表示する画像を「メイン画像」と称し、画面１２に表示する画像を「ＰｉｎＰ画像」と称する場合がある。なお、メイン画像とＰｉｎＰ画像の両方を、情報処理装置３ａから取得してもよいし、あるいは、情報処理装置３ｂから取得してもよい。

電子情報ボード１は、画面１１への物体の接触（接近も含む。以下同様）を検出する検出手段として例えばタッチパネルを備えている。例えば、物体が画面１１に描画するためのタッチペンである場合、電子情報ボード１はユーザによるタッチペンを使用した描画のための操作に応じた画像を画面１１に表示することができる。なお、本実施形態においては、ＰｉｎＰ画像が表示されている画面１２には描画することができない（詳細は後述）。

情報処理装置３ａ、３ｂは、画像信号を出力するインタフェースを備えており、それぞれの表示画像を形成する画像信号を例えば毎秒３０フレーム等の所定のレートで電子情報ボード１に供給する。

また、本実施形態において、情報処理装置３ａ、３ｂは、インタフェースとしてＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）などの映像出力端子を備えており、ＶＧＡケーブル等のケーブル４を介して映像信号を電子情報ボード１に送信することができる。なお、情報処理装置３ａ、３ｂは、各種無線通信プロトコルに準拠した無線通信により表示画像を電子情報ボード１に送信してもよい。

なお、図１では、情報処理装置３ａ、３ｂをノート型ＰＣであるものとしたが、これに限定されず、ほかに、例えば、デスクトップ型ＰＣ、タブレット型ＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、デジタルビデオカメラ、デジタルカメラ等、画像フレームを供給可能な情報処置装置であればいずれでもよい。また、図１に示す画像処理システムでは、情報処理装置３ａ、３ｂとして、情報処理装置が２つの例を示したが、これに限らず、１つまたは３つ以上であってもよい。

次に、本実施形態における電子情報ボード１の概略構成について、図２を参照して説明する（適宜図１参照）。なお、図２における矢印は、情報の流れのうち主なものだけを示したものである。電子情報ボード１は、画像入力インタフェース２３２を備えており、この画像入力インタフェース２３２を介して情報処理装置３ａ、３ｂと接続される。つまり、画像入力インタフェース２３２は、情報処理装置３ａ、３ｂの表示画像を形成する画像信号を受信するインタフェースである。

本実施形態では、画像入力インタフェース２３２として、例えば、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子によって構成されるＤＶＩコネクタを採用することができる。画像入力インタフェース２３２は、情報処理装置３ａ、３ｂからＶＧＡケーブル等のケーブル４を介してＶＧＡ信号を受信し、電子情報ボード１が備える画像取得部２０６にＶＧＡ信号を供給する。

なお、画像入力インタフェース２３２として、ＶＧＡコネクタ、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）コネクタ、Ｄｉｓｐｌａｙｐｏｒｔコネクタ等を採用してもよい。また、画像入力インタフェース２３２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）等の無線通信プロトコルに準拠した無線通信により、情報処理装置３ａ、３ｂから画像信号を受信してもよい。

電子情報ボード１は、プロセッサ２００と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４と、画像取得部２０６と、座標検出部２２４と、座標検知装置２２６と、表示部１１２とを含んで構成される。

プロセッサ２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ）等の処理演算装置であり、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を動作させ、これらのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本実施形態のプログラムを実行する。

ＲＯＭ２０２は、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＥＦＩ（Ｅｘｔｅｎｓｉｂｌｅ Ｆｉｒｍｗａｒｅ Ｉｎｔｅｒｆａｃｅ）等のブートプログラムなどが保存される不揮発性メモリである。ＲＡＭ２０４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置であり、本実施形態のプログラムを実行するための実行空間を提供する。

プロセッサ２００は、プログラムや種々のデータなどを持続的に保持するためのハードディスク装置から、プログラムやデータを読み出し、ＲＡＭ２０４に展開して実行する。

プログラムには、プログラムモジュールであるイベント処理部２１０、アプリ画像生成部２１２、レイアウト管理部２１４、描画生成部２１６、合成部２１８、表示制御部２２０、スナップショット生成部２２２、スナップショット保存部２３６、スナップショット送信部２３８及びリポジトリ管理部２２８が含まれる。

画像取得部２０６は、情報処理装置３ａ、３ｂから画像信号を取得する機能手段である。画像取得部２０６は、情報処理装置３ａ、３ｂから画像入力インタフェース２３２を介して画像信号を受信すると、当該画像信号を解析して、当該画像信号によって形成される情報処理装置３ａ、３ｂの表示画像である画像フレームの解像度や当該画像フレームの更新頻度などの画像情報を導出し、アプリ画像生成部２１２に送信する。

また、画像取得部２０６は、当該画像信号を使用して情報処理装置３ａ、３ｂの表示画像である画像データ（画像フレーム）をそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオＲＡＭ２０８にそれぞれ上書き保存する。

アプリ画像生成部２１２は、表示部１１２に表示すべき種々の表示ウィンドウを生成する機能手段である。表示ウィンドウには、情報処理装置３ａ、３ｂの表示画像である画像フレームを表示する表示ウィンドウ、ユーザによる描画のための操作に応じて生成される描画画像を表示する表示ウィンドウ、電子情報ボード１の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやＷｅｂブラウザ等の表示ウィンドウ等が含まれる。アプリ画像生成部２１２は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。

レイアウト管理部２１４は、アプリ画像生成部２１２が生成する表示ウィンドウに情報処理装置３ａ、３ｂの表示画像を描画する機能手段である。レイアウト管理部２１４は、画像取得部２０６から画像情報を取得する際、ビデオＲＡＭ２０８に格納されている画像フレームを取得し、画像情報を使用して、画像フレームの大きさをアプリ画像生成部２１２が生成した表示ウィンドウの大きさに適合するように変更し、当該画像フレームを描画すべき画像レイヤに描画する。

座標検知装置２２６は、描画のための描画装置２４０による操作として表示部１１２への描画装置２４０の接触を検出する検出手段の一例である。本実施形態では、座標検知装置２２６として、赤外線遮断方式による座標入力装置を採用する。この座標入力装置では、表示部１１２の下側両端部に設置された２つの受発光装置が、表示部１１２に平行に複数の赤外線を放射し、表示部１１２の周囲に設けられた再帰反射部材によって同一光路上に反射する光を受光する。

座標検知装置２２６は、物体によって遮断された２つの受発光装置が放射した赤外線の識別情報を座標検出部２２４に通知し、座標検出部２２４が、物体の接触位置である座標位置を特定する。

なお、表示部１１２への物体の接触を検知する手法としては、例えば、ほかに、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触によって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどを採用してもよい。

座標検出部２２４は、表示部１１２への物体の接触位置である座標位置を算出すると共に、種々のイベントを発行し、イベント処理部２１０に通知する機能手段である。座標検出部２２４が発行するイベントには、物体が表示部１１２に接触したことを通知するイベント（ＴＯＵＣＨ）、物体が表示部１１２に接触した状態で移動したことを通知するイベント（ＭＯＶＥ）、物体が表示部１１２から離れたことを通知するイベント（ＲＥＬＥＡＳＥ）が含まれる。これらのイベントには、接触位置座標である座標位置情報が含まれる。

描画装置２４０は、ユーザが電子情報ボード１の表示部１１２に接触させて描画するための装置である。描画装置２４０は、先端部に物体の接触を検知する接触検知手段を備えたペン形状をしており、当該接触検知手段が物体に接触すると、接触したことを示す接触信号を描画装置２４０の識別情報と共に座標検出部２２４に送信する。この送信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって実施することができるが、これに限らず、超音波、赤外線等を用いてもよい。

また、描画装置２４０は、描画された描画オブジェクトを消去する機能を持つ。描画装置２４０は、描画モードから消去モードに切り替えるモード切替スイッチを側面や後端部に備えている。消去モードで接触検知手段が物体に接触すると、接触したことを示す信号と消去モードである信号を描画装置２４０の識別情報と共に座標検出部２２４に送信する。描画装置２４０は、ユーザの操作によって、表示部１１２に表示されたメニューやボタン等のオブジェクトを選択することが可能である。

例えば、ユーザが描画装置２４０の消去モード切替スイッチを押下した状態で、描画装置２４０を電子情報ボード１の表示部１１２に接触させた場合には、描画装置２４０は、接触信号及び描画装置２４０の識別情報と共に、消去モードを示すモード種別信号を送信する。ユーザが描画装置２４０の消去モード切替スイッチを押下していない状態で、描画装置２４０を電子情報ボード１に接触させた場合には、描画装置２４０は、接触信号及び描画装置２４０の識別情報を送信する。

本実施形態では、座標検出部２２４は、座標検知装置２２６から赤外線の識別情報を受信すると、物体の接触位置である座標位置を算出し、次いで、描画装置２４０から接触信号を受信すると、各種イベントを発行する。このとき、座標検出部２２４は、モード種別を示す情報（以下、「モード種別情報」とする。）を当該イベントと共にイベント処理部２１０に通知する。

イベント処理部２１０は、座標検出部２２４が発行するイベントを処理する機能手段である。イベント処理部２１０は、座標検出部２２４からイベントを受信すると、例えば、描画領域での描画指示イベントなのか、消去指示イベントなのか、選択通知イベントなのかを識別（判定）し、それぞれの機能を実施する。また、イベント処理部２１０は、描画指示イベントであった場合は、ＰｉｎＰ領域描画イベントなのか、ＰｉｎＰ領域描画予測イベントなのかなどを識別し、それぞれの機能を実施する。

描画指示イベントとは、電子情報ボード１に対して描画を指示するイベントである。消去指示イベントは、電子情報ボード１に対して描画されたオブジェクトの消去を指示するイベントである。

ＰｉｎＰ領域描画イベントとは、描画指示イベントのうち、接触が検出された描画装置２４０の位置がＰｉｎＰ領域（ＰｉｎＰ画像の表示領域）に含まれているときのイベントである（後述する条件（Ａ）に対応）。

ＰｉｎＰ領域描画予測イベントとは、描画指示イベントのうち、接触が検出された描画装置２４０の位置がＰｉｎＰ領域に含まれていないが、描画装置２４０の動きに基づいて、その直後に描画装置２４０がＰｉｎＰ領域内に移動すると予測（判定）されるときのイベントである（後述する条件（Ｂ）に対応）。

選択通知イベントとは、表示部１１２に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。イベント処理部２１０は、座標検出部２２４が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。

本実施形態では、描画指示イベント及び選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する電子情報ボード１の機能手段は、当該識別情報を参照して種々の処理を実行する。また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する電子情報ボード１の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。

なお、イベント処理部２１０は、表示部１１２に、メイン画像が表示されるとともに、ＰｉｎＰ画像がメイン画像の一部に重畳して表示されている場合に、次の条件（Ａ）、条件（Ｂ）のいずれかを満たしているか否かを判定する判定手段の一例である。

（Ａ）表示部１１２への接触が検出された描画装置２４０の位置がＰｉｎＰ領域に含まれていること。
（Ｂ）表示部１１２への接触が検出された描画装置２４０の位置がＰｉｎＰ領域に含まれていないときに、描画装置２４０の動きに基づいて、その直後に描画装置２４０がＰｉｎＰ領域内に移動すると予測できること。

描画生成部２１６は、ユーザによる描画装置２４０を用いた描画のための操作に応じて描画画像を生成する機能手段である。描画生成部２１６は、座標位置情報が示す座標位置の色を特定の色に変更した画像レイヤを生成する。描画生成部２１６は、当該座標位置を描画情報としてＲＡＭ２０４の描画情報の格納領域に保存する。

合成部２１８は、種々の画像を合成する機能手段である。合成部２１８は、アプリ画像生成部２１２が画像を描画する画像レイヤ（アプリ画像レイヤ）と、レイアウト管理部２１４が情報処理装置３ａ、３ｂの表示画像を描画する画像レイヤ（画像キャプチャレイヤ）と、描画生成部２１６が画像を描画する画像レイヤ（手書きレイヤ）とを合成する。

表示制御部２２０は、表示部１１２を制御する機能手段である。表示制御部２２０は、合成部２１８が生成した合成画像を表示部１１２に表示する。また、表示制御部２２０は、描画のための描画装置２４０による操作を反映させる第１の画像（メイン画像）を画面に表示する画像表示手段の一例である。また、表示制御部２２０は、描画のための描画装置２４０による操作を反映させない第２の画像（ＰｉｎＰ画像）を、メイン画像の一部に重畳して表示部１１２に表示する重畳画像表示手段の一例である。

また、表示制御部２２０は、イベント処理部２１０が条件（Ａ）、（Ｂ）のいずれかを満たしていると判定したとき、ＰｉｎＰ画像を非表示とする表示制御手段の一例である。

例えば、メイン画像の一部にＰｉｎＰ画像が重畳表示されている場合に、ユーザが、描画に用いている描画装置２４０をＰｉｎＰ領域まで移動させると、上記の条件（Ａ）を満たすことにより、描画できないＰｉｎＰ画像が非表示となる。よって、ユーザは、描画を妨げられずに済む。

また、例えば、メイン画像の一部にＰｉｎＰ画像が重畳表示されている場合に、ユーザによって、描画に用いている描画装置２４０がＰｉｎＰ領域までは移動していないが、描画装置２４０の動きから、その直後に描画装置２４０がＰｉｎＰ領域内に移動すると予測される場合には、上記の条件（Ｂ）を満たすことにより、描画できないＰｉｎＰ画像が非表示となる。よって、ユーザは、描画を妨げられずに済む。

なお、表示制御部２２０は、例えば、ＰｉｎＰ画像を非表示とした後、メイン画像における当該非表示の領域の描画が消されるまで、ＰｉｎＰ画像の非表示を継続することが好ましい。具体的には、ＲＡＭ２０４の描画情報の格納領域に保存されている描画生成部２１６で生成された座標位置情報に基づいてＰｉｎＰ領域に描画がある間は、合成部２１８は、ＰｉｎＰ画面で表示するように設定されている画像レイヤを画像の合成に用いない。これにより、ＰｉｎＰ領域に描画が残っているのにＰｉｎＰ画像が出現してその描画を隠してしまうという不具合を回避することができる。

さらに、他の手法として、表示制御部２２０は、例えば、ＰｉｎＰ画像を非表示とした後、メイン画像における当該非表示の領域の描画の終了から所定時間が経過するまで、ＰｉｎＰ画像の非表示を継続することが好ましい。具体的には、ユーザによる描画装置２４０を用いた当該非表示の領域の描画が終了した後、所定時間が経過するまで、合成部２１８は、ＰｉｎＰ画面で表示するように設定されている画像レイヤを画像の合成に用いない。これにより、ＰｉｎＰ領域に描画が残っているのにＰｉｎＰ画像が出現してその描画を隠してしまうという不具合の可能性を低減することができる。

スナップショット生成部２２２は、情報処理装置３ａ、３ｂの表示画像と描画生成部２１６が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。具体的には、スナップショット生成部２２２は、表示部１１２に表示されたスナップショットの取得を指示するスナップショットボタンが選択されたことを示す選択通知イベントを受信すると、画像キャプチャレイヤと手書きレイヤとを合成し、スナップショット画像を生成し、リポジトリ管理部２２８を用いてスナップショット画像を記憶部２３０に保存させる。

スナップショット保存部２３６は、リポジトリ管理部２２８を用いて、記憶部２３０に保存されたスナップショット画像を、データ出力インタフェース２３４を通じてＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ２４２等の外部保存装置に保存する機能手段である。具体的には、スナップショット保存部２３６は、表示部１１２に表示されたスナップショットの保存を指示するスナップショット保存ボタンが選択されたことを示す選択通知イベントを受信すると、リポジトリ管理部２２８を用いて、記憶部２３０に保存されたスナップショット画像を取得し、データ出力インタフェース２３４に接続されたＵＳＢメモリ２４２等の外部保存装置にスナップショット画像を出力する。

スナップショット送信部２３８は、リポジトリ管理部２２８を用いて、記憶部２３０に保存されたスナップショット画像を、通信制御部２５０を介して外部サーバ等に送信する機能手段である。具体的には、スナップショット送信部２３８は、表示部１１２に表示されたスナップショットの送信を指示するスナップショット送信ボタンが選択されたことを示す選択通知イベントを受信すると、リポジトリ管理部２２８を用いて、記憶部２３０に保存されたスナップショット画像を取得し、通信制御部２５０にスナップショット画像を出力する。

通信制御部２５０は、通信部２５２を介して、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等の定められた通信プロトコルによって外部サーバ等にスナップショット画像を送信する。

リポジトリ管理部２２８は、スナップショット画像を格納すべき記憶部２３０を制御する機能手段である。リポジトリ管理部２２８は、上述したように、スナップショット生成部２２２の指示により、スナップショット画像を記憶部２３０に保存する。また、リポジトリ管理部２２８は、スナップショット保存部２３６の指示により、記憶部２３０からスナップショット画像を取得し、データ出力インタフェース２３４に送信する。また、リポジトリ管理部２２８は、スナップショット送信部２３８の指示により、記憶部２３０からスナップショット画像を取得し、通信制御部２５０に送信する。

データ出力インタフェース２３４は、スナップショット画像をＵＳＢメモリ２４２等の外部保存装置に出力する物理インタフェースである。本実施形態では、データ出力インタフェース２３４としてＵＳＢソケットを採用することができる。

電子情報ボード１は、通信制御部２５０と、通信部２５２とを備えている。通信制御部２５０は、ネットワークを介した外部サーバ等との間の通信を制御する機能手段である。通信部２５２は、ネットワークインタフェースである。通信制御部２５０は、認証情報、画像フレームやスナップショット画像等の画像データや描画情報、イベントなどの情報を、通信部２５２を介して外部サーバ等に送信する。

次に、本実施形態におけるＰｉｎＰ領域の非表示処理の概要について図３（条件（Ａ）に対応）、図４（条件（Ｂ）に対応）を参照して説明する。図３（ａ）は、画面１１に表示されたメイン画像の一部のＰｉｎＰ領域である画面１２にＰｉｎＰ画像が重畳表示されている状態を示す図である。この場合、描画装置２４０によって画面１２の表示領域への描画はできない。

他方、図３（ｂ）に示すように、本実施形態による上述の処理によれば、描画装置２４０による画面１２の表示領域への接触を検知した際、条件（Ａ）を満たして画面１２のＰｉｎＰ画像を非表示にすることで、ＰｉｎＰ画像で隠されていた表示領域に描画することが可能になる。

ここで、図３（ｂ）における領域３００を拡大したものが図４（ａ）〜（ｃ）である。描画装置２４０による画面への接触位置は、一定の時間間隔で検出されるので、描画装置２４０の接触点に関して、直前の軌跡から直後の軌跡を予測できる。図４（ａ）の例では、点６、点７の順で接触座標が検出されたとすると、次に検出される座標は、点６と点７の延長上で、点６と点７の距離と、点７と点８Ａの距離が等しくなるような点８Ａになると予測される。なお、図４（ａ）〜（ｃ）では、説明のために点と点との間の距離を大きく描いているが、実際には非常に短い。

また、軌跡の予測は、直線的だけでなく、直前の点の移動量、その変化量、方向の変化量などの情報に基づいて柔軟に行うことができる。例えば、図４（ｂ）の例では、点６、点７、点８の順で接触座標が検出されたとすると、次に検出される座標は点９Ａになると予測される。このような描画の予測に関しては、例えば、特開２００６−１７８６２５号公報、特開平９−１９０２７５号公報、特開平６−２８９９９３号公報、特許第３７９８６３７号公報などに開示がある。

ここで、条件（Ｂ）について、ＰｉｎＰ領域外にある接触点がＰｉｎＰ領域内に移動すると予測するタイミングについて説明する。ユーザがＰｉｎＰ領域外で描画をしていてＰｉｎＰ領域内に入る場合を考えると、ＰｉｎＰ領域内への描画をスムーズに進めるためには、ＰｉｎＰ画像を非表示にして当該領域での描画を含めた操作を可能にするまでに要する時間を考慮する必要がある。

例えばそのような時間が座標検出１回分より少し長い場合、座標検出２回先の座標位置を予測する必要がある。図４（ｃ）の例では、点６、点７の順で接触座標が検出されたとすると、２つ先に検出される座標は、点６と点７の延長上で、点６と点７の距離と、点７と点８Ｂの距離の比が１：２となるような点８Ｂになると予測される。そして、点８Ｂが画面１２の領域内にあるため、点７の時点で画面１２内のＰｉｎＰ画像を非表示にし、当該領域での描画を含めた操作を可能にする処理を行えばよい。

次に、本実施形態における処理手順の概略について図５を参照して説明する（適宜他図参照）。まず、表示制御部２２０は画面１１にメイン画像を表示する（ステップＳ１）。

次に、表示制御部２２０は、メイン画像の一部の画面１２の領域にＰｉｎＰ画像を重畳表示する（ステップＳ２）。

次に、イベント処理部２１０はＰｉｎＰ領域描画イベントまたはＰｉｎＰ領域描画予測イベントがあるか否かを判定し（ステップＳ３）、ＹＥＳの場合はステップＳ４に進み、ＮＯの場合はステップＳ３に戻る。

ステップＳ４において、表示制御部２２０は画面１２におけるＰｉｎＰ画像を非表示にする。

次に、電子情報ボード１は画面１２の領域における描画処理を受け付ける（ステップＳ５）。

このようにして、本実施形態の電子情報ボード１によれば、メイン画像の一部にＰｉｎＰ画像が重畳表示されている場合でも、ユーザは、描画に用いている描画装置２４０をＰｉｎＰ領域まで移動させると、条件（Ａ）を満たすことにより、描画できないＰｉｎＰ画像が非表示となる。よって、ＰｉｎＰ画像を適切なタイミングで非表示にすることができ、ユーザは、描画を妨げられずに済む。

また、メイン画像の一部にＰｉｎＰ画像が重畳表示されている場合に、ユーザによって、描画に用いている描画装置２４０がＰｉｎＰ領域までは移動していないが、描画装置２４０の動きから、その直後に描画装置２４０がＰｉｎＰ領域内に移動すると予測される場合には、条件（Ｂ）を満たすことにより、描画できないＰｉｎＰ画像が非表示となる。よって、ＰｉｎＰ画像を非表示にして当該領域での描画を含めた操作を可能にするまでに要する時間を逆算した上で、ＰｉｎＰ画像を適切なタイミングで非表示にすることができ、ユーザは、描画を妨げられずに済む。

なお、ＰｉｎＰ画像を非表示とした後、例えば、当該領域の描画が消されるまで、ＰｉｎＰ画像の非表示を継続すればよい。そうすれば、当該領域に描画が残っているのにＰｉｎＰ画像が出現してその描画を隠してしまうという不具合を回避することができる。

また、ＰｉｎＰ画像を非表示とした後、例えば、当該領域の描画の終了から所定時間が経過するまで、ＰｉｎＰ画像の非表示を継続するようにしてもよい。そうすれば、当該領域に描画が残っているのにＰｉｎＰ画像が出現してその描画を隠してしまうという不具合の可能性を低減することができる。

なお、本実施形態の電子情報ボード１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の電子情報ボード１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の電子情報ボード１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の電子情報ボード１で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

なお、上述の実施形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、実施形態および実施形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 電子情報ボード
３ａ、３ｂ 情報処理装置
４ ケーブル
１１ 画面
１２ 画面
１１２ 表示部
２００ プロセッサ
２０２ ＲＯＭ
２０４ ＲＡＭ
２０６ 画像取得部
２０８ ビデオＲＡＭ
２１０ イベント処理部
２１２ アプリ画像生成部
２１４ レイアウト管理部
２１６ 描画生成部
２１８ 合成部
２２０ 表示制御部
２２２ スナップショット生成部
２２４ 座標検出部
２２６ 座標検知装置
２２８ リポジトリ管理部
２３０ 記憶部
２３２ 画像入力インタフェース
２３４ データ出力インタフェース
２３６ スナップショット保存部
２３８ スナップショット送信部
２４０ 描画装置
２４２ ＵＳＢメモリ
２５０ 通信制御部
２５２ 通信部

特開平０７−０４６５６４号公報

Claims (5)

1. 描画のための操作を反映させる第１の画像を画面に表示する画像表示手段と、
   描画のための操作を反映させない第２の画像を、前記画像表示手段により表示された前記第１の画像の一部に重畳して前記画面に表示する重畳画像表示手段と、
   描画のための操作として前記画面への物体の接触を検出する検出手段と、
   前記画面に、前記画像表示手段により前記第１の画像が表示されるとともに、前記重畳画像表示手段により前記第２の画像が前記第１の画像の一部に重畳して表示されている場合に、
   前記検出手段により前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれているか否かを判定するとともに、
   前記検出手段により前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれていないときに、当該物体の動きに基づいて、その直後に当該物体が前記第２の画像の表示領域内に移動するか否か、を判定する判定手段と、
   前記判定手段が、前記検出手段により前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれていると判定したとき、または、前記検出手段により前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれていないときに、当該物体の動きに基づいて、その直後に当該物体が前記第２の画像の表示領域内に移動すると判定したとき、当該第２の画像を非表示とする表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記表示制御手段は、前記第２の画像を非表示とした後、前記第１の画像における当該非表示の領域の描画が消されるまで、前記第２の画像の非表示を継続する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記表示制御手段は、前記第２の画像を非表示とした後、前記第１の画像における当該非表示の領域の描画の終了から所定時間が経過するまで、前記第２の画像の非表示を継続する
   ことを特徴とする請求項１記載の画像処理装置。
4. 描画のための操作を反映させる第１の画像を画面に表示する画像表示ステップと、
   描画のための操作を反映させない第２の画像を、前記画像表示ステップにより表示された前記第１の画像の一部に重畳して前記画面に表示する重畳画像表示ステップと、
   描画のための操作として前記画面への物体の接触を検出する検出ステップと、
   前記画面に、前記画像表示ステップにより前記第１の画像が表示されるとともに、前記重畳画像表示ステップにより前記第２の画像が前記第１の画像の一部に重畳して表示されている場合に、
   前記検出ステップにより前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれているか否かを判定するとともに、
   前記検出ステップにより前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれていないときに、当該物体の動きに基づいて、その直後に当該物体が前記第２の画像の表示領域内に移動するか否か、を判定する判定ステップと、
   前記判定ステップが、前記検出ステップにより前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれていると判定したとき、または、前記検出ステップにより前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれていないときに、当該物体の動きに基づいて、その直後に当該物体が前記第２の画像の表示領域内に移動すると判定したとき、当該第２の画像を非表示とする表示制御ステップと、
   を含むことを特徴とする画像処理方法。
5. コンピュータに、
   描画のための操作を反映させる第１の画像を画面に表示する画像表示ステップと、
   描画のための操作を反映させない第２の画像を、前記画像表示ステップにより表示された前記第１の画像の一部に重畳して前記画面に表示する重畳画像表示ステップと、
   描画のための操作として前記画面への物体の接触を検出する検出ステップと、
   前記画面に、前記画像表示ステップにより前記第１の画像が表示されるとともに、前記重畳画像表示ステップにより前記第２の画像が前記第１の画像の一部に重畳して表示されている場合に、
   前記検出ステップにより前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれているか否かを判定するとともに、
   前記検出ステップにより前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれていないときに、当該物体の動きに基づいて、その直後に当該物体が前記第２の画像の表示領域内に移動するか否か、を判定する判定ステップと、
   前記判定ステップが、前記検出ステップにより前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれていると判定したとき、または、前記検出ステップにより前記画面への接触が検出された物体の位置が前記第２の画像の表示領域に含まれていないときに、当該物体の動きに基づいて、その直後に当該物体が前記第２の画像の表示領域内に移動すると判定したとき、当該第２の画像を非表示とする表示制御ステップと、
   を実行させるためのプログラム。

Images