JP2016015098A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】表示画面に表示された画像に対して手書画像を書込むことができる画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置は、例えば、ホワイトボードのような比較的大きな表示パネル（表示スクリーン）を備える表示画面を備える表示装置、あるいは、タブレット端末又はパーソナルコンピュータのような表示画面を具備する情報処理装置でもよい。画像処理装置は、表示画面に画像を表示する処理を行う処理部を備える。また、画像処理装置は、表示画面にタッチペン又は指が接触したときの位置に基づいて手書画像を表示画面に描画する描画部を備える。【選択図】図１

Description

本発明は、表示画面に画像を表示する処理を行う処理部を備える画像処理装置及び画像処理方法に関する。

近年、タブレット端末、パーソナルコンピュータ、あるいはホワイトボードのような大きなサイズの表示画面を備える画像処理装置では、表示画面に直接タッチペン又は指をタッチさせることにより、操作を行うことができる。例えば、画像が表示された表示画面で右方向又は左方向へのスライド操作を行うことにより、表示中の画像を当該操作の方向にすべらせるような感覚で表示させる画像を切り替えることができる装置が開示されている（特許文献１参照）。

特開２０１１−２２１８２７号公報

しかし、従来の装置では、表示画面に表示された画像を切り替えることができるものの、表示された画像に対して、ユーザが文字又は図などを自由に書き込むことは考慮されていない。

本発明は斯かる事情に鑑みてなされたものであり、表示画面に表示された画像に対して手書画像を書込むことができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、表示画面に画像を表示する処理を行う処理部を備える画像処理装置であって、前記表示画面にタッチペン又は指が接触したときの位置に基づいて手書画像を前記表示画面に描画する描画部を備えることを特徴とする。

本発明に係る画像処理装置は、記憶部と、前記処理部が前記表示画面に画像を表示した場合に、前記描画部で手書画像を描画したときは、前記手書画像及び該手書画像と同時に前記表示画面に表示された画像を関連付けて前記記憶部に記憶すべく制御する制御部とを備えることを特徴とする。

本発明に係る画像処理装置は、前記制御部は、前記描画部が前記表示画面に描画する手書画像を頁単位で複数頁分の手書画像を記憶すべく制御するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記表示画面に任意の頁の手書画像が表示されている場合に、該任意の頁と異なる頁へ移行する操作を受け付ける移行受付部を備え、前記制御部は、前記移行受付部で前記操作を受け付けた場合、前記任意の頁の手書画像を該任意の頁分として記憶するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記移行受付部で前記操作を受け付けた場合、前記任意の頁の手書画像と同時に前記表示画面に表示された画像を該任意の頁分として記憶するか否かを設定する設定部を備えることを特徴とする。

本発明に係る画像処理装置は、前記制御部は、前記移行受付部で前記操作を受け付けた場合に、前記設定部で画像を記憶すると設定されているときは、前記任意の頁の手書画像及び該手書画像と同時に前記表示画面に表示された画像を前記任意の頁分として関連付けて記憶するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記描画部は、前記移行受付部で前記操作を受け付けた場合、前記表示画面に表示していた描画を該表示画面から消去するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記処理部は、前記表示画面に頁単位で画像を表示するようにしてあり、前記移行受付部で前記操作を受け付けた場合、前記任意の頁の画像から前記異なる頁の画像へ切り替えて表示画面に表示するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記記憶部に関連付けて記憶された１又は複数頁分の手書画像及び画像それぞれを前記表示画面に表示した態様で１又は複数頁分の縮小画像に縮小する縮小部と、該縮小部で縮小した縮小画像の全頁又は一部の頁を表示する縮小画像表示部とを備えることを特徴とする。

本発明に係る画像処理装置は、前記縮小画像表示部が表示した複数頁分の縮小画像の中から一の縮小画像を選択する操作を受け付ける選択受付部と、該選択受付部で一の縮小画像が選択された場合、選択された縮小画像に対応する手書画像及び画像を前記表示画面に表示した態様で再度表示すべく制御する表示制御部とを備えることを特徴とする。

本発明に係る画像処理方法は、表示画面に画像を表示する処理を行う処理部を備える画像処理装置による画像処理方法であって、前記表示画面にタッチペン又は指が接触したときの位置を検出し、検出した位置に基づいて手書画像を前記表示画面に描画部が描画するステップを含むことを特徴とする。

本発明によれば、表示画面に表示された画像に対して手書画像を書込むことができる。

第１実施形態の画像処理装置の構成の一例を示すブロック図である。 第１実施形態の画像処理装置の表示画面の第１実施例を示す模式図である。 第１実施形態の画像処理装置の表示画面の第２実施例を示す模式図である。 第１実施形態の画像処理装置が使用する透明ボード管理データの一例を示す説明図である。 第１実施形態のプレゼン画像の一例を示す模式図である。 第１実施形態のプレゼン画像に対して透明ボード画像が描画された状態を示す模式図である。 第１実施形態の画像処理装置の動作の第１実施例を示す模式図である。 第１実施形態の画像処理装置の動作の第２実施例を示す模式図である。 第１実施形態の画像処理装置の動作の第３実施例を示す模式図である。 第１実施形態の画像処理装置の処理手順の一例を示すフローチャートである。 第１実施形態の画像処理装置の制御処理の手順の一例を示すフローチャートである。 第１実施形態の画像処理装置のプレゼン開始処理の手順の一例を示すフローチャートである。 第１実施形態の画像処理装置の頁変更処理の手順の一例を示すフローチャートである。 第１実施形態の画像処理装置の頁変更処理の手順の一例を示すフローチャートである。 第１実施形態の画像処理装置のサムネイル表示処理の手順の一例を示すフローチャートである。 第１実施形態の画像処理装置の設定変更処理の手順の一例を示すフローチャートである。 第２実施形態の画像処理装置が使用する透明ボード管理データの一例を示す説明図である。 第２実施形態の背景画像の一例を示す模式図である。 第２実施形態の背景画像に対して透明ボード画像が描画された状態を示す模式図である。 第２実施形態の画像処理装置の動作の第４実施例を示す模式図である。 第２実施形態の画像処理装置の動作の第５実施例を示す模式図である。 第２実施形態の画像処理装置の動作の第６実施例を示す模式図である。 第２実施形態の画像処理装置の処理手順の一例を示すフローチャートである。 第２実施形態の画像処理装置の制御処理の手順の一例を示すフローチャートである。 第２実施形態の画像処理装置の頁変更処理の手順の一例を示すフローチャートである。 第２実施形態の画像処理装置の頁変更処理の手順の一例を示すフローチャートである。 第２実施形態の画像処理装置の設定変更処理の手順の一例を示すフローチャートである。

（第１実施形態）
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は第１実施形態の画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、ホワイトボードのような比較的大きな表示パネル（表示スクリーン）を備える表示画面を備える表示装置、あるいは、タブレット端末又はパーソナルコンピュータのような表示画面を具備する情報処理装置でもよい。

図１に示すように、画像処理装置１００は、装置全体を制御する制御部１１、描画部１２、画像処理部１３、表示画面１４、縮小画像生成部１５、記憶部１６などを備える。また、表示画面１４は、表示パネル部１４１、タッチパネル部１４２などを備える。タッチパネル部は、タッチスクリーン部とも称する。また、記憶部１６は、透明ボード管理データ１６１、透明ボード画像データ１６２、プレゼン画像データ１６３などを記憶してある。

制御部１１は、例えば、マイクロプロセッサ、プログラミングすることができるＦＰＧＡ（Field Programmable Gate Array）、あるいは特定の用途のために設計・製造されるＡＳＩＣ（Application Specific Integrated Circuit）、その他の演算機能を有する回路などのいずれでもよい。また、不図示のＲＯＭ等には、制御部１１の動作を制御する制御プログラムを保存してある。制御プログラムは、後述の透明ボードアプリケーションを含む。

表示パネル部１４１は、例えば、液晶パネルなどのディスプレイデバイスで構成され、画像処理部１３で処理した画像（動画を含む）を表示することができる。

タッチパネル部１４２は、例えば、１点又は多点のタッチパネルデバイスで構成され、表示パネル部１４１の表面側に重ねて配置してある。タッチパネル部１４２は、透明ボードとも称する。すなわち、ユーザは、タッチパネル部１４２の背面側に配置された表示パネル部１４１の画像を透明のタッチパネル部１４２を介して見ることができる。タッチパネル部１４２は、ユーザがペン又は指等でタッチ操作を行った場合、タッチ操作が行われた表示画面１４上の位置を示す位置情報を取得することができる。

また、タッチパネル部１４２は、スワイプ操作、フリック操作などを検出することができる。また、タッチパネル部１４２は、離隔した２つ以上の箇所が押圧された場合、それぞれの箇所の位置情報も取得することができ、いわゆるマルチタッチ操作を検出することができる。また、タッチパネル部１４２は、取得した位置情報を制御部１１へ出力する。

描画部１２は、表示画面１４にタッチペン又は指が接触したときの位置に基づいて手書画像を表示画面１４に描画する。例えば、タッチパネル部１４２でタッチペン又は指などのタッチ（接触）を検出した場合、検出した位置に所要の大きさの点を描画するとともに、タッチ位置が変化したときには、検出した位置の軌跡（ストローク）に沿って線を描画する。これにより、表示画面１４に表示された画像に対して手書画像を書込むことができる。

図２は第１実施形態の画像処理装置１００の表示画面１４の第１実施例を示す模式図であり、図３は第１実施形態の画像処理装置１００の表示画面１４の第２実施例を示す模式図である。描画部１２は、表示画面１４の表示エリアと同じエリアに文字又は図などの手書画像を描画する描画エリアを表示する。また、描画部１２は、ファイルのオープン及び保存などの操作を受け付ける操作部、さらに、頁送り、頁戻り、サムネイル表示などの操作を受け付けるアイコンを表示する。描画エリアは、透明であってタッチパネル部１４２の背面側に配置された表示パネル部１４１に表示された画像が透けて見えるようになっている。

図２に示すサムネイル表示のアイコンを操作すると表示画面１４は図３に例示した表示態様に移行する。図３に示すように、描画エリアの下方にサムネイル表示エリアが現れ、サムネイル画像の全頁又は一部の頁が表示される。サムネイル画像の一部の頁がサムネイル表示エリアに表示される場合には、頁送り又は頁戻りのアイコンが表示され、頁送り又は頁戻りのアイコンを操作することにより、所望のサムネイル画像を表示させることができる。なお、頁送り又は頁戻りのアイコン、あるいは任意の頁へ移行するためのアイコンは移行受付部としての機能を有する。

なお、図２及び図３は一例であって、表示画面１４の表示態様は、図２及び図３の例に限定されるものではない。例えば、操作部は常時表示する必要はなく、また操作部の位置又は数も図２及び図３の例に限定されない。また、頁送り又は頁戻りのアイコンを表示する構成に代えて、表示画面１４上でタッチペン又は指を横方向（左方向及び右方向）へスライドさせる操作を頁送り及び頁戻りの操作とすることもできる。

なお、描画部１２及び制御部１１は透明ボードアプリケーションとも称する。

画像処理部１３は、表示画面１４に画像を表示する処理を行う処理部としての機能を有する。画像処理部１３はアプリケーションとも称する。画像処理部１３は、例えば、ワード、パワーポイントなどのアプリケーションに対応し、データフォーマットに応じて頁単位で画像を切り替えて表示することができる。なお、第１実施形態では、画像処理部１３は、描画部１２又は制御部１１の指示により、起動、ファイルのオープン、頁の切替、終了の各制御を行う。

制御部１１は、画像処理部１３が表示画面１４に画像を表示した場合に、描画部１２で手書画像を描画したときは、手書画像及び当該手書画像と同時に表示画面１４に表示された画像を関連付けて記憶部１６に記憶すべく制御する。この場合、画像処理部１３が扱う画像データは、プレゼン画像データ１６３に格納される。また、描画部１２が描画した手書画像は、透明ボード画像データ１６２に格納される。

例えば、表示画面１４に画像（例えば、所望のアプリケーションを実行した際に表示される画像、複数の頁で構成されるファイルを開いたときの任意の頁の画像など）を表示した場合に、当該画像に対してコメントやメモなどの文字又は図等で構成される手書画像を描画したときは、表示画面１４に同時に表示されている画像及び手書画像を関連付けて記憶する。関連付けるとは、例えば、同一のファイルとして纏めること、あるいは同一の頁として纏めることが含まれる。なお、記憶部１６に記憶するタイミングは、所定の操作が行われたときとすることができる。所定の操作については後述する。

これにより、表示画面１４に表示されている画像に手書き入力した場合に、画像と手書画像とを関連付けて記憶することができるので、ユーザが紙等にメモする必要がなく、利便性が向上する。

次に、第１実施形態で使用する透明ボード管理データ１６１について説明する。図４は第１実施形態の画像処理装置１００が使用する透明ボード管理データ１６１の一例を示す説明図である。図４に示すように、符号Ｐで示す「表示頁」は、表示画面１４に現在表示している頁を示す。符号Ｎで示す「頁数」は、キャプチャした画像の頁数を示す。ここで、画像は、プレゼン画像及び／又は透明ボード画像を意味する。

符号Ｄ（ｎ）で示す「プレゼン画像データ」は、ｎ頁目のプレゼン画像データを示し、画像処理部１３で処理して表示画面１４に表示される画像のデータ及び画像データの格納場所を示す。なお、ｎは整数である。符号Ｍ（ｎ）で示す「透明ボード画像データ」は、ｎ頁目の透明ボード画像データを示し、描画部１２で描画した手書画像の手書画像データ及び手書画像データの格納場所を示す。

符号Ｃ（ｎ）で示す「キャプチャ済フラグ」は、ｎ頁目の画像をキャプチャ済みであるか否かを示すフラグであり、例えば、フラグが１（真）である場合には、キャプチャ済みであるとし、フラグが０（偽）である場合には、未キャプチャであるとすることができる。

符号Ｕ（ｎ）で示す「キャプチャ済画像使用フラグ」は、ｎ頁目のキャプチャした画像を使用するか否かを示すフラグであり、例えば、フラグが１（真）である場合には、キャプチャした画像を使用するとし、フラグが０（偽）である場合には、キャプチャした画像を使用しないとすることができる。

符号ＩＵで示す「使用フラグ初期値」は、頁を新規作成した場合に、新規頁に設定するキャプチャ済画像使用フラグの初期値であり、例えば、ＩＵが１（真）である場合には、キャプチャした画像を使用するとし、ＩＵが０（偽）である場合には、キャプチャした画像を使用しないとすることができる。

また、符号ＥＷで示す「プレゼン画像上書きフラグ」は、頁更新時にプレゼン画像の上書きが有効であるか否かを示すフラグであり、例えば、フラグが１（真）である場合には、上書きが有効であるとし、フラグが０（偽）である場合には、上書きが無効であるとすることができる。

図５は第１実施形態のプレゼン画像の一例を示す模式図である。プレゼン画像は、ワード、パワーポイント等のアプリケーションが扱う画像であり、図５に示すように、頁単位に画像を特定することができる。すなわち、プレゼン画像は、画像処理部１３が扱う画像でもある。図５の例では、４頁のプレゼン画像が例示され、便宜上、１頁目のプレゼン画像を符合Ａで示し、２頁目のプレゼン画像を符合Ｂで示し、３頁目のプレゼン画像を符合Ｃで示し、４頁目のプレゼン画像を符合Ｄで示す。なお、頁数は４に限定されるものではない。以下、１頁から４頁の画像を、プレゼン画像Ａ、プレゼン画像Ｂ、プレゼン画像Ｃ、プレゼン画像Ｄとも称する。

図５の例の場合、プレゼン画像Ａの画像データはＤ（１）とも表され、領域Ｄ（１）に格納される。プレゼン画像Ｂの画像データはＤ（２）とも表され、領域Ｄ（２）に格納される。プレゼン画像Ｃの画像データはＤ（３）とも表され、領域Ｄ（３）に格納される。また、プレゼン画像Ｄの画像データはＤ（４）とも表され、領域Ｄ（４）に格納される。

図６は第１実施形態のプレゼン画像に対して透明ボード画像が描画された状態を示す模式図である。透明ボード画像は手書画像とも称する。図６では、便宜上、透明ボード画像を、符号ａで示す矢印で表している。以下では、透明ボード画像ａとも称する。図６は表示画面１４に表示された１頁目のプレゼン画像Ａに対して、手書き入力がなされ、１頁目の透明ボード画像ａが描画された状態を示す。透明ボード画像ａは、１頁目の画像であるので、透明ボード画像ａの画像データはＭ（１）とも表され、領域Ｍ（１）に格納される。

次に、第１実施形態の画像処理装置１００による動作について説明する。図７は第１実施形態の画像処理装置１００の動作の第１実施例を示す模式図である。図７において左側に例示した図は、図６と同様の図であり、表示画面１４に１頁目のプレゼン画像Ａが表示された状態で手書き入力がなされ、１頁目の透明ボード画像ａが描画された状態を示す。

この状態において、所定の操作として、例えば、頁送りの操作がなされた場合、右側の図に示すように、プレゼン画像は、２頁目のプレゼン画像Ｂが表示され、２頁目の透明ボードがセットされる。２頁目の透明ボードは、透明ボード画像（手書画像）が全く描画されていない状態であり、新規に手書き入力することができる状態の頁である。

また、図７の下側の図に示すように、頁送りの操作がなされた場合、１頁目のプレゼン画像Ａがキャプチャ処理され、１頁目のプレゼン画像Ａと１頁目の透明ボード画像ａとが関連付けて記憶部１６のプレゼン画像データの領域Ｄ（１）及び透明ボード画像データＭ（１）にそれぞれ保存（格納）される。

第１実施形態にあっては、制御部１１は、描画部１２が表示画面１４に描画する手書画像（透明ボード画像）を頁単位で複数頁分の手書画像を記憶すべく制御する。例えば、アプリケーションを起動して表示画面１４に複数の頁の画像（プレゼン画像）を順番に表示する場合（プレゼンテーション画像を表示するような場合）、描画部１２が手書画像を頁単位に描画することにより、例えば、画像の頁と手書画像の頁とを同期させ、１頁目の画像には１頁目の手書画像を関連付け、以下同様にｎ（ｎは整数）頁目の画像にはｎ頁目の手書画像を関連付けることができる。これにより、複数頁の画像に対して、頁毎に異なる手書画像を関連付けることができ、複数頁の手書画像を記録することができる。

また、第１実施形態にあっては、頁送り又は頁戻りなどのアイコン（移行受付部）は、表示画面１４に任意の頁（図７の例では１頁）の透明ボード画像が表示されている場合に、当該任意の頁と異なる頁（図７の例では２頁）へ移行する操作を受け付ける。制御部１１は、当該操作を受け付けた場合、任意の頁の透明ボード画像を当該任意の頁分（図７の例では１頁目）として記憶する。

例えば、表示画面１４にあるプレゼン画像（例えば、１頁目のプレゼン画像）が表示されている場合に、透明ボード画像を描画したとする。当該透明ボード画像は、例えば、１頁目のプレゼン画像に関連付けられ、１頁目の透明ボード画像となる。この状態で、１頁目と異なる頁（例えば、２頁目）に移行する操作を受け付けた場合、制御部１１は、任意の頁（１頁目）の透明ボード画像を該任意の頁分（１頁分）として記憶する。

すなわち、表示画面１４に表示されたプレゼン画像に対して透明ボード画像を描画し、別の頁へ移行する操作を行うだけで、当該操作を行う前にプレゼン画像と同時に表示されていた透明ボード画像（１頁目の手書画像）を自動的に記録することができる。

仮に、透明ボードが１頁分の手書画像にしか対応していない場合を想定すると、表示画面に表示された画像に対して手書画像を描画した後、表示中の画像を別の頁に切り替えるときは、画像を切り替える前に、透明ボードに入力された手書画像を切り替え前の画像とともに一旦記憶する操作を行い、さらに透明ボードに表示された手書画像をクリア（消去）する操作が必要であり、操作が煩雑である。

しかし、本実施の形態によれば、透明ボードが複数頁分の手書画像に対応しているので、別の頁へ移行する操作を行うだけで、表示画面１４にプレゼン画像と同時に表示されていた透明ボード画像を自動的に記録することができ、操作性を向上させることができる。

また、第１実施形態にあっては、描画部１２は、頁送り又は頁戻りなどの操作を受け付けた場合、表示画面１４に表示していた透明ボード画像を表示画面１４から消去する。すなわち、第１実施形態によれば、透明ボードが複数頁分の手書画像に対応しているので、別の頁へ移行する前に、表示中の透明ボード画像をクリア（消去）する操作が不要となり、別の頁へ移行する操作を行うだけで、表示画面に１４表示されていた透明ボード画像を自動的に記録するとともに、透明ボード画像用の新規（別）の頁を準備することができる。

上述の符号ＥＷで示す「プレゼン画像上書きフラグ」は、設定部としての機能を有する。すなわち、「プレゼン画像上書きフラグ」は、頁送り又は頁戻りなどの操作を受け付けた場合、任意の頁の透明ボード画像と同時に表示画面１４に表示されたプレゼン画像を当該任意の頁分として記憶するか否かを設定する。例えば、「プレゼン画像上書きフラグ」が１にセットされている場合（プレゼン画像を記憶すると設定されている場合）には、別の頁へ移行する操作を行うだけで、表示画面１４に同時に表示されていたプレゼン画像と透明ボード画像とを同じ頁として関連付けて自動的に記録することができ、操作性を向上させることができる。

図８は第１実施形態の画像処理装置１００の動作の第２実施例を示す模式図である。図８は、図７に例示した頁送りの操作が複数回（図８の例では、３回）行われた場合の状態を模式的に示す。

まず、図７と同様に、１頁目のプレゼン画像Ａが表示された状態で手書き入力がなされ、透明ボード画像ａが描画されたとする。この状態で次に頁（２頁目）への頁送り操作がされると、２頁目のプレゼン画像Ｂが表示画面１４に表示されるとともに、２頁目の透明ボードがセットされる。頁送りの操作により、１頁目のプレゼン画像Ａと透明ボード画像ａとは関連付けて保存される。関連付けるとは、例えば、プレゼン画像Ａをレイヤ１の画像とし、透明ボード画像ａをレイヤ２の画像として、レイヤ１、２で１つの画像として扱うことを意味する。

次に、２頁目のプレゼン画像Ｂが表示された状態で手書き入力がなされ、透明ボード画像ｂが描画されたとする。この状態で次に頁（３頁目）への頁送り操作がされると、３頁目のプレゼン画像Ｃが表示画面１４に表示されるとともに、３頁目の透明ボードがセットされる。頁送りの操作により、２頁目のプレゼン画像Ｂと透明ボード画像ｂとは関連付けて保存される。

次に、３頁目のプレゼン画像Ｃが表示された状態で手書き入力がなされ、透明ボード画像ｃが描画されたとする。この状態で次に頁（４頁目）への頁送り操作がされると、４頁目のプレゼン画像Ｄが表示画面１４に表示されるとともに、４頁目の透明ボードがセットされる。頁送りの操作により、３頁目のプレゼン画像Ｃと透明ボード画像ｃとは関連付けて保存される。

上述のように、第１実施形態にあっては、制御部１１は、頁送り又は頁戻りなどの操作を受け付けた場合に、「プレゼン画像上書きフラグ」が１にセットされているときは、任意の頁の透明ボード画像及び当該透明ボード画像と同時に表示画面１４に表示されたプレゼン画像を当該任意の頁分として関連付けて記憶する。

仮に、透明ボードが１頁分の手書画像にしか対応していない場合を想定すると、表示画面に表示された画像に対して手書画像を描画した後、表示中の画像を別の頁に切り替えるときは、画像を切り替える前に、透明ボードに入力された手書画像を切り替え前の画像とともに一旦記憶する操作を行い、さらに透明ボードに表示された手書画像をクリア（消去）する操作が必要であり、操作が煩雑である。

しかし、第１実施形態によれば、透明ボードが複数頁分の透明ボード画像に対応しているので、別の頁へ移行する操作を行うだけで、表示画面１４に同時に表示されていたプレゼン画像と透明ボード画像とを同じ頁として関連付けて自動的に記録することができ、操作性を向上させることができる。

また、第１実施形態にあっては、画像処理部１３は、表示画面１４に頁単位でプレゼン画像を表示するようにしてある。そして、頁送り又は頁戻りなどの操作を受け付けた場合、任意の頁のプレゼン画像から異なる頁のプレゼン画像へ切り替えて表示画面１４に表示する。例えば、アプリケーションを起動して表示画面１４に１頁目のプレゼン画像が表示されている場合に、透明ボード画像を描画したとする。当該透明ボード画像は、１頁目のプレゼン画像に関連付けられ、１頁目の透明ボード画像となる。この状態で、１頁目と異なる頁（例えば、２頁目）に移行する操作を受け付けた場合、アプリケーションが扱うプレゼン画像も１頁目から２頁目に切り替わる。これにより、頁の移行操作を行うだけで、プレゼン画像の頁と透明ボード画像の頁とを同期させて切り替えることができる。

次に、キャプチャ済フラグＣ（ｎ）及びキャプチャ済画像使用フラグＵ（ｎ）の組み合わせによる動作例について説明する。

図９は第１実施形態の画像処理装置１００の動作の第３実施例を示す模式図である。図９に示すように、１頁目のキャプチャ済フラグＣ（１）が１であり、キャプチャ済画像使用フラグＵ（１）が１であるとする。そして、１頁目のプレゼン画像がプレゼン画像Ｆであり、透明ボード画像が左側上向矢印とする。表示画面１４に表示される画像は、プレゼン画像Ｆと左側上向矢印の透明ボード画像とが同時に表示されている。また、キャプチャ済フラグＣ（１）が１であるので、プレゼン画像データＤ（１）には、プレゼン画像Ｆの画像データが格納されている。そして、キャプチャ済画像使用フラグＵ（１）が１であるので、キャプチャ済画像を使用する設定となっており、プレゼン画像Ｆと左側上向矢印の透明ボード画像とが関連付けて保存されているとともに、保存された画像が縮小されて後述のサムネイル画像として表示される。

また、２頁目のキャプチャ済フラグＣ（２）が１であり、キャプチャ済画像使用フラグＵ（２）が０であるとする。そして、２頁目のプレゼン画像がプレゼン画像Ｇであり、透明ボード画像が左側下向矢印とする。表示画面１４に表示される画像は、プレゼン画像Ｇと左側下向矢印の透明ボード画像とが同時に表示されている。また、キャプチャ済フラグＣ（２）が１であるので、プレゼン画像データＤ（２）には、プレゼン画像Ｇの画像データが格納されている。しかし、キャプチャ済画像使用フラグＵ（２）が０であるので、キャプチャ済画像を使用しない設定となっており、プレゼン画像Ｇは左側下向矢印の透明ボード画像と関連付けて保存されておらず、プレゼン画像Ｇの代わりに、例えば、透明画像が用いられる。このため、サムネイル画像には、プレゼン画像Ｇが現れずに左側下向矢印の透明ボード画像だけとなる。

また、３頁目のキャプチャ済フラグＣ（３）が０であり、キャプチャ済画像使用フラグＵ（３）が１であるとする。そして、３頁目のプレゼン画像がプレゼン画像Ｈであり、透明ボード画像が右側上向矢印とする。表示画面１４に表示される画像は、プレゼン画像Ｈと右側上向矢印の透明ボード画像とが同時に表示されている。また、キャプチャ済フラグＣ（３）が０であるので、プレゼン画像Ｈはキャプチャされず、プレゼン画像データＤ（３）は、ブランクである。キャプチャ済画像使用フラグＵ（３）が１であり、キャプチャ済画像を使用する設定となっているが、プレゼン画像Ｈはキャプチャされない設定になっているので、プレゼン画像Ｈは右側上向矢印の透明ボード画像と関連付けて保存されておらず、プレゼン画像Ｈの代わりに、例えば、透明画像が用いられる。このため、サムネイル画像には、プレゼン画像Ｈが現れずに右側上向矢印の透明ボード画像だけとなる。

縮小画像生成部１５は、縮小部としての機能を有し、記憶部１６に関連付けて記憶された１又は複数頁分の透明ボード画像及びプレゼン画像それぞれを表示画面１４に表示した態様で１又は複数頁分の縮小画像（サムネイル画像とも称する）に縮小する。表示画面１４に表示した態様とは、表示画面１４に表示された状態と同じ状態という意味である。

制御部１１は、縮小画像表示部としての機能を有し、縮小画像生成部１５で縮小した縮小画像の全頁又は一部の頁を表示する（例えば、図３に例示した如く）。これにより、手書き入力した際に表示中のプレゼン画像及び透明ボード画像を同時に表示した縮小画像の一覧を見ることができ、所要の画像に容易にアクセスすることが可能となる。

また、サムネイル画像が表示されたサムネイル表示エリアは、選択受付部としての機能を有し、表示画面１４に表示した複数頁分のサムネイル画像の中から一のサムネイル画像を選択する操作を受け付ける。

そして、制御部１１は、表示制御部としての機能を有し、一のサムネイル画像が選択された場合、選択されたサムネイル画像に対応する透明ボード画像及びプレゼン画像を表示画面１４に表示した態様で再度表示すべく制御する。これにより、ユーザは、サムネイル画像を選択するだけで、透明ボード画像及び当該透明ボード画像が描画されたときに同時に表示されていたプレゼン画像を元の表示態様で表示することができる。

図１０は第１実施形態の画像処理装置１００の処理手順の一例を示すフローチャートである。以下では、簡便のため処理の主体を制御部１１として説明する。制御部１１は、表示頁Ｐを０、頁数Ｎを０、プレゼン画像上書きフラグＥＷを１に設定する（Ｓ１１）。制御部１１は、制御処理の有無を判定し（Ｓ１２）、制御処理がある場合（Ｓ１２でＹＥＳ）、制御処理を実施し（Ｓ１３）、制御処理がない場合（Ｓ１２でＮＯ）、ステップＳ１３の処理を行うことなく後述のステップＳ１４の処理を行う。なお、制御処理の詳細は後述する。

制御部１１は、表示頁Ｐ＞０であるか否かを判定し（Ｓ１４）、表示頁Ｐ＞０でない場合（Ｓ１４でＮＯ）、透明ボードの背景を透明から白色に変更し（Ｓ１５）、ステップＳ１２以降の処理を行う。表示頁Ｐ＞０でない場合は、プレゼン画像のファイルがオープンされていないため、描画エリアを全域白表示にする。なお、この場合、表示画面１４に対する手書き入力を無効にすることもできる。なお、描画エリア全域を白表示する構成に限定されるものではなく、他の色、模様又は予め用意された画像を表示するようにしてもよい。

表示頁Ｐ＞０である場合（Ｓ１４でＹＥＳ）、制御部１１は、キャプチャ済画像使用フラグＵ（Ｐ）＝１であるか否かを判定し（Ｓ１６）、キャプチャ済画像使用フラグＵ（Ｐ）＝１である場合（Ｓ１６でＹＥＳ）、キャプチャ済フラグＣ（Ｐ）＝１であるか否かを判定する（Ｓ１７）。

キャプチャ済フラグＣ（Ｐ）＝１である場合（Ｓ１７でＹＥＳ）、制御部１１は、透明ボードの背景をプレゼン画像データＤ（Ｐ）に変更する（Ｓ１８）。すなわち、キャプチャ済プレゼン画像を使用する設定で、キャプチャ済の場合のみ透明ボードの背景をキャプチャ済プレゼン画像に変更する。

一方、キャプチャ済画像使用フラグＵ（Ｐ）＝１でない場合（Ｓ１６でＮＯ）、あるいはキャプチャ済フラグＣ（Ｐ）＝１でない場合（Ｓ１７でＮＯ）、制御部１１は、透明ボードの背景を透明にする（Ｓ１９）。背景を透明にすることで、その裏にあるアプリケーションが表示するプレゼン画像を見ることができる。

制御部１１は、タッチ操作等で書かれた文字、図などの透明ボード画像のデータを透明ボード画像データＭ（Ｐ）に追加し（Ｓ２０）、ステップＳ１２以降の処理を続ける。

図１１は第１実施形態の画像処理装置１００の制御処理の手順の一例を示すフローチャートである。図１１に例示する処理は、図１０のステップＳ１３の処理を具体的に表すものである。制御部１１は、プレゼン開始の操作がされたか否かを判定し（Ｓ３１）、プレゼン開始操作がされた場合（Ｓ３１でＹＥＳ）、プレゼン開始処理を実施する（Ｓ３２）。プレゼン開始操作がされていない場合（Ｓ３１でＮＯ）、ステップＳ３２の処理を行うことなく頁変更操作がされたか否かを判定する（Ｓ３３）。

頁変更操作がされた場合（Ｓ３３でＹＥＳ）、制御部１１は、頁変更処理を実施する（Ｓ３４）。頁変更操作がされていない場合（Ｓ３３でＮＯ）、制御部１１は、ステップＳ３４の処理を行うことなくサムネイル表示操作がされたか否かを判定する（Ｓ３５）。

サムネイル表示操作がされた場合（Ｓ３５でＹＥＳ）、制御部１１は、サムネイル表示処理を実施する（Ｓ３６）。サムネイル表示操作がされていない場合（Ｓ３５でＮＯ）、制御部１１は、ステップＳ３６の処理を行うことなく設定変更操作がされたか否かを判定する（Ｓ３７）。

設定変更操作がされた場合（Ｓ３７でＹＥＳ）、制御部１１は、設定変更処理を実施する（Ｓ３８）。設定変更操作がされていない場合（Ｓ３７でＮＯ）、制御部１１は、ステップＳ３６の処理を行うことなく処理を終了するか否かを判定する（Ｓ３９）。処理を終了しない場合（Ｓ３９でＮＯ）、制御部１１は、制御処理を終了し、処理を終了する場合（Ｓ３９でＹＥＳ）、図１１の処理を終了する。

図１２は第１実施形態の画像処理装置１００のプレゼン開始処理の手順の一例を示すフローチャートである。図１２に例示する処理は、図１１のステップＳ３２の処理を具体的に表すものである。制御部１１は、アプリ（アプリケーション）に対して、ユーザが指定したプレゼンファイルを読み出す指示をする（Ｓ４１）。ここで、プレゼンファイルは、ワードのファイル、パワーポイントのファイルなどのアプリケーションが扱うファイルである。なお、アプリケーションは、ワード又はパワーポイントに限定されるものではない。

制御部１１は、アプリは正常にプレゼンファイルを読み出したか否かを判定し（Ｓ４２）、正常に読み出した場合（Ｓ４２でＹＥＳ）、表示頁Ｐ＝１、頁数Ｎ＝１に設定し（Ｓ４３）、プレゼン開始処理を終了する。正常に読み出しが行われない場合（Ｓ４２でＮＯ）、制御部１１は、エラー表示を行い（Ｓ４４）、プレゼン開始処理を終了する。

図１３及び図１４は第１実施形態の画像処理装置１００の頁変更処理の手順の一例を示すフローチャートである。図１３及び図１４に例示する処理は、図１１のステップＳ３４の処理を具体的に表すものである。制御部１１は、変更する頁は表示頁Ｐと異なるか否かを判定し（Ｓ５１）、変更する頁が表示頁Ｐと異なる場合（Ｓ５１でＹＥＳ）、キャプチャ済フラグＣ（Ｐ）＝１であるか否かを判定する（Ｓ５２）。

キャプチャ済フラグＣ（Ｐ）＝１でない場合（Ｓ５２でＮＯ）、制御部１１は、キャプチャ済画像使用フラグＵ（Ｐ）＝１であるか否かを判定する（Ｓ５３）。キャプチャ済画像使用フラグＵ（Ｐ）＝１である場合（Ｓ５３でＹＥＳ）、すなわち、キャプチャ未実施でキャプチャ済プレゼン画像を使用する設定の場合、制御部１１は、アプリが表示するプレゼン画像をキャプチャし、キャプチャしたプレゼン画像のデータをプレゼン画像データＤ（Ｐ）として保存し（Ｓ５４）、キャプチャ済フラグＣ（Ｐ）＝１に設定し（Ｓ５５）、後述のステップＳ５６の処理を行う。

キャプチャ済フラグＣ（Ｐ）＝１である場合（Ｓ５２でＹＥＳ）、あるいはキャプチャ済画像使用フラグＵ（Ｐ）＝１でない場合（Ｓ５３でＮＯ）、制御部１１は、アプリに対して変更する頁への切替を指示する（Ｓ５６）。

制御部１１は、アプリが正常に頁変更を完了したか否かを判定し（Ｓ５７）、正常に頁変更を完了した場合（Ｓ５７でＹＥＳ）、表示頁Ｐを変更する頁に設定する（Ｓ５８）。制御部１１は、表示頁Ｐ＞頁数Ｎであるか否かを判定し（Ｓ５９）、表示頁Ｐ＞頁数Ｎである場合（Ｓ５９でＹＥＳ）、すなわち変更した頁が新規頁である場合、頁数Ｎ＝Ｎ＋１とする（Ｓ６０）。

制御部１１は、新規頁に対して、キャプチャ済画像使用フラグＵ（Ｐ）を使用フラグ初期値ＩＵに設定し（Ｓ６１）、キャプチャ済フラグＣ（Ｐ）＝０に設定し（Ｓ６２）、頁変更処理を終了する。

変更する頁が表示頁Ｐである場合（Ｓ５１でＮＯ）、アプリが正常に頁変更を完了していない場合（Ｓ５７でＮＯ）、あるいは表示頁Ｐ＞頁数Ｎでない場合（Ｓ５９でＮＯ）、制御部１１は、頁変更処理を終了する。

図１５は第１実施形態の画像処理装置１００のサムネイル表示処理の手順の一例を示すフローチャートである。図１５に例示する処理は、図１１のステップＳ３６の処理を具体的に表すものである。制御部１１は、頁単位で保存されたプレゼン画像データ及び透明ボード画像データを読み出し（Ｓ７１）、読み出したプレゼン画像データ及び透明ボード画像データに基づいて頁単位でサムネイル画像を生成する（Ｓ７２）。制御部１１は、生成したサムネイル画像を表示し（Ｓ７３）、サムネイル表示処理を終了する。

図１６は第１実施形態の画像処理装置１００の設定変更処理の手順の一例を示すフローチャートである。図１６に例示する処理は、図１１のステップＳ３８の処理を具体的に表すものである。制御部１１は、変更する管理データは、キャプチャ済画像使用フラグＵ（Ｐ）であるか否かを判定し（Ｓ８１）、キャプチャ済画像使用フラグＵ（Ｐ）でない場合（Ｓ８１でＮＯ）、設定変更処理を終了する。

変更する管理データがキャプチャ済画像使用フラグＵ（Ｐ）である場合（Ｓ８１でＹＥＳ）、制御部１１は、キャプチャ済画像使用フラグＵ（Ｐ）を変更する値に設定する（Ｓ８２）。

制御部１１は、変更したキャプチャ済画像使用フラグＵ（Ｐ）＝１であるか否かを判定し（Ｓ８３）、変更したキャプチャ済画像使用フラグＵ（Ｐ）＝１である場合（Ｓ８３でＹＥＳ）、アプリが表示するプレゼン画像をキャプチャし、キャプチャしたプレゼン画像のデータをプレゼン画像データＤ（Ｐ）として保存する（Ｓ８４）。ここでは、キャプチャ済プレゼン画像を「使用しない」設定から「使用する」設定に変更したので、キャプチャを実施している。

制御部１１は、キャプチャ済フラグＣ（Ｐ）＝１に設定し（Ｓ８５）、設定変更処理を終了する。変更したキャプチャ済画像使用フラグＵ（Ｐ）＝１でない場合（Ｓ８３でＮＯ）、制御部１１は、キャプチャ済フラグＣ（Ｐ）＝０に設定し（Ｓ８６）、設定変更処理を終了する。

（第２実施形態）
上述の第１実施形態では、頁という概念を有するプレゼン画像を対象としていた。第２実施形態では、頁という概念を有しない画像（例えば、動画又はアプリケーションそのものの画像など）を対象とする。すなわち、第２実施形態では、頁単位での管理を行うことができない画像を扱う場合について説明する。以下では、第１実施形態と区別すべく、プレゼン画像に代えて「背景画像」という用語を用いる。第２実施形態では、透明ボードの下（背面）に表示する背景画像と透明ボード画像の頁が同期しない。以下、第１実施形態と相違する点について説明する。

図１７は第２実施形態の画像処理装置１００が使用する透明ボード管理データ１６１の一例を示す説明図である。図４に例示した透明ボード管理データとの相違点は、プレゼン画像データＤ（ｎ）に代えて背景画像データＢ（ｎ）を使用する点、及びプレゼン画像上書きフラグに代えて背景画像上書きフラグを使用する点である。なお、便宜上ｎ頁目の背景画像データをＢ（ｎ）で表しているが、これは背景画像に頁の概念があることを意味するのではなく、頁の概念を有する透明ボード画像と関連付けられた際の透明ボードの頁に対応する頁の意味であり、透明ボード画像の頁に関連付けるためのものである。

また、第２実施形態の画像処理装置１００は、図１に例示するプレゼン画像データ１６３に代えて背景画像データを記憶部１６に記憶する。

また、第１実施形態では、頁送り操作がされた場合、プレゼン画像と透明ボード画像とが同期して次の頁に移行する構成であったが、第２実施形態では、背景画像に頁の概念がない。このため、頁送り操作がされた場合、透明ボード画像は次の頁に移行するものの、背景画像は、頁送り操作に連動して次の頁に移行しない。背景画像は、例えば、アプリケーションの独自の処理に応じて表示画面１４に表示されることになる。

図１８は第２実施形態の背景画像の一例を示す模式図である。背景画像が、例えば、動画である場合、図１８に示すように、表示画面１４には、数字（１、２、３、４、…）を丸で囲んだ符号で表す背景画像１、背景画像２、背景画像３、背景画像４…が時系列的に表示される。

図１９は第２実施形態の背景画像に対して透明ボード画像が描画された状態を示す模式図である。図１９では、図６と同様に、便宜上、透明ボード画像を、符号ａで示す矢印で表している。以下では、透明ボード画像ａとも称する。図１９は表示画面１４に表示された背景画像１に対して、手書き入力がなされ、１頁目の透明ボード画像ａが描画された状態を示す。透明ボード画像ａは、１頁目の画像であるので、透明ボード画像ａの画像データはＭ（１）とも表され、領域Ｍ（１）に格納される。

図２０は第２実施形態の画像処理装置１００の動作の第４実施例を示す模式図である。図２０において左側に例示した図は、図１９と同様の図であり、表示画面１４に背景画像１が表示された状態で手書き入力がなされ、１頁目の透明ボード画像ａが描画された状態を示す。

この状態において、所定の操作として、例えば、頁送りの操作がなされた場合、右側の図に示すように、２頁目の透明ボードがセットされる。背景画像は、頁送り操作がされたときにアプリケーションが独自に表示している背景画像が表示される。図２０の例では、背景画像３が表示されている。すなわち、背景画像は透明ボードの頁（透明ボード画像の頁）とは同期しない。２頁目の透明ボードは、透明ボード画像（手書画像）が全く描画されていない状態であり、新規に手書き入力することができる状態の頁である。

また、図２０の下側の図に示すように、頁送りの操作がなされた場合、そのときに表示画面１４に表示されている背景画像（図２０の例では、背景画像１）がキャプチャ処理され、キャプチャされた背景画像と１頁目の透明ボード画像ａとが関連付けて記憶部１６の背景画像データの領域Ｂ（１）及び透明ボード画像データＭ（１）にそれぞれ保存（格納）される。

第２実施形態にあっては、制御部１１は、描画部１２が表示画面１４に描画する手書画像（透明ボード画像）を頁単位で複数頁分の手書画像を記憶すべく制御する。例えば、アプリケーションを起動して表示画面１４に背景画像を表示する場合（例えば、動画又はプレゼンテーションそのものの画像を表示するような場合）、描画部１２が手書画像を頁単位に描画することにより、１頁目の透明ボード画像と当該透明ボード画像と同時に表示されていた背景画像とを関連付けて、複数頁の透明ボード画像を記録することができる。

図２１は第２実施形態の画像処理装置１００の動作の第５実施例を示す模式図である。図２１は、図２０に例示した頁送りの操作が複数回（図２１の例では、３回）行われた場合の状態を模式的に示す。

まず、図２０と同様に、背景画像１が表示された状態で手書き入力がなされ、透明ボード画像ａが描画されたとする。この状態で次に頁（２頁目）への頁送り操作がされると、頁送り操作がされたときにアプリケーションが独自に表示している背景画像３が表示画面１４に表示されるとともに、２頁目の透明ボードがセットされる。頁送りの操作により、背景画像１と透明ボード画像ａとは関連付けて保存される。関連付けるとは、例えば、背景画像１をレイヤ１の画像とし、透明ボード画像ａをレイヤ２の画像として、レイヤ１、２で１つの画像として扱うことを意味する。

次に、背景画像３が表示された状態で手書き入力がなされ、透明ボード画像ｂが描画されたとする。この状態で次に頁（３頁目）への頁送り操作がされると、頁送り操作がされたときにアプリケーションが独自に表示している背景画像４が表示画面１４に表示されるとともに、３頁目の透明ボードがセットされる。頁送りの操作により、背景画像３と透明ボード画像ｂとは関連付けて保存される。

次に、背景画像４が表示された状態で手書き入力がなされ、透明ボード画像ｃが描画されたとする。この状態で次に頁（４頁目）への頁送り操作がされると、頁送り操作がされたときにアプリケーションが独自に表示している背景画像６が表示画面１４に表示されるとともに、４頁目の透明ボードがセットされる。頁送りの操作により、背景画像４と透明ボード画像ｃとは関連付けて保存される。

上述のように、第２実施形態にあっては、制御部１１は、頁送り又は頁戻りなどの操作を受け付けた場合に、「背景画像上書きフラグ」が１にセットされているときは、任意の頁の透明ボード画像及び当該透明ボード画像と同時に表示画面１４に表示された背景画像を当該任意の頁分として関連付けて記憶する。

仮に、透明ボードが１頁分の手書画像にしか対応していない場合を想定すると、表示画面に表示された画像に対して手書画像を描画した後、表示中の画像を別の頁に切り替えるときは、画像を切り替える前に、透明ボードに入力された手書画像を切り替え前の画像とともに一旦記憶する操作を行い、さらに透明ボードに表示された手書画像をクリア（消去）する操作が必要であり、操作が煩雑である。

しかし、第２実施形態によれば、透明ボードが複数頁分の透明ボード画像に対応しているので、別の頁へ移行する操作を行うだけで、表示画面１４に同時に表示されていた背景画像と透明ボード画像とを同じ頁として関連付けて自動的に記録することができ、操作性を向上させることができる。

図２２は第２実施形態の画像処理装置１００の動作の第６実施例を示す模式図である。図２２に示すように、１頁目のキャプチャ済フラグＣ（１）が１であり、キャプチャ済画像使用フラグＵ（１）が１であるとする。そして、背景画像が背景画像１であり、透明ボード画像が左側上向矢印とする。表示画面１４に表示される画像は、背景画像１と左側上向矢印の透明ボード画像とが同時に表示されている。また、キャプチャ済フラグＣ（１）が１であるので、背景画像データＢ（１）には、背景画像１の画像データが格納されている。そして、キャプチャ済画像使用フラグＵ（１）が１であるので、キャプチャ済画像を使用する設定となっており、背景画像１と左側上向矢印の透明ボード画像とが関連付けて保存されているとともに、保存された画像が縮小されてサムネイル画像として表示される。

また、２頁目のキャプチャ済フラグＣ（２）が１であり、キャプチャ済画像使用フラグＵ（２）が０であるとする。キャプチャ済フラグＣ（２）が１であるので、例えば、背景画像３がキャプチャされ、背景画像データＢ（２）には、背景画像３の画像データが格納されている。一方、表示画面１４に表示される画像は、キャプチャされた時点からアプリケーションが独自に処理することにより、背景画像３とは異なる背景画像５が表示される。すなわち、表示画面１４には、背景画像５と左側下向矢印の透明ボード画像とが同時に表示されている。そして、キャプチャ済画像使用フラグＵ（２）が０であるので、キャプチャ済画像を使用しない設定となっており、キャプチャされた背景画像３は左側下向矢印の透明ボード画像と関連付けて保存されておらず、背景画像３の代わりに、例えば、透明画像が用いられる。このため、サムネイル画像には、背景画像３が現れずに左側下向矢印の透明ボード画像だけとなる。

また、３頁目のキャプチャ済フラグＣ（３）が０であり、キャプチャ済画像使用フラグＵ（３）が１であるとする。キャプチャ済フラグＣ（３）が０であるので、背景画像はキャプチャされず、背景画像データＢ（３）は、ブランクである。一方、表示画面１４に表示される画像は、アプリケーションが独自に処理することにより背景画像７が表示される。すなわち、表示画面１４には、背景画像７と右側上向矢印の透明ボード画像とが同時に表示されている。キャプチャ済画像使用フラグＵ（３）が１であり、キャプチャ済画像を使用する設定となっているが、背景画像はキャプチャされない設定になっているので、背景画像は右側上向矢印の透明ボード画像と関連付けて保存されておらず、背景画像の代わりに、例えば、透明画像が用いられる。このため、サムネイル画像には、背景画像が現れずに右側上向矢印の透明ボード画像だけとなる。

図２３は第２実施形態の画像処理装置１００の処理手順の一例を示すフローチャートである。以下では、簡便のため処理の主体を制御部１１として説明する。制御部１１は、表示頁Ｐを１、頁数Ｎを１、背景画像上書きフラグＥＷを１に設定する（Ｓ１１１）。ここで、表示頁Ｐを１、頁数Ｎを１に設定する理由は、第１実施形態の場合と異なり背景画像がアプリケーションの独自の処理により表示されているからである。

制御部１１は、制御処理の有無を判定し（Ｓ１１２）、制御処理がある場合（Ｓ１１２でＹＥＳ）、制御処理を実施し（Ｓ１１３）、制御処理がない場合（Ｓ１１２でＮＯ）、ステップＳ１１３の処理を行うことなく後述のステップＳ１１４の処理を行う。なお、制御処理の詳細は後述する。

制御部１１は、キャプチャ済画像使用フラグＵ（Ｐ）＝１であるか否かを判定し（Ｓ１１４）、キャプチャ済画像使用フラグＵ（Ｐ）＝１である場合（Ｓ１１４でＹＥＳ）、キャプチャ済フラグＣ（Ｐ）＝１であるか否かを判定する（Ｓ１１５）。

キャプチャ済フラグＣ（Ｐ）＝１である場合（Ｓ１１５でＹＥＳ）、制御部１１は、透明ボードの背景を背景画像データＢ（Ｐ）に変更する（Ｓ１１６）。すなわち、キャプチャ済背景画像を使用する設定で、キャプチャ済の場合のみ透明ボードの背景をキャプチャ済背景画像に変更する。

一方、キャプチャ済画像使用フラグＵ（Ｐ）＝１でない場合（Ｓ１１４でＮＯ）、あるいはキャプチャ済フラグＣ（Ｐ）＝１でない場合（Ｓ１１５でＮＯ）、制御部１１は、透明ボードの背景を透明にする（Ｓ１１７）。背景を透明にすることで、その裏にあるアプリケーションが表示する背景画像を見ることができる。

制御部１１は、タッチ操作等で書かれた文字、図などの透明ボード画像のデータを透明ボード画像データＭ（Ｐ）に追加し（Ｓ１１８）、ステップＳ１１２以降の処理を続ける。

図２４は第２実施形態の画像処理装置１００の制御処理の手順の一例を示すフローチャートである。図２４に例示する処理は、図２３のステップＳ１１３の処理を具体的に表すものである。制御部１１は、頁変更操作がされたか否かを判定する（Ｓ１３１）。頁変更操作がされた場合（Ｓ１３１でＹＥＳ）、制御部１１は、頁変更処理を実施する（Ｓ１３２）。頁変更操作がされていない場合（Ｓ１３１でＮＯ）、制御部１１は、ステップＳ１３２の処理を行うことなくサムネイル表示操作がされたか否かを判定する（Ｓ１３３）。

サムネイル表示操作がされた場合（Ｓ１３３でＹＥＳ）、制御部１１は、サムネイル表示処理を実施する（Ｓ１３４）。サムネイル表示操作がされていない場合（Ｓ１３３でＮＯ）、制御部１１は、ステップＳ１３４の処理を行うことなく設定変更操作がされたか否かを判定する（Ｓ１３５）。

設定変更操作がされた場合（Ｓ１３５でＹＥＳ）、制御部１１は、設定変更処理を実施する（Ｓ１３６）。設定変更操作がされていない場合（Ｓ１３５でＮＯ）、制御部１１は、ステップＳ１３６の処理を行うことなく処理を終了するか否かを判定する（Ｓ１３７）。処理を終了しない場合（Ｓ１３７でＮＯ）、制御部１１は、制御処理を終了し、処理を終了する場合（Ｓ１３７でＹＥＳ）、図２３の処理を終了する。

図２５及び図２６は第２実施形態の画像処理装置１００の頁変更処理の手順の一例を示すフローチャートである。図２５及び図２６に例示する処理は、図２４のステップＳ１３２の処理を具体的に表すものである。制御部１１は、変更する頁は表示頁Ｐと異なるか否かを判定し（Ｓ１４１）、変更する頁が表示頁Ｐと異なる場合（Ｓ１４１でＹＥＳ）、キャプチャ済フラグＣ（Ｐ）＝１であるか否かを判定する（Ｓ１４２）。

キャプチャ済フラグＣ（Ｐ）＝１でない場合（Ｓ１４２でＮＯ）、制御部１１は、キャプチャ済画像使用フラグＵ（Ｐ）＝１であるか否かを判定する（Ｓ１４３）。キャプチャ済画像使用フラグＵ（Ｐ）＝１である場合（Ｓ１４３でＹＥＳ）、すなわち、キャプチャ未実施でキャプチャ済背景画像を使用する設定の場合、制御部１１は、アプリが表示する背景画像をキャプチャし、キャプチャした背景画像のデータを背景画像データＢ（Ｐ）として保存し（Ｓ１４４）、キャプチャ済フラグＣ（Ｐ）＝１に設定し（Ｓ１４５）、後述のステップＳ１４６の処理を行う。

キャプチャ済フラグＣ（Ｐ）＝１である場合（Ｓ１４２でＹＥＳ）、あるいはキャプチャ済画像使用フラグＵ（Ｐ）＝１でない場合（Ｓ１４３でＮＯ）、制御部１１は、表示頁Ｐを変更する頁に設定する（Ｓ１４６）。制御部１１は、表示頁Ｐ＞頁数Ｎであるか否かを判定し（Ｓ１４７）、表示頁Ｐ＞頁数Ｎである場合（Ｓ１４７でＹＥＳ）、すなわち変更した頁が新規頁である場合、頁数Ｎ＝Ｎ＋１とする（Ｓ１４８）。

制御部１１は、新規頁に対して、キャプチャ済画像使用フラグＵ（Ｐ）を使用フラグ初期値ＩＵに設定し（Ｓ１４９）、キャプチャ済フラグＣ（Ｐ）＝０に設定し（Ｓ１５０）、頁変更処理を終了する。

変更する頁が表示頁Ｐである場合（Ｓ１４１でＮＯ）、あるいは表示頁Ｐ＞頁数Ｎでない場合（Ｓ１４７でＮＯ）、制御部１１は、頁変更処理を終了する。

図２４のステップＳ１３４のサムネイル表示処理は、図１５の処理と同様であるので説明は省略する。

図２７は第２実施形態の画像処理装置１００の設定変更処理の手順の一例を示すフローチャートである。図２７に例示する処理は、図２４のステップＳ１３６の処理を具体的に表すものである。制御部１１は、変更する管理データは、キャプチャ済画像使用フラグＵ（Ｐ）であるか否かを判定し（Ｓ１６１）、キャプチャ済画像使用フラグＵ（Ｐ）でない場合（Ｓ１６１でＮＯ）、設定変更処理を終了する。

変更する管理データがキャプチャ済画像使用フラグＵ（Ｐ）である場合（Ｓ１６１でＹＥＳ）、制御部１１は、キャプチャ済画像使用フラグＵ（Ｐ）を変更する値に設定する（Ｓ１６２）。

制御部１１は、変更したキャプチャ済画像使用フラグＵ（Ｐ）＝１であるか否かを判定し（Ｓ１６３）、変更したキャプチャ済画像使用フラグＵ（Ｐ）＝１である場合（Ｓ１６３でＹＥＳ）、アプリが表示する背景画像をキャプチャし、キャプチャした背景画像のデータを背景画像データＢ（Ｐ）として保存する（Ｓ１６４）。ここでは、キャプチャ済背景画像を「使用しない」設定から「使用する」設定に変更したので、キャプチャを実施している。

制御部１１は、キャプチャ済フラグＣ（Ｐ）＝１に設定し（Ｓ１６５）、設定変更処理を終了する。変更したキャプチャ済画像使用フラグＵ（Ｐ）＝１でない場合（Ｓ１６３でＮＯ）、制御部１１は、キャプチャ済フラグＣ（Ｐ）＝０に設定し（Ｓ１６６）、設定変更処理を終了する。

本発明の上述の各実施の形態で記載されている技術特徴は、お互いに組み合わせて新しい技術方案を形成することができる。

本実施の形態の画像処理装置は、表示画面（１４）に画像を表示する処理を行う処理部（１３）を備える画像処理装置であって、前記表示画面にタッチペン又は指が接触したときの位置に基づいて手書画像を前記表示画面に描画する描画部（１２）を備えることを特徴とする。

本実施の形態の画像処理方法は、表示画面（１４）に画像を表示する処理を行う処理部（１３）を備える画像処理装置による画像処理方法であって、前記表示画面にタッチペン又は指が接触したときの位置を検出し、検出した位置に基づいて手書画像を前記表示画面に描画部（１２）が描画するステップを含むことを特徴とする。

本実施の形態にあっては、描画部は、表示画面にタッチペン又は指が接触したときの位置に基づいて手書画像を表示画面に描画する。例えば、表示画面に透明のタッチパネル（透明ボードとも称する）を重ね、タッチパネルでタッチペン又は指などのタッチ（接触）を検出した場合、検出した位置に所要の大きさの点を描画するとともに、タッチ位置が変化したときには、検出した位置の軌跡（ストローク）に沿って線を描画することにより、表示画面に表示された画像に対して手書画像を書込むことができる。

本実施の形態の画像処理装置は、記憶部（１６）と、前記処理部が前記表示画面に画像を表示した場合に、前記描画部で手書画像を描画したときは、前記手書画像及び該手書画像と同時に前記表示画面に表示された画像を関連付けて前記記憶部に記憶すべく制御する制御部（１１）と
を備えることを特徴とする。

本実施の形態にあっては、制御部は、処理部が表示画面に画像を表示した場合に、描画部で手書画像を描画したときは、手書画像及び当該手書画像と同時に表示画面に表示された画像を関連付けて記憶部に記憶すべく制御する。例えば、表示画面に画像（例えば、所望のアプリケーションを実行した際に表示される画像、複数の頁で構成されるファイルを開いたときの任意の頁の画像など）を表示した場合に、当該画像に対してコメントやメモなどの文字又は図等で構成される手書画像を描画したときは、表示画面に同時に表示されている画像及び手書画像を関連付けて記憶する。関連付けるとは、例えば、同一のファイルとして纏めること、あるいは同一の頁として纏めることが含まれる。なお、記憶部に記憶するタイミングは、所定の操作が行われたときとすることができる。

これにより、表示画面に表示されている画像に手書き入力した場合に、画像と手書画像とを関連付けて記憶することができるので、ユーザが紙等にメモする必要がなく、利便性が向上する。

本実施の形態の画像処理装置は、前記制御部（１１）は、前記描画部（１２）が前記表示画面に描画する手書画像を頁単位で複数頁分の手書画像を記憶すべく制御するようにしてあることを特徴とする。

本実施の形態にあっては、制御部は、描画部が表示画面に描画する手書画像を頁単位で複数頁分の手書画像を記憶すべく制御する。例えば、アプリケーションを起動して表示画面に複数の頁の画像を順番に表示する場合（プレゼンテーション画像を表示するような場合）、描画部が手書画像を頁単位に描画することにより、例えば、画像の頁と手書画像の頁とを同期させ、１頁目の画像には１頁目の手書画像を関連付け、以下同様にｎ（ｎは整数）頁目の画像にはｎ頁目の手書画像を関連付けることができる。これにより、複数頁の画像に対して、頁毎に異なる手書画像を関連付けることができ、複数頁の手書画像を記録することができる。

本実施の形態の画像処理装置は、前記表示画面に任意の頁の手書画像が表示されている場合に、該任意の頁と異なる頁へ移行する操作を受け付ける移行受付部（１２）を備え、前記制御部（１１）は、前記移行受付部で前記操作を受け付けた場合、前記任意の頁の手書画像を該任意の頁分として記憶するようにしてあることを特徴とする。

本実施の形態にあっては、移行受付部は、表示画面に任意の頁の手書画像が表示されている場合に、当該任意の頁と異なる頁へ移行する操作を受け付ける。制御部は、移行受付部で当該操作を受け付けた場合、任意の頁の手書画像を当該任意の頁分として記憶する。

例えば、表示画面にある画像が表示されている場合に、手書画像を描画したとする。当該手書画像は、例えば、１頁目の画像に関連付けられ、１頁目の手書画像となる。この状態で、１頁目と異なる頁（例えば、２頁目）に移行する操作を受け付けた場合、制御部は、任意の頁（１頁目）の手書画像を該任意の頁分（１頁分）として記憶する。

すなわち、表示画面に表示された画像に対して手書画像を描画し、別の頁へ移行する操作を行うだけで、当該操作を行う前に画像と同時に表示されていた手書画像（１頁目の手書画像）を自動的に記録することができる。

透明ボードが１頁分の手書画像にしか対応していない場合を想定すると、表示画面に表示された画像に対して手書画像を描画した後、表示中の画像を別の頁に切り替えるときは、画像を切り替える前に、透明ボードに入力された手書画像を切り替え前の画像とともに一旦記憶する操作を行い、さらに透明ボードに表示された手書画像をクリア（消去）する操作が必要であり、操作が煩雑である。しかし、本実施の形態によれば、透明ボードが複数頁分の手書画像に対応しているので、別の頁へ移行する操作を行うだけで、表示画面に画像と同時に表示されていた手書画像を自動的に記録することができ、操作性を向上させることができる。

本実施の形態の画像処理装置は、前記移行受付部（１２）で前記操作を受け付けた場合、前記任意の頁の手書画像と同時に前記表示画面（１４）に表示された画像を該任意の頁分として記憶するか否かを設定する設定部（１６１）を備えることを特徴とする。

本実施の形態にあっては、設定部は、移行受付部で当該操作を受け付けた場合、任意の頁の手書画像と同時に表示画面に表示された画像を当該任意の頁分として記憶するか否かを設定する。例えば、設定部で画像を記憶すると設定されている場合には、別の頁へ移行する操作を行うだけで、表示画面に同時に表示されていた画像と手書画像とを同じ頁として関連付けて自動的に記録することができ、操作性を向上させることができる。

本実施の形態の画像処理装置は、前記制御部（１１）は、前記移行受付部（１２）で前記操作を受け付けた場合に、前記設定部（１６１）で画像を記憶すると設定されているときは、前記任意の頁の手書画像及び該手書画像と同時に前記表示画面（１４）に表示された画像を前記任意の頁分として関連付けて記憶するようにしてあることを特徴とする。

本実施の形態にあっては、制御部は、移行受付部で当該操作を受け付けた場合に、設定部で画像を記憶すると設定されているときは、任意の頁の手書画像及び当該手書画像と同時に表示画面に表示された画像を当該任意の頁分として関連付けて記憶する。

透明ボードが１頁分の手書画像にしか対応していない場合を想定すると、表示画面に表示された画像に対して手書画像を描画した後、表示中の画像を別の頁に切り替えるときは、画像を切り替える前に、透明ボードに入力された手書画像を切り替え前の画像とともに一旦記憶する操作を行い、さらに透明ボードに表示された手書画像をクリア（消去）する操作が必要であり、操作が煩雑である。しかし、本実施の形態によれば、透明ボードが複数頁分の手書画像に対応しているので、別の頁へ移行する操作を行うだけで、表示画面に同時に表示されていた画像と手書画像とを同じ頁として関連付けて自動的に記録することができ、操作性を向上させることができる。

本実施の形態の画像処理装置は、前記描画部（１２）は、前記移行受付部（１２）で前記操作を受け付けた場合、前記表示画面（１４）に表示していた描画を該表示画面から消去するようにしてあることを特徴とする。

本実施の形態にあっては、描画部は、移行受付部で当該操作を受け付けた場合、表示画面に表示していた描画を表示画面から消去する。すなわち、本実施の形態によれば、透明ボードが複数頁分の手書画像に対応しているので、別の頁へ移行する前に、表示中の手書画像をクリア（消去）する操作が不要となり、別の頁へ移行する操作を行うだけで、表示画面に表示されていた手書画像を自動的に記録するとともに、手書画像用の別の頁を準備することができる。

本実施の形態の画像処理装置は、前記処理部（１３）は、前記表示画面（１４）に頁単位で画像を表示するようにしてあり、前記移行受付部（１２）で前記操作を受け付けた場合、前記任意の頁の画像から前記異なる頁の画像へ切り替えて表示画面に表示するようにしてあることを特徴とする。

本実施の形態にあっては、処理部は、表示画面に頁単位で画像を表示するようにしてある。そして、移行受付部で当該操作を受け付けた場合、任意の頁の画像から異なる頁の画像へ切り替えて表示画面に表示する。例えば、アプリケーションを起動して表示画面に１頁目の画像が表示されている場合に、手書画像を描画したとする。当該手書画像は、１頁目の画像に関連付けられ、１頁目の手書画像となる。この状態で、１頁目と異なる頁（例えば、２頁目）に移行する操作を受け付けた場合、アプリケーションによる画像も１頁目から２頁目の画像に切り替わる。これにより、移行操作を行うだけで、画像の頁と手書画像の頁とを同期させて切り替えることができる。

本実施の形態の画像処理装置は、前記記憶部（１６）に関連付けて記憶された１又は複数頁分の手書画像及び画像それぞれを前記表示画面に表示した態様で１又は複数頁分の縮小画像に縮小する縮小部（１５）と、該縮小部で縮小した縮小画像の全頁又は一部の頁を表示する縮小画像表示部（１１）とを備えることを特徴とする。

本実施の形態にあっては、縮小部は、記憶部に関連付けて記憶された１又は複数頁分の手書画像及び画像それぞれを表示画面に表示した態様で１又は複数頁分の縮小画像に縮小する。表示画面に表示した態様とは、表示画面に表示された状態と同じ状態という意味である。縮小画像表示部は、縮小部で縮小した縮小画像の全頁又は一部の頁を表示する。これにより、手書き入力した際に表示中の画像及び当該手書画像を同時に表示した縮小画像の一覧を見ることができ、所要の画像に容易にアクセスすることが可能となる。

本実施の形態の画像処理装置は、前記縮小画像表示部（１１）が表示した複数頁分の縮小画像の中から一の縮小画像を選択する操作を受け付ける選択受付部（１２）と、該選択受付部で一の縮小画像が選択された場合、選択された縮小画像に対応する手書画像及び画像を前記表示画面（１４）に表示した態様で再度表示すべく制御する表示制御部（１１）とを備えることを特徴とする。

本実施の形態にあっては、選択受付部は、縮小画像表示部が表示した複数頁分の縮小画像の中から一の縮小画像を選択する操作を受け付ける。表示制御部は、選択受付部で一の縮小画像が選択された場合、選択された縮小画像に対応する手書画像及び画像を表示画面に表示した態様で再度表示すべく制御する。これにより、ユーザは、縮小画像を選択するだけで、手書画像及び当該手書画像が描画されたときに同時に表示されていた画像を元の表示態様で表示することができる。

１１ 制御部
１２ 描画部
１３ 画像処理部
１４ 表示画面
１４１ 表示パネル部
１４２ タッチパネル部
１５ 縮小画像生成部
１６ 記憶部
１６１ 透明ボード管理データ
１６２ 透明ボード画像データ
１６３ プレゼン画像データ

Claims (11)

1. 表示画面に画像を表示する処理を行う処理部を備える画像処理装置であって、
   前記表示画面にタッチペン又は指が接触したときの位置に基づいて手書画像を前記表示画面に描画する描画部を備えることを特徴とする画像処理装置。
2. 記憶部と、
   前記処理部が前記表示画面に画像を表示した場合に、前記描画部で手書画像を描画したときは、前記手書画像及び該手書画像と同時に前記表示画面に表示された画像を関連付けて前記記憶部に記憶すべく制御する制御部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御部は、
   前記描画部が前記表示画面に描画する手書画像を頁単位で複数頁分の手書画像を記憶すべく制御するようにしてあることを特徴とする請求項２に記載の画像処理装置。
4. 前記表示画面に任意の頁の手書画像が表示されている場合に、該任意の頁と異なる頁へ移行する操作を受け付ける移行受付部を備え、
   前記制御部は、
   前記移行受付部で前記操作を受け付けた場合、前記任意の頁の手書画像を該任意の頁分として記憶するようにしてあることを特徴とする請求項３に記載の画像処理装置。
5. 前記移行受付部で前記操作を受け付けた場合、前記任意の頁の手書画像と同時に前記表示画面に表示された画像を該任意の頁分として記憶するか否かを設定する設定部を備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記制御部は、
   前記移行受付部で前記操作を受け付けた場合に、前記設定部で画像を記憶すると設定されているときは、前記任意の頁の手書画像及び該手書画像と同時に前記表示画面に表示された画像を前記任意の頁分として関連付けて記憶するようにしてあることを特徴とする請求項５に記載の画像処理装置。
7. 前記描画部は、
   前記移行受付部で前記操作を受け付けた場合、前記表示画面に表示していた描画を該表示画面から消去するようにしてあることを特徴とする請求項４から請求項６までのいずれか１項に記載の画像処理装置。
8. 前記処理部は、
   前記表示画面に頁単位で画像を表示するようにしてあり、
   前記移行受付部で前記操作を受け付けた場合、前記任意の頁の画像から前記異なる頁の画像へ切り替えて表示画面に表示するようにしてあることを特徴とする請求項４から請求項７までのいずれか１項に記載の画像処理装置。
9. 前記記憶部に関連付けて記憶された１又は複数頁分の手書画像及び画像それぞれを前記表示画面に表示した態様で１又は複数頁分の縮小画像に縮小する縮小部と、
   該縮小部で縮小した縮小画像の全頁又は一部の頁を表示する縮小画像表示部と
   を備えることを特徴とする請求項３から請求項８までのいずれか１項に記載の画像処理装置。
10. 前記縮小画像表示部が表示した複数頁分の縮小画像の中から一の縮小画像を選択する操作を受け付ける選択受付部と、
    該選択受付部で一の縮小画像が選択された場合、選択された縮小画像に対応する手書画像及び画像を前記表示画面に表示した態様で再度表示すべく制御する表示制御部と
    を備えることを特徴とする請求項９に記載の画像処理装置。
11. 表示画面に画像を表示する処理を行う処理部を備える画像処理装置による画像処理方法であって、
    前記表示画面にタッチペン又は指が接触したときの位置を検出し、検出した位置に基づいて手書画像を前記表示画面に描画部が描画するステップを含むことを特徴とする画像処理方法。

Images