JP2012105078A - 画像合成装置及び画像合成プログラム - Google Patents

Abstract

【課題】用紙や画面の所定の位置に簡便に画像を合成する。
【解決手段】画像合成装置に、画像の一覧の背景に電子ペンがペン先の位置を検出するためのパターンが合成された第１の媒体を利用して、前記電子ペンから、前記第１の媒体上に描画された図形を特定する位置情報を取得し、各々の画像と前記第１の媒体上の位置とを対応付ける情報を参照して、当該位置情報から画像を特定すると共に、前記パターンが合成された第２の媒体を利用して、前記電子ペンから、前記第２の媒体上に描画された図形を特定する位置情報を取得し、当該位置情報から画像の合成領域を特定し、前記位置情報を取得した順番に基づいて前記合成領域と前記画像とを対応付ける制御部と、前記合成領域に、当該合成領域に対応付けられた前記画像を合成した合成画像を生成する画像処理部と、前記合成画像のデータを出力する出力部と、を設ける。
【選択図】図１

Description

本発明は、画像合成装置及び画像合成プログラムに関し、特に、電子ペンを利用して画像を合成する画像合成装置及び画像合成プログラムに関する。

近年、入力デバイスとして、ペンで入力した筆跡をデータとして出力する電子ペンが利用されている。この電子ペンは、ペン先に小型カメラを搭載しており、用紙に印刷されたアノト（登録商標）パターンと呼ばれる位置検出用パターンを小型カメラで読み取ることによってペン先の位置を特定し、手書きした文字や図形、絵などの筆跡を手書きデータとして出力する。

このような電子ペンを利用したシステムとして、例えば、下記特許文献１には、デジタルカメラを内蔵し、筆記機能を有するデジタルペンと、デジタルペン専用用紙と、デジタルペンから写真画像データを受信してサーバに受信画像を送信し、サーバから編集されたデータを受信する通信装置と、少なくとも写真画像情報読取部とを有し、前記通信装置に接続されて印刷物を出力する出力装置を有する印刷システムが開示されている。

特開２００６−１６３９５２号公報

上記特許文献１の技術を利用することにより、予め用紙に配置された画像と、その画像上に手書きした手書き画像と、を合成して合成画像を出力することができるが、デジタルカメラで撮影した写真やスキャナで読み取った写真や図形、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体に保存した写真や図形などの多数のオブジェクトの画像を各ページの所定の位置に配置した資料等を作成するためには、コンピュータ装置を用いて画像を選択し、選択した画像を用紙や画面上のどの位置に配置するかを指定しなければならず、簡便に画像を合成することができないという問題があった。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、用紙や画面の所定の位置に簡便に画像を合成することができる画像合成装置及び画像合成プログラムを提供することにある。

上記目的を達成するため、本発明の画像合成装置は、画像の一覧の背景に電子ペンがペン先の位置を検出するためのパターンが合成された第１の媒体を利用して、前記電子ペンから、前記第１の媒体上に描画された図形を特定する位置情報を取得し、各々の画像と前記第１の媒体上の位置とを対応付ける情報を参照して、当該位置情報から画像を特定すると共に、前記パターンが合成された第２の媒体を利用して、前記電子ペンから、前記第２の媒体上に描画された図形を特定する位置情報を取得し、当該位置情報から画像の合成領域を特定し、前記位置情報を取得した順番に基づいて、前記合成領域と前記画像とを対応付ける制御部と、前記合成領域に、当該合成領域に対応付けられた前記画像を合成した合成画像を生成する画像処理部と、前記合成画像のデータを出力する出力部と、を少なくとも備えるものである。

また、本発明は、電子ペンと交信可能な装置で動作する画像合成プログラムであって、前記装置を、画像の一覧の背景に電子ペンがペン先の位置を検出するためのパターンが合成された第１の媒体を利用して、前記電子ペンから、前記第１の媒体上に描画された図形を特定する位置情報を取得し、各々の画像と前記第１の媒体上の位置とを対応付ける情報を参照して、当該位置情報から画像を特定すると共に、前記パターンが合成された第２の媒体を利用して、前記電子ペンから、前記第２の媒体上に描画された図形を特定する位置情報を取得し、当該位置情報から画像の合成領域を特定し、前記位置情報を取得した順番に基づいて、前記合成領域と前記画像とを対応付ける制御部、前記合成領域に、当該合成領域に対応付けられた前記画像を合成した合成画像を生成する画像処理部、として機能させるものである。

本発明の画像合成装置及び画像合成プログラムによれば、用紙や画面の所定の位置に簡便に画像を合成することができる。

その理由は、画像の一覧の背景に位置検出用パターンが合成された第１の媒体（例えば、インデックスプリント）を用いてユーザが画像を選択し、位置検出パターンが合成され第２の媒体（例えば、手書き入力用紙）を用いてユーザが画像の合成領域を手書きすると、画像合成装置（画像合成プログラム）は、電子ペンから、第１の媒体上に描画された図形を特定する位置情報を取得し、予め記憶した対応付け情報を参照して、当該位置情報から画像を特定すると共に、電子ペンから、第２の媒体上に描画された図形を特定する位置情報を取得し、当該位置情報から画像の合成領域を特定し、位置情報を取得した順番に基づいて、画像と合成領域とを対応付け、合成領域に画像を合成した合成画像を生成する制御を行うからである。

本発明の第１の実施例に係る画像合成システムの構成及び概略動作を示す図である。 本発明の第１の実施例に係る画像合成装置の構成を示すブロック図である。 本発明の第１の実施例に係る電子ペンの構成を示すブロック図である。 アノト（登録商標）パターンの一例を示す図である。 本発明の第１の実施例に係る画像合成システムの全体処理を示すフローチャート図である。 本発明の第１の実施例に係る手書き入力用紙の作成処理を示すフローチャート図である。 手書き入力用紙の作成処理を説明する図である。 本発明の第１の実施例に係る画像合成領域指示の処理を示すフローチャート図である。 画像合成領域指示の処理を説明する図である。 本発明の第１の実施例に係る手書き情報取り込み処理を示すフローチャート図である。 本発明の第１の実施例に係る画像取り込み、インデックスプリント出力処理を示すフローチャート図である。 本発明の第１の実施例に係る画像と領域の対応付け処理を示すフローチャート図である。 画像と領域の対応付け処理を説明する図である。 本発明の第１の実施例に係る画像合成処理を示すフローチャート図である。 画像合成処理を説明する図である。 本発明の第２の実施例に係る画像合成システムの構成及び概略動作を示す図である。 本発明の第２の実施例に係る画像合成システムの全体処理を示すフローチャート図である。 本発明の第２の実施例に係る画像と領域の対応付け処理を示すフローチャート図である。 画像と領域の対応付け処理を説明する図である。

背景技術で示したように、電子ペンを利用した様々なシステムが提案されており、特許文献１には、デジタルペン専用用紙にデジタル写真画像を出力し、その上にデジタルペンで文字等を記入させることにより、手書きメッセージ入り写真画像を印刷する印刷システムが開示されている。しかしながら、このシステムは、予め用紙上に配置された画像に手書きした手書き画像を合成するものであり、用紙に写真や図形などのオブジェクトの画像を配置する際には、コンピュータ装置を用いて画像を選択したり、画像を合成する位置を指定したりしなければならず、簡便に画像を合成することができないという問題があった。

そこで、本発明の一実施の形態では、画像を選択する処理や画像を合成する領域を指定する処理に対して電子ペンを利用する。具体的には、画像の一覧の背景に位置検出用パターンが印刷された第１の用紙（例えば、インデックスプリント）と、位置検出用パターンを印刷した第２の用紙（位置検出用パターンのみが印刷された用紙でもよいし、原稿の画像に位置検出用パターンが合成された用紙でもよい。）と、を用意する。そして、ユーザが電子ペンを用いて第１の用紙上で画像を選択し、第２の用紙上に画像の合成領域を手書きすると、画像合成装置（画像合成プログラム）では、電子ペンから、第１の用紙上に描画された図形を特定する位置情報を取得し、予め記憶した対応付け情報を参照して、当該位置情報から画像を特定すると共に、電子ペンから、第２の用紙上に描画された図形を特定する位置情報を取得し、当該位置情報から画像の合成領域を特定し、位置情報を取得した順番に基づいて、画像と合成領域とを対応付け、合成領域に画像を合成した合成画像を生成する。

これにより、コンピュータ装置を用いることなく、電子ペンの操作のみで簡単に所望の画像を所望の位置に取り込むことができる。

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る画像合成装置及び画像合成プログラムについて、図１乃至図１５を参照して説明する。図１は、本実施例の画像合成システムの構成及び概略動作を示す図であり、図２は、画像合成装置の構成を示すブロック図である。また、図３は、電子ペンの構成を示すブロック図であり、図４は、アノト（登録商標）パターンの一例を示す図である。また、図５、６、８、１０乃至１２、１４は、画像合成システムの処理を示すフローチャート図であり、図７、９、１３、１５は、画像合成システムの処理を説明する図である。

図１に示すように、本実施例の画像合成システムは、写真や図形などのオブジェクトの画像を用紙や画面などの媒体の所定の領域に合成する処理を行う画像合成装置１０と、アノト（登録商標）パターンに代表される位置検出用パターンを検出する電子ペン２０などで構成される。

上記画像合成システムの概略動作を説明すると、まず、画像合成装置１０にて、位置検出用パターンを印刷した用紙（手書き入力用紙と呼ぶ。）を作成する。そして、作成した手書き入力用紙に電子ペン２０で文字や図を記入するだけでなく、合成対象となる画像をどのページのどの位置に入力するかを指示する操作（画像合成領域を描画する操作）及びどの画像合成領域に画像を合成するかを指示する操作（画像合成領域を選択する操作）も行う。このような手書きを行った電子ペン２０には、電子ペン２０の移動軌跡を示す手書き画像と手書きした時刻情報とを含む手書き情報が保存され、この手書き情報は画像合成装置１０に取り込まれる。

一方、合成対象となる画像は、デジタルカメラなどにより撮影され、所定のフォーマットの画像データとしてメモリカードや画像合成装置１０、サーバなどに保存されており、画像合成装置１０は、それらの画像データを読み取り、画像データに基づく画像（例えば、サムネイル画像）の一覧の背景に位置検出用パターンを合成したインデックスプリントを出力する。このインデックスプリントには、各々の画像近傍に画像番号などの識別情報が印刷されており、この識別情報を電子ペン２０でマークするなどの操作（画像を選択する操作）を行う。このような操作を行った電子ペン２０には、電子ペン２０の移動軌跡を示す手書き画像と手書きした時刻情報とを含む手書き情報が保存され、この手書き情報は画像合成装置１０に取り込まれる。

その後、画像合成装置１０は、電子ペン２０から取り込んだ手書き情報に基づいて、画像と画像合成領域とを対応付ける。例えば、手書き入力用紙に対する手書き情報から画像合成領域を特定し、インデックスプリント上の各画像の位置を規定する対応付け情報を参照して、インデックスプリントに対する手書き情報から画像を特定し、手書き情報を取得した順番に基づいて、画像と画像合成領域とを対応付ける。そして、画像合成領域に画像を合成し、合成画像を印刷したり、ファイルで出力したりする。

なお、本実施例では、上記画像合成装置１０を、手書き入力用紙やインデックスプリントを作成する印刷機能を備えた装置（例えば、複写機や複合機（ＭＦＰ：Multi Function Peripheral）などの画像形成装置）とするが、位置検出用パターンを画面上に表示する場合は、表示機能を備えた装置（例えば、電子ペーパーや電子ブック、携帯端末、コンピュータ装置など）とすることもできる。この場合は、手書き入力用紙又はインデックスプリントの少なくとも一方を、手書き入力画面又はインデックス画面にすればよい。以下、各々の装置の構成について図面を参照して説明する。

［画像合成装置］
図２に示すように、画像合成装置１０は、コントローラ部と、コントローラ部によって制御される各種装置と、で構成され、コントローラ部は、制御部１１、通信部１２、表示・操作部１３、画像入力部１４、画像出力部１５、データ記憶部１６、画像処理部１７などで構成される。

制御部１１は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリとで構成され、ＣＰＵは、ＲＯＭに保存されている制御プログラムをＲＡＭに展開して実行し、画像合成装置１０の全体制御を行う。本実施例では、特に、位置検出用パターンをメモリや外部のコンピュータ装置から読み出し、画像出力部１５を制御して、画像出力装置１９に手書き入力用紙を印刷させる処理や、デジタルカメラや自装置、他の装置（画像合成装置１０にネットワーク接続されたサーバ）などから画像データを取得（又は当該画像データの保存場所情報を取得）し、画像処理部１７を制御して、画像データに基づく画像及び／又は画像データを識別する情報の一覧の背景に位置検出用パターンを合成し、画像出力部１５を制御して、画像出力装置１９にインデックスプリントを印刷させる処理、電子ペン２０からインデックスプリントに対する手書き情報と手書き入力用紙に対する手書き情報とを取得し、インデックスプリントに対する手書き情報から画像を特定すると共に、手書き入力用紙に対する手書き情報から画像合成領域を特定し、手書き情報を取得した順番などに基づいて、画像と画像合成領域とを対応付ける処理、画像処理部１７を制御して、各々の画像合成領域に画像又は当該画像の元となる画像データの保存場所情報（リンク先のアドレスなど）を合成し、画像出力部１５を制御して、画像出力装置１９に合成画像を印刷させたり、通信部１２を介して、合成画像データを出力したりする処理を行う。なお、インデックスプリントを作成する際に、各々の画像又は画像の識別情報とインデックスプリント上の位置とを対応付ける情報を作成してデータ記憶部１６に記憶しておき、この対応付け情報を参照して、インデックスプリントに対する手書き情報から画像を特定できるようにする。

通信部１２は、様々なプロトコルを制御し、デジタルカメラやサーバなどからの画像データの入力、電子ペン２０からの手書き情報の入力、コンピュータ装置からの位置検出用パターンのダウンロードを行う入力部と、合成画像データの外部のコンピュータ装置への送信を行う出力部として機能する。

表示・操作部１３は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイ上に透明電極が格子状に配置されたタッチパネルなどであり、ユーザへの情報表示とユーザからの情報入力を受け付ける。

画像入力部１４は、画像入力装置１８（例えば、スキャナ）からの画像入力を制御する部分であり、手書き入力用紙の作成時に位置検出用パターンに合成する画像や、画像合成領域に合成する画像の取り込みを制御する。なお、デジタルカメラや自装置、サーバなどから取得した画像のみを使用する場合は、画像入力部１４及び画像入力装置１８を省略することもできる。

画像出力部１５は、画像出力装置１９（例えば、プリンタ）への画像出力を制御する部分であり、位置検出用パターンの印刷や、画像合成領域に画像又は当該画像の保存場所情報を合成した合成画像の印刷を制御する。

データ記憶部１６は、ＨＤＤ（Hard Disk Drive）などであり、画像データ、手書き情報、上記の対応付け情報、その他システムの情報など記憶する。

画像処理部１７は、手書き入力用紙への位置検出用パターンの合成、インデックス画像の生成、インデックス画像と位置検出用パターンの合成、画像合成領域への画像の合成、画像合成領域に合成する画像に対する変倍・回転・トリミングなどの処理を行う。

なお、図２では、画像を合成する処理を画像処理部１７で実行する構成とするが、手書き情報と選択画像情報とを入力して対応付け、手書き情報で特定される画像合成領域に選択画像情報で特定される画像を合成して出力する一連の処理を、制御部１１で動作する画像合成プログラムによって実行する構成としてもよい。

［電子ペン］
図３に示すように、電子ペン２０は、制御部２１、通信部２２、バッテリー２３、操作部２４、撮像部２５、圧力検知部２６、筆記部２７、時計部２８、データ記憶部２９などで構成される。

制御部２１は、ＣＰＵと、ＲＯＭやＲＡＭなどのメモリとで構成され、ＣＰＵは、ＲＯＭに保存されている制御プログラムをＲＡＭに展開して実行し、電子ペン２０の全体制御を行う。

通信部２２は、Bluetooth（登録商標）に代表される短距離無線通信や赤外線通信、有線通信により、画像合成装置１０への手書き情報の送信を制御する。

バッテリー２３は、一次電池または二次電池であり、電子ペン２０の各部に電力を供給する。

操作部２４は、電子ペン２０本体に設けられたボタンなどであり、手書きの開始／終了の指示、画像合成装置１０への手書き情報の送信指示などを行う。

撮像部２５は、位置検出用パターンを読み取るための小型のＣＣＤまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）ビデオカメラである。

圧力検知部２６は、電子ペン２０の筆圧を検知するための圧電素子などである。

筆記部２７は、圧力検知部２６が筆圧を検知した時に撮像部２５が読み取った位置検出用パターンに基づいて、電子ペン２０の手書き入力用紙上の位置を特定し、電子ペン２０の移動軌跡で特定される手書き画像を生成する。なお、本明細書における手書き画像は、手書き入力用紙上で電子ペン２０が移動した軌跡の全体で特定される画像ではなく、１つのオブジェクトとして認識可能な画像を意味する。例えば、電子ペン２０が手書き入力用紙から離れることなく一筆書きで描画した文字や図形は、１つのオブジェクトとして認識でき、手書き画像の一単位を構成する。また、手書き画像の一単位は一筆書きにより得られる画像に限る必要はなく、たとえば電子ペン２０が手書き入力用紙から離れるが、所定時間内に描画した文字や図形も１つの手書き画像と扱っても良い。更に、電子ペン２０が手書き入力用紙から離れるが、個々の軌跡が所定の距離範囲内に集まっている文字や図形についても、１つの手書き画像として扱っても良い。従って、矩形のような図形は、一筆書きで描画しても、漢字の”口”のような筆順で描画しても、１つの手書き画像として扱ってもよい。

時計部２８は、筆記部２７が手書き画像を生成した時刻を特定する。

データ記憶部２９は、フラッシュメモリなどであり、筆記部２７が生成した手書き画像と時計部２８が特定した時刻情報とを対応付けて記憶する。その際、各々の手書き画像に対して少なくとも１つの時刻情報が対応付け可能であればよい。例えば、撮像部２５が位置検出用パターンを読み取る度に時刻情報を取得する場合は、手書き画像の各点に時刻情報を対応付けてもよいし、電子ペン２０の移動軌跡の始点や終点などの特定の地点で時刻情報を取得する場合は、各々の手書き画像に地点数に応じた時刻情報を対応付けてもよい。

なお、電子ペン２０は、用紙に印刷若しくは画面に表示される位置検出用パターンを認識して、用紙上若しくは画面上の位置を特定し、手書き画像と時刻情報とを対応付けて手書き情報として出力する機能を備えていればよく、その構成や形状、通信方法などは特に限定されない。

図４は、手書き入力用紙に印刷若しくは画面に表示されるアノト（登録商標）パターンの一例である。このアノト（登録商標）パターンは、格子状に配置されたドットパターンであり、各ドットは０．３ｍｍ間隔で直交する格子から上下左右いずれかの方向へ僅かにずれていて、撮像部２５によって、１度に縦６×横６ドット、計３６ドットのマトリクス単位で読み込まれる。このアノト（登録商標）パターンはどの点をとっても一意な値であり、電子ペン２０で書かれた軌跡はすべて異なる位置情報として認識できる。

以下、本実施例の画像合成システムの動作について、図５、６、８、１０乃至１２、１４のフローチャート図、及び、図７、９、１３、１５の説明図を参照して説明する。

本実施例の画像合成システムの概略動作は図５に示す通りである。まず、画像合成装置１０は、位置検出用パターンを印刷した手書き入力用紙を作成し（Ｓ１００）、ユーザは、電子ペン２０を用いて手書き入力用紙に手書きし、画像合成領域の指示を入力する（Ｓ２００）。画像合成装置１０は、電子ペン２０から手書き情報の取り込みを行い、画像合成指示情報のリストを作成する（Ｓ３００）。次に、デジタルカメラや自装置、サーバなどから画像データの取り込み（又は画像データの保存場所情報の特定）を行い、画像データに基づく画像及び／又は画像データの識別情報の一覧の背景に位置検出用パターンを合成したインデックスプリントを出力する（Ｓ４００）。そして、ユーザが、電子ペン２０を用いて、インデックスプリントで画像を選択すると共に手書き入力用紙で画像合成領域を選択すると、画像合成装置１０は、インデックスプリントに対する手書き情報から画像を特定すると共に手書き入力用紙に対する手書き情報から画像合成領域を特定し、手書き情報を取得した順番などに基づいて画像と画像合成領域とを対応付け（Ｓ５００）、画像合成領域に画像又は画像データの保存場所情報を合成して（Ｓ６００）、合成画像を出力する（Ｓ７００）。以下、各ステップについて、個別に説明する。

［Ｓ１００の手書き入力用紙作成］
図６に示すように、ユーザが画像合成装置１０の表示・操作部１３を操作して、手書き入力用紙の作成を指示し（Ｓ１０１）、手書き入力用紙に合成する原稿画像を選択する（Ｓ１０２）。ここでは、原稿画像を合成するか否か、原稿画像を合成する場合は、ファイル名を指定してコンピュータ装置から入力するか、画像入力装置１８（スキャナ）で画像を取り込むか、などが選択できるものとする。

次に、画像合成装置１０のコントローラ部（制御部１１）は、Ｓ１０２の選択結果に基づいて原稿画像を読み込んだ後、データ記憶部１６に予め記憶された位置検出用パターンの中からそのページに印刷する位置検出用パターンを取得し（Ｓ１０３）、画像処理部１７は、原稿画像に位置検出用パターンを合成する（Ｓ１０４）。そして、画像出力部１５は、合成画像を画像出力装置１９（プリンタ）に送り、画像出力装置１９は、合成画像を手書き入力用紙に印刷する（Ｓ１０５）。この手書き入力用紙には、後述するように、入力画像の合成を指示するためのコマンドボタンなどが設けられている。その後、制御部１１は、次のページがあるかを判断し（Ｓ１０６）、次のページがある場合は、Ｓ１０３に戻って同様の処理を繰り返す。

図７は、上記手書き入力用紙作成処理を模式的に示す図である。データ記憶部１６には、複数ページ分の位置検出用パターンが記憶されており、各ページに異なる位置検出用パターンが印刷される。また、手書き入力用紙には、Ｓ１０２で原稿画像なしを選択した場合は、位置検出用パターンのみが印刷され、Ｓ１０２でファイルを指定した場合は、プリント画像に位置検出用パターンを合成した合成画像が印刷され、Ｓ１０２で画像取り込みを選択した場合は、スキャン画像に位置検出用パターンを合成した合成画像が印刷される。

なお、本実施例では、手書き入力用紙を印刷する構成としているが、画面上で手書きを行う場合は、位置検出用パターンのみの画像、プリント画像に位置検出用パターンを合成した画像、スキャン画像に位置検出用パターンを合成した画像などを表示部に表示させる構成としてもよい。

［Ｓ２００の画像合成指示］
図８に示すように、画像を取り込みたいページのコマンドボタンをタッチし（Ｓ２０１）、電子ペン２０で閉領域ができるように描画することによって、画像合成を指示する（Ｓ２０２）。この処理を、合成する画像の数だけ繰り返す。この時、手書きペン２０のデータ記憶部２９には、撮像部２５が認識した位置検出用パターンによって特定される一連の位置情報（手書き画像）と手書きを行った時刻情報とが対応付けて保存される。

なお、画像合成の指示は、画像を取り込みたい場所や大きさを電子ペン２０で入力することによって行うが、指示方法としては、例えば、図９に示す３つの指示方法が考えられる。

第１の指示方法は、図８のフローチャートで示した方法であり、手書き入力用紙に予め印刷されているコマンドボタンの部分を電子ペン２０でタッチした後、閉領域の輪郭（ここでは円）を描画する方法である。この場合は、コマンドボタン入力とそれに続く閉領域の輪郭描画を検出した場合に、画像合成指示であると認識する。なお、以下に示す手書き情報の取り込みでは、この方法で画像合成が指示されたものとする。

第２の指示方法は、閉領域の輪郭（ここでは矩形）を描画し、その中に特定のマーク（ここではチェックマーク）を描画する方法である。この場合は、閉領域の輪郭が描画されたことを認識し、その中に特定のマークが続いて入力された場合に、画像合成指示であると認識する。

第３の指示方法は、特定の文字（ここでは“photo”という文字）を描画し、その後、文字を囲むように閉領域の輪郭（ここでは矩形）を描画する方法である。この場合は、特定の文字を認識し、それに続いて閉領域の輪郭が入力された場合に、画像合成指示であると認識する。

なお、画像合成指示の方法は上記に限定されない。例えば、第１の指示方法において、閉領域の輪郭を描画した後にコマンドボタンをタッチしてもよいし、第２の指示方法において、特定のマークを描画した後にそのマークを囲むように閉領域の輪郭を描画してもよいし、第３の指示方法において、閉領域の輪郭を描画した後にその中に特定の文字を描画にしてもよい。また、第１の指示方法では円を描画し、第２及び第３の指示方法では矩形を描画したが、閉領域の輪郭を表す図形であればどのような図形であってもよい。

［Ｓ３００の手書き情報取り込み］
図１０に示すように、まず、画像合成装置１０のコントローラ（制御部１１）は、無線通信、赤外線通信、有線通信などにより電子ペン２０と交信して（Ｓ３０１）、電子ペン２０に保存されている手書き情報（手書き画像及び時刻情報）を取得し（Ｓ３０２）、取得した手書き画像の位置情報から、ページを認識する（Ｓ３０３）。

次に、制御部１１は、手書き画像の位置情報が予め定義されたコマンドボタンの領域であるかを調べることにより、画像合成指示コマンドを検出する（Ｓ３０４）。画像合成指示コマンドが検出されなかった場合は、制御部１１は、通常の手書き情報として手書き画像をデータ記憶部１６に保存する（Ｓ３０９）。

一方、画像合成指示コマンドが検出された場合は、制御部１１は、手書き画像に対応付けられた時刻情報を読み取り（Ｓ３０５）、手書き画像で示される閉領域を検出する（Ｓ３０６）。そして、制御部１１は、その閉領域の外接矩形の位置を計算し（Ｓ３０７）、ページ情報と、矩形のサイズ及び位置（座標）と、必要に応じて時刻情報とを記述した画像合成指示情報をリスト化して、データ記憶部１６に保存する（Ｓ３０８）。

次に、制御部１１は、次の手書き情報があるかを判断し（Ｓ３１０）、次の手書き情報があればＳ３０２に戻って同様の処理を繰り返す。

［Ｓ４００の画像取り込み、インデックスプリント出力］
まず、ユーザは、合成したい写真や動画などをデジタルカメラで撮影し、取得した画像データをデジタルカメラのデータ記憶部や画像合成装置１０、サーバなどに保存する。そして、図１１に示すように、画像合成装置１０のコントローラ（制御部１１）は、無線通信、赤外線通信、有線通信などにより画像データが保存されているデジタルカメラやサーバなどと交信し（Ｓ４０１）、表示・操作部１３に、デジタルカメラのデータ記憶部や自装置、サーバなどのフォルダを表示させる。

次に、ユーザが表示・操作部１３を操作して、画像データが保存されているフォルダを選択すると（Ｓ４０２）、制御部１１は、選択されたフォルダから画像データを取得し（Ｓ４０３）、データ記憶部１６に保存する（Ｓ４０４）。保存される画像データには、撮影時刻や保存時刻、ファイル名（ファイル番号）、画像サイズなどの情報が付加されている。

次に、画像処理部１７は、データ記憶部１６に保存した画像データに基づく画像（例えば、サムネイル画像）を配置してインデックス画像を作成し（Ｓ４０５）、そのインデックス画像の背景に位置検出用パターンを合成する（Ｓ４０６）。そして、画像出力部１５は、合成画像を画像出力装置１９（プリンタ）に送り、画像出力装置１９は、合成画像を印刷してインデックスプリントを出力する（Ｓ４０７）。このインデックスプリントには、それぞれのサムネイル画像の近傍に、画像番号や属性情報などの識別情報がプリントされている。また、画像を配置する際に、各画像とインデックスプリント上の位置とを対応付ける情報が作成され、データ記憶部１６などに記憶される。

なお、ここでは、インデックスプリントに画像を印刷する構成としているが、画像データの保存場所情報を印刷する構成としてもよい。また、ここでは、画像データを取り込んでデータ記憶部１６に保存する構成とするが、後述する画像合成ステップで画像データの保存場所情報を合成する場合は、必ずしも画像データを取り込む必要はなく、画像データが保存されているフォルダのディレクトリ情報を取得してデータ記憶部１６に保存すればよい。また、本実施例では、インデックスプリントを印刷する構成としているが、画面上で画像の選択を行う場合は、画像や保存場所情報を配列したインデックス画像に位置検出用パターンを合成した合成画像を表示部に表示させる構成としてもよい。

［Ｓ５００の画像と領域の対応付け］
図１２に示すように、画像合成装置１０のコントローラ（制御部１１）は、Ｓ３００の手書き情報取り込み処理でデータ記憶部１６に保存した画像合成指示情報のリストを読み込む（Ｓ５０１）。

次に、ユーザが、電子ペン２０を用いて、インデックスプリントの画像近傍に記載された画像番号などの識別情報に対して所定の手書きを行って画像を選択すると、制御部１１は、無線通信、赤外線通信、有線通信などにより、電子ペン２０から手書き情報を受信し（Ｓ５０２）、予めデータ記憶部１６に記憶した対応付け情報を参照して、手書き情報で特定される位置に対応する画像を特定する（Ｓ５０３）。

次に、ユーザが、電子ペン２０を用いて、手書き入力用紙の画像合成領域内に対して所定の手書きを行って画像合成領域を選択すると、制御部１１は、無線通信、赤外線通信、有線通信などにより、電子ペン２０から手書き情報を受信し（Ｓ５０４）、画像合成指示情報のリストを参照して、手書き情報で特定される位置に対応する画像合成領域を特定する（Ｓ５０５）。

そして、制御部１１は、必要に応じて特定した画像のファイル名やサムネイル画像を表示・操作部１３に表示してユーザに確認した後、特定した画像の識別情報を画像合成指示情報のリストに追加して保存する（Ｓ５０６）。その後、制御部１１は、画像が対応付けされていない画像合成領域があるかを判断し（Ｓ５０７）、対応付けされていない画像合成領域があればＳ５０２に戻って同様の処理を繰り返す。

なお、ここでは、インデックスプリントで画像を選択した後、手書き入力用紙で画像合成領域を選択しているが、手書き入力用紙で画像合成領域を選択した後、インデックスプリントで画像を選択してもよいし、手書き入力用紙で画像合成領域を選択する代わりに画像合成指示情報のリストから画像合成領域を順番に指定し、指定された画像合成領域に対応する画像をインデックスプリントで順次選択してもよい。また、ここでは、画像と画像合成領域とを１つずつ交互に選択して対応付けているが、複数の画像（又は画像合成領域）を選択した後、それと同数の画像合成領域（又は画像）を選択して順番に対応付けてもよい。

図１３は、画像と領域の対応付け処理を模式的に示す図である。取り込む画像はデジタルカメラなどで取得した画像であり、インデックスプリントには、どの画像を使用するかを電子ペン２０で選択するために、画像の背景に位置検出パターンがプリントされている。また、各々の画像の近傍には、画像番号などの識別情報が記載されている。取り込む画像を指定するには、電子ペン２０を用いて、識別情報を囲んだり、識別情報上に×マークを描画するなど手書きを行う。

一方、画像合成領域の選択は、予め画像合成領域が電子ペン２０で手書きされた手書き入力用紙を用いる。画像合成領域の選択も、画像の選択と同様に、画像合成領域内に○マークやチェックマークを描画するなどの手書きを行う。

そして、対応付け情報を参照することによって、インデックスプリントに対する手書き情報から画像が特定され、画像合成指示情報のリストを参照することにより、手書き入力用紙に対する手書き情報から画像合成領域が特定され、手書き情報を取得した順番に基づいて、インデックスプリント上で選択された画像と手書き入力用紙上で選択された画像合成領域とが対応付けられ、その結果が画像合成指示情報のリストに反映される。例えば、インデックスプリントでNo.4の画像データが選択された後、手書き入力用紙で#1の矩形が選択された場合は、画像合成指示情報のリストの#1の矩形に対応する画像No.欄に4が追加される。また、インデックスプリントでNo.5の画像データが選択された後、手書き入力用紙で#3の矩形が選択された場合は、画像合成指示情報のリストの#3の矩形に対応する画像No.欄に5が追加される。

［Ｓ６００の画像合成］
図１４に示すように、画像合成装置１０のコントローラ（画像処理部１７）は、データ記憶部１６から、手書き画像と画像合成指示情報のリストとリストで指定された画像データ（又は画像データの保存場所情報）とを読み込む（Ｓ６０１〜Ｓ６０３）。次に、画像処理部１７は、画像合成指示情報で規定された矩形のサイズとその矩形に合成する画像データに基づく画像のサイズとを比較し、その矩形に画像が適切に収まるように、センタリング、変倍などの値を決定する（Ｓ６０４）。そして、画像処理部１７は、決定した値に基づいて、各々の画像に対して変倍処理、センタリング処理を行った後（Ｓ６０５、Ｓ６０６）、画像の合成処理を行い（Ｓ６０７）、合成画像データをデータ記憶部１６に保存する（Ｓ６０８）。

図１５は、上記画像合成処理を模式的に示す図である。例えば、合成する入力画像と矩形のサイズが異なる場合は、矩形に画像が収まるように画像を拡大／縮小し、合成する入力画像と矩形の縦横比が異なる場合は、矩形の略中央に画像が配置されるようにセンタリングを調整する。そして、原稿画像に入力画像（又は入力画像の保存場所情報）と手書き画像を合成してページ画像を生成する。なお、ここでは、原稿画像に入力画像と手書き画像を合成したが、原稿画像に入力画像のみを合成してもよいし、入力画像と手書き画像のみを合成してもよい。

［Ｓ７００の合成画像出力］
画像合成装置１０のコントローラ（制御部１１）は、画像処理部１７で生成した合成画像データを画像出力部１５に送り、画像出力部１５は画像出力装置１９を制御して、原稿画像に入力画像（又は入力画像の保存場所情報）と手書き画像を合成した合成画像を印刷する。なお、ユーザのコンピュータ装置などに合成画像データを出力してコンピュータ装置の表示部に合成画像を表示してもよく、入力画像の保存場所情報を合成した場合は、その保存場所情報をクリックすることにより、その保存場所から画像データが取り込まれて入力画像が表示されるようにしてもよい。また、サーバやＵＳＢ（Universal Serial Bus）メモリなどに合成画像データを出力して合成画像データを保存してもよいし、合成画像データをメールに添付して送信してもよい。

以上説明したように、本実施例の画像合成装置１０では、ユーザが手書き入力用紙に描画した画像合成領域を特定する手書き情報を電子ペン２０から取得すると、画像合成指示情報のリストを作成し、その後、インデックスプリントで画像が選択され、手書き入力用紙で画像合成領域が選択されると、手書き情報を電子ペン２０から取得した順番に基づいて、画像と画像合成領域とを対応付け、画像合成領域に画像又は当該画像の元となる画像データの保存場所情報を合成した合成画像データを出力する制御を行うため、用紙や画面上の所定の位置に簡便に画像を合成することができる。

次に、本発明の第２の実施例に係る画像合成装置及び画像合成プログラムについて、図１６乃至図１９を参照して説明する。図１６は、本実施例の画像合成システムの構成及び概略動作を示す図であり、図１７は、画像合成システムの全体処理を示すフローチャート図である。また、図１８は、画像と領域の対応付け処理を示すフローチャート図であり、図１９は、画像と領域の対応付け処理を説明する図である。

前記した第１の実施例では、手書き入力用紙に画像合成領域を描画して画像合成指示情報のリストを作成しておき、その後、インデックスプリントで画像を選択すると共に、予め画像合成領域が描画された手書き入力用紙で画像合成領域を選択する構成としたが、予め手書き入力用紙に画像合成領域を描画して画像合成指示情報のリストを作成する処理を省略することもできる。

図１６は、本実施例の画像合成システムの構成及び概略動作を示す図であり、本実施例では、インデックスプリント及び手書き入力用紙を作成し、インデックスプリントで画像を選択すると共に、手書き入力用紙に画像合成領域を描画し、手書き情報を電子ペン２０から取得した順番に基づいて、画像と画像合成領域とを対応付ける。

図１７は、本実施例の画像合成システムの全体処理フローを示しており、まず、画像合成装置１０は、位置検出用パターンを印刷した手書き入力用紙を作成する（Ｓ１１００）。次に、デジタルカメラや自装置、サーバなどから画像データの取り込み（又は画像データの保存場所情報の特定）を行い、画像データに基づく画像及び／又は画像データの識別情報の一覧の背景に位置検出用パターンを合成したインデックスプリントを出力する（Ｓ１２００）。そして、ユーザが、電子ペン２０を用いて、インデックスプリントで画像を選択すると共に手書き入力用紙で画像合成領域を描画すると、画像合成装置１０は、インデックスプリントに対する手書き情報から画像を特定すると共に手書き入力用紙に対する手書き情報から画像合成領域を特定し、手書き情報を取得した順番などに基づいて画像と画像合成領域とを対応付けを行う（Ｓ１３００）。その後、画像合成装置１０は、画像合成領域に選択した画像データに基づく入力画像又は画像データの保存場所情報を合成して（Ｓ１４００）、合成画像を出力する（Ｓ１５００）。

上記ステップのうち、Ｓ１１００の手書き入力用紙作成ステップ、Ｓ１２００のインデックスプリント出力ステップ、Ｓ１４００の画像合成ステップ、Ｓ１５００の合成画像出力ステップは、各々、第１の実施例のＳ１００、Ｓ４００、Ｓ６００、Ｓ７００と同様であるため、ここではＳ１３００の画像と領域の対応付け処理のみを説明する。

［Ｓ１３００の画像と領域の対応付け］
まず、ユーザが、電子ペン２０を用いて、インデックスプリントの画像近傍に記載された画像番号などの識別情報に対して所定の手書きを行って画像を選択すると、制御部１１は、無線通信、赤外線通信、有線通信などにより、電子ペン２０から手書き情報を受信し（Ｓ１３０１）、予めデータ記憶部１６に記憶した対応付け情報を参照して、手書き情報で特定される位置に対応する画像を特定する（Ｓ１３０２）。

次に、ユーザが、電子ペン２０を用いて、手書き入力用紙に画像合成領域を描画すると、制御部１１は、無線通信、赤外線通信、有線通信などにより、電子ペン２０から手書き情報を受信し（Ｓ１３０３）、手書き情報に基づいて画像合成領域を特定する（Ｓ１３０４）。

そして、制御部１１は、必要に応じて特定した画像のファイル名やサムネイル画像を表示・操作部１３に表示してユーザに確認した後、特定した画像と特定した画像合成領域とを対応付ける画像合成指示情報のリストを作成して保存する（Ｓ１３０５）。その後、制御部１１は、電子ペン２０から次の手書き情報を受信したら（Ｓ１３０６のＹｅｓ）、Ｓ１３０１に戻って同様の処理を繰り返す。

なお、ここでは、インデックスプリントで画像を選択した後、手書き入力用紙で画像合成領域を描画しているが、手書き入力用紙で画像合成領域を描画した後、インデックスプリントで画像を選択してもよい。また、ここでは、画像の選択と領域の描画とを交互に行って対応付けているが、複数の画像を選択した後、それと同数の画像合成領域を描画して対応付けてもよいし、複数の画像合成領域を描画した後、それと同数の画像を選択して対応付けてもよい。

図１９は、画像と領域の対応付け処理を模式的に示す図である。取り込む画像はデジタルカメラなどで取得した画像であり、インデックスプリントには、どの画像を使用するかを電子ペン２０で選択するために、画像の背景に位置検出パターンがプリントされている。また、各々の画像の近傍には、画像番号などの識別情報が記載されている。取り込む画像を指定するには、電子ペン２０を用いて、識別情報を囲んだり、識別情報上に×マークを描画するなど手書きを行う。

一方、手書き入力用紙には、位置検出パターンのみ（若しくは原稿画像に位置検出用パターンを合成した合成画像）が印刷されており、この手書き入力用紙に図９に示すような閉領域の輪郭を描画する。

そして、対応付け情報を参照して、インデックスプリントに対する手書き情報から画像が特定され、手書き入力用紙に対する手書き情報からその閉領域の外接矩形の位置が計算され、矩形のサイズ及び位置（座標）から画像合成領域が特定され、手書き情報を取得した順番に基づいて、インデックスプリント上で選択された画像と手書き入力用紙上で描画された画像合成領域とが対応付けられ、その結果が画像合成指示情報のリストに反映される。

このように、インデックスプリントで画像が選択され、手書き入力用紙で画像合成領域が描画されると、手書き情報を電子ペン２０から取得した順番に基づいて、画像と画像合成領域とを対応付け、画像合成領域に画像又は当該画像の元となる画像データの保存場所情報を合成した合成画像データを出力する制御を行うため、用紙や画面上の所定の位置に簡便に画像を合成することができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、各装置の構成や制御は適宜変更可能である。

本発明は、用紙上や画面上の所定の位置に画像を合成する画像合成装置及び該画像合成装置を備えるシステムに利用可能である。

１０ 画像合成装置
１１ 制御部
１２ 通信部
１３ 表示・操作部
１４ 画像入力部
１５ 画像出力部
１６ データ記憶部
１７ 画像処理部
１８ 画像入力装置
１９ 画像出力装置
２０ 電子ペン
２１ 制御部
２２ 通信部
２３ バッテリー
２４ 操作部
２５ 撮像部
２６ 圧力検知部
２７ 筆記部
２８ 時計部
２９ データ記憶部

Claims (14)

1. 画像の一覧の背景に電子ペンがペン先の位置を検出するためのパターンが合成された第１の媒体を利用して、前記電子ペンから、前記第１の媒体上に描画された図形を特定する位置情報を取得し、各々の画像と前記第１の媒体上の位置とを対応付ける情報を参照して、当該位置情報から画像を特定すると共に、
   前記パターンが合成された第２の媒体を利用して、前記電子ペンから、前記第２の媒体上に描画された図形を特定する位置情報を取得し、当該位置情報から画像の合成領域を特定し、
   前記位置情報を取得した順番に基づいて、前記合成領域と前記画像とを対応付ける制御部と、
   前記合成領域に、当該合成領域に対応付けられた前記画像を合成した合成画像を生成する画像処理部と、
   前記合成画像のデータを出力する出力部と、を少なくとも備える、
   ことを特徴とする画像合成装置。
2. 前記制御部は、前記第１の媒体上に描画された図形が、各々の画像の近傍に配置された画像識別情報を指定する図形である場合に、前記位置情報から画像を特定する、
   ことを特徴とする請求項１に記載の画像合成装置。
3. 前記制御部は、前記第２の媒体上に描画された図形が、閉領域の輪郭図形である場合に、前記位置情報から画像の合成領域を特定する、
   ことを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記制御部は、前記第２の媒体上に描画された図形が、予め描画された閉領域の輪郭図形内に描画された特定画像である場合に、前記閉領域の輪郭図形を特定する位置情報から画像の合成領域を特定する、
   ことを特徴とする請求項１又は２に記載の画像合成装置。
5. 前記制御部は、前記第１の媒体上の位置情報と前記第２の媒体上の位置情報とを交互に取得し、前記第１の媒体上の位置情報で特定される画像を、当該位置情報の直後に取得した前記第２の媒体上の位置情報で特定される画像の合成領域に対応付ける、
   ことを特徴とする請求項１乃至４のいずれか一に記載の画像合成装置。
6. 前記制御部は、前記第１の媒体上の位置情報と前記第２の媒体上の位置情報とを交互に取得し、前記第２の媒体上の位置情報で特定される画像の合成領域に、当該位置情報の直後に取得した前記第１の媒体上の位置情報で特定される画像を対応付ける、
   ことを特徴とする請求項１乃至４のいずれか一に記載の画像合成装置。
7. 前記第１の媒体は、写真のサムネイル画像を配列して印刷したインデックスプリントである、
   ことを特徴とする請求項１乃至６のいずれか一に記載の画像合成装置。
8. 電子ペンと交信可能な装置で動作する画像合成プログラムであって、
   前記装置を、
   画像の一覧の背景に電子ペンがペン先の位置を検出するためのパターンが合成された第１の媒体を利用して、前記電子ペンから、前記第１の媒体上に描画された図形を特定する位置情報を取得し、各々の画像と前記第１の媒体上の位置とを対応付ける情報を参照して、当該位置情報から画像を特定すると共に、
   前記パターンが記載された第２の媒体を利用して、前記電子ペンから、前記第２の媒体上に描画された図形を特定する位置情報を取得し、当該位置情報から画像の合成領域を特定し、
   前記位置情報を取得した順番に基づいて、前記合成領域と前記画像とを対応付ける制御部、
   前記合成領域に、当該合成領域に対応付けられた前記画像を合成した合成画像を生成する画像処理部、として機能させる、
   ことを特徴とする画像合成プログラム。
9. 前記制御部は、前記第１の媒体上に描画された図形が、各々の画像の近傍に配置された画像識別情報を指定する図形である場合に、前記位置情報から画像を特定する、
   ことを特徴とする請求項８に記載の画像合成プログラム。
10. 前記制御部は、前記第２の媒体上に描画された図形が、閉領域の輪郭図形である場合に、前記位置情報から画像の合成領域を特定する、
    ことを特徴とする請求項８又は９に記載の画像合成プログラム。
11. 前記制御部は、前記第２の媒体上に描画された図形が、予め描画された閉領域の輪郭図形内に描画された特定画像である場合に、前記閉領域の輪郭図形を特定する位置情報から画像の合成領域を特定する、
    ことを特徴とする請求項８又は９に記載の画像合成プログラム。
12. 前記制御部は、前記第１の媒体上の位置情報と前記第２の媒体上の位置情報とを交互に取得し、前記第１の媒体上の位置情報で特定される画像を、当該位置情報の直後に取得した前記第２の媒体上の位置情報で特定される合成領域に対応付ける、
    ことを特徴とする請求項８乃至１１のいずれか一に記載の画像合成プログラム。
13. 前記制御部は、前記第１の媒体上の位置情報と前記第２の媒体上の位置情報とを交互に取得し、前記第２の媒体上の位置情報で特定される合成領域に、当該位置情報の直後に取得した前記第１の媒体上の位置情報で特定される画像を対応付ける、
    ことを特徴とする請求項８乃至１１のいずれか一に記載の画像合成プログラム。
14. 前記第１の媒体は、写真のサムネイル画像を配列して印刷したインデックスプリントである、
    ことを特徴とする請求項８乃至１３いずれか一に記載の画像合成プログラム。

Images