JP2006139758A

JP2006139758A - 画像合成装置、及び画像合成方法

Info

Publication number: JP2006139758A
Application number: JP2005290822A
Authority: JP
Inventors: Mika Nakamura; 美香中村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-10-13
Filing date: 2005-10-04
Publication date: 2006-06-01

Abstract

【課題】レイヤ合成を行って複数の合成画像を生成する際の負荷を低減する画像合成装置を提供する。
【解決手段】本発明の画像合成装置は、合成順序を保持する合成順序保持部２０１ｅと、第１画像を生成するための第１合成数と、第２画像を生成するための第２合成数とを保持する合成数保持部２０１ａと、複数の入力画像を取得する画像取得部２０２と、合成順序に従って、複数の入力画像を順次レイヤ合成していく合成器２０３と、レイヤ合成されて生成された合成画像を保持するバッファ２０４と、合成器２０３が第１合成数の入力画像をレイヤ合成してバッファ２０４に第１画像を保持すると、第１画像を外部に出力するとともに、合成順序に従って続く入力画像とバッファ２０４内の第１画像とを合成器２０３でレイヤ合成し、合成器２０３が第２合成数の入力画像を合成してバッファ２０４に第２画像を保持すると、第２画像を出力するよう制御する出力制御部とを備える。
【選択図】図４

Description

本発明は複数の画像を重ね合わせて合成することで新たな画像を生成する画像合成装置に関する。このような画像合成を一般的に、「レイヤ合成」または「オーバーレイ」と呼ぶ。

従来、複数の画像をレイヤ合成して新たな画像を生成する画像合成装置がある。
ここで、レイヤ合成とは、複数の画像を所定の順序で重ね合わせるように合成することであり、例えば、背景となる画像の上に別の画像を重ね合わせるときに用いられる画像合成方法である。
一般的なレイヤ合成装置では、メモリから、合成を行う元ととなる複数の画像を順番に読み込み、１枚ずつレイヤ合成を連続して行い、最終的な合成画像をディスプレイモニタに出力するようになっている（例えば、特許文献１を参照）。

例えば、２枚の画像（１）と（２）とを合成して合成画像（５）を得る場合、まずメモリから画像（１）を読み出していったんバッファに保持し、続いて画像（２）をメモリから読み出し、バッファに保持されている画像（１）と合成回路にて合成して合成画像（５）を生成する。生成した合成画像（５）はメモリに保存されてからディスプレイモニタに出力される。

また、４枚の画像（１）〜（４）を合成して合成画像（６）を得る場合は、まずバッファにいったん保持した画像（１）と、続いてメモリから読み出した画像（２）とを合成回路にて合成して生成した合成画像（１）＋（２）をバッファに保持しておく。続いて画像（３）をメモリから読み出し、バッファ内の合成画像（１）＋（２）と合成して合成画像（１）＋（２）＋（３）を生成して再びバッファに保持しておく。最後に、残りの画像（４）をメモリから読み出してバッファ内の合成画像（１）＋（２）＋（３）と合成し、最終的に合成画像（６）を生成する。生成した合成画像（６）はメモリに保存されてからディスプレイモニタに出力される。
特許第３３８０８５９号公報

しかしながら、このような画像合成装置では、合成の元となる複数の入力画像をメモリから読み出して１枚の新たな画像を生成するようになっているため、２枚の合成画像を生成する場合において、仮に合成元の画像に共通する部分があったとしても、それぞれ１枚ずつ画像合成を行って生成される。
すなわち、例えば、上記の例では、合成画像（５）は元の画像（１）と（２）から成り、合成画像（６）は元の画像（１）〜（４）から成るため、互いに共通する元の画像（１）及び（２）があるにもかかわらず、合成画像（５）については画像（１）＋（２）の画像合成を行って合成画像（５）をメモリに出力することになり、一方、合成画像（６）については画像（１）＋（２）＋（３）＋（４）の画像合成を行って合成画像（６）をメモリに出力することになる。

このように、従来の画像合成装置においては、互いに共通する元の画像があるにもかかわらず１枚ずつ個別にメモリから読み出してレイヤ合成を行うようになっているため、メモリアクセスとレイヤ合成処理の回数が多くなってしまう。特に、最終的に生成する合成画像の数が増加すると、メモリアクセスとレイヤ合成を行う回数も増加するため、画像合成装置に大きな負荷がかかり、その結果、２つの合成画像を生成するまでに要する時間が長時間化することにも繋がる。

そこで、本発明は、レイヤ合成を行って複数の合成画像を生成する際の負荷を低減する画像合成装置と、その方法を提供することを目的とする。

上記課題を解決するために、本発明の画像合成装置は、複数の入力画像のレイヤ合成を行うことで第１画像と第２画像を生成する画像合成装置であって、レイヤ合成を行う際の入力画像の合成順序を保持する合成順序保持部と、前記第１画像を生成するための入力画像の枚数である第１合成数と、前記第２画像を生成するための入力画像の枚数である第２合成数とを保持する合成数保持部と、前記複数の入力画像を取得する画像取得部と、前記合成順序に従って、前記画像取得部で取得した複数の入力画像を順次レイヤ合成していく合成器と、前記合成器でレイヤ合成されて生成された合成画像を保持するバッファと、前記合成器が前記第１合成数の入力画像をレイヤ合成して前記バッファに前記第１画像を保持すると、当該第１画像を外部に出力するとともに、前記合成順序に従って続く入力画像と前記バッファ内の第１画像とを前記合成器でレイヤ合成し、前記合成器が前記第２合成数の入力画像を合成して前記バッファに前記第２画像を保持すると、当該第２画像を出力するよう制御する出力制御部とを備えることを特徴とする。

以上の構成により、以上の構成により、複数の入力画像をレイヤ合成して第１画像と、この第１画像と共通する部分を持つ第２画像とを生成するとき、生成した第１画像を出力するとともに画像合成装置内のバッファに保持し、バッファ内の第１画像を利用して第２画像を生成するため、重複するレイヤ合成の処理回数を減らすことができる。結果的に、画像合成装置への負荷を低減することができる。

また、上記画像合成装置において、前記複数の入力画像はそれぞれ、前記画像合成装置の外部に設けられたメモリ内の各アドレスにより示されるメモリ領域に保存されていて、前記画像取得部は、前記各アドレスにより示されるメモリ領域から各入力画像を取得し、前記出力制御部は、前記第１画像を第１所定アドレスにより示されるメモリ領域に出力するとともに、前記第２画像を第２所定アドレスにより示されるメモリ領域に出力するよう制御することを特徴とする。

この構成により、第２画像を生成するとき、第１画像を生成する際に外部のメモリから取得した入力画像を重複して取得する必要がなくなり、その結果、第１画像と第２画像とを生成するのに各入力画像を一度だけ外部のメモリから取得すればいいので、画像合成処理に係るメモリアクセスを減らすことができる。結果的に、画像合成装置への負荷を低減することができる。

また、上記画像合成装置において、前記バッファは、前記合成器のレイヤ合成により生成される合成画像のサイズと等しい容量を有することを特徴とする。
この構成により、合成画像１画面分という最低限のサイズを有するバッファで画像合成装置を構成することができる。これにより、無用なバッファの増大を抑え、画像合成装置の生産コストの低減を図ることができる。

また、上記画像合成装置は、前記合成器と接続され、初期値を０として前記合成器が入力画像をレイヤ合成するごとにカウントアップするカウンタを備え、前記出力制御部は、前記カウンタが示す値が前記第１合成数と一致したときに前記第１画像を外部に出力し、前記カウンタが示す値が前記第２合成数と一致したときに前記第２画像を外部に出力することを特徴とする。

この構成により、カウンタによって合成枚数をカウントすることにより第１画像の生成と第２画像の生成を判定することができる。
また、上記画像合成装置は、さらに前記バッファと同じ容量を有する副次バッファを備え、前記出力制御部は、前記第１画像を外部に出力するときに、さらに当該第１画像を前記副次バッファにコピーし、前記合成器は、さらに、前記バッファが保持する前記第２画像または前記副次バッファが保持する前記第１画像を使用してレイヤ合成することを特徴とする。

この構成により、第２画像と第１画像がそれぞれバッファと副次バッファに保持されているので、第２画像を生成した後においては、第１画像又は第２画像のいずれかを選択的に利用してさらに別の第３画像を生成することができる。
また、上記課題を解決するために、本発明の画像合成方法は、複数の入力画像のレイヤ合成を行うことで第１画像と第２画像を生成する画像合成方法であって、レイヤ合成を行う際の各入力画像の合成順序を外部から取得して保持する合成順序保持ステップと、前記第１画像を生成するための第１合成数と前記第２画像を生成するための第２合成数とを保持する合成数保持ステップと、前記複数の入力画像を外部から取得する画像取得ステップと、前記合成順序に従って、前記画像取得ステップにて取得した複数の入力画像を順次レイヤ合成していく合成ステップと、前記合成ステップにてレイヤ合成して生成された合成画像をバッファに保持する合成画像保持ステップと、前記合成ステップにて第１合成数の入力画像をレイヤ合成して前記バッファに前記第１画像を保持すると、当該第１画像を外部に出力するとともに、前記合成順序に従って続く入力画像と前記第１画像とをレイヤ合成し、前記第２合成数の入力画像を合成して前記バッファに前記第２画像を保持すると、当該第２画像を出力するよう制御する出力制御ステップとを含むことを特徴とする。

以上の構成により、複数の入力画像をレイヤ合成して第１画像と、この第１画像と共通する部分を持つ第２画像とを生成するとき、生成した第１画像を出力するとともに画像合成装置内のバッファに保持し、バッファ内の第１画像を利用して第２画像を生成するため、重複するレイヤ合成の処理回数を減らすことができる。結果的に、画像合成装置への負荷を低減することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。
＜実施の形態１＞
＜１．ＰＤＡ１００の構成＞
まず、本発明の画像合成部２００を搭載したＰＤＡ（Personal Digital Assistant）１００について簡単に説明する。

図１に示すように、ＰＤＡ１００は、表示部１０１、操作部１０２、カメラ１０３、メモリ１０４、画像合成部２００、及びＣＰＵ（Central Processing Unit）１０５を備える。
表示部１０１は、ＬＣＤ（Liquid Crystal Display）等から構成される、３２０（pixels）ｘ２４０（pixels）の画素数を有する表示装置であり、ＰＤＡ１００を使用するにあたって必要となる各種情報を表示する。

操作部１０２は、英数字や漢字等が印字された押下可能なキー群や、回動可能なダイヤル式キー等から成る入力装置であり、ユーザがＰＤＡ１００の操作に用いる。
カメラ１０３は、ＣＣＤ（Charge Coupled Devices）を撮像素子とするデジタルカメラであり、デジタルズーム機能を有している。
メモリ１０４は、ＲＡＭ（Random Access Memory）であり、ＰＤＡ１００を使用するにあたって必要となる各種情報やデータを記憶する。

画像合成部２００は、後述するが、複数の画像を合成して合成画像を生成する装置である。
ＣＰＵ１０５は、上述したＰＤＡ１００に備わる各構成要素の制御を行う。
ここで、表示部１０１と操作部１０２は、図２に示すように、ＰＤＡ１００の正面側に備わっており、カメラ１０３は、図３に示すように、ＰＤＡ１００の正面と対向する面である背面側に備わっている。

以上の構成により、風景などの被写体に向けてカメラ１０３で撮像すると、その画像を表示部１０１に表示して見ることができるようになっている。
＜２．画像合成部２００の構成＞
ここで、画像合成部２００の構成について詳細に説明する。
図４に示すように、画像合成部２００は、レイヤ合成制御部２０１、入力制御部２０２、合成器２０３、バッファ２０４、及び出力制御部２０５を備える。

レイヤ合成制御部２０１には、さらに、入力画像数レジスタ２０１ａ、入力画像属性レジスタ２０１ｂ、出力画像数レジスタ２０１ｃ、出力画像属性レジスタ２０１ｄ、合成順序レジスタ２０１ｅ、合成枚数カウンタ２０１ｆ、及び比較器２０１ｇが備わっている。
入力画像数レジスタ２０１ａは、合成画像を生成するための元の画像（以後、「入力画像」と呼ぶ）の数を保持するためのレジスタである。

入力画像属性レジスタ２０１ｂは、複数の入力画像それぞれの属性、すなわち、入力元であるメモリ１０４上のアドレスと画像サイズとを保持するためのレジスタである。
出力画像数レジスタ２０１ｃは、入力画像を合成して出力する合成画像（以後、「出力画像」と呼ぶ）の数を保持するためのレジスタである。
出力画像属性レジスタ２０１ｄは、複数の出力画像それぞれの属性、すなわち、出力先であるメモリ１０４上のアドレスと、出力画像を生成するために必要な入力画像の枚数（以後、「合成枚数」と呼ぶ）とを保持するためのレジスタである。

合成順序レジスタ２０１ｅは、複数の入力画像が合成される際の順序を保持するためのレジスタである。
合成枚数カウンタ２０１ｆは、後述するバッファ２０４が合成画像を保持するごとにカウントアップしていくカウンタである。
比較器２０１ｇは、出力画像属性レジスタ２０１ｄが保持する合成枚数と、合成枚数カウンタ２０１ｆが示すカウント数とを比較する。

入力制御部２０２は、メモリ１０４から入力画像を読み込んで、後述する合成器２０３に送出する。
合成器２０３は、入力制御部２０２から受けた入力画像とバッファ２０４に保持された画像とをレイヤ合成する。ここで、レイヤ合成とは、画像同士を所定の順序で重ね合わせるように合成することである。

バッファ２０４は、合成器２０３で合成して生成される出力画像のサイズに対応するバッファである。このサイズは、表示部１０１の１画面分のサイズである３２０（pixels）ｘ２４０（pixels）である。このため、バッファ２０４には、表示部１０１の１画面分に対応する画像しか保持できないため、合成器２０４が合成した合成画像は、順次上書きされる形でバッファ２０４に保持されていく。

出力制御部２０５は、合成器２０４によって合成されて生成され、バッファ２０４に保持された出力画像を読み込んでメモリ１０４に送出する。
＜３．画像合成部２００の動作＞
続いて、画像合成部２００の画像合成処理動作について説明する。
画像合成部２００は、共通する複数の入力画像をレイヤ合成して第１画像及び第２画像を生成するとき、生成した第１画像をいったんバッファ２０４に保持しておき、この保持された第１画像を利用して第２画像を生成する。

ここでは、２枚の入力画像（１）と（２）から第１画像を生成し、共通する２枚を含む４枚の入力画像（１）〜（４）から第２画像を生成する場合の動作について説明する。
図５〜６は、画像合成部２００で画像合成を行うための設定を行う手順を示すフローチャートである。
図７は、画像合成部２００が行う画像合成を示すフローチャートである。

図５に示すように、まず、ＣＰＵ１０５が入力画像の更新を行うプログラムに従って動作し、メモリ１０４上で入力画像の更新を行う（ステップＳ１００）。
例えば、カメラ１０３での撮像画像であれば、カメラ１０３で撮像したタイミングで更新される。
次に、ＣＰＵ１０５がレジスタへの書き込みを行うプログラムに従って動作し、出力画像数レジスタ２０１ｃに出力画像数を書き込む（ステップＳ１０１）。

次に、ＣＰＵ１０５がレジスタへの書き込みを行うプログラムに従って動作し、入力画像数レジスタ２０１ａに入力画像数を書き込む（ステップＳ１０２）。
続いて、ＣＰＵ１０５がレジスタへの書き込みを行うプログラムに従って動作し、入力画像（１）、入力画像（２）、入力画像（３）、入力画像（４）、及び入力画像（５）のそれぞれの属性を、入力画像属性レジスタ２０１ｂに書き込む（ステップＳ１０３Ａ〜Ｅ）。より具体的には、図６に示すように、入力画像（１）〜（４）それぞれのメモリ１０４上のアドレス（ＡｄｄｒＩ＿ｎ：ｎは（１）〜（４））を書き込み（ステップＳ１０３ａ）と、画像サイズ（ＸｎＹｎ：ｎは（１）〜（４））を書き込む（ステップＳ１０３ｂ）。

続いて、ＣＰＵ１０５がレジスタへの書き込みを行うプログラムに従って動作し、合成順序レジスタ２０１ｅに、入力画像（１）〜（５）をレイヤ合成する際の合成順序を書き込む（ステップＳ１０４）。
さらに、ＣＰＵ１０５がレジスタへの書き込みを行うプログラムに従って動作し、出力画像（１）（第１画像）と出力画像（２）（第２画像）のそれぞれの属性を、出力画像属性レジスタ２０１ｄに書き込む（ステップＳ１０５Ａ〜Ｂ）。より具体的には、図６に示すように、出力画像（１）〜（２）それぞれを記憶するためのアドレス（ＡｄｄｒＯ＿ｎ：ｎは（１）〜（２））を書き込み（ステップＳ１０５ａ）、各出力画面を生成するために必要な合成枚数（Ｌａｙｅｒ＿ｎ
：ｎは（１）〜（２））を出力画像属性レジスタ２０１ｄに書き込む（ステップＳ１０５ｂ）。

以上で入力画像と出力画像の設定が完了し、画像合成部２００はレイヤ合成処理を開始する（ステップＳ１０６）。
図７に示すように、まず、レイヤ合成制御部２０１は、合成順序１の入力画像（最背面となる画像）の属性データを入力制御部２０２に送出する（ステップＳ１０７）。すなわち、入力画像（１）のメモリ１０４上のアドレスＡｄｄｒＩ＿１と画像サイズを送出する。

次に、入力制御部２０２が、合成順序１の入力画像（１）をメモリ１０４上のＡｄｄｒＩ＿１から読み出す（ステップＳ１０８）。
次に、合成器２０３は、入力画像（１）とバッファ２０４内の画像とを合成するが、バッファ２０４にはまだ画像が保持されていないため、入力画像（１）のままでバッファ２０４に保持される（ステップＳ１０９）。

ここで、合成枚数カウンタ２０１ｆが、「１」を加算してカウントアップ（「１」を加算）する（ステップＳ１１０）。
すると次に、比較器２０１ｇは、合成枚数カウンタ２０１ｆの総カウント数と、出力画像属性レジスタ２０１ｄに保持されている出力画像（１）（第１画像）を生成するために必要となる合成枚数（Ｌａｙｅｒ＿１）とを比較する（ステップＳ１１１）。

合成枚数カウンタ２０１ｆの総カウント数と出力画像（１）を生成するために必要となる合成枚数（Ｌａｙｅｒ＿１）とが一致しなければ（ステップＳ１１１：ＮＯ）、まだ第１画像の生成途中であるため、合成器２０３は合成順序に従って次の合成順序の画像から合成していく。すなわち、レイヤ合成制御部２０１は、入力画像（２）の属性を入力制御部２０２に送出し（ステップＳ１１２）、入力制御部２０２が入力画像（２）をメモリ１０４上のアドレス（ＡｄｄｒＩ＿２）から読み出し（ステップＳ１１３）、合成器２０３が入力画像（２）とバッファ内の入力画像（１）とを合成して生成した合成画像をバッファ２０４に保持する（ステップＳ１１４）。

合成枚数カウンタ２０１ｆが、「１」を加算してカウントアップする（ステップＳ１１５）。
その後、再びステップＳ１１１にて、比較器２０１ｇが、合成枚数カウンタ２０１ｆの総カウント数と、出力画像属性レジスタ２０１ｄに保持されている出力画像（１）を生成するために必要な合成枚数（Ｌａｙｅｒ＿１）とを比較し、一致しない間は、合成順序に従って次に続く入力画像を順次レイヤ合成していく（ステップＳ１１２〜Ｓ１１５）。

一方、ステップＳ１１１にて、比較器２０１ｇの比較により、合成枚数カウンタ２０１ｆの総カウント数と合成枚数（Ｌａｙｅｒ＿１）とが一致した場合は（ステップＳ１１１：ＹＥＳ）、第１画像が生成されてバッファ２０４に保持されていることになるので、出力制御部２０５はバッファ２０４が保持する第１画像をメモリ１０４上のＡｄｄｒＯ＿１に出力する（ステップＳ１１６）。

また、第１画像を出力したあと、さらに、比較器２０１ｇは、合成枚数カウンタ２０１ｆの総カウント数と、出力画像数レジスタ２０１ｄに保持されている合成枚数（Ｌａｙｅｒ＿２）とを比較し、一致しない場合（ステップＳ１１７：ＮＯ）は、まだ生成すべき出力画像（２）があるということなので、ステップＳ１１２〜Ｓ１１５で再び次の合成順序の入力画像をメモリ１０４から読み出して、バッファ２０４に保持されている第１画像とレイヤ合成していく。

一方、ステップＳ１１７にて、一致した場合、第２画像が生成されてバッファ２０４に保持されていることになるので、バッファ２０４が保持する第２画像をメモリ１０４上のＡｄｄｒＯ＿２に出力する（ステップＳ１１８）。
＜４．具体例＞
ここで、表示部１０１に表示される出力画像（１）と（２）の一例を示し、画像合成部２００の画像合成処理動作の具体例を説明する。

図８は、ＰＤＡ１００に表示される第１画像を示す概略図である。
図９は、ＰＤＡ１００に表示される第２画像を示す概略図である。
図１０は、第１画像と第２画像を構成する入力画像を示す概略図である。
また、図１１は、画像合成処理中にバッファ２０４に保持される画像の遷移を示す概略図である。

この例では、カメラ１０３を起動して被写体である人物３００を撮像すると、この人物３００と予めユーザが設定しているフレーム３０１と撮像した日時３０２との合計３枚の画像が合成された画像を第１画像とする。ここでは、最背面となるが人物３００が入力画像（１）、フレーム３０１が入力画像（２）が、日時３０２が入力画像（３）である。
一方、人物３００を撮像するためにカメラを起動中の場合は、人物３００とフレーム３０１と日時３０２とから成る第１画像に加え、ＰＤＡ１００を駆動するためのバッテリ（特に図示はしない）の残量を示すバッテリ残量グラフィックス３０３と、カメラ１０３のデジタルズームの倍率を示すデジタルズーム倍率グラフィックス３０４との２枚の画像が合成された第２画像が、表示部１０１に表示される。ここでは、バッテリ残量グラフィックス３０３が入力画像（４）、デジタルズーム倍率グラフィックス３０４が入力画像（５）である。

このように、人物３００、フレーム３０１、日時３０２、バッテリ残量グラフィック３０３、及びデジタルズーム倍率グラフィック３０４を合成して第１画像と第２画像を生成する場合、図５〜７のフローチャートに示す処理フローは次のように遷移する。
ステップＳ１００では、人物３００がカメラ１０３の撮像タイミングに合わせて更新され、日時３０２が１分毎に更新され、バッテリ残量グラフィックス３０３が目盛りの変化に伴って更新され、また、デジタルズーム倍率グラフィックス３０４が倍率の変化に伴って更新される。

ステップＳ１０１では、出力画像数として「２」が出力画像数レジスタ２０１ｃに書き込まれる。
ステップＳ１０２では、入力画像数として「５」が入力画像数レジスタ２０１ａに書き込まれる。
ステップＳ１０３Ａ〜Ｅではそれぞれ、人物３００、フレーム３０１、日時３０２、バッテリ残量グラフィックス３０３、及びデジタルズーム倍率グラフィックス３０４の属性が入力画像属性レジスタ２０１ｂに書き込まれる。

ステップ１０４では、合成順序の通り、合成順序１である人物３００のアドレスＡｄｄｒＩ＿１から合成順序５であるデジタルズーム倍率グラフィックス３０４のアドレスＡｄｄｒＩ＿５を合成順序レジスタ２０１ｅに書き込む。
ステップ１０５では、出力画像（１）と（２）の属性を出力画像属性レジスタ２０１ｄに書き込む。出力画像（１）を生成するために必要な合成枚数（Ｌａｙｅｒ＿１）は「３」、出力画像（２）を生成するために必要な合成枚数（Ｌａｙｅｒ＿２）は「５」である。

以上の通り入力画像と出力画像の設定が完了し、画像合成部２００によるレイヤ合成処理が開始する。
ステップＳ１０７では、人物３００の属性データが入力制御部２０２に送出され、ステップＳ１０８で、人物３００が読み出される。
ステップＳ１０９では、人物３００のままバッファ２０４に保持される。これにより、バッファ２０４は、図１１に示すＢｕｆ．１の状態に遷移する。

ステップＳ１１０では、合成枚数カウンタ２０１ｆが「１」を加算することで、総カウント数が「１」になる。
ステップＳ１１１では、合成枚数カウンタ２０１ｆの総カウント数「１」とＬａｙｅｒ＿１の「３」とを比較器２０１ｇが比較し、一致しないのでステップＳ１１２では、合成順序２であるフレーム３０１の属性を入力制御部２０２に送出される。

ステップＳ１１３〜１１４では、メモリ１０４上のＡｄｄｒＩ＿２から読み出されたフレーム３０１とバッファ２０４に保持されている人物３００とが合成器２０３により合成され、合成画像が新たにバッファ２０４に保持される。これにより、バッファ２０４は、図１１に示すＢｕｆ．２の状態に遷移する。
この後、ステップＳ１１５で、総カウント数が「２」となる。

２回目のステップＳ１１１での比較により、依然、合成枚数カウンタ２０１ｆの総カウント数「２」とＬａｙｅｒ＿１の「３」とが一致しないので、再びステップＳ１１２〜Ｓ１１５にて、合成順序３の日付３０２をメモリ１０４上のＡｄｄｒＩ＿３から読み出して、バッファ２０４内の画像（Ｂｕｆ．２）と合成してバッファ２０４に上書きする。これにより、バッファ２０４は、図１１に示すＢｕｆ．３の状態に遷移する。

バッファ２０４がＢｕｆ．３の状態になると、合成枚数カウンタ２０１ｆの総カウント数が「３」となり、３回目のステップＳ１１１での比較の結果、Ｌａｙｅｒ＿１の「３」と一致するため、Ｂｕｆ．３の状態が第１画像であることになる。これにより、ステップＳ１１６では、バッファ２０４が保持するＢｕｆ．３の状態の合成画像が、出力制御部２０５によりメモリ１０４上のＡｄｄｒＯ＿１に出力される。

第１画像の出力が完了すると、続いて、ステップＳ１１７の比較により、合成枚数カウンタ２０１ｆの総カウント数「３」とＬａｙｅｒ＿２の「５」とが一致しないため、ステップＳ１１２〜Ｓ１１５にて、合成順序４のバッテリ残量グラフィックス３０３とバッファ２０４内の画像（Ｂｕｆ．３）とを合成してバッファ２０４に上書きし、合成枚数カウンタ２０１ｆをカウントアップする。これにより、バッファ２０４は、図１１に示すＢｕｆ．４の状態に遷移する。

２回目のステップＳ１１７での比較において、依然、合成枚数カウンタ２０１ｆの総カウント数「４」とＬａｙｅｒ＿２の「５」が一致しないため、再びステップＳ１１２〜Ｓ１１５にて、合成順序５のデジタルズーム倍率グラフィックス３０４とバッファ内の画像（Ｂｕｆ．４）とを合成してバッファ２０４に上書きし、合成枚数カウンタ２０１ｆをカウントアップする。これにより、バッファ２０４は、図１１に示すＢｕｆ．５の状態に遷移する。

バッファ２０４がＢｕｆ．５の状態になると、合成枚数カウンタ２０１ｆの総カウント数が「５」となり、３回目のステップＳ１１７での比較の結果、Ｌａｙｅｒ＿２の「５」と一致するため、Ｂｕｆ．５の状態が第２画像であることになる。これにより、ステップＳ１１８では、バッファ２０４が保持するＢｕｆ．５の状態の合成画像が、出力制御部２０５によりメモリ１０４上のＡｄｄｒＯ＿２に出力される。

以上、説明してきたように、画像合成部２００によれば、複数の入力画像をレイヤ合成して第１画像と第２画像とを生成するとき、生成した第１画像をいったんバッファ２０４に保持するとともに、保持した第１画像を利用して第２画像を生成するため、第２画像を生成する際のメモリアクセスとともに重複するレイヤ合成の処理回数を減らすことができる。結果的に、画像合成装置への負荷を低減することができる。

例えば、上記の具体例で示したとおり、３枚の画像をレイヤ合成してなる第１画像と、５枚の画像をレイヤ合成してなる第２画像とを生成するとき、３枚合成して生成した第１画像をいったんバッファに保持するとともに、保持した第１画像と残りの２枚の画像とを合成して第２画像を生成するため、第２画像を生成する際のメモリアクセスとともに重複するレイヤ合成の処理回数を減らすことができる。
＜変形例＞
上述の通り、実施の形態１に基づいて本発明に係る画像合成部について説明してきたが、本発明はこれに限定されるものではない。以下、その変形例について説明する。

図１２は、実施の形態１で説明した画像合成部２００の変形例４００の構成を示すブロック図である。
図１２に示すように、画像合成部２００にもう１つのバッファ２０６を備え、バッファ２０４にいったん保持した第１画像をバッファ２０６にコピーしておいてから、バッファ２０４が保持する第１画像を利用して第２画像を生成する点が実施の形態１と異なる。

このように構成することで、メモリ１０４上のＡｄｄｒＯ＿１に第１画像を出力し、バッファ２０４が保持している第１画像を利用して第２画像を生成してＡｄｄｒＯ＿２に出力した後、さらに別の出力画像（第３画像）を生成する場合において、第３画像が第１画像と共通の入力画像を含む場合は、バッファ２０６に保持されている第１画像を利用して第３画像を生成することができ、第３画像が第２画像と共通の入力画像を含む場合は、バッファ２０４に保持されている第２画像を利用して第３画像を生成することができる。

例えば、上記の具体例に続いて第３画像を生成する場合を考えると、第３画像が入力画像（１）＋（２）＋（３）＋（α）で構成される場合は、バッファ２０６に保持されている第１画像を利用すればよく、第３画像が入力画像（１）＋（２）＋（３）＋（４）＋（５）＋（α）で構成される場合は、バッファ２０４に保持されている第２画像を利用すればよい。なお、（α）は、特に図示はしないが（１）〜（５）に続く別の画像である。

このように、第３画像と共通するのが第１画像か第２画像かに応じて、選択的にバッファ２０４に保持されている第１画像もしくはバッファ２０６に保持されている第２画像を利用して第３画像を生成することができるため、第１画像と第２画像のいずれに基づいて第３画像を生成する場合であっても、メモリアクセスとともに重複するレイヤ合成の処理回数を減らすことができる。
＜５．補足＞
（１）実施の形態１では、本発明の画像合成部２００をＰＤＡ１００に搭載する例に基づいて説明したが、これに限定されるものではなく、例えば、カメラでの撮像機能に特化したデジタルカメラや、ＰＣ（Personal Computer）といった各種情報機器に適用可能である。
（２）実施の形態１では、ＰＤＡ１００の表示部１０１の一画面分のサイズを３２０（pixels）ｘ２４０（pixels）としたが、これに限定されるものではなく、画素数は表示部１０１のサイズにより適宜決定される。

本発明の実施の形態１に係るＰＤＡ１００の構成を示す機能ブロック図である。ＰＤＡ１００の外観を示す正面図である。ＰＤＡ１００の外観を示す背面図である。ＰＤＡ１００に備わる画像合成部２００の構成を示すブロック図である。画像合成部２００の画像合成を行うための設定を行う手順を示すフローチャートである。画像合成部２００の画像合成を行うための設定を行う手順を示すフローチャートである。画像合成部２００の動作を示すフローチャートである。ＰＤＡ１００に表示される第１画像を示す概略図である。ＰＤＡ１００に表示される第２画像を示す概略図である。第１画像及び第２画像を構成する画像を示す概略図である。バッファ２０４に保持される画像の遷移を示す概略図である。画像合成部２００の変形例４００の構成を示す機能ブロック図である。

符号の説明

１００ＰＤＡ
１０１表示部
１０２操作部
１０３カメラ
１０４メモリ
１０５ＣＰＵ
２００画像合成部
２０１レイヤ合成制御部
２０１ａ入力画像数レジスタ
２０１ｂ入力画像属性レジスタ
２０１ｃ出力画像数レジスタ
２０１ｄ出力画像属性レジスタ
２０１ｅ合成順序レジスタ
２０１ｆ合成枚数カウンタ
２０１ｇ比較器
２０２入力制御部
２０３合成器
２０４，２０６バッファ
２０５出力制御部

Claims

複数の入力画像のレイヤ合成を行うことで第１画像と第２画像を生成する画像合成装置であって、
レイヤ合成を行う際の入力画像の合成順序を保持する合成順序保持部と、
前記第１画像を生成するための入力画像の枚数である第１合成数と、前記第２画像を生成するための入力画像の枚数である第２合成数とを保持する合成数保持部と、
前記複数の入力画像を取得する画像取得部と、
前記合成順序に従って、前記画像取得部で取得した複数の入力画像を順次レイヤ合成していく合成器と、
前記合成器でレイヤ合成されて生成された合成画像を保持するバッファと、
前記合成器が前記第１合成数の入力画像をレイヤ合成して前記バッファに前記第１画像を保持すると、当該第１画像を外部に出力するとともに、前記合成順序に従って続く入力画像と前記バッファ内の第１画像とを前記合成器でレイヤ合成し、前記合成器が前記第２合成数の入力画像を合成して前記バッファに前記第２画像を保持すると、当該第２画像を出力するよう制御する出力制御部とを備える
ことを特徴とする画像合成装置。
前記複数の入力画像はそれぞれ、前記画像合成装置の外部に設けられたメモリ内の各アドレスにより示されるメモリ領域に保存されていて、
前記画像取得部は、前記各アドレスにより示されるメモリ領域から各入力画像を取得し、
前記出力制御部は、前記第１画像を第１所定アドレスにより示されるメモリ領域に出力するとともに、前記第２画像を第２所定アドレスにより示されるメモリ領域に出力するよう制御する
ことを特徴とする請求項１記載の画像合成装置。
前記バッファは、前記合成器のレイヤ合成により生成される合成画像のサイズと等しい容量を有する
ことを特徴とする請求項１記載の画像合成装置。
前記画像合成装置は、
前記合成器と接続され、初期値を０として前記合成器が入力画像をレイヤ合成するごとにカウントアップするカウンタを備え、
前記出力制御部は、前記カウンタが示す値が前記第１合成数と一致したときに前記第１画像を外部に出力し、前記カウンタが示す値が前記第２合成数と一致したときに前記第２画像を外部に出力する
ことを特徴とする請求項１記載の画像合成装置。
前記画像合成装置は、さらに前記バッファと同じ容量を有する副次バッファを備え、
前記出力制御部は、前記第１画像を外部に出力するときに、さらに当該第１画像を前記副次バッファにコピーし、
前記合成器は、さらに、前記バッファが保持する前記第２画像または前記副次バッファが保持する前記第１画像を使用してレイヤ合成する
ことを特徴とする請求項１記載の画像合成装置。
複数の入力画像のレイヤ合成を行うことで第１画像と第２画像を生成する画像合成方法であって、
レイヤ合成を行う際の各入力画像の合成順序を外部から取得して保持する合成順序保持ステップと、
前記第１画像を生成するための第１合成数と前記第２画像を生成するための第２合成数とを保持する合成数保持ステップと、
前記複数の入力画像を外部から取得する画像取得ステップと、
前記合成順序に従って、前記画像取得ステップにて取得した複数の入力画像を順次レイヤ合成していく合成ステップと、
前記合成ステップにてレイヤ合成して生成された合成画像をバッファに保持する合成画像保持ステップと、
前記合成ステップにて第１合成数の入力画像をレイヤ合成して前記バッファに前記第１画像を保持すると、当該第１画像を外部に出力するとともに、前記合成順序に従って続く入力画像と前記第１画像とをレイヤ合成し、前記第２合成数の入力画像を合成して前記バッファに前記第２画像を保持すると、当該第２画像を出力するよう制御する出力制御ステップとを含む
ことを特徴とする画像合成方法。