JP2008234518A - 画像合成装置および画像合成プログラム - Google Patents

Abstract

【課題】複数の元画像から非共通領域を抽出して容易に合成画像を作成することを課題とする。
【解決手段】本発明の画像合成装置１は、第１画像および第２画像が記憶された記憶部２と、前記第１画像と前記第２画像とを比較して、一方の画像における他方の画像と所定の画素特性が類似していない部分領域を非共通領域として抽出する領域分類部５４と、その抽出した一方の画像の非共通領域を他方の画像に重畳して合成画像を作成する画像合成部５５と、を備える。
【選択図】図１

Description

本発明は、複数の画像（以下、「元画像」ともいう。）から合成画像を作成する技術に関する。

従来、合成画像を作成するために、たとえば、三脚等に固定したカメラで、セルフタイマ機能やリモコンを利用して複数の写真を撮影し、その複数の写真を元画像として合成画像を作成していた。その際の合成画像の作成方法としては、複数の写真を物理的に切り貼りする方法や、複数の写真の画像データをＰＣ（Personal Computer）に取り込んで画面上で手動の編集を行う方法などがあった。三脚等に固定したカメラによって撮影した複数の写真を使用するこれらの手法によれば、背景（風景や建物など）が同じなので、集合写真などの合成画像を作成する場合に都合がよい。しかし、その反面、三脚の運搬や三脚へのカメラの設置などに手間がかかるという問題があった。

また、近年の写真のデジタル化に伴い、ＰＣを利用して、複数のデジタル画像（背景画像と被写体画像など）のうち１つの画像の必要な部分を選択し、その選択した部分の画像を他の画像の一部に重畳させるなどにより編集を行って合成画像を作成する手法も、次第に容易になりつつある（例えば特許文献１参照）。
特開２００２−１００５６号公報

しかしながら、前記した特許文献１の技術では、トリミング（画像の一部切り出し）の範囲選択や切り出した画像の貼り付け（重畳）の位置決定などを手動で行う必要があり、操作が面倒であった。また、複数の画像が、異なる縮尺（スケール値）であったり、一方が他方に対して回転した状態であったりしている場合には、切り出した画像を拡大（または縮小）したり、回転させたりしてから貼り付けを行う必要があり、さらに操作が面倒になるという問題があった。

本発明は、前記した問題を解決するためになされたものであり、複数の画像から非共通領域を抽出して容易に合成画像を作成することを目的とする。

前記した課題を解決するために、本発明の画像合成装置は、第１画像および第２画像が記憶された記憶部と、前記第１画像と前記第２画像とを比較して、一方の画像における他方の画像と所定の画素特性が類似していない部分領域を非共通領域として抽出する領域分類部と、その抽出した一方の画像の非共通領域を他方の画像に重畳して合成画像を作成する画像合成部と、を備える。
これにより、領域分類部は、記憶部から読み出した第１画像および第２画像を比較して、一方の画像における他方の画像と所定の画素特性の類似性が低い部分領域を非共通領域として抽出する。そして、画像合成部は、その抽出した一方の画像の非共通領域を他方の画像に重畳することで合成画像を作成することができる。

また、好ましくは、第１画像と第２画像とは、それぞれの領域の一部に共通の被写体が写されているものとする。そして、画像合成部は、その共通の被写体の位置に基づいて、一方の画像の非共通領域を重畳する他方の画像における位置を決定する。
これにより、画像合成部は共通の被写体の位置に基づいて一方の画像の非共通領域を重畳する他方の画像における位置を決定し、画像合成部は合成画像を作成することができる。

本発明によれば、複数の画像から非共通領域を抽出して容易に合成画像を作成することができる。

以下、本発明を実施するための最良の形態（以下、「実施形態」という。）について、各図面を参照しながら説明する。なお、説明時に直接言及していない他図についても適宜参照するものとする。また、ここでは、２枚の元画像から１枚の合成画像を作成する場合について説明し、その２枚の元画像のうち基礎となる画像をベース画像と呼び、他方の画像（ベース画像と共通しない部分を抽出されて使用される画像）を重畳画像と呼び、さらに、その２枚の元画像から合成された画像を合成画像と呼ぶものとする。

（第１実施形態）
まず、本発明の第１実施形態について説明する。なお、第１実施形態では、ベース画像（第１画像または第２画像）と重畳画像（第２画像または第１画像）がほぼ同じアングルおよびスケール値で撮影されていることを前提としている点で、第２実施形態と異なっている。図１は、第１実施形態の画像合成装置の構成を示す機能ブロック図である。画像合成装置１は、コンピュータ装置であり、記憶部２、表示部３、入力部４および処理部５を備えて構成される。

記憶部２は、情報を記憶する手段であり、たとえば、ＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）などによって実現される。記憶部２は、処理部５の動作プログラムや各種画像データ（ベース画像、重畳画像など）などを記憶する。
表示部３は、情報を表示する手段であり、たとえば、液晶モニタによって実現される。表示部３は、処理部５からの指示により、各種画像データなどを表示する。

入力部４は、画像合成装置１のユーザが情報を入力する手段であり、たとえば、キーボードやマウスなどによって実現される。入力部４は、ユーザによって入力された情報を処理部５に受け渡す。
処理部５は、画像合成装置１の各種動作を制御する手段であり、たとえば、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）などによって実現される。処理部５は、本実施形態の動作機能として、画像入力部５１〜表示指示部５６を備えている。これらの画像入力部５１〜表示指示部５６について、ここでは概要を説明し、詳細な説明は図２とともに後記する。

画像入力部５１は、ユーザが画像合成の指示を入力部４から入力したことなどを契機に、記憶部２に記憶されたベース画像と重畳画像を入力する。
特徴抽出部５２は、画像入力部５１から受け取ったベース画像と重畳画像のそれぞれにおいて、特徴点と特徴パターン（画素特性）を抽出する。なお、特徴点とは画像における特徴的な部分を示す点のことであり、特徴パターンとは各特徴点における性質のことであるが、それらの詳細については後記する。

特徴照合部５３は、ベース画像の各特徴点と重畳画像の各特徴点を、それぞれの特徴パターンに基づいて照合し、特徴パターンの類似度が所定の閾値以上であるペアを、対応する特徴点（対応点対）と判断する。なお、所定の閾値は、目的や精度に応じて、好ましい値に適宜設定しておけばよい。

領域分類部５４は、重畳画像における領域を、「非共通領域」と「共通領域」に分類する。非共通領域とは、重畳画像において、ベース画像に存在しない物体が占める領域（所定の特徴パターンの類似度が所定の閾値よりも低い部分領域）である。共通領域とは、重畳画像において、非共通領域以外の領域である。なお、領域分類部５４は、重畳画像において、対応点対として採用されなかった特徴点の部分集合を含むように、たとえば外接矩形で非共通領域（部分領域）を決定すればよい。ここで、特徴点の部分集合とは、画像における、人や車などの１つの物体に関する複数の特徴点の集まりのことであり、特徴点の部分集合は１つの重畳画像に複数あってもよい。

画像合成部５５は、ベース画像に対して、重畳画像における非共通領域の部分をオーバーレイ（合成、重畳）することで合成画像を作成する。
表示指示部５６は、画像合成部５５が作成した合成画像を表示するように、表示部３に対して指示を出す。なお、表示指示部５６は、画像合成装置１の外部の表示装置（不図示）に合成画像を表示させてもよい。

次に、図２〜図４を参照しながら、第１実施形態の処理フロー（処理のフローチャート）について説明する。図２は、第１実施形態における画像合成装置による処理を示すフローチャートである。図３は、（１ａ）が特徴点を抽出する前のベース画像、（２ａ）が特徴点を抽出した後のベース画像、（１ｂ）が特徴点を抽出する前の重畳画像、（２ｂ）が特徴点を抽出した後の重畳画像である。図４は、（１）が合成前のベース画像、（２）が合成前で非共通領域を特定した重畳画像、（３）が合成画像である。

なお、ここでは、特徴点の一例として、画像におけるHarris作用素の極大点の位置として検出され、画像中に存在する物体のエッジを示す点を採用する。Harris作用素については、たとえば、文献「”A combined corner and edge detector” C. Harris and M. Stephens, Proc. 4th Alvey Vision Conf. pp.147-151, 1988」に詳述されている。

また、特徴パターンの一例として、各特徴点における、スケール値や回転によって不変な性質である特徴点の周辺部分の輝度微分値（輝度微分ベクトル）を採用する。この特徴点の周辺部分の輝度微分値については、たとえば、文献「”Local Greyvalue Invariants for Image Retrieval” C. Schumid and R. Mohr, IEEE Trans. PAMI, Vol.19, No.5, pp.530-535, 1997」（以下、「文献２」という。）に詳述されている。
なお、特徴パターンとしては、それ以外に、たとえば、１以上の画素から算出されるスカラー値（画素値、その平均値など）や他のベクトル値（輝度ベクトルなど）などを用いることができる。

以下、記憶部２にすでにベース画像と重畳画像が記憶されているものとし、ユーザが入力部４を操作して合成画像の作成を指示した場合の画像合成装置１の処理について説明する。
まず、画像入力部５１は、記憶部２からベース画像（画像Ａ。図３（１ａ）参照）を入力する（ステップＳ２１０）。このベース画像は、重畳画像と共通の領域（風景や建物など）を含む画像であり、重畳画像から切り出された部分領域（非共通領域）が埋め込まれる画像である。図３（１ａ）では、ベース画像に人Ｍ１と家Ｈ１が写っている。

次に、画像入力部５１は、重畳画像（ベース画像に加えたい被写体が撮影されている画像。画像Ｂ。図３（１ｂ）参照）を入力する（ステップＳ２２０）。なお、前記したように、この第１実施形態では、この重畳画像は、ベース画像とほぼ同じアングルやスケール値で撮影された画像であることを前提としている。ここでは、重畳画像に人Ｍ２と家Ｈ２（家Ｈ１と共通）が写っている。

続いて、特徴抽出部５２は、ベース画像である画像Ａから特徴点（ｆａ。図３（２ａ）の×印）と特徴パターン（ｖ_ａ）を抽出する（ステップＳ２３０）。ここで、前記したように、特徴点（ｆａ）は画像におけるHarris作用素の極大点の位置として検出することができ、また、特徴パターン（ｖ_ａ）はスケール値や回転によって不変な性質である特徴点の周辺部分の輝度微分値などによって算出することができる。

具体的には、特徴点群Ｆａは、ｍ個の特徴点ｆａ（ｆａ_１〜ｆａ_ｍ）の集合として、次の式（１）のように表現することができる。
Ｆａ＝｛ｆａ_１，ｆａ_２，・・・，ｆａ_ｍ｝ ・・・式（１）
また、ｋ番目の特徴点ｆａ_ｋは、ｘ座標値をｘ、ｙ座標値をｙ、スケール値をｓ（画像の縮尺に関する、所定の基準値に対する相対的な値など）、回転量をθ（所定の基準点からの基準方向に対する回転角度など）、特徴パターンをｖとして、次の式（２）のように表現することができる。なお、各パラメータにおける下付き文字（「ａｋ」など）は、特徴点（「ｆａ_ｋ」など）との対応を表している。
ｆａ_ｋ＝｛ｘ_ａｋ，ｙ_ａｋ，ｓ_ａｋ，θ_ａｋ，ｖ_ａｋ｝ ・・・式（２）
さらに、特徴パターンｖ（ｖ_ａ）は、次元数が「ｐ」のベクトルとして、次の式（３）のように表現することができる。
ｖ_ａｋ＝｛ｖ_ａｋ ^（１），ｖ_ａｋ ^（２），・・・，ｖ_ａｋ ^（ｐ）｝ ・・・式（３）

同様にして、特徴抽出部５２は、重畳画像である画像Ｂから特徴点（ｆｂ。図３（２ｂ）の×印）と特徴パターン（ｖ_ｂ）を抽出する（ステップＳ２４０）。
特徴点群をＦｂは、特徴点ｆｂの数をｎとすると、次の式（４）〜式（６）のように表現することができる。
Ｆｂ＝｛ｆｂ_１，ｆｂ_２，・・・，ｆｂ_ｎ｝ ・・・式（４）
ｆｂ_ｋ＝｛ｘ_ｂｋ，ｙ_ｂｋ，ｓ_ｂｋ，θ_ｂｋ，ｖ_ｂｋ｝ ・・・式（５）
ｖ_ｂｋ＝｛ｖ_ｂｋ ^（１），ｖ_ｂｋ ^（２），・・・，ｖ_ｂｋ ^（ｐ）｝ ・・・式（６）

次に、特徴照合部５３は、画像Ａと画像Ｂの個々の特徴点同士を対応付ける（ステップＳ２５０）。具体的には、特徴照合部５３は、重畳画像上の特徴点｛ｆｂ_ｊ｝に対応するベース画像上の特徴点｛ｆａ_ｉ｝があるか否か判断する。その判断手法としては、たとえば、式（７）に示すような特徴点間のユークリッド距離の２乗を算出する方法がある。
Ｄ（ｉ，ｊ）＝Σ_ｒ＝１ ^ｐ｛ｖ_ａｉ ^（ｒ）−ｖ_ｂｊ ^（ｒ）｝^２
＝｛ｖ_ａｉ ^（１）−ｖ_ｂｊ ^（１）｝^２＋｛ｖ_ａｉ ^（２）−ｖ_ｂｊ ^（２）｝^２
＋・・・＋｛ｖ_ａｉ ^（ｐ）−ｖ_ｂｊ ^（ｐ）｝^２ ・・・式（７）

そして、ｊがある値の場合に、任意のｉのうちいずれかのときのＤ（ｉ，ｊ）が所定の閾値以内であれば、そのうちの最小のＤ（ｉ，ｊ）を与えるときの特徴点｛ｆａ_ｉ｝が特徴点｛ｆｂ_ｊ｝に対応している、と判断できる。また、ｊがある値の場合に、すべてのｉに対してＤ（ｉ，ｊ）が所定の閾値を越えるとき、特徴点｛ｆｂ_ｊ｝に対応する特徴点｛ｆａ_ｉ｝はないと判断できる。この対応点がない場合というのは、ベース画像上に存在しない物体（被写体）が重畳画像上に存在する場合に発生する。対応点がある場合もない場合も、特徴照合部５３はその判断結果を記憶部２などに記憶しておく。

領域分類部５４は、ステップＳ２５０での判断結果を用いて、重畳画像（画像Ｂ）の領域を非共通領域と共通領域に分類する（ステップＳ２６０。図４（２）参照）。非共通領域（図４（２）のＮＣ２）とは、ベース画像に存在しない物体を含んだ画像領域であり、具体的には、ステップＳ２５０で「対応点なし」と判断された特徴点が存在する領域である。この領域は、たとえば、「対応点なし」と判断された特徴点の部分集合がすべて収まるような矩形として決定すればよく、そうなるように矩形の最左上端（図４（２）の座標ｐ２１（ｘ２１，ｙ２１））と最右下端（図４（２）の座標ｐ２２（ｘ２２，ｙ２２））を決定すればよい。
一方、共通領域とは、背景と判断された領域であり、たとえば、非共通領域以外の領域として決定することができる。

続いて、画像合成部５５は、ステップＳ２６０で求めた重畳画像における非共通領域を、ベース画像の同じ位置にオーバーレイ（合成、重畳）して合成画像を作成する（ステップＳ２７０）。オーバーレイの方法としては、たとえば、上書き（輝度値の置き換え）や平均化（重畳画像とベース画像の平均輝度値を使用）などがある。
そして、表示指示部５６は、ステップＳ２７０で作成した合成画像の表示を表示部３に指示する（ステップＳ２８０）。その指示を受けた表示部３は、合成画像を表示する。

このようにして、第１実施形態の画像合成装置１によれば、ベース画像にオーバーレイする重畳画像の部分領域を自動的に決定するため、ユーザは、同じ場所で撮影された（共通の被写体が写されている）ベース画像と重畳画像を入力するだけで、容易に合成画像を作成することができる。

（第２実施形態）
次に、本発明の第２実施形態について説明する。なお、第２実施形態では、ベース画像と重畳画像がほぼ同じアングルおよびスケール値で撮影されていることを前提とする必要がない点で、第１実施形態と異なっている。つまり、第２実施形態では、重畳画像がベース画像に対して、位置がずれていたり（以下、「位置ズレ」ともいう。）、回転していたり（以下、「回転ズレ」ともいう。）、スケール値が異なっていたり（以下、「スケールズレ」ともいう。）していてもよい。また、第２実施形態では、説明のためベース画像を固定して重畳画像を変換（移動、回転、ズームアップ／ダウンの組み合わせ）するようにしているが、逆に重畳画像を固定してベース画像を変換させるようにしてもよい。

図５は、第２実施形態の画像合成装置の構成を示す機能ブロック図である。画像合成装置１ａは、第１実施形態の画像合成装置１（図１参照）と比べて、処理部５ａにおける特徴照合部５３と領域分類部５４の間に変形量検出部５３１と画像変形部５３２が配置された点で異なっており、主にそれらについて以下で説明し、第１実施形態の画像合成装置１と同様の構成については説明を適宜省略する。

変形量検出部５３１は、特徴照合部５３による照合結果に基づき、ベース画像と重畳画像の対応する特徴点（対応点対）が重なるように、必要に応じて重畳画像を変換させるための画像変換パラメータを算出する。
画像変形部５３２は、変形量検出部５３１が算出した画像変換パラメータを用いて、重畳画像を変換する。

次に、図６〜図８を参照しながら、第２実施形態の処理フロー（処理のフローチャート）について説明する。図６は、第２実施形態における画像合成装置による処理を示すフローチャートである。図７は、（１）がベース画像（人Ｍ３と家Ｈ３が存在）、（２）がベース画像と比べて全体が横方向（左方向）にずれている重畳画像（人Ｍ４と家Ｈ４（家Ｈ３と共通）が存在）、（３）がそれらの合成画像である。図８は、（１ａ）がベース画像（人Ｍ５と家Ｈ５が存在）、（１ｂ）がベース画像と比べて全体が位置、回転およびスケール値に関して異なっている（ずれている）重畳画像（人Ｍ６と家Ｈ６（家Ｈ５と共通）が存在）、（２ａ）が（１ａ）と同様のベース画像、（２ｂ）が（１ｂ）の重畳画像をベース画像の座標系に投影（画像変換）した重畳画像、（３）がそれらの合成画像である。

以下、記憶部２にすでにベース画像と重畳画像が記憶されているものとし、ユーザが入力部４を操作して合成画像の作成を指示した場合の画像合成装置１ａの処理について説明する。
なお、前記したように、第１実施形態の場合と異なり、重畳画像がベース画像に対して、位置ズレ、回転ズレあるいはスケールズレをしていてもよい。

まず、画像入力部５１は、記憶部２からベース画像（画像Ａ。図７（１），図８（１ａ）参照）を入力する（ステップＳ６１０）。
次に、画像入力部５１は、重畳画像（画像Ｂ。図７（２），図８（１ｂ）参照）を入力する（ステップＳ６２０）。ここでは、重畳画像がベース画像に対して、図７（１），（２）に示すように位置ズレをしていてもかまわないし（家Ｈ３と家Ｈ４が共通）、あるいは、図８（１ａ），（１ｂ）に示すように回転ズレをしていてもかまわない（家Ｈ５と家Ｈ６が共通）。

続いてのステップＳ６３０〜６５０は、図２のステップＳ２３０〜２５０と同様であるので、説明を省略する。

ステップＳ６５０の後、変形量検出部５３１は、対応点対の座標値を用いて画像変換パラメータを算出する（ステップＳ６５１）。具体的には、変形量検出部５３１は、ステップＳ６５０での照合結果に基づき、ベース画像と重畳画像の対応する特徴点が重なるように、重畳画像を変換するための画像変換パラメータを算出する。

たとえば、図７（１）,（２）に示すように、ベース画像と重畳画像が横方向に位置ズレしていることのみを前提とする場合には、変形量検出部５３１は、ステップＳ６５０で見つけた対応点対（ベース画像の特徴点と重畳画像の特徴点の対）の位置情報のうちｘ座標に関する情報｛ｘ_ａｉとｘ_ｂｉ｝を下記の式（８）に適用し、画像変換パラメータ（この場合はΔｘ）を算出する。なお、対応点対の数をｔとする。
Δｘ＝｛Σ_ｒ＝１ ^ｔ（ｘ_ｂｒ−ｘ_ａｒ）｝／ｔ ・・・式（８）

図７では、ベース画像の座標ｐ３１（Ｐｘ３１，Ｐｙ３１）と、重畳画像の座標ｑ４１（Ｑｘ４１，Ｑｙ４１）が対応しており、そのｘ座標の差Δｘは「Ｐｘ３１−Ｑｘ４１」となる。そして、重畳画像の非共通領域をベース画像に重畳するときは、非共通領域の左上のｐ４１（ｘ４１，ｙ４１）と右下のｐ４２（ｘ４２，ｙ４２）をΔｘの分だけ右に移動して、それぞれ、ｐ４１ａ（ｘ４１＋Δｘ，ｙ４１）とｐ４２ａ（ｘ４２＋Δｘ，ｙ４２）とすればよい。

同様に、ベース画像と重畳画像が縦方向に位置ズレしていることのみを前提とする場合には、変形量検出部５３１は、対応点対の位置情報のうちｙ座標に関する情報｛ｙ_ａｉとｙ_ｂｉ｝を下記の式（９）に適用し、画像変換パラメータ（この場合はΔｙ）を算出する。
Δｙ＝｛Σ_ｒ＝１ ^ｔ（ｙ_ｂｒ−ｙ_ａｒ）｝／ｔ ・・・式（９）

同様に、ベース画像と重畳画像がスケールズレしていることのみを前提とする場合には、変形量検出部５３１は、対応点対の位置情報のうちスケール値に関する情報｛ｓ_ａｉとｓ_ｂｉ｝を下記の式（１０）に適用し、画像変換パラメータ（この場合はΔｓ）を算出する。
Δｓ＝｛Σ_ｒ＝１ ^ｔ（ｓ_ｂｒ／ｓ_ａｒ）｝／ｔ ・・・式（１０）

同様に、ベース画像と重畳画像が回転ズレしていることのみを前提とする場合には、変形量検出部５３１は、対応点対の位置情報のうち回転量に関する情報｛θ_ａｉとθ_ｂｉ｝を下記の式（１１）に適用し、画像変換パラメータ（この場合はΔθ）を算出する。
Δθ＝｛Σ_ｒ＝１ ^ｔ（θ_ｂｒ−θ_ａｒ）｝／ｔ ・・・式（１１）

また、図８（１ａ）,（１ｂ）に示すように、位置ズレ、回転ズレおよびスケールズレが同時に発生していることを前提とする場合には、たとえば、文献２で開示されているようなHough変換を用いて、位置ズレ量（Δｘ，Δｙ）、回転ズレ量（Δｓ）およびスケールズレ量（Δθ）を投票手法によって求めることができる。なお、投票手法とは、目的値（特定したい値）の候補を所定の幅でグループ化しておき、前記した式（８）〜式（１１）のような算出式によって個別に算出した値が該当するグループをそれぞれ特定し（グループ単位での投票を行うイメージ）、該当する値が一番多かったグループに目的値が存在する可能性が高い、という思想に基づいた目的値の特定方法である。目的値が存在するグループを特定すれば、その後に目的値を容易に特定することができる。複数の画像変換パラメータに関して投票手法を使用する場合、その順番は、たとえば、スケールズレ量（Δｓ）、回転ズレ量（Δθ）、位置ズレ量（Δｘ，Δｙ）の順にするなど、精度が高くなるように適宜決定しておけばよい。

図６に戻って説明を続けると、ステップＳ６５１の後、画像変形部５３２は、ステップＳ６５１で算出した画像変換パラメータを用いて、重畳画像（画像Ｂ）の変形画像（画像Ｂ’）を作成する。
具体的には、画像変形部５３２は、ステップＳ６５１で算出した画像変換パラメータ（Δｘ，Δｙ，ΔｓおよびΔθ）を次の式（１２）のアフィン変換式に適用することで、重畳画像をベース画像の座標系に変換する。なお、重畳画像に関して、（Ｘ_ｂｊ，Ｙ_ｂｊ）は変換後の重畳画像の座標系での位置であり、（ｘ_ｂｊ，ｙ_ｂｊ）は変換後のベース画像の座標系での位置である。

ここで、たとえば、図８では、（１ａ）のベース画像のｐ５１（Ｐｘ５１，Ｐｙ５１）と（１ｂ）の重畳画像の座標ｑ６１（Ｑｘ６１，Ｑｙ６１）が対応しており、（１ａ）のベース画像のｐ５２（Ｐｘ５２，Ｐｙ５２）と（１ｂ）の重畳画像の座標ｑ６２（Ｑｘ６２，Ｑｙ６２）が対応している。この状況で、前記した式（１２）のアフィン変換式を（１ｂ）の重畳画像に適用すると、（２ｂ）に示すような画像（重畳画像領+6域Ｏ６の重畳画像）に変形（変換）される。なお、横方向のズレのみの場合は、この式（１２）において、Δｙ＝０，Δｓ＝１およびΔθ＝０とすればよい。

領域分類部５４は、ステップＳ２６０の場合と同様に、ステップＳ６５０での判断結果を用いて、重畳画像の領域を非共通領域ＮＣ６と共通領域に分類する（ステップＳ６６０。図８（２ｂ）参照）。なお、この重畳画像の領域の分類は、重畳画像の変換（ステップＳ６５２）の前に行ってもよいので、図８（１ｂ）においても非共通領域ＮＣ６を明示している。

続いて、画像合成部５５は、ステップＳ２７０の場合と同様に、ステップＳ６６０で求めた重畳画像における非共通領域を、ベース画像の同じ位置にオーバーレイして合成画像を作成する（ステップＳ６７０）。なお、重畳画像の変換によって非共通領域がベース画像の座標内から外れた場合には、非共通領域を強制的にベース画像の座標内に移動（縮小の併用も可）してもよいし、あるいは、表示部３の表示によってその旨をユーザに伝えるようにしてもよい。

そして、表示指示部５６は、ステップＳ６７０で作成した合成画像の表示を表示部３に指示する（ステップＳ２８０）。その指示を受けた表示部３は、合成画像を表示する。
図７では、（３）に示すように、人Ｍ３、家Ｈ３および人Ｍ４が１つの合成画像に収まっている。
また、図８では、（３）に示すように、人Ｍ５、家Ｈ５および人Ｍ６が１つの合成画像に収まっている。

このようにして、第２実施形態の画像合成装置１ａによれば、たとえば、同じ場所で撮影者を交代しながら撮影するなどして背景の位置がずれたり、撮影者の好みでアングルを変えて（カメラを９０度回転させるなどして）撮影したりする場合でも、ベース画像と重畳画像の座標系を自動的に一致させるため、ユーザは、背景などのずれを気にすることなくベース画像と重畳画像を入力するだけで、容易に合成画像を作成することができる。そして、共通の被写体に対する相対的な位置または大きさが変わらないように部分領域をベース画像に重畳するので、見栄えのよい、自然な合成画像を作成することができる。

なお、画像変形部５３２は、変形量検出部５３１と領域分類部５４の間に配置したが、領域分類部５４と画像合成部５５の間に配置しても、同様の作用と効果を得ることができる。
また、重畳画像全体を変形（画像変換）するものとしたが、重畳画像の非共通領域のみを変形するようにしてもよく、その場合も同様の合成画像を得ることができる。

（第１実施形態および第２実施形態の応用例）
第１実施形態および第２実施形態では、ベース画像と重畳画像に共通する被写体（領域）として、家（建物）を例に挙げて説明したが、それ以外に、人物（または服装）、車や電車などの乗り物（移動物体）、花や木などの植物、動物、本や机などの物品など、画像合成装置１（１ａ）が特徴点と特徴パターンを抽出できるものであれば、共通する被写体は何でもよい。ここでは、共通する被写体が建物である場合以外の例について説明する。なお、画像合成装置１（１ａ）の処理は、第１実施形態あるいは第２実施形態の場合と同様であるので、その詳細な説明を省略する。

図９は、同じ（服装の）人物を基準に画像を合成する例の説明図であり、（１）はベース画像、（２）は重畳画像、（３）は合成画像である。
ベース画像には人Ｍ９と人Ｍ１０が写っており（図９（１）参照）、重畳画像には人Ｍ１１（人Ｍ１０と共通）と人Ｍ１２が写っている（図９（２）参照）。
画像合成装置１（１ａ）によれば、人Ｍ１０を基準に合成画像を作成することができる（図９（３）参照）。

図１０は、同じ車を基準に画像を合成する例の説明図であり、（１）はベース画像、（２）は重畳画像、（３）は合成画像である。
ベース画像には車Ｃ１とキリンＧが写っており（図１０（１）参照）、重畳画像には車Ｃ２（車Ｃ１と共通）と象Ｅ１とネズミＭＳ１が写っている（図１０（２）参照）。
画像合成装置１（１ａ）によれば、車Ｃ１を基準に、キリンＧ、象Ｅ２（象Ｅ１を縮小したもの）およびネズミＭＳ２（ネズミＭＳ１を縮小したもの）が同時に写った合成画像を作成することができる（図１０（３）参照）。

なお、画像合成装置１（１ａ）における各処理は、コンピュータのＣＰＵに実行させるためのプログラムを所定の者が作成し、ＣＰＵに実行させることで、実現することができる。

以上で実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。
たとえば、画像合成装置１（１ａ）における前記した各動作の全部または一部を複数回行うことによって、３つ以上の元画像から合成画像を作成することもできる。
また、画像合成装置１（１ａ）は、ＰＣのほか、デジタルカメラやカメラ付携帯電話などによっても実現可能であり、そうすれば、写真を撮影したその場で合成画像を作成してその内容を確認することが可能となる。

また、たとえば、複数の元画像が、共通の被写体である建物に対して少しずれたアングルから撮影されている場合は、重畳画像を非相似形に座標変換してベース画像と重畳画像のそれぞれの建物の特徴点が一致するようにしてもよく、あるいは、重畳画像を相似形にしか座標変換しないようにしてもよい。さらに、その場合、重畳画像全体と同じように重畳領域（非共通領域）を座標変換してもよいし、重畳画像全体を非相似形に座標変換する場合は重畳領域を相似形維持で座標変換するようにしてもよい。後者のようにすれば、重畳画像全体を非相似形に座標変換する場合でも、それに連動して重畳領域に写っている人物などを不当に変形（座標変換）する事態などを回避することができる。

また、重畳領域（非共通領域）は、矩形でなくても、三角形、五角形、六角形、円形、楕円形、星形、ひし形、扇形、ハート形など、他の形であってもよい。
その他、ハードウェアやフローチャートなどの具体的な構成について、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

第１実施形態の画像合成装置の構成を示す機能ブロック図である。 第１実施形態における画像合成装置による処理を示すフローチャートである。 （１ａ）が特徴点を抽出する前のベース画像、（２ａ）が特徴点を抽出した後のベース画像、（１ｂ）が特徴点を抽出する前の重畳画像、（２ｂ）が特徴点を抽出した後の重畳画像である。 （１）が合成前のベース画像、（２）が合成前で非共通領域を特定した重畳画像、（３）が合成画像である。 第２実施形態の画像合成装置の構成を示す機能ブロック図である。 第２実施形態における画像合成装置による処理を示すフローチャートである。 （１）がベース画像、（２）がベース画像と比べて全体が横方向にずれている重畳画像、（３）がその合成画像である。 （１ａ）がベース画像、（１ｂ）がベース画像と比べて全体が位置、回転およびスケール値に関してずれている重畳画像、（２ａ）が（１ａ）と同様のベース画像、（２ｂ）が（１ｂ）の重畳画像をベース画像の座標系に投影（画像変換）した重畳画像、（３）がその合成画像である。 同じ（服装の）人物を基準に画像を合成する例の説明図であり、（１）はベース画像、（２）は重畳画像、（３）は合成画像である。 同じ車を基準に画像を合成する例の説明図であり、（１）はベース画像、（２）は重畳画像、（３）は合成画像である。

符号の説明

１ 画像合成装置
２ 記憶部
３ 表示部
５ 処理部
５２ 特徴抽出部
５３ 特徴照合部
５４ 領域分類部
５５ 画像合成部
５６ 表示指示部

Claims (12)

1. 第１画像および第２画像が記憶された記憶部と、
   前記第１画像と前記第２画像とを比較して、一方の画像における他方の画像と所定の画素特性が類似していない部分領域を非共通領域として抽出する領域分類部と、
   その抽出した一方の画像の非共通領域を他方の画像に重畳して合成画像を作成する画像合成部と、
   を備えることを特徴とする画像合成装置。
2. 前記第１画像と前記第２画像とは、それぞれの領域の一部に共通の被写体が写されており、
   前記画像合成部は、その共通の被写体の位置に基づいて、前記非共通領域を重畳する他方の画像における位置を決定する
   ことを特徴とする請求項１に記載の画像合成装置。
3. 前記画像合成部が作成した合成画像を表示する表示部と、外部の表示装置に前記合成画像を表示させる表示指示部と、のいずれか一方または両方をさらに備える
   ことを特徴とする請求項１または請求項２に記載の画像合成装置。
4. 前記所定の画素特性は、１以上の画素から算出されるスカラー値またはベクトル値であることを特徴とする請求項１または請求項２に記載の画像合成装置。
5. 前記スカラー値は、１以上の画素における画素値またはその平均値であり、
   前記ベクトル値は、１以上の画素における輝度ベクトルまたは輝度微分ベクトルであることを特徴とする請求項４に記載の画像合成装置。
6. 前記第１画像と前記第２画像とにおける特徴的な部分を特徴点として抽出し、その特徴点において画像の縮尺や回転によって不変な性質である特徴パターンを抽出する特徴抽出部と、
   前記第１画像と前記第２画像とにおける特徴点を、前記特徴パターンの類似度が閾値以上である場合に、対応点対として対応させる特徴照合部と、をさらに備え、
   前記領域分類部は、前記第１画像または前記第２画像における特徴点のうち、前記対応点対として採用されなかった点の部分集合を含む部分領域を前記非共通領域として抽出する
   ことを特徴とする請求項１または請求項２に記載の画像合成装置。
7. 前記領域分類部は、前記第１画像または前記第２画像における特徴点のうち、前記対応点対として採用されなかった点の部分集合を囲む外接矩形を前記非共通領域として抽出する
   ことを特徴とする請求項６に記載の画像合成装置。
8. 前記特徴点に関する情報として、画像の縮尺の度合いを示すスケール値、および、所定の基準点と基準方向に基づく回転量のいずれか一方または両方と、前記特徴パターンと、画像上の座標を示す座標値と、を用いる
   ことを特徴とする請求項６または請求項７に記載の画像合成装置。
9. 前記画像合成部は、前記共通の被写体に対する相対的な位置または大きさが変わらないように前記非共通領域を他方の画像に重畳することで合成画像を作成する
   ことを特徴とする請求項２に記載の画像合成装置。
10. 前記画像合成部は、類似度が閾値以上の対応点対の前記第１画像と前記第２画像との特徴点に関する座標値と、前記第１画像と前記第２画像とのそれぞれの縮尺の度合いを示すスケール値、および、前記第１画像と前記第２画像とのそれぞれの特徴点に関する所定の基準点と基準方向に基づく回転量、のいずれか一方または両方と、から算出した画像変換パラメータを用いて、前記非共通領域を重畳する他方の画像における位置を決定する
    ことを特徴とする請求項９に記載の画像合成装置。
11. 第１画像および第２画像をコンピュータに合成させる画像合成プログラムであって、
    前記コンピュータに備えられた記憶部から読み出した前記第１画像と前記第２画像とを比較して、一方の画像における他方の画像と所定の画素特性が類似していない部分領域を非共通領域として抽出する領域分類ステップと、
    その抽出した一方の画像の非共通領域を他方の画像に重畳して合成画像を作成する画像合成ステップと、
    を備えることを特徴とする画像合成プログラム。
12. 前記した各ステップの全部または一部を複数回行うことによって、３つ以上の画像から合成画像を作成することを特徴とする請求項１１に記載の画像合成プログラム。

Images