JP2010219574A - 画像合成装置、及び画像合成プログラム - Google Patents

Abstract

【課題】画質の劣化を抑止した高解像度の画像データを生成する。
【解決手段】画像合成装置１００は、複数の画像データを入力する画像入力部１０２と、入力された画像データ毎に対して、部分領域毎に分割する領域分割部１０５と、各画像データの、分割された部分領域毎に、画質の評価を示した評価値を算出する算出手段と、部分領域毎の評価値を重み付けとして用いて、当該部分領域に含まれる各画素の画素値を、複数の入力画像データ間で合成し、入力された画像データより画素数が多い合成画像データを生成する画像合成部１０８と、を備える。
【選択図】図２

Description

本発明は、複数の画像情報を合成して高解像度の画像情報を生成する画像合成装置、及び画像合成プログラムに関する。

従来から画像データの様々な加工技術が提案されている。画像データの加工技術の例としては、低解像度の複数の画像データを合成して、より高解像度の画像データを生成する超解像技術がある。

この超解像技術においては様々な提案がなされている。例えば、複数の画像データを合成する際に、合成元の画像データ間のずれを補正する技術がある。このずれを補正する技術を用いることで、複数の画像データの画素同士の対応関係をサブピクセルレベルで検知できる。これにより、合成後の画像データの各画素の近傍とみなされた、合成元の各画像データの画素毎の画素値を元に、合成後の画像データの画素値を算出できる。

しかしながら、従来の超解像技術では、合成元の原画像データの全ての領域が合成に好適であるという仮定に基づいていた。このため、合成後の画像データは、原画像よりも解像度が高くはなるが、画質が向上するとは限らない。例えば、合成元の画像データの四枚のうち、一枚が適切な露光で撮影された画像データであり、他の三枚が露光過多で撮影された画像データとする。また、画像データ間の画素のずれを考慮せず、これらの四枚の画像データを合成して２倍の解像度の画像データを生成すると、適切な露光で撮影された画像データの画素は、合成後の画像データにおいて占める割合の４分の１となる。つまり、画像データ全体としては、露光過多な合成画像データが生成されることになる。

そこで、特許文献１に記載された技術では、合成に用いるフレーム画像を所定の基準に従って取捨選択する技術が提案されている。当該技術を適用すれば、所定の基準を満たさない画像データについては合成対象とならず、画質の劣化を抑止できる。

しかしながら、画像データ全体では所定の基準を満たしている場合でも、例えば黒つぶれや白飛びしている領域が存在するなど、局所的に画質が不十分な領域が含まれていることもある。このような画像データを合成の対象とした場合、一部しか画質が向上せず、局所的には画質が劣化するという問題がある。

本発明は、上記に鑑みてなされたものであって、画質の劣化を抑止する画像合成装置、及び画像合成プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像合成装置は、複数の入力画像情報を入力する画像入力手段と、前記入力画像情報毎に対して、部分領域毎に分割する分割手段と、各前記入力画像情報の、分割された前記部分領域毎に、画質の評価を示した評価値を算出する算出手段と、前記部分領域毎の前記評価値を重み付けとして用いて、当該部分領域に含まれる各画素の画素値を、前記複数の入力画像データ間で合成し、入力された画像データより画素数が多い合成画像データを生成する合成手段と、を備えたことを特徴とする。

また、本発明にかかる画像合成プログラムは、複数の入力画像情報を入力する画像入力ステップと、前記入力画像情報毎に対して、部分領域毎に分割する分割ステップと、各前記入力画像情報の、分割された前記部分領域毎に、画質の評価を示した評価値を算出する算出ステップと、前記部分領域毎の前記評価値を重み付けとして用いて、当該部分領域に含まれる各画素の画素値を、前記複数の入力画像データ間で合成し、入力された画像データより画素数が多い合成画像データを生成する合成ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、入力画像データを合成して生成された画素数が多い合成画像情報の画質の劣化を抑止するという効果を奏する。

図１は、第１の実施の形態にかかる画像合成システムの構成を示すブロック図である。 図２は、第１の実施の形態にかかる画像合成装置の構成を示すブロック図である。 図３は、画像データの生成の対象として撮影されるシーンを示した図である。 図４は、第１の実施の形態にかかる画像合成装置の画像選択部により選択された複数の画像データを示した図である。 図５は、第１の実施の形態にかかる画像合成装置の評価値格納部のテーブル構造の例を示した図である。 図６は、第１の実施の形態にかかる画像合成装置における全体的な処理の手順を示すフローチャートである。 図７は、第１の実施の形態にかかる領域分割部及び評価値算出部における、各画像データの分割処理及び評価値算出の処理手順を示すフローチャートである。 図８は、第１の実施の形態にかかる画像合成部における、画像データの合成処理の手順を示すフローチャートである。 図９は、画像合成部により注目画素として合成される、各画素の相対位置と、画素の画素値と、画素を含む部分領域の評価値と、の対応関係を示した図である。 図１０は、算出手法毎に算出された画素値を示した図である。 図１１は、第１の実施の形態の変形例１にかかる画像合成システムの例を示した図である。 図１２は、第１の実施の形態の変形例２にかかるデジタルスチルカメラ１３００の構成を示したブロック図である。 図１３は、第２の実施の形態にかかる画像合成装置の構成を示すブロック図である。 図１４は、第２の実施の形態にかかる領域分割部により部分領域毎に分割された画像データを示した説明図である。 図１５は、第２の実施の形態にかかる評価値格納部のテーブル構造の例を示した図である。 図１６は、画像合成装置のハードウェア構成を示した図である。

以下に添付図面を参照して、この発明にかかる画像合成装置、及び画像合成プログラムの最良な実施の形態を詳細に説明する。以下に示す実施の形態においては、ＰＣ（Personal Computer）を用いた画像合成装置について説明するが、画像合成装置をＰＣに制限するものではなく、プリンタなどの含む画像形成装置や、オフィス機器などのさまざまな装置に適用しても良い。

（第１の実施の形態）
図１は、第１の実施の形態にかかる画像合成システムの構成を示すブロック図である。図１に示すように、本実施の形態にかかる画像合成システムは、画像合成装置１００と、データベース１６０と、プリンタ１７０と、これらを接続するネットワーク１５０とで構成されている。

データベース１６０は、合成を行う対象となる画像データを蓄積する。また、データベース１６０は、画像合成装置１００や、プリンタ１７０に対して画像データを送受信する。

プリンタ１７０は、画像合成装置１００やデータベース１６０から送信された画像データを、記録紙などの記録媒体に対して印刷する。次に、画像合成装置１００について説明する。

画像合成装置１００は、データベース１６０に蓄積された画像データ群を合成して高解像度な画像データを生成し、プリンタ１７０から印刷する制御を行う。本実施の形態にかかる画像形成装置１００は、ハードウェアとしてＰＣ（Personal Computer）を適用した例とする。

図２は、第１の実施の形態にかかる画像合成装置１００の構成を示すブロック図である。本図に示すように画像合成装置１００の内部は、画像記憶部１０１と、画像入力部１０２と、画像選択部１０３と、基準画像選択部１０４と、領域分割部１０５と、評価値算出部１０６と、評価値格納部１０７と、画像合成部１０８と、画像出力部１０９と、を備え、入力された画像データを合成し、高精細な合成画像データを生成、出力する。

画像入力部１０２は、データベース１６０からネットワーク１５０を介して、合成に利用する画像データを入力処理する。本実施の形態では、画像データを、データベース１６０から取得するが、他の装置や、画像合成装置１００内部から取得しても良い。

図３は、画像データの生成の対象として撮影されるシーンを示した図である。図３に示すシーンは、海、海に浮かぶ船、前方の山、後方の山、空又は雲で構成されている。本実施の形態にかかる画像合成装置１００では、図３で示したシーンを撮像した複数の画像データを合成する。

図２に戻り、画像選択部１０３は、画像入力部１０２により入力された複数の画像データから、合成に適した画像データを選択する。画像選択部１０３は、入力された画像データ毎に、画像データ全体で所定の基準を満たした画像データを、合成対象として選択する。当該画像データの選択手法としては、例えば、国際公開第２００４／０９３０１１号で公開された手法など、さまざまな手法を用いて良い。

図４は、画像選択部１０３により選択された複数の画像データを示した図である。図４に示す、第１画像データ〜第４画像データまでの画像データを、合成対象として選択されたものとする。図４に示す、第１画像データ〜第４画像データは、図３に示したシーンを撮像した画像データであるが、少しずれている位置関係にある上、画像データ全体として所定の基準は満たしているが、詳細な露光条件や、焦点が当たっている位置が異なっているものとする。

図２に戻り、画像記憶部１０１は、画像選択部１０３により合成に適するものとして選択された画像データを、一時的に記憶する。

基準画像選択部１０４は、画像記憶部１０１に記憶された画像データ（例えば、第１の画像データ〜第４の画像データ）から、合成時の基準となる画像データを選択する。合成時の基準となる画像データの選択手法としては、いずれの手法を用いても良い。例えば、他の画像データと重畳している範囲が最も大きい画像データを選択したり、画像選択部１０３で選択された画像データのうち、最初に画像入力部１０２により入力された画像データを選択しても良い。本実施の形態では、基準画像データとして、第１の画像データが選択されたものとする。

領域分割部１０５は、画像記憶部１０１に記憶された画像データ毎に対して、所定の基準に基づく部分領域毎に分割する。本実施の形態においては、領域分割部１０５は、基準画像データから、（色など類似する特徴を持つ画素の集合を）部分領域として抽出した後、抽出された部分領域と同じと判別された部分領域毎に各画像データを分割する。なお、類似する特徴を持つ画素の集合を抽出する基準としては、周知の基準を問わず、あらゆる基準を用いて良いが、例えば、画像データの色、輝度又はエッジなどのパラメータを基準として、類似する特徴を有すると判別された各領域を抽出するなどが考えられる。

本実施の形態にかかる領域分割部１０５は、基準画像データである第１の画像データから、海（Ａ０００１）、山（前）（Ａ０００２）、山（後）（Ａ０００３）、雲（Ａ０００４）、及び空（Ａ０００５）の５つの部分領域が抽出できたものとする。なお、領域分割部１０５は、海に浮かぶ船を、海と同じ領域に含まれる領域として判別したものとする。そして、領域分割部１０５は、第１の画像データを、これら５つの部分領域に分割する。

続いて、領域分割部１０５は、残りの第２の画像データから第４の画像データの画像データ（以下、合成する画像データであって、基準画像データ以外の画像データを材料画像データと称す）についても同様の処理で部分領域毎に分割する。また、領域分割部１０５は、材料画像データを部分領域に分割する際に、基準画像データの部分領域抽出結果を参考にする。例えば、基準画像データでは海と海に浮かぶ船を同じ領域として分割しているため、領域分割部１０５が、材料画像データで、海に浮かぶ船と海とを別の領域として抽出しても、基準画像データに合わせて船と海とを同じ領域と判断する。

そして、領域分割部１０５は、基準画像データから抽出された部分領域と同様の領域は、基準画像データの部分領域と同じ領域ＩＤを割り当てる。そして、第２の画像データ〜第４の画像データについても、第１の画像データと同様に、海（Ａ０００１）、山（前）（Ａ０００２）、山（後）（Ａ０００３）、雲（Ａ０００４）、及び空（Ａ０００５）の５つの領域に分割する。

評価値算出部１０６は、画像記憶部１０１に記憶された各画像データ（第１の画像データから第４の画像データ）で、分割された部分領域に含まれる画像データ毎に、画質を評価した評価値を算出する。画質の評価手法としては、周知の手法を問わず、あらゆる手法を用いても良い。本実施の形態にかかる評価値算出部１０６の画質の評価の基準としては、部分領域における、明るさ、コントラストの高さ、鮮鋭さ、色合いなどを用いることとする。例えば、鮮鋭さが高いと、焦点が当たっているものとして、評価値が高くなる。なお、評価の基準は、全ての画像データにおいて画一的なものである必要がある。

本実施の形態にかかる評価値算出部１０６は、基準画像データに含まれる部分領域について評価値を算出した後、他の材料画像データについて部分領域毎の評価値を算出する。評価値算出部１０６は、評価値を算出した後、各画像データの部分領域と対応付けて、評価値格納部１０７に格納する。

評価値格納部１０７は、各画像データの部分領域毎の評価値を格納する。図５は、評価値格納部１０７のテーブル構造の例を示した図である。図５に示すように、評価値格納部１０７は、部分領域を識別する部分領域ＩＤと、各画像データの評価値と、を対応付けて記憶する。図５に示す例では、評価値の値域は、０〜１とし、値が高いほど画質が高いものとする。

図５に示す評価値格納部１０７の例では、第１の画像データは、前方の山を示す領域Ａ０００２の評価値が高いことが確認できる。従って、第１の画像データでは、前方の山に焦点を合わせて画像データを撮影したことが推測される。また、材料画像データにおいても、評価値（画質）が高い部分領域が、材料画像データ及び基準画像データ毎に異なることから、画像データ毎に焦点が当たっている物体が異なることが推測される。

図２に戻り、画像合成部１０８は、部分領域毎の評価値を重み付けとして用いて、当該部分領域に含まれる各画素の画素値を、複数の入力画像データ（基準画像データ及び材料画像データ）間で合成し、基準画像データ及び材料画像データより画素数が多い合成画像データを生成する。なお、詳細な処理手順については後述する。

画像出力部１０９は、画像合成部１０８により合成された高解像度の合成画像データを、プリンタ１７０に対して出力する。なお、出力先はプリンタ１７０に制限するものではなくデータベース１６０に対して出力しても良い。

次に、本実施の形態にかかる画像合成装置１００における全体的な処理について説明する。図６は、本実施の形態にかかる画像合成装置１００における上述した処理の手順を示すフローチャートである。

画像入力部１０２は、合成に利用する画像データ群を入力処理する（ステップＳ６０１）。入力処理する画像データ群は、ユーザに指定された画像データ群とする。ここでいう画像データ群とは、複数の静止画であってもよいし動画の複数のフレームであっても良い。

次に、画像選択部１０３は、入力処理された画像データ群から、画像データを一枚ずつ読み出す（ステップＳ６０２）。その後、画像選択部１０３は、読み出した画像データが合成に適した画像データか否かを判定する（ステップＳ６０３）。

そして、画像選択部１０３が、合成に適している画像データ判定した場合（ステップＳ６０３：Ｙｅｓ）、当該画像データを画像記憶部１０１に記憶する（ステップＳ６０４）。一方、合成に適していないと判定した場合（ステップＳ６０３：Ｎｏ）、当該画像データについて処理を行わない。

その後、画像選択部１０３は、指定した画像データ群に含まれる画像データ全て読み出したか否かを判定する（ステップＳ６０５）。全ての画像データを読み出していないと判定した場合（ステップＳ６０５：Ｎｏ）、再び、画像選択部１０３は、ステップＳ６０２に戻って、次の画像データの読み出しを行う。全ての画像データの読み出しを行ったと判定した場合（ステップＳ６０５：Ｙｅｓ）、ステップＳ６０６に進む。ステップＳ６０２〜Ｓ６０５の処理により、合成に用いる画像データが選択されたことになる。

その後、基準画像選択部１０４は、画像記憶部１０１に記憶された画像データ（合成に適した画像データ）から、基準画像データを選択する（ステップＳ６０６）。

そして、領域分割部１０５は、基準画像データを部分領域毎に分割し、評価値算出部１０６が、分割された基準画像データの部分領域毎に画質を評価した後、部分領域を識別する部分領域ＩＤと、評価値とを対応付けて、評価値格納部１０７に記憶する（ステップＳ６０７）。また記憶する際に、部分領域が、基準画像データの部分領域であることを認識可能に記憶する。なお、詳細な処理手順については後述する。

続いて、領域分割部１０５は、画像記憶部１０１に記憶された材料画像データを、１枚ずつ読み出す（ステップＳ６０８）。そして、領域分割部１０５は、材料画像データを、基準画像データと同様に部分領域毎に分割し、評価値算出部１０６が、分割された材料画像データの部分領域毎に画質を評価した後、部分領域を識別する部分領域ＩＤと、評価値とを対応付けて、評価値格納部１０７に記憶する（ステップＳ６０９）。また記憶する際に、部分領域が、材料画像データの部分領域であることを認識可能に記憶する。なお、詳細な処理手順については後述する。

その後、領域分割部１０５は、画像記憶部１０１に記憶された全ての材料画像データに対して、領域分割及び評価値の算出が終了したか否か判定する（ステップＳ６１０）。読み出し及び評価が終了していないと判定した場合（ステップＳ６１０：Ｎｏ）、再びステップＳ６０８から処理を開始する。

一方、領域分割部１０５が、全ての材料画像データについて領域分割及び評価値の算出が終了したと判定した場合（ステップＳ６１０：Ｙｅｓ）、基準画像データと、材料画像データと、を合成し、基準画像データ及び材料画像データより解像度が高い合成画像データを生成する（ステップＳ６１１）。

その後、画像出力部１０９は、画像合成部１０８により合成された高解像度の合成画像データを、プリンタ１７０に出力する（ステップＳ６１２）。

次に、図６のステップＳ６０６又はステップＳ６０９で示した、領域分割部１０５及び評価値算出部１０６における、各画像データの分割処理及び評価値算出の処理手順について説明する。図７は、本実施の形態にかかる領域分割部１０５及び評価値算出部１０６における上述した処理の手順を示すフローチャートである。

まず、領域分割部１０５は、基準画像データ又は材料画像データに対して、類似する特徴を有する部分領域毎に分割する（ステップＳ７０１）。分割するための特徴の基準の例としては、例えば色、テクスチャなどが考えられる。また、領域分割部１０５は、エッジが連続性を有していると判定した場合、当該エッジが領域の境界と判断し、当該エッジを境に領域分割を行ってもよい。さらに、領域分割部１０５は、画像データとして撮影されたものの奥行を元に、奥行が近い領域を部分領域と判断し、当該部分領域の分割を行ってもよい。

続いて、評価値算出部１０６は、基準画像データ又は材料画像データの部分領域毎に、画質を評価し、評価値を算出する（ステップＳ７０２）。

そして、評価値算出部１０６は、算出された部分領域毎の評価値を、部分領域を識別する部分領域ＩＤ及び元の画像データと対応付けて、評価値格納部１０７に記憶する（ステップＳ７０３）。

次に、図６のステップＳ６１１で示した、画像合成部１０８における、画像データの合成処理について説明する。図８は、本実施の形態にかかる画像合成部１０８における上述した処理の手順を示すフローチャートである。

まず、画像合成部１０８は、合成後の画像データの解像度に合わせたサイズで、空の合成画像データを用意する（ステップＳ８０１）。

次に、画像合成部１０８は、合成画像データの注目画素を特定する（ステップＳ８０２）。

その後、画像合成部１０８は、基準画像データおよび材料画像データのそれぞれから、注目画素の近傍に対応する画素の画素値を抽出する（ステップＳ８０３）。

そして、画像合成部１０８は、基準画像データおよび材料画像データのそれぞれについて、注目画素の近傍に対応する、上述した画素が含まれる部分領域の評価値を、評価値格納部１０７から読み出す（ステップＳ８０４）。

次に、画像合成部１０８は、基準画像データおよび材料画像データのそれぞれについて、抽出した各画素の注目画素までの距離と、抽出した画素が含まれる部分領域の評価値とを用いて、注目画素近辺の画素値の推定分布を表す補完関数を求める（ステップＳ８０５）。

その後、画像合成部１０８は、求められた補完関数により、注目画素の画素値を算出する（ステップＳ８０６）。

そして、画像合成部１０８は、合成画像データに含まれる全ての画素を、注目画素として、画素値を算出したか否かを判別する（ステップＳ８０７）。算出していないと判別した場合（ステップＳ８０７：Ｎｏ）、再びステップＳ８０２から処理を開始する。

一方、全ての画素について画素値を算出したと判別した場合（ステップＳ８０７：Ｙｅｓ）、処理を終了する。

本実施の形態にかかる画像合成装置１００においては、上述した処理手順により、高解像度化された合成画像データを生成する。

次に、画像合成部１０８による、合成画像データの、ある注目画素の画素値の算出例について説明する。なお、説明を単純化するために、画像データの座標を一次元に制限する。

図９は、画像合成部１０８が、第１の画像データ〜第４の画像データから、注目画素の近傍として抽出された画素の相対位置と、抽出された画素の画素値と、抽出された画素を含む部分領域の評価値と、の対応関係を示した図である。相対位置は、注目画素を基準とした相対的な位置とする。つまり、一列目の相対位置に存在する画素は、二列目の画素値を有し、三列目の評価値を持つ属性に属しているものとする。また、図９に示す画素値のうち、高い評価値、及び最も近い相対位置と対応付けられた画素の画素値は“９２”である。そこで、注目画素の画素値は、“９２”に近い値であるのが望ましいと考えられる。

また、本実施の形態とは関係なく、これら画素値から、注目画素の画素値を算出する手法としては、様々な手法がある。そこで、画素値の算出手法として、単なる平均値の算出、距離の逆数を重み付けとして用いて算出、距離の逆数及び評価値を重み付けとして用いて算出について検討する。なお、本実施の形態では、距離の逆数及び評価値を重み付けとして用いて算出を適用している。

図１０は、上述した算出手法毎に算出された画素値を示した図である。図１０に示す例のように、単純に平均値を算出した場合、画素値が“１０８”となり、相対的に距離が遠い画素又は評価値が低い画素の影響を受けて、望ましい値から大きくずれた値になる。

次に、距離の逆数を重みとして用いた補完手法では、画素値が“９９”となる。つまり、相対的に距離が遠い画素の影響が抑えられるため、平均値と比べて望ましい値になっていることが確認できる。

これに対し、本実施の形態にかかる画像合成部１０８が行う、距離の逆数と評価値の積を重みとして用いた補完手法では、画素値が“９７”となる。このように上述した２つの手法と比べて望ましい値に近づいていることが確認できる。つまり、本実施の形態においては、評価値を重み付けとして用いた補間手法を用いることとした。評価値は、画像データの画質の高低を示すものである以上、低い評価値と対応付けられた画素値は、信頼性が低いものとみなすことができる。

そして、本実施の形態にかかる画像合成部１０８では、上述した補間手法を用いて、画質と重みを連動させることにより、信頼性の低い画素値の影響を相対的に低く抑えることができる。

上述した説明では、画質を示す評価値を重み付けとして用いた補完手法のうち、単純な手法を用いた場合について説明したが、一般的に利用されるバイリニアやバイキュービック手法を、補完手法として組み合わせても良い。また、近傍にある全ての画素値を用いて注目画素の画素値を算出するのではなく、一定の評価値以上の画素値のみ用いて注目画素の画素値を算出しても良い。さらには、画質の評価指標ごとに評価値を算出して、複数の評価値を組み合わせて利用することも効果的であると考えられる。

本実施の形態にかかる画像合成装置１００では、上述した構成を備えることで、信頼性の低い画素の画素値に係る重みを相対的に低く抑えることができるので、より高画質な合成画像データを得ることができる。

つまり、本実施の形態にかかる画像合成装置１００では、部分領域の評価値が高い（画質が高い）ほど重みが大きくなるため、合成を行う際に画質が高い部分領域に属する画素ほど優先的に利用されることになり、より高画質な合成画像データを生成することができる。換言すれば、画像合成装置１００では、画質の高い部分領域の画素ほど合成後のある画素の画素値算出に優先的に利用されるので、全ての参照画素に等価な重みを与える場合よりも高画質な合成結果を得ることができる。

また、上述した各実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。

上述した第１の実施の形態においては、画像データをデータベース１６０から取得するものとしたが、取得先をデータベース１６０に制限するものではない。

（第１の実施の形態の変形例１）
そこで、第１の実施の形態の変形例１として、画像データの入力先を、デジタルカメラとした例について説明する。図１１は、本変形例にかかる画像合成システムの例を示した図である。

図１１に示すように、本変形例にかかる画像合成システムでは、ネットワーク１５０を介して、デジタルカメラ１２０１と、画像合成装置１２０３と、記憶装置１２０２と、が接続されている。

デジタルカメラ１２０１は、撮像された画像データを、画像合成装置１２０３に出力する。またデジタルカメラ１２０１では、静止画データのみならず動画データを撮影しても良い。動画データを撮影する場合、個々のフレーム、または所定の時間間隔を持つフレームを、合成対象の画像データとして利用する。また、デジタルカメラ１２０１が、静止画を連続撮影する場合、連続撮影された複数の画像データが、合成対象の画像データとして利用される。

記憶装置１２０２は、画像合成装置１００から入力された合成画像データを記憶する。また、記憶装置１２０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等にのみならず、メモリカードや光ディスクなど着脱可能な記録媒体に画像データを記憶しても良い。

画像合成装置１２０３は、合成対象となる画像データの入力元がデジタルカメラ１２０１となり、合成画像データの出力先が記憶装置１２０２になった以外、第１の実施の形態の画像合成装置１００と同様の構成を備えているため、説明を省略する。本変形例にかかる画像合成装置１２０３は、第１の実施の形態と同様の効果を得ることができる。

（第１の実施の形態の変形例２）
また、画像合成装置を適用する装置としては、ＰＣ以外にも様々な装置が考えられる。そこで、変形例として、画像合成装置を、デジタルスチルカメラに適用した例について説明する。

図１２は、本変形例にかかるデジタルスチルカメラ１３００の構成を示したブロック図である。図１２に示すように、デジタルスチルカメラ１３００は、撮像ユニット１３０１と、画像合成ユニット１３０２と、カードＩ／Ｆ１３０３とを備えている。

撮像ユニット１３０１は、（図示しない）光学系やＣＣＤ等を用いて、画像データを撮像する。撮像ユニット１３０１が撮像する画像データは、静止画データのみならず、動画データをも含むものとする。

画像合成ユニット１３０２は、第１の実施の形態の画像合成装置１００と同様の構成を備えているものとし、説明を省略する。そして、画像合成ユニット１３０２は、撮像ユニット１３０１で撮像された複数の画像データを第１の実施の形態と同様の処理で合成し、より高解像度の合成画像データを生成し、生成した合成画像データをカードＩ／Ｆ１３０３に出力する。

カードＩ／Ｆ１３０３は、接続されたカードメモリ１３０４に対して、入力された合成画像データの書き込み処理を行う。

本変形例にかかるデジタルスチルカメラ１３００は、撮像ユニット１３０１に、従来よりも低解像度のセンサーや、安価な光学系を適用した場合でも、複数の画像データを合成することで、高解像度の画像データを生成することができる。

（第２の実施の形態）
第１の実施の形態にかかる画像合成装置１００では、画像データの部分領域を抽出する際に、類似する特徴を有する画素の集合を、部分領域として分割した例について説明した。しかしながら、分割する部分領域を、類似する特徴を有する画素の集合毎に制限するものではない。そこで、第２の実施の形態にかかる画像合成装置では、所定のサイズの領域毎に分割する例について説明する。

ところで、第１の実施の形態では、類似する特徴と有する部分領域毎に画像データを分割した。これは類似する特徴をもつ領域内では画質が一定であるという仮定に基づいている。しかしながら、このような画像データの分割手法は、計算コストが高い上、誤識別が含まれる可能性がある。これに対し、本実施の形態にかかる画像合成装置１４００では、予め設定されたサイズ又は分割数で、画像データをタイル状に分割することとした。これにより分割に関する計算コストを削減できる。

図１３は、第２の実施の形態にかかる画像合成装置１４００の構成を示すブロック図である。画像合成装置１４００は、上述した第１の実施の形態にかかる画像合成装置１００とは、領域分割部１０５とは処理が異なる領域分割部１４０１に変更された構成を有している点で異なる。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。

領域分割部１４０１は、画像記憶部１０１に記憶された画像データ毎に対して、所定のサイズの部分領域毎に分割する。また、所定のサイズに分割することに制限するのではなく、所定の分割数で分割することにしても良い。所定の分割数で分割する場合でも、所定のサイズで分割するのと同様の効果を得られる。

図１４は、領域分割部１４０１により部分領域毎に分割された画像データを示した説明図である。図１４に示すように、領域分割部１４０１は、合成する対象となる画像データを、タイル状に分割する。

そして、評価値算出部１０６により各部分領域毎に評価値が算出された後、部分領域毎の評価値が、評価値格納部１４０２に格納される。

図１５は、評価値格納部１４０２のテーブル構造の例を示した図である。図１５に示すように、評価値格納部１４０２は、部分領域を識別する部分領域ＩＤと、各画像データの評価値と、を対応付けて記憶する。そして、評価値格納部１４０２は、分割された部分領域の数だけ、上述した値が対応付けられたレコードが格納されているものとする。

その後、画像合成部１０８が、部分領域毎の評価値を重み付けとして用いた上で、合成画像データを生成する。なお、合成手法については第１の実施の形態と同様として説明を省略する。

本実施の形態にかかる画像合成装置１４００では領域分割部１４０１が上述した分割を行うことで、分割手法に関する計算コストを削減すると共に、誤識別による悪影響を低減することができる。これにより、合成画像データをより高速に生成することができる。

図１６は、画像合成装置（１００、１４００）のハードウェア構成を示した図である。上述した実施の形態の画像合成装置（１００，１４００）は、ＣＰＵ１５０１と、ＲＯＭ（Read Only Memory）１５０２と、ＲＡＭ１５０３と、外部装置と通信する通信インターフェース（Ｉ／Ｆ）１５０４と、キーボードやマウスなどの入力装置１５０５と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

上述した実施の形態にかかる画像合成装置（１００、１４００）で実行される画像合成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、上述した実施の形態にかかる画像合成装置（１００、１４００）で実行される画像合成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態にかかる画像合成装置（１００、１４００）で実行される画像合成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、上述した実施の形態にかかる画像合成装置（１００、１４００）で実行される画像合成プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

上述した実施の形態の画像合成装置（１００、１４００）で実行される画像合成プログラムは、上述した各部（画像入力部、画像選択部、基準画像選択部、領域分割部、評価算出部、画像合成部、画像出力部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像合成プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像入力部、画像選択部、基準画像選択部、領域分割部、評価算出部、画像合成部、画像出力部が主記憶装置上に生成されるようになっている。

１００、１４００ 画像合成装置
１０１ 画像記憶部
１０２ 画像入力部
１０３ 画像選択部
１０４ 基準画像選択部
１０５、１４０１ 領域分割部
１０６ 評価値算出部
１０７、１４０２ 評価値格納部
１０８ 画像合成部
１０９ 画像出力部
１５０ ネットワーク
１６０ データベース
１７０ プリンタ
１２０１ デジタルカメラ
１２０２ 記憶装置
１２０３ 画像合成装置
１３００ デジタルスチルカメラ
１３０１ 撮像ユニット
１３０２ 画像合成ユニット
１３０３ カードＩ／Ｆ
１３０４ カードメモリ
１５０１ ＣＰＵ
１５０２ ＲＯＭ
１５０３ ＲＡＭ
１５０４ 通信インターフェースＩ／Ｆ
１５０５ 入力装置

国際公開第２００４／０９３０１１号

Claims (7)

1. 複数の入力画像情報を入力する画像入力手段と、
   前記入力画像情報毎に対して、部分領域毎に分割する分割手段と、
   各前記入力画像情報の、分割された前記部分領域毎に、画質の評価を示した評価値を算出する算出手段と、
   前記部分領域毎の前記評価値を重み付けとして用いて、当該部分領域に含まれる各画素の画素値を、前記複数の入力画像データ間で合成し、入力された画像データより画素数が多い合成画像データを生成する合成手段と、
   を備えたことを特徴とする画像合成装置。
2. 前記分割手段は、前記入力画像情報毎に、所定サイズの領域又は所定の分割数で分割することを特徴とする請求項１に記載の画像合成装置。
3. 前記分割手段は、前記入力画像情報毎に、類似する特徴を持つ画素の集合を部分領域として画像を分割することを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記算出手段は、部分領域を評価する基準として、当該部分領域内の明度、コントラスト、鮮鋭度の少なくとも一つのパラメータを利用して、前記評価値を算出すること、
   を特徴とする請求項１乃至３のいずれか一つに記載の画像合成装置。
5. 前記合成手段は、前記合成画像情報の一つの画素の画素値を算出する際に、当該画素と近傍にある、各前記入力画像情報の画素の画素値に対する重み付けとして前記評価値を用いること、を特徴とする請求項１乃至４のいずれか一つに記載の画像合成装置。
6. 前記合成手段は、前記合成画像情報の一つの画素の画素値を算出する際に、当該画素との相対距離を、各前記入力画像情報の画素の画素値に対する重み付けとして用いること、を特徴とする請求項１乃至５のいずれか一つに記載の画像合成装置。
7. 複数の入力画像情報を入力する画像入力ステップと、
   前記入力画像情報毎に対して、部分領域毎に分割する分割ステップと、
   各前記入力画像情報の、分割された前記部分領域毎に、画質の評価を示した評価値を算出する算出ステップと、
   前記部分領域毎の前記評価値を重み付けとして用いて、当該部分領域に含まれる各画素の画素値を、前記複数の入力画像データ間で合成し、入力された画像データより画素数が多い合成画像データを生成する合成ステップと、
   をコンピュータに実行させるための画像合成プログラム。

Images