JP2008182499A - 画像処理装置、および画像処理プログラム - Google Patents

Abstract

【課題】画像を合成して合成画像を生成すること。
【解決手段】ＣＰＵ１０８は、第１の画像と第２の画像を取得し、取得した第１の画像内の所定の領域を合成領域として特定し、取得した第２の画像から合成領域と位置的に対応する領域を抽出領域として抽出する。そして、第１の画像の撮影条件、および第２の画像の撮影条件に基づいて、抽出した抽出領域の画像に画像処理を施す必要があるか否かを判定する。そして、画像処理を施す必要があると判定した場合には、画像処理後の抽出領域の画像を合成領域の画像と置き換える画像合成処理を行ない、画像処理を施す必要がないと判定した場合には、抽出した抽出領域の画像を合成領域の画像と置き換える画像合成処理を行なって、第１の画像と同じサイズの第３の画像を生成する。
【選択図】図１

Description

本発明は、画像を合成するための画像処理装置、および画像処理プログラムに関する。

次のような撮像装置が知られている。この撮像装置は、液晶モニタ内を複数の領域に分割し、各分割領域ごとに複数枚の画像を撮影する。撮影した複数枚の画像をそれぞれの分割領域内にスライドショー表示させ、使用者は、各分割領域ごとに最適な画像を選択する。そして、使用者によって各領域ごとに選択された画像を１枚の画像に合成してメモリに記憶する（例えば、特許文献１）。

特開２００６−２０１０５号公報

しかしながら、従来の撮像装置においては、各領域ごとに選択された画像の明るさなどの違いがある場合には、合成することによって不自然な画像が得られる可能性があった。

本発明は、第１の画像と第２の画像を取得し、取得した第１の画像内の所定の領域を合成領域として特定し、取得した第２の画像から合成領域と位置的に対応する領域を抽出領域として抽出し、第１の画像の撮影条件、および第２の画像の撮影条件に基づいて、抽出した抽出領域の画像に画像処理を施す必要があるか否かを判定し、画像処理を施す必要があると判定した場合には、画像処理後の抽出領域の画像を合成領域の画像と置き換える画像合成処理を行い、画像処理を施す必要がないと判定した場合には、抽出した抽出領域の画像を合成領域の画像と置き換える画像合成処理を行って、第１の画像と同じサイズの第３の画像を生成することを特徴とする。

本発明によれば、使用者の手を煩わせることなく自然な合成画像を得ることができる。

図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置１００は、例えばカメラであって、レンズ１０１と、撮像素子１０２と、画像処理回路１０３と、メモリインタフェース１０４と、メモリ１０５と、表示装置１０６と、操作部材１０７と、ＣＰＵ１０８と、フラッシュメモリ１０９とを備えている。

レンズ１０１は、複数の光学レンズ群から構成される撮影光学系である。図１では複数の光学レンズ群を代表して１枚のレンズで表している。撮像素子１０２は、例えばＣＣＤやＣＭＯＳが用いられ、レンズ１０１により結像した被写体像を撮像して画像を取得する。そして、取得した画像の画像信号を画像処理回路１０３へ出力する。なお、撮像素子１０２は、使用者による操作部材１０７に含まれるレリーズボタンが押下されることにより被写体像の撮像を行う。

画像処理回路１０３は、撮像素子１０２から入力されるアナログ画像信号をデジタル画像信号に変換（Ａ／Ｄ変換）する。また、画像処理回路１０３は、Ａ／Ｄ変換後のデジタル画像信号（画像データ）に対して、公知の階調補正処理や輪郭強調処理などの種々の画像処理を施した後、画像処理後の画像（処理後画像）をバッファメモリとしてのフラッシュメモリ１０９へ一時的に記録する。その後、画像処理回路１０３は、処理後画像を所定の画像形式、例えばＪＰＥＧ形式に圧縮し、圧縮した画像データに種々の撮影情報を付加情報として付加した画像ファイル、例えばＥｘｉｆ形式の画像ファイルを生成し、生成した画像ファイルをメモリインタフェース１０４へ出力する。

なお、撮影情報としては、画像の撮影日時、連写撮影モード情報（ブラケット無し）、ＥＶブラケッティング撮影情報（何段おきかの情報も含む）、ＷＢ（ホワイトバランス）ブラケッティング撮影情報などを含む。また、必要に応じて撮影時のＴＶ値やＡＶ値も含む。

メモリインタフェース１０４は、例えばメモリカードスロットであって、スロット内に格納されたメモリ１０５、例えばメモリカード内に画像ファイルを記録する。なお、画像処理回路１０３は、内蔵メモリとしてのフラッシュメモリ１０９に画像ファイルを出力して記録することもできる。

表示装置１０６は、例えばカメラ１００の背面に搭載されたＴＦＴモニタであって、ＣＰＵ１０８からの指示に基づいて、上述した処理後画像、メモリ１０５内に記録された画像、およびカメラ１００を設定するためのメニュー画面等を表示する。操作部材１０７は、使用者によって操作される種々のスイッチやボタンを含んでいる。例えば、操作部材１０７には、電源ボタン、再生ボタン、レリーズボタン、ズームボタン、メニューボタン、十字ボタン、決定ボタンなどが含まれる。なお、表示装置１０６にタッチパネル機能をもたせておき、後述する合成領域や抽出領域の選択をこのタッチパネルで行えるようにしたり、メニューボタン、十字ボタン、決定ボタンの機能をこのタッチパネルに持たせるようにしてもよい。ＣＰＵ１０８は、カメラ１００が備える各要素を制御する。また、フラッシュメモリ１０９に記録されたプログラムを読み込んで、後述する種々の処理を実行する。

本実施の形態における画像処理装置１００では、使用者によって同じ構図で連続して複数枚の画像が撮影された場合には、画像処理回路１０３はそれぞれの画像に対して画像処理を施してフラッシュメモリ１０９へ一時的に記録する。同じ構図で連続撮影する場合とは、例えば、使用者が三脚などを使用してカメラ（画像処理装置１００）を固定し、カメラを連写モードやインターバル撮影モードに切り替えて、所定時間間隔で連続して複数枚の画像を取得する場合等がある。

ＣＰＵ１０８は、フラッシュメモリ１０９に記録されたいずれか１枚の画像、あるいは複数枚のサムネイル画像を読み込んで表示装置１０６に表示する。使用者は、操作部材１０７を操作して、表示装置１０６に表示された画像を他の画像に切り替えることができる。

上述のように同じ構図で複数枚の画像を取得した場合には、使用者はその中から気に入った１枚を選択してメモリ１０５に記録することができる。本実施の形態の画像処理装置１００では、この気に入った１枚の画像の中に不要な映り込みが含まれている場合には、その不要な写り込みを含む領域を、同じ構図で撮影された他の画像の対応する領域に置き換えて合成することによって、不要な写り込みを排除した、対象画像と同じサイズの合成画像を生成して記録することができる。画像処理装置１００は、画像合成モードを備えており、ＣＰＵ１０８は、気に入った１枚の画像が表示装置１０６に表示されている状態で使用者によって操作部材１０７が操作されて画像合成モードへの切り替えが指示されると、次のような処理を実行する。

ＣＰＵ１０８は、画像合成モードへの切り替えが指示されたときに表示装置１０６に表示されていた画像を対象画像（第１の画像）として特定する。そして、対象画像内で使用者による前述のタッチパネルや操作部材（十字ボタン、決定ボタン）の操作によって指定された所定範囲の領域を合成領域として特定する。さらに、ＣＰＵ１０８は、使用者によって抽出領域を抽出するための画像（抽出画像／第２の画像）が選択されると、その抽出画像内の、上述の合成領域と位置的に対応するとともに、不要な写り込みを含まない領域を抽出領域として特定する。

例えば、ＣＰＵ１０８は、対象画像内における合成領域の位置（座標値）と形状や大きさが同じになるように抽出画像内から抽出領域を抽出する。そして、ＣＰＵ１０８は、対象画像内の合成領域を抽出画像から抽出した抽出領域に置き換えて合成する。これによって、対象画像から不要な写り込みを排除した合成画像（第３の画像）を生成することができる。

本実施の形態では、例えば、図２に示すように、表示画面１０６に表示した対象画像を図中の点線で分けられた９つの領域に分割し、使用者はいずれかの領域を合成領域として操作部材２ａ、２ｂやタッチパネル等で選択することができる。操作部材２ａ、２ｂを使用する場合には、使用者は、対象画像上に表示された分割枠で囲まれた９つの領域の中から、操作部材１０７に含まれる十字ボタン２ａを操作して、いずれかの領域を選択する。その後、使用者は、決定ボタン２ｂを押下して選択した領域を合成領域として決定する。例えば、人物２ｃを不要な写り込みとして含んでいる領域（ａ）を合成領域として決定する。そして、ＣＰＵ１０８は、使用者によって指定された合域（ａ）を合成領域として特定する。

次に、使用者は、十字キー２ａを操作して、対象画像と同じ構図で連続して撮影した他の画像の中から抽出画像を選択する。例えば、使用者は、図３に示すように、合成領域と位置的に対応する領域（ｂ）に人物２ｃなどの不要な写り込みを含んでいない画像を抽出画像として選択する。そして、ＣＰＵ１０８は、選択された抽出画像内から合成領域と位置的に対応する領域を抽出領域として抽出する。図３に示す例では、ＣＰＵ１０８は、抽出画像を９つの領域に分割し、図２における領域（ａ）に対応する領域（ｂ）を抽出領域として特定し、抽出する。

そして、ＣＰＵ１０８は、図２で特定した合成領域（ａ）を図３で抽出した抽出領域（ｂ）に置き換える画像処理を行なう。これによって、ＣＰＵ１０８は、図４に示すように、不要な映り込みである人物２ｃを排除した合成画像を生成することができる。この合成画像（図４）は、対象画像（図２）と同じサイズの画像である。なお、このとき、もし対象画像（図２）を撮影したときの撮影条件と抽出画像（図３）を撮影したときの撮影条件とが異なる場合には、対象画像における合成領域（ａ）の周辺と、抽出領域に置き換えた領域と間の画質要素（例えば露出やホワイトバランスや色合い等）が異なるため、そのまま合成したのでは不自然な合成画像が生成されてしまう。

よって、本実施の形態では、このような不具合を解消するために、ＣＰＵ１０８は、合成画像を生成するに当たって次のように処理を行う。すなわち、ＣＰＵ１０８は、対象画像のＥｘｉｆ情報から対象画像の撮影時の撮影条件を得る。また、抽出画像のＥｘｉｆ情報から抽出画像の撮影時の撮影条件を得る。ここでは、撮影条件としてＥｘｉｆ情報から露出に関する情報を得る場合について説明する。

ＣＰＵ１０８は、対象画像と抽出画像のそれぞれの露出に関する情報に基づいて、対象画像と抽出画像との間の露出の差を算出する。これは合成領域と抽出領域との間の露出の差に相当する。そして、ＣＰＵ１０８は、算出した両画像間の露出の差に基づいて、抽出領域の画質要素を合成領域の画質要素に近づけるための画像処理が必要か否かを判断する。例えば、対象画像の露出と抽出画像の露出との間に大きな差がある場合、すなわちその差が所定値以上である場合には、画像処理を施す必要があると判断する。

ＣＰＵ１０８は、抽出領域に対して画像処理を施す必要があると判断した場合には、抽出領域に対して対象画像との間の露出の差を低減するように画像処理、すなわち露出補正を施す。そして、このように画像処理を施して対象画像との間の画質要素の差を低減した抽出領域を合成領域と置き換える。これによって、自然な合成画像を生成することができる。なお、ＣＰＵ１０８は、対象画像の露出と抽出画像の露出との間に大きな差がない場合、すなわちその差が所定値未満である場合には、抽出領域に対して露出補正のための画像処理を施さずにそのまま合成領域と置き換えて合成画像を生成する。これによって、抽出領域をそのまま使用しても合成画像が不自然にならない場合には、画像処理を行わずに処理の負荷を低減することができる。

ＣＰＵ１０８は、上述した処理で生成した合成画像の画像データをメモリインタフェース１０４へ出力し、メモリインタフェース１０４に格納されたメモリ１０５に記録する。例えば、ＣＰＵ１０８は、生成した合成画像を画像処理部１０３へ出力して、合成画像の画像ファイルを生成する。この場合、ＣＰＵ１０８は、画像ファイルに付加情報として当該画像が合成画像であることを示す情報、および当該画像内における合成領域の位置に関する情報の少なくともいずれか一方を記録する。また、対象画像に関する情報、および抽出画像に関する情報、例えば両画像のファイル名を、どちらが対象画像でどちらが抽出画像であるかを示す情報と共に付加情報として記録するようにしてもよい。

これによって、不要な写り込みを排除した合成画像を保存して残すことができ、さらに使用者は付加情報に基づいて、その画像が合成画像であることや画像内のどの部分が合成された領域であるかを把握することができる。なお、ＣＰＵ１０８は、合成画像をメモリ１０５に記録した場合には、合成画像を生成するために用いた対象画像および抽出画像に対応する画像ファイルをメモリ１０５に残しておいてもよいし、あるいはメモリ１０５から削除するようにしてもよい。例えば使用者に削除を指示された場合や、メモリ１０５の残量が少ない場合などに、対象画像、抽出画像の画像ファイルを削除するようにしてもよい。

ＣＰＵ１０８は、このようにしてメモリ１０５に記録された合成画像の画像ファイルが使用者によって選択され、表示装置１０６への表示が指示された場合には、メモリ１０５内から当該合成画像を読み込んで表示装置１０６へ出力する。このとき、ＣＰＵ１０８は、画像ファイル内から付加情報を読み込んで、表示中の画像が合成画像であることを示す情報や合成された領域の位置に関する情報も表示装置１０６へ出力する。すなわち、ＣＰＵ１０８は、合成画像と共に付加情報に基づく表示情報を表示装置１０６へ表示する。

例えば、図５に示すように、合成画像上に合成を行なった領域を示す枠（合成済枠）５ａを表示する。この枠５ａは、合成画像が表示されたときは自動で表示するようにしてもよく、使用者による操作部材１０７の操作に応じて表示するようにしてもよい。これによって、使用者は、表示中の画像が合成画像であることや合成された領域の位置を把握することができる。なお、この合成済枠５ａの表示は、操作部材１０７の操作によって表示を消したり出したりすることが可能である。

以上説明したように、合成画像を生成するに当たっては、使用者は、同じ構図で連続して撮影した複数枚の画像の中から対象画像を選択する。そして、対象画像内から不要な写り込みを含む合成領域を選択した後、合成領域と位置的に対応する抽出領域に不要な写り込みを含まない抽出画像を選択する必要がある。しかしながら、同じ構図で連続して撮影した複数枚の画像の中に、合成領域と位置的に対応する抽出領域に不要な写り込みを含まない画像が存在しない場合には、対象領域内の不要な写り込みを排除した合成画像を生成することができない。

このため、使用者は、同じ構図で連続して撮影した複数枚の画像の中に抽出領域を抽出できる画像が存在しないと判断した場合には、表示装置１０６上に表示されるメニュー画面の中から「抽出画像がありません」を選択操作することによって、再撮影を行うことができる。ＣＰＵ１０８は、使用者により上記選択操作がされた場合には、複数枚の画像の中から抽出領域を抽出できないと判断し、使用者に対して再撮影を促す。このとき、使用者が対象画像と同じ構図の画像を撮影できるように、表示装置１０６上に対象画像そのものをスーパーインポーズ表示するなどして、構図の参考画像を表示する。

なお、参考画像は、大体の構図が把握できればよいため、対象画像を低解像度に変換した粗い画像でも十分である。また、カラー画像であってもそうでなくても（例えばセピア画像や白黒画像などであっても）よい。また、合成画像と位置的に対応する領域を枠で囲んで表示するなど（例えば図５の枠５ａと同様な枠表示をしたり、その領域の輝度を他の領域とは異ならせて（例えば暗く）表示したりするなど）、参考画像上に不要な写り込みを含むべきでない領域を明示してもよい。これによって、使用者に対して抽出領域内に不要な写り込みを含まない抽出画像を撮影するための参考画像を提供することができる。

使用者は、表示装置１０６上に表示されるスルー画（撮像素子１０２で今現在撮像されている画像）をこの参考画像に重ね合わせながら撮影を行うことで、対象画像と同じ構図の画像を再撮影して取得することができる。ＣＰＵ１０８は、使用者によって再撮影が行われた場合には、再撮影によって取得された画像を抽出用画像として上述した抽出領域の抽出、および合成画像の生成を行なう。これによって、同じ構図で連続して撮影した複数枚の画像の中に抽出領域を抽出できる画像が存在しない場合でも、同じ構図の画像を再撮影して、対象画像内から不要な写り込みを排除した合成画像を生成することができる。

図６は、本実施の形態における画像処理装置１００の処理を示すフローチャートである。図６に示す処理は、上述したように、使用者によって操作部材１０７が操作されて画像合成モードへの切り替えが指示されると起動するプログラムとして、ＣＰＵ１０８によって実行される。

ステップＳ１０において、ＣＰＵ１０８は、表示装置１０６に表示されている画像を対象画像として特定して、ステップＳ２０へ進む。ステップＳ２０では、使用者によって対象画像内の所定の領域が合成領域として指定されたか否かを判断する。肯定判断した場合には、ステップＳ３０へ進み、使用者によって指定された領域を合成領域として特定する。その後、ステップＳ４０へ進む。

ステップＳ４０では、使用者によって抽出画像が選択されたか否かを判断する。肯定判断した場合には、後述するステップＳ８０へ進む。これに対して、否定判断した場合には、ステップＳ５０へ進む。ステップＳ５０では、上述したように、使用者から再撮影の指示があったか否かを判断する。否定判断した場合には、ステップＳ４０へ戻る。一方、肯定判断した場合には、ステップＳ６０へ進む。

ステップＳ６０では、上述したように、表示装置１０６上に対象画像をスーパーインポーズ表示するなどして、対象画像と同じ構図の画像を再撮影するための参考画像を表示する。その後、ステップＳ７０へ進み、使用者によってレリーズボタンが操作されることにより、再撮影が行われたか否かを判断する。肯定判断した場合には、ステップＳ８０へ進む。

ステップＳ８０では、ステップＳ４０で使用者によって指定された画像、またはステップＳ７０で再撮影して取得した画像のいずれかを抽出画像として特定する。そして、抽出画像内の合成領域と位置的に対応する領域を抽出領域として抽出する。その後、ステップＳ９０へ進み、上述したように撮影情報（撮影条件）に基づいて、抽出領域の画像を画像処理するか否かを見極めながら、対象画像内の合成領域を、抽出画像から抽出した抽出領域に置き換えて合成し、合成画像を生成する。

その後、ステップＳ１００へ進み、生成した合成画像の画像ファイルをメモリインタフェース１０４へ出力し、メモリインタフェース１０４に格納されたメモリ１０５に記録する。このとき、画像ファイルに当該画像が合成画像であることを示す情報や当該画像内における合成領域の位置に関する情報などの付加情報を記録する。その後、ステップＳ１１０へ進む。

ステップＳ１１０では、使用者によって操作部材１０７が操作され、メモリ１０５に記録された合成画像の表示が指示されたか否かを判断する。否定判断した場合には、処理を終了する。これに対して、肯定判断した場合には、ステップＳ１２０へ進む。ステップＳ１２０では、表示が指示された合成画像と共に、合成画像の画像ファイル内から付加情報を読み込んで、表示中の画像が合成画像であることを示す情報や合成された領域の位置に関する情報を表示装置１０６へ出力して表示し、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）使用者による操作に基づいて対象画像における合成領域を特定し、使用者によって選択された抽出画像内から合成領域と位置的に対応する抽出領域を特定するようにした。そして、対象画像と抽出画像の撮影条件に基づいて、抽出領域に対して画像処理を施す必要があるか否かを判定し、施す必要があると判定した場合には、画像処理後の抽出領域を合成領域に合成するようにした。また、施す必要がないと判断した場合には、抽出した抽出領域をそのまま合成領域に合成するようにした。これによって、自然な合成画像を得ることができる。

（２）対象画像と抽出画像との間の露出の差を算出し、算出した露出の差が所定値以上ある場合に、抽出画像に対して画像処理を施す必要があると判断するようにした。そして、両画像間の露出の差を低減するように、抽出領域に対して画像処理を施すようにした。これによって、合成領域の周囲と抽出領域の画質要素を近づけて、自然な合成画像を得ることができる。

（３）使用者は、対象画像内における不要な写り込みを含む領域を合成画像として指定するようにした。このため、不要な写り込みを含む合成領域を、不要な写り込みを含まない抽出領域に置き換えることによって、対象画像内から不要な写り込みを排除することができる。

（４）抽出画像は、複数の画像の中から使用者が選択できるようにした。これによって、使用者の好みに合致した抽出画像を用いて合成を行うことができる。

（５）同じ構図で連続して撮影した複数枚の画像の中に抽出領域を抽出できる画像が存在しないと判断した場合には、対象画像と同じ構図の画像を再撮影して取得し、この画像を抽出画像とするようにした。これによって、抽出領域に不要な写り込みを含まない抽出画像を確実に取得することができる。

（６）再撮影を行うに当たっては、表示装置１０６上に対象画像をスーパーインポーズ表示するなどして構図の参考画像を表示するようにした。これによって、使用者は、容易に対象画像と同じ構図の画像を撮影できるようになる。

（７）生成した合成画像をメモリ１０５に記録するようにした。これによって、不要な写り込みを排除した合成画像を保存して残すことができる。

（８）合成画像をメモリ１０５に記録した場合には、合成画像を生成するために用いた対象画像および抽出画像に対応する画像ファイルをメモリ１０５から削除するようにした。これによって、不要な画像を自動的に削除することができ、メモリ１０５の使用量を削減することができる。

（９）合成画像の画像ファイルには、付加情報として当該画像が合成画像であることを示す情報、および当該画像内における合成領域の位置に関する情報の少なくともいずれか一方を記録するようにした。これによって、その画像が合成画像であることや画像内のどの部分が合成された領域であるかの情報を画像に関連付けて記録することができ、これらの情報を有効活用することができる。

（１０）合成画像の表示が指示された場合には、合成画像と共に付加情報に基づく表示情報を表示装置１０６へ表示するようにした。これによって、使用者は、その画像が合成画像であるか否か、また画像内のどの部分が合成された領域であるかを把握することができる。

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、撮影されてフラッシュメモリ１０９に一時的に記憶された複数枚の画像の中から対象画像および抽出画像を選択できるようにして、合成画像を生成する例について説明した。しかしながら、すでに撮影され、メモリ１０５に記録されている複数枚の画像の中から対象画像および抽出画像を選択できるようにしてもよい。例えば、使用者は、メモリ１０５に記録されている画像を再生表示し、表示される画像の中から対象画像と抽出画像とをそれぞれ選択するようにしてもよい。

（２）上述した実施の形態では、ＣＰＵ１０８は、表示画面１０６に表示した対象画像を９つの領域に分割し、使用者はいずれかの領域を合成領域として選択することができる例について説明した。しかしながら、９分割には限定されず、対象画像内を任意の複数の領域に分割して、その中から合成領域を選択できるようにしてもよい。また、対象画像を複数の領域には分割せず、使用者が操作部材１０７を操作して、対象画像内に任意のサイズの合成領域を指定できるようにしてもよい。

（３）上述した実施の形態では、合成領域は対象画像内における不要な映り込みを含む領域である例について説明した。しかしながら、合成領域は、使用者が他の画像から抽出した抽出領域と入れ替えたい領域であれば、不要な写り込みを含むか否かを問わない。

（４）上述した実施の形態では、対象画像および抽出画像の撮影条件として露出に関する情報を取得し、両画像の露出の差に基づいて抽出領域に対して画像処理を施す必要があるか否かを判断する例について説明した。しかしながら、抽出領域に対して画像処理を施す必要があるか否かを判断するために、露出以外の撮影条件を用いてもよい。例えば、両画像間のホワイトバランスの差を算出して、その差が所定以上であれば抽出領域に対して画像処理を施す必要があると判断するようにしてもよい。この場合には、両画像間のホワイトバランスの差を低減するように、抽出領域に対して画像処理を施せばよい。

（５）上述した実施の形態では、抽出画像は、使用者が対象画像と同じ構図で連続して撮影された画像の中から選択するか、あるいは再撮影によって取得する例について説明した。すなわち、使用者が手動で抽出画像を選択し、ＣＰＵ１０８は、複数の画像の中から、使用者の指示に基づいて抽出画像として選択する例について説明した。しかしながら、ＣＰＵ１０８は、自動的に抽出画像を選択（抽出）するようにしてもよい。例えば、同じ構図で連続して撮影した画像の中から、使用者によって対象画像上で指定された合成領域と位置的に対応する領域内に不要な写り込みを含まない画像を自動的に抽出して、これを抽出画像としてもよい。

ここで、不要な写り込みを含まない画像を自動的に選別する第１の手法について以下に記載する。抽出領域に不要な写り込みを含まない画像とは、その抽出領域の画像データが、対象画像の合成領域の画像データとは異なる特徴を持つものであるといえる（合成領域は不要な写り込み画像データを含む画像データであり、抽出領域は不要な写り込み画像データが含まれていないはずの画像データであるため）。そこでＣＰＵ１０８は、合成領域と位置的に対応し、且つその合成領域の画像データと特徴が一致していない画像データを持つ抽出領域を含む画像を、複数の画像の中から自動的に選択する。そして、このように自動選択された画像が、抽出画像として決定される。なお上述の、特徴が一致するか否かを識別する際に使用する画像データの特徴（特徴量）としては、例えば各領域（合成領域と抽出領域）内の各画像データから得られるコントラスト情報や、輝度分布情報（ヒストグラム情報）、色分布情報（ＲＧＢ各色毎のヒストグラム情報）などがある。

また上記手法により、合成領域とは異なる特徴を持つ抽出領域を含む画像（抽出画像の候補となる画像）が複数選択された場合には、例えばその候補の中で、合成領域との特徴差が最も大きい抽出領域を含んだ画像を、抽出画像としてＣＰＵ１０８に自動選択させればよい。あるいはそれら候補画像を表示装置１０６に順次表示（各候補画像を同時にサムネイル表示させても可）せしめて使用者にいずれかを選択するように表示などで促し、その選択された候補画像を抽出画像として決定せしめるように構成してもよい。

また、不要な写り込みを含まない画像を自動的に選択する別の方法（第２の手法）として、次のような方法もある。合成領域が選択される対象画像の中に、該合成領域とは異なる領域であって、且つ抽出領域として他の画像から抽出したい領域の画像データと似通った画像データを持つ領域（抽出領域の参考になるといえる領域／以下、抽出参考領域と称す）が存在していれば、使用者に、対象画像の中で合成領域をマニュアル操作で選択させると共に、この抽出参考領域もマニュアル操作で選択させる。

その後は、ＣＰＵ１０８が、複数の画像の中から、合成領域と位置的に対応しており、かつ抽出参考領域の画像データと特徴が一致している画像データを持つ抽出領域を含む画像を、自動的に選択する。そして、このように自動選択された画像が、抽出画像として決定される。なお、特徴（特徴量）や、候補画像が複数選択された場合の処理については、上述の第１の手法と同様であるが、この第２の手法では、複数の候補画像からＣＰＵ１０８が１つの候補を自動選択する際には、合成領域との特徴差が最も少ない抽出領域を持つ候補画像を抽出画像として選択する点が、上記第１の手法と相違する。

上述した手法によって、ＣＰＵ１０８は、複数の画像の中から１つの画像を抽出画像として自動選択することができる。

（６）上述した実施の形態では、図２に示したように、使用者が対象画像内から１つの合成領域を指定する例について説明した。しかしながら、使用者は対象画像内に複数の不要な映り込みが存在している場合には、それぞれの不要な写り込みを含む複数の合成領域を指定することもできる。この場合には、使用者は、各合成領域と位置的に対応するそれぞれの領域に不用な写り込みを含まない抽出画像を選択するようにする。このとき、全ての合成領域と位置的に対応する領域に不要な写り込みを含まない１枚の画像が存在する場合には、使用者はその１枚の画像を抽出画像として選択すればよい。これによって、抽出画像を１枚に限定することができ、処理の負荷を低減することができる。

これに対して、全ての合成領域と位置的に対応する領域に不要な写り込みを含まない画像が存在しない場合には、各合成領域のそれぞれと位置的に対応する領域に不要な写り込みを含まない互いに異なる複数の画像を抽出画像として選択すればよい。これによって、抽出画像が１枚に限定できないときは、複数枚の画像から抽出領域を抽出することができ、確実に不要な写り込みを含まない抽出領域を抽出することができる。

また、変形例（５）で上述したように、ＣＰＵ１０８が自動的に抽出画像を選択する場合には、ＣＰＵ１０８は、全ての合成領域と位置的に対応する領域に不要な写り込みを含まない画像が存在する場合には、当該画像を抽出画像として自動的に選択すればよい。これに対して、全ての合成領域と位置的に対応する領域に不要な写り込みを含まない画像が存在しない場合には、ＣＰＵ１０８は、各合成領域のそれぞれと位置的に対応する領域に不要な写り込みを含まない複数の画像を抽出画像として自動的に選択すればよい。これによって、使用者の手間を省くことができる。

（７）上述した実施の形態では、同じ構図で連続して撮影した複数枚の画像の中から対象画像および抽出画像を選択する例について説明した。しかしながら、デジタルカメラの動画撮影機能を用いて撮影された動画やデジタルビデオカメラで撮影された動画が各コマごとに撮影条件に関する情報を有している場合には、動画を構成する複数コマの画像の中から対象画像および抽出画像を選択するようにしてもよい。

（８）上述した画像合成処理は、カメラ上で行われるものに限らない。このような画像処理がプログラミングされた処理ソフトをインストールされた装置であれば、上記と同様な画像合成処理を行なうことが可能である。例えば、上述の処理ソフトがインストールされたパソコンを使って上述の画像処理を行なうことができる。カメラ側から連続撮影された画像ファイルを取り込んで、後は図６に示された処理と同様の処理（但し再撮影に関する処理であるステップＳ５０〜Ｓ７０は除く）を行えば、パソコン上で合成画像を得ることができる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

画像処理装置の一実施の形態の構成を示すブロック図である。 対象画像における合成領域の選択例を示す例である。 抽出画像における抽出領域の選択例を示す図である。 合成画像の具体例を示す図である。 合成画像の表示例を示す図である。 画像処理装置１００の処理を示すフローチャート図である。

符号の説明

１００ カメラ、１０１ レンズ、１０２ 撮像素子、１０３ 画像処理回路、１０４ メモリインタフェース、１０５ メモリ、１０６ 表示装置、１０７ 操作部材、１０８ ＣＰＵ、１０９ フラッシュメモリ

Claims (24)

1. 第１の画像と第２の画像を取得する画像取得手段と、
   前記画像取得手段で取得した前記第１の画像内の所定の領域を合成領域として特定する特定手段と、
   前記画像取得手段で取得した前記第２の画像から前記合成領域と位置的に対応する領域を抽出領域として抽出する抽出手段と、
   前記第１の画像の撮影条件、および前記第２の画像の撮影条件に基づいて、前記抽出手段で抽出した前記抽出領域の画像に画像処理を施す必要があるか否かを判定する判定手段と、
   前記判定手段で画像処理を施す必要があると判定された場合には、画像処理後の前記抽出領域の画像を前記特定手段で特定した前記合成領域の画像と置き換える画像合成処理を行い、画像処理を施す必要がないと判定された場合には、前記抽出手段で抽出した前記抽出領域の画像を前記特定手段で特定した前記合成領域の画像と置き換える画像合成処理を行って、前記第１の画像と同じサイズの第３の画像を生成する画像生成手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記撮影条件は、画像撮影時の露出に関する情報であって、
   前記判定手段は、前記第１の画像の露出に関する情報と、前記第２の画像の露出に関する情報とに基づいて、前記合成領域と前記抽出領域との間の露出の差を算出して、算出した露出の差が所定値以上である場合に、前記抽出領域の画像に画像処理を施す必要があると判定し、
   前記画像生成手段は、前記判定手段で画像処理を施す必要があると判定された場合には、前記合成領域と前記抽出領域との間の露出の差を低減するように、前記抽出領域の画像に画像処理を施すことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記合成領域は、前記第１の画像内の不要な写り込みを含む領域であって、前記抽出領域は、前記第２の画像内の、前記合成領域と位置的に対応するとともに前記不要な写りこみを含まない領域であることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記画像取得手段で取得した複数の画像の中から、前記合成領域と位置的に対応する領域に前記不要な写りこみを含まない画像を抽出して前記第２の画像として選択する画像選択手段をさらに含むことを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記画像取得手段で取得した複数の画像の中から、使用者の指示に基づいて前記第２の画像を選択する画像選択手段をさらに含むことを特徴とする画像処理装置。
6. 請求項４に記載の画像処理装置において、
   前記特定手段が前記第１の画像内から複数の前記合成領域を特定した場合には、前記画像選択手段は、前記複数の画像の中から前記複数の合成領域のそれぞれと位置的に対応する領域の全てに前記不要な写りこみを含まない１枚の画像を抽出して前記第２の画像として選択することを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記画像選択手段は、前記複数の画像の中から１枚の画像を抽出できない場合には、前記複数の画像の中から前記複数の合成領域のそれぞれと位置的に対応する領域に前記不要な写りこみを含まない複数の画像を前記第２の画像として選択することを特徴とする画像処理装置。
8. 請求項４に記載の画像処理装置において、
   前記画像選択手段が前記第２の画像を抽出できない場合には、使用者に対して画像の再撮影を促す再撮影要求手段をさらに備え、
   前記画像選択手段は、再撮影を行って取得した再撮影画像の前記合成領域と位置的に対応する領域に前記不要な写りこみが含まれていない場合には、前記再撮影画像を前記第２の画像として選択することを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記再撮影要求手段は、前記再撮影画像を、前記第１の画像と同じ構図で撮影するための参考画像を生成して撮影者に提示することを特徴とする画像処理装置。
10. 請求項１〜９のいずれか一項に記載の画像処理装置において、
    前記画像生成手段で生成した前記第３の画像を記録する記録手段をさらに備えることを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記記録手段で前記第３の画像を記録した場合には、前記第１の画像および前記第２の画像を削除する削除手段をさらに備えることを特徴とする画像処理装置。
12. 請求項１０または１１に記載の画像処理装置において、
    前記記録手段は、前記第３の画像に、当該画像が合成画像であることを示す情報、および当該画像内における前記合成領域の位置に関する情報の少なくともいずれか一方を付加情報として付加して記録することを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置において、
    画像をモニタに表示する表示手段をさらに備え、
    前記表示手段は、前記第３の画像に前記付加情報が付加されている場合には、前記第３の画像と共に前記付加情報に基づく表示情報を表示することを特徴とする画像処理装置。
14. コンピュータに、
    第１の画像と第２の画像を取得する画像取得手順と、
    前記画像取得手順で取得した前記第１の画像内の所定の領域を合成領域として特定する特定手順と、
    前記画像取得手順で取得した前記第２の画像から前記合成領域と位置的に対応する領域を抽出領域として抽出する抽出手順と、
    前記第１の画像の撮影条件、および前記第２の画像の撮影条件に基づいて、前記抽出手順で抽出した前記抽出領域の画像に画像処理を施す必要があるか否かを判定する判定手順と、
    前記判定手順で画像処理を施す必要があると判定された場合には、画像処理後の前記抽出領域の画像を前記特定手順で特定した前記合成領域の画像と置き換える画像合成処理を行ない、画像処理を施す必要がないと判定された場合には、前記抽出手順で抽出した前記抽出領域の画像を前記特定手順で特定した前記合成領域の画像と置き換える画像合成処理を行なって、前記第１の画像と同じサイズの第３の画像を生成する画像生成手順とを実行させるための画像処理プログラム。
15. 請求項１４に記載の画像処理プログラムにおいて、
    前記撮影条件は、画像撮影時の露出に関する情報であって、
    前記判定手順は、前記第１の画像の露出に関する情報と、前記第２の画像の露出に関する情報とに基づいて、前記合成領域と前記抽出領域との間の露出の差を算出して、算出した露出の差が所定値以上である場合に、前記抽出領域の画像に画像処理を施す必要があると判定し、
    前記画像生成手順は、前記判定手順で画像処理を施す必要があると判定された場合には、前記合成領域と前記抽出領域との間の露出の差を低減するように、前記抽出領域の画像に画像処理を施すことを特徴とする画像処理プログラム。
16. 請求項１４または１５に記載の画像処理プログラムにおいて、
    前記合成領域は、前記第１の画像内の不要な写り込みを含む領域であって、前記抽出領域は、前記第２の画像内の、前記合成領域と位置的に対応するとともに前記不要な写りこみを含まない領域であることを特徴とする画像処理プログラム。
17. 請求項１６に記載の画像処理プログラムにおいて、
    コンピュータに、
    前記画像取得手順で取得した複数の画像の中から、前記合成領域と位置的に対応する領域に前記不要な写りこみを含まない画像を抽出して前記第２の画像として選択する画像選択手順をさらに実行させることを特徴とする画像処理プログラム。
18. 請求項１７に記載の画像処理プログラムにおいて、
    前記特定手順が前記第１の画像内から複数の前記合成領域を特定した場合には、前記画像選択手順は、前記複数の画像の中から前記複数の合成領域のそれぞれと位置的に対応する領域の全てに前記不要な写りこみを含まない１枚の画像を抽出して前記第２の画像として選択することを特徴とする画像処理プログラム。
19. 請求項１８に記載の画像処理プログラムにおいて、
    前記画像選択手順は、前記複数の画像の中から１枚の画像を抽出できない場合には、前記複数の画像の中から前記複数の合成領域のそれぞれと位置的に対応する領域に前記不要な写りこみを含まない複数の画像を前記第２の画像として選択することを特徴とする画像処理プログラム。
20. 請求項１７に記載の画像処理プログラムにおいて、
    コンピュータに、
    前記画像選択手順が前記第２の画像を抽出できない場合には、使用者に対して画像の再撮影を促す再撮影要求手順をさらに実行させ、
    前記画像選択手順は、再撮影を行って取得した再撮影画像の前記合成領域と位置的に対応する領域に前記不要な写りこみが含まれていない場合には、前記再撮影画像を前記第２の画像として選択することを特徴とする画像処理プログラム。
21. 請求項２０に記載の画像処理プログラムにおいて、
    前記再撮影要求手順は、前記再撮影画像を、前記第１の画像と同じ構図で撮影するための参考画像を生成して撮影者に提示することを特徴とする画像処理プログラム。
22. 請求項１４〜２１のいずれか一項に記載の画像処理プログラムにおいて、
    コンピュータに、
    前記画像生成手順で生成した前記第３の画像を記録する記録手順をさらに実行させることを特徴とする画像処理プログラム。
23. 請求項２２に記載の画像処理プログラムにおいて、
    前記記録手順は、前記第３の画像に、当該画像が合成画像であることを示す情報、および当該画像内における前記合成領域の位置に関する情報の少なくともいずれか一方を付加情報として付加して記録することを特徴とする画像処理プログラム。
24. 請求項２３に記載の画像処理プログラムにおいて、
    コンピュータに、
    画像をモニタ表示する表示手順をさらに実行させ、
    前記表示手順は、前記第３の画像に前記付加情報が付加されている場合には、前記第３の画像と共に前記付加情報に基づく表示情報を表示することを特徴とする画像処理プログラム。

Images