JP2019047436A - 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 - Google Patents

Abstract

【課題】 画像合成によって、鑑賞用途だけでなく画像データ用途としても有用な合成画像を、いずれの用途用であるかを識別可能にする。【解決手段】 画像処理装置は、異なる撮影条件で撮影された複数の撮像画像を取得する画像取得部と、上記複数の撮像画像を用いて合成画像を生成するものであって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを有する合成制御部とを具備する。【選択図】図１

Description

本発明は、画像合成が可能な画像処理装置、画像処理方法、画像処理プログラム及び撮像装置に関する。

従来、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）が普及している。撮像装置によって撮像された画像は、鑑賞用途だけでなく、診断、検査、測定、計数、分析、監視等の鑑賞用途以外の各種用途（以下、画像データ用途という）に用いられることがある。一般的には、撮像されて得られた画像は、画像処理装置によって、各用途に適した画像処理が施される。

ところで、画像処理装置においては、撮影して得た複数枚の画像を合成して合成画像を得る合成処理が可能なものものある。例えば、露出を変化させながら複数枚の写真を撮影して合成することで、ダイナミックレンジを拡大し、白飛びや黒つぶれを抑制するハイダイナミックレンジ（ＨＤＲ）合成処理やピント位置を変化させながら複数回の撮影を行って得た複数の撮像画像を合成（深度合成）することで、ユーザが狙った被写体の全体にピントが合った画像を得る深度合成処理等が可能な画像処理装置も商品化されている。

また、撮影方向を変化させながら撮影して得た複数枚の撮像画像を合成するパノラマ合成処理や、撮像素子の画素位置をずらしながら撮影して得た複数枚の撮像画像を合成する超解像度合成処理等が可能な画像処理装置もある。

このような画像処理装置として、特許文献１では、入力された画像データから顔領域を抽出し、抽出した顔領域の全画像領域に占める割合が所定の閾値以上であるかを判定し、所定の閾値以上である場合に顔領域の色情報を算出し、また、顔領域以外の領域（背景領域）においてシーン判定を行って撮影シーンを判定することにより、背景領域の階調も考慮しつつ、顔領域を好ましく露出補正する技術が開示されている。

特開２００９−３２１８２号公報

ところで、画像合成処理は、合成後の１枚の合成画像が全体的に各用途に適した画像となるように画像処理が施されている。即ち、合成画像の作成には、複数の撮像画像がそのまま用いられておらず、画像の各部分では被写体光学像から得た画像が忠実に再現されていない場合がある。

本発明は、画像合成によって、鑑賞用途だけでなく画像データそのものとしての記録用途としても有用な合成画像を、いずれの用途用であるかを識別可能にすることができる画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供することを目的とする。

本発明の一態様による画像処理装置は、異なる撮影条件で撮影された複数の撮像画像を取得する画像取得部と、上記複数の撮像画像を用いて合成画像を生成するものであって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを有する合成制御部とを具備する。

本発明の一態様による画像処理方法は、異なる撮影条件で撮影された複数の撮像画像を取得する手順と、上記複数の撮像画像を用いて合成画像を生成する手順であって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを選択して上記合成画像を生成する手順とを具備する。

本発明の一態様による画像処理プログラムは、コンピュータに、異なる撮影条件で撮影された複数の撮像画像を取得する手順と、上記複数の撮像画像を用いて合成画像を生成する手順であって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを選択して上記合成画像を生成する手順とを実行させる。

本発明の一態様による撮像装置は、上記画像処理装置と、異なる撮影条件で被写体を撮像して上記複数の撮像画像を得る撮像部とを具備する。

本発明によれば、画像合成によって、鑑賞用途だけでなく画像データ用途としても有用な合成画像を、いずれの用途用であるかを識別可能にすることができるという効果を有する。

本発明の第１の実施の形態に係る画像処理装置を示すブロック図。 鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。 鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。 鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。 鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。 鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図。 鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。 鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。 鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。 鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。 鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図。 再現性重視領域毎に撮影条件及び画像処理を変化させる場合の例を説明するための説明図。 再現性重視領域毎に撮影条件及び画像処理を変化させる場合の例を説明するための説明図。 再現性重視領域毎に撮影条件及び画像処理を変化させる場合の例を説明するための説明図。 ＨＤＲ合成モードにおける撮像タイミングチャート。 画像合成モードが指定されている場合のカメラ制御を示すフローチャート。 画像ファイルに記録される内容を説明するための説明図。 画像ファイルに記録される内容を説明するための説明図。 深度合成による部分再現性重視モードの合成画像を示す説明図。 本発明の第２の実施の形態において採用される画像合成処理を示すフローチャート。 第２の実施の形態において作成される画像ファイルを示す説明図。 第２の実施の形態において作成される画像ファイルを示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像処理装置を示すブロック図である。なお、以下の説明では、画像処理装置１０は、撮像部を有する撮像装置１に内蔵されたものとして説明するが、画像処理装置１０としては、撮像装置に内蔵されたものでなく、外部の撮像部からの撮像画像が与えられて画像処理を行うものであってもよい。

撮像装置に内蔵された画像処理装置は、撮像部に対してＨＤＲ合成や深度合成等の合成処理のための撮像制御を行う。本実施の形態における画像処理装置は、撮像して得た複数枚の画像合成に際して鑑賞用途用の画像処理及び画像データ用途用の画像処理を行うことが可能である。本実施の形態においては、鑑賞用途用の画像処理では合成画像の全体として鑑賞性に優れた画像を得るための合成画像処理を行い、画像データ用途用の画像処理では、合成画像の各部において、被写体を忠実に再現可能な画像を得るための合成画像処理を行う。

なお、被写体を忠実に再現可能な画像とは、被写体光学像を忠実に再現する画像であってもよく、例えば、ピント位置及び露出が適正な撮影条件の元に撮影された画像であってもよい。また、被写体を忠実に再現可能な画像としては、撮像部からの画像そのものだけでなく、撮像部からの画像に所定の画像信号処理を施した画像を含む。

画像データ用途は、主に科学技術分野で利用されることが多いので、科学技術用途と言ってもよく、また、測定機器等の装置によって自動的に利用されることが考えられ、測定用途或いは機械用途と言ってもよい。画像データ用途の画像は、利用される用途に応じて、必要とされる情報が異なることが考えられるが、被写体の画像情報の情報量が大きい画像が好ましく、例えば、画像の部分部分においてピントが合って適正露出の画像であった方が良い場合が多い。なお、画像データ用途の画像を生成するモードを部分再現性重視モードと言い、部分再現性重視モードにおいて得られた画像を部分再現性重視画像ともいう。

撮像部が被写体光学像から得た画像は、撮像時の撮影条件に応じたものである。例えば、ＨＤＲ合成や深度合成等においては、ピント位置、露出時間、絞り値、ＩＳＯ感度等の各種撮影条件を変化させた複数回の撮像によって合成に用いる複数枚の画像が取得されており、これらの画像は、取得された撮影条件に応じて相互に異なる画像となっている。

本実施の形態においては、部分再現性重視モードでは、画像を複数の領域（以下、再現性重視領域という）に分け、各再現性重視領域内の画像は同一の撮影条件で撮像されて得られた画像で構成される。従って、部分再現性重視画像は、画像の各再現性重視領域の境界における画像の連続性がない場合があり、１枚の画像全体では画像品位が低いことがある反面、画像の部分部分では、被写体の再現性に優れた画像となっている。

図１において、撮像装置１には撮像部２０が設けられている。撮像部２０は、ＣＣＤやＣＭＯＳセンサ等の図示しない撮像素子と、被写体の光学像を撮像素子の撮像面に導く図示しない撮影レンズ（光学系）とを備える。撮影レンズとしては、撮像部２０に取り付けられた固定のレンズであってもよく、また、交換式のレンズであってもよい。この撮影レンズは、ズームやフォーカシングのための図示しないレンズ等を備えており、これらのレンズは、撮影条件変更部２１によって駆動制御されるようになっている。撮影条件変更部２１は、後述する信号処理部１２の撮影条件設定部１３ａからの制御信号に基づいて、フォーカシングのためのレンズを駆動してピント位置を変更すると共に、図示しない絞りや撮像素子のシャッタスピード等を制御することができるようになっている。なお、撮像部２０において採用する撮像素子としては、像面位相差法においてデフォーカス量を求めるためのフォーカス制御用の画素（以下、ＡＦ画素という）を有するものであってもよい。

画像処理装置１０の制御部１１は、例えば、図示しないメモリに記憶されたプログラムに従ってカメラ制御を行う図示しないＣＰＵ等を用いたプロセッサによって構成することができる。画像処理装置１０には、操作判定部１８が設けられている。操作判定部１８は、図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む図示しない操作部に対するユーザ操作を判定し、判定結果に基づく操作信号を制御部１１に供給するようになっている。画像処理装置１０には各種のセンサにより構成されるセンサ部１６が設けられている。センサ部１６は、例えば、加速度センサやジャイロセンサ等の各種センサを含んでおり、各種センサの検出結果を制御部１１に与える。
制御部１１は操作判定部１８からの操作信号及びセンサ部１６の検出結果に基づいて各部を制御する。

信号処理部１２は画像取得部１３及び画像処理部１４を備えている。画像取得部１３は、制御部１１に制御されて、撮像画像取得のための処理を実行する。即ち、画像取得部１３中の撮影条件設定部１３ａは、撮像部２０の撮影条件変更部２１に設定信号を出力してシャッタスピード、露光時間、絞り、ＩＳＯ感度等を制御する。また、撮影条件設定部１３ａは、撮影条件変更部２１に設定信号を出力して、ピント位置及びズーム位置を制御すると共に、オートフォーカス制御が可能である。例えば、撮影条件設定部１３ａは、所謂山登りコントラスト法によるオートフォーカス制御や像面位相差法によるオートフォーカス制御を行ってもよい。

画像取得部１３は、撮像部２０からの撮像画像を読み出して画像処理部１４に与える。画像処理部１４は、制御部１１に制御されて、読み出された撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

信号処理部１２は、表示に関する各種処理を実行する。信号処理部１２は、画像処理部１４による信号処理後の撮像画像を表示部３０に与えることができる。表示部３０は、ＬＣＤ（液晶パネル）等の表示画面を有しており、信号処理部１２から与えられた画像を表示する。また、信号処理部１２は、各種メニュー表示等を表示部３０の表示画面に表示させることもできるようになっている。

なお、表示部３０の表示画面上には、図示しないタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１１に供給される。これにより、制御部１１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部３０の表示画面は撮像装置１の図示しない筐体の背面に沿って設けられており、撮影者は、撮影時に表示部３０の表示画面上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。

画像処理装置１０には通信部１５が設けられている。信号処理部１２は、通信部１５を制御して、外部機器との間で通信を行うことができる。通信部１５は、信号処理部１２に制御されて、外部機器との間で有線又は無線によるデータの送信及び受信が可能である。例えば、通信部１５としては、ＵＳＢ規格の有線通信やＷｉｆｉ（登録商標）等の無線ＬＡＮやブルートゥース（登録商標）等による無線通信が可能に構成されている。信号処理部１２は、通信部１５を介して、撮像画像、合成画像等の画像ファイルやその他の各種情報を外部機器に送信することができるようになっている。

信号処理部１２は、各種信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部４０に与えて記録させることができる。記録部４０は、所定の記録媒体を備えており、信号処理部１２によって画像ファイルが記録されるようになっている。例えば、記録制御部としての信号処理部１２は、画像ファイルとして例えばＥｘｉｆ（Exchangeable image file format）などの特定形式の画像ファイルを記録することができる。記録部４０は、画像ファイル中の静止画及び動画の画像データ部分を記録する領域である画像記録部４１及びメタデータ部分を記録する領域である付随情報記録部４２を備えている。また、記録部４０には、所定の対象物の特徴量を記録した対象物分類データベース（ＤＢ）４３が設けられている。

画像処理部１４は、画像合成処理を行う適応処理部１４ｂを備えている。合成制御部としての適応処理部１４ｂは、通常のＨＤＲ合成や深度合成等の鑑賞性に優れた画像合成を生成するモード（以下、鑑賞性重視モードという）において、複数枚の撮像画像を用いて１枚の合成画像を生成する。この場合には、適応処理部１４ｂは、公知の合成処理を行うことによって、１枚の画像全体で鑑賞性に優れた合成画像を生成する。

本実施の形態においては、適応処理部１４ｂは、部分再現性重視モードにおいてＨＤＲ合成や深度合成等の画像合成を行う場合には、合成前の１枚の撮像画像を用いて合成画像の１つの領域（再現性重視領域）の画像部分を生成する。即ち、合成画像の１つの再現性重視領域の画像部分は、合成前の１枚の撮像画像のみを用いて生成されるので、当該領域内は同一の撮影条件で撮影が行われて同一の画像処理が施された画像により構成される。従って、この再現性重視領域内は、被写体光学像を忠実に再現したものとなっている。

画像処理部１４には領域判定部１４ａが設けられており、領域判定部１４ａは、１枚の撮像画像を用いて生成される合成画像の再現性重視領域を判定するようになっている。例えば、領域判定部１４ａは、ＨＤＲ合成時には、輝度分布のレベル範囲に応じて再現性重視領域を判定してもよい。例えば、領域判定部１４ａは輝度レベルを複数段階に分け、各段階の輝度レベル範囲毎に再現性重視領域を設定してもよい。また、領域判定部１４ａは、再現性重視領域の設定に際して、画像中の各対象物毎に再現性重視領域を設定してもよい。

対象物分類ＤＢ４３は、対象物の特徴量が記憶されており、領域判定部１４ａは、撮像画像に対して画像解析処理を行い、対象物分類ＤＢ４３から読出した特徴量と撮像画像の各画像部分の特徴量との比較によって、画像中から各対象物を抽出して、対象物の形状に沿った領域又は対象物を囲む所定の領域を再現性重視領域に設定するようになっていてもよい。

また例えば、領域判定部１４ａは、深度合成時には、合焦分布の範囲に応じて再現性重視領域を判定してもよい。例えば、領域判定部１４ａは各撮像画像中で合焦状態が得られている領域を再現性重視領域に設定してもよい。この場合にも、領域判定部１４ａは、再現性重視領域の設定に際して、画像中の各対象物を判定して、対象物の形状に沿った領域又は対象物を囲む所定の領域を再現性重視領域に設定するようになっていてもよい。

なお、領域判定部１４ａは、ユーザによる領域指定操作によって、再現性重視領域を決定するようになっていてもよい。

図２Ａ、図２Ｂ及び図３Ａ〜図３Ｃは鑑賞性重視モードと部分再現性重視モードにおけるＨＤＲ合成処理を説明するための説明図である。ＨＤＲ合成処理では、同一画角の同一被写体についての露出値が異なる複数枚の撮像画像を取得する。図２Ａの画像５１は露出アンダーで撮影して得た画像を示している。

図２Ａの撮像画像５１は、中央に山の画像５１ａと、山の手前の比較的暗い森の画像５１ｂと山の後方の比較的明るい空の画像５１ｃとを含んでいる。画像５１は露出アンダーであり、画像５１中の暗い森の画像５１ｂは黒つぶれしていることを示している。

図３Ａ〜図３Ｃは横軸に垂直線Ｙ上の各垂直画素位置ＹＩ０〜ＹＩ３をとり縦軸に各画素の画素出力（輝度レベル）をとって、垂直線Ｙ上の輝度分布を示している。図３Ａは図２Ａの垂直線Ｙ上の輝度レベルであって、適正露出で撮影された場合の輝度レベルを示している。垂直画素位置ＹＩ０〜ＹＩ１の範囲は、輝度レベルが低く、殆どノイズレベル以下である。垂直画素位置ＹＩ１〜ＹＩ２の範囲は、輝度レベルが適正である。垂直画素位置ＹＩ２〜ＹＩ３の範囲は、輝度レベルが高く、殆ど飽和レベル以上である。

鑑賞性重視モードにおける通常のＨＤＲ合成では、露出アンダーから露出オーバーまで露出を変化させて複数回の撮像を行って合成する。図３Ｂはこの合成画像の輝度レベルを示している。通常のＨＤＲ合成では、画像全体で鑑賞性に優れた画像とするために、各撮像画像の輝度レベルを調整し、図３Ｂに示すように、画像全体の輝度レベルがノイズレベルと飽和レベルとの間の適正レベルに収まるように画像処理を行う。図３Ｂでは、露出が異なる複数枚の撮像画像を単に合成するだけでなく、各画像の輝度レベルを圧縮すると共に、各画像の境界部分のレベルが連続するように輝度調整が行われている。

図２Ｂはこうして生成されたＨＤＲ合成画像５２を示している。即ち、このＨＤＲ画像５２は、明るい部分の空の画像５２ａは白飛びすることなく色が表現されている。また、画像５２は、暗い森の部分についても色を表現することが可能であり、この部分は比較的明るい森の画像５２ｂ１と比較的暗い森の画像５２ｂ２とが表現されている。

これに対し、本実施の形態における部分再現性重視モードのＨＤＲ合成では、合成画像を構成する複数の撮像画像がそのまま用いられる。図３Ｃは図３Ｂに対応したものであり、部分再現性重視モードにおけるＨＤＲ合成画像の輝度レベルを示している。図３Ｃは３枚の撮像画像を合成して１枚の合成画像を生成した例を示している。合成に用いられた各撮像画像は、撮影時の撮影条件及び画像処理が相互に異なり、領域判定部１４ａが判定した再現性重視領域内では、同一の撮影条件及び画像処理が適用されている。このため、図３Ｃに示すように、各撮像画像の境界部分が不連続となることがある反面、垂直画素位置ＹＩ０〜ＹＩ１，ＹＩ１〜ＹＩ２，ＹＩ２〜ＹＩ３の各範囲の輝度変化は被写体光学像の輝度変化を忠実に再現しており、再現性重視領域内では、被写体光学像の再現性に優れている。

また、鑑賞性重視モードにおけるＨＤＲ合成では、画像の全体が適正レベル範囲に入るように輝度レベル分布が圧縮されるのに対し、部分再現性重視モードにおけるＨＤＲ合成では、再現性重視領域が適正レベル範囲に入るように輝度レベル分布が設定されるので、再現性重視領域内の輝度変化が比較的大きく、再現性重視領域毎の画像のダイナミックレンジが大きく、画像解析に有利な画像が得られる。

従って、本実施の形態の部分再現性重視モードにおけるＨＤＲ合成を採用すると、撮影範囲の暗い部分も明るい部分もそれぞれ適正な明るさで、且つ十分なダイナミックレンジを有し、観察や画像解析に有利な画像が得られる。

図４Ａ、図４Ｂ及び図５Ａ〜図５Ｃは鑑賞性重視モードと部分再現性重視モードにおける深度合成処理を説明するための説明図である。深度合成処理では、同一画角の同一被写体についてのピント位置が異なる複数枚の撮像画像を取得する。

図４Ａの撮像画像６１は、実線によってトンボ６２の前ばね６２ｂにピントが合っており、破線によって頭６２ａ、後ばね６２ｃ及び腹６２ｄにはピントが合っていないことを示している。即ち、画像６１は前ばね６２ｂにピントを合わせて撮影されて得られた画像である。

図５Ａ〜図５Ｃは横軸に垂直線Ｙ上の各垂直画素位置ＹＩ０〜ＹＩ３をとり縦軸に被写体までの距離の逆数をとって、垂直線Ｙ上の合焦状態分布を示している。図５Ａは図４Ａの垂直線Ｙ上の合焦状態分布であって、前ばね６２ｂにピントを合わせた状態で撮影された場合の合焦状態分布を示している。垂直画素位置ＹＩ０〜ＹＩ１の範囲は、合焦範囲内の遠端と近端との間の被写体の画像部分及び合焦範囲内の遠端と近端との間以外の被写体の画像部分を含む。垂直画素位置ＹＩ１〜ＹＩ２の範囲は、合焦範囲内の被写体の画像部分である。垂直画素位置ＹＩ２〜ＹＩ３の範囲は、合焦範囲内の遠端よりも遠い被写体の画像部分である。

鑑賞性重視モードにおける通常の深度合成では、遠端から近端までピント位置を変化させて複数回の撮像を行って合成する。図５Ｂの破線はこの合成画像の合焦状態分布を示している。通常の深度合成では、画像全体で鑑賞性に優れた画像とするために、画像各部においてピントがあった複数枚の撮像画像を取得し、主要被写体については合焦状態分布が合焦状態の遠端と近端との間に入るように画像処理を行う。図５Ｂの例は、実線にて合焦状態を示すピント位置が異なる３枚の撮像画像を単に合成するだけでなく、各画像の境界部分において、連続的な合焦状態（破線）が得られるように画像処理が施されている。

図４Ｂはこうして生成された深度合成画像６３を示している。即ち、この深度合成画像６３は、トンボ６２の全域に亘ってピントが合っていることを実線にて示してある。

これに対し、本実施の形態における部分再現性重視モードの深度合成では、合成画像を構成する複数の撮像画像がそのまま用いられる。図５Ｃは図５Ｂに対応したものであり、部分再現性重視モードにおける深度合成画像の合焦状態分布を示している。図５Ｃは３枚の撮像画像を合成して１枚の合成画像を生成した例を示している。合成に用いられた各撮像画像は、撮影時の撮影条件及び画像処理が相互に異なり、領域判定部１４ａが判定した再現性重視領域内では、同一の撮影条件及び画像処理が適用されている。このため、図５Ｃに示すように、各撮像画像の境界部分が不連続となることがある反面、垂直画素位置ＹＩ０〜ＹＩ１，ＹＩ１〜ＹＩ２，ＹＩ２〜ＹＩ３の各範囲の合焦状態分布は被写体光学像の合焦状態分布を忠実に再現しており、再現性重視領域内では、被写体光学像の再現性に優れている。

従って、本実施の形態の部分再現性重視モードにおける深度合成を採用すると、再現性重視領域内では、観察や画像解析に有利な画像が得られる。

信号処理部１２は、画像合成が行われた場合には、各合成画像の画像ファイルに、通常の鑑賞性重視モードによって生成された画像であるか部分再現性重視モードによって生成された画像であるかを示すタグを付加するようになっている。なお、信号処理部１２は、画像ファイル中の画像データ部分を記録部４０の画像記録部４１に記録し、タグデータを付随情報記録部４２に記録する。

更に、本実施の形態においては、信号処理部１２は、画像合成中の各再現性重視領域がいずれの撮像画像を用いたものかについて、その撮像画像の撮影条件及び画像処理の内容と共に、タグデータとして付随情報記録部４２に記録するようになっている。

ところで、上述したように、再現性重視領域内では同一の撮影条件及び画像処理が設定されるが、再現性重視領域毎に撮影条件及び画像処理を変化させてもよい。これにより、各再現性重視領域において、より画像解析等に有利な画像を得ることができる。

図６Ａ，６Ｂ及び図７は再現性重視領域毎に撮影条件及び画像処理を変化させる場合の例を説明するための説明図である。図６Ａ及び図６Ｂはそれぞれ図２Ａ又は図２Ｂに対応しており、画像処理の変化を明瞭に示すために被写体（画像構成物）として「温泉」の看板が撮像されているものとして、撮像画像７１及び合成画像７２にはそれぞれ当該看板の画像７２ａ，７２ｂを含む例を示している。

図７は各被写体（画像構成物）に対する画像処理の処理内容を示している。領域判定部１４ａは、撮像画像に対する画像解析によって、画像中の各被写体を画像構成物（対象物）として判定する。そして、画像処理部１４ｂは、領域判定部１４ａが判定した画像中の対象物の種類に応じて適切な画像処理を実行する。なお、対象物の種類毎の画像処理の内容については、記録部４０にデータベースとして記録されているものとする。

例えば、被写体が「空」である場合には、適応処理部１４ｂは、画像のコントラストを低く階調を少なくすると共に、色判定及びノイズ判定処理を高精度に行う。また、例えば、被写体が「山」又は「森」である場合には、適応処理部１４ｂは、コントラストを高くして通常の階調にする。また、例えば、被写体が「文字」である場合には、適応処理部１４ｂは、コントラストを高くして２値化する。この２値化によって、文字部分が明瞭となる。

図６Ａの看板の画像７１ａは、ハッチングによって文字部分と背景部分とのコントラストが比較的小さく、文字の判別が多少困難であることを示している。これに対し、図６Ｂの看板の画像７２ａは、この画像部分を高コントラスト化して２値化しているので、文字部分が明瞭となっている。

次に、このように構成された実施の形態の動作について図８から図１１を参照して説明する。図８はＨＤＲ合成モードにおける撮像タイミングチャートを示し、図９は画像合成モードが指定されている場合のカメラ制御を示すフローチャートである。また、図１０Ａ及び図１０Ｂは画像ファイルに記録される内容を説明するための説明図であり、図１０Ａは通常の画像ファイルを示し、図１０Ｂは合成画像の画像ファイルを示している。また、図１１は深度合成による部分再現性重視モードの合成画像を示す説明図である。

図９のステップＳ１において、制御部１１は、撮影モードが指定されているか否かを判定する。撮影モードが指定されている場合には、制御部１１は、ステップＳ２においてスルー画用の撮像画像を取得する。即ち、制御部１１は、信号処理部１２に指示を与えて、撮像部２０に被写体を撮像させ、画像処理部１４は撮像部２０からの撮像画像に所定の画像処理を施して表示部３０に与える。表示部３０は、スルー画を表示画面上に表示すると共に、オートフォーカス機能及び自動露出機能により、ピント位置及び標準露出の設定を行う（ステップＳ３）。本実施の形態においては、適応処理部１４ｂは、撮像画像に対してＨＤＲ合成処理を行って、ＨＤＲ合成画像をスルー画として表示部３０の表示画面上に表示させることもできる。

図８はライブビューの撮像タイミング、取得した撮像画像、合成処理、鑑賞用途と画像データ用途用の合成画像を示している。信号処理部１２は、スルー画表示時にＨＤＲ合成画像を表示させるために、撮像毎に露出を変化させている。図８の例では、１画像毎に露出オーバーでの撮影と露出アンダーでの撮影を交互に行う。そして、適応処理部１４ｂは、露出オーバーと露出アンダーの２つの撮像画像を合成処理して、スルー画用のＨＤＲ合成画像（ＨＤＲＬＶ）を生成する。こうして、ライブビュー表示において、ＨＤＲ合成された見やすい画像が表示される。

更に、本実施の形態においては、領域判定部１４ａはスルー画を利用して、画像中の対象物を判定する。なお、領域判定部１４ａは、例えば、対象物の領域を再現性重視領域に設定してもよく、対象物を含む矩形等の再現性重視領域を設定してもよい。

制御部１１は、ステップＳ４において、モード切換の指示があったか否かを判定する。モード切換の指示が発生した場合には、制御部１１はステップＳ５において、指示されたモードの各種設定を行った後、ステップＳ６に処理を移行する。

こうして、制御部１１は、所定のモードにおいて、静止画レリーズスイッチ（ＳＷ）が操作されたか否かを判定する（ステップＳ６）。静止画レリーズＳＷが操作されると、制御部１１はステップＳ７において、部分再現性重視モードが指定されているか否かを判定する。

いま、鑑賞性重視モードでの画像合成が指定されているものとする。この場合には、制御部１１は、処理をステップＳ７からステップＳ８に移行する。適応処理部１４ｂは、ステップＳ８において、画像全体で鑑賞性に優れた画像合成を行う。図８の例では、適応処理部１４ｂは露出オーバー（露出Ａ）で撮影して得た撮像画像と露出アンダー（露出Ｂ）で撮影して得た撮像画像とを用いて、通常のＨＤＲ合成処理を行う。通常のＨＤＲ合成では、上述したように、２つの撮像画像をそのまま用いて合成するだけでなく、各撮像画像の境界領域等における画像処理によって、画像全体として違和感のない陰影が得られるように、画像処理が施される。
つまり、この場合、合成画像は、全く異なる撮影条件で得られた画像を合成したものであるにも拘わらず、あたかも人間の目が脳での理解や処理を含めて、異なる領域があっても視野内の景色や対象物を一つの一連の情景、一枚の画像として判断するのにふさわしい表現となっている。それゆえに、その境界領域には、部分ごと、領域ごとに徐々に変わるような処理がかかっており、そこでは合成前の元のデータが、場所ごとに微妙な修正がかかり、特に、その境界の連続性を得るための処理がかかった部分は、ひとことでここは、この条件で撮った画像、と言えなくなってしまう。ただし、連続性重視処理が行われていない領域もある場合は、その部分に関してはその限りではない。つまり、その部分は後述のステップＳ１１で得られる画像と変わらない場合もある。よって、このステップＳ１１の画像と同様の部分を指定するような領域情報を持ってもよい。この工夫で、ステップＳ８とステップＳ１１の画像を両方得る必要はなくなる。ただし、連続性処理が行われた境界部の画像データは、比較的に、先に述べたデータ再現性、信頼性に劣ったデータとなってしまう。

信号処理部１２は、ステップＳ９において、生成した合成画像のサムネイルを作成し、ステップＳ１０において、記録部４０に画像ファイルを記録する。即ち、信号処理部１２は、画像データを画像記録部４１に記録し、メタデータを付随情報記録部４２に記録する。

図１０Ａは鑑賞性重視モードにおいて作成される静止画ファイルを示している。静止画ファイルは、画像記録部４１に記録される画像データを含む。また、画像ファイル中の画像データ以外のデータは、付随情報記録部４２に記録される。サムネイルは、ステップＳ９において生成されたものである。対応動画、音声情報は、画像データに対応して動画が撮影され音声が取得された場合に記録される動画情報と音声情報である。

本実施の形態においては、静止画ファイルは、当該静止画ファイルが鑑賞性重視モードにおいて取得されたものであることを示す鑑賞性重視タグを含む。また、撮影時情報Ａ，Ｂは、当該静止画ファイルが２つの撮像画像を合成して作成されたこと、及びこれらの２つの撮像画像の取得時の撮影時の情報（日時、感度、シャッタスピード（ＳＳ）及び絞り）を示している。

次に、部分再現性重視モードが指定されたものとする。この場合には、制御部１１は、ステップＳ７から処理をステップＳ１１に移行して、部分再現性重視モードにおける画像合成を行う。適応処理部１４ｂは、ステップＳ３において設定された再現性重視領域毎に、合成前の１枚の撮像画像を用いて画像を生成する。再現性重視領域に用いられる各撮像画像は、当該再現性重視領域については、被写体の再現性に優れた画像である。
つまり、この領域はこうで、この領域はこう、と特定の処理が明確化できる画像であり、その領域と領域の間の徐々に変化するような処理は施されていないので、再現性にすぐれ、各領域の処理の特徴を簡単に表現が可能となる。また、その不連続となる領域の情報を同時に記録してもよい。不連続であるがゆえに、領域の区分は後で確認がしやすいので、あえて領域情報を持たずとも分析がしやすい。例えば、再現性重視領域内では、ピントが合い、適正露出であり、場合によっては、測定等の用途に応じた画像処理が施されている。

例えば、図６Ａの看板の画像７１ａ部分は、高コントラスト化及び２値化によって、文字認識処理に優れた画像となっている。なお、例えば、看板の文字サイズを判定する用途等では高コントラスト化及び２値化を必要としない場合もあり、この場合には、ピントが合い、適正露出の画像であって、画像処理が施されていない再現性重視領域が採用されることもある。
ここで、ステップＳ７での分岐は必ずしも必要ではなく、ステップＳ８、ステップＳ１１で得られる画像を選択的にではなく、同時に得られるようなシステムもあり得る。この場合、例えば、連続性がない画像をいきなり人が見ると、何が写っているか分からないことがあるので、まず、観賞性重視画像を見せて確認するようにして、その後、ステップＳ１１の被写体像の再現性に優れた画像を、何かの装置で測定用に用いるといった使われ方が想定できる。

適応処理部１４ｂは、部分再現性重視モードでは、再現性重視領域毎に使用する１つの撮像画像のみを選択し、他の撮像画像の情報を用いない。従って、部分再現性重視画像は、再現性重視領域の境界部分において画像が不連続になることがある反面、再現性重視領域内では被写体の再現性に優れている。

図８の例では、部分再現性重視モードを測定用の合成画像の生成に用いた例を示しており、露出Ａの撮像画像と露出Ｂの撮像画像を用いて作成した測定用合成画像を示している。図８の測定用合成画像中のＡ，Ｂはそれぞれ露出Ａの撮像画像を用いた再現性重視領域と露出Ｂの撮像画像を用いた再現性重視領域とを示している。

また、図１１は被写体としてトンボと花を含む画像を、部分再現性重視モードによって深度合成した例を示している。合成画像８１は、トンボ８２ａの画像を含む再現性重視領域８２と花８３ａの画像を含む再現性重視領域８３とを含む。再現性重視領域８２，８３は、トンボ８２ａ又は花８３ａの被写体距離に適したピント位置でそれぞれ撮影されて取得された各撮像画像によって生成されており、トンボ８２ａ及び花８３ａはピントが合っている。これに対し、再現性重視領域８２，８３以外の部分では、破線にて示すように、ピントが合っておらず、また、花８３ａの茎８４の画像は再現性重視領域８２内においては、ピントがずれている。

信号処理部１２は、ステップＳ１２において、生成した合成画像のサムネイルを作成する。この場合には、視認性を重視して、通常のＨＤＲ合成処理によって生成した合成画像を元にサムネイルを生成する。即ち、このサムネイルは、ステップＳ９において生成されたサムネイルの画像情報と同様の情報であり、領域間の連続性を犠牲にしない画像合成をサムネイル化して得たものである。もちろん、それに特化した用途の場合などは、連続性を犠牲にした画像を縮小してサムネイル化したものでもよい。

信号処理部１２は、ステップＳ１３において、記録部４０に画像ファイルを記録する。即ち、信号処理部１２は、画像データを画像記録部４１に記録し、メタデータを付随情報記録部４２に記録する。

図１０Ｂは部分再現性重視モードにおいて作成される静止画ファイルを示している。この静止画ファイルは、画像記録部４１に記録される画像データを含む。また、画像ファイル中の画像データ以外のデータは、付随情報記録部４２に記録される。部分再現性重視モードにおいても、鑑賞性重視モードと同様に、対応動画の情報及び音声情報を有する。

部分再現性重視モードにおいては、当該静止画ファイルが部分再現性重視モードにおいて取得されたものであることを示す再現性重視タグを含む。また、撮影時情報Ａ，Ｂは、鑑賞性重視モードと同様に、当該静止画ファイルが２つの撮像画像を合成して作成されたこと、及びこれらの２つの撮像画像の取得時の撮影時の情報（日時、感度、シャッタスピード（ＳＳ）及び絞り）を示している。更に、部分再現性重視モードにおいては、各撮像画像が合成画像中のいずれの再現性重視領域に用いられているかを示す領域情報が記録されている。なお、記録された画像データに対する画像解析によって再現性重視領域が判定可能である場合もある。この場合には、再現性重視領域の情報の記録は省略してもよい。

このように、各画像ファイルは、タグによって、鑑賞性重視モードにおいて得られた合成画像であるか又は部分再現性重視モードにおいて得られた合成画像であるかが明らかであり、また、部分再現性重視モードにおいて、各撮像画像がいずれの再現性重視領域に用いられているかも明らかである。

図９のステップＳ１において、撮影モードが指示されていない場合には、制御部１１は、ステップＳ２１に移行して再生モードが指定されているか否かを判定する。制御部１１は、再生モードが指定されていない場合には、指定された他のモードに移行する。

再生モードが指定されると、制御部１１は、ステップＳ２２において、記録部４０に記録されている画像を選択するためのアイコン一覧表示を行う。制御部１１は、次のステップＳ２３において、画像が選択されたか否かを判定する。ユーザがアイコン一覧表示から所定の画像を選択すると、制御部１１は、ステップＳ２３からステップＳ２５に処理を移行して、選択操作に基づく画像を選択して再生して、表示部３０の表示画面上に表示させる。なお、制御部１１は、画像選択操作がない場合には、次のステップＳ２４において戻る操作があったか否かを判定し、戻る操作があった場合には処理をステップＳ１に戻し、無かった場合には処理をステップＳ２２に戻す。

ステップＳ２５における画像の表示中に、制御部１１は、詳細表示の表示を指示する操作が発生したか否かを判定する（ステップＳ２６）。制御部１１は、詳細表示の表示指示が発生した場合には、処理をステップＳ２７に移行して、付随情報記録部４２から読出したメタデータに基づく表示（メタデータ表示）を表示部３０に表示させる。これにより、例えば、図１０Ａ又は図１０Ｂのメタデータの内容が表示される。この表示によって、ユーザは撮像画像についての撮影情報、合成画像がいずれのモードで得られたものであるか、合成画像の作成に用いた各撮像画像の撮影情報及び各再現性重視領域にいずれの撮像画像が用いられているか、等について認識することができる。

詳細表示の表示指示がなかった場合又はメタデータ表示の表示中において、制御部１１は、外部送信指示が発生したか否かを判定する（ステップＳ２８）。外部送信指示が発生すると、信号処理部１２は、通信部１５を制御して、選択されている画像の画像ファイルを設定された送信先に送信する。

なお、制御部１１は、外部送信指示が無い場合又は外部送信の終了後のステップＳ３０において、戻る操作があったか否かを判定し、戻る操作があった場合には処理をステップＳ１に戻し、無かった場合には処理をステップＳ２５に戻す。

このように本実施の形態においては、複数の撮像画像を合成して合成画像を生成する場合において、合成画像全体として鑑賞性に優れた合成画像を得る鑑賞性重視モードと画像の部分部分で被写体の再現性に優れた部分再現性重視モードとを指定して画像合成を行うことができる。部分再現性重視モードにおいては、再現性重視領域内において、被写体の再現性に優れた画像を得ることができ、科学技術用途や測定用途等において、極めて有用な画像を得ることができる。また、合成画像の画像ファイルは、鑑賞性重視モードと部分再現性重視モードのいずれで作成されたものであるかを示すタグデータ、各再現性重視領域がいずれの撮像画像を用いたものであるかを示す情報等を含んでおり、合成画像の利用時の利便性が高い。

（第２の実施の形態）
図１２は本発明の第２の実施の形態において採用される画像合成処理を示すフローチャートである。また、図１３Ａ及び図１３Ｂは本実施の形態において作成される画像ファイルを示す説明図である。本実施の形態のハードウェア構成は図１と同様である。本実施の形態は動画撮影に適用したものである。

図１２のステップＳ３１において、制御部１１は、撮影モードが指定されているか否かを判定する。撮影モードが指定されていない場合には、制御部１１は撮影モード以外の指定されたモードを実行する。撮影モードが指定されている場合には、制御部１１は、ステップＳ３２，Ｓ３３においてスルー画用の撮像画像を取得する。即ち、制御部１１は、信号処理部１２に指示を与えて、画像取得条件Ａ，Ｂを用いて撮像部２０に被写体を撮像させ、画像処理部１４は撮像部２０からの撮像画像（動画像）に所定の画像処理を施す。更に、画像処理部１４は、ステップＳ３４において画像取得条件Ａ，Ｂによって取得された２種類の撮像画像（動画像Ａ，Ｂ）に対して、画像全体として鑑賞性を重視した合成処理を行う。この合成動画像が表示部３０に与えられてスルー画として用いられる。

制御部１１は次のステップＳ３５において、ステップＳ３２，Ｓ３３において取得した画像の被写体変化が小さいか否かを判定する。制御部１１は、被写体変化が比較的大きい場合には、ステップＳ３６において、画像の連続性を重視し、ステップＳ３４で取得した合成画像に代えて、最新画像を必要に応じて補正したスルー画像を表示する。制御部１１は、次のステップＳ５１において、動画撮影が指示されたか否かを判定する。

一方、被写体変化が小さい場合には、制御部１１は、ステップＳ３７〜Ｓ４２において、部分再現性重視モードの再現性重視領域を判定するための処理を行う。即ち、領域判定部１４ａは、ステップＳ３７において、取得した２種類の画像を加算し、所定の領域毎に画像判定を行う（ステップＳ３８）。領域判定部１４ａは、画像判定結果に従って、各再現性重視領域に取得した動画像Ａ，Ｂを割当てる（ステップＳ３９）。例えば、画像取得条件Ａ，ＢがＨＤＲ合成処理のための露出アンダーと露出オーバーの条件である場合には、合成画像中の比較的暗い領域に露出オーバーの条件によって取得された動画像を割当て、比較的明るい領域に露出アンダーの条件によって取得された動画像を割当てる。

制御部１１は、次のステップＳ４０において、部分再現性重視モード（再現性重視）が指定されているか否かを判定し、部分再現性重視モードが指定されている場合には再現性重視フラグを設定し（ステップＳ４１）、そうでない場合にはステップＳ４２において再現性重視フラグを解除した後、ステップＳ５１に移行する。

制御部１１は、ステップＳ５１において、動画撮影操作が行われたか否かを判定し、動画撮影操作が行われていない場合にはステップＳ６１において静止画撮影操作が行われたか否かを判定する。制御部１１は、ステップＳ６１において、静止画撮影操作が行われたことを検出すると、ステップＳ６２において、部分再現性重視モードが指定されているか否かを判定する。部分再現性重視モードが指定されていない場合には、適応処理部１４ｂは、ステップＳ６３において、領域間の連続性を考慮した画像補正を伴う合成処理を行う。これにより、合成画像中の１枚の画像は、全体として鑑賞性に優れたものとなり、生成される静止画は画像全体として、連続的で見やすい画像となる。

また、部分再現性重視モードが指定されている場合には、適応処理部１４ｂは、ステップＳ５４において、ステップＳ３９において割当てた再現性重視領域別の画像データを用いて１枚の合成画像を得る。この場合には、画像取得条件Ａ，Ｂで取得された各画像は、それぞれ画像補正されることなく、そのまま各再現性重視領域用として用いられ保存されることになる。制御部１１は、ステップＳ６６において、時刻、撮影情報等と共に取得した静止画像をファイル化して処理をステップＳ３１に戻す。

図１３Ａはこの場合において記録部４０に記録される静止画ファイルを示している。この静止画ファイルは、画像記録部４１に記録される静止画の画像データを含む。また、画像ファイル中の画像データ以外のデータは、付随情報記録部４２に記録される。

図１３Ａの例では、鑑賞性重視モードの静止画の場合には、鑑賞性重視タグが“１”で、再現性重視タグが“０”に設定され、部分再現性重視モードの静止画の場合には、鑑賞性重視タグが“０”で、再現性重視タグが“１”に設定される。他のメタデータについては、図１０Ａ又は図１０Ｂと同様である。

次に、制御部１１がステップＳ５１において、動画撮影操作を検出するものとする。この場合には、制御部１１は、次のステップＳ５２において、部分再現性重視モードが指定されているか否かを判定する。部分再現性重視モードが指定されていない場合には、適応処理部１４ｂは、ステップＳ５３において、領域間の連続性を考慮した画像補正を伴う合成処理を行う。これにより、合成動画像中の各コマの画像は、全体として鑑賞性に優れたものとなり、生成される動画は画像全体として、連続的で見やすい画像となる。

また、部分再現性重視モードが指定されている場合には、適応処理部１４ｂは、ステップＳ５４において、ステップＳ３９において割当てた再現性重視領域別の画像データを保存する。この場合には、画像取得条件Ａ，Ｂで取得された各動画像は、それぞれ画像補正されることなく、そのまま各再現性重視領域用として用いられて保存されることになる。

制御部１１は、ステップＳ５５において、動画撮影の終了が指示されたか否かを判定する。動画撮影の終了操作が行われた場合には、制御部１１は、ステップＳ５６において、時刻、撮影情報等と共に取得した動画像をファイル化して処理をステップＳ３１に戻す。なお、制御部１１は、ステップＳ５５において動画撮影の終了が指示されていないと判定した場合には、次のステップＳ５７において静止画記録が指示されたか否かを判定する。制御部１１は、静止画記録が指示された場合には、処理をステップＳ６２に移行して静止画記録のための処理を行い、静止画記録が指示されていない場合には、処理をステップＳ３１に戻す。

図１３Ａは記録部４０に記録される動画ファイルを示している。この動画ファイルは、画像記録部４１に記録される動画の画像データを含む。また、画像ファイル中の画像データ以外のデータは、付随情報記録部４２に記録される。

付随情報記録部４２に記録されるサムネイルは視認性を重視して、領域間の連続性を維持しながら合成した画像をサムネイル化したものである。もちろん、視認しない用途や、もとから視認性は重要でない場合は連続性を維持しない画像からサムネイルを作ってもよい。また、動画ファイルに対応する静止画や音声がある場合には、対応静止画の情報や音声情報が記録される。また、メタデータは、撮像画像の取得時の撮影時の情報（日時、感度、シャッタスピード（ＳＳ）及び絞り）を含む。

また、動画のメタデータには、動画に用いた各コマの情報、再現性重視領域の情報及び各領域についての処理内容の情報を含む。また、動画は、鑑賞性重視期間と再現性重視期間とが混在することを考慮して、メタデータに、これらの期間、即ち、鑑賞性重視タグの設定期間と再現性重視タグの設定期間の情報を含む。これにより、動画の各期間の各再現性重視領域の画像について、メタデータにより各種情報を取得することができる。

このように本実施の形態においては、第１の実施の形態と同様に、鑑賞用途だけでなく画像データ用途としても有用な合成画像を、いずれの用途用であるかを識別可能に取得（撮像、記録、利用など）することができるという効果を有する。また、本実施の形態は部分再現性重視モードでの動画像の取得及び記録が可能であり、動画の各期間において、いずれのモードによる動画像が取得されたか、また、各領域に用いた動画像がいずれの動画像であるかを認識することができる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。

また、ピントの合わせ方は、従来のカメラのように、ピント調整レンズを動かすもののみならず、撮像素子を動かすものもあり、これらの位置関係を固定で、固定焦点でカメラ全体を動かして複数画像を得るものもある。また、複眼で、複数のピント位置を撮像可能にしておき、ピント（フォーカス）位置の異なる複数の画像を得るものもある。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の画像処理装置を実現することができる。

１…撮像装置、１０…画像処理装置、１１…制御部、１２…信号処理部、１３…画像取得部、１３ａ…撮影条件設定部、１４…画像処理部、１４ａ…領域判定部、１４ｂ…適応処理部、１６…センサ部、１８…操作判定部、２０…撮像部、２１…撮影条件変更部、３０…表示部、４０…記録部、４１…画像記録部、４２…付随情報記録部、４３…対象物分類ＤＢ。

Claims (8)

1. 異なる撮影条件で撮影された複数の撮像画像を取得する画像取得部と、
   上記複数の撮像画像を用いて合成画像を生成するものであって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを有する合成制御部と
   を具備したことを特徴とする画像処理装置。
2. 上記部分再現性重視モードは、上記合成画像中の各領域内において、上記撮影条件及び上記撮像画像に対する画像処理が変化しない
   ことを特徴とする請求項１に記載の画像処理装置。
3. 上記鑑賞性重視モードと上記部分再現性重視モードとを区別する情報を付加して上記合成画像を記録する記録制御部
   を更に具備することを特徴とする請求項１に記載の画像処理装置。
4. 上記撮像画像中の被写体を判定して、上記領域を決定する領域判定部
   を更に具備することを特徴とする請求項１に記載の画像処理装置。
5. 上記画像取得部は、上記合成画像中の各領域に用いる撮像画像として、合焦状態で且つ適正露出の画像を取得する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 異なる撮影条件で撮影された複数の撮像画像を取得する手順と、
   上記複数の撮像画像を用いて合成画像を生成する手順であって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを選択して上記合成画像を生成する手順と
   を具備したことを特徴とする画像処理方法。
7. コンピュータに、
   異なる撮影条件で撮影された複数の撮像画像を取得する手順と、
   上記複数の撮像画像を用いて合成画像を生成する手順であって、上記複数の撮像画像を画面全体で合成して上記合成画像を得る鑑賞性重視モードと上記複数の撮像画像の各撮像画像を上記合成画像中の各領域の画像として選択的に用いて上記合成画像を得る部分再現性重視モードとを選択して上記合成画像を生成する手順と
   を実行させるための画像処理プログラム。
8. 上記請求項１から５のいずれか１つに記載の画像処理装置と、
   異なる撮影条件で被写体を撮像して上記複数の撮像画像を得る撮像部と
   を具備したことを特徴とする撮像装置。

Images