JP2018042200A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】動画の記録中に静止画ならではの画像を生成することが可能な撮像装置及び撮像方法を提供すること。【解決手段】撮像装置１００は、撮影条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部１０２と、複数の画像データのそれぞれによって構成される複数の動画コマからなる動画データを生成する第１の画像処理部１０６ａと、それぞれの画像データ群に属する複数の画像データ又は画像データ群に属していない複数の画像データを合成して条件変更静止画データを生成する第２の画像処理部１０６ｂとを備える。【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

近年の撮像装置は、有線通信又は無線通信によってテレビジョン受像機（テレビ）と接続できるようになっている。これにより、ユーザは、撮像装置で取得された画像をテレビの大画面で見ることができる。
撮像装置は、テレビに対する魅力的なコンテンツを提供することができる装置となり得る。

例えば特許文献１において提案されている撮像装置は、ＨＤＲ動画記録中において静止画撮影指示があった場合にはＨＤＲ動画記録中に得られた露出条件の異なる複数の画像を合成してＨＤＲ静止画を記録している。

特開２０１５−５６８０７号公報

ここで、特許文献１で生成される静止画は、あくまでも動画撮影中に取得された画像データを合成することによって得られるものであって、動画と同等の画質である。これでは、動画のコマを加工して静止画を得るのと差異がない。

本発明は、前記の事情に鑑みてなされたもので、動画の記録中に静止画ならではの画像を生成することが可能な撮像装置及び撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮影条件を変更した複数の画像コマを順次に取得する撮像部と、前記撮影条件を変更して得られた複数の画像コマの間の連続性を保つための画像処理を施して動画データを生成する第１の画像処理部と、前記撮影条件を変更した複数の画像コマを合成して条件変更静止画データを生成する第２の画像処理部とを具備することを特徴とする撮像装置。

前記の目的を達成するために、本発明の第２の態様の撮像装置は、撮影条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、複数の前記画像データのそれぞれによって構成される複数の動画コマからなる動画データを生成する第１の画像処理部と、それぞれの前記画像データ群に属する複数の画像データ又は前記画像データ群に属していない複数の画像データを合成して条件変更静止画データを生成する第２の画像処理部とを具備することを特徴とする。

前記の目的を達成するために、本発明の第３の態様の撮像方法は、撮像部により、撮影条件を変更した複数の画像コマを順次に取得することと、前記撮影条件を変更して得られた複数の画像コマの間の連続性を保つための画像処理を施して動画データを生成することと、前記撮影条件を変更した複数の画像コマを合成して条件変更静止画データを生成することとを具備することを特徴とする。

前記の目的を達成するために、本発明の第４の態様の撮像方法は、撮像部により、撮影条件の異なる複数の画像データからなる画像データ群を順次に取得することと、複数の前記画像データのそれぞれによって構成される複数の動画コマからなる動画データを生成することと、それぞれの前記画像データ群に属する複数の画像データ又は前記画像データ群に属していない複数の画像データを合成して条件変更静止画データを生成することとを具備することを特徴とする。

本発明によれば、動画の記録中に静止画ならではの画像を生成することが可能な撮像装置及び撮像方法を提供することができる。

本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。 本発明の一実施形態に係る撮像装置のメインの処理について示すフローチャートである。 本発明の一実施形態に係る撮像装置のメインの処理について示すフローチャートである。 動作モードアイコンの表示例を示す図である。 スルー画表示及び撮影モードアイコンの表示例を示す図である。 設定画面の表示例を示す図である。 効果確認の処理を示すフローチャートである。 画像データの一覧表示の例を示す図である。 比較表示の例を示す図である。 拡大表示の例を示す図である。 合成処理の例を示す図である。 ＨＤＲ静止画を生成するように設定されている場合の条件変更動画撮影の処理を示すタイミングチャートである。 超解像静止画を生成するように設定されている場合の条件変更動画撮影の処理を示すタイミングチャートである。 動画ファイルの構造を示す図である。 条件変更静止画ファイルの構造を示す図である。 動画データと静止画データとを１つのファイルに記録する場合の動画ファイルの構造を示す図である。 その他の処理について示すフローチャートである。 その他の処理について示すフローチャートである。 外部表示機器での画像の再生例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、スマートフォン、カメラ機能付き携帯電話機といった撮像機能を有する各種の機器である。図１に示す撮像装置１００は、撮像部１０２と、記憶部１０４と、画像処理部１０６と、再生部１０８と、表示部１１０と、記録部１１２と、通信部１１４と、操作部１１６と、制御部１１８と、マイク１２０とを有している。ここで、撮像装置１００の各ブロックは、例えばハードウェアとソフトウェアとの組み合わせによって構成されている。撮像装置１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又は複数のソフトウェアによって構成されていてもよい。

撮像部１０２は、撮像光学系１０２ａと、撮像素子１０２ｂと、駆動部１０２ｃとを有している。撮像光学系１０２ａは、絞り及びレンズ等を有し、図示しない被写体からの光束を撮像素子１０２ｂに入射させる。また、撮像光学系１０２ａは、合焦状態を調節するためのフォーカスレンズを含んでいる。撮像素子１０２ｂは、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを含み、対象物を撮像し、対象物に係る画像データ（ＲＡＷデータ）を取得する。撮像素子１０２ｂは、撮影の対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。また、本実施形態における撮像素子１０２ｂは、撮像光学系１０２ａに光軸と直交する平面内で移動可能に構成されていてもよい。駆動部１０２ｃは、制御部１１８による制御に従って、撮像光学系１０２ａのフォーカスレンズをその光軸方向に駆動したり、撮像素子１０２ｂを駆動したりする。

記憶部１０４は、例えばＤＲＡＭであり、撮像部１０２で取得された画像データを一時的に記憶する。

画像処理部１０６は、撮像部１０２で取得されて記憶部１０４に記憶された画像データに対して画像処理を施す。画像処理部１０６は、第１の画像処理部１０６ａと、第２の画像処理部１０６ｂと、記録処理部１０６ｃとを有している。

第１の画像処理部１０６ａは、記憶部１０４に記憶された画像データに対して動画データの生成に係る画像処理を施す。後で説明するが、本実施形態においては動画撮影中に撮影条件の異なる複数の画像データが生成される。第１の画像処理部１０６ａは、この撮影条件の異なる複数の画像データから動画データを生成するのに当たり、動画コマ間の連続性を保つための処理を行う。この連続性を保つための処理は、ゲイン調整処理、ぼかし処理、コントラスト強調処理等を含む。

第２の画像処理部１０６ｂは、記憶部１０４に記憶された画像データに対して静止画データの生成に係る画像処理を施す。ここで、本実施形態における静止画データは、通常静止画データ及び条件変更静止画データを含む。通常静止画データは、撮像部１０２によって取得された１つの画像データから生成される静止画データである。条件変更静止画データは、撮像部１０２によって取得された撮影条件の異なる複数の画像データを合成することで構成される静止画データである。条件変更静止画データは、例えばＨＤＲ静止画データ、超解像静止画データ、深度合成静止画データ、流し撮り効果静止画データを含む。

記録処理部１０６ｃは、第１の画像処理部１０６ａ又は第２の画像処理部１０６ｂによって生成された画像データから記録用の画像ファイルを生成するための処理を行う。例えば、記録処理部１０６ｃは、動画データをＨ．２６４方式等の所定の動画圧縮方式で圧縮し、圧縮した動画データに対して所定のタグ情報を付与して動画ファイルを生成する。また、例えば、記録処理部１０６ｃは、静止画データをＪＰＥＧ方式等の所定の静止画圧縮方式で圧縮し、圧縮した静止画データに対して所定のタグ情報を付与して静止画ファイルを生成する。ここで、記録処理部１０６ｃは、静止画ファイルが動画撮影中に生成されたものであるときには、静止画ファイルと動画ファイルとを関連付けるための処理を行う。例えば、記録処理部１０６ｃは、静止画ファイルと動画ファイルとを関連付けるための情報（例えば関連しているファイルのファイル名）をタグ情報として記録する。

再生部１０８は、画像処理部１０６で生成された画像データを再生するための処理を行う。再生部１０８は、第１の再生処理部１０８ａと、第２の再生処理部１０８ｂとを有している。

第１の再生処理部１０８ａは、動画データを表示部１１０又はテレビ２００で再生するための処理を行う。例えば、第１の再生処理部１０８ａは、第１の画像処理部１０６ａで生成された動画データを表示部１１０に入力して表示部１１０における画像の表示を行わせる。また、第１の再生処理部１０８ａは、第１の画像処理部１０６ａで生成された動画データを、通信部１１４を介してテレビ２００に送信することでテレビ２００における画像の表示を行わせる。画像データが圧縮されているときには、第１の再生処理部１０８ａは、圧縮されている画像データを伸長することも行う。この画像処理は動画のなめらかさに影響するので高速の処理であることが好ましい。スルー画などでは即時性も重要である。動画の場合、変化の滑らかさが要求されるので、前後のコマの連続性を考慮して、あえて、応答を遅くした制御なども適宜行う。

第２の再生処理部１０８ｂは、静止画データを表示部１１０又はテレビ２００で再生するための処理を行う。例えば、第２の再生処理部１０８ｂは、第２の画像処理部１０６ｂで生成された静止画データを表示部１１０に入力して表示部１１０における画像の表示を行わせる。また、第２の再生処理部１０８ｂは、第２の画像処理部１０６ｂで生成された静止画データを、通信部１１４を介してテレビ２００に送信することでテレビ２００における画像の表示を行わせる。画像データが圧縮されているときには、第２の再生処理部１０８ｂは、圧縮されている画像データを伸長することも行う。静止画の場合、前後のコマは無関係に、その画像だけで評価されるので、動画のシーン応答途中画像のような表現は好ましくない。つまり、動画では流れの上で露出アンダーの画像であっても、このタイミングで撮られた静止画は適正露出である必要がある。ただし、この画像処理は、限られたコマにだけ適応されるので、比較的時間的な制約、即時性は要求されず、時間よりも得られる画像の表現の適切さや品位などが重要である。また、静止画の場合、プリントに対応することなども求められ、この場合は、さらにプリンタの入力仕様、規格に対応するような処理を伴ってもよい。また、そのために、プリント用画像データを別に持ってもよい。

表示部１１０は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、再生部１０８から入力された画像データに基づく画像等の各種の画像を表示する。

記録部１１２は、例えばフラッシュＲＯＭで構成されている。記録部１１２には、画像処理部１０６の記録処理部１０６ｃで生成された画像ファイルが記録される。また、記録部１１２には、撮像装置１００の制御のために用いられる各種のプログラムが記録されていてもよい。

通信部１１４は、撮像装置１００と外部表示機器であるテレビ２００との通信を仲介するための処理を行う。通信部１１４は、例えばＨＤＭＩ（登録商標）によって撮像装置１００とテレビ２００との通信を仲介する。通信部１１４は、ＷｉＦｉ（登録商標）等の無線通信によって撮像装置１００とテレビ２００との通信を仲介するものであってもよい。さらに、通信部１１４は、外部表示機器以外の機器とも通信できるように構成されていてもよい。

操作部１１６は、ユーザが撮像装置１００の操作をするための操作部材である。操作部１１６は、例えば、レリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタン、タッチパネル等が含まれる。レリーズボタンは、静止画撮影の指示をするための操作部材である。動画ボタンは、動画撮影の開始又は終了を指示するための操作部材である。設定ボタンは、撮像装置１００の設定画面を表示させるための操作部材である。選択キーは、例えば設定画面上での項目の選択や決定をするための操作部材である。電源ボタンは、撮像装置１００の電源をオン又はオフするための操作部材である。タッチパネルは、表示部１１０の表示画面と一体的に設けられており、ユーザの表示画面上でのタッチ操作を検出する。タッチパネルによって前述したレリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタンと同等の操作ができるように構成されていてもよい。さらに、操作部１１６は、前述した以外の他の操作部材を有していてもよい。

制御部１１８は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、撮像装置１００の動作を統括的に制御する。制御部１１８と同等の機能は、ソフトウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。また、制御部１１８の一部の機能は、制御部１１８と別個に設けられていてもよい。

マイク１２０は、入力された音声を電気信号に変換して取得する。

外部表示機器であるテレビ２００は、例えばテレビジョン映像を表示する。また、テレビ２００は、通信部１１４から転送されてきた画像データに基づいて画像を表示する。

次に、本実施形態に係る撮像装置の動作について説明する。図２は、本実施形態に係る撮像装置のメインの処理について示すフローチャートである。図２の処理は、制御部１１８が主体となって行われる。

図２の処理は、電源がオンされたときに開始される。ステップＳ１において、制御部１１８は、ユーザに撮像装置１００の動作モードを選択させるための動作モードアイコンを表示部１１０に表示させるように再生部１０８に指示する。この指示を受けて、再生部１０８は、例えば、図３Ａに示す撮影アイコン３０１、再生アイコン３０２、通信アイコン３０３を表示させる。撮影アイコン３０１は、ユーザが撮像装置１００の動作モードを撮影モードに切り替える指示をするためのアイコンである。再生アイコン３０２は、ユーザが撮像装置１００の動作モードを再生モードに切り替える指示をするためのアイコンである。通信アイコン３０３は、ユーザが撮像装置１００の動作モードを通信モードに切り替える指示をするためのアイコンである。なお、撮影アイコン３０１、再生アイコン３０２、通信アイコン３０３以外の動作モードに対応したアイコンが表示されてもよい。また、図３Ａに示すようなアイコン表示が行われなくてもよい。この場合、例えば電源オン時には、撮像装置１００は、電源オフの直前の動作モードになるようになっていてもよいし、撮影モード、再生モード、通信モードのうちの予め定められた動作モードになるようになっていてもよい。

ステップＳ２において、制御部１１８は、現在の動作モードが撮影モードであるか否かを判定する。すなわち、ユーザによって何れのアイコンが選択されたかを判定することにより、制御部１１８は、現在の動作モードが撮影モードであるか否かを判定する。ステップＳ１において、撮像装置１００の動作モードが撮影モードであると判定されたときに、処理はステップＳ３に移行する。ステップＳ１において、撮像装置１００の動作モードが撮影モードでないと判定されたときに、処理はステップＳ２６に移行する。

ステップＳ３において、制御部１１８は、スルー画表示のために、撮像部１０２による撮像を行わせて画像データを取得する。ステップＳ４において、制御部１１８は、スルー画表示を行う。スルー画表示として、制御部１１８は、画像処理部１０６による信号処理を実行させる。これを受けて、画像処理部１０６は、撮像部１０２において取得されて記憶部１０４に記憶された画像データに対してスルー画表示のために必要な画像処理（ホワイトバランス補正、階調変換、色補正等）を施してスルー画データを生成する。スルー画データの生成後、再生部１０８は、生成されたスルー画データに基づくスルー画３０４を図３Ｂに示すように表示部１１０に逐次に表示させる。また、再生部１０８は、例えば、図３Ｂに示す設定アイコン３０５、動画撮影アイコン３０６、静止画撮影アイコン３０７、戻るアイコン３０８を例えばスルー画３０４の表示領域とは別の表示領域に表示させる。設定アイコン３０５は、ユーザが設定指示をするためのアイコンである。動画撮影アイコン３０６は、ユーザが動画撮影開始及び終了指示をするためのアイコンである。静止画撮影アイコン３０７は、ユーザが静止画撮影指示をするためのアイコンである。戻るアイコン３０８は、ユーザが撮影モードの終了指示をするためのアイコンである。これらの撮影モード用のアイコンは、スルー画３０４に重ねて表示されてもよい。また、設定アイコン３０５、動画撮影アイコン３０６、静止画撮影アイコン３０７、戻るアイコン３０８以外のアイコンが撮影モード用のアイコンとして表示されてもよい。

ステップＳ５において、制御部１１８は、ユーザによって撮像装置１００に対する設定指示がされたか否かを判定する。例えば、ユーザによって設定アイコン３０５が選択された又は設定ボタンが操作されたときに、設定指示がされたと判定される。ステップＳ５において、設定指示がされたと判定されたときには、処理はステップＳ６に移行する。ステップＳ５において、設定指示がされていないと判定されたときには、処理はステップＳ７に移行する。

ステップＳ６において、制御部１１８は、設定画面を表示させるように再生部１０８に指示する。この指示を受けて、再生部１０８は、例えば図３Ｃに示すような設定画面を表示部１１０に表示させる。設定画面の表示後、制御部１１８は、設定画面上でのユーザの操作に従って各種の設定を変更する。設定画面上での設定の終了後、処理はステップＳ７に移行する。図３Ｃの例では、設定画面上に、撮影設定アイコン３０９、条件変更記録アイコン３１０、戻るアイコン３１１が表示される。撮影設定アイコン３０９は、ユーザが撮影時の各種の設定を行うためのアイコンである。撮影設定アイコン３０９を選択することにより、ユーザは、撮影時の露出条件の設定（シャッタスピード及び絞りの設定）、撮影時の記録画質の設定等を行うことができる。また、条件変更記録アイコン３１０は、ユーザが条件変更記録モードに関する各種の設定を行うためのアイコンである。条件変更記録アイコン３１０を選択することにより、ユーザは、条件変更記録モードのオン／オフの設定、動画撮影中の条件変更静止画の記録タイミングの設定、条件変更静止画の合成処理に関する設定をするための効果確認を行うことができる。また、戻るアイコン３１１は、ユーザが設定画面の表示終了を指示するためのアイコンである。

以下、効果確認について説明する。図４は、効果確認の処理を示すフローチャートである。効果確認では、動画撮影中に生成される条件変更静止画データについての各種の設定を、ユーザが実際に条件変更静止画を確認しながら行うことができる。

ステップＳ１０１において、制御部１１８は、効果確認用の画像データを取得する。撮影モード中の効果確認では、制御部１１８は、撮影条件の異なる複数の画像データからなる画像データ群が取得されるように撮像部１０２を制御する。例えば、条件変更静止画としてＨＤＲ静止画の効果確認が行われるときには、制御部１１８は、露出量の異なる複数の画像データからなる画像データ群が取得されるように撮像部１０２を制御する。また、例えば、条件変更静止画として超解像静止画の効果確認が行われるときには、制御部１１８は、撮像素子１０２ｂのずらし方向の異なる複数の画像データからなる画像データ群が取得されるように撮像部１０２を制御する。また、条件変更静止画として深度合成静止画の効果確認が行われるときには、制御部１１８は、フォーカスレンズ位置の異なる複数の画像データからなる画像データ群が取得されるように撮像部１０２を制御する。さらに、条件変更静止画として流し撮り効果静止画の効果確認が行われるときには、制御部１１８は、撮像タイミングの異なる複数の画像データからなる画像データ群が取得されるように撮像部１０２を制御する。効果確認の処理の実行直後のステップＳ１０１の処理においては、撮像回数及び条件の変更量は固定値である。

ステップＳ１０２において、制御部１１８は、取得した画像データの一覧を表示部１１０に表示させるように再生部１０８を制御する。この指示を受けて、再生部１０８は、例えば図５Ａに示すように画像データの縮小画像４０１、４０２、４０３を表示部１１０に表示させる。その後、処理はステップＳ１０３に移行する。図５Ａの例は、ＨＤＲ効果確認が行われるときの表示例である。ここで、縮小画像４０１はノーマル露出の条件での撮像により得られた画像データの縮小画像であり、縮小画像４０２はオーバー露出の条件での撮像により得られた画像データの縮小画像であり、縮小画像４０３はアンダー露出の条件での撮像により得られた画像データの縮小画像である。さらに、再生部１０８は、例えば、調整アイコン４０４、効果確認アイコン４０５、戻るアイコン４０６を表示させる。調整アイコン４０４は、ユーザが合成処理の調整を行うためのアイコンである。ＨＤＲ効果確認アイコン４０５は、ユーザが合成処理の結果を確認するためのアイコンである。戻るアイコン４０６は、ユーザが効果確認処理の終了を指示するためのアイコンである。

ステップＳ１０３において、制御部１１８は、調整をするか否かを判定する。例えば、ユーザによって調整アイコン４０４が選択されたときに調整をすると判定される。ステップＳ１０３において、調整をすると判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０３において、調整をしないと判定されたときには、処理はステップＳ１０５に移行する。

ステップＳ１０４において、制御部１１８は、ユーザの操作に応じて効果確認における合成処理に関する調整を行う。この調整において、ユーザは、静止画の効果確認では、合成処理に用いる画像データの枚数、画像データの露出差等を調整することができる。調整の終了後、処理はステップＳ１０１に戻る。ここで、合成処理に用いる画像データの枚数が初期値よりも多くなった場合及び画像データの露出差の変更があった場合等の、調整によって画像データの再取得が必要となったときには、ステップＳ１０１において画像データの再取得が行われ、ステップＳ１０２における表示は更新される。

ステップＳ１０５において、制御部１１８は、ユーザによって合成処理用の画像データが選択されたか否かを判定する。例えば、図５Ａに示す表示が行われているときに、ユーザは、縮小画像４０１、４０２、４０３をタッチすることによって合成処理用の画像データを選択することができる。ステップＳ１０５においては、合成処理に必要な枚数の画像データがユーザによって選択されたときに、ユーザによって合成処理用の画像データが選択されたと判定される。ステップＳ１０５において、ユーザによって合成処理用の画像データが選択されたと判定されたときに、処理はステップＳ１０６に移行する。ステップＳ１０５において、ユーザによって合成処理用の画像データが選択されていないと判定されたときに、処理はステップＳ１０７に移行する。

ステップＳ１０６において、制御部１１８は、効果確認を行うか否かを判定する。例えば、ユーザによって効果確認アイコン４０５が選択されたときには、効果確認を行うと判定される。ステップＳ１０６において、効果確認を行わないと判定されたときには、処理はステップＳ１０７に移行する。ステップＳ１０６において、効果確認を行うと判定されたときには、処理はステップＳ１０８に移行する。

ステップＳ１０７において、制御部１１８は、ユーザによって戻り指示がされたか否かを判定する。例えば、ユーザによって戻るアイコン４０６が選択されたときには戻り指示がされたと判定される。ステップＳ１０７において、ユーザによって戻り指示がされていないと判定されたときには、処理はステップＳ１０１に戻る。ステップＳ１０７において、ユーザによって戻り指示がされたと判定されたときには、図４の処理は終了する。

ステップＳ１０８において、制御部１１８は、画像処理部１０６の第２の画像処理部１０６ｂに第２の合成処理を実行させる。この指示を受けて、第２の画像処理部１０６ｂは、ユーザによって選択された画像データを合成して条件変更静止画データを生成する。

ステップＳ１０９において、制御部１１８は、比較表示を行うように再生部１０８を制御する。この指示を受けて、再生部１０８は、例えば図５Ｂに示すように合成処理に用いられた画像データの縮小画像４０７、４０８と、合成処理の結果として得られた画像データの縮小画像４０９とを表示部１１０に一覧表示させる。さらに、再生部１０８は、例えば、反映アイコン４１０、戻るアイコン４１１を表示させる。その後、処理はステップＳ１１０に移行する。ここで、反映アイコン４１０は、ユーザが合成処理の結果を後の撮影時に反映させる指示をするためのアイコンである。戻るアイコン４１１は、ユーザが図５Ａの画面への戻り指示をするためのアイコンである。

例えば、ＨＤＲ合成処理では、露出条件の異なる画像データを合成することでダイナミックレンジの広い画像データを取得することが可能である。このときの画像データの選択の仕方や合成比率の設定の仕方によって合成後の画像データの仕上がりが変わる。

図６に示すようなノーマル露出の画像データ５０１、オーバー露出の画像データ５０２、アンダー露出の画像データ５０３のうちの２枚を合成する例にする。例えば、オーバー露出の画像データ５０２とアンダー露出の画像データ５０３とを用いたＨＤＲ合成処理では、第２の画像処理部１０６ｂは、オーバー露出の画像データ５０２において飽和している空の部分についてはアンダー露出の画像データ５０３の合成比率を高く設定し、アンダー露出の画像データ５０３において黒潰れしている木の部分についてはオーバー露出の画像データ５０２の合成比率を高く設定して合成処理を行う。このような合成処理により、高輝度側と低輝度側とにダイナミックレンジが広げられたＨＤＲ静止画データ５０４が生成される。ＨＤＲ静止画データ５０４では、高輝度部である空の部分及び低輝度部である木の部分の両方の色を同時に再現することができる。ただし、中間階調輝度部である山の部分の色再現はノーマル露出の画像データにおける山の部分の色再現とは異なるものになる。

また、ノーマル露出の画像データ５０１とアンダー露出の画像データ５０３とを用いたＨＤＲ合成処理では、第２の画像処理部１０６ｂは、アンダー露出の画像データ５０３において黒潰れしている山の部分及び木の部分についてはノーマル露出の画像データ５０１の合成比率を高く設定し、ノーマル露出の画像データ５０１において白飛びしている空の部分についてはアンダー露出の画像データ５０３の合成比率を高く設定して合成処理を行う。このような合成処理により、高輝度側にダイナミックレンジが広げられたＨＤＲ静止画データ５０５が生成される。ＨＤＲ静止画データ５０５では、高輝度部である空の部分及び中間輝度部である山の部分といった比較的に明るい部分の色を再現することができる。ただし、低階調部である木の部分は黒潰れしてしまう。

また、ノーマル露出の画像データ５０１とオーバー露出の画像データ５０２とを用いたＨＤＲ合成処理では、第２の画像処理部１０６ｂは、ノーマル露出の画像データ５０１において黒潰れしている木の部分についてはオーバー露出の画像データ５０２の合成比率を高く設定し、オーバー露出の画像データ５０２において白飛びしている山の部分についてはノーマル露出の画像データ５０１の合成比率を高く設定して合成処理を行う。このような合成処理により、低輝度側にダイナミックレンジが広げられたＨＤＲ静止画データ５０６が生成される。ＨＤＲ静止画データ５０６では、低輝度部である木の部分及び中間輝度部である山の部分といった比較的に暗い部分の色を再現することができる。ただし、高輝度部である空の部分については白飛びしてしまう。

このように、合成処理では、画像データの選択の仕方によって合成後の画像データの仕上がりが変化する。さらに、合成比率を変えることでも合成後の画像データの仕上がりが変化する。効果確認において図５Ｂのような比較表示を行うことにより、ユーザは、合成処理の前後の画像を比較しながら条件変更静止画に対する合成処理の設定を行うことができる。

ここで、図４の説明に戻る。ステップＳ１１０において、制御部１１８は、ユーザによって何れかの縮小画像が選択されたか否かを判定する。ステップＳ１１０において、ユーザによって何れかの縮小画像が選択されたと判定されたときには、処理はステップＳ１１１に移行する。ステップＳ１１０において、ユーザによって何れかの縮小画像が選択されていないと判定されたときには、処理はステップＳ１１５に移行する。

ステップＳ１１１において、制御部１１８は、選択された縮小画像を拡大表示するように再生部１０８に指示する。この指示を受けて、再生部１０８は、選択された縮小画像に対応した画像データの拡大画像を図５Ｃに示すように拡大して表示部１１０に表示させる。例えば、図５Ｃは、縮小画像４０９の拡大画像４０９ａの表示例を示している。さらに、再生部１０８は、例えば、補正アイコン４１２、戻るアイコン４１３を表示させる。その後、処理はステップＳ１１２に移行する。ここで、補正アイコン４１２は、ユーザが合成処理の結果に対する補正を指示するためのアイコンである。戻るアイコン４１３は、ユーザが図５Ｂの画面への戻り指示をするためのアイコンである。

ステップＳ１１２において、制御部１１８は、補正をするか否かを判定する。例えば、ユーザによって補正アイコン４１２が選択されたときに補正をすると判定される。ステップＳ１１２において、補正をしないと判定されたときには、処理はステップＳ１１３に移行する。ステップＳ１１２において、補正をすると判定されたときには、処理はステップＳ１１４に移行する。

ステップＳ１１３において、制御部１１８は、ユーザによって戻り指示がされたか否かを判定する。例えば、ユーザによって戻るアイコン４１３が選択されたときには戻り指示がされたと判定される。ステップＳ１１３において、ユーザによって戻り指示がされていないと判定されたときには、処理はステップＳ１１１に戻る。この場合、拡大表示が継続される。ステップＳ１１３において、ユーザによって戻り指示がされたと判定されたときには、処理はステップＳ１０８に戻る。この場合、図５Ｂの表示に戻る。なお、戻るアイコン４１３が選択される前にステップＳ１１４で説明する補正が行われていたときには、図５Ｂの表示の際にも補正の内容が反映される。

ステップＳ１１４において、制御部１１８は、第２の画像処理部１０６ｂに、ユーザの操作に従った補正を実行させる。ここでの補正は、選択された画像データのコントラスト強調、彩度強調、それらの組み合わせによる特殊効果の付与、合成処理に用いられる画像データの合成比率の変更等を含む。本実施形態では、合成前のそれぞれの画像データに対する補正及び合成後の画像データに対する補正の両方を行うことができる。補正の終了後、処理はステップＳ１１１に戻る。補正が行われたときにはステップＳ１１１において再度の合成処理が行われて表示は更新される。

ステップＳ１１５において、制御部１１８は、補正の内容を反映するか否かを判定する。例えば、ユーザによって反映アイコン４１０が選択されたときに補正の内容を反映すると判定される。ステップＳ１１５において、補正の内容を反映しないと判定されたときに、処理はステップＳ１１６に移行する。ステップＳ１１５において、補正の内容を反映すると判定されたときに、処理はステップＳ１１７に移行する。

ステップＳ１１６において、制御部１１８は、ユーザによって戻り指示がされたか否かを判定する。例えば、ユーザによって戻るアイコン４１１が選択されたときには戻り指示がされたと判定される。ステップＳ１１６において、ユーザによって戻り指示がされていないと判定されたときには、処理はステップＳ１０８に戻る。ステップＳ１１６において、ユーザによって戻り指示がされたと判定されたときには、処理はステップＳ１０１に戻る。この場合、必要に応じて画像データの再取得が行われる。

ステップＳ１１７において、制御部１１８は、補正の内容を例えば記憶部１０４に記憶させる。その後、図４の処理を終了する。ここで記憶された補正の内容は、条件変更静止画の記録時に反映される。

ここで、図２の説明に戻る。ステップＳ７において、制御部１１８は、条件変更記録モードがオンになっているか否かを判定する。ステップＳ７において、条件変更記録モードがオンになっていると判定されたときに、処理はステップＳ８に移行する。ステップＳ７において、条件変更記録モードがオンになっていないと判定されたときに、処理はステップＳ１６に移行する。

ステップＳ８において、制御部１１８は、動画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって動画撮影アイコン３０６が選択されたとき又は動画ボタンが操作されたときに、動画撮影の開始が指示されたと判定される。ステップＳ８において、動画撮影の開始が指示されたと判定されたときに、処理はステップＳ９に移行する。ステップＳ８において、動画撮影の開始が指示されていないと判定されたときに、処理はステップＳ１５に移行する。

ステップＳ９において、制御部１１８は、条件変更動画撮影を行う。すなわち、制御部１１８は、条件変更静止画データを生成できるように撮影条件を変更しながら撮像部１０２による撮像を実行する。これにより、撮影条件の異なる複数の画像データ（画像コマ）が取得される。

例えば、条件変更静止画としてＨＤＲ静止画を生成するように設定されている場合の条件変更動画撮影では、制御部１１８は、図７Ａに示すようにして露出条件（例えば露出時間）の異なる複数の画像データからなる画像データ群が順次に生成されるように撮像部１０２を制御する。図７Ａの例では、制御部１１８は、オーバー露出の撮像とアンダー露出の撮像とを繰り返すように撮像部１０２を制御する。それぞれの撮像における露出差等は、例えば前述した効果確認で設定される。

また、条件変更静止画として超解像静止画を生成するように設定されている場合の条件変更動画撮影では、制御部１１８は、図７Ｂに示すようにして撮像のタイミング毎に駆動部１０２ｃを制御して撮像素子１０２ｂを微小量（例えば０．５画素分）だけシフトすることで得られる複数の画像データからなる画像データ群が順次に生成されるように撮像部１０２を制御する。図７Ｂの例では、制御部１１８は、右下、右上、左下、左上の順で撮像素子１０２ｂがシフトするように駆動部１０２ｃを制御する。

ステップＳ１０において、第１の画像処理部１０６ａは、画像データに対する補正を行って動画コマを生成する。図７Ａ及び図７Ｂで示したように、条件変更動画撮影では、それぞれの動画コマの撮影条件が異なっているため、動画としての連続性は悪くなっている。したがって、ステップＳ１０では、それぞれの動画コマの画質を近づけて動画としての連続性を保つための処理が行われる。例えば、条件変更静止画としてＨＤＲ静止画を生成するように設定されている場合には、図７Ａに示すように、第１の画像処理部１０６ａは、オーバー露出の画像データの明るさを下げ、アンダー露出の画像データの明るさを上げるようなゲイン調整を行う。また、条件変更静止画として超解像静止画を生成するように設定されている場合には、図７Ｂに示すように、第１の画像処理部１０６ａは、撮像の際に撮像素子１０２ｂをシフトした方向に位置する画像データの周辺部に対してぼかしを付与する処理を行う。すなわち、ある方向に撮像素子１０２ｂをシフトして得られる画像データの周辺部は、他の方向に撮像素子１０２ｂをシフトして得られる画像データには存在していない可能性がある。したがって、このような周辺部をぼかすことで動画上での違和感を低減させる。さらに、条件変更静止画として深度合成静止画を生成するように設定されている場合には、第１の画像処理部１０６ａは、フォーカスレンズ位置に応じて強度の異なるコントラスト強調処理（エッジ強調処理でもよい）を施す。すなわち、フォーカスレンズの位置の違いによって被写体のコントラストの状態が変化するので、コントラスト強調処理によって被写体のコントラストの状態を均一に近づける。

その他、各コマの画面すべてを見せるのではなく、広めの画像の限られた領域のみを切り出して表示するようにしてもよい。例えば、条件変更静止画として超解像静止画を生成するように設定されている場合において、動画コマの間で撮影の対象物の位置が変化しないように、撮像素子１０２ｂのシフト方向及びシフト量によって撮像部１０２で得られた画像データの限られた領域を切り出す切り出し処理を行うことで、例えば撮像素子１０２ｂのシフトによって画像がずれても補正された表示が可能となる。このように、動画は動きの滑らかさが求められるが、条件変更静止画を構成する複数コマを異なる特性、制御で得たとしても、その異なる処理で視認されうる作用を軽減する滑らかさ処理、連続性確保処理が無理なく行われる。このとき、撮影対象に対して収音と音声記録がなされていると、様々な機構が動く時の音声ノイズが入る可能性がある。したがって、音声もそのまま記録するのではなく、収音特性（指向性やゲインなど）を変更したり、ノイズを電気的に除去したりする条件変更録音を行ってもよい。

ステップＳ１１において、制御部１１８は、動画撮影の終了が指示されたか否かを判定する。例えば、ユーザによって動画撮影アイコン３０６が再度選択されたとき又は動画ボタンが再度操作されたときに、動画撮影の終了が指示されたと判定される。ステップＳ１１において、動画撮影の終了が指示されていないと判定されたときに、処理はステップＳ１２に移行する。ステップＳ１１において、動画撮影の終了が指示されたと判定されたときに、処理はステップＳ１４に移行する。

ステップＳ１２において、制御部１１８は、静止画記録をするか否かを判定する。静止画記録をするか否かは、ステップＳ６においてなされた設定に応じて判定される。ステップＳ６においてユーザにより設定される動画撮影中の静止画の記録タイミングとしては、例えばユーザによって静止画記録の指示がされたタイミングだけ、常時（静止画データを生成可能なそれぞれのタイミング）といった種々のタイミングが考えられる。ステップＳ１２において、静止画記録をすると判定されたときには、処理はステップＳ１３に移行する。ステップＳ１２において、ＨＤＲ静止画記録をしないと判定されたときには、処理はステップＳ９に戻る。

ステップＳ１３において、制御部１１８は、画像処理部１０６に静止画ファイルの生成を指示する。この指示を受けて、画像処理部１０６の第２の画像処理部１０６ｂは、条件変更動画撮影に伴って記憶部１０４に記憶されている複数の画像データを合成して条件変更静止画データ（例えば、ＨＤＲ静止画データ、超解像静止画データ、深度合成静止画データ、流し撮り効果静止画データ）を生成する。その後、記録処理部１０６ｃは、生成した条件変更静止画データから静止画ファイルを生成し、生成した静止画ファイルを記録部１１２に記録する。その後、処理はステップＳ９に戻る。なお、図７Ａ及び図７Ｂの例では、２回の撮像により得られた画像データを合成することで１枚の条件変更静止画データが生成される。この画像データの合成枚数や合成比率は、例えば効果確認の際に設定される。

ステップＳ１４において、制御部１１８は、画像処理部１０６に動画ファイルの生成を指示する。この指示を受けて、画像処理部１０６の記録処理部１０６ｃは、動画撮影中に記憶部１０４に記憶されているそれぞれの動画コマから動画ファイルを生成し、生成した動画ファイルを記録部１１２に記録する。その後、処理はステップＳ３に戻る。

図８Ａは、条件変更動作撮影によって得られる動画ファイルの構造を示す図である。図８Ａに示すように、動画ファイル６０１は、動画データ６０２と、タグ情報６０３とを有する。

動画データ６０２は、圧縮された動画コマ６０２ａからなるデータである。前述したように、それぞれの動画コマ６０２ａは、動画としての連続性を保つための処理が施されている。その処理の内訳を情報として残してもよい。

タグ情報６０３は、動画ファイル６０１のファイル名等のファイル情報を有している。また、タグ情報６０３は、それぞれの動画コマに関連付けされる条件変更静止画ファイル（例えばＨＤＲ静止画ファイル）を特定するための情報（例えば、ファイル名）を含む関連情報６０３ａを有している。このような情報を持つことによって、動画鑑賞、再生時に対応する条件変更静止画が検索できたり、記録された動画コマを利用して、さらに静止画を合成したりして利用することが可能となる。

図８Ｂは、条件変更動作撮影によって得られる条件変更静止画ファイル（例ではＨＤＲ静止画ファイル）の構造を示す図である。図８Ｂに示すように、条件変更静止画ファイル６０４は、条件変更静止画データ６０５と、タグ情報６０６とを有する。

条件変更静止画データ６０５は、圧縮された条件変更ＨＤＲ静止画データ（例ではＨＤＲ静止画データ）である。テレビ用の場合、音声がないと楽しめないので、例えば動画記録時に得た音声データ６０５ｂをファイル内に収めるようにしても良い。これによって、このファイルをテレビなどで再生させても、音声と共に画像鑑賞が楽しめる。

タグ情報６０６は、条件変更静止画ファイル６０４のファイル名等のファイル情報を有している。また、タグ情報６０６は、関連付けされる動画ファイルを特定するための情報（例えば、ファイル名）を含む関連情報６０６ａを有している。

ここで、図８Ｂにおいて、条件変更静止画ファイル６０４に、条件変更静止画データの生成に用いられた画像データをＲＡＷ形式で記録しておいてもよい。また、このようなＲＡＷデータは、条件変更静止画ファイル６０４とは別のＲＡＷファイルに記録されてもよい。この場合、ＲＡＷファイルにも、関連付けされる動画ファイル及び静止画ファイルを特定するための情報を持たせる必要がある。この静止画ファイルは、出力するモニタに合わせて仕様が変えられるような自由度を持たせても良く、同じファイル内に、モニタのみならず、プリンタ出力用のデータ形式のものも合わせて記録してもよい。

また、図８Ａ及び図８Ｂで示した例では、動画データと静止画データとは別個のファイルに記録される。これに対し、図９に示すように、動画データと静止画データとは１個のファイルに記録されてもよい。図９のＨＤＲ動画ファイル７０１は、動画データ７０２と、条件変更静止画データ（例ではＨＤＲ静止画データ）７０３と、タグ情報７０４とを有する。タグ情報７０４の関連情報７０４ａには、ファイル内のそれぞれのデータにアクセスするためのそれぞれのデータの位置情報（例えば、それぞれのデータの開始アドレス、ファイルの開始アドレスからそれぞれのデータの開始アドレスまでのデータ量）が記録される。ここでは、画像についてしか書いていないが、テレビで画像再生時に記録した音声も楽しめるように、テレビ用のデータ（動画も静止画も）には、画像記録時に収音した音声データも関連づけて記録されていることは言うまでもない。

ここで、図２の説明に戻る。ステップＳ８において動画撮影をしないと判定されたときのステップＳ１５において、制御部１１８は、静止画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって静止画撮影アイコン３０７が選択されたとき又はレリーズボタンが操作されたときに、静止画撮影の開始が指示されたと判定される。ステップＳ１５において、静止画撮影の開始が指示されたと判定されたときに、処理はステップＳ２１に移行する。ステップＳ２０において、静止画撮影の開始が指示されていないと判定されたときに、処理はステップＳ３に戻る。

ステップＳ１６において、制御部１１８は、条件変更静止画撮影を行う。すなわち、制御部１１８は、撮影条件を変更しながら合成回数だけの撮像部１０２による撮像を実行する。

ステップＳ１７において、制御部１１８は、画像処理部１０６に静止画ファイルの生成を指示する。この指示を受けて、画像処理部１０６の第２の画像処理部１０６ｂは、条件変更動画撮影に伴って記憶部１０４に記憶されている複数の画像データを合成して条件変更静止画データ（例えば、ＨＤＲ静止画データ、超解像静止画データ、深度合成静止画データ、流し撮り効果静止画データ）を生成する。その後、記録処理部１０６ｃは、生成した条件変更静止画データから静止画ファイルを生成し、生成した静止画ファイルを記録部１１２に記録する。その後、処理はステップＳ３に戻る。

ステップＳ１８において、制御部１１８は、動画撮影の開始が指示されたか否かを判定する。ステップＳ１８において、動画撮影の開始が指示されたと判定されたときに、処理はステップＳ１７に移行する。ステップＳ１８において、動画撮影の開始が指示されていないと判定されたときに、処理はステップＳ２２に移行する。

ステップＳ１９において、制御部１１８は、通常動画撮影を行う。すなわち、制御部１１８は、撮影条件を変更せずに撮像部１０２による撮像を実行する。この時、制御部１１８は、マイク１２０で収音もして記録しておき、録画中の音声も再生して楽しめるようにする。

ステップＳ２０において、制御部１１８は、動画撮影の終了が指示されたか否かを判定する。動画撮影の終了が指示されたと判定される。ステップＳ２０において、動画撮影の終了が指示されていないと判定されたときに、処理はステップＳ１９に戻る。ステップＳ２０において、動画撮影の終了が指示されたと判定されたときに、処理はステップＳ２１に移行する。

ステップＳ２１において、制御部１１８は、画像処理部１０６に通常動画ファイルの生成を指示する。この指示を受けて、画像処理部１０６の記録処理部１０６ｃは、通常動画撮影中に記憶部１０４に記憶されている動画コマから通常動画ファイルを生成し、生成した通常動画ファイルを記録部１１２に記録する。その後、処理はステップＳ３に戻る。

ステップＳ１８において動画撮影の開始が指示されていないと判定されたときのステップＳ２２において、制御部１１８は、静止画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって静止画撮影アイコン３０７が選択されたとき又はレリーズボタンが操作されたときに、静止画撮影の開始が指示されたと判定される。ステップＳ２２において、静止画撮影の開始が指示されたと判定されたときに、処理はステップＳ２３に移行する。ステップＳ２２において、静止画撮影の開始が指示されていないと判定されたときに、処理はステップＳ２５に移行する。

ステップＳ２３において、制御部１１８は、通常静止画撮影を行う。すなわち、制御部１１８は、ステップＳ６で設定された露出条件に従って撮像部１０２による１回の撮像を実行する。その後、処理はステップＳ２４に移行する。

ステップＳ２４において、制御部１１８は、静止画データを生成するように画像処理部１０６に指示する。この指示を受けて、画像処理部１０６の第２の画像処理部１０６ｂは、通常静止画撮影によって記憶部１０４に記憶されている画像データから通常静止画データを生成する。通常静止画データの生成後、記録処理部１０６ｃは、生成された通常静止画ファイルを記録部１１２に記録する。その後、処理はステップＳ３に戻る。

ステップＳ２５において、制御部１１８は、ユーザによって戻り指示がされたか否かを判定する。例えば、ユーザによって戻るアイコン３０８が選択されたときには戻り指示がされたと判定される。ステップＳ２５において、ユーザによって戻り指示がされていないと判定されたときには、処理はステップＳ３に戻る。ステップＳ２５において、ユーザによって戻り指示がされたと判定されたときには、処理はステップＳ１に戻る。

ステップＳ２において動作モードが撮影モードでないと判定されたときのステップＳ２６において、制御部１１８は、撮影モード以外のその他の処理を行う。その他の処理の後、処理はステップＳ１に戻る。

図１０は、その他の処理について示すフローチャートである。ステップＳ２０１において、制御部１１８は、現在の動作モードが再生モードであるか否かを判定する。ステップＳ２０１において、撮像装置１００の動作モードが再生モードでないと判定されたときに、処理はステップＳ２０２に移行する。ステップＳ２０１において、撮像装置１００の動作モードが再生モードであると判定されたときに、処理はステップＳ２０４に移行する。

ステップＳ２０２において、制御部１１８は、現在の動作モードが通信モードであるか否かを判定する。ステップＳ２０２において、撮像装置１００の動作モードが通信モードであると判定されたときに、処理はステップＳ２０３に移行する。ステップＳ２０２において、撮像装置１００の動作モードが通信モードでないと判定されたときに、図１０の処理は終了する。この場合、処理は図２のステップＳ１に戻る。

ステップＳ２０３において、制御部１１８は、通信モードの処理を行う。通信モードの処理において、制御部１１８は、通信部１１４を制御して、例えば記録部１１２に記録されている画像ファイルを外部機器に送信したり、外部機器に記録されている画像ファイルを受信したりといった処理を行う。通信モードの処理の後、図１０の処理は終了する。この場合、処理は図２のステップＳ１に戻る。

ステップＳ２０４において、制御部１１８は、記録部１１２に記録されている画像ファイルの一覧を表示させるように再生部１０８を制御する。この指示を受けて、再生部１０８は、例えば記録部１１２に記録されている画像ファイルの一覧を示すサムネイル画像を表示部１１０に表示させる。その後、処理はステップＳ２０５に移行する。

ステップＳ２０５において、制御部１１８は、一覧表示の中からユーザによって動画ファイルが選択されたか否かを判定する。ステップＳ２０５において、ユーザによって動画ファイルが選択されたと判定されたときには、処理はステップＳ２０６に移行する。ステップＳ２０５において、ユーザによって動画ファイルが選択されていないと判定されたときには、処理はステップＳ２１６に移行する。

ステップＳ２０６において、制御部１１８は、撮像装置１００が外部表示機器（例えばテレビ２００）に接続されているか否かを判定する。ステップＳ２０６において、撮像装置１００が外部表示機器に接続されていると判定されたときには、処理はステップＳ２０７に移行する。ステップＳ２０６において、撮像装置１００が外部表示機器に接続されていないと判定されたときには、処理はステップＳ２１３に移行する。

ステップＳ２０７において、制御部１１８は、選択された動画ファイルに対応した動画コマを外部表示機器に送信するように再生部１０８に指示する。これを受けて、再生部１０８の第１の再生処理部１０８ａは、通信部１１４を介して動画コマを外部表示機器であるテレビ２００に送信する。これにより、外部表示機器であるテレビ２００において、例えば、図１１に示すようにして動画の再生が行われる。このとき、画像を再生しながら出力するので、再生処理部は、図８Ａ、図８Ｂ、図９等で示したような特別な工夫を施して記録されたファイルを適切に再生する機能を有する。例えば、ＨＤＭＩ等の方式で接続すれば、テレビに音声と画像が送られる。

ステップＳ２０８において、制御部１１８は、静止画を再生するタイミングであるか否かを判定する。例えば、再生中の動画コマに関連付けされている静止画データ（条件変更静止画データ又は通常静止画データ）があるときには、静止画を再生するタイミングであると判定される。ステップＳ２０８において、静止画を再生するタイミングであると判定されたときには、処理はステップＳ２０９に移行する。ステップＳ２０８において、静止画を再生するタイミングでないと判定されたときには、処理はステップＳ２１２に移行する。

ステップＳ２０９において、制御部１１８は、再生中の動画コマに条件変更静止画データが関連付けられているか否かを判定する。ステップＳ２０９において、再生中の動画コマに条件変更静止画データが関連付けられていると判定されたときには、処理はステップＳ２１０に移行する。ステップＳ２０９において、再生中の動画コマに条件変更静止画データが関連付けられていないと判定されたときには、処理はステップＳ２１１に移行する。

ステップＳ２１０において、制御部１１８は、再生中の動画コマに関連付けられた条件変更静止画データを外部表示機器に送信するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、通信部１１４を介して条件変更静止画データを外部表示機器であるテレビ２００に送信する。これにより、外部表示機器であるテレビ２００において、条件変更静止画が再生される。条件変更静止画は、動画コマの再生終了後に再生されてもよいし、縮小されてから再生中の動画コマに重ねるようにして再生されてもよい。

ステップＳ２１１において、制御部１１８は、再生中の動画コマに関連付けられた通常静止画データを外部表示機器に送信するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、通信部１１４を介して通常静止画データを外部表示機器であるテレビ２００に送信する。これにより、外部表示機器であるテレビ２００において、通常静止画が再生される。なお、通常静止画は、動画コマの再生終了後に再生されてもよいし、縮小されてから再生中の動画コマに重ねるようにして再生されてもよい。

ステップＳ２１２において、制御部１１８は、動画再生の終了が指示されたか否かを判定する。例えば、図１１に示す戻るアイコン８０１が選択されたときに、動画再生の終了が指示されたと判定される。ステップＳ２１２において、動画再生の終了が指示されていないと判定されたときに、処理はステップＳ２０６に戻る。ステップＳ２１２において、動画再生の終了が指示されたと判定されたときに、処理はステップＳ２０４に戻る。

ステップＳ２０６において撮像装置１００が外部表示機器に接続されていないと判定されたときのステップＳ２１３において、制御部１１８は、選択された動画ファイルに対応した動画コマを表示部１１０に表示するように再生部１０８に指示する。これを受けて、再生部１０８の第１の再生処理部１０８ａは、動画コマを表示部１１０に表示させる。

ステップＳ２１４において、制御部１１８は、静止画を再生するタイミングであるか否かを判定する。例えば、再生中の動画コマに関連付けされている静止画データがあるときには、静止画を再生するタイミングであると判定される。ステップＳ２１４において、静止画を再生するタイミングであると判定されたときには、処理はステップＳ２１５に移行する。ステップＳ２１４において、静止画を再生するタイミングでないと判定されたときには、処理はステップＳ２１２に移行する。

ステップＳ２１５において、制御部１１８は、再生中の動画コマに関連付けられた静止画を表示部１１０に表示させるように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、静止画を表示部１１０に表示させる。これにより、表示部１１０において静止画の再生が行われる。

ステップＳ２０５においてユーザによって動画ファイルが選択されていないと判定されたときのステップＳ２１６において、制御部１１８は、一覧表示の中からユーザによって静止画ファイルが選択されたか否かを判定する。ステップＳ２１６において、ユーザによって静止画ファイルが選択されたと判定されたときには、処理はステップＳ２１７に移行する。ステップＳ２１６において、ユーザによって静止画ファイルが選択されていないと判定されたときには、処理はステップＳ２２３に移行する。

ステップＳ２１７において、制御部１１８は、撮像装置１００が外部表示機器（例えばテレビ２００）に接続されているか否かを判定する。ステップＳ２１７において、撮像装置１００が外部表示機器に接続されていると判定されたときには、処理はステップＳ２１８に移行する。ステップＳ２１７において、撮像装置１００が外部表示機器に接続されていないと判定されたときには、処理はステップＳ２１９に移行する。

ステップＳ２１８において、制御部１１８は、選択された静止画ファイルに含まれる静止画データ（条件変更静止画データ又は通常静止画データ）を外部表示機器に送信するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、通信部１１４を介して静止画データを外部表示機器であるテレビ２００に送信する。これにより、外部表示機器であるテレビ２００において静止画の再生が行われる。

ステップＳ２１９において、制御部１１８は、選択された静止画ファイルに含まれる静止画データ（条件変更静止画データ又は通常静止画データ）を表示部１１０に再生するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、静止画を表示部１１０に表示させる。

ステップＳ２２０において、制御部１１８は、効果確認を行うか否かを判定する。例えば、静止画の再生中に表示部１１０に表示されるＨＤＲ効果確認アイコンが選択されたときには、効果確認を行うと判定される。ステップＳ２２０において、効果確認を行わないと判定されたときには、処理はステップＳ２２１に移行する。ステップＳ２２０において、効果確認を行うと判定されたときには、処理はステップＳ２２２に移行する。

ステップＳ２２１において、制御部１１８は、効果確認の処理を行う。効果確認の処理は、前述した図４の処理とほぼ同一である。撮影モード中の効果確認では、効果確認用の画像データは撮像によって取得される。これに対して再生モード中の効果確認では、効果確認用の画像データは、任意に取得され得る。効果確認の終了後、処理はステップＳ２２２に移行する。

ステップＳ２２２において、制御部１１８は、静止画再生の終了が指示されたか否かを判定する。ステップＳ２２２において、静止画再生の終了が指示されていないと判定されたときに、処理はステップＳ２１７に戻る。ステップＳ２２２において、静止画再生の終了が指示されたと判定されたときに、処理はステップＳ２０４に戻る。

ステップＳ２２３において、制御部１１８は、再生モードの処理を終了するか否かを判定する。例えば、一覧表示中にユーザによる戻り指示がされたときには再生モードの処理を終了すると判定される。ステップＳ２２３において、再生モードの処理を終了しないと判定されたときには処理はステップＳ２０４に戻る。ステップＳ２２３において、再生モードの処理を終了しないと判定されたときには処理は図１０の処理は終了する。この場合、処理は図２のステップＳ１に戻る。

以上説明したように本実施形態では、動画撮影中に撮影条件を変更しながらの撮像を行うことにより、撮影条件の異なる複数の画像データを合成することによって生成される条件変更静止画を生成することができる。これにより、動画をより魅力的なコンテンツとすることができる。

また、本実施形態では、撮影条件の異なる複数回の撮像によって得られる画像データに対して動画の連続性が保たれるような処理を施してから動画コマを生成している。これにより、撮像装置の表示部１１０の仕様に適した表示とテレビ２００の仕様に適した表示の両方を行うことができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。本実施形態の技術において、条件変更動画撮影はスルー画表示に置き替えることもできる。この場合、スルー画表示中のユーザが指示したタイミングでＨＤＲ静止画、超解像静止画、深度合成静止画といった各種の静止画を表示させることができる。このような処理は、例えば内視鏡装置、顕微鏡装置、監視装置といった撮像装置に対しても適用され得る。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御部１１８に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、制御部１１８は、この外部記憶装置の記録媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。表示結果に対して、手動操作や生体判定等で善し悪しを入力可能にしておき、その結果に応じて、使う人の嗜好を学習させていくような応用ができる。つまり、人工知能と連携した制御を利用してもよい。この場合は、ステップを踏んだプログラムでなくとも同様の効果を得ることができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００ 撮像装置、１０２ 撮像部、１０２ａ 撮像光学系、１０２ｂ 撮像素子、１０２ｃ 駆動部、１０４ 記憶部、１０６ 画像処理部、１０６ａ 第１の画像処理部、１０６ｂ 第２の画像処理部、１０６ｃ 記録処理部、１０８ 再生部、１０８ａ 第１の再生処理部、１０８ｂ 第２の再生処理部、１１０ 表示部、１１２ 記録部、１１４ 通信部、１１６ 操作部、１１８ 制御部、１２０ マイク、２００ テレビ。

Claims (8)

1. 撮影条件を変更した複数の画像コマを順次に取得する撮像部と、
   前記撮影条件を変更して得られた複数の画像コマの間の連続性を保つための画像処理を施して動画データを生成する第１の画像処理部と、
   前記撮影条件を変更した複数の画像コマを合成して条件変更静止画データを生成する第２の画像処理部と、
   を具備することを特徴とする撮像装置。
2. 撮影条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、
   複数の前記画像データのそれぞれによって構成される複数の動画コマからなる動画データを生成する第１の画像処理部と、
   それぞれの前記画像データ群に属する複数の画像データ又は前記画像データ群に属していない複数の画像データを合成して条件変更静止画データを生成する第２の画像処理部と、
   を具備することを特徴とする撮像装置。
3. 前記第１の画像処理部は、複数の前記画像データのそれぞれに対して前記動画コマの間の連続性を保つための画像処理を施してから前記動画コマを生成することを特徴とする請求項２に記載の撮像装置。
4. 前記撮影条件は、複数の前記画像データの間の露出差であり、
   前記連続性を保つための画像処理は、複数の前記画像データの露出量を均一にするためのゲイン調整であることを特徴とする請求項３に記載の撮像装置。
5. 前記撮影条件は、前記撮像部に含まれる撮像素子のシフト方向であり、
   前記連続性を保つための画像処理は、前記撮像素子のシフト方向に位置する前記画像データの周辺部に対するぼかし処理又は撮影の対象物の位置が変化しないように前記撮像素子のシフト方向に応じて前記画像データを切り出す切り出し処理であることを特徴とする請求項３に記載の撮像装置。
6. 前記動画データと前記条件変更静止画データとを関連付けて記録部に記録する記録処理部をさらに具備することを特徴とする請求項１又は２に記載の撮像装置。
7. 撮像部により、撮影条件を変更した複数の画像コマを順次に取得することと、
   前記撮影条件を変更して得られた複数の画像コマの間の連続性を保つための画像処理を施して動画データを生成することと、
   前記撮影条件を変更した複数の画像コマを合成して条件変更静止画データを生成することと、
   を具備することを特徴とする撮像方法。
8. 撮像部により、撮影条件の異なる複数の画像データからなる画像データ群を順次に取得することと、
   複数の前記画像データのそれぞれによって構成される複数の動画コマからなる動画データを生成することと、
   それぞれの前記画像データ群に属する複数の画像データ又は前記画像データ群に属していない複数の画像データを合成して条件変更静止画データを生成することと、
   を具備することを特徴とする撮像方法。