JP2016072866A - 電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法 - Google Patents

Abstract

【課題】使い勝手のよい電子機器を提供する。
【解決手段】電子機器は、複数の撮像領域を有し撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含む画像データ部と、第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内においてヘッダ部、画像データ部の順に所定の記録媒体に記録する記録部を備える。
【選択図】図１

Description

本発明は、電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法に関する。

裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、積層型撮像素子という）を備えた電子機器が提案されている（特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。

特開２００６−４９３６１号公報

従来の積層型撮像素子を備えた電子機器において、１または２以上の上記領域を有する撮像領域に画像を分けて、該撮像領域ごとに撮像画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分とはいえなかった。

請求項１に記載の電子機器は、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録部を備える。
請求項３に記載の電子機器は、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録部を備える。
請求項５に記載の再生装置は、所定の記録媒体から画像ファイルを読み出す読出部と、前記読出部により読み出された前記画像ファイルに基づき画像を再生する再生部とを備え、前記画像ファイルは、ヘッダ部と画像データ部とを有し、前記画像データ部は、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と、前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、前記読出部は、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す。
請求項８に記載の再生装置は、記録媒体から画像ファイルを読み出す読出部と、前記読出部により読み出された前記画像ファイルに基づき画像を再生する再生部とを備え、前記画像ファイルは、ヘッダ部と画像データ部とを有し、前記画像データ部は、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、前記読出部は、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す。
請求項１１に記載の記録媒体は、ヘッダ部と画像データ部とを有する画像ファイルであって、前記画像データ部には、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と、前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部には、前記第１及び第２の撮像領域の位置に関する情報を含む画像ファイルが記録された記録媒体である。
請求項１２に記載の記録媒体は、ヘッダ部と画像データ部とを有する画像ファイルであって、前記画像データ部には、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部には、前記第１及び第２の撮像領域の位置に関する情報を含む画像ファイルが記録された記録媒体である。
請求項１３に記載の記録プログラムは、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録ステップをコンピュータに実行させる。
請求項１４に記載の記録プログラムは、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録ステップをコンピュータに実行させる。
請求項１５に記載の再生プログラムは、所定の記録媒体から画像ファイルを読み出す読出ステップと、前記読出ステップにより読み出された前記画像ファイルに基づき画像を再生する再生ステップとをコンピュータに実行させる再生プログラムであって、前記画像ファイルは、ヘッダ部と画像データ部とを有し、前記画像データ部は、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と、前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、前記読出ステップにおいて、コンピュータは、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す。
請求項１６に記載の再生プログラムは、記録媒体から画像ファイルを読み出す読出ステップと、前記読出ステップにより読み出された前記画像ファイルに基づき画像を再生する再生ステップとをコンピュータに実行させる再生プログラムであって、前記画像ファイルは、ヘッダ部と画像データ部とを有し、前記画像データ部は、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、前記読出ステップにおいて、コンピュータは、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す。
請求項１７に記載の記録方法は、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録工程を備える。
請求項１８に記載の記録方法は、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録ステップを備える。
請求項１９に記載の再生方法は、所定の記録媒体から画像ファイルを読み出す読出工程と、前記読出工程により読み出された前記画像ファイルに基づき画像を再生する再生工程とを備え、前記画像ファイルは、ヘッダ部と画像データ部とを有し、前記画像データ部は、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と、前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、前記読出工程は、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す。
請求項２０に記載の再生方法は、記録媒体から画像ファイルを読み出す読出工程と、前記読出工程により読み出された前記画像ファイルに基づき画像を再生する再生工程とを備え、前記画像ファイルは、ヘッダ部と画像データ部とを有し、前記画像データ部は、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、前記読出工程は、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す。

本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。 撮像素子の撮像面を模式的に示す平面図である。 本実施の形態に係る画像ファイルの構成を示す模式図である。 静止画撮像機能Ａの説明図である。 静止画撮像機能Ａを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 動画撮像機能Ａの説明図である。 動画撮像機能Ａを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 静止画撮像機能Ｂの説明図である。 大グループのレイアウトの一例を示す図である。 静止画撮像機能Ｂを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 動画撮像機能Ｂの説明図である。 動画撮像機能Ｂの説明図である。 動画撮像機能Ｂを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 混合撮像機能の説明図である。 混合撮像機能を用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 第２の実施の形態に係るメモリカードのディレクトリ構造を模式的に示す図である。 第２の実施の形態に係る各ファイルの構造を模式的に示す図である。 第２の実施の形態に係る各ファイルの構造を模式的に示す図である。 変形例２の説明図である。 変形例３の説明図である。 変形例４の説明図である。 変形例７の説明図である。 積層型撮像素子の断面図である。 撮像チップの画素配列とブロックを説明する図である。 撮像チップのユニットに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。

（第１の実施の形態）
始めに、本発明の一実施の形態による電子機器（例えば撮像装置１０）に搭載する積層型撮像素子２２について説明する。なお、この積層型撮像素子２２は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。図２３は、積層型撮像素子２２の断面図である。撮像素子２２は、入射光に対応した画素信号を出力する裏面照射型撮像チップ２１１３と、画素信号を処理する信号処理チップ２１１１と、画素信号を記憶するメモリチップ２１１２とを備える。これら撮像チップ２１１３、信号処理チップ２１１１およびメモリチップ２１１２は積層されており、Ｃｕ等の導電性を有するバンプ２１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ２１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２３の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ２１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層２１０６は、配線層２１０８の裏面側に配されている。ＰＤ層２１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）２１０４、および、ＰＤ２１０４に対応して設けられたトランジスタ２１０５を有する。

ＰＤ層２１０６における入射光の入射側にはパッシベーション膜２１０３を介してカラーフィルタ２１０２が設けられる。カラーフィルタ２１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ２１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ２１０２の配列については後述する。カラーフィルタ２１０２、ＰＤ２１０４およびトランジスタ２１０５の組が、一つの画素を形成する。

カラーフィルタ２１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ２１０１が設けられる。マイクロレンズ２１０１は、対応するＰＤ２１０４へ向けて入射光を集光する。

配線層２１０８は、ＰＤ層２１０６からの画素信号を信号処理チップ２１１１に伝送する配線２１０７を有する。配線２１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層２１０８の表面には複数のバンプ２１０９が配される。当該複数のバンプ２１０９が信号処理チップ２１１１の対向する面に設けられた複数のバンプ２１０９と位置合わせされて、撮像チップ２１１３と信号処理チップ２１１１とが加圧等されることにより、位置合わせされたバンプ２１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ２１１１およびメモリチップ２１１２の互いに対向する面には、複数のバンプ２１０９が配される。これらのバンプ２１０９が互いに位置合わせされて、信号処理チップ２１１１とメモリチップ２１１２とが加圧等されることにより、位置合わせされたバンプ２１０９同士が接合されて、電気的に接続される。

なお、バンプ２１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ２１０９は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ２１０９の大きさは、ＰＤ２１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ２１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ２１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）２１１０を有する。ＴＳＶ２１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ２１１０は、撮像チップ２１１３の周辺領域、メモリチップ２１１２にも設けられてよい。

図２４は、撮像チップ１１３の画素配列を説明する図である。特に、撮像チップ２１１３を裏面側から観察した様子を示す。画素領域には、例えば８００万個以上の画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する２画素×２画素の４画素で１つのブロック２１３１を形成する。そして、隣接する２ブロック×２ブロックの４ブロックで１つの単位グループ３２を形成する。図の格子線は、隣接する画素をまとめてブロック２１３１および単位グループ３２を形成する概念を示す。ブロック２１３１を形成する画素の数や、単位グループ３２を形成するブロック２１３１の数は、上記例に限らず、それ以上でもそれ以下でもよい。

画素領域の部分拡大図に示すように、ブロック２１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ２１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ２１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ２１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロック２１３１につきＧｂ、Ｇｒ、ＢおよびＲの４画素を少なくとも１つ含むように複数のブロック２１３１が定義される。各ブロック２１３１はそれぞれ、ブロック２１３１内の４画素をブロック２１３１ごとに定めた制御パラメータで制御できる。つまり、あるブロック２１３１に含まれる画素群と、別のブロック２１３１に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

図２５は、撮像チップ２１１３における１つの単位グループ３２に対応する回路図である。図２５において、代表的に点線で囲む矩形が、１つの画素に対応する回路を表す。また、一点鎖線で囲む矩形が１つのブロック２１３１に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図２３のトランジスタ２１０５に対応する。

上述したように、単位グループ３２は４つのブロック２１３１から形成される。単位グループ３２に含まれる画素のリセットトランジスタ２３０３は、ブロック２１３１単位でオン／オフされる。また、単位グループ３２に含まれる画素の転送トランジスタ２３０２も、ブロック２１３１単位でオン／オフされる。図２５に示す例において、左上ブロック２１３１−１に対応する４つのリセットトランジスタ２３０３をオン／オフするためのリセット配線２３００−１が設けられており、同ブロック２１３１−１に対応する４つの転送トランジスタ２３０２に転送パルスを供給するためのＴＸ配線２３０７−１も設けられる。

同様に、左下ブロック２１３１−３に対応する４つのリセットトランジスタ２３０３をオン／オフするためのリセット配線２３００−３が、上記リセット配線２３００−１とは別個に設けられる。また、同ブロック２１３１−３に対応する４つの転送トランジスタ２３０２に転送パルスを供給するためのＴＸ配線２３０７−３が、上記ＴＸ配線２３０７−１と別個に設けられる。

右上ブロック２１３１−２や右下ブロック２１３１−４についても同様に、それぞれリセット配線２３００−２とＴＸ配線２３０７−２、およびリセット配線２３００−４とＴＸ配線２３０７−４が、それぞれのブロック２１３１に設けられている。

各画素に対応する１６個のＰＤ２１０４は、それぞれ対応する転送トランジスタ２３０２に接続される。各転送トランジスタ２３０２のゲートには、上記ブロック２１３１ごとのＴＸ配線を介して転送パルスが供給される。各転送トランジスタ２３０２のドレインは、対応するリセットトランジスタ２３０３のソースに接続されるとともに、転送トランジスタ２３０２のドレインとリセットトランジスタ２３０３のソース間のいわゆるフローティングディフュージョンＦＤが、対応する増幅トランジスタ２３０４のゲートに接続される。

各リセットトランジスタ２３０３のドレインは、電源電圧が供給されるＶｄｄ配線２３１０に共通に接続される。各リセットトランジスタ２３０３のゲートには、上記ブロック２１３１ごとのリセット配線を介してリセットパルスが供給される。

各増幅トランジスタ２３０４のドレインは、電源電圧が供給されるＶｄｄ配線２３１０に共通に接続される。また、各増幅トランジスタ２３０４のソースは、対応する選択トランジスタ２３０５のドレインに接続される。各選択トランジスタ２３０５のゲートには、選択パルスが供給されるデコーダ配線２３０８に接続される。本実施形態において、デコーダ配線２３０８は、１６個の選択トランジスタ２３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ２３０５のソースは、共通の出力配線２３０９に接続される。負荷電流源２３１１は、出力配線２３０９に電流を供給する。すなわち、選択トランジスタ２３０５に対する出力配線２３０９は、ソースフォロアにより形成される。なお、負荷電流源２３１１は、撮像チップ２１１３側に設けてもよいし、信号処理チップ２１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック２１３１ごとのリセット配線を通じてリセットパルスがリセットトランジスタ２３０３に印加され、同時に上記ブロック２１３１ごとのＴＸ配線を通じて転送パルスが転送トランジスタ２３０２に印加されると、上記ブロック２１３１ごとに、ＰＤ２１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

各ＰＤ２１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線２３０８を通じて選択パルスが選択トランジスタ２３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ２３０４および選択トランジスタ２３０５を介して出力配線２３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線２３０９に出力される。

上述したように、本実施形態においては、ブロック２１３１を形成する４画素に対して、リセット配線とＴＸ配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック２１３１内の４画素に対して同時に印加される。したがって、あるブロック２１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ２３０５に選択パルスが順次印加されることにより、選択的に出力配線２３０９から出力される。

このように、本実施形態ではブロック２１３１ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック２１３１間では、異なったタイミングで撮像することができる。

図２６は、撮像素子２２の機能的構成を示すブロック図である。アナログのマルチプレクサ２４１１は、単位グループ３２を形成する１６個のＰＤ２１０４を順番に選択して、それぞれの画素信号を当該単位グループ３２に対応して設けられた出力配線２３０９へ出力させる。マルチプレクサ２４１１は、ＰＤ２１０４と共に、撮像チップ２１１３に形成される。

マルチプレクサ２４１１を介して出力された画素信号は、信号処理チップ２１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路２４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ２４１３に引き渡され、それぞれの画素に対応する画素メモリ２４１４に格納される。デマルチプレクサ２４１３および画素メモリ２４１４は、メモリチップ２１１２に形成される。

演算回路２４１５は、画素メモリ２４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路２４１５は、信号処理チップ２１１１に設けられてもよいし、メモリチップ２１１２に設けられてもよい。なお、図２６では１つの単位グループ３２の分の接続を示すが、実際にはこれらが単位グループ３２ごとに存在して、並列で動作する。ただし、演算回路２４１５は単位グループ３２ごとに存在しなくてもよく、例えば、一つの演算回路２４１５がそれぞれの単位グループ３２に対応する画素メモリ２４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、単位グループ３２のそれぞれに対応して出力配線２３０９が設けられている。撮像素子２２は撮像チップ２１１３、信号処理チップ２１１１およびメモリチップ２１１２を積層しているので、これら出力配線２３０９にバンプ２１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

図１は、本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置１０は、レンズ一体型のカメラである。撮像装置１０は、撮像光学系２１と、撮像素子２２と、制御部２３と、液晶モニタ２４と、メモリカード２５と、操作部２６と、ＤＲＡＭ２７と、フラッシュメモリ２８と、録音部２９とを備える。

撮像光学系２１は、複数のレンズから構成され、撮像素子２２の撮像面に被写体像を結像させる。なお図１では、撮像光学系２１を１枚のレンズとして図示している。

撮像素子２２は例えばＣＭＯＳやＣＣＤ等の撮像素子であり、撮像光学系２１により結像された被写体像を撮像して撮像信号を出力する。制御部２３は、撮像装置１０の各部を制御する電子回路であり、ＣＰＵとその周辺回路とから構成される。不揮発性の記憶媒体であるフラッシュメモリ２８には、予め所定の制御プログラムが書き込まれている。制御部２３は、フラッシュメモリ２８から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるＤＲＡＭ２７を作業用領域として使用する。

液晶モニタ２４は、液晶パネルを利用した表示装置である。制御部２３は、所定周期（例えば６０分の１秒）ごとに撮像素子２２に繰り返し被写体像を撮像させる。そして、撮像素子２２から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ２４に表示する。液晶モニタ２４には、上記のスルー画以外に、例えば撮像パラメータ（撮像条件）を設定する設定画面等が表示される。

制御部２３は、撮像素子２２から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード２５に画像ファイルを記録する。操作部２６は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部２３に操作信号を出力する。録音部２９は、例えばマイクロフォン等により構成され、環境音を音声信号に変換して制御部２３に入力する。なお、可搬性の記録媒体であるメモリカード２５に画像ファイル４０を記録するのではなく、撮像装置１０に内蔵された不図示の記録媒体であるハードディスク等に記録してもよい。

図２（ａ）は、撮像素子２２の撮像面３０を模式的に示す平面図であり、図２（ｂ）は撮像面３０の一部領域３０ａを拡大した平面図である。図２（ｂ）に示すように、撮像面３０には、撮像画素３１が二次元状に多数配列されている。撮像画素３１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、図２（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、撮像画素３１が有する色フィルタの種類を表している。図２（ｂ）に示すように、撮像素子２２の撮像面３０には、このような各色フィルタを備えた撮像画素３１が、いわゆるベイヤー配列に従って配列されている。

赤フィルタを有する撮像画素３１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する撮像画素３１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する撮像画素３１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。

本実施形態の撮像素子２２は、隣接する２画素×２画素の計４つの撮像画素３１から成る単位グループ３２ごとに、制御部２３によって個別に制御可能に構成されている。例えば、互いに異なる２つの単位グループ３２について、同時に電荷蓄積を開始したときに、一方の単位グループ３２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方の単位グループ３２では電荷蓄積開始から１／１５秒後に電荷の読み出しを行うことができる。換言すると、撮像素子２２は、１回の撮像において、単位グループ３２ごとに異なる露光時間（電荷蓄積時間であり、いわゆるシャッタースピード）を設定することができる。

撮像素子２２は、上述した露光時間以外にも、撮像信号の増幅率（いわゆるＩＳＯ感度）を単位グループ３２ごとに異ならせることが可能である。撮像素子２２は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ３２ごとに変化させることができる。すなわち、撮像素子２２は、動画撮像時のフレームレートを単位グループ３２ごとに変化させることができる。

以上をまとめると、撮像素子２２は、単位グループ３２ごとに、露光時間、増幅率、フレームレート等の撮像条件を異ならせることが可能に構成されている。例えば、撮像画素３１が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、単位グループ３２ごとに設けられ、単位グループ３２ごとに独立して撮像信号を読み出し可能に構成すれば、単位グループ３２ごとに露光時間（シャッタースピード）を異ならせることができる。また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路を単位グループ３２ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、単位グループ３２ごとに信号の増幅率（ＩＳＯ感度）を異ならせることができる。

なお、単位グループ３２を構成する撮像画素３１の数は、上述した２×２の４画素でなくてもよい。単位グループ３２は、少なくとも１個の撮像画素３１を有していればよいし、逆に、４個より多くの撮像画素３１を有していてもよい。また、単位グループ３２ごとに異ならせることが可能な撮像条件は、上述したもの以外であってもよい。例えば、単位グループ３２ごとに独立して制御可能な区画（１区画が１つの単位グループ３２に対応する）を有する液晶パネルを撮像素子２２に設け、オンオフ可能な減光フィルタとして利用すれば、単位グループ３２ごとに明るさ（絞り値）を制御することが可能になる。

次に、制御部２３が作成しメモリカード２５に記録する画像ファイル４０について説明する。図３は、本実施の形態に係る画像ファイルの構成を示す模式図である。画像ファイル４０は、ヘッダ部４１と、データ部４２の２つのブロックから成る。

ヘッダ部４１は、画像ファイル４０の先頭に位置するブロックであり、ファイル基本情報部４３と、マスク部４４と、撮像情報部４５とが、以上に述べた順序で格納されている。ファイル基本情報部４３には、例えば画像ファイル４０内の各部（ヘッダ部４１、データ部４２、マスク部４４、撮像情報部４５等）のサイズやオフセットが記録される。マスク部４４には、後述する撮像条件情報やマスク情報等が記録される。撮像情報部４５には、例えば撮像装置１０の機種名や撮像光学系２１の情報（例えば収差等の光学特性に関する情報） 等、撮像に関する情報が記録される。データ部４２は、ヘッダ部４１の後ろに位置するブロックであり、画像情報や音声情報等が記録される。

次に、撮像装置１０が有する撮像機能と、各撮像機能により作成（記録）される画像ファイル４０について説明する。ユーザは、操作部２６が有する操作部材に対して所定の操作を行い、以下に説明する各撮像機能を切り替える（選択する）ことができる。制御部２３は、選択されている撮像機能に基づき撮像を行い、画像ファイル４０を作成してメモリカード２５に記録する。

（１）静止画撮像機能Ａ（単一の静止画）
静止画撮像機能Ａは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して静止画を撮像する機能である。

図４（ａ）に、撮像素子２２の撮像画面５０（撮像範囲）と被写体５１とを模式的に示す。図４（ａ）に示した被写体５１を、静止画撮像機能Ａにより撮像する手順について説明する。制御部２３は、本撮像前に、一度、被写体５１を撮像する。以下、この本撮像に先立って行われる撮像を、予備撮像と称する。なお、予備撮像は、例えばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。

制御部２３は、予備撮像により得られた被写体５１の画像（被写体５１が写り込んでいる画像）に対して、所定の画像解析処理を実行する。画像解析処理は、例えば周知の被写体検出技術（特徴量を演算して所定の被写体が存在する範囲を検出する技術）により、主要被写体部分と背景部分とを検出する処理である。画像解析処理によって、撮像画面５０は、主要被写体部分が存在する主要被写体領域５２と、背景部分が存在する背景領域５３とに分割される。

なお、図４（ａ）では、被写体５１を大まかに含む領域を主要被写体領域５２として図示しているが、主要被写体領域５２は、被写体５１の外形に沿った形状であってもよい。つまり、被写体５１以外のものをできるだけ含まないように主要被写体領域５２を設定してもよい。

制御部２３は、主要被写体領域５２内の各単位グループ３２と、背景領域５３内の各単位グループ３２とで、異なる撮像条件を設定する。例えば、前者の各単位グループ３２には、後者の各単位グループ３２に比べて高速なシャッタースピードを設定する。このようにすると、本撮像において、主要被写体領域５２では像ぶれが発生しにくくなる。

また、背景領域５３に存在する太陽等の光源の影響で、主要被写体領域５２が逆光状態となっている場合には、前者の各単位グループ３２に、相対的に高めのＩＳＯ感度を設定したり、低速なシャッタースピードを設定する。また、後者の各単位グループ３２に、相対的に低めのＩＳＯ感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、本撮像において、逆光状態の主要被写体領域５２の黒つぶれや、光量の大きい背景領域５３の白飛びを防止することができる。

なお、画像解析処理は、上述した主要被写体部分と背景部分とを検出する処理とは異なる処理であってもよい。例えば、撮像画面５０全体のうち、明るさが一定以上の部分（明るすぎる部分）や明るさが一定未満の部分（暗すぎる部分）を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部２３は、前者の領域に含まれる単位グループ３２について、露出値（Ｅｖ値）が他の領域に含まれる単位グループ３２よりも低くなるようにシャッタースピードやＩＳＯ感度を設定する。また、後者の領域に含まれる単位グループ３２については、露出値（Ｅｖ値）が他の領域に含まれる単位グループ３２よりも高くなるようにシャッタースピードやＩＳＯ感度を設定する。このようにすることで、本撮像により得られる画像のダイナミックレンジを、撮像素子２２の本来のダイナミックレンジよりも広げることができる。

図５は、静止画撮像機能Ａを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。マスク部４４には、識別情報６０と、撮像条件情報６１と、マスク情報６２ａが、以上に述べた順序で記録される。識別情報６０は、この画像ファイル４０が静止画撮像機能Ａによって作成されたものである旨を表す情報である。

撮像条件情報６１は、単位グループ３２にどのような用途（目的、役割）が存在するかを表す情報である。例えば、上述したように、撮像画面５０（図４（ａ））を主要被写体領域５２と背景領域５３とに分割する場合、各々の単位グループ３２は、主要被写体領域５２に属するか、背景領域５３に属するかのいずれかである。つまり、単位グループ３２は、「主要被写体部分を静止画撮像する」という用途か、「背景部分を静止画撮像する」という用途か、のいずれかの用途を有している。撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２に「主要被写体部分を静止画撮像する」、「背景部分を静止画撮像する」という２種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１という番号が「主要被写体部分を静止画撮像する」用途を、２という番号が「背景部分を静止画撮像する」用途にそれぞれ割り当てられる。

マスク情報６２ａは、各々の単位グループ３２の用途（目的、役割）を表す情報である。本実施形態では、マスク情報６２ａを、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」としている。つまり、二次元状に配列された単位グループ３２を２つの整数ｘ、ｙによる二次元座標（ｘ、ｙ）で特定するとき、（ｘ、ｙ）の位置に存在する単位グループ３２の用途は、マスク情報６２ａの（ｘ、ｙ）の位置に存在する番号により表現される。例えば、マスク情報６２ａの座標（３，５）の位置に「１」という番号が入っていた場合、座標（３，５）に位置する単位グループ３２には、「主要被写体部分を静止画撮像する」という用途が与えられたことがわかる。換言すると、座標（３，５）に位置する単位グループ３２は、主要被写体領域５２に属することがわかる。

図４（ａ）に示した撮像画面５０に対応するマスク情報６２ａの例を、図４（ｂ）に示す。主要被写体領域５２に属する単位グループ３２の位置には「１」が、背景領域５３に属する単位グループ３２の位置には「２」がそれぞれ格納されている。

データ部４２には、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが、以上に述べた順序で格納される。マスク情報６２ｂは、マスク部４４に格納されるマスク情報６２ａと同一の情報である。ここで、マスク部４４とデータ部４２の両方に同一のマスク情報６２ａ、６２ｂを格納しているのは、画像ファイル４０の扱いが容易になるようにするためである。

詳細は後述するが、他の機能により作成される画像ファイル４０では、マスク部４４とデータ部４２に互いに異なるマスク情報６２ａ、６２ｂを格納することがある。静止画撮像機能Ａにおいて、例えばデータ部４２にマスク情報６２ｂを格納し、マスク部４４にはマスク情報６２ａを格納しないことにすると、機能ごとに画像ファイル４０の構造が変化することになる。このようにすると、画像ファイル４０の扱いが煩雑になるため、本実施形態では、あえてマスク部４４とデータ部４２の両方に同一のマスク情報６２ａ、６２ｂを入れ、機能ごとの画像ファイル４０の構造の違いを最小限にしている。なお、マスク情報６２ａ、６２ｂのいずれか一方を省略してもよく、その場合には、画像ファイル４０が占有する記憶領域のサイズを削減することが可能となる。また、マスク情報６２ａ、６２ｂの両方が記録されていた場合であっても、識別情報によりマスク情報６２ａ、６２ｂの両方を読み込む必要があるか否かがわかるので、一方が再生処理等に不要であると判断した場合には、その一方の読み込みをスキップすることで、ファイル読み込み時間を短縮することができる。

なお、以下の説明では、マスク部４４に格納されるマスク情報６２ａと、データ部４２に格納されるマスク情報６２ｂとを、マスク情報６２と総称する。

画像情報６４は、本撮像により撮像素子２２から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるＲＡＷ画像データである。Ｔｖ値マップ６５は、単位グループ３２ごとに設定されたシャッタースピードを表すＴｖ値を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報である。例えば座標（ｘ、ｙ）に位置する単位グループ３２に設定されたシャッタースピードは、Ｔｖ値マップ６５の座標（ｘ、ｙ）に格納されているＴｖ値を調べることで判別可能である。

Ｓｖ値マップ６６は、単位グループ３２ごとに設定されたＩＳＯ感度を表すＳｖ値を、Ｔｖ値マップ６５と同様に二次元マップの形で表現した情報である。Ｂｖ値マップ６７は、本撮像に際して単位グループ３２ごとに測定された被写体輝度、すなわち、各々の単位グループ３２に入射した被写体光の輝度を表すＢｖ値を、Ｔｖ値マップ６５と同様に二次元マップの形で表現した情報である。Ａｖ値情報６８は、本撮像時の絞り値を表す情報である。本実施形態において、Ａｖ値は、Ｔｖ値、Ｓｖ値、Ｂｖ値とは異なり、単位グループ３２ごとに存在する値ではない。従って、Ｔｖ値、Ｓｖ値、Ｂｖ値とは違い、Ａｖ値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。

以上のように、制御部２３は、静止画撮像機能Ａによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。

なお上述の説明では、画像情報６４がＲＡＷ画像データであるものとして説明を行ったが、ＲＡＷ画像データではなく圧縮（現像）された画像データであってもよい。

（２）動画撮像機能Ａ（単一の動画）
動画撮像機能Ａは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して、動画を撮像する機能である。静止画撮像機能Ａとの違いは、静止画ではなく動画を撮像する点である。静止画ではなく動画を撮像するため、静止画撮像機能Ａで述べた「各々の単位グループ３２の用途」が、フレームごとに変化する可能性がある。

図６（ａ）に、撮像素子２２の撮像画面５０（撮像範囲）と、被写体５１とを模式的に示す。制御部２３は、本撮像前に予備撮像を行う。そして、予備撮像により得られた被写体５１の画像（被写体５１が写り込んでいる画像）に対して、所定の画像解析処理を実行する。画像解析処理によって、撮像画面５０は、主要被写体部分が存在する主要被写体領域５２と、背景部分が存在する背景領域５３とに分割される。制御部２３は、主要被写体領域５２内の各単位グループ３２と、背景領域５３内の各単位グループ３２とで、異なる撮像条件を設定して、１フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報６２の例を、図６（ｂ）に示す。図６（ｂ）に示したマスク情報６２では一例として、主要被写体領域５２に属する単位グループ３２に「１」という番号を、背景領域５３に属する単位グループ３２に「２」という番号を割り振っている。

次に、制御部２３は、１フレーム目の画像データに対して、画像解析処理を実行し、主要被写体部分と背景部分とを検出する。これにより、１フレーム目の画像データは、図６（ｃ）に示すように、主要被写体領域５２と背景領域５３とに分割される。制御部２３は、主要被写体領域５２内の各単位グループ３２と、背景領域５３内の各単位グループ３２とで、異なる撮像条件を設定して、２フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報６２の例を、図６（ｄ）に示す。

予備撮像の結果に対応するマスク情報６２（図６（ｂ））と、１フレーム目の本撮像の結果に対応するマスク情報６２（図６（ｄ））とでは、異なる時刻に撮像を行っている（時間差がある）ため、例えば被写体５１が移動している場合や、ユーザが撮像装置１０を動かした場合に、これら２つのマスク情報６２が異なる内容になる。換言すると、マスク情報６２は、時間経過に伴い変化する動的情報である。従って、ある単位グループ３２において、１フレーム目の本撮像時と２フレーム目の本撮像時とで、異なる撮像条件が設定されることになる。

制御部２３は、画像ファイル４０に、各フレームの画像情報６４と共に、各フレームのマスク情報６２ｂ、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を記録する。従って、撮像後に、画像ファイル４０から、撮像時の情報を余すところなく取得することができ、動画再生等にそれらの情報を有効活用することができる。

なお、３フレーム目以降の本撮像時の処理は、上述した２フレーム目の処理と同様であるので、説明を省略する。制御部２３は、撮像が完了するまで（例えば所定の時間が経過するか、ユーザが所定の撮像終了操作を行うまで）上述した処理を繰り返し実行する。

図７は、動画撮像機能Ａを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図５に示した静止画撮像機能Ａの場合との違いについて詳述する。

識別情報６０は、この画像ファイル４０が動画撮像機能Ａによって作成されたものである旨を表す。撮像条件情報６１は、静止画撮像機能Ａの撮像条件情報６１にフレームレートを付け加えたものである。つまり、撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２に例えば「主要被写体部分を６０ｆｐｓで動画撮像する」、「背景部分を３０ｆｐｓで動画撮像する」という２種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１という番号が「主要被写体部分を６０ｆｐｓで動画撮像する」用途を、２という番号が「背景部分を３０ｆｐｓで動画撮像する」用途にそれぞれ割り当てられる。

マスク情報６２ａは、上述した静止画撮像機能Ａと同様の情報である。ただし動画撮像の場合、前述の通り、マスク情報６２はフレームごとに変化する動的情報なので、どのフレームのマスク情報６２がヘッダ部４１に記録されるのかを決めなければならない。本実施形態では、１フレーム目の撮像の際に各単位グループ３２に設定された撮像条件を表すマスク情報６２ａ、すなわち、図６（ｂ）に例示したマスク情報６２を、ヘッダ部４１に記録する。このようにしたのは、静止画撮像機能Ａの説明でも述べた通り、画像ファイル４０の扱いが煩雑になることを防ぐためである。

データ部４２には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２と、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、データ部４２には、フレームごとのブロック７０と共に、音声情報７１が格納される。音声情報７１は、動画再生を行いやすいように、１フレーム分の情報ごとに分割され、ブロック７０と多重化されてデータ部４２に格納されている。なお、音声情報７１の多重化は、１フレーム分でなく、所定数のフレーム分ごとに行ってもよい。ブロック７０内の各情報は、１フレーム毎に記録されることを除き、静止画撮像機能Ａの場合と同様であるので説明を省略する。

以上のように、制御部２３は、動画撮像機能Ａによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。

（３）静止画撮像機能Ｂ（複数の静止画）
静止画撮像機能Ｂは、１回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画を同時に複数枚撮像する機能である。

図８（ａ）に、撮像素子２２の撮像面３０を模式的に示す。また、図８（ｂ）に、撮像面３０の一部領域３０ｂを拡大した模式図を示す。静止画撮像機能Ｂでは、二次元状に配置された複数の単位グループ３２を、更に複数の大グループ８１に分類する。このとき、ある大グループ８１に属する単位グループ３２が、撮像面８０全体に一様に配置されるように単位グループ３２を分類する。例えば図８（ｂ）では、全ての単位グループ３２を、２×２の４つの単位グループ３２から成るブロック８２に分割し、各ブロック８２の左上の単位グループ３２を１つ目の大グループ８１１に、左下の単位グループ３２を２つ目の大グループ８１２に、右上の単位グループ３２を３つ目の大グループ８１３に、右下の単位グループ３２を４つ目の大グループ８１４に分類している。なお図８（ｂ）では、模式的に図示した四角形１つが１つの単位グループ３２を表しており、四角形の中に記載した数字は、その単位グループ３２が属する大グループ８１の種類を表している。

制御部２３は、本撮像の際、１つ目の大グループ８１１に属する単位グループ３２と、２つ目の大グループ８１２に属する単位グループ３２と、３つ目の大グループ８１３に属する単位グループ３２と、４つ目の大グループ８１４に属する単位グループ３２とで、撮像条件を異ならせる。例えば、シャッタースピードやＩＳＯ感度を互いに異なる値に設定して本撮像を行う。制御部２３は、このようにして撮像した画像情報を画像ファイル４０に記録する。ここで記録される画像情報は、図８（ｃ）に模式的に示すように、各画素値を大グループ８１ごとに集約して利用することを意図したものである。

例えば、図８（ｃ）に示すように、１つ目の大グループ８１１に属する単位グループ３２に対応する画素値だけを画像情報６４から抽出して二次元状に並べると、撮像素子２２の画素数の１／４の画素値から成る第１の画像情報６４１が得られる。同様に、２つ目の大グループ８１に属する単位グループ３２に対応する画素値だけを画像情報６４から抽出して二次元状に並べると、撮像素子２２の画素数の１／４の画素値から成り、上述した第１の画像情報６４１とは異なる撮像条件で撮像された、第１の画像情報６４１と同一の被写体５１が写っている第２の画像情報６４２が得られる。同様に、第３の画像情報６４３、第４の画像情報６４４が得られる。これら４つの画像情報６４１、６４２、６４３、６４４は、全て、同一の被写体５１を撮像した画像であり、且つ、互いに撮像条件が異なる画像である。つまり、最初に述べたように、１回の撮像で、互いに撮像条件が異なる、同一の被写体５１に関する４つの静止画が同時に撮像されたといえる。

なお、画像ファイル４０内の画像情報６４は、撮像素子２２の各撮像画素３１からの画素出力を、撮像画素３１の位置通りに配列した画像である。つまり、上述した４つの画像情報６４１、６４２、６４３、６４４を作成する処理は、メモリカード２５から画像ファイル４０を読み出す再生時や現像時に行われることになる。また、その画像情報６４は、必ずしも４つの画像情報６４１、６４２、６４３、６４４を作成するためだけのものではない。画像情報６４をそのまま利用（再生等）してしまうと、隣接する単位グループ３２ごとに撮像条件が異なっているため、例えば市松模様が現れた不自然な画像になってしまう。しかしながら、画像ファイル４０には、単位グループ３２ごとの撮像条件（例えばＴｖ値、Ｓｖ値等）が記録されているので、それらの撮像条件と画像情報６４とを組み合わせて現像すれば、そのような不自然な画像となることを防ぐことができる。例えば、他の単位グループ３２よりも露出値（Ｅｖ値）が高い単位グループ３２では、他の単位グループ３２よりも明るさを抑えて現像を行えばよい。

以上では単位グループ３２を４つの大グループ８１１、８１２、８１３、８１４に分類した例について説明したが、４つに限らず、任意の数の大グループ８１に分類し、任意の数の静止画を同時に撮像してよい。また、大グループ８１のレイアウト（単位グループ３２の分類方法）も、２×２の単位グループ３２を１つずつ異なる大グループ８１に分類するというものに限らない。

この点について、図９（ａ）、（ｂ）に例を挙げる。図９（ａ）では、全ての単位グループ３２を、３×３の計９個の組に区切り、各々の組において、前記組に含まれる９個の単位グループ３２を、それぞれ１〜９番目の大グループ８１に割り当てている。このようなレイアウトを採用することで、１回の撮像で、撮像条件が異なる９つの画像６４１〜６４９を同時に撮像することができる。また、図９（ｂ）では、全ての単位グループ３２を、３×３の計９個の組に区切り、各々の組において、左上隅の単位グループ３２を１つ目の大グループ８１に割り当て、右下の２×２の計４個の単位グループ３２を、２つ目の大グループ８１に割り当てている。残りの４個の単位グループ３２は、撮像に利用しないものとしている。このようにすると、１回の撮像で、撮像条件が異なる２つの画像６４１、６４２を同時に撮像することができるが、２つ目の大グループ８１に対応する画像６４２は、１つ目の大グループ８１に対応する画像６４１に比べて、４倍の画素数を有する画像になる。つまり、１回の撮像で、撮像条件が異なる２つの画像６４１、６４２を同時に撮像することができ、且つ、それら２つの画像６４１、６４２は、互いに画素数が異なるものとなる。

図１０は、静止画撮像機能Ｂを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図５に示した静止画撮像機能Ａの場合との違いについて詳述する。

識別情報６０は、この画像ファイル４０が静止画撮像機能Ｂによって作成されたものである旨を表す。撮像条件情報６１は、単位グループ３２にどのような用途が存在するかを表す情報である。静止画撮像機能Ｂにおいては、各々の単位グループ３２は、例えば「第１の画像情報６４１を構成する」という用途か、「第２の画像情報６４２を構成する」という用途か、「第３の画像情報６４３を構成する」という用途か、「第４の画像情報６４４を構成する」という用途か、のいずれかの用途を有している。撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２にそれら４種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１〜４の番号が、それぞれ「第１〜第４の画像情報６４１〜６４４を構成する」用途に割り当てられる。

静止画撮像機能Ｂにおけるマスク情報６２ａは、静止画撮像機能Ａの場合と同様に、各々の単位グループ３２の用途を表す情報である。すなわち、マスク情報６２ａは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報６２ａの座標（３，５）に「１」という番号が入っていた場合、座標（３，５）の単位グループ３２は１番目の大グループ８１１に属する、すなわち、第１の画像情報６４１を構成することがわかる。

なお、本実施形態において、「０」という番号を持つ大グループ８１は、撮像に利用されなかった単位グループ３２を表す特別な大グループ８１である。つまり、マスク情報６２ａにおいて「０」という番号が割り振られている単位グループ３２は、撮像に利用されておらず（本撮像時に撮像信号が読み出されておらず）、データ部４２に記録されている画像情報６４には、その単位グループ３２に関する情報が含まれていない（または、その単位グループ３２に関する情報として、有効でないダミーの情報が記録されている）ことを表す。

例えば、同時に３通りの撮像条件で撮像できれば十分であり、４通りの撮像条件で撮像する必要がない場合には、図８（ｂ）に示した単位グループ３２のうち、「４」と書かれた単位グループ３２のマスク情報６２ａに「０」という番号を割り当てればよい。

データ部４２の構成は、静止画撮像機能Ａと同一である。すなわち、データ部４２には、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが格納される。また、マスク情報６２ｂは、マスク部４４に格納されるマスク情報６２ａと同一の情報である。

なお、マスク情報６２ｂとして、マスク部４４のマスク情報６２ａと同一の情報ではなく、単位グループ３２の各々の有効・無効を表す情報を格納してもよい。例えば、撮像に利用されていない（撮像時に撮像信号が読み出されていない）単位グループ３２に数値「０」、撮像に利用された（撮像時に撮像信号が読み出された）単位グループ３２に数値「１」を割り当て、それを単位グループ３２の位置に合わせて二次元状に配列したマップをマスク情報６２ｂとしてデータ部４２に格納してもよい。後述する動画撮像機能Ｂや混合撮像機能においても同様である。

以上のように、制御部２３は、静止画撮像機能Ｂによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。

（４）動画撮像機能Ｂ（複数の動画）
動画撮像機能Ｂは、１回の撮像で、互いに撮像条件が異なる、同一の被写体に関する動画を同時に撮像する機能である。静止画撮像機能Ｂとの違いは、静止画ではなく動画を撮像する点である。動画の撮像ではあるものの、動画撮像機能Ａのように、ある大グループ８１に分類された単位グループ３２が、フレームごとに異なる大グループ８１に分類されることはない。ただし、フレームレートの設定によっては、あるフレームに含まれていた（あるフレームで有効であった）単位グループ３２が、別のフレームには含まれていない（別のフレームでは無効である）ことがある。以下、フレームレートの設定別に、動画撮像機能Ｂについて説明する。

（４−１）全ての大グループ８１でフレームレートが統一されている場合
図１１は、全ての大グループ８１において、フレームレートが同一の場合の動画撮像機能Ｂの説明図である。この場合、大グループ８１ごとに異なる撮像条件とは、フレームレート以外の撮像条件（例えばシャッタースピードやＩＳＯ感度等）である。露出時間は異なるとしても、フレームレート、すなわち信号読み出しの周期は同一であるため、全ての大グループ８１において、撮像信号の読み出しはフレームレートに対応する所定周期Ｔ１ごとに行われる。

全ての単位グループ３２において同一のフレームレートで撮像が行われるので、全てのフレームにおいて、全ての単位グループ３２が撮像に利用されている。換言すると、全てのフレームにおいて、全ての単位グループ３２から撮像信号が読み出され、全てのフレームの画像情報６４に、全ての単位グループ３２から読み出された撮像信号が含まれている。例えば、撮像開始時刻ｔ０から所定周期Ｔ１だけ後の時刻ｔ１に、１つ目の画像情報６４が作成される。この画像情報６４には、１番目の大グループ８１における１フレーム目（図１１で＃１と表記したフレーム。以下同様）の画像と、２番目の大グループ８１における１フレーム目の画像と、３番目の大グループ８１における１フレーム目の画像と、４番目の大グループ８１における１フレーム目の画像と、が含まれる。２つ目以降の画像情報６４についても同様である。

（４−２）大グループ８１ごとにフレームレートが統一されていない場合
図１２は、全ての大グループ８１に、互いに異なるフレームレートが設定されている場合の動画撮像機能Ｂの説明図である。この例において、１番目の大グループ８１１には６０ｆｐｓ、２番目の大グループ８１２には５０ｆｐｓ、３番目の大グループ８１３には２４ｆｐｓ、４番目の大グループ８１４には２５ｆｐｓのフレームレートがそれぞれ設定されている。

このように、大グループ８１同士でフレームレートが異なる場合、制御部２３は、もっとも早いフレームレートを基準として各フレームを記録する。つまり、６０ｆｐｓに対応する所定周期Ｔ２（約１６．７ミリ秒）ごとに、画像情報６４が記録される。例えば、撮像開始時刻ｔ０から所定周期Ｔ２だけ後の時刻ｔ１１には、１番目の大グループ８１１に属する単位グループ３２から読み出された撮像信号に基づく画像情報６４が作成され、画像ファイル４０に記録される。時刻ｔ１１の時点では、他の大グループ８１２、８１３、８１４において１フレーム目の撮像信号の読み出しが為されていないため、この画像情報６４には、それらの撮像信号は含まれていない。なお図１２では、特定の単位グループ３２から撮像信号が読み出されておらず、画像情報６４にその撮像信号が含まれていないことを、「Ｘ」という記号で表記している。

時刻ｔ１１から所定周期Ｔ２だけ後の時刻ｔ１２では、１番目の大グループ８１１の２回目（２フレーム目）の本撮像だけでなく、２番目の大グループ８１２（５０ｆｐｓ）の１回目（１フレーム目）の本撮像も完了している。そこで、制御部２３は、１番目の大グループ８１１に属する単位グループ３２と２番目の大グループ８１２に属する単位グループ３２から読み出した撮像信号を、画像ファイル４０に記録する。３番目の大グループ８１３に属する単位グループ３２や４番目の大グループ８１４に属する単位グループ３２からは撮像信号が読み出されず、画像ファイル４０にも記録されない。

このように、大グループ８１同士でフレームレートが異なる場合、画像情報６４の一部が欠落している（無効になっている）ことがある。制御部２３は、フレームごとに記録するマスク情報６２ｂによって、特定の単位グループ３２に対応する撮像信号が画像情報６４に含まれていないことを示す。具体的なマスク情報６２ｂの構成については後に述べる。

図１３は、動画撮像機能Ｂを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図７に示した動画撮像機能Ａや図１０に示した静止画撮像機能Ｂの場合との違いについて詳述する。

識別情報６０は、この画像ファイル４０が動画撮像機能Ｂによって作成されたものである旨を表す。撮像条件情報６１は、単位グループ３２にどのような用途が存在するかを表す情報である。動画撮像機能Ｂにおける撮像条件情報６１は、静止画撮像機能Ｂの撮像条件情報６１にフレームレートを付け加えたものである。つまり、撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２に例えば「６０ｆｐｓの動画である第１の画像情報６４１を構成する」、「５０ｆｐｓの動画である第２の画像情報６４２を構成する」、「２４ｆｐｓの動画である第３の画像情報６４３を構成する」、「２５ｆｐｓの動画である第４の画像情報６４４を構成する」という４種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１〜４の番号が、それぞれ「第１〜第４の画像情報６４１〜６４４を構成する」用途に割り当てられる。

動画撮像機能Ｂにおけるマスク情報６２ａは、静止画撮像機能Ｂの場合と同様に、各々の単位グループ３２の用途を表す情報である。すなわち、マスク情報６２ａは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報６２ａの座標（３，５）に「１」という番号が入っていた場合、座標（３，５）の単位グループ３２は１番目の大グループ８１１に属する、すなわち、第１の画像情報６４１を構成することがわかる。

データ部４２の構成は、動画撮像機能Ａと同一である。すなわち、データ部４２には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、データ部４２には、フレームごとのブロック７０と共に、音声情報７１が格納される。

マスク情報６２ｂには、上述した撮像条件情報６１により特定される番号（例えば１〜４の番号）だけでなく、「０」という番号が格納されることがある。この「０」という番号は、対応するフレームにおいて、単位グループ３２が、撮像に利用されていない（撮像時に撮像信号が読み出されていない）ことを表す。上述のように、フレームレートが異なる複数の動画を撮像する場合、あるフレームの画像情報６４には、特定の単位グループ３２に対応する撮像信号が格納されていないことがある。このような場合、制御部２３は、前記フレームにおいて、その単位グループ３２に対応するマスク情報６２の数値を「０」に設定する。ここで、マスク情報６２ｂの数値が「０」に設定された単位グループ３２については、画像情報６４以外の情報、すなわち、Ｔｖ値マップ６５内のＴｖ値、Ｓｖ値マップ６６内のＳｖ値、Ｂｖ値マップ６７内のＳｖ値についても、有効な値が記録されない。

なお、マスク情報６２ｂの数値が「０」に設定された単位グループ３２について、その単位グループ３２の前フレームにおける撮像信号を、画像情報６４に記録するようにしてもよい。Ｔｖ値マップ６５内のＴｖ値、Ｓｖ値マップ６６内のＳｖ値、Ｂｖ値マップ６７内のＳｖ値についても同様に、前フレームにおける値を記録するようにしてもよい。後述する混合撮像機能についても同様である。

以上のように、制御部２３は、動画撮像機能Ｂによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。

（５）混合撮像機能（動画と静止画）
混合撮像機能は、静止画撮像機能Ｂと動画撮像機能Ｂを組み合わせた機能であり、１回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画と動画を同時に撮像する機能である。

混合撮像機能において、制御部２３は、静止画撮像機能Ｂや動画撮像機能Ｂと同様に、二次元状に配置された複数の単位グループ３２を、更に複数の大グループ８１に分類する。制御部２３は、一部の大グループ８１について、動画撮像機能Ｂと同様に動画撮像を行う。制御部２３は、その動画撮像中に、残りの大グループ８１を用いて、静止画撮像機能Ｂと同様に静止画撮像を行う。この静止画撮像は、例えば一定周期で繰り返し行ってもよいし（自動撮像）、ユーザにより特定の操作が為されたことに応じて行ってもよい（手動撮像）。

図１４は、混合撮像機能の説明図である。ここでは４つの大グループ８１１〜８１４を仮定し、そのうち１番目の大グループ８１１で６０ｆｐｓの動画撮像を、２番目の大グループ８１２で５０ｆｐｓの動画撮像を、３番目と４番目の大グループ８１３、８１４で静止画を撮像するものとしている。

制御部２３は、動画撮像機能Ｂと同様に、もっとも早いフレームレート（例えば６０ｆｐｓ）を基準として、各フレームを記録する。静止画撮像が行われない間、３番目と４番目の大グループ８１３、８１４に属する単位グループ３２については、常に撮像信号の読み出しが行われない。つまり、フレームごとに記録される画像情報６４には、静止画に対応する３番目と４番目の大グループ８１３、８１４に属する単位グループ３２の撮像信号が含まれない。制御部２３は、静止画撮像を行った場合、静止画撮像が完了したタイミング（３番目と４番目の大グループ８１３、８１４に属する単位グループ３２から撮像信号を読み出したタイミング）で、直後のフレームに対応する画像情報６４に、静止画撮像により読み出した撮像信号を含ませる。

図１５は、混合撮像機能を用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図１３に示した動画撮像機能Ｂの場合との違いについて詳述する。

識別情報６０は、この画像ファイル４０が混合撮像機能によって作成されたものである旨を表す。撮像条件情報６１は、単位グループ３２にどのような用途が存在するかを表す情報である。混合撮像機能における撮像条件情報６１は、例えばこの画像ファイル４０の作成に際し、単位グループ３２に「６０ｆｐｓの動画である第１の画像情報６４１を構成する」、「３０ｆｐｓである動画である第２の画像情報６４２を構成する」、「静止画である第３の画像情報６４３を構成する」、「静止画である第４の画像情報６４４を構成する」という４種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１〜４の番号が、それぞれ「第１〜第４の画像情報６４１〜６４４を構成する」用途に割り当てられる。

混合撮像機能におけるマスク情報６２ａは、動画撮像機能Ｂの場合と同様に、各々の単位グループ３２の用途を表す情報である。すなわち、マスク情報６２ａは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報６２ａの座標（３，５）に「１」という番号が入っていた場合、座標（３，５）の単位グループ３２は１番目の大グループ８１１に属する、すなわち、第１の画像情報６４１を構成することがわかる。

混合撮像機能では、ヘッダ部４１に、更にインデックス部７３が追加されている。インデックス部７３には、データ部４２に記録されている複数のブロック７０（複数のフレームにそれぞれ対応する）のうち、どのブロック７０に静止画が格納されているかを表すインデックス情報７４が記録されている。インデックス情報７４には、例えば、「５フレーム目の画像情報６４に含まれる第３の画像情報６４３に静止画が含まれている」というような情報が１つ乃至複数（静止画撮像の回数分だけ）含まれている。インデックス部７３は、多数のブロック７０の中から、静止画を素早く検索できるように設けられている。

なお、インデックス情報７４は、フレーム数に基づき静止画の記録位置を特定するものでなくてもよい。例えば、動画の再生時刻に基づき静止画の記録位置を特定することもできる。この場合、インデックス情報７４は、例えば「３分１５秒時点の画像情報６４に含まれる第３の画像情報６４３に静止画が含まれている」というような情報となる。

制御部２３は、混合撮像機能による撮像中に静止画の撮像を行う度に、静止画の撮像を行ったフレーム番号や時刻をインデックス部７３にインデックス情報７４として追記する。なお、メモリカード２５内の画像ファイル４０のインデックス部７３に直接追記するのではなく、ＤＲＡＭ２７に一時記憶しておき、混合撮像機能の終了時に、メモリカード２５内の画像ファイル４０のインデックス部７３にＤＲＡＭ２７内の情報を転送するようにしてもよい。

データ部４２の構成は、動画撮像機能Ｂと同一である。すなわち、データ部４２には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２と、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、データ部４２には、フレームごとのブロック７０と共に、音声情報７１が格納される。

以上のように、制御部２３は、混合撮像機能による撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。

次に、制御部２３による画像の再生処理について説明する。画像の再生処理は、上述した種々の撮像撮像機能によってメモリカード２５に記録された画像ファイル４０から、被写体の画像を作成する処理である。制御部２３は、作成した画像を、例えば液晶モニタ２４に表示したり、メモリカード２５に上述した画像ファイル４０とは別のファイルとして記録したりする。

制御部２３は、画像ファイル４０（図５、図７、図１０、図１３、図１５）を開き、まずファイル基本情報部４３を読み出す。これにより、画像ファイル４０のマスク部４４やデータ部４２等のオフセットおよびサイズが判明する。次に制御部２３は、画像ファイル４０のマスク部４４から、識別情報６０を読み出す。これにより、制御部２３は、この画像ファイル４０がどの撮像撮像機能により作成されたファイルであるかを認識する。以降の処理は、撮像撮像機能毎に異なる。そこで、以下、画像の再生処理を、上述した撮像撮像機能ごとに説明する。

（１）静止画撮像撮像機能Ａ（単一の静止画）
画像ファイル４０が、図５に示す、静止画撮像撮像機能Ａにより作成されたファイルであると認識すると、制御部２３は、マスク部４４から、撮像条件情報６１およびマスク情報６２ａを読み出す。これにより、制御部２３は、撮像撮像画面全体のうち、どの範囲（どの単位グループ３２）が主要被写体部分なのか、あるいは背景部分なのかを識別することができ、主要被写体部分と背景部分とで画作りを変化させることができる。例えば、主要被写体部分はより先鋭になるようにエッジ強調処理を施し、背景部分にはぼかし処理を施して主要被写体部分を強調することができる。

次に制御部２３は、データ部４２から、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出す。そして、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８に基づいて、画像情報６４にいわゆる現像処理を実行する。画像情報６４がＲＡＷデータである場合は、画像処理部２３は、例えば、色情報を有していない画像情報６４に対して、周知のデモザイク処理を実行し、色情報を有する画像を作成する。また、制御部２３は、Ｓｖ値マップ６６等に基づき、色彩や明るさ等の調整、ノイズ軽減等の画像処理を行う。例えば、Ｓｖ値が大きい（感度が高い）単位グループ３２には、他の単位グループ３２に比べてノイズが乗りやすい。そこで、制御部２３は、Ｓｖ値が大きいほど、ノイズ軽減の強度を高く（強く）する。制御部２３は、以上のようにして作成された画像を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３は、静止画撮像撮像機能Ａにより作成された画像ファイル４０を再生するに際し、画像情報６４等のデータ部４２に記録されている情報よりも先に、マスク部４４に記録されている撮像条件情報６１およびマスク情報６２ａを読み出す。マスク部４４はデータ部４２よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、前述の通り、データ部４２には、ヘッダ部４１に格納されているマスク情報６２ａと同一のマスク情報６２ｂが格納されている。そこで、制御部２３は、マスク情報６２ａの代わりに、データ部４２からマスク情報６２ｂを読み出してもよい。

（２）動画撮像撮像機能Ａ（単一の動画）
画像ファイル４０が、図７に示す、動画撮像撮像機能Ａにより作成されたファイルであると認識すると、制御部２３は、マスク部４４からマスク情報６２ａを読み出す。制御部２３は、撮像撮像画面全体のうち、どの範囲（どの単位グループ３２）が主要被写体部分なのか、あるいは背景部分なのかを判別する。次に、制御部２３は、マスク部４４から撮像条件情報６１を読み出す。これにより、制御部２３は、主要被写体部分と背景部分のフレームレートを認識する。次に制御部２３は、データ部４２の先頭のブロック７０から順に、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出して、動画を構成する各フレームを作成する。

制御部２３は、各フレームを作成するに際し、ブロック７０から、まずマスク情報６２ｂを読み出す。そして、前記フレームにおいて、どの範囲（どの単位グループ３２）が主要被写体部分なのか、あるいは背景部分なのかを識別する。その後、制御部２３は、静止画撮像撮像機能Ａの説明で述べたように、主要被写体部分と背景部分とで異なる画像処理を実行する。制御部２３は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３は、動画撮像撮像機能Ａにより作成された画像ファイル４０を再生するに際し、ブロック７０内に記録されている画像情報６４等の情報よりも先に、マスク情報６２ｂを読み出す。マスク情報６２ｂは画像情報６４等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、データ部４２の先頭ブロックのマスク情報６２ｂとマスク部４４に記録されたマスク情報６２ａとが同じ情報であるため、制御部２３は、マスク部４４からマスク情報６２ａを読み出さないようしてもよい。

（３）静止画撮像撮像機能Ｂ（複数の静止画）
画像ファイル４０が、図１０に示す、静止画撮像撮像機能Ｂにより作成されたファイルであると認識すると、制御部２３は、マスク部４４から、撮像条件情報６１およびマスク情報６２ａを読み出す。これにより、制御部２３は、同時に何種類の静止画が撮像されたのか、また、どの単位グループ３２がどの静止画を構成しているのかを識別する。すなわち、大グループ８１が何個存在し、各単位グループ３２がどの大グループ８１に属しているのかを識別する。

次に制御部２３は、データ部４２から、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出す。そして、制御部２３は、大グループ８１ごとに、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８に基づいて、画像情報６４にいわゆる現像処理を実行し静止画を作成する。これにより、複数の静止画（例えば４つの静止画）が作成される。制御部２３は、以上のようにして作成された画像を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３は、静止画撮像撮像機能Ｂにより作成された画像ファイル４０を再生するに際し、画像情報６４等のデータ部４２に記録されている情報よりも先に、マスク部４４に記録されている撮像条件情報６１およびマスク情報６２ａを読み出す。マスク部４４はデータ部４２よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、前述の通り、データ部４２には、ヘッダ部４１に格納されているマスク情報６２ａと同一のマスク情報６２ｂが格納されている。そこで、マスク情報６２ａの代わりに、データ部４２からマスク情報６２ｂを読み出してもよい。

（４）動画撮像撮像機能Ｂ（複数の動画）
画像ファイル４０が、図１３に示す、動画撮像撮像機能Ｂにより作成されたファイルであると認識すると、制御部２３は、マスク部４４からマスク情報６２ａと撮像条件情報６１を読み出す。これにより、制御部２３は、同時に何種類の動画が撮像されたのか、どの単位グループ３２がどの動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、大グループ８１が何個存在し、各単位グループ３２がどの大グループ８１に属しており、各大グループ８１はどのようなフレームレートで撮像されたのかを識別する。次に制御部２３は、データ部４２の先頭のブロック７０から順に、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出して、各動画を構成する各フレームを作成する。

制御部２３は、各フレームを作成するに際し、ブロック７０から、まずマスク情報６２ｂを読み出す。そして、制御部２３は、前記ブロック７０の画像情報６４にどの大グループ８１に対応する画素信号が含まれているのかを識別する。その後、制御部２３は、各大グループ８１に対応するフレームを作成するが、前記ブロック７０の画像情報６４に画素信号が含まれていない大グループ８１については、フレームを作成しない。制御部２３は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３は、動画撮像撮像機能Ｂにより作成された画像ファイル４０を再生するに際し、ブロック７０内に記録されている画像情報６４等の情報よりも先に、マスク情報６２ａ、６２ｂを読み出す。マスク情報６２ａ、６２ｂは画像情報６４等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、データ部４２の先頭ブロックのマスク情報６２ｂとマスク部４４に記録されたマスク情報６２ａとが同じ情報であるため、制御部２３は、マスク部４４からマスク情報６２ａを読み出さないようしてもよい。

（５）混合撮像撮像機能（動画と静止画）
画像ファイル４０が、図１５に示す、混合撮像撮像機能により作成されたファイルであると認識すると、制御部２３は、マスク部４４からマスク情報６２ａと撮像条件情報６１を読み出す。これにより、制御部２３は、同時に何種類の動画と何種類の静止画が撮像されたのか、どの単位グループ３２がどの静止画および動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、制御部２３は、大グループ８１が何個存在し、各大グループ８１は静止画なのか動画なのか、動画であればそのフレームレートはいくつか、各単位グループ３２がどの大グループ８１に属しているかを識別する。次に制御部２３は、データ部４２の先頭のブロック７０から順に、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出して、各動画を構成する各フレーム、および、各静止画を作成する。

制御部２３は、動画の各フレームや静止画を作成するに際し、ブロック７０から、まずマスク情報６２ｂを読み出す。そして、前記ブロック７０の画像情報６４にどの大グループ８１に対応する画素信号が含まれているのかを識別する。その後、制御部２３は、各大グループ８１に対応するフレームや静止画を作成するが、前記ブロック７０の画像情報６４に画素信号が含まれていない大グループ８１については、フレームや静止画を作成しない。制御部２３は、以上のようにして作成したフレームから成る動画や静止画を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３は、混合撮像撮像機能により作成された画像ファイル４０を再生するに際し、ブロック７０内に記録されている画像情報６４等の情報よりも先に、マスク情報６２ａ、６２ｂを読み出す。マスク情報６２ａ、６２ｂは画像情報６４等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、データ部４２の先頭ブロックのマスク情報６２ｂとマスク部４４に記録されたマスク情報６２ａとが同じ情報であるため、制御部２３は、マスク部４４からマスク情報６２ａを読み出さないようしてもよい。

画像の再生処理は、上述した種々の撮像撮像機能によってメモリカード２５に記録された画像ファイル４０から、被写体の画像を作成する処理としたが、メモリカード２５に記録される前の画像ファイル４０に対して、静止画や動画を作成する処理であってもよい。制御部２３は、静止画や動画作成された後に、圧縮処理を施すようにしてもよい。

なお、撮像装置１０とは異なる電子機器（以後、再生装置と称する）が、上述した再生処理を実行するようにしてもよい。例えば、メモリカード２５を撮像装置１０から取り外し、撮像装置１０の外部に設けたＰＣ等の再生装置にメモリカード２５を装着すると、再生装置がメモリカード２５から画像ファイル４０を読み出して、上述した再生処理を実行し、画像を再生するようにしてもよい。また、撮像装置１０と再生装置との間で無線通信等のデータ通信を行うことにより、画像情報６４等の授受を行うようにしてもよい。

上述した第１の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）撮像素子２２は、複数の単位グループ３２（撮像領域）を有しており、単位グループ３２毎に撮像条件が設定可能である。制御部２３は、撮像素子２２により生成された画像情報６４（画像データ）と、単位グループ３２毎の、撮像条件に関する撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等のデータ（撮像条件データ）とを関連付けて記録する。このようにしたので、各々の画素にどのような撮像条件が適用されているのかを、撮像結果である画像ファイル４０の再生時等に知ることができる、使い勝手のよい撮像装置１０を提供することができる。

（２）画像情報６４に関連づけて記録される、撮像条件に関する情報には、例えば撮像素子２２により被写体を撮像するときの露出に関する情報や、撮像素子２２により撮像された被写体の明るさに関する情報が含まれる。具体的には、撮像素子２２により撮像された被写体の輝度に関する情報であるＢｖ値マップ６７、不図示の光電変換部による電荷の蓄積時間であるＴｖ値マップ６５、不図示の増幅部による増幅率であるＳｖ値マップ６６等が含まれる。これらの情報は、いずれも、撮像素子２２の撮像動作に関する情報であると言うことができる。このようにしたので、画像ファイル４０の再生時に、より適切な画像処理を行うことができる。

（３）制御部２３は、画像情報６４に関連付けて、撮像の都度変化する撮像条件に関する情報を記録する。このようにしたので、画像ファイル４０ごとに適切な情報が付加され、再生時により適切な画像処理を行うことができる。

（４）制御部２３は、画像情報６４にそれぞれ対応する撮像条件に関する複数の情報を、単一の画像ファイル４０内に時系列順に記録する。このようにしたので、例えば画像ファイル４０に動画が記録されている場合に、それらの情報に基づく画像処理を容易に行うことができる。

（５）制御部２３は、ヘッダ部４１と画像情報６４を記録するデータ部４２（画像データ部）とを有する画像ファイル４０において、ヘッダ部４１及びデータ部４２のうち、少なくともいずれか一方に、撮像条件に関する情報を記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。

（６）制御部２３は、複数の単位グループ３２毎の用途に関する撮像条件情報６１およびマスク情報６２を、画像情報６４に関連付けて記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。

（７）マスク情報６２は、時間経過に伴い変化する動的情報を含んでいる。具体的には、画像情報６４に、単位グループ３２に属する撮像画素３１から読み出された画素信号に対応する画素値が含まれるか否かを表す情報か、もしくは、複数の単位グループ３２の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル４０の再生時に、動的情報を利用した画像処理を行うことができる。

（８）マスク情報６２は、時間経過に伴い変化しない静的情報を含んでいる。具体的には、複数の単位グループ３２の役割を表す情報を含んでいる。また、マスク情報６２ａは、撮像当初において、複数の単位グループ３２の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル４０の再生時に、静的情報を利用した画像処理を行うことができる。

（９）制御部２３は、複数の画像情報６４にそれぞれ対応する複数のマスク情報６２ｂを、単一の画像ファイル４０内に時系列順に記録する。このようにしたので、例えば画像ファイル４０の再生時に、撮像条件を時系列順に追跡することができる。

（１０）制御部２３は、ヘッダ部４１と画像情報６４を記録するデータ部４２（画像データ部）とを有する画像ファイル４０において、ヘッダ部４１及びデータ部４２のうち、少なくともいずれか一方に、マスク情報６２を記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。

（１１）複数の単位グループ３２には、第１のフレームレートで撮像される単位グループ３２と、第１のフレームレートより遅い第２のフレームレートで撮像される単位グループ３２とが含まれ、制御部２３は、第１のフレームレートに基づき、複数の画像情報６４を記録する。このようにしたので、全てのフレームに関する情報を漏れなく確実に記録することができる。

（１２）制御部２３は、複数の画像情報６４の撮像期間に対応する音声情報７１（音声データ）を、複数の画像情報６４に関連づけて記録する。このようにしたので、音声も含めた動画再生を行うことが可能となる。

（１３）制御部２３は、画像情報６４の撮像パターンに関する情報と、画像情報６４の保存方式に関する情報と、単位グループ３２ごとの撮像条件に関する情報と、の少なくとも１つを、ヘッダ部４１とデータ部４２との２つのブロックから成る画像ファイル４０のヘッダ部４１に記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。

（第２の実施の形態）
第２の実施の形態に係る撮像装置は、第１の実施の形態に係る撮像装置１０と同様の構成を有しているが、静止画撮像機能Ｂ、動画撮像機能Ｂ、混合撮像機能における画像ファイル４０の記録方式が、第１の実施の形態とは異なっている。以下、この点について詳述する。

前述の通り、静止画撮像機能Ｂ、動画撮像機能Ｂ、および混合撮像機能は、一回の撮像で、同一の被写体に関する静止画や動画を、同時に複数撮像する機能である。本実施形態において、制御部２３は、このようにして複数撮像された静止画や動画を、単一の画像ファイル４０ではなく、複数の画像ファイル４０に分割して記録する。このとき、制御部２３は、分割して記録されたそれぞれの画像ファイル４０同士を、関連付けて記録する。従って、それら複数の画像ファイル４０は、便宜上別々のファイルとして記録されるものの、第１の実施の形態と同様に、単一の撮像により得られたファイルであるという情報は損なわれない。換言すると、後からそれら複数の画像ファイル４０を扱う際に、第１の実施の形態と同様に、単一の撮像により得られたものであると認識して扱うことができる。

図１６は、メモリカード２５のディレクトリ構造を模式的に示す図である。メモリカード２５のルートディレクトリ９０には、ＤＣＩＭディレクトリ９１ａが存在する。また、ＤＣＩＭディレクトリ９１ａ内には、更に、画像保存用のサブディレクトリ９１ｂが存在する。静止画撮像機能Ｂ、動画撮像機能Ｂ、および混合撮像機能による１回の撮像の都度、制御部２３は、このサブディレクトリ９１ｂ内に、撮像セットディレクトリ９２を１つ作成する。つまり、１つの撮像セットディレクトリ９２が、１回の撮像に対応している。

撮像セットディレクトリ９２には、１つの管理データファイル９３と、単位グループ３２の用途ごとに、サブディレクトリ９４が作成される。例えば、単位グループ３２の用途が４つ存在する場合には、サブディレクトリ９４が４つ作成される。各々のサブディレクトリ９４には、単位グループ３２の用途に応じた画像ファイル４０が少なくとも１つ作成される。例えば、単位グループ３２の用途が動画撮像である場合、その用途に対応するサブディレクトリ９４内には、動画ファイル４０１が１つだけ記録される。また、単位グループ３２の用途が静止画撮像である場合、その用途に対応するサブディレクトリ９４内には、静止画ファイル４０２が撮像回数分だけ記録される。なお、静止画撮像機能Ｂの場合、１回の撮像では用途ごとに１つの静止画ファイル４０２のみが記録されることになるので、各サブディレクトリ９４内には、１つの静止画ファイル４０２が記録されることになる。

図１７（ａ）は、管理データファイル９３の構造を模式的に示す図である。管理データファイル９３は、各サブディレクトリ９４内に記録されている画像ファイル４０同士を関連付ける情報が記録されたファイルであり、ファイル基本情報部４３と、マスク部４４と、インデックス部７３と、撮像情報部４５とから成る。ファイル基本情報部４３、マスク部４４、および撮像情報部４５は、図１５等で説明した画像ファイル４０における同名の各部と同一である。インデックス部７３には、各々のサブディレクトリ９４が単位グループ３２のどの用途に対応するのかを表すレイアウト情報９６が記録される。

図１７（ｂ）は、サブディレクトリ９４内に記録される静止画ファイル４０２の構造を模式的に示す図である。静止画ファイル４０２には、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが記録される。Ａｖ値情報６８については、図１０で説明したものと同様であるため、説明を省略する。

マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７は、それぞれ、図１０で説明した同名の情報から、１つの大グループ８１に対応する値だけを抽出して二次元状に配列した情報である。例えば、図１０で説明した画像ファイル４０において、マスク情報６２ｂは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」であり、マスク情報６２ｂに含まれる値の個数は、単位グループ３２の個数と同一であった。これに対し、静止画ファイル４０２におけるマスク情報６２ｂは、それら全ての値から、本サブディレクトリ９４に対応する大グループ８１に対応する値のみを抽出して二次元マップの形で表現した情報である。画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７についても同様に、１つの静止画ファイル４０２には、１つの大グループ８１に対応する値のみが含まれている。

図１８は、サブディレクトリ９４内に記録される動画ファイル４０１の構造を模式的に示す図である。動画ファイル４０１には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、動画ファイル４０１には、フレームごとのブロック７０と共に、音声情報７１が格納される。Ａｖ値情報６８については、図１３で説明したものと同様であるため、説明を省略する。

マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７は、それぞれ、図１３で説明した同名の情報から、１つの大グループ８１に対応する値だけを抽出して二次元状に配列した情報である。この点については、上述した静止画ファイル４０２の場合と同様であるので、説明を省略する。

以上のように、制御部２３は、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とを関連付けてメモリカード２５に記録する。第１の実施の形態とは異なり、単一の画像ファイル４０という形ではないものの、メモリカード２５に記録される管理データファイル９３と、動画ファイル４０１と、静止画ファイル４０２は、管理データファイル９３内のレイアウト情報９６によって互いに関連付けられている。

上述した第２の実施の形態による撮像装置によれば、第１の実施の形態と同様の作用効果が得られる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
第１の実施の形態では、第１の画像情報６４１や第２の画像情報６４２を、画像ファイル４０の再生時に作成すると説明したが、これを予め画像ファイル４０に記録するようにしてもよい。換言すると、第２の実施の形態では、大グループ８１ごとに別々のサブディレクトリ９４に別々のファイルとして記録していた動画や静止画を、単一の画像ファイル４０に記録するようにしてもよい。この場合、画像ファイル４０内に記録される１フレーム分のデータは、それぞれ１つの大グループ８１に対応するものとなる。

例えば、第２の実施の形態において２つのファイルに分けて記録されていた２つの動画（第１の動画と第２の動画）を、単一の画像ファイル４０に記録する場合を考える。このとき、データ部４２の先頭から順に、第１の動画の１フレーム目、２フレーム目、３フレーム目、…に関するデータを時系列順に記録し、その後に、第２の動画の１フレーム目、２フレーム目、３フレーム目、…に関するデータを時系列順に記録することができる。このようにすると、再生処理の負荷を低減することができる。

また、これとは異なる記録方法として、第１の動画の各フレームに関するデータと、第２の動画の各フレームに関するデータとを、各フレームの時系列順に記録することもできる。つまり、第１の動画の１フレーム目、第２の動画の１フレーム目、第１の動画の２フレーム目、…のように、２つの動画の各フレームが撮像の時系列順に配列された形で記録されていてもよい。このようにすると、記録処理の負荷を低減することができる。

（変形例２）
第１の実施の形態の説明において、動画撮像機能Ｂ、および混合撮像機能により作成される画像ファイル４０のデータ部４２には、画像情報６４や各種のマップ情報が、撮像素子２２における単位グループ３２の配列通りに記録されると述べた。これを、単位グループ３２の配列とは異なる配列にして記録してもよい。以下、この点について詳述する。

図１９は、変形例２の説明図である。ここでは、図８（ｂ）と同様に、単位グループ３２を４つの大グループ８１に分類している。ただし、その後に制御部２３が生成する画像情報６４は、単位グループ３２の配列通りに撮像信号を配列したものではない。具体的には、大グループ８１ごとに撮像信号を集約した後に、それらを連結することにより、画像情報６４を生成している。例えば、画像情報６４を２×２の４つの領域に区切ったとき、左上の領域には、１番目の大グループ８１に属する単位グループ３２からの撮像信号が集約され、左下の領域には、２番目の大グループ８１に属する単位グループ３２からの撮像信号が集約され、右上の領域には、３番目の大グループ８１に属する単位グループ３２からの撮像信号が集約され、右下の領域には、４番目の大グループ８１に属する単位グループ３２からの撮像信号が集約されている。

なお、以上のように、画像情報６４における撮像信号の配列を変更する場合には、Ｔｖ値マップ６５やＳｖ値マップ６６、マスク情報６２等の配列も、これに合わせて変更する必要がある。

また、これ以外の方法で、画像情報６４の配列を変更してもよい。つまり、画像ファイル４０内において、画像情報６４内の配列と、その他の撮像条件に関する情報（マスク情報６２等）内の配列とが対応してさえいれば、その配列自体はどのようなものであってもよい。

（変形例３）
動画撮像機能Ｂ乃至混合撮像機能において、フレームごとに単位グループ３２の用途を変化させてもよい。例えば図２０に示すように、奇数フレームでは単位グループ３２が１〜４番目の大グループ８１にそれぞれ分類されるようにし、撮像条件が異なる４つの画像情報６４１、６４２、６４３、６４４を含む画像情報６４が得られるようにする。そして、偶数フレームでは単位グループ３２が５番目の大グループ８１にのみ分類されるようにし、単一の画像情報６４のみが得られるようにする。つまり、撮像条件が異なり画素数が相対的に少ない複数の画像と、画素数が相対的に多い単一画像とを、時分割的に撮像してもよい。また、上述した変形例１や変形例２にこの変形例３を適用することもできる。

（変形例４）
動画撮像機能Ｂ乃至混合撮像機能において、１つの単位グループ３２が複数の用途を有するようにしてもよい。例えば図２１に示すように、単位グループ３２が１〜４番目の大グループ８１にそれぞれ分類され、且つ、全ての単位グループ３２が５番目の大グループ８１にも分類されるようにしてもよい。この場合、前者の分類に従って画像ファイル４０の再生（現像等）を行うと、４つの画像情報６４１、６４２、６４３、６４４を含む画像情報６４が得られ、後者の分類に従って画像ファイル４０の再生（現像等）を行うと、より画素数が多い単一の画像情報６４が得られることになる。

（変形例５）
静止画撮像機能Ｂの説明において、マスク情報６２上で「０」という番号が割り振られている単位グループ３２は、撮像に利用されておらず、データ部４２に記録されている画像情報６４には、その単位グループ３２に関する情報が含まれていないことを表すと述べたが、静止画撮像機能Ａや動画撮像機能Ａにおいても、「０」という番号が同様の意味を持つようにしてもよい。

また、ヘッダ部４１のマスク情報６２において、「０」という番号が撮像に利用されていないことを表すものとしてもよい。例えば、静止画撮像機能Ｂや動画撮像機能Ｂにおいて、撮像画面全体を２×２の４つの単位グループ３２で区切って、それら４つの単位グループ３２にそれぞれ異なる用途を割り当てる場合、単位グループ３２の縦方向の数（行数）が奇数であれば、１行だけ余りの行が生じることになる。このような場合に、その余りの１行を撮像に用いないこととして、ヘッダ部４１に記録するマスク情報６２では、その余りの１行に「０」という番号を割り当てることとしてもよい。

なお、上述した「０」という番号は一例であって、他の番号を、上述した「０」という番号と同様の扱いとしてもよい。

（変形例６）
画像ファイル４０の構造は、上述した各実施の形態と異なっていてもよい。また、画像ファイル４０に記録される撮像条件に関する情報は、第１の実施の形態等で説明した情報と異なっていてもよい。例えば、Ｓｖ値マップ６６など、一部の情報の記録を省略してもよい。逆に、上述したものとは別の情報を更に追加してもよい。また、記録形態は上述した実施形態と異なっていてもよい。例えば、Ａｖ値情報６８を、Ｔｖ値やＳｖ値等と同様に、単位グループ３２ごとのＡｖ値を二次元状に配列したＡｖ値マップとして記録してもよい。

（変形例７）
上述した各実施の形態では、撮像素子２２と制御部２３とを有する単一の電子機器である撮像装置について説明したが、本発明はこのような実施形態に限定されない。例えば、外部に設けられた撮像素子２２を制御する電子機器にも本発明を適用することができる。以下、撮像素子２２を備えた撮像ユニット１００１を、外部機器から制御する形態について詳述する。

図２２は、変形例７に係る撮像システムの構成を模式的に示すブロック図である。図２２に示す撮像システム１０００は、撮像ユニット１００１と、電子機器１００２とから成る。撮像ユニット１００１は、第１の実施の形態で説明した撮像光学系２１と撮像素子２２とを備え、更に、第１通信部１００３を備えている。また、電子機器１００２は、第１の実施の形態で説明した制御部２３、液晶モニタ２４、メモリカード２５、操作部２６、ＤＲＡＭ２７、フラッシュメモリ２８、および録音部２９を備え、更に、第２通信部１００４を備えている。第１通信部１００３および第２通信部１００４は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。また、撮像ユニット１００１と電子機器１００２とが有線ケーブル等による有線接続により、第１通信部１００３および第２通信部１００４は、双方向のデータ通信を行う構成であってもよい。

変形例７に係る撮像システム１０００では、制御部２３は、第２通信部１００４および第１通信部１００３を介したデータ通信により、撮像素子２２の制御を行う。例えば、所定の制御データを撮像ユニット１００１との間で送受信することにより、単位グループ３２ごとに異なる撮像条件を設定したり、各々の単位グループ３２から撮像信号を読み出したりする。

以上に述べたように、撮像システム１０００において、単位グループ３２ごとの制御を行っているのは、制御部２３である。電子機器１００２は、撮像素子２２を備えていないが、電子機器１００２の外部に設けられた撮像素子２２（撮像ユニット１００１）を制御することにより、第１の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子２２を有していない電子機器に適用することが可能である。

（変形例８）
画像情報６４のデータ量を削減するために、画像情報６４を周知の可逆圧縮技術により圧縮して記録してもよい。また、画像情報６４を、隣接する画素との差分値の形で記録してもよい。例えば、ある画素の画素値（撮像信号）を記録する位置に、その左隣の画素との差分値を記録するようにしてもよい。または、所定領域内の全画素の画素値の平均値との差分値を記録するようにしたり、全画素の平均値との差分値を記録するようにしてもよい。

また、動画の場合には、前のフレームの同じ位置の画素値との差分値を記録するようにすれば、更にデータ量を削減することができる。あるいは、前のフレームの同じ位置の画素値と値が異なるときだけ画素値を記録するようにし、前フレームと画素値が同一である場合にはその画素値を記録しないようにしてもよい。これは撮像条件（Ｓｖ値やＴｖ値等）について適用することも可能である。例えば、ある単位グループ３２について、前フレームとＳｖ値が同一である場合、そのＳｖ値を記録しないようにしてもよい。

なお、以上で述べたような形で画像情報６４を記録する場合、再生時（現像時）に、それらの形から元の画素値を復元する処理を実行する必要がある。

（変形例９）
上述した各実施の形態では、本発明をレンズ一体型カメラに適用した例について説明を行ったが、例えばレンズ交換型カメラに本発明を適用することも可能である。また、本発明はカメラに限らず、ＰＣ、携帯電話、スマートフォン、タブレット等のカメラ付き電子機器にも適用可能である。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１０…撮像装置、２１…撮像光学系、２２…撮像素子、２３…制御部、２４…液晶モニタ、２５…メモリカード、２６…操作部、２７…ＤＲＡＭ、２８…フラッシュメモリ、２９…録音部

Claims (20)

1. 複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録部を備える電子機器。
2. 請求項１に記載の電子機器において、
   前記画像データ部は、動画像を構成する複数のフレームの各々に対応する前記複数の第１及び第２の撮像領域の画素信号と、前記複数のフレームの各々に対応する前記第１及び第２の撮像領域の位置に関するデータ部情報を含み、
   前記記録部は、前記複数のフレームの各々に対応する前記データ部情報と前記フレームに対応する前記複数の第１及び第２の撮像領域の画素信号とを記録し、
   前記データ部情報、前記複数の第１及び第２の撮像領域の画素信号の順に記録する電子機器。
3. 所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録部を備える電子機器。
4. 請求項３に記載の電子機器において、
   前記画像データ部には、動画像を構成する複数のフレームの各々に対応する複数のフレーム情報が含まれ、
   前記複数のフレーム情報の各々には、前記複数の第１及び第２の撮像領域の画素信号と前記複数の第１の撮像領域の画素信号との一方と、前記フレームに前記複数の第２の撮像領域の画素信号が含まれているか否かに関するデータ部情報とが含まれ、
   前記記録部は、前記複数のフレームの各々に対応する前記データ部情報と、前記フレームに対応する前記複数の第１及び第２の撮像領域の画素信号とを記録し、
   前記データ部情報、前記複数の第１及び第２の撮像領域の画素信号の順に記録する電子機器。
5. 所定の記録媒体から画像ファイルを読み出す読出部と、
   前記読出部により読み出された前記画像ファイルに基づき画像を再生する再生部とを備え、
   前記画像ファイルは、ヘッダ部と画像データ部とを有し、
   前記画像データ部は、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と、前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含み、
   前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、
   前記読出部は、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す再生装置。
6. 請求項５に記載の再生装置において、
   前記再生部は、前記情報に基づき、前記複数の第１の撮像領域の画素信号と前記複数の第２の撮像領域の画素信号とから前記被写体の１つの画像を再生する再生装置。
7. 請求項５または６に記載の再生装置において、
   前記画像データ部は、動画像を構成する複数のフレームの各々に対応する前記複数の第１及び第２の撮像領域の画素信号と、前記複数のフレームの各々に対応する前記第１及び第２の撮像領域の位置に関するデータ部情報を含み、
   前記再生部は、前記複数のフレームに対応する前記複数の第１及び第２の撮像領域の画素信号、前記複数のフレームの各々に対応する前記データ部情報の順に読み出す再生装置。
8. 記録媒体から画像ファイルを読み出す読出部と、
   前記読出部により読み出された前記画像ファイルに基づき画像を再生する再生部とを備え、
   前記画像ファイルは、ヘッダ部と画像データ部とを有し、
   前記画像データ部は、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含み、
   前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、
   前記読出部は、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す再生装置。
9. 請求項８に記載の再生装置において、
   前記再生部は、前記情報に基づき、前記複数の第１の撮像領域の画素信号から被写体に関する１つの画像を作成すると共に、前記複数の第２の撮像領域の画素信号から前記被写体に関する１つの画像を作成する再生装置。
10. 請求項８または９に記載の再生装置において、
    前記画像データ部には、動画像を構成する複数のフレームの各々に対応する複数のフレーム情報が含まれ、
    前記複数のフレーム情報の各々には、前記複数の第１及び第２の撮像領域の画素信号と前記複数の第１の撮像領域の画素信号との一方と、前記フレームに前記複数の第２の撮像領域の画素信号が含まれているか否かに関するデータ部情報とが含まれ、
    前記再生部は、前記複数のフレームに対応する前記複数の第１及び第２の撮像領域の画素信号、前記複数のフレームの各々に対応する前記データ部情報の順に読み出す再生装置。
11. ヘッダ部と画像データ部とを有する画像ファイルであって、前記画像データ部には、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と、前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部には、前記第１及び第２の撮像領域の位置に関する情報を含む画像ファイルが記録された記録媒体。
12. ヘッダ部と画像データ部とを有する画像ファイルであって、前記画像データ部には、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含み、前記ヘッダ部には、前記第１及び第２の撮像領域の位置に関する情報を含む画像ファイルが記録された記録媒体。
13. 複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録ステップをコンピュータに実行させる記録プログラム。
14. 所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録ステップをコンピュータに実行させる記録プログラム。
15. 所定の記録媒体から画像ファイルを読み出す読出ステップと、
    前記読出ステップにより読み出された前記画像ファイルに基づき画像を再生する再生ステップとをコンピュータに実行させる再生プログラムであって、
    前記画像ファイルは、ヘッダ部と画像データ部とを有し、
    前記画像データ部は、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と、前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含み、
    前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、
    前記読出ステップにおいて、コンピュータは、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す再生プログラム。
16. 記録媒体から画像ファイルを読み出す読出ステップと、
    前記読出ステップにより読み出された前記画像ファイルに基づき画像を再生する再生ステップとをコンピュータに実行させる再生プログラムであって、
    前記画像ファイルは、ヘッダ部と画像データ部とを有し、
    前記画像データ部は、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含み、
    前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、
    前記読出ステップにおいて、コンピュータは、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す再生プログラム。
17. 複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録工程を備える記録方法。
18. 所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含む画像データ部と、前記第１及び第２の撮像領域の位置に関する情報を含むヘッダ部とを、画像ファイル内において前記ヘッダ部、前記画像データ部の順に所定の記録媒体に記録する記録ステップを備える記録方法。
19. 所定の記録媒体から画像ファイルを読み出す読出工程と、
    前記読出工程により読み出された前記画像ファイルに基づき画像を再生する再生工程とを備え、
    前記画像ファイルは、ヘッダ部と画像データ部とを有し、
    前記画像データ部は、複数の撮像領域を有し前記撮像領域毎に撮像条件が設定可能な撮像部について、被写体の第１部分を撮像した複数の第１の撮像領域の画素信号と、前記被写体の第２部分を撮像した複数の第２の撮像領域の画素信号とを含み、
    前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、
    前記読出工程は、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す再生方法。
20. 記録媒体から画像ファイルを読み出す読出工程と、
    前記読出工程により読み出された前記画像ファイルに基づき画像を再生する再生工程とを備え、
    前記画像ファイルは、ヘッダ部と画像データ部とを有し、
    前記画像データ部は、所定の配列パターンに従って配置された、複数の第１及び第２の撮像領域を有する撮像部について、前記複数の第１の撮像領域を第１の撮像条件で制御して得られた前記複数の第１の撮像領域の画素信号と、前記複数の第２の撮像領域を前記第１の撮像条件とは異なる第２の撮像条件で制御して得られた前記複数の第２の撮像領域の画素信号とを含み、
    前記ヘッダ部は、前記第１及び第２の撮像領域の位置に関する情報を含み、
    前記読出工程は、前記情報、前記複数の第１及び第２の撮像領域の画素信号の順に読み出す再生方法。

Images