(第1の実施の形態)
図22は、第1の実施の形態による電子機器10に搭載される撮像素子22の模式断面図である。撮像素子22は、撮像チップ2113、信号処理チップ2111、およびメモリチップ2112を備える。撮像素子22は、撮像チップ2113、信号処理チップ2111およびメモリチップ2112を重ねるように実装された積層構造を有する。撮像チップ113は、信号処理チップ111に積層されている。撮像チップ113および信号処理チップ111は、接続部109により電気的に接続されている。接続部は、例えばバンプにより構成される。信号処理チップ111は、メモリチップ112に積層されている。信号処理チップ113およびメモリチップ112は、接続部109により電気的に接続されている。撮像チップ113は、被写体光束を撮像して画像データを生成する。画像データは、撮像チップ113に複数配置された画素から読み出された画素信号により構成される。撮像チップ113は、画像データを撮像チップ113から信号処理チップ111へ出力する。信号処理チップ111は、撮像チップ113から出力された画像データに対して信号処理を施す。メモリチップ112は、複数のメモリを有する。
なお、図22に示すように、光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図22の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ2113は、たとえばCMOSイメージセンサである。具体的には、裏面照射型のCMOSイメージセンサである。PD層2106は、配線層2108の裏面側に配されている。PD層2106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)2104、および、PD2104に対応して設けられたトランジスタ2105を有する。
PD層2106における入射光の入射側にはパッシベーション膜2103を介してカラーフィルタ2102が設けられる。カラーフィルタ2102は、互いに異なる波長領域を透過する複数の種類を有しており、PD2104のそれぞれに対応して特定の配列を有している。カラーフィルタ2102の配列については後述する。カラーフィルタ2102、PD2104およびトランジスタ2105の組が、一つの画素を形成する。
カラーフィルタ2102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ2101が設けられる。マイクロレンズ2101は、対応するPD2104へ向けて入射光を集光する。
配線層2108は、PD層2106からの画素信号を信号処理チップ2111に伝送する配線2107を有する。配線2107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
配線層2108の表面には複数の接続部2109が配される。当該複数の接続部2109が信号処理チップ2111の対向する面に設けられた複数の接続部2109と位置合わせされて、撮像チップ2113と信号処理チップ2111とが加圧等されることにより、位置合わせされた接続部2109同士が接合されて、電気的に接続される。
同様に、信号処理チップ2111およびメモリチップ2112の互いに対向する面には、複数の接続部2109が配される。これらの接続部2109が互いに位置合わせされて、信号処理チップ2111とメモリチップ2112とが加圧等されることにより、位置合わせされた接続部2109同士が接合されて、電気的に接続される。
なお、接続部2109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、接続部2109は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、接続部2109の大きさは、PD2104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応する接続部2109よりも大きなバンプを併せて設けてもよい。
信号処理チップ2111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)2110を有する。TSV2110は、周辺領域に設けられることが好ましい。また、TSV2110は、撮像チップ2113の周辺領域、メモリチップ2112にも設けられてよい。
図23は、撮像チップ2113の画素配列を説明する図である。特に、撮像チップ2113を裏面側から観察した様子を示す。画素領域には、例えば800万個以上の画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する2画素×2画素の4画素で1つのブロック2131を形成する。そして、隣接する2ブロック×2ブロックの4ブロックで1つの単位グループ32を形成する。図の格子線は、隣接する画素をまとめてブロック2131および単位グループ32を形成する概念を示す。ブロック2131を形成する画素の数や、単位グループ32を形成するブロック2131の数は、上記例に限らず、それ以上でもそれ以下でもよい。
画素領域の部分拡大図に示すように、ブロック2131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ2102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ2102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ2102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施形態において、1ブロック2131につきGb、Gr、BおよびRの4画素を少なくとも1つ含むように複数のブロック2131が定義される。各ブロック2131はそれぞれ、ブロック2131内の4画素をブロック2131ごとに定めた制御パラメータで制御できる。つまり、あるブロック2131に含まれる画素群と、別のブロック2131に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
図24は、撮像チップ2113における1つの単位グループ32に対応する回路図である。図24において、代表的に点線で囲む矩形が、1つの画素に対応する回路を表す。また、一点鎖線で囲む矩形が1つのブロック2131に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図22のトランジスタ2105に対応する。
上述したように、単位グループ32は4つのブロック2131から形成される。単位グループ32に含まれる画素のリセットトランジスタ2303は、ブロック2131単位でオン/オフされる。また、単位グループ32に含まれる画素の転送トランジスタ2302も、ブロック2131単位でオン/オフされる。図24に示す例において、左上ブロック2131−1に対応する4つのリセットトランジスタ2303をオン/オフするためのリセット配線2300−1が設けられており、同ブロック2131−1に対応する4つの転送トランジスタ2302に転送パルスを供給するためのTX配線2307−1も設けられる。
同様に、左下ブロック2131−3に対応する4つのリセットトランジスタ2303をオン/オフするためのリセット配線2300−3が、上記リセット配線2300−1とは別個に設けられる。また、同ブロック2131−3に対応する4つの転送トランジスタ2302に転送パルスを供給するためのTX配線2307−3が、上記TX配線2307−1と別個に設けられる。
右上ブロック2131−2や右下ブロック2131−4についても同様に、それぞれリセット配線2300−2とTX配線2307−2、およびリセット配線2300−4とTX配線2307−4が、それぞれのブロック2131に設けられている。
各画素に対応する16個のPD2104は、それぞれ対応する転送トランジスタ2302に接続される。各転送トランジスタ2302のゲートには、上記ブロック2131ごとのTX配線を介して転送パルスが供給される。各転送トランジスタ2302のドレインは、対応するリセットトランジスタ2303のソースに接続されるとともに、転送トランジスタ2302のドレインとリセットトランジスタ2303のソース間のいわゆるフローティングディフュージョンFDが、対応する増幅トランジスタ2304のゲートに接続される。
各リセットトランジスタ2303のドレインは、電源電圧が供給されるVdd配線2310に共通に接続される。各リセットトランジスタ2303のゲートには、上記ブロック2131ごとのリセット配線を介してリセットパルスが供給される。
各増幅トランジスタ2304のドレインは、電源電圧が供給されるVdd配線2310に共通に接続される。また、各増幅トランジスタ2304のソースは、対応する選択トランジスタ2305のドレインに接続される。各選択トランジスタ2305のゲートには、選択パルスが供給されるデコーダ配線2308に接続される。本実施形態において、デコーダ配線2308は、16個の選択トランジスタ2305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ2305のソースは、共通の出力配線2309に接続される。負荷電流源2311は、出力配線2309に電流を供給する。すなわち、選択トランジスタ2305に対する出力配線2309は、ソースフォロアにより形成される。なお、負荷電流源2311は、撮像チップ2113側に設けてもよいし、信号処理チップ2111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック2131ごとのリセット配線を通じてリセットパルスがリセットトランジスタ2303に印加され、同時に上記ブロック2131ごとのTX配線を通じて転送パルスが転送トランジスタ2302に印加されると、上記ブロック2131ごとに、PD2104およびフローティングディフュージョンFDの電位がリセットされる。
各PD2104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線2308を通じて選択パルスが選択トランジスタ2305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ2304および選択トランジスタ2305を介して出力配線2309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線2309に出力される。
上述したように、本実施形態においては、ブロック2131を形成する4画素に対して、リセット配線とTX配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック2131内の4画素に対して同時に印加される。したがって、あるブロック2131を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ2305に選択パルスが順次印加されることにより、選択的に出力配線2309から出力される。
このように、本実施形態ではブロック2131ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック2131間では、異なったタイミングで撮像することができる。
図25は、撮像素子22の機能的構成を示すブロック図である。アナログのマルチプレクサ2411は、単位グループ32を形成する16個のPD2104を順番に選択して、それぞれの画素信号を当該単位グループ32に対応して設けられた出力配線2309へ出力させる。マルチプレクサ2411は、PD2104と共に、撮像チップ2113に形成される。
マルチプレクサ2411を介して出力された画素信号は、信号処理チップ2111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路2412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ2413に引き渡され、それぞれの画素に対応する画素メモリ2414に格納される。デマルチプレクサ2413および画素メモリ2414は、メモリチップ2112に形成される。
演算回路2415は、画素メモリ2414に格納された画素信号を処理して後段の制御部に引き渡す。演算回路2415は、信号処理チップ2111に設けられてもよいし、メモリチップ2112に設けられてもよい。なお、図25では1つの単位グループ32の分の接続を示すが、実際にはこれらが単位グループ32ごとに存在して、並列で動作する。ただし、演算回路2415は単位グループ32ごとに存在しなくてもよく、例えば、一つの演算回路2415がそれぞれの単位グループ32に対応する画素メモリ2414の値を順に参照しながらシーケンシャルに処理してもよい。
上記の通り、単位グループ32のそれぞれに対応して出力配線2309が設けられている。撮像素子22は撮像チップ2113、信号処理チップ2111およびメモリチップ2112を積層しているので、これら出力配線2309に接続部2109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
図1は、第1の実施の形態に係る電子機器10構成を示すブロック図である。電子機器10は、たとえば撮像装置である。電子装置10は、撮像光学系21、撮像素子22、制御部23、表示部24、記録部25、操作部26、DRAM27、フラッシュメモリ28、および録音部29を備える。
撮像光学系21は、複数のレンズから構成され、撮像素子22の撮像面に被写体像を結像させる。なお図1では、撮像光学系21を1枚のレンズとして図示している。
撮像素子22は、例えばCMOSやCCD等の撮像素子であり、撮像光学系21により結像された被写体像を撮像して撮像信号を出力する。制御部23は、電子機器10の各部を制御する電子回路であり、CPUとその周辺回路とから構成される。不揮発性の記録領域であるフラッシュメモリ28には、予め所定の制御プログラムが書き込まれている。制御部23は、フラッシュメモリ28から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記録領域であるDRAM27を作業用領域として使用する。
表示部24は、たとえば液晶パネルを利用した表示装置である。制御部23は、撮像素子22から出力された画像データに画像処理を施して、表示部24に表示する。表示部24は、上記の画像データ以外に、例えば撮像パラメータ(撮像条件)を設定する設定画面等が表示される。
制御部23は、撮像素子22から出力された撮像信号に基づき、後述する画像ファイルを作成し、記録部25に画像ファイルを記録する。なお、記録部25は、電子機器10に内蔵されたハードディスクや、可搬性の記録媒体でもよい。操作部26は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部23に操作信号を出力する。操作部26は、レリーズ操作部を含む。レリーズボタンが操作されたことに応じて制御部23に静止画の撮像を指示する操作信号を出力する。操作部26は、録画ボタンを含む。録画ボタンが操作されたことに応じて制御部23に動画の撮像を指示する操作信号を出力する。録音部29は、例えばマイクロフォン等により構成され、環境音を音声信号に変換して制御部23に入力する。
図2(a)は、撮像素子22の撮像面30を模式的に示す平面図であり、図2(b)は撮像面30の一部領域30aを拡大した平面図である。図2(b)に示すように、撮像面30には、撮像画素31が二次元状に多数配列されている。撮像画素31は、それぞれ不図示の色フィルタを有している。色フィルタは、赤(R)、緑(G)、青(B)の3種類からなり、図2(b)における「R」、「G」、および「B」という表記は、撮像画素31が有する色フィルタの種類を表している。図2(b)に示すように、撮像素子22の撮像面30には、このような各色フィルタを備えた撮像画素31が、いわゆるベイヤー配列に従って配列されている。
赤フィルタを有する撮像画素31は、入射光のうち、赤色の波長帯の光を光電変換して受光信号(光電変換信号)を出力する。同様に、緑フィルタを有する撮像画素31は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する撮像画素31は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
本実施形態の撮像素子22は、隣接する2画素×2画素の計4つの撮像画素31から成る単位グループ32ごとに、制御部23によって個別に制御可能に構成されている。例えば、互いに異なる2つの単位グループ32について、同時に電荷蓄積を開始したときに、一方の単位グループ32では電荷蓄積開始から1/30秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方の単位グループ32では電荷蓄積開始から1/15秒後に電荷の読み出しを行うことができる。換言すると、撮像素子22は、1回の撮像において、単位グループ32ごとに異なる露光時間(電荷蓄積時間であり、いわゆるシャッタースピード)を設定することができる。
撮像素子22は、上述した露光時間以外にも、撮像信号の増幅率(いわゆるISO感度)を単位グループ32ごとに異ならせることが可能である。撮像素子22は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ32ごとに変化させることができる。すなわち、撮像素子22は、動画撮像時のフレームレートを単位グループ32ごとに変化させることができる。
以上をまとめると、撮像素子22は、単位グループ32ごとに、露光時間、増幅率、フレームレート等の撮像条件を異ならせることが可能に構成されている。例えば、撮像画素31が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、単位グループ32ごとに設けられ、単位グループ32ごとに独立して撮像信号を読み出し可能に構成すれば、単位グループ32ごとに露光時間(シャッタースピード)を異ならせることができる。また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路を単位グループ32ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、単位グループ32ごとに信号の増幅率(ISO感度)を異ならせることができる。
なお、単位グループ32を構成する撮像画素31の数は、上述した2×2の4画素でなくてもよい。単位グループ32は、少なくとも1個の撮像画素31を有していればよいし、逆に、4個より多くの撮像画素31を有していてもよい。また、単位グループ32ごとに異ならせることが可能な撮像条件は、上述したもの以外であってもよい。例えば、単位グループ32ごとに独立して制御可能な区画(1区画が1つの単位グループ32に対応する)を有する液晶パネルを撮像素子22に設け、オンオフ可能な減光フィルタとして利用すれば、単位グループ32ごとに明るさ(絞り値)を制御することが可能になる。
次に、制御部23が作成し記録部25に記録する画像ファイル40について説明する。図3は、第1の実施の形態に係る画像ファイル40の構成を示す模式図である。画像ファイル40は、ヘッダ部41、データ部42、およびインデックス部43を有する。ヘッダ部41、データ部42、およびインデックス部43は、たとえばヘッダ部41、データ部42、およびインデックス部43の順序でそれぞれ画像ファイル40に設けられている。
ヘッダ部41は、ファイル基本情報部44、撮像情報部45およびマスク情報部46を有する。ファイル基本情報部44、撮像情報部45およびマスク情報部46は、例えばファイル基本情報部44、撮像情報部45およびマスク情報部46の順序でそれぞれヘッダ部41にそれぞれ設けられている。ファイル基本情報部44には、たとえばヘッダ部41、データ部42、インデックス部43、撮像情報部45、マスク情報部46、およびインデックス情報部47等のアドレス情報が記録される。撮像情報部45には、撮像装置の機種名や収差等の光学特性に関する撮像光学系21の情報、サムネイル画像の画像データ等、撮像に関する情報が記録される。すなわち撮像情報部45には、例えばExif等で規定される、画像のメタデータに相当する情報が記録される。マスク情報部46には、後述する撮像条件情報やマスク情報等が記録される。データ部42は、画像データや音声データ等が記録される。インデックス部43は、インデックス情報部47を有する。インデックス情報部47は、動画の撮像を行った際に、一部のフレームを特定するための情報が記録される。なお、インデックス部43は、動画ではなく静止画の撮像を行った場合、一部のフレームを特定する必要がない場合等は、画像ファイル40は、ヘッダ部41とデータ部42のみを有するようにしてもよい。
次に、電子機器10が有する撮像機能と、各撮像機能により作成(記録)される画像ファイル40について説明する。ユーザは、操作部26が有する操作部材に対して所定の操作を行い、以下に説明する各撮像機能を切り替える(選択する)ことができる。制御部23は、選択されている撮像機能に基づき撮像を行い、画像ファイル40を作成して記録部25に記録する。
(1)静止画撮像機能A(単一の静止画)
静止画撮像機能Aは、画像解析処理等の結果に基づいて、撮像素子22の撮像領域ごとに設定された撮像条件により静止画撮像を行う機能である。
図4(a)は、撮像素子22の撮像面50(撮像範囲)に結像された被写体像51を模式的に示す図である。静止画撮像機能Aにより被写体像51を撮像する手順について説明する。制御部23は、ユーザにより静止画撮像Aが選択されると撮像素子22に対して撮像動作を実行するように指示する。撮像素子22は、制御部23により指示を受けると撮像面に結像されている被写体像51の撮像を開始する。
制御部23は、撮像素子22から出力された被写体像51の画像データに対して、所定の画像解析処理を実行する。画像解析処理は、例えば周知の特徴量を演算して所定の被写体が存在する範囲を検出する被写体検出技術である。制御部23は、画像解析処理の結果により、撮像面50において主要被写体部分が存在する領域を主要被写体領域52とし、撮像面50において背景部分が存在する領域または主要被写体が存在しない領域を背景領域53とし、撮像面50を複数の部分領域に分割する。換言すると、制御部は、画像解析処理の結果により、主要被写体領域52と背景領域53とを検出する。
なお、図4(a)では、被写体51を大まかに含む領域を主要被写体領域52として図示しているが、主要被写体領域52は、被写体51の外形に沿った形状であってもよい。つまり、被写体51以外の領域を含まないように主要被写体領域52を設定してもよい。
制御部23は、主要被写体領域52を第1撮像領域、主要被写体領域52以外の領域を第2撮像領域として、それぞれ撮像条件を設定する。制御部23は、第1撮像領域の撮像条件を、第2撮像領域の撮像条件とは異なるように設定する。制御部23は、例えば、第1撮像領域のシャッタースピードを、第2撮像領域のシャッタースピードよりも高速なシャッタースピードとなるように設定する。このようにすると、本撮像において、主要被写体領域52では像ぶれが発生しにくくなる。
また、太陽等の光源の影響で、主要被写体領域52が逆光状態となっている場合には、制御部23は、第1撮像領域のISO感度を、第2撮像領域のISO感度よりも高くなるように設定する。または、制御部23は、第1撮像領域のシャッタースピードを、第2撮像領域のシャッタースピードよりも低速なシャッタースピードとなるように設定する。このようにすると、本撮像において、逆光状態の主要被写体領域52の黒つぶれや、光量の大きい背景領域53の白飛びを防止することができる。
なお、画像解析処理は、上述した主要被写体部分と背景部分とを検出する処理とは異なる処理であってもよい。例えば、撮像面50全体のうち、明るさが一定以上の部分(明るすぎる部分)や明るさが一定未満の部分(暗すぎる部分)を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部23は、第1撮像領域の露出値(Ev値)を、第2撮像領域の露出値(Ev値)よりも低い値となるように設定する。具体的には、第1撮像領域のシャッタースピードを、第2撮像領域のシャッタースピードよりも低速となるように設定する。または、第1撮像領域のISO感度を、第2撮像領域のISO感度よりも小さくなるように設定する。このようにすることで、レリーズボタンが操作されて得られた画像のダイナミックレンジを、撮像素子22の本来のダイナミックレンジよりも広げることができる。
図5は、静止画撮像機能Aにより撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。なお、静止画撮像機能Aを用いて撮像した場合に作成される画像ファイル40は、インデックス部43を有しない。
ファイル基本情報部44には、撮像情報部アドレス441が記録される。撮像情報部アドレス441は、画像ファイル40における撮像情報部45の記録位置を特定するデータである。撮像情報部アドレス441は、例えば画像ファイル40の先頭を0として撮像情報部45の記録位置を換算したアドレスである。別の例としては、撮像情報部アドレス441は、撮像情報部アドレス441の記録位置を0として撮像情報部45の記録位置を換算したアドレスである。このように、撮像情報部アドレス441は、撮像情報部45の記録位置を特定するデータであれば、その表現形式はどのようなものであってもよい。
なお、以下の説明では、詳細は後述するが、他にも画像データの記録位置を特定するデータについて説明をするが、それらのデータについても撮像情報部アドレス441と同様に、その表現形式はどのようなものであってもよい。
撮像情報部45には、共通撮像情報451、マスク情報部アドレス452、およびデータ部アドレス453が記録される。共通撮像情報451、マスク情報部アドレス452およびデータ部アドレス453は、例えば共通撮像情報451、マスク情報部アドレス452およびデータ部アドレス453の順序でそれぞれ撮像情報部45に記録される。共通撮像情報451は、例えばExif等で規定される、撮像日時等のメタデータに相当する情報である。共通撮像情報451には、サムネイル画像の画像データが含まれる。サムネイル画像は、撮像により得られた静止画を縮小した画像である。マスク部アドレス452は、マスク情報部46の記録位置を特定するデータである。データ部アドレス453は、データ部42の記録位置を特定するデータである。
なお、撮像情報部45にマスク情報部アドレス452およびデータ部アドレス453を記録するのではなく、例えば、撮像情報部45にはマスク情報部46の記録位置を特定するマスク情報部アドレス452を記録し、マスク情報部46に、データ部42の記録位置を特定するデータ部アドレス453を記録してもよい。
マスク情報部46には、識別情報60、撮像条件情報61、およびマスク情報62aが記録される。識別情報60、撮像条件情報61、およびマスク情報62aは、例えば識別情報60、撮像条件情報61、およびマスク情報62aの順序でそれぞれマスク情報部46に記録される。識別情報60は、画像ファイル40に記録される画像データ等が静止画撮像機能Aにより撮像されて得られたデータである旨を表す情報である。
撮像条件情報61は、各撮像領域それぞれの用途を表す情報である。撮像条件情報61は、たとえば各撮像領域の目的、役割等を表す情報である。具体的には、上述したように、撮像面50を、主要被写体領域52を示す第1撮像領域と背景領域53を示す第2撮像領域とする場合、第1撮像領域および第2撮像領域のうち、いずれの撮像領域に属するかを表す情報である。つまり、各撮像領域は、「主要被写体部分を静止画撮像する」という用途か、「背景部分を静止画撮像する」という用途か、のいずれかの用途を有している。撮像条件情報61は、画像ファイル40の作成に際し、単位グループ32に「主要被写体部分を静止画撮像する」、「背景部分を静止画撮像する」という2種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1という番号が「主要被写体部分を静止画撮像する」用途を、2という番号が「背景部分を静止画撮像する」用途にそれぞれ割り当てられる。
マスク情報62aは、各々の単位グループ32の用途(目的、役割)を表す情報である。本実施形態では、マスク情報62aを、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」としている。つまり、二次元状に配列された単位グループ32を2つの整数x、yによる二次元座標(x、y)で特定するとき、(x、y)の位置に存在する単位グループ32の用途は、マスク情報62aの(x、y)の位置に存在する番号により表現される。例えば、マスク情報62aの座標(3,5)の位置に「1」という番号が記録されていた場合、座標(3,5)に位置する単位グループ32には、「主要被写体部分を静止画撮像する」という用途が与えられたことがわかる。換言すると、座標(3,5)に位置する単位グループ32は、主要被写体領域52に属することがわかる。
図4(a)に示した撮像面50に対応するマスク情報62aの例を、図4(b)に示す。主要被写体領域52に属する単位グループ32の位置には「1」が、背景領域53に属する単位グループ32の位置には「2」がそれぞれ記録されている。
データ部42は、マスク情報62b、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68が記録される。マスク情報62bは、マスク情報部46に記録されるマスク情報62aと同一の情報である。
詳細は後述するが、他の機能により作成される画像ファイル40では、マスク情報部46とデータ部42に互いに異なるマスク情報62a、62bを格納することがある。静止画撮像機能Aにおいて、例えばデータ部42にマスク情報62bを格納し、マスク情報部46にはマスク情報62aを格納しないことにすると、機能ごとに画像ファイル40の構造が変化することになる。このようにすると、画像ファイル40の扱いが煩雑になるため、本実施形態では、あえてマスク情報部46とデータ部42の両方に同一のマスク情報62a、62bを記録することで、機能ごとの画像ファイル40の構造の違いが生じないようにしている。なお、マスク情報62aとマスク情報62bとが同一の情報である場合は、いずれか一方を省略してもよい。その場合には、画像ファイル40が占有する記録領域のサイズを削減することが可能となる。また、マスク情報62a、62bの両方が記録されていた場合であっても、識別情報60によりマスク情報62a、62bの両方を読み込む必要があるか否かがわかるので、一方が再生処理等に不要であると判断した場合には、その一方の読み込みをスキップすることで、ファイル読み込み時間を短縮することができる。
なお、以下の説明では、マスク情報部46に格納されるマスク情報62aと、データ部42に格納されるマスク情報62bとを、マスク情報62と総称する。
画像情報64は、撮像素子22から出力された画像データである。画像データは、たとえば撮像素子22で生成された画像データに対して、画像処理を施していない、いわゆるRAW画像データである。Tv値マップ65は、単位グループ32ごとに設定されたシャッタースピードを表すTv値を、単位グループ32の位置に合わせて二次元マップの形で表現した情報である。例えば座標(x、y)に位置する単位グループ32に設定されたシャッタースピードは、Tv値マップ65の座標(x、y)に格納されているTv値を調べることで判別可能である。
Sv値マップ66は、単位グループ32ごとに設定されたISO感度を表すSv値を、Tv値マップ65と同様に二次元マップの形で表現した情報である。Bv値マップ67は、本撮像に際して単位グループ32ごとに測定された被写体輝度、すなわち、各々の単位グループ32に入射した被写体光の輝度を表すBv値を、Tv値マップ65と同様に二次元マップの形で表現した情報である。Av値情報68は、本撮像時の絞り値を表す情報である。本実施形態において、Av値は、Tv値、Sv値、Bv値とは異なり、単位グループ32ごとに存在する値ではない。従って、Tv値、Sv値、Bv値とは違い、Av値は単一の値のみが記録され、複数の値を二次元状にマップした情報とはなっていない。
以上のように、制御部23は、静止画撮像機能Aによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、記録部25に記録する。
なお上述の説明では、画像情報64をRAW画像データとして説明を行ったが、RAW画像データではなく圧縮された画像データであってもよいし、画像処理が施された画像データであってもよい。
(2)動画撮像機能A(単一の動画)
動画撮像機能Aは、画像解析処理等の結果に基づいて、撮像素子22の撮像領域ごとに設定された撮像条件により動画撮像を行う機能である。静止画撮像機能Aとの違いは、静止画ではなく動画の撮像を行う点である。
図6(a)は、撮像素子22の撮像面50(撮像範囲)に結像された被写体像51を模式的に示す図である。動画撮像機能Aにより被写体像51を撮像する手順について説明する。制御部23は、ユーザにより動画撮像機能Aが選択されると撮像素子22に対して撮像動作を実行するように指示する。撮像素子22は、制御部23により指示を受けると撮像面に結像されている被写体像51の撮像を開始する。制御部23は、撮像素子22から出力された被写体像51の画像データに対して、所定の画像解析処理を実行する。制御部23は、画像解析処理の結果により、撮像面50における主要被写体領域52と主要被写体領域以外の背景領域53とを検出する。具体的には、画像解析処理の結果により、制御部23は、撮像面50における主要被写体部分が存在する領域を主要被写体領域52と、撮像面50における背景部分が存在する領域または主要被写体が存在しない領域を背景領域53とを検出し、撮像面50を複数の部分領域に分割する。制御部23は、主要被写体領域52を第1撮像領域、主要被写体領域52以外の領域を第2撮像領域としてそれぞれ撮像条件を設定する。制御部23は、第1撮像領域の撮像条件を、第2撮像領域の撮像条件とは異なるように設定する。図6は、制御部23により設定された第1撮像領域及び第2撮像領域の撮像条件のマスク情報62を示す。図6(b)に示したマスク情報62では一例として、第1撮像領域に「1」という番号を、第2撮像領域に「2」という番号を割り振っている。
次に、制御部23は、録画ボタンが操作されると、撮像素子22から出力された画像データ(動画データ)記録の開始を指示する。記録される動画データは、複数の画像データ(適宜、フレームと称して説明する)によって構成される。図6(c)は、動画記録開始時の撮像面50に結像された被写体像を模式的に示す図である。このときのマスク情報62の例を、図6(d)に示す。
図6(b)に示したマスク情報62と、図6(d)に示したマスク情報62とは、異なる時刻に撮像が行われて得られたマスク情報であるため、例えば被写体51が移動している場合や、ユーザが電子機器10を動かした場合に、これら2つのマスク情報62が異なる内容になる。換言すると、マスク情報62は、時間経過に伴い変化する動的情報である。換言すると、マスク情報62は、記録されるフレーム毎に変化する動的情報である。従って、撮像領域に設定される撮像条件が時間経過に伴い変化する。
制御部23は、画像ファイル40に、各フレームの画像情報64と共に、各フレームのマスク情報62b、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を記録する。
制御部23は、撮像が完了するまで、例えば所定の時間が経過するか、ユーザが録画ボタンを操作し撮像終了の指示を行うまで上述した処理を繰り返し実行する。
図7は、動画撮像機能Aにより撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図5に示した静止画撮像機能Aにより撮像した場合に作成される画像ファイル40との違いについて詳述する。画像ファイル40には、ヘッダ部41、データ部42、およびインデックス部43が記録される。ヘッダ部41、データ部42および、インデックス部43は、たとえばヘッダ部41、データ部42、およびインデックス部43の順序でそれぞれ画像ファイル40に設けられる。
撮像情報部45内の共通撮像情報451には、静止画撮像機能Aの場合と同様に、サムネイル画像が記録される。このサムネイル画像は、例えば、動画の先頭フレーム(1フレーム目)を縮小した画像である。なお、先頭フレーム以外のフレームを縮小してサムネイル画像としてもよい。例えば、先頭から所定フレーム数だけ後ろのフレームによってサムネイル画像を作成する。
撮像情報部45内には、更に、インデックス部アドレス454が記録される。インデックス部アドレス454は、インデックス部43の記録位置を特定するデータ(アドレス)である。
マスク情報部46内の識別情報60は、画像ファイル40に記録される画像データ等が動画撮像機能Aにより撮像されて得られたデータである旨を表す情報である。撮像条件情報61は、静止画撮像機能Aにより撮像した場合に作成される画像ファイル40の撮像条件情報61および動画のフレームレートである。撮像条件情報61は、例えば「主要被写体部分を60fpsで動画撮像する」、「背景部分を30fpsで動画撮像する」という2種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1という番号が「主要被写体部分を60fpsで動画撮像する」用途を、2という番号が「背景部分を30fpsで動画撮像する」用途にそれぞれ割り当てられる。
マスク情報62aは、上述した静止画撮像機能Aにより撮像した場合に作成される画像ファイルに記録される情報と同様の情報である。ただし動画撮像の場合、前述の通り、マスク情報62はフレームごとに変化する動的情報なので、どのフレームのマスク情報62がヘッダ部41に記録されるのかを決めなければならない。本実施形態では、制御部23は、1フレーム目の撮像の際に各単位グループ32に設定された撮像条件を表すマスク情報62a、たとえば図6(d)に例示したマスク情報62を、ヘッダ部41に記録する。
データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に記録される。1つのブロック70は、マスク情報62b、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68が記録されている。また、データ部42には、フレームごとのブロック70と共に、音声情報71が記録される。音声情報71は、動画再生を行いやすいように、1フレーム分の情報ごとに分割される。分割された音声情報71は、フレームごとのブロック70と共に、データ部42に記録される。なお、音声情報71は、1フレーム分でなく、所定数のフレーム分ごとに分割され、データ部42に記録されるようにしてもよい。ブロック70内の各情報は、1フレーム毎に記録されることを除き、静止画撮像機能Aの場合と同様であるので説明を省略する。1フレーム分のデータ、すなわち1つのブロック70と1つの音声情報71との組を、便宜上、フレームデータ7と呼ぶ。
インデックス部43には、インデックス情報部47としてマスク変化アドレス460が1つ以上記録される。マスク変化アドレス460は、マスク情報62bが変化したフレームを特定するデータである。前述の通り、マスク情報62bは、撮像時間毎、つまりフレーム毎に異なる情報となる可能性がある。制御部23は、1つ前のフレームとは異なるマスク情報62bを有するフレームがデータ部42に記録されたことを検出すると、そのフレームを特定するマスク変化アドレス460をインデックス情報43に記録する。「直前のフレームとは異なるマスク情報62bを有するフレーム」が複数存在する場合、制御部23は、それら複数のフレームをそれぞれ特定する複数のマスク変化アドレス460をインデックス部43に記録する。なお、制御部23は、1つ前のフレームではなく既にデータ部に記録されているフレームとは異なるマスク情報62bを有するフレームがデータ部42に記録されたことを検出すると、マスク変化アドレス460をインデックス情報43に記録するようにしてもよい。1つ前のフレームとは異なるマスク情報62bを有するフレームとすると、像ぶれなどによりマスク情報62bが変化する可能性がある。その度に、制御部23は、マスク変化アドレス460を記録してしまうと、その数は膨大になってしまう。そのため、制御部23は、マスク情報62bが大きく変化したとき、たとえば構図の変更、主要被写体領域の数の増減、主要被写体領域の撮像面50における位置が所定距離変更された場合に限って、マスク変化アドレス460を記録するようにしてもよい。
マスク変化アドレス460は、例えば画像ファイル40もしくはデータ部42の先頭を0として、特定対象のフレームに対応するフレームデータ7の記録位置を換算したアドレスである。マスク変化アドレス460は、例えば各フレームに1から始まる通し番号を割り当てた場合における、特定対象のフレームの番号であってもよい。マスク変化アドレス460は、例えば「3分15秒」のように、特定対象フレームの再生時刻であってもよい。
制御部23は、動画の撮像開始時、まず記録部25にヘッダ部41を記録する。制御部23は、ヘッダ部41内に、ファイル基本情報部44、撮像情報部45、およびマスク情報部46を設ける。このとき、制御部23は、撮像情報部45内に、インデックス部アドレス454として、無効な値を記録する。つまり、この段階では、インデックス部アドレス454の記録場所を、いわゆるプレースホルダとして確保するに留める。制御部23は、動画の撮像中、データ部42にフレームデータ7を時系列順に順次記録する。制御部23は、動画の撮像中に、「直前のフレームとは異なるマスク情報62bを有するフレーム」がデータ部42に記録されたことを検出すると、DRAM27(図1)に、そのフレームを特定するマスク変化アドレス460をインデックス情報部47としてインデックス情報43内に記録する。制御部23は、動画の撮像が終了すると、DRAM27内に記録されている全てのマスク変化アドレス460を含むインデックス部43を、データ部42の後ろに記録する。これにより、インデックス部アドレス454として記録すべき値、たとえばアドレスが確定する。最後に、制御部23は、撮像情報部45内のインデックス部アドレス454を確定した値に上書き記録する。
動画の撮像中に、マスク情報62bがどのように変化するのか、動画の撮像を開始する前に予測することは困難である。従って、インデックス部43に記録されるマスク変化アドレス460の個数を、事前に見積もることは難しい。例えばヘッダ部41にマスク変化アドレス460を記録することにしてしまうと、マスク変化アドレス460を記録するための記録領域を、動画の撮像を開始する前、具体的にはデータ部42内にフレームデータ7を記録する前に確保しておく必要がある。確保された記録領域が小さすぎると、マスク変化アドレス460の個数が予め確保された記録領域に記録可能な個数よりも多くなった場合に、記録領域が不足してしまう。逆に、予め確保された記録領域が大きすぎると、画像ファイル40に情報が何も記録されていない不必要な記録領域が生じてしまう。マスク変化アドレス460はDRAM27に一時記録することとし、撮像終了後にヘッダ部41にマスク変化アドレス460を追記して記録した後、ヘッダ部41とデータ部42とを結合するように記録すると、最終的な画像ファイル40の作成に余計な時間や、データ部42をヘッダ部41へ結合できる形式の情報へ変更するための記録領域が余計に必要となってしまう。本実施の形態では、インデックス部43を、画像ファイル40の末尾に設けている。画像ファイル40の末尾であれば、インデックス情報部47をインデックス部43に記録するときに、データ部42の記録位置による制約を受けない。つまり画像ファイル40の末尾に設けられるインデックス部43は、複数のフレームデータ7の記録位置による制約を受けることなくマスク変化アドレス460を追記可能な可変記録領域に記録される。従って、マスク変化アドレス460の個数がたとえ少なくとも無駄な記録領域、つまり情報が何も記録されていない記録領域が生じることを防ぐことができる。また、マスク変化アドレス460の個数がたとえ多くとも、記録部25の空き領域がある限り、記録可能な個数に制限が生じることがない。
以上のように、制御部23は、動画撮像機能Aによる撮像を行うことにより、撮像領域ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、記録部25に記録する。
(3)静止画撮像機能B(複数の静止画)
静止画撮像機能Bは、撮像素子22の撮像領域ごとに設定された撮像条件により、レリーズボタンからの1回の撮像指示で、互いに撮像条件が異なる、同一の被写体像51に関する複数枚の静止画撮像を行う機能である。
図8(a)は、撮像素子22の撮像面30を模式的に示す平面図であり、図8(b)は、撮像面30の一部領域30bを拡大した模式的に示す平面図である。静止画撮像機能Bでは、二次元状に配置された複数の単位グループ32を、更に複数の大グループ81に分類する。このとき、ある大グループ81に属する単位グループ32が、撮像面80全体に一様に配置されるように単位グループ32を分類する。例えば図8(b)では、全ての単位グループ32を、2×2の4つの単位グループ32から成るブロック82に分割し、各ブロック82の左上の単位グループ32を1つ目の大グループ811に、左下の単位グループ32を2つ目の大グループ812に、右上の単位グループ32を3つ目の大グループ813に、右下の単位グループ32を4つ目の大グループ814に分類している。なお図8(b)では、模式的に図示した四角形1つが1つの単位グループ32を表しており、四角形の中に記載した数字は、その単位グループ32が属する大グループ81の種類を表している。
制御部23は、本撮像の際、1つ目の大グループ811に属する単位グループ32と、2つ目の大グループ812に属する単位グループ32と、3つ目の大グループ813に属する単位グループ32と、4つ目の大グループ814に属する単位グループ32とで、撮像条件を異ならせる。例えば、シャッタースピードやISO感度を互いに異なる値に設定して本撮像を行う。制御部23は、このようにして撮像した画像情報を画像ファイル40に記録する。ここで記録される画像情報は、図8(c)に模式的に示すように、各画素値を大グループ81ごとに集約して利用することを意図したものである。
例えば、図8(c)に示すように、1つ目の大グループ811に属する単位グループ32に対応する画素値だけを画像情報64から抽出して二次元状に並べると、撮像素子22の画素数の1/4の画素値から成る第1の画像情報641が得られる。同様に、2つ目の大グループ81に属する単位グループ32に対応する画素値だけを画像情報64から抽出して二次元状に並べると、撮像素子22の画素数の1/4の画素値から成り、上述した第1の画像情報641とは異なる撮像条件で撮像された、第1の画像情報641と同一の被写体51が写っている第2の画像情報642が得られる。同様に、第3の画像情報643、第4の画像情報644が得られる。これら4つの画像情報641、642、643、644は、全て、同一の被写体51を撮像した画像であり、且つ、互いに撮像条件が異なる画像である。つまり、最初に述べたように、1回の撮像で、互いに撮像条件が異なる、同一の被写体51に関する4つの静止画が同時に撮像されたといえる。
なお、画像ファイル40内の画像情報64は、撮像素子22の各撮像画素31からの画素出力を、撮像画素31の位置通りに配列した画像である。つまり、上述した4つの画像情報641、642、643、644を作成する処理は、記録部25から画像ファイル40を読み出す再生時や現像時に行われることになる。また、その画像情報64は、必ずしも4つの画像情報641、642、643、644を作成するためだけのものではない。画像情報64をそのまま利用(再生等)してしまうと、隣接する単位グループ32ごとに撮像条件が異なっているため、例えば市松模様が現れた不自然な画像になってしまう。しかしながら、画像ファイル40には、単位グループ32ごとの撮像条件(例えばTv値、Sv値等)が記録されているので、それらの撮像条件と画像情報64とを組み合わせて現像すれば、そのような不自然な画像となることを防ぐことができる。例えば、他の単位グループ32よりも露出値(Ev値)が高い単位グループ32では、他の単位グループ32よりも明るさを抑えて現像を行えばよい。
以上では単位グループ32を4つの大グループ811、812、813、814に分類した例について説明したが、4つに限らず、任意の数の大グループ81に分類し、任意の数の静止画を同時に撮像してよい。また、大グループ81のレイアウト(単位グループ32の分類方法)も、2×2の単位グループ32を1つずつ異なる大グループ81に分類するというものに限らない。
この点について、図9(a)、(b)に例を挙げる。図9(a)では、全ての単位グループ32を、3×3の計9個の組に区切り、各々の組において、前記組に含まれる9個の単位グループ32を、それぞれ1〜9番目の大グループ81に割り当てている。このようなレイアウトを採用することで、1回の撮像で、撮像条件が異なる9つの画像641〜649を同時に撮像することができる。また、図9(b)では、全ての単位グループ32を、3×3の計9個の組に区切り、各々の組において、左上隅の単位グループ32を1つ目の大グループ81に割り当て、右下の2×2の計4個の単位グループ32を、2つ目の大グループ81に割り当てている。残りの4個の単位グループ32は、撮像に利用しないものとしている。このようにすると、1回の撮像で、撮像条件が異なる2つの画像641、642を同時に撮像することができるが、2つ目の大グループ81に対応する画像642は、1つ目の大グループ81に対応する画像641に比べて、4倍の画素数を有する画像になる。つまり、1回の撮像で、撮像条件が異なる2つの画像641、642を同時に撮像することができ、且つ、それら2つの画像641、642は、互いに画素数が異なるもの、つまり解像度が異なるものとなる。
図10は、静止画撮像機能Bにより撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図5に示した静止画撮像機能Aにより撮像した場合に作成される画像ファイル40との違いについて詳述する。
撮像情報部45内の共通撮像情報451には、静止画撮像機能Aの場合と同様に、サムネイル画像が記録される。静止画撮像機能Bでは、1回の撮像で異なる撮像条件に設定された複数の画像が撮像されるので、それら複数の画像からいずれか1つを選択し、その選択画像からサムネイル画像を作成し、記録すればよい。例えば、最も適正露出に近い画像や、露出設定が所定のプログラム線図に適合する画像や、最も解像度が高い画像等、所定の基準で画像を1つ選択し、記録する。
別の方法としては、撮像された複数の画像をタイル状に連結した画像や、上下方向もしくは左右方向にパノラマ状に連結した画像を縮小して、サムネイル画像を作成することもできる。この場合において、複数の画像からいずれか1つを選択し、その選択画像を他の画像よりも大きくして画像を連結したサムネイル画像を作成することもできる。
また、サムネイル画像を異なる撮像条件で撮像された画像ごとに作成し、共通撮像情報451に記録してもよい。この場合、各々のサムネイル画像が、撮像した複数の画像のうちの、いずれの画像から作成されたのかを表す情報を、共通撮像情報451に記録しておくことが望ましい。
識別情報60は、画像ファイル40に記録された画像データ等が静止画撮像機能Bにより撮像されて得られたデータある旨を表す情報である。撮像条件情報61は、各撮像領域それぞれの用途表す情報である。静止画撮像機能Bにおいては、各撮像領域は、例えば「第1の画像情報641を構成する」という用途か、「第2の画像情報642を構成する」という用途か、「第3の画像情報643を構成する」という用途か、「第4の画像情報644を構成する」という用途か、のいずれかの用途を有している。撮像条件情報61は、画像ファイル40の作成に際し、単位グループ32にそれら4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1〜4の番号が、それぞれ「第1〜第4の画像情報641〜644を構成する」用途に割り当てられる。
静止画撮像機能Bにおけるマスク情報62aは、静止画撮像機能Aの場合と同様に、各撮像領域(単位グループ32)の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
なお、本実施形態において、「0」という番号を持つ大グループ81は、撮像に利用されなかった単位グループ32を表す特別な大グループ81である。つまり、マスク情報62aにおいて「0」という番号が割り振られている単位グループ32は、撮像に利用されておらず(本撮像時に撮像信号が読み出されておらず)、データ部42に記録されている画像情報64には、その単位グループ32に関する情報が含まれていない(または、その単位グループ32に関する情報として、有効でないダミーの情報が記録されている)ことを表す。あるいは、マスク情報62aにおいて「0」という番号が割り振られている単位グループ32は、本撮像時に撮像信号が読み出され、大グループ81を現像する際に現像を補助するためだけに、データ部42に記録されるようにしてもよい。
例えば、同時に3通りの撮像条件で撮像できれば十分であり、4通りの撮像条件で撮像する必要がない場合には、図8(b)に示した単位グループ32のうち、「4」と書かれた単位グループ32のマスク情報62aに「0」という番号を割り当てればよい。
データ部42の構成は、静止画撮像機能Aにより撮像した場合に作成される画像ファイル40のデータ部の構成と同一である。すなわち、データ部42は、マスク情報62b、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67およびAv値情報68が記録される。また、マスク情報62bは、マスク情報部46に記録されるマスク情報62aと同一の情報である。
なお、マスク情報62bとして、マスク情報部46内のマスク情報62aと同一の情報ではなく、撮像領域各々の有効・無効を表す情報を記録してもよい。例えば、撮像に利用されていない(撮像時に撮像信号が読み出されていない)単位グループ32に数値「0」、撮像に利用された(撮像時に撮像信号が読み出された)単位グループ32に数値「1」を割り当て、それを単位グループ32の位置に合わせて二次元状に配列したマップをマスク情報62bとしてデータ部42に記録してもよい。後述する動画撮像機能Bや混合撮像機能においても同様である。
以上のように、制御部23は、静止画撮像機能Bによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、記録部25に記録する。
(4)動画撮像機能B(複数の動画)
動画撮像機能Bは、撮像素子22の撮像領域ごとに設定された撮像条件により、録画ボタンからの1回の撮像指示で、互いに撮像条件が異なる、同一の被写体像51に関する複数の動画撮像を行う機能である。静止画撮像機能Bとの違いは、静止画ではなく動画を撮像する点である。動画の撮像ではあるものの、動画撮像機能Aのように、ある大グループ81に分類された単位グループ32が、フレームごとに異なる大グループ81に分類されることはない。ただし、フレームレートの設定によっては、あるフレームに含まれていた(あるフレームで有効であった)単位グループ32が、別のフレームには含まれていない(別のフレームでは無効である)ことがある。以下、フレームレートの設定別に、動画撮像機能Bについて説明する。
(4−1)全ての大グループ81でフレームレートが統一されている場合
図11は、全ての大グループ81において、フレームレートが同一の場合の動画撮像機能Bの説明図である。この場合、大グループ81ごとに異なる撮像条件とは、フレームレート以外の撮像条件(例えばシャッタースピードやISO感度等)である。露出時間は異なるとしても、フレームレート、すなわち信号読み出しの周期は同一であるため、全ての大グループ81において、撮像信号の読み出しはフレームレートに対応する所定周期T1ごとに行われる。
全ての単位グループ32において同一のフレームレートで撮像が行われるので、全てのフレームにおいて、全ての単位グループ32が撮像に利用されている。換言すると、全てのフレームにおいて、全ての単位グループ32から撮像信号が読み出され、全てのフレームの画像情報64に、全ての単位グループ32から読み出された撮像信号が含まれている。例えば、撮像開始時刻t0から所定周期T1だけ後の時刻t1に、1つ目の画像情報64が作成される。この画像情報64には、1番目の大グループ81における1フレーム目(図11で#1と表記したフレーム。以下同様)の画像と、2番目の大グループ81における1フレーム目の画像と、3番目の大グループ81における1フレーム目の画像と、4番目の大グループ81における1フレーム目の画像と、が含まれる。2つ目以降の画像情報64についても同様である。
(4−2)大グループ81ごとにフレームレートが統一されていない場合
図12は、全ての大グループ81に、互いに異なるフレームレートが設定されている場合の動画撮像機能Bの説明図である。この例において、1番目の大グループ811には60fps、2番目の大グループ812には50fps、3番目の大グループ813には24fps、4番目の大グループ814には25fpsのフレームレートがそれぞれ設定されている。
このように、大グループ81同士でフレームレートが異なる場合、制御部23は、もっとも早いフレームレートを基準として各フレームを記録する。つまり、60fpsに対応する所定周期T2(約16.7ミリ秒)ごとに、画像情報64が記録される。例えば、撮像開始時刻t0から所定周期T2だけ後の時刻t11には、1番目の大グループ811に属する単位グループ32から読み出された撮像信号に基づく画像情報64が作成され、画像ファイル40に記録される。時刻t11の時点では、他の大グループ812、813、814において1フレーム目の撮像信号の読み出しが為されていないため、この画像情報64には、それらの撮像信号は含まれていない。なお図12では、特定の単位グループ32から撮像信号が読み出されておらず、画像情報64にその撮像信号が含まれていないことを、「X」という記号で表記している。
時刻t11から所定周期T2だけ後の時刻t12では、1番目の大グループ811の2回目(2フレーム目)の本撮像だけでなく、2番目の大グループ812(50fps)の1回目(1フレーム目)の本撮像も完了している。そこで、制御部23は、1番目の大グループ811に属する単位グループ32と2番目の大グループ812に属する単位グループ32から読み出した撮像信号を、画像ファイル40に記録する。制御部23は、本撮像が完了した時点で、単位グループ32から撮像信号を読みだす。つまり時刻t12の時点では、2番目の大グループ812の1回目の本撮像が完了し撮像信号が取り出され、2回目の本撮像のための電荷の蓄積が行われている状態である。3番目の大グループ813に属する単位グループ32や4番目の大グループ814に属する単位グループ32からは撮像信号が読み出されず、画像ファイル40にも記録されない。
このように、大グループ81同士でフレームレートが異なる場合、画像情報64の一部が欠落している(無効になっている)ことがある。制御部23は、フレームごとに記録するマスク情報62bによって、特定の単位グループ32に対応する撮像信号が画像情報64に含まれていないことを示す。具体的なマスク情報62bの構成については後に述べる。
時刻t12から所定周期T2だけ後の時刻t13では、全ての大グループ811〜8114の本撮像が完了している。そこで、制御部23は、1番目の大グループ811に属する単位グループ32と2番目の大グループ812に属する単位グループ32と3番目の大グループ813に属する単位グループ32と4番目の大グループ814に属する単位グループ32から読み出した撮像信号を、画像ファイル40に記録する。
なお、もっとも早いフレームレートを基準として各フレームを記録するのではなく、全てのフレームレートの最小公倍数のフレームレートを基準として各フレームを記録してもよい。例えば図12の例であれば、60と50と25と24の最小公倍数は600なので、600fpsのフレームレートを基準として各フレームを記録してもよい。この場合、画像情報64の全てが欠落している(無効になっている)状態のフレームが存在することになる。例えば図12の例では、最初の9フレームは、画像情報64の全てが欠落している(無効になっている)状態となり、10フレーム目には、60fpsである1番目の大グループ811に属する単位グループ32から読み出された撮像信号が記録される。
図13は、動画撮像機能Bにより撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図7に示した動画撮像機能Aにより撮像した場合に作成される画像ファイル40や図10に示した静止画撮像機能Bにより撮像した場合に作成される画像ファイル40との違いについて詳述する。なお、動画撮像機能Bを用いて撮像した場合に作成される画像ファイル40には、一部のフレームを特定する必要がないため、インデックス部43が設けられていない。
撮像情報部45内の共通撮像情報451には、サムネイル画像が記録される。このサムネイル画像は、例えば、動画の先頭フレーム(1フレーム目)について、静止画撮像機能Bと同様に、代表画像を1つ選択して縮小した画像である。なお、動画撮像機能Aの場合と同様に、先頭フレーム以外を選択してもよい。また、代表画像の選択基準を、解像度が最も高い画像や、最も速いフレームレートで撮像された画像、としてもよい。
識別情報60は、画像ファイル40に記録される画像データ等が動画撮像機能Bにより撮像されて得られたデータである旨を表す情報である。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。撮像条件情報61は、静止画撮像機能Bにより撮像した場合に作成される画像ファイル40の撮像条件情報61およびフレームレートである。撮像条件情報61は、例えば「60fpsの動画である第1の画像情報641を構成する」、「50fpsの動画である第2の画像情報642を構成する」、「24fpsの動画である第3の画像情報643を構成する」、「25fpsの動画である第4の画像情報644を構成する」という4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1〜4の番号が、それぞれ「第1〜第4の画像情報641〜644を構成する」用途に割り当てられる。
マスク情報62aは、静止画撮像機能Bにより撮像した場合に作成される画像ファイルに記録される情報と同様の情報である。マスク情報62aは、各撮像領域(単位グループ32)の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
データ部42の構成は、動画撮像機能Aにより撮像した場合に作成される画像ファイル40内のデータ部42の構成と同一である。すなわち、データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に記録される。1つのブロック70は、マスク情報62b、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68が記録される。また、データ部42には、フレームごとのブロック70と共に、音声情報71が記録される。
マスク情報62bには、上述した撮像条件情報61により特定される番号(例えば1〜4の番号)だけでなく、「0」という番号が記録されることがある。この「0」という番号は、対応するフレームにおいて、単位グループ32が、撮像に利用されていない(撮像時に撮像信号が読み出されていない)ことを表す。上述のように、フレームレートが異なる複数の動画を撮像する場合、あるフレームの画像情報64には、電荷の蓄積が行われている状態であるために、特定の単位グループ32に対応する撮像信号が記録されていないことがある。このような場合、制御部23は、前記フレームにおいて、その単位グループ32に対応するマスク情報62の数値を「0」に設定する。ここで、マスク情報62bの数値が「0」に設定された単位グループ32については、画像情報64以外の情報、すなわち、Tv値マップ65内のTv値、Sv値マップ66内のSv値、Bv値マップ67内のSv値についても、有効な値が記録されない。
なお、マスク情報62bの数値が「0」に設定された単位グループ32について、その単位グループ32の前フレームにおける撮像信号を、画像情報64に記録するようにしてもよい。Tv値マップ65内のTv値、Sv値マップ66内のSv値、Bv値マップ67内のSv値についても同様に、前フレームにおける値を記録するようにしてもよい。後述する混合撮像機能についても同様である。
以上のように、制御部23は、動画撮像機能Bによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、記録部25に記録する。
(5)混合撮像機能(動画と静止画)
混合撮像機能は、静止画撮像機能Bと動画撮像機能Bを組み合わせた機能であり、撮像素子22の撮像領域ごとに設定された撮像条件により、互いに撮像条件が異なる、同一の被写体像51に関する複数の静止画と複数動画とを撮像する機能である。
混合撮像機能において、制御部23は、静止画撮像機能Bや動画撮像機能Bと同様に、二次元状に配置された複数の単位グループ32を、更に複数の大グループ81に分類する。制御部23は、一部の大グループ81について、動画撮像機能Bと同様に動画撮像を行う。制御部23は、その動画撮像中に、残りの大グループ81を用いて、静止画撮像機能Bと同様に静止画撮像を行う。この静止画撮像は、例えば一定周期で繰り返し行ってもよいし(自動撮像)、ユーザによりレリーズボタンの操作が為されたことに応じて行ってもよい(手動撮像)。
図14は、混合撮像機能の説明図である。ここでは4つの大グループ811〜814を仮定し、そのうち1番目の大グループ811で60fpsの動画撮像を、2番目の大グループ812で50fpsの動画撮像を、3番目と4番目の大グループ813、814で静止画を撮像するものとしている。
制御部23は、動画撮像機能Bと同様に、もっとも早いフレームレート(例えば60fps)を基準として、各フレームを記録する。静止画撮像が行われない間、3番目と4番目の大グループ813、814に属する単位グループ32については、撮像信号の読み出しが行われない。つまり、フレームごとに記録される画像情報64には、静止画に対応する3番目と4番目の大グループ813、814に属する単位グループ32の撮像信号が含まれない。制御部23は、静止画撮像を行った場合、静止画撮像が完了したタイミング(3番目と4番目の大グループ813、814に属する単位グループ32から撮像信号を読み出したタイミング)で、直後のフレームに対応する画像情報64に、静止画撮像により読み出した撮像信号を含ませる。
図15は、混合撮像機能により撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図13に示した動画撮像機能Bにより撮像した場合に作成される画像ファイル40との違いについて詳述する。画像ファイル40には、ヘッダ部41、データ部42、およびインデックス部43が記録される。ヘッダ部41、データ部42、およびインデックス部43は、たとえばヘッダ部41、データ部42、およびインデックス部43の順序でそれぞれ画像ファイル40に設けられる。
撮像情報部45内の共通撮像情報451には、動画撮像機能Bの場合と同様に、サムネイル画像が記録される。撮像情報部45内には、更に、インデックス部アドレス454が記録される。インデックス部アドレス454は、動画撮像機能Aの場合と同様に、インデックス部43の記録位置を特定するデータ(アドレス)である。
識別情報60は、画像ファイル40に記録される画像データ等が混合撮像機能により撮像されて得られたデータである旨を表す情報である。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。混合撮像機能における撮像条件情報61は、単位グループ32に「60fpsの動画である第1の画像情報641を構成する」、「30fpsである動画である第2の画像情報642を構成する」、「静止画である第3の画像情報643を構成する」、「静止画である第4の画像情報644を構成する」という4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1〜4の番号が、それぞれ「第1〜第4の画像情報641〜644を構成する」用途に割り当てられる。
混合撮像機能におけるマスク情報62aは、動画撮像機能Bにより撮像した場合に作成される画像ファイル40に記録される情報と同様の情報であり、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が記録されていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
データ部42の構成は、動画撮像機能Bにより撮像した場合に作成される画像ファイル40のデータ部の構成と同一である。すなわち、データ部42は、1フレームごとに、1フレーム分のブロック70が撮像順に記録される。1つのブロック70は、マスク情報62、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報6が記録される。また、データ部42には、フレームごとのブロック70と共に、音声情報71が記録される。
インデックス部43には、インデックス情報47として静止画アドレス461が1つ以上記録される。静止画アドレス461は、静止画を含むフレームを特定するデータである。静止画アドレス461は、例えば画像ファイル40もしくはデータ部42の先頭を0として、特定対象のフレームに対応するフレームデータ7の記録位置を換算したアドレスである。静止画アドレス461は、例えば各フレームに1から始まる通し番号を割り当てた場合における、特定対象のフレームの番号であってもよい。静止画アドレス461は、例えば「3分15秒」のように、特定対象フレームの再生時刻であってもよい。
制御部23は、動画の撮像開始時、まず記録部25にヘッダ部41を記録する。制御部23は、ヘッダ部41に内に、ファイル基本情報部44と撮像情報部45とマスク情報部46とを設ける。このとき、制御部23は、撮像情報部45内に、インデックス部アドレス454として、無効な値を記録する。つまり、この段階では、インデックス部アドレス454の記録場所を、いわゆるプレースホルダとして確保するに留める。制御部23は、動画の撮像中、データ部42にフレームデータ7を時系列順に順次記録する。制御部23は、動画の撮像中にレリーズボタンが操作され静止画の撮像が行われると、DRAM27(図1)に、静止画の撮像が行われたフレーム(すなわちフレームデータ7に静止画が含まれるフレーム)を特定する静止画アドレス461をインデックス情報部47としてインデックス情報43内に記録する。制御部23は、動画の撮像が終了すると、DRAM27内に記録されている全ての静止画アドレス461を含むインデックス部43を、データ部42の後ろに記録する。これにより、インデックス部アドレス454として記録すべき値、アドレスが確定する。最後に、制御部23は、撮像情報部45内のインデックス部アドレス454を確定した値に上書き記録する。
動画の撮像中に、何枚の静止画が撮像されるのか、動画の撮像を開始する前に予測することは困難である。従って、インデックス部43に記録される静止画アドレス461の個数を、事前に見積もることは難しい。例えばヘッダ部41に静止画アドレス461を記録することにしてしまうと、静止画アドレス461を記録するための記録領域を、動画の撮像を開始する前、具体的にはデータ部42内にフレームデータ7を記録する前に確保しておく必要がある。確保された記録領域が小さすぎると、予め確保した記録領域に記録可能な個数よりも静止画アドレス461の個数が予め確保された記録領域に記録可能な個数よりも多くなった場合に、記録領域が不足してしまう。つまり、静止画の撮像枚数に制限が生じてしまう。逆に、確保された記録領域が大きすぎると、画像ファイル40に情報が何も記録されていない不必要な記録領域が生じてしまう。静止画アドレス461はDRAM27に一時記録することとし、撮像終了後にヘッダ部41にインデックス部アドレス454を追記して記録した後、ヘッダ部41とデータ部42とを結合するように記録すると、最終的な画像ファイル40の作成に余計な時間や、データ部42をヘッダ部41へ結合できる形式の情報へ変更するための記録領域が余計に必要となってしまう。本実施の形態では、インデックス部43を、画像ファイル40の末尾に設けている。画像ファイル40の末尾であれば、インデックス情報部47をインデックス部43に記録するときに、データ部42の記録位置による制約を受けない。つまり画像ファイル40の末尾に設けられるインデックス部43は、複数のフレームデータ7の記録位置による制約を受けることなくインデックス部アドレス453を追記可能な可変記録領域に記録される。従って、静止画アドレス461の個数がたとえ少なくとも無駄な記録領域、つまり情報が何も記録されていない記録領域が生じることを防ぐことができる。また、静止画アドレス461の個数がたとえ多くとも、記録部25の空き領域がある限り、記録可能な個数に制限が生じることがない。
以上のように、制御部23は、混合撮像機能による撮像を行うことにより、撮像領域ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、記録部25に記録する。
次に、制御部23による再生処理について説明する。再生処理は、制御部23により、上述した種々の撮像機能によって記録部25に記録された画像ファイル40を例えば表示部24に表示したり、記録部25に上述した画像ファイル40とは別のファイルとして記録したりする処理である。
制御部23は、画像ファイル40(図5、図7、図10、図13、図15)を開き、まずファイル基本情報部44を読み出す。これにより、マスク情報部46撮像情報部45の記録位置が判明する。制御部23は、判明した記録位置から、撮像情報部45を読み出す。これにより、マスク情報部46の記録位置が判明する。次に制御部23は、判明した記録位置から、マスク情報部46内の識別情報60を読み出す。これにより、制御部23は、この画像ファイル40がどの撮像機能により作成されたファイルであるかを認識する。以降の処理は、撮像機能毎に異なる。そこで、以下、画像の再生処理を、上述した撮像機能ごとに説明する。
(1)静止画撮像機能A(単一の静止画)
画像ファイル40が、図5に示す、静止画撮像機能Aにより作成されたファイルであると認識すると、制御部23は、マスク情報部46から、撮像条件情報61およびマスク情報62aを読み出す。これにより、制御部23は、撮像面全体のうち、どの撮像領域(どの単位グループ32)が主要被写体領域52なのか、あるいは背景領域53なのかを識別することができ、主要被写体領域52と背景領域53とで画作りを変化させることができる。例えば、制御部23は、主要被写体領域52はより先鋭になるようにエッジ強調処理を施し、背景領域53にはぼかし処理を施して主要被写体領域52を強調することができる。
次に制御部23は、撮像情報部45から、データ部アドレス453を読み出す。これにより、データ部42の記録位置が判明する。制御部23は、判明した記録位置から、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。制御部23は、画像情報64がRAW画像データである場合、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64に対して現像処理を実行する。画像情報64がRAWデータである場合は、制御部23は、例えば、色情報を有していない画像情報64に対して、周知のデモザイク処理を実行し、色情報を有する画像を作成する。また、制御部23は、Sv値マップ66等に基づき、色彩や明るさ等の調整、ノイズ軽減等の画像処理を行う。例えば、Sv値が大きい(感度が高い)撮像領域(単位グループ32)に対しては、他の撮像領域に比べてノイズが乗りやすい。そこで、制御部23は、Sv値が大きいほど、ノイズ軽減の強度を高く(強く)する。制御部23は、以上のようにして現像処理された画像ファイル40を、例えば表示部24に表示したり、記録部25に記録したりする。
以上のように、制御部23は、静止画撮像機能Aにより作成された画像ファイル40の再生処理をするのに際し、画像情報64等のデータ部42に記録されている情報よりも先に、マスク情報部46に記録されている撮像条件情報61およびマスク情報62aを読み出す。マスク情報部46は、データ部42よりも画像ファイル40の先頭側に記録されている。制御部23は、画像ファイル40の再生処理をするのに際し、画像ファイル40の先頭側から各情報を読み出す。そのため、制御部23は、再生処理に際しマスク情報46を読み出す処理をデータ部42に記録されている情報を読み出す処理よりも早く行うことができる。
なお、前述の通り、データ部42には、ヘッダ部41に格納されているマスク情報62aと同一のマスク情報62bが記録されている。そこで、制御部23は、マスク情報62aの代わりに、データ部42からマスク情報62bを読み出してもよい。
(2)動画撮像機能A(単一の動画)
画像ファイル40が、図7に示す、動画撮像機能Aにより作成されたファイルであると認識すると、制御部23は、マスク情報部46からマスク情報62aを読み出す。制御部23は、撮像面全体のうち、どの撮像領域(単位グループ32)が主要被写体領域52なのか、あるいは背景領域53なのかを判別する。次に、制御部23は、マスク情報部46から撮像条件情報61を読み出す。これにより、制御部23は、主要被写体領域52と背景領域53のフレームレートを認識する。次に制御部23は、撮像情報部45から、データ部アドレス453を読み出す。これにより、データ部42の記録位置が判明する。制御部23は、判明した記録位置の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。制御部23は、画像情報64がRAW画像データである場合、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64に対して現像処理を実行し、動画を構成する各フレームを作成する。
制御部23は、各フレームに対して現像処理を行うのに際し、ブロック70から、まずマスク情報62bを読み出す。そして、各フレームにおいて、どの撮像領域(単位グループ32)が主要被写体領域52なのか、あるいは背景領域53なのかを識別する。その後、制御部23は、静止画撮像機能Aの説明で述べたように、主要被写体領域52と背景領域53とで異なる画像処理を実行する。制御部23は、以上のようにして作成したフレームから成る動画を、例えば表示部24に表示したり、記録部25に記録したりする。
以上のように、制御部23は、動画撮像機能Aにより作成された画像ファイル40の再生処理をするのに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62bを読み出す。マスク情報部46は、データ部42よりも画像ファイル40の先頭側に記録されている。制御部23は、画像ファイル40の再生処理をするのに際し、画像ファイル40の先頭側から各情報を読み出す。そのため、制御部23は、再生処理に際しマスク情報46を読み出す処理をデータ部42に記録されている情報を読み出す処理よりも早く行うことができる。
なお、データ部42の先頭ブロックのマスク情報62bとマスク情報部46に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク情報部46からマスク情報62aを読み出さないようしてもよい。
(3)静止画撮像機能B(複数の静止画)
画像ファイル40が、図10に示す、静止画撮像機能Bにより作成されたファイルであると認識すると、制御部23は、マスク情報部46から、撮像条件情報61およびマスク情報62aを読み出す。これにより、制御部23は、同時に何種類の静止画が撮像されたのか、また、どの撮像領域(単位グループ32)がどの静止画を構成しているのかを識別する。すなわち、大グループ81が何個存在し、各単位グループ32がどの大グループ81に属しているのかを識別する。
次に制御部23は、撮像情報部45から、データ部アドレス453を読み出す。これにより、データ部42の記録位置が判明する。制御部23は、判明した記録位置から、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。制御部23は、画像情報64がRAW画像データである場合、大グループ81ごとに、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64にいわゆる現像処理を実行する。これにより、複数の静止画(例えば4つの静止画)が現像(作成)される。制御部23は、以上のようにして作成された画像を、例えば表示部24に表示したり、記録部25に記録したりする。
以上のように、制御部23は、静止画撮像機能Bにより作成された画像ファイル40の再生処理をするのに際し、画像情報64等のデータ部42に記録されている情報よりも先に、マスク情報部46に記録されている撮像条件情報61およびマスク情報62aを読み出す。マスク情報部46は、データ部42よりも画像ファイル40の先頭側に記録されている。制御部23は、画像ファイル40の再生処理をするのに際し、画像ファイル40の先頭側から各情報を読み出す。そのため、制御部23は、再生処理に際しマスク情報46を読み出す処理をデータ部42に記録されている情報を読み出す処理よりも早く行うことができる。
なお、前述の通り、データ部42には、ヘッダ部41に格納されているマスク情報62aと同一のマスク情報62bが格納されている。そこで、マスク情報62aの代わりに、データ部42からマスク情報62bを読み出してもよい。
(4)動画撮像機能B(複数の動画)
画像ファイル40が、図13に示す、動画撮像機能Bにより作成されたファイルであると認識すると、制御部23は、マスク情報部46からマスク情報62aと撮像条件情報61を読み出す。これにより、制御部23は、同時に何種類の動画が撮像されたのか、どの撮像領域(単位グループ32)がどの動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、大グループ81が何個存在し、各単位グループ32がどの大グループ81に属しており、各大グループ81はどのようなフレームレートで撮像されたのかを識別する。次に制御部23は、撮像情報部45から、データ部アドレス453を読み出す。これにより、データ部42の記録位置が判明する。制御部23は、判明した記録位置の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。制御部23は、画像情報64がRAW画像データである場合、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64に対して現像処理を実行し、各動画を構成する各フレームを作成する。
制御部23は、各フレームに対して現像処理を行うのに際し、ブロック70から、まずマスク情報62bを読み出す。そして、制御部23は、各ブロック70の画像情報64にどの大グループ81に対応する画素信号が含まれているのかを識別する。その後、制御部23は、各大グループ81に対応するフレームを作成するが、前記ブロック70の画像情報64に画素信号が含まれていない大グループ81については、フレームを作成しない。制御部23は、以上のようにして作成したフレームから成る動画を、例えば表示部24に表示したり、記録部25に記録したりする。
以上のように、制御部23は、動画撮像機能Bにより作成された画像ファイル40の再生処理をするのに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62a、62bを読み出す。マスク情報62aが記録されているマスク情報部46は、データ部42よりも画像ファイル40の先頭側に記録されている。マスク情報62bは、画像情報64よりも画像ファイル40の先頭側に記録されている。制御部23は、画像ファイル40の再生処理をするのに際し、画像ファイル40の先頭側から各情報を読み出す。そのため、制御部23は、再生処理に際しマスク情報46を読み出す処理をデータ部42に記録されている情報を読み出す処理よりも早く行うことができる。
なお、データ部42の先頭ブロックのマスク情報62bとマスク情報部46に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク情報部46からマスク情報62aを読み出さないようしてもよい。
(5)混合撮像機能(動画と静止画)
画像ファイル40が、図15に示す、混合撮像機能により作成されたファイルであると認識すると、制御部23は、マスク情報部46からマスク情報62aと撮像条件情報61を読み出す。これにより、制御部23は、同時に何種類の動画と何種類の静止画が撮像されたのか、どの単位グループ32がどの静止画および動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、制御部23は、大グループ81が何個存在し、各大グループ81は静止画なのか動画なのか、動画であればそのフレームレートはいくつか、各単位グループ32がどの大グループ81に属しているかを識別する。次に制御部23は、撮像情報部45から、データ部アドレス453を読み出す。これにより、データ部42の記録位置が判明する。制御部23は、判明した記録位置の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。制御部23は、画像情報64がRAW画像データである場合、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64に対して現像処理を実行し、各動画を構成する各フレーム、および、各静止画を作成する。
制御部23は、動画の各フレームや静止画に対して現像処理を行うのに際し、ブロック70から、まずマスク情報62bを読み出す。そして、各ブロック70の画像情報64にどの大グループ81に対応する画素信号が含まれているのかを識別する。その後、制御部23は、各大グループ81に対応するフレームや静止画を作成するが、前記ブロック70の画像情報64に画素信号が含まれていない大グループ81については、フレームや静止画を作成しない。制御部23は、以上のようにして作成したフレームから成る動画や静止画を、例えば表示部24に表示したり、記録部25に記録したりする。
以上のように、制御部23は、混合撮像機能により作成された画像ファイル40の再生処理をするのに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62a、62bを読み出す。マスク情報62aが記録されているマスク情報部46は、データ部42よりも画像ファイル40の先頭側に記録されている。マスク情報62bは、画像情報64よりも画像ファイル40の先頭側に記録されている。制御部23は、画像ファイル40の再生処理をするのに際し、画像ファイル40の先頭側から各情報を読み出す。そのため、制御部23は、再生処理に際しマスク情報46を読み出す処理をデータ部42に記録されている情報を読み出す処理よりも早く行うことができる。
なお、データ部42の先頭ブロックのマスク情報62bとマスク情報部46に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク情報部46からマスク情報62aを読み出さないようしてもよい。
画像の再生処理は、上述した種々の撮像機能によって記録部25に記録された画像ファイル40に対して制御部23が行う処理としたが、記録部25に記録される前の画像ファイル40に対して、制御部23が行う処理であってもよい。
なお、撮像処理を行った撮像装置とは異なる電子機器(以後、再生装置と称する)が、上述した再生処理を実行するようにしてもよい。例えば、記録部25を撮像装置から取り外し、撮像装置の外部に設けたPC等の再生装置に記録部25を装着すると、再生装置が記録部25から画像ファイル40を読み出して、上述した再生処理を実行し、画像を再生するようにしてもよい。また、撮像装置と再生装置との間で無線通信等のデータ通信を行うことにより、画像情報64等の授受を行うようにしてもよい。
上述した第1の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)撮像素子22は、複数の単位グループ32(撮像領域)を有しており、単位グループ32毎に撮像条件が設定可能である。制御部23は、撮像素子22により撮像された複数の画像情報64(画像データ)を記録するデータ部42(画像データ領域)と、複数の画像情報64から第1画像データまたは第2画像データの記録位置を特定するマスク変化アドレス460または静止画アドレス461(特定情報)を記録するインデックス部43(特定情報領域)と、画像情報64に関するファイル情報を記録するヘッダ部41(ファイル情報領域)とを備える画像ファイル40を生成する。ここで、データ部42は、ヘッダ部41とインデックス部43との間に記録される。このようにしたので、マスク変化アドレス460や静止画アドレス461の個数に制約を受けることがない。
(2)静止画アドレス461によって記録位置が特定される第1画像データとは、複数の画像情報64の撮像期間のうち、操作部26からの指示によって生成された画像情報64である。このようにしたので、多数のフレームデータ7から、静止画が含まれるフレームを素早く特定することができる。
(3)制御部23は、複数の画像情報64と、単位グループ32毎に設定された撮像条件データとを関連付けて記録する。マスク変化アドレス460によって記録位置が特定される第2画像データとは、複数の画像情報64の撮像期間のうち、撮像条件データが画像ファイル40に記録された撮像条件データから変更された画像情報64である。このようにしたので、多数のフレームデータ7から、被写体の状態が変化したフレームを素早く特定することができる。
(4)制御部23は、インデックス部43を画像ファイル40の末尾に記録する。このようにしたので、画像ファイル40にコピーや移動等のファイル操作を適用した場合にも、インデックス部43が失われることがない。このように、ファイル操作を行うユーザにとって扱いやすい画像ファイル40を記録することができる。
(5)制御部23は、複数の画像情報64の撮像時に、ヘッダ部41とデータ部42との間にインデックス部アドレス454を記録する領域を確保し、複数の画像情報64の撮像が終了すると、その領域にマスク変化アドレス460または静止画アドレス461の記録位置を特定するデータを記録する。このようにしたので、画像ファイル40の読み出し時に、インデックス部43の記録位置を素早く特定することができる。
(6)ヘッダ部41に記録されるファイル情報には、複数の画像情報64が縮小された縮小画像データが含まれる。このようにしたので、画像ファイル40に含まれる複数の画像情報64を速やかに把握することができる。
(7)制御部23は、動画の撮像中、記録部25に複数のフレームデータ7を時系列順に記録すると共に、マスク変化アドレス460や静止画アドレス461をDRAM27に記録する。制御部23は、動画の撮像が終了すると、DRAM27に記録されているマスク変化アドレス460や静止画アドレス461を、記録部25に記録された単一の画像ファイル40の末尾に追記する。このようにしたので、画像ファイル40の記録に要する時間や領域を必要最小限にすることができる。また、1つのマスク変化アドレス460や静止画アドレス461は、フレームデータ7等のデータに比べて小さいので、DRAM27の消費量や画像ファイル40への追記に必要な時間は小さくて済む。
(8)撮像素子22は、複数の単位グループ32(撮像領域)を有しており、単位グループ32毎に撮像条件が設定可能である。制御部23は、撮像素子22により生成された画像情報64(画像データ)と、単位グループ32毎の、撮像条件に関する撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等のデータ(撮像条件データ)とを関連付けて記録する。このようにしたので、各々の画素にどのような撮像条件が適用されているのかを、撮像結果である画像ファイル40の再生時等に知ることができる。
(9)画像情報64に関連づけて記録される、撮像条件に関する情報には、例えば撮像素子22により被写体を撮像するときの露出に関する情報や、撮像素子22により撮像された被写体の明るさに関する情報が含まれる。具体的には、撮像素子22により撮像された被写体の輝度に関する情報であるBv値マップ67、不図示の光電変換部による電荷の蓄積時間であるTv値マップ65、不図示の増幅部による増幅率であるSv値マップ66等が含まれる。これらの情報は、いずれも、撮像素子22の撮像動作に関する情報であると言うことができる。このようにしたので、画像ファイル40の再生時に、撮像動作に則した画像処理を行うことができる。
(10)制御部23は、画像情報64に関連付けて、撮像の都度変化する撮像条件に関する情報を記録する。このようにしたので、画像ファイル40ごとに情報が付加され、再生時に撮像条件に則した適切な画像処理を行うことができる。
(11)制御部23は、画像情報64にそれぞれ対応する撮像条件に関する複数の情報を、単一の画像ファイル40内に時系列順に記録する。このようにしたので、例えば画像ファイル40に動画が記録されている場合に、それらの情報に基づく画像処理を容易に行うことができる。
(12)制御部23は、ヘッダ部41と画像情報64を記録するデータ部42(画像データ部)とを有する画像ファイル40において、ヘッダ部41及びデータ部42のうち、少なくともいずれか一方に、撮像条件に関する情報を記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(13)制御部23は、複数の単位グループ32毎の用途に関する撮像条件情報61およびマスク情報62を、画像情報64に関連付けて記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(14)マスク情報62は、時間経過に伴い変化する動的情報を含んでいる。具体的には、画像情報64に、単位グループ32に属する撮像画素31から読み出された画素信号に対応する画素値が含まれるか否かを表す情報か、もしくは、複数の単位グループ32の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル40の再生時に、動的情報を利用した画像処理を行うことができる。
(15)マスク情報62は、時間経過に伴い変化しない静的情報を含んでいる。具体的には、複数の単位グループ32の役割を表す情報を含んでいる。また、マスク情報62aは、撮像当初において、複数の単位グループ32の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル40の再生時に、静的情報を利用した画像処理を行うことができる。
(16)制御部23は、複数の画像情報64にそれぞれ対応する複数のマスク情報62bを、単一の画像ファイル40内に時系列順に記録する。このようにしたので、例えば画像ファイル40の再生時に、撮像条件を時系列順に追跡することができる。
(17)制御部23は、ヘッダ部41と画像情報64を記録するデータ部42(画像データ部)とを有する画像ファイル40において、ヘッダ部41及びデータ部42のうち、少なくともいずれか一方に、マスク情報62を記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(18)複数の単位グループ32には、第1のフレームレートで撮像される単位グループ32と、第1のフレームレートより遅い第2のフレームレートで撮像される単位グループ32とが含まれ、制御部23は、第1のフレームレートに基づき、複数の画像情報64を記録する。このようにしたので、全てのフレームに関する情報を漏れなく記録することができる。
(19)制御部23は、複数の画像情報64の撮像期間に対応する音声情報71(音声データ)を、複数の画像情報64に関連づけて記録する。このようにしたので、音声も含めた動画再生を行うことが可能となる。
(20)制御部23は、画像情報64の撮像パターンに関する情報と、画像情報64の保存方式に関する情報と、単位グループ32ごとの撮像条件に関する情報と、の少なくとも1つを、ヘッダ部41とデータ部42との2つのブロックから成る画像ファイル40のヘッダ部41に記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(第2の実施の形態)
第2の実施の形態に係る電子機器10は、第1の実施の形態に係る10と同様の構成を有しているが、画像ファイルの記録方式が、第1の実施の形態とは異なっている。以下、この点について詳述する。
図16は、混合撮影機能により撮像した場合に作成される画像ファイル40a、40bの構成を模式的に示す図である。以下、第1の実施の形態に係る画像ファイル40(図15)との違いについて詳述する。
本実施の形態に係る制御部23は、撮像に伴い、単一の画像ファイル40ではなく、一対の画像ファイル40a、40bを作成する。画像ファイル40aは、ヘッダ部41と、インデックス部43とから成る。画像ファイル40bは、データ部42から成る。
画像ファイル40aの末尾には、インデックス部43が設けられる。インデックス部43には、データ部パス情報462と、1つ乃至複数の静止画アドレス461とが、この順序で記録される。データ部パス情報462は、画像ファイル40bを特定するための情報である。データ部パス情報462は、例えば画像ファイル40bのファイル名である。このファイル名は、ディレクトリ名を含むパス名(相対パスまたは絶対パス)として記述されることが望ましい。つまり制御部23は、画像ファイル40aと画像ファイル40bとを、データ部パス情報462により関連付けている。データ部パス情報462は、インデックス部43内ではなく、撮像情報部45内に記録されてもよい。
なお、ヘッダ部41およびデータ部42に記録される情報の内容については、第1の実施の形態でヘッダ部41およびデータ部42に記録される情報と同一の情報であるので説明を省略する。
制御部23は、動画の撮像開始時、まず記録部25に、ヘッダ部41およびインデックス部43を含む画像ファイル40aと、空のデータ部42から成る画像ファイル40bとを記録する。このとき、制御部23は、インデックス部43に、データ部パス情報462のみを記録する。制御部23は、動画の撮像中、画像ファイル40bのデータ部42にフレームデータ7を時系列順に順次記録していく。制御部23は、動画の撮像中に静止画の撮像が行われると、画像ファイル40aのインデックス部43に、静止画の撮像が行われたフレーム(すなわちフレームデータ7に静止画が含まれるフレーム)を特定する静止画アドレス461を記録する。
なお、記録部25にマスク変化アドレス460を直接記録するのではなく、第1の実施の形態と同様に、一時的にDRAM27(図1)に記録するようにしてもよい。
本実施の形態では、インデックス部43を、画像ファイル40aの末尾に設けている。データ部42は他の画像ファイル40bに設けられているので、制御部23は、インデックス情報部47をインデックス部43に記録するときに、データ部42の記録位置による制約を受けない。つまり画像ファイル40aの末尾に設けられるインデックス部43は、複数のフレームデータ7の記録位置による制約を受けることなくデータを追記可能な可変記録領域に記録される。
以上では、混合撮像機能を用いて撮像した場合に作成させる画像ファイル40a、40bについて説明したが、他の撮像機能を用いて撮像した場合も、同様に一対の画像ファイルが作成される。動画撮像機能Aを用いて撮像した場合には、画像ファイル40bには、静止画アドレス461ではなくマスク変化アドレス460を記録する。また、第1の実施の形態では、静止画撮像機能A、静止画撮像機能B、および動画撮像機能Bを用いる場合、インデックス部43を含まない画像ファイル40が作成されると説明した。本実施の形態では、これらの撮像機能を用いて作成される画像ファイル40aには、データ部パス情報462のみが記録されたインデックス部43が記録させる。なお、データ部パス情報462のみが記録されたインデックス部43画像ファイル40aに記録する代わりに、ヘッダ部41内、たとえば撮像情報部45内にデータ部パス情報462を記録するようにしてもよい。この場合、インデックス部43は記録されなくてよい。
上述した第2の実施の形態による撮像装置によれば、次の作用効果が得られる。
(21)撮像素子22は、複数の単位グループ32(撮像領域)を有しており、単位グループ32毎に撮像条件が設定可能である。制御部23は、撮像素子22により生成された画像情報64(画像データ)と、単位グループ32毎の、撮像条件に関する撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等のデータ(撮像条件データ)とを関連付けて記録部25に記録する。更に、制御部23は、複数のフレームデータ7のうちの所定のフレームデータ7の記録位置を特定するマスク変化アドレス460や静止画アドレス461を、複数のフレームデータ7に関連付けて記録部25に記録する。制御部23は、マスク変化アドレス460や静止画アドレス461を含むインデックス部43を、複数のフレームデータ7の記録位置による制約を受けることなく追記可能な記録部25における可変記録領域に記録する。このようにしたので、記録されるマスク変化アドレス460や静止画アドレス461の個数に制約を受けない。
(22)制御部23は、複数のフレームデータ7のうちの所定のフレームデータ7の記録位置を特定するデータとして、静止画を含むフレームデータの記録位置を特定するデータである静止画アドレス461を記録する。このようにしたので、多数のフレームデータ7から、静止画が含まれるフレームを素早く特定することができる。従って、混合撮像機能により作成された画像ファイル40から素早く静止画を作成することができる。
(23)制御部23は、複数のフレームデータ7のうちの所定のフレームデータ7の記録位置を特定するデータとして、直前のフレームデータ7とは異なるマスク情報62を含むフレームデータ7の記録位置を特定するデータであるマスク変化アドレス460を記録する。このようにしたので、多数のフレームデータ7から、被写体の状態が変化したフレームを素早く特定することができる。
(24)マスク情報62は、複数の撮像領域毎の用途に関するデータであり、制御部23は、直前のフレームデータ7とは異なるマスク情報62を含むフレームデータ7の記録位置を特定するマスク変化アドレス460を記録する。このようにしたので、多数のフレームデータ7から、被写体の状態が変化したフレームを素早く特定することができる。
(25)制御部23は、複数のフレームデータ7を含む画像ファイル40b(第1のファイル)を記録部25に記録すると共に、インデックス部43を含み画像ファイル40bとは異なる画像ファイル40a(第2のファイル)を記録部25に記録する。このようにしたので、マスク変化アドレス460や静止画アドレス461を、フレームデータ7と並行して随時記録することができ、DRAM27に作業領域を確保する必要がない。
(26)画像ファイル40aは、画像情報64(画像データ)ともマスク情報62b、Tv値マップ65、Sv値マップ66、Bv値マップ67等のデータ(撮像条件データ)ともインデックス部43とも異なるデータを含み、可変記録領域は、画像ファイル40aの末尾に設けられた領域である。このようにしたので、マスク変化アドレス460や静止画アドレス461の記録数に制約を設けることなく、更に異なるデータを記録することができる。
(第3の実施の形態)
第3の実施の形態に係る撮像装置は、第1の実施の形態に係る電子機器10と同様の構成を有しているが、画像ファイルの記録方式が、第1の実施の形態とは異なっている。以下、この点について詳述する。
図17は、混合撮像機能を用いて撮像した場合に作成される画像ファイル40a、40bの構成を模式的に示す図である。以下、第1の実施の形態に係る画像ファイル40(図15)との違いについて詳述する。
本実施の形態に係る制御部23は、撮像に伴い、単一の画像ファイル40ではなく、一対の画像ファイル40a、40bを作成する。画像ファイル40aは、ヘッダ部41と、データ部42とから成る。画像ファイル40bは、インデックス部43から成る。
撮像情報部45には、第1の実施の形態で説明した種々のデータからインデックス部アドレス454を除いた様々な情報が記録され、更に、インデックス部パス情報455が記録される。インデックス部パス情報455は、画像ファイル40bを特定するための情報である。インデックス部パス情報455は、例えば画像ファイル40bのファイル名である。このファイル名は、ディレクトリ名を含むパス名(相対パスまたは絶対パス)として記述されることが望ましい。つまり制御部23は、画像ファイル40aと画像ファイル40bとを、インデックス部パス情報455により関連付けている。
なお、データ部42およびインデックス部43に記録される情報の内容については、第1の実施の形態でヘッダ部41およびデータ部42に記録される情報と同一の情報であるので説明を省略する。
制御部23は、動画の撮像開始時、まず記録部25に、ヘッダ部41を含む画像ファイル40aと、空のインデックス部43から成る画像ファイル40bとを記録する。制御部23は、動画の撮像中、画像ファイル40bのデータ部42にフレームデータ7を時系列順に順次記録していく。制御部23は、動画の撮像中に静止画の撮像が行われると、画像ファイル40aのインデックス部43に、静止画の撮像が行われたフレーム(すなわちフレームデータ7に静止画が含まれるフレーム)を特定する静止画アドレス461を記録する。インデックス部43
なお、記録部25に静止画アドレス461を直接記録するのではなく、第1の実施の形態と同様に、一時的にDRAM27(図1)に記録するようにしてもよい。
本実施の形態では、画像ファイル40bはインデックス部43のみから成るため、換言すると、インデックス部43は、画像ファイル40bの末尾に設けられているといえる。データ部42は他の画像ファイル40aに設けられているので、制御部23は、インデックス部43の記録に際し、データ部42の記録位置による制約を受けない。つまり画像ファイル40bの末尾に設けられるインデックス部43は、複数のフレームデータ7の記録位置による制約を受けることなくデータを追記可能な可変記録領域に記録される。
以上では、混合撮像機能を用いて撮像した場合に作成される画像ファイル40a、40bについて説明したが、動画撮像機能Aを用いて撮像した場合も、同様に一対の画像ファイルが作成される。
上述した第3の実施の形態による撮像装置によれば、次の作用効果が得られる。
(27)撮像素子22は、複数の単位グループ32(撮像領域)を有しており、単位グループ32毎に撮像条件が設定可能である。制御部23は、撮像素子22により生成された画像情報64(画像データ)と、単位グループ32毎の、撮像条件に関する撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等のデータ(撮像条件データ)とを関連付けて記録部25に記録する。更に、制御部23は、複数のフレームデータ7のうちの所定のフレームデータ7の記録位置を特定するマスク変化アドレス460や静止画アドレス461を、複数のフレームデータ7に関連付けて記録部25に記録する。制御部23は、マスク変化アドレス460や静止画アドレス461を含むインデックス部43を、複数のフレームデータ7の記録位置による制約を受けることなく追記可能な記録部25における可変記録領域に記録する。このようにしたので、記録されるマスク変化アドレス460や静止画アドレス461の個数に制約を受けない。
(28)制御部23は、複数のフレームデータ7のうちの所定のフレームデータ7の記録位置を特定するデータとして、静止画を含むフレームデータの記録位置を特定するデータである静止画アドレス461を記録する。このようにしたので、多数のフレームデータ7から、静止画が含まれるフレームを素早く特定することができる。従って、混合撮像機能により作成された画像ファイル40から素早く静止画を作成することができる。
(29)制御部23は、複数のフレームデータ7のうちの所定のフレームデータ7の記録位置を特定するデータとして、直前のフレームデータ7とは異なるマスク情報62を含むフレームデータ7の記録位置を特定するデータであるマスク変化アドレス460を記録する。このようにしたので、多数のフレームデータ7から、被写体の状態が変化したフレームを素早く特定することができる。
(30)マスク情報62は、複数の撮像領域毎の用途に関するデータであり、制御部23は、直前のフレームデータ7とは異なるマスク情報62を含むフレームデータ7の記録位置を特定するマスク変化アドレス460を記録する。このようにしたので、多数のフレームデータ7から、被写体の状態が変化したフレームを素早く特定することができる。
(31)制御部23は、複数のフレームデータ7を含む画像ファイル40a(第1のファイル)を記録部25に記録すると共に、インデックス部43を含み画像ファイル40aとは異なる画像ファイル40b(第2のファイル)を記録部25に記録する。このようにしたので、マスク変化アドレス460や静止画アドレス461を、フレームデータ7と並行して随時記録することができ、DRAM27に作業領域を確保する必要がない。
(32)画像ファイル40bは、インデックス部43のみから成る。このようにしたので、仮に画像ファイル40bが失われたとしても、画像ファイル40aが残っていれば、撮像された静止画や動画自体は失われずに済む。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
第2の実施の形態では、ヘッダ部41およびインデックス部43を1つの画像ファイル40aに格納し、データ部42を他の画像ファイル40bに格納する例について説明した。また、第3の実施の形態では、ヘッダ部41およびデータ部42を1つの画像ファイル40aに格納し、インデックス部43を他の画像ファイル40bに格納する例について説明した。各部を、これとは異なる形で複数の画像ファイルに分配してもよい。
例えば、ヘッダ部41のみから成る1つの画像ファイルと、データ部42およびインデックス部43から成る他の画像ファイルを作成するように、制御部23を構成してもよい。この場合、ヘッダ部41またはデータ部42に、インデックス部43の記録位置を特定するデータを用意しておくことが望ましい。例えば、当該データをヘッダ部41の撮像情報部45に記録してもよい。別の例としては、当該データをデータ部42の先頭や末尾に記録してもよい。また、当該データをいずれかの画像ファイルの末尾に記録することも可能である。
(変形例2)
上述した各実施の形態では、複数のフレームデータ7のうちの所定のフレームデータ7の記録位置を特定するインデックスデータの例として、マスク変化アドレス460と静止画アドレス461について説明した。インデックス部43に、これとは別の目的で所定のフレームデータ7の記録位置を特定するインデックスデータを記録するようにしてもよい。また、マスク変化アドレス460と静止画アドレス461とを共に記録するようにしてもよい。
(変形例3)
第1の実施の形態では、第1の画像情報641や第2の画像情報642を、画像ファイル40の再生時に作成すると説明したが、これを予め画像ファイル40に記録するようにしてもよい。この場合、画像ファイル40内に記録される1フレーム分のフレームデータ7は、それぞれ1つの大グループ81に対応するものとなる。
図8を用いて、変形例3の静止画撮像機能Bについて詳述する。第1の実施の形態では、図8に示した4つの画像情報641、642、643、644を再生可能な単一の画像情報64を有する、単一のフレームデータ7を画像ファイル40に記録していた。変形例1によれば、画像情報641を含むフレームデータ7と、画像情報642を含むフレームデータ7と、画像情報643を含むフレームデータ7と、画像情報644を含むフレームデータ7と、を含む画像ファイル40が作成されることになる。なお、各々のフレームデータ7に含まれるTv値マップ65等についても、当然に、各々の画像情報に対応する状態であるものとする。
図12を用いて、変形例3の動画撮像機能Bについて詳述する。第1の実施の形態では、各々のフレームデータ7が、1つ以上の大グループ81に対応する画像情報を含む単一の画像情報64を有していた。変形例3によれば、1〜4番目の大グループ81に対応する画像情報64を含むフレームデータ7が、時系列順に個別に記録されることになる。つまり、1番目の大グループ81の1フレーム目、2番目の大グループ82の1フレーム目、1番目の大グループ81の2フレーム目、…のように、複数の動画の各フレームが撮像の時系列順に配列された形で記録される。なお、各大グループ81に対応するフレームデータ7を、時系列順に記録するのではなく、大グループ81毎に予め分類して記録してもよい。例えば、データ部42の先頭から順に、1番目の大グループ81の1フレーム目、2フレーム目、3フレーム目、…に関するフレームデータ7を時系列順に記録し、その後に、2番目の大グループ81の1フレーム目、2フレーム目、3フレーム目、…に関するフレームデータ7を時系列順に記録することができる。
なお、この場合において、音声情報71は大グループ81ごとに記録することが望ましい。各々の大グループ81ごとに記録される音声情報71は、各々の大グループ81のフレームレートに対応する形で多重化して記録する。例えば、1番目の大グループ81が30fpsの動画、2番目の大グループ81が50fpsの動画にそれぞれ対応する場合、30fpsに合わせて多重化された音声情報71を1番目の大グループ81の1フレーム目、2フレーム目、3フレーム目、…に関するフレームデータ7に時系列順に記録する。そして、50fpsに合わせて多重化された音声情報71を2番目の大グループ81の1フレーム目、2フレーム目、3フレーム目、…に関するフレームデータ7に時系列順に記録する。
以上のように、予め大グループ81毎に画像情報64を分割しておくことで、再生処理の負荷を低減することができる。
(変形例4)
第1の実施の形態の説明において、動画撮像機能B、および混合撮像機能により作成される画像ファイル40のデータ部42には、画像情報64や各種のマップ情報が、撮像素子22における単位グループ32の配列通りに記録されると述べた。これを、単位グループ32の配列とは異なる配列にして記録してもよい。以下、この点について詳述する。
図18は、変形例4の説明図である。ここでは、図8(b)と同様に、単位グループ32を4つの大グループ81に分類している。ただし、その後に制御部23が生成する画像情報64は、単位グループ32の配列通りに撮像信号を配列したものではない。具体的には、大グループ81ごとに撮像信号を集約した後に、それらを連結することにより、画像情報64を生成している。例えば、画像情報64を2×2の4つの領域に区切ったとき、左上の領域には、1番目の大グループ81に属する単位グループ32からの撮像信号が集約され、左下の領域には、2番目の大グループ81に属する単位グループ32からの撮像信号が集約され、右上の領域には、3番目の大グループ81に属する単位グループ32からの撮像信号が集約され、右下の領域には、4番目の大グループ81に属する単位グループ32からの撮像信号が集約されている。
なお、以上のように、画像情報64における撮像信号の配列を変更する場合には、Tv値マップ65やSv値マップ66、マスク情報62等の配列も、これに合わせて変更する必要がある。
また、これ以外の方法で、画像情報64の配列を変更してもよい。つまり、画像ファイル40内において、画像情報64内の配列と、その他の撮像条件に関する情報(マスク情報62等)内の配列とが対応してさえいれば、その配列自体はどのようなものであってもよい。
(変形例5)
動画撮像機能B乃至混合撮像機能において、フレームごとに単位グループ32の用途を変化させてもよい。例えば図19に示すように、奇数フレームでは単位グループ32が1〜4番目の大グループ81にそれぞれ分類されるようにし、撮像条件が異なる4つの画像情報641、642、643、644を含む画像情報64が得られるようにする。そして、偶数フレームでは単位グループ32が5番目の大グループ81にのみ分類されるようにし、単一の画像情報64のみが得られるようにする。つまり、撮像条件が異なり画素数が相対的に少ない複数の画像と、画素数が相対的に多い単一画像とを、時分割的に撮像してもよい。また、上述した変形例3や変形例4にこの変形例5を適用することもできる。
(変形例6)
動画撮像機能B乃至混合撮像機能において、1つの単位グループ32が複数の用途を有するようにしてもよい。例えば図20に示すように、単位グループ32が1〜4番目の大グループ81にそれぞれ分類され、且つ、全ての単位グループ32が5番目の大グループ81にも分類されるようにしてもよい。この場合、前者の分類に従って画像ファイル40の再生(現像等)を行うと、4つの画像情報641、642、643、644を含む画像情報64が得られ、後者の分類に従って画像ファイル40の再生(現像等)を行うと、より画素数が多い単一の画像情報64が得られることになる。
(変形例7)
静止画撮像機能Bの説明において、マスク情報62上で「0」という番号が割り振られている単位グループ32は、撮像に利用されておらず、データ部42に記録されている画像情報64には、その単位グループ32に関する情報が含まれていないことを表すと述べたが、静止画撮像機能Aや動画撮像機能Aにおいても、「0」という番号が同様の意味を持つようにしてもよい。
また、ヘッダ部41のマスク情報62において、「0」という番号が撮像に利用されていないことを表すものとしてもよい。例えば、静止画撮像機能Bや動画撮像機能Bにおいて、撮像面全体を2×2の4つの単位グループ32で区切って、それら4つの単位グループ32にそれぞれ異なる用途を割り当てる場合、単位グループ32の縦方向の数(行数)が奇数であれば、1行だけ余りの行が生じることになる。このような場合に、その余りの1行を撮像に用いないこととして、ヘッダ部41に記録するマスク情報62では、その余りの1行に「0」という番号を割り当てることとしてもよい。
なお、上述した「0」という番号は一例であって、他の番号を、上述した「0」という番号と同様の扱いとしてもよい。
(変形例8)
画像ファイル40の構造は、上述した各実施の形態と異なっていてもよい。また、画像ファイル40に記録される撮像条件に関する情報は、第1の実施の形態等で説明した情報と異なっていてもよい。例えば、Sv値マップ66等、一部の情報の記録を省略してもよい。逆に、上述したものとは別の情報を更に追加してもよい。また、記録形態は上述した実施形態と異なっていてもよい。例えば、Av値情報68を、Tv値やSv値等と同様に、たとえ単一の値であっても単位グループ32ごとのAv値を二次元状に配列したAv値マップとして記録してもよい。また、上述したように、単位グループ32ごとに絞り値を制御した場合は、単位グループ32ごとのAv値を二次元状に配列したAv値マップとして記録する。
(変形例9)
上述した各実施の形態では、撮像素子22と制御部23とを有する単一の電子機器10である撮像装置について説明したが、本発明はこのような実施形態に限定されない。例えば、外部に設けられた撮像素子22を制御する電子機器10にも本発明を適用することができる。以下、撮像素子22を備えた撮像ユニット1001を、外部機器から制御する形態について詳述する。
図21は、変形例9に係る撮像システムの構成を模式的に示すブロック図である。図21に示す撮像システム1000は、撮像ユニット1001と、電子機器1002とから成る。撮像ユニット1001は、第1の実施の形態で説明した撮像光学系21と撮像素子22とを備え、更に、第1通信部1003を備えている。また、電子機器1002は、第1の実施の形態で説明した制御部23、表示部24、記録部25、操作部26、DRAM27、フラッシュメモリ28、および録音部29を備え、更に、第2通信部1004を備えている。第1通信部1003および第2通信部1004は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。また、撮像ユニット1001と電子機器1002とが有線ケーブル等による有線接続により、第1通信部1003および第2通信部1004は、双方向のデータ通信を行う構成であってもよい。
変形例9に係る撮像システム1000では、制御部23は、第2通信部1004および第1通信部1003を介したデータ通信により、撮像素子22の制御を行う。例えば、所定の制御データを撮像ユニット1001との間で送受信することにより、単位グループ32ごとに異なる撮像条件を設定したり、各々の単位グループ32から撮像信号を読み出したりする。
以上に述べたように、撮像システム1000において、単位グループ32ごとの制御を行っているのは、制御部23である。電子機器1002は、撮像素子22を備えていないが、電子機器1002の外部に設けられた撮像素子22(撮像ユニット1001)を制御することにより、第1の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子22を有していない電子機器に適用することが可能である。
(変形例10)
画像情報64のデータ量を削減するために、画像情報64を周知の可逆圧縮技術により圧縮して記録してもよい。また、画像情報64を、隣接する画素との差分値の形で記録してもよい。例えば、ある画素の画素値(撮像信号)を記録する位置に、その左隣の画素との差分値を記録するようにしてもよい。または、所定領域内の全画素の画素値の平均値との差分値を記録するようにしたり、全画素の平均値との差分値を記録するようにしてもよい。
また、動画の場合には、前のフレームの同じ位置の画素値との差分値を記録するようにすれば、更にデータ量を削減することができる。あるいは、前のフレームの同じ位置の画素値と値が異なるときだけ画素値を記録するようにし、前フレームと画素値が同一である場合にはその画素値を記録しないようにしてもよい。これは撮像条件(Sv値やTv値等)について適用することも可能である。例えば、ある単位グループ32について、前フレームとSv値が同一である場合、そのSv値を記録しないようにしてもよい。
なお、以上で述べたような形で画像情報64を記録する場合、再生時(現像時)に、それらの形から元の画素値を復元する処理を実行する必要がある。
(変形例11)
データ部42に、上述した種々の情報とは異なる情報を更に記録してもよい。例えば、周知の測距技術により測定された被写体までの距離情報をデータ部42に記録してもよい。また、この距離情報は、単位グループ32ごとに測定された被写体までの距離を二次元状に配列した、いわゆるデプスマップであってもよい。別の例としては、撮像光学系21の状態(例えば焦点距離等)に関する情報を記録することもできる。また、これらの情報が動画の撮影中に変化することを考慮して、これらの情報をフレームごとに記録してもよい。
(変形例12)
上述した各実施の形態では、本発明を撮像装置に適用した例について説明を行ったが、撮像装置は、例えばレンズ一体型のものでもレンズ交換型のものでも本発明を適用することも可能である。また、本発明は撮像装置に限らず、PC、携帯電話、スマートフォン、タブレット等のカメラ付き電子機器にも適用可能である。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。