(第1の実施の形態)
始めに、本発明の一実施の形態による電子機器(例えば撮像装置10)に搭載する積層型撮像素子22について説明する。なお、この積層型撮像素子22は、本願出願人が先に出願した特願2012−139026号に記載されているものである。図23は、積層型撮像素子22の断面図である。撮像素子22は、入射光に対応した画素信号を出力する裏面照射型撮像チップ2113と、画素信号を処理する信号処理チップ2111と、画素信号を記憶するメモリチップ2112とを備える。これら撮像チップ2113、信号処理チップ2111およびメモリチップ2112は積層されており、Cu等の導電性を有するバンプ2109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ2113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図23の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ2113の一例は、裏面照射型のMOSイメージセンサである。PD層2106は、配線層2108の裏面側に配されている。PD層2106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)2104、および、PD2104に対応して設けられたトランジスタ2105を有する。
PD層2106における入射光の入射側にはパッシベーション膜2103を介してカラーフィルタ2102が設けられる。カラーフィルタ2102は、互いに異なる波長領域を透過する複数の種類を有しており、PD2104のそれぞれに対応して特定の配列を有している。カラーフィルタ2102の配列については後述する。カラーフィルタ2102、PD2104およびトランジスタ2105の組が、一つの画素を形成する。
カラーフィルタ2102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ2101が設けられる。マイクロレンズ2101は、対応するPD2104へ向けて入射光を集光する。
配線層2108は、PD層2106からの画素信号を信号処理チップ2111に伝送する配線2107を有する。配線2107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
配線層2108の表面には複数のバンプ2109が配される。当該複数のバンプ2109が信号処理チップ2111の対向する面に設けられた複数のバンプ2109と位置合わせされて、撮像チップ2113と信号処理チップ2111とが加圧等されることにより、位置合わせされたバンプ2109同士が接合されて、電気的に接続される。
同様に、信号処理チップ2111およびメモリチップ2112の互いに対向する面には、複数のバンプ2109が配される。これらのバンプ2109が互いに位置合わせされて、信号処理チップ2111とメモリチップ2112とが加圧等されることにより、位置合わせされたバンプ2109同士が接合されて、電気的に接続される。
なお、バンプ2109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ2109は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ2109の大きさは、PD2104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ2109よりも大きなバンプを併せて設けてもよい。
信号処理チップ2111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)2110を有する。TSV2110は、周辺領域に設けられることが好ましい。また、TSV2110は、撮像チップ2113の周辺領域、メモリチップ2112にも設けられてよい。
図24は、撮像チップ113の画素配列を説明する図である。特に、撮像チップ2113を裏面側から観察した様子を示す。画素領域には、例えば800万個以上の画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する2画素×2画素の4画素で1つのブロック2131を形成する。そして、隣接する2ブロック×2ブロックの4ブロックで1つの単位グループ32を形成する。図の格子線は、隣接する画素をまとめてブロック2131および単位グループ32を形成する概念を示す。ブロック2131を形成する画素の数や、単位グループ32を形成するブロック2131の数は、上記例に限らず、それ以上でもそれ以下でもよい。
画素領域の部分拡大図に示すように、ブロック2131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ2102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ2102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ2102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施形態において、1ブロック2131につきGb、Gr、BおよびRの4画素を少なくとも1つ含むように複数のブロック2131が定義される。各ブロック2131はそれぞれ、ブロック2131内の4画素をブロック2131ごとに定めた制御パラメータで制御できる。つまり、あるブロック2131に含まれる画素群と、別のブロック2131に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
図25は、撮像チップ2113における1つの単位グループ32に対応する回路図である。図25において、代表的に点線で囲む矩形が、1つの画素に対応する回路を表す。また、一点鎖線で囲む矩形が1つのブロック2131に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図23のトランジスタ2105に対応する。
上述したように、単位グループ32は4つのブロック2131から形成される。単位グループ32に含まれる画素のリセットトランジスタ2303は、ブロック2131単位でオン/オフされる。また、単位グループ32に含まれる画素の転送トランジスタ2302も、ブロック2131単位でオン/オフされる。図25に示す例において、左上ブロック2131−1に対応する4つのリセットトランジスタ2303をオン/オフするためのリセット配線2300−1が設けられており、同ブロック2131−1に対応する4つの転送トランジスタ2302に転送パルスを供給するためのTX配線2307−1も設けられる。
同様に、左下ブロック2131−3に対応する4つのリセットトランジスタ2303をオン/オフするためのリセット配線2300−3が、上記リセット配線2300−1とは別個に設けられる。また、同ブロック2131−3に対応する4つの転送トランジスタ2302に転送パルスを供給するためのTX配線2307−3が、上記TX配線2307−1と別個に設けられる。
右上ブロック2131−2や右下ブロック2131−4についても同様に、それぞれリセット配線2300−2とTX配線2307−2、およびリセット配線2300−4とTX配線2307−4が、それぞれのブロック2131に設けられている。
各画素に対応する16個のPD2104は、それぞれ対応する転送トランジスタ2302に接続される。各転送トランジスタ2302のゲートには、上記ブロック2131ごとのTX配線を介して転送パルスが供給される。各転送トランジスタ2302のドレインは、対応するリセットトランジスタ2303のソースに接続されるとともに、転送トランジスタ2302のドレインとリセットトランジスタ2303のソース間のいわゆるフローティングディフュージョンFDが、対応する増幅トランジスタ2304のゲートに接続される。
各リセットトランジスタ2303のドレインは、電源電圧が供給されるVdd配線2310に共通に接続される。各リセットトランジスタ2303のゲートには、上記ブロック2131ごとのリセット配線を介してリセットパルスが供給される。
各増幅トランジスタ2304のドレインは、電源電圧が供給されるVdd配線2310に共通に接続される。また、各増幅トランジスタ2304のソースは、対応する選択トランジスタ2305のドレインに接続される。各選択トランジスタ2305のゲートには、選択パルスが供給されるデコーダ配線2308に接続される。本実施形態において、デコーダ配線2308は、16個の選択トランジスタ2305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ2305のソースは、共通の出力配線2309に接続される。負荷電流源2311は、出力配線2309に電流を供給する。すなわち、選択トランジスタ2305に対する出力配線2309は、ソースフォロアにより形成される。なお、負荷電流源2311は、撮像チップ2113側に設けてもよいし、信号処理チップ2111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック2131ごとのリセット配線を通じてリセットパルスがリセットトランジスタ2303に印加され、同時に上記ブロック2131ごとのTX配線を通じて転送パルスが転送トランジスタ2302に印加されると、上記ブロック2131ごとに、PD2104およびフローティングディフュージョンFDの電位がリセットされる。
各PD2104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線2308を通じて選択パルスが選択トランジスタ2305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ2304および選択トランジスタ2305を介して出力配線2309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線2309に出力される。
上述したように、本実施形態においては、ブロック2131を形成する4画素に対して、リセット配線とTX配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック2131内の4画素に対して同時に印加される。したがって、あるブロック2131を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ2305に選択パルスが順次印加されることにより、選択的に出力配線2309から出力される。
このように、本実施形態ではブロック2131ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック2131間では、異なったタイミングで撮像することができる。
図26は、撮像素子22の機能的構成を示すブロック図である。アナログのマルチプレクサ2411は、単位グループ32を形成する16個のPD2104を順番に選択して、それぞれの画素信号を当該単位グループ32に対応して設けられた出力配線2309へ出力させる。マルチプレクサ2411は、PD2104と共に、撮像チップ2113に形成される。
マルチプレクサ2411を介して出力された画素信号は、信号処理チップ2111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路2412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ2413に引き渡され、それぞれの画素に対応する画素メモリ2414に格納される。デマルチプレクサ2413および画素メモリ2414は、メモリチップ2112に形成される。
演算回路2415は、画素メモリ2414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路2415は、信号処理チップ2111に設けられてもよいし、メモリチップ2112に設けられてもよい。なお、図26では1つの単位グループ32の分の接続を示すが、実際にはこれらが単位グループ32ごとに存在して、並列で動作する。ただし、演算回路2415は単位グループ32ごとに存在しなくてもよく、例えば、一つの演算回路2415がそれぞれの単位グループ32に対応する画素メモリ2414の値を順に参照しながらシーケンシャルに処理してもよい。
上記の通り、単位グループ32のそれぞれに対応して出力配線2309が設けられている。撮像素子22は撮像チップ2113、信号処理チップ2111およびメモリチップ2112を積層しているので、これら出力配線2309にバンプ2109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
図1は、本発明の第1の実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置10は、レンズ一体型のカメラである。撮像装置10は、撮像光学系21と、撮像素子22と、制御部23と、液晶モニタ24と、メモリカード25と、操作部26と、DRAM27と、フラッシュメモリ28と、録音部29とを備える。
撮像光学系21は、複数のレンズから構成され、撮像素子22の撮像面に被写体像を結像させる。なお図1では、撮像光学系21を1枚のレンズとして図示している。
撮像素子22は例えばCMOSやCCD等の撮像素子であり、撮像光学系21により結像された被写体像を撮像して撮像信号を出力する。制御部23は、撮像装置10の各部を制御する電子回路であり、CPUとその周辺回路とから構成される。不揮発性の記憶媒体であるフラッシュメモリ28には、予め所定の制御プログラムが書き込まれている。制御部23は、フラッシュメモリ28から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるDRAM27を作業用領域として使用する。
液晶モニタ24は、液晶パネルを利用した表示装置である。制御部23は、所定周期(例えば60分の1秒)ごとに撮像素子22に繰り返し被写体像を撮像させる。そして、撮像素子22から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ24に表示する。液晶モニタ24には、上記のスルー画以外に、例えば撮像パラメータ(撮像条件)を設定する設定画面等が表示される。
制御部23は、撮像素子22から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード25に画像ファイルを記録する。操作部26は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部23に操作信号を出力する。録音部29は、例えばマイクロフォン等により構成され、環境音を音声信号に変換して制御部23に入力する。なお、可搬性の記録媒体であるメモリカード25に画像ファイル40を記録するのではなく、撮像装置10に内蔵された不図示の記録媒体であるハードディスク等に記録してもよい。
図2(a)は、撮像素子22の撮像面30を模式的に示す平面図であり、図2(b)は撮像面30の一部領域30aを拡大した平面図である。図2(b)に示すように、撮像面30には、撮像画素31が二次元状に多数配列されている。撮像画素31は、それぞれ不図示の色フィルタを有している。色フィルタは、赤(R)、緑(G)、青(B)の3種類からなり、図2(b)における「R」、「G」、および「B」という表記は、撮像画素31が有する色フィルタの種類を表している。図2(b)に示すように、撮像素子22の撮像面30には、このような各色フィルタを備えた撮像画素31が、いわゆるベイヤー配列に従って配列されている。
赤フィルタを有する撮像画素31は、入射光のうち、赤色の波長帯の光を光電変換して受光信号(光電変換信号)を出力する。同様に、緑フィルタを有する撮像画素31は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する撮像画素31は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
本実施形態の撮像素子22は、隣接する2画素×2画素の計4つの撮像画素31から成る単位グループ32ごとに、制御部23によって個別に制御可能に構成されている。例えば、互いに異なる2つの単位グループ32について、同時に電荷蓄積を開始したときに、一方の単位グループ32では電荷蓄積開始から1/30秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方の単位グループ32では電荷蓄積開始から1/15秒後に電荷の読み出しを行うことができる。換言すると、撮像素子22は、1回の撮像において、単位グループ32ごとに異なる露光時間(電荷蓄積時間であり、いわゆるシャッタースピード)を設定することができる。
撮像素子22は、上述した露光時間以外にも、撮像信号の増幅率(いわゆるISO感度)を単位グループ32ごとに異ならせることが可能である。撮像素子22は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ32ごとに変化させることができる。すなわち、撮像素子22は、動画撮像時のフレームレートを単位グループ32ごとに変化させることができる。
以上をまとめると、撮像素子22は、単位グループ32ごとに、露光時間、増幅率、フレームレート等の撮像条件を異ならせることが可能に構成されている。例えば、撮像画素31が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、単位グループ32ごとに設けられ、単位グループ32ごとに独立して撮像信号を読み出し可能に構成すれば、単位グループ32ごとに露光時間(シャッタースピード)を異ならせることができる。また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路を単位グループ32ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、単位グループ32ごとに信号の増幅率(ISO感度)を異ならせることができる。
なお、単位グループ32を構成する撮像画素31の数は、上述した2×2の4画素でなくてもよい。単位グループ32は、少なくとも1個の撮像画素31を有していればよいし、逆に、4個より多くの撮像画素31を有していてもよい。また、単位グループ32ごとに異ならせることが可能な撮像条件は、上述したもの以外であってもよい。例えば、単位グループ32ごとに独立して制御可能な区画(1区画が1つの単位グループ32に対応する)を有する液晶パネルを撮像素子22に設け、オンオフ可能な減光フィルタとして利用すれば、単位グループ32ごとに明るさ(絞り値)を制御することが可能になる。
次に、制御部23が作成しメモリカード25に記録する画像ファイル40について説明する。図3は、本実施の形態に係る画像ファイルの構成を示す模式図である。画像ファイル40は、ヘッダ部41と、データ部42の2つのブロックから成る。
ヘッダ部41は、画像ファイル40の先頭に位置するブロックであり、ファイル基本情報部43と、マスク部44と、撮像情報部45とが、以上に述べた順序で格納されている。ファイル基本情報部43には、例えば画像ファイル40内の各部(ヘッダ部41、データ部42、マスク部44、撮像情報部45等)のサイズやオフセットが記録される。マスク部44には、後述する撮像条件情報やマスク情報等が記録される。撮像情報部45には、例えば撮像装置10の機種名や撮像光学系21の情報(例えば収差等の光学特性に関する情報) 等、撮像に関する情報が記録される。データ部42は、ヘッダ部41の後ろに位置するブロックであり、画像情報や音声情報等が記録される。
次に、撮像装置10が有する撮像機能と、各撮像機能により作成(記録)される画像ファイル40について説明する。ユーザは、操作部26が有する操作部材に対して所定の操作を行い、以下に説明する各撮像機能を切り替える(選択する)ことができる。制御部23は、選択されている撮像機能に基づき撮像を行い、画像ファイル40を作成してメモリカード25に記録する。
(1)静止画撮像機能A(単一の静止画)
静止画撮像機能Aは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して静止画を撮像する機能である。
図4(a)に、撮像素子22の撮像画面50(撮像範囲)と被写体51とを模式的に示す。図4(a)に示した被写体51を、静止画撮像機能Aにより撮像する手順について説明する。制御部23は、本撮像前に、一度、被写体51を撮像する。以下、この本撮像に先立って行われる撮像を、予備撮像と称する。なお、予備撮像は、例えばライブビュー画像(いわゆるスルー画)の作成のために行われる撮像を兼ねていてもよい。
制御部23は、予備撮像により得られた被写体51の画像(被写体51が写り込んでいる画像)に対して、所定の画像解析処理を実行する。画像解析処理は、例えば周知の被写体検出技術(特徴量を演算して所定の被写体が存在する範囲を検出する技術)により、主要被写体部分と背景部分とを検出する処理である。画像解析処理によって、撮像画面50は、主要被写体部分が存在する主要被写体領域52と、背景部分が存在する背景領域53とに分割される。
なお、図4(a)では、被写体51を大まかに含む領域を主要被写体領域52として図示しているが、主要被写体領域52は、被写体51の外形に沿った形状であってもよい。つまり、被写体51以外のものをできるだけ含まないように主要被写体領域52を設定してもよい。
制御部23は、主要被写体領域52内の各単位グループ32と、背景領域53内の各単位グループ32とで、異なる撮像条件を設定する。例えば、前者の各単位グループ32には、後者の各単位グループ32に比べて高速なシャッタースピードを設定する。このようにすると、本撮像において、主要被写体領域52では像ぶれが発生しにくくなる。
また、背景領域53に存在する太陽等の光源の影響で、主要被写体領域52が逆光状態となっている場合には、前者の各単位グループ32に、相対的に高めのISO感度を設定したり、低速なシャッタースピードを設定する。また、後者の各単位グループ32に、相対的に低めのISO感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、本撮像において、逆光状態の主要被写体領域52の黒つぶれや、光量の大きい背景領域53の白飛びを防止することができる。
なお、画像解析処理は、上述した主要被写体部分と背景部分とを検出する処理とは異なる処理であってもよい。例えば、撮像画面50全体のうち、明るさが一定以上の部分(明るすぎる部分)や明るさが一定未満の部分(暗すぎる部分)を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部23は、前者の領域に含まれる単位グループ32について、露出値(Ev値)が他の領域に含まれる単位グループ32よりも低くなるようにシャッタースピードやISO感度を設定する。また、後者の領域に含まれる単位グループ32については、露出値(Ev値)が他の領域に含まれる単位グループ32よりも高くなるようにシャッタースピードやISO感度を設定する。このようにすることで、本撮像により得られる画像のダイナミックレンジを、撮像素子22の本来のダイナミックレンジよりも広げることができる。
図5は、静止画撮像機能Aを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。マスク部44には、識別情報60と、撮像条件情報61と、マスク情報62aが、以上に述べた順序で記録される。識別情報60は、この画像ファイル40が静止画撮像機能Aによって作成されたものである旨を表す情報である。
撮像条件情報61は、単位グループ32にどのような用途(目的、役割)が存在するかを表す情報である。例えば、上述したように、撮像画面50(図4(a))を主要被写体領域52と背景領域53とに分割する場合、各々の単位グループ32は、主要被写体領域52に属するか、背景領域53に属するかのいずれかである。つまり、単位グループ32は、「主要被写体部分を静止画撮像する」という用途か、「背景部分を静止画撮像する」という用途か、のいずれかの用途を有している。撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32に「主要被写体部分を静止画撮像する」、「背景部分を静止画撮像する」という2種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1という番号が「主要被写体部分を静止画撮像する」用途を、2という番号が「背景部分を静止画撮像する」用途にそれぞれ割り当てられる。
マスク情報62aは、各々の単位グループ32の用途(目的、役割)を表す情報である。本実施形態では、マスク情報62aを、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」としている。つまり、二次元状に配列された単位グループ32を2つの整数x、yによる二次元座標(x、y)で特定するとき、(x、y)の位置に存在する単位グループ32の用途は、マスク情報62aの(x、y)の位置に存在する番号により表現される。例えば、マスク情報62aの座標(3,5)の位置に「1」という番号が入っていた場合、座標(3,5)に位置する単位グループ32には、「主要被写体部分を静止画撮像する」という用途が与えられたことがわかる。換言すると、座標(3,5)に位置する単位グループ32は、主要被写体領域52に属することがわかる。
図4(a)に示した撮像画面50に対応するマスク情報62aの例を、図4(b)に示す。主要被写体領域52に属する単位グループ32の位置には「1」が、背景領域53に属する単位グループ32の位置には「2」がそれぞれ格納されている。
データ部42には、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とが、以上に述べた順序で格納される。マスク情報62bは、マスク部44に格納されるマスク情報62aと同一の情報である。ここで、マスク部44とデータ部42の両方に同一のマスク情報62a、62bを格納しているのは、画像ファイル40の扱いが容易になるようにするためである。
詳細は後述するが、他の機能により作成される画像ファイル40では、マスク部44とデータ部42に互いに異なるマスク情報62a、62bを格納することがある。静止画撮像機能Aにおいて、例えばデータ部42にマスク情報62bを格納し、マスク部44にはマスク情報62aを格納しないことにすると、機能ごとに画像ファイル40の構造が変化することになる。このようにすると、画像ファイル40の扱いが煩雑になるため、本実施形態では、あえてマスク部44とデータ部42の両方に同一のマスク情報62a、62bを入れ、機能ごとの画像ファイル40の構造の違いを最小限にしている。なお、マスク情報62a、62bのいずれか一方を省略してもよく、その場合には、画像ファイル40が占有する記憶領域のサイズを削減することが可能となる。また、マスク情報62a、62bの両方が記録されていた場合であっても、識別情報によりマスク情報62a、62bの両方を読み込む必要があるか否かがわかるので、一方が再生処理等に不要であると判断した場合には、その一方の読み込みをスキップすることで、ファイル読み込み時間を短縮することができる。
なお、以下の説明では、マスク部44に格納されるマスク情報62aと、データ部42に格納されるマスク情報62bとを、マスク情報62と総称する。
画像情報64は、本撮像により撮像素子22から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるRAW画像データである。Tv値マップ65は、単位グループ32ごとに設定されたシャッタースピードを表すTv値を、単位グループ32の位置に合わせて二次元マップの形で表現した情報である。例えば座標(x、y)に位置する単位グループ32に設定されたシャッタースピードは、Tv値マップ65の座標(x、y)に格納されているTv値を調べることで判別可能である。
Sv値マップ66は、単位グループ32ごとに設定されたISO感度を表すSv値を、Tv値マップ65と同様に二次元マップの形で表現した情報である。Bv値マップ67は、本撮像に際して単位グループ32ごとに測定された被写体輝度、すなわち、各々の単位グループ32に入射した被写体光の輝度を表すBv値を、Tv値マップ65と同様に二次元マップの形で表現した情報である。Av値情報68は、本撮像時の絞り値を表す情報である。本実施形態において、Av値は、Tv値、Sv値、Bv値とは異なり、単位グループ32ごとに存在する値ではない。従って、Tv値、Sv値、Bv値とは違い、Av値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。
以上のように、制御部23は、静止画撮像機能Aによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
なお上述の説明では、画像情報64がRAW画像データであるものとして説明を行ったが、RAW画像データではなく圧縮(現像)された画像データであってもよい。
(2)動画撮像機能A(単一の動画)
動画撮像機能Aは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して、動画を撮像する機能である。静止画撮像機能Aとの違いは、静止画ではなく動画を撮像する点である。静止画ではなく動画を撮像するため、静止画撮像機能Aで述べた「各々の単位グループ32の用途」が、フレームごとに変化する可能性がある。
図6(a)に、撮像素子22の撮像画面50(撮像範囲)と、被写体51とを模式的に示す。制御部23は、本撮像前に予備撮像を行う。そして、予備撮像により得られた被写体51の画像(被写体51が写り込んでいる画像)に対して、所定の画像解析処理を実行する。画像解析処理によって、撮像画面50は、主要被写体部分が存在する主要被写体領域52と、背景部分が存在する背景領域53とに分割される。制御部23は、主要被写体領域52内の各単位グループ32と、背景領域53内の各単位グループ32とで、異なる撮像条件を設定して、1フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報62の例を、図6(b)に示す。図6(b)に示したマスク情報62では一例として、主要被写体領域52に属する単位グループ32に「1」という番号を、背景領域53に属する単位グループ32に「2」という番号を割り振っている。
次に、制御部23は、1フレーム目の画像データに対して、画像解析処理を実行し、主要被写体部分と背景部分とを検出する。これにより、1フレーム目の画像データは、図6(c)に示すように、主要被写体領域52と背景領域53とに分割される。制御部23は、主要被写体領域52内の各単位グループ32と、背景領域53内の各単位グループ32とで、異なる撮像条件を設定して、2フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報62の例を、図6(d)に示す。
予備撮像の結果に対応するマスク情報62(図6(b))と、1フレーム目の本撮像の結果に対応するマスク情報62(図6(d))とでは、異なる時刻に撮像を行っている(時間差がある)ため、例えば被写体51が移動している場合や、ユーザが撮像装置10を動かした場合に、これら2つのマスク情報62が異なる内容になる。換言すると、マスク情報62は、時間経過に伴い変化する動的情報である。従って、ある単位グループ32において、1フレーム目の本撮像時と2フレーム目の本撮像時とで、異なる撮像条件が設定されることになる。
制御部23は、画像ファイル40に、各フレームの画像情報64と共に、各フレームのマスク情報62b、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を記録する。従って、撮像後に、画像ファイル40から、撮像時の情報を余すところなく取得することができ、動画再生等にそれらの情報を有効活用することができる。
なお、3フレーム目以降の本撮像時の処理は、上述した2フレーム目の処理と同様であるので、説明を省略する。制御部23は、撮像が完了するまで(例えば所定の時間が経過するか、ユーザが所定の撮像終了操作を行うまで)上述した処理を繰り返し実行する。
図7は、動画撮像機能Aを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図5に示した静止画撮像機能Aの場合との違いについて詳述する。
識別情報60は、この画像ファイル40が動画撮像機能Aによって作成されたものである旨を表す。撮像条件情報61は、静止画撮像機能Aの撮像条件情報61にフレームレートを付け加えたものである。つまり、撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32に例えば「主要被写体部分を60fpsで動画撮像する」、「背景部分を30fpsで動画撮像する」という2種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1という番号が「主要被写体部分を60fpsで動画撮像する」用途を、2という番号が「背景部分を30fpsで動画撮像する」用途にそれぞれ割り当てられる。
マスク情報62aは、上述した静止画撮像機能Aと同様の情報である。ただし動画撮像の場合、前述の通り、マスク情報62はフレームごとに変化する動的情報なので、どのフレームのマスク情報62がヘッダ部41に記録されるのかを決めなければならない。本実施形態では、1フレーム目の撮像の際に各単位グループ32に設定された撮像条件を表すマスク情報62a、すなわち、図6(b)に例示したマスク情報62を、ヘッダ部41に記録する。このようにしたのは、静止画撮像機能Aの説明でも述べた通り、画像ファイル40の扱いが煩雑になることを防ぐためである。
データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62と、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、データ部42には、フレームごとのブロック70と共に、音声情報71が格納される。音声情報71は、動画再生を行いやすいように、1フレーム分の情報ごとに分割され、ブロック70と多重化されてデータ部42に格納されている。なお、音声情報71の多重化は、1フレーム分でなく、所定数のフレーム分ごとに行ってもよい。ブロック70内の各情報は、1フレーム毎に記録されることを除き、静止画撮像機能Aの場合と同様であるので説明を省略する。
以上のように、制御部23は、動画撮像機能Aによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
(3)静止画撮像機能B(複数の静止画)
静止画撮像機能Bは、1回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画を同時に複数枚撮像する機能である。
図8(a)に、撮像素子22の撮像面30を模式的に示す。また、図8(b)に、撮像面30の一部領域30bを拡大した模式図を示す。静止画撮像機能Bでは、二次元状に配置された複数の単位グループ32を、更に複数の大グループ81に分類する。このとき、ある大グループ81に属する単位グループ32が、撮像面80全体に一様に配置されるように単位グループ32を分類する。例えば図8(b)では、全ての単位グループ32を、2×2の4つの単位グループ32から成るブロック82に分割し、各ブロック82の左上の単位グループ32を1つ目の大グループ811に、左下の単位グループ32を2つ目の大グループ812に、右上の単位グループ32を3つ目の大グループ813に、右下の単位グループ32を4つ目の大グループ814に分類している。なお図8(b)では、模式的に図示した四角形1つが1つの単位グループ32を表しており、四角形の中に記載した数字は、その単位グループ32が属する大グループ81の種類を表している。
制御部23は、本撮像の際、1つ目の大グループ811に属する単位グループ32と、2つ目の大グループ812に属する単位グループ32と、3つ目の大グループ813に属する単位グループ32と、4つ目の大グループ814に属する単位グループ32とで、撮像条件を異ならせる。例えば、シャッタースピードやISO感度を互いに異なる値に設定して本撮像を行う。制御部23は、このようにして撮像した画像情報を画像ファイル40に記録する。ここで記録される画像情報は、図8(c)に模式的に示すように、各画素値を大グループ81ごとに集約して利用することを意図したものである。
例えば、図8(c)に示すように、1つ目の大グループ811に属する単位グループ32に対応する画素値だけを画像情報64から抽出して二次元状に並べると、撮像素子22の画素数の1/4の画素値から成る第1の画像情報641が得られる。同様に、2つ目の大グループ81に属する単位グループ32に対応する画素値だけを画像情報64から抽出して二次元状に並べると、撮像素子22の画素数の1/4の画素値から成り、上述した第1の画像情報641とは異なる撮像条件で撮像された、第1の画像情報641と同一の被写体51が写っている第2の画像情報642が得られる。同様に、第3の画像情報643、第4の画像情報644が得られる。これら4つの画像情報641、642、643、644は、全て、同一の被写体51を撮像した画像であり、且つ、互いに撮像条件が異なる画像である。つまり、最初に述べたように、1回の撮像で、互いに撮像条件が異なる、同一の被写体51に関する4つの静止画が同時に撮像されたといえる。
なお、画像ファイル40内の画像情報64は、撮像素子22の各撮像画素31からの画素出力を、撮像画素31の位置通りに配列した画像である。つまり、上述した4つの画像情報641、642、643、644を作成する処理は、メモリカード25から画像ファイル40を読み出す再生時や現像時に行われることになる。また、その画像情報64は、必ずしも4つの画像情報641、642、643、644を作成するためだけのものではない。画像情報64をそのまま利用(再生等)してしまうと、隣接する単位グループ32ごとに撮像条件が異なっているため、例えば市松模様が現れた不自然な画像になってしまう。しかしながら、画像ファイル40には、単位グループ32ごとの撮像条件(例えばTv値、Sv値等)が記録されているので、それらの撮像条件と画像情報64とを組み合わせて現像すれば、そのような不自然な画像となることを防ぐことができる。例えば、他の単位グループ32よりも露出値(Ev値)が高い単位グループ32では、他の単位グループ32よりも明るさを抑えて現像を行えばよい。
以上では単位グループ32を4つの大グループ811、812、813、814に分類した例について説明したが、4つに限らず、任意の数の大グループ81に分類し、任意の数の静止画を同時に撮像してよい。また、大グループ81のレイアウト(単位グループ32の分類方法)も、2×2の単位グループ32を1つずつ異なる大グループ81に分類するというものに限らない。
この点について、図9(a)、(b)に例を挙げる。図9(a)では、全ての単位グループ32を、3×3の計9個の組に区切り、各々の組において、前記組に含まれる9個の単位グループ32を、それぞれ1〜9番目の大グループ81に割り当てている。このようなレイアウトを採用することで、1回の撮像で、撮像条件が異なる9つの画像641〜649を同時に撮像することができる。また、図9(b)では、全ての単位グループ32を、3×3の計9個の組に区切り、各々の組において、左上隅の単位グループ32を1つ目の大グループ81に割り当て、右下の2×2の計4個の単位グループ32を、2つ目の大グループ81に割り当てている。残りの4個の単位グループ32は、撮像に利用しないものとしている。このようにすると、1回の撮像で、撮像条件が異なる2つの画像641、642を同時に撮像することができるが、2つ目の大グループ81に対応する画像642は、1つ目の大グループ81に対応する画像641に比べて、4倍の画素数を有する画像になる。つまり、1回の撮像で、撮像条件が異なる2つの画像641、642を同時に撮像することができ、且つ、それら2つの画像641、642は、互いに画素数が異なるものとなる。
図10は、静止画撮像機能Bを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図5に示した静止画撮像機能Aの場合との違いについて詳述する。
識別情報60は、この画像ファイル40が静止画撮像機能Bによって作成されたものである旨を表す。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。静止画撮像機能Bにおいては、各々の単位グループ32は、例えば「第1の画像情報641を構成する」という用途か、「第2の画像情報642を構成する」という用途か、「第3の画像情報643を構成する」という用途か、「第4の画像情報644を構成する」という用途か、のいずれかの用途を有している。撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32にそれら4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1〜4の番号が、それぞれ「第1〜第4の画像情報641〜644を構成する」用途に割り当てられる。
静止画撮像機能Bにおけるマスク情報62aは、静止画撮像機能Aの場合と同様に、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
なお、本実施形態において、「0」という番号を持つ大グループ81は、撮像に利用されなかった単位グループ32を表す特別な大グループ81である。つまり、マスク情報62aにおいて「0」という番号が割り振られている単位グループ32は、撮像に利用されておらず(本撮像時に撮像信号が読み出されておらず)、データ部42に記録されている画像情報64には、その単位グループ32に関する情報が含まれていない(または、その単位グループ32に関する情報として、有効でないダミーの情報が記録されている)ことを表す。
例えば、同時に3通りの撮像条件で撮像できれば十分であり、4通りの撮像条件で撮像する必要がない場合には、図8(b)に示した単位グループ32のうち、「4」と書かれた単位グループ32のマスク情報62aに「0」という番号を割り当てればよい。
データ部42の構成は、静止画撮像機能Aと同一である。すなわち、データ部42には、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とが格納される。また、マスク情報62bは、マスク部44に格納されるマスク情報62aと同一の情報である。
なお、マスク情報62bとして、マスク部44のマスク情報62aと同一の情報ではなく、単位グループ32の各々の有効・無効を表す情報を格納してもよい。例えば、撮像に利用されていない(撮像時に撮像信号が読み出されていない)単位グループ32に数値「0」、撮像に利用された(撮像時に撮像信号が読み出された)単位グループ32に数値「1」を割り当て、それを単位グループ32の位置に合わせて二次元状に配列したマップをマスク情報62bとしてデータ部42に格納してもよい。後述する動画撮像機能Bや混合撮像機能においても同様である。
以上のように、制御部23は、静止画撮像機能Bによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
(4)動画撮像機能B(複数の動画)
動画撮像機能Bは、1回の撮像で、互いに撮像条件が異なる、同一の被写体に関する動画を同時に撮像する機能である。静止画撮像機能Bとの違いは、静止画ではなく動画を撮像する点である。動画の撮像ではあるものの、動画撮像機能Aのように、ある大グループ81に分類された単位グループ32が、フレームごとに異なる大グループ81に分類されることはない。ただし、フレームレートの設定によっては、あるフレームに含まれていた(あるフレームで有効であった)単位グループ32が、別のフレームには含まれていない(別のフレームでは無効である)ことがある。以下、フレームレートの設定別に、動画撮像機能Bについて説明する。
(4−1)全ての大グループ81でフレームレートが統一されている場合
図11は、全ての大グループ81において、フレームレートが同一の場合の動画撮像機能Bの説明図である。この場合、大グループ81ごとに異なる撮像条件とは、フレームレート以外の撮像条件(例えばシャッタースピードやISO感度等)である。露出時間は異なるとしても、フレームレート、すなわち信号読み出しの周期は同一であるため、全ての大グループ81において、撮像信号の読み出しはフレームレートに対応する所定周期T1ごとに行われる。
全ての単位グループ32において同一のフレームレートで撮像が行われるので、全てのフレームにおいて、全ての単位グループ32が撮像に利用されている。換言すると、全てのフレームにおいて、全ての単位グループ32から撮像信号が読み出され、全てのフレームの画像情報64に、全ての単位グループ32から読み出された撮像信号が含まれている。例えば、撮像開始時刻t0から所定周期T1だけ後の時刻t1に、1つ目の画像情報64が作成される。この画像情報64には、1番目の大グループ81における1フレーム目(図11で#1と表記したフレーム。以下同様)の画像と、2番目の大グループ81における1フレーム目の画像と、3番目の大グループ81における1フレーム目の画像と、4番目の大グループ81における1フレーム目の画像と、が含まれる。2つ目以降の画像情報64についても同様である。
(4−2)大グループ81ごとにフレームレートが統一されていない場合
図12は、全ての大グループ81に、互いに異なるフレームレートが設定されている場合の動画撮像機能Bの説明図である。この例において、1番目の大グループ811には60fps、2番目の大グループ812には50fps、3番目の大グループ813には24fps、4番目の大グループ814には25fpsのフレームレートがそれぞれ設定されている。
このように、大グループ81同士でフレームレートが異なる場合、制御部23は、もっとも早いフレームレートを基準として各フレームを記録する。つまり、60fpsに対応する所定周期T2(約16.7ミリ秒)ごとに、画像情報64が記録される。例えば、撮像開始時刻t0から所定周期T2だけ後の時刻t11には、1番目の大グループ811に属する単位グループ32から読み出された撮像信号に基づく画像情報64が作成され、画像ファイル40に記録される。時刻t11の時点では、他の大グループ812、813、814において1フレーム目の撮像信号の読み出しが為されていないため、この画像情報64には、それらの撮像信号は含まれていない。なお図12では、特定の単位グループ32から撮像信号が読み出されておらず、画像情報64にその撮像信号が含まれていないことを、「X」という記号で表記している。
時刻t11から所定周期T2だけ後の時刻t12では、1番目の大グループ811の2回目(2フレーム目)の本撮像だけでなく、2番目の大グループ812(50fps)の1回目(1フレーム目)の本撮像も完了している。そこで、制御部23は、1番目の大グループ811に属する単位グループ32と2番目の大グループ812に属する単位グループ32から読み出した撮像信号を、画像ファイル40に記録する。3番目の大グループ813に属する単位グループ32や4番目の大グループ814に属する単位グループ32からは撮像信号が読み出されず、画像ファイル40にも記録されない。
このように、大グループ81同士でフレームレートが異なる場合、画像情報64の一部が欠落している(無効になっている)ことがある。制御部23は、フレームごとに記録するマスク情報62bによって、特定の単位グループ32に対応する撮像信号が画像情報64に含まれていないことを示す。具体的なマスク情報62bの構成については後に述べる。
図13は、動画撮像機能Bを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図7に示した動画撮像機能Aや図10に示した静止画撮像機能Bの場合との違いについて詳述する。
識別情報60は、この画像ファイル40が動画撮像機能Bによって作成されたものである旨を表す。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。動画撮像機能Bにおける撮像条件情報61は、静止画撮像機能Bの撮像条件情報61にフレームレートを付け加えたものである。つまり、撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32に例えば「60fpsの動画である第1の画像情報641を構成する」、「50fpsの動画である第2の画像情報642を構成する」、「24fpsの動画である第3の画像情報643を構成する」、「25fpsの動画である第4の画像情報644を構成する」という4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1〜4の番号が、それぞれ「第1〜第4の画像情報641〜644を構成する」用途に割り当てられる。
動画撮像機能Bにおけるマスク情報62aは、静止画撮像機能Bの場合と同様に、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
データ部42の構成は、動画撮像機能Aと同一である。すなわち、データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、データ部42には、フレームごとのブロック70と共に、音声情報71が格納される。
マスク情報62bには、上述した撮像条件情報61により特定される番号(例えば1〜4の番号)だけでなく、「0」という番号が格納されることがある。この「0」という番号は、対応するフレームにおいて、単位グループ32が、撮像に利用されていない(撮像時に撮像信号が読み出されていない)ことを表す。上述のように、フレームレートが異なる複数の動画を撮像する場合、あるフレームの画像情報64には、特定の単位グループ32に対応する撮像信号が格納されていないことがある。このような場合、制御部23は、前記フレームにおいて、その単位グループ32に対応するマスク情報62の数値を「0」に設定する。ここで、マスク情報62bの数値が「0」に設定された単位グループ32については、画像情報64以外の情報、すなわち、Tv値マップ65内のTv値、Sv値マップ66内のSv値、Bv値マップ67内のSv値についても、有効な値が記録されない。
なお、マスク情報62bの数値が「0」に設定された単位グループ32について、その単位グループ32の前フレームにおける撮像信号を、画像情報64に記録するようにしてもよい。Tv値マップ65内のTv値、Sv値マップ66内のSv値、Bv値マップ67内のSv値についても同様に、前フレームにおける値を記録するようにしてもよい。後述する混合撮像機能についても同様である。
以上のように、制御部23は、動画撮像機能Bによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
(5)混合撮像機能(動画と静止画)
混合撮像機能は、静止画撮像機能Bと動画撮像機能Bを組み合わせた機能であり、1回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画と動画を同時に撮像する機能である。
混合撮像機能において、制御部23は、静止画撮像機能Bや動画撮像機能Bと同様に、二次元状に配置された複数の単位グループ32を、更に複数の大グループ81に分類する。制御部23は、一部の大グループ81について、動画撮像機能Bと同様に動画撮像を行う。制御部23は、その動画撮像中に、残りの大グループ81を用いて、静止画撮像機能Bと同様に静止画撮像を行う。この静止画撮像は、例えば一定周期で繰り返し行ってもよいし(自動撮像)、ユーザにより特定の操作が為されたことに応じて行ってもよい(手動撮像)。
図14は、混合撮像機能の説明図である。ここでは4つの大グループ811〜814を仮定し、そのうち1番目の大グループ811で60fpsの動画撮像を、2番目の大グループ812で50fpsの動画撮像を、3番目と4番目の大グループ813、814で静止画を撮像するものとしている。
制御部23は、動画撮像機能Bと同様に、もっとも早いフレームレート(例えば60fps)を基準として、各フレームを記録する。静止画撮像が行われない間、3番目と4番目の大グループ813、814に属する単位グループ32については、常に撮像信号の読み出しが行われない。つまり、フレームごとに記録される画像情報64には、静止画に対応する3番目と4番目の大グループ813、814に属する単位グループ32の撮像信号が含まれない。制御部23は、静止画撮像を行った場合、静止画撮像が完了したタイミング(3番目と4番目の大グループ813、814に属する単位グループ32から撮像信号を読み出したタイミング)で、直後のフレームに対応する画像情報64に、静止画撮像により読み出した撮像信号を含ませる。
図15は、混合撮像機能を用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図13に示した動画撮像機能Bの場合との違いについて詳述する。
識別情報60は、この画像ファイル40が混合撮像機能によって作成されたものである旨を表す。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。混合撮像機能における撮像条件情報61は、例えばこの画像ファイル40の作成に際し、単位グループ32に「60fpsの動画である第1の画像情報641を構成する」、「30fpsである動画である第2の画像情報642を構成する」、「静止画である第3の画像情報643を構成する」、「静止画である第4の画像情報644を構成する」という4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1〜4の番号が、それぞれ「第1〜第4の画像情報641〜644を構成する」用途に割り当てられる。
混合撮像機能におけるマスク情報62aは、動画撮像機能Bの場合と同様に、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
混合撮像機能では、ヘッダ部41に、更にインデックス部73が追加されている。インデックス部73には、データ部42に記録されている複数のブロック70(複数のフレームにそれぞれ対応する)のうち、どのブロック70に静止画が格納されているかを表すインデックス情報74が記録されている。インデックス情報74には、例えば、「5フレーム目の画像情報64に含まれる第3の画像情報643に静止画が含まれている」というような情報が1つ乃至複数(静止画撮像の回数分だけ)含まれている。インデックス部73は、多数のブロック70の中から、静止画を素早く検索できるように設けられている。
なお、インデックス情報74は、フレーム数に基づき静止画の記録位置を特定するものでなくてもよい。例えば、動画の再生時刻に基づき静止画の記録位置を特定することもできる。この場合、インデックス情報74は、例えば「3分15秒時点の画像情報64に含まれる第3の画像情報643に静止画が含まれている」というような情報となる。
制御部23は、混合撮像機能による撮像中に静止画の撮像を行う度に、静止画の撮像を行ったフレーム番号や時刻をインデックス部73にインデックス情報74として追記する。なお、メモリカード25内の画像ファイル40のインデックス部73に直接追記するのではなく、DRAM27に一時記憶しておき、混合撮像機能の終了時に、メモリカード25内の画像ファイル40のインデックス部73にDRAM27内の情報を転送するようにしてもよい。
データ部42の構成は、動画撮像機能Bと同一である。すなわち、データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62と、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、データ部42には、フレームごとのブロック70と共に、音声情報71が格納される。
以上のように、制御部23は、混合撮像機能による撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
次に、制御部23による画像の再生処理について説明する。画像の再生処理は、上述した種々の撮像撮像機能によってメモリカード25に記録された画像ファイル40から、被写体の画像を作成する処理である。制御部23は、作成した画像を、例えば液晶モニタ24に表示したり、メモリカード25に上述した画像ファイル40とは別のファイルとして記録したりする。
制御部23は、画像ファイル40(図5、図7、図10、図13、図15)を開き、まずファイル基本情報部43を読み出す。これにより、画像ファイル40のマスク部44やデータ部42等のオフセットおよびサイズが判明する。次に制御部23は、画像ファイル40のマスク部44から、識別情報60を読み出す。これにより、制御部23は、この画像ファイル40がどの撮像撮像機能により作成されたファイルであるかを認識する。以降の処理は、撮像撮像機能毎に異なる。そこで、以下、画像の再生処理を、上述した撮像撮像機能ごとに説明する。
(1)静止画撮像撮像機能A(単一の静止画)
画像ファイル40が、図5に示す、静止画撮像撮像機能Aにより作成されたファイルであると認識すると、制御部23は、マスク部44から、撮像条件情報61およびマスク情報62aを読み出す。これにより、制御部23は、撮像撮像画面全体のうち、どの範囲(どの単位グループ32)が主要被写体部分なのか、あるいは背景部分なのかを識別することができ、主要被写体部分と背景部分とで画作りを変化させることができる。例えば、主要被写体部分はより先鋭になるようにエッジ強調処理を施し、背景部分にはぼかし処理を施して主要被写体部分を強調することができる。
次に制御部23は、データ部42から、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。そして、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64にいわゆる現像処理を実行する。画像情報64がRAWデータである場合は、画像処理部23は、例えば、色情報を有していない画像情報64に対して、周知のデモザイク処理を実行し、色情報を有する画像を作成する。また、制御部23は、Sv値マップ66等に基づき、色彩や明るさ等の調整、ノイズ軽減等の画像処理を行う。例えば、Sv値が大きい(感度が高い)単位グループ32には、他の単位グループ32に比べてノイズが乗りやすい。そこで、制御部23は、Sv値が大きいほど、ノイズ軽減の強度を高く(強く)する。制御部23は、以上のようにして作成された画像を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、静止画撮像撮像機能Aにより作成された画像ファイル40を再生するに際し、画像情報64等のデータ部42に記録されている情報よりも先に、マスク部44に記録されている撮像条件情報61およびマスク情報62aを読み出す。マスク部44はデータ部42よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、前述の通り、データ部42には、ヘッダ部41に格納されているマスク情報62aと同一のマスク情報62bが格納されている。そこで、制御部23は、マスク情報62aの代わりに、データ部42からマスク情報62bを読み出してもよい。
(2)動画撮像撮像機能A(単一の動画)
画像ファイル40が、図7に示す、動画撮像撮像機能Aにより作成されたファイルであると認識すると、制御部23は、マスク部44からマスク情報62aを読み出す。制御部23は、撮像撮像画面全体のうち、どの範囲(どの単位グループ32)が主要被写体部分なのか、あるいは背景部分なのかを判別する。次に、制御部23は、マスク部44から撮像条件情報61を読み出す。これにより、制御部23は、主要被写体部分と背景部分のフレームレートを認識する。次に制御部23は、データ部42の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出して、動画を構成する各フレームを作成する。
制御部23は、各フレームを作成するに際し、ブロック70から、まずマスク情報62bを読み出す。そして、前記フレームにおいて、どの範囲(どの単位グループ32)が主要被写体部分なのか、あるいは背景部分なのかを識別する。その後、制御部23は、静止画撮像撮像機能Aの説明で述べたように、主要被写体部分と背景部分とで異なる画像処理を実行する。制御部23は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、動画撮像撮像機能Aにより作成された画像ファイル40を再生するに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62bを読み出す。マスク情報62bは画像情報64等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、データ部42の先頭ブロックのマスク情報62bとマスク部44に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク部44からマスク情報62aを読み出さないようしてもよい。
(3)静止画撮像撮像機能B(複数の静止画)
画像ファイル40が、図10に示す、静止画撮像撮像機能Bにより作成されたファイルであると認識すると、制御部23は、マスク部44から、撮像条件情報61およびマスク情報62aを読み出す。これにより、制御部23は、同時に何種類の静止画が撮像されたのか、また、どの単位グループ32がどの静止画を構成しているのかを識別する。すなわち、大グループ81が何個存在し、各単位グループ32がどの大グループ81に属しているのかを識別する。
次に制御部23は、データ部42から、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。そして、制御部23は、大グループ81ごとに、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64にいわゆる現像処理を実行し静止画を作成する。これにより、複数の静止画(例えば4つの静止画)が作成される。制御部23は、以上のようにして作成された画像を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、静止画撮像撮像機能Bにより作成された画像ファイル40を再生するに際し、画像情報64等のデータ部42に記録されている情報よりも先に、マスク部44に記録されている撮像条件情報61およびマスク情報62aを読み出す。マスク部44はデータ部42よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、前述の通り、データ部42には、ヘッダ部41に格納されているマスク情報62aと同一のマスク情報62bが格納されている。そこで、マスク情報62aの代わりに、データ部42からマスク情報62bを読み出してもよい。
(4)動画撮像撮像機能B(複数の動画)
画像ファイル40が、図13に示す、動画撮像撮像機能Bにより作成されたファイルであると認識すると、制御部23は、マスク部44からマスク情報62aと撮像条件情報61を読み出す。これにより、制御部23は、同時に何種類の動画が撮像されたのか、どの単位グループ32がどの動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、大グループ81が何個存在し、各単位グループ32がどの大グループ81に属しており、各大グループ81はどのようなフレームレートで撮像されたのかを識別する。次に制御部23は、データ部42の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出して、各動画を構成する各フレームを作成する。
制御部23は、各フレームを作成するに際し、ブロック70から、まずマスク情報62bを読み出す。そして、制御部23は、前記ブロック70の画像情報64にどの大グループ81に対応する画素信号が含まれているのかを識別する。その後、制御部23は、各大グループ81に対応するフレームを作成するが、前記ブロック70の画像情報64に画素信号が含まれていない大グループ81については、フレームを作成しない。制御部23は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、動画撮像撮像機能Bにより作成された画像ファイル40を再生するに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62a、62bを読み出す。マスク情報62a、62bは画像情報64等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、データ部42の先頭ブロックのマスク情報62bとマスク部44に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク部44からマスク情報62aを読み出さないようしてもよい。
(5)混合撮像撮像機能(動画と静止画)
画像ファイル40が、図15に示す、混合撮像撮像機能により作成されたファイルであると認識すると、制御部23は、マスク部44からマスク情報62aと撮像条件情報61を読み出す。これにより、制御部23は、同時に何種類の動画と何種類の静止画が撮像されたのか、どの単位グループ32がどの静止画および動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、制御部23は、大グループ81が何個存在し、各大グループ81は静止画なのか動画なのか、動画であればそのフレームレートはいくつか、各単位グループ32がどの大グループ81に属しているかを識別する。次に制御部23は、データ部42の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出して、各動画を構成する各フレーム、および、各静止画を作成する。
制御部23は、動画の各フレームや静止画を作成するに際し、ブロック70から、まずマスク情報62bを読み出す。そして、前記ブロック70の画像情報64にどの大グループ81に対応する画素信号が含まれているのかを識別する。その後、制御部23は、各大グループ81に対応するフレームや静止画を作成するが、前記ブロック70の画像情報64に画素信号が含まれていない大グループ81については、フレームや静止画を作成しない。制御部23は、以上のようにして作成したフレームから成る動画や静止画を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、混合撮像撮像機能により作成された画像ファイル40を再生するに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62a、62bを読み出す。マスク情報62a、62bは画像情報64等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、データ部42の先頭ブロックのマスク情報62bとマスク部44に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク部44からマスク情報62aを読み出さないようしてもよい。
画像の再生処理は、上述した種々の撮像撮像機能によってメモリカード25に記録された画像ファイル40から、被写体の画像を作成する処理としたが、メモリカード25に記録される前の画像ファイル40に対して、静止画や動画を作成する処理であってもよい。制御部23は、静止画や動画作成された後に、圧縮処理を施すようにしてもよい。
なお、撮像装置10とは異なる電子機器(以後、再生装置と称する)が、上述した再生処理を実行するようにしてもよい。例えば、メモリカード25を撮像装置10から取り外し、撮像装置10の外部に設けたPC等の再生装置にメモリカード25を装着すると、再生装置がメモリカード25から画像ファイル40を読み出して、上述した再生処理を実行し、画像を再生するようにしてもよい。また、撮像装置10と再生装置との間で無線通信等のデータ通信を行うことにより、画像情報64等の授受を行うようにしてもよい。
上述した第1の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)撮像素子22は、複数の単位グループ32(撮像領域)を有しており、単位グループ32毎に撮像条件が設定可能である。制御部23は、撮像素子22により生成された画像情報64(画像データ)と、単位グループ32毎の、撮像条件に関する撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等のデータ(撮像条件データ)とを関連付けて記録する。このようにしたので、各々の画素にどのような撮像条件が適用されているのかを、撮像結果である画像ファイル40の再生時等に知ることができる、使い勝手のよい撮像装置10を提供することができる。
(2)画像情報64に関連づけて記録される、撮像条件に関する情報には、例えば撮像素子22により被写体を撮像するときの露出に関する情報や、撮像素子22により撮像された被写体の明るさに関する情報が含まれる。具体的には、撮像素子22により撮像された被写体の輝度に関する情報であるBv値マップ67、不図示の光電変換部による電荷の蓄積時間であるTv値マップ65、不図示の増幅部による増幅率であるSv値マップ66等が含まれる。これらの情報は、いずれも、撮像素子22の撮像動作に関する情報であると言うことができる。このようにしたので、画像ファイル40の再生時に、より適切な画像処理を行うことができる。
(3)制御部23は、画像情報64に関連付けて、撮像の都度変化する撮像条件に関する情報を記録する。このようにしたので、画像ファイル40ごとに適切な情報が付加され、再生時により適切な画像処理を行うことができる。
(4)制御部23は、画像情報64にそれぞれ対応する撮像条件に関する複数の情報を、単一の画像ファイル40内に時系列順に記録する。このようにしたので、例えば画像ファイル40に動画が記録されている場合に、それらの情報に基づく画像処理を容易に行うことができる。
(5)制御部23は、ヘッダ部41と画像情報64を記録するデータ部42(画像データ部)とを有する画像ファイル40において、ヘッダ部41及びデータ部42のうち、少なくともいずれか一方に、撮像条件に関する情報を記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(6)制御部23は、複数の単位グループ32毎の用途に関する撮像条件情報61およびマスク情報62を、画像情報64に関連付けて記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(7)マスク情報62は、時間経過に伴い変化する動的情報を含んでいる。具体的には、画像情報64に、単位グループ32に属する撮像画素31から読み出された画素信号に対応する画素値が含まれるか否かを表す情報か、もしくは、複数の単位グループ32の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル40の再生時に、動的情報を利用した画像処理を行うことができる。
(8)マスク情報62は、時間経過に伴い変化しない静的情報を含んでいる。具体的には、複数の単位グループ32の役割を表す情報を含んでいる。また、マスク情報62aは、撮像当初において、複数の単位グループ32の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル40の再生時に、静的情報を利用した画像処理を行うことができる。
(9)制御部23は、複数の画像情報64にそれぞれ対応する複数のマスク情報62bを、単一の画像ファイル40内に時系列順に記録する。このようにしたので、例えば画像ファイル40の再生時に、撮像条件を時系列順に追跡することができる。
(10)制御部23は、ヘッダ部41と画像情報64を記録するデータ部42(画像データ部)とを有する画像ファイル40において、ヘッダ部41及びデータ部42のうち、少なくともいずれか一方に、マスク情報62を記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(11)複数の単位グループ32には、第1のフレームレートで撮像される単位グループ32と、第1のフレームレートより遅い第2のフレームレートで撮像される単位グループ32とが含まれ、制御部23は、第1のフレームレートに基づき、複数の画像情報64を記録する。このようにしたので、全てのフレームに関する情報を漏れなく確実に記録することができる。
(12)制御部23は、複数の画像情報64の撮像期間に対応する音声情報71(音声データ)を、複数の画像情報64に関連づけて記録する。このようにしたので、音声も含めた動画再生を行うことが可能となる。
(13)制御部23は、画像情報64の撮像パターンに関する情報と、画像情報64の保存方式に関する情報と、単位グループ32ごとの撮像条件に関する情報と、の少なくとも1つを、ヘッダ部41とデータ部42との2つのブロックから成る画像ファイル40のヘッダ部41に記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(第2の実施の形態)
第2の実施の形態に係る撮像装置は、第1の実施の形態に係る撮像装置10と同様の構成を有しているが、静止画撮像機能B、動画撮像機能B、混合撮像機能における画像ファイル40の記録方式が、第1の実施の形態とは異なっている。以下、この点について詳述する。
前述の通り、静止画撮像機能B、動画撮像機能B、および混合撮像機能は、一回の撮像で、同一の被写体に関する静止画や動画を、同時に複数撮像する機能である。本実施形態において、制御部23は、このようにして複数撮像された静止画や動画を、単一の画像ファイル40ではなく、複数の画像ファイル40に分割して記録する。このとき、制御部23は、分割して記録されたそれぞれの画像ファイル40同士を、関連付けて記録する。従って、それら複数の画像ファイル40は、便宜上別々のファイルとして記録されるものの、第1の実施の形態と同様に、単一の撮像により得られたファイルであるという情報は損なわれない。換言すると、後からそれら複数の画像ファイル40を扱う際に、第1の実施の形態と同様に、単一の撮像により得られたものであると認識して扱うことができる。
図16は、メモリカード25のディレクトリ構造を模式的に示す図である。メモリカード25のルートディレクトリ90には、DCIMディレクトリ91aが存在する。また、DCIMディレクトリ91a内には、更に、画像保存用のサブディレクトリ91bが存在する。静止画撮像機能B、動画撮像機能B、および混合撮像機能による1回の撮像の都度、制御部23は、このサブディレクトリ91b内に、撮像セットディレクトリ92を1つ作成する。つまり、1つの撮像セットディレクトリ92が、1回の撮像に対応している。
撮像セットディレクトリ92には、1つの管理データファイル93と、単位グループ32の用途ごとに、サブディレクトリ94が作成される。例えば、単位グループ32の用途が4つ存在する場合には、サブディレクトリ94が4つ作成される。各々のサブディレクトリ94には、単位グループ32の用途に応じた画像ファイル40が少なくとも1つ作成される。例えば、単位グループ32の用途が動画撮像である場合、その用途に対応するサブディレクトリ94内には、動画ファイル401が1つだけ記録される。また、単位グループ32の用途が静止画撮像である場合、その用途に対応するサブディレクトリ94内には、静止画ファイル402が撮像回数分だけ記録される。なお、静止画撮像機能Bの場合、1回の撮像では用途ごとに1つの静止画ファイル402のみが記録されることになるので、各サブディレクトリ94内には、1つの静止画ファイル402が記録されることになる。
図17(a)は、管理データファイル93の構造を模式的に示す図である。管理データファイル93は、各サブディレクトリ94内に記録されている画像ファイル40同士を関連付ける情報が記録されたファイルであり、ファイル基本情報部43と、マスク部44と、インデックス部73と、撮像情報部45とから成る。ファイル基本情報部43、マスク部44、および撮像情報部45は、図15等で説明した画像ファイル40における同名の各部と同一である。インデックス部73には、各々のサブディレクトリ94が単位グループ32のどの用途に対応するのかを表すレイアウト情報96が記録される。
図17(b)は、サブディレクトリ94内に記録される静止画ファイル402の構造を模式的に示す図である。静止画ファイル402には、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とが記録される。Av値情報68については、図10で説明したものと同様であるため、説明を省略する。
マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67は、それぞれ、図10で説明した同名の情報から、1つの大グループ81に対応する値だけを抽出して二次元状に配列した情報である。例えば、図10で説明した画像ファイル40において、マスク情報62bは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」であり、マスク情報62bに含まれる値の個数は、単位グループ32の個数と同一であった。これに対し、静止画ファイル402におけるマスク情報62bは、それら全ての値から、本サブディレクトリ94に対応する大グループ81に対応する値のみを抽出して二次元マップの形で表現した情報である。画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67についても同様に、1つの静止画ファイル402には、1つの大グループ81に対応する値のみが含まれている。
図18は、サブディレクトリ94内に記録される動画ファイル401の構造を模式的に示す図である。動画ファイル401には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、動画ファイル401には、フレームごとのブロック70と共に、音声情報71が格納される。Av値情報68については、図13で説明したものと同様であるため、説明を省略する。
マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67は、それぞれ、図13で説明した同名の情報から、1つの大グループ81に対応する値だけを抽出して二次元状に配列した情報である。この点については、上述した静止画ファイル402の場合と同様であるので、説明を省略する。
以上のように、制御部23は、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とを関連付けてメモリカード25に記録する。第1の実施の形態とは異なり、単一の画像ファイル40という形ではないものの、メモリカード25に記録される管理データファイル93と、動画ファイル401と、静止画ファイル402は、管理データファイル93内のレイアウト情報96によって互いに関連付けられている。
上述した第2の実施の形態による撮像装置によれば、第1の実施の形態と同様の作用効果が得られる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
第1の実施の形態では、第1の画像情報641や第2の画像情報642を、画像ファイル40の再生時に作成すると説明したが、これを予め画像ファイル40に記録するようにしてもよい。換言すると、第2の実施の形態では、大グループ81ごとに別々のサブディレクトリ94に別々のファイルとして記録していた動画や静止画を、単一の画像ファイル40に記録するようにしてもよい。この場合、画像ファイル40内に記録される1フレーム分のデータは、それぞれ1つの大グループ81に対応するものとなる。
例えば、第2の実施の形態において2つのファイルに分けて記録されていた2つの動画(第1の動画と第2の動画)を、単一の画像ファイル40に記録する場合を考える。このとき、データ部42の先頭から順に、第1の動画の1フレーム目、2フレーム目、3フレーム目、…に関するデータを時系列順に記録し、その後に、第2の動画の1フレーム目、2フレーム目、3フレーム目、…に関するデータを時系列順に記録することができる。このようにすると、再生処理の負荷を低減することができる。
また、これとは異なる記録方法として、第1の動画の各フレームに関するデータと、第2の動画の各フレームに関するデータとを、各フレームの時系列順に記録することもできる。つまり、第1の動画の1フレーム目、第2の動画の1フレーム目、第1の動画の2フレーム目、…のように、2つの動画の各フレームが撮像の時系列順に配列された形で記録されていてもよい。このようにすると、記録処理の負荷を低減することができる。
(変形例2)
第1の実施の形態の説明において、動画撮像機能B、および混合撮像機能により作成される画像ファイル40のデータ部42には、画像情報64や各種のマップ情報が、撮像素子22における単位グループ32の配列通りに記録されると述べた。これを、単位グループ32の配列とは異なる配列にして記録してもよい。以下、この点について詳述する。
図19は、変形例2の説明図である。ここでは、図8(b)と同様に、単位グループ32を4つの大グループ81に分類している。ただし、その後に制御部23が生成する画像情報64は、単位グループ32の配列通りに撮像信号を配列したものではない。具体的には、大グループ81ごとに撮像信号を集約した後に、それらを連結することにより、画像情報64を生成している。例えば、画像情報64を2×2の4つの領域に区切ったとき、左上の領域には、1番目の大グループ81に属する単位グループ32からの撮像信号が集約され、左下の領域には、2番目の大グループ81に属する単位グループ32からの撮像信号が集約され、右上の領域には、3番目の大グループ81に属する単位グループ32からの撮像信号が集約され、右下の領域には、4番目の大グループ81に属する単位グループ32からの撮像信号が集約されている。
なお、以上のように、画像情報64における撮像信号の配列を変更する場合には、Tv値マップ65やSv値マップ66、マスク情報62等の配列も、これに合わせて変更する必要がある。
また、これ以外の方法で、画像情報64の配列を変更してもよい。つまり、画像ファイル40内において、画像情報64内の配列と、その他の撮像条件に関する情報(マスク情報62等)内の配列とが対応してさえいれば、その配列自体はどのようなものであってもよい。
(変形例3)
動画撮像機能B乃至混合撮像機能において、フレームごとに単位グループ32の用途を変化させてもよい。例えば図20に示すように、奇数フレームでは単位グループ32が1〜4番目の大グループ81にそれぞれ分類されるようにし、撮像条件が異なる4つの画像情報641、642、643、644を含む画像情報64が得られるようにする。そして、偶数フレームでは単位グループ32が5番目の大グループ81にのみ分類されるようにし、単一の画像情報64のみが得られるようにする。つまり、撮像条件が異なり画素数が相対的に少ない複数の画像と、画素数が相対的に多い単一画像とを、時分割的に撮像してもよい。また、上述した変形例1や変形例2にこの変形例3を適用することもできる。
(変形例4)
動画撮像機能B乃至混合撮像機能において、1つの単位グループ32が複数の用途を有するようにしてもよい。例えば図21に示すように、単位グループ32が1〜4番目の大グループ81にそれぞれ分類され、且つ、全ての単位グループ32が5番目の大グループ81にも分類されるようにしてもよい。この場合、前者の分類に従って画像ファイル40の再生(現像等)を行うと、4つの画像情報641、642、643、644を含む画像情報64が得られ、後者の分類に従って画像ファイル40の再生(現像等)を行うと、より画素数が多い単一の画像情報64が得られることになる。
(変形例5)
静止画撮像機能Bの説明において、マスク情報62上で「0」という番号が割り振られている単位グループ32は、撮像に利用されておらず、データ部42に記録されている画像情報64には、その単位グループ32に関する情報が含まれていないことを表すと述べたが、静止画撮像機能Aや動画撮像機能Aにおいても、「0」という番号が同様の意味を持つようにしてもよい。
また、ヘッダ部41のマスク情報62において、「0」という番号が撮像に利用されていないことを表すものとしてもよい。例えば、静止画撮像機能Bや動画撮像機能Bにおいて、撮像画面全体を2×2の4つの単位グループ32で区切って、それら4つの単位グループ32にそれぞれ異なる用途を割り当てる場合、単位グループ32の縦方向の数(行数)が奇数であれば、1行だけ余りの行が生じることになる。このような場合に、その余りの1行を撮像に用いないこととして、ヘッダ部41に記録するマスク情報62では、その余りの1行に「0」という番号を割り当てることとしてもよい。
なお、上述した「0」という番号は一例であって、他の番号を、上述した「0」という番号と同様の扱いとしてもよい。
(変形例6)
画像ファイル40の構造は、上述した各実施の形態と異なっていてもよい。また、画像ファイル40に記録される撮像条件に関する情報は、第1の実施の形態等で説明した情報と異なっていてもよい。例えば、Sv値マップ66など、一部の情報の記録を省略してもよい。逆に、上述したものとは別の情報を更に追加してもよい。また、記録形態は上述した実施形態と異なっていてもよい。例えば、Av値情報68を、Tv値やSv値等と同様に、単位グループ32ごとのAv値を二次元状に配列したAv値マップとして記録してもよい。
(変形例7)
上述した各実施の形態では、撮像素子22と制御部23とを有する単一の電子機器である撮像装置について説明したが、本発明はこのような実施形態に限定されない。例えば、外部に設けられた撮像素子22を制御する電子機器にも本発明を適用することができる。以下、撮像素子22を備えた撮像ユニット1001を、外部機器から制御する形態について詳述する。
図22は、変形例7に係る撮像システムの構成を模式的に示すブロック図である。図22に示す撮像システム1000は、撮像ユニット1001と、電子機器1002とから成る。撮像ユニット1001は、第1の実施の形態で説明した撮像光学系21と撮像素子22とを備え、更に、第1通信部1003を備えている。また、電子機器1002は、第1の実施の形態で説明した制御部23、液晶モニタ24、メモリカード25、操作部26、DRAM27、フラッシュメモリ28、および録音部29を備え、更に、第2通信部1004を備えている。第1通信部1003および第2通信部1004は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。また、撮像ユニット1001と電子機器1002とが有線ケーブル等による有線接続により、第1通信部1003および第2通信部1004は、双方向のデータ通信を行う構成であってもよい。
変形例7に係る撮像システム1000では、制御部23は、第2通信部1004および第1通信部1003を介したデータ通信により、撮像素子22の制御を行う。例えば、所定の制御データを撮像ユニット1001との間で送受信することにより、単位グループ32ごとに異なる撮像条件を設定したり、各々の単位グループ32から撮像信号を読み出したりする。
以上に述べたように、撮像システム1000において、単位グループ32ごとの制御を行っているのは、制御部23である。電子機器1002は、撮像素子22を備えていないが、電子機器1002の外部に設けられた撮像素子22(撮像ユニット1001)を制御することにより、第1の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子22を有していない電子機器に適用することが可能である。
(変形例8)
画像情報64のデータ量を削減するために、画像情報64を周知の可逆圧縮技術により圧縮して記録してもよい。また、画像情報64を、隣接する画素との差分値の形で記録してもよい。例えば、ある画素の画素値(撮像信号)を記録する位置に、その左隣の画素との差分値を記録するようにしてもよい。または、所定領域内の全画素の画素値の平均値との差分値を記録するようにしたり、全画素の平均値との差分値を記録するようにしてもよい。
また、動画の場合には、前のフレームの同じ位置の画素値との差分値を記録するようにすれば、更にデータ量を削減することができる。あるいは、前のフレームの同じ位置の画素値と値が異なるときだけ画素値を記録するようにし、前フレームと画素値が同一である場合にはその画素値を記録しないようにしてもよい。これは撮像条件(Sv値やTv値等)について適用することも可能である。例えば、ある単位グループ32について、前フレームとSv値が同一である場合、そのSv値を記録しないようにしてもよい。
なお、以上で述べたような形で画像情報64を記録する場合、再生時(現像時)に、それらの形から元の画素値を復元する処理を実行する必要がある。
(変形例9)
上述した各実施の形態では、本発明をレンズ一体型カメラに適用した例について説明を行ったが、例えばレンズ交換型カメラに本発明を適用することも可能である。また、本発明はカメラに限らず、PC、携帯電話、スマートフォン、タブレット等のカメラ付き電子機器にも適用可能である。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。