(第1の実施の形態)
始めに、実施の形態による電子機器(例えば撮像装置10)に搭載する積層型撮像素子22について説明する。なお、この積層型撮像素子22は、本願出願人が先に出願したWO2013/164915号公報に記載されているものである。図23は、積層型撮像素子22の断面図である。撮像素子22は、入射光に対応した画素信号を出力する裏面照射型撮像チップ2111と、画素信号を処理する信号処理チップ2112と、画素信号を記憶するメモリチップ2113とを備える。これら撮像チップ2111、信号処理チップ2112およびメモリチップ2113は積層されており、Cu等の導電性を有する接続部2109により互いに電気的に接続される。
なお、図23に示すように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図23の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ2111は、例えば、CMOSイメージセンサである。撮像チップ2111は、具体的には、裏面照射型のMOSイメージセンサである。撮像チップ2111は、マイクロレンズ層2101、カラーフィルタ層2102、パッシベーション層2103、半導体層2106、および配線層108を有する。撮像チップ2111は、Z軸プラス方向に向かってマイクロレンズ層2101、カラーフィルタ層2102、パッシベーション層2103、半導体層2106、および配線層2108の順に配置されている。
マイクロレンズ層2101は、複数のマイクロレンズLを有する。マイクロレンズLは、入射した光を後述する光電変換部2104に集光する。カラーフィルタ層2102は、複数のカラーフィルタFを有する。カラーフィルタ層2102は、分光特性の異なる複数種類のカラーフィルタFを有する。カラーフィルタ層2102は、具体的には、主に赤色成分の光を透過させる分光特性の第1フィルタ(R)と、主に緑色成分の光を透過させる分光特性の第2フィルタ(Gb、Gr)と、主に青色成分の光を透過させる分光特性の第3フィルタ(B)と、を有する。カラーフィルタ層102は、例えば、ベイヤー配列により第1フィルタ、第2フィルタおよび第3フィルタが配置されている。パッシベーション層2103は、窒素膜や酸化膜で構成され、半導体層2106を保護する。
半導体層2106は、光電変換部2104および読出回路2105を有する。半導体層2106は、光の入射面である第1面2106aと第1面2106aの反対側の第2面2106bとの間に複数の光電変換部2104を有する。半導体層2106は、光電変換部2104がX軸方向およびY軸方向に複数配列されている。光電変換部2104は、光を電荷に変換する光電変換機能を有する。また、光電変換部2104は、光電変換信号による電荷を蓄積する。光電変換部2104は、例えば、フォトダイオードである。半導体層2106は、光電変換部2104よりも第2面2106b側に読出回路105を有する。半導体層2106は、読出回路2105がX軸方向およびY軸方向に複数配列されている。読出回路2105は、複数のトランジスタにより構成され、光電変換部2104によって光電変換された電荷により生成される画像データを読み出して配線層2108へ出力する。
配線層2108は、複数の金属層を有する。金属層は、例えば、Al配線、Cu配線等である。配線層2108は、読出回路2105により読み出された画像データが出力される。画像データは、接続部2109を介して配線層2108から信号処理チップ2112へ出力される。
なお、接続部2109は、光電変換部2104ごとに設けられていてもよい。また、接続部2109は、複数の光電変換部2104ごとに設けられていてもよい。接続部2109が複数の光電変換部2104ごとに設けられている場合、接続部2109のピッチは、光電変換部2104のピッチよりも大きくてもよい。また、接続部2109は、光電変換部2104が配置されている領域の周辺領域に設けられていてもよい。
信号処理チップ2112は、複数の信号処理回路を有する。信号処理回路は、撮像チップ2111から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ/デジタル(A/D)変換回路等である。信号処理回路は、光電変換部2104ごとに設けられていてもよい。
また、信号処理回路は、複数の光電変換部2104ごとに設けられていてもよい。信号処理チップ2112は、複数の貫通電極2110を有する。貫通電極2110は、例えばシリコン貫通電極である。貫通電極2110は、信号処理チップ2112に設けられた回路を互いに接続する。貫通電極2110は、撮像チップ2111の周辺領域、メモリチップ2113にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ2111に設けてもよい。例えば、アナログ/デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ2111に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ2112に設けてもよい。
メモリチップ2113は、複数の記憶部を有する。記憶部は、信号処理チップ2112で信号処理が施された画像データを記憶する。記憶部は、例えば、DRAM等の揮発性メモリである。記憶部は、光電変換部2104ごとに設けられていてもよい。また、記憶部は、複数の光電変換部2104ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
図24は、撮像チップ2111の画素配列と単位領域2131を説明する図である。特に、撮像チップ2111を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上の画素がマトリックス状に配列されている。図24の例では、隣接する2画素×2画素の4画素が一つの単位領域2131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域2131を形成する概念を示す。単位領域2131を形成する画素の数は、これに限られず1000個程度、例えば32画素×32画素でもよいし、それ以上でもそれ以下でもよく、1画素であってもよい。
画素領域の部分拡大図に示すように、図24の単位領域2131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を内包する。緑色画素Gb、Grは、カラーフィルタFとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタFとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタFとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施形態において、1ブロックにつき単位領域2131を少なくとも1つ含むように複数のブロックが定義される。すなわち、1ブロックの最小単位は1つの単位領域2131となる。上述したように、1つの単位領域2131を形成する画素の数として取り得る値のうち、最も小さい画素の数は1画素である。したがって、1ブロックを画素単位で定義する場合、1ブロックを定義し得る画素の数のうち最小の画素の数は1画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域2131、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子22は、行方向(撮像チップ2111のX軸方向)の間引きのみでなく、列方向(撮像チップ2111のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
図25は、単位領域2131における回路を説明する図である。図25の例では、隣接する2画素×2画素の4画素により一つの単位領域2131を形成する。なお、上述したように単位領域2131に含まれる画素の数はこれに限られず、1000画素以上でもよいし、最小1画素でもよい。単位領域2131の二次元的な位置を符号A〜Dにより示す。
単位領域2131に含まれる画素のリセットトランジスタ(RST)は、画素ごとに個別にオンオフ可能に構成される。図25において、画素Aのリセットトランジスタをオンオフするリセット配線2300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線2310が、上記リセット配線2300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線2320が、上記リセット配線2300、2310とは別個に設けられている。他の画素Dに対しても、リセットトランジスタをオンオフするための専用のリセット配線2330が設けられている。
単位領域2131に含まれる画素の転送トランジスタ(TX)についても、画素ごとに個別にオンオフ可能に構成される。図25において、画素Aの転送トランジスタをオンオフする転送配線2302、画素Bの転送トランジスタをオンオフする転送配線2312、画素Cの転送トランジスタをオンオフする転送配線2322が、別個に設けられている。他の画素Dに対しても、転送トランジスタをオンオフするための専用の転送配線2332が設けられている。
さらに、単位領域2131に含まれる画素の選択トランジスタ(SEL)についても、画素ごとに個別にオンオフ可能に構成される。図25において、画素Aの選択トランジスタをオンオフする選択配線2306、画素Bの選択トランジスタをオンオフする選択配線2316、画素Cの選択トランジスタをオンオフする選択配線2326が、別個に設けられている。他の画素Dに対しても、選択トランジスタをオンオフするための専用の選択配線2336が設けられている。
なお、電源配線2304は、単位領域2131に含まれる画素Aから画素Dで共通に接続されている。同様に、出力配線2308は、単位領域2131に含まれる画素Aから画素Dで共通に接続されている。また、電源配線2304は複数の単位領域間で共通に接続されるが、出力配線2308は単位領域2131ごとに個別に設けられる。負荷電流源2309は、出力配線2308へ電流を供給する。負荷電流源2309は、撮像チップ2111側に設けられてもよいし、信号処理チップ2112側に設けられてもよい。
単位領域2131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域2131に含まれる画素Aから画素Dに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域2131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Dの光電変換信号を共通の出力配線2308を介して出力することができる。
ここで、単位領域2131に含まれる画素Aから画素Dについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図25の例では「ABCD」の順序で光電変換信号が出力される。
このように単位領域2131を基準として回路を構成することにより、単位領域2131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域2131間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ2111において一部のブロックに含まれる単位領域2131に電荷蓄積(撮像)を行わせる間に他のブロックに含まれる単位領域2131を休ませることにより、撮像チップ2111の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるブロック(蓄積制御の対象ブロック)を切り替えて、撮像チップ2111の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
上記の通り、単位領域2131のそれぞれに対応して出力配線2308が設けられている。撮像素子22は撮像チップ2111、信号処理チップ2112およびメモリチップ2113を積層しているので、これら出力配線2308に接続部2109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
図1は、第1の実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置10は、レンズ一体型のカメラである。撮像装置10は、撮像光学系21と、撮像素子22と、制御部23と、液晶モニタ24と、メモリカード25と、操作部26と、DRAM27と、フラッシュメモリ28と、録音部29とを備える。
撮像光学系21は、複数のレンズから構成され、撮像素子22の撮像面に被写体像を結像させる。なお図1では、撮像光学系21を1枚のレンズとして図示している。
撮像素子22は例えばCMOSやCCD等の撮像素子であり、撮像光学系21により結像された被写体像を撮像して撮像信号を出力する。制御部23は、撮像装置10の各部を制御する電子回路であり、CPUとその周辺回路とから構成される。不揮発性の記憶媒体であるフラッシュメモリ28には、予め所定の制御プログラムが書き込まれている。制御部23は、フラッシュメモリ28から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるDRAM27を作業用領域として使用する。
液晶モニタ24は、液晶パネルを利用した表示装置である。制御部23は、所定周期(例えば60分の1秒)ごとに撮像素子22に繰り返し被写体像を撮像させる。そして、撮像素子22から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ24に表示する。液晶モニタ24には、上記のスルー画以外に、例えば撮像パラメータ(撮像条件)を設定する設定画面等が表示される。
制御部23は、撮像素子22から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード25に画像ファイルを記録する。操作部26は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部23に操作信号を出力する。録音部29は、例えばマイクロフォン等により構成され、環境音を音声信号に変換して制御部23に入力する。なお、可搬性の記録媒体であるメモリカード25に画像ファイル40を記録するのではなく、撮像装置10に内蔵された不図示の記録媒体であるハードディスク等に記録してもよい。
図2(a)は、撮像素子22の撮像面30を模式的に示す平面図であり、図2(b)は撮像面30の一部領域30aを拡大した平面図である。図2(b)に示すように、撮像面30には、撮像画素31が二次元状に多数配列されている。撮像画素31は、それぞれ不図示の色フィルタを有している。色フィルタは、赤(R)、緑(G)、青(B)の3種類からなり、図2(b)における「R」、「G」、および「B」という表記は、撮像画素31が有する色フィルタの種類を表している。図2(b)に示すように、撮像素子22の撮像面30には、このような各色フィルタを備えた撮像画素31が、いわゆるベイヤー配列に従って配列されている。
赤フィルタを有する撮像画素31は、入射光のうち、赤色の波長帯の光を光電変換して受光信号(光電変換信号)を出力する。同様に、緑フィルタを有する撮像画素31は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する撮像画素31は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
本実施形態の撮像素子22は、隣接する2画素×2画素の計4つの撮像画素31から成る単位グループ32ごとに、制御部23によって個別に制御可能に構成されている。例えば、互いに異なる2つの単位グループ32について、同時に電荷蓄積を開始したときに、一方の単位グループ32では電荷蓄積開始から1/30秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方の単位グループ32では電荷蓄積開始から1/15秒後に電荷の読み出しを行うことができる。換言すると、撮像素子22は、1回の撮像において、単位グループ32ごとに異なる露光時間(電荷蓄積時間であり、いわゆるシャッタースピード)を設定することができる。
撮像素子22は、上述した露光時間以外にも、撮像信号の増幅率(いわゆるISO感度)を単位グループ32ごとに異ならせることが可能である。撮像素子22は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ32ごとに変化させることができる。すなわち、撮像素子22は、動画撮像時のフレームレートを単位グループ32ごとに変化させることができる。
以上をまとめると、撮像素子22は、単位グループ32ごとに、露光時間、増幅率、フレームレート等の撮像条件を異ならせることが可能に構成されている。例えば、撮像画素31が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、単位グループ32ごとに設けられ、単位グループ32ごとに独立して撮像信号を読み出し可能に構成すれば、単位グループ32ごとに露光時間(シャッタースピード)を異ならせることができる。また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路を単位グループ32ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、単位グループ32ごとに信号の増幅率(ISO感度)を異ならせることができる。
なお、単位グループ32を構成する撮像画素31の数は、上述した2×2の4画素でなくてもよい。単位グループ32は、少なくとも1個の撮像画素31を有していればよいし、逆に、4個より多くの撮像画素31を有していてもよい。また、単位グループ32ごとに異ならせることが可能な撮像条件は、上述したもの以外であってもよい。例えば、単位グループ32ごとに独立して制御可能な区画(1区画が1つの単位グループ32に対応する)を有する液晶パネルを撮像素子22に設け、オンオフ可能な減光フィルタとして利用すれば、単位グループ32ごとに明るさ(絞り値)を制御することが可能になる。
次に、制御部23が作成しメモリカード25に記録する画像ファイル40について説明する。図3は、本実施の形態に係る画像ファイルの構成を示す模式図である。画像ファイル40は、ヘッダ部41と、データ部42の2つのブロックから成る。
ヘッダ部41は、画像ファイル40の先頭に位置するブロックであり、ファイル基本情報部43と、マスク部44と、撮像情報部45とが、以上に述べた順序で格納されている。ファイル基本情報部43には、例えば画像ファイル40内の各部(ヘッダ部41、データ部42、マスク部44、撮像情報部45等)のサイズやオフセットが記録される。マスク部44には、後述する撮像条件情報やマスク情報等が記録される。撮像情報部45には、例えば撮像装置10の機種名や撮像光学系21の情報(例えば収差等の光学特性に関する情報)等、撮像に関する情報が記録される。データ部42は、ヘッダ部41の後ろに
位置するブロックであり、画像情報や音声情報等が記録される。
次に、撮像装置10が有する撮像機能と、各撮像機能により作成(記録)される画像ファイル40について説明する。ユーザは、操作部26が有する操作部材に対して所定の操作を行い、以下に説明する各撮像機能を切り替える(選択する)ことができる。制御部23は、選択されている撮像機能に基づき撮像を行い、画像ファイル40を作成してメモリカード25に記録する。
(1)静止画撮像機能A(単一の静止画)
静止画撮像機能Aは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して静止画を撮像する機能である。
図4(a)に、撮像素子22の撮像画面50(撮像範囲)と被写体51とを模式的に示す。図4(a)に示した被写体51を、静止画撮像機能Aにより撮像する手順について説明する。制御部23は、本撮像前に、一度、被写体51を撮像する。以下、この本撮像に先立って行われる撮像を、予備撮像と称する。なお、予備撮像は、例えばライブビュー画像(いわゆるスルー画)の作成のために行われる撮像を兼ねていてもよい。
制御部23は、予備撮像により得られた被写体51の画像(被写体51が写り込んでいる画像)に対して、所定の画像解析処理を実行する。画像解析処理は、例えば周知の被写体検出技術(特徴量を演算して所定の被写体が存在する範囲を検出する技術)により、主要被写体部分と背景部分とを検出する処理である。画像解析処理によって、撮像画面50は、主要被写体部分が存在する主要被写体領域52と、背景部分が存在する背景領域53とに分割される。
なお、図4(a)では、被写体51を大まかに含む領域を主要被写体領域52として図示しているが、主要被写体領域52は、被写体51の外形に沿った形状であってもよい。つまり、被写体51以外のものをできるだけ含まないように主要被写体領域52を設定してもよい。
制御部23は、主要被写体領域52内の各単位グループ32と、背景領域53内の各単位グループ32とで、異なる撮像条件を設定する。例えば、前者の各単位グループ32には、後者の各単位グループ32に比べて高速なシャッタースピードを設定する。このようにすると、本撮像において、主要被写体領域52では像ぶれが発生しにくくなる。
また、背景領域53に存在する太陽等の光源の影響で、主要被写体領域52が逆光状態となっている場合には、前者の各単位グループ32に、相対的に高めのISO感度を設定したり、低速なシャッタースピードを設定する。また、後者の各単位グループ32に、相対的に低めのISO感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、本撮像において、逆光状態の主要被写体領域52の黒つぶれや、光量の大きい背景領域53の白飛びを防止することができる。
なお、画像解析処理は、上述した主要被写体部分と背景部分とを検出する処理とは異なる処理であってもよい。例えば、撮像画面50全体のうち、明るさが一定以上の部分(明るすぎる部分)や明るさが一定未満の部分(暗すぎる部分)を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部23は、前者の領域に含まれる単位グループ32について、露出値(Ev値)が他の領域に含まれる単位グループ32よりも低くなるようにシャッタースピードやISO感度を設定する。また、後者の領域に含まれる単位グループ32については、露出値(Ev値)が他の領域に含まれる単位グループ32よりも高くなるようにシャッタースピードやISO感度を設定する。このようにすることで、本撮像により得られる画像のダイナミックレンジを、撮像素子22の本来のダイナミックレンジよりも広げることができる。
図5は、静止画撮像機能Aを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。マスク部44には、識別情報60と、撮像条件情報61と、マスク情報62aが、以上に述べた順序で記録される。識別情報60は、この画像ファイル40が静止画撮像機能Aによって作成されたものである旨を表す情報である。
撮像条件情報61は、単位グループ32にどのような用途(目的、役割)が存在するかを表す情報である。例えば、上述したように、撮像画面50(図4(a))を主要被写体領域52と背景領域53とに分割する場合、各々の単位グループ32は、主要被写体領域52に属するか、背景領域53に属するかのいずれかである。つまり、単位グループ32は、「主要被写体部分を静止画撮像する」という用途か、「背景部分を静止画撮像する」という用途か、のいずれかの用途を有している。撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32に「主要被写体部分を静止画撮像する」、「背景部分を静止画撮像する」という2種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1という番号が「主要被写体部分を静止画撮像する」用途を、2という番号が「背景部分を静止画撮像する」用途にそれぞれ割り当てられる。
マスク情報62aは、各々の単位グループ32の用途(目的、役割)を表す情報である。本実施形態では、マスク情報62aを、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」としている。つまり、二次元状に配列された単位グループ32を2つの整数x、yによる二次元座標(x、y)で特定するとき、(x、y)の位置に存在する単位グループ32の用途は、マスク情報62aの(x、y)の位置に存在する番号により表現される。例えば、マスク情報62aの座標(3,5)の位置に「1」という番号が入っていた場合、座標(3,5)に位置する単位グループ32には、「主要被写体部分を静止画撮像する」という用途が与えられたことがわかる。換言すると、座標(3,5)に位置する単位グループ32は、主要被写体領域52に属することがわかる。
図4(a)に示した撮像画面50に対応するマスク情報62aの例を、図4(b)に示す。主要被写体領域52に属する単位グループ32の位置には「1」が、背景領域53に属する単位グループ32の位置には「2」がそれぞれ格納されている。
データ部42には、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とが、以上に述べた順序で格納される。マスク情報62bは、マスク部44に格納されるマスク情報62aと同一の情報である。ここで、マスク部44とデータ部42の両方に同一のマスク情報62a、62bを格納しているのは、画像ファイル40の扱いが容易になるようにするためである。
詳細は後述するが、他の機能により作成される画像ファイル40では、マスク部44とデータ部42に互いに異なるマスク情報62a、62bを格納することがある。静止画撮像機能Aにおいて、例えばデータ部42にマスク情報62bを格納し、マスク部44にはマスク情報62aを格納しないことにすると、機能ごとに画像ファイル40の構造が変化することになる。このようにすると、画像ファイル40の扱いが煩雑になるため、本実施形態では、あえてマスク部44とデータ部42の両方に同一のマスク情報62a、62bを入れ、機能ごとの画像ファイル40の構造の違いを最小限にしている。なお、マスク情報62a、62bのいずれか一方を省略してもよく、その場合には、画像ファイル40が占有する記憶領域のサイズを削減することが可能となる。また、マスク情報62a、62bの両方が記録されていた場合であっても、識別情報によりマスク情報62a、62bの両方を読み込む必要があるか否かがわかるので、一方が再生処理等に不要であると判断した場合には、その一方の読み込みをスキップすることで、ファイル読み込み時間を短縮することができる。
なお、以下の説明では、マスク部44に格納されるマスク情報62aと、データ部42に格納されるマスク情報62bとを、マスク情報62と総称する。
画像情報64は、本撮像により撮像素子22から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるRAW画像データである。Tv値マップ65は、単位グループ32ごとに設定されたシャッタースピードを表すTv値を、単位グループ32の位置に合わせて二次元マップの形で表現した情報である。例えば座標(x、y)に位置する単位グループ32に設定されたシャッタースピードは、Tv値マップ65の座標(x、y)に格納されているTv値を調べることで判別可能である。
Sv値マップ66は、単位グループ32ごとに設定されたISO感度を表すSv値を、Tv値マップ65と同様に二次元マップの形で表現した情報である。Bv値マップ67は、本撮像に際して単位グループ32ごとに測定された被写体輝度、すなわち、各々の単位グループ32に入射した被写体光の輝度を表すBv値を、Tv値マップ65と同様に二次元マップの形で表現した情報である。Av値情報68は、本撮像時の絞り値を表す情報である。本実施形態において、Av値は、Tv値、Sv値、Bv値とは異なり、単位グループ32ごとに存在する値ではない。従って、Tv値、Sv値、Bv値とは違い、Av値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。
以上のように、制御部23は、静止画撮像機能Aによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式(時系列型)と呼ぶ。
なお上述の説明では、画像情報64がRAW画像データであるものとして説明を行ったが、RAW画像データではなく圧縮(現像)された画像データであってもよい。
(2)動画撮像機能A(単一の動画)
動画撮像機能Aは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して、動画を撮像する機能である。静止画撮像機能Aとの違いは、静止画ではなく動画を撮像する点である。静止画ではなく動画を撮像するため、静止画撮像機能Aで述べた「各々の単位グループ32の用途」が、フレームごとに変化する可能性がある。
図6(a)に、撮像素子22の撮像画面50(撮像範囲)と、被写体51とを模式的に示す。制御部23は、本撮像前に予備撮像を行う。そして、予備撮像により得られた被写体51の画像(被写体51が写り込んでいる画像)に対して、所定の画像解析処理を実行する。画像解析処理によって、撮像画面50は、主要被写体部分が存在する主要被写体領域52と、背景部分が存在する背景領域53とに分割される。制御部23は、主要被写体領域52内の各単位グループ32と、背景領域53内の各単位グループ32とで、異なる撮像条件を設定して、1フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報62の例を、図6(b)に示す。図6(b)に示したマスク情報62では一例として、主要被写体領域52に属する単位グループ32に「1」という番号を、背景領域53に属する単位グループ32に「2」という番号を割り振っている。
次に、制御部23は、1フレーム目の画像データに対して、画像解析処理を実行し、主要被写体部分と背景部分とを検出する。これにより、1フレーム目の画像データは、図6(c)に示すように、主要被写体領域52と背景領域53とに分割される。制御部23は、主要被写体領域52内の各単位グループ32と、背景領域53内の各単位グループ32とで、異なる撮像条件を設定して、2フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報62の例を、図6(d)に示す。
予備撮像の結果に対応するマスク情報62(図6(b))と、1フレーム目の本撮像の結果に対応するマスク情報62(図6(d))とでは、異なる時刻に撮像を行っている(時間差がある)ため、例えば被写体51が移動している場合や、ユーザが撮像装置10を動かした場合に、これら2つのマスク情報62が異なる内容になる。換言すると、マスク情報62は、時間経過に伴い変化する動的情報である。従って、ある単位グループ32において、1フレーム目の本撮像時と2フレーム目の本撮像時とで、異なる撮像条件が設定されることになる。
制御部23は、画像ファイル40に、各フレームの画像情報64と共に、各フレームのマスク情報62b、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を記録する。従って、撮像後に、画像ファイル40から、撮像時の情報を余すところなく取得することができ、動画再生等にそれらの情報を有効活用することができる。
なお、3フレーム目以降の本撮像時の処理は、上述した2フレーム目の処理と同様であるので、説明を省略する。制御部23は、撮像が完了するまで(例えば所定の時間が経過するか、ユーザが所定の撮像終了操作を行うまで)上述した処理を繰り返し実行する。
図7は、動画撮像機能Aを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図5に示した静止画撮像機能Aの場合との違いについて詳述する。
識別情報60は、この画像ファイル40が動画撮像機能Aによって作成されたものである旨を表す。撮像条件情報61は、静止画撮像機能Aの撮像条件情報61にフレームレートを付け加えたものである。つまり、撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32に例えば「主要被写体部分を60fpsで動画撮像する」、「背景部分を30fpsで動画撮像する」という2種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1という番号が「主要被写体部分を60fpsで動画撮像する」用途を、2という番号が「背景部分を30fpsで動画撮像する」用途にそれぞれ割り当てられる。
マスク情報62aは、上述した静止画撮像機能Aと同様の情報である。ただし動画撮像の場合、前述の通り、マスク情報62はフレームごとに変化する動的情報なので、どのフレームのマスク情報62がヘッダ部41に記録されるのかを決めなければならない。本実施形態では、1フレーム目の撮像の際に各単位グループ32に設定された撮像条件を表すマスク情報62a、すなわち、図6(b)に例示したマスク情報62を、ヘッダ部41に記録する。このようにしたのは、静止画撮像機能Aの説明でも述べた通り、画像ファイル40の扱いが煩雑になることを防ぐためである。
データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62と、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、データ部42には、フレームごとのブロック70と共に、音声情報71が格納される。音声情報71は、動画再生を行いやすいように、1フレーム分の情報ごとに分割され、ブロック70と多重化されてデータ部42に格納されている。なお、音声情報71の多重化は、1フレーム分でなく、所定数のフレーム分ごとに行ってもよい。ブロック70内の各情報は、1フレーム毎に記録されることを除き、静止画撮像機能Aの場合と同様であるので説明を省略する。
なお、画像ファイル40に、各フレームの画像情報と共に、各フレームのマスク情報62bを記録するものに限定されない。例えば、監視カメラによる動画撮像の場合のように、同一の撮像シーンが連続するようなときには、撮像シーンの変化、即ちマスク情報62に変化が生じるまで、初期フレームのマスク情報62を使用する。この場合、制御部23は、第1フレーム目の撮像の際に設定されたマスク情報62aをヘッダ部41に記録する。第2フレーム目の撮像の際に設定されたマスク情報62が第1フレーム目のマスク情報62aと同一の場合には、制御部23は、データ部42の第2フレーム目のブロック70にはマスク情報62bを記録せず、かつ、マスク情報62bが無いことを示す情報(マスク有無情報)を付与する。マスク有無情報として、例えば「1」という番号が付与されている場合にはデータ部42にマスク情報62bが記録されていることを示し、「0」という番号が付与されている場合にはデータ部42にマスク情報62bが付与されていないことを示す。即ち、上記の第2フレーム目のブロック70にはマスク有無情報として「0」が付与される。
以後のフレームについても、撮像されたシーンが第1フレーム目と同一の場合には、データ部42のそれぞれのブロック70には、マスク情報62bは記録されず、上記のマスク有無情報として「0」が付与される。撮像されたシーンが第1フレーム目で撮像されたシーンから変化した場合には、制御部23は、データ部42の当該フレームのブロック70に、マスク有無情報として「1」を付与し、シーンの変化に応じて設定されたマスク情報62bを記録する。これにより、同一の撮像シーンが連続するような場合には、データ部42のマスク情報62bを削減して、記憶領域のサイズを削減することが可能となる。
さらには、撮像シーンが直前のフレームと同一の場合には、直前のマスク情報62を使用するようにしても良い。この場合、制御部23は、第1フレーム目の撮像の際に設定されたマスク情報62aをヘッダ部41に記録する。第2フレーム目の撮像の際に設定されたマスク情報62が第1フレーム目のマスク情報62aと同一の場合には、制御部23は、データ部42の第2フレーム目のブロック70にはマスク情報62bを記録せず、かつ、マスク情報62bが直前のフレームのマスク情報62aと同一であることを示す情報(マスク同一情報)を付与する。このマスク同一情報として、例えば「1」という番号が付与されている場合には、直前のフレームと撮像シーンが異なるためデータ部42にマスク情報62bが記録されていることを示す。「0」という番号が付与されている場合には、直前のフレームと撮像シーンが同一のためデータ部42にマスク情報62bが付与されていないことを示す。即ち、第2フレーム目のブロック70にはマスク同一情報として「0」が付与される。
第3フレーム目の撮像シーンが第2フレーム目の撮像シーンと異なる場合には、制御部23は、第3フレーム目のマスク情報62を設定し、データ部42の第3フレーム目のブロック70に、マスク同一情報として「1」を付与し、マスク情報62bを記録する。以後のフレームにおいても、制御部23は、直前のフレームの撮像シーンと異なる撮像シーンが得られた場合にはデータ部42の当該フレームのブロック70にマスク同一情報として「1」を付与した上でマスク情報62bを記録し、同一の撮像シーンが得られた場合にはマスク同一情報として「0」を付与しマスク情報62bを記録しない。これにより、同一の撮像シーンが連続するような場合には、データ部42のマスク情報62bを削減して、記憶領域のサイズを削減することが可能となる。
以上のように、制御部23は、動画撮像機能Aによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式(時系列型)と呼ぶ。
(3)静止画撮像機能B(複数の静止画)
静止画撮像機能Bは、1回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画を同時に複数枚撮像する機能である。
図8(a)に、撮像素子22の撮像面30を模式的に示す。また、図8(b)に、撮像面30の一部領域30bを拡大した模式図を示す。静止画撮像機能Bでは、二次元状に配置された複数の単位グループ32を、更に複数の大グループ81に分類する。このとき、ある大グループ81に属する単位グループ32が、撮像面80全体に一様に配置されるように単位グループ32を分類する。例えば図8(b)では、全ての単位グループ32を、2×2の4つの単位グループ32から成るブロック82に分割し、各ブロック82の左上の単位グループ32を1つ目の大グループ811に、左下の単位グループ32を2つ目の大グループ812に、右上の単位グループ32を3つ目の大グループ813に、右下の単位グループ32を4つ目の大グループ814に分類している。なお図8(b)では、模式的に図示した四角形1つが1つの単位グループ32を表しており、四角形の中に記載した数字は、その単位グループ32が属する大グループ81の種類を表している。
制御部23は、本撮像の際、1つ目の大グループ811に属する単位グループ32と、2つ目の大グループ812に属する単位グループ32と、3つ目の大グループ813に属する単位グループ32と、4つ目の大グループ814に属する単位グループ32とで、撮像条件を異ならせる。例えば、シャッタースピードやISO感度を互いに異なる値に設定して本撮像を行う。制御部23は、このようにして撮像した画像情報を画像ファイル40に記録する。ここで記録される画像情報は、図8(c)に模式的に示すように、各画素値を大グループ81ごとに集約して利用することを意図したものである。
例えば、図8(c)に示すように、1つ目の大グループ811に属する単位グループ32に対応する画素値だけを画像情報64から抽出して二次元状に並べると、撮像素子22の画素数の1/4の画素値から成る第1の画像情報641が得られる。同様に、2つ目の大グループ81に属する単位グループ32に対応する画素値だけを画像情報64から抽出して二次元状に並べると、撮像素子22の画素数の1/4の画素値から成り、上述した第1の画像情報641とは異なる撮像条件で撮像された、第1の画像情報641と同一の被写体51が写っている第2の画像情報642が得られる。同様に、第3の画像情報643、第4の画像情報644が得られる。これら4つの画像情報641、642、643、644は、全て、同一の被写体51を撮像した画像であり、且つ、互いに撮像条件が異なる画像である。つまり、最初に述べたように、1回の撮像で、互いに撮像条件が異なる、同一の被写体51に関する4つの静止画が同時に撮像されたといえる。
なお、画像ファイル40内の画像情報64は、撮像素子22の各撮像画素31からの画素出力を、撮像画素31の位置通りに配列した画像である。つまり、上述した4つの画像情報641、642、643、644を作成する処理は、メモリカード25から画像ファイル40を読み出す再生時や現像時に行われることになる。また、その画像情報64は、必ずしも4つの画像情報641、642、643、644を作成するためだけのものではない。画像情報64をそのまま利用(再生等)してしまうと、隣接する単位グループ32ごとに撮像条件が異なっているため、例えば市松模様が現れた不自然な画像になってしまう。しかしながら、画像ファイル40には、単位グループ32ごとの撮像条件(例えばTv値、Sv値等)が記録されているので、それらの撮像条件と画像情報64とを組み合わせて現像すれば、そのような不自然な画像となることを防ぐことができる。例えば、他の単位グループ32よりも露出値(Ev値)が高い単位グループ32では、他の単位グループ32よりも明るさを抑えて現像を行えばよい。
以上では単位グループ32を4つの大グループ811、812、813、814に分類した例について説明したが、4つに限らず、任意の数の大グループ81に分類し、任意の数の静止画を同時に撮像してよい。また、大グループ81のレイアウト(単位グループ32の分類方法)も、2×2の単位グループ32を1つずつ異なる大グループ81に分類するというものに限らない。
この点について、図9(a)、(b)に例を挙げる。図9(a)では、全ての単位グループ32を、3×3の計9個の組に区切り、各々の組において、前記組に含まれる9個の単位グループ32を、それぞれ1〜9番目の大グループ81に割り当てている。このようなレイアウトを採用することで、1回の撮像で、撮像条件が異なる9つの画像641〜649を同時に撮像することができる。また、図9(b)では、全ての単位グループ32を、3×3の計9個の組に区切り、各々の組において、左上隅の単位グループ32を1つ目の大グループ81に割り当て、右下の2×2の計4個の単位グループ32を、2つ目の大グループ81に割り当てている。残りの4個の単位グループ32は、撮像に利用しないものとしている。このようにすると、1回の撮像で、撮像条件が異なる2つの画像641、642を同時に撮像することができるが、2つ目の大グループ81に対応する画像642は、1つ目の大グループ81に対応する画像641に比べて、4倍の画素数を有する画像になる。つまり、1回の撮像で、撮像条件が異なる2つの画像641、642を同時に撮像することができ、且つ、それら2つの画像641、642は、互いに画素数が異なるものとなる。
図10は、静止画撮像機能Bを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図5に示した静止画撮像機能Aの場合との違いについて詳述する。
識別情報60は、この画像ファイル40が静止画撮像機能Bによって作成されたものである旨を表す。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。静止画撮像機能Bにおいては、各々の単位グループ32は、例えば「第1の画像情報641を構成する」という用途か、「第2の画像情報642を構成する」という用途か、「第3の画像情報643を構成する」という用途か、「第4の画像情報644を構成する」という用途か、のいずれかの用途を有している。撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32にそれら4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1〜4の番号が、それぞれ「第1〜第4の画像情報641〜644を構成する」用途に割り当てられる。
静止画撮像機能Bにおけるマスク情報62aは、静止画撮像機能Aの場合と同様に、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
なお、本実施形態において、「0」という番号を持つ大グループ81は、撮像に利用されなかった単位グループ32を表す特別な大グループ81である。つまり、マスク情報62aにおいて「0」という番号が割り振られている単位グループ32は、撮像に利用されておらず(本撮像時に撮像信号が読み出されておらず)、データ部42に記録されている画像情報64には、その単位グループ32に関する情報が含まれていない(または、その単位グループ32に関する情報として、有効でないダミーの情報が記録されている)ことを表す。
例えば、同時に3通りの撮像条件で撮像できれば十分であり、4通りの撮像条件で撮像する必要がない場合には、図8(b)に示した単位グループ32のうち、「4」と書かれた単位グループ32のマスク情報62aに「0」という番号を割り当てればよい。
データ部42の構成は、静止画撮像機能Aと同一である。すなわち、データ部42には、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とが格納される。また、マスク情報62bは、マスク部44に格納されるマスク情報62aと同一の情報である。
なお、マスク情報62bとして、マスク部44のマスク情報62aと同一の情報ではなく、単位グループ32の各々の有効・無効を表す情報を格納してもよい。例えば、撮像に利用されていない(撮像時に撮像信号が読み出されていない)単位グループ32に数値「0」、撮像に利用された(撮像時に撮像信号が読み出された)単位グループ32に数値「1」を割り当て、それを単位グループ32の位置に合わせて二次元状に配列したマップをマスク情報62bとしてデータ部42に格納してもよい。後述する動画撮像機能Bや混合撮像機能においても同様である。
以上のように、制御部23は、静止画撮像機能Bによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式(画像集合型)と呼ぶ。
(4)動画撮像機能B(複数の動画)
動画撮像機能Bは、1回の撮像で、互いに撮像条件が異なる、同一の被写体に関する動画を同時に撮像する機能である。静止画撮像機能Bとの違いは、静止画ではなく動画を撮像する点である。動画の撮像ではあるものの、動画撮像機能Aのように、ある大グループ81に分類された単位グループ32が、フレームごとに異なる大グループ81に分類されることはない。ただし、フレームレートの設定によっては、あるフレームに含まれていた(あるフレームで有効であった)単位グループ32が、別のフレームには含まれていない(別のフレームでは無効である)ことがある。以下、フレームレートの設定別に、動画撮像機能Bについて説明する。
(4−1)全ての大グループ81でフレームレートが統一されている場合
図11は、全ての大グループ81において、フレームレートが同一の場合の動画撮像機能Bの説明図である。この場合、大グループ81ごとに異なる撮像条件とは、フレームレート以外の撮像条件(例えばシャッタースピードやISO感度等)である。露出時間は異なるとしても、フレームレート、すなわち信号読み出しの周期は同一であるため、全ての大グループ81において、撮像信号の読み出しはフレームレートに対応する所定周期T1ごとに行われる。
全ての単位グループ32において同一のフレームレートで撮像が行われるので、全てのフレームにおいて、全ての単位グループ32が撮像に利用されている。換言すると、全てのフレームにおいて、全ての単位グループ32から撮像信号が読み出され、全てのフレームの画像情報64に、全ての単位グループ32から読み出された撮像信号が含まれている。例えば、撮像開始時刻t0から所定周期T1だけ後の時刻t1に、1つ目の画像情報64が作成される。この画像情報64には、1番目の大グループ81における1フレーム目(図11で#1と表記したフレーム。以下同様)の画像と、2番目の大グループ81における1フレーム目の画像と、3番目の大グループ81における1フレーム目の画像と、4番目の大グループ81における1フレーム目の画像と、が含まれる。2つ目以降の画像情報64についても同様である。
(4−2)大グループ81ごとにフレームレートが統一されていない場合
図12は、全ての大グループ81に、互いに異なるフレームレートが設定されている場合の動画撮像機能Bの説明図である。この例において、1番目の大グループ811には60fps、2番目の大グループ812には50fps、3番目の大グループ813には24fps、4番目の大グループ814には25fpsのフレームレートがそれぞれ設定されている。
このように、大グループ81同士でフレームレートが異なる場合、制御部23は、もっとも早いフレームレートを基準として各フレームを記録する。つまり、60fpsに対応する所定周期T2(約16.7ミリ秒)ごとに、画像情報64が記録される。例えば、撮像開始時刻t0から所定周期T2だけ後の時刻t11には、1番目の大グループ811に属する単位グループ32から読み出された撮像信号に基づく画像情報64が作成され、画像ファイル40に記録される。時刻t11の時点では、他の大グループ812、813、814において1フレーム目の撮像信号の読み出しが為されていないため、この画像情報64には、それらの撮像信号は含まれていない。なお図12では、特定の単位グループ32から撮像信号が読み出されておらず、画像情報64にその撮像信号が含まれていないことを、「X」という記号で表記している。
時刻t11から所定周期T2だけ後の時刻t12では、1番目の大グループ811の2回目(2フレーム目)の本撮像だけでなく、2番目の大グループ812(50fps)の1回目(1フレーム目)の本撮像も完了している。そこで、制御部23は、1番目の大グループ811に属する単位グループ32と2番目の大グループ812に属する単位グループ32から読み出した撮像信号を、画像ファイル40に記録する。3番目の大グループ813に属する単位グループ32や4番目の大グループ814に属する単位グループ32からは撮像信号が読み出されず、画像ファイル40にも記録されない。
このように、大グループ81同士でフレームレートが異なる場合、画像情報64の一部が欠落している(無効になっている)ことがある。制御部23は、フレームごとに記録するマスク情報62bによって、特定の単位グループ32に対応する撮像信号が画像情報64に含まれていないことを示す。具体的なマスク情報62bの構成については後に述べる。
図13は、動画撮像機能Bを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図7に示した動画撮像機能Aや図10に示した静止画撮像機能Bの場合との違いについて詳述する。
識別情報60は、この画像ファイル40が動画撮像機能Bによって作成されたものである旨を表す。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。動画撮像機能Bにおける撮像条件情報61は、静止画撮像機能Bの撮像条件情報61にフレームレートを付け加えたものである。つまり、撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32に例えば「60fpsの動画である第1の画像情報641を構成する」、「50fpsの動画である第2の画像情報642を構成する」、「24fpsの動画である第3の画像情報643を構成する」、「25fpsの動画である第4の画像情報644を構成する」という4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1〜4の番号が、それぞれ「第1〜第4の画像情報641〜644を構成する」用途に割り当てられる。
動画撮像機能Bにおけるマスク情報62aは、静止画撮像機能Bの場合と同様に、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
データ部42の構成は、動画撮像機能Aと同一である。すなわち、データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、データ部42には、フレームごとのブロック70と共に、音声情報71が格納される。
マスク情報62bには、上述した撮像条件情報61により特定される番号(例えば1〜4の番号)だけでなく、「0」という番号が格納されることがある。この「0」という番号は、対応するフレームにおいて、単位グループ32が、撮像に利用されていない(撮像時に撮像信号が読み出されていない)ことを表す。上述のように、フレームレートが異なる複数の動画を撮像する場合、あるフレームの画像情報64には、特定の単位グループ32に対応する撮像信号が格納されていないことがある。このような場合、制御部23は、前記フレームにおいて、その単位グループ32に対応するマスク情報62の数値を「0」に設定する。ここで、マスク情報62bの数値が「0」に設定された単位グループ32については、画像情報64以外の情報、すなわち、Tv値マップ65内のTv値、Sv値マップ66内のSv値、Bv値マップ67内のSv値についても、有効な値が記録されない。
なお、マスク情報62bの数値が「0」に設定された単位グループ32について、その単位グループ32の前フレームにおける撮像信号を、画像情報64に記録するようにしてもよい。Tv値マップ65内のTv値、Sv値マップ66内のSv値、Bv値マップ67内のSv値についても同様に、前フレームにおける値を記録するようにしてもよい。後述する混合撮像機能についても同様である。
また、上述した(4−2)のように大グループ81同士でフレームレートが異なる場合であっても、データ部42にマスク情報62bを記録しなくても良い。例えば、上述した、1番目の大グループ811には60fps、2番目の大グループ812には50fps、3番目の大グループ813には24fps、4番目の大グループ814には25fpsのフレームレートがそれぞれ設定されている場合であっても、所定の周期で全ての大グループ81を構成する単位グループ32から撮像信号が読み出される。即ち、所定の周期ごとに、何れの単位グループ32にもマスク情報62として「0」が格納されないフレームが規則性を有して現れる。制御部23(記録制御部、生成部)は、この規則性を示す情報を生成してヘッダ部41に記録し、データ部42にマスク情報62bを記録しない。この場合、制御部23は、規則性を示す情報として、図12に示す場合を例に挙げると、第1フレームは大グループ811が有効かつ大グループ812〜814が無効、第2フレームは大グループ811、812が有効かつ大グループ813、814が無効、第3フレームは大グループ811〜814が有効を示す情報をヘッダ部41に記録すれば良い。規則性を有する情報が記録されることにより、各フレーム毎にマスク情報62bを記録する必要がなくなり、画像ファイル40が占有する記録領域のサイズを削減できる。
以上のように、制御部23は、動画撮像機能Bによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式(画像集合型)と呼ぶ。
(5)混合撮像機能(動画と静止画)
混合撮像機能は、静止画撮像機能Bと動画撮像機能Bを組み合わせた機能であり、1回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画と動画を同時に撮像する機能である。
混合撮像機能において、制御部23は、静止画撮像機能Bや動画撮像機能Bと同様に、二次元状に配置された複数の単位グループ32を、更に複数の大グループ81に分類する。制御部23は、一部の大グループ81について、動画撮像機能Bと同様に動画撮像を行う。制御部23は、その動画撮像中に、残りの大グループ81を用いて、静止画撮像機能Bと同様に静止画撮像を行う。この静止画撮像は、例えば一定周期で繰り返し行ってもよいし(自動撮像)、ユーザにより特定の操作が為されたことに応じて行ってもよい(手動撮像)。
図14は、混合撮像機能の説明図である。ここでは4つの大グループ811〜814を仮定し、そのうち1番目の大グループ811で60fpsの動画撮像を、2番目の大グループ812で50fpsの動画撮像を、3番目と4番目の大グループ813、814で静止画を撮像するものとしている。
制御部23は、動画撮像機能Bと同様に、もっとも早いフレームレート(例えば60fps)を基準として、各フレームを記録する。静止画撮像が行われない間、3番目と4番目の大グループ813、814に属する単位グループ32については、常に撮像信号の読み出しが行われない。つまり、フレームごとに記録される画像情報64には、静止画に対応する3番目と4番目の大グループ813、814に属する単位グループ32の撮像信号が含まれない。制御部23は、静止画撮像を行った場合、静止画撮像が完了したタイミング(3番目と4番目の大グループ813、814に属する単位グループ32から撮像信号を読み出したタイミング)で、直後のフレームに対応する画像情報64に、静止画撮像により読み出した撮像信号を含ませる。
図15は、混合撮像機能を用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図13に示した動画撮像機能Bの場合との違いについて詳述する。
識別情報60は、この画像ファイル40が混合撮像機能によって作成されたものである旨を表す。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。混合撮像機能における撮像条件情報61は、例えばこの画像ファイル40の作成に際し、単位グループ32に「60fpsの動画である第1の画像情報641を構成する」、「30fpsである動画である第2の画像情報642を構成する」、「静止画である第3の画像情報643を構成する」、「静止画である第4の画像情報644を構成する」という4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1〜4の番号が、それぞれ「第1〜第4の画像情報641〜644を構成する」用途に割り当てられる。
混合撮像機能におけるマスク情報62aは、動画撮像機能Bの場合と同様に、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
混合撮像機能では、ヘッダ部41に、更にインデックス部73が追加されている。インデックス部73には、データ部42に記録されている複数のブロック70(複数のフレームにそれぞれ対応する)のうち、どのブロック70に静止画が格納されているかを表すインデックス情報74が記録されている。インデックス情報74には、例えば、「5フレーム目の画像情報64に含まれる第3の画像情報643に静止画が含まれている」というような情報が1つないし複数(静止画撮像の回数分だけ)含まれている。インデックス部73は、多数のブロック70の中から、静止画を素早く検索できるように設けられている。
なお、インデックス情報74は、フレーム数に基づき静止画の記録位置を特定するものでなくてもよい。例えば、動画の再生時刻に基づき静止画の記録位置を特定することもできる。この場合、インデックス情報74は、例えば「3分15秒時点の画像情報64に含まれる第3の画像情報643に静止画が含まれている」というような情報となる。
制御部23は、混合撮像機能による撮像中に静止画の撮像を行う度に、静止画の撮像を行ったフレーム番号や時刻をインデックス部73にインデックス情報74として追記する。なお、メモリカード25内の画像ファイル40のインデックス部73に直接追記するのではなく、DRAM27に一時記憶しておき、混合撮像機能の終了時に、メモリカード25内の画像ファイル40のインデックス部73にDRAM27内の情報を転送するようにしてもよい。
データ部42の構成は、動画撮像機能Bと同一である。すなわち、データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62と、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、データ部42には、フレームごとのブロック70と共に、音声情報71が格納される。
以上のように、制御部23は、混合撮像機能による撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式(画像集合型)と呼ぶ。
次に、制御部23による画像の再生処理について説明する。画像の再生処理は、上述した種々の撮像機能によってメモリカード25に記録された画像ファイル40から、被写体の画像を作成する処理である。制御部23は、作成した画像を、例えば液晶モニタ24に表示したり、メモリカード25に上述した画像ファイル40とは別のファイルとして記録したりする。
制御部23は、画像ファイル40(図5、図7、図10、図13、図15)を開き、まずファイル基本情報部43を読み出す。これにより、画像ファイル40のマスク部44やデータ部42等のオフセットおよびサイズが判明する。次に制御部23は、画像ファイル40のマスク部44から、識別情報60を読み出す。これにより、制御部23は、この画像ファイル40がどの撮像機能により作成されたファイルであるかを認識する。以降の処理は、撮像機能毎に異なる。そこで、以下、画像の再生処理を、上述した撮像機能ごとに説明する。
(1)静止画撮像機能A(単一の静止画)
画像ファイル40が、図5に示す、静止画撮像機能Aにより作成されたファイルであると認識すると、制御部23は、マスク部44から、撮像条件情報61およびマスク情報62aを読み出す。これにより、制御部23は、撮像画面全体のうち、どの範囲(どの単位グループ32)が主要被写体部分なのか、あるいは背景部分なのかを識別することができ、主要被写体部分と背景部分とで画作りを変化させることができる。例えば、主要被写体部分はより先鋭になるようにエッジ強調処理を施し、背景部分にはぼかし処理を施して主要被写体部分を強調することができる。
次に制御部23は、データ部42から、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。そして、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64にいわゆる現像処理を実行する。画像情報64がRAWデータである場合は、制御部23は、例えば、色情報を有していない画像情報64に対して、周知のデモザイク処理を実行し、色情報を有する画像を作成する。また、制御部23は、Sv値マップ66等に基づき、色彩や明るさ等の調整、ノイズ軽減等の画像処理を行う。例えば、Sv値が大きい(感度が高い)単位グループ32には、他の単位グループ32に比べてノイズが乗りやすい。そこで、制御部23は、Sv値が大きいほど、ノイズ軽減の強度を高く(強く)する。制御部23は、以上のようにして作成された画像を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、静止画撮像機能Aにより作成された画像ファイル40を再生するに際し、画像情報64等のデータ部42に記録されている情報よりも先に、マスク部44に記録されている撮像条件情報61およびマスク情報62aを読み出す。マスク部44はデータ部42よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、前述の通り、データ部42には、ヘッダ部41に格納されているマスク情報62aと同一のマスク情報62bが格納されている。そこで、制御部23は、マスク情報62aの代わりに、データ部42からマスク情報62bを読み出してもよい。
(2)動画撮像機能A(単一の動画)
画像ファイル40が、図7に示す、動画撮像機能Aにより作成されたファイルであると認識すると、制御部23は、マスク部44からマスク情報62aを読み出す。制御部23は、撮像画面全体のうち、どの範囲(どの単位グループ32)が主要被写体部分なのか、あるいは背景部分なのかを判別する。次に、制御部23は、マスク部44から撮像条件情報61を読み出す。これにより、制御部23は、主要被写体部分と背景部分のフレームレートを認識する。次に制御部23は、データ部42の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出して、動画を構成する各フレームを作成する。
制御部23は、各フレームを作成するに際し、ブロック70から、まずマスク情報62bを読み出す。そして、前記フレームにおいて、どの範囲(どの単位グループ32)が主要被写体部分なのか、あるいは背景部分なのかを識別する。その後、制御部23は、静止画撮像機能Aの説明で述べたように、主要被写体部分と背景部分とで異なる画像処理を実行する。制御部23は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、動画撮像機能Aにより作成された画像ファイル40を再生するに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62bを読み出す。マスク情報62bは画像情報64等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、データ部42の先頭ブロックのマスク情報62bとマスク部44に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク部44からマスク情報62aを読み出さないようしてもよい。
(3)静止画撮像機能B(複数の静止画)
画像ファイル40が、図10に示す、静止画撮像機能Bにより作成されたファイルであると認識すると、制御部23は、マスク部44から、撮像条件情報61およびマスク情報62aを読み出す。これにより、制御部23は、同時に何種類の静止画が撮像されたのか、また、どの単位グループ32がどの静止画を構成しているのかを識別する。すなわち、大グループ81が何個存在し、各単位グループ32がどの大グループ81に属しているのかを識別する。
次に制御部23は、データ部42から、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。そして、制御部23は、大グループ81ごとに、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64にいわゆる現像処理を実行し静止画を作成する。これにより、複数の静止画(例えば4つの静止画)が作成される。制御部23は、以上のようにして作成された画像を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、静止画撮像機能Bにより作成された画像ファイル40を再生するに際し、画像情報64等のデータ部42に記録されている情報よりも先に、マスク部44に記録されている撮像条件情報61およびマスク情報62aを読み出す。マスク部44はデータ部42よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、前述の通り、データ部42には、ヘッダ部41に格納されているマスク情報62aと同一のマスク情報62bが格納されている。そこで、マスク情報62aの代わりに、データ部42からマスク情報62bを読み出してもよい。
(4)動画撮像機能B(複数の動画)
画像ファイル40が、図13に示す、動画撮像機能Bにより作成されたファイルであると認識すると、制御部23は、マスク部44からマスク情報62aと撮像条件情報61を読み出す。これにより、制御部23は、同時に何種類の動画が撮像されたのか、どの単位グループ32がどの動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、大グループ81が何個存在し、各単位グループ32がどの大グループ81に属しており、各大グループ81はどのようなフレームレートで撮像されたのかを識別する。次に制御部23は、データ部42の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出して、各動画を構成する各フレームを作成する。
制御部23は、各フレームを作成するに際し、ブロック70から、まずマスク情報62bを読み出す。そして、制御部23は、前記ブロック70の画像情報64にどの大グループ81に対応する画素信号が含まれているのかを識別する。その後、制御部23は、各大グループ81に対応するフレームを作成するが、前記ブロック70の画像情報64に画素信号が含まれていない大グループ81については、フレームを作成しない。制御部23は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、動画撮像機能Bにより作成された画像ファイル40を再生するに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62a、62bを読み出す。マスク情報62a、62bは画像情報64等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、データ部42の先頭ブロックのマスク情報62bとマスク部44に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク部44からマスク情報62aを読み出さないようしてもよい。
(5)混合撮像機能(動画と静止画)
画像ファイル40が、図15に示す、混合撮像機能により作成されたファイルであると認識すると、制御部23は、マスク部44からマスク情報62aと撮像条件情報61を読み出す。これにより、制御部23は、同時に何種類の動画と何種類の静止画が撮像されたのか、どの単位グループ32がどの静止画および動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、制御部23は、大グループ81が何個存在し、各大グループ81は静止画なのか動画なのか、動画であればそのフレームレートはいくつか、各単位グループ32がどの大グループ81に属しているかを識別する。次に制御部23は、データ部42の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出して、各動画を構成する各フレーム、および、各静止画を作成する。
制御部23は、動画の各フレームや静止画を作成するに際し、ブロック70から、まずマスク情報62bを読み出す。そして、前記ブロック70の画像情報64にどの大グループ81に対応する画素信号が含まれているのかを識別する。その後、制御部23は、各大グループ81に対応するフレームや静止画を作成するが、前記ブロック70の画像情報64に画素信号が含まれていない大グループ81については、フレームや静止画を作成しない。制御部23は、以上のようにして作成したフレームから成る動画や静止画を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
以上のように、制御部23は、混合撮像機能により作成された画像ファイル40を再生するに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62a、62bを読み出す。マスク情報62a、62bは画像情報64等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
なお、データ部42の先頭ブロックのマスク情報62bとマスク部44に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク部44からマスク情報62aを読み出さないようしてもよい。
画像の再生処理は、上述した種々の撮像機能によってメモリカード25に記録された画像ファイル40から、被写体の画像を作成する処理としたが、メモリカード25に記録される前の画像ファイル40に対して、静止画や動画を作成する処理であってもよい。制御部23は、静止画や動画作成された後に、圧縮処理を施すようにしてもよい。
なお、撮像装置10とは異なる電子機器(以後、再生装置と称する)が、上述した再生処理を実行するようにしてもよい。例えば、メモリカード25を撮像装置10から取り外し、撮像装置10の外部に設けたPC等の再生装置にメモリカード25を装着すると、再生装置がメモリカード25から画像ファイル40を読み出して、上述した再生処理を実行し、画像を再生するようにしてもよい。また、撮像装置10と再生装置との間で無線通信等のデータ通信を行うことにより、画像情報64等の授受を行うようにしてもよい
上述した第1の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)撮像素子22は、複数の単位グループ32(撮像領域)を有しており、単位グループ32毎に撮像条件が設定可能である。制御部23は、撮像素子22により生成された画像情報64(画像データ)と、単位グループ32毎の、撮像条件に関する撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等のデータ(撮像条件データ)とを関連付けて記録する。このようにしたので、各々の画素にどのような撮像条件が適用されているのかを、撮像結果である画像ファイル40の再生時等に知ることができる、使い勝手のよい撮像装置10を提供することができる。
(2)画像情報64に関連づけて記録される、撮像条件に関する情報には、例えば撮像素子22により被写体を撮像するときの露出に関する情報や、撮像素子22により撮像された被写体の明るさに関する情報が含まれる。具体的には、撮像素子22により撮像された被写体の輝度に関する情報であるBv値マップ67、不図示の光電変換部による電荷の蓄積時間であるTv値マップ65、不図示の増幅部による増幅率であるSv値マップ66等が含まれる。これらの情報は、いずれも、撮像素子22の撮像動作に関する情報であると言うことができる。このようにしたので、画像ファイル40の再生時に、より適切な画像処理を行うことができる。
(3)制御部23は、画像情報64に関連付けて、撮像の都度変化する撮像条件に関する情報を記録する。このようにしたので、画像ファイル40ごとに適切な情報が付加され、再生時により適切な画像処理を行うことができる。
(4)制御部23は、画像情報64にそれぞれ対応する撮像条件に関する複数の情報を、単一の画像ファイル40内に時系列順に記録する。このようにしたので、例えば画像ファイル40に動画が記録されている場合に、それらの情報に基づく画像処理を容易に行うことができる。
(5)制御部23は、ヘッダ部41と画像情報64を記録するデータ部42(画像データ部)とを有する画像ファイル40において、ヘッダ部41及びデータ部42のうち、少なくともいずれか一方に、撮像条件に関する情報を記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(6)制御部23は、複数の単位グループ32毎の用途に関する撮像条件情報61およびマスク情報62を、画像情報64に関連付けて記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(7)マスク情報62は、時間経過に伴い変化する動的情報を含んでいる。具体的には、画像情報64に、単位グループ32に属する撮像画素31から読み出された画素信号に対応する画素値が含まれるか否かを表す情報か、もしくは、複数の単位グループ32の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル40の再生時に、動的情報を利用した画像処理を行うことができる。
(8)マスク情報62は、時間経過に伴い変化しない静的情報を含んでいる。具体的には、複数の単位グループ32の役割を表す情報を含んでいる。また、マスク情報62aは、撮像当初において、複数の単位グループ32の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル40の再生時に、静的情報を利用した画像処理を行うことができる。
(9)制御部23は、複数の画像情報64にそれぞれ対応する複数のマスク情報62bを、単一の画像ファイル40内に時系列順に記録する。このようにしたので、例えば画像ファイル40の再生時に、撮像条件を時系列順に追跡することができる。
(10)制御部23は、ヘッダ部41と画像情報64を記録するデータ部42(画像データ部)とを有する画像ファイル40において、ヘッダ部41及びデータ部42のうち、少なくともいずれか一方に、マスク情報62を記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(11)複数の単位グループ32には、第1のフレームレートで撮像される単位グループ32と、第1のフレームレートより遅い第2のフレームレートで撮像される単位グループ32とが含まれ、制御部23は、第1のフレームレートに基づき、複数の画像情報64を記録する。このようにしたので、全てのフレームに関する情報を漏れなく確実に記録することができる。
(12)制御部23は、複数の画像情報64の撮像期間に対応する音声情報71(音声データ)を、複数の画像情報64に関連づけて記録する。このようにしたので、音声も含めた動画再生を行うことが可能となる。
(13)制御部23は、画像情報64の撮像パターンに関する情報と、画像情報64の保存方式に関する情報と、単位グループ32ごとの撮像条件に関する情報と、の少なくとも1つを、ヘッダ部41とデータ部42との2つのブロックから成る画像ファイル40のヘッダ部41に記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(第2の実施の形態)
第2の実施の形態に係る撮像装置は、第1の実施の形態に係る撮像装置10と同様の構成を有しているが、静止画撮像機能B、動画撮像機能B、混合撮像機能における画像ファイル40の記録方式が、第1の実施の形態とは異なっている。以下、この点について詳述する。
前述の通り、静止画撮像機能B、動画撮像機能B、および混合撮像機能は、一回の撮像で、同一の被写体に関する静止画や動画を、同時に複数撮像する機能である。本実施形態において、制御部23は、このようにして複数撮像された静止画や動画を、単一の画像ファイル40ではなく、複数の画像ファイル40に分割して記録する。このとき、制御部23は、分割して記録されたそれぞれの画像ファイル40同士を、関連付けて記録する。従って、それら複数の画像ファイル40は、便宜上別々のファイルとして記録されるものの、第1の実施の形態と同様に、単一の撮像により得られたファイルであるという情報は損なわれない。換言すると、後からそれら複数の画像ファイル40を扱う際に、第1の実施の形態と同様に、単一の撮像により得られたものであると認識して扱うことができる。
図16は、メモリカード25のディレクトリ構造を模式的に示す図である。メモリカード25のルートディレクトリ90には、DCIMディレクトリ91aが存在する。また、DCIMディレクトリ91a内には、更に、画像保存用のサブディレクトリ91bが存在する。静止画撮像機能B、動画撮像機能B、および混合撮像機能による1回の撮像の都度、制御部23は、このサブディレクトリ91b内に、撮像セットディレクトリ92を1つ作成する。つまり、1つの撮像セットディレクトリ92が、1回の撮像に対応している。
撮像セットディレクトリ92には、1つの管理データファイル93と、単位グループ32の用途ごとに、サブディレクトリ94が作成される。例えば、単位グループ32の用途が4つ存在する場合には、サブディレクトリ94が4つ作成される。各々のサブディレクトリ94には、単位グループ32の用途に応じた画像ファイル40が少なくとも1つ作成される。例えば、単位グループ32の用途が動画撮像である場合、その用途に対応するサブディレクトリ94内には、動画ファイル401が1つだけ記録される。また、単位グループ32の用途が静止画撮像である場合、その用途に対応するサブディレクトリ94内には、静止画ファイル402が撮像回数分だけ記録される。なお、静止画撮像機能Bの場合、1回の撮像では用途ごとに1つの静止画ファイル402のみが記録されることになるので、各サブディレクトリ94内には、1つの静止画ファイル402が記録されることになる。
図17(a)は、管理データファイル93の構造を模式的に示す図である。管理データファイル93は、各サブディレクトリ94内に記録されている画像ファイル40同士を関連付ける情報が記録されたファイルであり、ファイル基本情報部43と、マスク部44と、インデックス部73と、撮像情報部45とから成る。ファイル基本情報部43、マスク部44、および撮像情報部45は、図15等で説明した画像ファイル40における同名の各部と同一である。インデックス部73には、各々のサブディレクトリ94が単位グループ32のどの用途に対応するのかを表すレイアウト情報96が記録される。
図17(b)は、サブディレクトリ94内に記録される静止画ファイル402の構造を模式的に示す図である。静止画ファイル402には、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とが記録される。Av値情報68については、図10で説明したものと同様であるため、説明を省略する。
マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67は、それぞれ、図10で説明した同名の情報から、1つの大グループ81に対応する値だけを抽出して二次元状に配列した情報である。例えば、図10で説明した画像ファイル40において、マスク情報62bは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」であり、マスク情報62bに含まれる値の個数は、単位グループ32の個数と同一であった。これに対し、静止画ファイル402におけるマスク情報62bは、それら全ての値から、本サブディレクトリ94に対応する大グループ81に対応する値のみを抽出して二次元マップの形で表現した情報である。画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67についても同様に、1つの静止画ファイル402には、1つの大グループ81に対応する値のみが含まれている。
図18は、サブディレクトリ94内に記録される動画ファイル401の構造を模式的に示す図である。動画ファイル401には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、動画ファイル401には、フレームごとのブロック70と共に、音声情報71が格納される。Av値情報68については、図13で説明したものと同様であるため、説明を省略する。
マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67は、それぞれ、図13で説明した同名の情報から、1つの大グループ81に対応する値だけを抽出して二次元状に配列した情報である。この点については、上述した静止画ファイル402の場合と同様であるので、説明を省略する。
以上のように、制御部23は、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とを関連付けてメモリカード25に記録する。第1の実施の形態とは異なり、単一の画像ファイル40という形ではないものの、メモリカード25に記録される管理データファイル93と、動画ファイル401と、静止画ファイル402は、管理データファイル93内のレイアウト情報96によって互いに関連付けられている。このような画像ファイルの保存形式を、本明細書では分割保存形式と呼ぶ。
上述した第2の実施の形態による撮像装置によれば、第1の実施の形態と同様の作用効果が得られる。
(第3の実施の形態)
本実施の形態では、上述した第1の実施の形態や第2の実施の形態にて説明した画像ファイル40を生成する撮像装置10を有する遠隔画像撮影システムについて説明する。本実施の形態の遠隔画像撮影システムでは、複数のクライアントからの依頼に応じて撮影者が画像の撮影を行い、撮影した画像をクライアントに送信する。なお、以下では、4人のクライアントによって撮影の依頼が行われる場合を一例に挙げて説明を行う。
図29は、第3の実施の形態の遠隔画像撮像システム700の要部構成を模式的に示すブロック図である。遠隔画像撮像システム700は、撮像装置10と、クライアントAの電子機器711と、クライアントBの電子機器712と、クライアントCの電子機器713と、クライアントDの電子機器714とを備える。なお、以後の説明では、電子機器711〜714を総称する場合には、電子機器710と呼ぶ。撮像装置10と電子機器710とは、通信回線網720を介して接続される。通信回線網720は、例えばインターネット回線や携帯または固定電話回線などの通信回線である。
電子機器710は、例えば通信回路網720に接続し各種情報の送受信が可能なコンピュータ、テレビ、スマートフォンやタブレット等の携帯情報端末などである。また、電子機器710は、通信機能を備えるデジタルカメラであっても良い。各クライアントA〜Dの電子機器711〜714は、画像を撮影する際の撮影条件等、各種の設定に関する情報(以後、設定情報と呼ぶ)や、撮影指示を、通信回路網720を介して撮像装置10へ送信する。また、各クライアントA〜Dの電子機器711〜714は、撮影指示に従って撮像装置10により撮影された画像を、通信回路網720を介して受信する。
撮像装置10は、上述した第1および第2の実施の形態の撮像装置10に通信回路網720を介して情報の送受信をするための通信部101を設けたものである。通信部101は、制御部23の制御に従って通信回路網720と接続する。通信部101は、所定のプロトコルに従って、通信回路網720と接続して、電子機器710からの設定情報や撮影指示を通信回路網720を介して受信する。また、通信部101は、所定のプロトコルに従って、通信回路網720と接続して、生成された画像を通信回路網720を介して電子機器710に送信する。
撮像装置10の制御部23は、撮像制御部231と画像処理部232とを備える。撮像制御部231は、通信部101が受信した設定情報や撮影指示に従って、撮像素子22の各単位グループ32ごとに撮影条件の設定および撮影制御を行う。画像処理部232は、撮像素子22により生成された撮像信号に基づいて、上述した第1および第2の実施の形態にて説明した各種の保存形式の内の少なくとも1つの保存形式を用いて画像ファイル40を生成する。
以下、クライアントA〜Dからの設定情報や撮影指示を例示しながら、撮像素子22に対する撮影条件の設定や撮影制御について説明を行う。
<例1>
図30に、例1において、撮影の対象となる被写体と背景とを模式的に示す。図30(a)では、飛行中の飛行機を被写体S1として撮影する場合を例として示す。この場合、空や雲が背景S2となる。図30(a)に示す撮影の対象を、各クライアントA〜Dは、以下の通りに撮影条件A1〜D1を設定したものとする。
(1)撮影条件A1:被写体S1を適正露出とし、クライアントAが所望する任意のタイミングにて静止画を撮影する。
(2)撮影条件B1:背景S2を適正露出とし、クライアントBが所望する任意のタイミングにて静止画を撮影する。(3)撮影条件C1:ハイダイナミックレンジ(以下、HDR)により被写体S1および背景S2を適正露出とし、クライアントCが所望する任意のタイミングにて静止画を撮影する。
(4)撮影条件D1:背景S2を適正露出として、動画を撮影する。
撮像制御部231は、上記の撮影条件A1〜D1が設定条件として受信されると、図8に示したようにして、撮像素子22の撮像面30において、各ブロック82内の複数の単位グループ32に対して撮影条件A1〜D1を設定する。たとえば、撮像制御部231は、ブロック82の左上の単位グループ23に撮影条件A1を設定し、左下の単位グループ32に撮影条件B1を設定し、右上の単位グループ32に撮影条件C1を設定し、右下の単位グループ32に撮影条件D1を設定する。
撮像制御部231は、電子機器710からの撮影指示が受信されると、撮像素子22に対して撮影動作を行わせて撮像信号を出力させる。この場合、クライアントAの電子機器711からの撮影指示が受信されると、撮像制御部231は、各ブロック82に左上の単位グループ32に対して、撮影条件A1での撮影を行わせ、撮像信号を出力させる。クライアントBの電子機器712からの撮影指示が受信されると、撮像制御部231は、各ブロック82に左下の単位グループ32に対して、撮影条件B1での撮影を行わせ、撮像信号を出力させる。クライアントCの電子機器713からの撮影指示が受信されると、撮像制御部231は、各ブロック82に右上の単位グループ32に対して、撮影条件C1での撮影を行わせ、撮像信号を出力させる。クライアントDの電子機器714からの撮影指示が受信されると、撮像制御部231は、各ブロック82に右下の単位グループ32に対して、撮影条件D1での撮影を行わせ、所定のフレームレートにて撮像信号を出力させる。
撮影条件A1〜D1により撮影される画像PA〜PDを、それぞれ図30(b)〜図30(e)に模式的に示す。なお、図30(b)〜図30(e)では、適正露出により撮影された被写体S1や背景S2に対してドットを付与して示し、アンダー露光となりシルエットが撮影された被写体S1については斜線を付与して示す。
撮影条件A1で撮影されると、図30(b)に示すように、被写体S1を適正露出とすることにより、空や雲等の背景S2がオーバー露光となった画像PAが生成される。撮影条件B1で撮影されると、図30(c)に示すように、背景S2を適正露出とすることにより、被写体S1はアンダー露光となりシルエットとなった画像PBが生成される。撮影条件C1で撮影されると、図30(d)に示すように、被写体S1および背景S2が適正露出となった画像PCが生成される。撮影条件D1で撮影されると、図30(e)に示すように、背景S2が適正露出となり被写体S1がシルエットとなった画像PDが動画として生成される。上記の画像PA〜PDは、撮像素子22の撮像面30上の全ての画素を用いて撮影した場合と比較して、同一の画角、構図の画像となるが、解像度がそれぞれ1/4の画像となる。
画像処理部232は、撮像素子22から出力された撮像信号を用いて、たとえば、第2の実施の形態にて説明した一括保存形式や分割保存形式により画像ファイル40を生成する。たとえば分割保存形式にて生成された画像ファイル40のうち、画像PAに対応する静止画ファイル402は、通信部101を介してクライアントAの電子機器711に送信される。生成された画像ファイル40のうち、画像PBに対応する静止画ファイル402は、通信部101を介してクライアントBの電子機器712に送信される。生成された画像ファイル40のうち、画像PCに対応する静止画ファイル402は、通信部101を介してクライアントCの電子機器713に送信される。生成された画像ファイル40のうち、画像PDに対応する動画ファイル401は、通信部101を介してクライアントDの電子機器714に送信される。なお、上述した例1において、動画を撮影している際には、画像PDに対応する画像データが順次、通信部101を介してクライアントDの電子機器714に送信されてもよい。
例1にて説明した遠隔画像撮影システム700では、各クライアントA〜Dからの異なる撮影要求(すなわち設定条件や撮影指示)に対して、それぞれの撮影要求に応じて撮影条件の設定や変更、撮影開始と終了を行うことができる。これにより、各クライアントA〜Dのそれぞれが所望する撮影条件により撮影される異なる画像を、1台の撮像装置10を用いて生成することができる。
<例2>
例2においては、制御部23は、撮像装置10から電子機器710へ画像ファイル40を送信する際のタイミングを制御する。以下、各クライアントA〜Dから動画の撮影の指示が無い場合と、動画の撮影の指示が有る場合とについて説明する。
−動画の撮影指示が無い場合−
動画の撮影指示が無い場合の例として、図30(a)に示す撮影の対象を、各クライアントA〜Dは、以下の通りに撮影条件A2〜D2を設定したものとする。
(1)撮影条件A2:被写体S1を適正露出とし、クライアントAが所望する任意のタイミングにて静止画を撮影する。
(2)撮影条件B2:背景S2を適正露出とし、クライアントBが所望する任意のタイミングにて静止画を撮影する。
(3)撮影条件C2:ハイダイナミックレンジ(以下、HDR)により被写体S1および背景S2を適正露出とし、クライアントCが所望する任意のタイミングにて静止画を撮影する。
(4)撮影条件D2:背景S2を適正露出として、所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影(タイムラプス撮影)を行う。
この例の場合には、上記の例1の場合と同様に、各クライアントA〜Dの電子機器711〜714からの撮影指示を受信するごとに、撮像制御部231は撮像素子22を制御して撮像信号を出力させ、画像処理部232は画像ファイル40を生成する。制御部23は、通信部101を制御して、生成した画像ファイル40を、撮影指示を送信した電子機器710に送信させる。
−動画の撮影指示が有る場合−
動画の撮影指示が有る場合には、制御部23は、通信部101を制御して、生成した画像ファイル40を、生成する動画のフレームレートに応じたタイミングで電子機器710に送信する。
まず、動画の撮影指示が有る場合の第1の例として、図30(a)に示す撮影の対象を、各クライアントA〜Dは、以下の通りに撮影条件A3〜D3を設定したものとする。
(1)撮影条件A3:フレームレート120fpsにて動画を撮影する。
(2)撮影条件B3:フレームレート60fpsにて動画を撮影する。
(3)撮影条件C3:被写体S1を適正露出、低感度、低速シャッタ速度にて静止画を撮影する。
(4)撮影条件D3:所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影(タイムラプス撮影)を行う。
この場合、制御部23は、通信部101を制御して、最速のフレームレート(すなわち撮影条件A3の120fps)の動画に対応する動画ファイル401を送信するタイミングで、他の撮影条件B3〜D3で撮影され、生成された動画ファイル401や静止画ファイル402を電子機器710に送信する。すなわち、通信部101は、撮影条件A3で1フレームの動画ファイル401が生成されるタイミングである1/120[s]ごとに画像ファイル40を電子機器710に送信する。
この場合、撮影条件B3で生成される1フレームの動画ファイル401は1/60[s]ごとに生成されるので、通信部101は、画像ファイル40を送信する2回のタイミングのうちの1回で撮影条件B3の動画ファイル401を送信する。撮影条件C3またはD3にて生成された静止画ファイル402は、生成された後、通信部101が画像ファイル40を送信するタイミングになるまでDRAM27等の記憶媒体に一時的に格納される。通信部101は、画像ファイル40を送信するタイミングで、これらの静止画ファイル402を電子機器710に送信する。なお、静止画ファイル402が生成されたタイミングと、撮影条件A3で生成された動画ファイル401のタイミングとが揃った場合には、静止画ファイル402はDRAM27に格納されることなく、通信部101によって電子機器710に送信される。
次に、動画の撮影指示が有る場合の第2の例として、図30(a)に示す撮影の対象を、各クライアントA〜Dは、以下の通りに撮影条件A4〜D4を設定したものとする。
(1)撮影条件A4:フレームレート60fpsにて動画を撮影する。
(2)撮影条件B4:フレームレート50fpsにて動画を撮影する。
(3)撮影条件C5:被写体S1を適正露出、低感度、低速シャッタ速度にて静止画を撮影する。
(4)撮影条件D5:所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影(タイムラプス撮影)を行う。
この場合、制御部23は、通信部101を制御して、最速のフレームレート(すなわち撮影条件A4の60fps)の動画に対応する動画ファイル401を送信するタイミングで、他の撮影条件B3〜D3で撮影され、生成された動画ファイル401や静止画ファイル402を電子機器710に送信する。すなわち、通信部101は、撮影条件A4で1フレームの動画ファイル401が生成されるタイミングである1/60[s]ごとに画像ファイル40を電子機器710に送信する。
この場合、撮影条件B4で生成される1フレームの動画ファイル401は1/50[s]ごとに生成される。生成された後、通信部101が撮影条件A4で生成された動画ファイル401を送信するタイミングになるまでDRAM27等の記憶媒体に一時的に格納される。通信部101は、撮影条件A4の動画ファイル401を送信するタイミングで、撮影条件B4の動画ファイル401を電子機器710に送信する。撮影条件C4またはD4にて生成された静止画ファイル402については、第1の例の場合と同様に、生成された後、通信部101が撮影条件A4の動画ファイル401を送信するタイミングになるまでDRAM27等の記憶媒体に一時的に格納される。通信部101は、撮影条件A4の動画ファイル401を送信するタイミングで、これらの静止画ファイル402を電子機器710に送信する。なお、静止画ファイル402が生成されたタイミングと、撮影条件A4で生成された動画ファイル401のタイミングとが揃った場合には、静止画ファイル402はDRAM27に格納されることなく、通信部101によって電子機器710に送信される。なお、上述した例2においても、動画を撮影している際には、画像データが順次、通信部101を介してクライアントDの電子機器714に送信されてもよい。
<例3>
遠隔画像撮影システム700では、クライアント数に応じて撮像装置10の撮像素子22を単位グループ32に分割すると、生成される各クライアントごとの画像の解像度が低下する。例3の遠隔画像撮影システム700の撮像装置10では、撮影を指示するクライアント数を、各クライアントが所望する要求解像度を満たすことが可能な範囲内に制限する。たとえば、撮像素子22の解像度が8K(7680×4320)の場合に、クライアントが所望する要求解像度がフルハイビジョン(FHD)の解像度(1920×1080)であるとすると、制御部23は、クライアント数を16に制限する。また、クライアントが所望する要求解像度が4K解像度(3840×2160)であるとすると、制御部23は、クライアント数を4に制限する。すなわち、4人のクライアントA〜Dからの撮影指示に従って要求解像度4Kで撮影を行っている際に、新たなクライアントから撮影の指示があったとしても、制御部23はその新たなクライアントからの撮影指示を受け付けないようにする。
例3にて説明した遠隔画像撮影システム700では、各クライアントA〜Dが要求する解像度を満たした状態で、各クライアントA〜Dからの異なる撮影要求に対して、それぞれの撮影要求に応じて撮影条件の設定や変更、撮影開始と終了を行うことができる。
なお、通信回路網720の通信回線速度により電子機器710に送信可能な解像度による制限を付加しても良い。
<例4>
例4においては、異なる画像を撮影可能なクライアント数の上限以上のクライアントから設定指示が行われた場合について説明する。以下の説明では、クライアントA〜Dからの設定指示に従って撮像装置10が備える撮像素子22の単位グループ32に撮影条件が割り当てられた後に、さらにクライアントEの電子機器715から設定指示が送信された場合を例に挙げて説明する。この場合の例として、図30(a)に示す撮影の対象を、各クライアントA〜Eは、以下の通りに撮影条件A5〜E5を設定したものとする。
(1)撮影条件A5:フレームレート60fpsにて動画を撮影する。
(2)撮影条件B5:被写体S1を適正露出にて、クライアントBが所望する任意のタイミングで静止画を撮影する。
(3)撮影条件C5:自動露出制御にて、クライアントCが所望する任意のタイミングで静止画を撮影する。
(4)撮影条件D5:背景S2を適正露出にて、所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影(タイムラプス撮影)を行う。
(5)撮影条件E5:自動露出制御にて、クライアントEが所望する任意のタイミングで静止画を撮影する。
上記の各撮影条件A5〜E5のうち、撮影条件C5と撮影条件E5とは静止画を撮影するタイミング以外、すなわち自動露出制御をする点で一致するので、類似する撮影条件と見なすことができる。この場合、撮像制御部231は、撮影条件E5を撮影条件C5に統合する。撮像制御部231は、撮影条件C5での撮影に利用する単位グループ32を撮影条件E5での撮影にも利用する。すなわち、撮像制御部231は、クライアントCの電子機器713から撮影指示を受信した場合と、クライアントEの電子機器715から撮影指示を受信した場合とで、同一の単位グループ32に撮影動作を行わせる。
なお、撮影条件C5とE5とを統合する場合には、クライアントEに対して、クライアントCの撮影に用いる単位グループ32を利用してクライアントEからの撮影指示を実行する旨を報知すると良い。この場合、制御部23は、通信部101を制御して、撮影条件の統合に関する情報をクライアントEの電子機器715に送信する。電子機器715は、撮影条件の統合に関する情報を受信した場合には、たとえば、モニタを備える場合にはモニタにメッセージを表示し、スピーカーを備える場合にはスピーカーからメッセージを出力することにより、クライアントEに撮影条件が統合される旨を報知すれば良い。
撮影条件C5とE5とが統合された場合、クライアントCからの撮影指示に応じて出力された撮像信号から画像処理部232が静止画ファイル402を生成すると、制御部23は、通信部101を制御して、その静止画ファイル402をクライアントCの電子機器713へ送信する。クライアントEからの撮影指示に応じて出力された撮像信号から画像処理部232が静止画ファイル402を生成した場合には、制御部23は、通信部101を制御して、その静止画ファイル402をクライアントEの電子機器715へ送信する。
なお、撮像素子22の単位グループ23に撮影条件が設定される前に、クライアントCの電子機器713からの設定指示と、クライアントEの電子機器715からの設定指示とを受信した場合には、撮像制御部231は、先に受信した設定指示を優先して単位グループ32に撮影条件を割り当てる。また、撮影条件Cに従って撮像素子22の撮影が行われている最中や、静止画ファイル402が生成されている最中にクライアントEの電子機器715から設定指示を受信した場合には、通信部101による静止画ファイル402のクライアントCの電子機器713への送信が終了した後に、撮像制御部231は撮影条件の統合を行う。
また、上記の説明では、撮像制御部231がクライアントEの撮影条件E5と統合する撮影条件を自動的に決定したが、クライアントE自身が統合する撮影条件をA5〜D5の中から選択可能にしても良い。この場合、制御部23は、通信部101を制御して、撮影条件A5〜D5の内容を示す情報をクライアントEの電子機器715に送信する。クライアントEの電子機器715は、受信した撮影条件A5〜D5の内容を示す情報を、たとえばモニタ等に表示する。クライアントEは、たとえば操作ボタンやタッチパネル等の操作部材を操作することにより、表示された撮影条件A5〜D5の中から何れかの撮影条件を選択する。クライアントEによる撮影条件の選択が行われると、電子機器715は選択された撮影条件を撮像装置10に送信する。撮像制御部231は、受信した撮影条件をクライアントEの撮影条件E5と統合する。
なお、上述した説明では、静止画の撮影に対する撮影条件を統合する場合を例に挙げて説明したが、動画の撮影に対する撮影条件を統合しても良い。この場合の例として、図30(a)に示す撮影の対象を、各クライアントA〜Dが以下の通りに撮影条件A6〜D6を設定した後に、クライアントEが以下の撮影条件E6を設定したものとする。
(1)撮影条件A6:EV値±0にて、フレームレート60fpsで動画を撮影する。なお、シャッタースピードは1/120を許容する。
(2)撮影条件B6:被写体S1を適正露出にて、クライアントBが所望する任意のタイミングで静止画を撮影する。
(3)撮影条件C6:自動露出制御にて、クライアントCが所望する任意のタイミングで静止画を撮影する。
(4)撮影条件D6:背景S2を適正露出にて、所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影(タイムラプス撮影)を行う。
(5)撮影条件E6:EV値−0.3EVにて、フレームレート60fpsで動画を撮影する。
上記の各撮影条件A6〜E6のうち、撮影条件C6と撮影条件E6とは動画を撮影する際の露出条件が異なる。この場合、撮像制御部231は、撮影条件E6を撮影条件C6に統合し、撮影条件C6での撮影に利用する単位グループ32を撮影条件E6での撮影にも利用する。撮像制御部231は、動画を撮影する際のフレームレートを120fpsに設定し、第2nフレーム(nは正の整数)では、クライアントCの撮影条件C6に従ってEV値を±0に設定し、第(2n+1)フレームでは、クライアントEの撮影条件E6に従ってEV値を−0.3EVに設定して、動画を撮影する。これにより、撮影条件C6で撮影された動画と、撮影条件E6で撮影された動画とが交互に、すなわちフレームレート60fpsで生成される。
例4にて説明した遠隔画像撮影システム700では、クライアント数が上限数を超える場合であっても、要求する撮影条件のうち類似する撮影条件同士を統合して撮影を行うことができる。
<例5>
例5においては、複数のクライアントA〜Dのうち少なくとも1人のクライアントから絞りの変更が要求された場合について説明する。以下の説明では、クライアントAの撮影条件A7に絞りの変更が含まれる場合を例に挙げる。この場合、他のクライアントB〜Dの撮影条件B7〜D7に、絞りの変更禁止が含まれているか否かに応じて撮像制御部231の処理が異なる。
撮影条件B7〜D7に絞りの変更禁止が含まれている場合には、撮像制御部23は、クライアントAからの撮影条件A7に従った撮影を行わない。すなわち、撮像制御部23は、撮影条件A7による撮影の要求を却下する。
撮影条件B7〜D7に絞りの変更禁止が含まれていない場合には、撮像制御部23は、クライアントAの撮影条件A7に従って絞り(不図示)を駆動させる。クライアントB〜Dからの撮影指示に対しては、撮像制御部231は、撮影条件B7〜D7で要求される露出となるように、ISO感度やシャッタースピードを変更後の絞りに応じて変更する。なお、絞りの変更によりクライアントB〜Dが所望するボケ具合とは異なるボケ具合の画像となる場合には、画像処理部232により生成された画像に対して画像処理を施すことによりボケ具合を補正する。
なお、撮影条件B7〜D7に動画の撮影が含まれる場合には、撮像制御部231は、要求されているフレームレートに対してシャッタースピードが極端に速くならないように、撮影条件A7の絞りの変更に制限を加えてもよい。たとえば、フレームレートが60fpsの場合には、撮像制御部231は、シャッタースピードが1/60[s]〜1/240[s]の範囲内となるように絞りの変更を制限してよい。
例5にて説明した遠隔画像撮影システム700では、複数の撮影条件の中に撮像装置10の絞りの変更を含む場合であっても、複数の異なる撮影条件が設定された複数の画像を1つの撮像装置10で撮影することができる。
<例6>
例6では、クライアントの撮像条件に含まれる解像度が異なる場合に、解像度に応じて各撮影条件に設定する単位ブロック32の個数を異ならせる。この場合の例として、図30(a)に示す撮影の対象を、各クライアントA、Bは、以下の通りに撮影条件A8、B8を設定したものとする。
(1)撮影条件A8:フレームレート60fpsで動画を撮影する。
(2)撮影条件B8:高解像度で静止画を撮影する。
撮像制御部231は、上記の撮像条件A8、B8が設定条件として受信されると、撮像素子22の撮像面30において、各ブロック82内の4個の単位グループ32に対して撮影条件A8、B8を設定する。たとえば、撮像制御部231は、ブロック82の4個の単位グループ32のうち1個の単位グループ32(たとえば左上の単位グループ23)に撮影条件A8を設定する。撮像制御部231は、ブロック82の4個の単位グループ32のうち他の3個の単位グループ32に撮影条件B8を設定する。
なお、画像処理部232は、撮影条件B8が設定された単位グループ32からの撮像信号を用いて静止画を生成する場合には、ブロック82の左上の単位グループ32に対応するデータを周囲の単位グループ32に対応するデータから補間処理を行うことにより生成してよい。また、撮影条件A8による動画の撮影のタイミングと、撮影条件B8による静止画の撮影のタイミングが一致した場合には、画像処理部232は、動画の撮影に用いられたブロック82の左上の単位グループ32のデータを高解像度の静止画を生成するためのデータとして使用してよい。
例6にて説明した遠隔画像撮影システム700では、クライアントが設定した撮影条件に基づいて各撮影条件を設定する撮像素子22の単位グループ32の個数を異ならすことができるので、クライアントが所望する解像度を有する複数の異なる画像を1つの撮像装置10にて生成することができる。
<例7>
例7の遠隔画像撮影システム700では、同一の画像を本撮影する前に、画像内の複数の領域を複数のクライアントで分担して露出調整等を行うことにより撮影条件を設定し、設定した撮影条件にて本撮影を行う。以下の説明では、1つの画像に対して3人のクライアントA、B、Cが分担して撮影条件を設定する場合を例に挙げる。
例7では、図31(a)に示す画像Pに対して、図31(b)に示すように画像P内を領域S3(人物の顔に対応する領域)、領域S4(人物の顔以外に対応する領域)、領域S5(背景に対応する領域)の3つに分割する例を用いて説明する。画像P内の領域S3に対してクライアントAが撮影条件A9を設定し、領域S4に対してクライアントBが撮影条件B9を設定し、領域S5に対してクライアントCが撮影条件C9を設定する場合を説明する。
撮像制御部231は、単位グループ32ごとに異なる撮影条件を設定することなく撮像素子22に撮影動作を行わせ、撮像信号を出力させる。画像処理部232は、出力された撮像信号を用いて、クライアントA、B、C用に3つの同一の画像、すなわち図31(a)に示す画像Pを生成し、通信部101は、画像PをクライアントA〜Cの電子機器711〜713にそれぞれ送信する。
各電子機器711〜713は、受信した画像Pをモニタ等に表示する。クライアントA〜Cは、モニタに表示された画像を確認しながら、それぞれが担当する領域S3〜S5に対して個別に露出調整をする。この場合、電子機器711は、たとえば公知の顔認識や物体認識等の被写体領域認識処理を用いて、画像Pから領域S3を抽出する。電子機器712は、被写体領域認識処理を用いて、画像Pから領域S4を抽出する。電子機器713は、被写体認識処理を用いて、画像Pから領域S5を抽出する。
各クライアントA〜Cは、画像全体の輝度変化等の状況を確認しながら、担当する領域S3〜S5の露出調節をする。クライアントAにより調整された領域S3の露出を表す各種のパラメータは領域S3と関連付けされて電子機器711により撮影条件Aとして送信される。クライアントBにより調整された領域S4の露出を表す各種のパラメータは領域S4と関連付けされて電子機器712により撮影条件Bとして送信される。クライアントCにより調整された領域S5の露出を表す各種のパラメータは領域S5と関連付けされて電子機器714により撮影条件Cとして送信される。
撮像制御部231は、通信部101が撮影条件A〜Cを受信すると、撮像素子22の撮像面30のうち領域S3〜S5に対応する位置の単位グループ32に対して、受信した撮影条件A〜Cを設定する。撮像制御部231は、受信した撮影指示に従って、撮像素子22に撮影動作を行わせ、撮像信号を出力させる。画像処理部232は、出力された撮像信号を用いて画像ファイル40を生成する。
なお、各クライアントA〜Cによる領域S3〜S5ごとの露出調整が過度となりすぎないように、調整可能な量に制限を設けてもよい。たとえば、上述した例において、人物の顔に相当する領域S3に対する調整可能な量を、人物の顔以外の部分に相当する領域S4に対する露出の+2/3EVに制限してよい。
図31に示す例では、1人の人物が撮影される画像に対して、複数のクライアントが露出を調整する場合を説明したが、複数の人物が撮影される画像に対して、複数のクライアントのそれぞれが撮影対象となる異なる人物の露出を調整してもよい。この場合について、以下で説明を行う。
図32(a)は、一例として3人の人物が撮影される画像Pを示し、図32(b)は、画像P内を領域S6(図の紙面左側の人物に対応する領域)、領域S7(図の中央の人物に対応する領域)、領域S8(図の紙面右側の人物に対応する領域)、背景領域S9の4つに分割したものとする。画像P内の領域S6に対してクライアントAが撮影条件A10を設定し、領域S7に対してクライアントBが撮影条件B10を設定し、領域S8に対してクライアントCが撮影条件C10を設定する場合を説明する。
上述した場合と同様にして、各クライアントA〜Cの電子機器711〜713は、同一の画像Pをそれぞれ受信すると、受信した画像ファイルの画像をモニタ等に表示する。クライアントA〜Cは、モニタに表示された画像を確認しながら、それぞれが担当する領域S6〜S8に対して個別に露出調整をする。この場合も、電子機器711は、たとえば公知の顔認識や物体認識等の被写体領域認識処理を用いて、画像Pから領域S6を抽出する。電子機器712は、被写体領域認識処理を用いて、画像Pから領域S7を抽出する。電子機器713は、被写体認識処理を用いて、画像Pから領域S8を抽出する。
各クライアントA〜Cは、画像全体の輝度変化等の状況を確認しながら、担当する領域S6〜S8の露出調節をする。クライアントAにより調整された領域S6の露出を表す各種のパラメータは領域S6と関連付けされて電子機器711により撮影条件Aとして送信される。クライアントBにより調整された領域S7の露出を表す各種のパラメータは領域S7と関連付けされて電子機器712により撮影条件Bとして送信される。クライアントCにより調整された領域S8の露出を表す各種のパラメータは領域S8と関連付けされて電子機器714により撮影条件Cとして送信される。以後、上述した場合と同様にして、撮像制御部231による単位グループ32への撮影条件の設定と、撮像素子22による撮影動作とが行われ、画像処理部232により画像ファイル40が生成される。
または、画像Pを図32(c)に示すように人物に対応する領域S6〜S8を、さらに顔に対応する領域S61〜S81と、顔以外に対応する領域S61〜S82とに分割してもよい。この場合、各クライアントA〜Cは、領域S61〜S81、すなわち人物の顔が所望する露出となるように、領域S61〜S81と領域S62〜82とのそれぞれに対して露出調整を行うことができる。なお、人物の顔に対応する領域S61〜S81の露出調整を行うことにより、調整後の領域S61〜S81の露出に応じて、人物の顔以外に対応する領域S62〜S82の露出が自動的に調整されてもよい。また、人物の顔以外に対応する領域S62〜S82の露出調整を行うことにより、調整後の領域S62〜S82の露出に応じて、人物の顔に対応する領域S61〜S81の露出が自動的に調整されてもよい。
図32を用いて説明した例において、撮像装置10で生成された画像にクライアントA〜Cが露出調整を所望する人物の顔が含まれている場合に、クライアントA〜Cと領域S6〜S8とを自動的に関連付けてもよい。この場合、クライアントA〜C側の電子機器711〜713が、露出調整の対象として所望する人物の顔に関する情報、たとえば顔画像を予め有する。電子機器711〜713は、たとえば公知のテンプレートマッチング等を用いて受信した画像上で顔画像を検出する。
なお、上述した画像遠隔撮影システム700を、たとえば監視カメラを有する監視システムとして用いることができる。この場合、複数のクライアントは、たとえば、警備会社と監視カメラを設置した家の家主とである。警備会社と家主とは、生成される画像のうちそれぞれ監視対象として注視したい範囲がことなることが考えられる。この場合に、警備会社と家主とは、それぞれが注視したい範囲に対して所望する画像が得られるように、異なる撮影条件を設定することが可能になる。
また、上述した画像遠隔撮影システム700は、撮像装置10と電子機器710とが通信回路網720を介して画像や各種情報の送受信を行うものとして説明したが、この例に限定されない。たとえば、画像遠隔撮影システム700は、通信回路網720と接続されて画像や情報の送受信を行うサーバ装置を有してもよい。この場合、撮像装置10と電子機器710との間で、サーバ装置を経由して画像や各種情報の送受信を行う。また、撮像装置10で出力された撮像信号を用いて、サーバ装置が、画像処理部232と同様にして、画像ファイル40を生成してもよい。
例7における遠隔画像撮影システム700では、1つの画像Pの複数の領域S6〜S8ごとに異なるクライアントにて露出調節を行って各領域S6〜S8に対する撮影条件を設定して撮影を行うことができる。これにより、撮影条件の設定のために要する作業を複数のクライアントで分担可能になり、作業効率の向上に寄与することができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
第1の実施の形態では、第1の画像情報641や第2の画像情報642を、画像ファイル40の再生時に作成すると説明したが、これを予め画像ファイル40に記録するようにしてもよい。換言すると、第2の実施の形態では、大グループ81ごとに別々のサブディレクトリ94に別々のファイルとして記録していた動画や静止画を、単一の画像ファイル40に記録するようにしてもよい。この場合、画像ファイル40内に記録される1フレーム分のデータは、それぞれ1つの大グループ81に対応するものとなる。
例えば、第2の実施の形態において2つのファイルに分けて記録されていた2つの動画(第1の動画と第2の動画)を、単一の画像ファイル40に記録する場合を考える。このとき、データ部42の先頭から順に、第1の動画の1フレーム目、2フレーム目、3フレーム目、…に関するデータを時系列順に記録し、その後に、第2の動画の1フレーム目、2フレーム目、3フレーム目、…に関するデータを時系列順に記録することができる。このようにすると、再生処理の負荷を低減することができる。
また、これとは異なる記録方法として、第1の動画の各フレームに関するデータと、第2の動画の各フレームに関するデータとを、各フレームの時系列順に記録することもできる。つまり、第1の動画の1フレーム目、第2の動画の1フレーム目、第1の動画の2フレーム目、…のように、2つの動画の各フレームが撮像の時系列順に配列された形で記録されていてもよい。このようにすると、記録処理の負荷を低減することができる。
上記のように、第1の画像情報641や第2の画像情報642等をそれぞれ画像ファイル40に記録する場合には、以下のような記録方式とすることにより、マスク情報62bを削減することができる。なお、以下の説明においては、図14に示すようにして混合撮像機能にて画像ファイル40が生成された場合を例に挙げて説明を行う。また、図26に、このときに生成される画像ファイル40の構造を模式的に示す。なお、1フレーム分のデータ、即ち1つのブロック70と1つの音声情報との組を、便宜上、フレームデータ7と呼ぶ。
画像ファイル40には、1〜4の大グループ81に対応する画像情報64を含むフレームデータ7が、時系列順に個別に記録される。なお、各々のフレームデータ7に含まれるTv値マップ65等についても、当然に、各々の画像情報に対応する状態であるものとする。図14に示す混合撮像機能にて撮像が行われた場合では、第1フレーム目で撮像された画像情報64(即ち第1の画像情報641)が1番目のフレームデータ7としてデータ部42に記録される。第2フレーム目で撮像された画像情報64(即ち第1の画像情報641と第2の画像情報642)とがそれぞれ2番目、3番目のフレームデータ7として記録される。第3フレーム目で撮像された画像情報64(即ち第1の画像情報641、第2の画像情報642、第3の画像情報643)がそれぞれ4番目、5番目、6番目のフレームデータ7として記録される。
図26に、生成された画像ファイル40の構造を模式的に示す。上記のようにして画像情報64が記録される際に、各フレームデータ7にはマスク情報62bに代えて、上述したヘッダ部41のマスク部44に記録された識別情報60として割り当てられた一意な番号に対応する画像識別情報621と、次フレームデータ7の記録位置を示す次画像アドレス622とが記録される。即ち、図27に画像ファイル40のデータ部42のみを模式的に示した場合のように、第1番目および第2番目のフレームデータ7の画像識別情報621には第1の画像情報641であることを表す「1」の番号が記録される。第3番目のフレームデータ7の画像識別情報621には、第2の画像情報642であることを表す「2」の番号が記録される。この結果、実施の形態の場合のように、マスク情報62bをデータ部42に記録する場合と比較して、記録領域のサイズを削減することができる。
なお、次画像アドレス622として、次フレームデータ7の記録位置を示すものに代えて、同一の画像識別情報621を有する次画像が記録されたフレームデータ7の記録位置を示すものでも良い。
上記のような画像ファイル40を再生する場合には、制御部23は、データ部42の画像識別情報621と次画像アドレス622とを参照しながら、再生すべき画像情報64を検索する。図27において、画像情報642を検索する場合には、制御部23は、第1番目のフレームデータ7の画像識別情報621を参照して画像情報642ではないことを判断し、次画像アドレス622を参照して第2番目のフレームデータ7にスキップする。第2番目のフレームデータ7における画像識別情報621も画像情報642ではないことを示しているので、制御部23は、次画像アドレス622を参照して第3番目のフレームデータ7にスキップする。第3番目のフレームデータ7の画像識別情報621には画像情報642が記録されていることを示す番号「2」が記録されているので、制御部23は、このフレームデータ7から画像情報642を読み込む。従って、画像を読み出す際に、所望の画像とは異なる画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、Av値情報68をスキップできるので、所望の画像を検索するために要する時間を短縮できる。
(変形例2)
第1の実施の形態の説明において、動画撮像機能B、および混合撮像機能により作成される画像ファイル40のデータ部42には、画像情報64や各種のマップ情報が、撮像素子22における単位グループ32の配列通りに記録されると述べた。これを、単位グループ32の配列とは異なる配列にして記録してもよい。以下、この点について詳述する。
図19は、変形例2の説明図である。ここでは、図8(b)と同様に、単位グループ32を4つの大グループ81に分類している。ただし、その後に制御部23が生成する画像情報64は、単位グループ32の配列通りに撮像信号を配列したものではない。具体的には、大グループ81ごとに撮像信号を集約した後に、それらを連結することにより、画像情報64を生成している。例えば、画像情報64を2×2の4つの領域に区切ったとき、左上の領域には、1番目の大グループ81に属する単位グループ32からの撮像信号が集約され、左下の領域には、2番目の大グループ81に属する単位グループ32からの撮像信号が集約され、右上の領域には、3番目の大グループ81に属する単位グループ32からの撮像信号が集約され、右下の領域には、4番目の大グループ81に属する単位グループ32からの撮像信号が集約されている。
なお、以上のように、画像情報64における撮像信号の配列を変更する場合には、Tv値マップ65やSv値マップ66、マスク情報62等の配列も、これに合わせて変更する必要がある。
また、これ以外の方法で、画像情報64の配列を変更してもよい。つまり、画像ファイル40内において、画像情報64内の配列と、その他の撮像条件に関する情報(マスク情報62等)内の配列とが対応してさえいれば、その配列自体はどのようなものであってもよい。
(変形例3)
動画撮像機能Bないし混合撮像機能において、フレームごとに単位グループ32の用途を変化させてもよい。例えば図20に示すように、奇数フレームでは単位グループ32が1〜4番目の大グループ81にそれぞれ分類されるようにし、撮像条件が異なる4つの画像情報641、642、643、644を含む画像情報64が得られるようにする。そして、偶数フレームでは単位グループ32が5番目の大グループ81にのみ分類されるようにし、単一の画像情報64のみが得られるようにする。つまり、撮像条件が異なり画素数が相対的に少ない複数の画像と、画素数が相対的に多い単一画像とを、時分割的に撮像してもよい。また、上述した変形例1や変形例2にこの変形例3を適用することもできる。
(変形例4)
動画撮像機能Bないし混合撮像機能において、1つの単位グループ32が複数の用途を有するようにしてもよい。例えば図21に示すように、単位グループ32が1〜4番目の大グループ81にそれぞれ分類され、且つ、全ての単位グループ32が5番目の大グループ81にも分類されるようにしてもよい。この場合、前者の分類に従って画像ファイル40の再生(現像等)を行うと、4つの画像情報641、642、643、644を含む画像情報64が得られ、後者の分類に従って画像ファイル40の再生(現像等)を行うと、より画素数が多い単一の画像情報64が得られることになる。
(変形例5)
静止画撮像機能Bの説明において、マスク情報62上で「0」という番号が割り振られている単位グループ32は、撮像に利用されておらず、データ部42に記録されている画像情報64には、その単位グループ32に関する情報が含まれていないことを表すと述べたが、静止画撮像機能Aや動画撮像機能Aにおいても、「0」という番号が同様の意味を持つようにしてもよい。
また、ヘッダ部41のマスク情報62において、「0」という番号が撮像に利用されていないことを表すものとしてもよい。例えば、静止画撮像機能Bや動画撮像機能Bにおいて、撮像画面全体を2×2の4つの単位グループ32で区切って、それら4つの単位グループ32にそれぞれ異なる用途を割り当てる場合、単位グループ32の縦方向の数(行数)が奇数であれば、1行だけ余りの行が生じることになる。このような場合に、その余りの1行を撮像に用いないこととして、ヘッダ部41に記録するマスク情報62では、その余りの1行に「0」という番号を割り当てることとしてもよい。
なお、上述した「0」という番号は一例であって、他の番号を、上述した「0」という番号と同様の扱いとしてもよい。
(変形例6)
画像ファイル40の構造は、上述した各実施の形態と異なっていてもよい。また、画像ファイル40に記録される撮像条件に関する情報は、第1の実施の形態等で説明した情報と異なっていてもよい。例えば、Sv値マップ66など、一部の情報の記録を省略してもよい。逆に、上述したものとは別の情報を更に追加してもよい。また、記録形態は上述した実施形態と異なっていてもよい。例えば、Av値情報68を、Tv値やSv値等と同様に、単位グループ32ごとのAv値を二次元状に配列したAv値マップとして記録してもよい。
データ部42に、上述した種々の情報とは異なる情報を更に記録してもよい。例えば、周知の測距技術により測定された被写体までの距離情報をデータ部42に記録してもよい。また、この距離情報は、単位グループ32ごとに測定された被写体までの距離を二次元状に配列した、いわゆるデプスマップであってもよい。別の例としては、撮像光学系21の状態(例えば焦点距離等)に関する情報を記録することもできる。また、これらの情報が動画の撮影中に変化することを考慮して、これらの情報をフレームごとに記録してもよい。
または、マスク情報62の記録を省略しても良い。この場合、制御部23は、再生時に、Tv値マップ65や、Sv値マップ66や、Bv値マップ67を用いて、マスク情報62に相当する各々の単位グループ32の用途(目的、役割)を表す情報(マスク相当情報)を生成する。例えば、制御部23は、Tv値マップ65および/またはSv値マップ66を参照する。制御部23は、参照したTv値マップ65上において、同一のシャッタースピードが格納された座標(x、y)を同一の領域と見なす。
例えば、図28(a)に示すように、Tv値マップ65において、シャッタースピードが互いに異なる領域R1とR2とが存在する場合、制御部23は、領域R1とR2とに対応する撮像画面50上のそれぞれの領域が主要被写体領域52と背景領域53とに相当すると判断する。例えば領域1におけるシャッタースピードが領域2のシャッタースピードよりも高速の場合には、制御部23は、領域R1に対応する撮像画面50上の領域を主要被写体領域52と見なし、領域R2に対応する撮像画面50上の領域を背景領域53と見なす。そして、制御部23は、図28(b)に示すマスク相当情報63を生成する。図28(b)においては、主要被写体52に含まれる単位グループ32の位置には「1」が、背景領域53に含まれる単位グループ32の位置には「2」がそれぞれ格納される。
なお、Sv値マップ66を用いる場合には、制御部23は、同一のISO感度が格納された座標(x、y)を同一の領域と見なして、同様にしてマスク相当情報63を生成することができる。Tv値マップ65およびSv値マップ66の両方を用いる場合には、制御部23は、同一のシャッタースピードが格納された座標と同一のISO感度とが格納された座標とを同一の領域と見なすことができるので、領域の分割を詳細に行うことができる。また、制御部23は、Tv値マップ65および/またはSv値マップ66に加えてBv値マップ67を参照することにより、被写体輝度の分布を領域の分割に用いることができるので、さらに領域の分割精度を向上させることができる。
さらに、制御部23は、Bv値マップ67を参照してマスク相当情報63を生成しても良い。この場合、制御部23は、所定の範囲内の被写体輝度が格納された座標(x、y)を同一の領域と見なして、上述した場合と同様にしてマスク相当情報63を生成する。上述した距離情報、即ちデプスマップが記録されている場合には、制御部23は、デプスマップとBv値マップ67とを用いてマスク相当情報63を生成することができる。この場合、制御部23は、Bv値マップ67を参照して同一の領域に分割された領域内のうち、同一の被写体距離が格納された座標(x、y)を同一の領域と見なして、マスク相当情報63を生成する。例えば、被写体輝度が低い領域について、黒い色をした被写体自体に対応する領域とその被写体の影に対応する領域とを分割することができる。
以上のようにして、制御部23は、画像ファイル40にマスク情報62が記録されていない場合であっても、再生時に撮像条件に基づいてマスク相当情報を生成することができる。従って、画像ファイル40にマスク情報62を記録する必要が無くなり、画像ファイル40が占有する記録領域を削減できる。
なお、以上の説明では、Tv値マップ65や、Sv値マップ66や、Bv値マップ67を用いて、静止画撮像機能Aや動画撮像機能Aのときに生成されたマスク情報62に相当するマスク相当情報63を生成する場合を説明したが、この例に限定されない。例えば、制御部23は、Tv値マップ65やSv値マップ66を参照して、同一のシャッタースピードが格納された座標と同一のISO感度が格納された座標とに対応する単位グループ32が同一の画像情報64を構成するものとし見なして、静止画撮像機能Bや動画撮像機能Bや混合撮像機能の際に生成されたマスク情報62に相当するマスク相当情報63を生成できる。
(変形例7)
上述した各実施の形態では、撮像素子22と制御部23とを有する単一の電子機器である撮像装置について説明したが、本発明はこのような実施形態に限定されない。例えば、外部に設けられた撮像素子22を制御する電子機器にも本発明を適用することができる。以下、撮像素子22を備えた撮像ユニット1001を、外部機器から制御する形態について詳述する。
図22は、変形例7に係る撮像システムの構成を模式的に示すブロック図である。図22に示す撮像システム1000は、撮像ユニット1001と、電子機器1002とから成る。撮像ユニット1001は、第1の実施の形態で説明した撮像光学系21と撮像素子22とを備え、更に、第1通信部1003を備えている。また、電子機器1002は、第1の実施の形態で説明した制御部23、液晶モニタ24、メモリカード25、操作部26、DRAM27、フラッシュメモリ28、および録音部29を備え、更に、第2通信部1004を備えている。第1通信部1003および第2通信部1004は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。また、撮像ユニット1001と電子機器1002とが有線ケーブル等による有線接続により、第1通信部1003および第2通信部1004は、双方向のデータ通信を行う構成であってもよい。
変形例7に係る撮像システム1000では、制御部23は、第2通信部1004および第1通信部1003を介したデータ通信により、撮像素子22の制御を行う。例えば、所定の制御データを撮像ユニット1001との間で送受信することにより、単位グループ32ごとに異なる撮像条件を設定したり、各々の単位グループ32から撮像信号を読み出したりする。
以上に述べたように、撮像システム1000において、単位グループ32ごとの制御を行っているのは、制御部23である。電子機器1002は、撮像素子22を備えていないが、電子機器1002の外部に設けられた撮像素子22(撮像ユニット1001)を制御することにより、第1の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子22を有していない電子機器に適用することが可能である。
(変形例8)
画像情報64のデータ量を削減するために、画像情報64を周知の可逆圧縮技術により圧縮して記録してもよい。また、画像情報64を、隣接する画素との差分値の形で記録してもよい。例えば、ある画素の画素値(撮像信号)を記録する位置に、その左隣の画素との差分値を記録するようにしてもよい。または、所定領域内の全画素の画素値の平均値との差分値を記録するようにしたり、全画素の平均値との差分値を記録するようにしてもよい。
また、動画の場合には、前のフレームの同じ位置の画素値との差分値を記録するようにすれば、更にデータ量を削減することができる。あるいは、前のフレームの同じ位置の画素値と値が異なるときだけ画素値を記録するようにし、前フレームと画素値が同一である場合にはその画素値を記録しないようにしてもよい。これは撮像条件(Sv値やTv値等)について適用することも可能である。例えば、ある単位グループ32について、前フレームとSv値が同一である場合、そのSv値を記録しないようにしてもよい。
なお、以上で述べたような形で画像情報64を記録する場合、再生時(現像時)に、それらの形から元の画素値を復元する処理を実行する必要がある。
(変形例9)
動画撮像機能Bや混合撮像機能の際に、大グループ81同士でフレームレートが異なる場合、制御部23は最も早いフレームレートを基準として各フレームを記録するものとしたが、この例に限定されない。例えば、制御部23は、それぞれのフレームレートの最小公倍数に相当するフレームレートにて各フレームを記録しても良い。図14に示すように、1番目の大グループ811で60fpsの動画撮像を、2番目の大グループ812で50fpsの動画撮像をする場合に、60fpsと50fpsの最小公倍数である300コマ/秒でフレームを記録する。即ち、60fpsに設定された大グループ811からの撮像信号に基づく画像情報64は5コマごとに記録し、50fpsに設定された第グループ812からの撮像信号に基づく画像情報64については6コマごとに記録すれば良い。
(変形例10)
上述した各実施の形態では、本発明をレンズ一体型カメラに適用した例について説明を行ったが、例えばレンズ交換型カメラに本発明を適用することも可能である。また、本発明はカメラに限らず、PC、携帯電話、スマートフォン、タブレット等のカメラ付き電子機器にも適用可能である。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。