JP2020057877A - 電子機器および設定プログラム - Google Patents

Abstract

【課題】異なる撮像条件となる画像の境界を目立たなくすること。【解決手段】電子機器は、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子と、動画撮影時に、前記複数の撮像領域のうち第１撮像領域に第１撮像条件を設定する第１設定と、前記複数の撮像領域のうち前記第１撮像領域と異なる第２撮像領域に第２撮像条件を設定する第２設定と、前記複数の撮像領域のうち前記第１撮像領域および前記第２撮像領域に挟まれた第３撮像領域に、前記第１撮像条件と前記第２撮像条件を繰り返して設定する第３設定と、を実行する設定部と、を有する。【選択図】図９

Description

本発明は、電子機器および設定プログラムに関する。

画面の領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている（特許文献１参照）。しかしながら、撮像条件が異なる領域でそれぞれ生成された画像データを処理する場合に撮像条件については考慮されていない。

特開２００６−１９７１９２号公報

本願において開示される電子機器は、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子と、動画撮影時に、前記複数の撮像領域のうち第１撮像領域に第１撮像条件を設定する第１設定と、前記複数の撮像領域のうち前記第１撮像領域と異なる第２撮像領域に第２撮像条件を設定する第２設定と、前記複数の撮像領域のうち前記第１撮像領域および前記第２撮像領域に挟まれた第３撮像領域に、前記第１撮像条件と前記第２撮像条件を繰り返して設定する第３設定と、を実行する設定部と、を有する。

本願において開示される設定プログラムは、被写体を撮像する複数の撮像領域の各々について撮像条件が設定可能な撮像素子の設定制御をプロセッサに実行させる設定プログラムであって、前記プロセッサに、動画撮影時に、前記複数の撮像領域のうち前記第１撮像領域と異なる第１撮像領域に第１撮像条件を設定させ、前記複数の撮像領域のうち第２撮像領域に第２撮像条件を設定させ、前記複数の撮像領域のうち前記第１撮像領域および前記第２撮像領域に挟まれた第３撮像領域に、前記第１撮像条件と前記第２撮像条件を繰り返して設定させる。

図１は、積層型撮像素子の断面図である。 図２は、撮像チップの画素配列を説明する図である。 図３は、撮像チップの回路図である。 図４は、撮像素子の構成例を示すブロック図である。 図５は、電子機器のブロック構成例を示す説明図である。 図６は、電子機器の撮像により生成された画像ファイルの構成例を示す説明図である。 図７は、撮像面と被写体像との関係を示す説明図である。 図８は、画像ファイルの具体的な構成例に示す説明図である。 図９は、電子機器の詳細なブロック構成例を示す説明図である。 図１０は、不定ブロックの撮像条件の設定例１を示す説明図である。 図１１は、所定フレーム数単位切替設定処理例を示す説明図である。 図１２は、所定フレーム数単位切替設定処理の適用例を示す説明図である。 図１３は、前フレーム優先設定処理例を示す説明図である。 図１４は、前フレーム優先設定処理の適用例を示す説明図である。 図１５は、不定ブロックの撮像条件の設定例２を示す説明図である。 図１６は、算出部および除去部による再帰的ノイズ除去処理例を示す説明図である。 図１７は、電子機器における撮像条件の設定処理手順例を示すフローチャートである。 図１８は、図１７に示した所定フレーム数単位切替設定処理（ステップＳ１７０８）の詳細な処理手順例を示すフローチャートである。 図１９は、図１７に示した前フレーム優先設定処理（ステップＳ１７０９）の詳細な処理手順例を示すフローチャートである。

＜撮像素子の構成例＞
本明細書の実施例に示す電子機器に搭載される撮像素子は積層型撮像素子である。この積層型撮像素子は、複数の異なる撮像領域ごとに異なる撮像条件が設定可能である。初めに、複数の異なる撮像領域ごとに異なる撮像条件が設定可能な積層型撮像素子の構造について説明する。なお、この積層型撮像素子は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。

図１は、積層型撮像素子１００の断面図である。積層型撮像素子（以下、単に、「撮像素子」）１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ（以下、単に、「撮像チップ」）１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕなどの導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図１に示すように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸１２０に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸１２０を基準として、それぞれの図の向きがわかるように座標軸１２０を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。ＰＤ（フォトダイオード）層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、たとえば、後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図２は、撮像チップ１１３の画素配列を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。（ａ）は、撮像チップ１１３の裏面である撮像面２００を模式的に示す平面図であり、（ｂ）は、撮像面２００の一部領域２００ａを拡大した平面図である。（ｂ）に示すように、撮像面２００には、画素２０１が二次元状に多数配列されている。

画素２０１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、画素２０１が有する色フィルタの種類を表している。（ｂ）に示すように、撮像素子１００の撮像面２００には、このような各色フィルタを備えた画素２０１が、いわゆるベイヤー配列に従って配列されている。

赤フィルタを有する画素２０１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する画素２０１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する画素２０１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。

撮像素子１００は、隣接する２画素×２画素の計４つの画素２０１から成るブロック２０２ごとに、個別に制御可能に構成されている。たとえば、互いに異なる２つのブロック２０２について、同時に電荷蓄積を開始したときに、一方のブロック２０２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方のブロック２０２では電荷蓄積開始から１／１５秒後に電荷の読み出しを行うことができる。換言すると、撮像素子１００は、１回の撮像において、ブロック２０２ごとに異なる露光時間（電荷蓄積時間であり、いわゆるシャッタースピード）を設定することができる。

撮像素子１００は、上述した露光時間以外にも、撮像信号の増幅率（いわゆるＩＳＯ感度）をブロック２０２ごとに異ならせることが可能である。撮像素子１００は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングをブロック２０２ごとに変化させることができる。すなわち、撮像素子１００は、動画撮像時のフレームレートをブロック２０２ごとに変化させることができる。

以上をまとめると、撮像素子１００は、ブロック２０２ごとに、露光時間、増幅率、フレームレートなどの撮像条件を異ならせることが可能に構成されている。たとえば、画素２０１が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、ブロック２０２ごとに設けられ、ブロック２０２ごとに独立して撮像信号を読み出し可能に構成すれば、ブロック２０２ごとに露光時間（シャッタースピード）を異ならせることができる。

また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路をブロック２０２ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、ブロック２０２ごとに信号の増幅率（ＩＳＯ感度）を異ならせることができる。

また、ブロック２０２ごとに異ならせることが可能な撮像条件は、上述した撮像条件のほか、フレームレート、ゲイン、解像度（間引き率）、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数などである。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

また、撮像条件は、たとえば、ブロック２０２ごとに独立して制御可能な区画（１区画が１つのブロック２０２に対応する）を有する液晶パネルを撮像素子１００に設け、オンオフ可能な減光フィルタとして利用すれば、ブロック２０２ごとに明るさ（絞り値）を制御することが可能になる。

なお、ブロック２０２を構成する画素２０１の数は、上述した２×２の４画素でなくてもよい。ブロック２０２は、少なくとも２個以上の画素２０１を有していればよいし、逆に、４個より多くの画素２０１を有していてもよい。

図３は、撮像チップ１１３の回路図である。図３において、代表的に点線で囲む矩形が、１つの画素２０１に対応する回路を表す。また、一点鎖線で囲む矩形が１つのブロック２０２（２０２−１〜２０２−４）に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述したように、画素２０１のリセットトランジスタ３０３は、ブロック２０２単位でオン／オフされる。また、画素２０１の転送トランジスタ３０２も、ブロック２０２単位でオン／オフされる。図３に示す例において、左上ブロック２０２−１に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００−１が設けられており、同ブロック２０２−１に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７−１も設けられる。

同様に、左下ブロック２０２−３に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００−３が、上記リセット配線３００−１とは別個に設けられる。また、同ブロック２０２−３に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７−３が、上記ＴＸ配線３０７−１と別個に設けられる。

右上ブロック２０２−２や右下ブロック２０２−４についても同様に、それぞれリセット配線３００−２とＴＸ配線３０７−２、およびリセット配線３００−４とＴＸ配線３０７−４が、それぞれのブロック２０２に設けられている。

各画素２０１に対応する１６個のＰＤ１０４は、それぞれ対応する転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、上記ブロック２０２ごとのＴＸ配線を介して転送パルスが供給される。各転送トランジスタ３０２のドレインは、対応するリセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが、対応する増幅トランジスタ３０４のゲートに接続される。

各リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。各リセットトランジスタ３０３のゲートには、上記ブロック２０２ごとのリセット配線を介してリセットパルスが供給される。

各増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。また、各増幅トランジスタ３０４のソースは、対応する選択トランジスタ３０５のドレインに接続される。各選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。

そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック２０２ごとのリセット配線を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時に上記ブロック２０２（２０２−１〜２０２−４）ごとのＴＸ配線を通じて転送パルスが転送トランジスタ３０２に印加されると、上記ブロック２０２ごとに、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

各ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。

そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

上述したように、ブロック２０２を形成する４画素に対して、リセット配線とＴＸ配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック２０２内の４画素に対して同時に印加される。したがって、あるブロック２０２を形成するすべての画素２０１は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。

このように、ブロック２０２ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック２０２間では、異なったタイミングで撮像することができる。

図４は、撮像素子１００の構成例を示すブロック図である。アナログのマルチプレクサ４１１は、ブロック２０２を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該ブロック２０２に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）やアナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では４つのブロック２０２の分の接続を示すが、実際にはこれらが４つのブロック２０２ごとに存在して、並列で動作する。

ただし、演算回路４１５は４つのブロック２０２ごとに存在しなくてもよく、たとえば、一つの演算回路４１５がそれぞれの４つのブロック２０２に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、ブロック２０２のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜電子機器のブロック構成例＞
図５は、電子機器のブロック構成例を示す説明図である。なお、ブロック構成例の詳細は後述（図９）する。電子機器５００は、たとえば、レンズ一体型のカメラである。電子機器５００は、撮像光学系５０１と、撮像素子１００と、制御部５０２と、液晶モニタ５０３と、メモリカード５０４と、操作部５０５と、ＤＲＡＭ５０６と、フラッシュメモリ５０７と、録音部５０８とを備える。制御部５０２は、後述するように手ブレや被写体ブレを検出する検出部を含む。

撮像光学系５０１は、複数のレンズから構成され、撮像素子１００の撮像面２００に被写体像を結像させる。なお、図５では、便宜上、撮像光学系５０１を１枚のレンズとして図示している。

撮像素子１００は、たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子であり、撮像光学系５０１により結像された被写体像を撮像して撮像信号を出力する。制御部５０２は、電子機器５００の各部を制御する電子回路であり、プログラムを実行するプロセッサ、画像処理回路のような周辺回路、加速度センサのような各種センサを含む。

不揮発性の記憶媒体であるフラッシュメモリ５０７には、予め所定の制御プログラムが書き込まれている。制御部５０２のプロセッサは、フラッシュメモリ５０７から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるＤＲＡＭ５０６を作業用領域として使用する。

液晶モニタ５０３は、液晶パネルを利用した表示装置である。制御部５０２は、所定周期（たとえば６０分の１秒）ごとに撮像素子１００に繰り返し被写体像を撮像させる。そして、撮像素子１００から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ５０３に表示する。液晶モニタ５０３には、上記のスルー画以外に、たとえば撮像条件を設定する設定画面などが表示される。

制御部５０２は、撮像素子１００から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード５０４に画像ファイルを記録する。操作部５０５は、プッシュボタンなどの種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部５０２に操作信号を出力する。

録音部５０８は、たとえば、マイクロフォンにより構成され、環境音を音声信号に変換して制御部５０２に入力する。なお、制御部５０２は、可搬性の記録媒体であるメモリカード５０４に動画ファイルを記録するのではなく、電子機器５００に内蔵されたＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクのような不図示の記録媒体に記録してもよい。

＜画像ファイルの構成例＞
図６は、電子機器５００の撮像により生成された画像ファイルの構成例を示す説明図である。画像ファイル６００は、制御部５０２内の画像処理回路または画像処理プログラムで生成され、メモリカード５０４、ＤＲＡＭ５０６、またはフラッシュメモリ５０７に格納される。画像ファイル６００は、ヘッダ部６０１およびデータ部６０２の２つのブロックにより構成される。ヘッダ部６０１は、画像ファイル６００の先頭に位置するブロックである。ヘッダ部６０１には、ファイル基本情報領域６１１と、マスク領域６１２と、撮像情報領域６１３とが、以上に述べた順序で格納されている。

ファイル基本情報領域６１１には、たとえば、画像ファイル６００内の各部（ヘッダ部６０１、データ部６０２、マスク領域６１２、撮像情報領域６１３など）のサイズやオフセットが記録される。マスク領域６１２には、後述する撮像条件情報やマスク情報などが記録される。撮像情報領域６１３には、たとえば電子機器５００の機種名や撮像光学系５０１の情報（たとえば収差などの光学特性に関する情報）など、撮像に関する情報が記録される。データ部６０２は、ヘッダ部６０１の後ろに位置するブロックであり、画像情報が記録される。

＜撮像面２００と被写体像との関係＞
図７は、撮像面２００と被写体像との関係を示す説明図である。（ａ）は、撮像素子１００の撮像面２００（撮像範囲）での被写体像の撮像例を示す。（ｂ）は、（ａ）の撮像の際に設定されたマスク情報を示す。（ｃ）は、（ａ）から所定時間経過後における撮像素子１００の撮像面２００（撮像範囲）での被写体像の撮像例を示す。（ｄ）は、（ｃ）撮像の際に設定されたマスク情報を示す。

（ａ）において、制御部５０２は、被写体を撮像する。（ａ）の撮像は、たとえばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像でもよい。制御部５０２は、（ａ）の撮像により得られた被写体像に対して、所定の画像解析処理を実行する。画像解析処理は、たとえば周知の被写体検出技術（特徴量を演算して所定の被写体が存在する範囲を検出する技術）により、主要被写体を検出する。実施例１では、主要被写体以外は背景とする。

検出された主要被写体の像（主要被写体像ＭＩ）のみが映っているブロック２０２が主要被写体ブロック２０２となる。主要被写体ブロック２０２の集合が主要被写体領域７０２となる。また、背景の像のみが映っているブロック２０２が背景ブロック２０２となる。背景ブロック２０２の集合が背景領域７０１となる。主要被写体像ＭＩと背景の像の両方が映っているブロック２０２を不定ブロック２０２と称する。不定ブロック２０２の集合を共存領域７０３と称する。

（ａ）では、具体的には、たとえば、主要被写体領域７０２は、主要被写体像ＭＩの外形に沿った形状として設定される。制御部５０２は、主要被写体領域７０２内の各ブロック２０２と、背景領域７０１内の各ブロック２０２とで、異なる撮像条件を設定する。たとえば、前者の各ブロック２０２には、後者の各ブロック２０２に比べて高速なシャッタースピードを設定する。このようにすると、（ａ）の撮像の次に撮像される（ｃ）の撮像において、主要被写体領域７０２では像ぶれが発生しにくくなる。

また、制御部５０２は、背景領域７０１に存在する太陽などの光源の影響で、主要被写体領域７０２が逆光状態となっている場合には、前者の各ブロック２０２に、相対的に高めのＩＳＯ感度を設定したり、低速なシャッタースピードを設定する。また、制御部５０２は、後者の各ブロック２０２に、相対的に低めのＩＳＯ感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、（ｃ）の撮像において、逆光状態の主要被写体領域７０２の黒つぶれや、光量の大きい背景領域７０１の白飛びを防止することができる。なお、共存領域７０３を構成するブロック２０２に対する設定については後述する。

なお、画像解析処理は、上述した背景領域７０１と主要被写体領域７０２とを検出する処理とは異なる処理であってもよい。たとえば、撮像面２００全体のうち、明るさが一定以上の部分（明るすぎる部分）や明るさが一定未満の部分（暗すぎる部分）を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部５０２は、前者の領域に含まれるブロック２０２について、露出値（Ｅｖ値）が他の領域に含まれるブロック２０２よりも低くなるように、シャッタースピードやＩＳＯ感度を設定する。

また、制御部５０２は、後者の領域に含まれるブロック２０２については、露出値（Ｅｖ値）が他の領域に含まれるブロック２０２よりも高くなるように、シャッタースピードやＩＳＯ感度を設定する。このようにすることで、（ｃ）の撮像により得られる画像のダイナミックレンジを、撮像素子１００の本来のダイナミックレンジよりも広げることができる。

図７の（ｂ）は、（ａ）に示した撮像面２００に対応するマスク情報７０４の一例を示す。背景領域７０１に属するブロック２０２の位置には「１」が、主要被写体領域７０２に属するブロック２０２の位置には「２」が、共存領域７０３に属するブロック２０２の位置には「０」がそれぞれ格納されている。

ただし、共存領域７０３に属するブロック２０２の位置については、制御部５０２が、主要被写体領域７０２に属すべきと判断した場合には「２」、背景領域７０１に属すべきと判断した場合には「１」に更新してもよい。また、制御部５０２は、更新前の値「０」と更新後の値「１」または「２」とを保存してもよい。

制御部５０２は、１フレーム目の画像データに対して、画像解析処理を実行し、背景領域７０１と主要被写体領域７０２と共存領域７０３とを検出する。これにより、（ａ）の撮像によるフレームは、（ｂ）に示すように、背景領域７０１と主要被写体領域７０２と共存領域７０３とに分割される。制御部５０２は、背景領域７０１内の各ブロック２０２と、主要被写体領域７０２内の各ブロック２０２とで、異なる撮像条件を設定して、（ｃ）の撮像を行い、画像データを作成する。このときのマスク情報７０４の例を、（ｄ）に示す。

（ａ）の撮像の結果に対応する（ｂ）のマスク情報７０４と、（ｃ）の撮像の結果に対応する（ｄ）のマスク情報７０４とでは、異なる時刻に撮像を行っている（時間差がある）ため、たとえば、被写体が移動している場合や、ユーザが電子機器５００を動かした場合に、これら２つのマスク情報７０４が異なる内容になる。換言すると、マスク情報７０４は、時間経過に伴い変化する動的情報である。従って、あるブロック２０２において、フレームごとに異なる撮像条件が設定されることになる。

＜画像ファイルの具体例＞
図８は、画像ファイル６００の具体的な構成例に示す説明図である。マスク領域６１２には、識別情報８０１と、撮像条件情報８０２と、マスク情報７０４が、以上に述べた順序で記録される。

識別情報８０１は、この画像ファイル６００がマルチ撮像条件静止画撮像機能によって作成されたものである旨を表す。マルチ撮像条件静止画撮像機能とは、複数の異なる撮像条件（たとえば、長秒の露光時間と短秒の露光時間）が設定された撮像素子１００で静止画を撮影する機能である。たとえば、逆光時では、主要被写体を長秒、背景を短秒とする。長秒および短秒は相対的に決まる設定値である。

撮像条件情報８０２は、ブロック２０２にどのような用途（目的、役割）が存在するかを表す情報である。たとえば、上述したように、撮像面２００（図７（ａ））を背景領域７０１と主要被写体領域７０２と共存領域７０３とに分割する場合、各々のブロック２０２は、共存領域７０３が不定のままであれば、背景領域７０１に属するか、主要被写体領域７０２に属するか、共存領域７０３に属するかのいずれかである。一方、各々のブロック２０２は、共存領域７０３が背景領域７０１と主要被写体領域７０２とのいずれかに決定されていれば、背景領域７０１に属するか、または、主要被写体領域７０２に属するかのいずれかである。

つまり、撮像条件情報８０２は、この画像ファイル６００の作成に際し、ブロック２０２にたとえば「主要被写体領域を１／６０［ｓｅｃ］で静止画撮像する」（長秒）、「背景領域を１／１０００［ｓｅｃ］で静止画撮像する」（短秒）という２種類の撮像条件と、これらの撮像条件ごとに割り当てられた一意な番号を表す情報と、を含む。たとえば、「１」という番号が「背景領域を１／１０００［ｓｅｃ］で静止画撮像する」撮像条件を示す。「２」という番号が「主要被写体領域を１／６０［ｓｅｃ］で静止画撮像する」撮像条件を示す。「０」という番号が「共存領域を静止画撮像する露光時間は不定である」撮像条件を示す。

ここでは、説明の容易化のため、撮像条件ごとに割り当てられた一意な番号として「１」、「２」としたが、３種類以上の露光時間を割り当てる場合もある。したがって、たとえば、露光時間を示す段数分の番号が割り当てられてもよい。

マスク情報７０４は、各々のブロック２０２の用途（目的、役割）を表す情報である。図７で説明したように、マスク情報７０４は、「撮像条件情報８０２に割り当てられた番号を、ブロック２０２の位置に合わせて二次元マップの形で表現した情報」である。つまり、二次元状に配列されたブロック２０２を２つの整数ｘ、ｙによる二次元座標（ｘ、ｙ）で特定するとき、（ｘ、ｙ）の位置に存在するブロック２０２の用途は、マスク情報７０４の（ｘ、ｙ）の位置に存在する撮像番号により表現される。

撮像番号「１」は背景の像が存在するブロック２０２に割り当てられた番号であり、撮像番号「２」は主要被写体像存在するブロック２０２に割り当てられた番号であり、撮像番号「０」は、背景の像および主要被写体像が存在するブロック２０２に割り当てられた番号である。たとえば、マスク情報７０４の座標（３，５）の位置に「２」という撮像番号が入っていた場合、座標（３，５）に位置するブロック２０２には、「主要被写体領域を１／６０［ｓｅｃ］で静止画撮像する」という撮像条件が与えられたことがわかる。換言すると、座標（３，５）に位置するブロック２０２は、主要被写体領域７０２に属することがわかる。

データ部６０２は、画像情報８１１と、Ｔｖ値マップ８１２と、Ｓｖ値マップ８１３と、Ｂｖ値マップ８１４と、Ａｖ値情報８１５と、を含む。

画像情報８１１は、図７の（ｂ）の撮像により撮像素子１００から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるＲＡＷ画像データである。

Ｔｖ値マップ８１２は、ブロック２０２ごとに設定されたシャッタースピードを表すＴｖ値を、ブロック２０２の位置に合わせて二次元マップの形で表現した情報である。たとえば座標（ｘ、ｙ）に位置するブロック２０２に設定されたシャッタースピードは、Ｔｖ値マップ８１２の座標（ｘ、ｙ）に格納されているＴｖ値を調べることで判別可能である。

Ｓｖ値マップ８１３は、ブロック２０２ごとに設定されたＩＳＯ感度を表すＳｖ値を、Ｔｖ値マップ８１２と同様に二次元マップの形で表現した情報である。

Ｂｖ値マップ８１４は、図７の（ｂ）の撮像に際してブロック２０２ごとに測定された被写体輝度、すなわち、各々のブロック２０２に入射した被写体光の輝度を表すＢｖ値を、Ｔｖ値マップ８１２と同様に二次元マップの形で表現した情報である。

Ａｖ値情報８１５は、図７の（ｂ）の撮像時の絞り値を表す情報である。Ａｖ値は、Ｔｖ値、Ｓｖ値、Ｂｖ値とは異なり、ブロック２０２ごとに存在する値ではない。従って、Ｔｖ値、Ｓｖ値、Ｂｖ値とは違い、Ａｖ値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。

以上のように、制御部５０２は、マルチ撮像条件静止画撮像機能による撮像を行うことにより、ブロック２０２ごとに異なる撮像条件が設定可能な撮像素子１００により生成された画像情報８１１と、ブロック２０２ごとの撮像条件に関するデータ（撮像条件情報８０２、マスク情報７０４、Ｔｖ値マップ８１２、Ｓｖ値マップ８１３、Ｂｖ値マップ８１４など）、Ａｖ値情報８１５とが関連付けられた画像ファイル６００を、メモリカード５０４に記録する。

＜電子機器の詳細なブロック構成例＞
図９は、電子機器の詳細なブロック構成例を示す説明図である。電子機器５００は、撮像素子１００と、制御部５０２と、表示部９０１と、記録部９０２と、を有する。表示部９０１は、具体的には、たとえば、図５に示した液晶モニタ５０３やＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）に相当する。記録部９０２は、具体的には、たとえば、図５に示したメモリカード５０４、ＤＲＡＭ５０６、およびフラッシュメモリ５０７に相当する。

撮像素子１００は、上述したように、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能であり、撮像チップ１１３と信号処理チップ１１１とを有する。撮像領域とは、撮像面２００に存在するブロック２０２である。信号処理チップ１１１は、設定回路９１１を含む。設定回路９１１は、制御部５０２からの設定情報にしたがって、ブロック２０２ごとに撮像条件を設定する。

制御部５０２は、画像処理部９１２と、設定部９１３と、を有する。画像処理部９１２は、算出部９２３と、除去部９２４と、調整部９２１と、生成部９２２と、を有する。画像処理部９１２は、画像処理回路またはプロセッサに実行される画像処理プログラムにより実現される。画像処理部９１２は、図７で説明したような画像解析処理を実行する。具体的には、たとえば、画像処理部９１２は、被写体検出、被写体像と背景の像とを判別して背景領域７０１、主要被写体領域７０２および共存領域７０３を特定する領域判別を実行する。

設定部９１３は、撮像素子１００から出力される複数のフレームＦ１〜Ｆｎの各々について、第１設定と、第２設定と、第３設定と、を実行する。第１設定とは、設定部９１３が、複数の撮像領域のうち第１撮像領域に第１撮像条件を設定する処理である。第１撮像領域とは、具体的には、たとえば、第１被写体像が存在する撮像領域である。

具体的には、たとえば、設定部９１３は、撮像面２００を構成するブロック群のうち背景の像が存在するブロック２０２（マスク情報７０４の値が「１」）について、第１撮像条件として露光時間：短秒（たとえば、１／６０秒）を設定する。マスク情報７０４の値が「１」のブロック２０２を「背景ブロック２０２」と称す。

第２設定とは、設定部９１３が、複数のフレームＦ１〜Ｆｎの各々について、複数の撮像領域のうち第１撮像領域と異なる第２撮像領域に第２撮像条件を設定する処理である。第２撮像領域とは、具体的には、たとえば、第２被写体像が存在する撮像領域である。

具体的には、たとえば、設定部９１３は、撮像面２００を構成するブロック群のうち主要被写体像ＭＩが存在するブロック２０２（マスク情報７０４の値が「２」）について、第２撮像条件として露光時間：長秒（たとえば、１／１０００秒）を設定する。マスク情報７０４の値が「２」のブロック２０２を「主要被写体ブロック２０２」と称す。

第３設定とは、設定部９１３が、複数の撮像領域のうち第１撮像領域および第２撮像領域に挟まれた第３撮像領域に、第１撮像条件と第２撮像条件を繰り返して設定する。第３撮像領域は、第１被写体像および第２被写体像のうち少なくとも一方が存在すればよい。具体的には、たとえば、第１撮像領域に第１被写体像として背景像が存在し、第２撮像領域に第２被写体像として主要被写体像が存在する場合、第３撮像領域は、背景像および主要被写体像の両方が存在する共存領域７０３となる。共存領域７０３の撮像条件を時間方向に切り替えて設定することで、第１撮像領域および第２撮像領域と第３撮像領域との間で撮像条件が異なることで生じる画像の境界を目立たなくすることができる。

また、背景領域７０１のうち共存領域７０３と接する一部の背景領域７０１も、第１撮像領域と第２撮像領域とに挟まれた第３撮像領域としてもよい。この場合、第１撮像領域は、背景領域７０１（ただし、上記一部の背景領域７０１を除く）、第２撮像領域は、主要被写体領域７０２および共存領域７０３、第３撮像領域は、上記一部の背景領域７０１となる。

同様に、主要被写体領域７０２のうち共存領域７０３と接する一部の主要被写体領域７０２も、第１撮像領域と第２撮像領域とに挟まれた第３撮像領域としてもよい。この場合、第１撮像領域は、背景領域７０１および共存領域７０３、第２撮像領域は、主要被写体領域７０２（ただし、上記一部の主要被写体領域７０２を除く）、第３撮像領域は、上記一部の主要被写体領域７０２となる。

この場合の第３撮像領域は、共存領域７０３と隣接する。このため、第３撮像領域を構成する背景ブロック２０２または主要被写体ブロック２０２と、共存領域７０３を構成する不定ブロック２０２（マスク情報７０４の値が「０」のブロック２０２）との間で、撮像条件が異なることで画像の境界が生じる。設定部９１３は、第３撮像領域の撮像条件を時間方向に切り替えて設定することで、第１撮像領域および第２撮像領域と第３撮像領域との間で撮像条件が異なることで生じる画像の境界を目立たなくすることができる。

設定部９１３は、あるフレームについて第３撮像領域に第１撮像条件を設定した場合、後続のフレームについて第３撮像領域に第２撮像条件を設定する。具体的には、たとえば、設定部９１３は、先行フレーム設定処理と、後続フレーム設定処理と、を含む。先行フレーム設定処理とは、設定部９１３が、複数のフレームＦ１〜Ｆｎのうち先行フレームＦｊ（１≦ｊ＜ｎ）について複数の撮像領域のうち第１被写体像および第２被写体像が存在する第３撮像領域に、第１撮像条件および第２撮像条件のうち一方の撮像条件に設定する処理である。後続フレーム設定処理とは、先行フレームＦｉの出力後の後続フレームＦｋ（ｋ＞ｊ）について他方の撮像条件に設定する処理である。

具体的には、たとえば、設定部９１３は、先行フレーム設定処理と、後続フレーム設定処理とを、規則的または不規則に切り替えて実行する。たとえば、設定部９１３は、先行フレーム設定処理において、先行フレームＦｊについて撮像面２００を構成するブロック群のうち撮像面２００を構成するブロック群のうち主要被写体像ＭＩおよび背景の像が存在する不定ブロック２０２の第３撮像領域を、第１撮像条件および第２撮像条件のうちいずれか一方の撮像条件に設定する。

そして、設定部９１３は、後続フレーム設定処理において、第３撮像領域を、第１撮像条件および第２撮像条件のうち他方の撮像条件に設定する。したがって、先行フレーム設定処理で第３撮像領域が第１撮像条件に設定されると、後続フレーム設定処理で第３撮像領域が第２撮像条件に設定される。

第３設定において、先行フレーム設定処理と、後続フレーム設定処理とを、規則的に切り替えて実行する設定処理例として、所定フレーム数単位切替設定処理がある。所定フレーム数単位切替設定処理とは、所定フレーム数単位で先行フレーム設定処理と後続フレーム設定処理とを交互に切り替える設定処理である。

所定フレーム数が１フレームであれば、設定部９１３は、奇数番目のフレームＦ（２ｉ−１）で先行フレーム設定処理を実行し、偶数番目のフレームＦ（２ｉ）で後続フレーム設定処理を実行する。所定フレーム数が２フレームであれば、設定部９１３は、２フレームごとに、先行フレーム設定処理と、後続フレーム設定処理と、を切り替えて実行する。所定フレーム数単位切替設定処理の具体例については後述する。

また、第３設定には、先行フレーム設定処理と、後続フレーム設定処理とを、不規則に切り替えて実行する設定処理例として、前フレーム優先設定処理がある。前フレーム優先設定処理とは、あるフレームＦｉの不定ブロック２０２に撮像条件を設定する際、前フレームＦｉ−１以前のフレームを参照する設定処理である。前フレーム優先設定処理の具体例については後述する。

なお、第３設定において、初回のフレームＦ１についての先行フレーム設定処理を実行する場合、設定部９１３は、以下のように、不定ブロック２０２の撮像条件を、背景ブロック２０２の輝度値と主要被写体ブロック２０２の輝度値に基づいて、第１撮像条件および第２撮像条件のうち一方の撮像条件に設定してもよい。

具体的には、たとえば、設定部９１３は、フレームＦ１について、不定ブロック２０２の撮像条件については、背景ブロック２０２の第１撮像条件および主要被写体ブロック２０２の第２撮像条件のうち、いずれか一方の撮像条件に設定する。たとえば、不定ブロック２０２に第２撮像条件を設定した場合に、不定ブロック２０２内の背景部分が白とびする場合、設定部９１３は、不定ブロック２０２の撮像条件を、背景ブロック２０２の第１撮像条件（短秒）に設定する。

また、不定ブロック２０２に第１撮像条件を設定した場合に、不定ブロック２０２内の主要被写体部分が黒つぶれする場合、設定部９１３は、不定ブロック２０２の撮像条件を、主要被写体ブロック２０２の第２撮像条件（長秒）に設定する。また、不定ブロック２０２に第１撮像条件および第２撮像条件のいずれを設定しても、不定ブロック内で、白飛びせず、黒つぶれもしない場合、主要被写体を優先するため、設定部９１３は、不定ブロック２０２の撮像条件を、主要被写体ブロック２０２の第２撮像条件（長秒）に設定する。

ここで、白とびする場合とは、不定ブロック２０２の輝度値が第１輝度値以上の場合である。第１輝度値とは、不定ブロック２０２を構成する画素群（光電変換部の集合）が飽和状態になる輝度値である。また、黒つぶれする場合とは、不定ブロック２０２の輝度値が第１輝度値よりも低い第２輝度値以下の場合である。第２輝度値とは、不定ブロック２０２を構成する画素群（光電変換部の集合）の輝度が不足する状態である。具体的には、輝度値が０の場合である。なお、第２輝度値は、０でなくてもよく、０よりも大きい値を第２輝度値を設定してもよい。

なお、すべての不定ブロック２０２の背景像部分が白とびする必要はない。たとえば、不定ブロック２０２のうち一部の不定ブロック２０２の背景像部分が白とびする場合に、設定部９１３は、不定ブロック２０２の撮像条件を、背景ブロック２０２の第１撮像条件（短秒）に設定してもよい。同様に、すべての不定ブロック２０２の主要被写体像ＭＩ部分が黒つぶれする必要はない。

たとえば、不定ブロック２０２のうち一部の不定ブロック２０２の主要被写体像ＭＩ部分が黒つぶれする場合に、設定部９１３は、不定ブロック２０２の撮像条件を、主要被写体ブロック２０２の第２撮像条件（長秒）に設定してもよい。このようにして、初回のフレームＦ１についての先行フレーム設定処理が実行される。

このあと、設定部９１３は、フレームＦｉごとに、設定結果となる設定情報を信号処理チップ１１１内の設定回路９１１に送信する。設定情報は、ブロック２０２を特定する座標値と、ブロック２０２ごとに設定された撮像条件を示す値と、を含む。撮像条件を示す値とは、たとえば、露光時間を示す番号である。

信号処理チップ１１１内の設定回路９１１は、設定情報を受信すると、設定情報にしたがって、ブロック２０２単位で電荷蓄積開始から終了までの電荷蓄積時間、すなわち、露光時間を設定する。これにより、撮像素子１００は、設定情報にしたがって次フレームＦ（ｉ＋１）の画像データを生成することができる。

また、制御部５０２内の画像処理部９１２は、調整部９２１を有する。調整部９２１は、設定部９１３からの設定情報にしたがって、不定ブロック２０２から出力される画像データの信号レベルを増幅または減幅するように調整する（いわゆる、デジタルゲイン調整）。具体的には、たとえば、調整部９２１は、以下のようにゲイン調整する。

設定部９１３によって不定ブロック２０２の撮像条件が第１撮像条件（短秒）に設定された場合、不定ブロック２０２からの画像データのうち主要被写体に関する画像データが、第２撮像条件（長秒）が設定されている主要被写体ブロック２０２からの画像データに比べて暗くなる。

これにより、主要被写体領域内で、主要被写体ブロック２０２と不定ブロック２０２との境界部分が目立ってしまう。このため、画像処理部９１２は、領域判別により、不定ブロック２０２からの画像データのうち主要被写体に関する画像データを特定し、調整部９２１は、主要被写体に関する画像データの信号レベルが増幅するよう調整する。すなわち、調整部９２１は、主要被写体に関する画像データを構成する画素群の輝度値を一律に所定量増加させる。

また、設定部９１３によって不定ブロック２０２の撮像条件が第２撮像条件（長秒）に設定された場合、不定ブロック２０２からの画像データのうち背景に関する画像データが、第１撮像条件（短秒）が設定されている背景ブロック２０２からの画像データに比べて明るくなる。

これにより、背景領域内で、背景ブロック２０２と不定ブロック２０２との境界部分が目立ってしまう。このため、画像処理部９１２は、領域判別により、不定ブロック２０２からの画像データのうち背景に関する画像データを特定し、調整部９２１は、背景に関する画像データの信号レベルが減幅するよう調整する。すなわち、調整部９２１は、背景に関する画像データを構成する画素群の輝度値を一律に所定量減少させる。

算出部９２３は、第１設定、第２設定、および第３設定で設定された撮像条件で撮像素子１００から出力された先行フレームＦｊの画像信号と、先行フレームＦｊの出力後の第１設定、第２設定、および第３設定で設定された撮像条件で撮像素子１００から出力された後続フレームＦｋの画像信号と、に基づいて、重みを算出する。重みは、後続フレームＦｋの画像信号に対する先行フレームＦｊの画像信号の信頼度を示す。

除去部９２４は、先行フレームＦｊの画像信号と、後続フレームＦｋの画像信号と、算出部９２３によって算出された重みと、に基づいて、前記後続フレームの画像信号のノイズを低減する。算出部９２３および除去部９２４は、いわゆる３ＤＮＲ（３次元ノイズリダクション）を実現するための機能である。算出部９２３および除去部９２４の詳細は、図１５で後述する。

また、画像処理部９１２内の生成部９２２は、上述した動画ファイル６００を生成する。生成部９２２は、たとえば、録音ボタンの押下により撮像素子１００から時系列なフレームＦ１〜Ｆｎを取得し、動画ファイル６００を生成する。動画ファイル６００では、フレームＦｉごとに、背景領域７０１と背景領域７０１からの画像データと第１撮像条件（短秒）とが関連付けられる。

また、動画ファイル６００では、フレームＦｉごとに、主要被写体領域７０２と主要被写体領域７０２からの画像データと第２撮像条件（長秒）とが関連付けられる。また、動画ファイル６００では、フレームＦｉごとに、共存領域７０３と共存領域７０３からの画像データと不定ブロック２０２の撮像条件とが関連付けられる。

具体的には、たとえば、ブロック２０２ごとの被写体の種類は、マスク情報７０４に記録される。また、ブロック２０２ごとに設定された撮像条件は、上述したＴｖ値マップ８１２に記録される。また、ブロック２０２ごとの輝度値は、上述したＢｖ値マップ８１４に記録される。

画像処理部９１２は、スルー画を逐次表示する場合または録画開始ボタンが押下された場合には、間引き処理された一連の画像データを表示部に出力して、表示部９０１にスルー画を逐次表示させる。録画開始ボタンが押下された場合には、生成部９２２は、生成した動画ファイル６００を記録部９０２に記録する。

＜不定ブロック２０２の撮像条件の設定および調整例＞
図１０は、撮像条件の第３設定による設定例１を示す説明図である。図１０では、一例として、第１撮像領域を背景領域７０１とし、第２撮像領域を主要被写体領域７０２とし、撮像領域を共存領域７０３とする（後述の図１２〜図１４でも同様）。

図１０において、（Ａ）は先行フレーム設定処理での撮像面２００を示し、（Ｂ）は後続フレーム設定処理での撮像面２００を示す。また、主要被写体像ＭＩを中央の女性とし、背景像ＢＩを主要被写体像ＭＩ以外とする。ここでは、逆光で被写体を撮像する例とする。

また、細線の格子は、ブロック２０２であり、特に、背景像ＢＩのみの背景ブロック２０２の集合が背景領域７０１であり、第１撮像条件（短秒）が設定される。主要被写体像ＭＩのみの主要被写体ブロック２０２の集合が主要被写体領域７０２であり、第２撮像条件（長秒）が設定される。太線と太点線とで囲まれた主要被写体像ＭＩおよび背景像ＢＩが存在する不定ブロック２０２の集合が共存領域７０３であり、設定部９１３により撮像条件が設定され、調整部９２１によりゲイン調整される。

（Ａ）は、先行フレーム設定処理において、不定ブロック２０２を背景像ＢＩと同じ第１撮像条件（短秒）に設定する例である。この場合、共存領域７０３も短秒となるため、共存領域７０３内の主要被写体像ＭＩ部分の輝度値が主要被写体領域７０２よりも低くなる。これにより、主要被写体領域７０２内で、主要被写体ブロック２０２と不定ブロック２０２との境界部分が目立ってしまう。そのため、調整部９２１は、共存領域７０３内の各不定ブロック２０２について主要被写体像ＭＩ部分の輝度値をゲインアップする。

（Ｂ）は、先行フレーム設定処理から後続フレーム設定処理に切り替わった場合に、不定ブロック２０２を主要被写体像ＭＩと同じ第２撮像条件（長秒）に設定する例である。この場合、共存領域７０３も長秒となるため、共存領域７０３内の背景像ＢＩ部分の輝度値が背景領域７０１よりも高くなる。これにより、背景領域７０１内で、背景ブロック２０２と不定ブロック２０２との境界部分が目立ってしまう。そのため、調整部９２１は、共存領域７０３内の各不定ブロック２０２について背景像ＢＩ部分の輝度値をゲインダウンする。

たとえば、図１０において、動画再生時には時間経過にしたがって、所定のフレーム単位ごとに、（Ａ）と（Ｂ）の間で交互に切り替えが実行される。これにより、撮像条件間の境界が切り替わるため、（Ａ）の同一撮像条件となる共存領域７０３と背景領域７０１との境界（太点線）と、（Ｂ）の同一撮像条件となる共存領域７０３と主要被写体領域７０２との境界（太点線）とを目立たなくすることができる。

＜所定フレーム数単位切替設定処理＞
図１１は、所定フレーム数単位切替設定処理例を示す説明図であり、図１２は、所定フレーム数単位切替設定処理の適用例を示す説明図である。

所定フレーム数単位切替設定処理では、共存領域７０３を構成する不定ブロック２０２の撮像条件は、たとえば、短秒から始まり、所定のフレーム数単位で、長秒、短秒、長秒、…というように切り替わる。図１１および図１２では、切替えを行う所定フレーム数を「１」として説明するが、所定フレーム数は２以上でもよい。

たとえば、所定フレーム数が「１」であれば、撮像素子１００が奇数番目のフレームＦ（２ｉ−１）を出力する場合、不定ブロック２０２の撮像条件は短秒となり、撮像素子１００が偶数番目のフレームＦ（２ｉ）を出力する場合、不定ブロック２０２の撮像条件は長秒となる。

また、所定フレーム数が「２」であれば、撮像素子１００がフレームＦ１、Ｆ２、Ｆ５、Ｆ６、Ｆ９、Ｆ１０、…を出力する場合、不定ブロック２０２の撮像条件は短秒となり、撮像素子１００がフレームＦ３、Ｆ４、Ｆ７、Ｆ８、Ｆ１１、Ｆ１２、…を出力する場合、不定ブロック２０２の撮像条件は長秒となる。

図１１および図１２において、（Ａ）は、奇数番目の先行フレームＦ（２ｉ−１）の出力元となった撮像面２００を構成するブロック２０２、（Ｂ）は、先行フレームＦ（２ｉ−１）により設定された不定ブロック２０２の撮像条件が適用された偶数番目の後続フレームＦ（２ｉ）の出力元となる撮像面２００を構成するブロック２０２、（Ｃ）は、撮像条件が再設定された後続フレームＦ（２ｉ）の出力元となる撮像面２００を構成するブロック２０２を示す（後述の図１３および図１４でも同様）。

図１２において、主要被写体像ＭＩを走行するスケート選手とし、主要被写体像ＭＩ以外を背景像ＢＩとする。（Ａ）のブロック２０２の集合である撮像面２００からの出力が先行フレームＦ（２ｉ−１）となり、（Ｃ）のブロック２０２の集合である撮像面２００からの出力が先行フレームＦ（２ｉ）となる（後述の図１４でも同様）。

まず、（Ａ）において、背景ブロック２０２および不定ブロック２０２の撮像条件が第１撮像条件（短秒）に設定された場合について説明する。（Ｂ）において、（Ａ）で設定された第１撮像条件（短秒）は、後続フレームＦ（２ｉ）の出力元となる背景ブロック２０２、主要被写体ブロック２０２、および不定ブロック２０２に適用される。

（Ｂ）において、背景ブロック２０２に第１撮像条件（短秒）が適用された場合、（Ｃ）において、背景ブロック２０２では、第１撮像条件（短秒）が維持される。

（Ｂ）において、主要被写体ブロック２０２に第１撮像条件（短秒）が適用された場合、（Ｃ）において、当該主要被写体ブロック２０２では、第１撮像条件（短秒）から第２撮像条件（長秒）に設定変更される。

（Ｂ）において、不定ブロック２０２に第１撮像条件（短秒）が適用された場合、（Ｃ）において、当該不定ブロック２０２では、所定フレーム数単位切替設定処理により、第１撮像条件（短秒）から第２撮像条件（長秒）に設定変更される。

つぎに、（Ａ）において、主要被写体ブロック２０２および不定ブロック２０２の撮像条件が第２撮像条件（長秒）に設定された場合について説明する。（Ｂ）において、（Ａ）で設定された第２撮像条件（長秒）は、後続フレームＦ（２ｉ）の出力元となる背景ブロック２０２、主要被写体ブロック２０２、および不定ブロック２０２に適用される。

（Ｂ）において、背景ブロック２０２に第２撮像条件（長秒）が適用された場合、（Ｃ）において、当該背景ブロック２０２では、第２撮像条件（長秒）から第１撮像条件（短秒）に設定変更される。

（Ｂ）において、主要被写体ブロック２０２に第２撮像条件（長秒）が適用された場合、（Ｃ）において、当該主要被写体ブロック２０２では、第２撮像条件（長秒）が維持される。

（Ｂ）において、不定ブロック２０２に第２撮像条件（長秒）が適用された場合、（Ｃ）において、当該不定ブロック２０２は、先行フレームＦ（２ｉ−１）では（Ａ）に示したように主要被写体ブロック２０２であるため、所定フレーム数単位切替設定処理が実行されず、第２撮像条件（長秒）が維持される。

＜前フレーム優先設定処理＞
図１３は、前フレーム優先設定処理例を示す説明図であり、図１４は、前フレーム優先設定処理の適用例を示す説明図である。まず、（Ａ）において、背景ブロック２０２および不定ブロック２０２の撮像条件が第１撮像条件（短秒）に設定された場合について説明する。（Ｂ）において、（Ａ）で設定された第１撮像条件（短秒）は、後続フレームＦ（２ｉ）の出力元となる背景ブロック２０２、主要被写体ブロック２０２、および不定ブロック２０２に適用される。

（Ｂ）において、背景ブロック２０２に第１撮像条件（短秒）が適用された場合、（Ｃ）において、背景ブロック２０２では、第１撮像条件（短秒）が維持される。

（Ｂ）において、主要被写体ブロック２０２に第１撮像条件（短秒）が適用された場合、（Ｃ）において、当該主要被写体ブロック２０２では、第１撮像条件（短秒）から第２撮像条件（長秒）に設定変更される。

（Ｂ）において、不定ブロック２０２に第１撮像条件（短秒）が適用された場合、（Ｃ）において、当該不定ブロック２０２では、前フレーム優先設定処理により、第１撮像条件（短秒）から第２撮像条件（長秒）に設定変更される。

つぎに、（Ａ）において、主要被写体ブロック２０２および不定ブロック２０２の撮像条件が第２撮像条件（長秒）に設定された場合について説明する。（Ｂ）において、（Ａ）で設定された第２撮像条件（長秒）は、後続フレームＦ（２ｉ）の出力元となる背景ブロック２０２、主要被写体ブロック２０２、および不定ブロック２０２に適用される。

（Ｂ）において、背景ブロック２０２に第２撮像条件（長秒）が適用された場合、（Ｃ）において、当該背景ブロック２０２では、第２撮像条件（長秒）から第１撮像条件（短秒）に設定変更される。

（Ｂ）において、主要被写体ブロック２０２に第２撮像条件（長秒）が適用された場合、（Ｃ）において、当該主要被写体ブロック２０２では、第２撮像条件（長秒）が維持される。

（Ｂ）において、不定ブロック２０２に第２撮像条件（長秒）が適用された場合、（Ｃ）において、当該不定ブロック２０２は、前フレーム優先設定処理により、第２撮像条件（長秒）から第１撮像条件（短秒）に設定変更される。

このように、第３設定では、不定ブロック２０２が時間方向に連続するとその撮像条件も変化する。これにより、第１撮像条件のブロック２０２と第２撮像条件のブロック２０２との間に発生する境界線が経時的に固定されないため、動作再生時に境界線を目立たなくすることができる。

また、所定フレーム数単位切替設定処理では、不定ブロック２０２が時間方向に連続するとその撮像条件が規則的に変化する。これにより、前フレーム（時刻ｔ（ｉ−１）のフレームＦ（ｉ−１））の出力元となる不定ブロック２０２の撮像条件に依存せず、フレームＦｉの順序で強制的に不定ブロック２０２の撮像条件を切り替える。したがって、第１撮像条件のブロック２０２と第２撮像条件のブロック２０２との間に発生する境界線が経時的に固定されないため、動作再生時に境界線を簡単に目立たなくすることができる。

また、前フレーム優先設定処理では、不定ブロック２０２が時間方向に連続するとその撮像条件が不規則に変化する。具体的には、時刻ｔ（ｉ−１）のブロック２０２（背景ブロック２０２、主要被写体ブロック２０２、不定ブロック２０２を問わない）が第１撮像条件（短秒）であれば、当該ブロック２０２と同位置の時刻ｔｉの不定ブロック２０２についての撮像条件は第２撮像条件（長秒）に設定され、第２撮像条件（長秒）であれば、第１撮像条件（短秒）に設定される。

これにより、不定ブロック２０２の時間方向における追従性能が向上する。したがって、第１撮像条件のブロック２０２と第２撮像条件のブロック２０２との間に発生する境界線が経時的に固定されないため、動作再生時に境界線をより効率的に目立たなくすることができる。

＜不定ブロック２０２の撮像条件の設定および調整の他の例＞
図１５は、不定ブロック２０２の撮像条件の設定例２を示す説明図である。図１５では、一例として、背景領域７０１のうち共存領域７０３と接する一部の背景領域７０１（太線と太点線で囲まれたブロック群１５００）を、第１撮像領域と第２撮像領域とに挟まれた第３撮像領域とした場合の第３撮像領域の撮像条件の設定例である。この場合においても、図１１および図１２に示したように、所定フレーム数単位切替設定処理が実行され、図１３および図１４に示したように、前フレーム優先設定処理が実行される。

ただし、図１１および図１３で示した凡例において、背景ブロック２０２は、背景領域７０１を構成するブロック（ただし、ブロック群１５００を除く）となり、主要被写体ブロック２０２は、主要被写体領域７０２および共存領域７０３を構成するブロックとなり、不定ブロック２０２は、ブロック群１５００の各ブロックとなる。

たとえば、図１５において、動画再生時には時間経過にしたがって、所定のフレーム単位ごとに、（Ａ）と（Ｂ）の間で交互に切り替えが実行される。これにより、撮像条件間の境界が切り替わるため、（Ａ）の同一撮像条件となる背景領域７０１の境界（太点線）と、（Ｂ）の同一撮像条件となる共存領域７０３と背景領域７０１との境界（太点線）とを目立たなくすることができる。

＜再帰的ノイズ除去処理例＞
図１６は、算出部９２３および除去部９２４による再帰的ノイズ除去処理例を示す説明図である。図１６では、電子機器５００は、撮像方向を固定しており、被写体像が左から右に移動する動画像データを撮像する場合を例に挙げて説明する。

まず、図１６の中央点線の左側について説明する。電子機器５００は、現在画像データを取得して読み込み（ステップＳ１６０１）、過去画像データを記録部９０２から読み込む（ステップＳ１６０２）。ここで、現在画像データとは、時刻ｔ−１の後続画像データＩ（ｔ−１）であり、過去画像データとは、時刻（ｔ−１）以前の時刻（ｔ−２）の先行画像データからノイズ除去されたノイズ除去画像データ、すなわちＩ_ｏｌｄである。Ｉ_ｏｌｄには、被写体画像ＯＢ（ｔ−２）が存在するものとする。

電子機器５００は、算出部９２３により、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）とを式（１）に与えて、重みＷ（ｔ−１）を計算する（ステップＳ１６０３）。

関数ｆ_ｘ,ｙは、領域（ｘ，ｙ）の重みｗの算出を意味する。ｘは先行画像データＩ_ｏｌｄの領域の列方向における位置を示し、ｙは行方向の位置を示す。また，関数φ_ｘ,ｙは領域（ｘ，ｙ）を中心とした近傍領域の部分画像データを取得する関数である。また，||・||はＬ２ノルムを意味する。また，σは、重みの算出結果を調整するパラメータである。σは上記式（１）の分子の値である画像の差に対する感度を調整するためパラメータであり、σの値を大きくすると画像の差が大きくても重みが大きく算出されることになる。

過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）とにおいて、被写体画像ＯＢ（ｔ−２），ＯＢ（ｔ−１）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ−１）は、たとえば、最大値の１．０となる。

一方、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）とにおいて、被写体画像ＯＢ（ｔ−２），ＯＢ（ｔ−１）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ−１）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ−１）を０．０とする。なお、被写体画像ＯＢ（ｔ−２），ＯＢ（ｔ−１）の境界部分の領域については、被写体画像ＯＢ（ｔ−２），ＯＢ（ｔ−１）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ−１）を０．５とする。

電子機器５００は、除去部９２４により、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）と重みＷ（ｔ−１）とを式（２）に与えて、現在画像データＩ（ｔ−１）からノイズを除去し（ステップＳ１６０４）、ノイズ除去画像データＩ_ｏｕｔ（ｔ−１）を出力する（ステップＳ１６０５）。

出力されたノイズ除去画像データＩ_ｏｕｔ（ｔ−１）は、表示部９０１に表示される。ノイズ除去画像データＩ_ｏｕｔ（ｔ−１）は、現在画像データＩ（ｔ−１）と同じ位置に被写体ＯＢ（ｔ−１）が存在し、過去画像データＩ_ｏｌｄの被写体ＯＢ（ｔ−２）と同じ位置に残像Ａ（ｔ−２）が存在する。残像Ａ（ｔ−２）は、主に、被写体ＯＢ（ｔ−２）の輪郭が際立った画像データとなる。また、電子機器５００は、ノイズ除去画像データＩ_ｏｕｔ（ｔ−１）を記録部９０２に出力し、過去画像データＩ_ｏｌｄを更新する（ステップＳ１６０６）。

つぎに、図１６の中央点線の右側について説明する。電子機器５００は、時刻ｔの現在画像データＩ（ｔ）を取得して読み込み（ステップＳ１６０１）、過去画像データＩ_ｏｌｄを記録部９０２から読み込む（ステップＳ１６０２）。ここで、過去画像データＩ_ｏｌｄは、ステップＳ１６０６で得られたノイズ除去画像データＩ_ｏｕｔ（ｔ−１）である。

電子機器５００は、算出部９２３により、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）とを上記式（１）に与えて、重みＷ（ｔ）を計算する（ステップＳ１６０３）。過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体画像ＯＢ（ｔ−１），ＯＢ（ｔ）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ）は、たとえば、最大値の１．０となる。

一方、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体画像ＯＢ（ｔ−１），ＯＢ（ｔ）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ）を０．０とする。なお、被写体ＯＢ（ｔ−１），ＯＢ（ｔ）の境界部分の領域については、被写体画像ＯＢ（ｔ−１），ＯＢ（ｔ）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ）を０．５とする。また、過去画像データＩ_ｏｌｄ（ノイズ除去画像データＩ_ｏｕｔ（ｔ−１））において、残像Ａ（ｔ−２）が存在する領域の重みを０．７５とする。

電子機器５００は、除去部９２４により、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）と重みＷ（ｔ−１）とを上記式（２）に与えて、現在画像データＩ（ｔ）からノイズを除去し（ステップＳ１６０４）、ノイズ除去画像データＩ_ｏｕｔ（ｔ）を出力する（ステップＳ１６０５）。出力されたノイズ除去画像データＩ_ｏｕｔ（ｔ）は、表示部９０１に表示される。ノイズ除去画像データＩ_ｏｕｔ（ｔ）は、現在画像データＩ（ｔ）と同じ位置に被写体画像ＯＢ（ｔ）が存在し、過去画像データＩ_ｏｌｄの被写体画像ＯＢ（ｔ−１）と同じ位置に残像Ａ（ｔ−１）が存在し、さらに、被写体画像ＯＢ（ｔ−２）と同じ位置に残像Ａ（ｔ−２）が存在する。また、電子機器５００は、ノイズ除去画像データＩ_ｏｕｔ（ｔ）を記録部９０２に出力し、過去画像データＩ_ｏｌｄを更新する（ステップＳ１６０６）。

このように、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１），Ｉ（ｔ）との間で変換のない領域では過去画像データＩ_ｏｌｄを参照するための重みＷ（ｔ−１），Ｗ（ｔ）が大きくなるため、結果的に使用メモリを削減しつつノイズ除去率を増加させることができる。このように、算出部９２３および除去部９２４を用いることにより、時間方向にノイズを除去しながら、撮像条件が異なる画像の境界を目立たなくすることができる。また、調整部９２１の増幅によって生じたノイズも除去することができる。

＜設定処理手順例＞
図１７は、電子機器５００における撮像条件の設定処理手順例を示すフローチャートである。電子機器５００は、ユーザの操作入力により初期設定を実行する（ステップＳ１７０１）。初期設定（ステップＳ１７０１）では、撮像条件、所定フレーム数単位切替および所定フレーム数、前フレーム優先について設定される。つぎに、電子機器５００は、撮像素子１００からのスルー画の取得または動画撮影を開始する（ステップＳ１７０２）。

電子機器５００は、画像処理部９１２により、取得したスルー画または動画像の画像データであるフレームＦｉについて画像解析を実行する（ステップＳ１７０３）。具体的には、たとえば、画像処理部９１２は、被写体検出により、主要被写体と背景とを検出し、領域判別により、各ブロック２０２の領域種別（背景領域７０１、主要被写体領域７０２、共存領域７０３）を判別する。

つぎに、電子機器５００は、初期設定（ステップＳ１７０１）により、所定フレーム数単位切替または前フレーム優先の設定がされているか否かを判断する（ステップＳ１７０４）。所定フレーム数単位切替または前フレーム優先の設定がされていない場合（ステップＳ１７０４：Ｎｏ）、主要被写体優先モードとなるため、電子機器５００は、設定部９１３により、主要被写体優先設定処理を実行し（ステップＳ１７０５）、ステップＳ１７１０に移行する。

主要被写体優先設定処理（ステップＳ１７０５）とは、図１０の（Ｂ）に示したように、設定部９１３により、不定ブロック２０２の撮像条件を主要被写体像ＭＩと同じ第２撮像条件（長秒）に設定する処理である。この場合、図１０（Ｂ）に示したように、共存領域７０３も長秒となるため、共存領域７０３内の背景像ＢＩ部分の輝度値が背景領域７０１よりも高くなる。

これにより、背景領域７０１内で、背景ブロック２０２と不定ブロック２０２との境界部分が目立ってしまう。そのため、電子機器５００は、調整部９２１により、ゲイン調整処理（ステップＳ１７１０）において、共存領域７０３内の各不定ブロック２０２について背景像ＢＩ部分の輝度値をゲインダウンする。

ステップＳ１７０４において、所定フレーム数単位切替または前フレーム優先の設定がされている場合（ステップＳ１７０４：Ｙｅｓ）、電子機器５００は、手ブレまたは被写体検出ブレの検出フラグがＯＮであるかＯＦＦであるかを判断する（ステップＳ１７０６）。

検出フラグがＯＮの場合（ステップＳ１７０６：ＯＮ）、手ブレまたは被写体検出ブレが検出中であることを示し、主要被写体優先設定処理（ステップＳ１７０５）に移行する。検出フラグがＯＦＦの場合（ステップＳ１７０６：ＯＦＦ）、手ブレまたは被写体検出ブレが検出されていないことを示し、ステップＳ１７０７に移行する。

ステップＳ１７０７において、電子機器５００は、初期設定（ステップＳ１７０１）において所定フレーム数単位切替および前フレーム優先のいずれが選択されたかを判断する（ステップＳ１７０７）。所定フレーム数単位切替が選択された場合（ステップＳ１７０７：所定フレーム数単位切替）、電子機器５００は、所定フレーム数単位切替設定処理を実行して（ステップＳ１７０８）、ゲイン調整処理（ステップＳ１７１０）に移行する。図１１および図１２に示したように所定フレーム数単位切替設定処理（ステップＳ１７０８）の詳細については、図１８で後述する。

一方、前フレーム優先が選択された場合（ステップＳ１７０７：複雑さ）、電子機器５００は、前フレーム優先設定処理を実行して（ステップＳ１７０９）、ゲイン調整処理（ステップＳ１７１０）に移行する。図１３および図１４に示したように前フレーム優先設定処理（ステップＳ１７０９）の詳細については、図１９で後述する。

ステップＳ１７１０において、電子機器５００は、調整部９２１によりゲイン調整処理を実行する（ステップＳ１７１０）。たとえば、調整部９２１は、不定ブロック２０２の撮像条件が背景ブロック２０２の第１撮像条件（短秒）に設定された場合、不定ブロック２０２内の主要被写体像ＭＩ部分からの画像データをゲインアップする。また、不定ブロック２０２の撮像条件が主要被写体ブロック２０２の第２撮像条件（長秒）に設定された場合、不定ブロック２０２内の背景像ＢＩ部分からの画像データをゲインダウンする。

このあと、電子機器５００は、手ブレまたは被写体ブレを検出する（ステップＳ１７１１）。手ブレまたは被写体ブレが検出された場合（ステップＳ１７１１：Ｙｅｓ）、検出部ラグをＯＮに設定して（ステップＳ１７１２）、ステップＳ１７１４に移行する。一方、手ブレまたは被写体ブレが検出されていない場合（ステップＳ１７１１：Ｎｏ）、検出フラグをＯＦＦに設定して、ステップＳ１７１４に移行する。

電子機器５００は、スルー画取得および動画撮影が終了するか否かを判断し（ステップＳ１７１１）、スルー画取得および動画撮影を終了しない場合（ステップＳ１７１４：Ｎｏ）、ステップＳ１７０３に戻る。したがって、たとえば、動画撮影が終了してもスルー画取得を継続する場合は、ステップＳ１７０３に戻る。

一方、スルー画取得および動画撮影を終了する場合（ステップＳ１７１４：Ｙｅｓ）、電子機器５００は、撮像条件の設定処理を終了する。なお、動作撮影中の場合、動画撮影が終了する場合（ステップＳ１７１４：Ｙｅｓ）、生成部９２２が動画ファイル６００を生成して記録部９０２に記録する。これにより、設定部９１３によってどのような撮像条件が設定されたか、設定された撮像条件によりどのような画像データとなったかを特定することができる。

＜所定フレーム数単位切替設定処理（ステップＳ１７０８）＞
図１８は、図１７に示した所定フレーム数単位切替設定処理（ステップＳ１７０８）の詳細な処理手順例を示すフローチャートである。電子機器５００は、設定部９１３により、初期設定（ステップＳ１７０１）で設定された所定フレーム数と現フレームＦｉのフレーム番号ｉとに基づいて現フレームＦｉに適用される撮像条件を特定する（ステップＳ１８０１）。たとえば、所定フレーム数が１で、フレーム番号ｉがｉ＝１であれば、撮像条件は、短秒となる。また、所定フレーム数が２で、フレーム番号ｉがｉ＝４であれば、撮像条件は、長秒となる。

電子機器５００は、設定部９１３により、現フレームＦｉについて未選択ブロックがあるか否かを判断する（ステップＳ１８０２）。未選択ブロックがある場合（ステップＳ１８０２：Ｙｅｓ）、電子機器５００は、設定部９１３により、未選択ブロックを１つ選択して（ステップＳ１８０３）、現フレームＦｉに基づいて選択ブロックの被写体を特定する（ステップＳ１８０４）。

選択ブロック２０２の被写体が背景のみである場合（ステップＳ１８０４：背景のみ）、選択ブロック２０２は背景ブロック２０２となる。したがって、電子機器５００は、設定部９１３により、選択ブロック２０２の撮像条件を背景像ＢＩの第１撮像条件（短秒）に設定して（ステップＳ１８０５）、ステップＳ１８０２に戻る。

また、選択ブロック２０２の被写体が主要被写体のみである場合（ステップＳ１８０４：主要のみ）、選択ブロック２０２は主要被写体ブロック２０２となる。したがって、電子機器５００は、設定部９１３により、選択ブロック２０２の撮像条件を主要被写体像ＭＩの第２撮像条件（長秒）に設定して（ステップＳ１８０６）、ステップＳ１８０２に戻る。

また、選択ブロック２０２の被写体が背景および主要被写体を含む場合（ステップＳ１８０４：混在）、選択ブロック２０２は不定ブロック２０２となる。したがって、電子機器５００は、設定部９１３により、選択ブロック２０２の撮像条件を、ステップＳ１８０１で特定された撮像条件に設定して（ステップＳ１８０６）、ステップＳ１８０２に戻る。

ステップＳ１８０２において、未選択ブロックがない場合（ステップＳ１８０２：Ｎｏ）、電子機器５００は、所定フレーム数単位切替設定処理（ステップＳ１７０８）を終了し、ゲイン調整処理（ステップＳ１７１０）に移行する。

＜前フレーム優先設定処理（ステップＳ１７０９）＞
図１９は、図１７に示した前フレーム優先設定処理（ステップＳ１７０９）の詳細な処理手順例を示すフローチャートである。電子機器５００は、設定部９１３により、現フレームＦｉについて未選択ブロックがあるか否かを判断する（ステップＳ１９０１）。未選択ブロックがある場合（ステップＳ１９０１：Ｙｅｓ）、電子機器５００は、設定部９１３により、未選択ブロックを１つ選択する（ステップＳ１９０１）。そして、電子機器５００は、設定部９１３により、選択ブロック２０２と同位置となる前フレームＦ（ｉ−１）のブロック２０２の撮像条件を特定する（ステップＳ１９０３）。

選択ブロック２０２と同位置となる前フレームＦ（ｉ−１）のブロック２０２の撮像条件が長秒である場合（ステップＳ１９０３：Ｌ）、電子機器５００は、設定部９１３により、現フレームＦｉに基づいて選択ブロック２０２の被写体を特定する（ステップＳ１９０４）。

選択ブロック２０２の被写体が背景のみである場合（ステップＳ１９０４：背景のみ）、選択ブロック２０２は背景ブロック２０２となる。したがって、電子機器５００は、設定部９１３により、選択ブロック２０２の撮像条件を背景像ＢＩの第１撮像条件（短秒）に設定して（ステップＳ１９０５）、ステップＳ１９０１に戻る。

また、選択ブロック２０２の被写体が主要被写体のみである場合（ステップＳ１９０４：主要のみ）、選択ブロック２０２は主要被写体ブロック２０２となる。したがって、電子機器５００は、設定部９１３により、選択ブロック２０２の撮像条件を主要被写体像ＭＩの第２撮像条件（長秒）に設定して（ステップＳ１９０６）、ステップＳ１９０１に戻る。

また、選択ブロック２０２の被写体が背景および主要被写体を含む場合（ステップＳ１９０４：混在）、選択ブロック２０２は不定ブロック２０２となる。したがって、電子機器５００は、設定部９１３により、選択ブロック２０２の撮像条件を、選択ブロック２０２と同位置となる前フレームＦ（ｉ−１）のブロック２０２の撮像条件（長秒）とは異なる撮像条件（短秒）に設定し（ステップＳ１９０７）、ステップＳ１９０１に戻る。

また、ステップＳ１９０３において、選択ブロック２０２と同位置となる前フレームＦ（ｉ−１）のブロック２０２の撮像条件が短秒である場合（ステップＳ１９０３：Ｓ）、電子機器５００は、設定部９１３により、現フレームＦｉに基づいて選択ブロック２０２の被写体を特定する（ステップＳ１９０８）。

選択ブロック２０２の被写体が背景のみである場合（ステップＳ１９０８：背景のみ）、選択ブロック２０２は背景ブロック２０２となる。したがって、電子機器５００は、設定部９１３により、選択ブロック２０２の撮像条件を背景像ＢＩの第１撮像条件（短秒）に設定して（ステップＳ１９０９）、ステップＳ１９０１に戻る。

また、選択ブロック２０２の被写体が主要被写体のみである場合（ステップＳ１９０８：主要のみ）、選択ブロック２０２は主要被写体ブロック２０２となる。したがって、電子機器５００は、設定部９１３により、選択ブロック２０２の撮像条件を主要被写体像ＭＩの第２撮像条件（長秒）に設定して（ステップＳ１９１０）、ステップＳ１９０１に戻る。

また、選択ブロック２０２の被写体が背景および主要被写体を含む場合（ステップＳ１９０８：混在）、選択ブロック２０２は不定ブロック２０２となる。したがって、電子機器５００は、設定部９１３により、選択ブロック２０２の撮像条件を、選択ブロック２０２と同位置となる前フレームＦ（ｉ−１）のブロック２０２の撮像条件（短秒）とは異なる撮像条件（長秒）に設定し（ステップＳ１９０７）、ステップＳ１９０１に戻る。

ステップＳ１９０１において、未選択ブロックがない場合（ステップＳ１９０１：Ｎｏ）、電子機器５００は、前フレーム優先設定処理（ステップＳ１７０９）を終了し、ゲイン調整処理（ステップＳ１７１０）に移行する。

このように、本実施例によれば、第１撮像条件の撮像領域と第２撮像条件の撮像領域との境界が時間経過にしたがって切り替わる。したがって、異なる撮像条件の撮像領域間における画像の境界を目立たなくすることができる。

また、第３撮像領域の撮像条件が時間経過にしたがって第１撮像条件または第２撮像条件に切り替わる。したがって、第３撮像領域と第１撮像領域との間の画像の境界および第３撮像領域と第２撮像領域との間の画像の境界を目立たなくすることができる。

また、第３撮像領域の撮像条件が時間経過にしたがって、第１撮像条件から第１撮像条件および第２撮像条件に、第２撮像条件から第１撮像条件および第２撮像条件に、第１撮像条件および第２撮像条件から第１撮像条件に、第１撮像条件および第２撮像条件から第２撮像条件に、切り替わる。したがって、第３撮像領域と第１撮像領域との間の画像の境界および第３撮像領域と第２撮像領域との間の画像の境界を目立たなくすることができる。

また、撮像領域に存在する被写体像の変更に応じて撮像条件が切り替わる。したがって、第３撮像領域と第１撮像領域との間の画像の境界および第３撮像領域と第２撮像領域との間の画像の境界を目立たなくすることができる。

また、設定部９１３は、時間的に前のフレームでの撮像条件を優先して切り替えることができるため、切替頻度が向上し、第１撮像条件の撮像領域と第２撮像条件の撮像領域との間の画像の境界をより目立たなくすることができる。

また、設定部９１３は、第３設定において、撮像素子１００から出力される所定数の画像データ単位で、第３撮像領域に、第１撮像条件と第２撮像条件を繰り返して設定するため、第３撮像領域の撮像条件を簡易かつ強制的に切り替えることができる。

また、調整部９２１は、第１撮像領域から第２撮像領域にかけて不定ブロック２０２の撮像条件を段階的に変化させた場合に、第３撮像領域を適切な明るさに調整することができる。したがって、違和感のない被写体画像を表示することができる。

また、調整部９２１は、不定ブロック２０２の撮像条件が第１撮像条件寄りであっても、第３撮像領域内の第２被写体像の存在領域からの画像データを明るくすることができる。

また、調整部９２１は、不定ブロック２０２の撮像条件が第２撮像条件寄りであっても、第３撮像領域内の第１被写体像の存在領域からの画像データの明るさを抑制することができる。

また、生成部９２２により、設定部９１３によってどのような撮像条件が設定されたか、設定された撮像条件によりどのような画像データとなったかを特定することができる。

また、算出部９２３と除去部９２４とにより、時間方向にノイズを除去しながら、撮像条件が異なる画像の境界を目立たなくすることができる。また、調整部９２１の増幅によって生じたノイズも除去することができる。

なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。

１００ 撮像素子、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、２００ 撮像面、２０２ ブロック、５００ 電子機器、５０１ 撮像光学系、５０２ 制御部、６００ 動画ファイル、９０１ 表示部、９０２ 記録部、９１１ 設定回路、９１２ 画像処理部、９１３ 設定部、９２１ 調整部、９２２ 生成部、９２３ 算出部、９２４ 除去部

Claims (13)

1. 被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子と、
   動画撮影時に、前記複数の撮像領域のうち第１撮像領域に第１撮像条件を設定する第１設定と、前記複数の撮像領域のうち前記第１撮像領域と異なる第２撮像領域に第２撮像条件を設定する第２設定と、前記複数の撮像領域のうち前記第１撮像領域および前記第２撮像領域に挟まれた第３撮像領域に、前記第１撮像条件と前記第２撮像条件を繰り返して設定する第３設定と、を実行する設定部と、
   を有する電子機器。
2. 請求項１に記載の電子機器であって、
   前記第１撮像領域は第１被写体像が存在する前記撮像領域であり、前記第２撮像領域は第２被写体像が存在する前記撮像領域であり、前記第３撮像領域は、前記第１被写体像および前記第２被写体像が存在する前記撮像領域である、電子機器。
3. 請求項１に記載の電子機器であって、
   前記第１撮像領域は第１被写体像が存在する前記撮像領域であり、前記第２撮像領域は第２被写体像が存在する前記撮像領域であり、前記第３撮像領域は前記第１被写体像および前記第２被写体像の少なくとも一方が存在する前記撮像領域である、電子機器。
4. 請求項１に記載の電子機器であって、
   前記設定部は、前記第１撮像領域である前記撮像領域が前記第３撮像領域となった場合、前記第３設定において、当該撮像領域の撮像条件を前記第１撮像条件から前記第２撮像条件へ切り替える、電子機器。
5. 請求項１に記載の電子機器であって、
   前記設定部は、前記第２撮像領域である前記撮像領域が前記第３撮像領域となった場合、前記第３設定において、当該撮像領域の撮像条件を前記第２撮像条件から前記第１撮像条件へ切り替える、電子機器。
6. 請求項１から５のいずれか一項に記載の電子機器であって、
   前記設定部は、前記第３設定において、前回以前の前記第３設定による設定結果に基づいて、前記第３撮像領域に、前記第１撮像条件と前記第２撮像条件を繰り返して設定する、電子機器。
7. 請求項１から５のいずれか一項に記載の電子機器であって、
   前記設定部は、前記第３設定において、前記撮像素子から出力される所定数の画像データ単位で、前記第３撮像領域に、前記第１撮像条件と前記第２撮像条件を繰り返して設定する、電子機器。
8. 請求項１に記載の電子機器であって、
   前記第３設定で設定された撮像条件に基づいて、前記第３撮像領域内の第１被写体像または第２被写体像が存在する存在領域からの画像データの信号レベルを増減幅するように調整する調整部を有する、電子機器。
9. 請求項８に記載の電子機器であって、
   前記調整部は、前記第３設定で設定された撮像条件が前記第２撮像条件である場合、前記第３撮像領域内の前記第１被写体像の存在領域からの画像データの信号レベルが増幅するように、前記第１被写体像の存在領域を調整する、電子機器。
10. 請求項８に記載の電子機器であって、
    前記調整部は、前記第３撮像領域の撮像条件が前記第１撮像条件である場合、前記第３撮像領域内の前記第２被写体像の存在領域からの画像データの信号レベルが増幅するように、前記第２被写体像の存在領域を調整する、電子機器。
11. 請求項１から１０のいずれか一項に記載の電子機器であって、
    前記第１撮像領域と前記第１撮像領域からの画像データと前記第１撮像条件とを関連付け、前記第２撮像領域と前記第２撮像領域からの画像データと前記第２撮像条件とを関連付け、前記第３撮像領域と前記第３撮像領域からの画像データと前記第３撮像領域に設定された撮像条件とを関連付けることにより、動画ファイルを生成し、生成した動画ファイルを記録部に記録する生成部を有する、電子機器。
12. 請求項１から１１のいずれか一項に記載の電子機器であって、
    前記設定部による設定で前記撮像素子から出力された先行する第１画像信号と、前記第１画像信号の出力後における前記設定部による設定で前記撮像素子から出力された後続の第２画像信号と、に基づいて、前記第２画像信号に対する前記第１画像信号の信頼度を示す重みを算出する算出部と、
    前記第１画像信号と、前記第２画像信号と、前記算出部によって算出された重みと、に基づいて、前記第２画像信号のノイズを除去する除去部と、
    を有する電子機器。
13. 被写体を撮像する複数の撮像領域の各々について撮像条件が設定可能な撮像素子の設定制御をプロセッサに実行させる設定プログラムであって、
    前記プロセッサに、動画撮影時に、
    前記複数の撮像領域のうち第１撮像領域に第１撮像条件を設定させ、
    前記複数の撮像領域のうち前記第１撮像領域と異なる第２撮像領域に第２撮像条件を設定させ、
    前記複数の撮像領域のうち前記第１撮像領域および前記第２撮像領域に挟まれた第３撮像領域に、前記第１撮像条件と前記第２撮像条件を繰り返して設定させる、
    設定プログラム。