JP2018007076A - 撮像装置および画像処理装置 - Google Patents

Abstract

【課題】従来技術では、ブロックの撮像条件を変更したときに画像に異常が生じるという問題があった。【解決手段】撮像装置は、撮像条件を変更できる複数の撮像領域を有する撮像部と、対象物を含む１つまたは複数の前記撮像領域を有する対象物領域を設定し、前記対象物領域内の撮像領域に同一の撮像条件を設定する設定部と、前記対象物領域に含まれる前記撮像領域を前記対象物の動きに基づいて変更する領域変更部とを備える撮像装置。【選択図】図１

Description

本発明は、撮像装置および画像処理装置に関する。

撮像素子の撮像面を複数のブロックに分割し、ブロックごとに動きを検出してそれぞれの露光時間を制御する技術が知られている（特許文献１参照）。従来技術では、ブロックの撮像条件を変更したときに画像に異常が生じるという問題があった。

特開２００６−１９７１９２号公報

第１の態様による撮像装置は、撮像条件を変更できる複数の撮像領域を有する撮像部と、対象物を含む１つまたは複数の前記撮像領域を有する対象物領域を設定し、前記対象物領域内の撮像領域に同一の撮像条件を設定する設定部と、前記対象物領域に含まれる前記撮像領域を前記対象物の動きに基づいて変更する領域変更部と、を備える。
第２の態様による画像処理装置は、前記撮像装置で、前記対象物領域で撮像された画像、および前記撮像装置で、前記対象物領域以外の領域で撮像された画像を入力する入力部と、前記入力部へ入力された前記対象物領域で撮像された画像と、前記入力部へ入力された前記対象物領域以外の領域で撮像された画像とを合成し、前記対象物領域で撮像されたフレームレートの画像を生成する画像生成部と、を備える。
第３の態様による撮像装置は、撮像条件の異なる第１領域と第２領域とを有する撮像部と、前記第１領域の第１撮像条件と前記第２領域の第２撮像条件とを設定し、前記第１領域の位置が変化することにより生じる、撮像条件が設定されていない領域に前記第１撮像条件を設定する設定部と、を備える。

カメラの構成を例示するブロック図である。 積層型の撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域における回路を説明する図である。 図５(a)〜図５(f)は、撮像素子によって取得される第１動画像を説明する模式図である。 図６(a)、図６(b)は、撮像素子によって取得される第２動画像を説明する模式図、図６(c)〜図６(g)は、第１動画像を説明する模式図、図６(h)〜図６(l)は、再生される第３動画像を説明する模式図である。 図７(a)〜図７(f)は、撮像素子によって取得される第１動画像を説明する模式図である。 図８(a)、図８(b)は、撮像素子によって取得される第２動画像を説明する模式図、図８(c)〜図８(g)は、第１動画像を説明する模式図、図８(h)〜図８(l)は、再生される第３動画像を説明する模式図である。

−−第１の実施形態−−
第１の実施形態では、撮像素子における撮像面を複数のブロックに分割し、ブロックごとの撮像条件（例えばフレームレート）を異ならせて動画像を撮像する。ブロック間のフレームレートに差をつけることにより、全ブロックを速いフレームレートで撮像する場合に比べて、消費電力を抑えることができる。

＜カメラの説明＞
上記のようにブロックごとの撮像条件を制御可能な撮像装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。図１は、第１の実施形態によるカメラ１の構成を例示するブロック図である。カメラ１は、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。画像処理部３３は、撮像条件が異なる領域に対して、それぞれ適切な処理を行う。

図１において、カメラ１は、撮像光学系３１と、撮像部３２と、画像処理部３３と、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。

撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、撮像素子３２ａおよび駆動部３２ｂを含み、撮像光学系３１によって結像された被写体（対象物）の像を光電変換する。撮像部３２は、撮像素子３２ａにおける撮像面の全域において同じ条件で撮像したり、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部３２の詳細については後述する。駆動部３２ｂは、撮像素子３２ａに蓄積制御を行わせるために必要な駆動信号を生成する。駆動部３２ｂに対する電荷蓄積時間、ＩＳＯ感度（ゲイン）、フレームレートなどの撮像指示は、制御部３４から駆動部３２ｂへ送信される。

画像処理部３３には、撮像部３２によって取得された画像データが入力される。画像処理部３３は、上記入力された画像データに対する画像処理を行う。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減（Noise reduction）処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、画像処理部３３は、表示部３５により表示する画像を生成する。

制御部３４は、例えばＣＰＵによって構成され、カメラ１による全体の動作を制御する。制御部３４は、撮像部３２で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子３２ａの電荷蓄積時間（以下、露光時間と称する）、ＩＳＯ感度、フレームレート、および撮像光学系３１の絞り値等の露出条件を決定する。こうして、決定された露光時間およびＩＳＯ感度は、駆動部３２ｂに入力され、絞り値は、撮像光学系３１に設けられた絞りを駆動する不図示の絞り駆動部に入力される。

また、制御部３４は、カメラ１に設定されている撮像シーンモードや、撮像部３２で取得された光電変換信号から生成された画像に基づいて認識した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部３３へ指示する。被写体要素の認識は、後述する物体検出部３４ａによって行われる。

制御部３４には、物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、ＡＦ演算部３４ｄとが含まれる。これらは、制御部３４が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをＡＳＩＣ等により構成しても構わない。

物体検出部３４ａは、公知の物体認識処理を行うことにより、撮像部３２によって取得された画像から、人物（人物の顔）、犬、猫などの動物（動物の顔）、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの、被写体要素を検出する。設定部３４ｂの領域変更部３４ｂ２は、撮像部３２による撮像画面を、上述のように検出した被写体要素を含む複数の領域に分割する。

設定部３４ｂはさらに、複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件（露光時間、ゲイン、ＩＳＯ感度、フレームレート等）と、上記画像処理条件（例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等）とを含む。なお、撮像条件は、複数の領域の全体に同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。

撮像制御部３４ｃは、設定部３４ｂによって領域ごとに設定された撮像条件を適用して撮像部３２（撮像素子３２ａ）、画像処理部３３を制御する。これにより、撮像部３２に対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部３３に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば１０００画素でもよいし、１画素でもよい。また、領域間で画素の数が異なっていてもよい。

ＡＦ演算部３４ｄは、撮像画面の所定の位置（焦点検出位置と呼ぶ）において、対応する被写体に対してフォーカスを合わせる自動焦点調節（オートフォーカス：ＡＦ）動作を制御する。ＡＦ演算部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力し、この駆動信号に基づき、図示を省略した自動焦点調節部が撮像光学系３１の自動焦点調節動作を行う。ＡＦ演算部３４ｄが自動焦点調節のために行う処理は、焦点検出処理とも呼ばれる。

表示部３５は、画像処理部３３によって生成された画像や画像処理された画像、記録部３７によって読み出された画像などを再生表示する。表示部３５は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。

操作部材３６は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材３６は、各操作に対応する操作信号を制御部３４へ送出する。操作部材３６には、表示部３５の表示面に設けられたタッチ操作部材も含まれる。

記録部３７は、制御部３４からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部３７は、制御部３４からの指示に応じて記録媒体に記録されている画像データを読み出す。

＜積層型の撮像素子の説明＞
上述した撮像素子３２ａの一例として積層型の撮像素子１００について説明する。図２は、撮像素子１００の断面図である。撮像素子１００は、撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とを備える。撮像チップ１１１は、信号処理チップ１１２に積層されている。信号処理チップ１１２は、メモリチップ１１３に積層されている。撮像チップ１１１および信号処理チップ１１２、信号処理チップ１１２およびメモリチップ１１３は、それぞれ接続部１０９により電気的に接続されている。接続部１０９は、例えばバンプや電極である。

撮像チップ１１１は、被写体からの光像を撮像して画像データを生成する。撮像チップ１１１は、画像データを撮像チップ１１１から信号処理チップ１１２へ出力する。信号処理チップ１１２は、撮像チップ１１１から出力された画像データに対して信号処理を施す。メモリチップ１１３は、複数のメモリを有し、画像データを記憶する。なお、撮像素子１００は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子１００が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子１００とは別に設けていてもよい。

図２に示すように、入射光は、主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１１は、例えば、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ１１１は、マイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８を有する。撮像チップ１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８の順に配置されている。

マイクロレンズ層１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部１０４に集光する。カラーフィルタ層１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層１０３は、窒化膜や酸化膜で構成され、半導体層１０６を保護する。

半導体層１０６は、光電変換部１０４および読出回路１０５を有する。半導体層１０６は、光の入射面である第１面１０６ａと第１面１０６ａの反対側の第２面１０６ｂとの間に複数の光電変換部１０４を有する。半導体層１０６は、光電変換部１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部１０４は、光電変換信号による電荷を蓄積する。光電変換部１０４は、例えば、フォトダイオードである。半導体層１０６は、光電変換部１０４よりも第２面１０６ｂ側に読出回路１０５を有する。半導体層１０６は、読出回路１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路１０５は、複数のトランジスタにより構成され、光電変換部１０４によって光電変換された電荷により生成される画像データを読み出して配線層１０８へ出力する。

配線層１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層１０８は、読出回路１０５により読み出された画像データが出力される。画像データは、接続部１０９を介して配線層１０８から信号処理チップ１１２へ出力される。

なお、接続部１０９は、光電変換部１０４ごとに設けられていてもよい。また、接続部１０９は、複数の光電変換部１０４ごとに設けられていてもよい。接続部１０９が複数の光電変換部１０４ごとに設けられている場合、接続部１０９のピッチは、光電変換部１０４のピッチよりも大きくてもよい。また、接続部１０９は、光電変換部１０４が配置されている領域の周辺領域に設けられていてもよい。

信号処理チップ１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部１０４ごとに設けられていてもよい。

また、信号処理回路は、複数の光電変換部１０４ごとに設けられていてもよい。信号処理チップ１１２は、複数の貫通電極１１０を有する。貫通電極１１０は、例えばシリコン貫通電極である。貫通電極１１０は、信号処理チップ１１２に設けられた回路を互いに接続する。貫通電極１１０は、撮像チップ１１１の周辺領域、メモリチップ１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ１１２に設けてもよい。

メモリチップ１１３は、複数の記憶部を有する。記憶部は、信号処理チップ１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。

図３は、撮像チップ１１１の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図３の例では、隣接する２画素×２画素の４画素が一つの単位領域（撮像領域）１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。

画素領域の部分拡大図に示すように、図３の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域１３１となる。上述したように、１つの単位領域１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、1ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。

制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。

図４は、単位領域１３１における回路を説明する図である。図４の例では、隣接する２画素×２画素の４画素により一つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域１３１の二次元的な位置を符号Ａ〜Ｄにより示す。

単位領域１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線３３０が設けられている。

単位領域１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線３３２が設けられている。

さらに、単位領域１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線３３６が設けられている。

なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１１側に設けられてもよいし、信号処理チップ１１２側に設けられてもよい。

単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を、それぞれ対応する増幅トランジスタ（ＡＭＰ）を介して、共通の出力配線３０８から出力することができる。

ここで、単位領域１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図４の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。

このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに露光時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ１１１において一部のブロックに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域１３１を休ませることにより、撮像チップ１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。

上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１１、信号処理チップ１１２およびメモリチップ１１３を積層しているので、これら出力配線３０８に接続部１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜撮像素子のブロック制御＞
本実施形態では、撮像素子３２ａにおける複数のブロックごとに撮像条件を設定する。制御部３４（撮像制御部３４ｃ）は、上記複数の領域を上記ブロックに対応させて、領域ごとに設定する撮像条件で撮像を行わせる。

例えば、移動する物体Ｔを被写体として動画像を撮像する場合において、制御部３４（撮像制御部３４ｃ）は、物体Ｔを含む第１領域と、第１領域以外の背景の第２領域とに撮像条件をそれぞれ設定して、第１動画像と第２動画像とを取得させる。移動する物体Ｔは、第１動画像の撮像を開始する前に、撮像素子３２ａの撮像面の全体に同じ条件を設定して取得したフレーム画像に基づいて、物体検出部３４ａによって検出させる。

＜撮像＞
-- 第１動画像 --
図５(a)〜図５(f)は、撮像素子３２ａによって取得される第１動画像を説明する模式図である。図５(a)〜図５(f)において、移動する物体Ｔは同一物であり、撮像画面内を左から右へ向かって移動する。図５(a)〜図５(f)は、例えばフレームレート２４０fpsで撮像する。図５(a)〜図５(f)で物体Ｔを撮像する時刻が異なるため、物体Ｔが移動した距離に応じて撮像画面内における物体Ｔの位置が異なる。

図５(a)のフレーム画像は、第１動画像の先頭フレーム、すなわち第１フレームである。図５(a)において、設定部３４ｂの領域変更部３４ｂ２は、物体検出部３４ａの検出結果に基づき物体Ｔを含む第１領域として領域Ｒ１を設定する。領域Ｒ１は１つまたは複数の単位領域を含む。図５(b)のフレーム画像は、第１動画像の第２フレームである。図５(b)において、設定部３４ｂの領域変更部３４ｂ２は、物体検出部３４ａの検出結果に基づき物体Ｔを含む第１領域として領域Ｒ２を設定する。領域Ｒ２は、領域Ｒ１の範囲に比べて物体Ｔの移動方向、すなわち水平右方向に長さｄ１だけ広く設定される。領域Ｒ２に含まれる単位領域の数は領域Ｒ１に含まれる単位領域の数よりも多くなる。設定部３４ｂの領域変更部３４ｂ２は、長さｄ１を、物体Ｔの動き、例えば物体Ｔの移動速度（速さ）に基づいて決定する。例えば、第１動画像の撮像を開始する前に、撮像素子３２ａの撮像面の全体に同じ条件を設定して取得された直近の２フレームのライブビュー画像から得られる物体Ｔの相対的な移動量に基づいて長さｄ１を決定する。ライブビュー画像は、所定のフレームレート（例えば６０fps）で繰り返し撮像するモニタ用画像のことをいう。

図５(c)のフレーム画像は、第１動画像の第３フレームである。図５(c)において、設定部３４ｂの領域変更部３４ｂ２は、物体検出部３４ａの検出結果に基づき物体Ｔを含む第１領域として領域Ｒ３を設定する。領域Ｒ３は、領域Ｒ２の範囲に比べて物体Ｔの移動方向、すなわち水平右方向に長さｄ２だけ広く設定される。領域Ｒ３に含まれる単位領域の数は領域Ｒ２に含まれる単位領域の数よりも多くなる。設定部３４ｂの領域変更部３４ｂ２は、長さｄ２を、物体Ｔの移動速度に基づいて決定する。例えば、直近の２フレームの第１動画像、すなわち第１フレーム（図５(a)）および第２フレーム（図５(b)）の画像から得られる物体Ｔの相対的な移動量に基づいて長さｄ２を決定する。

図５(d)のフレーム画像は、第１動画像の第４フレームである。図５(d)において、設定部３４ｂの領域変更部３４ｂ２は、物体検出部３４ａの検出結果に基づき物体Ｔを含む第１領域として領域Ｒ４を設定する。領域Ｒ４は、領域Ｒ３の範囲に比べて物体Ｔの移動方向、すなわち水平右方向に長さｄ３だけ広く設定される。領域Ｒ４に含まれる単位領域の数は領域Ｒ３に含まれる単位領域の数よりも多くなる。設定部３４ｂの領域変更部３４ｂ２は、長さｄ３を、物体Ｔの移動速度に基づいて決定する。例えば、直近の２フレームの第１動画像、すなわち第２フレーム（図５(b)）および第３フレーム（図５(c)）の画像から得られる物体Ｔの相対的な移動量に基づいて長さｄ３を決定する。

設定部３４ｂの領域変更部３４ｂ２は、第１動画像の所定数のフレームの撮像を行う度に、物体Ｔを含む第１領域の撮像画面における位置および範囲を見直す。図５(e)のフレーム画像は、第１動画像の第５フレームである。図５(e)において、設定部３４ｂの領域変更部３４ｂ２は、物体検出部３４ａの検出結果に基づき物体Ｔを含む第１領域として領域Ｒ５を設定する。領域Ｒ５は、第１フレームである図５(a)の領域Ｒ１と比べると、物体Ｔが移動した距離に応じて撮像画面内における位置が異なる。
詳述すると、第２フレームの領域Ｒ２は、第１フレームの領域Ｒ１よりも長さがｄ１だけ拡大され、第３フレームの領域Ｒ３は、第１フレームの領域Ｒ１よりも長さが（ｄ１+ｄ２）だけ拡大されている。同様に、第４フレームの領域Ｒ４は、第１フレームの領域Ｒ１よりも長さが（ｄ１+ｄ２+ｄ３）だけ拡大されている。第５フレームの領域Ｒ５は、第１フレームの領域Ｒ１のサイズと略同一に戻るが、撮影画面内の位置が第１フレームの領域Ｒ１に対して、異なっている。

図５(f)のフレーム画像は、第１動画像の第６フレームである。図５(f)において、設定部３４ｂの領域変更部３４ｂ２は、物体検出部３４ａの検出結果に基づき物体Ｔを含む第１領域として領域Ｒ６を設定する。領域Ｒ６は、領域Ｒ５の範囲に比べて物体Ｔの移動方向、すなわち水平右方向に長さｄ１’だけ広く設定される。設定部３４ｂの領域変更部３４ｂ２は、長さｄ１’を、物体Ｔの移動速度に基づいて決定する。例えば、直近の２フレームの第１動画像、すなわち第４フレーム（図５(d)）および第５フレーム（図５(f)）の画像から得られる物体Ｔの相対的な移動量に基づいて長さｄ１’を決定する。以降のフレームについても同様である。

以上説明したように、第１動画像は、移動する物体Ｔを含む領域Ｒｎ（ただし、ｎは１、２、３、…）を撮像対象にする。設定部３４ｂの領域変更部３４ｂ２は、第１領域とする領域Ｒｎの範囲を、物体Ｔが移動するにつれて広げる。また、領域変更部３４ｂ２は、後述のように、領域Ｒｎの位置および範囲を、第２動画像を撮像する度に設定し直す。

-- 第２動画像 --
図６(a)および図６(b)は、撮像素子３２ａによって取得される第２動画像を説明する模式図である。図６(a)のフレーム画像は、第２動画像の先頭フレーム、すなわち第１フレームである。図６(b)のフレーム画像は、第２動画像の第２フレームである。図６(c)〜図６(g)のフレーム画像は、第１動画像の第１フレーム〜第５フレーム、すなわち、図５(a)〜図５(e)に対応する。

第２動画像は、例えば、第１動画像のフレームレート２４０fpsの1/4のフレームレート６０fpsで撮像される。第１動画像の第１フレーム（図６(c)）を撮像する時点で、第２動画像の第１フレーム（図６(a)）が撮像される。また、第１動画像の第５フレーム（図６(g)）を撮像する時点で、第２動画像の第２フレーム（図６(b)）が撮像される。上述したように、第２動画像として撮像する領域は、第１動画像の撮像対象である第１領域以外の第２領域である。

なお、上述したように撮像素子３２ａの領域ごとに異なる撮像条件を設定できるので、第１動画像と第２動画像とで１フレーム当たりの露光時間を異ならせることが可能である。例えば、本実施の形態では第１動画像のフレームレートが２４０fpsであるので、第１動画像の１フレーム当たりの露光時間は４msec程度まで長くすることができる。また、第２動画像のフレームレートが６０fpsであるので、第２動画像の１フレーム当たりの露光時間は１６msec程度まで長くすることができる。
第１動画像と第２動画像との間で異なる露光時間を設定することにより、例えば、第２動画像の第１フレームを撮像する（電荷蓄積および読み出し）傍らで、第１動画像の第１フレーム、第２フレーム、…を撮像する（電荷蓄積および読み出し）ことも可能である。

図６(a)において、設定部３４ｂの領域変更部３４ｂ２は、第１動画像の第１フレームの領域Ｒ１（図６(c)）以外の領域Ｂ１を第２領域（ハッチングを付けた領域）として設定する。図６(b)において、設定部３４ｂの領域変更部３４ｂ２は、第１動画像の第５フレームの領域Ｒ５（図６(g)）以外の領域Ｂ２を第２領域（ハッチングを付けた領域）として設定する。

以上説明したように、第１の実施形態による第２動画像は、上記領域Ｒｎ（ただし、ｎは１、５、…）以外の領域Ｂｍ（ただし、ｍは１、２、…）を撮像対象とする。設定部３４ｂの領域変更部３４ｂ２は、第２領域とする領域Ｂｍを、第２動画像を撮像する度に設定し直す。

＜記録＞
制御部３４は、記録部３７によって記録媒体に記録する動画像ファイルを生成する。制御部３４は、第１動画像を記録した第１動画像ファイルと、第２動画像を記録した第２動画像ファイルとをそれぞれ記録媒体に記録する第１記録モードの場合、第１動画像ファイルと第２動画像ファイルとをそれぞれ生成する。記録部３７は、制御部３４からの指示により、記録媒体に第１動画像ファイルと第２動画像ファイルとを記録する。

制御部３４は、再生用の動画像を記録媒体に記録する第２記録モードの場合、第１動画像と第２動画像とを合成した第３動画像を記録した第３動画像ファイルを生成する。第３動画像ファイルの生成については後述する。記録部３７は、制御部３４からの指示により、記録媒体に第３動画像ファイルを記録する。

制御部３４は、第１記録モードと第２記録モードとの切替を、例えば操作部材３６の設定状態に基づいて行う。
なお、上記第１動画像ファイルと、上記第２動画像ファイルと、上記第３動画像ファイルとをそれぞれ記録媒体に記録する第３記録モードを備えてもよい。この場合において、第１記録モード〜第３記録モードとの切替を、操作部材３６の設定状態に基づいて行ってもよい。

＜再生＞
図６(h)〜図６(l)のフレーム画像を参照して、再生動画像を説明する。制御部３４は、記録部３７によって記録媒体から読み出された動画像ファイルに基づき、表示部３５に動画像を再生表示する。

-- 第１記録モードの画像の再生 --
第１記録モードの場合、上記第３動画像を生成していないので、制御部３４は、記録媒体に記憶された第１動画像と第２動画像とを読み出し、読み出された第１および第２動画像を合成して第３動画像を生成する。制御部３４は、第３動画像のフレームレートとして、第１動画像のフレームレートと第２動画像のフレームレートとのうちの速い方のフレームレートを採用する。本例では、第１動画像のフレームレート２４０fpsを採用して２４０fpsの第３動画像を生成する。以下に、第３動画像の生成、即ち合成について詳細に説明する。

（画像合成）
制御部３４は、第２動画像の第１フレーム（図６(a)）に対して、第１動画像の第１フレーム（図６(c)）を合成して第３動画像の第１フレーム（図６(h)）を生成する。次に、制御部３４は、第２動画像の第１フレーム（図６(a)）に対して、第１動画像の第２フレーム（図６(d)）を上書き合成して第３動画像の第２フレーム（図６(i)）を生成する。

以降のフレームについても同様に、制御部３４は、第２動画像の第１フレーム（図６(a)）に対して、第１動画像の第３フレーム（図６(e)）、第４フレーム（図６(f)）をそれぞれ上書き合成して第３動画像の第３フレーム（図６(j)）、第４フレーム（図６(k)）をそれぞれ生成する。

制御部３４は、第２動画像の第２フレーム（図６(b)）に対して、第１動画像の第５フレーム（図６(g)）を合成して第３動画像の第５フレーム（図６(l)）を生成する。以降のフレームについても同様である。
なお、このような第１動画像と第２動画像とを合成して第３動画像を生成する方法は、第２記録モードの場合において第１動画像と第２動画像とを合成して第３動画像を生成する際にも、同様に適用される。

第２動画像に対して第１動画像を合成する場合、双方の動画像の明暗差が少ない方が望ましい。合成後の第３動画像において、合成した境界部分の明暗差が目立つおそれがあるからである。しかしながら、例えば第１動画像と第２動画像とで異なる露光時間を設定したことにより、両動画像に明暗差が生じる場合には、暗い動画像の画像データに対してゲインをかけたり、暗い動画像の近傍の画素データを加算したりして、境界部分の明暗差を抑える処理が有効である。境界部分の明暗差を抑える処理をして第１動画像および第２動画像の合成を行うことで、合成後の第３動画像において合成した境界部分の明暗差を目立たなくすることができる。

制御部３４は、上述したように、第１動画像および第２動画像に基づいて第３動画像を生成する動画像生成処理を行いながら、生成した第３動画像を表示部３５に再生表示する。

-- 第２記録モード、第３記録モードの画像の再生 --
第２記録モード、第３記録モードの場合は、既に上記第３動画像を生成済みであるので、制御部３４は、記録部３７に指示を送り、記録媒体に記録されている第３動画像ファイルを読み出させる。制御部３４は、記録部３７で読み出された第３動画像を表示部３５に再生表示する。

上述した第１の実施形態によれば、次の作用効果が得られる。
（１）撮像装置の一例であるカメラ１は、入射した光を撮像する第１領域と、入射した光を撮像する第１領域とは異なる第２領域とを有する撮像部３２と、第１領域の撮像条件を、第２領域の撮像条件と異なる条件に設定する設定部３４ｂとを備える。そして、設定部３４ｂは、移動する物体Ｔを含み、物体Ｔの移動速度に基づく領域Ｒｎを第１領域としてフレームレート２４０fpsを設定して第１動画像を撮像させ、かつ、第１領域以外の領域Ｂｍを第２領域としてフレームレート２４０fpsよりも遅いフレームレート６０fpsを設定して第２動画像を撮像させる。これにより、動画像の撮像を適切に行うことができる。速いフレームレートを設定する領域Ｒｎを限定したことで、例えば撮像画面の全体に速いフレームレートを設定して撮像する場合に比べて、消費電力の低減、および発熱量の低減を図ることができる。さらに、速いフレームレートを設定する領域Ｒｎを限定したことで、画像のデータ量を削減することができる。

（２）カメラ１の領域変更部３４ｂ２は、第１動画像を撮像する度に領域Ｒｎを物体Ｔが移動する方向へ広げるので、後フレームになるほど領域Ｒｎが広くなる。仮に、後フレームの領域を狭くしてしまうと、第２動画像のフレームに対して第１動画像のフレームを合成した場合に画像データが欠落する部分が生じるおそれがあるところ、本実施形態では後フレームの領域Ｒｎを広げたので、合成後のフレーム画像にデータの欠落部分を発生させないというメリットが得られる。

（３）カメラ１の領域変更部３４ｂ２は、移動する物体Ｔの移動速度により、領域Ｒｎを広げる幅を変化させる。これにより、必要以上に領域Ｒｎを広げることが防止され、消費電力の低減、および発熱量の低減を図ることができる。

（４）カメラ１の領域変更部３４ｂ２は、第２動画像を撮像する度に撮像画面における領域Ｒｎの位置および範囲を設定し直すので、広げた領域Ｒｎを定期的に小さく戻すことができる。これにより、必要以上に領域Ｒｎを広げることが防止され、消費電力の低減、および発熱量の低減を図ることができる。

（５）画像処理装置の一例であるカメラ１は、上記のように撮像されたフレームレート２４０fpsの第１動画像、および上記のように撮像されたフレームレート６０fpsの第２動画像を読み出す記録媒体に記録部３７と、記録部３７に読み出された第１動画像と、記録部３７に読み出された第２動画像とを合成し、フレームレート２４０fpsの第３動画像を生成する制御部３４とを備える。これにより、第１動画像および第２動画像に基づいて、適切に動画像（第３動画像）を再生することができる。

（６）上記（５）の制御部３４は、第２動画像に対し、対応する第１動画像の各フレームの画像をフレーム順に合成する。これにより、第１動画像および第２動画像に基づいて、適切に動画像（第３動画像）を再生することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（第１の実施形態の変形例）
上述の実施の形態では、移動物体Ｔが水平右方向に移動する場合に、領域Ｒを水平右方向に広げた。物体Ｔが撮像画面内を水平左方向へ移動する場合には、設定部３４ｂの領域変更部３４ｂ２は、第１動画像の撮像対象にする領域Ｒｎの範囲を水平左方向へ広げてよい。
また、移動する物体Ｔが元の位置の方向へ戻る場合、例えば、当初水平右方向へ所定の距離だけ移動した物体Ｔが移動方向を水平左方向へ変える場合には、設定部３４ｂの領域変更部３４ｂ２は、物体Ｔが水平右方向に移動中には、図５に示したように、領域Ｒを右方向への移動に伴い、徐々に広げる。設定部３４ｂの領域変更部３４ｂ２は、その後に、物体Ｔが方向を変えて水平左方向に移動しても、ほぼ上記の所定の距離移動するまで、領域Ｒを不変のままとし、物体Ｔがほぼ上記の所定の距離だけ水平左方向に移動した後に、左方向に領域Ｒを広げる。この理由は、第２動画像を撮像するタイミングで、領域Ｒｎの位置および範囲を設定し直すからである。

物体Ｔが撮像画面内を鉛直上方向へ移動する場合には、設定部３４ｂの領域変更部３４ｂ２は、第１動画像の撮像対象にする領域Ｒｎの範囲を鉛直上方向へ広げてよい。また、物体Ｔが撮像画面内を鉛直下方向へ移動する場合には、設定部３４ｂの領域変更部３４ｂ２は、第１動画像の撮像対象にする領域Ｒｎの範囲を鉛直下方向へ広げてよい。

さらにまた、物体Ｔが撮像画面内を斜め方向へ移動する場合には、設定部３４ｂの領域変更部３４ｂ２は、第１動画像の撮像対象にする領域Ｒｎの範囲を斜め方向へ広げてよい。例えば、領域Ｒｎの範囲を右斜め上方向に広げる場合において、領域Ｒｎを示す四角形の右上の頂点を右斜め上に移動させることによって領域Ｒｎの範囲を広げてもよい。
移動する物体Ｔが移動方向を変えて移動する場合には、設定部３４ｂの領域変更部３４ｂ２は、領域Ｒｎの範囲を新たな移動方向に向かって広げてよい。

移動する物体Ｔがカメラ１の方向に近づく場合には、設定部３４ｂの領域変更部３４ｂ２は、第１動画像の撮像対象にする領域Ｒｎの範囲を上下左右方向へ広げてよい。また、移動する物体Ｔがカメラ１から離れる場合には、設定部３４ｂの領域変更部３４ｂ２は、第１領域を狭めなくてよい。領域Ｒｎの位置および範囲を、第２動画像を撮像するタイミングで設定し直すからである。

さらに、制御部３４は、移動する物体Ｔを検出する前には、撮像画面の全体をフレームレート６０fpsに設定して一つの動画像を撮像しておき、移動する物体Ｔを検出した後に、上述した第１動画像および第２動画像の撮像へ切替えてもよい。この場合、例えば、移動する物体Ｔがフレームアウト、すなわち撮像画面の外へ外れた場合には、制御部３４は、第１動画像および第２動画像の撮像を終了し、撮像画面の全体をフレームレート６０fpsに設定して一つの動画像の撮像へ切替えてよい。

上記の説明では、上記領域Ｒｎ（ただし、ｎは１、５、…）以外の領域Ｂｍ（ただし、ｍは１、２、…）を第２動画像の撮像対象としたが、領域Ｒｎと領域Ｂｍとを合わせた領域、すなわち、撮像素子３２ａの撮像面の全体を第２動画像の撮像対象としてもよい。
例えば、フレームレート６０fpsの第２動画像は、図６(ａ)に示した第１フレームと、図６(ｂ)に示した第２フレームとは、領域Ｒｎと領域Ｂｍとを合わせた領域を撮像する。従って、第２動画像は、第１および第２フレームが、あたかも図６(ｈ)および(ｌ)と同様の画像となる。この第２動画像の第１および第２フレームの撮像時には、図６(ｃ)および(ｇ)に示した第１動画像の第１フレーム、および第５フレームの撮像を行わない。第３動画像は、第２動画像の第１フレーム（図６(ｈ)）と、第２動画像の第１フレームを第１動画像の第２、第３、第４フレームでそれぞれ上書きした３つのフレーム（図６(ｉ)、(ｊ)、(ｋ)）と、第２動画像の第２フレーム（図６(ｌ)）とから生成される。

−−第２の実施形態−−
第２の実施形態は、第１の実施形態に比べて物体Ｔが低速で移動する場合において好適である。第２の実施形態は、第１動画像として撮像する第１領域の決め方、第２動画像として撮像する第２領域の決め方、および、第２動画像の撮像時に第１動画像を撮像しない点において、第１の実施形態と相違する。以下、図７および図８を参照して第２の実施形態について説明する。

＜撮像＞
-- 第１動画像 --
図７(a)〜図７(f)は、第２の実施形態によるカメラ１で取得される第１動画像を説明する模式図である。第１の実施形態によるカメラ１で取得される第１動画像との比較を容易にするため、図７(a)〜図７(f)はそれぞれ、第１の実施形態で参照した図５(a)〜図５(f)に対応させている。

第１動画像は、後述するように例えばフレームレート２４０fpsで撮像されるが、フレームレート２４０fpsの撮像タイミングのうち、４回に１回の割合で第１動画像を撮像しない。図７は、フレームレート２４０fpsの第１フレーム〜第６フレームを例示したものである。
図７(a)における第１動画像の撮像対象である領域Ｒ１の破線、および図７(e)における第１動画像の撮像対象である領域Ｒ５の破線は、それぞれ、第１フレーム（図７(a)）および第５フレーム（図７(e)）に相当する第１動画像を撮像しない、すなわち、第１動画像の第１および第５フレームが存在しないことを示す。

第１動画像の第２フレーム（図７(b)）から第４フレーム（図７(d)）、および第６フレーム（図７(f)）において、移動する物体Ｔは同一物であり、撮像画面内を左から右へ向かって移動する。第２フレームから第４フレーム、および第６フレームから不図示の第８フレームは、上述のように例えばフレームレート２４０fpsで撮像される。図７(b)〜図７(d)、および図７(f)で物体Ｔを撮像する時刻が異なるため、物体Ｔが移動した距離に応じて撮像画面内における物体Ｔの位置が異なる。

図７(a)に示すように、設定部３４ｂの領域変更部３４ｂ２は、第１フレーム（図７(a)）に相当する時点（後述する第２動画像の第１フレームを取得する時点）において、物体Ｔを検出した物体検出部３４ａの検出結果に基づき物体Ｔを含む第１領域として領域Ｒ１を設定する。上述したように、第１動画像の第１フレームを撮像しないため、設定部３４ｂの領域変更部３４ｂ２は、領域Ｒ１の設定のみを行う。設定部３４ｂの領域変更部３４ｂ２は、領域Ｒ１の物体Ｔの移動方向の領域Ｒ１の長さを、物体Ｔの移動速度に基づいて決定する。例えば、第１動画像の撮像を開始する前に、撮像素子３２ａの撮像面の全体に同じ条件を設定して取得された直近の４フレームのライブビュー画像から得られる物体Ｔの相対的な移動量に基づいて、移動方向である水平方向の長さを決定する。４フレームのライブビュー画像に基づいて決定するのは、４フレームごとに領域の長さを見直すからである。
なお、ライブビュー画像は、上述したように、所定のフレームレート（例えば６０fps）で繰り返し撮像するモニタ用画像である。

図７(b)のフレーム画像は、第１動画像の第２フレームである。図７(b)において、設定部３４ｂの領域変更部３４ｂ２は、物体Ｔを含む第１領域として領域Ｒ２を設定する。領域Ｒ２は、領域Ｒ１と撮像画面における位置および範囲が同じである。

図７(c)のフレーム画像は、第１動画像の第３フレームである。図７(c)において、設定部３４ｂの領域変更部３４ｂ２は、物体Ｔを含む第１領域として領域Ｒ３を設定する。領域Ｒ３は、領域Ｒ１および領域Ｒ２と撮像画面における位置および範囲が同じである。

図７(d)のフレーム画像は、第１動画像の第４フレームである。図７(d)において、設定部３４ｂの領域変更部３４ｂ２は、物体Ｔを含む第１領域として領域Ｒ４を設定する。領域Ｒ４は、領域Ｒ１〜領域Ｒ３と撮像画面における位置および範囲が同じである。

設定部３４ｂの領域変更部３４ｂ２は、第１動画像の所定数のフレームの撮像を行う度に、物体Ｔを含む第１領域の撮像画面における位置および範囲を見直す。図７(e)に示すように、設定部３４ｂの領域変更部３４ｂ２は、第５フレーム（図７(e)）に相当する時点（後述する第２動画像の第２フレームを取得する時点）において、物体Ｔを検出した物体検出部３４ａの検出結果に基づき物体Ｔを含む第１領域として領域Ｒ５を設定する。上述したように、第５動画像の第５フレームを撮像しないため、設定部３４ｂの領域変更部３４ｂ２は、領域Ｒ５の設定のみを行う。設定部３４ｂの領域変更部３４ｂ２は、物体Ｔの移動方向の領域Ｒ５の長さを、物体Ｔの移動速度に基づいて決定する。例えば、計４フレームの動画像に基づいて、移動方向である水平方向の領域５の長さを決定する。具体的には、直近の３フレームの第１動画像（図７(b)、図７(c)、図７(d)）と、直近の１フレームの第２動画像（図８(a)）とから得られる物体Ｔの相対的な移動量に基づいて決定する。計４フレームの動画像に基づいて決定するのは、４フレームごとに領域の長さを見直すからである。

図７(f)のフレーム画像は、第１動画像の第６フレームである。図７(f)において、設定部３４ｂの領域変更部３４ｂ２は、物体Ｔを含む第１領域として領域Ｒ６を設定する。領域Ｒ６は、領域Ｒ５と撮像画面における位置および範囲が同じである。以降のフレームについても同様である。

以上説明したように、第１動画像は、移動する物体Ｔを含む領域Ｒｎ（ただし、ｎは２、３、４、６，…）を撮像対象にする。設定部３４ｂの領域変更部３４ｂ２は、第１領域とする領域Ｒｎの位置および範囲を、第２動画像を撮像する度に設定し直す。

-- 第２動画像 --
図８(a)および図８(b)は、撮像素子３２ａによって取得される第２動画像を説明する模式図である。図８(a)のフレーム画像は、第２動画像の先頭フレーム、すなわち第１フレームである。図８(b)のフレーム画像は、第２動画像の第２フレームである。図８(c)〜図８(g)のフレーム画像は、第１動画像の説明で参照した図７(a)〜図７(e)に対応する。

第２動画像は、例えばフレームレート６０fpsで撮像される。第２動画像として撮像する領域は、第１動画像として撮像する第１領域と、第１領域以外の第２領域とを合わせた領域、すなわち、撮像素子３２ａの撮像面の全体である。
なお、第２動画像の第１および第２フレームをそれぞれ示す図８(ａ)、(ｂ)と、第１動画像の撮像されない第１および第５フレームをそれぞれ示す図８(ｃ)、(ｇ)とが上下方向にそれぞれ並んでいる。これは、第２動画像の第１および第２フレームと第１動画像の撮像されない第１および第５フレームとがそれぞれ同時期であることを表している。

図８(a)において、設定部３４ｂの領域変更部３４ｂ２は、上記のように設定した領域Ｒ１（図８(c)）以外の領域Ｂ１を第２領域として設定する。図８(b)において、設定部３４ｂの領域変更部３４ｂ２は、上記のように設定した領域Ｒ５（図８(g)）以外の領域Ｂ２を第２領域として設定する。

以上説明したように、第２の実施形態による第２動画像は、上記領域Ｒｎ（ただし、ｎは１、５、…）と、上記領域Ｒｎ以外の領域Ｂｍ（ただし、ｍは１、２、…）とを合わせた領域、すなわち、撮像素子３２ａの撮像面の全体を撮像対象にする。設定部３４ｂの領域変更部３４ｂ２は、第１領域とする領域Ｒｎを、第２動画像を撮像する度に設定し直す。
なお、第２の実施形態において第１領域とする領域Ｒｎを設定することは、第２領域とする領域Ｂｍを設定することに等しい。

＜記録＞
制御部３４は、第１記録モードの場合、第１動画像ファイルと第２動画像ファイルとをそれぞれ生成する。記録部３７は、制御部３４からの指示により、記録媒体に第１動画像ファイルと第２動画像ファイルとを記録する。

制御部３４は、第２記録モードの場合、第１動画像と第２動画像とを合成した第３動画像を記録した第３動画像ファイルを生成する。第３動画像ファイルの生成については後述する。記録部３７は、制御部３４からの指示により、記録媒体に第３動画像ファイルを記録する。

なお、第１記録モードと第２記録モードとの切替を、例えば操作部材３６の設定状態に基づいて行う点は、第１の実施形態と同様である。
また、第１動画像ファイルと、第２動画像ファイルと、第３動画像ファイルとをそれぞれ記録媒体に記録する第３記録モードを備えてよい点も第１の実施形態と同様である。

＜再生＞
図８(h)〜図８(l)のフレーム画像を参照して、再生動画像を説明する。制御部３４は、記録部３７によって記録媒体から読み出された動画像ファイルに基づき、表示部３５に動画像を再生表示する。

-- 第１記録モードの画像の再生 --
第１記録モードの場合、上記第３動画像が存在しないので、制御部３４は、第１動画像と第２動画像とを合成して第３動画像を生成する。制御部３４は、第３動画像のフレームレートとして、第１動画像のフレームレートと第２動画像のフレームレートうちの速い方のフレームレートを採用する。本例では、第１動画像のフレームレート２４０fpsを採用して２４０fpsの第３動画像を生成する。

（画像合成）
制御部３４は、第２動画像の第１フレーム（図８(a)）を、第３動画像の第１フレーム（図８(h)）として用いる。次に、制御部３４は、第２動画像の第１フレーム（図８(a)）に対して、第１動画像の第２フレーム（図８(d)）を上書き合成して第３動画像の第２フレーム（図８(i)）を生成する。

以降のフレームについても同様に、制御部３４は、第２動画像の第１フレーム（図８(a)）に対して、第１動画像の第３フレーム（図８(e)）、第４フレーム（図８(f)）をそれぞれ上書き合成して第３動画像の第３フレーム（図８(j)）、第４フレーム（図８(k)）をそれぞれ生成する。

制御部３４は、第２動画像の第２フレーム（図８(b)）を、第３動画像の第５フレーム（図８(l)）として用いる。制御部３４は、第２動画像の第２フレーム（図８(b)）に対して、第１動画像の第６フレーム（図７(f)）を上書き合成して第３動画像の第６フレーム（不図示）を生成する。以降のフレームについても同様である。
なお、このような第１動画像と第２動画像とを合成して第３動画像を生成する方法は、第２記録モードの場合において第１動画像と第２動画像とを合成して第３動画像を生成する際にも、同様に適用される。

制御部３４は、上述したように、第１動画像および第２動画像に基づいて第３動画像を生成する動画像生成処理を行いながら、生成した第３動画像を表示部３５に再生表示する。

-- 第２記録モード、第３記録モードの画像の再生 --
第２記録モード、第３記録モードの場合は、既に上記第３動画像が存在するので、制御部３４は、記録部３７で読み出された第３動画像を表示部３５に再生表示する。

上述した第２の実施形態によれば、次の作用効果が得られる。
（１）撮像装置の一例であるカメラ１は、入射した光を撮像する第１領域と、入射した光を撮像する第１領域とは異なる第２領域とを有する撮像部３２と、第１領域の撮像条件を、第２領域の撮像条件と異なる条件に設定する設定部３４ｂとを備える。そして、設定部３４ｂは、移動する物体Ｔを含み、物体Ｔの移動速度に基づく領域Ｒｎを第１領域としてフレームレート２４０fpsを設定して第１動画像を撮像させ、かつ、第１領域以外の領域Ｂｍを第２領域として、少なくとも第２領域に第１フレームレートよりも遅いフレームレート６０fpsを設定して第２動画像を撮像させる。これにより、動画像の撮像を適切に行うことができる。速いフレームレートを設定する領域Ｒｎを限定したことで、例えば撮像画面の全体に速いフレームレートを設定して撮像する場合に比べて、消費電力の低減、および発熱量の低減を図ることができる。さらに、速いフレームレートを設定する領域Ｒｎを限定したことで、画像のデータ量を削減することができる。

（２）カメラ１の設定部３４ｂの領域変更部３４ｂ２は、第２動画像の前後する二つのフレームの間において、領域Ｒｎを同じ大きさに設定する。これにより、仮に、後フレームの領域を狭くしてしまうと、第２動画像のフレームに対して第１動画像のフレームを合成した場合に画像データが欠落する部分が生じるおそれがあるところ、本実施形態では後フレームの領域Ｒｎを同じ大きさに設定したので、合成後のフレーム画像にデータの欠落部分を発生させないというメリットが得られる。

（３）カメラ１の領域変更部３４ｂ２は、第２動画像の撮像時には第１動画像を撮像させないようにした。これにより、領域Ｒｎによる撮像を、定期的に休ませることができるから、消費電力の低減、および発熱量の低減を図ることができる。

（４）カメラ１の設定部３４ｂは、第１動画像を撮像させないで第２動画像を撮像する場合には、領域Ｒｎおよび領域Ｂｍにそれぞれフレームレート６０fpsを設定して第２動画像を撮像させるので、領域Ｒｎによる撮像を休ませても、移動する物体Ｔの動画像を撮像することができる。

（５）カメラ１の領域変更部３４ｂ２は、第２動画像を撮像する度に撮像画面における領域Ｒｎの位置および範囲を設定し直す。これにより、必要以上に領域Ｒｎを広げることが防止され、消費電力の低減、および発熱量の低減を図ることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（第２の実施形態の変形例）
物体Ｔが撮像画面内を鉛直方向へ移動する場合には、設定部３４ｂの領域変更部３４ｂ２は、第１動画像の撮像対象にする領域Ｒｎの範囲を鉛直方向に長く設定してよい。

また、物体Ｔが撮像画面内を斜め方向へ移動する場合には、設定部３４ｂの領域変更部３４ｂ２は、第１動画像の撮像対象にする領域Ｒｎの範囲を斜め方向に長く設定してよい。

さらに、制御部３４は、移動する物体Ｔを検出する前には、撮像画面の全体をフレームレート６０fpsに設定して一つの動画像を撮像しておき、移動する物体Ｔを検出した後に、上述した第１動画像および第２動画像の撮像へ切替えてもよい。この場合、例えば、移動する物体Ｔがフレームアウト、すなわち撮像画面の外へ外れた場合には、制御部３４は、第１動画像および第２動画像の撮像を終了し、撮像画面の全体をフレームレート６０fpsに設定して一つの動画像の撮像へ切替えてよい。
なお、上記では第１フレーム（図７(a)）および第５フレーム（図７(e)）に相当する第１動画像を撮像しないとしたが、第１フレーム（図７(a)）および第５フレーム（図７(e)）に相当する第１動画像を撮像してもよい。その場合は、例えば第1フレームの第1領域と第２領域は、第２フレームと同じにする。これにより、第1フレームから第４フレームまで第1領域の位置と大きさは同じになる。

−−第３の実施形態−−
第１の実施形態に第１動画像として撮像する第１領域の決める際に物体Ｔの移動に伴い第１領域の範囲を広げていたが、第３の実施形態は、物体Ｔが移動したときに第１領域の位置は変化させるが範囲は変化させない。これにより、前回の撮像で第１領域であった一部が第１領域ではなくなる。第３の実施形態は、この部分に第１領域の撮像条件を設定する。これにより、物体Ｔが移動して第１領域の位置が変化しても範囲を変化させないときであっても、撮像されない部分がなくなる。これら以外については、第１の実施形態と同様に行うことができる。

上記実施の形態は、次のような撮像装置も含む。すなわち、撮像条件を変更できる複数の撮像領域を有する撮像部３２と、対象物を含む１つまたは複数の撮像領域を有する対象物領域を設定し、対象物領域内の撮像領域に同一の撮像条件を設定する設定部３４と、対象物領域に含まれる撮像領域を対象物の動きに基づいて変更する領域変更部３４ｂ２と、を備える撮像装置。

１…カメラ
３２…撮像部
３３…画像処理部
３４…制御部
３４ａ…物体検出部
３４ｂ…設定部
３４ｂ２…領域変更部
３４ｃ…撮像制御部
３５…表示部
３６…操作部材
３７…記録部

Claims (15)

1. 撮像条件を変更できる複数の撮像領域を有する撮像部と、
   対象物を含む１つまたは複数の前記撮像領域を有する対象物領域を設定し、前記対象物領域内の撮像領域に同一の撮像条件を設定する設定部と、
   前記対象物領域に含まれる前記撮像領域を前記対象物の動きに基づいて変更する領域変更部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記領域変更部は、前記対象物領域で画像を撮像する度に、前記対象物領域に含まれる前記撮像領域の数を増やすことにより、前記対象物領域を前記対象物が移動する方向へ広げる撮像装置。
3. 請求項２に記載の撮像装置において、
   前記領域変更部は、前記移動する対象物の移動の速さにより、前記対象物領域に含まれる前記撮像領域を増やす数を変化することにより、前記広げる範囲を変化させる撮像装置。
4. 請求項３に記載の撮像装置において、
   前記設定部は、前記対象物領域のフレームレートを前記対象物領域以外の領域のフレームレートより高く設定し、
   前記領域変更部は、前記対象物領域以外の領域で画像を撮像する度に、前記対象物領域の位置および範囲を設定し直す撮像装置。
5. 請求項４に記載の撮像装置において、
   前記領域変更部は、前記対象物領域以外の領域で撮像する画像の前後する二つのフレームの間において、前記対象物領域を同じ大きさに設定する撮像装置。
6. 請求項５に記載の撮像装置において、
   前記設定部は、前記対象物領域以外の領域での画像の撮像時には前記対象物領域で画像を撮像させない撮像装置。
7. 請求項６に記載の撮像装置において、
   前記設定部は、前記対象物領域で画像を撮像させないで前記対象物領域以外の領域で画像を撮像する場合には、前記対象物領域および前記対象物領域以外の領域にそれぞれ前記対象物領域以外の領域のフレームレートを設定して前記対象物領域以外の領域の画像を撮像させる撮像装置。
8. 請求項７に記載の撮像装置において、
   前記領域変更部は、前記対象物領域以外の領域の画像を撮像する度に前記対象物領域の位置および範囲を設定し直す撮像装置。
9. 請求項５に記載の撮像装置において、
   前記設定部は、前記対象物領域以外の領域での画像の撮像時にも前記対象物領域で画像を撮像する撮像装置。
10. 請求項４から請求項８のいずれか一項に記載の撮像装置で、前記対象物領域で撮像された画像、および前記撮像装置で、前記対象物領域以外の領域で撮像された画像を入力する入力部と、
    前記入力部へ入力された前記対象物領域で撮像された画像と、前記入力部へ入力された前記対象物領域以外の領域で撮像された画像とを合成し、前記対象物領域で撮像されたフレームレートの画像を生成する画像生成部と、
    を備える画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記画像生成部は、前記対象物領域以外の領域で撮像された画像に対し、対応する前記対象物領域で撮像された画像の各フレームの画像をフレーム順に合成する画像処理装置。
12. 撮像条件の異なる第１領域と第２領域とを有する撮像部と、
    前記第１領域の第１撮像条件と前記第２領域の第２撮像条件とを設定し、前記第１領域の位置が変化することにより生じる、撮像条件が設定されていない領域に前記第１撮像条件を設定する設定部と、
    を備える撮像装置。
13. 請求項１２に記載の撮像装置において、
    前記設定部は、前記第１撮像条件として第１フレームレートを設定して第１の画像を撮像させ、前記第２撮像条件として前記第１フレームレートよりも遅い第２フレームレートを設定して第２の画像を撮像させる撮像装置。
14. 請求項１３に記載の撮像装置において、
    前記設定部は、前記第２の画像を撮像する度に前記第１領域の位置および範囲を設定し直す撮像装置。
15. 請求項１２から請求項１４のいずれか一項に記載の撮像装置において、
    前記第１領域は前記撮像部で撮像される移動する対象物の像を含み、
    前記設定部は、前記第１領域を前記対象物の移動の速さに基づき設定する撮像装置。

Images