JP2023166557A - 動画圧縮装置 - Google Patents

Abstract

【課題】異なる撮像条件が混在する動画データを区分けして圧縮する動画圧縮装置、電子機器及び動画圧縮プログラムを提供する。【解決手段】被写体を撮像する複数の撮像領域を有し、撮像領域毎に撮像条件が設定可能な撮像素子から出力された複数のフレームを圧縮する動画圧縮装置であって、制御部は、第１フレームレートが設定された第１撮像領域および第２フレームレートが設定された第２撮像領域から出力された複数の第１フレームを取得するとともに、第２撮像領域から出力された複数の第２フレームを取得する取得部１２２０と、各第２フレームにおいて、第１撮像領域から被写体の画像データが出力されなかった欠損領域を特定色で補完して、補完領域に設定する補完部７０１と、複数の第１フレームを圧縮するとともに、複数の補完後第２フレームを圧縮する圧縮部１２３１と、を有する。【選択図】図１２

Description

参照による取り込み

本出願は、平成３０年（２０１８年）３月３０日に出願された日本出願である特願２０１８－７０２０３の優先権を主張し、その内容を参照することにより、本出願に取り込む。

本発明は、動画圧縮装置、電子機器、および動画圧縮プログラムに関する。

領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている（特許文献１参照）。しかしながら、異なる撮像条件で撮像されたフレームの動画圧縮は従来考慮されていない。

特開２００６－１９７１９２号公報

本開示技術の動画圧縮装置は、被写体を撮像する複数の撮像領域を有し、前記撮像領域ごとに撮像条件が設定可能な撮像素子から出力された複数のフレームを圧縮する動画圧縮装置であって、第１フレームレートが設定された第１撮像領域から出力されたデータと、第２フレームレートが設定された第２撮像領域から出力されたデータと、を取得する取得部と、前記取得部によって取得された前記第１撮像領域から出力されたデータに基づいて複数の第１フレームを生成し、前記第２撮像領域から出力されたデータに基づいて複数の第２フレームを生成する生成部と、前記生成部によって生成された前記複数の第１フレームを圧縮するとともに、前記複数の第２フレームを圧縮する圧縮部と、を有する。

本開示技術の電子機器は、被写体を撮像する複数の撮像領域を有し、前記撮像領域ごとに撮像条件が設定可能な撮像素子と、第１フレームレートが設定された第１撮像領域から出力されたデータと、第２フレームレートが設定された第２撮像領域から出力されたデータと、を取得する取得部と、前記取得部によって取得された前記第１撮像領域から出力されたデータに基づいて複数の第１フレームを生成し、前記第２撮像領域から出力されたデータに基づいて複数の第２フレームを生成する生成部と、前記生成部が生成した前記複数の第１フレームを圧縮するとともに、前記複数の第２フレームを圧縮する圧縮部と、を有する。

本開示技術の動画圧縮プログラムは、被写体を撮像する複数の撮像領域を有し、前記撮像領域ごとに撮像条件が設定可能な撮像素子から出力された複数のフレームの圧縮をプロセッサに実行させる動画圧縮プログラムであって、前記プロセッサに、第１フレームレートが設定された第１撮像領域から出力されたデータと、第２フレームレートが設定された第２撮像領域から出力されたデータと、を取得する取得処理と、前記取得処理によって取得された前記第１撮像領域から出力されたデータに基づいて複数の第１フレームを生成し、前記第２撮像領域から出力されたデータに基づいて複数の第２フレームを生成する生成処理と、前記生成処理によって生成された前記複数の第１フレームを圧縮するとともに、前記複数の第２フレームを圧縮する圧縮処理と、を実行させる。

図１は、積層型撮像素子の断面図である。 図２は、撮像チップの画素配列を説明する図である。 図３は、撮像チップの回路図である。 図４は、撮像素子の機能的構成例を示すブロック図である。 図５は、電子機器のブロック構成例を示す説明図である。 図６は、撮像面と被写体像との関係を示す説明図である。 図７は、実施例１にかかる動画圧縮伸張例を示す説明図である。 図８は、動画ファイルのファイルフォーマット例を示す説明図である。 図９は、フレームと付加情報との関係を示す説明図である。 図１０は、図７に示した合成部における合成処理例１を示す説明図である。 図１１は、図７に示した合成部における合成処理例２を示す説明図である。 図１２は、図５に示した制御部の構成例を示すブロック図である。 図１３は、圧縮部の構成例を示すブロック図である。 図１４は、制御部の動作処理手順例を示すシーケンス図である。 図１５は、図１４に示した設定処理（ステップＳ１４０４、Ｓ１４１０）の詳細な処理手順例を示すフローチャートである。 図１６は、図１５に示したフレームレート設定処理（ステップＳ１５０５）の詳細な処理手順例を示すフローチャートである。 図１７は、補完部による補完処理手順例を示すフローチャートである。 図１８は、図１４に示した動画ファイル生成処理（ステップＳ１４１３、Ｓ１４１５）の詳細な処理手順例を示すフローチャートである。 図１９は、圧縮制御部による第１圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。 図２０は、動き検出部による第１圧縮制御方法の動き検出処理手順例を示すフローチャートである。 図２１は、動き補償部による第１圧縮制御方法の動き補償処理手順例を示すフローチャートである。 図２２は、圧縮制御部による第２圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。 図２３は、動き検出部による第２圧縮制御方法の動き検出処理手順例を示すフローチャートである。 図２４は、動き補償部による第２圧縮制御方法の動き補償処理手順例を示すフローチャートである。 図２５は、伸張から再生までの処理手順例を示すフローチャートである。 図２６は、図２５に示した合成処理（ステップＳ２５０７）の詳細な処理手順例を示すフローチャートである。 図２７は、図１０に示した合成例の具体的な処理の流れを示す説明図である。 図２８は、実施例２にかかる６０［ｆｐｓ］のフレームの合成例１を示す説明図である。 図２９は、実施例２にかかる６０［ｆｐｓ］のフレームの合成例２を示す説明図である。 図３０は、実施例２にかかる６０［ｆｐｓ］のフレームの合成例４を示す説明図である。 図３１は、合成部によるフレームの合成例１による合成処理手順例１を示すフローチャートである。 図３２は、合成部によるフレームの合成例２による合成処理手順例２を示すフローチャートである。 図３３は、合成部によるフレームの合成例３による合成処理手順例３を示すフローチャートである。 図３４は、合成部によるフレームの合成例４による合成処理手順例４を示すフローチャートである。 図３５は、実施例３にかかる６０［ｆｐｓ］のフレームの合成例を示す説明図である。 図３６は、撮像領域の設定と補完後第２フレームの画像領域との対応関係を示す説明図である。

＜撮像素子の構成例＞
初めに、電子機器に搭載する積層型撮像素子について説明する。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。

図１は、積層型撮像素子１００の断面図である。積層型撮像素子（以下、単に、「撮像素子」）１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ（以下、単に、「撮像チップ」）１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕなどの導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図１に示すように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸１２０に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。ＰＤ（フォトダイオード）層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、たとえば、後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図２は、撮像チップ１１３の画素配列を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。（ａ）は、撮像チップ１１３の裏面である撮像面２００を模式的に示す平面図であり、（ｂ）は、撮像面２００の一部領域２００ａを拡大した平面図である。（ｂ）に示すように、撮像面２００には、画素２０１が二次元状に多数配列されている。

画素２０１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、画素２０１が有する色フィルタの種類を表している。（ｂ）に示すように、撮像素子１００の撮像面２００には、このような各色フィルタを備えた画素２０１が、いわゆるベイヤー配列に従って配列されている。

赤フィルタを有する画素２０１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する画素２０１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する画素２０１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。

撮像素子１００は、隣接する２画素×２画素の計４つの画素２０１から成るブロック２０２ごとに、個別に制御可能に構成されている。たとえば、互いに異なる２つのブロック２０２について、同時に電荷蓄積を開始したときに、一方のブロック２０２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方のブロック２０２では電荷蓄積開始から１／１５秒後に電荷の読み出しを行うことができる。換言すると、撮像素子１００は、１回の撮像において、ブロック２０２ごとに異なる露光時間（電荷蓄積時間であり、いわゆるシャッタースピード）を設定することができる。

撮像素子１００は、上述した露光時間以外にも、撮像信号の増幅率（いわゆるＩＳＯ感度）をブロック２０２ごとに異ならせることが可能である。撮像素子１００は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングをブロック２０２ごとに変化させることができる。すなわち、撮像素子１００は、動画撮像時のフレームレートをブロック２０２ごとに変化させることができる。

以上をまとめると、撮像素子１００は、ブロック２０２ごとに、露光時間、増幅率、フレームレートなどの撮像条件を異ならせることが可能に構成されている。たとえば、画素２０１が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、ブロック２０２ごとに設けられ、ブロック２０２ごとに独立して撮像信号を読み出し可能に構成すれば、ブロック２０２ごとに露光時間（シャッタースピード）を異ならせることができる。

また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路をブロック２０２ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、ブロック２０２ごとに信号の増幅率（ＩＳＯ感度）を異ならせることができる。

また、ブロック２０２ごとに異ならせることが可能な撮像条件は、上述した撮像条件のほか、フレームレート、ゲイン、解像度（間引き率）、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数などである。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

また、撮像条件は、たとえば、ブロック２０２ごとに独立して制御可能な区画（１区画が１つのブロック２０２に対応する）を有する液晶パネルを撮像素子１００に設け、オンオフ可能な減光フィルタとして利用すれば、ブロック２０２ごとに明るさ（絞り値）を制御することが可能になる。

なお、ブロック２０２を構成する画素２０１の数は、上述した２×２の４画素でなくてもよい。ブロック２０２は、少なくとも１個の画素２０１を有していればよいし、逆に、４個より多くの画素２０１を有していてもよい。

図３は、撮像チップ１１３の回路図である。図３において、代表的に点線で囲む矩形が、１つの画素２０１に対応する回路を表す。また、一点鎖線で囲む矩形が１つのブロック２０２（２０２－１～２０２－４）に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述したように、画素２０１のリセットトランジスタ３０３は、ブロック２０２単位でオン／オフされる。また、画素２０１の転送トランジスタ３０２も、ブロック２０２単位でオン／オフされる。図３に示す例において、左上ブロック２０２－１に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－１が設けられており、同ブロック２０２－１に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－１も設けられる。

同様に、左下ブロック２０２－３に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－３が、上記リセット配線３００－１とは別個に設けられる。また、同ブロック２０２－３に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－３が、上記ＴＸ配線３０７－１と別個に設けられる。

右上ブロック２０２－２や右下ブロック２０２－４についても同様に、それぞれリセット配線３００－２とＴＸ配線３０７－２、およびリセット配線３００－４とＴＸ配線３０７－４が、それぞれのブロック２０２に設けられている。

各画素２０１に対応する１６個のＰＤ１０４は、それぞれ対応する転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、上記ブロック２０２ごとのＴＸ配線を介して転送パルスが供給される。各転送トランジスタ３０２のドレインは、対応するリセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが、対応する増幅トランジスタ３０４のゲートに接続される。

各リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。各リセットトランジスタ３０３のゲートには、上記ブロック２０２ごとのリセット配線を介してリセットパルスが供給される。

各増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。また、各増幅トランジスタ３０４のソースは、対応する選択トランジスタ３０５のドレインに接続される。各選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。

そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック２０２ごとのリセット配線を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時に上記ブロック２０２（２０２－１～２０２－４）ごとのＴＸ配線を通じて転送パルスが転送トランジスタ３０２に印加されると、上記ブロック２０２ごとに、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

各ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。

そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力されることになる。

上述したように、ブロック２０２を形成する４画素に対して、リセット配線とＴＸ配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック２０２内の４画素に対して同時に印加される。したがって、あるブロック２０２を形成するすべての画素２０１は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。

このように、ブロック２０２ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック２０２間では、異なったタイミングで撮像することができる。

図４は、撮像素子１００の機能的構成例を示すブロック図である。アナログのマルチプレクサ４１１は、ブロック２０２を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該ブロック２０２に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では４つのブロック２０２の分の接続を示すが、実際にはこれらが４つのブロック２０２ごとに存在して、並列で動作する。

ただし、演算回路４１５は４つのブロック２０２ごとに存在しなくてもよく、たとえば、一つの演算回路４１５がそれぞれの４つのブロック２０２に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、ブロック２０２のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜電子機器のブロック構成例＞
図５は、電子機器のブロック構成例を示す説明図である。電子機器５００は、たとえば、レンズ一体型のカメラである。電子機器５００は、撮像光学系５０１と、撮像素子１００と、制御部５０２と、液晶モニタ５０３と、メモリカード５０４と、操作部５０５と、ＤＲＡＭ５０６と、フラッシュメモリ５０７と、録音部５０８とを備える。制御部５０２は、後述するように動画データを圧縮する圧縮部を含む。したがって、電子機器５００のうち、少なくとも制御部５０２を含む構成が動画圧縮装置や伸張装置、再生装置となる。また、メモリカード５０４、ＤＲＡＭ５０６、およびフラッシュメモリ５０７は、後述する記憶デバイス１２０２を構成する。

撮像光学系５０１は、複数のレンズから構成され、撮像素子１００の撮像面２００に被写体像を結像させる。なお、図５では、便宜上、撮像光学系５０１を１枚のレンズとして図示している。

撮像素子１００は、たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子であり、撮像光学系５０１により結像された被写体像を撮像して撮像信号を出力する。制御部５０２は、電子機器５００の各部を制御する電子回路であり、プロセッサとその周辺回路とから構成される。

不揮発性の記憶媒体であるフラッシュメモリ５０７には、予め所定の制御プログラムが書き込まれている。制御部５０２のプロセッサは、フラッシュメモリ５０７から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるＤＲＡＭ５０６を作業用領域として使用する。

液晶モニタ５０３は、液晶パネルを利用した表示装置である。制御部５０２は、所定周期（たとえば６０分の１秒）ごとに撮像素子１００に繰り返し被写体像を撮像させる。そして、撮像素子１００から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ５０３に表示する。液晶モニタ５０３には、上記のスルー画以外に、たとえば撮像条件を設定する設定画面などが表示される。

制御部５０２は、撮像素子１００から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード５０４に画像ファイルを記録する。操作部５０５は、プッシュボタンなどの種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部５０２に操作信号を出力する。

録音部５０８は、たとえば、マイクロフォンにより構成され、環境音を音声信号に変換して制御部５０２に入力する。なお、制御部５０２は、可搬性の記録媒体であるメモリカード５０４に動画ファイルを記録するのではなく、電子機器５００に内蔵されたＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクのような不図示の記録媒体に記録してもよい。

＜撮像面２００と被写体像との関係＞
図６は、撮像面２００と被写体像との関係を示す説明図である。（ａ）は、撮像素子１００の撮像面２００（撮像範囲）と被写体像６０１とを模式的に示す。（ａ）において、制御部５０２は、被写体像６０１を撮像する。（ａ）の撮像は、たとえばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。

制御部５０２は、（ａ）の撮像により得られた被写体像６０１に対して、所定の画像解析処理を実行する。画像解析処理は、たとえば周知の被写体検出技術（特徴量を演算して所定の被写体が存在する範囲を検出する技術）により、主要被写体を検出する処理である。実施例１では、主要被写体以外は背景とする。画像解析処理によって、主要被写体が検出されるため、撮像面２００は、主要被写体が存在する主要被写体領域６０２と、背景が存在する背景領域６０３とに分割される。

なお、（ａ）では、被写体像６０１を大まかに含む領域を主要被写体領域６０２として図示しているが、主要被写体領域６０２は、被写体像６０１の外形に沿った形状であってもよい。つまり、被写体像６０１以外のものをできるだけ含まないように主要被写体領域６０２を設定してもよい。

制御部５０２は、主要被写体領域６０２内の各ブロック２０２と、背景領域６０３内の各ブロック２０２とで、異なる撮像条件を設定する。たとえば、前者の各ブロック２０２には、後者の各ブロック２０２に比べて高速なシャッタースピードを設定する。このようにすると、（ａ）の撮像の次に撮像される（ｃ）の撮像において、主要被写体領域６０２では像ぶれが発生しにくくなる。

また、制御部５０２は、背景領域６０３に存在する太陽などの光源の影響で、主要被写体領域６０２が逆光状態となっている場合には、前者の各ブロック２０２に、相対的に高めのＩＳＯ感度を設定したり、低速なシャッタースピードを設定したりする。また、制御部５０２は、後者の各ブロック２０２に、相対的に低めのＩＳＯ感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、（ｃ）の撮像において、逆光状態の主要被写体領域６０２の黒つぶれや、光量の大きい背景領域６０３の白飛びを防止することができる。

なお、画像解析処理は、上述した主要被写体領域６０２と背景領域６０３とを検出する処理とは異なる処理であってもよい。たとえば、撮像面２００全体のうち、明るさが一定以上の部分（明るすぎる部分）や明るさが一定未満の部分（暗すぎる部分）を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部５０２は、前者の領域に含まれるブロック２０２について、露出値（Ｅｖ値）が他の領域に含まれるブロック２０２よりも低くなるように、シャッタースピードやＩＳＯ感度を設定してもよい。

また、制御部５０２は、後者の領域に含まれるブロック２０２については、露出値（Ｅｖ値）が他の領域に含まれるブロック２０２よりも高くなるように、シャッタースピードやＩＳＯ感度を設定する。このようにすることで、（ｃ）の撮像により得られる画像のダイナミックレンジを、撮像素子１００の本来のダイナミックレンジよりも広げることができる。

図６の（ｂ）は、（ａ）に示した撮像面２００に対応するマスク情報６０４の一例を示す。主要被写体領域６０２に属するブロック２０２の位置には「１」が、背景領域６０３に属するブロック２０２の位置には「２」がそれぞれ格納されている。

制御部５０２は、１フレーム目の画像データに対して、画像解析処理を実行し、主要被写体領域６０２を検出する。これにより、（ａ）の撮像によるフレームは、（ｂ）に示すように、主要被写体領域６０２と背景領域６０３とに分割される。制御部５０２は、主要被写体領域６０２内の各ブロック２０２と、背景領域６０３内の各ブロック２０２とで、異なる撮像条件を設定して、（ｃ）の撮像を行い、画像データを作成する。このときのマスク情報６０４の例を（ｄ）に示す。

（ａ）の撮像の結果に対応する（ｂ）のマスク情報６０４と、（ｃ）の撮像の結果に対応する（ｄ）のマスク情報６０４とでは、異なる時刻に撮像を行っている（時間差がある）ため、たとえば、被写体が移動している場合や、ユーザが電子機器５００を動かした場合に、これら２つのマスク情報６０４が異なる内容になる。換言すると、マスク情報６０４は、時間経過に伴い変化する動的情報である。従って、あるブロック２０２において、フレームごとに異なる撮像条件が設定されることになる。

以下、上述した撮像素子１００を用いた動画の圧縮、動画ファイル生成、伸張、および再生の実施例について説明する。

＜動画圧縮伸張例＞
図７は、実施例１にかかる動画圧縮伸張例を示す説明図である。電子機器５００は、上述した撮像素子１００と、制御部５０２と、を有する。制御部５０２は、第１生成部７０１と、圧縮伸張部７０２と、合成部７０３と、再生部７０４と、を含む。撮像素子１００は、上述したように、被写体を撮像する複数の撮像領域を有する。撮像領域は、少なくとも１画素以上の画素集合であり、たとえば、上述した１以上のブロック２０２である。撮像領域には、ブロック２０２ごとに撮像条件（たとえば、フレームレート、露光時間、ＩＳＯ感度）が設定可能である。

ここでは、撮像面２００のうち、第１フレームレート（たとえば、３０［ｆｐｓ］）が設定される撮像領域を「第１撮像領域」と称し、第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）が設定される撮像領域を「第２撮像領域」と称す。なお、第１フレームレートおよび第２フレームレートの値は一例であり、第２フレームレートが第１フレームレートよりも速ければ他の値でもよい。なお、第２フレームレートが第１フレームレートの倍数であれば、第１フレームレートの撮像タイミングで第１撮像領域および第２撮像領域から出力されたフレームを得ることができる。

撮像素子１００は、被写体を撮像して、入力動画データ７１０を第１生成部７０１に出力する。撮像素子１００のある撮像領域から出力された画像データの領域を、（当該撮像領域に対応する）画像領域と称す。

たとえば、撮像面２００全域が第１フレームレート（３０［ｆｐｓ］）に設定された第１撮像領域である場合、第１フレームレート（３０［ｆｐｓ］）での撮像により当該第１撮像領域（撮像面２００全域）から出力される第１画像領域ａ１（網掛け）の画像データは、画像処理により１枚のフレームとなる。このフレームを「第１フレーム７１１」と称する。

具体的には、たとえば、風景を定点撮影している場合、第１フレームレート（３０［ｆｐｓ］）での撮像により、風景のみの第１画像領域ａ１の画像データとして第１フレーム７１１が生成される。

また、たとえば、撮像面２００全域が第１フレームレート（３０［ｆｐｓ］）に設定された第１撮像領域である場合で、かつ、特定被写体が検出された撮像領域が第１撮像領域から第２フレームレート（６０［ｆｐｓ］）に設定された第２撮像領域に変更される場合、第１フレームレート（３０［ｆｐｓ］）での撮像により当該第１撮像領域から出力される第１画像領域ａ１（網掛け）の画像データおよび第２撮像領域から出力される第２画像領域ａ２の画像データの組み合わせも、第１フレーム７１１である。

具体的には、たとえば、風景の定点撮影中に特定被写体（電車）が検出された場合、第１フレームレート（３０［ｆｐｓ］）での撮像により、第１フレームレート（３０［ｆｐｓ］）で得られた当該電車を除いた風景（第１画像領域ａ１）の画像データと、第２フレームレート（６０［ｆｐｓ］）で得られた電車（第２画像領域ａ２）の画像データと、の組み合わせとして、第１フレーム７１１が生成される。

またこの場合、第２フレームレート（６０［ｆｐｓ］）での撮像により撮像面２００の第２撮像領域から出力される第２撮像領域から出力される第２画像領域ａ２の画像データを、「画像データ７１２」と称する。この場合、第１撮像領域から被写体の画像データが出力されなかった画像領域を、「欠損領域７１２ｘ」と称す。

具体的には、たとえば、風景の定点撮影中に特定被写体（電車）が検出された場合、第２フレームレート（６０［ｆｐｓ］）での撮像により、第２フレームレート（６０［ｆｐｓ］）で得られた電車（第２画像領域ａ２）の画像データは、画像データ７１２である。

なお、異なるフレームレートが設定される撮像領域は３以上でもよい。この場合、第３撮像領域以降については、第１フレームレートおよび第２フレームレートとは異なるフレームレートが設定可能となる。

第１生成部７０１は、撮像素子１００から入力された入力動画データ７１０のうち、画像データ７１２を補完する。具体的には、たとえば、第１生成部７０１は、撮像素子１００の第１撮像領域から画像信号が出力されなかった欠損領域７１２ｘを特定色で補完する。本例では、特定色は黒とし、図７でも黒塗りとする。なお、特定色は、黒以外の色でもよく、また、特定のパターンでもよい。また、特定色は、一色ではなく、複数の色を用いてもよい。また、第２画像領域ａ２の周囲の画素領域を第２画像領域ａ２の境界と同色にしてもよい。また、特定色で補完された欠損領域７１２ｘを「補完領域７１２ｙ」と称す。

画像処理により画像データ７１２と補完領域７１２ｙとを組み合わせた画像データを、第２フレーム７１３と称す。また、第１フレーム７１１群により構成される動画データを第１動画データ７２１とし、第２フレーム７１３群により構成される動画データを第２動画データ７２２と称す。第１生成部７０１は、第１動画データ７２１および第２動画データ７２２を圧縮伸張部７０２に出力する。

圧縮伸張部７０２は、第１動画データ７２１および第２動画データ７２２をそれぞれ圧縮して、記憶デバイス（たとえば、メモリカード５０４、フラッシュメモリ５０７）に格納する。圧縮伸張部７０２は、たとえば、動き補償フレーム間予測（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）と離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって圧縮する。

圧縮伸張部７０２は、第１動画データ７２１を構成する第１フレーム７１１のうち、網掛けで示した第１画像領域ａ１については、動き検出や動き補償が不要な圧縮処理を実行する。圧縮伸張部７０２は、ハッチングした特定被写体像が出力された第２画像領域ａ２の画像データ７１２については、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の第１画像領域ａ１については、動き検出および動き補償が実行されないため、動画圧縮の処理負荷の低減を図ることができる。

なお、第１画像領域ａ１については、撮像装置の手ブレがない場合、あるいは被写体に動きがない場合を想定して、動き検出や動き補償が不要な圧縮処理を実行することとした。しかしながら、手ブレや被写体の動きがある場合には、圧縮伸張部７０２は、第１画像領域ａ１について上述したハイブリッド符号化によって圧縮してもよい。

同様に、圧縮伸張部７０２は、第２動画データ７２２を構成する第２フレーム７１３のうち、黒塗りで示した補完領域７１２ｙについては、動き検出や動き補償が不要な圧縮処理を実行する。圧縮伸張部７０２は、ハッチングした特定被写体像が出力された第２画像領域ａ２の画像データ７１２については、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の補完領域７１２ｙ（黒塗り）については、動き検出および動き補償が実行されないため、動画圧縮の処理負荷の低減を図ることができる。また、手ブレや被写体の動きがある場合には、圧縮伸張部７０２は、補完領域７１２ｙについて上述したハイブリッド符号化によって圧縮してもよい。

このように、第２フレームレート（６０［ｆｐｓ］）で得られた第２フレーム７１３は、第１フレームレート（３０［ｆｐｓ］）で得られた第１フレーム７１１と同サイズとなる。したがって、第２フレーム７１３は、第１フレーム７１１の圧縮処理と同じ圧縮処理が適用されるため、画像データ７１２のサイズに適合する他の圧縮処理を適用する必要がない。

また、圧縮伸張部７０２は、動画の再生指示または伸張指示があった場合に、圧縮された第１動画データ７２１および第２動画データ７２２を伸張して、元の第１動画データ７２１および第２動画データ７２２に戻す。

合成部７０３は、第２フレーム７１３の時間的に１つ前の第１フレーム７１１を参照して、その第１フレーム７１１を第２フレーム７１３に複製、すなわち、合成する。具体的には、合成部７０３は、第２フレームに合成する他の第１フレーム７１１を複製により生成し、生成した第１フレームと第２フレームとを合成する。合成されたフレームを「第３フレーム７３０」と称す。第３フレーム７３０は、第１フレーム７１１の被写体像に、第２フレーム７１３における特定被写体像（第２画像領域ａ２）が重畳されたフレームである。合成部７０３は、３０［ｆｐｓ］の撮像で出力された第１フレーム７１１と、合成フレームである第３フレーム７３０と、を含む動画データ（以下、第４動画データ）７４０を再生部７０４に出力する。なお、合成指示がない場合、たとえば、３０ｆｐｓで動画を再生したい場合には、合成部７０３は合成処理を実行しない。

再生部７０４は、第４動画データ７４０を再生して動画を液晶モニタ５０３に表示する。このように、上述した入力動画データ７１０そのままでは圧縮伸張部７０２で圧縮することができない。そのため、第１生成部７０１は、画像データ７１２を補完領域７１２ｙで補完して、複数の第２フレーム７１３からなる第２動画データ７２２を生成する。圧縮伸張部７０２は、第１動画データ７２１および第２動画データ７２２を別々に圧縮、伸張する。

これにより、汎用の圧縮伸張部７０２により、圧縮伸張部７０２において通常の動画データ（第１動画データ７２１）と同様に第２動画データ７２２の圧縮が可能となる。なお、合成部７０３で合成処理が実行されなかった場合、再生部７０４は、フレームレートが３０［ｆｐｓ］の第１動画データ７２１を再生して、その動画を液晶モニタ５０３に表示することになる。

なお、上記の例では、撮像面２００全域が第１フレームレート（３０［ｆｐｓ］）に設定された第１撮像領域である場合で、かつ、特定被写体が検出された撮像領域が第１撮像領域から第２フレームレート（６０［ｆｐｓ］）に設定された第２撮像領域に変更される場合について説明したが、撮像面２００の撮像領域の撮像条件の設定はこれに限られない。

たとえば、千鳥配置のように、撮像面２００において、第１フレームレート（３０［ｆｐｓ］）に設定された複数の第１撮像領域と第２フレームレート（６０［ｆｐｓ］）に設置された複数の第２撮像領域とが混在する場合、複数の第１撮像領域に対応する複数の第１画像領域ａ１により組み合わされた画像データは、第１フレームＦ７１１となる。また、この場合、複数の第２撮像領域に対応する複数の第２画像領域ａ２により組み合わされた画像データは、「第２フレームＦ７１２」となる。なお、千鳥配置において、第１撮像領域および第２撮像領域のフレームレートは同一とし、露光時間やＩＳＯ感度、間引き率といった他の撮像条件を第１撮像領域および第２撮像領域で異なるように設定してもよい。

＜動画ファイルのファイルフォーマット例＞
図８は、動画ファイルのファイルフォーマット例を示す説明図である。図８では、たとえば、ＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）に準拠するファイルフォーマットを適用した場合を例に挙げて説明する。

動画ファイル８００は、ボックスと呼ばれるデータの集合であり、たとえば、ヘッダ部８０１とデータ部８０２とを有する。ヘッダ部８０１は、ボックスとして、ｆｔｙｐ８１１と、ｕｕｉｄ８１２と、ｍｏｏｖ８１３と、を含む。データ部８０２は、ボックスとして、ｍｄａｔ８２０を含む。

ｆｔｙｐ８１１は、動画ファイル８００の種別を示す情報を格納するボックスであり、動画ファイル８００内で他のボックスよりも前の位置に配置される。ｕｕｉｄ８１２は、汎用固有識別子を格納するボックスであり、ユーザが拡張可能である。実施例１では、たとえば、ｕｕｉｄ８１２には、この動画ファイル８００におけるフレーム群のフレームレートが第１フレームレート（たとえば、３０［ｆｐｓ］）のみの動画データであるか、第１フレームレートおよび第２フレームレート（６０［ｆｐｓ］）を含む動画データ（第１動画データ７２１および第２動画データ７２２）であるかを識別するフレームレート識別情報が書き込まれてもよい。これにより、伸張や合成、再生時にどの動画データがどのフレームレートであるかを特定することができる。

ｍｏｏｖ８１３は、動画、音声、テキストといった各種メディアに関するメタデータを格納するボックスである。ｍｄａｔ８２０は、動画、音声、テキストといった各種メディアのデータを格納するボックスである。

つぎに、ｍｏｏｖ８１３内のボックスについて具体的に説明する。ｍｏｏｖ８１３は、ｕｕｉｄ８３１と、ｕｄｔａ８３２と、ｍｖｈｄ８３３と、ｔｒａｋ８３４ａ，８３４ｂと、付加情報８３５と、を有する。ｔｒａｋ８３４ａ，８３４ｂを区別しない場合には、単に、ｔｒａｋ８３４と表記する。同様に、ｔｒａｋ８３４ａ内のデータのｔｋｈｄ８４１ａ等やｔｒａｋ８３４ｂ内のデータのｔｋｈｄ８４１ｂ等を区別しない場合には、単にｔｋｈｄ８４１と称する。

ｕｕｉｄ８３１は、ｕｕｉｄ８１２と同様、汎用固有識別子を格納するボックスであり、ユーザが拡張可能である。実施例１では、たとえば、動画ファイル８００の生成の際に、ｕｕｉｄ８３１に、この動画ファイル８００におけるフレームの各々が、第１フレーム７１１であるか、第２フレーム７１３であるかを識別するフレーム種別識別情報が、フレーム番号と対応付けて書き込まれる。

また、ｕｕｉｄ８３１には、第１動画データ７２１の圧縮データと、第２動画データ７２２の圧縮データと、の格納位置を示す情報が書き込まれてもよい。具体的には、たとえば、第１動画データ７２１の圧縮データの格納位置を示す情報として、（ＳＯＭ（Ｓｔａｒｔ Ｏｆ Ｍｏｖｉｅ）８５０ａ，ＥＯＭ（Ｅｎｄ Ｏｆ Ｍｏｖｉｅ）８５４ａ）が書き込まれ、第２動画データ７２２の圧縮データの格納位置を示す情報として、（ＳＯＭ８５０ｂ，ＥＯＭ８５４ｂ）が書き込まれる。これにより、伸張や合成、再生時にどの動画データがどの格納位置に格納されているかを特定することができる。

なお、圧縮データの格納位置は、後述のｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂで特定可能である。したがって、ＳＯＭ８５０ａおよびＥＯＭ８５４ａの代わりにｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂから特定した第１動画データ７２１の圧縮データのアドレスを、第１フレームレートを示す第１フレームレート情報に関連付けて、格納位置を示す情報としてｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂに設定してもよい。

同様に、ＳＯＭ８５０ｂおよびＥＯＭ８５４ｂの代わりにｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂから特定した第２動画データ７２２の圧縮データのアドレスを、第２フレームレートを示す第２フレームレート情報に関連付けて、格納位置を示す情報としてｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂに設定してもよい。

ｕｄｔａ８３２は、ユーザデータを格納するボックスである。ユーザデータとしては、たとえば、電子機器の識別コードや電子機器の位置情報がある。

ｍｖｈｄ８３３は、ｔｒａｋ８３４ごとに、タイムスケールと、デュレーションと、を格納するボックスである。タイムスケールは、フレームレートまたはサンプリング周波数である。デュレーションは、タイムスケールを基準にした長さである。デュレーションをタイムスケールで除算すると、そのｔｒａｋ８３４で特定されるメディアの時間長が得られる。

ｔｒａｋ８３４は、メディアの種類（動画、音声、テキスト）ごとに設定されるボックスである。本実施例では、ｍｏｏｖは、ｔｒａｋ８３４ａ，８３４ｂを含む。ｔｒａｋ８３４ａは、たとえば、３０［ｆｐｓ］の撮像で出力された第１動画データ７２１の動画、音声、テキストに関するメタデータを格納するボックスである。

ｔｒａｋ８３４ａは、第１動画データ７２１の動画、音声、テキストごとに設定される。ｔｒａｋ８３４ｂは、たとえば、６０［ｆｐｓ］の撮像で出力された第２動画データ７２２の動画、音声、テキストに関するメタデータを格納するボックスである。ｔｒａｋ８３４ｂも、第２動画データ７２２の動画、音声、テキストごとに設定される。

付加情報８３５は、撮像条件情報と挿入位置情報とを含むボックスである。撮像条件情報とは、撮影条件（たとえば、３０［ｆｐｓ］、６０［ｆｐｓ］のようなフレームレート）ごとに動画ファイル８００内でのメディアの格納位置を示す情報である。挿入位置情報とは、速い方のフレームレートのメディアのデータ（第２動画データ７２２）を遅い方のフレームレートのメディアのデータ（第１動画データ７２１）に挿入する位置を示す情報である。

つぎに、ｔｒａｋ８３４内のボックスについて具体的に説明する。ｔｒａｋ８３４ａ，８３４ｂはそれぞれ、ｔｋｈｄ８４１ａ，８４１ｂと、ｅｄｔｓ８４２ａ，８４２ｂと、ｔｒｅｆ８４３ａ，８４３ｂと、ｓｔｓｃ８４４ａ，８４４ｂと、ｓｔｔｓ８４５ａ，８４５ｂと、ｓｔｓｓ８４６ａ，８４６ｂと、ｓｔｓｚ８４７ａ，８４７ｂと、ｓｔｃｏ８４８ａ，８４８ｂと、を有する。なお、ｔｋｈｄ８４１ａ～ｓｔｃｏ８４８ａおよびｔｋｈｄ８４１ｂ～ｓｔｃｏ８４８ｂを区別しない場合は、単に、ｔｋｈｄ８４１～ｓｔｃｏ８４８と表記する。

ｔｋｈｄ８４１は、ｔｒａｋ８３４の再生時間や表示解像度、メディアの種類を決める識別コードといったｔｒａｋ８３４の基本属性を格納するボックスである。たとえば、ｔｒａｋ８３４が動画であればメディアＩＤ＝１、音声であればメディアＩＤ＝２、テキストであればメディアＩＤ＝３となる。

ｅｄｔｓ８４２は、ｔｒａｋ８３４のエディットリストとして、ｔｒａｋ８３４の再生開始位置と、その再生位置からの再生時間とを、格納するボックスである。ｔｒｅｆ８４３は、ｔｒａｋ８３４間の参照情報を格納するボックスである。たとえば、動画のｔｒａｋ８３４がテキストのｔｒａｋ８３４をチャプタとして参照する場合、動画のｔｒａｋ８３４のｔｒｅｆ８４３には、テキストのｔｒａｋ８３４を示すメディアＩＤ＝３が格納され、テキストのｔｒａｋ８３４をチャプタとして参照するため、識別コードとして「ｃｈａｐ」が格納される。

ｓｔｓｃ８４４は、１チャンク内のサンプル数を格納するボックスである。チャンクとは、サンプル数分のメディアのデータの集合であり、ｍｄａｔ８２０に格納される。たとえば、メディアが動画である場合、チャンク内のサンプルはフレームである。サンプル数が「３」であれば、１チャンク内に３フレームが格納されることを意味する。

ｓｔｔｓ８４５は、そのｔｒａｋ８３４内の各チャンクまたはチャンク内のサンプルについての再生時刻を格納するボックスである。ｓｔｓｓ８４６は、キーフレーム（Ｉピクチャ）の間隔に関する情報を格納するボックスである。ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）が「５」の場合は、ｓｔｓｓ８４６には、「１，６，１１，・・・」と格納される。

ｓｔｓｚ８４７は、ｍｄａｔ８２０内のサンプルごとのデータサイズを格納するボックスである。ｓｔｃｏ８４８は、ｍｄａｔ８２０内のチャンクごとに動画ファイル８００の先頭アドレスからのオフセットを格納するボックスである。ｓｔｓｚ８４７およびｓｔｃｏ８４８を参照することで、ｍｄａｔ８２０内のメディアのデータ（フレーム、音声データ、テキスト（チャプタ））の位置を特定することが可能となる。

ｍｄａｔ８２０は、メディアごとのチャンクを格納するボックスである。ＳＯＭ８５０ａ，８５０ｂ（区別しない場合は、ＳＯＭ８５０と表記）は、ある撮像条件のチャンク群の格納開始位置を示す識別子である。また、ＥＯＭ８５４ａ，８５４ｂ（区別しない場合は、ＥＯＭ８５４と表記）は、ある撮像条件のチャンク群の格納終了位置を示す識別子である。

図８では、ｍｄａｔ８２０は、動画チャンク８５１－１、音声チャンク８５２－１、テキストチャンク８５３－１、…、動画チャンク８５１－２、音声チャンク８５２－２、テキストチャンク８５３－２、…、動画チャンク８５１－３、音声チャンク８５２－３、テキストチャンク８５３－３を格納する。

本例は、２つの撮像条件（３０［ｆｐｓ］，６０［ｆｐｓ］）で動画撮影をおこなう例であるため、撮像条件ごとにチャンクが区分けされる。具体的には、たとえば、ＳＯＭ８５０ａ～ＥＯＭ８５４ａまでが３０［ｆｐｓ］の撮像タイミングで得られたチャンク群が格納され、ＳＯＭ８５０ｂ～ＥＯＭ８５４ｂまでが６０［ｆｐｓ］の撮像タイミングで得られたチャンク群が格納される。

動画チャンク８５１－１は、３０［ｆｐｓ］の撮像で出力されたサンプルである特定被写体検出前の第１フレーム７１１の圧縮フレーム、すなわち、圧縮フレーム８６１－ｓ１、８６１－ｓ２、８６１－ｓ３を格納する。動画チャンク８５１－２は、３０［ｆｐｓ］の撮像で出力されたサンプルである特定被写体検出時の第１フレーム７１１の圧縮フレーム、すなわち、圧縮フレーム８６２－ｓ１、８６２－ｓ２、８６２－ｓ３を格納する。フレーム８６２－ｓ１、８６２－ｓ２、８６２－ｓ３は、６０［ｆｐｓ］と撮像タイミングが重複するため、６０［ｆｐｓ］での特定被写体像（第２画像領域ａ２）が含まれる。

動画チャンク８５１－３は、６０［ｆｐｓ］の撮像で出力されたサンプルである特定被写体検出時の第２フレーム７１３の圧縮フレーム、すなわち、圧縮フレーム８６３－ｓ１、８６３－ｓ２、８６３－ｓ３を格納する。

＜付加情報＞
図９は、フレームと付加情報８３５との関係を示す説明図である。（Ａ）はフレームＦのデータ構造例を示す。フレームＦは、フレーム番号９０１とフレームデータ９０２とを有する。フレームデータ９０２は、撮像により生成された画像データである。

（Ｂ）は、圧縮フレーム列を示す。（Ｂ）では、左（最古）から右（最新）に時系列に圧縮フレームが配列されている。＃１ａ～＃６ａは、３０［ｆｐｓ］の撮像で出力された圧縮フレーム８６１－ｓ１、８６１－ｓ２、８６１－ｓ３、８６２－ｓ１、８６２－ｓ２、８６２－ｓ３のフレーム番号である。＃１ｂ～＃３ｂは、６０［ｆｐｓ］の撮像で出力された圧縮フレーム８６３－ｓ１、８６３－ｓ２、８６３－ｓ３のフレーム番号である。

（Ｃ）は、付加情報８３５のデータ構造例を示す。付加情報８３５は、撮像条件情報９１０と、挿入位置情報９２０と、を有する。撮像条件情報９１０は、上述したように、撮影条件（たとえば、３０［ｆｐｓ］、６０［ｆｐｓ］のようなフレームレート）ごとに動画ファイル８００内でのメディアの格納位置を示す情報である。撮像条件情報９１０は、フレームレート情報９１１と位置情報９１２とを有する。

フレームレート情報９１１は、たとえば、３０［ｆｐｓ］、６０［ｆｐｓ］のようなフレームレートである。位置情報９１２は、動画ファイル８００内での圧縮フレームの格納位置を示す情報であり、ｓｔｓｚ８４７およびｓｔｃｏ８４８を参照することで特定される。具体的には、たとえば、フレームレート情報９１１が３０［ｆｐｓ］の圧縮フレームの位置情報９１２の値Ｐａは、ＳＯＭ８５０ａ～ＥＯＭ８５４ａの範囲のアドレスを示す。同様に、フレームレート情報９１１が６０［ｆｐｓ］の圧縮フレームの位置情報９１２の値Ｐｂは、ＳＯＭ８５０ｂ～ＥＯＭ８５４ｂの範囲のアドレスを示す。

挿入位置情報９２０は、速い方のフレームレート（６０［ｆｐｓ］）のメディアのデータ（第２動画データ７２２）を遅い方のフレームレート（３０［ｆｐｓ］）のメディアのデータ（第１動画データ７２１）に挿入する位置を示す情報である。挿入位置情報９２０は、挿入フレーム番号９２１と、挿入先９２２と、を有する。挿入フレーム番号９２１は、挿入対象となる圧縮フレームのフレーム番号を示す。本例では、フレーム番号＃１ｂ～＃３ｂで特定される圧縮フレーム８６３－ｓ１、８６３－ｓ２、８６３－ｓ３が挿入対象となる圧縮フレームである。

挿入先９２２は、挿入フレーム番号９２１で特定される圧縮フレームの挿入位置を示す。挿入先９２２は、具体的には、たとえば、２つのフレーム番号の間として特定される。たとえば、挿入フレーム番号＃１ｂの圧縮フレーム８６３－ｓ１は、挿入先９２２の２つのフレーム番号（＃３ａ，＃４ａ）で特定される圧縮フレーム８６１－ｓ３と圧縮フレーム８６２－ｓ１との間に挿入される。なお、図９では、挿入先９２２をフレーム番号を用いて特定したが、アドレス（ｓｔｓｚ８４７およびｓｔｃｏ８４８）を参照することで特定）を用いて特定してもよい。

なお、図８および図９においては、１つの動画ファイル８００に、第１フレーム７１１を圧縮した圧縮データと、第２フレーム７１３を圧縮した圧縮データと、を格納する例について説明したが、第１フレーム７１１を圧縮した動画ファイルと、第２フレーム７１３を圧縮した動画ファイルと、を別々に生成してもよい。この場合、両動画ファイル８００のヘッダ部８０１に、一方の動画ファイル８００が他方の動画ファイル８００と関連付ける関連情報が格納される。関連情報は、たとえば、ヘッダ部８０１のｕｕｉｄ８１２，８３１やｍｖｈｄ８３３に格納される。

これにより、１つの動画ファイル８００にまとめた場合と同様、伸張、合成、再生をおこなうことができる。たとえば、第１フレームレートが選択された場合には、第１フレーム７１１を圧縮した動画ファイルが伸張および再生され、第２フレームレートが選択された場合には、第１フレーム７１１を圧縮した動画ファイル８００および第２フレーム７１３を圧縮した動画ファイル８００が伸張され、合成および再生が実行される。

なお、付加情報８３５は、ｍｏｏｖ８１３内に格納されていれば、他のボックス（８３１～８３４）に格納されていてもよい。

＜合成処理例＞
図１０は、図７に示した合成部７０３における合成処理例１を示す説明図である。合成処理例１では、電子機器５００は、田んぼ、山、および空を含む風景の定点撮影中に、特定被写体として、走行する電車を撮影する。特定被写体である電車は、上述した周知の被写体検出技術により特定される。撮影されたフレームＦは、時系列順にフレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５とする。ここでは、電車は、フレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５内において、右から左に向かって走行するものとする。

フレームＦ１，Ｆ３，Ｆ５は、第１撮像領域が３０［ｆｐｓ］の第１フレームレートの撮像で出力された第１画像領域ａ１の画像データと、第２撮像領域が６０［ｆｐｓ］の第２フレームレートの撮像で出力された第２画像領域ａ２の画像データと、を含む第１フレーム７１１である。フレームＦ２－６０，Ｆ４－６０は、第２撮像領域が６０［ｆｐｓ］の第２フレームレートの撮像で出力された第２画像領域ａ２の画像データを含み、かつ、背景が黒塗りで補完された第２フレーム７１３である。

具体的には、たとえば、フレームＦ１，Ｆ３，Ｆ５は、第１画像領域ａ１に田んぼ、山、および空を含む風景が撮像され、第２画像領域ａ２に特定被写体として走行する電車が撮像された第１フレーム７１１である。フレームＦ２－６０，Ｆ４－６０は、第２画像領域ａ２に電車が撮像されたフレームである。

すなわち、フレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５において、電車が撮像された第２画像領域ａ２の画像データが、第２撮像領域（６０［ｆｐｓ］）の撮像で出力された画像データである。また、フレームＦ１，Ｆ３，Ｆ５において、風景が撮像された第１画像領域ａ１の画像データが、第１撮像領域（３０［ｆｐｓ］）の撮像で出力された画像データである。第１画像領域ａ１は、第１フレームレート（３０［ｆｐｓ］）の撮像で出力されるため、第２フレームレート（６０［ｆｐｓ］）の撮像で出力されるフレームＦ２－６０，Ｆ４－６０の補完領域７１２ｙは、特定色（黒）で塗りつぶされている。

フレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５…は、上述した第１動画データ７２１および第２動画データ７２２に相当する。第２動画データ７２２は、補完領域７１２ｙが黒塗りの第２フレーム７１３を含むため、合成部７０３は、第１動画データ７２１と第２動画データ７２２とを合成する。

具体的には、たとえば、合成部７０３は、フレームＦ２－６０よりも時間的に１つ前のフレームＦ１の第１画像領域ａ１の画像データ（電車を除いた風景）に、フレームＦ２－６０の第２画像領域ａ２の画像データ（電車）を複製する。これにより、合成部７０３は、第３フレーム７３０であるフレームＦ２を生成する。

フレームＦ４－６０も同様に、合成部７０３は、フレームＦ４－６０よりも時間的に１つ前のフレームＦ３の第１画像領域ａ１の画像データ（電車を除いた風景）に、フレームＦ４－６０の第２画像領域ａ２の画像データ（電車）を複製する。これにより、合成部７０３は、第３フレーム７３０であるフレームＦ４を生成する。そして、合成部７０３は、フレームＦ１～Ｆ５を含む第４動画データ７４０を出力する。

このようにして、フレームＦ２－６０，Ｆ４－６０の補完領域７１２ｙに、時間的に１つ前の第１フレームレートのフレームＦ１、Ｆ３の第１画像領域ａ１を設定することにより、第１画像領域ａ１について、フレームＦ１，Ｆ２間の差分をほぼ０にし、フレームＦ３，Ｆ４間の差分をほぼ０にすることができる。これにより、違和感のない動画を再生することができる。

したがって、第１フレーム７１１と第３フレーム７３０とが混在するフレーム列である第４動画データ７４０を再生することが可能となる。また、第１動画データ７２１および第２動画データ７２２をそれぞれ従来の圧縮伸張部７０２により伸張することができ、伸張処理の処理負荷の低減を図ることができる。また、３０［ｆｐｓ］で再生する場合は、圧縮伸張部７０２は、第１動画データ７２１のみ伸張するだけで、合成部７０３による合成は不要であるため、再生処理の効率化を図ることができる。

なお、フレームＦ２では、フレームＦ１の第１画像領域ａ１の画像データ（電車を除いた風景）が複製される。したがって、本来フレームＦ１の第２画像領域ａ２だった部分（電車の末尾）がフレームＦ２に複製されない。このため、フレームＦ２は、何も出力されていない補完画像部分Ｄａ１を有する。

同様に、フレームＦ４では、フレームＦ３の第１画像領域ａ１の画像データ（電車を除いた風景）が複製される。したがって、本来フレームＦ３の第２画像領域ａ２だった部分（電車の末尾）がフレームＦ４に複製されない。このため、フレームＦ４は、何も出力されていない補完画像部分Ｄａ３を有する。

実施例１では、補完画像部分Ｄａ１，Ｄａ３については、合成部７０３は、塗りつぶした特定色のままでもよく、周辺画素を用いて補間処理を実行してもよい。これにより、動画圧縮が可能で、かつ、違和感がより少ないフレームＦ２，Ｆ４，…を再現することができる。

図１１は、図７に示した合成部７０３における合成処理例２を示す説明図である。合成処理例２では、電子機器５００は、たとえば、ドライブレコーダであり、前方を走行する車（先行車）および風景を撮影する。この場合、先行車が追尾対象となる特定被写体であり、風景が自走により変化する。撮影により生成されたフレームＦは、時系列順にフレームＦ６，Ｆ７－６０，Ｆ８，Ｆ９－６０，Ｆ１０とする。

フレームＦ６，Ｆ８，Ｆ１０は、第１撮像領域が３０［ｆｐｓ］の第１フレームレートの撮像で出力された第１画像領域ａ１の画像データと、第２撮像領域が６０［ｆｐｓ］の第２フレームレートの撮像で出力された第２画像領域ａ２の画像データ７１２と、を含む第１フレーム７１１である。フレームＦ７－６０，Ｆ９－６０は、第２撮像領域が６０［ｆｐｓ］の第２フレームレートの撮像で出力された第２画像領域ａ２の画像データ７１２である。

具体的には、たとえば、フレームＦ６，Ｆ８，Ｆ１０は、第１画像領域ａ１に先行車が撮像され、第２画像領域ａ２に変わりゆく風景が撮像された第１フレーム７１１である。フレームＦ７－６０，Ｆ９－６０は、第２画像領域ａ２に風景が撮像されたフレームである。

すなわち、フレームＦ６，Ｆ７－６０，Ｆ８，Ｆ９－６０，Ｆ１０において、風景が撮像された第２画像領域ａ２の画像データが、第２撮像領域（６０［ｆｐｓ］）の撮像で出力された画像データある。また、フレームＦ６，Ｆ８，Ｆ１０において、先行車が撮像された第１画像領域ａ１の画像データが、第１撮像領域（３０［ｆｐｓ］）の撮像で出力された動画データである。第１撮像領域は、第１フレームレート（３０［ｆｐｓ］）の撮像で出力されるため、第２フレームレート（６０［ｆｐｓ］）の撮像で出力されるフレームＦ７－６０，Ｆ９－６０の第１画像領域ａ１は、圧縮時に第１生成部７０１により黒塗りにされる。

合成部７０３は、フレームＦ７－６０よりも時間的に１つ前のフレームＦ６の第１画像領域ａ１の画像データ（風景を除いた先行車）に、フレームＦ７－６０の第２画像領域ａ２の画像データ（風景）を複製する。これにより、合成部７０３は、第３フレーム７３０であるフレームＦ７を生成する。

フレームＦ９も同様に、合成部７０３は、フレームＦ９－６０よりも時間的に１つ前のフレームＦ８の第１画像領域ａ１の画像データ（風景を除いた先行車）に、フレームＦ９－６０の第２画像領域ａ２の画像データ（風景）を複製する。これにより、合成部７０３は、第３フレーム７３０であるフレームＦ９を生成する。そして、合成部７０３は、フレームＦ６～Ｆ１０を含む第４動画データ７４０を出力する。

このようにして、フレームＦ７－６０，Ｆ９－６０の補完領域７１２ｙに、時間的に１つ前の第１フレームレートのフレームＦ６，Ｆ８の第２画像領域ａ２を設定することにより、第１画像領域ａ１について、フレームＦ６，Ｆ７間の差分を０にし、フレームＦ８，Ｆ９間の差分を０にすることができる。

したがって、第１フレーム７１１と画像データ７１２とが混在するフレーム列である第４動画データ７４０を再生することが可能となる。また、第１動画データ７２１および第２動画データ７２２をそれぞれ従来の圧縮伸張部７０２により伸張することができ、伸張処理の処理負荷の低減を図ることができる。また、３０［ｆｐｓ］で再生する場合は、圧縮伸張部７０２は、第１動画データ７２１のみ伸張するだけで、合成部７０３による合成は不要であるため、再生処理の効率化を図ることができる。

＜制御部５０２の構成例＞
図１２は、図５に示した制御部５０２の構成例を示すブロック図である。制御部５０２は、前処理部１２１０と、第１生成部７０１と、取得部１２２０と、圧縮伸張部７０２と、特定部１２４０と、合成部７０３と、再生部７０４と、を有する。制御部５０２は、プロセッサ１２０１、記憶デバイス１２０２、集積回路１２０３、およびこれらを接続するバス１２０４により構成される。なお、記憶デバイス１２０２、伸張部１２３４、特定部１２４０、合成部７０３、および再生部７０４は、電子機器５００とアクセス可能な他の装置に実装されていてもよい。

前処理部１２１０、第１生成部７０１、取得部１２２０、圧縮伸張部７０２、特定部１２４０、合成部７０３、および再生部７０４は、記憶デバイス１２０２に記憶されたプログラムをプロセッサ１２０１に実行させることにより実現してもよく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路１２０３により実現してもよい。また、プロセッサ１２０１は、記憶デバイス１２０２をワークエリアとして利用してもよい。また、集積回路１２０３は、記憶デバイス１２０２を、画像データを含む各種データを一時的に保持するバッファとして利用してもよい。

なお、少なくとも圧縮伸張部７０２内の圧縮部１２３１を含む装置は、動画圧縮装置となる。少なくとも圧縮伸張部７０２内の第２生成部１２３２を含む装置は、生成装置となる。また、少なくとも圧縮伸張部７０２内の伸張部１２３４を含む装置は、伸張装置となる。また、少なくとも再生部７０４を含む装置は、再生装置となる。

前処理部１２１０は、撮像素子１００からの入力動画データ７１０について動画ファイル８００の生成の前処理を実行する。具体的には、たとえば、前処理部１２１０は、検出部１２１１と設定部１２１２とを有する。検出部１２１１は、上述した周知の被写体検出技術により、特定被写体を検出する。

設定部１２１２は、撮像素子１００の撮像面２００のうち、特定被写体が検出された撮像領域を第１フレームレート（たとえば、３０［ｆｐｓ］）から第２フレームレート（たとえば、６０［ｆｐｓ］）に変更する。

具体的には、たとえば、設定部１２１２は、入力フレームでの特定被写体が検出された撮像領域と入力済みフレームの特定被写体が検出された撮像領域との差分から特定被写体の動きベクトルを検出して、次の入力フレームでの特定被写体の撮像領域を予測する。設定部１２１２は、予測した撮像領域について第２フレームレートに変更する。設定部１２１２は、第１フレームレート（たとえば、３０［ｆｐｓ］）の画像領域と第２フレームレート（たとえば、６０［ｆｐｓ］）の画像領域とを示す情報をフレームＦに付与する。

第１生成部７０１は、特定被写体が撮像された第２フレームレートの画像領域である画像データ７１２について、第２フレームレートの撮像で出力されかなった欠損領域７１２ｘを特定色で補完して、補完領域７１２ｙにする。具体的には、たとえば、図１０のフレームＦ２－６０、Ｆ４－６０では、６０［ｆｐｓ］の撮像で出力された特定被写体像である第２画像領域ａ２以外の画像領域（背景に相当）が補完領域７１２ｙである。

また、図１１のフレームＦ７－６０、Ｆ９－６０では、６０［ｆｐｓ］で撮像された変わりゆく風景である第２画像領域ａ２以外の画像領域（先行車に相当）が補完領域７１２ｙである。第１生成部７０１は当該欠損領域７１２ｘを特定色に設定し、欠損領域７１２ｘを解消する。

このように、特定色である補完領域７１２ｙの画像データは、第２撮像領域からの出力に基づかないデータであり、第２撮像領域からの出力データとは無関係な所定のデータとして構成される。

取得部１２２０は、前処理部１２１０から出力された入力動画データ７１０、または、第１動画データ７２１および第２動画データ７２２を取得して、記憶デバイス１２０２に保持し、所定のタイミングで複数のフレームを時系列順に１フレームずつ圧縮伸張部７０２に出力する。具体的には、たとえば、取得部１２２０は、特定被写体が検出されていない場合は前処理部から入力動画データ７１０を取得し、特定被写体が検出された場合は、第１動画データ７２１および第２動画データ７２２を取得する。

圧縮伸張部７０２は、圧縮部１２３１と第２生成部１２３２と選択部１２３３と伸張部１２３４と格納部１２３５とを有する。圧縮部１２３１は、取得部１２２０からの動画データを圧縮する。具体的には、たとえば、圧縮部１２３１は、特定被写体が検出されていない動画データを取得した場合、各フレームは、第１画像領域ａ１であるため、動き検出や動き補償が不要な圧縮処理を実行する。

また、圧縮部１２３１は、第１動画データ７２１および第２動画データ７２２を取得した場合、第１動画データ７２１と第２動画データ７２２とをそれぞれ圧縮する。具体的には、たとえば、圧縮部１２３１は、第１動画データ７２１の場合、第１画像領域ａ１の画像データについては、動き検出や動き補償が不要な圧縮処理を実行し、特定被写体が撮像された第２画像領域ａ２の画像データについては、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の領域については、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図る。

また、圧縮部１２３１は、第２動画データ７２２の場合も、補完領域７１２ｙ（黒塗り）の画像データについては、動き検出や動き補償が不要な圧縮処理を実行し、特定被写体が撮像された第２画像領域ａ２の画像データについては、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の補完領域７１２ｙについては、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図る。また、補完領域７１２ｙが存在するため、第２フレーム７１３は、第１フレーム７１１と同様に、通常の動画圧縮処理の適用が可能となる。

このように、第２フレームレート（６０［ｆｐｓ］）で得られた第２フレーム７１３は、第１フレームレート（３０［ｆｐｓ］）で得られた第１フレーム７１１と同サイズとなる。したがって、第２フレーム７１３は、第１フレーム７１１の圧縮処理と同じ圧縮処理が適用されるため、画像データ７１２のサイズに適合する他の圧縮処理を適用する必要がない。すなわち、圧縮部１２３１は、第１フレーム７１１で適用した圧縮処理を、第２フレーム７１３にもそのまま適用することができる。このため、画像データ７１２用の他の圧縮処理を実装する必要がない。

第２生成部１２３２は、圧縮部１２３１で圧縮された動画データ（圧縮データ）を含む動画ファイル８００を生成する。具体的には、たとえば、第２生成部１２３２は、図８に示したようなファイルフォーマットに従って、動画ファイル８００を生成する。格納部１２３５は、生成した動画ファイル８００を記憶デバイス１２０２に格納する。

なお、圧縮部１２３１は、たとえば、圧縮データをバッファメモリに格納し、第２生成部１２３２は、バッファメモリに格納された圧縮データを読み出して、動画ファイル８００を生成してもよい。

選択部１２３３は、動画ファイル８００の再生指示を操作部５０５から受け付けて、伸張対象となる動画ファイル８００を記憶デバイス１２０２から読み出して、伸張部１２３４に渡す。伸張部１２３４は、選択部１２３３から渡された動画ファイル８００を、ファイルフォーマットに従って伸張する。

すなわち、伸張部１２３４は、汎用の伸張処理を実行する。具体的には、たとえば、伸張部１２３４は、入力された圧縮フレームに可変長復号処理、逆量子化、逆変換を実行し、フレーム内予測またはフレーム間予測を適用して、圧縮フレームを元のフレームに伸張する。

動画ファイル８００には、特定被写体が検出されていない動画データを圧縮した動画ファイル８００と、第１動画データ７２１および第２動画データ７２２を圧縮した動画ファイル８００とがある。前者の動画ファイル８００は、本例では、３０［ｆｐｓ］のフレームレートの撮像で出力された、たとえば、電車が通過していない風景のみの定点撮影された動画データである。したがって、伸張部１２３４は、選択部１２３３が当該動画ファイル８００の再生指示の選択を受け付けると、当該動画ファイル８００をファイルフォーマットに従って伸張する。

一方、第１動画データ７２１および第２動画データ７２２を圧縮した動画ファイル８００は、第１動画データ７２１および第２動画データ７２２の圧縮動画データを含む。したがって、選択部１２３３は、第１動画データ７２１および第２動画データ７２２を圧縮した動画ファイル８００の再生指示の選択を受け付けた場合には、当該再生指示で選択されているフレームレート（たとえば、３０［ｆｐｓ］，６０［ｆｐｓ］）を特定する。

選択フレームレートが３０［ｆｐｓ］である場合、選択部１２３３は、第１動画データ７２１の圧縮データとして、動画ファイル８００のｍｄａｔ８２０内のＳＯＭ８５０ａ～ＥＯＭ８５４ａの間に存在するチャンク群を伸張部１２３４に渡す。これにより、伸張部１２３４は、第１動画データ７２１の圧縮データを第１動画データ７２１に伸張することができる。

選択フレームレートが６０［ｆｐｓ］である場合、選択部１２３３は、第１動画データ７２１の圧縮データとして、動画ファイル８００のｍｄａｔ８２０内のＳＯＭ８５０ａ～ＥＯＭ８５４ａの間に存在するチャンク群を伸張部１２３４に渡すとともに、第２動画データ７２２の圧縮データとして、動画ファイル８００のｍｄａｔ８２０内のＳＯＭ８５０ｂ～ＥＯＭ８５４ｂの間に存在するチャンク群を伸張部１２３４に渡す。これにより、伸張部１２３４は、第１動画データ７２１の圧縮データを第１動画データ７２１に伸張し、かつ、第２動画データ７２２の圧縮データを第２動画データ７２２に伸張することができる。

なお、このように、伸張部１２３４は、伸張対象の圧縮データが２つ存在する場合、第１動画データ７２１の圧縮データ，第２動画データ７２２の圧縮データの順（逆でもよい）に伸張してもよく、第１動画データ７２１の圧縮データ，第２動画データ７２２の圧縮データを並列に伸張してもよい。

特定部１２４０は、伸張部１２３４で第１動画データ７２１および第２動画データ７２２が伸張された場合、第１動画データ７２１内の第１フレーム７１１（たとえば、図１０のフレームＦ１）と、第２動画データ７２２内の第２フレーム７１３（たとえば、図１０のフレームＦ２－６０）と、に基づいて、差分領域を特定する。

差分領域とは、第１フレーム７１１における第２撮像領域に対応する第２画像領域ａ２と、第２フレーム７１３における第２撮像領域に対応する第２画像領域ａ２と、の差分を示す領域である。フレームＦ１とフレームＦ２－６０との差分領域は、フレームＦ２－６０における電車の後方の白点線矩形の領域Ｄａ１となる。フレームＦ３とフレームＦ４－６０との差分領域は、フレームＦ４－６０における電車の後方の白点線矩形の領域Ｄａ３となる。

合成部７０３は、図７～図１１に示したように、第２フレーム７１３（たとえば、図１０のフレームＦ２－６０）に、時間的に１つ前の第１画像領域ａ１の画像データを含む第１フレーム７１１（たとえば、図１０のフレームＦ１）を複製して合成し、第３フレーム７３０（たとえば、図１０のフレームＦ２）を生成する。なお、合成部７０３は、特定部１２４０で特定された差分領域（Ｄａ１，Ｄａ３）に、第１フレーム７１１において当該差分領域と同一位置における第２画像領域ａ２の画像データ（電車の末尾部分）を複製してもよい。これにより、時間的に連続する第１フレーム７１１と第３フレーム７３０との差分をほぼ０にすることができる。したがって、違和感のない動画を再生することができる。

なお、特定部１２４０および合成部７０３において、フレームＦ２－６０の第１動画データ７２１への挿入位置は、付加情報８３５の挿入位置情報９２０で特定される。たとえば、フレームＦ１、Ｆ３のフレーム番号がそれぞれ＃４ａ，＃５ａ、フレームＦ２－６０のフレーム番号が＃２ｂとすると、挿入フレーム番号９２１の値＃２ｂの挿入位置９２２は（＃４ａ，＃５ａ）となる。したがって、フレームＦ２－６０の挿入位置は、フレームＦ１、Ｆ３の間と特定される。

＜圧縮部１２３１の構成例＞
図１３は、圧縮部１２３１の構成例を示すブロック図である。上述したように、圧縮部１２３１は、動き補償フレーム間予測（ＭＣ）と離散コサイン変換（ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって、取得部１２２０からの各フレームＦを圧縮する。

圧縮部１２３１は、減算部１３０１と、ＤＣＴ部１３０２と、量子化部１３０３と、エントロピー符号化部１３０４と、符号量制御部１３０５と、逆量子化部１３０６と、逆ＤＣＴ部１３０７と、生成部１３０８と、フレームメモリ１３０９と、動き検出部１３１０と、動き補償部１３１１と、圧縮制御部１３１２と、を有する。減算部１３０１～動き補償部１３１１は、既存の圧縮器と同様な構成である。

具体的には、たとえば、減算部１３０１は、入力フレームから、当該入力フレームを予測する動き補償部１３１１からの予測フレームを減算して差分データを出力する。ＤＣＴ部１３０２は、減算部１３０１からの差分データを離散コサイン変換する。

量子化部１３０３は、離散コサイン変換された差分データを量子化する。エントロピー符号化部１３０４は、量子化された差分データをエントロピー符号化し、また、動き検出部１３１０からの動きベクトルもエントロピー符号化する。

符号量制御部１３０５は、量子化部１３０３による量子化を制御する。逆量子化部１３０６は、量子化部１３０３で量子化された差分データを逆量子化して、離散コサイン変換された差分データにする。逆ＤＣＴ部１３０７は、逆量子化された差分データを逆離散コサイン変換する。

生成部１３０８は、逆離散コサイン変換された差分データと、動き補償部１３１１からの予測フレームとを加算して、当該入力フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する。フレームメモリ１３０９は、生成部１３０８から得られた参照フレームを保持する。動き検出部１３１０は、入力フレームと参照フレームとを用いて、動きベクトルを検出する。動き補償部１３１１は、参照フレームと動きベクトルとを用いて、予測フレームを生成する。

動き補償部１３１１は、具体的には、たとえば、フレームメモリ１３０９に保持された複数の参照フレームのうち特定の参照フレームと動きベクトルとを用いて、第２フレームレートの撮像で出力されたフレームの動き補償を実行する。参照フレームを特定の参照フレームとすることにより、特定の参照フレーム以外の他の参照フレームをも用いた高負荷の動き補償を抑制することができる。また、特定の参照フレームを、入力フレームの時間的に１つ前のフレームから得られた１枚の参照フレームとすることにより、高負荷な動き補償を回避して、動き補償の処理負荷の低減を図ることができる。

圧縮制御部１３１２は、動き検出部１３１０と動き補償部１３１１を制御する。具体的には、たとえば、圧縮制御部１３１２は、動き検出部１３１０で動きがないことを示す特定の動きベクトルを設定する第１圧縮制御方法と、動き検出自体をスキップする第２圧縮制御方法を実行する。

第１圧縮制御方法について説明する。第１動画データ７２１の場合、圧縮制御部１３１２は、動き検出部１３１０を制御して、第１フレームレート（たとえば、３０［ｆｐｓ］）の撮像で出力された第１画像領域ａ１については、動きベクトルの検出ではなく、動きがないことを示す特定の動きベクトルを設定して、動き補償部１３１１に出力する。また、圧縮制御部１３１２は、動き検出部１３１０を制御して、第２フレームレート（たとえば、６０［ｆｐｓ］）の撮像で出力された第２画像領域ａ２については、動きベクトルを検出して、動き補償部１３１１に出力する。特定の動きベクトルは、方向が規定されず、かつ、動き量が０の動きベクトルである。このように、第１フレームレート（たとえば、３０［ｆｐｓ］）の撮像で出力された第１画像領域ａ１については、動きベクトルの検出は行わない。

この場合、圧縮制御部１３１２は、動き補償部１３１１を制御して、第１画像領域ａ１の画像データについては、特定の動きベクトルと参照フレームとに基づいて動き補償を実行する。圧縮制御部１３１２は、第２画像領域ａ２の画像データについては、動き検出部１３１０によって検出された動きベクトルに基づいて動き補償を実行する。なお、第２動画データ７２２の場合は、第１フレームレート（たとえば、３０［ｆｐｓ］）の撮像で出力された第１画像領域ａ１を特定色で塗りつぶした領域に置き換えればよい。

第２圧縮制御方法について説明する。第１動画データ７２１の場合、圧縮制御部１３１２は、動き検出部１３１０を制御して、補完領域７１２ｙの画像データについては、動きベクトルの検出を実行しない。また、圧縮制御部１３１２は、動き検出部１３１０を制御して、第２フレームレート（たとえば、６０［ｆｐｓ］）の撮像で出力された第２画像領域ａ２については、動きベクトルの検出を実行する。

この場合、圧縮制御部１３１２は、動き補償部１３１１を制御して、第１画像領域ａ１の画像データについては、参照フレームに基づいて動き補償を実行する。すなわち、動きベクトルがないため、圧縮制御部１３１２は、動き補償部１３１１を制御して、補完領域７１２ｙの画像データについては、参照フレームを、入力フレームの時間的に１つ後のフレームを予測する予測フレームに決定する。

また、圧縮制御部１３１２は、動き補償部１３１１を制御して、第２画像領域ａ２の画像データについては、参照フレームと動き検出部１３１０によって検出された動きベクトルに基づいて動き補償を実行する。なお、第２動画データ７２２の場合は、第１フレームレート（たとえば、３０［ｆｐｓ］）の撮像で出力された第１画像領域ａ１を補完領域７１２ｙに置き換えればよい。

第１圧縮制御方法によれば、動きベクトルが特定の動きベクトルであるため、第１画像領域ａ１および補完領域７１２ｙでの動き検出が簡略化される。したがって、動画圧縮の処理負荷の低減を図る。また、第２圧縮制御方法によれば、第１画像領域ａ１および補完領域７１２ｙについて動き検出自体が実行されないため、第１圧縮制御方法よりも、動画圧縮の処理負荷の低減を図る。

＜制御部５０２の動作処理手順例＞
図１４は、制御部５０２の動作処理手順例を示すシーケンス図である。図１４では、説明の便宜上、取得部１２２０を省略する。前処理部１２１０は、たとえば、ユーザが操作部５０５を操作することにより、または、ステップＳ１４１２の特定被写体の非検出の場合（ステップＳ１４１２：Ｙｅｓ）は自動で、撮像素子１００の撮像面２００全域の撮像条件を第１フレームレート（たとえば、３０［ｆｐｓ］）に設定する（ステップＳ１４０１）。

これにより、撮像素子１００では、撮像面２００全域の撮像条件が第１フレームレートに設定され（ステップＳ１４０２）、撮像素子１００は、被写体を第１フレームレートで撮像して、入力動画データ７１０を前処理部１２１０に出力する（ステップＳ１４０３）。

前処理部１２１０は、入力動画データ７１０が入力されると（ステップＳ１４０３）、設定処理を実行する（ステップＳ１４０４）。設定処理（ステップＳ１４０４）は、入力動画データ７１０の各フレームに、フレームレートを設定する。たとえば、第１フレームレート（たとえば、３０［ｆｐｓ］）が付加された画像領域は、第１画像領域ａ１として認識され、第２フレームレート（たとえば、６０［ｆｐｓ］）が付加された画像領域は、第２画像領域ａ２として認識される。

また、前処理部１２１０は、入力動画データ７１０を第１生成部７０１に出力する（ステップＳ１４０５）。また、前処理部１２１０は、設定処理（ステップＳ１４０４）で次の入力フレームの第２フレームレートの画像領域が検出されなかった場合（ステップＳ１４０６：Ｎｏ）、ステップＳ１４０３の入力動画データ７１０の入力を待ち受ける。一方、前処理部１２１０は、設定処理（ステップＳ１４０４）で次の入力フレームの第２フレームレートの画像領域が検出された場合（ステップＳ１４０６：Ｙｅｓ）、特定被写体を含む第２画像領域ａ２を第２フレームレート（たとえば、６０［ｆｐｓ］）に設定変更する（ステップＳ１４０７）。

そして、ステップＳ１４０７の設定変更内容にしたがって撮像面２００全域のうち第２撮像領域の撮像条件が第２フレームレートに設定される。これにより、撮像素子１００は、撮像素子１００は、被写体を第１撮像領域では第１フレームレートで撮像し、第２撮像領域では第２フレームレートで撮像して、入力動画データ７１０を前処理部１２１０に出力する（ステップＳ１４０９）。

前処理部１２１０は、入力動画データ７１０が入力されると（ステップＳ１４０９）、設定処理を実行する（ステップＳ１４１０）。設定処理（ステップＳ１４１０）は、設定処理（ステップＳ１４０４）と同一処理である。設定処理（ステップＳ１４１０）の詳細については、図１５で後述する。前処理部１２１０は、入力動画データ７１０を第１生成部７０１に出力する（ステップＳ１４１１）。

前処理部１２１０は、特定被写体が非検出になった場合（ステップＳ１４１２：Ｙｅｓ）、ステップＳ１４０１に戻り、撮像面２００全域を第１フレームレートに設定変更する（ステップＳ１４０１）。一方、特定被写体が検出され続けている場合（ステップＳ１４１２：Ｎｏ）、ステップＳ１４０７に戻り、特定被写体の検出位置に応じた第２画像領域ａ２を第２フレームレートに変更する（ステップＳ１４０７）。なお、この場合、特定被写体が検出されなくなった画像領域については、前処理部１２１０は、第１フレームレートに設定変更する。

また、第１生成部７０１は、入力動画データ７１０が入力されると（ステップＳ１４０５）、補完処理を実行する（ステップＳ１４１３）。なお、補完処理（ステップＳ１４１３）では、第１生成部７０１は、各フレームのフレームレートを参照して、入力動画データ７１０の各フレームは、第１フレーム７１１のみであると特定する。

したがって、特定被写体が撮像されていないため画像データ７１２が存在しない。したがって、第１生成部７０１は、画像データ７１２を補完しない。補完処理（ステップＳ１４１３）の詳細については、図１８で後述する。第１生成部７０１は、入力動画データ７１０を圧縮部１２３１に出力する（ステップＳ１４１４）。

また、第１生成部７０１は、入力動画データ７１０が入力されると（ステップＳ１４１１）、補完処理を実行する（ステップＳ１４１５）。なお、補完処理（ステップＳ１４１５）では、第１生成部７０１は、各フレームのフレームレートを参照して、入力動画データ７１０の各フレームは、第１フレーム７１１および画像データ７１２を含むと判断する。

したがって、第１フレーム７１１および画像データ７１２に特定被写体が撮像されているため、第１生成部７０１は、第２フレーム７１３を生成する。補完処理（ステップＳ１４１５）の詳細については、図１８で後述する。第１生成部７０１は、第１フレーム７１１および第２フレーム７１３を圧縮部１２３１に出力する（ステップＳ１４１６）。

圧縮部１２３１および第２生成部１２３２は、入力動画データ７１０が入力されると（ステップＳ１４１４）、入力動画データ７１０の動画ファイル生成処理を実行する（ステップＳ１４１７）。入力動画データ７１０は、第１フレーム７１１のみで構成されるため、圧縮部１２３１は、圧縮処理（ステップＳ１４１７）において、動き検出や動き補償が不要な圧縮符号化を実行する。動画ファイル生成処理（ステップＳ１４１７）の詳細については、図１８～図２４で後述する。

また、圧縮部１２３１および第２生成部１２３２は、第１動画データ７２１および第２動画データ７２２が入力されると（ステップＳ１４１６）、第１動画データ７２１および第２動画データ７２２の動画ファイル生成処理を実行する（ステップＳ１４１８）。第１動画データ７２１は、第１フレーム７１１で構成され、第２動画データ７２２は、第２フレーム７１３で構成される。

圧縮部１２３１は、動画ファイル生成処理（ステップＳ１４１８）において、圧縮対象が第１動画データ７２１である場合、第１画像領域ａ１の画像データについては、動き検出や動き補償が不要な圧縮処理を実行し、特定被写体が撮像された第２画像領域ａ２の画像データについては、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の領域については、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図る。

また、圧縮部１２３１は、圧縮対象が第２動画データ７２２である場合も、補完領域７１２ｙ（黒塗り）の画像データについては、動き検出や動き補償が不要な圧縮処理を実行し、特定被写体が撮像された第２画像領域ａ２の画像データについては、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の領域については、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図る。動画ファイル生成処理（ステップＳ１４１８）の詳細については、図１８～図２４で後述する。

＜設定処理（ステップＳ１４０４、Ｓ１４１０）＞
図１５は、図１４に示した設定処理（ステップＳ１４０４、Ｓ１４１０）の詳細な処理手順例を示すフローチャートである。図１５では、撮像素子１００には、あらかじめ第１フレームレート（例：３０［［ｆｐｓ］）が設定されており、検出部１２１１の被写体検出技術により第２フレームレート（例：６０［［ｆｐｓ］）の画像領域を追尾して、撮像素子１００にフィードバックする。なお、第１フレームレートおよび第２フレームレートの画像領域は、常時固定でもよい。

前処理部１２１０は、入力動画データ７１０を構成するフレームの入力を待ち受け（ステップＳ１５０１）、フレームが入力された場合（ステップＳ１５０１：Ｙｅｓ）、検出部１２１１により主要被写体などの特定被写体が検出されたか否かを判断する（ステップＳ１５０２）。特定被写体が検出されていない場合（ステップＳ１５０２：Ｎｏ）、ステップＳ１５０４に移行する。

一方、特定被写体が検出された場合（ステップＳ１５０２：Ｙｅｓ）、前処理部１２１０は、検出部１２１１により、時間的に１つ前のフレーム（たとえば、参照フレーム）と入力フレームとを比較して動きベクトルを検出し、次の入力フレームでの第２フレームレートの画像領域を予測し、撮像素子１００に出力し、ステップＳ１５０４に移行する（ステップＳ１５０３）。これにより、撮像素子１００は、予測された画像領域に対応する撮像領域を構成するブロック２０２の撮像条件を第２フレームレートに設定し、残余のブロック２０２の撮像条件を第１フレームレートに設定して、被写体を撮像することができる。

そして、前処理部１２１０は、入力フレームについてフレームレート設定処理を実行し（ステップＳ１５０４）、ステップＳ１５０１に戻る。フレームレート設定処理（ステップＳ１５０５）は、上述したフレームレートをフレームＦに設定する処理であり、図１６で詳細に説明する。

フレームＦの入力がない場合（ステップＳ１５０１：Ｎｏ）、入力動画データ７１０の入力が終了しているため、前処理部１２１０は、設定処理（ステップＳ１４０４、Ｓ１４１０）を終了する。

＜フレームレート設定処理（ステップＳ１５０４）＞
図１６は、図１５に示したフレームレート設定処理（ステップＳ１５０４）の詳細な処理手順例を示すフローチャートである。前処理部１２１０は、フレームが入力されると（ステップＳ１６０１）、入力フレームに未選択画像領域があるか否かを判断する（ステップＳ１６０２）。未選択画像領域がある場合（ステップＳ１６０２：Ｙｅｓ）、前処理部１２１０は、未選択画像領域を１つ選択し（ステップＳ１６０３）、特定被写体の検出フラグがＯＮであるか否かを判断する（ステップＳ１６０４）。検出フラグは、特定被写体の検出の有無を示す情報であり、デフォルトはＯＦＦ（非検出）である。

図１４のステップＳ１４０６で特定被写体が検出された場合（ステップＳ１４０６：Ｙｅｓ）、前処理部１２１０は、検出フラグをＯＦＦからＯＮ（検出中）に変更する。ステップＳ１４１２で特定被写体が非検出となった場合（ステップＳ１４１２：Ｙｅｓ）、前処理部１２１０は、検出フラグをＯＮからＯＦＦに変更する。

検出フラグがＯＦＦである場合（ステップＳ１６０４：Ｎｏ）、選択画像領域について第１フレームレートを示す情報を入力フレームに設定し（ステップＳ１６０５）、ステップＳ１６０２に戻る。一方、検出フラグがＯＮである場合（ステップＳ１６０４：Ｙｅｓ）、前処理部１２１０は、選択画像領域は、特定被写体像が存在する画像領域であるか否かを判断する（ステップＳ１６０６）。

特定被写体像が存在しない場合（ステップＳ１６０６：Ｎｏ）、ステップＳ１６０２に戻る。一方、特定被写体像が存在する場合（ステップＳ１６０６：Ｙｅｓ）、前処理部１２１０は、選択画像領域について第２フレームレートを示す情報を入力フレームに設定し（ステップＳ１６０７）、ステップＳ１６０２に戻る。

ステップＳ１６０２において、未選択画像領域がない場合（ステップＳ１６０２：Ｎｏ）、前処理部１２１０は、フレームレート設定処理を終了する。このあと、前処理部１２１０は、フレームレートを撮像素子１００に設定する（ステップＳ１４０１、Ｓ１４０７）。

各フレームの画像領域ごとに、フレームレートを示す情報を設定することにより、前処理部１２１０は、どの画像領域に対応する撮像素子１００の撮像領域をどのフレームレートに設定すればよいかを特定することができる。また、第１生成部７０１および圧縮部１２３１は、入力されたフレームＦの各画像領域のフレームレートを特定することができる。

＜補完処理（ステップＳ１４１３，Ｓ１４１５）＞
図１７は、第１生成部７０１による補完処理手順例を示すフローチャートである。第１生成部７０１は、フレームＦの入力を受け付けると（ステップＳ１７０１）、入力フレームのフレームレートを参照する（ステップＳ１７０２）。第２フレームレート（６０［ｆｐｓ］）のみでない場合（ステップＳ１７０３：Ｎｏ）、第１生成部７０１は、補完処理を実行せずに終了する。第２フレームレート（６０［ｆｐｓ］）のみである場合（ステップＳ１７０３：Ｙｅｓ）、入力フレームは画像データ７１２であるため、第１生成部７０１は、補完処理を実行して、入力フレームを第２フレーム７１３にする（ステップＳ１７０４）。これにより、図１０に示したフレームＦ２－６０、フレームＦ４－６０、図１１に示したフレームＦ７－６０、フレームＦ９－６０を生成することができる。

＜動画ファイル生成処理（ステップＳ１４１７、Ｓ１４１８）＞
図１８は、図１４に示した動画ファイル生成処理（ステップＳ１４１７、Ｓ１４１８）の詳細な処理手順例を示すフローチャートである。圧縮部１２３１は、第１フレーム７１１からなる第１動画データ７２１の圧縮と、第２フレーム７１３からなる第２動画データ７２２の圧縮と、を別々に行うことになる。圧縮部１２３１は、フレームＦの入力を受け付けると（ステップＳ１８０１）、入力フレームについて圧縮符号化を実行する（ステップＳ１８０２）。圧縮符号化の詳細な制御内容については、図１９～図２４を用いて後述する。

このあと、第２生成部１２３２は、圧縮符号化したデータから、図８に示したｕｕｉｄ８３１，ｕｄｔａ８３２，ｍｖｈｄ８３３，ｔｒａｋ８３４などのメタデータを生成する（ステップＳ１８０３）。なお、第２生成部１２３２は、圧縮前の情報が必要なメタデータについては、ステップＳ１８０３を、圧縮符号化（ステップＳ１８０２）の前に実行してもよい。

第２生成部１２３２は、フレームＦに付与されたフレームレートを示す情報を参照して、撮像条件情報９１０を生成し（ステップＳ１８０４）、チャンクの位置情報（ｓｔｓｚ８４７およびｓｔｃｏ８４８）を参照し、第２フレーム７１３の挿入先を特定して、挿入位置情報を生成する（ステップＳ１８０５）。ステップＳ１８０４、Ｓ１８０５により付加情報８３５が生成される。そして、第２生成部１２３２は、ヘッダ部８０１とデータ部８０２とを合わせて動画ファイル８００を生成し（ステップＳ１８０６）、記憶デバイス１２０２に格納する（ステップＳ１８０７）。

＜圧縮処理例：第１圧縮制御方法＞
つぎに、図１８に示した圧縮部１２３１による圧縮符号化（ステップＳ１８０２）を第１圧縮制御方法と第２圧縮制御方法に分けて説明する。

図１９は、圧縮制御部１３１２による第１圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。圧縮制御部１３１２は、入力フレーム（第１フレーム７１１または第２フレーム７１３）を取得し（ステップＳ１９０１）、取得した入力フレームから未選択画像領域を選択する（ステップＳ１９０２）。そして、圧縮制御部１３１２は、選択画像領域のフレームレートを入力フレームから参照する（ステップＳ１９０３）。

なお、入力フレームが第１フレーム７１１である場合、選択画像領域は、第１フレームレートの撮像で出力された第１画像領域ａ１または第２フレームレートの撮像で出力された第２画像領域ａ２となる。また、入力フレームが第２フレーム７１３である場合、選択画像領域は、第１フレームレートの撮像で出力された第１画像領域ａ１に対応する補完領域７１２ｙまたは第２フレームレートの撮像で出力された第２画像領域ａ２となる。

選択画像領域のフレームレートが第２フレームレートである場合（ステップＳ１９０３：第２ＦＲ）、圧縮制御部１３１２は、選択画像領域の画像データを動き検出部１３１０に出力する（ステップＳ１９０４）。これにより、動き検出部１３１０は、第２フレームレートの選択画像領域については、通常通り、参照フレームを用いて動きベクトルを検出する。

一方、選択画像領域のフレームレートが第１フレームレートである場合（ステップＳ１９０３：第１ＦＲ）、圧縮制御部１３１２は、第１フレームレートの選択画像領域にスキップフラグを設定して、動き検出部１３１０に出力する（ステップＳ１９０５）。これにより、動き検出部１３１０は、第１フレームレートの選択画像領域については、動きがないことを示す特定の動きベクトルを設定することになる。

ステップＳ１９０４またはＳ１９０５のあと、圧縮制御部１３１２は、取得した入力フレームに未選択画像領域があるか否かを判断する（ステップＳ１９０６）。未選択画像領域がある場合（ステップＳ１９０６：Ｙｅｓ）、ステップＳ１９０２に戻る。一方、未選択画像領域がない場合（ステップＳ１９０６：Ｎｏ）、圧縮制御部１３１２は、一連の処理を終了する。

図２０は、動き検出部１３１０による第１圧縮制御方法の動き検出処理手順例を示すフローチャートである。動き検出部１３１０は、入力フレームよりも時間的に１つ前の参照フレームをフレームメモリ１３０９から取得し（ステップＳ２００１）、図１９のステップＳ１９０４またはＳ１９０５で出力された選択画像領域の入力を待ち受ける（ステップＳ２００２：Ｎｏ）。

選択画像領域が入力された場合（ステップＳ２００２：Ｙｅｓ）、動き検出部１３１０は、選択画像領域と同一箇所の画像領域の画像データを参照フレームから取得する（ステップＳ２００３）。そして、動き検出部１３１０は、選択画像領域にスキップフラグがあるか否かを判断する（ステップＳ２００４）。スキップフラグがない場合（ステップＳ２００４：Ｎｏ）、選択画像領域のフレームレートが第２フレームレートである。したがって、動き検出部１３１０は、選択画像領域の画像データと、ステップＳ２００３で取得した参照フレームの画像領域の画像データとを用いて、動きベクトルを検出する（ステップＳ２００５）。

一方、スキップフラグがある場合（ステップＳ２００４：Ｙｅｓ）、動き検出部１３１０は、動きがないことを示す特定の動きベクトルを設定する（ステップＳ２００６）。これにより、動き検出部１３１０での動き検出処理は、常に、動きがないことを示す特定の動きベクトルを用いるため、第１フレームレートの選択画像領域について、動き検出の処理負荷が低減される。そして、動き検出部１３１０は、ステップＳ２００５またはＳ２００６で得られた動きベクトルを動き補償部１３１１に出力して（ステップＳ２００７）、一連の処理を終了する。

図２１は、動き補償部１３１１による第１圧縮制御方法の動き補償処理手順例を示すフローチャートである。動き補償部１３１１は、フレームメモリ１３０９から参照フレームを取得する（ステップＳ２１０１）。動き補償部１３１１は、選択画像領域と同一箇所の画像領域を参照フレームから取得する（ステップＳ２１０２）。

そして、動き補償部１３１１は、動き検出部１３１０からの選択画像領域についての動きベクトルと、ステップＳ２１０２で取得された参照フレームの画像領域とを用いて、動き補償を実行する（ステップＳ２１０３）。これにより、動き補償部１３１１は、選択画像領域における予測画像データを生成することができる。

そして、動き補償部１３１１は、全選択画像領域の動き補償が終了したか否かを判断する（ステップＳ２１０４）。具体的には、たとえば、圧縮制御部１３１２がステップＳ１９０６で未選択画像領域があると判断した場合に（ステップＳ１９０６：Ｙｅｓ）、動き補償部１３１１は、全選択画像領域の動き補償が終了していないと判断し（ステップＳ２１０４：Ｎｏ）、ステップＳ２１０２に戻る。

一方、圧縮制御部１３１２がステップＳ１９０６で未選択画像領域がないと判断した場合に（ステップＳ１９０６：Ｎｏ）、動き補償部１３１１は、全選択画像領域の動き補償が終了したと判断する（ステップＳ２１０４：Ｙｅｓ）。そして、動き補償部１３１１は、全選択画像領域についての予測画像データを結合した予測フレームを減算部１３０１および生成部１３０８に出力して（ステップＳ２１０５）、一連の処理を終了する。

＜圧縮処理例：第２圧縮制御方法＞
図２２は、圧縮制御部１３１２による第２圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。圧縮制御部１３１２は、入力フレームを取得し（ステップＳ２２０１）、取得した入力フレームから未選択画像領域を選択する（ステップＳ２２０２）。そして、圧縮制御部１３１２は、選択画像領域のフレームレートを入力フレームから参照する（ステップＳ２２０３）。

選択画像領域のフレームレートが第２フレームレートである場合（ステップＳ２２０３：第２ＦＲ）、圧縮制御部１３１２は、選択画像領域を動き検出部１３１０に出力する（ステップＳ２２０４）。これにより、動き検出部１３１０は、第２フレームレートの選択画像領域については、通常通り、参照フレームを用いて動きベクトルを検出する。

一方、選択画像領域のフレームレートが第１フレームレートである場合（ステップＳ２２０３：第１ＦＲ）、圧縮制御部１３１２は、第１フレームレートの選択画像領域にスキップフラグを設定して、動き検出部１３１０に出力する（ステップＳ２２０５）。これにより、動き検出部１３１０は、第１フレームレートの選択画像領域については、動き検出を実行しないことになる。そして、圧縮制御部１３１２は、選択画像領域の動き補償停止指示を発行して、動き補償部１３１１に出力する（ステップＳ２２０６）。これにより、当該選択画像領域について動き補償の実行を停止することができる。

ステップＳ２２０４またはＳ２２０６のあと、圧縮制御部１３１２は、取得した入力フレームに未選択画像領域があるか否かを判断する（ステップＳ２２０７）。未選択画像領域がある場合（ステップＳ２２０７：Ｙｅｓ）、ステップＳ２２０２に戻る。一方、未選択画像領域がない場合（ステップＳ２２０７：Ｎｏ）、圧縮制御部１３１２は、一連の処理を終了する。

図２３は、動き検出部１３１０による第２圧縮制御方法の動き検出処理手順例を示すフローチャートである。動き検出部１３１０は、入力フレームＦよりも時間的に１つ前の参照フレームをフレームメモリ１３０９から取得し（ステップＳ２３０１）、図２２のステップＳ２２０４またはＳ２２０５で出力された選択画像領域の入力を待ち受ける（ステップＳ２３０２：Ｎｏ）。

選択画像領域が入力された場合（ステップＳ２３０２：Ｙｅｓ）、動き検出部１３１０は、選択画像領域と同一箇所の画像領域の画像データを参照フレームから取得する（ステップＳ２３０３）。そして、動き検出部１３１０は、選択画像領域にスキップフラグがあるか否かを判断する（ステップＳ２３０４）。スキップフラグがない場合（ステップＳ２３０４：Ｎｏ）、選択画像領域のフレームレートが第２フレームレートである。したがって、動き検出部１３１０は、選択画像領域の画像データと、ステップＳ２００３で取得した参照フレームの画像領域の画像データとを用いて、動きベクトルを検出する（ステップＳ２３０５）。

そして、動き検出部１３１０は、ステップＳ２３０５で得られた動きベクトルを動き補償部１３１１に出力して（ステップＳ２３０６）、一連の処理を終了する。一方、スキップフラグがある場合（ステップＳ２３０４：Ｙｅｓ）、動き検出部１３１０は、動き検出を実行せずに、一連の処理を終了する。

図２４は、動き補償部１３１１による第２圧縮制御方法の動き補償処理手順例を示すフローチャートである。動き補償部１３１１は、フレームメモリ１３０９から参照フレームを取得する（ステップＳ２４０１）。動き補償部１３１１は、選択画像領域と同一箇所の画像領域を参照フレームから取得する（ステップＳ２４０２）。

そして、動き補償部１３１１は、選択画像領域についての動き補償のトリガ入力が動きベクトルか動き補償停止指示のいずれかであるかを判断する（ステップＳ２４０３）。トリガ入力が動きベクトルである場合（ステップＳ２４０３：動きベクトル）、動き補償部１３１１は、動き検出部１３１０からの選択画像領域についての動きベクトルと、ステップＳ２４０２で取得された参照フレームの画像領域とを用いて、動き補償を実行する（ステップＳ２４０４）。これにより、動き補償部１３１１は、選択画像領域における予測画像データを生成することができる。

一方、トリガ入力が動き補償停止指示である場合（ステップＳ２４０３：動き補償停止指示）、動き補償部１３１１は、取得画像領域の画像データを予測画像領域の画像データ（予測画像データ）に決定する（ステップＳ２４０５）。

そして、動き補償部１３１１は、ステップＳ２４０４またはＳ２４０５のあと、全選択画像領域の動き補償が終了したか否かを判断する（ステップＳ２４０６）。具体的には、たとえば、圧縮制御部１３１２がステップＳ２２０７で未選択画像領域があると判断した場合に（ステップＳ２００７：Ｙｅｓ）、動き補償部１３１１は、全選択画像領域の動き補償が終了していないと判断し（ステップＳ２４０６：Ｎｏ）、ステップＳ２４０２に戻る。

一方、圧縮制御部１３１２がステップＳ２２０７で未選択画像領域がないと判断した場合に（ステップＳ２２０７：Ｎｏ）、動き補償部１３１１は、全選択画像領域の動き補償が終了したと判断する（ステップＳ２４０６：Ｙｅｓ）。そして、動き補償部１３１１は、全選択画像領域についての予測画像データを結合した予測フレームを減算部１３０１および生成部１３０８に出力して（ステップＳ２４０７）、一連の処理を終了する。

＜伸張から再生までの処理＞
図２５は、伸張から再生までの処理手順例を示すフローチャートである。選択部１２３３は、操作部５０５から再生指示の選択を待ち受け（ステップＳ２５０１：Ｎｏ）、再生指示の選択があった場合（ステップＳ２５０１：Ｙｅｓ）、選択部１２３３は、再生対象となる動画ファイル８００のフレームレートが選択可能か否かを判断する（ステップＳ２５０２）。選択可能でない場合（ステップＳ２５０２：Ｎｏ）、動画ファイル８００は、第１フレームレート（３０［ｆｐｓ］）のみのフレーム群を圧縮した動画ファイル８００である。この場合、伸張部１２３４は、当該動画ファイル８００を伸張し（ステップＳ２５０４）、ステップＳ２５０８に移行する。

一方、ステップＳ２５０２で選択可能である場合（ステップＳ２５０２：Ｙｅｓ）、選択部１２３３は、選択されたフレームレートが第１フレームレート（３０［ｆｐｓ］）であるか否かを判断する（ステップＳ２５０３）。第１フレームレート（３０［ｆｐｓ］）が選択された場合（ステップＳ２５０３：Ｙｅｓ）、再生対象となる動画ファイル８００は、第１動画データ７２１を圧縮した動画ファイル８００である。したがって、伸張部１２３４は、当該動画ファイル８００を伸張して（ステップＳ２５０４）、ステップＳ２５０８に移行する。

一方、第２フレームレート（６０［ｆｐｓ］）が選択された場合（ステップＳ２５０３：Ｎｏ）、再生対象となる動画ファイル８００は、第１動画データ７２１および第２動画データ７２２を圧縮した動画ファイル８００である。したがって、伸張部１２３４は、当該動画ファイル８００を伸張して、第１動画データ７２１および第２動画データ７２２を出力する（ステップＳ２５０５）。

そして、特定部１２４０は、ステップＳ２５０５で伸張された第１動画データ７２１および第２動画データ７２２を参照して、差分領域を特定する（ステップＳ２５０６）。このあと、合成部７０３は、図１０、図１１に示したように、第１動画データ７２１および第２動画データ７２２の合成処理を実行する（ステップＳ２５０７）。合成処理（ステップＳ２５０７）の詳細については、図２６で後述する。最後に、再生部７０４は、合成処理（ステップＳ２５０７）またはステップＳ２５０４で得られた動画データを液晶モニタに再生する（ステップＳ２５０８）。

＜合成処理（ステップＳ２５０７）＞
図２６は、図２５に示した合成処理（ステップＳ２５０７）の詳細な処理手順例を示すフローチャートである。合成部７０３は、挿入位置情報９２０に従い、フレームＦの出力順を設定する（ステップＳ２６０１）。つぎに、合成部７０３は、再生部７０４へ未出力の残存フレームがあるか否かを判断する（ステップＳ２６０２）。残存フレームがある場合（ステップＳ２６０２：Ｙｅｓ）、合成部７０３は、出力順でフレームを取得する（ステップＳ２６０３）。

合成部７０３は、たとえば、ｕｕｉｄ８３１に書き込まれたフレーム種別識別情報を参照して、取得フレームが第２フレーム７１３であるか否かを判断する（ステップＳ２６０４）。第２フレーム７１３でない場合（ステップＳ２６０４：Ｎｏ）、取得フレームは第１フレーム７１１であるため、合成部７０３は、取得フレームを再生対象として再生部７０４に出力し、バッファに書き込む（ステップＳ２６０５）。そして、ステップＳ２６０２に戻る。

一方、ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、合成部７０３は、バッファ内のフレームと、取得フレームとを合成して、第３フレーム７３０を生成し、再生対象として再生部７０４に出力する（ステップＳ２６０６）。そして、ステップＳ２６０２に戻る。ステップＳ２６０２において、残存フレームがない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。

これにより、合成部７０３は、図１０、図１１に示したように、第２フレーム７１３と、時間的に１つ前の第１フレーム７１１と、を用いて、第１画像領域ａ１および第２画像領域ａ２を含む第３フレーム７３０に合成することができる。したがって、１フレーム内のフレームレートの相違を吸収することができる。

（１－１）このように、動画圧縮装置は、第１撮像領域から出力されたデータに基づいて複数の第１フレームを生成し、第２撮像領域から出力されたデータに基づいて複数の第２フレームを生成し、複数の第１フレーム７１１を圧縮するとともに、複数の第２フレーム７１３を圧縮する。これにより、画像領域毎にフレームレートが異なる動画データを圧縮する際に、当該動画データを別々に圧縮することができる。

（１－２）また、上記（１－１）において、動画圧縮装置は、第１撮像領域から出力されたデータと、第２撮像領域から出力されたデータと、に基づいて、第１フレーム７１１を生成する。これにより、複数の撮像領域からの出力により欠損のないフレームを生成することができる。

（１－３）また、上記（１－１）において、動画圧縮装置は、第２撮像領域から出力されたデータと、撮像素子１００からの出力に基づかないデータと、に基づいて、第２フレーム７１３を生成する。これにより、撮像素子１００からの出力に基づかないデータとは、第１撮像領域からのデータではなく、たとえば、欠損領域７１２ｘについて画像処理で得られたデータである。したがって、第２フレーム７１３を第１フレーム７１１と同じように圧縮することができる。

（１－４）また、上記（１－３）において、動画圧縮装置は、第２撮像領域から出力されたデータと、所定のデータと、に基づいて、第２フレーム７１３を生成する。所定のデータとは、たとえば、欠損領域７１２ｘについて画像処理で得られたデータである。したがって、第２フレーム７１３を第１フレーム７１１と同じように圧縮することができる。

（１－５）また、上記（１－４）において、動画圧縮装置は、第２撮像領域から出力されたデータに対して、第１撮像領域からデータが出力されなかった領域（欠損領域７１２ｘ）を補完することにより、第２フレーム７１３を生成する。これにより、欠損領域７１２ｘを補って第２フレーム７１３を第１フレーム７１１と同じように圧縮することができる。

（１－６）また、上記（１－５）において、動画圧縮装置は、第２撮像領域から出力されたデータに対して、第１撮像領域からデータが出力されなかった領域を特定色で補完することにより、第２フレーム７１３を生成する。これにより、圧縮効率の向上を図ることができる。

（１－７）また、上記（１－３）～（１－６）において、動画圧縮装置は、記第２フレームのうちの、前記第２撮像領域から出力されたデータに基づいて生成された領域の画像データについては動きベクトルを検出する。これにより、たとえば、第１画像領域ａ１および補完領域７１２ｙの画像データについては動きベクトルの検出に替えて特定の動きベクトルを設定することにより、動き検出が実行されないこととなり、圧縮処理の負荷低減を図ることができる。

（１－８）また、上記（１－７）において、動画圧縮装置は、前記第２撮像領域から出力されたデータに基づいて生成された領域以外の領域の画像データについては動きベクトルを検出しない。これにより、たとえば、第１画像領域ａ１および補完領域７１２ｙの画像データについて動き検出を実行しないことにより、圧縮処理の負荷低減を図ることができる。

（１－９）また、上記（１－７）または（１－８）において、動画圧縮装置は、動きベクトル検出結果に基づいて動き補償を実行する。これにより、圧縮処理の負荷低減を図ることができる。

このように、上述した動画圧縮装置によれば、第１フレーム７１１からなる第１動画データ７２１と、補完後第２フレーム７１３からなる第２動画データ７２２と、を別々に圧縮することができる。すなわち、異なるフレームレートが混在する入力動画データ７１０をフレームレートの撮像タイミングで区分けして圧縮することができる。

したがって、伸張や再生をしたい場合、伸張や再生の対象として、第１動画データ７２１や、第１動画データ７２１および第２動画データ７２２の両方といった選択が可能となる。たとえば、第１フレーム７１１の撮像タイミングである３０［ｆｐｓ］で再生したい場合は、第１動画データ７２１のみ伸張して再生すればよい。

これにより、第２動画データ７２２の伸張処理が不要となり、再生対象の伸張処理の高速化および省電力化を図ることができる。また、たとえば、画像データ７１２の撮像タイミングである６０［ｆｐｓ］で再生したい場合には、第１動画データ７２１および第２動画データ７２２の両方を伸張して合成すればよい。これにより、必要に応じて被写体動画の再現性が高まり、よりリアルな映像として再生することができる。

（２－１）また、生成装置は、第１フレームレート（たとえば、３０［ｆｐｓ］）が設定された第１撮像領域から出力されたデータに基づいて生成された複数の第１フレーム７１１を圧縮した第１圧縮データと、第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）が設定された第２撮像領域から出力されたデータに基づいて生成された複数の第２フレーム７１３を圧縮した第２圧縮データと、第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を含む動画ファイル８００を生成する生成部（第２生成部１２３２）と、生成部によって生成された動画ファイル８００を記憶デバイス１２０２に格納する格納部１２３５と、を有する。

これにより、撮像タイミングが異なる第１フレーム７１１および第２フレーム７１３の各圧縮動画データを共通の圧縮方法で圧縮することにより、１つの動画ファイル８００にまとめることができる。

（２－２）また、上記（２－１）の生成装置では、第１フレーム７１１は、第１撮像領域から出力されたデータと、第２撮像領域から出力されたデータと、に基づいて生成されたフレームとしてもよい。

これにより、第１フレームレートの撮像タイミングで撮像された第１フレーム７１１の圧縮データと、第２フレームレートの撮像タイミングで撮像された第２フレーム７１３の圧縮データとを、共通の圧縮方法で圧縮することにより、１つの動画ファイル８００にまとめることができる。

（２－３）また、上記（２－１）の生成装置では、第２フレーム７１３は、第２撮像領域から出力されたデータと、撮像素子１００からの出力に基づかないデータと、に基づいて生成されたフレームとしてもよい。

これにより、第２フレームレートの撮像タイミングで出力されていない画像領域（欠損領域７１２ｘ）が存在しても、第２撮像領域から出力されたデータを第２フレーム７１３として扱うことで、第１フレーム７１１と共通の圧縮方法で圧縮することができる。

（２－４）また、上記（２－３）の生成装置では、撮像素子１００からの出力に基づかないデータは、所定のデータとしてもよい。これにより、撮像素子１００からの出力とは無関係なデータにより、第２フレーム７１３を構成することができ、第１フレーム７１１と共通の圧縮方法で圧縮することができる。

（２－５）また、上記（２－４）の生成装置では、第２フレーム７１３は、第２撮像領域から出力されたデータに対して、第１撮像領域からデータが出力されなかった欠損領域７１２ｘを補完することにより生成されたフレームとしてもよい。これにより、第２フレーム７１３は、第２フレームレートの撮像タイミングで出力されていない欠損領域７１２ｘが補完されて補完領域７１２ｙに設定されているため、第１フレーム７１１と共通の圧縮方法で圧縮することができる。

（２－６）また、上記（２－１）の生成装置では、生成部は、第１圧縮データおよび第２圧縮データをデータ部８０２に設定し、第１位置情報および第２位置情報をヘッダ部８０１に設定することにより、データ部８０２およびヘッダ部８０１を含む動画ファイル８００を生成する。これにより、データ部８０２の圧縮データをヘッダ部８０１を参照して読みだすことができる。

（２－７）また、上記（２－５）の生成装置では、生成部は、ヘッダ部８０１に、第１フレームレートを示す第１フレームレート情報（９１１の「３０［ｆｐｓ］」）を、第１位置情報（９１２のＰａ）に関連付けて設定し、第２フレームレートを示す第２フレームレート情報（９１１の「６０［ｆｐｓ］」）を、第１位置情報（９１２のＰａ）および前記第２位置情報（９１２のＰｂ）に関連付けて設定することにより、ヘッダ部８０１およびデータ部８０２を含む動画ファイル８００を生成する。

これにより、第１フレームレート情報に関連付けられた第１位置情報で特定される第１動画データ７２１の圧縮データを読み出したり、第１フレームレート情報に関連付けられた第１位置情報で特定される第１動画データ７２１を圧縮した第１圧縮動画データと、第２フレームレート情報に関連付けられた第２位置情報で特定される第２動画データ７２２を圧縮した第２圧縮動画データと、を読み出すことができる。

これにより、第１フレームレートが選択された場合に、動画ファイル８００から確実に第１動画データ７２１を圧縮した第１圧縮動画データを呼び出すことができる。また、第２フレームレートが選択された場合に、動画ファイル８００から確実に第２動画データ７２２を圧縮した第２圧縮動画データを呼び出すことができる。さらに、第１フレームレートが選択された場合に、動画ファイル８００からの第１圧縮動画データの呼び出し漏れを抑制することができる。

（２－８）また、上記（２－７）の生成装置では、第２生成部１２３２は、ヘッダ部８０１に、第２フレーム７１３が挿入される第１フレーム７１１内の挿入先を示す情報（挿入位置情報９２０）を設定することにより、ヘッダ部８０１およびデータ部８０２を含む動画ファイル８００を生成する。

これにより、第１動画データ７２１および第２動画データ７２２の合成の高精度化を図ることができ、被写体動画の再現性が高まり、よりリアルな映像として再生することができる。

（２－９）また、上記（２－３）の生成装置では、生成部は、第１動画データ７２１および第２動画データ７２２ごとに動画ファイル８００を生成して、両動画ファイル８００を関連付けてもよい。これにより、第１動画データ７２１の動画ファイル８００単体で流通させることができる。また、第２フレームレートで再生したい場合は、別途第２動画データ７２２の動画ファイル８００を取得すればよい。

このように、第１動画データ７２１と第２動画データ７２２とを別々の動画ファイル８００とすることで、条件に応じた動画ファイル８００の流通（たとえば、ダウンロード）を図ることができる。たとえば、動画配信サービスに無課金のユーザの端末は、第１動画データ７２１の動画ファイル８００のみダウンロード可能であり、課金したユーザの端末は、両動画ファイル８００がダウンロード可能となる。

（３－１）また、再生装置は、第１フレームレートが設定された第１撮像領域から出力されたデータに基づいて生成された複数の第１フレーム７１１を圧縮した第１圧縮データと、第１フレームレートよりも速い第２フレームレートが設定された第２撮像領域から出力されたデータに基づいて生成された複数の第２フレーム７１３を圧縮した第２圧縮データと、を含む動画ファイルを読み込んで、第１圧縮データおよび第２圧縮データのうちの少なくとも第１圧縮データを伸張する伸張部１２３４と、伸張部１２３４によって伸張された複数のフレームを再生する再生部７０４と、を有する。

したがって、再生の対象として、第１動画データ７２１や、第１動画データ７２１およびの両方といった選択が可能となる。たとえば、第１フレーム７１１の撮像タイミングである３０［ｆｐｓ］で再生したい場合は、複数の第１フレーム７１１のみ再生すればよい。

これにより、複数の第２フレーム７１３の無駄な再生処理が不要となり、省電力化を図ることができる。また、たとえば、画像データ７１２の撮像タイミングである６０［ｆｐｓ］で再生したい場合には、第１動画データ７２１および第２動画データ７２２の両方を再生すればよい。これにより、必要に応じて被写体動画の再現性が高まり、よりリアルな映像として再生することができる。

（３－２）また、上記（３－１）の再生装置では、第１フレーム７１１は、第１撮像領域から出力されたデータと、第２撮像領域から出力されたデータと、に基づいて生成されたフレームとしてもよい。

これにより、第１フレームレートの撮像タイミングで撮像された第１フレーム７１１の圧縮データと、第２フレームレートの撮像タイミングで撮像された第２フレーム７１３の圧縮データとが、共通の圧縮方法で圧縮されて動画ファイル８００が生成されているため、動画ファイル８００を伸張することで、第１動画データ７２１や、第１動画データ７２１および第２動画データ７２２の両方といった再生対象の選択が可能となる。

（３－３）また、上記（３－１）の再生装置では、第２フレーム７１３は、第２撮像領域から出力されたデータと、撮像素子１００からの出力に基づかないデータと、に基づいて生成されたフレームとしてもよい。

これにより、第２フレームレートの撮像タイミングで出力されていない画像領域（欠損領域７１２ｘ）が存在しても、第２撮像領域から出力されたデータを第２フレーム７１３として扱うことで、第１フレーム７１１と共通の圧縮方法で圧縮されて動画ファイル８００が生成されているため、動画ファイル８００を伸張することで、第１フレームレートおよび第２フレームレートのいずれのフレームレートでも動画再生が可能となる。

（３－４）また、上記（３－３）の再生装置では、撮像素子１００からの出力に基づかないデータは、所定のデータとしてもよい。これにより、撮像素子１００からの出力とは無関係なデータを用いて構成された第２フレーム７１３と第１フレーム７１１とが共通の圧縮方法で圧縮されて動画ファイル８００が生成されているため、動画ファイル８００を伸張することで、第２フレームレートで再生する場合、第１動画データ７２１および第２動画データ７２２の両方を組み合わせて再生することができる。

（３－５）また、上記（３－４）の再生装置では、第２フレーム７１３は、第２撮像領域から出力されたデータに対して、第１撮像領域からデータが出力されなかった欠損領域７１２ｘを補完することにより生成されたフレームとしてもよい。これにより、第２フレームレートで再生する場合、第１動画データ７２１および第２動画データ７２２の両方を組み合わせて再生することができる。

（３－６）また、上記（３－１）の再生装置では、再生するフレームレートを選択する選択部１２３３を備え、伸張部１２３４は、選択部１２３３によって選択されたフレームレートに基づいて、第１圧縮データおよび第２圧縮データを伸張する。これにより、第１動画データ７２１および第２動画データ７２２の両方といった再生対象を、再生したいフレームレートを選択することにより再生することができる。

（３－７）また、上記（３－６）の再生装置では、伸張部１２３４は、選択部１２３３によって第１フレームレートが選択された場合、第１圧縮データを伸張し、選択部１２３３によって第２フレームレートが選択された場合、第１圧縮データおよび第２圧縮データを伸張する。これにより、選択するフレームレートに応じて再生対象を変えることができる。

このように、伸張の対象として、第１圧縮動画データや、第１圧縮動画データおよび第２圧縮動画データの両方といった選択が可能となる。たとえば、第１フレーム７１１の撮像タイミングである３０［ｆｐｓ］で再生したい場合は、第１圧縮動画データのみ伸張して第１動画データ７２１を再生すればよい。

これにより、第２圧縮動画データの無駄な伸張処理が不要となり、省電力化を図ることができる。また、たとえば、画像データ７１２の撮像タイミングである６０［ｆｐｓ］で再生したい場合には、第１圧縮動画データおよび第２圧縮動画データの両方を伸張して、第１動画データ７２１および第２動画データ７２２を再生すればよい。これにより、必要に応じて被写体動画の再現性が高まり、よりリアルな映像として再生することができる。

実施例２について説明する。実施例１では、図１０に示したフレームＦ２，Ｆ４，…において、補完画像部分Ｄａ１，Ｄａ３，…が存在するため、当該範囲は、特定色に塗りつぶしたり、デモザイク処理を実行したりした。実施例２では、合成部７０３は、そのような画像処理を実行することなく、より違和感がより少ないフレームＦ２，Ｆ４，…を生成する。なお、実施例２では、実施例１と共通部分については、同一符号を用い、その説明を省略する。

＜フレームの合成例＞
ここで、実施例２におけるフレームＦの合成例について説明する。図１０では、電子機器５００は、田んぼ、山、および空を含む風景の定点撮影中に、特定被写体として、走行する電車を撮影する合成例について説明した。以下、当該合成例の処理の流れを具体的に説明する。

図２７は、図１０に示した合成例の具体的な処理の流れを示す説明図である。図１０でも説明したように、撮像素子１００は、時系列順にフレームＦ１，Ｆ２－６０，Ｆ３，…を出力する。電車は、フレームＦ１，Ｆ２－６０，Ｆ３内において、右から左に向かって走行するものとする。

図２７において、フレームＦ１～Ｆ３の枝番は、当該フレームＦ１～Ｆ３のフレームレートを示す。たとえば、奇数番号のフレームＦ１－３０は、フレームＦ１のうち３０［ｆｐｓ］のフレームレートの撮像で出力された第１画像領域ｒ１－３０の画像データを示し、フレームＦ１－６０は、フレームＦ１のうち６０［ｆｐｓ］のフレームレートの撮像で出力された第２画像領域ｒ１－６０の画像データを示す。

フレームＦ１－６０の６０［ｆｐｓ］のフレームレートの撮像で出力された第２画像領域ｒ１－６０は電車の画像データを有するが、フレームＦ１－３０では、第２画像領域ｒ１－６０はない。フレームＦ１－３０におけるこのような領域を非画像領域ｎ１－６０と称す。フレームＦ１－６０も同様に、フレームＦ１－３０の３０［ｆｐｓ］のフレームレートの撮像で出力された第１画像領域ｒ１－３０は風景の画像データを有するが、フレームＦ１－６０では、第２画像領域ｒ１－６０にない。フレームＦ１－６０におけるこのような領域を非画像領域ｎ１－３０と称す。

フレームＦ３においても同様に、フレームＦ３－３０は、風景の画像データが出力されている第１画像領域ｒ３－３０と、何も出力されない非画像領域ｎ３－６０と、で構成され、フレームＦ３－６０は、電車の画像データが出力されている第２画像領域ｒ３－６０と、何も出力されない非画像領域ｎ３－６０と、で構成される。フレームＦ３－３０，Ｆ３－６０以降の不図示の奇数番号フレームについても同様である。

また、偶数番号のフレームＦ２－６０は、６０［ｆｐｓ］のフレームレートの撮像で出力された第２画像領域ｒ２－６０の画像データ（電車）と、特定色（たとえば、黒）で塗りつぶされた補完領域７１２ｙと、で構成される第２フレーム７１３である。以降の不図示の偶数番号フレームについても同様である。

合成部７０３は、フレームＦ２－６０の第２画像領域ｒ２－６０の画像データ（電車）と、フレームＦ１－３０の第１画像領域ｒ１－３０の画像データ（風景）とを合成することにより、合成画像データであるフレームＦ２を生成する。この場合、図１０でも説明したように、フレームＦ２は、フレームＦ１－３０の非画像領域ｎ１－６０と、非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとの重複する補完画像部分Ｄａ１を有する。

実施例１では、合成部７０３が、補完画像部分Ｄａ１を特定色に塗りつぶしたり、デモザイク処理を実行したりしたが、実施例２では、合成部７０３は、そのような画像処理を行うことなく、他の画像領域における補完画像部分Ｄａ１の画像データを複製する。これにより、合成部７０３は、より違和感がより少ないフレームＦ２を生成する。補完画像部分Ｄａ３についても同様であるが、実施例２では、補完画像部分Ｄａ１に着目して説明する。

＜フレームＦ２の合成例＞
つぎに、合成部７０３によるフレームＦ２の合成例について説明する。

［合成例１］
図２８は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例１を示す説明図である。合成例１は、補完画像部分Ｄａ１への複製対象となる他の画像領域として、フレームＦ２－６０よりも時間的に１つ後のフレームＦ３の第１画像領域ｒ３－３０において補完画像部分Ｄａ１と同一位置の補完画像部分Ｄｂ１を用いる例である。補完画像部分Ｄｂ１の画像データは、風景の一部である。

図２８において、合成部７０３は、フレームＦ１－３０の非画像領域ｎ１－６０と、非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙと、が重複する補完画像部分Ｄａ１を特定し、特定した補完画像部分Ｄａ１と同一位置の補完画像部分Ｄｂ１をフレームＦ３から特定する。そして、合成部７０３は、フレームＦ２における補完画像部分Ｄａ１に補完画像部分Ｄｂ１の画像データを複製する。これにより、合成部７０３は、違和感がより少ないフレームＦ２を生成することができる。

［合成例２］
図２９は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例２を示す説明図である。合成例１では、フレームＦ１－３０の第１画像領域ｒ１－３０の画像データをフレームＦ２の第１画像領域への複製元とし、フレームＦ３の補完画像部分Ｄｂ１の画像データを補完画像部分Ｄａ１への複製元としたが、合成例２では逆に、フレームＦ３－３０の第１画像領域ｒ３－３０の画像データをフレームＦ２の第１画像領域への複製元とし、フレームＦ１の補完画像部分Ｄｂ２の画像データを補完画像部分Ｄａ２への複製元とする。

ここで、補完画像部分Ｄａ２は、フレームＦ３－３０の非画像領域ｎ３－６０と、非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する範囲である。フレームＦ１の補完画像部分Ｄｂ２は、補完画像部分Ｄａ２と同一位置の範囲である。

図２９において、合成部７０３は、フレームＦ３－３０の非画像領域ｎ３－６０と、非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙと、が重複する補完画像部分Ｄａ２を特定し、特定した補完画像部分Ｄａ２と同一位置の補完画像部分Ｄｂ２をフレームＦ１から特定する。そして、合成部７０３は、フレームＦ２における補完画像部分Ｄａ２に補完画像部分Ｄｂ２の画像データを複製する。これにより、合成部７０３は、違和感がより少ないフレームＦ２を生成することができる。

［合成例３］
合成例３は、合成例１および合成例２のうちいずれか一方を選択して合成する例である。合成例３では、合成部７０３は、合成例１における補完画像部分Ｄａ１と合成例２における補完画像部分Ｄａ２とを特定する。合成部７０３は、補完画像部分Ｄａ１，Ｄａ２のうちいずれか一方を選択し、選択した範囲を特定した合成例を適用する。合成部７０３は、補完画像部分Ｄａ１が選択された場合は合成例１、補完画像部分Ｄａ２が選択された場合は合成例２を適用する。

合成部７０３は、補完画像部分Ｄａ１，Ｄａ２のうちいずれか一方を選択する選択基準として、たとえば、範囲の狭さを選択基準とする。図２８および図２９の例では、補完画像部分Ｄａ１が補完画像部分Ｄａ２よりも狭いため、合成例１が適用される。狭い方の範囲を選択することにより、複製による違和感を最小限度に留めることができる。

［合成例４］
図３０は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例４を示す説明図である。合成例４は、合成例１における補完画像部分Ｄａ１の複製元を、フレームＦ３の第１画像領域ｒ３－３０内における補完画像部分Ｄｂ１の画像データ（風景の一部）ではなく、フレームＦ１の第２画像領域ｒ１－６０における補完画像部分Ｄｂ３の画像データ（電車の末尾）とする。

これにより、フレームＦ２において第２画像領域ｒ２－６０の画像データ（電車）は、補完画像部分Ｄｂ３の画像データが追加されたことになるが、第２画像領域ｒ２－６０の画像データ（電車）の進行方向反対側に追加されるため、ユーザが映像を見た場合に、当該第２画像領域ｒ２－６０の画像データ（電車）を、走行する電車の残像と錯覚する。したがって、この場合も違和感がより少ないフレームＦ２，Ｆ４，…を生成することができる。

＜フレームＦ２の合成処理手順例＞
以下、上述した合成例１～合成例４によるフレームＦ２の合成処理手順例について説明する。以下のフローチャートでは、第２フレーム７１３は、合成対象となる第２フレームレート（たとえば、６０［［ｆｐｓ］）のみの撮像で出力され、かつ、欠損領域７１２ｘが特定色（黒）で塗りつぶされたフレームである。たとえば、図２７～図３０のフレームＦ２－６０が第２フレーム７１３である。

また、第１フレーム７１１は、第２フレーム７１３よりも時間的に１つ前で、かつ、第１フレームレート（たとえば、３０［［ｆｐｓ］）および第２フレームレートのうち少なくとも第１フレームレートの撮像で出力された画像領域を含むフレームである。たとえば、図２７～図３０のフレームＦ１が第１フレーム７１１である。

また、第３フレーム７３０は、第２フレーム７１３と第１フレーム７１１または第３フレーム７３０とにより合成されたフレームである。たとえば、図２７～図３０のフレームＦ２が第３フレーム７３０である。

また、第４フレームは、第２フレーム７１３よりも時間的に１つ後で、かつ、第１フレームレートおよび第２フレームレートのうち少なくとも第１フレームレートの撮像で出力された画像領域を含むフレームである。たとえば、図２７～図３０のフレームＦ３が第４フレームである。

［合成例１］
図３１は、合成部７０３によるフレームＦ２の合成例１による合成処理手順例１を示すフローチャートである。なお、図２６と同一ステップには同一ステップ番号を付し、その説明を省略する。

ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、特定部１２４０は、第１フレーム７１１の非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる範囲を特定する（ステップＳ３１０１）。具体的には、たとえば、特定部１２４０は、図２８に示したように、フレームＦ１－３０の非画像領域ｎ１－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ１を特定する。

つぎに、合成部７０３は、第１フレーム７１１の第１画像領域ａ１の画像データを複製する（ステップＳ３１０２）。具体的には、たとえば、合成部７０３は、図２８に示したように、フレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）を複製する。

そして、合成部７０３は、ステップＳ３１０１で特定した範囲の画像データを第４フレームから複製する（ステップＳ３１０３）。具体的には、たとえば、合成部７０３は、図２８に示したように、ステップＳ３１０１で特定した補完画像部分Ｄａ１と同補完画像部分Ｄｂ１の画像データをフレームＦ３から複製する。

つぎに、合成部７０３は、合成により第３フレーム７３０を生成する（ステップＳ３１０４）。具体的には、たとえば、合成部７０３は、図２８に示したように、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ１－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ１の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。

このあと、ステップＳ２６０２に戻る。残存フレームがバッファにない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。これにより、合成部７０３は、図２８に示したように、違和感がより少ないフレームＦ２を生成することができる。

［合成例２］
図３２は、合成部７０３によるフレームＦ２の合成例２による合成処理手順例２を示すフローチャートである。なお、図２６と同一ステップには同一ステップ番号を付し、その説明を省略する。

ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、特定部１２４０は、第４フレームの非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる範囲を特定する（ステップＳ３２０１）。具体的には、たとえば、特定部１２４０は、図２９に示したように、フレームＦ３－３０の非画像領域ｎ３－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ２を特定する。

つぎに、合成部７０３は、第４フレームの第１画像領域ａ１の画像データを複製する（ステップＳ３２０２）。具体的には、たとえば、合成部７０３は、図２９に示したように、フレームＦ３の第１画像領域ｒ３－３０の画像データ（風景）を複製する。

そして、合成部７０３は、ステップＳ３２０１で特定した範囲の画像データを第１フレーム７１１から複製する（ステップＳ３２０３）。具体的には、たとえば、合成部７０３は、図２９に示したように、ステップＳ３２０１で特定した補完画像部分Ｄａ２と同補完画像部分Ｄｂ２の画像データをフレームＦ１から複製する。

つぎに、合成部７０３は、合成により第３フレーム７３０を生成する（ステップＳ３２０４）。具体的には、たとえば、合成部７０３は、図２９に示したように、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ３－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ２の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。

このあと、ステップＳ２６０２に戻る。残存フレームがバッファにない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。これにより、合成部７０３は、図２９に示したように、違和感がより少ないフレームＦ２を生成することができる。

［合成例３］
図３３は、合成部７０３によるフレームＦ２の合成例３による合成処理手順例３を示すフローチャートである。なお、図２６と同一ステップには同一ステップ番号を付し、その説明を省略する。

ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、特定部１２４０は、第１フレーム７１１の非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる第１範囲を特定する（ステップＳ３３０１）。具体的には、たとえば、特定部１２４０は、図２８に示したように、フレームＦ１－３０の非画像領域ｎ１－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ１を特定する。

特定部１２４０は、第４フレームの非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる第２範囲を特定する（ステップＳ３３０２）。具体的には、たとえば、特定部１２４０は、図２９に示したように、フレームＦ３－３０の非画像領域ｎ３－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ２を特定する。

つぎに、合成部７０３は、特定した第１範囲および第２範囲のいずれか一方の範囲を選択する（ステップＳ３３０３）。具体的には、たとえば、合成部７０３は、第１範囲および第２範囲のうち狭い方（面積が小さい方）の範囲を選択する。選択された範囲を選択範囲と称す。補完画像部分Ｄａ１、Ｄａ２の場合、合成部７０３は、補完画像部分Ｄａ１を選択する。これにより、合成に用いる範囲を最小限に抑制することができ、違和感をより一層抑制することができる。

そして、合成部７０３は、選択フレームの第１画像領域ａ１の画像データを複製する（ステップＳ３３０４）。選択フレームとは、選択範囲の特定元となるフレームであり、たとえば、第１範囲（補完画像部分Ｄａ１）が選択された場合は、選択フレームは、第１フレーム７１１（フレームＦ１）であり、第２範囲（補完画像部分Ｄａ２）が選択された場合は、選択フレームは、第４フレーム（フレームＦ３）である。

したがって、選択フレームの第１画像領域ａ１の画像データとは、選択フレームがフレームＦ１であれば、フレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）であり、選択フレームがフレームＦ３であれば、フレームＦ３の第１画像領域ｒ３－３０の画像データ（風景）である。

そして、合成部７０３は、ステップＳ３３０３の選択範囲の画像データを非選択フレームから複製する（ステップＳ３３０５）。非選択フレームとは、選択されなかった範囲の特定元となるフレームであり、たとえば、第１範囲（補完画像部分Ｄａ１）が選択されなかった場合は、非選択フレームは、第１フレーム７１１（フレームＦ１）であり、第２範囲（補完画像部分Ｄａ２）が選択されなかった場合は、非選択フレームは、第４フレーム（フレームＦ３）である。したがって、合成部７０３は、選択範囲が補完画像部分Ｄａ１であれば、補完画像部分Ｄａ１と同位置の補完画像部分Ｄｂ１の画像データをフレームＦ３から複製し、選択範囲が補完画像部分Ｄａ２であれば、補完画像部分Ｄａ２と同位置の補完画像部分Ｄｂ２の画像データをフレームＦ１から複製する。

つぎに、合成部７０３は、合成により第３フレーム７３０を生成する（ステップＳ３３０６）。具体的には、たとえば、選択範囲が第１範囲（補完画像部分Ｄａ１）である場合、合成部７０３は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ１－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ１の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。

また、選択範囲が第２範囲（補完画像部分Ｄａ２）である場合、合成部７０３は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ３－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ２の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。

このあと、ステップＳ２６０２に戻る。残存フレームがバッファにない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。これにより、合成部７０３は、狭い方の範囲を選択することにより、複製による違和感を最小限度に留めることができる。

［合成例４］
図３４は、合成部７０３によるフレームＦ２の合成例４による合成処理手順例４を示すフローチャートである。なお、図２６と同一ステップには同一ステップ番号を付し、その説明を省略する。

ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、特定部１２４０は、第１フレーム７１１の非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる範囲を特定する（ステップＳ３４０１）。具体的には、たとえば、合成部７０３は、図３０に示したように、フレームＦ１－３０の非画像領域ｎ１－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ１を特定する。

つぎに、合成部７０３は、第１フレーム７１１の第１画像領域ａ１の画像データを複製する（ステップＳ３４０２）。具体的には、たとえば、合成部７０３は、フレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）を複製する。

そして、合成部７０３は、ステップＳ３４０１で特定した範囲の画像データを第１フレーム７１１から複製する（ステップＳ３４０３）。具体的には、たとえば、合成部７０３は、ステップＳ３４０１で特定した補完画像部分Ｄａ１と同補完画像部分Ｄｂ３の画像データをフレームＦ１から複製する。

つぎに、合成部７０３は、合成により第３フレーム７３０を生成する（ステップＳ３４０４）。具体的には、たとえば、合成部７０３は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ１－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ３の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。

このあと、ステップＳ２６０２に戻る。残存フレームがバッファにない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。これにより、合成部７０３は、図３０に示したように、違和感がより少ないフレームＦ２を生成することができる。

（３－８）このように、実施例１に示した上記（３－６）の再生装置は、合成部７０３を有する。合成部７０３は、第２フレームレートが選択された場合、記憶デバイス１２０２から第１動画データ７２１および第２動画データ７２２を取得して、第１フレーム７１１と、第１フレーム７１１よりも時間的に後に得られた第２フレーム７１３と、を合成して、第２フレーム７１３を、第１フレーム７１１における第１画像領域ａ１の画像データと第２フレーム７１３における第２画像領域ａ２の画像データとを合成した第３フレーム７３０を生成する。

これにより、フレームレートの相違による第２フレーム７１３での画像データの欠落を抑制することができる。したがって、１枚のフレームにフレームレートの相違がある場合でも、第３フレーム７３０により被写体動画の再現性が高まり、よりリアルな映像として再生することができる。

（３－９）また、上記（３－８）の再生装置では、合成部７０３は、第２フレーム７１３における第２画像領域ａ２の画像データにおいて、第１フレーム７１１における第１画像領域ａ１の画像データと重複する領域については、第２フレーム７１３における第２画像領域ａ２の画像データを適用することにより、第３フレーム７３０を生成する。

これにより、たとえば、第２フレーム７１３であるフレームＦ２－６０の電車の先頭部分と第１フレーム７１１であるフレームＦ１の背景領域とが重複する領域では、合成部７０３は、第２フレーム７１３であるフレームＦ２の電車の先頭部分を優先適用する。したがって、違和感がより少ない画像（第３フレーム７３０であるフレームＦ２）を得ることができ、被写体動画の再現性が高まり、よりリアルな映像として再生することができる。

（３－１０）また、上記（３－８）の再生装置では、合成部７０３は、第２フレーム７１３における第２画像領域ａ２および第１フレーム７１１における第１画像領域ａ１のいずれにも属さない領域については、第１フレーム７１１における第２画像領域ａ２の画像データを適用することにより、第３フレーム７３０を生成する。

これにより、たとえば、第２フレーム７１３であるフレームＦ２－６０の第２フレームの電車の末尾部分と第１フレーム７１１であるフレームＦ１の背景領域との間の画像領域については、第１フレーム７１１であるフレームＦ１における第２画像領域ａ２の画像データ（電車の末尾）を優先適用する。したがって、違和感がより少ない画像（第３フレーム７３０であるフレームＦ２）を得ることができ、被写体動画の再現性が高まり、よりリアルな映像として再生することができる。

（３－１１）また、上記（３－５）の再生装置では、特定部１２４０は、第１フレーム７１１と、第２フレーム７１３と、に基づいて、第１フレーム７１１における第２撮像領域に対応する非画像領域ｎ１－６０で、かつ、第２フレーム７１３における補完領域７１２ｙである補完画像部分Ｄａ１を特定する。

合成部７０３は、第２フレーム７１３における第２画像領域ａ２の画像データと、第１フレーム７１１における第１撮像領域に対応する第１画像領域ａ１（ｒ１－３０）の画像データと、第１フレーム７１１における第１画像領域ａ１（ｒ１－３０）の画像データおよび第２フレーム７１３における第２画像領域ａ２の画像データ以外の他の画像領域において特定部１２４０によって特定された補完画像部分Ｄａ１の特定の画像データと、を合成する。

これにより、画像データ７１２の撮像で出力されかなった非画像領域ｎ２－３０を、画像データ７１２と時間的に近いフレームにより補うことができる。したがって、画像データ７１２よりも違和感が少ない合成フレームを得ることができる。

（３－１２）また、上記（３－１１）の再生装置では、第１フレーム７１１は、第２フレーム７１３よりも時間的に前に生成されたフレーム（たとえば、フレームＦ１）であり、特定の画像データは、第２フレーム７１３よりも時間的に後に第１撮像領域および第２撮像領域からの出力により生成されたフレーム（たとえば、フレームＦ３）の第１画像領域ａ１（ｒ３－３０）における範囲（Ｄａ１）の画像データ（すなわち、補完画像部分Ｄｂ１の画像データ）としてもよい。

これにより、第２フレーム７１３の撮像で出力されかなった非画像領域ｎ２－３０を、第２フレーム７１３の時間的に１つ前の第１フレーム７１１と１つ後の第４フレームとにより補うことができる。したがって、違和感が少ない合成フレーム（第３フレーム７３０）を得ることができる。

また、上記（３－１１）の再生装置では、第１フレーム７１１は、第２フレーム７１３よりも時間的に後に生成されたフレーム（たとえば、フレームＦ３）であり、特定の画像データは、第２フレーム７１３よりも時間的に前に第１撮像領域および第２撮像領域からの出力により生成されたフレーム（たとえば、フレームＦ１）の第１画像領域ａ１（ｒ１－３０）における範囲（Ｄａ２）の画像データ（すなわち、補完画像部分Ｄｂ２の画像データ）としてもよい。

これにより、第２フレーム７１３の補完領域７１２ｙである非画像領域ｎ２－３０を、第２フレーム７１３の時間的に１つ前の第１フレーム７１１と１つ後の第４フレームとにより補うことができる。したがって、違和感が少ない合成フレーム（第３フレーム７３０）を得ることができる。

また、上記（３－５）の再生装置では、特定部１２４０は、第１範囲（Ｄａ１）と第２範囲（Ｄａ２）とに基づいて、合成部７０３で用いる範囲を特定する。また、合成部７０３は、第２フレーム７１３と、第１フレーム７１１および第４フレームのうち特定部１２４０によって特定された一方の範囲（Ｄａ１／Ｄａ２）の特定元となる一方のフレーム（Ｆ１／Ｆ３）における第１画像領域ａ１（ｒ１－３０／ｒ３－３０）の画像データと、第１フレーム７１１および第４フレームのうち特定部１２４０によって特定されなかった他方の範囲（Ｄａ２／Ｄａ１）の特定元となる他方のフレーム（Ｆ３／Ｆ１）の第１画像領域ａ１（ｒ３－３０／ｒ１－３０）における一方の範囲（Ｄａ１／Ｄａ２）の画像データ（Ｄｂ１／Ｄｂ２）と、を合成する。

これにより、合成部７０３は、狭い方の範囲を選択することにより、複製による違和感を最小限度に留めることができる。

また、上記（３－５）の再生装置では、第１フレーム７１１は、第２フレーム７１３よりも時間的に前に生成されたフレームであり、特定の画像データは、第１フレーム７１１の第２画像領域ａ２における範囲（Ｄａ１）の画像データ（すなわち、補完画像部分Ｄｂ３の画像データ）としてもよい。

これにより、第２フレーム７１３の補完領域７１２ｙである非画像領域ｎ２－３０を、第２フレーム７１３の時間的に１つ前の第１フレーム７１１により補うことができる。したがって、違和感が少ない合成フレーム（第３フレーム７３０）を得ることができる。

実施例３について説明する。実施例１では、図１０に示したフレームＦ２，Ｆ４，…において、補完画像部分Ｄａ１，Ｄａ３，…が存在するため、合成部７０３が、特定色に塗りつぶしたり、デモザイク処理を実行したりした。実施例３では、実施例２と同様、合成部７０３は、そのような画像処理を実行することなく、より違和感がより少ないフレームＦ２，Ｆ４，…を生成する。

なお、実施例３では、実施例１および実施例２と共通部分については、同一符号を用い、その説明を省略する。ただし、図３５および図３６では、符号が不鮮明となるため、補完による黒塗りは施されていない。

図３５は、実施例３にかかる６０［［ｆｐｓ］のフレームＦ２の合成例を示す説明図である。フレームＦ２－６０の撮像前に、前処理部１２１０は、フレームＦ２－６０以前のフレームＦ１などから電車などの特定被写体を検出し、１つ前のフレームＦ１での特定被写体の動きベクトルを検出する。前処理部１２１０は、フレームＦ１の特定被写体の画像領域と動きベクトルとにより、次のフレームＦ２－６０で、６０［ｆｐｓ］の画像領域Ｒ１２－６０を得ることができる。

また、合成フレームであるフレームＦ２の合成では、実施例１と同様に、合成部７０３は、１つ前のフレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）を複製し、第１画像領域ｒ１－３０の画像データ（風景）と、画像領域Ｒ１２－６０の画像データ（電車と風景の一部）とを合成することにより、フレームＦ２を得ることができる。

図３６は、撮像領域の設定とフレームＦ２－６０の画像領域との対応関係を示す説明図である。（Ａ）は、動きベクトルの検出例を示し、（Ｂ）は、撮像領域の設定とフレームＦ２－６０の画像領域との対応関係を示す。

撮像領域ｐ１－６０は、フレームＦ１の時間的に１つ前のフレームＦ０－６０の生成後、フレームＦ１の生成前にすでに検出済みの特定被写体の撮像領域である。したがって、フレームＦ１では、特定被写体（電車）の画像データｏ１は、撮像領域ｐ１－６０に対応する第２画像領域ｒ１－６０に存在する。

前処理部１２１０は、検出部１２１１により、フレームＦ０の特定被写体の画像データｏ１とフレームＦ１の特定被写体の画像データｏ１とにより特定被写体の動きベクトルｍｖを検出する。そして、前処理部１２１０は、フレームＦ１の特定被写体の第２画像領域ｒ１－６０と動きベクトルｍｖとにより、次のフレームＦ２－６０で特定被写体が映し出される第２画像領域ｒ２－６０を検出し、検出した第２画像領域ｒ２－６０に対応する撮像素子１００の撮像面２００の検出撮像領域ｐ２－６０を検出する。

前処理部１２１０は、設定部１２１２により、フレームＦ１の生成の際に特定済みの撮像領域ｐ１－６０と、検出撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定し、当該設定指示を撮像素子１００に出力する。これにより、撮像素子１００は、特定の撮像領域Ｐ１２－６０を第２フレームレートに設定して撮像し、画像データ７１２を生成する。

第１生成部７０１は、設定部１２１２によって設定された第２フレームレートでの撮像により生成された画像データ７１２を補完して、第２フレーム７１３（Ｆ２－６０）を出力する。この場合、特定の撮像領域Ｐ１２－６０から出力された画像データが、画像領域Ｒ１２－６０の画像データとなる。

合成部７０３は、フレームＦ１に含まれる第１画像領域ｒ１－３０の画像データと、第２フレーム７１３（Ｆ２－６０）に含まれる特定の撮像領域Ｐ１２－６０からの画像データ（画像領域Ｒ１２－６０）と、を合成する。これにより、フレームＦ２－６０は、フレームＦ２（第３フレーム７３０）に更新される。

なお、フレームＦ２－６０の生成後、次のフレームＦ３の生成前において、前処理部１２１０は、検出撮像領域ｐ２－６０のフレームレートを第２フレームレートに設定し、撮像面２００のうち検出撮像領域ｐ２－６０以外の他の撮像領域のフレームレートを第１フレームレートに設定してもよい。

これにより、第１フレームレートの撮像領域を含む撮像で得られるフレームＦ３の生成においては、フレームＦ１と同様、第２フレームレートが設定される第２撮像領域は検出撮像領域ｐ２－６０のみとなる。このように、合成対象となるフレームＦ２－６０，Ｆ４－６０，…について特定の検出撮像領域が設定されるため、フレームＦ１，Ｆ３，…での無駄な処理が抑制される。

フレームＦ２－６０は、画像領域Ｒ１２－６０に、特定被写体（電車）の画像データｏ１と風景の一部の画像データｏ２を含む。このように、画像領域Ｒ１２－６０は、第２画像領域ｒ２－６０に比べて、特定被写体の移動方向の反対側において拡張される。したがって、実施例２のように補完画像部分Ｄａ１，Ｄａ２を特定して、他のフレームの補完画像部分Ｄｂ１、Ｄｂ２の画像データを複製して合成する必要がない。なお、実施例３の合成処理は、たとえば、図２５のステップＳ２５０７で実行される。また、この合成処理は、フレームＦ２－６０，Ｆ４－６０，…の合成の場合に適用され、第１フレームレートの画像領域を含むフレームＦ１，Ｆ３，…では実行されない。

このように、実施例３では、合成元の画像データが、第２フレーム７１３内の画像領域Ｒ１２－６０とフレームＦ１の第１画像領域ｒ１－３０の２つであるため、違和感がより少ないフレームＦ２を生成することができる。すなわち、画像データｏ１，ｏ２は同一タイミングの撮像で出力された画像データであるため、画像データｏ１，ｏ２の境界は不自然ではなく違和感がない。また、実施例２のように、補完画像部分Ｄａ１，Ｄａ２を特定したり、補完画像部分Ｄａ１，Ｄａ２から最適な範囲を選択したりするという処理が不要となるため、フレームＦ２の合成処理の負荷低減を図ることができる。

（４－１）このように、実施例３にかかる撮像装置は、撮像素子１００と、検出部１２１１と、設定部１２１２と、を有する。撮像素子１００は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能である。

検出部１２１１は、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の検出撮像領域ｐ２－６０を検出する。設定部１２１２は、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出部１２１１によって検出された撮像領域（以下、検出撮像領域）ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定する。

これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する補完画像部分Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートの撮像で出力されるフレームＦ２－６０の画像欠損を抑制することができる。

（４－２）また、上記（４－１）の撮像装置では、検出部１２１１は、フレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０と、フレームＦ１とフレームＦ１よりも時間的に前のフレームＦ０－６０との間における特定被写体の動きベクトルｍｖと、に基づいて、特定被写体の検出撮像領域ｐ２－６０を検出する。

これにより、特定被写体の検出撮像領域ｐ２－６０の予測を容易に実現することができる。

（４－３）また、上記（４－１）の撮像装置では、設定部１２１２は、フレームが第１撮像領域からの出力により生成された第１フレームＦ１である場合に、特定の撮像領域のフレームレートを第２フレームレートに設定し、フレームが第１フレームＦ１の後に特定の撮像領域からの出力により生成された第２フレームＦ２－６０である場合に、検出撮像領域ｐ２－６０のフレームレートを第２フレームレートに設定し、検出撮像領域ｐ２－６０以外の他の撮像領域（撮像面２００のうち検出撮像領域ｐ２－６０を除いた部分）のフレームレートを第１フレームレートに設定する。

これにより、合成対象となるフレームＦ２－６０，Ｆ４－６０，…についてのみ特定の検出撮像領域が設定されるため、フレームＦ１，Ｆ３，…での無駄な処理の抑制を図ることができる。

（４－４）また、実施例３にかかる画像処理装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００からの出力により生成されたフレームを画像処理する。

この画像処理装置は、検出部１２１１と、設定部１２１２と、第１生成部７０１と、合成部７０３と、を有する。検出部１２１１は、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の撮像領域ｐ２－６０を検出する。設定部１２１２は、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出部１２１１によって検出された検出撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定する。

第１生成部７０１は、設定部１２１２によって設定された第２フレームレートでの撮像により生成された画像データ７１２を補完して、第２フレーム７１３（Ｆ２－６０）を出力する。

合成部７０３は、第１フレームＦ１に含まれる第１画像領域ｒ１－３０の画像データと、第２フレーム７１３（Ｆ２－６０）に含まれる特定の撮像領域Ｐ１２－６０からの画像データ（画像領域Ｒ１２－６０）と、を合成する。

これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する補完画像部分Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートの撮像で出力されるフレームＦ２－６０の画像欠損を抑制することができる。また、合成の際、重複する補完画像部分Ｄａ１について補う必要がないため、より違和感の少ない画像を得ることができ、また、合成処理の負荷低減を図ることができる。

なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。

１００ 撮像素子、７０１ 補完部、７０２ 圧縮伸張部、７０３ 合成部、７０４ 再生部、８００ 動画ファイル、８０１ ヘッダ部、８０２ データ部、８３５ 付加情報、９１０ 撮像条件情報、９１１ フレームレート情報、９１２ 位置情報、９２０ 挿入位置情報、９２１ 挿入フレーム番号、９２２ 挿入先、１２０１ プロセッサ、１２０２ 記憶デバイス、１２１０ 前処理部、１２１１ 検出部、１２１２ 設定部、１２２０ 取得部、１２３１ 圧縮部、１２３２ 生成部、１２３３ 選択部、１２３４ 伸張部、１２４０ 特定部?

Claims (1)

1. 被写体を撮像する複数の撮像領域を有し、前記撮像領域ごとに撮像条件が設定可能な撮像素子から出力された複数のフレームを圧縮する動画圧縮装置であって、
   第１フレームレートが設定された第１撮像領域から出力されたデータと、第２フレームレートが設定された第２撮像領域から出力されたデータと、を取得する取得部と、
   前記取得部によって取得された前記第１撮像領域から出力されたデータに基づいて複数の第１フレームを生成し、前記第２撮像領域から出力されたデータに基づいて複数の第２フレームを生成する生成部と、
   前記生成部によって生成された前記複数の第１フレームを圧縮するとともに、前記複数の第２フレームを圧縮する圧縮部と、
   を有する動画圧縮装置。

Images