JP2012075082A - 動画再生システム及び撮影装置 - Google Patents

Abstract

【課題】互いに異なる複数の撮影条件で並列に撮影された複数の動画を、画質の劣化を抑制して所定のフレームレートで再生することのできる技術を提供する。
【解決手段】撮影装置は、撮影に用いる各撮影条件の１フレームの撮影時間の合計が所定のフレームレートの１フレーム期間よりも長い場合に、撮影に用いる撮影条件のうち、１つを基準条件として選択し、基準条件については所定のフレームレートで撮影し、他の撮影条件については所定のフレームレートよりも低いフレームレートで撮影する。再生装置は、撮影された動画から、再生する動画である再生動画をユーザに選択させ、再生動画の撮影条件が基準条件でない場合に、基準条件で撮影された動画のフレーム間の動きを検出し、検出された動きに基づいて、補間フレームを生成することにより、再生動画のフレームレートを所定のフレームレートに変換する。
【選択図】図１Ａ

Description

本発明は、動画再生システム及び撮影装置に関する。

露出やフォーカスなどの撮影条件を切り替えて複数回撮影する機能であって、得られた複数の画像からユーザが好みの画像を選択することを可能にするブラケット撮影機能が知られている。ブラケット撮影機能を利用して各撮影条件の静止画を得る場合には、総撮影時間（各撮影条件の撮影時間の合計）を考慮する必要は無い。一方、ブラケット撮影機能を利用して各撮影条件の動画を得る場合には、フレーム毎に複数の撮影条件で撮影を行うため、総撮影時間（各撮影条件の１フレームの撮影時間の合計）が１フレームの期間を超えないようにしなければならない。
ブラケット撮影機能に関する技術は、例えば、特許文献１に開示されている。具体的には、特許文献１には、動き補正によって２フレーム間の被写体の位置を合わせて合成する技術が開示さている。特許文献１に開示の技術によれば、被写体の位置が同じで明るさの異なる複数の静止画を得ることができる。

特開２００７−２０２０５０号公報

しかしながら、特許文献１に開示の技術は、明るさのみ対応しており、フォーカスやＩＳＯ感度などの明るさ以外の撮影条件には適応できない。
また、ブラケット撮影機能を利用して動画を得る際に、撮影条件の数が多いと、図２に示すように、総撮影時間（７ｍｓ×６＝４２ｍｓ）が１フレームの期間（１６ｍｓ）を超えてしまう。このとき、図８に示すように撮影条件の数を制限すれば、総撮影時間を１フレームの期間よりも短くすることができる。しかしながら、そのような構成では、ユーザが所望する他の撮影条件での撮影ができなくなってしまう。一方、撮影条件の数を制限せずに撮影を行うと、図９に示すように、各撮影条件の動画のフレームレートが低くなってしまう。このとき、フレーム間の動きに基づいて補間フレームを生成すれば、フレームレートを保つことができる。しかしながら、図１０に示すように、動きを検出するために用いるフレーム（補間処理に用いるフレーム）が時間的に大きく離れているため、動きの誤検出、及び、該誤検出による補間フレームの画質の劣化、ひいては動画の画質の劣化が生じる虞がある。

そこで、本発明は、互いに異なる複数の撮影条件で並列に撮影された複数の動画を、画質の劣化を抑制して所定のフレームレートで再生することのできる技術を提供することを目的とする。

本発明の動画再生システムは、１つの撮像素子を用いて、撮影条件が互いに異なる複数の動画を所定のフレームレートで並列に撮影することが可能な撮影装置と、前記撮影装置で撮影された動画を再生する再生装置と、を有する動画再生システムであって、前記撮影装置は、撮影に用いる各撮影条件の１フレームの撮影時間の合計が前記所定のフレームレートの１フレーム期間よりも長い場合に、撮影に用いる複数の撮影条件のうち、１つを基準条件として選択する基準条件選択手段と、前記複数の撮影条件のうち、前記基準条件に
ついては前記所定のフレームレートで撮影し、他の撮影条件については前記所定のフレームレートよりも低いフレームレートで撮影する撮影制御手段と、を有し、前記再生装置は、前記撮影装置で撮影された複数の動画から、再生する動画である再生動画をユーザに選択させる再生動画選択手段と、前記再生動画の撮影条件が、前記基準条件以外の撮影条件である場合に、前記基準条件で撮影された動画のフレーム間の動きを検出する検出手段と、前記再生動画の撮影条件が、前記基準条件以外の撮影条件である場合に、前記検出手段で検出された動きに基づいて、前記再生動画のフレーム間を補間する補間フレームを生成することにより、前記再生動画のフレームレートを前記所定のフレームレートに変換する変換手段と、を有する。

本発明の撮影装置は、１つの撮像素子を用いて、撮影条件が互いに異なる複数の動画を所定のフレームレートで並列に撮影することが可能な撮影装置であって、撮影に用いる各撮影条件の１フレームの撮影時間の合計が前記所定のフレームレートの１フレーム期間よりも長い場合に、撮影に用いる複数の撮影条件のうち、１つを基準条件として選択する基準条件選択手段と、前記複数の撮影条件のうち、前記基準条件については前記所定のフレームレートで撮影し、他の撮影条件については前記所定のフレームレートよりも低いフレームレートで撮影する撮影制御手段と、前記撮影制御手段で撮影された複数の動画を記憶する記憶手段と、を有する。

本発明によれば、互いに異なる複数の撮影条件で並列に撮影された複数の動画を、画質の劣化を抑制して所定のフレームレートで再生することができる。

実施例１に係る撮影装置と再生装置の機能構成の一例を示すブロック図 再生装置を兼ねる撮影装置の構成例を示すブロック図 各撮影条件の撮影時間及び１フレームの期間の一例を示す図 実施例１の撮影順序の一例を示す図 撮影装置による処理の流れを示すフロー図 実施例１の動画の再生方法の一例を示す図 各撮影条件の撮影時間と動きの検出精度を表すレベルの一例を示す図 再生指示部の処理の流れを示すフロー図 従来の撮影順序の一例を示す図 従来の撮影順序の一例を示す図 従来の動画の再生方法の一例を示す図 各撮影条件の撮影時間と動きの検出精度を表すレベルの一例を示す図 実施例２に係る撮影装置と再生装置の機能構成の一例を示すブロック図 再生装置を兼ねる撮影装置の構成例を示すブロック図 実施例２の撮影順序の一例を示す図 実施例２の動画の再生方法の一例を示す図

＜実施例１＞
以下、本発明の実施例１に係る動画再生システムについて説明する。本実施例に係る動画再生システムは、１つの撮像素子（撮像センサ）を用いて、撮影条件が互いに異なる複数の動画を所定のフレームレートで撮影することが可能な撮影装置と、該撮影装置で撮影された動画を再生する再生装置と、を有する。なお、本実施例では、撮影装置と再生装置とが異なる装置である場合を例示しているが、再生機能を有するビデオカメラのように、撮影装置が再生装置を兼ねる構成であってもよい。

本実施例に係る撮影装置は、ユーザが所望する複数の撮影条件で撮影を行うことにより、各撮影条件の動画を生成する。具体的には、撮影装置は、図３に示すように、撮影に用いる各撮影条件の１フレームの撮影時間の合計が所定のフレームレートの１フレームの期間よりも長い場合に、撮影に用いる複数の撮影条件のうち、１つを基準条件として選択する。そして、複数の撮影条件のうち、基準条件については所定のフレームレートで撮影し、他の撮影条件についてはフレームを間引いて（所定のフレームレートよりも低いフレームレートで）撮影する。想定している撮影条件としては、例えば、明るさ、フォーカス、ＩＳＯ感度、画角（ズーム、広角等）、画質（高画質、標準画質、低画質等）、解像度（高解像度、標準解像度、低解像度等）、撮影モード（人物撮影モード、スポーツ撮影モード、夜景撮影モード等）、ホワイトバランス（アンバー側の色温度、基準色温度、マゼンタ側の色温度）、フラッシュ（多光量、基準光量、小光量）等がある。また、基準条件としては、例えば、ＩＳＯ感度が最も低い撮影条件、最も広角な撮影条件、最も高画質な撮影条件、最も高解像度な撮影条件、基準色温度や基準光量の撮影条件等が考えられる。基準条件は、ユーザが任意に指定する構成であってもよいし、撮影装置が自動で決定する構成であってもよい。

本実施例に係る再生装置は、図５に示すように、上記撮影装置で撮影された複数の動画のうち、再生する動画（再生動画）の撮影条件が基準条件以外の撮影条件である場合に、基準条件で撮影された動画のフレーム間の動きを検出する。そして、再生装置は、該検出された動きに基づいて、再生動画のフレーム間を補間する補間フレームを生成することにより、再生動画のフレームレートを上記所定のフレームレートに変換する。それにより、ユーザが所望する撮影条件の動画を、所定のフレームレートで再生することができる。また、基準条件の動画は所定のフレームレートの動画であるため、該動画からは精度良く動きを検出することができる。そのため、動きの誤検出などによる補間フレームの画質の劣化が抑制された動画を得ることができる。

図１Ａは、本実施例に係る撮影装置と再生装置の機能構成の一例を示すブロック図である。また、図１Ｂは、再生装置を兼ねる撮影装置の構成例を示すブロック図である。
（撮影装置）
撮影装置による処理の流れについて図４のフロー図を用いて説明する。
撮影条件設定部１０１は、１つの撮像素子を用いて撮影条件が互いに異なる複数の動画を並列に撮影（ブラケット撮影）する場合に、撮影装置で設定可能な複数の撮影条件の中から、ユーザによって選択された撮影条件（撮影に用いる撮影条件）を設定する（Ｓ１）。本実施例では、図２，６に示す６つの撮影条件１〜６が設定されたものとする。なお、撮影条件の数は６つに限らない。撮影条件の数は６つより少なくてもよいし、多くてもよい。また、撮影に用いる撮影条件は、ユーザによって選択されるのではなく、メーカによって予め定められていてもよい。
撮影条件設定部１０１は、設定した撮影条件１〜６を表す設定撮影条件情報を総撮影時間算出部１０２と基準条件選択部１０５へ出力する。

総撮影時間算出部１０２は、設定撮影条件情報から、撮影に用いる各撮影条件の１フレームの撮影時間の合計を総撮影時間として算出する（Ｓ２）。そして、総撮影時間を表す総撮影時間情報を撮影時間判定部１０４へ出力する。本実施例では、図６に示すように、撮影条件１〜６の１フレームの撮影時間はそれぞれ７ｍｓであるため、総撮影時間は４２ｍｓとなる。

フレームレート設定部１０３は、動画撮影時のフレームレート（上記所定のフレームレート）を設定し、設定したフレームレート（設定フレームレート）を表すフレームレート情報を撮影時間判定部１０４と撮影順序管理部１０６へ出力する（Ｓ３）。本実施例では、設定フレームレートの１フレームの期間が１６ｍｓであるものとする（設定フレームレ
ート：６０ｆｐｓ）。なお、設定フレームレートはこれに限らない。設定フレームレートの１フレームの期間は１６ｍｓより長くてもよいし、短くてもよい。例えば、設定フレームレート３０ｆｐｓの場合の１フレーム期間は３３ｍｓ、設定フレームレート１２０ｆｐｓの場合の１フレーム期間は８ｍｓとなる。設定フレームレートは、ユーザ操作に応じて設定されてもよいし、メーカ等によりあらかじめ設定されていてもよい。設定フレームレートは、例えば、撮影装置で撮影可能な最大フレームレート（撮影装置のブラケット撮影の処理能力に依存して定められる最大フレームレート）である。本実施例では、単一動画撮影時には１２０ｆｐｓの高フレームレートで撮影することが可能な撮影装置において、２つ以上の動画をブラケット撮影する場合の設定フレームレートが６０ｆｐｓに予めデフォルト設定される。

撮影時間判定部１０４は、総撮影時間情報とフレームレート情報から、総撮影時間が設定フレームレートの１フレームの期間よりも長いか否かを判定する（Ｓ４）。本実施例では、総撮影時間は４２ｍｓであり、設定フレームレートの１フレームの期間は１６ｍｓであるため、総撮影時間は設定フレームレートの１フレームの期間よりも長いと判定される。判定結果は撮影時間判定情報として基準条件選択部１０５へ出力される。なお、本実施例では、撮影条件が６つ設定される場合を例示しているが、撮影条件が３つ以上設定された場合には、総撮影時間が２１ｍｓ以上となるので、設定フレームレートの１フレームの期間よりも長いと判定されることになる。また、撮影条件が２つだけ設定された場合には、総撮影時間が１４ｍｓとなるので、設定フレームレートの１フレームの期間よりも短いと判定されることになる。

基準条件選択部１０５は、撮影に用いる各撮影条件の１フレームの撮影時間の合計が所定のフレームレートの１フレームの期間よりも長い場合に（Ｓ４：ＹＥＳ）、撮影に用いる複数の撮影条件のうち、１つを基準条件として選択する（基準条件選択手段、Ｓ５）。

具体的には、総撮影時間が設定フレームレートの１フレームの期間より長い場合には、設定撮影条件情報を用いて、設定された撮影条件（撮影に用いる撮影条件）から基準条件を選択する。本実施例では、基準条件選択部１０５は、撮影に用いる複数の撮影条件のうち、フレーム間の動きを最も精度良く検出可能な撮影条件を基準条件として選択する。そして、基準条件選択部１０５は、基準条件を表す基準条件情報と残りの撮影条件を表す非基準条件情報とを撮影順序管理部１０６へ出力する。
総撮影時間が設定フレームレートの１フレームの期間以下である場合には（Ｓ４：ＮＯ）、基準条件選択部１０５は、基準条件を選択せず、設定撮影条件情報を非基準条件情報として撮影順序管理部１０６へ出力する。

ここで、基準条件の選択方法の一例について説明する。
まず、基準条件選択部１０５は、設定フレームレートの１フレームの期間ＴＦＲＡＭＥを算出する。例えば、基準条件選択部１０５は、フレームレート設定部１０３からフレームレート情報を取得し、該フレームレート情報を用いてＴＦＲＡＭＥを算出する。
そして、基準条件選択部１０５は、設定された撮影条件のうち、１フレームの撮影時間が最長のものを選択し、該撮影時間をＴＭＡＸとする。
次に、基準条件選択部１０５は、ＴＦＲＡＭＥからＴＭＡＸを減算し、該減算によって得られた時間以内の撮影時間の撮影条件を基準条件の候補とする。本実施例では、ＴＦＲＡＭＥ＝１６ｍｓ、ＴＭＡＸ＝７ｍｓ、ＴＦＲＡＭＥ−ＴＭＡＸ＝９ｍｓであるため、基準条件の候補は撮影条件１〜６となる。
そして、基準条件選択部１０５は、これら候補のうち、フレーム間の動きを最も精度良く検出可能な撮影条件（例えば、輪郭がはっきりとした画像が得られる撮影条件、白とびや黒つぶれが発生しにくい撮影条件など）を基準条件として選択する。本実施例では、図６に示すように、撮影条件毎に、フレーム間の動きの検出精度を表すレベルが予め定めら
れているものとする。そして、基準条件選択部１０５は、上記レベルが最も高い撮影条件（図６の例では、撮影条件２）を基準条件として設定するものとする。

撮影順序管理部１０６と撮影実行部１０７は、設定された複数の撮影条件のうち、基準条件については所定のフレームレートで撮影し、他の撮影条件についてはフレームを間引いて、上記所定のフレームレートよりも低いフレームレートで撮影する。即ち、本実施例では、撮影順序管理部１０６と撮影実行部１０７により、本発明の撮影制御手段が実現される。

撮影順序管理部１０６は、基準条件情報、非基準条件情報、フレームレート情報から、設定フレームレートのフレーム毎に、撮影順序を決定し、該撮影順序を表す情報を撮影実行部１０７へ出力する（Ｓ６）。

ここで、撮影順序の管理方法（決定方法）の一例について説明する。
撮影順序管理部１０６は、設定フレームレートの各フレームの先頭に基準条件で撮影を行い、残りの撮影条件についてはフレーム間を間引いて撮影が行われるように撮影順序を決める。なお、１フレームの期間内で撮影に用いられる撮影条件の数ができるだけ多くなるように基準条件以外の撮影条件の順序を決めれば、全ての撮影条件についての撮影に必要なフレーム数を減少できる。例えば、１フレームの撮影時間が長い撮影条件から順番に撮影を行えばよい。
本実施例では、撮影順序は、図３に示すように、１フレーム目に撮影条件２，１、２フレーム目に撮影条件２，３、３フレーム目に撮影条件２，４、４フレーム目に撮影条件２，５、５フレーム目に撮影条件２，６・・・となる。
なお、基準条件情報がない場合には、撮影順序管理部１０６は、設定された全ての撮影条件について、設定フレームレートのフレーム毎に同じ撮影条件の順番で撮影が行われるように撮影順序を決める。例えば、予め決められたデフォルトの順番、若しくは設定された撮影条件の順番となるように、撮影順序が決定される。

撮影実行部１０７は、撮影順序管理部１０６にて決められた撮影順序で撮影を行う（Ｓ７）。更に、撮影実行部１０７は、撮影された複数の動画を記憶部１０８に記録する。本実施例では、撮影された複数の動画と、各動画の撮影条件の情報と、基準条件の情報とを関連付けて記憶部１０８に記録する。なお、総撮影時間が設定フレームレートの１フレームの時間以下の場合には（Ｓ４：ＮＯ）、予め決められたデフォルトの順番（若しくは設定された撮影条件の順番）で、撮影を実行すればよいので、ステップＳ５〜Ｓ６の処理はスキップされる。
記憶部１０８は、撮影された複数の動画を記憶する記憶装置であり、例えば、ハードディスクなどの磁気ディスク、ＤＶＤなどの光ディスク、不揮発性メモリなどの記憶媒体（記憶装置）である（記憶手段）。記憶部１０８は、取り外し可能に構成されていてもよいし、そうでなくてもよい。

（再生装置）
再生動画選択部１０９は、撮影装置で撮影された複数の動画から、再生する動画である再生動画（本実施例ではその撮影条件）をユーザに選択させる（再生動画選択手段）。そして、再生動画の撮影条件の情報である再生動画情報を再生指示部１１０へ出力する。本実施例では、撮影条件１の動画を再生する場合について説明する。

再生指示部１１０は、動き検出部１１１、動き補償処理部１１２、映像出力部１１３などを用いて再生動画の再生を行う。
再生指示部１１０の処理について図７のフロー図を用いて説明する。
まず、再生指示部１１０は、撮影装置で撮影された動画のうち再生動画を、記憶部１０
８から取得する（Ｓ１０１）。具体的には、再生動画情報に基づいて再生動画を取得する。

そして、再生指示部１１０は、基準条件の情報から、撮影装置で撮影された動画の中に基準条件の動画（基準動画）が存在するか否かを判断する（Ｓ１０２）。基準動画が存在しない場合には（Ｓ１０２：ＮＯ）、設定フレームレートの１フレームの期間に選択された全ての撮影条件についての撮影が行われているため、補間処理（補間フレームの生成）は必要ない。そのため、そのような場合には、再生指示部１１０は、再生動画を映像出力部１１３に出力する（Ｓ１０６）。一方、基準動画が存在する場合には（Ｓ１０２：ＹＥＳ）、Ｓ１０３へ進む。

Ｓ１０３では、再生指示部１１０は、基準条件の情報から、再生動画の撮影条件（再生動画選択部１０９で選択された撮影条件）が基準条件か否かを判定する。再生動画の撮影条件が基準条件である場合には（Ｓ１０３：ＹＥＳ）、補間処理を必要としないため、Ｓ１０６の処理が行われる。再生動画の撮影条件が基準条件でない場合には（Ｓ１０３：ＮＯ）、補間処理を必要とするため、Ｓ１０４に進む。

Ｓ１０４では、再生指示部１１０は、記憶部１０８から基準動画を取得し、動き検出部１１１に出力する。
次に、再生指示部１１０は、再生動画を動き補償処理部１１２に出力する（Ｓ１０５）。

本実施例では、図３に示すように、撮影装置で撮影された動画の中に撮影条件２の動画が基準動画として存在しているため、Ｓ１０２ではＹＥＳと判定される。次に、再生動画が基準動画ではないため、Ｓ１０３ではＮＯと判定される。そして、撮影条件２の動画が基準動画として動き検出部１１１に出力され（Ｓ１０４）、撮影条件１の動画が再生動画として動き補償処理部１１２に出力される（Ｓ１０５）。

動き検出部１１１は、再生動画の撮影条件が基準条件以外の撮影条件である場合に、基準条件で撮影された動画のフレーム間の動きを検出する。具体的には、基準動画が入力された場合に、基準動画のフレーム間の動きを検出し、検出結果を動き情報として動き補償処理部１１２に出力する。
動き補償処理部１１２は、再生動画の撮影条件が基準条件以外の撮影条件である場合に、動き検出部１１１で検出された動きに基づいて、再生動画のフレーム間を補間する補間フレームを生成する。それにより、再生動画のフレームレートを設定フレームレートに変換する。具体的には、動き補償処理部１１２は、再生動画と動き情報が入力された場合に、動き情報に基づいて、再生動画のフレーム間を補間する補間フレームを生成することにより、補間動画を生成する。そして、生成した補間動画を映像出力部１１３に出力する。本実施例では、図５に示すように、撮影条件１の動画に対し、撮影条件２の動画から検出されたフレーム間の動きに基づいて、撮影条件１の動画のフレーム間を補間する補間フレームが生成される。図５では、撮影されたフレームを実画像、補間フレームを補間画像として示している。
映像出力部１１３は、入力された動画を不図示の表示装置に出力する。それにより、該動画が表示装置で表示される。

なお、本実施例では撮影条件１の動画を再生動画とした場合の処理について説明したが、撮影条件３〜６のいずれかの撮影条件の動画が再生動画とされた場合も、撮影条件１の動画を再生動画とした場合と同様の処理が行われる。撮影条件２の動画が再生動画とされた場合には、再生動画は、補間処理が施されずに映像出力部１１３に出力される（Ｓ１０６）。また、撮影装置で撮影された動画の中に基準条件の動画が存在していない場合にも
、再生動画は、補間処理が施されずに映像出力部１１３に出力される（Ｓ１０６）。

以上述べたように、本実施例によれば、撮影に用いる複数の撮影条件のうち、基準条件については所定のフレームレートで撮影が行われ、他の撮影条件についてはフレームを間引いて撮影が行われる。そして、再生動画の撮影条件が、基準条件以外の撮影条件である場合に、基準条件で撮影された動画のフレーム間の動きに基づいて、再生動画のフレーム間を補間する補間フレームが生成され、再生動画のフレームレートが所定のフレームレートに変換される。それにより、互いに異なる複数の撮影条件で並列に撮影された複数の動画を、画質の劣化（具体的には、補間画像の画質の劣化）を抑制して所定のフレームレートで再生することができる。

また、本実施例では、撮影に用いる複数の撮影条件のうち、フレーム間の動きを最も精度良く検出可能な撮影条件が基準条件として選択されるため、他の撮影条件を基準条件とするよりも画質の劣化を抑制することができる。
但し、基準条件は、フレーム間の動きを最も精度良く検出可能な撮影条件以外の撮影条件であってもよい。撮影に用いる複数の撮影条件のうち、１つが基準条件として選択されれば、本実施例に準じた効果を得ることができる。

＜実施例２＞
次に、本発明の実施例２に係る動画再生システムについて説明する。実施例１では、ユーザが選択した撮影条件のうち、フレーム間の動きを最も精度良く検出可能な撮影条件が基準条件として選択される。しかし、ユーザが選択した撮影条件以外の撮影条件の方がフレーム間の動きをより精度良く検出可能な場合がある。そこで、本実施例では、ユーザに選択されなかった撮影条件の中に、ユーザに選択された撮影条件よりも、フレーム間の動きをより精度良く検出可能な撮影条件が存在する場合に、該撮影条件を撮影に用いる撮影条件に追加する。
以下、本実施例に係る動画再生システムの実施例１と異なる点について詳しく説明する。

図１２Ａは、本実施例に係る撮影装置および再生装置の機能構成の一例を示すブロック図である。また、図１２Ｂは、再生装置を兼ねる撮影装置の構成例を示すブロック図である。なお、実施例１と同じ機能には同じ符号を付し、その説明は省略する。また、再生装置の構成は実施例１と同様であるため、その説明は省略する。
強制条件設定部１１４は、ユーザに選択されなかった撮影条件の中に、ユーザに選択された撮影条件よりも、フレーム間の動きをより精度良く検出可能な撮影条件が存在するか否かを判断する。そして、強制条件設定部１１４は、そのような撮影条件が存在する場合に、該撮影条件を撮影に用いる撮影条件に追加（設定）する（追加手段）。本実施例では、強制条件設定部１１４は、撮影装置で設定可能な複数の撮影条件のうち、フレーム間の動きを最も精度良く検出可能な撮影条件を強制条件として選択し、設定する。但し、強制条件はこれに限らない、ユーザが選択した撮影条件よりも、フレーム間の動きをより精度良く検出可能な撮影条件であればよい。
強制条件設定部１１４は、強制条件の情報を総撮影時間算出部１０２と基準条件選択部１１５に出力する。

総撮影時間算出部１０２では、撮影条件設定部と強制条件設定部１１４で設定された各撮影条件の１フレームの撮影時間の合計が総撮影時間として算出される。本実施例では、図１１に示すように撮影条件１〜６および強制条件が設定され、各撮影条件の１フレームの撮影時間は７ｍｓであるため、総撮影時間は４９ｍｓとなる。
撮影時間判定部１０４では、総撮影時間は４９ｍｓであり、設定フレームレートの１フレームの期間は１６ｍｓであるため、総撮影時間が設定フレームレートの１フレームの期
間よりも長いと判定される。

基準条件選択部１１５は、撮影時間判定部１０４の判定結果に応じて基準条件を選択する。具体的には、総撮影時間が設定フレームレートの１フレームの期間よりも長い場合に、基準条件として強制条件を選択する。本実施例では、総撮影時間が設定フレームレートの１フレームの期間よりも長いため、強制条件が基準条件として選択される。基準条件選択部１１５による他の処理は実施例１と同様のため、説明は省略する。

撮影順序管理部１０６と撮影実行部１０７では、実施例１と同様の処理が行われる。その結果、本実施例では、図１３に示す撮影順序で撮影が行われることとなる。具体的には、強制条件については所定のフレームレートで撮影が行われ、撮影条件１〜６についてはフレームを間引いて撮影が行われることとなる。
そして、撮影条件１の動画が再生動画として選択された場合には、図１４に示すように強制条件の動画からフレーム間の動きが検出される。そして、該検出結果に基づいて、撮影条件１の動画に補間処理が施され、補間動画が生成される。

以上述べたように、本実施例によれば、ユーザに選択されなかった撮影条件の中に、ユーザに選択された撮影条件よりも、フレーム間の動きをより精度良く検出可能な撮影条件が存在する場合に、該撮影条件が撮影に用いる撮影条件に追加される。そのため、そのような撮影条件を基準条件とすることにより、実施例１に比べより画質の劣化を抑制することが可能となる。

１０５ 基準条件選択部
１０６ 撮影順序管理部
１０７ 撮影実行部
１０９ 再生動画選択部
１１１ 動き検出部
１１２ 動き補償処理部

Claims (12)

1. １つの撮像素子を用いて撮影条件が互いに異なる複数の動画を所定のフレームレートで並列に撮影することが可能な撮影装置と、前記撮影装置で撮影された動画を再生する再生装置と、を有する動画再生システムであって、
   前記撮影装置は、
   撮影に用いる各撮影条件の１フレームの撮影時間の合計が前記所定のフレームレートの１フレーム期間よりも長い場合に、撮影に用いる複数の撮影条件のうち、１つを基準条件として選択する基準条件選択手段と、
   前記複数の撮影条件のうち、前記基準条件については前記所定のフレームレートで撮影し、他の撮影条件については前記所定のフレームレートよりも低いフレームレートで撮影する撮影制御手段と、
   を有し、
   前記再生装置は、
   前記撮影装置で撮影された複数の動画から、再生する動画である再生動画をユーザに選択させる再生動画選択手段と、
   前記再生動画の撮影条件が、前記基準条件以外の撮影条件である場合に、前記基準条件で撮影された動画のフレーム間の動きを検出する検出手段と、
   前記再生動画の撮影条件が、前記基準条件以外の撮影条件である場合に、前記検出手段で検出された動きに基づいて、前記再生動画のフレーム間を補間する補間フレームを生成することにより、前記再生動画のフレームレートを前記所定のフレームレートに変換する変換手段と、
   を有する
   ことを特徴とする動画再生システム。
2. 前記基準条件選択手段は、前記撮影に用いる複数の撮影条件のうち、ユーザに指定された撮影条件を前記基準条件として選択する
   ことを特徴とする請求項１に記載の動画再生システム。
3. 前記基準条件選択手段は、前記撮影に用いる複数の撮影条件のうち、ＩＳＯ感度が最も低い撮影条件、最も広角な撮影条件、最も高画質な撮影条件、最も高解像度な撮影条件、のいずれかを前記基準条件として選択する
   ことを特徴とする請求項１に記載の動画再生システム。
4. 前記基準条件選択手段は、前記撮影に用いる複数の撮影条件のうち、フレーム間の動きを最も精度良く検出可能な撮影条件を前記基準条件として選択する
   ことを特徴とする請求項１に記載の動画再生システム。
5. 前記撮影条件毎に、フレーム間の動きの検出精度を表すレベルが予め定められており、
   前記基準条件選択手段は、前記レベルが最も高い撮影条件を前記基準条件として選択する
   ことを特徴とする請求項４に記載の動画再生システム。
6. 前記撮影に用いる複数の撮影条件は、前記撮影装置で設定可能な複数の撮影条件の中からユーザによって選択されるものであり、
   前記撮影装置は、前記ユーザに選択されなかった撮影条件の中に、前記ユーザに選択された撮影条件よりも、フレーム間の動きをより精度良く検出可能な撮影条件が存在する場合に、該撮影条件を前記撮影に用いる撮影条件に追加する追加手段を更に有する
   ことを特徴とする請求項４または５に記載の動画再生システム。
7. １つの撮像素子を用いて、撮影条件が互いに異なる複数の動画を所定のフレームレートで並列に撮影することが可能な撮影装置であって、
   撮影に用いる各撮影条件の１フレームの撮影時間の合計が前記所定のフレームレートの１フレーム期間よりも長い場合に、撮影に用いる複数の撮影条件のうち、１つを基準条件として選択する基準条件選択手段と、
   前記複数の撮影条件のうち、前記基準条件については前記所定のフレームレートで撮影し、他の撮影条件については前記所定のフレームレートよりも低いフレームレートで撮影する撮影制御手段と、
   前記撮影制御手段で撮影された複数の動画を記憶する記憶手段と、
   を有することを特徴とする撮影装置。
8. 前記基準条件選択手段は、前記撮影に用いる複数の撮影条件のうち、ユーザに指定された撮影条件を前記基準条件として選択する
   ことを特徴とする請求項７に記載の撮影装置。
9. 前記基準条件選択手段は、前記撮影に用いる複数の撮影条件のうち、ＩＳＯ感度が最も低い撮影条件、最も広角な撮影条件、最も高画質な撮影条件、最も高解像度な撮影条件、のいずれかを前記基準条件として選択する
   ことを特徴とする請求項７に記載の撮影装置。
10. 前記基準条件選択手段は、前記撮影に用いる複数の撮影条件のうち、フレーム間の動きを最も精度良く検出可能な撮影条件を前記基準条件として選択する
    ことを特徴とする請求項７に記載の撮影装置。
11. 前記撮影条件毎に、フレーム間の動きの検出精度を表すレベルが予め定められており、
    前記基準条件選択手段は、前記レベルが最も高い撮影条件を前記基準条件として選択する
    ことを特徴とする請求項１０に記載の撮影装置。
12. 前記撮影に用いる複数の撮影条件は、前記撮影装置で設定可能な複数の撮影条件の中からユーザによって選択されるものであり、
    前記ユーザに選択されなかった撮影条件の中に、前記ユーザに選択された撮影条件よりも、フレーム間の動きをより精度良く検出可能な撮影条件が存在する場合に、該撮影条件を前記撮影に用いる撮影条件に追加する追加手段を更に有する
    ことを特徴とする請求項１０または１１に記載の撮影装置。

Images