JP2012175419A - 動画撮影装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】本発明は、撮像中にフレームレートを変更した場合においても、過渡的な画像乱れの発生を抑制した動画像を記録することができる動画撮影装置を提供する。
【解決手段】被写体を撮像する撮像素子１５１と、撮像素子１５１で撮像された複数枚の画像を合成して合成画像を生成する画像合成部１７１と、撮像結果を記録媒体１２２に記録するレコーダ制御部１２１と、記録媒体１２２への記録フレームレートの変更を指示するフレームレート変更キー１６１とを備え、記録フレームレートを変更する際に、変更前後のフレームレートのうち、撮像素子がより高速な第一のフレームレートで撮像を行う。第二のフレームレートにより記録を行うフレームレート移行期間において、記録媒体１２２に記録される第二のフレームレート画像を、画像合成部１７１を用いて第一のフレームレート画像から合成する。
【選択図】図４

Description

本発明は、動画撮影装置及びその制御方法、並びにプログラムに関し、特に、動画撮影中にフレームレートを変更した場合に生じる画像の乱れを防止する技術に関する。

スポーツのように動きが大きい被写体を動画撮影する場合、動画像の品位を向上させるためには通常より高速なフレームレートで撮影を行うのが望ましい。

しかしながら、高速なフレームレートで撮影された動画像は、記録時間に対するデータ量が増加するため、記録媒体の容量に対する撮影可能時間が短くなるという課題がある。また、高速なフレームレートでの動画撮影には、撮像素子を始めとする回路を高速動作させる必要があることから、バッテリーの消耗が激しくなり、結果的に撮影可能時間が短くなる。

上記課題を解決する１つの方法として、撮影中の特定のシーンだけを高速なフレームレートで撮影する方法がある。一方、動きの小さい被写体を動画撮影する場合には、通常より低速なフレームレートで撮影を行うことで、撮影可能時間を延ばす方法もある。例えば、特許文献１では、撮影中に被写体の動きに応じてフレームレートを変更制御することで、動画像品位と撮影可能時間をバランスさせることを可能にする技術が提案されている。また、特許文献２では、フレームレートの変更前後において発生する動画像品位の変化のうち特に輝度変化を低減するための技術も提案されている。

特開２００８−９９１１０号公報 特開２００９−１４１８３４号公報

上記従来の技術では、撮影中にフレームレートの変更を行うと撮像素子の露光時間が変化し、これに伴ってフレームレート変更前後の画像に輝度レベル差が発生する。この輝度レベル差は自動露出（ＡＥ）制御により調整されるが、ＡＥ制御には機械的動作が関与するために応答性が悪い。すなわち、ＡＥ制御による輝度レベル差の調整には、少なくとも数フレーム分の時間が必要となるため、これが視聴者にとって過渡的な画像乱れとして認識されてしまうおそれがある。この対策として、アナログゲイン調整により輝度レベルを調整することが考えられる。

しかしながら、例えば、暗い被写体の撮影時にはゲインを高くするのでＳ／Ｎ比が悪化してしまい、やはり画像乱れとして認識されるおそれがあることから有効な対策とはならない。

本発明は、かかる課題を鑑みてなされたものであり、撮像中にフレームレートを変更した場合においても、過渡的な画像乱れの発生を抑制した動画像を記録することができる技術を提供することを目的とする。

上記目的を達成するために、本発明の動画撮影装置は、被写体の画像を撮像する撮像手段と、前記撮像手段で撮像された複数枚の画像を合成して合成画像を生成する画像合成手段と、前記撮像手段により撮像された画像を記録媒体に記録する記録手段と、ユーザーからの変更指示に応じて、前記撮像手段による撮像時のフレームレートまたは前記記録手段による記録時のフレームレートを変更するフレームレート変更手段と、前記撮像手段が第１のフレームレートで撮像を行い、前記記録手段が前記第１のフレームレートと異なる第２のフレームレートで画像を記録するフレームレート移行期間を設ける制御手段とを備え、前記フレームレート移行期間において、前記画像合成手段により変更前後のフレームレートから求めた数の画像を合成し、当該合成画像を前記記録手段により記録することを特徴とする。

本発明によれば、撮像中にフレームレートを変更した場合においても、過渡的な画像乱れの発生を抑制した動画像を記録することが可能となる。

本発明の第１の実施形態に係る動画撮影装置の機能構成の概略を示すブロック図である。 第１の実施形態の動画撮影装置１００において、撮影中に１５ｆｐｓから６０ｆｐｓにフレームレートを変更する場合の撮像素子の駆動方法を説明するための図である。 動画撮影装置において、低速から高速へのフレームレート変更時の輝度レベル変化の一例を示す図である。 第１の実施形態における低速から高速へのフレームレート変更時の制御処理を示すフローチャートである。 第１の実施形態における低速から高速へのフレームレート変更時の輝度レベル変化の一例を示す図である。 本発明の第２の実施形態の動画撮影装置１００において、撮影中に６０ｆｐｓから１５ｆｐｓにフレームレートを変更する場合の撮像素子の駆動方法を説明するための図である。 第２の実施形態における高速から低速へのフレームレート変更時の制御処理を示すフローチャートである。 第２の実施形態における高速から低速へのフレームレート変更時のＡＥ制御用輝度レベル変化の一例を示す図である。 第２の実施形態における高速から低速へのフレームレート変更時の記録画像輝度レベル変化の一例を示す図である。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る動画撮影装置の機能構成の概略を示すブロック図である。なお、同図では、本発明に関連しない機能ブロックについては省略している。

図１において、動画撮影装置１００の内部バス１０１上には、ＣＰＵ１０２、ＲＡＭ１０３、ＲＯＭ１０４、操作部１０５、カメラ制御部１１１、レコーダ制御部１２１、及び絞り制御部１３１が接続されており、相互にアクセス可能となっている。

動画撮影装置１００は撮像素子１５１を備える。レンズ１５２から入射された被写体像は、撮像素子１５１の露光面に露光される。撮像素子１５１とレンズ１５２との間には絞り１３２が設けられている。ＣＰＵ１０２は、絞り制御部１３１に対する設定によって絞り１３２の開口面積を制御することで、撮像素子１５１の露光面に達する光量を調整し、露出制御を行う。

操作部１０５には、モードダイヤル、シャッタボタン、十字キー等の操作キー（不図示）に加え、フレームレート変更キー１６１を備える。これらのキー操作を受け、ＣＰＵ１０２は撮影の開始／停止や、撮影モードの設定、及びフレームレートの変更を認識し、カメラ制御部１１１やレコーダ制御部１２１に対して所定の設定を行うことで動画撮影装置１００の動作を制御する。

画像合成部１７１は、複数枚の画像を加算合成して１枚の画像を生成する画像合成処理を行う。また、画像合成部１７１では、画像合成処理の実行に先立ち、合成前の画像の輝度レベルを調整するデジタルゲイン処理も行う。

次に、上記構成の動画撮影装置１００における具体的な撮影動作について簡単に説明する。

まず、ユーザーからの操作部１０５への操作により、撮影モード及びフレームレートが設定された後に、撮影開始が指示される。これを受け、カメラ制御部１１１内では、撮像時のフレームレート（以降、「撮像フレームレート」と称する）に応じた周期で垂直同期（ＶＤ）信号が生成され、このＶＤ信号に同期して撮像素子１５１の読み出し／リセット制御が行われる。

撮像素子１５１から読み出される画像信号は、蓄積された電荷量、すなわち露光量を表すアナログ信号であり、これに対してノイズ除去及びアナログゲイン調整が施された後にＡ／Ｄ変換され、信号データとしてＲＡＭ１０３に書き込まれる。

また、カメラ制御部１１１では、ＲＡＭ１０３への信号データの書き込みと並行して、部分領域におけるＡ／Ｄ変換後の信号値を積分することによりフレーム単位の画像の輝度レベルを算出している。この輝度レベルは、ＶＤ信号に同期して発生する割り込みのタイミングでＣＰＵ１０２により読み出され、絞り制御部１３１に対するＡＥ制御に用いられる。

レコーダ制御部１２１は、ＣＰＵ１０２の指示により、カメラ制御部１１１がＲＡＭ１０３に書き込んだデータ（以降、「符号化前データ」と称する）を読み出し、撮影モードで設定されたフォーマット及びフレームレートにて符号化処理を行う。符号化されたデータは、フラッシュメモリ等の不揮発性メモリで構成された記録媒体１２２に記録される。

動画撮影装置１００では、ＣＰＵ１０２の制御により、撮像フレームレートと、レコーダ制御部１２１での記録フレームレートとが異なった状態で撮影することが可能である。

画像合成部１７１は、ＣＰＵ１０２の指示により、レコーダ制御部１２１に先立ってＲＡＭ１０３より符号化前データを読み出し、デジタルゲイン及び画像合成処理を施した後に再度ＲＡＭ１０３へデータを書き戻す。このとき、レコーダ制御部１２１は、画像合成部１７１で処理された後のデータを符号化／記録する。

次に、本発明の第１の実施形態の動画撮影装置１００において、撮影中に１５ｆｐｓから６０ｆｐｓへとフレームレートを変更する場合の撮像素子の駆動方法について図２を用いて説明する。

図２において、ＶＤ信号は、読み出しトリガ及びリセットトリガのそれぞれに同期して撮像素子の読み出し／リセットのタイミングを指示する信号であり、カメラ制御部１１１から撮像素子１５１に対して送出される信号である。

図中のタイミング２０１でフレームレート変更キー１６１により６０ｆｐｓへ変更が指示されており、フレーム番号３以降は撮像フレームレートが１５ｆｐｓから６０ｆｐｓへと変化している。

撮像フレームレートの変更に伴って露光時間が１／４となるため、前述の輝度レベルも１／４となり、その結果としてグラフ２１１に示すように、絞り１３２の開口量を大きく取るようにＡＥ制御が働く。絞り１３２の動作には、前述のように機械的動作が関与するため、ＡＥ制御による目標位置までの動作は、タイミング２０１から数フレーム経過したタイミング２０２にて完了する。この露光時間と絞り１３２の開口量の時間変化から、撮像素子１５１に蓄積される電荷量の変化はグラフ２２１のようになる。

ここで画像合成部１７１を持たない従来の動画撮影装置において、記録媒体１２２に記録される各フレーム画像の輝度レベルがどのように変化するかを図３に示す。

図３において、撮像素子１５１の制御及びＡＥ制御については、前述の図２で説明した内容と同様であり、タイミング２０１でフレームレート変更が指示され、タイミング２０２で絞り１３２の絞り動作が完了したものとする。

３０１は、フレーム単位の画像における露光時間と絞り開口量、そしてそれらの積から求めることができる輝度レベルを相対的に数値化したものである。例えば、露光時間は、フレーム番号２において４（図３の３０２）であったのに対し、フレーム番号３では１（図３の３０３）となる。

ところがＡＥ制御による絞り１３２の絞り動作については、前述のように機械的動作が関与するため応答性が悪く、フレーム番号２，３共に１となる。結果として、これらの積である輝度レベルは、フレーム番号２では４であったのに対し、フレーム番号３では１となる。

絞り１３２の絞り動作が完了したタイミング２０２では、図３の３０４に示すように、露光時間と絞り開口量はそれぞれ１，４となる。その結果、輝度レベルは、撮像フレームレート変更前の３０２と同じ４となる。このような輝度レベルの時間変化をグラフ化したものが３１１であり、図から分かるようにタイミング２０１で輝度レベルが大きく変化している。すなわち、タイミング２０１で画像が急に暗くなり、これが画像乱れとして認識されることになる。

次に、本発明の動画撮影装置１００において、撮影中に１５ｆｐｓから６０ｆｐｓへとフレームレートを変更する場合の制御について説明する。

ＣＰＵ１０２は、図２のタイミング２０１から２０２の期間（以降、この期間を「フレームレート移行期間」と称する）においてのみ、符号化前データに対し、画像合成部１７１によるデジタルゲイン処理及び画像合成処理を指示する。このとき、符号化前データの読み出しは、上述したように、レコーダ制御部１２１による符号化／記録に先立って行われる。

また、フレームレート移行期間において、ＣＰＵ１０２は、レコーダ制御部１２１に対して、画像合成部１７１での処理後のデータを符号化／記録するように指示する。

フレームレート移行期間の長さは、フレームレートの変更比率と、絞り１３２の絞り動作に用いる絞りモータ（不図示）の動作速度から決定される。まず、ＣＰＵ１０２は、フレームレートの変更比率から露光時間の変化量を算出し、これを補うためのＡＥ制御の絞り１３２の絞り開口量目標値を求める。ＡＥ制御目標値とフレームレート変更指示のタイミングでの絞り１３２の絞り開口量の差分が絞り１３２の絞り開口変化量となり、絞りモータがこの変化量分の絞り１３２の絞り動作完了までにかかる時間をフレームレート移行期間のとり得る最短の長さとする。実際のフレームレート移行期間の長さは、最短の長さ以上の長さで、そのときのフレーム単位の長さとなる。

上記制御を更に詳細に図４のフローチャートを用いて説明する。

図４において、ＣＰＵ１０２は、例えば、図２のタイミング２０１でフレームレート変更キー１６１により、１５ｆｐｓから６０ｆｐｓへの変更指示を受け付けると（ステップＳ４０１）、まず撮像フレームレートを６０ｆｐｓに変更する（ステップＳ４０２）。

続いて、ＣＰＵ１０２は、画像合成部１７１に動作開始を指示する（ステップＳ４０３）。この際、画像合成部１７１で合成に用いる画像枚数は、変更前と変更後のフレームレートＡ，Ｂのうち、より高速なフレームレートＡ／Ｂ枚とする。本実施形態では、Ａ＝６０ｆｐｓ，Ｂ＝１５ｆｐｓとなり、６０／１５＝４枚の画像から１枚の合成画像が生成される。

また、レコーダ制御部１２１は、画像合成部１７１での処理後のデータを処理するので、この時点での記録媒体１２２に記録時のフレームレート（以降、「記録フレームレート」と称する）は１５ｆｐｓのままである。図２のタイミング２０２でＡＥ制御による輝度レベルの調整が完了するまでの間は、撮像フレームレートを６０ｆｐｓ（第１のフレームレートの例）、記録フレームレートを１５ｆｐｓ（第２のフレームレートの例）にして撮影動作を続ける（ステップＳ４０４）。

輝度レベルの調整が完了すると（ステップＳ４０５でＹＥＳ）、ＣＰＵ１０２は、画像合成部１７１に動作停止を指示する（ステップＳ４０６）。さらに、ＣＰＵ１０２は、レコーダ制御部１２１に対して記録フレームレートを６０ｆｐｓにするように変更指示して（ステップＳ４０７）、フレームレートの変更制御を完了する（ステップＳ４０８）。このときの輝度レベル変化の様子をより具体的に図５に示す。

図５の５０１は、画像合成部１７１によるデジタルゲイン処理及び画像合成処理を加味したフレーム単位の画像における輝度レベル相対値を示す。

図５の５０２に示すフレーム番号２を例に挙げると、このフレーム画像は画像合成部１７１を経由しないため、デジタルゲイン処理及び画像合成処理の影響はなく、図３の３０２と同じ結果となる。これに対して、図５の５０３に示すフレーム番号３〜７では、各フレームに対してデジタルゲインによる輝度レベル調整が施された後に加算合成されることより、輝度レベル４の１フレーム分の画像データを得る。ここでデジタルゲイン値は、次式の右辺の値がフレームレート変更指示直前の輝度レベル４と等しくなるように制御される。

｛変更前輝度レベル｝＝｛露光時間｝×｛絞り１３２の絞り開口量｝×｛デジタルゲイン｝×｛合成する画像枚数｝
具体的な例を挙げると、フレーム番号４でのデジタルゲイン値は次式で求まる。

｛変更前輝度レベル：４｝／（｛露光時間：１｝×｛絞り１３２の絞り開口量：１．２５｝×｛合成する画像枚数：４｝）＝０．８
この場合は、ＡＥ制御により絞り１３２の絞り開口量が大きくなっていく、すなわち画像が明るくなっていくのをデジタルゲインで抑制する。前述のように、フレームレート移行期間外では、画像合成部１７１による処理を実施しないため、図５の５０４に示すフレーム番号１５では、図３の３０４と同じ結果となる。このような輝度レベルの時間変化をグラフ化したものが図５の５１１である。５１１では、本実施形態における画像合成部１７１の処理により、図３の３１１で見られたタイミング２０１における輝度レベルの変化が抑制されている。結果として撮影中のフレームレート変更時に画像乱れが抑制されている。

ここで本実施形態におけるフレームレート移行期間の長さの決定方法について具体的に説明する。

露光時間が１５／６０ｓ＝１／４ｓになることから、これを補うために、絞り１３２の絞り開口量を４倍にするようにＡＥ制御が働く。すなわち、変更指示時のタイミング２０１での絞り１３２の絞り開口量１に対して、ＡＥ制御完了＝移行期間完了時のタイミング２０２での絞り１３２の絞り開口量４との差分から開口変化量は３となる。ここでフレームレート移行期間の長さは、合成処理の都合から、変更前と変更後のフレームレートＡ，Ｂのうち、より低速なフレームレートＢのフレーム時間単位とする必要があり、本実施形態においては１／１５ｓ単位とする必要がある。よって、実際のフレームレート移行期間の長さは、絞りモータの動作限界速度からこの開口変化量の絞り１３２の動作完了まで最短で０．１５ｓかかる際に、次式から求まる。

｛絞り１３２動作完了までの最短時間：０．１５ｓ｝／｛変更前後で低速なフレームレートの単位フレーム時間：１／１５ｓ｝＝｛フレームレート移行期間のとり得る最短の長さ２．２５［フレーム］｝
そして、本実施形態ではこれを切り上げした１５ｆｐｓで３フレーム分の長さを実際のフレームレート移行期間の長さとする。これ以上移行期間を長くすることは可能であるが、これにより、本実施形態においてはタイミング２０２を後ろにずらす＝記録される画像のフレームレート変更が遅くなるため、上記のような切り上げした値を用いる。また、本実施形態では、絞りモータの動作速度は移行期間（ここでは３フレーム分）でちょうど絞り１３２の動作を終えるように絞り１３２を制御する。もちろん、最短の時間で絞り１３２が動作完了するように動作させ、デジタルゲインを調整して本実施形態のような合成画像を生成するようにしてもよい。

以上のように、本実施形態では、フレームレートが変更可能に構成され、撮影中のフレームレート変更指示からＡＥ制御による輝度レベルの調整完了までの間をフレームレート移行期間とし、移行期間内ではデジタルゲイン及び合成処理した画像を記録する。これにより、フレームレート移行期間内での輝度レベル変化の影響が記録画像に及ぶことを防ぎ、過渡的な画像乱れの発生を抑制した動画像を記録することができる。

本実施形態では、撮影開始時のフレームレート、及び撮影中の変更されるフレームレート共にユーザーからの操作によるものであるが、本発明はこれに限らない。すなわち、フレームレートはシーン判別等により自動で決定されても良いものとする。例えば、動体検出回路を用いて、動体が検出された場合には、高速の６０ｆｐｓにフレームレートが設定され、検出されない場合は、低速の１５ｆｐｓにフレームレートが自動で変更される、などの処理を行うものでも適用できる。この場合、自動でフレームレートが変更されるタイミングで、本実施形態のように、フレームレート移行期間が設けられることになる。

［第２の実施形態］
上記第１の実施形態では、低速なフレームレートから高速なフレームレートへと変更する際の処理について述べた。ここで低速なフレームレートから高速なフレームレートへの変更時において上記移行期間内の制御を行うと、フレームレート移行期間に入るタイミングで撮像素子の露光時間に変化があるため、通常のＡＥ制御が働く。これに対して、高速なフレームレートから低速なフレームレートへの変更時には、フレームレート移行期間に入るタイミングで撮像素子の露光時間に変化がないため、通常のＡＥ制御は働かない。すなわち、フレームレート変更に際して、通常のＡＥ制御として絞りを適切に変化させることができない。

そこで、本発明では、このような高速から低速へのフレームレート移行期間におけるＡＥ制御を第２の課題とし、以降にこの課題に対応するための第２の実施形態について説明する。なお、第２の実施形態における動画撮影装置の構成については第１の実施形態の図１と共通であるため、それらの説明は省略する。

本発明の第２の実施形態の動画撮影装置１００において、撮影中に６０ｆｐｓから１５ｆｐｓへとフレームレートを変更する場合の撮像素子の駆動方法について図６を用いて説明する。

図中のタイミング６０１でフレームレート変更キー１６１により１５ｆｐｓへ変更が指示されると、ＣＰＵ１０２は、撮像フレームレートをそのままに記録フレームレートを１５ｆｐｓに変更する。また、フレームレート移行期間内のＡＥ制御の動作モードを、フレームレート移行期間以外の通常時における第１の制御モードとは異なる第２の制御モードへと変更する。第１の制御モードとは、読み出した輝度レベル値に基づいた制御信号に応じて絞り制御部１３２の制御を行い、第２の制御モードとは、前記輝度レベルにフレームレートの変更に応じた変換係数（ゲイン）をかけた値を用いる。すなわち、第１の制御モードで変換係数を１とするのに対し、第２の制御モードでは変更前と変更後のフレームレートＡ，Ｂのうち、より高速なフレームレートＡ／Ｂ（本実施形態では６０／１５＝４）とする。これにより、絞り１３２の絞り開口量は図６の６１１に示すように変化する。

図６のタイミング６０２で絞り１３２の動作が完了すると、ＣＰＵ１０２はＡＥ制御の動作モードを第１の制御モードに戻し、フレーム番号２０以降は撮像フレームレート１５ｆｐｓで撮影を行う。ここで図６のタイミング６０１〜６０２の期間をフレームレート移行期間とし、ＣＰＵ１０２は前述と同様に、符号化前データに対し、レコーダ制御部１２１による符号化／記録に先立ち、画像合成部１７１によるデジタルゲイン処理及び画像合成処理を指示する。

また、フレームレート移行期間において、ＣＰＵ１０２はレコーダ制御部１２１に対し画像合成部１７１の処理後のデータを符号化／記録するように指示する。

また、フレームレート移行期間内外において、上記ＡＥ制御モードの変更を行うことで、擬似的に撮像素子の露光時間が変わったように見せることができ、フレームレート変更に際して絞りを適切に変化させることができる。

上記制御を更に詳細に図７のフローチャートを用いて説明する。

図７において、ＣＰＵ１０２は、図６のタイミング６０１でフレームレート変更キー１６１により、６０ｆｐｓから１５ｆｐｓへの変更指示を受け付けると（ステップＳ７０１）、まず記録フレームレートを１５ｆｐｓに変更する（ステップＳ７０２）。

続いて、ＣＰＵ１０２は、画像合成部１７１に動作開始を指示する（ステップＳ７０３）。この際、画像合成部１７１で合成に用いる画像枚数は、上述と同様に、変更前後のフレームレートＡ，Ｂのうち、より高速なフレームレートＡ／Ｂ枚とする。本実施形態では、Ａ＝６０ｆｐｓ，Ｂ＝１５ｆｐｓとなり、６０／１５＝４枚の画像から１枚の合成画像が生成される。

また、レコーダ制御部１２１は、画像合成部１７１での処理後のデータを処理するため、この時点での記録フレームレートは１５ｆｐｓとなる。更に、ＣＰＵ１０２は、ＡＥ制御の動作モードを第２の制御モードへと変更する（ステップＳ７０４）。図６のタイミング６０２でＡＥ制御による輝度レベルの調整が完了するまでの間は、撮像フレームレートを６０ｆｐｓ（第１のフレームレートの例）、記録フレームレートを１５ｆｐｓ（第２のフレームレートの例）にして撮影動作を続ける（ステップＳ７０５）。

輝度レベルの調整が完了すると（ステップＳ７０６でＹＥＳ）、ＣＰＵ１０２は、ＡＥ制御の動作モードを第１の制御モードへと変更し（ステップＳ７０７）、画像合成部１７１に動作停止を指示する（ステップＳ７０８）。その後、カメラ制御部１１１に対して撮像フレームレートを１５ｆｐｓに変更指示して（ステップＳ７０９）、フレームレートの変更制御を完了する（ステップＳ７１０）。このときのＡＥ制御と記録画像における輝度レベル変化の様子を、それぞれ図８、図９に示す。

図８の８０１は、ＡＥ制御に用いる輝度レベル相対値である。図８の８０２に示すフレーム番号７を例に挙げて説明すると、このフレームでは輝度レベル変換係数は１のため、ＡＥ制御に用いる輝度レベルはセンサ読み出ししたアナログ信号の輝度レベルと同じ４となる。これに対して、図８の８０３に示すフレーム番号８〜１１においては、輝度レベルの変換の結果、ＡＥ制御にとっては急激に画像が明るくなり、この変化を調整するため、絞り１３２を閉じるようにＡＥ制御が働く。ＡＥ制御による輝度レベルの調整が完了したタイミングで輝度レベル変換係数を１にすると同時に、撮像フレームレートを１５ｆｐｓにするので、図８の８０４に示すフレーム番号２０におけるＡＥ制御用輝度レベルは図８の８０２と同じ値となる。このようなＡＥ制御用輝度レベルの時間変化をグラフ化したものが８１１であり、輝度レベル変換により擬似的に画像を明るく見せることで強制的にＡＥ制御を働かせる。

図９の９０１は、記録画像における輝度レベル相対値を示す。図９の９０２に示すフレーム番号７を例に挙げて説明すると、このフレーム画像は画像合成部１７１を経由しないため、デジタルゲイン処理及び画像合成処理の影響はなく、輝度レベルは４となる。これに対して、図９の９０３に示すフレーム番号８〜１１において、上述と同様のデジタルゲイン及び画像合成処理を施すことで輝度レベル４の１フレーム分の画像データを得る。この場合は、前述のＡＥ制御により絞り１３２が閉じていく、すなわち画像が暗くなっていくのをデジタルゲインで抑制する。前述のように、フレームレート移行期間外では画像合成部１７１による処理を実施しないため、図９の９０４に示すフレーム番号２０では、図９の９０２と輝度レベルが同じ結果となる。このような輝度レベルの時間変化をグラフ化したものが図９の９１１である。９１１では、本実施形態における輝度レベル変換処理により、フレームレート変更時における輝度レベルの変化が抑制されている。結果として撮影中のフレームレート変更時に画像乱れが抑制される。

ここで本実施形態においては、フレームレート変更指示のタイミング６０１＝記録される画像のフレームレート変更となるため、フレームレート移行期間が長くなることは問題とならない。このため、周辺の状況に応じて適応的にフレームレート移行期間を長くしてもよい。具体的には、周囲が静かな状況で絞りモータ音がノイズとして記録されてしまう可能性がある場合や、絞り１３２の変化に伴う被写界深度の変化を目立ちにくくしたい場合である。これらの場合には、絞りモータ速度を遅くすることで移行期間を長くしてもよい。

以上のように、第２の実施形態では、第１の実施形態の制御に加えて、移行期間内のＡＥ制御動作モードを変更する。これにより、擬似的に撮像素子の露光時間が変わったように見せることができ、フレームレート変更に際して絞りを適切に変化させることができる。また、その結果として移行期間内での輝度レベル変化の影響が記録画像に及ぶことを防ぎ、過渡的な画像乱れの発生を抑制した動画像を記録することができる。

本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１００ 動画撮影装置
１０２ ＣＰＵ
１１１ カメラ制御部
１２１ レコーダ制御部
１２２ 記録媒体
１３１ 絞り制御部
１５１ 撮像素子
１６１ フレームレート変更キー
１７１ 画像合成部

Claims (10)

1. 被写体の画像を撮像する撮像手段と、
   前記撮像手段で撮像された複数枚の画像を合成して合成画像を生成する合成手段と、
   前記撮像手段により撮像された画像または前記合成手段により合成された合成画像を用いて動画像を記録媒体に記録する記録手段と、
   前記記録媒体に記録される動画像のフレームレートの変更を指示する変更手段と、
   前記変更手段が前記動画像のフレームレートの変更を指示した際に、
   前記撮像手段が第１のフレームレートで撮像を行い、
   前記合成手段が前記撮像手段により前記第１のフレームレートで撮像された画像から合成画像を生成し、
   前記記録手段が前記合成手段で合成された画像を前記第１のフレームレートより低速な第２のフレームレートで記録するフレームレート移行期間を設けるように、
   前記撮像手段、前記合成手段、及び前記記録手段を制御する制御手段とを備えることを特徴とする動画撮影装置。
2. 前記変更手段は、前記動画像のフレームレートを前記第１のフレームレートから前記第２のフレームレートに変更可能であることを特徴とする請求項１に記載の動画撮影装置。
3. 前記変更手段は、前記動画像のフレームレートを前記第２のフレームレートから前記第１のフレームレートに変更可能であることを特徴とする請求項１または２に記載の動画撮影装置。
4. 前記撮像手段の絞りを制御する絞り制御手段を更に備え、
   前記フレームレート移行期間の長さは、前記変更手段によって指示される変更前後のフレームレートと、前記絞り制御手段の動作速度により決定されることを特徴とする請求項１乃至３のいずれか１つに記載の動画撮影装置。
5. 前記絞り制御手段は、前記フレームレート移行期間では、前記フレームレート移行期間以外の期間に比べて前記絞りの動作速度を遅くすることを特徴とする請求項３に記載の動画撮影装置。
6. 前記撮像手段の絞りを制御する絞り制御手段を更に備え、
   前記絞り制御手段は、前記フレームレート移行期間における前記撮像手段の絞りの制御モードを、前記フレームレート移行期間以外の通常時における前記撮像手段の絞りの制御モードとは異なる制御モードで制御することを特徴とする請求項１乃至５のいずれか１つに記載の動画撮影装置。
7. 前記絞り制御手段は、前記撮像手段によって撮像された画像の輝度レベルに基づいた制御信号に応じて前記絞りの制御を行い、前記フレームレート移行期間においては、前記輝度レベルに前記変更手段によるフレームレートの変更に応じたゲインをかけた信号を前記制御信号とすることを特徴とする請求項１乃至５のいずれか１つに記載の動画撮影装置。
8. 被写体の画像を撮像する撮像手段と、前記撮像手段で撮像された複数枚の画像を合成して合成画像を生成する合成手段と、前記撮像手段により撮像された画像または前記合成手段により合成された合成画像を用いて動画像を記録媒体に記録する記録手段とを備える動画撮影装置の制御方法であって、
   前記記録媒体に記録される動画像のフレームレートの変更を指示する変更工程と、
   前記変更工程で前記動画像のフレームレートの変更を指示した際に、
   前記撮像手段が第１のフレームレートで撮像を行い、
   前記合成手段が前記撮像手段により前記第１のフレームレートで撮像された画像から合成画像を生成し、
   前記記録手段が前記合成手段で合成された画像を前記第１のフレームレートより低速な第２のフレームレートで記録するフレームレート移行期間を設けるように、
   前記撮像手段、前記合成手段、及び前記記録手段を制御する制御工程とを備えることを特徴とする動画撮影装置の制御方法。
9. 請求項８に記載の制御方法を動画撮影装置に実行させるためのコンピュータに読み取り可能なプログラム。
10. 請求項８に記載の動画撮影装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images