JP2018201099A - 撮影装置，撮影方法およびそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】静止画と動画を同時に撮影して記録する撮影装置において、撮影時に被写体の明度が急激に変化したとき、露出を急激に変化させると不自然に見える動画が記録されてしまい、露出を緩やかに変化させると適正でない明るさの静止画が記録されてしまう。【解決手段】同時に撮影された静止画ファイルと動画ファイルの両方を記録する撮影装置において、被写体の明度の変化が所定の値より大きいかどうかを判定する判定手段と、判定手段が、被写体の明度の変化が所定の値より大きいと判定した場合、制御手段は静止画ファイルにおける被写体の明度が適正になるよう高速で露出を変える撮影手段と、撮影手段が高速で露出を変えた場合でも、フレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら動画ファイルを生成する動画生成手段と、を有する。【選択図】なし

Description

本発明は，動画と静止画の同時撮影が可能な撮影装置に関する。より詳しくは，動画と静止画の同時撮影にあたり，被写体の明度が急激に変わったとき，適正な明度の静止画を撮影するとともに，人間の目に自然に見える動画を作成する撮影装置に関する。

従来，静止画撮影モードと動画撮影モードを切り替えたとき，露出やホワイトバランスの補正制御を変更する技術が存在する。たとえば，特許文献1では，逆光対応において，動画撮影中なら画像の連続性を考慮して補正量を固定しつつ被写体の黒潰れを回避し，静止画撮影中なら背景が白飛びしないよう補正量を動画撮影時より少なくする技術が開示されている。

特開2009-200588号公報

しかしながら，従来は，静止画と動画を同時に撮影し記録する場合の考慮がされていなかった。具体的には，撮影時に被写体の明度が急激に変化したとき，従来の静止画撮影に合わせて露出を急激に変化させると，人間の目に不自然に見える動画が記録されてしまう。かといって，従来の動画撮影に合わせて露出を緩やかに変化させると，適正でない明るさの静止画が記録されてしまう。以上のことから，ユーザが満足いく静止画と動画を同時に記録することが困難であった。

本発明の撮影装置は、同時に撮影された静止画ファイルと動画ファイルの両方を記録する撮影装置において，
被写体を撮影する撮影手段と，
前記撮影手段を制御する制御手段と，
前記撮影手段で撮影した画像データから，静止画ファイルを生成する静止画生成手段と，
前記撮影手段で撮影した画像データから，動画ファイルを生成する動画生成手段と，
被写体の明度の変化が所定の値より大きいかどうかを判定する判定手段と，
前記静止画生成手段で生成した静止画ファイルおよび前記動画生成手段で生成した動画ファイルを記録する記録手段を有し，
前記判定手段が，被写体の明度の変化が所定の値より大きいと判定した場合，
前記制御手段は前記静止画ファイルにおける被写体の明度が適正になるよう高速で前記撮影手段の露出を変え，
前記動画生成手段は，前記撮影手段が高速で露出を変えた場合でも，フレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら前記動画ファイルを生成することを特徴としている。

本発明によれば、高速で露出を変えて静止画ファイルを記録する手段と，動画のフレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら動画ファイルを生成する手段を有するため，撮影時に被写体の明度が急激に変化したときでも，適正な明るさの静止画と自然に見える動画を同時に記録することができる。

実施例1に係る撮影装置のブロック図 実施例1に係る動画ファイルの構成図 実施例1に係る撮影装置のAE動作を説明する図 実施例1に係る撮影装置の動作を表すフローチャート 実施例2に係るシステムのブロック図 実施例2に係る撮影装置および画像処理装置の動作を表すフローチャート 実施例3に係る撮影装置のAE動作を説明する図 実施例3に係る撮影装置の動作を表すフローチャート

以下に，図面を参照して，この発明の好適な実施形態を詳しく説明する。ただし，この実施形態に記載されている構成要素はあくまで例示であり，この発明の範囲をそれらのみに限定する趣旨のものではない。

［実施例1］
以下，本発明の実施形態のひとつを，添付画面に従い詳細に説明する。図1は，本実施形態に係る撮影装置のブロック図である。101はレンズや絞りなどから成る光学系である。102は撮像素子などの光電変化センサ（以下センサと呼ぶ）であり，光学系101を介してセンサに結像した光学像をアナログ信号として出力する。103はAD変換部であり，センサ102が出力したアナログ信号をデジタル信号に変換する。104は補正部であり，センサ102における欠陥画素を補完するキズ補正や，レンズの歪みに起因する画像の歪みの光学補正を行う。

105はゲイン調整部であり，システム制御部112の制御に基づいてゲイン調整を行い，画像中の被写体像の明度を所定の適正な明度にして，RAWデータを出力する。106は現像処理部であり，システム制御部112の制御に基づいて，ホワイトバランス制御処理やガンマ補正処理，輝度補正処理などの現像処理を行って，輝度信号Yと色差信号Cr，Cbを出力する。107はYC処理部であり，アパーチャ処理などを行って画像データを出力する。108は背面モニタなどの表示部であり，画像データをスルー画像として表示する。109は圧縮符号化部であり，画像データをMPEGまたはJPEGフォーマットに圧縮符号化する。

次に，本撮影装置のAE（自動露出）機能について説明する。システム制御部112はAE機能の全体的な制御を行う。システム制御部112は，ゲイン調整部105から出力されたRAWデータを入力とし，RAWデータのうち被写体像に相当する画像データに基づいて，絞り値およびシャッタスピードを決定し，またゲイン制御を行う。絞り値については，光学系制御部110に信号を送信し，光学系101の絞りを制御する。シャッタスピードについては，センサ制御部111に信号を送信し，センサ102の電荷堆積時間を制御する。ゲイン制御については，ゲイン調整部105に信号を送信することで制御を行う。被写体像は，たとえばユーザがオートフォーカス時に指定した顔の領域である。以上の処理は公知であるので，詳細な説明は省略する。

最後に，113は伝送処理部であり，撮影装置のメモリ（図示せず）に記録された画像などのデータを，SDカードなどの記録媒体に書き込む処理や，優先または無線のケーブルまたはネットワークを介して，他の機器に送信する処理を行う。

図2は，本実施例に係る動画ファイルの構成図である。200は動画ファイルである。201は動画ファイルヘッダであり，動画撮影時間，各フレームの幅および高さ，フレームレートなど動画全体で共通の情報をメタデータとして記録している。202，204，206はフレームヘッダであり，フレームを一意に識別する情報，各フレームの撮影日時，焦点距離，絞り値，シャッタスピードなど，フレームごとに異なりうる情報をメタデータとして記録している。203，205，207はフレームデータであり，圧縮符号化された画像データを記録している。

図3は，本実施例に係る撮影装置において，被写体像が急激に暗い状態から明るい状態に変換した時のAE動作を説明する図である。この図の横軸は時間軸であり，左から右にいくにつれて時間が経過する。

301は，各フレームの露光時間（たとえば1/60秒）を単位とする時間の経過である。以下では，この単位を1V時間と呼ぶ。302は，光学系101が受光した被写体像の光の明るさを表す。t=1のとき被写体像は暗いが，t≧2では被写体像が明るくなった場合を想定する。303は，システム制御部112によるAE制御処理を表す。t=2で被写体像が明るくなったとき，センサ102が被写体像の光を蓄えるのに1V時間要する。t=3のとき，AD変換部103はセンサ102に堆積した電荷を読み出し，デジタル信号に変換する。t=4のとき，補正部104は，デジタル信号についてキズ補正および光学補正を行う。t=5のとき，ゲイン調整部105は，ゲインの調整を行う。t=6のとき，ここで得られるRAWデータを基に，システム制御部112は，被写体像が明るくなったことを検出し，AEを制御する。

304は，撮影装置の露出を表す。説明を簡単にするため，ここでは露出を調整するための絞り値・シャッタスピード・ゲイン調整をまとめて扱い，かつ露出の変更は1V時間以内に可能とする。上記のように，システム制御部112は，t=2で被写体像が明るくなったことを，4V時間後のt=6で検出し，AEを制御する。そのため，t=7の時点で，露出が変化する。

305は，システム制御部112に入力される被写体像の明度である。t=1でセンサ102が受光した暗い被写体光は，4V時間後のt=6でシステム制御部112に入力される。そのため，t≦5では，システム制御部112に入力される被写体像の明度は「適正」（撮影装置の露出が，このときの被写体の明度に適した設定になっているため）である。実際に露出が変更されるのはt=7のときなので，t=2〜6でセンサ102が受光した明るい被写体光は，露出が変更されないまま4V時間後のt=6〜10でシステム制御部112に入力される。そのため，システム制御部112に入力される被写体像の明度は，308のように「適正より明るい」となる。以下では，308を被写体明度と呼ぶ。t≧11では，前述のようにt=6の時点でシステム制御部112が明るい被写体に適した露出に変更するので，システム制御部112に入力される被写体像の明度は，309のように「適正」となる。以下では，309を被写体適正明度と呼ぶ。

306は，撮影装置のメモリに記録される静止画における，被写体像の明度を表す。本実施例においては，システム制御部112に入力されたRAWデータをそのまま静止画として記録するため，t=6〜10の時点では静止画における被写体像は「適正より明るい」となり，それ以外の時点では静止画における被写体像は「適正」となる。

307は，撮影装置のメモリに記録される動画における，被写体像の明度を表す。前述のように，動画において被写体明度が急激に変化すると，人間の目には不自然な動画に映ってしまう。そこで，本実施例に係る撮影装置では，t=11〜18で示すように，被写体明度を，8V時間かけて緩やかに線形に変化させることで，人間の目に自然な動画を作成する。この方法については下記で説明する。308は，後述する動画補正カウンタの値である。これについても下記で説明する。

図4は，本実施例に係る撮影装置が動画撮影モードに設定されている場合の，撮影装置の動作を表すフローチャートである。このモードでは，撮影装置はユーザの撮影開始指示を受け付けると動画の撮影を開始し，ユーザの撮影終了指示を受け付けると動画の撮影を終了して，動画ファイルを生成する。また，動画の撮影中，ユーザの静止画撮影指示を受け付けると，その時に撮影している画像をもとに静止画ファイルを生成する。
まず，撮影装置が動画撮影モードに設定されたときの撮影装置の動作を，図4(a)のフローチャートを用いて説明する。処理開始後，S401で撮影開始指示を受け付けたかどうかを判定する。受け付けていない場合はS401に戻る。受け付けた場合S402に進み，動画撮影を行う。この処理は図3(b)を用いて後述する。S403に進み，撮影装置のメモリ内にある動画および静止画を，ファイルとしてSDカードに記録する。そして処理を終了する。

次に，S402の処理を，図4(b)のフローチャートを用いて説明する。処理開始後，S411で，システム制御部112に入力された被写体像の明度（以下被写体明度と呼ぶ）を求める。具体的には，たとえば，ユーザがオートフォーカス設定時に指定した顔を，顔検出技術によって検出し，顔領域の画素の平均値を算出して被写体明度とする。 S412に進み，露出変更が必要かどうかを判定する。具体的には，被写体明度が，所定の範囲内に収まっているかどうかで判定する。露出変更が必要でなければS419に進む。露出変更が必要であればS413に進み，所定の値以上の露出変更が必要かどうかを判定する（たとえば図2におけるt=5の時点）。

必要でなければS417に進む。所定の値以上の露出変更が必要であればS414に進み，撮影装置の入力部（図示せず）から，ユーザからの静止画撮影指示を受け付けているかどうかを判定する。受け付けていなければS417に進む。受け付けていれば，S415に進み，露出を高速で変更するよう，光学系制御部110，センサ制御部111およびゲイン調整部105を制御する。

これによって，露出を急激に変化させ，静止画における被写体像の明度を適正にすることができる。次にS416に進み，動画補正カウンタの値を13に設定する。13に設定する理由は，上記で図2を用いて説明したように，システム制御部112が露出の変更を指示してから，実際に露出変更されたRAWデータがシステム制御部112に入力されるまでに5V時間要することと，動画における被写体明度を8V時間かけて緩やかに変化させることから，8+5=13となるためである。そしてS420に進む。

一方，S418では，通常の動画撮影と同じく，露出を低速で変更するよう光学系制御部110，センサ制御部111およびゲイン調整部105を制御する。この理由は，静止画を同時撮影していなければ露出を急激に変化させる必要がないからであり，静止画を同時撮影している場合でも被写体像の明度変化がわずかであれば露出を低速で変化させても，静止画を適正露出で記録するのに問題ないからである。S419に進み，動画補正カウンタの値が8かどうかを判定する（図2におけるt=11の時点）。値が8でなければS421に進む。

値が8であればS420に進み，被写体適正明度を求める。ここで，被写体適正明度は，S411で被写体明度を求めたのと同じ方法で求めることができる。S421に進み，S414と同様の手段で，ユーザからの静止画撮影指示を受け付けているかどうかを判定する。受け付けていなければS425に進む。受け付けていればS422に進み，デフォルトの現像パラメータを用いて，RAWデータから静止画を生成してメモリに記録する。S423に進み，動画補正カウンタの値が1以上8以下であるかどうかを判定する。1以上8以下でなければS426に進み，現像処理部106において，デフォルトの調整パラメータで動画フレームの現像を行い，S427に進む。

1以上8以下であればS424に進み，被写体明度，被写体適正明度および動画補正カウンタから，現像パラメータを算出する。たとえば，以下の計算式を使用し，現像パラメータとして輝度の変化量を表すΔYを算出する。

S425に進み，現像処理部106において，S423で算出した現像パラメータを用いて動画フレームの現像を行う。たとえば，画像データのすべての画素において，上記ΔYだけ輝度を変化させるなどの処理を行う。S427に進み，動画補正カウンタの値が0より大きければ，その値を1減らす。 S428に進み，圧縮符号化部109によって該フレームを圧縮符号化し，メモリに記録する。S429に進み，撮影終了指示を受け付けたかどうか判定する。受け付けていなければS411に戻る。受け付けていれば処理を終了する。

なお，S413において，システム制御部112は，被写体の明度の単位時間あたりの変化量が，所定の値より大きいかどうかによって，被写体の明度の変化が所定の値より大きいかどうかを判定するようにしてもよい。

また，S416において，動画補正カウンタの値として，既定値である13を設定すると説明したが，他の実施形態であってもよい。たとえば，あらかじめユーザが入力した値を，動画補正カウンタの値として設定するようにしてもよい。あるいは，被写体明度と被写体適正明度の差に応じて，動画補正カウンタの値を決定することによって，適切な時間をかけて動画を補正する実施形態であってもかまわない。また，動画における被写体像の明度が非線形に変化する形態であってもかまわない。この場合，どのように変化するかをあらかじめユーザが入力するようにしてもよい。

また，本実施例においては，静止画は適正な明度で記録されているが，動画は人間の目に自然に映るようにするため，適正でない明度で記録されているフレームが存在する。そのため，図2で説明したフレームヘッダに，そのフレームの明度が適正であるかどうか区別できるような情報を記録してもよい。それによって，たとえば，動画再生中に一時停止した場合，その時点で再生していたフレームに対応する適正な明度の静止画を代替として表示することができる。

以上のような本実施例の構成によれば，撮影装置は，高速で露出を変えて静止画ファイルを記録する手段と，動画のフレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら動画ファイルを生成する手段を有するため，撮影時に被写体の明度が急激に変化したときでも，適正な明るさの静止画と自然に見える動画を同時に記録することができる。

［実施例2］
以下，本発明の別の実施形態を，添付画面に従い詳細に説明する。実施例1における撮影装置は，撮影中に，動画のフレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら動画ファイルを生成するものであった。しかし，本発明は，撮影装置で撮影中に調整パラメータを制御しながら動画ファイルを生成する形態に限定されるものではない。本実施例では，撮影装置および画像処理装置から成るシステムにおいて，撮影終了後に動画ファイルを画像処理装置に伝送し，画像処理装置において動画のフレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら動画ファイルを再調整するシステムについて説明する。

図5は，本実施例に係るシステムのブロック図である。500は撮影装置である。撮影装置のブロック図は，図1で説明したものと同一であるため，説明を省略する。510はPCなどの画像処理装置である。CPU511は画像処理装置510全体の制御を行う。操作部512はユーザからの入力を受け付けるキーボードやマウスである。表示部513は各種情報を表示するディスプレイである。記録部514は，画像処理装置510の制御処理を行うためのプログラムやデータなどを記録するハードディスクまたはSSDである。通信部515は，USBなどの有線ケーブルや，ワイヤレスLANなどの無線回線を介して，撮影装置500など外部機器と通信し，情報を転送する。バス516は，511〜515のブロック間でデータを転送する。

図6は，本実施例に係る撮影装置500が動画撮影モードに設定されている場合の，システムの動作を表すフローチャートである。撮影装置500が動画撮影モードに設定されたときの基本的な動作は，図4(a)のフローチャートと同じなので，説明を省略する。
図6(a)は，本実施例に係る処理S302の詳細な処理を説明する。S411〜S420の処理は，図4を用いて説明済みであるので，ここでは説明を省略する。S420が終了すると，S601に進み，現像処理部106によって，デフォルトの調整パラメータで動画フレームの現像を行う。

S602に進み，圧縮符号化部109によって，該フレームを圧縮符号化し，メモリに記録する。S603に進み，ユーザからの静止画撮影指示を受け付けているかどうかを判定する。受け付けていなければS608に進む。受け付けていればS604に進み，デフォルトの現像パラメータを用いて，RAWデータから静止画を生成してメモリに記録する。S605に進み，動画補正カウンタの値が1以上8以下であるかどうかを判定する。1以上8以下でなければS608に進む。1以上8以下であればS606に進み，該当するフレームのヘッダに，被写体明度，被写体適正明度，動画補正カウンタ，被写体像の位置，被写体像の幅および高さを記録する。S607に進み，動画補正カウンタの分子の値が0より大きければ，その値を1減らす。S608に進み，撮影終了指示を受け付けたかどうか判定する。受け付けていなければS311に戻る。受け付けていれば処理を終了する。

図6(b)は，画像処理装置410が動画ファイルをオープンした時の動作を表すフローチャートである。この処理を開始するタイミングは，ユーザが指示した時でもよいし，撮影装置400を画像処理装置410に接続した時でもよい。処理を開始すると，まずS651で動画ファイルをオープンする。S652に進み，動画ファイルの先頭フレームから末尾フレームまでループを開始する。S653に進み，該フレームのフレームヘッダに，動画補正カウンタなどのS606で記録した情報が存在するかどうかを判定する。存在していなければS658に進む。存在していればS654に進み，フレームヘッダからS606で記録した情報を読み出す。S655に進み，読み出した情報を基に調整パラメータを算出する。

調整パラメータの算出方法は，実施例1で説明した方法と同様である。S656に進み，該フレームのフレームデータを読み出す。S657に進み，S655で算出した調整パラメータを用いてフレームデータを修正する。修正方法は，実施例1で説明した方法と同様である。S658に進み，修正したデータを動画ファイルに上書きする。S659に進み，ループを終了する。S660に進み，動画ファイルをクローズする。そして処理を終了する。

なお，画像処理装置410は，動画再生時に，図6(b)を用いて説明した処理を行い，必要なフレームをレタッチして再生する形態であってもよい。また，上記のようなシステムではなく，撮影装置において，動画撮影中に図6(a)を用いて説明した処理を行って動画ファイルをSDカードに記録し，撮影終了後に調整パラメータを制御しながら動画ファイルを修正するようにしてもよい。

なお，本実施例においては，静止画は適正な明度で記録されているが，動画は人間の目に自然に映るようにするため，適正でない明度で記録されているフレームが存在する。そのため，図2で説明したフレームヘッダに，そのフレームの明度が適正であるかどうか区別できるような情報を記録してもよい。それによって，たとえば，動画再生中に一時停止した場合，その時点で再生していたフレームに対応する適正な明度の静止画を代替として表示することができる。

以上のような本実施例の構成によれば，撮影装置は高速で露出を変えて静止画ファイルおよび動画ファイルを記録する手段を有し，画像処理装置は動画のフレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら動画ファイルをレタッチする手段を有するため，撮影時に被写体の明度が急激に変化したときでも，撮影中の撮影装置に過度な負荷をかけることなく，適正な明るさの静止画と自然に見える動画を生成することができる。

［実施例3］
以下，本発明の別の実施形態を，添付画面に従い詳細に説明する。実施例1における撮影装置は，撮影中に，動画のフレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら動画ファイルを生成するものであった。しかし，本発明は，撮影装置で撮影中に調整パラメータを制御しながら動画ファイルを生成する形態に限定されるものではない。本実施例では，撮影中に，動画のフレーム間の被写体の明度の変化が緩やかになるように露出を変更するとともに，静止画を適正な明度に再調整して記録する撮影装置について説明する。

本実施形態に係る撮影装置のブロック図は，実施例1と同じであるので説明を省略する。

図7は，本実施例に係る撮影装置において，被写体像が急激に暗い状態から明るい状態に変換した時のAE動作を説明する図である。701〜703は，図3の301〜303と同様であるので，説明を省略する。

704は，撮影装置の露出を表す。システム制御部112は，t=2で被写体像が明るくなったことを，4V時間後のt=6で検出し，AEを制御する。そのため，t=7の時点から8V時間をかけて，露出が緩やかに変化する。

705は，システム制御部112に入力される被写体像の明度である。t=1でセンサ102が受光した暗い被写体光は，4V時間後のt=6でシステム制御部112に入力される。そのため，t≦5では，システム制御部112に入力される被写体像の明度は「適正」（撮影装置の露出が，このときの被写体の明度に適した設定になっているため）である。実際に露出が変更されるのはt=7のときなので，t=2〜6でセンサ102が受光した明るい被写体光は，露出が変更されないまま4V時間後のt=6〜10でシステム制御部112に入力される。

そのため，システム制御部112に入力される被写体像の明度は，308のように「適正より明るい」となる。以下では，308を被写体明度と呼ぶ。t≧11では，前述のようにt=6の時点からシステム制御部112が明るい被写体に適した露出に緩やかに変更するので，システム制御部112に入力される被写体像の明度は，309のように緩やかに変化する。

706は，撮影装置のメモリに記録される静止画における，被写体像の明度を表す。本実施例においては，システム制御部112が現像処理部106を制御してRAWデータを調整し，適切な被写体明度の静止画として記録するため，t=6〜10の時点では静止画における被写体像は「適正より明るい」となり，それ以外の時点では静止画における被写体像は「適正」となる。

707は，撮影装置のメモリに記録される動画における，被写体像の明度を表す。本実施例においては，システム制御部112に入力されたRAWデータをそのまま動画として記録するため，t=11〜18で示すように，被写体明度が，8V時間かけて緩やかに線形に変化し，人間の目に自然な動画を作成する。この方法については下記で説明する。708は，308と同様，後述する動画補正カウンタの値である。

図8は，本実施例に係る撮影装置が動画撮影モードに設定されている場合の，撮影装置の動作を表すフローチャートである。撮影装置が動画撮影モードに設定されたときの基本的な動作は，図4(a)のフローチャートと同じなので，説明を省略し，処理S302の詳細について以下で説明する。

処理開始後，S801で，システム制御部112に入力された被写体像の明度（以下被写体明度と呼ぶ）を求める。S802に進み，露出変更が必要かどうかを判定する。必要でなければS804に進む。必要であればS803に進み，動画補正カウンタの値を13に設定する。13に設定する理由は，実施例1と同じである。S804に進み，動画補正カウンタの値が1以上8以下であるかどうかを判定する。1以上8以下でなければS806に進む。1以上8以下であればS805に進み，光学系制御部110，センサ制御部111およびゲイン調整部105を制御して，露出を変更する。

S806に進み，撮影装置の入力部（図示せず）から，ユーザからの静止画撮影指示を受け付けているかどうかを判定する。受け付けていなければS812に進む。受け付けていればS807に進み，動画補正カウンタの値が1以上8以下であるかどうかを判定する。1以上8以下であればS808に進み，被写体明度，被写体適正明度および動画補正カウンタから，現像パラメータを算出する。算出方法は，実施例1で説明した方法と同様であるので説明を省略する。S809に進み，現像処理部106において，S808で算出した現像パラメータを用いて静止画の現像を行う。

現像方法は，実施例1で説明した方法と同様であるので説明を省略する。そしてS811に進む。一方，S807で，動画補正カウンタの値が1以上8以下でないと判定した場合はS810に進み，現像処理部106において，デフォルトのパラメータを用いて静止画の現像を行う。S811に進み，現像した静止画をメモリに記録する。S812に進み，現像処理部106において，デフォルトのパラメータを用いて動画フレームの現像を行う。S813に進み，動画補正カウンタの値が0より大きければ，その値を1減らす。S814に進み，圧縮符号化部109によって該フレームを圧縮符号化し，メモリに記録する。S815に進み，撮影終了指示を受け付けたかどうか判定する。受け付けていなければS801に戻る。受け付けていれば処理を終了する。

なお，S802において，システム制御部112は，被写体の明度の単位時間あたりの変化量が，所定の値より大きいかどうかによって，被写体の明度の変化が所定の値より大きいかどうかを判定するようにしてもよい。

また，S803において，動画補正カウンタの値として，既定値である13を設定すると説明したが，他の実施形態であってもよい。たとえば，あらかじめユーザが入力した値を，動画補正カウンタの値として設定するようにしてもよい。あるいは，被写体明度と被写体適正明度の差に応じて，動画補正カウンタの値を決定することによって，適切な時間をかけて動画を補正する実施形態であってもかまわない。また，動画における被写体像の明度が非線形に変化する形態であってもかまわない。この場合，どのように変化するかをあらかじめユーザが入力するようにしてもよい。

また，本実施例においては，静止画は適正な明度で記録されているが，動画は人間の目に自然に映るようにするため，適正でない明度で記録されているフレームが存在する。そのため，図2で説明したフレームヘッダに，そのフレームの明度が適正であるかどうか区別できるような情報を記録してもよい。それによって，たとえば，動画再生中に一時停止した場合，その時点で再生していたフレームに対応する適正な明度の静止画を代替として表示することができる。

以上のような本実施例の構成によれば，撮影装置は，緩やかに露出を変えて動画ファイルを記録する手段と，適切な被写体明度になるよう調整パラメータを制御しながら静止画ファイルを生成する手段を有するため，撮影時に被写体の明度が急激に変化したときでも，適正な明るさの静止画と自然に見える動画を同時に記録することができる。

以上，本発明をその好適な実施形態に基づいて詳述してきたが，本発明はこれら特定の実施形態に限られるものではなく，この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また，上述の実施形態の機能を実現するソフトウェアのプログラムを，記録媒体から直接，或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し，そのプログラムを実行する場合も本発明に含む。

従って，本発明の機能処理をコンピュータで実現するために，該コンピュータに供給，インストールされるプログラムコード自体も本発明を実現するものである。つまり，本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合，プログラムの機能を有していれば，オブジェクトコード，インタプリタにより実行されるプログラム，OSに供給するスクリプトデータ等，プログラムの形態を問わない。

プログラムを供給するための記録媒体としては，例えば，ハードディスク，磁気テープ等の磁気記録媒体，光／光磁気記憶媒体，不揮発性の半導体メモリでもよい。

また，プログラムの供給方法としては，コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し，接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

101 光学系
102光電変化センサ（以下センサと呼ぶ）
103 AD変換部
104 補正部
105 ゲイン調整部
106 現像処理部
107 YC処理部
108 表示部
109 圧縮符号化部
110 光学系制御部
111 センサ制御部
112 システム制御部
113 伝送処理部

Claims (10)

1. 同時に撮影された静止画ファイルと動画ファイルの両方を記録する撮影装置において，
   被写体を撮影する撮影手段と，
   前記撮影手段を制御する制御手段と，
   前記撮影手段で撮影した画像データから，静止画ファイルを生成する静止画生成手段と，
   前記撮影手段で撮影した画像データから，動画ファイルを生成する動画生成手段と，
   被写体の明度の変化が所定の値より大きいかどうかを判定する判定手段と，
   前記静止画生成手段で生成した静止画ファイルおよび前記動画生成手段で生成した動画ファイルを記録する記録手段を有し，
   前記判定手段が，被写体の明度の変化が所定の値より大きいと判定した場合，
   前記制御手段は前記静止画ファイルにおける被写体の明度が適正になるよう高速で前記撮影手段の露出を変え，
   前記動画生成手段は，前記撮影手段が高速で露出を変えた場合でも，フレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら前記動画ファイルを生成することを特徴とする撮影装置。
2. 同時に撮影された静止画ファイルと動画ファイルの両方を記録する撮影装置および，前記静止画ファイルおよび前記動画ファイルを表示または再生する画像処理装置から成るシステムにおいて，
   前記撮影装置は
   被写体を撮影する撮影手段と，
   前記撮影手段を制御する制御手段と，
   前記撮影手段で撮影した画像データから，静止画ファイルを生成する静止画生成手段と，
   前記撮影手段で撮影した画像データから，動画ファイルを生成する動画生成手段と，
   被写体の明度の変化が所定の値より大きいかどうかを判定する判定手段と，
   前記静止画生成手段で生成した静止画ファイルおよび前記動画生成手段で生成した動画ファイルを記録する記録手段を有し，
   前記制御手段は前記静止画ファイルにおける被写体の明度が適正になるよう高速で前記撮影手段の露出を変えることを特徴とし，
   前記記録手段は，前記判定手段が，被写体の明度の変化が所定の値より大きいと判定した場合，該フレームを識別するための識別情報を記録することを特徴とし，
   前記画像処理装置は，
   前記識別情報に基づいて，フレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら前記動画ファイルを再調整することを特徴とする画像処理装置。
3. 同時に撮影された静止画ファイルと動画ファイルの両方を記録する撮影装置および，前記静止画ファイルおよび前記動画ファイルを表示または再生する画像処理装置から成るシステムにおいて，
   前記撮影装置は
   被写体を撮影する撮影手段と，
   前記撮影手段を制御する制御手段と，
   前記撮影手段で撮影した画像データから，静止画ファイルを生成する静止画生成手段と，
   前記撮影手段で撮影した画像データから，動画ファイルを生成する動画生成手段と，
   被写体の明度の変化が所定の値より大きいかどうかを判定する判定手段と，
   前記静止画生成手段で生成した静止画ファイルおよび前記動画生成手段で生成した動画ファイルを記録する記録手段を有し，
   前記制御手段は前記静止画ファイルにおける被写体の明度が適正になるよう高速で前記撮影手段の露出を変えることを特徴とし，
   前記記録手段は，前記判定手段が，被写体の明度の変化が所定の値より大きいと判定した場合，該フレームを識別するための識別情報を記録することを特徴とし，
   前記画像処理装置は，
   前記識別情報に基づいて，フレーム間の被写体の明度の変化が緩やかになるように調整パラメータを制御しながら前記動画ファイルを再生することを特徴とする画像処理装置。
4. 同時に撮影された静止画ファイルと動画ファイルの両方を記録する撮影装置において，
   被写体を撮影する撮影手段と，
   前記撮影手段を制御する制御手段と，
   前記撮影手段で撮影した画像データから，静止画ファイルを生成する静止画生成手段と，
   前記撮影手段で撮影した画像データから，動画ファイルを生成する動画生成手段と，
   被写体の明度の変化が所定の値より大きいかどうかを判定する判定手段と，
   前記静止画生成手段で生成した静止画ファイルおよび前記動画生成手段で生成した動画ファイルを記録する記録手段を有し，
   前記判定手段が，被写体の明度の変化が所定の値より大きいと判定した場合，
   前記制御手段は前記動画ファイルにおけるフレーム間の被写体の明度の変化が緩やかになるように前記撮影手段の露出を変え，
   前記静止画生成手段は，前記撮影手段が高速で露出を変えた場合でも，前記静止画ファイルにおける被写体の明度が適正になるように調整パラメータを制御しながら前記静止画ファイルを生成することを特徴とする撮影装置。
5. 請求項1乃至4のいずれか１項に記載の装置またはシステムにおいて，前記静止画ファイルは，RAWファイルであることを特徴とする装置またはシステム。
6. 請求項1乃至4のいずれか１項に記載の装置またはシステムにおいて，前記判定手段は，被写体の明度の単位時間あたりの変化量が，所定の値より大きいかどうかによって，被写体の明度の変化が所定の値より大きいかどうかを判定することを特徴とする装置またはシステム。
7. 請求項1乃至4のいずれか１項に記載の装置またはシステムにおいて，前記撮影装置は，前記撮影手段が高速で露出を変えた場合，前記動画生成手段が調整パラメータを制御するフレーム数や，変化のしかたをユーザから受け付ける入力受け付け手段を有し，
   前記動画生成手段は，前記入力受け付け手段が受け付けた情報に従って，調整パラメータを制御することを特徴とする装置またはシステム。
8. 請求項1乃至4のいずれか１項に記載の装置またはシステムにおいて，前記動画作成手段は，被写体の明度の変化量に応じて，調整パラメータを制御するフレーム数を決定することを特徴とする装置またはシステム。
9. 請求項1乃至4のいずれか１項に記載の装置またはシステムにおいて，前記記録手段は，静止画と動画のどちらが適正露出かを記録することを特徴とする装置またはシステム。
10. 請求項1乃至9のいずれか１項に記載された装置およびシステムを実現するためのプログラム，プログラムを記載したコンピュータ読み取り可能な記憶媒体，および方法。