JP2006080892A - 画像記録再生装置 - Google Patents

Abstract

【課題】動画像から静止画像を抽出したときにも適切なホワイトバランスや露出が得られる画像記録再生装置を提供すること。
【解決手段】再生中の動画像に対し、静止画像の抽出指示がなされると、メモリカード１７から抽出するフレーム画像データが取得され（ステップＳ１２）、抽出されたフレーム画像データに対応するＷＢデータが取得される（ステップＳ１３）。そして、フレーム画像データが逆階調補正されて（ステップＳ１４）、この逆階調補正されたフレーム画像データがＷＢデータに基づいて補正される（ステップＳ１８、ステップＳ１９）。その後、得られたフレーム画像データがメモリカード１７に記録される（ステップＳ２２）。
【選択図】 図７

Description

本発明は、画像記録再生装置に関し、特に動画像の一部を静止画像として記録可能な画像記録再生装置に関する。

デジタルスチルカメラやデジタルムービーカメラなどの画像記録再生装置では高画素化が進んできており、動画像から静止画像を抽出しても高画質の画像を得ることができるようになってきている。例えば、特許文献１においては、再生中の動画像から、ユーザによって指定された静止画像を抽出してメモリカード等に記録する画像記録再生装置が提案されている。
特開２０００−２３０７９号公報

ここで、動画像を再生することができるデジタルスチルカメラやデジタルムービーカメラにおいては、画像のホワイトバランスや露出が急激に変化するのを防ぐために、動画像再生時におけるホワイトバランス制御や露出制御においてヒステリシス制御がなされているのが一般的である。このため、静止画抽出時の露出やホワイトバランスは必ずしも適正な状態になっているとは限らない。

本発明は、上記の事情に鑑みてなされたもので、動画像から静止画像を抽出したときにも適切なホワイトバランスや露出が得られる画像記録再生装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による画像記録再生装置は、少なくともホワイトバランス情報が付加された動画像を再生する動画再生手段と、前記動画像再生手段によって再生された動画像の一部を静止画像として抽出する静止画抽出手段と、前記静止画抽出手段によって抽出された前記静止画像のホワイトバランスを、前記ホワイトバランス情報に応じて修正するホワイトバランス修正手段と、前記ホワイトバランス修正手段によって修正された前記静止画像を記録する静止画記録手段とを具備することを特徴とする。

この第１の態様によれば、ホワイトバランス情報に基づいて動画像から抽出された静止画像を修正するようにしているので、動画像から静止画像を抽出したときにも適切なホワイトバランスの画像を得ることができる。

また、上記の目的を達成するために、本発明の第２の態様による画像記録再生装置は、少なくとも露出情報が付加された動画像を再生する動画再生手段と、前記動画像再生手段によって再生された動画像の一部を静止画像として抽出する静止画抽出手段と、前記静止画抽出手段によって抽出された前記静止画像の露出を、前記露出情報に応じて修正する露出修正手段と、前記露出修正手段によって修正された前記静止画像を記録する静止画記録手段とを具備することを特徴とする。

この第２の態様によれば、露出情報に基づいて動画像から抽出された静止画像を修正するようにしているので、動画像から静止画像を抽出したときにも適切な露出の画像を得ることができる。

本発明によれば、動画像から静止画像を抽出したときにも適切なホワイトバランスや露出が得られる画像記録再生装置を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像記録再生装置の一例としてのデジタルカメラ（以下、カメラと称する）の構成を示すブロック図である。図１のカメラは動画像再生及び動画像記録が可能なカメラを想定している。

図１において、撮影レンズ１は、図示しない被写体からの光束を所定の結像面上に結像させる。絞り２は、撮影レンズ１の光軸上に配置され、撮影レンズ１を介して入射した光束の入射光量を調節する。ＣＣＤ３は、撮影レンズ１の結像面上に配置され、入射光束を光電変換することにより画像信号を得る。タイミングジェネレータ（ＴＧ）４は、ＣＣＤ３で得られた画像信号の読み出しタイミングを制御する。

アンプ５は、ＣＣＤ３から読み出された画像信号を所定のゲインで増幅する。アナログ/デジタル（Ａ/Ｄ）変換回路６は、アンプ５からの出力画像信号をデジタル変換して画像データを得る。ＡＥ，ＡＦ，ＡＷＢ回路７は、Ａ/Ｄ変換回路６の出力画像データに基づいて、露出（ＡＥ）検出、焦点（ＡＦ）検出、及びホワイトバランス（ＡＷＢ）検出を行う。

ＣＰＵ８は、本カメラの全制御を司る制御部であり、ＡＥ，ＡＦ，ＡＷＢ回路７で得られたＡＥ情報に基づいて絞り２やＴＧ４を駆動制御してＣＣＤ３の露出を制御する露出制御を行ったり、ＡＥ，ＡＦ，ＡＷＢ回路７で得られたＡＦ情報に基づいて撮影レンズ１の合焦制御を行ったりする。更にＣＰＵ８は、画像データを記録媒体に記録させる際の記録制御なども行う。

ホワイトバランス修正手段及び露出修正手段としての機能を有するカメラ信号処理回路９は、Ａ/Ｄ変換回路６の出力画像データに基づいてホワイトバランス（ＷＢ）処理や階調補正処理などの各種画像処理を行う。例えば、ホワイトバランス処理においては、ＡＥ，ＡＦ，ＡＷＢ回路７において算出されたホワイトバランス（ＷＢ）情報に従って画像データのゲイン調整が行われる。また、階調補正処理においては、入力された画像データの階調が所定の階調特性により補正される。

バス１０は、Ａ/Ｄ変換回路６の出力画像データやカメラ信号処理回路９において画像処理された後の画像データなどの他、各種データを転送するためのデータ転送路である。このバス１０には、ＣＰＵ８、カメラ信号処理回路９、ＪＰＥＧ処理回路１１、メモリコントローラ１２、表示回路１４、メモリカードインターフェイス（Ｉ/Ｆ）１６、ＰＣインターフェイス（Ｉ/Ｆ）１８が接続されている。

ＪＰＥＧ処理回路１１は、カメラ信号処理回路９において処理された画像データのＪＰＥＧ圧縮処理及びＪＰＥＧ圧縮された画像データのＪＰＥＧ展開処理を行う回路である。メモリコントローラ１２は、ＤＲＡＭ１３へのデータの記憶制御を行う回路である。表示回路１４は、ＬＣＤ１５に撮影画像を表示させる際の制御を行う回路である。メモリカードＩ/Ｆ１６は、本カメラに対して着脱自在に構成されたメモリカードなどの記憶媒体（以下、メモリカードと称する）１７に画像ファイル等を記憶させる際の記憶制御を行う回路である。ＰＣＩ/Ｆ１８は、本カメラと本カメラ外部のＰＣ１９との通信を仲介するための回路である。

ストロボ２０は、被写体が低照度の時などに被写体を照明するためのものであり、光源とその光源駆動回路から構成されている。

入力キー２１は、カメラの電源をＯＮするための電源ボタンや撮影を開始させるためのレリーズボタン、再生中の動画像から静止画像を抽出するように指示を送るためのボタン等が含まれる操作キー群である。

このような構成を有するカメラにおいて、特に動画像撮影時には、ＣＣＤ３により撮像されて得られた画像信号がアンプ５で増幅された後、Ａ/Ｄ変換回路６によってデジタルの画像データに変換され、カメラ信号処理回路９において画像処理がなされる。同時にＡ/Ｄ変換回路６から出力された画像データは、ＡＥ，ＡＦ，ＡＷＢ回路７に入力され、ＡＥ，ＡＦ，ＡＷＢ回路７において動画像用のＡＥ情報、ＡＦ情報、及びＷＢ情報が得られる。ＡＥ情報はＴＧ４にフィードバックされて次のフレームにおける露出制御に反映される。また、ＡＦ情報は撮影レンズ１にフィードバックされ次のフレームにおける撮影レンズ１の焦点制御に反映される。更に、ＷＢ情報はカメラ信号処理回路９にフィードバックされてホワイトバランスのＲゲインやＢゲインの調整がなされる。ここで、動画像撮影時においては、ハンチングや、急激な変化を防ぐために、ＡＥ，ＡＦ，ＷＢ情報にヒステリシスを持たせて次のフレームに反映させるようにしている。

カメラ信号処理回路９から出力された動画像データはＪＰＥＧ処理回路１１においてＪＰＥＧ圧縮された後、動画像ファイルとしてメモリカード１７に記録される。

図２は、動画像撮影におけるヒステリシス制御について説明するための図である。ここでは、ホワイトバランスにおけるヒステリシス制御について説明するが、露出などにおけるヒステリシス制御もホワイトバランスの場合と同様にして行われる。

図２において、横軸はフレーム数（１フレーム＝１/３０ｓｅｃ）を示し、縦軸はＷＢ情報の大きさを示す。ここで、ＷＢ情報は、ホワイトバランスＲゲインとホワイトバランスＢゲイン（以下、それぞれＲゲイン及びＢゲインと称する）を含む情報であるが、図２では、Ｒゲインのみを示している。

また、図２の実線１０１は動画像撮影によって得られた画像データから、ＡＥ，ＡＦ，ＡＷＢ回路７において検出されたＲゲインを示す。図２の例では３フレーム毎にＷＢゲインが検出され、その結果が反映されている。また、図２の破線１０２はヒステリシス制御が行われ、実際の動画像生成時に使用されるＲゲインについて示している。

図２に示す期間Ａでは、ＷＢゲインの検出が行われず、このためヒステリシス制御も行われない。

図２に示す期間Ｂでは、３フレーム目と６フレーム目においてＷＢゲインが検出されて、その結果が動画像生成時に反映される。これにより、検出結果のＷＢゲイン（実線１０１）に対して、動画像生成時に使用されるＷＢゲイン（破線１０２）は、緩やかに変化する。

図２に示す期間Ｃでは、９フレーム目と１２フレーム目においてＷＢゲインが検出されて、その結果が動画像生成時に反映される。ここで、ヒステリシス制御においては、ＷＢゲインの微小な変化に対しては追従しないようになっているので、期間Ｃでは期間ＢのＷＢゲインがそのまま使用される。

図２に示す期間Ｄでは、１５フレーム目においてＷＢゲインが検出されて、その結果が動画像生成時に反映される。期間Ｄにおいても期間Ｂと同様のヒステリシス制御か行われる。

図２に示すように、期間Ｂと期間Ｄではヒステリシス制御が行われている。したがって、期間Ｂと期間Ｄとでは、フレーム画像ごとに検出されたＷＢゲイン（実線１０１）と動画像生成時に実際に使用されたＷＢゲイン（破線１０２）との間のずれが大きいフレームが存在しており、このフレームの画像を静止画像として抽出してしまうと、適正なホワイトバランスの静止画像を得ることができない。このことは、露出などにおいても同様である。

そこで、第１の実施形態では、動画像撮影時に、フレーム画像ごとに検出されたホワイトバランス情報や露出情報（実線１０１に対応する情報）と動画像生成時に実際に使用されたホワイトバランス情報や露出情報（破線１０２に対応する情報）とを、動画像データとともに記録させるようにして、適正な静止画抽出を行うことができるようにする。

図３は、第１の実施形態における動画像撮影時にＤＲＡＭ１３に一時記憶されるデータについて概念的に示した図である。

動画像撮影により、ＣＣＤ３、アンプ５、Ａ/Ｄ６を介して、動画像データが得られると、この動画像データがバス１０を介してＤＲＡＭ１３に記憶される。このとき同時に、上記動画像データの動画情報と、上記動画像データに関する音声情報とがＤＲＡＭ１３のメモリ領域２０１に一旦記憶される。ここで、動画情報は、各フレーム画像のフレーム情報や動画像ストリームのストリーム属性情報等からなる動画ストリーム情報と、動画像再生位置を示す動画位置情報とを含む。また、音声情報は、音声ストリーム情報と音声位置情報とを含む。

更に、各フレーム画像データに関するホワイトバランス（ＷＢ）情報と、露出（ＡＥ）情報とが、ＤＲＡＭ１３のメモリ領域２０２に記憶される。ＤＲＡＭ１３に記憶されるＷＢ情報は、ホワイトバランス（ＷＢ）ゲイン（Ｒゲイン、Ｂゲイン）である。ＤＲＡＭ１３に記憶されるＡＥ情報は輝度値である。

図３において、メモリ領域２０１の終了アドレスとメモリ領域２０２の開始アドレスとの間に空きを空けておくのは、動画情報や音声情報を追記するための領域を設けるためである。

ここで、第１の実施形態では、図３に示すように１フレーム画像データに対する情報として、２種類のＷＢゲインと２種類の輝度値がそれぞれＤＲＡＭ１３に記憶される。即ち、ＷＢゲインとしては、動画像データを構成する各フレーム画像データを生成した際に使用されたＷＢゲイン（図３ではＲゲイン１、Ｂゲイン１と記す）と、動画像データのフレーム画像ごとに検出されたＷＢゲイン（図３ではＲゲイン２、Ｂゲイン２と記す）とがＤＲＡＭ１３に記憶される。また、輝度値としては、動画像データを構成する各フレーム画像データを生成した際に使用された輝度値（図３ではＢｖ値１と記す）と、動画像データのフレーム画像ごとに検出された輝度値（図３ではＢｖ値２と記す）とがＤＲＡＭ１３に記憶される。

ＤＲＡＭ１３に記憶されたデータは、動画像データが動画像ファイルとしてメモリカード１７に記録される際に、該動画像ファイルのフッタ情報として記録される。

図４は、メモリカード１７に記録される動画像ファイルのデータ構造を概念的に示した図である。図４に示すように、動画像ファイルは、サムネール画像などが記録されるヘッダ部３０１と、動画像データが記録される画像データ部３０２と、音声データが記録される音声データ部３０３と、上記した各種情報が記録されるフッタ部３０４とから構成されている。ここで、図４の画像データ部３０２において、動画像データは、所定フレーム分のフレーム画像データが１つの単位（この単位のことはチャンクと呼ばれる）として記録されている。図４の例では、３０フレームが１チャンクとなっており、動画像再生時には１秒間で１チャンク分の画像再生が行われる。このチャンク数は種々の条件に応じて変更可能である。

図５は、動画像撮影時における通常の画像処理の処理手順について示したフローチャートである。

通常画像処理においては、まず、同時化処理が行われ、ベイヤ配列の画像データから補間によってＲＧＢの画像データが生成される（ステップＳ１）。次に動画像用のＷＢ補正及び色補正が行われる（ステップＳ２）。ここでは、画像データに所定のゲインがかけられて画像データが適正な色に補正される。

その後、階調補正が行われる（ステップＳ３）。ここで、ステップＳ３の階調補正では、カメラ信号処理回路９に予め記録された所定の階調特性曲線に従って入力画像データの変換が行われる。図６に階調特性曲線の例を示す。図６の横軸は入力データ値（１０ビット）を示し、図６の縦軸は出力データ値（８ビット）を示す。図６のようにして出力画像データを変換することにより、ＬＣＤ１５などでの画像表示が可能になる。

ステップＳ３の階調補正の後、ＲＧＢ成分の画像データが輝度成分Ｙと色成分Ｕ，Ｖとに変換される（ステップＳ４）。その後、画像データがＪＰＥＧ圧縮される（ステップＳ５）。ここで、動画像撮影時にはフレームごとにＪＰＥＧ画像データが生成され、これらフレームごとに生成されたＪＰＥＧ画像データが図４で示したようなチャンク単位でメモリカード１７に記録される。このようにしてメモリカード１７に記録された動画像が再生される時には、メモリカード１７で読み出されたＪＰＥＧ画像データがＪＰＥＧ処理回路１１においてＪＰＥＧ展開される。表示回路１４では、ＪＰＥＧ処理回路１１においてＪＰＥＧ展開されて得られた画像データに基づいて動画像の表示制御が行われ、その結果ＬＣＤ１５上に動画像の再生が行われる。

図７は、第１の実施形態における静止画抽出処理の処理手順について示したフローチャートである。ここで、第１の実施形態では、静止画抽出処理におけるホワイトバランス（ＷＢ）補正について詳しく説明し、露出（ＡＥ）補正については後の第３の実施形態で説明する。なお、図７のフローチャートは、動画像再生時の任意のフレームにおいて、ユーザによって入力キー２１が操作され、静止画の抽出が指示された場合に、開始されるものである。

図７において、まず抽出するフレーム画像データのチャンク番号とフレーム番号とが取得される（ステップＳ１１）。これは、ユーザによる入力キー２１の操作によって静止画の抽出が指示されたフレーム画像データのフレーム番号とそのフレーム画像データが含まれるチャンクのチャンク番号である。ステップＳ１１において、チャンク番号とフレーム番号とが取得された後、該当するフレーム画像データがメモリカード１７から取得される（ステップＳ１２）。

次に、取得されたフレーム画像データのフッタ情報からＷＢデータ（Ｒゲイン１、Ｒゲイン２、Ｂゲイン１、Ｂゲイン２）が取得される（ステップＳ１３）。そして、取得されたＷＢデータが比較されて、フレーム画像データから検出されたＷＢゲインと動画像生成時に実際に使用されたＷＢゲインとが略一致しているか否かが判定される（ステップＳ１４）。即ち、ステップＳ１４の判定は、ステップＳ１３で取得されたＲゲイン１とＲゲイン２との差、Ｂゲイン１とＢゲイン２との差をそれぞれ比較して、これらの差がともに所定値よりも小さい場合に、ＷＢゲインが略同一であると判定する。

ステップＳ１４の判定において、ＷＢゲインが略一致していない場合には、ステップＳ１４をステップＳ１５に分岐する。そして、ステップＳ１２で取得されたフレーム画像データがＪＰＥＧ展開される（ステップＳ１５）。その後、ＪＰＥＧ展開されたフレーム画像データがＲＧＢデータに変換される（ステップＳ１６）。

フレーム画像データがＲＧＢデータに変換された後、逆階調補正が行われる（ステップＳ１７）。ここで、逆階調補正は、図６で示した階調特性曲線の逆特性（図８参照）に従って階調補正済みの画像データを階調補正前の画像データと略同一のデータに変換する処理である。次に、逆階調補正がなされたフレーム画像データに対してＷＢゲイン逆補正が行われる（ステップＳ１８）。これは、フレーム画像データのＲ成分をＲゲイン１で除算、フレーム画像データのＢ成分をＢゲイン２で除算する処理である。これにより、動画像用のＷＢ補正が行われる前のフレーム画像データと略同一のデータが得られる。

フレーム画像データに対してＷＢゲインの逆補正がなされた後、このフレーム画像データがフレーム画像ごとに検出されたＷＢゲイン（Ｒゲイン２、Ｂゲイン２）に基づいて補正される（ステップＳ１９）。即ち、フレーム画像データのＲ成分にＲゲイン２が乗算され、フレーム画像データのＢ成分にＢゲイン２が乗算されることにより、静止画抽出時のホワイトバランスが適正なものとなる。

ステップＳ１９においてＷＢ補正がなされた後、得られたフレーム画像データが図６で示した階調特性曲線に基づいて階調補正され（ステップＳ２０）、ＪＰＥＧ圧縮された後（ステップＳ２１）、メモリカード１７に記録される（ステップＳ２２）。

一方、ステップＳ１４の判定において、ＷＢゲインが略同一である場合には、ステップＳ１４をステップＳ２２に分岐する。この場合には、ＷＢ補正が禁止され、ステップＳ１２で取得されたフレーム画像データがメモリカード１７に記録される。

以上説明したように、第１の実施形態によれば、動画像撮影時のヒステリシス制御を考慮して、動画像生成に実際に使用されたＷＢゲインとフレーム画像ごとに検出されたＷＢゲインとを動画像ファイルに記録させておくことで、動画像の中の任意のフレームの画像を静止画として抽出した場合でも、常に適正なホワイトバランスの静止画を得ることができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、フレーム画像ごとに検出されたＷＢゲイン（Ｒゲイン２、Ｂゲイン２）を動画像ファイルに記録せずに、動画像から静止画を抽出した時のＷＢ補正を行う例である。なお、ハードウェア的な構成については第１の実施形態で説明したものと同様のものを用いることができるので、説明を省略する。また、第２の実施形態においては、ＷＢ補正のみについて詳しく説明し、ＡＥ補正については後の第３の実施形態で説明する。

図９は、第２の実施形態における動画像撮影時にＤＲＡＭ１３に一時記憶されるデータについて概念的に示した図である。

第２の実施形態においては、動画像撮影が行われると、動画情報と音声情報とがＤＲＡＭ１３のメモリ領域２０１に記憶される。更に、第１の実施形態と同様に、ＷＢ情報及びＡＥ情報がメモリ領域２０２に記憶されるのであるが、第２の実施形態では、ＷＢ情報及びＡＥ情報を２フレームごとに記憶させるようにし（図９の例では偶数フレームに対応する情報のみ記憶させている）、また記憶させるデータとしては、動画像データを構成する各フレーム画像データを生成した際に使用されたＷＢゲイン（図９ではＲゲイン、Ｂゲインと記す）及び輝度値（図９ではＢｖ値と記す）のみを記憶させるようにする。即ち、第２の実施形態においては、ＤＲＡＭ１３に記憶されるＷＢ情報及びＡＥ情報に関するデータ量が第１の実施形態の１/４になる。第２の実施形態では、図９で示したようなデータが動画像ファイルのフッタ情報として記録される。

図１０は、第２の実施形態における静止画抽出処理の処理手順について示したフローチャートである。

図１０においては、まず抽出するフレーム画像データのチャンク番号とフレーム番号とが取得される（ステップＳ３１）。ステップＳ３１において、チャンク番号とフレーム番号とが取得された後、該当するフレーム画像データがメモリカード１７から取得される（ステップＳ３２）。

次に、ステップＳ３２で取得されたフレーム画像データに対応するＷＢデータがフッタ情報に記録されているか否かが判定される（ステップＳ３３）。ステップＳ３３の判定において、ＷＢゲインがある場合には、ステップＳ３３をステップＳ３４に分岐する。そして、フッタ情報からＷＢデータが取得される（ステップＳ３４）。一方、ステップＳ３３の判定において、ＷＢデータがない場合には、ステップＳ３３をステップＳ３５に分岐してＷＢデータの予測が行われる。このＷＢデータの予測においては、ヘッダ情報から、ステップＳ３１で取得されたフレーム番号の前後のフレームにおけるＷＢデータが取得され、これら前後のフレームにおけるＷＢデータの平均値が算出される（ステップＳ３５）。

ステップＳ３４又はステップＳ３５でＷＢデータが取得された後、ステップＳ３２で取得されたフレーム画像データがＪＰＥＧ展開される（ステップＳ３６）。その後、ＪＰＥＧ展開されたフレーム画像データがＲＧＢデータに変換される（ステップＳ３７）。

フレーム画像データがＲＧＢデータに変換された後、逆階調補正が行われる（ステップＳ３８）。次に、逆階調補正がなされたフレーム画像データに対してＷＢゲイン逆補正が行われる（ステップＳ３９）。

次に、ＷＢ検出処理が行われる（ステップＳ４０）。ここで、ステップＳ４０のＷＢ検出処理は、ステップＳ３２で抽出されたフレーム画像データにおける最適なＷＢゲインを検出する処理である。このＷＢ検出処理については後で説明する。

ステップＳ４０のＷＢ検出処理によってＷＢゲインが検出された後、検出されたＷＢゲインがフレーム画像データのＲ成分及びＢ成分に乗算されてホワイトバランスが補正される（ステップＳ４１）。これにより、静止画抽出時のホワイトバランスが適正なものとなる。

ステップＳ４１においてＷＢ補正がなされた後、得られたフレーム画像データが図６で示した階調特性曲線に基づいて階調補正され（ステップＳ４２）、ＪＰＥＧ圧縮された後（ステップＳ４３）、メモリカード１７に記録される（ステップＳ４４）。

図１１は、図１０のステップＳ４０に示すＷＢ検出処理の処理手順について示したフローチャートである。

図１１において、まずフレーム画像データが複数の微小ブロック（例えば１６０×１２０ブロック）に分割され（ステップＳ５１）、分割されたブロック毎にＲ/Ｇ、Ｂ/Ｇが算出される（ステップＳ５２）。これにより、１９２００個（＝１６０×１２０個）のＲ/Ｇ及びＢ/Ｇが算出される。次に、ステップＳ５２で算出された１９２００個のＲ/Ｇ及びＢ/Ｇが、図１２に示す白判定エリア４０１と照合され、白判定エリア４０１内にあるＲ/Ｇ，Ｂ/Ｇの平均値がそれぞれ算出される（ステップＳ５３）。例えば、１９２００個のＲ/Ｇ、Ｂ/Ｇの組が図１２の参照符号４０２のようにして分布していた場合には、図１２の斜線部４０３内のＲ/Ｇ、Ｂ/Ｇの平均値がそれぞれ算出される。

次に、Ｒ/Ｇの平均値及びＢ/Ｇの平均値の逆数が算出される（ステップＳ５４）。これらの値が図１０のステップＳ４１で用いられるＲゲイン及びＢゲインとなる。

以上説明したように、第２の実施形態によれば、動画像から静止画を抽出しても適正なホワイトバランスの画像を得ることができるとともに、フレーム画像ごとに検出されたＷＢゲインを動画像ファイルに記録しておく必要がないので、動画像ファイルのデータ量を減らすことができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第３の実施形態は、動画像から静止画を抽出した場合の露出を補正する例である。なお、ハードウェア的な構成については第１の実施形態で説明したものと同様のものを用いることができるので、説明を省略する。

図１３は、第３の実施形態における静止画抽出処理の第１の例の処理手順について示したフローチャートである。ここで、動画像ファイルには、図３で説明したようなＡＥデータ（Ｂｖ値１、Ｂｖ値２）が記録されているものとする。

図１３において、まず抽出するフレーム画像データのチャンク番号とフレーム番号とが取得される（ステップＳ６１）。ステップＳ６１において、チャンク番号とフレーム番号とが取得された後、該当するフレーム画像データがメモリカード１７から取得される（ステップＳ６２）。

次に、取得されたフレーム画像データのフッタ情報からＡＥデータ（Ｂｖ値１、Ｂｖ値２）が取得される（ステップＳ６３）。そして、取得されたＡＥデータが比較されて、Ｂｖ値１とＢｖ値２とが略同一であるか否かが判定される（ステップＳ６４）。

ステップＳ６４の判定において、Ｂｖ値ゲインが略同一でない場合には、ステップＳ６４をステップＳ６５に分岐する。そして、ステップＳ６２で取得されたフレーム画像データがＪＰＥＧ展開される（ステップＳ６５）。

その後、逆階調補正が行われる（ステップＳ６６）。ここで、第３の実施形態における逆階調補正はフレーム画像データのＹ成分にのみ行うようにすれば良い。次に、逆階調補正がなされたフレーム画像データに対してＡＥ補正が行われる（ステップＳ６７）。これは、フレーム画像データのＹ成分に、Ｂｖ値２とＢｖ値１とから算出される露出補正係数２^{（Ｂｖ値２−Ｂｖ値１）}を乗算する処理である。これにより、静止画抽出時の露出が適正なものとなる。

ステップＳ６７においてＡＥ補正がなされた後、得られたフレーム画像データが図６で示した階調特性曲線に基づいて階調補正され（ステップＳ６８）、ＪＰＥＧ圧縮された後（ステップＳ６９）、メモリカード１７に記録される（ステップＳ７０）。

一方、ステップＳ６４の判定において、Ｂｖ値が略同一である場合には、ステップＳ６４をステップＳ７０に分岐する。この場合には、ＡＥ補正が禁止され、ステップＳ６２で取得されたフレーム画像データがそのままメモリカード１７に記録される。

図１４は、第３の実施形態における静止画抽出処理の第２の例の処理手順について示したフローチャートである。ここで、動画像ファイルには、図９で説明したようなＡＥデータ（Ｂｖ値）が記録されているものとする。

図１４においては、まず抽出するフレーム画像データのチャンク番号とフレーム番号とが取得される（ステップＳ７１）。ステップＳ７１において、チャンク番号とフレーム番号とが取得された後、該当するフレーム画像データがメモリカード１７から取得される（ステップＳ７２）。

次に、ステップＳ７２で取得されたフレーム画像データに対応するＡＥデータがフッタ情報に記録されているか否かが判定される（ステップＳ７３）。ステップＳ７３の判定において、ＡＥデータがある場合には、ステップＳ７３をステップＳ７４に分岐する。そして、フッタ情報からＡＥデータが取得される（ステップＳ７４）。一方、ステップＳ７３の判定において、ＡＥデータがない場合には、ステップＳ７３をステップＳ７５に分岐してＡＥデータの予測が行われる。このＡＥデータの予測においては、ヘッダ情報から、ステップＳ７１で取得されたフレーム番号の前後のフレームにおけるＡＥデータが取得され、これら前後のフレームにおけるＡＥデータの平均値が算出される（ステップＳ７５）。

ステップＳ７４又はステップＳ７５でＢｖ値が取得された後、ステップＳ７２で取得されたフレーム画像データがＪＰＥＧ展開される（ステップＳ７６）。その後、ＪＰＥＧ展開されたフレーム画像データに対して逆階調補正が行われる（ステップＳ７７）。次に、逆階調補正がなされたフレーム画像データに対してＡＥ検出処理が行われる（ステップＳ７８）。ステップＳ７８のＡＥ検出処理は、ステップＳ７２で取得されたフレーム画像データから最適な露出条件を輝度検出値Ｂｖｄｅｔとして検出する処理である。このＡＥ検出処理については後で説明する。

ステップＳ７８のＡＥ検出処理によって輝度検出値Ｂｖｄｅｔが算出された後、輝度検出値Ｂｖｄｅｔと上記ステップＳ７４又は上記ステップＳ７５で取得されたＢｖ値とから露出補正係数２^{（Ｂｖｄｅｔ−Ｂｖ値）}が算出される。その後、フレーム画像データのＹ成分に露出補正係数２^{（Ｂｖｄｅｔ−Ｂｖ値）}が乗算されて露出が補正される（ステップＳ７９）。これにより、静止画抽出時の露出が適正なものとなる。

ステップＳ７９においてＡＥ補正がなされた後、得られたフレーム画像データが図６で示した階調特性曲線に基づいて階調補正され（ステップＳ８０）、ＪＰＥＧ圧縮された後（ステップＳ８１）、メモリカード１７に記録される（ステップＳ８２）。

図１５は、図１４のステップＳ７８に示すＡＥ検出処理の処理手順について示したフローチャートである。

図１５において、まずフレーム画像データが複数の微小ブロック（例えば９×９ブロック）に分割される（ステップＳ９１）。そして、８１個（＝９×９）のＹ値の平均値Ｙ_ａｖｅが算出される（ステップＳ９２）。次に、ステップＳ９２で算出されたＹ_ａｖｅと所定のＡＥ目標値Ｙ_{ｔａｒｇｅｔ}との比率から、以下の関係
Ｂｖｄｅｔ＝Ｂｖ＋ｌｏｇ_２（Ｙ_ａｖｅ/Ｙ_{ｔａｇｅｔ}）
に基づいて輝度検出値Ｂｖｄｅｔが算出される（ステップＳ９３）。

以上説明したように、第３の実施形態によれば、動画像から静止画を抽出しても適正な露出の画像を得ることができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した実施形態では、静止画抽出処理においてＷＢ補正とＡＥ補正をそれぞれ一方のみを行うようにしているが、これらを同時に行うようにしても良いことは言うまでもない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る画像記録再生装置の一例としてのデジタルカメラの構成を示すブロック図である。 ヒステリシス制御について説明するための図である。 第１の実施形態における動画像撮影時にＤＲＡＭに一時記憶されるデータについて概念的に示した図である。 第１の実施形態においてメモリカードに記録される動画像ファイルのデータ構造について概念的に示した図である。 動画像撮影時における通常の画像処理の処理手順について示したフローチャートである。 階調特性曲線の例を示す図である。 第１の実施形態における静止画抽出処理の処理手順について示したフローチャートである。 図６の階調特性曲線の逆特性を示す図である。 第２の実施形態における動画像撮影時にＤＲＡＭに一時記憶されるデータについて概念的に示した図である。 第２の実施形態における静止画抽出処理の処理手順について示したフローチャートである。 ホワイトバランス検出処理の処理手順について示したフローチャートである。 白判定エリアについて示す図である。 第３の実施形態における静止画抽出処理の第１の例の処理手順について示したフローチャートである。 第３の実施形態における静止画抽出処理の第２の例の処理手順について示したフローチャートである。 ＡＥ検出処理の処理手順について示したフローチャートである。

符号の説明

１…撮影レンズ、２…絞り、３…ＣＣＤ、４…タイミングジェネレータ（ＴＧ）、５…アンプ、６…アナログ/デジタル変換回路（Ａ/Ｄ変換回路）、７…ＡＥ、ＡＦ、ＡＷＢ回路、８…ＣＰＵ、９…カメラ信号処理回路、１０…バス、１１…ＪＰＥＧ処理回路、１２…メモリコントローラ、１３…ＤＲＡＭ、１４…表示回路、１５…ＬＣＤ、１６…メモリカードインターフェイス、１７…記憶媒体（メモリカード）、１８…ＰＣインターフェイス、１９…ＰＣ、２０…ストロボ、２１…入力キー

Claims (14)

1. 少なくともホワイトバランス情報が付加された動画像を再生する動画再生手段と、
   前記動画像再生手段によって再生された動画像の一部を静止画像として抽出する静止画抽出手段と、
   前記静止画抽出手段によって抽出された前記静止画像のホワイトバランスを、前記ホワイトバランス情報に応じて修正するホワイトバランス修正手段と、
   前記ホワイトバランス修正手段によって修正された前記静止画像を記録する静止画記録手段と、
   を具備することを特徴とする画像記録再生装置。
2. 前記動画像は、複数のフレーム画像から構成される画像であって、
   前記ホワイトバランス情報は、前記動画像を構成する複数のフレーム画像を生成する際に使用された複数のホワイトバランスゲインを含むことを特徴とする請求項１に記載の画像記録再生装置。
3. 前記ホワイトバランス情報は、前記動画像を構成する複数のフレーム画像ごとに検出された複数のホワイトバランスゲインを更に含むことを特徴とする請求項２に記載の画像記録再生装置。
4. 前記ホワイトバランス修正手段は、
   前記ホワイトバランス情報に含まれる前記複数のホワイトバランスゲインから、前記静止画抽出手段により抽出された前記静止画像に対応するホワイトバランスゲインを取得するホワイトバランスゲイン取得手段と、
   前記静止画像を、該静止画像を生成する際に使用された階調特性の逆特性により補正する逆階調補正手段と、
   前記逆階調補正手段で補正された静止画像を前記ホワイトバランスゲイン取得手段により取得された前記ホワイトバランスゲインで補正する第１のホワイトバランス補正手段と、
   前記第１のホワイトバランス補正手段で補正された前記静止画像から、最適なホワイトバランスゲインを検出するホワイトバランスゲイン検出手段と、
   前記第１のホワイトバランス補正手段で補正された前記静止画像を前記ホワイトバランスゲイン検出手段により検出された前記最適なホワイトバランスゲインで補正する第２のホワイトバランス補正手段と、
   前記第２のホワイトバランス補正手段で補正された前記静止画像を前記階調特性に基づいて補正する階調補正手段と、
   を有することを特徴とする請求項２に記載の画像記録再生装置。
5. 前記ホワイトバランス修正手段は、
   前記ホワイトバランス情報に含まれる前記複数のホワイトバランスゲインから、前記静止画抽出手段により抽出された前記静止画像に対応するフレーム画像を生成する際に使用されたホワイトバランスゲインを第１のホワイトバランスゲインとして取得する第１のホワイトバランスゲイン取得手段と、
   前記ホワイトバランス情報に含まれる前記複数のホワイトバランスゲインから、前記静止画抽出手段により抽出された前記静止画像に対応するフレーム画像から検出されたホワイトバランスゲインを第２のホワイトバランスゲインとして取得する第２のホワイトバランスゲイン取得手段と、
   前記静止画像を、該静止画像を生成する際に使用された階調特性の逆特性により補正する逆階調補正手段と、
   前記逆階調補正手段で補正された前記静止画像を前記第１のホワイトバランスゲイン取得手段により取得された前記第１のホワイトバランスゲインと前記第２の静止画ホワイトバランスゲイン取得手段により取得された前記第２のホワイトバランスゲインで補正するホワイトバランス補正手段と、
   前記ホワイトバランス補正手段で補正された前記静止画像を前記階調特性に基づいて補正する階調補正手段と、
   を有することを特徴とする請求項３に記載の画像記録再生装置。
6. 前記複数のホワイトバランスゲインは、前記動画像を構成する一部のフレーム画像を生成する際に使用されたホワイトバランスゲインであり、
   前記ホワイトバランスゲイン取得手段は、前記一部のフレーム画像を生成する際に使用されたホワイトバランスゲインから前記静止画像に対応するホワイトバランスゲインを予測することにより、前記静止画像に対応するホワイトバランスゲインを取得することを特徴とする請求項４に記載の画像記録再生装置。
7. 前記第１のホワイトバランスゲイン取得手段により得られた前記第１のホワイトバランスゲインと前記第２のホワイトバランスゲイン取得手段により得られた前記第２のホワイトバランスゲインとを比較するホワイトバランスゲイン比較手段を更に具備し、
   前記ホワイトバランスゲイン比較手段における比較の結果、前記第１のホワイトバランスゲインと前記第２のホワイトバランスゲインとが略同一であると判定された場合には、前記ホワイトバランス補正手段の動作を禁止するとともに、前記静止画記録手段は、前記静止画抽出手段により抽出された前記静止画像を記録することを特徴とする請求項５に記載の画像記録再生装置。
8. 少なくとも露出情報が付加された動画像を再生する動画再生手段と、
   前記動画像再生手段によって再生された動画像の一部を静止画像として抽出する静止画抽出手段と、
   前記静止画抽出手段によって抽出された前記静止画像の露出を、前記露出情報に応じて修正する露出修正手段と、
   前記露出修正手段によって修正された前記静止画像を記録する静止画記録手段と、
   を具備することを特徴とする画像記録再生装置。
9. 前記動画像は、複数のフレーム画像から構成される画像であって、
   前記露出情報は、前記動画像を構成する複数のフレーム画像を生成する際に使用された複数の輝度値を含むことを特徴とする請求項８に記載の画像記録再生装置。
10. 前記露出情報は、前記動画像を構成する複数のフレーム画像ごとに検出された複数の輝度値を更に含むことを特徴とする請求項９に記載の画像記録再生装置。
11. 前記露出修正手段は、
    前記露出情報に含まれる前記複数の輝度値から、前記静止画抽出手段により抽出された前記静止画像に対応する輝度値を取得する輝度取得手段と、
    前記静止画像を、該静止画像を生成する際に使用された階調特性の逆特性により補正する逆階調補正手段と、
    前記逆階調補正手段で補正された前記静止画像から、輝度検出値を検出する輝度検出手段と、
    前記輝度取得手段により取得された前記輝度値と前記輝度検出手段により取得された前記輝度検出値とから露出補正係数を算出する露出補正係数算出手段と、
    前記逆階調補正手段で補正された前記静止画像を、前記露出補正係数算出手段で算出された前記露出補正係数に基づいて補正する輝度補正手段と、
    前記輝度補正手段で補正された前記静止画像を前記階調特性に基づいて補正する階調補正手段と、
    を有することを特徴とする請求項９に記載の画像記録再生装置。
12. 前記露出修正手段は、
    前記露出情報に含まれる前記複数の輝度値から、前記静止画抽出手段により抽出された前記静止画像に対応するフレーム画像を生成する際に使用された輝度値を第１の輝度値として取得する第１の輝度取得手段と、
    前記露出情報に含まれる前記複数の輝度値から、前記静止画抽出手段により抽出された前記静止画像に対応するフレーム画像から検出された輝度値を第２の輝度値として取得する第２の輝度取得手段と、
    前記静止画像を、該静止画像を生成する際に使用された階調特性の逆特性により補正する逆階調補正手段と、
    前記第１の輝度取得手段により取得された前記第１の輝度値と前記第２の輝度取得手段により取得された前記第２の輝度値とから露出補正係数を算出する露出補正係数算出手段と、
    前記逆階調補正手段で補正された前記静止画像を、前記露出補正係数算出手段で算出された前記露出補正係数に基づいて補正する輝度補正手段と、
    前記輝度補正手段で補正された前記静止画像を前記階調特性に基づいて補正する階調補正手段と、
    を有することを特徴とする請求項１０に記載の画像記録再生装置。
13. 前記複数の輝度値は、前記動画像を構成する一部のフレーム画像を生成する際に使用された輝度値であり、
    前記輝度取得手段は、前記一部のフレーム画像を生成する際に使用された輝度値から前記静止画像に対応する輝度値を予測することにより、前記静止画像に対応する輝度値を取得することを特徴とする請求項１１に記載の画像記録再生装置。
14. 前記第１の輝度取得手段により得られた前記第１の輝度値と前記第２の輝度取得手段により得られた前記第２の輝度値とを比較する輝度比較手段を更に具備し、
    前記輝度比較手段における比較の結果、前記第１の輝度値と前記第２の輝度値とが略同一であると判定された場合には、前記輝度補正手段の動作を禁止するとともに、前記静止画記録手段は、前記静止画抽出手段により抽出された前記静止画像を記録することを特徴とする請求項１２に記載の画像記録再生装置。

Images