JP2007189466A

JP2007189466A - 撮像装置及び画像処理装置

Info

Publication number: JP2007189466A
Application number: JP2006005394A
Authority: JP
Inventors: Shigeo Ogawa; 茂夫小川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-01-12
Filing date: 2006-01-12
Publication date: 2007-07-26
Anticipated expiration: 2026-01-12
Also published as: JP4667251B2

Abstract

【課題】動画像から静止画像を取得する際に、動画像と静止画像とに適切な画像処理を施すことを可能にすること。
【解決手段】撮像装置は、動画像を撮像可能な撮像手段１４を備える。撮像装置は、動画像の各フレームに対応する動画用のホワイトバランス制御値及び静止画用のホワイトバランス制御値を算出し、さらに、動画用のホワイトバランス制御値から静止画用のホワイトバランス制御値を求めるための補正係数を算出する。そして、メモリ制御手段２２は、補正係数及び静止画用のホワイトバランス制御値のいずれか一方並びに動画用のホワイトバランス制御値を対応するフレームと関連付けてメモリ３０に記憶させる。
【選択図】図１

Description

本発明は、撮影レンズを介して取り込まれた被写体の光学像を撮像素子で光電変換して得られた画像信号からデジタル画像データを生成する撮像装置及び画像処理装置に関する。

従来のデジタルカメラのホワイトバランス制御（以下ＷＢと記す場合もある）では、被写体から反射する反射光を分析し、得られたスペクトル分布から光源の種類を特定することで、光源色に依らない色再現を得るようにホワイトバランス制御値を変化させる。ＣＣＤなどのイメージセンサーデバイスは、駆動方法によって出力される信号レベルのバランスが異なるため、反射光の分析に際しては分光感度に応じた補正が行われる。

イメージセンサーデバイスの駆動方法としては、動画の撮影には１フィールド読み出し、静止画の撮影には複数フィールドから成るフレーム読み出しが一般的に用いられている。静止画の撮影におけるホワイトバランスは、静止画像に対して被写体の光源色を完全に補正するのに対して、動画の撮影におけるホワイトバランスは色変化の連続性を保つために時間軸に対してゆるやかに光源色の補正を行うように制御するのが一般的である。

一般的に、動画及び静止画の両方を記録可能なデジタルカメラは、カメラ側で記録対象を動画／静止画に切り替えて撮影を行う。しかしながら、高画素で動画記録可能な撮像素子を用いることによって、動画の特定のフレームを取り出して静止画として記録する方法も行われている。

特許文献１は、静止画として使用可能であるフレームに情報を付帯させ、静止画として取り出す際に付帯情報を利用する方法について説明している。

特許文献２は、動画の各フレームに属性情報を付帯させ、画像編集時の検索に利用する方法について説明している。
特開２００３−１２５３４４号公報特開平６−１７６１４９号公報

しかしながら、従来のデジタルカメラは、以下のような問題があった。動画の特定のフレームを静止画として取り出す場合では、ホワイトバランス制御により被写体光源へ追従を行っている途中の映像を静止画として取り出すと、取り出した静止画像に光源色の補正が十分に成されていないという問題があった。また、動画の撮影時のホワイトバランス制御を被写体の光源へ直ちに追従するように制御すると、動画から取り出した静止画は光源色が補正されている一方で、動画の色連続性が崩れてしまうために動画の品位を損なうという問題があった。

本発明は、上記の問題点に鑑みてなされたものであり、動画像から静止画像を取得する際に、動画像と静止画像とに適切な画像処理を施すことを可能にすることを目的とする。

本発明の第１の側面は、撮像装置に係り、動画像を撮像可能な撮像手段と、前記動画像の各フレームに対応する動画用のホワイトバランス制御値及び静止画用のホワイトバランス制御値を算出するホワイトバランス制御値算出手段と、前記動画用のホワイトバランス制御値から前記静止画用のホワイトバランス制御値を求めるための補正係数を算出する補正係数算出手段と、前記補正係数及び前記静止画用のホワイトバランス制御値のいずれか一方並びに前記動画用のホワイトバランス制御値を、対応する前記フレームと関連付けてメモリに記憶させるメモリ制御手段と、を備えることを特徴とする。

本発明の第２の側面は、画像処理装置に係り、光学系と、前記光学系からの光を電気信号に変換する上記の撮像装置と、を備えることを特徴とする。

本発明によれば、動画像から静止画像を取得する際に、動画像と静止画像とに適切な画像処理を施すことができる。

以下、図面を参照して本発明の好適な実施の形態を説明する。

図１は、本発明の好適な実施の形態の構成を示す図である。１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１８は、撮像素子１４、Ａ／Ｄ変換器１６及びＤ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２を制御するための処理を行う。このような処理としては、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理がある。さらに、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴＬＣＤ等を含む画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域として使用することも可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。５２はまた、ＡＥで用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値との関係を規定したテーブルである。５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部５４は、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示がある。その他にも、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信I／F動作表示、日付け・時刻表示等がある。また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０、６１、６２、６４、７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。６１は動画ボタンで、動画撮影の開始と終了を指示することが出来る。動画撮影されていないときに押下されると動画撮影開始となり、動画撮影中に押下されると動画撮影終了となる。６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２であり、不図示のシャッターボタンの操作完了でＯＮとなる。シャッタースイッチＳＷ２（６４）は、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理や画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理の動作開始を指示する。また、シャッタースイッチＳＷ２（６４）は、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

７０は各種ボタンやタッチパネル等を含む操作部である。操作部７０としては、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンがある。その他にも、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御手段であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御手段８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＢＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等を含む電源手段である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェースである。９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及びコネクタ９６の少なくとも一方に記録媒体２００及び２１０の少なくとも一方が装着されているか否かを検知する記録媒体着脱検知手段である。

なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成しても構わない。

さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合について述べる。この場合、各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。このような通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等がある。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の少なくとも一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが配置されている。

１１０は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

図２〜図６は本実施形態に係る撮像装置１００の主ルーチンのフローチャートを示す図である。図２〜図６を用いて、撮像装置１００の主動作を説明する。

ステップＳ２０１では、システム制御回路５０は、電池交換等の電源投入により、フラグや制御変数等を初期化する。

ステップＳ２０２では、システム制御回路５０は、画像表示部２８での画像表示をＯＦＦ状態に初期設定する。

ステップＳ２０３では、システム制御回路５０は、モードダイアル６０の設定位置を判断する。システム制御回路５０は、モードダイアル６０が電源ＯＦＦに設定されていたならば（ステップＳ２０３で「電源ＯＦＦ」）、ステップＳ２０５に進む。システム制御回路５０は、モードダイアル６０が撮影モードに設定されていたならば（ステップＳ２０３で「撮影モード」）、ステップＳ２０６に進む。システム制御回路５０は、モードダイアル６０がその他のモードに設定されていたならば（ステップＳ２０３で「その他のモード」）、ステップＳ２０４に進む。

ステップＳ２０４では、システム制御回路５０は、選択されたモードに応じた処理を実行し、処理を終えたならばステップＳ２０３に戻る。なお、静止画を撮影するモードが選択された場合には、静止画撮影画像にヘッダ情報として静止画用ホワイトバランス制御値を付帯させてもよい。或いは、静止画撮影画像にヘッダ情報として付帯させずに、静止画撮影画像と関連付けてメモリ内に記憶させてもよい。

ステップＳ２０５では、システム制御回路５０は、各表示部の表示を終了状態に変更し、保護手段１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。そして、システム制御回路５０は、電源制御手段８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行う。システム制御回路５０は、これらの処理を行った後、ステップＳ２０３に戻る。

ステップＳ２０６では、システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作状態が画像処理装置１００の動作に問題があるか否かを判断する。システム制御回路５０は、画像処理装置１００の動作に問題があるならば（ステップＳ２０６で「Ｎ」）、ステップＳ２０８に進む。システム制御回路５０は、電源８６に問題が無いならば（ステップＳ２０６で「Ｙ」）、ステップＳ２０７に進む。

ステップＳ２０７では、システム制御回路５０は、記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に、記録媒体に対する画像データの記録再生動作に問題がないか否かを判断する。システム制御回路５０は、画像データの記録再生動作に問題があるならば（ステップＳ２０７で「Ｎ」）、ステップＳ２０８に進む。システム制御回路５０は、記録媒体２００或いは２１０の動作状態に問題が無いならば（ステップＳ２０７で「Ｙ」）、ステップＳ２０９に進む。

ステップＳ２０８では、システム制御回路５０は、表示部５４を用いて画像や音声により所定の警告表示を行った後に、ステップＳ２０３に戻る。

ステップＳ２０９では、システム制御回路５０は、スルー画像（静止画を撮影する前後にファインダー機能として表示させるための撮像素子１４によって撮像された動画像）を画像表示部２８に表示するための撮影準備の初期化を行う。

ステップＳ２１０では、システム制御回路５０は、撮影準備が完了するとスルー画像を画像表示部２８に表示開始する。スルー表示状態においては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、電子ファインダー機能を実現している。

次に、スルー画像表示状態における動画撮影時のカメラ動作について図３〜図５を参照しながら説明する。

ステップＳ３０１では、システム制御回路５０は、モードダイアル６０が変更されているか否かを判断する。システム制御回路５０は、モードダイアル６０が変更されていれば（ステップＳ３０１で「変更あり」）、ステップＳ２０３に戻りダイアル状態をチェックする。システム制御回路５０は、モードダイアル６０が変更されていなければ（ステップＳ３０１で「変更なし」）、ステップＳ３０２に進む。

ステップＳ３０２では、システム制御回路５０は、動画ボタン６１が押されたか否かを判断する。動画ボタン６１が押されていないならば（ステップＳ３０３で「ＯＦＦ」）、ステップＳ３０３に進む。動画ボタン６１が押されていれば（ステップＳ３０２で「ＯＮ」）、ステップＳ３０５に進む。

ステップＳ３０３では、スルー画表示を継続して行うための処理を行う。具体的には、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測光演算を行い、メモリ制御回路２２がその演算結果をメモリ３０に格納する。

ステップＳ３０４では、システム制御回路５０は、ステップＳ３０３の演算結果に基づいて露光制御手段４０を用いてスルー画像に対するＡＥ処理を行う。その後、ステップＳ３０１に戻る。

ステップＳ３０５では、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測距演算を行い、メモリ制御回路２２がその演算結果をメモリ３０に格納する。システム制御回路５０は、この測距演算結果に基づいて測距制御手段４４を用いてＡＦ処理を行い、撮影レンズ１０の焦点を被写体に合わせる。

ステップＳ３０６では、画像処理回路２０が撮像素子１４から得られた信号に対して測光演算を行い、メモリ制御回路２２がその測光結果をメモリ３０に格納する。

ステップＳ３０７では、画像処理回路２０が一連の撮影動作を行う動画撮影処理を実行する。撮影処理後には、メモリ制御回路２２が撮像素子１４からＡ／Ｄ変換機１６を通して読み出された信号処理前の未処理画像データをメモリ３０に保存する。画像処理回路２０は、ＪＰＥＧなどの所定の現像及び圧縮処理を行い、メモリ制御回路２２が処理後の画像データをメモリ３０内に保存する。画像処理回路２０は、メモリ３０に保存された圧縮画像データを動画ファイルとして記録媒体２００へ書き込み、ステップＳ３０８に進む。

ステップＳ３０８では、システム制御回路５０は、ステップＳ３０７で撮像された画像をスルー画像として画像表示部２８に表示して、動画撮影撮影の開始処理を完了する。

図４は、動画撮影処理中の処理を示すフローチャートである。

ステップＳ４０１では、システム制御回路５０は、モードダイアル６０が変更されているか否かを判断する。システム制御回路５０は、モードダイアル６０が変更されていれば（ステップＳ４０１で「変更あり」）、動画撮影処理を終了してＳ２０３に戻り、ダイアル状態をチェックする。システム制御回路５０は、モードダイアル６０が変更されていなければ（ステップＳ４０１で「変更なし」）、ステップＳ４０２に進む。

ステップＳ４０２では、システム制御回路５０は、動画ボタンが押されているか否かを判断する。システム制御回路５０は、動画ボタンが押されていたならば（ステップＳ４０２で「ＯＮ」）、動画撮影処理を終了してステップＳ２０３に戻り、ダイアル状態をチェックする。システム制御回路５０は、動画ボタンが押されていなければ（ステップＳ４０２で「ＯＦＦ」）、ステップＳ４０３に進み、動画撮影処理を継続する。

ステップＳ４０３では、システム制御回路５０は、一連の撮影動作を行う動画撮影処理を実行する。メモリ制御回路２２は、撮影処理後、メモリ３０に撮像素子１４からＡ／Ｄ変換機１６を通して読み出された信号処理前の未処理画像データを保存する。

ステップＳ４０４では、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測光演算を行い、メモリ制御回路２２がその演算結果をメモリ３０に格納する。システム制御回路５０は、この演算結果を元に露光制御手段４０を用いてＡＥ処理を行う。

ステップＳ４０５では、画像処理回路２０が色補正（ホワイトバランス処理）を行う。動画撮影中のホワイトバランス処理Ｓ４０５の詳細は、図５を用いて後述する。

ステップＳ４０６では、システム制御回路５０は、ステップＳ４０３で撮像された画像をスルー画像として画像表示部２８に表示する。

ステップＳ４０７では、画像処理回路２０がメモリ３０に保存された画像データをＪＰＥＧなどの所定の現像及び圧縮処理を行い、メモリ制御回路２２が処理後の画像データをメモリ３０内に保存する。また、画像処理回路２０は、メモリ３０に保存された圧縮画像データを動画ファイルとして記録媒体２００へ書き込む。このとき、後述するステップＳ５０３とステップＳ５０４で求められる動画用ホワイトバランス制御値及び静止画用ホワイトバランス制御値生成用補正係数を、ヘッダ情報として映像と共に記録する。最後に、ステップＳ４０１に戻り動画撮影処理を継続する。なお、ホワイトバランス制御値とは、赤青緑の３色から成る各信号に対するゲイン値、若しくは、輝度信号と色信号とが分離された色信号に対するゲイン値であるか、又は、その双方を意味する。
図５は、ステップＳ４０５における動画撮影中のホワイトバランス処理を示すフローチャートである。

ステップＳ５０１では、画像処理回路２０がシステム制御回路５０からの指示に従い、画像データをメモリ３０から読み出し、得られた画像データに対するホワイトバランス制御値を算出する。メモリ制御回路２２は、このとき得られたホワイトバランス制御値を静止画用のホワイトバランス制御値としてメモリ３０に格納する。

ステップＳ５０２では、システム制御回路５０は、メモリ３０に格納されている、現在適用されているホワイトバランス制御値（例えば、前フレームの動画用のホワイトバランス制御値）を読み出す。

ステップＳ５０３では、画像処理回路２０がステップＳ５０２でのホワイトバランス制御値及びステップＳ５０１での静止画用のホワイトバランス制御値に基づいて、動画用のホワイトバランス制御値を算出する。今回適用する動画用のホワイトバランスは、以下の数式１によって求められる。例えば、現在設定されているホワイトバランス制御値と静止画用ホワイトバランス制御値とを８対２の割合で混合する（この場合、Ｎ＝０．８となる）。

今回適用する動画用ホワイトバランス制御値＝現在適用されているホワイトバランス制御値×Ｎ（ただし、Ｎは０より大きく、１以下である。）＋静止画用ホワイトバランス制御値×（１−Ｎ） … （数式１）

Ｎの値が０に近いほど動画用のホワイトバランス制御値は、時間軸に対して大きく変化する。また、Ｎの値が１に近いほど動画用のホワイトバランス制御値は、時間軸に対してゆるやかに変化する。

画像処理回路２０は、数式１に基づいて算出した、今回適用する動画用のホワイトバランス制御値をＳ５０１で読み出した画像データ（フレーム）のヘッダ情報として保存し、この画像データをメモリ３０に格納する。
ステップＳ５０４では、画像処理回路２０が今回適用する動画用ホワイトバランス制御値から静止画用ホワイトバランス制御値を求めるための補正係数（以下「静止画用ホワイトバランス制御値算出用補正係数」ともいう。）を算出する。画像処理回路２０は、ステップＳ５０１で求めた静止画用のホワイトバランス制御値及びステップＳ５０３で求めた動画用のホワイトバランス制御値に基づいて、この補正係数を算出する。この補正係数は、以下に示す数式２によって求められる。

静止画用ホワイトバランス制御値算出用補正係数＝静止画用ホワイトバランス制御値／今回適用する動画用ホワイトバランス制御値 … （数式２）

画像処理回路２０は、数式２による算出結果をＳ５０１で読み出した画像データ（フレーム）のヘッダ情報として保存し、この画像データをメモリ３０に格納する。なお、動画用ホワイトバランス制御値と静止画用ホワイトバランス制御値とが近い値である場合には、静止画用ホワイトバランス制御値算出用補正係数を１（すなわち、等倍）としてもよい。

ステップＳ５０５では、画像処理回路２０がステップＳ５０３で求めた動画用のホワイトバランス制御値を設定し、さらにメモリ３０に現在適用されているホワイトバランス制御値として保存する。これによって、現在適用されているホワイトバランス制御値は、ステップＳ５０２で読み出された値からステップＳ５０３で求めた値に変更される。
以上で、動画撮影中のホワイトバランス処理の説明を終了する。

図６は、図２〜図５で説明した動画撮影された動画ファイルから、特定のフレームを静止画像として取り出す際の動作を示したフローチャートである。

ステップＳ６０１では、システム制御回路５０は、動画ファイルの特定フレームを指定する。

ステップＳ６０２では、画像処理回路２０が特定フレームのヘッダ情報と映像の解析を行い、ヘッダ情報から動画用ホワイトバランス制御値及び静止画用ホワイトバランス制御値生成用補正係数を取り出す。また、画像処理回路２０が映像データをメモリ３０に保存する。

ステップＳ６０３では、画像処理回路２０がメモリ３０に保存された動画像中のフレームに関連付けて記憶された動画用のホワイトバランス制御値並びに補正係数及び静止画用のホワイトバランス制御値のいずれか一方に基づいてホワイトバランス処理を行う。具体的には、画像処理回路２０は、メモリ３０に保存された映像データの各画素に対し、静止画用ホワイトバランス制御値生成用補正係数を乗算しながら、新たな映像データとしてメモリ３０内の別領域に保存する。

ステップＳ６０４では、画像処理回路２０がステップＳ６０３で生成した映像データを静止画像ファイルとして記録媒体２００へ書き込む。

以上で、動画ファイルから静止画像を取り出す際の色補正処理の説明を終了する。

図７は、動画ファイルにヘッダ情報と映像データが格納されている形式を示した図である。

映像のフレーム毎にヘッダ情報が付帯し、ヘッダ情報には映像データに対応した動画用ホワイトバランス制御値と静止画用ホワイトバランス制御値生成用補正係数が保存されている。

以上、動画撮影において動画ファイルから静止画像を取り出す際に、取り出す静止画像の色を補正するための好適な実施形態について説明した。

このように、本発明の好適な実施の形態によれば、動画像の特定のフレームを静止画像として取り出した際の静止画像のホワイトバランスは、被写体光源色を正しく補正した状態で保存することができる。すなわち、動画撮影時のホワイトバランス制御において、動画のフレーム毎に動画用のホワイトバランス制御値を求めると共に、そのフレームにおける静止画像として最適な静止画用のホワイトバランス制御値を求めるための補正係数が求められる。

また、動画のフレーム毎に、動画用ホワイトバランス制御値と静止画ホワイトバランス制御値生成用の係数を付帯させることによって、動画のフレームから静止画像を取り出した際にホワイトバランス補正を行うことができる。

さらに、動画の任意のフレーム間に静止画像を挿入するような場合であっても、前述のように動画のフレーム毎に付帯された、挿入前後のフレームの動画用ホワイトバランス制御値を用いて、挿入画像用のホワイトバランス制御値を求めることができる。これによって、動画の色連続性を保つことが可能となる。

なお、本実施形態は、動画の撮影後に静止画像を取り出す方法に限定されない。例えば、動画の撮影中にシャッタースイッチが押された場合に動画として記録されるフレームを、本実施形態で説明したものと同様の方法を用いて静止画像として保存してもよい。

また、本実施形態では、動画用のホワイトバランス制御値と静止画用ホワイトバランス制御値生成用補正係数とを、動画のフレーム毎にヘッダ情報として付帯させた。その他、動画用のホワイトバランス制御値と静止画用ホワイトバランス制御値とを、動画のフレーム毎にヘッダ情報として付帯させてもよい。この場合、静止画像を生成する際には、（静止画用ホワイトバランス制御値）／（動画用のホワイトバランス制御値）を演算することにより、静止画用ホワイトバランス制御値生成用補正係数を算出し、その係数を動画のフレームに乗算すればよい。

また、動画用のホワイトバランス制御値と静止画用ホワイトバランス制御値生成用補正係数とを、動画ファイルにヘッダ情報として付帯させずに、これらを動画ファイルと関連付けてメモリ内に記憶させてもよい。すなわち、動画ファイルの外部にこれらを格納してもよい。同様に、動画用のホワイトバランス制御値と静止画用ホワイトバランス制御値とを、動画ファイルに関連付けてメモリ内に記憶させてもよい。

また、動画用のホワイトバランス制御値及び静止画用ホワイトバランス制御値生成用補正係数の一方を動画ファイルにヘッダ情報として付帯させ、他方を動画ファイルと関連付けてメモリ内に記憶してもよい。同様に、動画用のホワイトバランス制御値及び静止画用ホワイトバランス制御値の一方を動画ファイルにヘッダ情報として付帯させ、他方を動画ファイルと関連付けてメモリ内に記憶させてもよい。

また、動画像の撮影中に静止画撮影を実行して静止画像を取得し、動画像の任意のフレームに静止画像を挿入することも可能である。この場合、静止画撮影が実行されて静止画像が挿入される動画フレームの前後の動画フレームに付帯する動画用ホワイトバランス制御値と、挿入する静止画像に関連付けてメモリ内に記憶された静止画用のホワイトバランス制御値とを用いる。これによって、挿入画像用のホワイトバランス制御値を算出し、動画の色の連続性を損なうことなく、静止画撮影により取得した静止画像を動画像中に挿入することが可能となる。

本発明の好適な実施の形態に係る画像処理装置のブロック図である。本発明の好適な実施の形態に係る撮像装置の主ルーチンの動作処理フローチャートを示す図である。本発明の好適な実施の形態に係る撮像装置の動画記録開始の動作処理フローチャートを示す図である。本発明の好適な実施の形態に係る撮像装置の動画撮影の動作処理フローチャートを示す図である。本発明の好適な実施の形態に係る撮像装置の動画撮影中のホワイトバランス動作処理フローチャートを示す図である。本発明の好適な実施の形態に係る撮像装置の動画撮影後に静止画像を取り出す際の色補正処理フローチャートを示す図である。本発明の好適な実施の形態に係る撮像装置の動画ファイルの形式を示す図である。

符号の説明

１４撮像素子
２０各種演算処理を実行可能な画像処理回路
２２メモリ制御手段
３０メモリ
１００画像処理装置

Claims

動画像を撮像可能な撮像手段と、
前記動画像の各フレームに対応する動画用のホワイトバランス制御値及び静止画用のホワイトバランス制御値を算出するホワイトバランス制御値算出手段と、
前記動画用のホワイトバランス制御値から前記静止画用のホワイトバランス制御値を求めるための補正係数を算出する補正係数算出手段と、
前記補正係数及び前記静止画用のホワイトバランス制御値のいずれか一方並びに前記動画用のホワイトバランス制御値を、対応する前記フレームと関連付けてメモリに記憶させるメモリ制御手段と、
を備えることを特徴とする撮像装置。
ホワイトバランス処理を行うホワイトバランス処理手段を備え、
前記ホワイトバランス処理手段は、前記動画像中のフレームを静止画像として取り出す場合には、そのフレームに関連付けて記憶された前記補正係数及び前記静止画用のホワイトバランス制御値のいずれか一方並びに前記動画用のホワイトバランス制御値に基づいて、前記ホワイトバランス処理を行うことを特徴とする請求項１に記載の撮像装置。
前記フレームに関連付けて記憶された前記補正係数及び前記静止画用のホワイトバランス制御値のいずれか一方並びに前記動画用のホワイトバランス制御値は、対応する前記フレームのヘッダ情報に付帯して記憶されていることを特徴とする請求項１又は請求項２に記載の撮像装置。
前記ホワイトバランス制御値算出手段は、前記動画像の撮影中に静止画撮影を実行して静止画像を取得した場合に、前記静止画撮影が実行された前後の前記動画像のフレームに関連付けて記憶された前記補正係数及び前記静止画用のホワイトバランス制御値のいずれか一方並びに前記動画用のホワイトバランス制御値に基づいて、前記静止画像用のホワイトバランス制御値を算出することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
光学系と、
前記光学系からの光を電気信号に変換する請求項１乃至請求項４のいずれか１項に記載の撮像装置と、
を備えることを特徴とする画像処理装置。