JP2017188853A - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】色合いが適正に補正された画像データに基づく動画データを生成することを目的とする。【解決手段】本発明の画像処理装置１００は、タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置１００であって、画像データに対して、画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行う補正手段と、補正後の画像データに基づいて動画データを生成する動画生成手段と、を備え、補正手段は、自然光が支配的な撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、人工光が支配的な撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う、ことを特徴とする。【選択図】図４

Description

本発明は、所定の時間間隔で撮影された複数の画像データに基づく動画データを生成する画像処理装置、画像処理装置の制御方法及びプログラムに関する。

タイムラプス撮影を行ってタイムラプス動画を生成できる撮像装置が知られている。タイムラプス撮影では、所定の時間間隔で複数回の撮影が自動で行われる。タイムラプス動画は、タイムラプス撮影で撮影した画像データに基づく動画であり、撮影時間よりも再生時間を短くすることで、比較的長い時間の情景変化を短時間でコマ送り再生したような映像となる。例えば、タイムラプス動画では、タイムラプス撮影において１０分間隔で撮影した画像データを使って、３０ｆｐｓで再生できる。
タイムラプス撮影を固定画角で行うと、光源が大きく変化するシーンの場合、光源の変化に応じてホワイトバランス補正値を追従させてホワイトバランス補正を行わなければ、撮影開始からの時間経過とともに撮影した画像データの品質が低下する。

このようなホワイトバランス補正に関連する技術として、特許文献１は、所定間隔をおいて順次撮影した複数の静止画像を複数のフレームとして持つ動画像を生成するデジタルカメラを開示する。特許文献１のデジタルカメラは、撮影対象の光源の色変化に応答してホワイトバランスの調整内容を変化させ、色変化に対するホワイトバランスの調整内容の変化量を所定間隔に応じて制御する。

特開２０１４−１４６９６９号公報

しかしながら、特許文献１に記載のデジタルカメラは、ホワイトバランス補正の調整内容の変化量を所定間隔に応じて決定するため、撮影シーンに応じた適切なホワイトバランス補正が行われないことがある。
また、人工光のような追従の難しい光源が支配的なシーンでは、ホワイトバランス補正値を追従させると、かえってフレーム毎の画像データが異なった色合いに補正され、色合いの安定しない見づらい動画データが得られることがある。

本発明は、本発明は以上のような状況に鑑みてなされたものであり、色合いが適正に補正された動画データを生成することを目的とする。

本発明の画像処理装置は、タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置であって、前記画像データに対して、前記画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行う補正手段と、補正後の画像データに基づいて前記動画データを生成する動画生成手段と、を備え、前記補正手段は、自然光が支配的な撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、人工光が支配的な撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う、ことを特徴とする。

本発明によれば、自然光が支配的な撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、人工光が支配的な撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う。したがって、色合いが適正に補正された動画データを生成できる。

撮像装置のブロック図である。 ホワイトバランス補正値算出処理のフローチャートである。 白検出範囲を示す図である。 第１実施形態のタイムラプス撮影処理のフローチャートである。 タイムラプス撮影の概念図である。 第２実施形態のタイムラプス撮影処理のフローチャートである。

＜第１実施形態＞
まず、図１を参照して、画像処理装置の一例である撮像装置１００について説明する。図１は、撮像装置１００のブロック図である。
１０は、撮影レンズである。
１２は、絞り機能を備えるシャッターである。
１４は、被写体の光学像を電気信号に変換する撮像素子である。
１６は、Ａ／Ｄ変換器であり、撮像素子１４が出力するアナログ信号出力をデジタル信号に変換する。
１８は、タイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するものである。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。
２０は、画像処理回路であり、Ａ／Ｄ変換器１６からのデータ又はメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像により生成された画像データを用いて所定の演算処理を行って、その演算結果をシステム制御回路５０に供給する。さらに、画像処理回路２０は、撮像により生成された画像データを用いてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理等を行う。

２２は、メモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、及び、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されるデータは、画像処理回路２０を介してメモリ制御回路２２に供給され、又は、直接メモリ制御回路２２に供給される。これにより、Ａ／Ｄ変換器１６から出力されるデータが、画像表示メモリ２４又はメモリ３０に書き込まれる。
２４は、画像表示メモリである。
２６は、Ｄ／Ａ変換器である。
２８は、ＴＦＴ−ＬＣＤ等からなる画像表示部である。
画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８に供給される。これにより画像表示部２８に画像が表示される。撮像された画像データを画像表示部２８に逐次表示することにより、電子ファインダ機能を実現できる。また、画像表示部２８を用いて、再生表示機能、各種表示機能を実現できる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合は、撮像装置１００の電力消費を大幅に低減できる。

３０は、メモリであり、撮像装置１００が撮影した静止画像や動画を格納する。メモリ３０は、所定枚数の静止画像や所定時間の動画を格納するのに十分な記憶量を備えている。メモリ３０を利用することにより、複数枚の画像データを連続して撮影する連写撮影やパノラマ撮影の場合においても、高速に大量の画像データを保存することができる。また、メモリ３０はシステム制御回路５０の作業領域としても利用され得る。
３２は、圧縮・伸長回路であり、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮し又は伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像データを読み込んで圧縮処理又は伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。圧縮・伸長回路３２は、動画データの圧縮処理又は伸長処理を行うことができるものであってもよい。

４０は、絞り機能を備えるシャッター１２を制御する露光制御部であり、ストロボ４８と連携してフラッシュ調光を行うこともできる。
４２は、撮影レンズ１０のフォーカシングを制御する測距制御部である。
露光制御部４０及び測距制御部４２は、撮像により生成された画像データを画像処理回路２０が演算した演算結果に基づいて、システム制御回路５０によって制御される。これにより、ＴＴＬ方式の露光制御及び測距制御が実現される。
４４は、撮影レンズ１０のズーミングを制御するズーム制御部である。
４６は、バリア（保護部）１０２の動作を制御するバリア制御部である。
４８は、ストロボであり、被写体を明るく照らしてピントを合いやすくするためのＡＦ補助光の投光機能を有する。なお、ストロボ４８は、単一でもよいし、閃光発光用にキセノン管、微小長秒発光用にＬＥＤ等のように複数設け、本発光時にそれぞれを切り替えて制御してもよい。

５０は、システム制御回路であり、撮像装置１００全体を制御する。また、システム制御回路５０は、画像処理回路２０の演算結果等に基づいて、露光制御部４０、測距制御部４２を制御して、各種処理を実現する。各種処理には、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等がある。
５２は、メモリであり、システム制御回路５０の動作用の定数、変数、及び、プログラム等を記憶する。また、メモリ５２はＡＥで用いるプログラム線図を格納する。プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値との関係を定義したテーブルである。
５４は、液晶表示装置、スピーカ等の表示部であり、システム制御回路５０によるプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数又は複数箇所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等で表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示等がある。加えて、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。

５６は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等で構成される。
６０、６２、６４、６６は、ユーザがシステム制御回路５０へ各種動作を指示するための操作部であり、例えばスイッチやダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。
操作部のうち、６０はモードダイヤルスイッチであり、次の各モードを切り替えることができる。モードダイヤルスイッチ６０で切り替えられるモードには、例えば、電源オフ、プログラムＡＥモード等の自動露出モード、全自動モード、マニュアル露出モード、寝顔撮影モード、タイムラプス撮影モードがある。さらに、モードダイヤルスイッチ６０で切り替えられるモードには、例えば、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等がある。

６２は、シャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でオンとなる。シャッタースイッチＳＷ１は、オンになることで、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
６４は、シャッタースイッチＳＷ２であり、上記のシャッターボタンの操作完了でオンとなる。シャッタースイッチＳＷ２は、オンになることで、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理の動作開始を指示する。さらに、シャッタースイッチＳＷ２は、オンになることで、次の一連の処理の動作開始を指示する。この一連の処理は、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、及び、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理である。
６６は、各種ボタンやタッチパネル等からなる操作部である。操作部６６には、メニューボタン、セットボタン、マクロボタン、画像表示オン／オフボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンがある。さらに、操作部６６には、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、及び、電池残量の検出を行い、検出結果、及び、システム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
８２、８４は、コネクタである。
８６は、電源であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等が使われる。

９０及び９４は、メモリカードやハードディスク等の記録媒体２００、２１０とのインタフェースである。
９２及び９６は、メモリカードやハードディスク等の記録媒体２００、２１０と接続を行うコネクタである。
９８は、コネクタ９２又は９６に、記録媒体２００又は２１０が装着されているか否かを検知する記録媒体着脱検知部である。

なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数及び複数のいずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成してもよい。
さらに、インタフェース９０及び９４、並びに、コネクタ９２及び９６を、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ）カード等の規格に準拠したものを用いて構成した場合、次のような各種通信カードを接続できる。接続できる通信カードには、例えば、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カードがある。このような通信カードを接続することで、撮像装置１００は、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０２は、保護手段であり、撮像装置１００の撮影レンズ１０を含む撮像部を覆う事により撮像部の汚れや破損を防止するバリアである。
１０４は、光学ファインダであり、画像表示部２８による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能になる。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等を表示する機能が置かれる。
１１０は、通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能の少なくとも一部を有する。
１１２は、通信インタフェースである。通信部１１０が有線での通信を行うものである場合、通信インタフェース１１２は他の機器と接続するコネクタ等である。通信部１１０が無線通信を行うものである場合、通信インタフェース１１２はアンテナ等である。

２００は、メモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。
２１０は、メモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、撮像装置１００とのインタフェース２１４、撮像装置１００と接続を行うコネクタ２１６を備えている。

次に、図２を参照して、ホワイトバランス補正値算出処理について説明する。図２は、ホワイトバランス補正値算出処理のフローチャートである。
ステップＳ２０１において、画像処理回路２０は、撮影で得られた画像データが表す画像を所定のｍ個のブロックに分割する。所定の数ｍは、任意に定めることができ、例えば、メモリ５２等に記憶されている。分割されたそれぞれのブロックを第ｉブロック（ｉは１からｍまでの自然数）と呼ぶ。
ステップＳ２０２において、画像処理回路２０は、変数ｉを１に設定する。
ステップＳ２０３において、画像処理回路２０は、ブロック毎に色平均値を算出する。色平均値は、画素値を色毎に加算平均した値である。第ｉブロックの色平均値をＲ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］とする。さらに、画像処理回路２０は、ブロック毎に色評価値を算出する。色評価値は１対の値からなる。第ｉブロックの色評価値をＣｘ［ｉ］、Ｃｙ［ｉ］とすると、第ｉブロックの色評価値は、次の式（１）及び式（２）で算出できる。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４ …（１）
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４ …（２）
ただし、Ｙ［ｉ］は、「Ｙ［ｉ］＝Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］」で算出される値である。

ステップＳ２０４において、画像処理回路２０は、第ｉブロックが白色か否かを判断する。第ｉブロックが白色か否かの判断には、第ｉブロックの色評価値、及び、白検出範囲３０１が使われる。
そこで、次に、図３を参照して白検出範囲３０１について説明する。図３は、白検出範囲３０１を含む評価グラフを示す図である。図３に示す評価グラフの横軸であるｘ軸は色評価値Ｃｘ、縦軸であるｙ軸は色評価値Ｃｙである。図３に示す評価グラフに含まれる白検出範囲３０１は、予め異なる光源の下で白色を撮影し、算出した色評価値をプロットして得られた範囲である。

白検出範囲３０１において、ｘ座標が負の方向にある点の色評価値Ｃｘほど、高色温度被写体の白を撮影したときに得られた色評価値Ｃｘであることを表す。白検出範囲３０１において、ｘ座標が正の方向にある点の色評価値Ｃｘほど、低色温度被写体の白を撮影したときに得られた色評価値Ｃｘであることを表す。したがって、ｘ座標の負の方向が高色温度方向であり、ｘ座標の正の方向が低色温度方向であるといえる。また、図３に示す評価グラフのｙ座標は光源の緑成分の度合いを意味し、色評価値Ｃｙが小さくなるにつれて、緑成分が大きくなり、光源が蛍光灯に近いことを意味する。

画像処理回路２０は、ステップＳ２０３で算出した第ｉブロックの色評価値が、白検出範囲３０１に含まれるとき、第ｉブロックは白色であると判断し、処理をステップＳ２０５に進める。画像処理回路２０は、ステップＳ２０３で算出した第ｉブロックの色評価値が、白検出範囲３０１に含まれないとき、第ｉブロックは白色ではないと判断し、処理をステップＳ２０６に進める。

ステップＳ２０５において、画像処理回路２０は、第ｉブロックの色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を積算する。したがって、ステップＳ２０５において、画像処理回路２０は、白色と判断したブロックの色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を色毎に積算することになる。
ステップＳ２０６において、画像処理回路２０は、全ブロックについての処理が終了したか否かを判断する。画像処理回路２０は、変数ｉがｍのとき、全ブロックについての処理が終了したと判断し、処理をステップＳ２０８に進める。画像処理回路２０は、変数ｉがｍではないとき、全ブロックについての処理が終了していないと判断し、処理をステップＳ２０７に進める。
ステップＳ２０７において、画像処理回路２０は、変数ｉをインクリメントし、処理をステップＳ２０３に戻す。

ステップＳ２０４及びＳ２０５の処理は、次の式（３）から式（５）により表すことができる。

式（３）から式（５）のＳｗ［ｉ］は、第ｉブロックが白色と判断されるとき１とし、第ｉブロックが白色ではないと判断されるとき０とする。これにより、ステップＳ２０４において処理を分岐して色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を色毎に積算するか否かを判断する処理が実質的に行われることになる。ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢは、それぞれ、ステップＳ２０５で算出される色毎の色平均値の積算値である。なお、積算値のことを積分値とも呼ぶ。

ステップＳ２０８において、画像処理回路２０は、ステップＳ２０５で算出された色評価値の積分値（ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢ）から、ホワイトバランス補正値（ＷＢ補正値とも呼ぶ）であるＷＢＣｏＲ、ＷＢＣｏＧ、ＷＢＣｏＢを算出する。
ＷＢ補正値の算出には、次の式（６）から（８）が使われる。
ＷＢＣｏＲ＝ＳｕｍＹ×１０２４／ＳｕｍＲ …（６）
ＷＢＣｏＧ＝ＳｕｍＹ×１０２４／ＳｕｍＧ …（７）
ＷＢＣｏＢ＝ＳｕｍＹ×１０２４／ＳｕｍＢ …（８）
ただし、ＳｕｍＹは、「ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４」で算出される値である。
画像処理回路２０は、このように算出したＷＢ補正値を用いて画像データに対してホワイトバランス補正を行うことができる。ただし、撮像装置１００は、次に説明するように、ホワイトバランス補正値算出処理で算出したＷＢ補正値をそのまま使うことなく、新たにＷＢ補正値を算出等してホワイトバランス補正を行うことがある。

次に、図４を参照して、タイムラプス撮影処理について説明する。図４は、タイムラプス撮影処理のフローチャートである。
ステップＳ４０１において、システム制御回路５０は、モードダイヤルスイッチ６０の設定状態を調べ、撮像装置１００の動作モードがタイムラプス撮影モードであるか否かを判定する。システム制御回路５０は、撮像装置１００の動作モードがタイムラプス撮影モードのとき処理をステップＳ４０３に進め、タイムラプス撮影モード以外のとき処理をステップＳ４０２に進める。
ステップＳ４０２において、システム制御回路５０は、撮像装置１００の動作モード（例えば、静止画撮影モードや通常動画撮影モード）に応じた処理を実行する。その後、システム制御回路５０は処理をステップＳ４０１に戻す。

ステップＳ４０３において、システム制御回路５０は、タイムラプス撮影の設定値を、不揮発性メモリ５６等から取得する。
ここで、図５を参照して、タイムラプス撮影の設定値の例について説明する。図５は、タイムラプス撮影の概念図である。図５に示すように、タイムラプス撮影では、所定の時間間隔である撮影間隔毎に撮影が行われて画像データ５０１が生成される。タイムラプス撮影は、撮影が開始してから、撮影時間で指定される時間の間行われる。この撮影間隔、及び、撮影時間が、タイムラプス撮影の設定値の一例である。
タイムラプス動画は、図５に示すように、タイムラプス撮影で得られた画像データ５０１に基づいて生成される動画である。タイムラプス動画の動画データは、フレームレート、又は、動画の再生時間を定めることにより、生成できる。このフレームレート、又は、動画の再生時間が、タイムラプス撮影の設定値の他の例である。
これらの設定値は、初期値としてメモリ５２等に記憶されたものでもよく、撮影被写体やシーン等に応じてユーザが設定してもよい。なお、上記の設定値は例にすぎず、例えば、撮影時間の代わりに撮影枚数を使う等、他の設定値を使ってもよい。

ステップＳ４０４において、システム制御回路５０は、シャッタースイッチＳＷ１がオンであるか否かを判定する。システム制御回路５０は、シャッタースイッチＳＷ１がオンのとき処理をステップＳ４０５に進め、シャッタースイッチＳＷ１がオフのとき処理をステップＳ４０１に戻す。
ステップＳ４０５において、システム制御回路５０は、ＡＦ（オートフォーカス）及びＡＥ（自動露出）処理を行う。システム制御回路５０は、ＡＦの結果から測距制御部４２により撮影レンズ１０の焦点を被写体に合わる。また、システム制御回路５０は、ＡＥの結果から絞り値及びシャッター開放時間の決定を行う。システム制御回路５０は、決定した値をシステム制御回路５０の内部メモリ又はメモリ５２に記憶して、ステップＳ４０６に処理を進める。
ステップＳ４０６において、システム制御回路５０は、シャッタースイッチＳＷ２がオンであるか否かを判定する。システム制御回路５０は、シャッタースイッチＳＷ２がオンのとき処理をステップＳ４０７に進め、シャッタースイッチＳＷ１がオフのとき処理をステップＳ４０４に戻す。

ステップＳ４０７において、システム制御回路５０は、撮影の処理を行う。具体的には次の処理を行う。まず、システム制御回路５０は、システム制御回路５０の内部メモリ又はメモリ５２に記憶されている絞り値及びシャッター開放時間に従って、露光制御部４０による絞り機能を有するシャッター１２を制御する。そして、システム制御回路５０は、撮像素子１４を露光させて電荷信号を読み出す。そして、システム制御回路５０は、読み出した電荷信号からＡ／Ｄ変換器１６、及び、画像処理回路２０を介して画像データを生成する。さらに、システム制御回路５０は、生成した画像データを、メモリ制御回路２２を介して、メモリ３０に書き込む。本実施形態では、ステップＳ４０７の撮影は固定画角で行われるものとする。
ステップＳ４０８において、画像処理回路２０は、上記のホワイトバランス補正値算出処理で、ＷＢ補正値を算出する。システム制御回路５０又画像処理回路２０は、算出されＷＢ補正値をシステム制御回路５０の内部メモリ又はメモリ５２に記憶する。

ステップＳ４０９において、システム制御回路５０は、撮影された画像データの撮影シーンのシーン判別を行う。撮影シーンは、自然光が支配的な撮影シーンと人工光が支配的な撮影シーンとに分類できる。本実施形態では、自然光が支配的な撮影シーンか人工光が支配的な撮影シーンかによって、ホワイトバランス補正の方法を変える。そこで、システム制御回路５０は、撮影された画像データの撮影シーンのシーン判別として、画像データが撮影されたときの光源が自然光か人工光かの判別を行う。そして、システム制御回路５０は、光源が自然光と判断したときは自然光が支配的な撮影シーンと扱い、光源が人工光と判断したときは人工光が支配的な撮影シーンと扱う。光源の判別は、例えば、画像データに基づく色評価値、及び、黒体放射軸から行われる。例えば、ステップＳ４０８のホワイトバランス補正値算出処理で算出された積分値（ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢ）から色評価値（Ｃｘ、Ｃｙ）を算出する。この算出には、次の式（９）及び（１０）を使う。
Ｃｘ＝（ＳｕｍＲ−ＳｕｍＢ）／Ｙ×１０２４ …（９）
Ｃｙ＝（ＳｕｍＲ＋ＳｕｍＢ−２ＳｕｍＧ）／Ｙ×１０２４ …（１０）
ただし、Ｙは、「Ｙ＝ＳｕｍＲ＋２ＳｕｍＧ＋ＳｕｍＢ」で算出される値である。
システム制御回路５０は、算出した色評価値（Ｃｘ、Ｃｙ）が、例えば図３に示す黒体放射軸上にあれば自然光と判断し、黒体放射軸から離れていれば人工光と判断する。
なお、システム制御回路５０は、算出した色評価値（Ｃｘ、Ｃｙ）が、黒体放射軸から所定の距離以内にあるとき自然光と判断し、算出した色評価値（Ｃｘ、Ｃｙ）が、黒体放射軸から所定の距離より離れているとき人工光と判断してもよい。

ステップＳ４１０において、システム制御回路５０は、ステップＳ４０９でのシーン判別の結果に基づいて、ホワイトバランス補正で使用するＷＢ補正値を決定する。
例えば、固定画角での撮影において、シーン判別の結果、光源が自然光であれば、自然光は時間の経過とともに光源が変化するため、ホワイトバランスを光源に追従させないと色合いが適正から離れてしまう。逆に、人工光が支配的なシーンであれば、時間的な変化は少ないため、ホワイトバランスを光源に追従させると、むしろ色合いが不安定な見づらい動画が得られることがある。
そこで、本実施形態では、システム制御回路５０は、シーン判別の結果に基づいて、光源が自然光であれば自然光用のホワイトバランス補正である自然光補正、及び、光源が人工光であれば人工光用のホワイトバランス補正である人工光補正のいずれかを行う。

光源が人工光のとき、ステップＳ４１０において、システム制御回路５０は、人工光補正を行うためのＷＢ補正値を決定する。人工光補正を行うためのＷＢ補正値は、固定の値である。例えば、最初に人工光と判断したときにホワイトバランス補正値算出処理で算出したＷＢ補正値を、人工光補正を行うためのＷＢ補正値とする。
なお、光源が人工光のとき、システム制御回路５０は、次のようにＷＢ補正値を決定してもよい。まず、予め、システム制御回路５０の内部メモリ又はメモリ５２に、光源の種類（例えば、白色蛍光灯等）毎に、ＷＢ補正値を記憶しておく。そして、システム制御回路５０は、画像データの光源の種類を推定する。次に、システム制御回路５０は、光源の種類に対応するＷＢ補正値を内部メモリ又はメモリ５２から呼び出して、人工光補正を行うためのＷＢ補正値とする。

光源が自然光のとき、ステップＳ４１０において、システム制御回路５０は、自然光補正を行うためのＷＢ補正値を決定する。自然光補正は、ホワイトバランスを追従させるホワイトバランス補正である。
自然光補正を行うためのＷＢ補正値は、ホワイトバランスを追従させるように、画像データに基づいて決定される。
例えば、１回前（前回）に撮影した画像データのＷＢ補正値と、今回撮影した画像データのＷＢ補正値との差分に応じて、ゆっくりホワイトバランスを追従させるように、自然光補正を行うためのＷＢ補正値が決定される。なお、１回前に撮影した画像データのＷＢ補正値は、１回前に撮影した画像データについてホワイトバランス補正値算出処理で算出された値でもよく、１回前に撮影した画像データについてステップＳ４１０で決定された値でもよい。また、１回前に撮影した画像データは、ステップＳ４１０及びＳ４１１でのホワイトバランス補正の対象となる画像データの１回前の撮影で得られた画像データである。
他の例として、撮影間隔等のタイムラプス撮影の設定値等に応じて、ホワイトバランスの追従の速度が変わるようにして、１回前の撮影との繋がりが不自然にならないように、ＷＢ補正値が決定されてもよい。
なお、ホワイトバランスの追従は、例えば、ホワイトバランス補正で使用するＷＢ補正値をホワイトバランス補正値算出処理で算出されたＷＢ補正値に近づけること、又は、ホワイトバランス補正値算出処理で算出されたＷＢ補正値にすること、である。また、ホワイトバランスの追従の速度は、例えば、ＷＢ補正値の変化率又はＷＢ補正値の変化量である。

ステップＳ４１１において、システム制御回路５０又は画像処理回路２０は、メモリ３０に記憶された画像データを読出し、Ｓ４１０で決定したＷＢ補正値を使って、画像データにホワイトバランス補正を行う。次に、システム制御回路５０は、圧縮・伸長回路３２を制御して、ホワイトバランス補正を行った画像データに対してＪＰＥＧ方式等の所定のデータ圧縮を行って、記録媒体２００又は２１０に書き込む。ステップＳ４１１で生成されたホワイトバランス補正が行われた画像データは、補正画像データの一例である。
ステップＳ４１２において、システム制御回路５０は、タイムラプス撮影の終了条件を満たすか否かの判断を行う。タイムラプス撮影の終了条件は、例えば、タイムラプス撮影の設定値である撮影ショット数や設定時間等になっているか否か、という条件である。システム制御回路５０は、タイムラプス撮影の終了条件を満たすとき、すなわち、撮影ショット数や設定時間等になっているとき、図４に示すタイムラプス撮影処理を終了する。システム制御回路５０は、タイムラプス撮影の終了条件を満たさないとき、処理をステップＳ４１３に進める。

ステップＳ４１３において、システム制御回路５０は、タイムラプス撮影の設定値である撮影間隔が経過したか否かを判断する。システム制御回路５０は、撮影間隔が経過したとき処理をステップＳ４１４に進め、経過していないときは撮影間隔が経過するまで待つ。
Ｓ４１４では、ステップＳ４０５と同様にＡＥ及びＡＦの処理を行った後、処理をステップＳ４０７へ戻して戻りタイムラプス撮影動作を繰り返す。

システム制御回路５０は、タイムラプス撮影処理で行ったホワイトバランス補正後の画像データを使って、タイムラプス動画の動画生成を行う。システム制御回路５０は、ステップＳ４１１において、ホワイトバランス補正を行う毎に、ホワイトバランス補正後の画像データを連結してタイムラプス動画の動画データを生成してもよい。また、システム制御回路５０は、タイムラプス撮影終了後に、ホワイトバランス補正後の画像データをまとめて連結し、タイムラプス動画の動画データを生成してもよい。
このようにして得られるタイムラプス動画は、撮影時間よりも再生時間が短くなる。例えば、１０分間隔で１２時間撮影された画像データから、３０ｆｐｓで再生できるタイムラプス動画となる。したがって、比較的長い時間の情景変化を短時間でコマ送り再生したような映像を得ることができる。

以上説明したように、本実施形態の撮像装置１００は、自然光が支配的な撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、人工光が支配的な撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う。したがって、光源に応じて色合いが適正に補正された画像データに基づく動画データを生成できる。また、補正方法をユーザが設定する必要がなく、ユーザに負担をかけない。また、支配的な光源が、人工光から自然光に変わったり、自然光から人工光に変わったりしても、ユーザに負担を生かけることなく、色合いが適正に補正された画像データに基づく動画データを生成できる。

また、人工光が支配的な撮影シーンのときに行われる人工光補正は、固定のＷＢ補正値を用いたホワイトバランス補正である。したがって、人工光の元での撮影で得られた画像データの色合いが不安定なって見づらい動画データになることを回避できる。そして、色合いが安定した動画データを生成できる。
また、自然光が支配的な撮影シーンのときに行われる自然光補正は、少なくとも画像データに基づくＷＢ補正値を用いたホワイトバランス補正である。したがって、ホワイトバランスの追従が可能となり、時間が経過しても色合いを適正に保つことができる。

＜第２実施形態＞
次に、図６を参照して、本実施形態に係る撮像装置１００のタイムラプス撮影処理について説明する。図６は、タイムラプス撮影処理のフローチャートである。なお、第１実施形態の撮像装置１００と同様の点については、同一の符号を付し、説明を省略する。
図６のステップＳ４０１からＳ４０９、ステップＳ４１１からＳ４１４は、図４で説明したタイムラプス撮影処理と同様である。
システム制御回路５０は、ステップＳ４０３の処理の後、処理をステップＳ６０１に進める。

ステップＳ６０１において、システム制御回路５０は、制御切り替え閾値を決定する。制御切り替え閾値は、ホワイトバランス補正の方法として、自然光補正、及び、人工光補正のいずれでホワイトバランス補正を行うかを切り替えるときに使う値である。制御切り替え閾値は、ホワイトバランス補正の制御を切り替えるときに使う値といえる。
本実施形態では、制御切り替え閾値として、同一光源の連続検出回数が使われる。
例えば、光源として自然光が検出されているシーンにおいて、日が暮れて自然光が暗くなり、蛍光灯が徐々に支配的な光源になる等により、あるタイミングで光源として人工光が検出されたとする。このとき、ホワイトバランス補正の方法をすぐに自然光補正から人工光補正に切り替えず、何回か連続して光源として人工光が検出されたときに人工光補正に切り替える。ホワイトバランス補正の方法を人工光補正から自然光補正に切り替えるときも同様である。

本実施形態では、自然光補正から人工光補正への切り替えに必要な、光源として人工光が連続して検出される回数をＭ回とする。また、人工光補正から自然光補正への切り替えに必要な、光源として自然光が連続して検出される回数をＮ回とする。Ｍ及びＮは、自然数であり、同数でもよく、異なっていてもよい。また、Ｍ及びＮはタイムラプス撮影の設定に基づいて決定されてもよい。例えば、撮影間隔が長いほどＭ及びＮは小さくなり、撮影間隔が短いほどＭ及びＮは大きくなるように制御してもよい。
システム制御回路５０は、制御切り替え閾値であるＭ及びＮの決定し、その後に、処理をＳ４０４に進める。

ステップＳ４１０において、システム制御回路５０は、図４に示すステップＳ４１０と同様の処理を行う。ただし、システム制御回路５０は、制御切り替え閾値、及び、シーン判別の結果を考慮し、制御切り替え閾値を満たした場合のみ自然光補正と人工光補正とを切り替える。例えば、システム制御回路５０は、前回のステップＳ４１０及びＳ４１１において自然光補正を行った場合、かつ、直近のＭ回のステップＳ４０９でのシーン判別で光源が人工光と判断された場合、自然光補正から人工光補正に切り替える。そして、ステップＳ４１０において、人工光補正を行うためのＷＢ補正値を決定する。また、システム制御回路５０は、前回のステップＳ４１０及びＳ４１１において人工光補正を行った場合、かつ、直近のＮ回のステップＳ４０９でのシーン判別で光源が自然光と判断された場合、人工光補正から自然光補正に切り替える。
したがって、Ｍ回以上連続して光源が人工光と判断されたとき、Ｍ回目以降に撮影された画像データに対して人工光補正が行われる。また、Ｎ回以上連続して光源が自然光と判断されたとき、Ｎ回目以降に撮影された画像データに対して自然光補正が行われる。
そして、ステップＳ４１０において、システム制御回路５０は、人工光補正又は自然光補正を行うためのＷＢ補正値を決定する。

システム制御回路５０は、自然光補正から人工光補正に切り替えるとき、次のようにＷＢ補正値を決定してもよい。まず、予め、システム制御回路５０の内部メモリ又はメモリ５２に、光源の種類（例えば、白色蛍光灯等）毎に、ＷＢ補正値を記憶しておく。そして、システム制御回路５０は、光源の種類を推定する。次に、システム制御回路５０は、光源の種類に対応するＷＢ補正値を内部メモリ又はメモリ５２から呼び出して、人工光補正を行うためのＷＢ補正値とする。

また、システム制御回路５０は、自然光補正から人工光補正に切り替えるとき、Ｍ回目の撮影で得られた画像データについてホワイトバランス補正値算出処理で算出されたＷＢ補正値を、人工光補正のＷＢ補正値としてもよい。また、システム制御回路５０は、自然光補正から人工光補正に切り替えるとき、光源が人工光のＭ回の撮影で得られたＭ個の画像データについてホワイトバランス補正値算出処理で算出されたＷＢ補正値に基づく値を、人工光補正のＷＢ補正値としてもよい。例えば、１回目からＭ回目までの撮影で得られたそれぞれの画像データに基づくそれぞれのＷＢ補正値の平均値を、人工光補正のＷＢ補正値としてもよい。なお、人工光補正のＷＢ補正値は、自然光補正に切り替わるまで、固定した値が使われる。

また、システム制御回路５０は、人工光補正から自然光補正に切り替えるとき、Ｎ回目の撮影で得られた画像データについてホワイトバランス補正値算出処理で算出されたＷＢ補正値を、人工光補正のＷＢ補正値としてもよい。また、システム制御回路５０は、人工光補正から自然光補正に切り替えるとき、光源が自然光のＮ回の撮影で得られた画像データについてホワイトバランス補正値算出処理で算出されたＷＢ補正値に基づく値を、自然光補正のＷＢ補正値としてもよい。例えば、例えば、１回目からＮ回目までの撮影で得られたそれぞれの画像データに基づくそれぞれのＷＢ補正値の平均値を、自然光補正のＷＢ補正値としてもよい。

以上説明したように、本実施形態の撮像装置１００では、光源が人工光と判断された撮影がＭ回以上連続して行われたとき、Ｍ回目以降の撮影で得られた画像データに対して人工光補正が行われる。したがって、支配的な光源が徐々に自然光から人工光になるような撮影シーンであっても、ユーザに負担をかけずに、自然なホワイトバランスの追従が可能になる。
また、光源が自然光と判断された撮影がＮ回以上連続して行われたとき、Ｎ回目以降の撮影で得られた画像データに対して自然光補正が行われる。したがって、支配的な光源が徐々に人工光から自然光になるような撮影シーンであっても、ユーザに負担をかけずに、色合いが安定した動画データを生成できる。
また、本実施形態の撮像装置１００は、第１実施形態の撮像装置１００と同様に、ユーザに負担をかけずに、色合いが適正に補正された画像データに基づく動画データを生成できる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、２０ 画像処理回路、５０ システム制御回路

Claims (14)

1. タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置であって、
   前記画像データに対して、前記画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行う補正手段と、
   補正後の画像データに基づいて前記動画データを生成する動画生成手段と、を備え、
   前記補正手段は、自然光が支配的な撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、人工光が支配的な撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う、ことを特徴とする画像処理装置。
2. 固定のホワイトバランス補正値を用いるホワイトバランス補正である人工光補正では、固定のホワイトバランス補正値として第１補正値を用い、ホワイトバランス補正値を追従させるホワイトバランス補正である自然光補正では、少なくとも前記画像データに基づくホワイトバランス補正値である第２補正値を用いることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１補正値は、タイムラプス撮影で得られた前記画像データから推定された光源の種類に基づくホワイトバランス補正値、又は、光源が人工光の連続したタイムラプス撮影で得られた複数の前記画像データのうちの最初の前記画像データに基づくホワイトバランス補正値であることを特徴とする請求項２に記載の画像処理装置。
4. 前記第２補正値は、さらに、ホワイトバランス補正の対象とする前記画像データの１回前の撮影で得られた前記画像データに基づくホワイトバランス補正値、及び、タイムラプス撮影の間隔の少なくともいずれかに基づくことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記補正手段は、光源が人工光の撮影がＭ回以上連続して行われたとき、Ｍ回目以降の撮影で得られた前記画像データに対して前記人工光補正を行い、光源が自然光の撮影がＮ回以上連続して行われたとき、Ｎ回目以降の撮影で得られた前記画像データに対して前記自然光補正を行ってホワイトバランス補正を行うことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記補正手段は、ホワイトバランス補正を前記自然光補正から前記人工光補正に切り替えるとき、光源が人工光のＭ回の撮影で得られた前記画像データに基づくそれぞれのホワイトバランス補正値の少なくとも１つに基づいたホワイトバランス補正値を前記第１補正値とすることを特徴とする請求項５に記載の画像処理装置。
7. 前記補正手段は、ホワイトバランス補正を前記自然光補正から前記人工光補正に切り替えるとき、Ｍ回目の撮影で得られた前記画像データに基づくホワイトバランス補正値、又は、１回目からＭ回目までの撮影で得られたそれぞれの前記画像データに基づくそれぞれのホワイトバランス補正値の平均値を前記第１補正値とすることを特徴とする請求項６に記載の画像処理装置。
8. 前記補正手段は、ホワイトバランス補正を前記人工光補正から前記自然光補正に切り替えるとき、光源が自然光のＮ回の撮影で得られた前記画像データに基づくそれぞれのホワイトバランス補正値の少なくとも１つに基づいたホワイトバランス補正値を前記第２補正値とすることを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 前記補正手段は、ホワイトバランス補正を前記人工光補正から前記自然光補正に切り替えるとき、Ｎ回目の撮影で得られた前記画像データに基づくホワイトバランス補正値、又は、１回目からＮ回目までの撮影で得られたそれぞれの前記画像データに基づくそれぞれのホワイトバランス補正値の平均値を前記第２補正値とすることを特徴とする請求項８に記載の画像処理装置。
10. タイムラプス撮影で得られた前記画像データに基づいて、前記画像データの光源を判別する判別手段をさらに備え、
    前記補正手段は、前記判別手段で判別された前記画像データの光源に基づく補正方法でホワイトバランス補正を行って補正画像データを生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記判別手段は、タイムラプス撮影で得られた前記画像データに基づく色評価値、及び、黒体放射軸から、前記画像データの光源を判別することを特徴とする請求項１０に記載の画像処理装置。
12. タイムラプス撮影で得られた複数の前記画像データは固定画角での撮影で得られたものであることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置の制御方法であって、
    前記画像データに対して、自然光が支配的な撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、人工光が支配的な撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行い、補正後の画像データに基づいて前記動画データを生成することを特徴とする画像処理装置の制御方法。
14. タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置を制御するためのプログラムであって、
    前記画像データに対して、前記画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行う補正ステップと、
    補正後の画像データに基づいて前記動画データを生成する動画生成ステップと、をコンピュータに実行させるためのプログラムであって、
    前記補正ステップでは、自然光が支配的な撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、人工光が支配的な撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う、ことを特徴とするプログラム。

Images