JP2017188854A - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】最適なホワイトバランス補正がされた動画データを生成することを目的とする。【解決手段】本発明の画像処理装置１００は、タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置１００であって、画像データに対して、画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行う補正手段と、補正後の画像データに基づいて動画データを生成する動画生成手段と、を備え、補正手段は、環境光の変化が相対的に大きい撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、環境光の変化が相対的に小さい撮影シーンでは固定のホワイトバランス値でホワイトバランス補正を行う、ことを特徴とする。【選択図】図２

Description

本発明は、所定の時間間隔で撮影された複数の画像データに基づく動画データを生成する画像処理装置、画像処理装置の制御方法及びプログラムに関する。

従来からタイムラプス撮影が可能な撮像装置が知られている。タイムラプス撮影は、例えば長時間にわたり、所定の時間間隔で複数回、自動的に行われる撮影である。タイムラプス撮影で得られた複数の画像データは、それぞれ別個のファイルとして記録されることがある。また、複数枚の静止画を撮影し、合成して一枚の静止画として記録することがある。さらに、一定間隔で動画を何度も撮影し、動画同士を連結または合成して一つの動画とすることがある。
また、タイムラプス撮影が可能な撮像装置では、タイムラプス動画の生成が可能なものがある。タイムラプス動画は、タイムラプス撮影で撮影した画像データに基づく動画であり、撮影時間よりも再生時間を短くすることで、比較的長い時間の情景変化を短時間でコマ送り再生したような映像となる。

このタイムラプス動画のホワイトバランス補正に関連する技術として、特許文献１は、所定間隔をおいて順次撮影した複数の静止画像を複数のフレームとして持つ動画像を生成するデジタルカメラを開示する。特許文献１のデジタルカメラは、撮影対象の光源の色変化に応答してホワイトバランスの調整内容を変化させ、色変化に対するホワイトバランスの調整内容の変化量を所定間隔に応じて制御する。

特開２０１４−１４６９６９号公報

しかしながら、特許文献１に記載のデジタルカメラは、ホワイトバランス補正の調整内容の変化量を所定間隔に応じて決定するため、撮影シーンに応じた適切なホワイトバランス補正が行われないことがある。

本発明は以上のような状況に鑑みてなされたものであり、最適なホワイトバランス補正がされた動画データを生成することを目的とする。

本発明の画像処理装置は、タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置であって、前記画像データに対して、前記画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行う補正手段と、補正後の画像データに基づいて前記動画データを生成する動画生成手段と、を備え、前記補正手段は、環境光の変化が相対的に大きい撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、環境光の変化が相対的に小さい撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う、ことを特徴とする。

本発明によれば、画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行うようにしたので、最適なホワイトバランス補正がされた動画データを生成できる。

デジタルカメラのブロック図である。 タイムラプス動画処理のフローチャートである。 ホワイトバランス補正値算出処理のフローチャートである。 白検出範囲を示す図である。 撮影シーンの概念図である。

まず、図１を参照して、画像処理装置の一例であるデジタルカメラ１００について説明する。図１は、デジタルカメラ１００のブロック図である。
撮影レンズ１０４は、レンズ群であり、ズームレンズ、フォーカスレンズを含む。
シャッター１０５は、絞り機能を備えるシャッターである。
撮像部１０６は、撮像素子であり、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。
Ａ／Ｄ変換器１０７は、撮像部１０６から出力されるアナログ信号をデジタル信号に変換する。
バリア１０３は、デジタルカメラ１００の撮影レンズ１０４を含む撮像系を覆うことにより、撮影レンズ１０４、シャッター１０５、撮像部１０６を含む撮像系の汚れや破損を防止する。

画像処理部１０２は、Ａ／Ｄ変換器１０７からのデータ、又は、メモリ制御部１０８からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部１０２は、撮像した画像データを用いて所定の演算処理を行う。この演算処理に基づいてシステム制御部１０１が露光制御、測距制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１０２は、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理等を行う。ＡＷＢ算出方法に関しては後述する。

Ａ／Ｄ変換器１０７からの出力データは、画像処理部１０２及びメモリ制御部１０８を介して、又は、メモリ制御部１０８を介してメモリ１０９に直接書き込まれる。
メモリ制御部１０８は、メモリ１０９への書き込みや読み込み等を制御する。
メモリ１０９は、撮像部１０６によって得られＡ／Ｄ変換器１０７によりデジタルデータに変換された画像データや、表示部１１１に表示するための画像データを格納する。メモリ１０９は、更に、デジタルカメラ１００が撮影した静止画や動画等を格納する。メモリ１０９は、所定枚数の静止画や所定時間の動画を格納するのに十分な記憶量を備えている。また、メモリ１０９は、画像表示用のメモリ（ビデオメモリ）を兼ねている。
Ｄ／Ａ変換器１１０は、メモリ１０９に格納されている画像表示用のデータをアナログ信号に変換して表示部１１１に供給する。こうして、メモリ１０９に書き込まれた表示用の画像データはＤ／Ａ変換器１１０を介して表示部１１１で表示される。

表示部１１１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１０からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１０７によって一度Ａ／Ｄ変換されメモリ１０９に蓄積されたデジタル信号が、Ｄ／Ａ変換器１１０においてアナログ変換され、表示部１１１に逐次転送されて表示される。こうして、電子ビューファインダが実現されて、スルー画像表示を行うことができる。

不揮発性メモリ１１４は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１４には、システム制御部１０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、例えば、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部１０１は、デジタルカメラ１００全体を制御する。システム制御部１０１は、不揮発性メモリ１１４に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システム制御部１０１は、メモリ１０９、Ｄ／Ａ変換器１１０、表示部１１１等を制御することにより表示制御も行う。
システムメモリ１１３にはＲＡＭが用いられ、システム制御部１０１の動作用の定数、変数、及び、不揮発性メモリ１１４から読み出したプログラム等が展開される。
システムタイマー１１２は、計時部であり、各種制御に用いる時間や、内蔵された時計の時間を計測する。

シャッタースイッチ１１５、モード切換ダイヤル１１８、電源ボタン１１９、操作部１２０は、ユーザがシステム制御部１０１に各種の動作指示を入力するための操作手段である。
シャッタースイッチ１１５は、ユーザの操作により、第１シャッタースイッチ１１６、及び、第２シャッタースイッチ１１７をＯＮにできるボタンである。
第１シャッタースイッチ１１６は、デジタルカメラ１００に設けられたシャッタースイッチ１１５の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部１０１は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
第２シャッタースイッチ１１７は、シャッタースイッチ１１５の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部１０６からの信号読み出しから記録媒体１２４に画像データを書き込むまでの一連の撮影処理の動作を開始する。

モード切換ダイヤル１１８は、システム制御部１０１の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り換える。
静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等が含まれる。静止画撮影モード以外のモードから静止画撮影モードに含まれるモードに切り替えるときは、モード切換ダイヤル１１８によって、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り換るようにしてもよい。また、モード切換ダイヤル１１８で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り換えるようにしてもよい。
動画撮影モードには、オート動画撮影モード、マニュアル動画撮影モード、及び、タイムラプス動画モード等が含まれる。タイムラプス動画モードでは、例えば長時間にわたり、所定の時間間隔で複数回、自動的に撮影が行われ、撮影時間よりも再生時間が短い動画を生成したり再生したりできる。タイムラプス動画モードについては後に詳しく説明する。

電源ボタン１１９は、ユーザがデジタルカメラ１００の電源のＯＮ／ＯＦＦを指示するためのボタンである。
操作部１２０の各操作部材は、ユーザが表示部１１１に表示される種々の機能アイコンを選択操作する際の場面毎に適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。

電源制御部１２１は、電池検出回路、ＤＣ−ＤＣコンバータ、及び、通電するブロックを切り換えるスイッチ回路等により構成され、電源ボタン１１９の状態、電池の装着の有無、電池の種類、及び、電池残量の検出等を行う。また、電源制御部１２１は、その検出結果及びシステム制御部１０１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２４を含む各部へ供給する。
電源部１２２には、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、又は、Ｌｉ電池等の二次電池、及び、ＡＣアダプター等の少なくともいずれかが使われる。本実施例では電源部（以下電池と呼ぶ）１２２に二次電池を用いる例を説明する。

音声出力部１２７は、カメラの操作音や警告のビープ音を鳴らすことができる。
発光部１２８は、ＬＥＤのように光を発する部品から構成され、例えば電源の状態、各種の接続の状態、及び、エラー発生等を光でユーザに通知できる。発光部１２８は、暗い場所で被写体を照らしＡＦ（オートフォーカス）の合焦精度を上げるために用いるものであってもよい。
姿勢センサ１２９は、デジタルカメラ１００の姿勢を検出し、検出結果をシステム制御部１０１に出力する。システム制御部１０１は、姿勢センサ１２９からの出力に基づいて、デジタルカメラ１００の姿勢が縦位置か横位置かを判断する。なお、縦位置か横位置かを姿勢センサ１２９が判別し、判別結果をシステム制御部１０１へ出力してもよい。

記録媒体Ｉ／Ｆ１２３は、メモリカードやハードディスク等の記録媒体１２４とのインターフェースである。
記録媒体１２４は、撮影された画像データを記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
外部機器Ｉ／Ｆ１２５は、無線又は有線ケーブルによって外部機器１２６と接続し、映像信号や音声信号の送受信を行う。外部機器Ｉ／Ｆ１２５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとの接続も可能である。外部機器Ｉ／Ｆ１２５は、撮像部１０６で撮像した画像データ（スルー画像を含む）や、記録媒体１２４に記録された画像データを送信できる。また、外部機器Ｉ／Ｆ１２５は、外部機器１２６から画像データやその他の各種情報を受信できる。

次に、図２を参照して、タイムラプス動画処理について説明する。図２は、タイムラプス動画処理のフローチャートである。タイムラプス動画処理は、タイムラプス動画モードで行われる撮影の処理である。タイムラプス動画処理では、タイムラプス撮影が行われ、この撮影で得られる画像データに基づいてタイムラプス動画が生成される。
ステップＳ２０１において、システム制御部１０１は、モード切換ダイヤル１１８の設定状態を調べ、デジタルカメラ１００の動作モードがタイムラプス動画モードであるか否かを判断する。システム制御部１０１は、デジタルカメラ１００の動作モードがタイムラプス動画モードのとき処理をステップＳ２０３に進め、タイムラプス動画モード以外のとき処理をステップＳ２０２に進める。
なお、システム制御部１０１は、タイムラプス動画モードと判断したとき、表示部１１１に撮影待機画面を表示させてもよい。

ステップＳ２０２において、システム制御部１０１は、デジタルカメラ１００の動作モードに応じた処理を実行する。その後、システム制御部１０１は処理をステップＳ２０１に戻す。
ステップＳ２０３において、システム制御部１０１は、タイムラプス撮影の設定値を、不揮発性メモリ１１４等から取得する。タイムラプス撮影の設定値には、例えば、撮影間隔、及び、撮影期間がある。撮影間隔は、タイムラプス撮影の撮影間隔を表す時間である。撮影期間は、タイムラプス撮影を行う期間である。撮影間隔及び撮影期間は、デジタルカメラ１００が予め備える初期設定値でもよく、ユーザが設定した値でもよい。ユーザが撮影間隔及び撮影期間の少なくともいずれかを設定するとき、設定値は、ユーザが自由に定めた値でもよく、予め定められた複数の値からユーザが選択したものでもよい。
なお、本実施形態のデジタルカメラ１００は、予め設定された１秒、３０秒、１分、１５分、３０分、１時間、５時間、１０時間、又は、２４時間等の間隔で無制限に連続的な被写体撮影を行えるものとする。

ステップＳ２０４において、システム制御部１０１は、第２シャッタースイッチ１１７が押されて、タイムラプス撮影開始を表す第２シャッタースイッチ信号ＳＷ２を受けたか否かを判断する。
第２シャッタースイッチ信号ＳＷ２を受けたとき、画像処理部１０２は、この時点における画像信号を用いＡＦ、ＡＥ処理を行い、本撮影に最適なピント及び露出設定条件を取得する。そして、システム制御部１０１は処理をステップＳ２０５に進める。
システム制御部１０１は、第２シャッタースイッチ信号ＳＷ２を受けていないとき処理をステップＳ２０１に戻す。

ステップＳ２０５において、システム制御部１０１は、撮影シーン情報を取得する。撮影シーン情報は、現在の撮影シーン、及び、撮影シーンがどのように遷移するかを表す情報である。
ここで、図５を参照して、撮影シーン情報について説明する。図５は、撮影シーンの概念図である。
撮影シーンは、環境光の変化が相対的に大きい撮影シーンと環境光の変化が相対的に小さい撮影シーンとに分類できる。本実施形態では、環境光の変化が相対的に大きい撮影シーンとして、日の出シーン、及び、夕景シーンがあり、環境光の変化が相対的に小さい撮影シーンとして、日中シーン、及び、夜景シーンがある。図５に示すように、日中シーンは時刻Ｔ０から時刻Ｔ１、夕景シーンは時刻Ｔ１から時刻Ｔ２、夜景シーンは時刻Ｔ２から時刻Ｔ３、日の出シーンは、時刻Ｔ３から次の日中シーンの開始時刻である時刻Ｔ０のシーンである。なお、時刻Ｔ１からＴ４は、例えば、不揮発性メモリ１１４に記録されている。また、時刻Ｔ１からＴ４は、季節等によって変動する値であってもよい。

撮影シーン情報は、タイムラプス撮影の撮影開始時刻、及び、撮影期間から取得できる。例えば、図５の時間帯（Ａ）でタイムラプス撮影が行われるとする。このとき、時間帯（Ａ）は、時刻Ｔ０から時刻Ｔ１の範囲内のため、撮影シーンは日中シーンのままであり、撮影シーンの遷移は発生しない。同様に、時間帯（Ｄ）は、撮影シーンは夜景シーンのままであり、撮影シーンの遷移は発生しない。
また、時間帯（Ｂ）は、時刻Ｔ１をまたぐため、撮影シーンは日中シーンから夕景シーンに遷移する。同様に、時間帯（Ｃ）は、時刻Ｔ１及びＴ２をまたぐため、撮影シーンは日中シーン、夕景シーン、及び、夜景シーンの順に遷移する。

ステップＳ２０６において、システム制御部１０１は、予め取得した撮影条件で本撮影処理を行う。本撮影処理において、撮像部１０６から得られた電気信号に基づく画像データが例えばメモリ１０９に書き込まれる。ステップＳ２０６で行われる撮影がタイムラプス撮影であり、本実施形態では、タイムラプス撮影は固定画角で行われるものとする。
ステップＳ２０７において、画像処理部１０２は、ステップＳ２０６の処理で得られた画像データに基づいて、ホワイトバランス補正値算出処理を行う。ホワイトバランス補正値算出処理によって、ステップＳ２０６の処理で得られた画像データに基づくホワイトバランス補正値が算出される。ホワイトバランス補正値算出処理は、システム制御部１０１が行ってもよい。

ここで、図３を参照して、ホワイトバランス補正値算出処理について説明する。図３は、ホワイトバランス補正値算出処理のフローチャートである。
ステップＳ３０１において、画像処理部１０２は、ステップＳ２０６の撮影で得られ、メモリ１０９に記憶された画像データを読み出し、読み出された画像データが表す画像を所定のｍ個のブロックに分割する。所定の数ｍは、任意に定めることができ、例えば、不揮発性メモリ１１４等に記憶されている。分割されたそれぞれのブロックを第ｉブロック（ｉは１からｍまでの自然数）と呼ぶ。
ステップＳ３０２において、画像処理部１０２は、変数ｉを１に設定する。

ステップＳ３０３において、画像処理部１０２は、ブロック毎に色平均値を算出する。色平均値は、画素値を色毎に加算平均した値である。第ｉブロックの色平均値をＲ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］とする。さらに、画像処理部１０２は、ブロック毎に色評価値を算出する。色評価値は１対の値からなる。第ｉブロックの色評価値をＣｘ［ｉ］、Ｃｙ［ｉ］とすると、第ｉブロックの色評価値は、次の式（１）及び式（２）で算出できる。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４ …（１）
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４ …（２）
ただし、Ｙ［ｉ］は、「Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４」で算出される値である。

ステップＳ３０４において、画像処理部１０２は、第ｉブロックが白色か否かを判断する。第ｉブロックが白色か否かの判断には、第ｉブロックの色評価値、及び、白検出範囲４０１が使われる。
そこで次に、図４を参照して白検出範囲４０１について説明する。図４は、白検出範囲４０１を含む評価グラフを示す図である。図４に示す評価グラフの横軸であるｘ軸は色評価値Ｃｘ、縦軸であるｙ軸は色評価値Ｃｙである。図４に示す評価グラフに含まれる白検出範囲４０１は、予め異なる光源の下で白色を撮影し、算出した色評価値をプロットして得られた範囲である。

白検出範囲４０１において、ｘ座標が負の方向にある点の色評価値Ｃｘほど、高色温度被写体の白を撮影したときに得られた色評価値Ｃｘであることを表す。白検出範囲４０１において、ｘ座標が正の方向にある点の色評価値Ｃｘほど、低色温度被写体の白を撮影したときに得られた色評価値Ｃｘであることを表す。したがって、ｘ座標の負の方向が高色温度方向であり、ｘ座標の正の方向が低色温度方向であるといえる。また、図４に示す評価グラフのｙ座標は光源の緑成分の度合いを意味し、色評価値Ｃｙが小さくなるにつれて、緑成分が大きくなり、光源が蛍光灯に近いことを意味する。白検出範囲４０１は撮影モードによって異なる範囲としたり、ユーザが設定できるものであったりしてもよい。

画像処理部１０２は、ステップＳ３０３で算出した第ｉブロックの色評価値が、白検出範囲４０１に含まれるとき、第ｉブロックは白色であると判断し、処理をステップＳ３０５に進める。画像処理部１０２は、ステップＳ３０３で算出した第ｉブロックの色評価値が、白検出範囲４０１に含まれないとき、第ｉブロックは白色ではないと判断し、処理をステップＳ３０６に進める。
ステップＳ３０５において、画像処理部１０２は、第ｉブロックの色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を積算する。したがって、ステップＳ３０５において、画像処理部１０２は、白色と判断したブロックの色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を色毎に積算することになる。

ステップＳ３０６において、画像処理部１０２は、全ブロックについての処理が終了したか否かを判断する。画像処理部１０２は、変数ｉがｍのとき、全ブロックについての処理が終了したと判断し、処理をステップＳ３０８に進める。画像処理部１０２は、変数ｉがｍではないとき、全ブロックについての処理が終了していないと判断し、処理をステップＳ３０７に進める。
ステップＳ３０７において、画像処理部１０２は、変数ｉをインクリメントし、処理をステップＳ３０３に戻す。

ステップＳ３０４及びＳ３０５の処理は、次の式（３）から式（５）により表すことができる。

式（３）から式（５）のＳｗ［ｉ］は、第ｉブロックが白色と判断されるとき１とし、第ｉブロックが白色ではないと判断されるとき０とする。これにより、ステップＳ３０４において処理を分岐して色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を色毎に積算するか否かを判断する処理が実質的に行われることになる。ＳｕｍＲ１、ＳｕｍＧ１、ＳｕｍＢ１は、それぞれ、ステップＳ３０５で算出される色毎の色平均値の積算値である。なお、積算値のことを積分値とも呼ぶ。

ステップＳ３０８において、画像処理部１０２は、ステップＳ３０５で算出された色評価値の積分値（ＳｕｍＲ１、ＳｕｍＧ１、ＳｕｍＢ１）から、ホワイトバランス補正値であるＷＢＣｏｌ＿Ｒ１、ＷＢＣｏｌ＿Ｇ１、ＷＢＣｏｌ＿Ｂ１を算出する。
ホワイトバランス補正値の算出には、次の式（６）から（８）が使われる。
ＷＢＣｏｌ＿Ｒ１＝ＳｕｍＹ１×１０２４／ＳｕｍＲ１ …（６）
ＷＢＣｏｌ＿Ｇ１＝ＳｕｍＹ１×１０２４／ＳｕｍＧ１ …（７）
ＷＢＣｏｌ＿Ｂ１＝ＳｕｍＹ１×１０２４／ＳｕｍＢ１ …（８）
ただし、ＳｕｍＹ１は、「ＳｕｍＹ１＝（ＳｕｍＲ１＋２×ＳｕｍＧ１＋ＳｕｍＢ１）／４」で算出される値である。

次に、図２に戻ってタイムラプス動画処理の説明を続ける。
ステップＳ２０８において、システム制御部１０１は、ステップＳ２０５で取得した撮影シーン情報に基づいて、画像データのホワイトバランス補正で使用するホワイトバランス補正値を常時固定にするか否かを判断する。
システム制御部１０１は、図５の時間帯（Ａ）や（Ｄ）のように、撮影シーンが常に日中シーン又は夜景シーンのとき、画像データのホワイトバランス補正で使用するホワイトバランス補正値を、常時固定にする。これは、日中シーン及び夜景シーンは、環境色温度が大きく変化することがなく、シーンが極端に変化しないと考えられるためである。
また、システム制御部１０１は、図５の時間帯（Ｂ）や（Ｃ）のように、撮影シーンに夕景シーン又は日の出シーンが含まれるとき、画像データのホワイトバランス補正で使用するホワイトバランス補正値を常時固定にはしない。これは、夕景シーン及び日の出シーンは、環境色温度の変化が大きく、環境光源が変化すると考えられるためである。
システム制御部１０１は、画像データのＷＢ補正で使用するホワイトバランス補正値を常時固定にするとき処理をステップＳ２１１に進め、常時固定にはしないとき処理をステップＳ２０９に進める。

ステップＳ２０９において、システム制御部１０１は、シーン判別処理を行う。シーン判別処理は、ステップＳ２０６で撮影を行った時の撮影シーンを判別する処理であり、環境光の変化が相対的に大きい撮影シーンであるか、環境光の変化が相対的に小さい撮影シーンであるかを判別する。上記の通り、本実施形態では、環境光の変化が相対的に大きい撮影シーンとして、日の出シーン、及び、夕景シーンがあり、環境光の変化が相対的に小さい撮影シーンとして、日中シーン、及び、夜景シーンがある。シーン判別処理では、環境光の変化が相対的に大きい撮影シーンであるか否かを判別するために、撮影シーンが、日中シーン、夕景シーン、夜景シーン、及び、日の出シーンのいずれであるかが判別される。
シーン判別処理は、例えば、ステップＳ２０６の撮影で得られた画像データに基づく情報、及び、撮影時の情報の少なくともいずれかを使って行われる。画像データに基づく情報には、例えば、被写体輝度（Ｂｖ値）等の露出情報、及び、色評価値に基づいて得られるヒストグラム情報がある。撮影時の情報には、例えば、オートフォーカス動作で得られる被写体距離情報や撮影時刻がある。

シーン判別処理では、次の条件Ａ１からＡ６の全てを満たしたときに、夕景シーンであると判断される。
（条件Ａ１）Ｂｖ値が所定値（Bv_Th_Sunset[ＥＶ]）以上であること。
（条件Ａ２）撮影時の被写体距離が所定値以上であること（マクロ撮影でないこと）。
（条件Ａ３）色評価値から算出される画像全体の平均輝度値が所定値以下であること。
（条件Ａ４）平均輝度が所低値以上の高輝度ブロックが、所定の割合以上存在すること。

（条件Ａ５）色評価値から得られる平均輝度、及び、平均色相が以下の条件を満たすブロックが、所定の割合以上存在すること。
平均輝度が所定範囲内（Y_Th_Sunset_Low以上、Y_Th_Sunset_Hi以下）であること。
平均色相が所定範囲内（Hue_Th_Sunset_Low以上、C_Th_Sunset_Hi以下）であること。
なお、条件Ａ５を、色評価値から得られる平均輝度、及び、平均色相が上記の２つの条件を満たし、さらに、平均彩度が所定の範囲内であるブロックが、所定の割合以上存在すること、としてもよい。
（条件Ａ６）色評価値における色相や彩度のヒストグラムが所定値以上の分散を持つこと。
なお、条件Ａ１からＡ６に含まれる所定値や所定の割合等を、Ｂｖ値に基づいて変更してもよい。

また、シーン判別処理では、次の条件Ｂ１からＢ３の全てを満たしたときに、夜景シーンであると判断される。
（条件Ｂ１）Ｂｖ値が所定値（Bv_Th_Night [ＥＶ]）以下であること。
（条件Ｂ２）ブロック毎の色評価値から算出される画像全体の平均輝度値が所定の値以下であること。
（条件Ｂ３）画像の上から所定の範囲内に、色評価値から得られる平均輝度、及び、平均彩度が以下の条件を満たすブロックが、所定割合以上存在すること。
平均輝度が所定値（Y_Th_Night）以下であること。
平均彩度が所定値（C_Th_Night）以下であること。
なお、画像の上下は、姿勢センサ１２９等の出力に基づいて判断できる。また、条件Ｂ１からＢ３に含まれる所定値や所定の割合等を、Ｂｖ値に基づいて変更してもよい。
また、シーン判別処理では、日中シーン及び日の出シーンも、同様の方法で判断できる。
なお、シーン判別処理では、直近のステップＳ２０６で撮影処理が行われた時の時刻等、シーン判別処理が行われる時刻の近傍の時刻を使って撮影シーンを判別してもよい。撮影シーンのそれぞれは、図５に示すように、時刻Ｔ１からＴ４で決めることができるため、時刻から撮影シーンを判別することもできる。

ステップＳ２１０において、システム制御部１０１は、ＷＢモードを決定する。ＷＢモードには、ＷＢ固定モードとＷＢ追従モードとがある。
ＷＢ固定モードは、固定のホワイトバランス補正値を使ってホワイトバランス補正を行うモードである。ＷＢ固定モードで使われるホワイトバランス補正値は、例えば、ＷＢ固定モードの初回の撮影で得られた画像データに基づいてステップＳ２０７で算出したホワイトバランス補正値とする。ＷＢ固定モードの初回の撮影には、ＷＢ追従モードからＷＢ固定モードに切り替わったときの直近の撮影が含まれる。
ＷＢ追従モードは、ホワイトバランス補正値を固定にせず、環境光の変化に追従させたホワイトバランス補正値を使ってホワイトバランス補正を行うモードである。ＷＢ追従モードでは、直近のステップＳ２０６の撮影処理で取得した画像データに基づいてホワイトバランス補正値が定められる。

システム制御部１０１は、撮影シーンが日中シーン又は夜景シーンのときＷＢモードをＷＢ固定モードに決定し、夕景シーン又は日の出シーンのときＷＢモードをＷＢ追従モードに決定する。
例えば、図５に示す時間帯（Ｂ）で、撮影シーンが日中シーンから夕景シーンに遷移したとき、システム制御部１０１は、ＷＢモードをＷＢ固定モードからＷＢ追従モードに切り替える。撮影シーンが日中シーンから夕景シーンに遷移したときは、環境光源が変化したものとみなすことができるため、システム制御部１０１は、この変化に合わせてＷＢモードを切り替える。

また、図５に示す時間帯（Ｃ）で、撮影シーンが日中シーンから夕景シーンに遷移したとき、システム制御部１０１は、ＷＢモードをＷＢ固定モードからＷＢ追従モードに切り替える。その後さらに撮影シーンが遷移して夜景シーンと判断されたとき、システム制御部１０１は、ＷＢモードをＷＢ追従モードからＷＢ固定モードに切り替える。ここで、夜景シーンに遷移したときにＷＢ固定モードに切り替える理由は、次の通りである。第１に、夜景撮影時の画像信号出力値が、従来シーンである夕景シーンより低いためである。第２に、ノイズや点滅光源等の影響により、上記の白検出結果のばらつきが大きくなるため、同様な環境であったとしても結果がばらつきやすいためである。

また、撮影シーンが夜景シーンから日の出シーンに遷移したとき、システム制御部１０１は、ＷＢモードをＷＢ固定モードからＷＢ追従モードに切り替える。これは、環境色温度が大きく変化する可能性があるためである。
また、撮影シーンが日の出シーンから日中シーンに遷移したとき、システム制御部１０１は、ＷＢモードをＷＢ追従モードからＷＢ固定モードに切り替える。これは、環境光源が安定するためである。

ステップＳ２１１において、システム制御部１０１は、最終的なホワイトバランス補正値を決定する。
システム制御部１０１は、ステップＳ２０８でホワイトバランス補正値を常時固定と判断したときは、１回目の撮影処理で取得した画像データに基づいてステップＳ２０７で算出したホワイトバランス補正値を最終的なホワイトバランス補正値とする。
また、システム制御部１０１は、ステップＳ２１０でＷＢモードを決定したときは、決定したＷＢモードの補正方法に用いるホワイトバランス補正値を最終的なホワイトバランス補正値とする。

ステップＳ２１２において、画像処理部１０２は、最終的なホワイトバランス補正値を用いて、直近のステップＳ２０５の撮影で得られた画像データに対して、ホワイトバランス補正を行う。なお、画像処理部１０２は、ホワイトバランス補正以外の各種の画像処理を行ってもよい。また、ステップＳ２１２の画像処理で生成される画像データは、本発明の補正画像データの一例である。
ステップＳ２１３において、システム制御部１０１又は画像処理部１０２は、画像処理部１０２から出力されたデジタル画像信号（画像処理後の画像データ）を、記録フォーマットに変換し、メモリ１０９や記録媒体１２４に記録する。

ステップＳ２１４において、システム制御部１０１は、現在時刻等を参照して、タイムラプス撮影が完了したか否かを判断する。システム制御部１０１は、タイムラプス撮影が完了したとき図２のタイムラプス動画処理を終了し、タイムラプス撮影が完了していないとき処理をステップＳ２１５に進める。
ステップＳ２１５において、システム制御部１０１は、次の撮影までの撮影間隔が経過したか否かを判断し、経過したとき処理をステップＳ２０６に戻し、経過していないときはステップＳ２１５で次の撮影の撮影間隔が経過するまで待つ。

システム制御部１０１は、タイムラプス動画処理で行ったホワイトバランス補正後の画像データを使って、タイムラプス動画の動画生成を行う。システム制御部１０１は、ステップＳ２１２において、ホワイトバランス補正を行う毎に、ホワイトバランス補正後の画像データを連結してタイムラプス動画の動画データを生成してもよい。また、システム制御部１０１は、タイムラプス撮影終了後に、ホワイトバランス補正後の画像データをまとめて連結し、タイムラプス動画の動画データを生成してもよい。

以上説明したように、デジタルカメラ１００は、タイムラプス撮影において、環境光の変化が相対的に大きい撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行う。また、環境光の変化が相対的に小さい撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う。そして、ホワイトバランス補正を行った画像データからタイムラプス動画の動画データを生成する。したがって、デジタルカメラ１００は、撮影シーンに応じて最適なホワイトバランス補正がされた動画データを生成できる。また、撮影シーンが遷移しても色合いが不安定になることがなく、見やすい動画データを生成できる。

また、デジタルカメラ１００は、撮影シーンとして、日中シーン、夕景シーン、夜景シーン、及び、日の出シーンのいずれかに基づく補正方法でホワイトバランス補正を行う。したがって、どの時間帯であっても最適なホワイトバランス補正がされた動画データを自動的に生成できる。
また、デジタルカメラ１００は、撮影開始時刻、撮影期間、画像データに基づく情報、及び、画像データの撮影時の情報の少なくともいずれかから、画像データの撮影シーンを判別する。したがって、デジタルカメラ１００は、ユーザが撮影シーンを設定することなく、自動的に最適なホワイトバランス補正がされた動画データを生成できる。また、デジタルカメラ１００は、撮影シーンの判別に特別な装置等を備える必要がない。

（その他の実施形態）
上記の本実施形態では、撮影シーンには、日中シーン、夕景シーン、夜景シーン、及び、日の出シーンの４つのシーンがあるが、日中シーン、夕景シーン、及び、夜景シーンの３つのシーンがあるものとしてもよい。撮影シーンには５つ以上のシーンがあるものとしてもよい。
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、１０１ システム制御部、１０２ 画像処理部

Claims (8)

1. タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置であって、
   前記画像データに対して、前記画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行う補正手段と、
   補正後の画像データに基づいて前記動画データを生成する動画生成手段と、を備え、
   前記補正手段は、環境光の変化が相対的に大きい撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、環境光の変化が相対的に小さい撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う、ことを特徴とする画像処理装置。
2. 前記環境光の変化が相対的に大きい撮影シーンは日の出シーン又は夕景シーンであり、前記環境光の変化が相対的に小さい撮影シーンは日中シーン又は夜景シーンであることを特徴とする請求項１に記載の画像処理装置。
3. タイムラプス撮影で得られた前記画像データの撮影シーンを判別する判別手段をさらに備え、
   前記補正手段は、前記判別手段が判別した前記画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記判別手段は、撮影開始時刻、撮影期間、タイムラプス撮影で得られた前記画像データに基づく情報、及び、タイムラプス撮影で得られた前記画像データの撮影時の情報の少なくともいずれかから、タイムラプス撮影で得られた前記画像データの撮影シーンを判別することを特徴とする請求項３に記載の画像処理装置。
5. 前記判別手段は、タイムラプス撮影で得られた前記画像データに基づく情報、及び、タイムラプス撮影で得られた前記画像データの撮影時の情報として、露出情報、色評価値、及び、被写体距離の少なくともいずれかから、タイムラプス撮影で得られた前記画像データの撮影シーンを判別することを特徴とする請求項４に記載の画像処理装置。
6. タイムラプス撮影で得られた複数の前記画像データは固定画角での撮影で得られたことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置の制御方法であって、
   前記画像データに対して、環境光の変化が相対的に大きい撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、環境光の変化が相対的に小さい撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行い、補正後の画像データに基づいて前記動画データを生成することを特徴とする画像処理装置の制御方法。
8. タイムラプス撮影で得られた複数の画像データに基づいて動画データを生成する画像処理装置を制御するためのプログラムであって、
   前記画像データに対して、前記画像データの撮影シーンに基づく補正方法でホワイトバランス補正を行う補正ステップと、
   補正後の画像データに基づいて前記動画データを生成する動画生成ステップと、をコンピュータに実行させるためのプログラムであって、
   前記補正ステップでは、環境光の変化が相対的に大きい撮影シーンではホワイトバランス補正値を追従させてホワイトバランス補正を行い、環境光の変化が相対的に小さい撮影シーンでは固定のホワイトバランス補正値でホワイトバランス補正を行う、ことを特徴とするプログラム。

Images