JP2013239869A - 画像処理装置及び方法、並びに記録媒体 - Google Patents

Abstract

【課題】 適切な画像を得ることができるようにする。
【解決手段】 装置移動量取得部は、撮像装置の移動量を取得する。被写体画像内移動量取得部は、撮像装置により撮像された画像内での被写体の移動量を取得する。光源変化推定部は、撮像装置の移動量、及び被写体の移動量に基づいて、被写体の光源の変化を推定する。本技術は、撮像機能を有する撮像装置に適用することができる。
【選択図】図２

Description

本技術は、画像処理装置及び方法、並びに記録媒体に関し、特に、適切な画像を得ることができる、画像処理装置及び方法、並びに記録媒体に関する。

従来、デジタルカメラ等の撮像装置では、様々な色温度の光源の下でも白い被写体が白く再現されるように、ホワイトバランス制御が行われている（例えば、特許文献１参照）。

特開２０１０−１５７９０４号公報

しかしながら、特許文献１等の従来のホワイトバランス制御では、光源は、主に撮像素子から出力される画像データから推定される。このため、従来のホワイトバランス制御では、主要被写体の実際の光源が変化していないにも関わらず、主要被写体以外の被写体の変化につられて、光源の推定結果が変化してしまう。その結果として、ホワイトバランスの調整が不十分になり、適切な画像が得られないおそれがある。

本技術は、このような状況に鑑みてなされたものであり、適切な画像を得ることができるようにしたものである。

本技術の一側面の画像処理装置は、撮像部の移動量を取得する装置移動量取得部と、前記撮像部により撮像された画像内での被写体の移動量を取得する被写体移動量取得部と、前記装置移動量取得部により取得された前記撮像部の移動量、及び前記被写体移動量取得部により取得された前記被写体の移動量に基づいて、前記被写体の光源の変化を推定する光源変化推定部とを備える。

前記光源変化推定部は、前記被写体の光源の変化の確率を算出することによって、前記光源の変化を推定することができる。

前記光源変化推定部は、前記装置移動量取得部により取得された前記撮像部の移動量、及び前記被写体移動量取得部により取得された前記被写体の移動量に基づいて、前記被写体の実移動量を求め、前記被写体の実移動量に基づいて前記確率を算出することができる。

前記光源変化推定部は、前記被写体の実移動量が大きいほど、前記確率を高く算出することができる。

前記光源変化推定部により推定された前記光源の変化に基づいて、前記画像の撮像から記録までの処理に用いられるパラメータを補正する補正処理部をさらに設けることができる。

前記パラメータは、前記被写体の光源の変化により影響を受けるパラメータとすることができる。

前記処理は、ホワイトバランス制御処理であり、前記パラメータは、前記ホワイトバランス制御処理で用いられるホワイトバランスゲインとすることができる。

前記処理は、露出制御処理であり、前記パラメータは、前記露出制御処理で用いられる露出制御値とすることができる。

前記補正処理部は、前記画像から光源又は明るさを推定し、その推定結果から前記パラメータの目標値を算出し、前記光源変化推定部により推定された前記確率が高いほど、前記目標値に近づけるように前記パラメータを補正することができる。

前記撮像部の実空間での動きを検出する装置動き検出部をさらに設け、前記装置移動量取得部は、前記装置動き検出部により検出された前記撮像部の実空間での動きに基づいて、前記撮像部の移動量を取得することができる。

前記装置動き検出部は、動きセンサを含むことができる。

前記動きセンサは、ジャイロセンサ、GPS、無線LAN、加速度センサのうち少なくとも１つを含むことができる。

前記装置動き検出部は、グローバルベクトルを用いた画像処理により前記撮像部の実空間での動きを検出することができる。

前記撮像部により撮像された前記画像内で被写体を追尾する追尾部をさらに備え、
前記被写体移動量取得部は、前記追尾部の追尾結果に基づいて、前記画像内での被写体の移動量を取得することができる。

前記追尾部は、前記撮像部により順次撮像された複数の前記画像の各々に対して画像処理を施すことにより、前記被写体を追尾することができる。

前記撮像部により順次撮像された複数の前記画像を順次表示する表示部と、前記表示部に順次表示される前記複数の画像の各々に前記被写体を含むか否かを通知する操作をユーザが行う操作部とをさらに設け、前記追尾部は、前記操作部に対して前記ユーザにより行われた操作内容に基づいて、前記被写体を追尾することができる。

前記撮像部により撮像された前記画像の構図を決定又は案内する構図部をさらに備え、前記被写体移動量取得部は、前記構図部の決定又は案内の結果に基づいて、前記画像内での被写体の移動量を取得することができる。

本技術の一側面の画像処理方法及び記録媒体は、上述した本技術の一側面の画像処理装置に対応する方法及び画像処理装置である。

本技術の一側面の画像処理装置及び方法並びに記録媒体においては、撮像部の移動量が取得され、撮像された画像内での被写体の移動量が取得され、前記撮像部の移動量、及び前記被写体の移動量に基づいて、前記被写体の光源の変化が推定される。

以上のごとく、本技術によれば、適切な画像を得ることができる。

撮像装置の機能的構成例を示すブロック図である。 光源変化推定部の機能的構成例を示すブロック図である。 主要被写体の実移動量の例を示す図である。 主要被写体の実移動量の他の例を示す図である。 光源変化確率と主要被写体の実移動量の関係を示す図である。 光源変化推定処理の一例について説明するフローチャートである。 ＷＢゲイン補正処理の一例について説明するフローチャートである。 光源変化確率とＷＢゲインの関係を示す図である。 露出制御値補正処理の一例について説明するフローチャートである。 光源変化確率と露出制御値の関係を示す図である。

[撮像装置の機能的構成例]
図１は、本技術の画像処理装置の一実施形態としての撮像装置１の機能的構成例を示すブロック図である。

レンズ部１１は、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、撮像素子１２の受光面に被写体像を結像させるため光学レンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させる光学レンズである。

撮像素子１２は、例えば、CCD（Charge Coupled Devices）センサやCMOS（Complementary Metal Oxide Semiconductor）センサ等で構成される。撮像素子１２は、タイミングジェネレータ(TG)２３から供給されるタイミング信号に従って動作することにより、レンズ部１１を介して入射する被写体からの光を受光して光電変換を行う。そして、撮像素子１２は、受光量に応じた電気信号としてのアナログの画像信号を、A/D(Analog/Digital)変換部１３に供給する。

A/D変換部１３は、撮像素子１２からのアナログ信号の画像信号をA/D変換し、その結果得られるデジタル信号を、画像データとして、CPU（Central Processing Unit）１７に供給する。

画像データ処理部１４は、画像データをCPU１７から取得して、各種画像処理を適宜施した上で、表示部１６に供給する。例えば、画像データ処理部１４は、CPU１７から通知されたＷＢ（White Balance）ゲインを用いて、CPU１７から取得した画像データに対してホワイトバランス制御を施す。そして、画像データ処理部１４は、ホワイトバランス制御が施された画像データを表示部１６に供給する。このようにして、表示部１６に画像データが供給された場合、撮像画像が表示部１６に表示される。

このような一連の処理が、所定間隔（例えば1/30s）毎に実行されると、表示部１６には、撮像装置１が現在撮像している様子を示す動画像がリアルタイムに表示される。なお、以下、このような動画像を、ライブビュー画像と呼ぶ。

このようなライブビュー画像が表示部１６に表示されている最中、ライブビュー画像に写る主要被写体の像に合焦するようにCPU１７によりAF（Auto Focus）処理が実行される。ここで、ライブビュー画像に写る主要被写体の像は、当該ライブビュー画像内で相対的に移動する場合がある。そこで、AF処理実行中において、ライブビュー画像内における主要被写体の像を画像処理により追尾するための被写体追尾部３１が画像データ処理部１４に設けられている。

そして、ライブビュー画像が表示部１６に表示されている最中に、操作部１９の一部であるシャッタボタンがユーザによって押下操作されると、記録の指示がCPU１７から画像データ処理部１４に通知される。すると、画像データ処理部１４は、CPU１７から記録の指示を受けた後に取得した画像データに対して、上述したホワイトバランス制御等の各種画像処理を施した後、JPEG(Joint Photographic Experts Group)方式等を用いた圧縮符号化処理を施し、その結果得られる圧縮符号化データを、記録デバイス１５に記録させる。

また、画像データ処理部１４は、記録デバイス１５に記録された圧縮符号化データを読み出して伸張復号処理を施し、その結果得られる撮像画像等のデータを表示部１６に供給する。このようにして、表示部１６に撮像画像等のデータが供給された場合、当該撮像画像等が表示部１６に表示される。

記録デバイス１５は、例えば、DVD(Digital Versatile Disc)等のディスクや、メモリカード等の半導体メモリその他のリムーバブル記録媒体であり、撮像装置１に対して、容易に着脱可能になっている。記録デバイス１５には、例えば撮影画像のデータ等が記録される。

CPU１７は、プログラムROM(Read Only Memory)２１に記録されているプログラムを実行することにより、撮像装置１を構成する各部を制御し、また、操作部１９からの信号に応じて、各種の処理を行う。

本実施形態では、CPU１７は、所定のプログラムを実行することにより、評価値算出部４１、光源変化推定部４２、ＷＢゲイン補正処理部４３、及び露出制御値補正処理部４４として機能する。

評価値算出部４１は、A/D変換部１３から供給された画像データを複数のブロックに分割し、各ブロックのデータのそれぞれに対して所定の処理を施して得られる値を積分して評価値を算出する。評価値算出部４１は、算出された評価値を、ＷＢゲイン補正処理部４３と露出制御値補正処理部４４に供給する。

光源変化推定部４２は、撮像画像に像として含まれる主要被写体の光源の変化を推定する。光源の変化の推定の手法は特に限定されないが、本実施形態では、光源変化推定部４２は、主要被写体の光源が変化している確率（以下、光源変化確率と称する）を算出することによって、光源の変化を推定する。光源変化推定部４２は、算出された光源変化確率を、ＷＢゲイン補正処理部４３と露出制御値補正処理部４４に供給する。光源変化推定部４２の詳細な機能的構成については、図２を参照して後述する。

ＷＢゲイン補正処理部４３は、評価値算出部４１により算出された評価値及び光源変化推定部４２により算出された光源変化確率を用いて、ＷＢゲインを補正する処理を実行する。ＷＢゲイン補正処理部４３は、補正されたＷＢゲインを画像データ処理部１４に供給する。なお、ＷＢゲインの補正の処理の詳細については、図７と図８を用いて後述する。

露出制御値補正処理部４４は、ライブビュー画像が表示部１６に表示されている最中等に、評価値算出部４１により算出された評価値及び光源変化推定部４２により算出された光源変化確率を用いて、露出制御値を補正する処理を実行する。露出制御値補正処理部４４は、補正された露出制御値に基づいてシャッタ速度や絞り値を算出し、例えばシャッタ速度をタイミングジェネレータ２３に供給すると共に、絞り値を、絞りの駆動機構（図示せぬ）に供給する。なお、露出制御値の補正の処理の詳細については、図９と図１０を用いて後述する。

このようなCPU１７には、上述したA/D変換部１３及び画像データ処理部１４の他さらに、装置動き検出部１８、操作部１９、EEPROM(Electrically Erasable Programmable ROM)２０、プログラムROM２１、RAM(Random Access Memory)２２、タイミングジェネレータ２３、及びレンズ制御部２４が接続されている。

装置動き検出部１８は、ジャイロセンサ、GPS(Global Positioning System)、無線LAN(Local Area Network)、加速度センサ等により構成され、所定時間での撮像装置１の位置の軌跡に基づいて実空間での動きを検出し、その検出結果を光源変化推定部４２に供給する。

操作部１９は、ユーザによって操作され、その操作に対応した信号を、CPU１７に供給する。操作部１９には、例えば、図示せぬ電源ボタン、シャッタボタン、ズームボタン、操作ボタン等が含まれる。

EEPROM２０は、CPU１７の制御にしたがい、各種データを記憶し、撮像装置１の電源がオフにされた後にも保持しておく。換言すると、撮像装置１の電源がオフにされたときにも保持しておく必要があるデータ、例えば撮像装置１に設定された情報等が、EEPROM２０に記憶される。

プログラムROM２１は、CPU１７が実行するプログラムを記憶し、さらには、CPU１７がプログラムを実行する上で必要なデータを記憶している。RAM２２は、CPU１７が各種の処理を行う上で必要なプログラムやデータを一時記憶する。

タイミングジェネレータ２３は、露出制御値補正処理部４４から供給された露出制御値にしたがって、タイミング信号を撮像素子１２に供給する。タイミングジェネレータ２３から撮像素子１２に供給されるタイミング信号によって、撮像素子１２におけるゲインやシャッタスピード等が制御されて露出制御が行われ、露出時間が制御される。

レンズ制御部２４は、CPU１７の制御にしたがい、各モータ（図中内部に文字Ｍが記載されたシンボルがモータを示す）を含むアクチュエータ２５を駆動することによって、レンズ部１１の動作を制御する。

[光源変化推定部４２の機能的構成例]
次に、以上説明した撮像装置１の機能的構成のうち、CPU１７に含まれる光源変化推定部４２の機能的構成の詳細について説明する。

図２は、図１の光源変化推定部４２の機能的構成例を示すブロック図である。

光源変化推定部４２は、装置移動量取得部７１、被写体画像内移動量取得部７２、被写体実移動量推定部７３、光源変化確率算出部７４、及び時間変化補正部７５を有している。

装置移動量取得部７１は、装置動き検出部１８により検出された撮像装置１の実空間での動きから、撮像装置１の実空間での移動量を取得する。

被写体画像内移動量取得部７２は、被写体追尾部３１による自動追尾処理による主要被写体の像の追尾結果から、主要被写体の像の撮像画像内での相対的な移動量を取得する。

なお、本実施形態では、撮像装置１の実空間での移動量と、主要被写体の像の撮像画像内での相対的な移動量とは、そのまま比較できるように同一尺度の物理量等で表されているものとする。

被写体実移動量推定部７３は、装置移動量取得部７１により取得された撮像装置１の移動量と、被写体画像内移動量取得部７２により取得された主要被写体の像の撮像画像内での移動量とを加算する。これにより、撮像装置１が静止していたならば取得された主要被写体の像の実際の移動量（以下、単に主要被写体の実移動量と称する）が推定される。ここで、主要被写体の実移動量の推定の手法について、図３と図４を参照して説明する。

[主要被写体の実移動量]
図３は、主要被写体の実移動量の例を示す図である。

図３の左図に示されるように、撮像装置１の表示部１６の画面Ｄ内に表示される撮像画像には、被写体Ｂ１乃至Ｂ３と主要被写体Ｈの各像が含まれている。図３の左図においては、主要被写体Ｈの像は、被写体Ｂ３の像の前面であって、画面Ｄ内の右側に配置されている。

画面Ｄ内では、主要被写体Ｈの像が、図３の左図の状態から同図の右図の状態に変化して、右側から左側に移動したものとする。

この場合、装置動き検出部１８により検出された撮像装置１の実空間での動きに基づいて、装置移動量取得部７１は、撮像装置１の実空間での移動量Ｖ１を取得する。また、被写体追尾部３１による主要被写体Ｈの像の追尾結果から得られた主要被写体Ｈの像の撮像画像内での動きに基づいて、被写体画像内移動量取得部７２は、主要被写体Ｈの像の撮像画像内での相対的な移動量Ｖ２を取得する。

次に、被写体実移動量推定部７３は、装置移動量取得部７１により取得された撮像装置１の実空間での移動量Ｖ１と、被写体画像内移動量取得部７２により取得された主要被写体Ｈの像の撮像画像内での相対的な移動量Ｖ２を加算する。これにより、主要被写体Ｈの実移動量Ｖ３が推定される。

図３の例では、撮像装置１の実空間での移動量Ｖ１と、撮像装置１とは反対方向への主要被写体Ｈの像の撮像画像内での相対的な移動量Ｖ２の絶対値が等しいとすると、主要被写体Ｈの実移動量Ｖ３は０となる。即ち、主要被写体Ｈの像の撮像画像内での移動は、撮像装置１の移動によるものであり、主要被写体Ｈは実空間では移動していないことがわかる。例えば、主要被写体Ｈは、依然として被写体Ｂ３の像の前面に配置されている。この場合、主要被写体Ｈの像が撮像画像内を移動したとしても、主要被写体Ｈは実質移動していないので、実空間での主要被写体Ｈの光源Ｌ１は、変化していないことが推定される。

図４は、主要被写体の実移動量の他の例を示す図である。

図４の左図に示されるように、撮像装置１の画面Ｄ内には図３の左図と同様に、被写体Ｂ１乃至Ｂ３と主要被写体Ｈの各像が含まれている。図４の左図においては、主要被写体Ｈの像は、被写体Ｂ３の像の前面であって、画面Ｄ内の右側に配置されている。

画面Ｄ内では、主要被写体Ｈの像の移動の状態は、図３と同一状態であったものとする。即ち、画面Ｄ内でも、主要被写体Ｈの像の状態は、図４の左図の状態から同図の右図の状態に変化して、右側から左側に移動したものとする。

図４の場合も、図３の場合と同様に、撮像装置１の実空間での移動量Ｖ１が装置移動量取得部７１により取得されると共に、主要被写体Ｈの像の撮像画像内での相対的な移動量Ｖ２が被写体画像内移動量取得部７２により取得される。

ただし、図４の場合では図３の場合とは異なり、撮像装置１の実空間での移動量Ｖ１が、撮像装置１と同じ方向への主要被写体の像の撮像画像内での相対的な移動量Ｖ２よりも大きいとする。

このような前提で、撮像装置１の実空間での移動量Ｖ１と、主要被写体Ｈの像の撮像画像内での相対的な移動量Ｖ２とが加算されるので、図４の場合には主要被写体Ｈの実移動量Ｖ３として正の値が得られることになる。即ち、図４の場合には、図３の場合と異なり、主要被写体Ｈの像の撮像画像内での移動は、実空間で主要被写体Ｈが移動したことによるものであることがわかる。例えば、主要被写体Ｈの像は、被写体Ｂ１乃至Ｂ３とは異なる被写体Ｂ１１の像のさらに左側の前面に配置されている。即ち、主要被写体Ｈは実質移動しているので、実空間での主要被写体Ｈの光源は、図３の右図に示される光源Ｌ１から、図４の右図に示される光源Ｌ２に変化していることが推定される。

このように、被写体実移動量推定部７３が、撮像装置１の実空間での移動量と主要被写体の像の撮像画像内での移動量とを加算することにより、主要被写体の実移動量の推定が可能となる。そして、主要被写体の実移動量が大きいほど、主要被写体の光源が変化している確率が高くなることがわかる。

図２の説明に戻り、光源変化確率算出部７４は、被写体実移動量推定部７３により推定された主要被写体の実移動量に基づいて、光源変化確率を算出する。ここで、光源変化確率の算出について、図５を参照して説明する。

[光源変化確率の算出]
図５は、光源変化確率と主要被写体の実移動量の関係を示す図である。

図５において、縦軸は、光源変化確率を示し、横軸は、主要被写体の実移動量を示している。

図５に示されるように、主要被写体の実移動量が小さい場合、主要被写体の光源が変化している可能性が低いため、光源変化確率は低くなる。

これに対して、主要被写体の実移動量が大きい場合、主要被写体の光源が変化している可能性が高いため、光源変化確率は高くなる。

なお、図５の例では、光源変化確率の上限が設けられており、主要被写体の実移動量が一定以上になると、光源変化確率はこの上限のまま変化しなくなる。

図２の説明に戻り、時間変化補正部７５は、光源変化確率算出部７４により算出された光源変化確率に対して、時間変化による補正をする。即ち、時間変化補正部７５は、一定時間主要被写体が移動している場合には、主要被写体の光源が変化している可能性が高くなるため、光源変化確率が高くなるように補正をする。

[光源変化推定処理]
次に、以上のような構成を有する光源変化推定部４２が、光源変化を推定する光源変化推定処理の流れについて説明する。

図６は、光源変化推定処理の一例について説明するフローチャートである。

ステップＳ１において、装置移動量取得部７１は、装置動き検出部１８により検出された撮像装置１の動きに基づいて、撮像装置１の実空間での移動量を取得する。

ステップＳ２において、被写体画像内移動量取得部７２は、被写体追尾部３１の追尾結果により特定される主要被写体の動きに基づいて、主要被写体の撮像画像内での移動量を取得する。

ステップＳ３において、被写体実移動量推定部７３は、ステップＳ１の処理で取得された撮像装置１の実空間での移動量と、ステップＳ２の処理で取得された主要被写体の撮像画像内での移動量とを加算することで、主要被写体の実移動量を推定する。

ステップＳ４において、光源変化確率算出部７４は、ステップＳ３の処理で推定された主要被写体の実移動量に基づいて、光源変化確率を算出する。

ステップＳ５において、時間変化補正部７５は、ステップＳ４の処理で算出された光源変化確率に対して、時間変化による補正をする。

これにより、光源変化推定処理は終了する。

以上のようにして、光源変化推定部４２により算出された光源変化確率は、撮像画像の撮像から記録までの処理に用いられるパラメータの補正に用いられる。具体的には、光源変化確率は、ＷＢゲイン補正処理部４３に供給されて、ホワイトバランス制御処理で用いられるＷＢゲインの補正に用いられる。また、光源変化確率は、露出制御値補正処理部４４に供給されて、露出制御処理で用いられる露出制御値の補正に用いられる。

[ＷＢゲイン補正処理]
次に、ＷＢゲイン補正処理部４３が、光源変化推定部４２により算出された光源変化確率を用いて、ＷＢゲインを補正する処理（以下、ＷＢゲイン補正処理と称する）について説明する。

図７は、ＷＢゲイン補正処理の一例について説明するフローチャートである。

ステップＳ２１において、評価値算出部４１は、A/D変換部１３から供給された画像データを複数ブロックに分割する。

ステップＳ２２において、評価値算出部４１は、各ブロックのデータ（即ち、各ブロックのR,G,Bそれぞれの輝度値）のそれぞれに対して所定の処理を施して得られる値を積分して評価値を算出する。算出された評価値は、ＷＢゲイン補正処理部４３に供給される。

ステップＳ２３において、ＷＢゲイン補正処理部４３は、評価値から光源を推定する。例えば、評価値が高いブロックを含む領域に光源があると推定される。

ステップＳ２４において、ＷＢゲイン補正処理部４３は、推定された光源に適したＷＢゲイン目標値を算出する。

ステップＳ２５において、ＷＢゲイン補正処理部４３は、光源変化推定部４２により算出された光源変化確率を取得する。

ステップＳ２６において、ＷＢゲイン補正処理部４３は、光源変化確率に基づいてＷＢゲインを補正する。補正されたＷＢゲインは、画像データ処理部１４に供給される。

これにより、ＷＢゲイン補正処理は終了する。

ここで、ステップＳ２６のＷＢゲインの補正について、図８を参照して説明する。

図８は、光源変化確率とＷＢゲインの関係を示す図である。

図８において、縦軸は、ＷＢゲインを示し、横軸は、光源変化確率を示している。

図８に示されるように、光源変化確率が低い場合、主要被写体の環境は変化せず、主要被写体の実際の光源は変化していない可能性が高い。したがって、ＷＢゲイン補正処理部４３は、光源変化確率が低いほど、現在のＷＢゲインからの変化量が小さくなるようにＷＢゲインを補正する。

これに対して、光源変化確率が高い場合、主要被写体が実際に移動する等して主要被写体の環境は変化し、その結果として、主要被写体の実際の光源も変化している可能性が高い。したがって、ＷＢゲイン補正処理部４３は、光源変化確率が高くなるほど、変化量が大きくなるように現在のＷＢゲインを補正する。

ただし、図８の例では、ＷＢゲインの上限はＷＢゲイン目標値となっており、光源変化確率が一定以上になると、ＷＢゲインはＷＢゲイン目標値とされる。

ＷＢゲイン補正処理部４３によって補正されたＷＢゲインは、画像データ処理部１４に供給される。すると、画像データ処理部１４は、ＷＢゲイン補正処理部４３から供給されたＷＢゲインを用いて、CPU１７から取得した画像データに対してホワイトバランス制御を施す。

このように、光源変化確率を用いて、主要被写体の光源の変化により影響を受けるパラメータであるＷＢゲインが補正される。これにより、周辺の影響を受けてＷＢゲイン目標値が大きく変化したとしても、ＷＢゲインを適切な値に補正することができる。したがって、適切に補正されたＷＢゲインを用いて、画像データにホワイトバランス制御が施されることにより、ユーザに対して、違和感を与えない適切な画像を提供することができる。

[露出制御値補正処理]
次に、露出制御値補正処理部４４が、光源変化推定部４２により算出された光源変化確率を用いて、露出制御値を補正する処理（以下、露出制御値補正処理と称する）について説明する。

図９は、露出制御値補正処理の一例について説明するフローチャートである。

ステップＳ４１において、評価値算出部４１は、A/D変換部１３から供給された画像データを複数ブロックに分割する。

ステップＳ４２において、評価値算出部４１は、各ブロックのデータ（即ち、各ブロックのR,G,Bそれぞれの輝度値）のそれぞれに対して所定の処理を施して得られる値を積分して評価値を算出する。算出された評価値は、露出制御値補正処理部４４に供給される。

ステップＳ４３において、露出制御値補正処理部４４は、評価値から主要被写体の明るさを算出する。例えば、明るさとして予め複数の段階が設定されており、当該複数の段階のうちの何れかの段階が、明るさとして算出される。

ステップＳ４４において、露出制御値補正処理部４４は、算出された主要被写体の明るさに適した露出制御目標値を算出する。例えば、複数の段階の各々と、複数の露出制御目標値の各々とが予め対応付けられており、ステップＳ４３の処理で算出された段階に対応付けられた露出制御目標値が、算出された主要被写体の明るさに適した露出制御目標値として算出される。

ステップＳ４５において、露出制御値補正処理部４４は、光源変化推定部４２により算出された光源変化確率を取得する。

ステップＳ４６において、露出制御値補正処理部４４は、光源変化確率に基づいて露出制御値を補正する。

これにより、露出制御値補正処理は終了する。

ここで、露出制御値の補正について、図１０を参照して説明する。

図１０は、光源変化確率と露出制御値の関係を示す図である。

図１０において、縦軸は、露出制御値を示し、横軸は、光源変化確率を示している。

図１０に示されるように、光源変化確率が低い場合、主要被写体の環境は変化せず、主要被写体の実際の光源は変化していない可能性が高い。したがって、露出制御値補正処理部４４は、光源変化確率が低いほど、現在の露出制御値からの変化量が小さくなるように露出制御値を補正する。

これに対して、光源変化確率が高い場合、主要被写体が実際に移動する等して主要被写体の環境は変化し、その結果として、主要被写体の実際の光源も変化している可能性が高い。したがって、露出制御値補正処理部４４は、光源変化確率が高くなるほど、変化量が大きくなるように現在の露出制御値を補正する。

ただし、図１０の例では、露出制御値の上限は露出制御目標値となっており、光源変化確率が一定以上になると、露出制御値は露出制御目標値とされる。

露出制御値補正処理部４４は、補正された露出制御値に基づいてシャッタ速度や絞り値を算出し、例えばシャッタ速度をタイミングジェネレータ２３に供給すると共に、絞り値を、絞りの駆動機構に供給する。

このように、光源変化確率を用いて、主要被写体の光源の変化により影響を受けるパラメータである露出制御値が補正される。これにより、周辺の影響を受けて露出制御目標値が大きく変化したとしても、露出制御値を適切に補正することができる。したがって、適切に補正された露出制御値を用いて、画像データに露出制御が施されることにより、ユーザに対して、違和感を与えない適切な画像を提供することができる。

上述の例では、被写体追尾部３１によって、ライブビュー画像内における主要被写体の像が画像処理により追尾され、その追尾結果から取得された主要被写体の像の撮像画像内での相対的な移動量が、光源変化確率の算出に用いられた。しかしながら、主要被写体の像の撮像画像内での相対的な移動量の取得手法はこれに限定されない。

例えば、撮像装置１においては、画像の構図を決定又はユーザに案内するための自動構図処理を実行する自動構図部（図示せず）においても、ライブビュー画像内における主要被写体の像が画像処理により検出される。そこで、このようにして検出された主要被写体の情報から、主要被写体の像の撮像画像内での相対的な移動量を取得する手法を採用してもよい。

即ち、自動構図処理を用いた自動構図撮影においても、本実施形態を適用することができる。

さらに、自動追尾処理や自動構図処理のように、撮像画像に対する自動的な画像処理に基づいて主要被写体の像の撮像画像内での相対的な移動量が取得されるのみならず、次のような手法により、主要被写体の像の撮像画像内での相対的な移動量が取得されてもよい。具体的には、電子ズームやトリミングなどのユーザ設定による被写体追尾が行われる際のユーザによる操作部１９の操作内容、例えば主要被写体が撮像画像内に入っていることの通知のための操作内容に基づいて、主要被写体の像の撮像画像内での相対的な移動量が取得されてもよい。

なお、上述の例では、撮像装置１に搭載される装置動き検出部１８は、ジャイロセンサ、GPS、無線LAN、加速度センサ等により構成されたが、特にこれに限定されず、撮像装置１の動きを検出する構成を有すれば足りる。

例えば、装置動き検出部１８は、画像処理により基準画像と比較画像との画像間の全体的な動き量を示すグローバルベクトルを算出して、算出されたグローバルベクトルに基づいて撮像装置１の動きを検出してもよい。

ここで、グローバルベクトルとは、撮像方向を順次変化させて撮像装置１が撮像を行うことにより得られた複数枚の撮像画像間の撮像装置１における相対的な動きを補償するパラメータである。即ち、グローバルベクトルとは、撮像系の変化によって生じる撮像画像全体又は広範囲部分の変化量を表すベクトルである。

[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

例えば、CPU１７に実行させるプログラムは、あらかじめプログラムROM２１にインストール（記憶）させておくこともできる。その他、プログラムが記憶された記録デバイス１５を、パッケージメディアとして撮像装置１のユーザに提供することもできる。この場合には当該プログラムは、CPU１７の制御にしたがって、パッケージメディアとして提供された記録デバイス１５から読み出されて、EEPROM２０にインストールされる。

また、CPU１７に実行させるプログラムは、図示はしないが、インターネット等のネットワークを介在する通信機能が撮像装置１に備えられている場合、ダウンロードサイトから、撮像装置１に直接ダウンロードされ、あるいは、図示せぬコンピュータでダウンロードされて撮像装置１に供給されることによって、EEPROM２０にインストールされる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成もとることができる。
（１）
撮像部の移動量を取得する装置移動量取得部と、
前記撮像部により撮像された画像内での被写体の移動量を取得する被写体移動量取得部と、
前記装置移動量取得部により取得された前記撮像部の移動量、及び前記被写体移動量取得部により取得された前記被写体の移動量に基づいて、前記被写体の光源の変化を推定する光源変化推定部と
を備える画像処理装置。
（２）
前記光源変化推定部は、前記被写体の光源の変化の確率を算出することによって、前記光源の変化を推定する
前記（１）に記載の画像処理装置。
（３）
前記光源変化推定部は、前記装置移動量取得部により取得された前記撮像部の移動量、及び前記被写体移動量取得部により取得された前記被写体の移動量に基づいて、前記被写体の実移動量を求め、前記被写体の実移動量に基づいて前記確率を算出する
前記（１）または（２）に記載の画像処理装置。
（４）
前記光源変化推定部は、前記被写体の実移動量が大きいほど、前記確率を高く算出する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記光源変化推定部により推定された前記光源の変化に基づいて、前記画像の撮像から記録までの処理に用いられるパラメータを補正する補正処理部
をさらに備える
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記パラメータは、前記被写体の光源の変化により影響を受けるパラメータである
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記処理は、ホワイトバランス制御処理であり、
前記パラメータは、前記ホワイトバランス制御処理で用いられるホワイトバランスゲインである
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記処理は、露出制御処理であり、
前記パラメータは、前記露出制御処理で用いられる露出制御値である
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記補正処理部は、前記画像から光源又は明るさを推定し、その推定結果から前記パラメータの目標値を算出し、前記光源変化推定部により推定された前記確率が高いほど、前記目標値に近づけるように前記パラメータを補正する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記撮像部の実空間での動きを検出する装置動き検出部
をさらに備え、
前記装置移動量取得部は、前記装置動き検出部により検出された前記撮像部の実空間での動きに基づいて、前記撮像部の移動量を取得する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記装置動き検出部は、動きセンサを含む
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記動きセンサは、ジャイロセンサ、GPS、無線LAN、加速度センサのうち少なくとも１つを含む
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記装置動き検出部は、グローバルベクトルを用いた画像処理により前記撮像部の実空間での動きを検出する
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記撮像部により撮像された前記画像内で被写体を追尾する追尾部をさらに備え、
前記被写体移動量取得部は、前記追尾部の追尾結果に基づいて、前記画像内での被写体の移動量を取得する
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記追尾部は、前記撮像部により順次撮像された複数の前記画像の各々に対して画像処理を施すことにより、前記被写体を追尾する
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
前記撮像部により順次撮像された複数の前記画像を順次表示する表示部と、
前記表示部に順次表示される前記複数の画像の各々に前記被写体を含むか否かを通知する操作をユーザが行う操作部と
をさらに備え、
前記追尾部は、前記操作部に対して前記ユーザにより行われた操作内容に基づいて、前記被写体を追尾する
前記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
前記撮像部により撮像された前記画像の構図を決定又は案内する構図部をさらに備え、
前記被写体移動量取得部は、前記構図部の決定又は案内の結果に基づいて、前記画像内での被写体の移動量を取得する
前記（１）乃至（１６）のいずれかに記載の画像処理装置。

本技術は、撮像機能を有する撮像装置に適用することができる。

１ 撮像装置， １４ 画像データ処理部， １６ 表示部， １７ CPU， １８ 装置動き検出部， ３１ 被写体追尾部， ４１ 評価値算出部， ４２ 光源変化推定部， ４３ ＷＢゲイン補正処理部， ４４ 露出制御値補正処理部， ７１ 装置移動量取得部， ７２ 被写体画像内移動量取得部， ７３ 被写体実移動量推定部， ７４ 光源変化確率算出部， ７５ 時間変化補正部

Claims (19)

1. 撮像部の移動量を取得する装置移動量取得部と、
   前記撮像部により撮像された画像内での被写体の移動量を取得する被写体移動量取得部と、
   前記装置移動量取得部により取得された前記撮像部の移動量、及び前記被写体移動量取得部により取得された前記被写体の移動量に基づいて、前記被写体の光源の変化を推定する光源変化推定部と
   を備える画像処理装置。
2. 前記光源変化推定部は、前記被写体の光源の変化の確率を算出することによって、前記光源の変化を推定する
   請求項１に記載の画像処理装置。
3. 前記光源変化推定部は、前記装置移動量取得部により取得された前記撮像部の移動量、及び前記被写体移動量取得部により取得された前記被写体の移動量に基づいて、前記被写体の実移動量を求め、前記被写体の実移動量に基づいて前記確率を算出する
   請求項２に記載の画像処理装置。
4. 前記光源変化推定部は、前記被写体の実移動量が大きいほど、前記確率を高く算出する
   請求項３に記載の画像処理装置。
5. 前記光源変化推定部により推定された前記光源の変化に基づいて、前記画像の撮像から記録までの処理に用いられるパラメータを補正する補正処理部
   をさらに備える請求項１に記載の画像処理装置
6. 前記パラメータは、前記被写体の光源の変化により影響を受けるパラメータである
   請求項５に記載の画像処理装置。
7. 前記処理は、ホワイトバランス制御処理であり、
   前記パラメータは、前記ホワイトバランス制御処理で用いられるホワイトバランスゲインである
   請求項６に記載の画像処理装置。
8. 前記処理は、露出制御処理であり、
   前記パラメータは、前記露出制御処理で用いられる露出制御値である
   請求項６に記載の画像処理装置。
9. 前記補正処理部は、前記画像から光源又は明るさを推定し、その推定結果から前記パラメータの目標値を算出し、前記光源変化推定部により推定された前記確率が高いほど、前記目標値に近づけるように前記パラメータを補正する
   請求項６に記載の画像処理装置。
10. 前記撮像部の実空間での動きを検出する装置動き検出部
    をさらに備え、
    前記装置移動量取得部は、前記装置動き検出部により検出された前記撮像部の実空間での動きに基づいて、前記撮像部の移動量を取得する
    請求項１に記載の画像処理装置。
11. 前記装置動き検出部は、動きセンサを含む
    請求項１０に記載の画像処理装置。
12. 前記動きセンサは、ジャイロセンサ、GPS、無線LAN、加速度センサのうち少なくとも１つを含む
    請求項１１に記載の画像処理装置。
13. 前記装置動き検出部は、グローバルベクトルを用いた画像処理により前記撮像部の実空間での動きを検出する
    請求項１０に記載の画像処理装置。
14. 前記撮像部により撮像された前記画像内で被写体を追尾する追尾部をさらに備え、
    前記被写体移動量取得部は、前記追尾部の追尾結果に基づいて、前記画像内での被写体の移動量を取得する
    請求項１に記載の画像処理装置。
15. 前記追尾部は、前記撮像部により順次撮像された複数の前記画像の各々に対して画像処理を施すことにより、前記被写体を追尾する
    請求項１４に記載の画像処理装置。
16. 前記撮像部により順次撮像された複数の前記画像を順次表示する表示部と、
    前記表示部に順次表示される前記複数の画像の各々に前記被写体を含むか否かを通知する操作をユーザが行う操作部と
    をさらに備え、
    前記追尾部は、前記操作部に対して前記ユーザにより行われた操作内容に基づいて、前記被写体を追尾する
    請求項１４に記載の画像処理装置。
17. 前記撮像部により撮像された前記画像の構図を決定又は案内する構図部をさらに備え、
    前記被写体移動量取得部は、前記構図部の決定又は案内の結果に基づいて、前記画像内での被写体の移動量を取得する
    請求項１に記載の画像処理装置。
18. 画像処理装置の画像処理方法において、
    前記画像処理装置が、
    撮像部の移動量を取得し、
    前記撮像部により撮像された画像内での被写体の移動量を取得し、
    前記撮像部の移動量、及び前記被写体の移動量に基づいて、前記被写体の光源の変化を推定する
    ステップを含む画像処理方法。
19. コンピュータに、
    撮像部の移動量を取得し、
    前記撮像部により撮像された画像内での被写体の移動量を取得し、
    前記撮像部の移動量、及び前記被写体の移動量に基づいて、前記被写体の光源の変化を推定する
    ステップを含む処理を実行させるためのコンピュータが読み取り可能なプログラムを記した記録媒体。

Images