JP2015080157A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】最適なダイナミックレンジ拡大処理を行う。【解決手段】合成比率算出部３０５は、異なる露出条件で複数の画像データが撮像された際における撮像装置の状態情報を取得し、状態情報に基づいて、複数の画像データの合成比率を算出する。加重加算部３０６は、算出された合成比率に基づいて、複数の画像データを合成する。【選択図】図３

Description

本発明は、異なる露出条件で撮像された複数の画像データを合成してダイナミックレンジを拡大させる技術に関するものである。

従来、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を用いたデジタルカメラやデジタルビデオが広く用いられている。しかし、これらの撮像素子は、銀塩フィルムと比較してダイナミックレンジ（ラチチュード）が狭い。そのため、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化（黒つぶれ）や高輝度部分の階調性悪化（白飛び）が発生しやすかった。

これに対し、特許文献１には、同一被写体を異なる露光量で２枚撮影し、当該２枚の画像データを合成することにより、ダイナミックレンジが広い画像データを生成する技術が開示されている。

特開２０００−５０１５１号公報

しかしながら、特許文献１に開示される技術では、光学ズーム時のズームスピード、ジャイロ情報等から出力されるパンニング量、及び、手ぶれ量等の動画撮影時の撮像装置の状態が考慮されていない。従って、動画撮影により得られた画像データを合成してダイナミックレンジを拡大させたとしても、ダイナミックレンジが拡大された画像データはノイズを含み、低品質なものとなっていた。

そこで、本発明は、最適なダイナミックレンジ拡大処理を行うことにある。

本発明の画像処理装置は、撮像装置により異なる露出条件で複数の画像データが撮像された際における、前記撮像装置の状態を示す状態情報を取得する取得手段と、前記状態情報に基づいて、前記複数の画像データの第１の合成比率を算出する算出手段と、前記算出手段により算出された前記第１の合成比率に基づいて、前記複数の画像データを合成する合成手段とを有することを特徴とする。

本発明によれば、最適なダイナミックレンジ拡大処理を行うことが可能となる。

本発明の実施形態に係る撮像装置の構成を示す図である。 本発明の第１の実施形態に係る撮像装置の画像合成処理の流れを示すフローチャートである。 本発明の第１の実施形態における画像合成処理に主に関連する撮像装置の構成を示す図である。 本発明の実施形態におけるガンマ補正処理について説明するための図である。 本発明の実施形態における画像データの合成比率の決定方法を説明するための図である。 本発明の第２の実施形態に係る撮像装置の画像合成処理の流れを示すフローチャートである。 本発明の第２の実施形態における画像合成処理に主に関連する撮像装置の構成を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。なお、本実施形態に係る撮像装置には、デジタルスチルカメラやデジタルムービーカメラ等の電子カメラ、このような電子カメラを含む画像処理装置や情報処理装置（例えば、パーソナルコンピュータや携帯端末）等を適用することができる。以下では、電子カメラを撮像装置に適用した場合について説明する。

図１において、光学系１０１は、絞り、メカニカルシャッタ及びレンズ等を備え、後述する制御回路１１５の制御に従って被写体光学像を撮像素子１０２上に結像する。撮像素子１０２は、ＣＣＤイメージセンサやＣＭＯＳセンサ等の固体撮像素子であり、例えばベイヤー配列を有する原色カラーフィルタを備え、カラー画像データの撮影が可能である。本実施形態において、撮像素子１０２は、Ａ／Ｄ変換器等の前処理回路を含むものとし、メモリ１０３には撮像素子１０２により撮像された画像データが格納される。

顔検出部１１６は、メモリ１０３に記憶された画像データに対して顔検出技術を適用することにより、画像データ中に含まれる人間の顔領域を検出する。上記顔検出技術としては、ニューラルネットワーク等を利用した学習に基づく手法、及び、テンプレートマッチングを用いて、目、鼻及び口等の形状に特徴のある部位を画像データから探し出し、類似度が高ければ顔とみなす手法等がある。他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的には、これらの手法を複数組み合わせ、顔検出の精度を向上させており、画像データ中に含まれる目の位置や顔領域の位置（顔座標）を検出することができる。顔検出部１１６は、顔領域が検出された場合、顔領域の位置や大きさに関する情報を顔情報として出力する。

顔検出部１１６により顔領域が検出された場合、ＣＰＵ１１７は、顔領域が適正露出で撮像されるようにシャッタ速度及び絞り値を算出する。また、顔領域を焦点検出領域として合焦制御を行い、フォーカスレンズの駆動量を算出する。一方、顔検出部１１６により顔領域が検出されなかった場合、ＣＰＵ１１７は、画像データ全体の輝度に基づいて、シャッタ速度及び絞り値を算出するとともに、予め定められた合焦領域を用いて合焦制御を行い、フォーカスレンズの駆動量を算出する。

ＣＰＵ１１７で算出された露出値（シャッタ速度、絞り値）及びフォーカスレンズの駆動量は、制御回路１１５に出力される。制御回路１１５は、これら各値に基づいて、光学系１０１が有する絞り、シャッタ及びフォーカスレンズを駆動する。

ＷＢ（ホワイトバランス）制御部１０４は、メモリ１０３に記憶された画像データ及び顔検出部１１６から得られる顔情報に基づいて、ＷＢ（ホワイトバランス）補正値を算出する。そして、ＷＢ制御部１０４は、算出したＷＢ補正値を用いて、メモリ１０３に記憶された画像データのホワイトバランスを補正する。

色変換マトリックス（ＭＴＸ）回路１０５は、ＷＢ制御部１０４によりホワイトバランスが補正された画像データが最適な色で再現されるよう色ゲインを乗じ、２つの色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０６は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限する。ＣＳＵＰ（Chroma Supress）回路１０７は、ＬＰＦ回路１０６で帯域制限された色差信号Ｒ−Ｙ、Ｂ−Ｙの飽和部分の偽色信号を抑圧する。

一方、ＷＢ制御部１０４によりホワイトバランスが補正された画像データは、輝度信号（Ｙ）生成回路１１３にも供給され、輝度信号生成回路１１３で輝度信号Ｙが生成される。エッジ強調回路１１４は、生成された輝度信号Ｙに対してエッジ強調処理を適用する。

ＣＳＵＰ回路１０７から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１４から出力される輝度信号Ｙとは、ＲＧＢ変換回路１０８にてＲＧＢ信号に変換される。ガンマ補正回路１０９は、ＲＧＢ信号に対し、予め定められたガンマ特性に従った階調補正処理（即ち、ガンマ補正処理）を適用する。本実施形態では、後述する適正画像データに対応するＲＧＢ信号と、同じく後述するアンダー画像データに対応するＲＧＢ信号とに対してそれぞれガンマ補正処理が施される。色輝度変換回路１１０は、適正画像データとアンダー画像データとのそれぞれについて適正露出画像データを生成する。適正画像データに対応する適正露出画像データとアンダー画像データに対応する適正露出画像データとはＣＰＵ１１７に出力される。ここでいう適正画像データ及びアンダー画像データはそれぞれ異なる露出条件で撮影された画像データである。より具体的には、適正画像データは、適正な露光量で撮影された画像データであり、アンダー画像データは、適正画像データと比べて低い露光量で撮影された画像データである。

ＣＰＵ１１７は、適正画像データに対応する適正露出画像データとアンダー画像データに対応する適正露出画像データとに基づいて、当該２つの適正露出画像データの合成比率を算出し、当該合成比率に従って当該２つの適正露出画像データを合成する。合成された画像データは、圧縮回路１１１にて圧縮符号化され、記録回路１１２によって記録媒体において記録される。ここで記録媒体は、撮像装置に対して着脱可能であってもよいし、撮像装置に内蔵されていてよい。

次に、図２及び図３を参照しながら、本発明の第１の実施形態に係る撮像装置の画像合成処理について説明する。図２は、本発明の第１の実施形態に係る撮像装置の画像合成処理の流れを示すフローチャートであり、図３は、本発明の第１の実施形態における画像合成処理に主に関連する撮像装置の構成を示す図である。なお、図３に示した構成のうち、３０３〜３０６に示す構成は、ＣＰＵ１１７がＲＯＭ等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより実現する機能構成である。また、図２に示す処理は、ＣＰＵ１１７がＲＯＭ等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより実現する処理である。

ステップＳ１０１において、撮像装置は、アンダー画像データ及び適正画像データを撮像し、それぞれに対してガンマ補正処理前までの画像処理を施す。ステップＳ１０２において、ガンマ補正回路１０９は、アンダー画像データ及び適正画像データそれぞれに対して異なる特性のガンマ補正処理を施す。図３に示すように、ガンマ補正回路１０９は、第１のガンマ補正回路３０１と第２のガンマ補正回路３０２とを備えている。第１のガンマ補正回路３０１は、アンダー画像データに対するガンマ補正処理を行い、第２のガンマ補正回路３０２は、適正画像データに対するガンマ補正処理を行う。第１のガンマ補正回路３０１と第２のガンマ補正回路３０２とは、それぞれが異なる特性のガンマ補正処理を実行する。

ここで、図４を参照しながら、本実施形態におけるガンマ補正処理について説明する。図４の４０１は、第１のガンマ補正回路３０１におけるガンマ補正処理の特性（以下、第１のガンマカーブと称す）であり、図４の４０２は、第２のガンマ補正回路３０２におけるガンマ補正処理の特性（第２のガンマカーブと称す）である。第２のガンマカーブは、適正画像データに対するガンマ補正処理で使用される通常の特性のガンマカーブである。一方、第１のガンマカーブは、ガンマ補正後におけるアンダー画像データのＡＥ目標値が、第２のガンマカーブを用いたガンマ補正後における適正画像データのＡＥ目標値と一致するように設定されたガンマカーブである。

ところで、ガンマ補正前のアンダー画像データのＡＥ目標値を下げることでダイナミックレンジを拡大することができる。しかし、単純にＡＥ目標値を下げると、露出アンダーとなり、アンダー画像データが暗くなってしまう。そこで、本実施形態では、ダイナミックレンジの拡大量に応じて、アンダー画像データを明るくするようにガンマ補正を行うように第１のガンマカーブを決定する。これにより、アンダー画像データの明るさ（露出）を適正にしながら、ダイナミックレンジを拡大させることが可能となる。

なお、本実施形態では、ガンマ補正前のＡＥ目標値を下げたことによるアンダー画像データの輝度低下をガンマ補正により補正する構成について示したが、ルックアップテーブル等の別の手段を用いて同様の輝度補正を行ってもよい。

また、ホワイトバランス補正のためのホワイトバランス係数のゲインと飽和信号量を決定するクリッピング量とを制御してもよい。つまり、露光量の低減やＡＦＥゲインの低減等によりゲインダウンされた画像データをＡ／Ｄ変換した後、後段の信号処理回路でゲインアップし、クリッピング量をゲインアップ分だけ拡大させる（飽和信号量を大きくする）ことによっても同じ効果が得られる。

ステップＳ１０３において、色輝度変換回路１１０は、ガンマ補正後のアンダー画像データを適正露出画像データＹＵＶ１に変換するとともに、ガンマ補正後の適正画像データを適正露出画像データＹＵＶ２に変換する。

ステップＳ１０４において、輝度合成比率算出部３０３は、適正露出画像データＹＵＶ２の各画像領域の輝度に基づいて合成比率１を算出する。ここでは例えば、ｎ×ｎピクセルの画像領域の平均輝度に基づいて合成比率１が算出される。図５（ａ）に示すように、平均輝度が高い画像領域ほど白飛びの可能性があるため、当該画像領域について適正露出画像データＹＵＶ１の合成比率を高めるように合成比率１が算出される。

ステップＳ１０５において、移動体合成比率算出部３０４は、適正露出画像データＹＵＶ１及びＹＵＶ２に基づいて移動体領域を抽出して合成比率２を算出する。即ち、移動体合成比率算出部３０４は、適正露出画像データＹＵＶ１及びＹＵＶ２におけるｍ×ｍピクセルの輝度差分及び色差分を算出する。そして、図５（ｂ）に示すように、各画像領域の輝度差分及び色差分が大きい場合には、その画像領域に移動体が存在するものとして、移動体合成比率算出部３０４は、当該画像領域について適正露出画像データＹＵＶ１の合成比率を高めるように合成比率２を算出する。

ステップＳ１０６において、合成比率算出部３０５は、制御回路１１５から出力される撮像装置の状態情報を取得し、当該状態情報に基づいて合成比率３を算出する。なお、撮像装置の状態情報とは、光学ズーム時のズームスピード、ジャイロ情報等から出力されるパンニング量、及び、手ぶれ量等の動画撮影時の撮像装置の状態を示す情報である。これらの状態情報のうち、少なくとも１つを取得し、合成比率を決定して良い。なお、これらの状態情報を取得するためのジャイロセンサは光学系１０１に含まれ、ジャイロセンサからの出力を検出する振れ検出手段、ズームレンズ位置を取得し、ズームスピードを算出する算出手段は制御回路１１５が担っている。

光学ズーム時のズームスピード、パンニング量及び手ぶれ量等が大きい場合、適正露出画像データＹＵＶ１及びＹＵＶ２の合成処理が難しくなるため、所望の合成画像データが得られない。そのため、合成比率算出部３０５は、図５（ｃ）に示すように、光学ズーム時のズームスピード、パンニング量及び手ぶれ量等が増加するに従って、適正露出画像データＹＵＶ１の合成比率を高めるように合成比率３を算出する。

ステップＳ１０７において、合成比率算出部３０５は、合成比率１、合成比率２及び合成比率３に基づいて、最終合成比率αを算出する。例えば、合成比率算出部３０５は、合成比率１、合成比率２及び合成比率３のうちの最大値を最終合成比率αとして決定する。

ステップＳ１０８において、加重加算部３０６は、次の式に示すように、適正露出画像データＹＵＶ１と適正露出画像データＹＵＶ２とを最終合成比率αで加重加算することで合成処理を行い、合成出力画像データ３０９を生成する。生成された合成出力画像データ３０９は、圧縮回路１１１に対して出力される。
適正露出画像データＹＵＶ１×最終合成比率α＋適正露出画像データＹＵＶ２×（１−最終合成比率α）＝合成出力画像データ

本実施形態においては、動画撮影時の撮像装置の状態情報を加味して画像データの合成比率を決定しているため、動画撮影時に光学ズーム及びパンニング等のカメラワークを施した場合や手ぶれが生じた場合でも、最適なダイナミックレンジ拡大処理が可能となる。

次に、本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態に係る撮像装置の画像合成処理の流れを示すフローチャートであり、図７は、本発明の第２の実施形態における画像合成処理に主に関連する撮像装置の構成を示す図である。なお、図７に示した構成のうち、３０３、３０４及び７０１〜７０４に示す構成は、ＣＰＵ１１７がＲＯＭ等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより実現する機能構成である。また、図６に示す処理は、ＣＰＵ１１７がＲＯＭ等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより実現する処理である。

図６におけるステップＳ１０１〜Ｓ１０６は、図２のステップＳ１０１〜１０６とそれぞれ同一処理であるため、説明を省略する。図７において、輝度合成比率算出部３０３及び移動体合成比率算出部３０４はそれぞれ、図３に示した同一符号の構成と同様のものである。

ステップＳ２０１において、第１の合成比率算出回路７０１は、輝度合成比率算出部３０３により算出された合成比率１と、移動体合成比率算出部３０４により算出された合成比率２とに基づいて、合成比率βを算出する。ここでは、第１の合成比率及び第２の合成比率のうちの最大値を合成比率βとして選択するものとする。

ステップＳ２０２において、第１の加重加算部７０２は、次の式に示すように、合成比率βに基づいて適正露出画像データＹＵＶ１と適正露出画像データＹＵＶ２とを合成することにより、合成出力画像データ１を生成する。
適正露出画像データＹＵＶ１×合成比率β＋適正露出画像データＹＵＶ２×（１−合成比率β）＝合成出力画像データ１

ステップＳ２０３において、第２の合成比率算出部７０３は、制御回路１１５から出力される撮像装置の状態情報に基づいて、合成比率３を算出する。なお、撮像装置の状態情報とは、光学ズーム時のズームスピード、ジャイロ情報等から出力されるパンニング量、及び、手ぶれ量等の撮像装置の状態を示す情報である。

ステップＳ２０４において、第２の加重加算部７０８は、次の式に示すように、合成比率３に基づいて合成出力画像データ１と適正露出画像データＹＵＶ１とを合成することにより、合成出力画像データ２を生成する。
合成出力画像データ１×合成比率３＋適正露出画像データＹＵＶ１×（１−合成比率３）＝合成出力画像データ２

以上のように、第２の実施形態では、動画撮影時の撮像装置の状態情報を加味して画像データの合成比率を決定しているため、第１の実施形態と同様に、最適なダイナミックレンジ拡大処理が可能となる。また、第２の実施形態では、その前段で、画像領域における平均輝度又は移動体の有無も加味して画像データの合成比率を決定する処理を行っているため、画像領域における平均輝度又は移動体の有無がより反映されたダイナミックレンジ拡大処理が可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０９：ガンマ補正回路、１１０：色輝度変換回路、１１５：制御回路、３０１：第１のガンマ補正回路、３０２：第２のガンマ補正回路、３０３：輝度合成比率算出部、３０４：移動体合成比率算出部、３０５：合成比率算出部、３０６：加重加算部、７０１：第１の合成比率算出部、７０２：第１の加重加算部、７０３：第２の合成比率算出部、７０４：第２の加重加算部

Claims (7)

1. 撮像装置により異なる露出条件で複数の画像データが撮像された際における、前記撮像装置の状態を示す状態情報を取得する取得手段と、
   前記状態情報に基づいて、前記複数の画像データの第１の合成比率を算出する算出手段と、
   前記算出手段により算出された前記第１の合成比率に基づいて、前記複数の画像データを合成する合成手段とを有することを特徴とする画像処理装置。
2. 前記第１の合成比率と、前記撮像装置により撮像された画像データの輝度に基づいて算出された第２の合成比率及び当該画像データに移動体が含まれるか否かに基づいて算出された第３の合成比率のうちの少なくとも何れか一方とに基づいて、前記複数の画像データの合成比率を決定する決定手段を更に有し、
   前記第１の合成手段は、前記決定手段により前記第１の合成比率が前記複数の画像データの合成比率として決定された場合、前記第１の合成比率に基づいて、前記複数の画像データを合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記第１の合成比率と、前記第２の合成比率及び前記第３の合成比率のうちの少なくとも何れか一方とのうちの最も高い合成比率を、前記複数の画像データの合成比率として決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記合成手段は、前記撮像装置により撮像された画像データの輝度に基づいて算出された第２の合成比率、又は、当該画像データに移動体が含まれるか否かに基づいて算出された第３の合成比率に基づいて、前記複数の画像データを合成して合成画像データを生成し、前記第１の合成比率に基づいて、前記複数の画像データのうちの一部の画像データと前記合成画像データとを合成することを特徴とする請求項１に記載の画像処理装置。
5. 前記状態情報は、前記撮像装置により前記複数の画像データが撮像された際における、ズームスピード、パンニング量及び手ぶれ量のうちの少なくとも何れか一つを示す情報であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 画像処理装置によって実行される画像処理方法であって、
   撮像装置により異なる露出条件で複数の画像データが撮像された際における、前記撮像装置の状態を示す状態情報を取得する取得ステップと、
   前記状態情報に基づいて、前記複数の画像データの合成比率を算出する算出ステップと、
   前記算出ステップにより算出された前記合成比率に基づいて、前記複数の画像データを合成する合成ステップとを有することを特徴とする画像処理方法。
7. 撮像装置により異なる露出条件で複数の画像データが撮像された際における、前記撮像装置の状態を示す状態情報を取得する取得ステップと、
   前記状態情報に基づいて、前記複数の画像データの合成比率を算出する算出ステップと、
   前記算出ステップにより算出された前記合成比率に基づいて、前記複数の画像データを合成する合成ステップとをコンピュータに実行させるためのプログラム。

Images