JP2010068064A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】色味の再現性に優れ、飽和した画素の飽和信号量を良好に補間することができる撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体を提供すること。
【解決手段】複数色に分解する色分解フィルタと、光学系から入射し前記色分解フィルタを介して受光した光を画像信号に光電変換する撮像素子と、該撮像素子の受光面に対応した画面が分割されてなる複数の画面領域毎にホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、前記複数の画面領域の中のいずれか１の画面領域のホワイトバランス補正係数に、または、前記複数の画面領域の中の２以上の画面領域のホワイトバランス補正係数の平均値に基づいて、飽和した画素の飽和信号量を予測して補間する飽和画素補間手段と、を備えることを特徴とする。
【選択図】図４

Description

本発明は、ダイナミックレンジを拡大し良好な色味を再現可能な撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体に関するものである。

ＣＣＤ等の固体撮像素子を有するデジタルスチルカメラやデジタルビデオカメラ等で撮影される画像のダイナミックレンジは、銀塩写真フィルムを用いる従来の銀塩カメラで撮影される画像のダイナミックレンジと比較すると極めて狭くなってしまう。ダイナミックレンジが狭くなると、被写体の黒い部分においては「黒つぶれ」と呼ばれる現象が発生し、逆に被写体の明るい部分において「白とび」と呼ばれる現象が発生し、画像品質が低下してしまう。

「白とび」と呼ばれる現象は、固体撮像素子の画素において電気信号の最大出力値（飽和値）に対応する光量以上の光を受光したとしても、実際の光量を反映できずに、一定の飽和値を画素値として有する飽和画素データを出力するものである。
この白とび現象の発生を抑制するために、例えば特許文献１及び２では、白とび現象が発生している飽和画素における飽和画素データを、この飽和画素の近傍に存在する非飽和画素の画素データから修正する技術が開示されている。

しかしながら、上記した従来技術では、いずれにおいても飽和画素の近傍に存在する非飽和画素の画素データから予測するため、充分正確に色味が再現されておらず、画像品質が劣っていると言う問題があった。

特許第３８３６２３７号 特開２００５−２８４４２３号公報

本発明は上記問題に鑑みてなされたもので、色味の再現性に優れ、飽和した画素の飽和信号量を良好に補間することができ、特に、領域毎に異なるホワイトバランス補正係数が設定される場合に於いても画面全体で色味が良好に再現可能な撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体を提供することを目的とする。

上記課題を解決するために本発明に係る撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体は、具体的には下記（１）〜（１２）に記載の技術的特徴を有する。

（１）：複数色に分解する色分解フィルタと、光学系から入射し前記色分解フィルタを介して受光した光を画像信号に光電変換する撮像素子と、該撮像素子の受光面に対応した画面が分割されてなる複数の画面領域毎にホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、前記複数の画面領域の中のいずれか１の画面領域のホワイトバランス補正係数に、または、前記複数の画面領域の中の２以上の画面領域のホワイトバランス補正係数の平均値に基づいて、飽和した画素の飽和信号量を予測して補間する飽和画素補間手段と、を備えることを特徴とする撮像装置である。

（２）：前記ホワイトバランス補正係数算出手段は、日向領域と、日陰領域と、で異なるホワイトバランス補正係数を算出することを特徴とする上記（１）に記載の撮像装置である。

（３）：前記ホワイトバランス補正係数算出手段は、ストロボの影響が強い領域と、ストロボの影響が弱い領域と、で異なるホワイトバランス補正係数を算出することを特徴とする上記（１）に記載の撮像装置である。

（４）：前記飽和画素補間手段は、前記複数の画面領域毎の平均輝度を取得し、該複数の画面領域の中で前記平均輝度が所定の輝度以上である画面領域のホワイトバランス補正係数に基づいて飽和した画素の飽和信号量を予測して補間することを特徴とする上記（１）乃至（３）のいずれか１項に記載の撮像装置である。

（５）：光学系から入射し複数色に分解する色分解フィルタを介して受光した光を撮像素子で画像信号に光電変換する光電変換工程と、前記撮像素子の受光面に対応した画面が分割されてなる複数の画面領域毎にホワイトバランス補正係数を算出するホワイトバランス補正係数算出工程と、前記複数の画面領域の中のいずれか１の画面領域のホワイトバランス補正係数に、または、前記複数の画面領域の中の２以上の画面領域のホワイトバランス補正係数の平均値に基づいて、飽和した画素の飽和信号量を予測して補間する飽和画素補間工程と、を備えることを特徴とする撮像方法である。

（６）：前記ホワイトバランス補正係数算出工程は、日向領域と、日陰領域と、で異なるホワイトバランス補正係数を算出することを特徴とする上記（５）に記載の撮像方法である。

（７）：前記ホワイトバランス補正係数算出工程は、ストロボの影響が強い領域と、ストロボの影響が弱い領域と、で異なるホワイトバランス補正係数を算出することを特徴とする上記（５）に記載の撮像方法である。

（８）：前記飽和画素補間工程は、前記複数の画面領域毎の平均輝度を取得し、該複数の画面領域の中で前記平均輝度が所定の輝度以上である画面領域のホワイトバランス補正係数に基づいて飽和した画素の飽和信号量を予測して補間することを特徴とする上記（５）乃至（７）のいずれか１項に記載の撮像方法である。

（９）：画像処理機能を有する装置が備えるコンピュータに、光学系から入射し複数色に分解する色分解フィルタを介して受光した光を撮像素子で画像信号に光電変換する光電変換処理と、前記撮像素子の受光面に対応した画面が分割されてなる複数の画面領域毎にホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、前記複数の画面領域の中のいずれか１の画面領域のホワイトバランス補正係数に、または、前記複数の画面領域の中の２以上の画面領域のホワイトバランス補正係数の平均値に基づいて、飽和した画素の飽和信号量を予測して補間する飽和画素補間処理と、を実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。

（１０）：前記ホワイトバランス補正係数算出処理は、日向領域と、日陰領域と、で異なるホワイトバランス補正係数を算出することを特徴とする上記（９）に記載のコンピュータ読み取り可能な記録媒体である。

（１１）：前記ホワイトバランス補正係数算出処理は、ストロボの影響が強い領域と、ストロボの影響が弱い領域と、で異なるホワイトバランス補正係数を算出することを特徴とする上記（９）に記載のコンピュータ読み取り可能な記録媒体である。

（１２）：前記飽和画素補間処理は、前記複数の画面領域毎の平均輝度を取得し、該複数の画面領域の中で前記平均輝度が所定の輝度以上である画面領域のホワイトバランス補正係数に基づいて飽和した画素の飽和信号量を予測して補間することを特徴とする上記（９）乃至（１１）のいずれか１項に記載のコンピュータ読み取り可能な記録媒体である。

本発明によれば、色味の再現性に優れ、飽和した画素の飽和信号量を良好に補間することができる撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体を提供することができる。

本発明について説明するにあたり、先ず、本発明を完成するに至るまでの経緯についてより詳細に説明する。
上述したように従来の飽和画素データの修正にかかる技術では、飽和画素の近傍に存在する非飽和画素の画素データから予測するため、充分正確に色味が再現されないものであった。これに対して本出願人は、撮像素子より出力された信号において白とびした領域の階調を復元する為に、Ｒ成分と、Ｇ成分と、ホワイトバランス補正係数とから、Ｇｒ、Ｇｂ成分の飽和信号量を予測して補間し、補間によって拡張された信号を一定の範囲内に収めるためにＲ、Ｂ、Ｇｒ、Ｇｂに対してトーンカーブによる圧縮処理を施す技術を提案している。

かかる技術によれば、画面に一律で同じホワイトバランス補正係数を設定する場合には、ホワイトバランス補正係数から一意にＧｒ、Ｇｂの飽和信号量を求めることができるため、充分正確に色味が再現され、優れた画像品質が得られる。
しかしながら、複数の画面領域で異なるホワイトバランス補正係数を設定する場合、飽和信号量の予測に用いたホワイトバランス補正係数に対応する領域以外では、Ｇｒ、Ｇｂを補間した領域において色味が変わってしまうことがあるため、更なる改善が要求される。

〔撮像装置、撮像方法、記録媒体〕
そこで、本発明に係る撮像装置は、複数色に分解する色分解フィルタと、光学系から入射し前記色分解フィルタを介して受光した光を画像信号に光電変換する撮像素子と、該撮像素子の受光面に対応した画面が分割されてなる複数の画面領域毎にホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、前記複数の画面領域の中のいずれか１の画面領域のホワイトバランス補正係数に、または、前記複数の画面領域の中の２以上の画面領域のホワイトバランス補正係数の平均値に基づいて、飽和した画素の飽和信号量を予測して補間する飽和画素補間手段と、を備えることを特徴とする。

次に、本発明に係る撮像装置の基本的な構成について図面を用いてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。

図１は、本発明に係る撮像装置の一実施の形態であるデジタルカメラにおける外観を示す概略図である。
（デジタルカメラの外観構成）
図１に示すように、本実施形態に係るデジタルカメラの上面側には、レリーズボタン（シャッタボタン）、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面（前面）側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部、光学ファインダが設けられている。

デジタルカメラの背面側には、液晶モニタ（ＬＣＤ）、前記光学ファインダの接眼レンズ部、広角側ズーム（Ｗ）スイッチ、望遠側ズーム（Ｔ）スイッチ、メニュー（ＭＥＮＵ）ボタン、確定ボタン（ＯＫボタン）等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。

（デジタルカメラのシステム構成）
図２は、本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。
図２に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系（光学系）を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（ＡＦＥ部）、ＡＦＥ部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するＳＤＲＡＭ、制御プログラム等が記憶されたＲＯＭ、モータドライバ等が設けられている。

鏡胴ユニットは、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット（不図示）、メカシャッタユニットの各駆動ユニット（不図示）は、モータドライバによって駆動される。モータドライバは、信号処理部の制御部（ＣＰＵ）からの駆動信号により駆動制御される。

ＣＣＤは、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。

ＡＦＥ部は、ＣＣＤを駆動するＴＧ（タイミング信号発生部）、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）、ＣＤＳにてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）、ＡＧＣでゲイン調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄを備えている。

信号処理部は、ＡＦＥ部のＴＧへ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部のＡ／Ｄから出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ）と、ＳＤＲＡＭを制御するメモリコントローラと、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部と、画像データの表示出力を制御する表示出力制御部と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）と、操作部からの操作入力情報に基づき、ＲＯＭに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部（ＣＰＵ）を備えている。

操作部は、デジタルカメラ（図１参照）の外観表面に設けられているレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、確定ボタン等であり、撮影者の操作によって所定の動作指示信号が制御部に入力される。

ＳＤＲＡＭには、ＣＣＤＩ／Ｆに取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。また、ＯＳＤ（オンスクリーンディスプレイ）とは、ＬＣＤディスプレイに表示させるデータであり、ＹＵＶデータ若しくはＪＰＥＧ画像の上に操作系の設定情報を重ねたものとなる。

なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。

（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、デジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。

先ず、撮影者が電源ボタンをＯＮにし、撮影・再生切替ダイアルを撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。電源ボタンがＯＮにされて、撮影・再生切替ダイアルが撮影モードに設定されたことを制御部が検知すると、制御部はモータドライバに制御信号を出力して、鏡胴ユニットを撮影可能位置に移動させ、かつ、ＣＣＤ、ＡＦＥ部、信号処理部、ＳＤＲＡＭ、ＲＯＭ、液晶モニタ等を起動させる。

そして、鏡胴ユニットの撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤの各画素の受光面上に結像する。そして、ＣＣＤから出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ、ＡＧＣを介してＡ／Ｄに入力され、Ａ／Ｄにより１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換される。

このＲＡＷ−ＲＧＢデータは、信号処理部のＣＣＤＩ／Ｆに取り込まれてメモリコントローラを介してＳＤＲＡＭに保存される。そして、ＳＤＲＡＭから読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラを介してＳＤＲＡＭにＹＵＶデータが保存される。

そして、ＳＤＲＡＭからメモリコントローラを介して読み出したＹＵＶデータは、表示出力制御部を介して液晶モニタ（ＬＣＤディスプレイ）へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤディスプレイ）に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆによる画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤディスプレイ）に撮影画像（動画）が表示されているだけで、まだレリーズボタンが押圧（半押も含む）操作されていない状態である。

この撮影画像の液晶モニタ（ＬＣＤディスプレイ）への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。

そして、信号処理部のＣＣＤＩ／Ｆは、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤの全画素の受光面に対応した画面が２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）された後、それぞれのエリア（ブロック）のＲＧＢ積算値が算出される。

そして、制御部は、算出されたＲＧＢ積算値を読み出し、適正なホワイトバランスになるようなホワイトバランス（以下、ＷＢとも称する。）のゲインを算出する。また、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。さらに、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、モニタリング時には連続的に行われている。

そして、モニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。

即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバへの駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。

いわゆる山登りＡＦとは、ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆで算出されている各フォーカス位置における前記ＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

そして、前記したＡＥ処理が行われ、露光完了時点で、制御部からモータドライバへの駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤから静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部のＡ／Ｄ変換部によりＲＡＷ−ＲＧＢデータに変換される。

そして、このＲＡＷ−ＲＧＢデータ（画像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれ、ホワイトバランス補正が行われた後、ＩＳＰに取り込まれてダイナミックレンジ拡大処理が行われる。さらに、ＹＵＶ変換部でＹＵＶデータに変換されて、メモリコントローラを介してＳＤＲＡＭに保存される。そして、このＹＵＶデータはＳＤＲＡＭから読み出されて、リサイズ処理部で記録画素数に対応するサイズに変換され、データ圧縮部でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭに書き戻された後にメモリコントローラを介してＳＤＲＡＭから読み出され、メディアＩ／Ｆを介してメモリカードに保存される。

（ダイナミックレンジ拡大処理動作の第１の実施の形態）
次いで、本発明の特徴となるダイナミックレンジ拡大処理について詳細に説明する。
本実施の形態では、Ｇ（グリーン）フィルタの画素出力レベルを、Ｒ（レッド）、Ｂ（ブルー）フィルタの各画素出力から予測補間することを特徴としている。
ここで、デジタルカメラのＣＣＤを構成する各画素上には、ＲＧＢ原色フィルタが配置されていて、太陽光のように広い波長帯域を持つ光に対して、通常のＲＧＢ原色フィルタは各色ごとに輝度に対する感度が異なっている。

例えば、図３に示すように、Ｇフィルタの感度が、Ｒフィルタ、Ｂフィルタの２倍の感度を有するＲＧＢフィルタ（図３のａ、ｂ、ｃ）が配置されたＣＣＤの場合、太陽光のように広い波長帯域を持つ光が同じだけＲＧＢフィルタに入射したときに、Ｒ、Ｂフィルタの各画素出力に対してＧフィルタ（図３のｃの斜線部分）の画素出力の方が先に飽和レベルＡに達してしまう。尚、図３においてｆはＧフィルタの画素感度特性、ｇはＲ、Ｂフィルタの各画素感度特性であり、Ｇフィルタの画素感度特性は、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有している。

ところで、従来のＲＧＢ原色フィルタが配置されたＣＣＤ等の固体撮像素子を備えるデジタルカメラでは、図３のａ、ｂ、ｃのＲＧＢ原色フィルタのように、感度の高いＧフィルタの画素出力に応じた飽和レベルＡに合わせてダイナミックレンジの範囲を設定している。即ち、Ｇフィルタの画素出力が飽和レベルＡに達している場合でも、Ｒ、Ｂフィルタの画素出力は飽和レベルＡの１／２程度である。

これに対して本実施の形態では、図３のｄ、ｅのＲＧＢ原色フィルタのように、Ｇフィルタの画素出力が飽和レベルＡを超えていても（飽和した画素であっても）、Ｒ、Ｂフィルタの各画素出力が飽和レベルＡ以下の範囲内にある場合には、Ｒ、Ｂフィルタの各画素出力レベルから、Ｒ、Ｂフィルタの各画素感度特性（図３のｇ）と、Ｇフィルタの画素感度特性（図３のｆ）とに基づいて、Ｇフィルタの画素出力レベルを予測補間（一点鎖線部分）することで、この予測補間した分だけダイナミックレンジを拡大することができる。

以下、本実施の形態におけるダイナミックレンジ拡大処理動作について具体的に説明する。
図４は本発明に係る撮像装置の第１の実施の形態におけるダイナミックレンジ拡大処理動作をフローにしたフロー図である。
先ず、ＲＡＷ−ＲＧＢがＣＣＤＩ／Ｆに取り込まれた後、２５６エリアに等分割されたエリア毎に出力されるＲＧＢ積算値を取得する（Ｓ１）。尚、本発明における分割されたエリアの数は２５６に限られるものではなく、任意の数としても良い。また、エリア各々の形状や画面全体に対する割合も任意のものとしても良い。

取得したＲＧＢ積算値を基にした輝度、色情報からエリア毎に日向領域と日陰領域とに領域分割を行う。（Ｓ２）
この日向領域と日陰領域とに領域分割する方法は、従来公知の方法を適用することができる。例えば、輝度とＢ／Ｒとの関係から細かい領域分割する方法や、これに加えてさらに、距離情報を補助的に用いて領域をまとめる方法などがある。

具体的には、一定の閾値以上の輝度を有する領域を日向領域として、Ｂ／Ｒを変数として輝度の閾値を表し、その閾値以上の輝度を有する領域を日向領域とする。次いで、細かく分割された日向領域と日陰領域は、それぞれを距離情報に応じてまとめられ、画面領域となる。

ここで言う距離情報とは、撮像時のオートフォーカス動作で、フォーカス位置を変えて各フォーカス位置で得られるハイパスフィルタ出力値である。このハイパスフィルタ出力値は撮像時ＣＣＤ−Ｉ／ＦでＲａｗ−ＲＧＢデータより水平１６×垂直１６分割のブロック単位で抽出される。

次に、複数の画面領域毎において、白いものが白く写るようなホワイトバランス補正係数を算出する（Ｓ３；ホワイトバランス補正係数算出手段）。ホワイトバランス補正係数の算出には、従来公知のホワイトバランス補正係数算出方法をそのまま適用できる。

さらに、ＲＡＷ−ＲＧＢがＩＳＰに取り込まれ、ＷＢ補正前のＲＧＢ信号に対して飽和画素補間処理を行う（Ｓ４；飽和画素補間手段）。
Ｒ信号とＢ信号がある閾値を超える場合、Ｇ信号に対して補間処理を行う。これは上述したとおり撮像素子から出力される信号でＧの感度が一番高く先に飽和する為である。ある光源で白を映したときのＷＢ補正前のＲＧＢの比率は決まっている。よって、ホワイトバランス補正係数の逆数から撮影時の光源で白を映したときのＧ信号のレベルがわかる。更に補間したＧ信号とＲ、Ｂ信号に対してＷＢ補正を行うことでＲＧＢが１：１：１になる。

このように、ホワイトバランス補正係数を用いることで各光源において飽和したＧを予測し補間することが可能となり、補間した領域はＷＢ補正後無彩色にすることができる。

ここで日向領域のホワイトバランス補正係数（Ｒgain、Ｂgain）を使用し以下の式により飽和したＧ画素の信号量を算出する。

Ｇｒ＝Ｒ×Ｒgain
Ｇｂ＝Ｂ×Ｂgain

尚、日向領域と日陰領域のホワイトバランス補正係数の差が少なく所定の範囲内であれば、それぞれの領域のＲgainの平均値とＢgainの平均値より飽和したＧ画素の信号量を算出しても良い。

次に、拡張したＧ信号に対してＩＳＰにて処理可能なビット幅に収めるためトーンカーブによる圧縮処理を行う（Ｓ５）。
このときＲＧＢの比率を保持するため当該Ｇに付随するＲＢに対しても同様のトーンカーブを施す。

そして、日向領域と日陰領域に対してそれぞれの領域に対応するホワイトバランス補正係数を乗算する（Ｓ６）。これにより日向日陰シーンにおいて白飛びしている画素の多い日向領域で飽和しているＧ画素を色味が変わることなく階調復元することができる。

（ダイナミックレンジ拡大処理動作の第２の実施の形態）
上記第１の実施の形態では日向領域のホワイトバランス補正係数を基に飽和したＧ画素を補間するものであったが、本実施の形態はストロボ撮影で領域分割を行った場合において、飽和したＧ画素を予測するために使用するホワイトバランス補正係数を、ストロボの影響が強い領域のホワイトバランス補正係数とするものである。

図５は本発明に係る撮像装置の第２の実施の形態におけるダイナミックレンジ拡大処理動作をフローにしたフロー図である。
先ず、ＲＡＷ−ＲＧＢがＣＣＤＩ／Ｆに取り込まれた後、２５６エリアに等分割されたエリア毎に出力されるＲＧＢ積算値を取得する（Ｓ１）。尚、本発明における分割されたエリアの数は２５６に限られるものではなく、任意の数としても良い。また、エリア各々の形状や画面全体に対する割合も任意のものとしても良い。

次に、ストロボ領域と外光領域とに分割する（Ｓ２）。このストロボ領域と外光領域とに分割する方法は、従来公知の方法を適用することができる。例えば、撮影直前のモニタリング画のＡＥ評価値とストロボ発光時のスチル画のＡＥ評価値との比率から、エリア毎のストロボ寄与率を算出し、ストロボ寄与率がある一定の閾値以上の領域をストロボの影響が強い領域（ストロボ領域）、閾値未満の領域をストロボの影響が弱い領域（外光領域）に分割して画面領域とする

さらに、複数の画面領域毎において、白いものが白く写るようなホワイトバランス補正係数を算出する（Ｓ３；ホワイトバランス補正係数算出手段）。ホワイトバランス補正係数の算出には、従来公知のホワイトバランス補正係数算出方法をそのまま適用できる。

しかる後に、ＲＡＷ−ＲＧＢがＩＳＰに取り込まれ、ＷＢ補正前のＲＧＢ信号に対して飽和画素補間処理を行う（Ｓ４；飽和画素補間手段）。

ここでストロボ領域のホワイトバランス補正係数を使用し以下の式により飽和したＧ画素の信号量を算出する。

Ｇｒ＝Ｒ×Ｒgain
Ｇｂ＝Ｂ×Ｂgain

尚、ストロボ領域と外光領域のホワイトバランス補正係数の差が少なく所定の範囲内であれば、それぞれの領域のＲgainの平均値とＢgainの平均値としても良い。

次に、拡張したＧ信号に対してＩＳＰにて処理可能なビット幅に収めるためトーンカーブによる圧縮処理を行う。（Ｓ５）
このときＲＧＢの比率を保持するため当該Ｇに付随するＲＢに対しても同様のトーンカーブを施す。

そして、ストロボ領域と外光領域に対してそれぞれの領域に対応するホワイトバランス補正係数を乗算する（Ｓ６）。これによりストロボシーンにおいて白飛びしている画素の多いストロボ領域で飽和しているＧ画素を色味が変わることなく階調復元することができる。

（ダイナミックレンジ拡大処理動作の第３の実施の形態）
本実施の形態は飽和したＧ画素を予測するために使用するホワイトバランス補正係数を、分割されてなる複数の画面領域毎の平均輝度を取得し、この複数の画面領域の中で平均輝度が所定の輝度以上である画面領域のホワイトバランス補正係数とするものである。

図６は本発明に係る撮像装置の第３の実施の形態におけるダイナミックレンジ拡大処理動作をフローにしたフロー図である。
先ず、ＲＡＷ−ＲＧＢがＣＣＤＩ／Ｆに取り込まれた後、２５６エリアに等分割されたエリア毎に出力されるＲＧＢ積算値を取得する（Ｓ１）。尚、本発明における分割されたエリアの数は２５６に限られるものではなく、任意の数としても良い。また、エリア各々の形状や画面全体に対する割合も任意のものとしても良い。

次に、日向領域と日陰領域とに分割、またはストロボ領域と外光領域とに分割、若しくはその他の光源が異なる複数の領域に分割する（Ｓ２）。領域分割の方法は、従来公知の方法を適用することができる。

さらに、複数の画面領域毎において、白いものが白く写るようなホワイトバランス補正係数を算出する（Ｓ３；ホワイトバランス補正係数算出手段）。ホワイトバランス補正係数の算出には、従来公知のホワイトバランス補正係数算出方法をそのまま適用できる。

そして、２５６エリアのＡＥ評価値を基に、複数の画面領域毎の平均輝度値を取得し、平均輝度値が所定の輝度以上である画面領域を判定する（Ｓ４）。

しかる後に、ＲＡＷ−ＲＧＢがＩＳＰに取り込まれ、ＷＢ補正前のＲＧＢ信号に対して飽和画素補間処理を行う（Ｓ５；飽和画素補間手段）。

ここで平均輝度値が所定の閾値以上である画面領域のホワイトバランス補正係数を使用し以下の式により飽和したＧ画素の信号量を算出する。平均輝度値が所定の閾値以上である画面領域が複数ある場合は、これらの中の好ましい１（高輝度）の画面領域におけるホワイトバランス補正係数を使用しても良く、当該複数の平均輝度値が所定の閾値以上である画面領域のホワイトバランス補正係数の平均値としても良い。

Ｇｒ＝Ｒ×Ｒｇａｉｎ
Ｇｂ＝Ｂ×Ｂｇａｉｎ

次に、拡張したＧ信号に対してＩＳＰにて処理可能なビット幅に収めるためトーンカーブによる圧縮処理を行う（Ｓ６）。
このときＲＧＢの比率を保持するため当該Ｇに付随するＲＢに対しても同様のトーンカーブを施す。

そして、各画面領域に対してそれぞれの領域に対応するホワイトバランス補正係数を乗算する（Ｓ７）。これにより光源の異なる領域があるシーンにおいて白飛びしている画素の多い領域で飽和しているＧ画素を色味が変わることなく階調復元することができる。

本発明に係る記録媒体は、上記第１乃至３の実施の形態のいずれかの撮像動作を、画像処理機能を有する装置が備えるコンピュータに実行可能とするプログラムを記録したものである。また、記録媒体の形態やプログラムの記録方法（コンピュータ言語）等は従来公知のものであれば何れのものであっても良い。

本発明に係る撮像装置の一実施の形態であるデジタルカメラにおける外観を示す概略図である。 本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。 本発明に係る撮像装置の第１の実施の形態におけるダイナミックレンジ拡大の原理を説明するための説明図である。 本発明に係る撮像装置の第１の実施の形態におけるダイナミックレンジ拡大処理動作をフローにしたフロー図である。 本発明に係る撮像装置の第２の実施の形態におけるダイナミックレンジ拡大処理動作をフローにしたフロー図である。 本発明に係る撮像装置の第３の実施の形態におけるダイナミックレンジ拡大処理動作をフローにしたフロー図である。

Claims (12)

1. 複数色に分解する色分解フィルタと、
   光学系から入射し前記色分解フィルタを介して受光した光を画像信号に光電変換する撮像素子と、
   該撮像素子の受光面に対応した画面が分割されてなる複数の画面領域毎にホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、
   前記複数の画面領域の中のいずれか１の画面領域のホワイトバランス補正係数に、または、前記複数の画面領域の中の２以上の画面領域のホワイトバランス補正係数の平均値に基づいて、飽和した画素の飽和信号量を予測して補間する飽和画素補間手段と、
   を備えることを特徴とする撮像装置。
2. 前記ホワイトバランス補正係数算出手段は、日向領域と、日陰領域と、で異なるホワイトバランス補正係数を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記ホワイトバランス補正係数算出手段は、ストロボの影響が強い領域と、ストロボの影響が弱い領域と、で異なるホワイトバランス補正係数を算出することを特徴とする請求項１に記載の撮像装置。
4. 前記飽和画素補間手段は、前記複数の画面領域毎の平均輝度を取得し、該複数の画面領域の中で前記平均輝度が所定の輝度以上である画面領域のホワイトバランス補正係数に基づいて飽和した画素の飽和信号量を予測して補間することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 光学系から入射し複数色に分解する色分解フィルタを介して受光した光を撮像素子で画像信号に光電変換する光電変換工程と、
   前記撮像素子の受光面に対応した画面が分割されてなる複数の画面領域毎にホワイトバランス補正係数を算出するホワイトバランス補正係数算出工程と、
   前記複数の画面領域の中のいずれか１の画面領域のホワイトバランス補正係数に、または、前記複数の画面領域の中の２以上の画面領域のホワイトバランス補正係数の平均値に基づいて、飽和した画素の飽和信号量を予測して補間する飽和画素補間工程と、
   を備えることを特徴とする撮像方法。
6. 前記ホワイトバランス補正係数算出工程は、日向領域と、日陰領域と、で異なるホワイトバランス補正係数を算出することを特徴とする請求項５に記載の撮像方法。
7. 前記ホワイトバランス補正係数算出工程は、ストロボの影響が強い領域と、ストロボの影響が弱い領域と、で異なるホワイトバランス補正係数を算出することを特徴とする請求項５に記載の撮像方法。
8. 前記飽和画素補間工程は、前記複数の画面領域毎の平均輝度を取得し、該複数の画面領域の中で前記平均輝度が所定の輝度以上である画面領域のホワイトバランス補正係数に基づいて飽和した画素の飽和信号量を予測して補間することを特徴とする請求項５乃至７のいずれか１項に記載の撮像方法。
9. 画像処理機能を有する装置が備えるコンピュータに、
   光学系から入射し複数色に分解する色分解フィルタを介して受光した光を撮像素子で画像信号に光電変換する光電変換処理と、
   前記撮像素子の受光面に対応した画面が分割されてなる複数の画面領域毎にホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、
   前記複数の画面領域の中のいずれか１の画面領域のホワイトバランス補正係数に、または、前記複数の画面領域の中の２以上の画面領域のホワイトバランス補正係数の平均値に基づいて、飽和した画素の飽和信号量を予測して補間する飽和画素補間処理と、
   を実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
10. 前記ホワイトバランス補正係数算出処理は、日向領域と、日陰領域と、で異なるホワイトバランス補正係数を算出することを特徴とする請求項９に記載のコンピュータ読み取り可能な記録媒体。
11. 前記ホワイトバランス補正係数算出処理は、ストロボの影響が強い領域と、ストロボの影響が弱い領域と、で異なるホワイトバランス補正係数を算出することを特徴とする請求項９に記載のコンピュータ読み取り可能な記録媒体。
12. 前記飽和画素補間処理は、前記複数の画面領域毎の平均輝度を取得し、該複数の画面領域の中で前記平均輝度が所定の輝度以上である画面領域のホワイトバランス補正係数に基づいて飽和した画素の飽和信号量を予測して補間することを特徴とする請求項９乃至１１のいずれか１項に記載のコンピュータ読み取り可能な記録媒体。

Images