JP2011130243A - 画像処理装置、画像処理方法および画像入力装置 - Google Patents

Abstract

【課題】局所的な領域のコントラストを補正する際に、その周囲に設定したブロック領域の境界部分において明るさの不連続な部分を発生させない画像処理装置を提供する。
【解決手段】第１、第２のブロック領域を形成する単位ブロックの累積ブロック数に対する第１のブロック領域の第１比率と第２のブロック領域の第２比率を算出するブロック領域比率算出部６１と、第１、第２のブロック領域の濃度ヒストグラムから第１、第２のトーンカーブを算出するブロック領域トーンカーブ算出部６３と、第１のトーンカーブの補正対象ブロックに対する入力値に第１比率を乗算した第１の値と、第２のトーンカーブの補正対象ブロックに対する入力値に第２比率を乗算した第２の値とを加算して得られた値を、補正対象ブロックのコントラストを補正するためのトーンカーブの出力値として、補正対象ブロックのコントラストを補正するコントラスト補正処理部６４を有する。
【選択図】図４

Description

本発明は、入力画像データのコントラストを補正する画像処理装置、画像処理方法およびデジタルスチルカメラ、デジタルビデオカメラ、スキャナ等の画像入力装置に関する。

デジタルスチルカメラ（以下、「デジタルカメラ」という）では、撮影レンズ系を通して被写体像がＣＣＤ等の撮像素子に入射されると、撮像素子から出力される画像信号を信号処理することで、被写体像に応じた画像データを得ることができる。ところで、主被写体の背景に極端に明るい領域がある場合や、逆に主被写体の背景に極端に暗い領域がある場合などにおいては、コントラストが適切な画像が得られないことがある。

このため、主被写体の背景に極端に明るい領域がある場合や、逆に主被写体の背景に極端に暗い領域がある場合などに、コントラスト補正を行って適切なコントラストの画像を得るために、例えば、特許文献１に記載された処理を適用することができる。

前記特許文献１には、画面を複数のブロック（エリア）に分割し、各ブロック内で輝度の平均値を求め、各ブロックを中心にした局所領域内における輝度平均値のヒストグラムを算出して、算出したヒストグラムにおいて輝度分布が多い階調のコントラストを強調するトーンカーブ（階調変換カーブ）をブロックごとに求め、求めた階調変換カーブ内に存在する各画素に適用して階調補正を行う処理が記載されている。この前記特許文献１の処理を適用して同様にコントラスト補正を行うことができる。

しかしながら、分割されたブロックごとにトーンカーブを求めて、ブロックごとにコントラスト補正する場合、画像によってはブロックの境界部分において明るさの不連続な部分が発生することがある。また、分割するブロックの大きさを画素単位に近づけていけば分割された各ブロックの境界部分での明るさの不連続は目立ち難くなるが、ブロック分割数が増加することよってコントラスト補正処理時に使用するメモリ容量が増大し、コストが高くなる。

そこで、本発明は、画像データ内の局所的なブロック領域のコントラストを補正する際に、その周囲に設定したブロックの境界部分において明るさの不連続な部分が発生することがないようにし、更に、ブロック分割数を増やさないようにしてコントラスト補正処理時に使用するメモリ容量の増大を低減して、低コスト化を図ることができる画像処理装置、画像処理方法および画像入力装置を提供することを目的とする。

前記目的を達成するために請求項１に記載の発明は、入力した画像データのコントラストの補正処理を行う画像処理装置であって、前記画像データの全域を分割区分して、該画像データの全域内においてコントラスト補正を行う補正対象ブロックと、該補正対象ブロックを含んだ第１のブロック領域と、該第１のブロック領域を含み前記第１のブロック領域よりも大きいサイズの第２のブロック領域とを少なくとも設定するブロック領域設定手段と、前記第１、第２の各ブロック領域をそれぞれ形成する単位ブロックの累積ブロック数に対する前記第１のブロック領域の第１比率と、前記第１、第２の各ブロック領域をそれぞれ形成する単位ブロックの累積ブロック数に対する前記第２のブロック領域の第２比率を算出するブロック領域比率算出手段と、前記ブロック領域設定手段で設定した前記第１、第２のブロック領域の各濃度ヒストグラムを算出するブロック領域濃度ヒストグラム算出手段と、前記ブロック領域濃度ヒストグラム算出手段で算出した前記第１、第２の各ブロック領域の濃度ヒストグラムから、前記第１、第２の各ブロック領域のコントラストをそれぞれ補正するための第１、第２の各トーンカーブを算出するブロック領域トーンカーブ算出手段と、前記ブロック領域トーンカーブ算出手段で算出した前記第１のトーンカーブの前記補正対象ブロックに対する入力値に前記第１比率を乗算した第１の値と、前記ブロック領域トーンカーブ算出手段で算出した前記第２のトーンカーブの前記補正対象ブロックに対する入力値に前記第２比率を乗算した第２の値とを加算して得られた値を、前記補正対象ブロックのコントラストを補正するためのトーンカーブの出力値として、前記トーンカーブの出力値によって前記補正対象ブロックのコントラストを補正処理するコントラスト補正処理手段とを備えたことを特徴としている。

請求項２に記載の発明は、前記ブロック領域設定手段は、補正対象ブロックを前記単位ブロックと同じサイズとして、前記画像データの全域を升目状に分割区分して前記第１、第２の各ブロック領域の設定を行なうことを特徴としている。

請求項３に記載の発明は、前記ブロック領域設定手段は、前記第２のブロック領域を含みかつブロック数の多い第３のブロック領域を設定することを繰り返して、３つ以上のブロック領域を設定することを特徴としている。

請求項４記載の発明は、各ブロック領域の中で最も大きいブロック領域が、入力画像の全体領域と同じであることを特徴としている。

請求項５記載の発明は、前記第１のブロック領域は前記補正対象ブロックと同じサイズであることを特徴としている。

請求項６記載の発明は、入力した画像データのコントラストの補正処理を行う画像処理方法であって、前記画像データの全域を分割区分して、該画像データの全域内においてコントラスト補正を行う補正対象ブロックと、該補正対象ブロックを含んだ第１のブロック領域と、該第１のブロック領域を含み前記第１のブロック領域よりも大きいサイズの第２のブロック領域とを少なくとも設定するブロック領域設定ステップと、前記第１、第２の各ブロック領域をそれぞれ形成する単位ブロックの累積ブロック数に対する前記第１のブロック領域の第１比率と、前記第１、第２の各ブロック領域をそれぞれ形成する単位ブロックの累積ブロック数に対する前記第２のブロック領域の第２比率を算出するブロック領域比率算ステップと、前記ブロック領域設定ステップで設定した前記第１、第２のブロック領域の各濃度ヒストグラムを算出するブロック領域濃度ヒストグラム算出ステップと、前記ブロック領域濃度ヒストグラム算出ステップで算出した前記第１、第２の各ブロック領域の濃度ヒストグラムから、前記第１、第２の各ブロック領域のコントラストをそれぞれ補正するための第１、第２の各トーンカーブを算出するブロック領域トーンカーブ算出ステップと、前記ブロック領域トーンカーブ算出ステップで算出した前記第１のトーンカーブの前記補正対象ブロックに対する入力値に前記第１比率を乗算した第１の値と、前記ブロック領域トーンカーブ算出手段で算出した前記第２のトーンカーブの前記補正対象ブロックに対する入力値に前記第２比率を乗算した第２の値とを加算して得られた値を、前記補正対象ブロックのコントラストを補正するためのトーンカーブの出力値として、前記トーンカーブの出力値によって前記補正対象ブロックのコントラストを補正処理するコントラスト補正処理ステップとを含むことを特徴としている。

請求項７に記載の発明は、画像処理装置に画像データを入力する画像入力装置において、前記画像処理装置は、請求項１乃至５のいずれか一項に記載の画像処理装置であることを特徴としている。

本発明に係る画像処理装置、画像処理方法及び画像入力装置によれば、画像データ全体のうちから設定された補正対象ブロックのコントラスト補正する際に、その補正対象ブロックを含むように設定した第１、第２の各ブロック領域の境界部分において明るさの不連続な部分が発生しないようにして、補正対象ブロックのコントラストを良好に補正することができる。

また、画像領域全体の画素数に応じて補正対象ブロックのサイズを適切に設定することにより、コントラスト補正処理時に使用するメモリ容量の増大を抑制して、低コスト化を図ることができる。

（ａ）は、本発明の実施形態に係る画像入力装置の一例としてのデジタルカメラを示す正面図、（ｂ）は、その上面図、（ｃ）は、その背面図。 本発明の実施形態に係る画像入力装置の一例としてのデジタルカメラ内のシステム構成の概要を示すブロック図。 本発明の実施形態に係る画像処理装置としての画像処理部の構成を示すブロック図。 コントラスト補正部の構成を示すブロック図。 （ａ）は、本実施形態における分割区分された画像領域（画像データ）を示す図、（ｂ）は、画像領域の第１、第２、第３のブロック領域、補正対象ブロックを示す図。 本実施形態における補正対象ブロックのコントラスト補正処理を示すフローチャート。 （ａ）は、第１のブロック領域の濃度ヒストグラムの一例を示す図、（ｂ）は、第２のブロック領域の濃度ヒストグラムの一例を示す図，（ｃ）は、第３のブロック領域の濃度ヒストグラムの一例を示す図。 （ａ）は、第１のブロック領域のトーンカーブの一例を示す図、（ｂ）は、第２のブロック領域のトーンカーブの一例を示す図，（ｃ）は、第３のブロック領域のトーンカーブの一例を示す図。

以下、本発明を図示の実施形態に基づいて説明する。本発明の実施形態は、画像入力装置の一例としてのデジタルカメラに適用した例であり、該デジタルカメラは本発明に係る画像処理装置としての画像処理部を備えている。

図１は、本実施形態に係る画像入力装置の一例としてのデジタルカメラを示す正面図、図１（ｂ）は、その上面図、図１（ｃ）は、その背面図、図２は、図１（ａ），（ｂ），（ｃ）に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。

（デジタルカメラの外観構成）
図１（ａ），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。

デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、設定切替ボタン１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。

（デジタルカメラのシステム構成）
図２に示すように、このデジタルカメラ１は、鏡胴ユニット６の撮影レンズ系５を通して入射される被写体像が受光面上に結像する固体撮像素子としてのＣＣＤ２０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（以下、「ＡＦＥ部」という）２１、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２、データを一時的に格納するＳＤＲＡＭ２３、制御プログラム等が記憶されたＲＯＭ２４、鏡胴ユニット６を駆動するモータドライバ２５等を有している。

鏡胴ユニット６は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７を備えており、撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７の各駆動ユニットは、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２８からの駆動信号により駆動制御される。

ＣＣＤ２０は、ＣＣＤ２０を構成する複数の画素上にＲＧＢ原色フィルタ（不図示）が配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。

ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１、ＣＤＳ３１にてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２、ＡＧＣ３２でゲイン調整された画像信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部３３を備えている。

信号処理部２２は、ＡＦＥ部２１のＴＧ３０からの画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）、および画素転送クロック（ピクセルクロック）の出力を受け、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（以下、「ＣＣＤＩ／Ｆ」という）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能な画像データに変換処理する画像処理部３６と、表示や記録される画像データのサイズに合わせて画像サイズを変更処理するリサイズ処理部３７と、画像データを液晶モニタ（ＬＣＤ）９に表示出力するための表示出力制御部３８と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部３９と、画像データをメモリカード１４へ書き込み、又はメモリカード１４に書き込まれた画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という）４０と、操作部４１からの操作入力情報に基づき、ＲＯＭ２４に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部２８を備えている。

操作部４１は、デジタルカメラ１（図１（ａ），（ｂ），（ｃ）参照）の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、設定切替ボタン１３等であり、撮影者の操作によって所定の動作指示信号が制御部２８に入力される。

ＳＤＲＡＭ２３には、ＣＣＤＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、画像処理部３６で変換処理されたＹＵＶ画像データ（ＲＡＷ−ＲＧＢデータを、輝度データ（Ｙ）と色差成分画像データＣｂ、Ｃｒに変換処理したＹＣｂＣｒデータ）が保存され、更に、データ圧縮部３９で圧縮処理されたＪＰＥＧ形成などの画像データなどが保存される。

画像処理部３６は、図３に示すように、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶデータに変換処理して出力するための、ホワイトバランス（ＷＢ）処理部５０、γ補正処理部５１、補間処理部５２、ＹＵＶ変換部５３、及び補正対象ブロックのコントラスト補正処理を行うコントラスト補正部５４を有している。

（通常の撮影時の動作）
次に、前記したデジタルカメラ１の通常の撮影時の動作について説明する。

ユーザ（撮影者）が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モードに設定することで、デジタルカメラ１が記録モードで起動する。電源ボタン３がＯＮされて、撮影・再生切替ダイアル４が撮影モードに設定されたことを制御部２８が検知すると、制御部２８はモータドライバ２５に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、かつＣＣＤ２０、ＡＦＥ部２１、信号処理部２２、ＳＤＲＡＭ２３、ＲＯＭ２４、液晶モニタ９等を起動させる。

そして、鏡胴ユニット６の撮影レンズ系５を被写体に向けることにより、撮影レンズ系５を通して入射される被写体像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に入力され、Ａ／Ｄ変換部３３によりＲＡＷ−ＲＧＢデータに変換する。このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。

そして、信号処理部２２のＣＣＤＩ／Ｆ３４は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系５の各フォーカス位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ２０の全画素の受光面に対応した画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算を算出する。そして、制御部２８は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ２０の電子シャッタ回数、絞りユニット２６の絞り値等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。

そして、レリーズボタン２が押圧（半押しから全押し）操作される静止画撮影動作が開始されると静止画記録処理が行われる。

即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部２８からモータドライバ２５への駆動指令により撮影レンズ系５のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系５のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ３４で算出されている各フォーカス位置における前記ＡＦ評価値を制御部２８が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

そして、前記したＡＥ処理が行われ、露光完了時点で、制御部２８からモータドライバ２５への駆動指令によりメカシャッタユニット２７が閉じられ、ＣＣＤ２０から静止画用のアナログＲＧＢ画像信号が出力される。そして、ＡＦＥ部２１のＡ／Ｄ変換部３３によりＲＡＷ−ＲＧＢデータに変換される。

そして、このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれ、後述する画像処理部３６でＹＵＶ画像データに変換されて、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、このＹＵＶ画像データはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３７で記録画素数に対応するサイズに変換され、データ圧縮部３９でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４０を介してメモリカード１４に保存される。

画像処理部３６は、取り込んだＲＡＷ−ＲＧＢデータに対して、ホワイトバランス（ＷＢ）処理部５０により、ＣＣＤＩ／Ｆ３４で算出された前記ＡＷＢ評価値に基づいて、ＣＣＤ２０の全画素上に配置されているＲＧＢフィルタの分布から被写体の光源の色に合わせたホワイトバランスの制御値を決定するＷＢ処理を行って、ホワイトバランスを合わせる。そして、γ補正処理部５１により、ホワイトバランスが合わされた各画素出力データに対して、予め設定されたγ補正の曲線によって入出力変換処理を行い、補間処理部５２により、１画素に１色のデータしか持っていないＲＡＷデータに対して、足りない他の２色のデータを補うためにその周辺の画素から補間する補間演算処理を行う。

そして、ＹＵＶ変換部５３は、ＲＧＢデータをマトリックス演算により表示や記録が可能なＹＵＶ画像データに変換処理して、このＹＵＶ画像データをメモリコントローラ３５を介してＳＤＲＡＭ２３に保存する。

そして、このＹＵＶ画像データはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３８で記録画素数に対応するサイズに変換され、データ圧縮部４０でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。

なお、前記した通常の撮影モード時では、コントラスト補正部５４にはＹＵＶ変換部５３からＹＵＶ画像データが入力されず、「コントラスト補正モード」設定時にＹＵＶ変換部５３からＹＵＶ画像データが入力され、画像データ内の補正対象ブロックのコントラスト補正処理を行う（詳細は後述する）。

（コントラスト補正部５４の構成）
図４に示すように、コントラスト補正部５４は、ブロック領域設定部６０、ブロック領域比率算出部６１、ブロック領域濃度ヒストグラム算出部６２、ブロック領域トーンカーブ算出部６３、コントラスト補正処理部６４を備えている。

ブロック領域設定部６０は、ＹＵＶ変換部５３から入力されるＹＵＶ画像データ（以下、単に「画像データ」という）を、例えば、図５（ａ），（ｂ）に示すように、この画像データに対応した画像領域Ａ全体を升目状に分割区分する。そして、分割された画像領域Ａ全体内でコントラスト補正を行う必要がある局所的な補正対象ブロックａを設定し、更にこの補正対象ブロックａを含む第１のブロック領域ｂと、補正対象ブロックａ、第１のブロック領域ｂを含む第２のブロック領域ｃと、補正対象ブロックａ、第１のブロック領域ｂ、第２のブロック領域ｃを含む第３のブロック領域ｄを設定する。本実施形態では、第１のブロック領域ｂと第２のブロック領域ｃの中心に補正対象ブロックａを設定している。

なお、本実施形態では、補正対象ブロックａを、画像領域Ａを分割区分した単位ブロックと同じサイズに設定し、更に、画像領域Ａ全体と第３のブロック領域ｄを同じサイズに設定している。

図５（ａ），（ｂ）に示した画像領域Ａ全体は、前記ＣＣＤ２０の全画素の受光面のサイズに対応している。本実施形態では、画像領域Ａ全体を４０００×３０００画素、補正対象ブロックａを単位ブロックと同じ１００×１００画素として、画像領域Ａ全体を１２００ブロックに分割している。また、第１のブロック領域ｂは、５×５ブロック（＝２５ブロック）の画像領域であり、第２のブロック領域ｃは、１０×１０ブロック（＝１００ブロック）の画像領域である。

なお、補正対象ブロックａのサイズを小さくし過ぎると最終的には画素単位のコントラスト補正を行うことになり、ブロック領域トーンカーブ算出部６２で画素数分のトーンカーブ設定用のメモリが必要となるため、コストが高くなる。また、補正対象ブロックａのサイズが大き過ぎると、ブロック境界部分で明るさの不連続な部分が発生することがある。

このため、画像領域Ａ全体の画素数に応じて、補正対象ブロックａのサイズを適切に設定する。例えば、図５（ａ），（ｂ）に示したように、画像領域Ａ全体を４０００×３０００画素とした場合には、補正対象ブロックａを１００×１００画素に設定する。

ブロック領域比率算出部６１は、第１、第２、第３の各ブロック領域ｂ，ｃ，ｄの累積ブロック数に対する、第１のブロック領域ｂの比率、第２のブロック領域ｃの比率、第３のブロック領域ｄの比率を算出する。

ブロック領域濃度ヒストグラム算出部６２は、ブロック領域設定部６０が設定した第１のブロック領域ｂ、第２のブロック領域ｃ、第３のブロック領域ｄの各濃度ヒストグラムを算出する。

ブロック領域トーンカーブ算出部６３は、ブロック領域濃度ヒストグラム算出部６２が算出した第１のブロック領域ｂ、第２のブロック領域ｃ、第３のブロック領域ｄの各濃度ヒストグラムに基づいて、これらのブロック領域（第１のブロック領域ｂ、第２のブロック領域ｃ、第３のブロック領域ｄを対象としたコントラスト補正するための各トーンカーブを算出する。

本実施形態では、第１のブロック領域ｂは５×５ブロック（＝２５ブロック）、第２のブロック領域ｃは１０×１０ブロック（＝１００ブロック）、第３のブロック領域ｄは４０×３０ブロック（＝１２００ブロック）であり、第１、第２、第３の各ブロック領域ｂ，ｃ，ｄの累積ブロック数は１３２５（＝２５＋１００＋１２００）ブロックである。

これから、累積ブロック数に対する第１のブロック領域ｂのブロック数の比率（＝２５／１３２５）と、累積ブロック数に対する第２のブロック領域ｃのブロック数の比率（＝１００／１３２５）と、累積ブロック数に対する第３のブロック領域ｄのブロック数の比率（＝１２００／１３２５）が算出される。

コントラスト補正処理部６４は、補正対象ブロックａのコントラストを補正するための補正対象ブロック用トーンカーブの出力値（Ｙout）を下記の式（１）から算出して、算出した補正対象ブロック用トーンカーブの出力値（Ｙout）によって補正対象ブロックｂのコントラストを補正する。

Ｙout＝Ｃ１（Ｙin）×ｒ１＋Ｃ２（Ｙin）×ｒ２＋Ｃ３（Ｙin）×ｒ３ …式（１）

ただし、Ｃ１（Ｙin）は第１のブロック領域ｂのトーンカーブの補正対象ブロックａに対する入力値、Ｃ２（Ｙin）は第２のブロック領域ｃのトーンカーブの補正対象ブロックａに対する入力値、Ｃ３（Ｙin）は第３のブロック領域ｃのトーンカーブの補正対象ブロックａに対する入力値、ｒ１は前記累積ブロック数に対する第１のブロック領域ｂのブロック数の比率、ｒ２は前記累積ブロック数に対する第２のブロック領域ｃのブロック数の比率、ｒ３は前記累積ブロック数に対する第３のブロック領域ｄのブロック数の比率である。

次に、コントラスト補正部５４による補正対象ブロックのコントラスト補正処理を、図６に示すフローチャートを参照して説明する。

ユーザ（撮影者）が前記デジタルカメラ１で撮影を行う際に、メニューボタン１２及び設定切替ボタン１３を操作して、液晶モニタ９の画面上で「コントラスト補正モード」に切替えることにより（ステップＳ１）、通常撮影モードにコントラスト補正モードが追加される。これにより、前記した通常の撮影時において、画像処理部３６のＹＵＶ変換部５３から画像データがコントラスト補正部５４に入力される（ステップＳ２）。

そして、コントラスト補正部５４のブロック領域設定部６０で、図５（ａ），（ｂ）に示したように、入力された画像データに対応した画像領域Ａ全体を升目状に分割区分する。そして、ブロック分割された画像領域Ａ全体内でコントラスト補正を行う必要がある局所的な補正対象ブロックａを設定し、更にこの補正対象ブロックａを含む第１のブロック領域ｂと、補正対象ブロックａ、第１のブロック領域ｂを含む第２のブロック領域ｃと、補正対象ブロックａ、第１のブロック領域ｂ、第２のブロック領域ｃを含む第３のブロック領域ｄを設定する（ステップＳ３）。なお、第３のブロック領域ｄは、画像領域Ａ全体である。

画像領域Ａ全体のうちから補正対象ブロックａを設定する方法としては、画像領域全体の中で予め設定しているブロック領域を順次設定してもよいが、例えば、入力された画像データから算出した輝度ヒストグラムに基づいて、コントラストがつき過ぎているブロック領域やコントラスト不足になっているブロック領域を特定し、この特定したブロック領域を補正対象ブロックａとして設定してもよい。また、画像領域から顔認識を行なう顔認識処理部（不図示）を有している場合には、この顔認識処理部での顔認識処理と組み合わせて補正対象ブロックを設定するようにしてもよく、更に、認識した顔の大きさに合わせてブロック領域の大きさを可変させてもよい。

そして、ブロック領域比率算出部６１で、第１、第２、第３の各ブロック領域ｂ，ｃ，ｄの累積ブロック数に対する、第１のブロック領域ｂの比率ｒ１、第２のブロック領域ｃの比率ｒ２、第３のブロック領域ｄの比率ｒ３を算出する（ステップＳ４）。

前記したように、本実施形態では、第１のブロック領域ｂは２５ブロック、第２のブロック領域ｃは１００ブロック、第３のブロック領域ｄは１２００ブロック、第１、第２、第３の各ブロック領域ｂ，ｃ，ｄの累積ブロック数は１３２５ブロックであり、これらのブロック数値から各比率ｒ１、ｒ２、ｒ３を算出する。

そして、設定された第１、第２、第３のブロック領域ｂ，ｃ，ｄに対して、ブロック領域濃度ヒストグラム算出部６２で各濃度ヒストグラムを算出する（ステップＳ５）。図７（ａ），（ｂ），（ｃ）は、それぞれ算出された第１、第２、第３のブロック領域ｂ，ｃ，ｄの濃度ヒストグラムの一例である。

図６（ａ）に示した第１のブロック領域ｂの濃度ヒストグラムでは、暗部側に集中するようにして画素が存在している。図６（ｂ）に示した第２のブロック領域ｃの濃度ヒストグラムでは、暗部側から明部側にわたって画素が存在している。図６（ｃ）に示した第３のブロック領域ｄの濃度ヒストグラムでは、暗部側と明部側の２箇所に山があるように画素が存在している。

そして、ブロック領域トーンカーブ算出部６３で、算出された第１、第２、第３のブロック領域ｂ，ｃ，ｄの各濃度ヒストグラムから、例えば、ヒストグラム平滑化によって、第１、第２、第３のブロック領域ｂ，ｃ，ｄを対象としてコントラスト補正するための各トーンカーブを算出する（ステップＳ６）。図７（ａ），（ｂ），（ｃ）は、それぞれ算出された第１、第２、第３のブロック領域ｂ，ｃ，ｄのトーンカーブの一例である。

図７（ａ）に示した第１のブロック領域ｂのトーンカーブは、暗部側の入力データを持ち上げるようなカーブである。図７（ｂ）に示した第２のブロック領域ｃのトーンカーブは、中間部の入力データを少し持ち上げたようなカーブである。図７（ｃ）に示した第３のブロック領域ｄのトーンカーブは、暗部側と明部側の２箇所に山に対応したＳ字状のカーブである。

なお、図７（ａ），（ｂ），（ｃ）のトーンカーブに近似したトーンカーブを含む様々なパターンのトーンカーブを予め設定してＳＤＲＡＭ２３に記憶して、所望のトーンカーブ読み出す構成にすることにより、ブロック領域トーンカーブ算出部６２でのトーンカーブの算出処理時間を短縮することができる。

そして、コントラスト補正処理部６４で、補正対象ブロックａのコントラストを補正するための補正対象ブロック用トーンカーブ（Ｙout）の出力値を前記式（１）から算出して（ステップＳ７）、算出した補正対象ブロック用トーンカーブ（Ｙout）の出力値によって、補正対象ブロックｂのコントラストを補正する（ステップＳ８）。

また、前記ステップＳ３で、ブロック分割された画像領域Ａ全体内で複数の補正対象ブロックａを設定した場合には、設定した全ての補正対象ブロックａに対して、前記ステップＳ３〜ステップＳ７の処理を行う。

補正対象ブロックｂのコントラストが補正処理された画像データは、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、この画像データはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３８で記録画素数に対応するサイズに変換され、データ圧縮部４０でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。

このように、本実施形態のデジタルカメラ１によれば、画像領域全体のうちから設定された補正対象ブロックのコントラスト補正する際に、その補正対象ブロックの周囲に設定した各ブロック領域の境界部分において明るさの不連続な部分が発生しないようにして、補正対象ブロックのコントラストを良好に補正することができる。

特に、本実施形態では、コントラスト補正処理部６４で、補正対象ブロックａのコントラストを補正するための補正対象ブロック用トーンカーブ（Ｙout）の出力値を前記式（１）から算出する際に、画像領域Ａ全体である第３のブロック領域ｃのトーンカーブの補正対象ブロックａに対する入力値も用いている。これにより、画像領域Ａ全体で連続するようなコントラスト補正処理を行うことができるので、第１、第２、第３の各ブロック領域ｂ，ｃ，ｄの境界部分において明るさの不連続性がより効果的に緩和される。

更に、画像領域全体の画素数に応じて補正対象ブロックのサイズを適切に設定することにより、コントラスト補正処理時に使用するメモリ容量の増大を抑制して、低コスト化を図ることができる。

なお、前記実施形態では、補正対象ブロックａの周囲に３つのブロック領域（第１、第２、第３の各ブロック領域ｂ，ｃ，ｄ）を設定した構成であったが、これに限らず、画像データのサイズに応じて、補正対象ブロックａを第１のブロック領域ｂと同じサイズにして、その周囲に２つのブロック領域（前記第２、第３の各ブロック領域ｃ，ｄ）を設定してもよい。

更に、画像データのサイズに応じて、補正対象ブロックａの周囲に１つ又は４つ以上のブロック領域を設定してもよい。ただし、補正対象ブロックａの周囲に多数のブロック領域を設定すると、各ブロック境界部分での明るさの不連続性を低減させる効果が高くなるが、コントラスト補正効果が低下する。よって、前記した本実施形態のように、補正対象ブロックの周囲に３つ程度のブロック領域を設定する構成が好ましい。

なお、前記実施形態では、画像領域全体を升目状に分割して全て同じ大きさのブロックであったが、これ以外にも、例えば、画像領域の中央部分のブロックを小さくして、画像領域の周辺部のブロックを大きく設定するように分割してもよい。この場合には、ブロック数での比較ではなく、ブロック領域の面積を比較することになる。

このように、画像領域の周辺部のブロックの方を大きく設定することにより、多くの箇所に補正対象ブロックを設定した場合においても、コントラスト補正処理の時間を前記実施形態の場合よりも短縮することができる。特に、通常の撮影にいては、主要被写体が画像領域（画面）の周辺よりも中央部分にあるので、より効果的である。

また、前記実施形態では、画像入力装置の一例としてデジタルカメラに適用し、画像処理装置がこのデジタルカメラの画像処理部とした構成であったが、これに限らず、画像入力装置の他の例としては、例えば、デジタルビデオカメラやスキャナ装置などがあり、画像処理装置の他の例としては、例えば、上記したコントラスト補正処理を実行可能なコントラスト補正処理アプリケーションを有するパーソナルコンピュータ（パソコン）などがある。

１ デジタルカメラ（画像入力装置）
５ 撮影レンズ系
９ 液晶モニタ
１２ メニューボタン
１３ 設定切替ボタン
２０ ＣＣＤ
２１ アナログフロントエンド部
２２ 信号処理部
２８ 制御部
３６ 画像処理部（画像処理装置）
５４ コントラスト補正部
６０ ブロック領域設定部
６１ ブロック領域比率算出部
６２ ブロック領域濃度ヒストグラム算出部
６３ ブロック領域トーンカーブ算出部
６４ コントラスト補正処理部
Ａ 画像領域（画像データ）
ａ 補正対象ブロック
ｂ 第１のブロック領域
ｃ 第２のブロック領域
ｄ 第３のブロック領域

特開２００５−３２２２０５号公報

Claims (7)

1. 入力した画像データのコントラストの補正処理を行う画像処理装置であって、
   前記画像データの全域を分割区分して、該画像データの全域内においてコントラスト補正を行う補正対象ブロックと、該補正対象ブロックを含んだ第１のブロック領域と、該第１のブロック領域を含み前記第１のブロック領域よりも大きいサイズの第２のブロック領域とを少なくとも設定するブロック領域設定手段と、
   前記第１、第２の各ブロック領域をそれぞれ形成する単位ブロックの累積ブロック数に対する前記第１のブロック領域の第１比率と、前記第１、第２の各ブロック領域をそれぞれ形成する単位ブロックの累積ブロック数に対する前記第２のブロック領域の第２比率を算出するブロック領域比率算出手段と、
   前記ブロック領域設定手段で設定した前記第１、第２のブロック領域の各濃度ヒストグラムを算出するブロック領域濃度ヒストグラム算出手段と、
   前記ブロック領域濃度ヒストグラム算出手段で算出した前記第１、第２の各ブロック領域の濃度ヒストグラムから、前記第１、第２の各ブロック領域のコントラストをそれぞれ補正するための第１、第２の各トーンカーブを算出するブロック領域トーンカーブ算出手段と、
   前記ブロック領域トーンカーブ算出手段で算出した前記第１のトーンカーブの前記補正対象ブロックに対する入力値に前記第１比率を乗算した第１の値と、前記ブロック領域トーンカーブ算出手段で算出した前記第２のトーンカーブの前記補正対象ブロックに対する入力値に前記第２比率を乗算した第２の値とを加算して得られた値を、前記補正対象ブロックのコントラストを補正するためのトーンカーブの出力値として、前記トーンカーブの出力値によって前記補正対象ブロックのコントラストを補正処理するコントラスト補正処理手段とを備えたことを特徴とする画像処理装置。
2. 前記ブロック領域設定手段は、補正対象ブロックを前記単位ブロックと同じサイズとして、前記画像データの全域を升目状に分割区分して前記第１、第２の各ブロック領域の設定を行なうことを特徴とする請求項１に記載の画像処理装置。
3. 前記ブロック領域設定手段は、前記第２のブロック領域を含みかつブロック数の多い第３のブロック領域を設定することを繰り返して、３つ以上のブロック領域を設定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 各ブロック領域の中で最も大きいブロック領域が、入力画像の全体領域と同じであることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１のブロック領域は、前記補正対象ブロックと同じサイズであることを特徴とする請求項１に記載の画像処理装置。
6. 入力した画像データのコントラストの補正処理を行う画像処理方法であって、
   前記画像データの全域を分割区分して、該画像データの全域内においてコントラスト補正を行う補正対象ブロックと、該補正対象ブロックを含んだ第１のブロック領域と、該第１のブロック領域を含み前記第１のブロック領域よりも大きいサイズの第２のブロック領域とを少なくとも設定するブロック領域設定ステップと、
   前記第１、第２の各ブロック領域をそれぞれ形成する単位ブロックの累積ブロック数に対する前記第１のブロック領域の第１比率と、前記第１、第２の各ブロック領域をそれぞれ形成する単位ブロックの累積ブロック数に対する前記第２のブロック領域の第２比率を算出するブロック領域比率算ステップと、
   前記ブロック領域設定ステップで設定した前記第１、第２のブロック領域の各濃度ヒストグラムを算出するブロック領域濃度ヒストグラム算出ステップと、
   前記ブロック領域濃度ヒストグラム算出ステップで算出した前記第１、第２の各ブロック領域の濃度ヒストグラムから、前記第１、第２の各ブロック領域のコントラストをそれぞれ補正するための第１、第２の各トーンカーブを算出するブロック領域トーンカーブ算出ステップと、
   前記ブロック領域トーンカーブ算出ステップで算出した前記第１のトーンカーブの前記補正対象ブロックに対する入力値に前記第１比率を乗算した第１の値と、前記ブロック領域トーンカーブ算出手段で算出した前記第２のトーンカーブの前記補正対象ブロックに対する入力値に前記第２比率を乗算した第２の値とを加算して得られた値を、前記補正対象ブロックのコントラストを補正するためのトーンカーブの出力値として、前記トーンカーブの出力値によって前記補正対象ブロックのコントラストを補正処理するコントラスト補正処理ステップとを含むことを特徴とする画像処理方法。
7. 画像処理装置に画像データを入力する画像入力装置において、
   前記画像処理装置は、請求項１乃至５のいずれか一項に記載の画像処理装置であることを特徴とする画像入力装置。

Images