JP2002281524A - 画像処理装置およびその方法 - Google Patents

Abstract

(57)【要約】 【課題】 色かぶり量の補正量を決定する際、ハイライ
ト部のRGB値および各値の比率と、閾値とを比較して、
閾値より大きいか小さいかで補正量を設定すると、補正
量を細かく設定することが困難で、閾値付近にある画像
は、僅かな違いで、補正後の画像が大幅に異なる。 【解決手段】 ルックアップテーブル作成部11は、ヒス
トグラム保持部5に保持された画像の輝度分布から各色
成分のシャドウおよびハイライトポイント、並びに、ハ
イライト領域における色かぶり量を取得する。そして、
色かぶり量に対応する修正量をホワイトバランス情報保
持部7から読み出し、その修正量に基づき、各色成分の
ハイライトポイントを修正する。そして、シャドウポイ
ントおよび修正されたハイライトポイントに基づき、画
像の輝度補正用のルックアップテーブルを生成する。画
像補正部9は、生成されたルックアップテーブルを用い
て画像を補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置および
その方法に関し、例えば、色バランスの補正などの画像
処理を行う画像処理装置およびその方法に関する。

【０００２】

【従来の技術】ディジタルカメラから入力した画像のコ
ントラスト、ハイライト、シャドウやホワイトバランス
を補正するアルゴリズムに関して、これまでに色々な方
法が提案されいる。

【０００３】本発明者は、特開平11-317959号公報に記
載された、画像のハイライト部の色の偏りの比率によっ
て画像の種類を判別し、その結果（シーン）によってホ
ワイトバランス補正の度合いを調整し、同時にコントラ
スト、ハイライト、シャドウを最適に補正し、物体の色
を忠実に再現する方法を提案した。

【０００４】

【発明が解決しようとする課題】特開平11-317959号に
記載された技術は、画像の種類を判別して色かぶり量の
補正量を決定する際に、ハイライト部のRGB値および各
値の比率と、閾値とを比較して、閾値より大きいか小さ
いかで補正量を設定する。このため、補正量を細かく設
定することが困難で、閾値付近にある画像は、僅かな違
いで、補正後の画像が大幅に異なる場合がある。

【０００５】本発明は、上述の問題を解決するためのも
ので、色補正に関する補正量の細かな設定を可能にする
ことを目的とする。

【０００６】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【０００７】本発明にかかる画像処理装置は、画像デー
タの輝度分布から各色成分のシャドウおよびハイライト
ポイント、並びに、ハイライト領域における色かぶり量
を取得する取得手段と、色かぶり量に対応する修正量が
格納されたメモリと取得された色かぶり量に対応する修
正量を前記メモリから読み出して、その修正量に基づ
き、前記各色成分のハイライトポイントを修正する修正
手段と、前記シャドウポイントおよび修正されたハイラ
イトポイントに基づき、前記画像データの輝度補正用の
ルックアップテーブルを生成する生成手段と、生成され
たルックアップテーブルを用いて前記画像データを補正
する補正手段とを有することを特徴とする。

【０００８】本発明にかかる画像処理方法は、画像デー
タの輝度分布から各色成分のシャドウおよびハイライト
ポイント、並びに、ハイライト領域における色かぶり量
を取得し、色かぶり量に対応する修正量が格納されたメ
モリから、取得された色かぶり量に対応する修正量を読
み出し、読み出した修正量に基づき、前記各色成分のハ
イライトポイントを修正し、前記シャドウポイントおよ
び修正されたハイライトポイントに基づき、前記画像デ
ータの輝度補正用のルックアップテーブルを生成し、生
成されたルックアップテーブルを用いて前記画像データ
を補正することを特徴とする。

【０００９】

【発明の実施の形態】以下、本発明にかかる一実施形態
の画像処理装置を図面を参照して詳細に説明する。

【００１０】［構成］図1は実施形態の画像処理装置の
主要構成を示すブロック図である。画像処理装置は、例
えばパソコンなどに図1に示す各部の処理または制御を
実現するためのプログラムを供給することで実現可能で
ある。その場合、パソコンのCPUがプログラムに基づき
後述する各処理または制御を実行する。

【００１１】図1において、画像入力部2は、入力画像1
のデータを読み込んで、画像バッファ4に書き込む。画
像出力部3は、画像バッファ4に格納されたデータを出力
画像12として出力する。

【００１２】ヒストグラム作成部10は、画像バッファ4
に格納された画像データのヒストグラムを作成し、その
結果をヒストグラム保持部5に格納する。

【００１３】ルックアップテーブル作成部11は、ヒスト
グラム保持部5に格納されたヒストグラムに基づき、補
正に必要なパラメータを算出してルックアップテーブル
を作成し、その結果をルックアップテーブル保持部6に
格納する。

【００１４】ホワイトバランス情報保持部7は、算出さ
れたホワイトバランスに対して、どの程度の補正を行う
かを示す補正量を計算するためのデータを保持する。

【００１５】画像補正部9は、ルックアップテーブル保
持部6に格納されたルックアップテーブルに基づき、画
像バッファ4に格納された画像を補正する。

【００１６】［画像補正処理］図2は実施形態の画像補
正処理例を示すフローチャートである。

【００１７】ステップS1で、画像入力部2は、入力画像1
の画像データを読み込み、画像バッファ4に格納する。

【００１８】ステップS2で、ヒストグラム作成部10は、
画像バッファ4に格納された画像データのヒストグラム
を作成し、その結果をヒストグラム保持部5に格納す
る。なお、ヒストグラム作成部10の処理の詳細は後述す
る。

【００１９】ステップS3で、ルックアップテーブル作成
部11は、ルックアップテーブルを作成する。なお、ルッ
クアップテーブル作成部11の処理の詳細は後述する。

【００２０】ステップS4で、画像補正部9は画像バッフ
ァ4に格納された画像データを補正する。なお、画像補
正部9の処理の詳細は後述する。

【００２１】ステップS5で、画像出力部3は、画像バッ
ファ4に格納された補正後の画像データを出力画像12と
して出力する。

【００２２】［ヒストグラムの作成］図3はステップS2
の処理、つまりヒストグラム作成部10の処理を示すフロ
ーチャートである。

【００２３】ステップS11で、画像バッファ4から画像デ
ータを一画素分ずつ読み出す。なお、画像データはRGB
各色の輝度値（RGB値）として格納されている。

【００２４】ステップS12で、画像データのRGB値から式
(1)に従い当該画素の輝度Lを求める。 L = (3×R + 6×G + B)/10 …(1)

【００２５】ステップS13で、ヒストグラム保持部5に格
納されているヒストグラムを更新する。ヒストグラム保
持部5には、計算された輝度LのヒストグラムHistL、お
よび、RGB各色の累積輝度値を当該画素の輝度L別に格納
するHistR、HistGおよびHistBが保持される。なお、初
期状態はすべて零である。ヒストグラムの更新は式(2)
に従う。

【００２６】ステップS14で、全画素の処理が終了した
か否かを調べ、未了であればステップS11へ戻り、終了
していれば処理を終了する。

【００２７】図4は作成されるヒストグラムHistLの例を
示す図である。

【００２８】［ルックアップテーブルの作成］図5はス
テップS3の処理、つまりルックアップテーブル作成部11
の処理を示すフローチャートである。

【００２９】ステップS21で、ヒストグラム保持部5に格
納されたヒストグラムHistLから、画像の最大輝度を求
める。図4に示すヒストグラムにおいて、最大輝度は252
である。

【００３０】ステップS22で、最大輝度と、255から所定
量（図4の例では所定量=10）ずつ減じて、最大輝度を割
ったときの輝度LH'を求める。つまり、輝度値を255、24
5、235、…と下げていって、その都度、最大輝度と比較
する。図4の例ではLH'=245になる。そして、LH'以下で
所定の割合の画素を含む領域を求め、その領域の最小輝
度をハイライトポイントLHとする。図4の例では、総画
素数の1%を含む領域の最小輝度がハイライトポイントLH
で、その値は234である。そして、式(3)により、領域内
（LH≦輝度≦LH'の領域）のRGBの平均輝度RH、GHおよび
BHを算出する。 ここで、Σ演算の範囲はm=LHからLH'まで

【００３１】ステップS23で、ヒストグラム保持部5に格
納されたヒストグラムHistLから、画像の最小輝度を求
める。図4に示すヒストグラムにおいて、最小輝度は5で
ある。

【００３２】ステップS24で、最小輝度と、0から所定量
（図4の例では所定量=10）ずつ加えて、最小輝度を超え
たときの輝度LS'を求める。つまり、図4においては、輝
度値を0、10、20、…と上げていって、その都度、最小
輝度と比較する。図4の例ではLS'=10になる。そして、L
S'以上で所定の割合の画素を含む領域を求め、その領域
の最大輝度をシャドウポイントLSとする。図4の例で
は、総画素数の1%を含む領域の最大輝度がシャドウポイ
ントLSで、その値は22である。そして、式(4)により、
領域内（LS'≦輝度≦LSの領域）のRGBの平均輝度RS、GS
およびBSを算出する。 ここで、Σ演算の範囲はm=LS'からLSまで

【００３３】ステップS25で、ホワイトバランス情報保
持部7に格納されているデータに基づき、計算されたR
H、GHおよびBHを修正する（ホワイトバランスを修正す
る）。なお、修正手順は後述する。

【００３４】ステップS26で、修正後のRH、GHおよびB
H、並びに、RS、GSおよびBSから、RGBそれぞれのルック
アップテーブルLUTR、LUTGおよびLUTBを作成する。作成
されるルックアップテーブルの詳細は後述する。

【００３５】［ホワイトバランスの修正方法］図6はス
テップS25の処理、つまりホワイトバランスの修正方法
を示すフローチャートである。

【００３６】ステップS41で、式(5)により、先に算出し
たRH、GHおよびBHと、LHとの差ΔR、ΔGおよびΔB（所
謂色かぶり量）を算出する。

【００３７】ステップS42で、ホワイトバランス情報保
持部7に格納されたデータに基づき、算出したΔR、ΔG
およびΔBに対応するホワイトバランス修正量Wを算出す
る。なお、ホワイトバランス修正量Wは0から100の整数
値で与えられる。図7および図8はホワイトバランス情報
保持部7に格納されたデータを説明する図であるが、そ
の詳細は後述する。

【００３８】ステップS43で、算出したホワイトバラン
ス修正量Wに基づきホワイトバランスを修正する。図9に
示すように、RH、GHおよびBHと、LHとの間をホワイトバ
ランス修正量Wによって、(100-W):Wに内分する点に変更
する。

【００３９】図9はLH=240、RH=243、GH=247およびBH=22
5で、ホワイトバランス補正量W=70の例を示している。R
Hは、RH=243とLH=240との間を30:70に内分する点である
242（端数切り捨て）に補正される。同様に、GHは245
に、BHは230に補正される。

【００４０】［ホワイトバランス情報保持部7に格納さ
れたデータ］図7および図8はホワイトバランス情報保持
部7に格納されたデータを説明する図である。

【００４１】図7に示すように、データは-a≦ΔR,ΔG,
ΔB≦a（aはある定数）の範囲である三次元空間を形成
し、それぞれの格子点には0から100までの値が設定され
ている。図8は、図7に示す三次元空間をΔR+ΔG+ΔB=0
の平面で切ったときの切断面を示す図である。六角形の
切断面の頂点座標(ΔR,ΔG,ΔB)はそれぞれ図に示すよ
うになり、六角形の切断面の各辺はΔR、ΔG、ΔBの比
率によりそれぞれRGBCMYKの何れかにかぶった状態にな
る。

【００４２】例えば夕焼けを写した写真画像の場合、赤
かぶり状態になっているので、輝度の高い部分ではR成
分が大きくなる。従って、ΔRが、ΔGやΔBに比べて大
きい値になっている。この場合は、あまりホワイトバラ
ンスを補正しない方がよいので、赤かぶり画像の修正量
Wは小さい値（例えば10）に設定する（図8の左下側領
域）。

【００４３】同様に、黄色が多い画像も、輝度の一番高
い部分が黄色である可能性が強く、ここを基準にホワイ
トバランス補正を行うと画像が破綻してしまう。そこ
で、修正量Wは小さい値（例えば10）に設定する（図8の
下側領域）。

【００４４】その他の領域では、通常のホワイトバラン
ス補正を行うようにするが、あまりにもかぶり量が大き
いときは、大きくホワイトバランス補正を行わないよう
に、修正量を小さい値（例えば10）に設定する（各辺に
近い領域）。

【００４５】なお、図8は、六角形の切断面の内側の修
正量Wを70に、外側の修正量Wを10に設定した例を示す
が、修正量Wがいきなり70から10に変わる境界の部分が
存在すると、その近傍の画像は僅かな差で補正結果が大
きく変わる可能性がある。そこで、境界が生じないよう
に、修正量Wが70から10へ滑らかに変わる領域を設定し
てある。

【００４６】［ルックアップテーブル］図10は作成され
るルックアップテーブルの例を示す図である。

【００４７】ルックアップテーブルLUTR、LUTGおよびLU
TBは、コントラストおよび色かぶりの補正を行うための
ものである。図10に示す例ではG、B、Rの順にハイライ
トのガンマを立たせているが、このようにRに対してGお
よびBをガンマを強めることで、例えば、青かぶりした
画像のかぶりを補正することができる。同時に、コント
ラストの補正もできる。

【００４８】［画像補正］図11はステップS4の処理、つ
まり画像補正部9の処理を示すフローチャートである。

【００４９】ステップS31で、画像バッファ4に格納され
た画像データを一画素分取り出す。ステップS32で、ス
テップS26で作成されたルックアップテーブルLUTR、LUT
GおよびLUTBに基づき、画像バッファ4から取り出した画
像データを補正し（式(6)参照）、その結果を画像バッ
ファ4に上書きする。そして、ステップS33で、全画素の
処理が終了したか否かを調べ、未了であればステップS3
1へ戻る。

【００５０】なお、本実施形態では、ルックアップテー
ブルの作成および画像補正の処理の高速化を図るため
に、色成分ごとにルックアップテーブルを用意する。

【００５１】このように、本実施形態の画像補正によれ
ば、ハイライト領域におけるRGB値それぞれの平均値
と、ハイライト領域の輝度の平均値との差を色かぶり量
として、その色かぶり量ごとにホワイトバランスの補正
量を設定し、該当する補正量に基づき色かぶり量を補正
することで、僅かな色かぶり量の違いで補正量が大幅に
変化することを防ぐことができる。従って、細かな色か
ぶり量の補正を可能にし、画像ごとに最適なホワイトバ
ランス補正およびコントラスト補正を行うことができ
る。

【００５２】なお、上記では、輝度データが8ビット（0
から255）の例を説明したが、8ビットに限らない。さら
に、輝度のみならず、網点濃度などでもよい。

【００５３】ステップS12では、輝度値LをR:G:B=3:6:1
の加重平均で計算する例を示したが、これ以外の重み付
けを行ってもよいし、RGBの最大値と最小値との平均値
（中間値）でもよい。

【００５４】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ、インタフェイス機器、リーダ、プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機、ファクシミリ
装置など）に適用してもよい。

【００５５】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００５６】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００５７】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードが格納されることになる。

【００５８】

【発明の効果】以上説明したように、本発明によれば、
色補正に関する補正量の細かな設定を可能にすることが
できる。

【図面の簡単な説明】

【図１】実施形態の画像処理装置の主要構成を示すブロ
ック図、

【図２】実施形態の画像補正処理例を示すフローチャー
ト、

【図３】ヒストグラム作成部の処理を示すフローチャー
ト、

【図４】作成されるヒストグラムHistLの例を示す図、

【図５】ルックアップテーブル作成部の処理を示すフロ
ーチャート、

【図６】ホワイトバランスの修正方法を示すフローチャ
ート、

【図７】ホワイトバランス情報保持部に格納されたデー
タを説明する図、

【図８】ホワイトバランス情報保持部7に格納されたデ
ータのΔR+ΔG+ΔB=0面の切断面を示す図、

【図９】ホワイトバランスの修正（色かぶり量の補正）
例を示す図、

【図１０】作成されるルックアップテーブルの例を示す
図、

【図１１】画像補正部の処理を示すフローチャートであ
る。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/48 Ｈ０４Ｎ 1/46 Ａ ５Ｃ０７７ ５Ｃ０７９ Ｆターム(参考） 2C087 AA03 AA15 AA16 AB05 BA03 BA07 BB10 BB20 BD36 2C187 AD03 2C262 AA24 AA26 AA27 AB17 AC08 BA09 BA16 BC01 BC09 EA04 EA06 EA08 GA19 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC02 CE17 CH07 CH18 DA08 DA17 DB02 DB06 DB09 DC23 5C066 CA09 EA00 EA14 EC05 GA01 KD07 KE05 KE07 KP02 5C077 LL19 MP08 PP32 PP34 PP37 PP43 PP46 PP47 PP52 PP53 PP65 PQ08 PQ19 PQ22 PQ23 TT09 5C079 HB01 HB04 LA05 LA23 LA31 LB01 MA02 MA04 MA11 NA01

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像データの輝度分布から各色成分のシ
   ャドウおよびハイライトポイント、並びに、ハイライト
   領域における色かぶり量を取得する取得手段と、 色かぶり量に対応する修正量が格納されたメモリと、 取得された色かぶり量に対応する修正量を前記メモリか
   ら読み出して、その修正量に基づき、前記各色成分のハ
   イライトポイントを修正する修正手段と、 前記シャドウポイントおよび修正されたハイライトポイ
   ントに基づき、前記画像データの輝度補正用のルックア
   ップテーブルを生成する生成手段と、 生成されたルックアップテーブルを用いて前記画像デー
   タを補正する補正手段とを有することを特徴とする画像
   処理装置。
2. 【請求項２】 前記色かぶり量は、前記ハイライト領域
   における各色成分それぞれの平均値と、前記ハイライト
   領域の輝度の平均値との差分であることを特徴とする請
   求項1に記載された画像処理装置。
3. 【請求項３】 前記修正量は、前記色かぶり量の変化に
   対して滑らかに変化することを特徴とする請求項1また
   は請求項2に記載された画像処理装置。
4. 【請求項４】 前記各色成分のシャドウポイントは、そ
   の色成分の最小値超の所定の領域から選択され、前記各
   色成分のハイライトポイントは、その色成分の最大値未
   満の所定の領域から選択されることを特徴とする請求項
   1から請求項3の何れかに記載された画像処理装置。
5. 【請求項５】 画像データの輝度分布から各色成分の最
   小および最大値、並びに、ハイライト領域における色か
   ぶり量を取得し、 色かぶり量に対応する修正量が格納されたメモリから、
   取得された色かぶり量に対応する修正量を読み出し、 読み出した修正量に基づき、前記各色成分の最大値を修
   正し、 前記最小値および修正された最大値に基づき、前記画像
   データの輝度補正用のルックアップテーブルを生成し、 生成されたルックアップテーブルを用いて前記画像デー
   タを補正することを特徴とする画像処理方法。
6. 【請求項６】 前記色かぶり量は、前記ハイライト領域
   における各色成分それぞれの平均値と、前記ハイライト
   領域の輝度の平均値との差分であることを特徴とする請
   求項5に記載された画像処理方法。
7. 【請求項７】 前記修正量は、前記色かぶり量の変化に
   対して滑らかに変化することを特徴とする請求項5また
   は請求項6に記載された画像処理方法。
8. 【請求項８】 前記各色成分のシャドウポイントは、そ
   の色成分の最小値超の所定の領域から選択され、前記各
   色成分のハイライトポイントは、その色成分の最大値未
   満の所定の領域から選択されることを特徴とする請求項
   5から請求項7の何れかに記載された画像処理方法。
9. 【請求項９】 コンピュータ装置を制御して、請求項5
   から請求項8の何れかに記載された画像処理を実行する
   ことを特徴とするプログラム。
10. 【請求項１０】 請求項9に記載された画像処理のプロ
    グラムが記録されたことを特徴とする記録媒体。