JP2010278708A - 画像処理装置及び方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】画像に対して、画像全体の均一的な補正と、画像内の空間的な位置に応じて補正量が変化する局所的な補正を、同時に効率よく行いたい。
【解決手段】本発明は、入力画像から複数の特徴量を算出する手段と、該特徴量に基づいて第１の多次元ルックアップテーブルを算出する手段と、入力画像から特定オブジェクトの属性情報を算出する手段と、該属性情報に基づいて第２の多次元ルックアップテーブルを算出する手段と、入力画像から制御用パラメータを生成する手段と、入力画像に対して前記第１および第２の多次元ルックアップテーブルを適用する補間手段を複数を備える。
【選択図】図１

Description

本発明は、入力された画像の明るさを補正する画像処理装置および方法に関する。

従来より、デジタルカメラで撮影された写真画像データに対して様々な補正を行い、好適な写真画像を表示・プリントする方法が、様々提案されている。このような画像補正方法は、大別すると、画像全体に均一的な補正を行う均一補正と、画像の局所的な性質に応じて補正量が変化する局所的補正の二つに分けて考えることができる。

前者の均一補正の例を挙げると、特許文献１に示されているようなカラーバランス補正がある。特許文献１では、画像の輝度ヒストグラムを算出し、累積度数に応じて画像中のハイライト・シャドーポイントを算出する。ハイライト・シャドーポイントの色差成分が0であれば、該画像データのカラーバランスは適正と判断する。一方で、色差成分が0ではない場合、カラーバランスが崩れていると判断し、輝度・色差空間において、ハイライト・シャドーポイントの色差を0とするような回転行列を画像に対して一律に処理する。

一方、後者の局所的補正については、覆い焼きに代表されるような、画像の空間的な位置に応じて補正量が変化する種類の画像処理が挙げられる。覆い焼き処理とは、例えば、人物などの被写体が暗く、背景が明るい場合に、暗い人物領域の輝度は大きく上昇させ、明るい背景領域の輝度はさほど変化させないことにより、背景の白トビを抑えて人物領域の明るさを適正に補正するというものである。このような覆い焼き処理としては、従来より、特許文献２や特許文献３が提案されている。両者とも、入力画像に対してフィルタ処理を施して低周波画像、すなわちボケ画像を生成し、該ボケ画像を空間的な明るさの制御因子として用いることで、デジタル処理における覆い焼き処理を実現している。

特開2000-013616 特開2001-298619 特許登録第3233114号

近年では、プリンタの機能が豊富になり、プリント以外にもコピー機能やメモリカードから写真データを直接プリントする機能も標準搭載されている。また近年プリント速度も目覚しい進歩を遂げており、今後も継続的に進化を要求されている。一方で、プリンタが搭載しているハードウェアリソースは、近年のパーソナルコンピュータほど潤沢なものではなく、CPU速度やRAM容量、さらにはRAMのアクセス速度などは限定的な能力であることが一般的である。さらにプリンタ本体のコストダウン要求も厳しく、可能な限り低リソースで動作する画像処理が望まれている。すなわち、プリンタ本体のハードウェア性能はその能力を維持またはダウンさせつつ、プリント速度等の性能向上が望まれるという相矛盾した状況となっている。

このような現状において、高速に画像処理を実行するための有効な手段として提案されているのが、３次元ルックアップテーブル（以下、3DLUT）を用いた画像処理である。以下では、3DLUT方式を用いた画像処理の有効性について説明する。

例えば、入力画像に対して、特許文献１のようなカラーバランス補正と、輝度階調補正と、彩度補正を同時に行う場合を考える。これらの処理を、画像全体の各画素全てに施した場合と、補正後のRGB 3DLUTを構成し、補間演算によって画像全体の画素を補正した場合とで演算量を比較する。

まず、前者の画像全体の各画素に対して処理を行う場合について考える。入力画像の各画素値がRGBで表現されている場合、例えば輝度色差空間であるYCbCr値に変換する。この処理には、9回の乗算を必要とする。該YCbCr値に対して特許文献１に記載されているような補正用の3次元回転行列を施し、カラーバランス補正後のY'Cb'Cr'値を得る。この処理には、９回の乗算を必要とする。次に、Y'値に対して所定の階調補正を行い、Y''値を得る。さらに、Cb'Cr'値に対して彩度強調係数を乗じ、Cb''Cr''値を得る。この処理には２回の乗算を必要とする。最後に、補正後のY''Cb''Cr''値を公知の公式によってR''G''B''値に変換する処理をおこなう。この処理には９回の乗算が必要である。従って、この一連の処理には、合計で29回の乗算が必要となる。この処理を各画素に繰り返すと、例えば、3000×2000画素の画像の場合、17400万回の乗算が必要となる。

一方、3DLUTを用いた場合について説明する。良く知られているように、3DLUTを用いた方式では、3DLUTを所定間隔の格子状に分割し、各格子点に対して補正後のRGB値を算出し、格納しておく。ここでは、例えば、グリッド間隔を32とし、9^3=729点の格子点が存在すると仮定する。このとき、各格子点のRGB値に対して上記処理を行うと、29×729回の乗算が必要となる。このようにして生成した3DLUTを、各画素に対して公知の補間演算により適用する。例えば四面体補間を用いる場合、１画素あたり５回の乗算で、補正後のRGB値を得ることができる。すなわち、3DLUTによる画像全体の乗算回数は、次式で表される。
乗算回数＝29×729+（3000×4000）×5≒6002万回

両者の総乗算回数を比較すると、前者に比べ後者の演算回数は1/3程度であり、3DLUT方式が極めて有効であることがわかる。

一方で、プロのカメラマンではない一般のアマチュアカメラマンが撮影した写真画像には、例えば色かぶりした逆光写真など、複数の失敗要因を含んだ画像が数多く存在する。このような画像には、カラーバランス補正によって色かぶりを除去した後、背景はそのままで、暗くなった被写体領域のみ、輝度成分を上昇させるといった、非常に複雑な補正処理を施す必要が生じる。

このような、覆い焼き補正に代表される局所的な補正と上記カラーバランス補正のような画像均一の補正を同時に行うことを考えた場合、上記のような１つの３ＤＬＵＴのみで制御することが、非常に困難であるという問題がある。

上述したように3DLUTは補間演算によって適用されるため、例えば補間後の画素値から明るさ成分のみを抽出し、該成分を局所的に制御することも考えられなくはないが、処理が複雑になり、実現するために必要な演算規模や回路規模が大きくなってしまう。

本発明は上記課題を鑑みたもので、ハードリソース（例えばCPU、RAM）が高性能ではないシステムにおいて、画像均一の補正（例えばカラーバランス補正）と局所的な補正（例えば覆い焼き処理）を、低演算量低メモリで実現することを目的とする。

上記課題を解決するために、本発明の画像処理装置は以下の手段を備える。すなわち、
入力画像から複数の特徴量を算出する手段と、
該特徴量に基づいて第１の多次元ルックアップテーブルを算出する手段と、
入力画像から特定オブジェクトの属性情報を算出する手段と、
該属性情報に基づいて第２の多次元ルックアップテーブルを算出する手段と、
入力画像から制御用パラメータを生成する手段と、
入力画像に対して前記第１および第２の多次元ルックアップテーブルを適用する補間手段と、
前記第２の多次元ルックアップテーブルの補間強度を、前記制御用パラメータで制御する制御手段である。
他の発明は、上記画像処理装置における画像処理方法、及び該方法を実行するためのプログラムを記憶した記憶媒体に関するものである。

本発明は、複数の補間部を直列接続し、一方の補間部で画像全体に対して均一な補正処理を行い、他方の補間部でその補間強度を制御パラメータで制御する。これにより、極めて簡単な構成で、従来の課題であった、均一補正と局所補正を同時に行う処理を実現させることができる。

本発明の第１の実施例におけるブロック図 本発明が実施可能なハードウェア構成例 本発明における画像解析部のフローチャート 輝度ヒストグラムの説明図 露出適正度判定処理の例を示したフローチャート 第１の3DLUT生成処理のフローチャート 被写体属性情報更新処理のフローチャート 制御パラメータ生成処理のフローチャート 第２の3DLUT生成処理のフローチャート 被写体を適正化するためのトーンカーブの説明図 第２の3DLUT生成処理のフローチャート 強度調整補間部における処理のフローチャート 本発明の効果を説明するための図 本発明の第２の実施例における処理のブロック図 第２の実施例におけるトーンカーブ修正処理のフローチャート 修正後のトーンカーブを説明するための図 第３の実施例における処理のブロック図

［実施例］
（第1の実施例）
以下に、本発明における好適な第1の実施例について説明する。なお、以下の記載はプリンタ本体内部の画像処理部を想定して説明を行うが、これはあくまで実施の１つの形態を例として示したものであり、本発明は以下の実施に限定されるものではない。

（ハードウェアの説明）
図2は、本実施例の画像処理方法が実行可能なハードウェア200の構成例を示している。201はCPU、202はRAM、203は各種制御プログラム・テーブルが格納されているROM、204は2次記憶装置（例えばハードディスク）である。205はユーザーインターフェース（例えばボタン、表示装置）である。206は外部インターフェース（例えばUSB（商標）、メモリカードリーダー）であり、該インターフェース（以下「IF206」と記す）を介して、メモリカード209から画像データを読み込んだり、パーソナルコンピュータ210に接続される。207は原稿読取装置（例えばスキャナ）、208はプリントエンジンである。

（処理のブロック図）
図1は、本実施例における処理のブロック図を示している。図１はハードウェア200におけるブロック図である。同図を見るとわかるように、本実施例においては、入力画像を２つの補間部107,108を直列に接続した構成により補正する。後に詳細は説明するが、後段の補間部108は、その補間強度を制御パラメータにて制御することが可能である。

ユーザーより、例えばプリンタにおける印刷処理などの指示がIF206を介して入力された場合、まず101において、該IFに接続されたメモリカードや、画像読取装置207から、処理対象となる画像データを読み込む。次に、画像解析部102において、画像の解析処理を行なって、画像データから特徴量を算出する。本実施例における画像解析部では、人物の顔領域を公知の顔検出技術を用いて検出し、該顔領域の属性値（平均輝度、色差成分等）を算出して顔領域が露出不足か否か判定する。さらに、画像全体のヒストグラムを算出し、その結果を解析して、画像のカラーバランスの適正度合いも判定する。上記解析結果は、第１の多次元LUT生成部104（第１の多次元ルックアップテーブル生成手段）に入力され、画像全体のカラーバランスを補正するための第１の3DLUT（第１の多次元ルックアップテーブル、ここでは３次元ルックアップテーブル）を生成する。

次に、被写体属性更新部105において、画像解析部102で解析した被写体（特定オブジェクト）の属性情報（例えば、被写体の顔の平均輝度値）と該第１の3DLUTを用いて、被写体属性情報の更新を行う。具体的には、被写体属性情報に対して第１の3DLUTを公知の補間方法によって適用し、第１の3DLUTによる補正後の属性情報を算出する。

該更新された属性情報は、第２の多次元LUT生成部106（第２の多次元ルックアップテーブル生成手段）に入力される。第２の多次元LUT生成部106において、被写体を適正化することに特化した第２の3DLUT（第２の多次元ルックアップテーブル、ここでは３次元ルックアップテーブル）を生成する。該第２の3DLUTは、同部に入力された更新後の被写体属性情報を基に生成する。

補正処理前の最後の準備として、制御パラメータ生成部103（制御パラメータ生成手段）において、強度調整補間部108において補間強度を制御するためのパラメータを生成する。具体的には、入力画像に対してフィルタリング処理によりボケ画像を生成し、生成したボケ画像を制御パラメータ113として、強度調整補間部108入力する。

以上で、２つの3DLUTおよび制御パラメータの生成が終了する。

以降では、補正処理に関する処理の流れを説明する。画像読み込み部101で読み込んだ画像データは、各画素毎に補間部107に入力され、同部において公知の補間方法によって、前記第１の3DLUTを適用する。適用後の画素値は補間部108に入力され、同部において公知の補間方法によって、前記第２の3DLUTを適用する。このとき、前記制御パラメータに応じて、画像の局所領域毎に、第２の3DLUTの補間強度を制御する。以上の処理で補正が完了した画像データは、色変換部109においてCMYKインク色に変換され、擬似階調処理部110において、誤差拡散やディザ等の擬似階調処理が施され、その後プリントエンジン部111において、印字媒体上に画像として形成される。

以上が、本実施例における処理のブロック図の説明である。

以下では、各ブロック内の詳細な処理に関して、フローチャートを参照しながら説明を行う。

（画像読み込み部）
画像読み込み部101では、処理対象画像データの読み込みを行う。読み込みは、IF206を介して接続されているメモリカード内に含まれている画像データを読み込んだり、読み取り装置207によって原稿を光学的にスキャンして得られたデータを読み込むことで実現できる。読み込んだ画像データは、その色空間が、例えばsRGB空間であるのか、あるいはadobe RGB（米アドビ社の登録商標）空間であるのか、さらにはその他の色空間であるかを識別するためのフラグ情報と共に、次段の処理に送られる。

（画像解析部）
図3は、画像解析部102で実行されるフローチャートを示している。この処理を実行するプログラムは、実行時に二次記憶装置204からRAM202にロードされ、CPU201の制御の下に実行される。
まずS301において、入力画像のリサイズを行う。以降のヒストグラム算出や顔検出処理は、例えば入力画像が4000×3000画素の場合、全ての画素に対して処理を行うと膨大な処理量が必要となる。上記顔検出処理やヒストグラム算出処理は、画像の特徴を捉えるだけの解像度に縮小し、該縮小画像に対して処理を行うことで、全体の処理量を低減することができる。縮小解像度は特に規定しないが、例えば、VGAサイズ（640×480画素相当）に縮小すると効果的である。

次に、該縮小画像に対して、色変換処理を行う。これは、以降の解析処理において、共通の色空間で処理を行う方が、露出適正度判定部などにおけるパラメータ設計が容易になるからである。本実施例においては、共通色空間をsRGB空間とし、その他の色空間が入力された場合には、S302において公知の変換手段を用いてsRGB空間に変換する。

次に、S303において、画像全体のヒストグラム算出を行う。ヒストグラム算出はどのような方法を用いてもよいが、ここでは、各画素のsRGB値を輝度色差空間（例えば、YCbCr空間）に変換し、各成分毎にヒストグラムを算出するものとする。入力画像が全体的に露出不足の状態で撮影された場合、輝度成分ヒストグラム（8bit精度とする）は図4に示すように、暗部に偏った分布となる。

次に、S304において、画像中から所望の被写体を検出する。本実施例において被写体は特に限定するものではないが、ここでは人物の顔を例に挙げて説明する。人物顔の検出に関しては、これまで様々な手法が提案されており、本実施例においてはそのいずれを用いても構わない。

次に、S305において、上述したヒストグラム情報、および顔検出情報を用いて、画像撮影時の露出の適正度判定を行う。図5は本実施例における簡単な適正度判定の例を示している。S501において、顔が検出できたか否かの判定を行う。顔が検出できていれば、S502において顔領域内の輝度色差成分の平均値（ObjY,ObjCb, ObjCr）を算出し、そのうち平均輝度ObjYを、予め定められた露出の適正度合いを決定するための閾値と比較する。比較の結果、顔領域内の平均輝度値が閾値を上回っていれば、適正露出と判断し、下回っていれば、露出不足と判断する。顔が検出できなかった場合、S503において、該ヒストグラムから算出した画像全体の平均輝度値を予め定められた閾値と比較し、閾値を上回っていれば適正露出と判断し、下回っていれば、露出不足と判断する。ここで算出した顔領域内部の平均（ObjY、ObjCb, ObjCr）値や検出した顔領域の画像上での座標位置等は、被写体領域の属性情報として、以降の処理で利用される。

次に、S306において、カラーバランスの適正度判定を行う。カラーバランスの適正度判定に関しては様々な手法が提案されており、本実施例の中ではどのような手法を用いても構わない。ここでは例として、特許文献１に記載されているような方法によって、カラーバランスの適正度合いを判定すると共に、カラーバランス補正のための回転行列を生成する例を説明する。

特許文献１によれば、カラーバランスの適正度合いは画像中のハイライト・シャドーポイントの色差成分によって判定できるとしている。ハイライト・シャドーポイントとは、図4で示した輝度ヒストグラムに対して輝度の低いほうから度数を積算した累積度数分布を算出し、該累積度数が99%のポイントをハイライトポイント、1%のポイントをシャドーポイントと定義している。ハイライト・シャドーポイントと決定された輝度値に該当する画素のみを対象として色差の平均値を算出し、色差が0に近ければカラーバランスは適正、0から遠ざかるほどカラーバランスが不適正であると判定する。不適正と判定された場合には、輝度色差空間において、ハイライト・シャドーポイントの色差を0に近づけるような3×3の回転行列を生成し、該回転行列を対象画素値の輝度色差成分に乗じることで、カラーバランスの補正が可能となる。なお、該回転行列の生成に関する詳細説明は、上記文献に開示されているため、ここでの詳細説明は割愛する。
以上が、本実施例における画像解析部102の説明である。

（第１の多次元LUT生成部）
図6は、第１の多次元LUT生成部104で実行されるフローチャートを示している。この処理を実行するプログラムは、実行時に二次記憶装置204からRAM202にロードされ、CPU201の制御の下に実行される。本実施例においては、生成するのはRGB各成分が8bit精度の3DLUTであり、格子点間隔は32とする。この場合、全体の格子点数は、9×9×9=729点となる。これら全ての格子点に関して、図6に示した処理を行う。

まず、S601において、カラーバランス補正用回転行列MTX[3][3]を生成する。生成方法は上述した特許文献1に記載されているため、ここでの詳細説明は割愛する。もし、S306におけるカラーバランス適正度判定の結果が、適正であると判定されたなら、MTX[3][3]は以下のような単位行列とする。

次にS602において、注目格子点のRGB値を公知の変換式により、YCbCr成分に変換する。さらに、S603において、該YCbCr値に対して、次式によりMTXを適用し、カラーバランス補正後のY'Cb'Cr'値を算出する。なお、m00〜m22は、S601で生成した回転行列の各要素値を示している。

S604において、算出したY'Cb'Cr'値に対して、公知の変換式によりR'G'B'値に変換し、補正後の格子点として3DLUTに格納し、RAM202に記憶されることになる。
以上説明したS602〜S604の処理を729点全ての格子点に対して処理することで、第１の3DLUTを生成する（第一の生成）ことができる。

（被写体属性更新部）
被写体属性更新部105は、後述する第２の3DLUTを生成するための準備として、画像解析部102で求めた被写体の属性情報112を更新する。属性情報の更新処理は、図7に示したフローで行われる。属性情報更新部105に入力された被写体の属性情報112（例えば、顔領域内部の平均輝度と平均色差）（ObjY、ObjCb、ObjCr）は、S701において公知の変換式により、RGB値に変換される。S702において、該RGB値に対して、公知の補間方法、ここでは例として四面体補間方法を用いて、前記第１の3DLUTを適用し、その結果、第1の3DLUT適用後のR'G'B'値を得る。さらにS703において、該R'G'B'値を公知の変換式により、ObjY'、ObjCb'、ObjCr'値に変換する（第一の補正）。該ObjY'、ObjCb'、ObjCr'値が更新された属性情報として、次段の処理である第２の多次元LUT生成部106に入力される。

（制御パラメータ生成部）
次に、制御パラメータ生成部103が実行するフローチャートについて説明する。この処理を実行するプログラムは、実行時に二次記憶装置204からRAM202にロードされ、CPU201の制御の下に実行される。制御パラメータは、上述したように、強度調整補間部108の補間強度を制御するためのパラメータである。本実施例では、覆い焼き処理を想定しているため、ここでは制御パラメータとして、入力画像に対する低周波画像、すなわちボケ画像を生成する。

図８は、制御パラメータ生成部103が実行するフローチャートである。本実施例においては、低周波画像生成方法については特に限定するものではないが、ここでは例として、入力画像を一度縮小して、縮小画像に対してフィルタリング処理を行い、その後元の解像度に戻す処理について説明する。一般的にフィルタリング処理は大量の演算を必要とするため、縮小画像に対して処理することで、その演算コストを低減することができる。

S801において、入力画像RGB画像に対して、低解像度画像にリサイズする。リサイズ方法は特に限定しないが、処理速度が優先される場合には、最近隣による間引き処理が有効である。

その後、S802において、リサイズ後のRGB画像データを、公知の変換式により輝度画像に変換する。輝度画像は、各画素あたり輝度情報しか保持しない画像のことであり、モノクロ画像となる。

その後、S803において、該輝度画像に対して、公知のフィルタリング処理（平滑化フィルタリング処理）により低周波画像を生成する。フィルタリング処理の方法は特に限定しないが、最も簡単な例は、次式のような平滑化フィルタを、縮小画像中の各画素に施すことが考えられる。

S804において、得られた低周波画像は元の解像度に拡大する。このとき、最近隣補間を用いて拡大処理を行うと、リサイズ後の画像に高周波成分が発生してしまうので、線形補間による拡大処理が望ましい。

従来開示されている覆い焼き方法においては、色成分も含んだ低周波画像を生成する例についてのみ言及しているが、本実施例は、上記説明したように低周波画像は輝度成分のみ保持するため、保持に必要なメモリ量が少ないという利点が存在する。

（第２の多次元LUT生成部）
図9および図11は、第２の多次元LUT生成部106が実行するフローチャートを示している。
まずS901において、該露出適正度判定の結果に応じて、輝度補正用のトーンカーブTc[256]を生成する。なお、Tc[256]は8bit精度の配列を意味しており、補正前の輝度値に対する補正後の輝度値が格納されている1次元ルックアップテーブルである。

図10に、本実施例において被写体領域が露出不足と判定された場合のトーンカーブの生成例を示す。同図において、横軸は補正前の輝度、縦軸は補正後の輝度を示している。同図において、ObjY'は被写体属性更新部105において更新された顔領域内平均輝度を示し、TarYが予め設定されている顔領域の目標輝度値を意味する。トーンカーブTc[256]は、点（ObjY', TarY）を通るような曲線として形成する。本実施例においては、曲線の形成方法については特に限定するものではない。例えば同図のように必ずしも原点（0,0）や白点（255,255）に結ぶ必要もないし、曲線である必要もなく、場合によっては数本の直線によって同様のトーンカーブを形成したとしても構わない。もし、被写体領域が露出不足ではないと判定された場合には、該トーンカーブは、補正前輝度値と補正後輝度値が一致するような直線としてもよい。

被写体補正用トーンカーブが生成されると、次に、S902において、被写体補正用の第２の3DLUTを生成する。図11は、S902の詳細なフローを表している。

図11において、まずS1101で、3DLUTの注目格子点のRGB値を公知の変換式により、YCbCr値に変換する。次にS1102において、輝度値Yに対して、以下のようにステップS901で算出したトーンカーブTcを適用し、Y'値を算出する。
Y' = Tc[Y]

次に、S1103で、輝度上昇量に応じた彩度補正を行う。一般的に、輝度色差空間において、輝度のみ上昇させると、その結果得られた画像は彩度が低下した見栄えの良くない画像となってしまう。本実施例においてはこの問題を解決するため、以下の式で表される彩度強調係数Eを算出する。
E = (Y'/Y)×α＋β ただし、E は必ず1.0以上

上式において、α、βは任意の係数であり、例としてα=0.4、β=0.6とする。上式は、輝度上昇率（Y'/Y）が1.0に場合には、E=1.0となり、輝度上昇率（Y'/Y）が2.0の場合には、E=1.4となるような式である。Eは必ず1.0以上として、彩度低下は生じないものとする。

S1103では、以下の式により、注目格子点の彩度補正を行う。
Cb' = Cb × E
Cr' = Cr × E
上記処理により算出された補正後のY'Cb'Cr'値は、S1105において公知の変換式によりR'G'B'に変換され、第2の3DLUTに格納される。

上記S1101〜S1104を全ての格子点に対して処理することにより、第2の3DLUTを生成する（第二の生成）ことができる。

（補間部）
入力画像は補間部107に入力され、同部において、公知の補間方法により上記第1の3DLUTが適用される。補間部107では、入力画像の色みが補正される（第二の補正）。本発明においては、補間方法については特に限定するものではなく、公知の四面体補間や、三角柱補間、立方体補間などどのような補間方法を用いても構わない。それぞれの補間方法については、公知文献に数多く記載されているため、ここでの詳細説明は割愛する。

上記補間処理によって、第1の3DLUTが施された画像データ（R',G',B'）が次段の強度調整補間部108に入力される。

（強度調整補間部）
強度調整補間部108において、該画像データ（R',G',B'）に対して、制御パラメータ113を参照しながら、上記第2の3DLUTを適用してゆく。強度調整補間部108においても、特にその方法を限定するものではなく、公知の補間方法であれば、そのいずれを用いても構わない。

ここでは、強度調整補間部108の強度調整方法について説明する。図12は、強度調整補間部108の処理のフローを表している。

まず、S1201において、入力画像中の注目画素位置（x,y）に格納されている画素値（R',G',B'）に対して、公知の補間方法により第2の3DLUTを適用し、適用後の値（TempR, TempG, TempB）を得る。

次に、S1202において、補間部108に入力された制御パラメータ1206、すなわち低周波輝度画像を参照し、注目画素位置（x,y）に対応する制御パラメータ値、すなわち輝度値BY（x,y）を取得（抽出）する。

次に、S1203において、次式により、補間強度制御後の画素値（R''、G''、B''）を得る（第三の補正）。
R'' = ( TempR - R' )×（1.0 - BY（x,y）/ 255）+ R'
G'' = ( TempG - G' )×（1.0 - BY（x,y）/ 255）+ G'
B'' = ( TempB - B' )×（1.0 - BY（x,y）/ 255）+ B'

上式において、BY（x,y）は0〜255の値を持つと想定しているため、BY(x,y)/255は、0.0〜1.0の値を持つことになる。上式を参照するとわかるように、注目画素が暗い領域に含まれる場合には、BY(x,y)が0に近い値となり、その場合、R''=TempRとなって、第2の3DLUTが最大強度で適用されることにある。一方で、注目画素が明るい領域に含まれる場合には、BY(x,y)が255に近い値となり、その場合、R''=R'となり、第2の3DLUTがほとんど適用されないことになる。

上記のような構成を用いることで、第2の3DLUTの適用強度を制御パラメータ113で制御することが可能となり、画像中の局所的な補正量制御が実現できる。

（以降の処理）
上記補正処理後画像データ（R'',G'',B''）は、色変換部109においてインク色であるCMYK成分に変換され、誤差拡散、ディザ等の擬似階調処理110を経て、プリントエンジン部111で印字媒体上に画像として形成される。

（効果）
以上説明したように、本発明の第１の実施例によれば、複数の補間部を直列接続し、一方の補間部（補間部107）で画像全体に対して均一な補正処理を行い、他方の補間部（強度調整補間部108）でその補間強度を制御パラメータ113で制御する。このことにより、極めて簡単な構成で、従来の課題であった、均一補正と局所補正を同時に行う処理を実現させることができる。

また、本実施例では、様々な種類の補正処理をあくまで複数の3DLUTを用いて行うことから、課題のところで述べたような、3DLUT方式の利点を最大限利用することができる。

また、本実施例では、画像全体を均一補正することに特化した第1の3DLUTを生成し、該第1の3DLUTを用いて被写体の属性情報（例えば、顔の輝度値）を更新する。そして、該更新された被写体情報を元に、今度は被写体を適正化することに特化した第2の3DLUTを生成する。このような構成にすることで、双方の3DLUTの独立性が高くなるため、両者の補正パラメータの設定が、極めて容易に行えるという利点がある。

また、上述したように、本実施例においては、制御用パラメータ、すなわち低周波画像は、色成分を保持しない構成となっているため、色成分も保持する従来例と比して、制御用パラメータを保持するためのメモリが少ないという利点も存在する。

また、本実施例においては、第1の3DLUTは、画像全体のカラーバランス補正のみを取り上げて説明したが、本実施例はこれに限定されるものではない。例えば、第1の3DLUTでは、画像全体が露出不足の場合、レベル補正処理を組み込み、カラーバランスと全体の明るさを明るくした後、さらに被写体の明るさを適正化するような第2の3DLUTを生成することも考えられる。

このように、画像全体が露出不足で被写体の顔も暗い場合、従来のように１つの3DLUTのみで、被写体の明るさを適正化しようとすると問題が発生する場合がある。すなわち、図13に示したように、輝度補正トーンカーブの暗部側の傾きが急峻になりすぎて、暗部でトーンジャンプ等の画像不具合が発生する場合がある。また、トーンカーブ中間調のコントラストの傾きを一定以上保とうとすると、1302に示したように、白トビ領域が拡大するという不具合もある。この点、本実施例で示したような複数の3DLUTで分担して輝度補正を行えば、上記不具合が発生しにくいという格別な利点が存在する。

以上が第１の実施例の説明であるが、本発明は上記実施例に限定されるものではない。例えば、3DLUTの格子点数は729点に限定されるものではなく、それ以上でも以下でも構わない。

また、LUTを簡単のため３次元に固定して説明を行ったが、例えばCMYK4成分に対して同様の処理を行うことも考えられ、この場合には４次元LUTを生成することになる。また、本実施例においては、簡単のため輝度色差空間をYcbCr空間に限定して説明したが、他の色空間、例えばCIE Labであってもよい。また、本実施例においては、簡単のため、補間部２個に限定して説明したが、必要に応じてさらに複数個の補間部を直列接続しても構わない。また、本実施例においては、該補間部はハードウェア200に搭載されているCPUによるソフト処理を前提に説明を行ったが、必要に応じて同部のみをハードウェア回路としたとしても、本発明の目的を達成することができる。また、本実施例においては、補間部に入出力される画像データは、画像一面分のフレームを想定していたが、例えば、補間部への入出力は画素単位でもよいし、所定数のラインをまとめたバンド単位でもよい。

（第２の実施例）
第１の実施例においては、第１の3DLUTを施した後の被写体属性情報（ObjY', ObjCb', ObjCr'）を用いて、顔の平均輝度値ObjY'が目標輝度値TarYに補正されるようなトーンカーブを用いて第２の3DLUTを生成した。

ただし、この3DLUTを用いて、第１の実施例に記載されたような強度調整補間部108で補正を行っても、顔の平均輝度値が正しく目標輝度値TarYにはならないという問題がある。

例えば、ObjY'=60、TarY=140であると仮定する。このとき強度調整補間部108において、第２の3DLUTが最大強度で適用されれば、顔領域は正しく目標輝度値Tar=140に変換されることになる。しかし、実際には第１の実施例で説明したように、強度調整補間部108は制御パラメータ113、すなわち低周波輝度画像（低解像度画像）でその適用強度を制御することになる。そのため、例えば、制御パラメータ113が示す低周波輝度画像（ボケ画像）における顔領域の平均輝度値が50だった場合、強度調整補間部108の制御式によれば、第２の3DLUTの適用強度は1.0-(50/255)=0.8となる。すなわちおよそ80%の適用強度となる。

すなわち、輝度値60だったObjY'は、124までしか補正されないことになる。

本実施例では本問題を鑑み、制御パラメータで第２の3DLUTの適用強度を制御した際においても、被写体の明るさを目標の明るさに適切に制御する画像処理装置について説明する。

図14は、本実施例における処理のブロック図を示している。第１の実施例と異なる点は、制御パラメータ生成部1408で生成した制御パラメータ1413が、第２の多次元LUT生成部1405に入力されている点である。

図15は、本実施例における第２の多次元LUT生成部1405が実行するフローチャートを示している。

S1501において、第１の実施例と同様に、被写体補正用のトーンカーブを生成する。

次に、S1502において、同部に入力された制御パラメータ、すなわち低周波輝度画像1506上において、被写体領域の平均輝度FBYを算出する。平均輝度は、被写体属性情報1505に含まれる画像上での被写体領域の座標位置を元に算出することができる。

次に、S1503において、該トーンカーブを、前記FBY値を用いて修正する。
この修正ステップを、図16を用いて説明する。

同図において、Tc[256]が、第１の実施例で説明した被写体補正用トーンカーブである。該トーンカーブ自身は更新後の被写体輝度値であるObjY'値を目標輝度値TarYに補正することが可能であるが、上述したように、制御パラメータとの関係により、最終的にはTarYに到達しない可能性が高い。

本実施例では、以下の式によりTarY'値を算出し、該TarY'値を経由するトーンカーブTc'[256]を用いて、第２の3DLUTを生成することとする。

上式より、

上式より、
Tc'[k] = Tc[k]×（TarY'/TarY） k= 0〜255

上式は、FBYが0であれば、TarY' = TarYであるし、FBYが128であれば、TarY'=2×TarY-ObjY'となることを示している。Tc'[k]は、Tc[k]に倍率（TarY'/TarY）を乗じることにより、図16に示すようなトーンカーブ1601を生成することができる。

上述した例について具体的に説明すると、ObjY'=60、TarY=140であり、かつFYB=51であったと仮定する。

この場合、TarY'=160となる。FYB=51の場合、第２の3DLUTの効き率は80%となるため、最終的な顔平均値は、(160-60)×0.8+60=140となり、当初の目標輝度値に到達することになる。

以降の処理は第１の実施例と同様のため、ここでの詳細な処理は割愛する。

以上説明したように、本実施例によれば、一度生成した被写体補正用トーンカーブを、制御用パラメータの被写体領域平均値を用いて修正することにより、最終的な出力を、画質目標として想定通りの結果とすることが可能となる。

なお本実施例においては、第１の実施例を踏襲し、被写体補正用トーンカーブTc[256]を算出した後、同カーブを修正する方法について説明したが、本発明はこれに限定されるものではない。例えば、Tcを算出する際に、予めTarY'を算出し、点（ObjY', TarY'）を通過するトーンカーブを生成し、該トーンカーブをTcとしてもよい。

（第３の実施例）
第１の実施例では、簡単のために２つの補間部に入力される２つの3DLUTは、同じ729格子点で、かつRGB各成分が8bit精度の3DLUTを想定して説明を行ったが、本発明はこれに限定されるものではない。

例えば、それぞれの3DLUTが担う補正の種類・性格によっては、それぞれの格子点数やビット精度が異なっていた方が、全体システムとして効率的に動作する場合がある。本実施例では、このことについて説明する。

図17は、本実施例における処理のブロック図を示している。第１の実施例と異なる点は、1701において生成する3DLUTが各成分8bit、格子点数729点であり、1702において生成する3DLUTが各成分10bit、格子点数4096点となっている。この理由について以下に説明する。

上述したように、第１の3DLUTは画像全体を適正化することに特化するという性格を持っているため、一般的にRGB色空間の中で非線形な挙動を起こす可能性は低くなる。例えば、第１の実施例で説明したような回転行列を用いた色かぶり補正も線形変換であるし、レベル補正や彩度強調についても、極端な非線形性を保持するものではない。このような変換を行う際に用いる3DLUTは、その格子点数やビット精度が少なかったとしても、補間後の画素値は、目標値に対して十分な精度を保つことができる。

一方で、第２の3DLUTは、画像全体ではなく、被写体を適正化することに特化するという性格を持っているため、例えば階調補正のためのトーンカーブが急峻であるため、暗部側においてトーンジャンプなどの画像弊害を発生することが考えられる。そのためには、例えば第２の3DLUTの各RGB成分値を8bitではなく10bitで保持することにより、より階調性を高めることができ、上記画像弊害を起こりにくくすることができる。また、被写体が人物である場合、例えば肌色領域のみを所望の彩度に修正するといった非線形処理が要求される場合がある。この際に、本実施例のように第２の3DLUTの格子点数を、729点よりも多い4096点用意して、各格子点間の距離を短くすることで、該非線形処理に対しても精度の高い補正処理を行うことができる。

その他の処理は第１の実施例と同様であるため、ここでの詳細な説明は割愛する。

以上説明したように、本実施例によれば、複数の多次元LUTを保持する画像処理装置において、それぞれのLUTが担う処理の内容に応じて、多次元LUTの格子点数やビット精度を相異なるものとする。これにより、例えばLUT保持のために使用する全体のRAM容量を削減することが可能となる。例えば、RGB各成分16bitで格子点数4096のLUTを２個保持する場合には、48KBのRAMが必要となる。一方で、１つはRGB成分各8bitで格子点数729のLUTとすることにより、LUTを保持するRAM容量は26KBとなり、上記に対して約46%の削減となる。

また、補間部1701,1702をハードウェア回路として実装する場合においても、双方16bit精度の補間処理を実装するより、一方を8bit精度とすることで、補間回路全体の規模を縮小させ、かつ同等の出力結果が得られるという効果も存在する。

なお、本実施例においては、簡単のため、補間回路は２つで、双方の格子点数、ビット精度を限定して説明したが、本発明はこれに限定されるものではない。補間回路の数、格子点数、ビット数がいかなる組み合わせであったとしても、本発明の効果を実現できるものであれば、本発明の範疇に含まれる。

以上が第３の実施例の説明である。

（その他の実施例）
以上の実施例では、簡単のためRGB成分を保持する3DLUTを例に説明を行ったが、本発明はこれに限定されるものではない。例えば、輝度色差成分であるYCbCr値の3DLUTで構成することも可能であるし、インク色成分であるCMYK４次元ＬＵＴでも同様に構成することは可能であり、さらなる多次元ＬＵＴを想定した場合にも、本発明の範疇に含まれることは言うまでもない。

また、以上の実施例では、簡単のため、補間方法として四面体補間を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、公知の立方体補間や三角柱補間など、他のいかなる補間方法を用いたとしても、本発明の範疇に含まれることは言うまでもない。

また、以上の実施例では、簡単のため、被写体は人物顔領域であり、その数は１つを前提に説明を行ったが、本発明はこれに限定されるものではない。例えば、被写体は人間の顔以外のオブジェクト（例えば動物や建物）であっても構わないし、その数は一つとは限らない。もし複数あれば、そのうちの特徴的な１つに限定して処理を行ってもよいし、全ての被写体の属性情報を平均して処理を行っても構わない。

また、本発明は簡単のため、局所的画像補正として覆い焼き処理を代表例として説明を行ってきたが、本発明はこれに限定されるものではない。例えば、青空領域を検出し、該領域のみ色相・彩度を好ましい方向に補正する処理と局所的補正と考えたとしても、本発明の構成によって、極めて効率的に実現することが可能となる。

また、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。

また、本発明の目的は、以下によっても達成できる。まず、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。次に、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行すればよい。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、まず、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、該プログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

101・・・画像読み込み部
102・・・画像解析部
103・・・制御パラメータ生成部
104・・・第１の多次元LUT生成部
105・・・被写体属性更新部
106・・・第２の多次元LUT生成部
107・・・補間部
108・・・強度調整補間部
109・・・色変換部
110・・・擬似階調処理部
111・・・プリンタエンジン
112・・・被写体属性情報
113・・・制御パラメータ

Claims (15)

1. 入力画像から明るさと色みを検出する検出手段と、
   前記検出された明るさと色みに基づき、前記入力画像の色みを補正するための第１の多次元ルックアップテーブルを生成する第一の生成手段と、
   前記第一の生成手段によって生成された第１の多次元ルックアップテーブルによって、前記入力画像における所定のオブジェクトの輝度値を補正する第一の補正手段と、
   前記第一の補正手段によって補正された前記所定のオブジェクトの輝度値に基づき、前記補正手段によって補正された入力画像の色みを補正するための第２の多次元ルックアップテーブルを生成する第二の生成手段と、
   前記生成された第１の多次元ルックアップテーブルによって、前記入力画像の色みを補正する第二の補正手段と、
   前記第二の生成手段によって生成された第２の多次元ルックアップテーブルと前記入力画像から生成された低解像度画像の輝度値とに基づき、前記第二の補正手段によって補正された入力画像を補正する第三の補正手段と
   を有することを特徴とする画像処理装置。
2. 入力画像から複数の特徴量を算出する手段と、
   該特徴量に基づいて第１の多次元ルックアップテーブルを算出する手段と、
   前記入力画像から特定オブジェクトの属性情報を算出する手段と、
   該属性情報に基づいて第２の多次元ルックアップテーブルを算出する手段と、
   前記入力画像から制御用パラメータを生成する手段と、
   前記入力画像に対して前記第１および第２の多次元ルックアップテーブルを適用する補間手段を備える画像処理装置において、
   前記第２の多次元ルックアップテーブルの補間強度を、前記制御用パラメータで制御する制御手段を備えることを特徴とする画像処理装置。
3. 前記生成する手段は、入力画像をリサイズする手段と、リサイズ後の画像に対して平滑化フィルタリング処理を行う手段を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の多次元ルックアップテーブル生成手段は、
   前記属性情報に対して第１の多次元ルックアップテーブルを適用する属性情報更新手段と、
   更新した属性情報を用いて第２の多次元ルックアップテーブルを生成することを特徴とする請求項２に記載の画像処理装置。
5. 前記第１の多次元ルックアップテーブルと前記第２の多次元ルックアップテーブルは、その格子点数やテーブルのビット精度が相異なることを特徴とする請求項２に記載の画像処理装置。
6. 前記特定オブジェクトは、人物の顔であることを特徴とする請求項２乃至５のいずれか一項に記載の画像処理装置。
7. 前記多次元ルックアップテーブルは、RGB成分による３次元ルックアップテーブルであることを特徴とする請求項２乃至５のいずれか一項に記載の画像処理装置。
8. 入力画像から明るさと色みを検出する工程と、
   前記検出された明るさと色みに基づき、前記入力画像の色みを補正するための第１の多次元ルックアップテーブルを生成する第一の生成工程と、
   前記第一の生成工程によって生成された第１の多次元ルックアップテーブルによって、前記入力画像における所定のオブジェクトの輝度値を補正する第一の補正工程と、
   前記第一の補正工程によって補正された前記所定のオブジェクトの輝度値に基づき、前記補正工程によって補正された入力画像の色みを補正するための第２の多次元ルックアップテーブルを生成する第二の生成工程と、
   前記生成された第１の多次元ルックアップテーブルによって、前記入力画像の色みを補正する第二の補正工程と、
   前記第二の生成工程によって生成された第２の多次元ルックアップテーブルと前記入力画像から生成された低解像度画像の輝度値とに基づき、前記第二の補正工程によって補正された入力画像を補正する第三の補正工程と
   を有することを特徴とする画像処理方法。
9. 入力画像から複数の特徴量を算出する工程と、
   該特徴量に基づいて第１の多次元ルックアップテーブルを算出する工程と、
   入力画像から特定オブジェクトの属性情報を算出する工程と、
   該属性情報に基づいて第２の多次元ルックアップテーブルを算出する工程と、
   入力画像から制御用パラメータを生成する工程と、
   入力画像に対して前記第１および第２の多次元ルックアップテーブルを適用する補間工程を備える画像処理方法において、
   前記第２の多次元ルックアップテーブルの補間強度を、前記制御用パラメータで制御する制御工程を備えることを特徴とする画像処理方法。
10. 前記生成する工程は、入力画像をリサイズする工程と、リサイズ後の画像に対して平滑化フィルタリング処理を行う工程を備えることを特徴とする請求項９に記載の画像処理方法。
11. 前記第２の多次元ルックアップテーブル生成工程は、
    前記属性情報に対して第１の多次元ルックアップテーブルを適用する属性情報更新工程と、
    更新した属性情報を用いて第２の多次元ルックアップテーブルを生成することを特徴とする請求項９に記載の画像処理方法。
12. 前記第１の多次元ルックアップテーブルと前記第２の多次元ルックアップテーブルは、その格子点数やテーブルのビット精度が相異なることを特徴とする請求項９に記載の画像処理方法。
13. 前記特定オブジェクトは、人物の顔であることを特徴とする請求項９乃至１２のいずれか一項に記載の画像処理方法。
14. 前記多次元ルックアップテーブルは、RGB成分による３次元ルックアップテーブルであることを特徴とする請求項９乃至１２のいずれか一項に記載の画像処理方法。
15. コンピュータに、請求項８乃至１４のいずれか一項に記載の画像処理方法を実行させるためのプログラム。

Images