JP2017130721A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】視認性向上処理により不自然になった色を視認性向上処理で用いた色空間で補正するよう構成された場合に比較して、原画像における被写体の視認性を高めつつ、階調つぶれの抑制と色再現性の向上を両立する。【解決手段】画像処理装置１０では、視認性処理部１６が、原画像に対し、視認性向上処理を、視認性向上処理により原画像の画素の色値が色域外の色値に変換され難い色空間である第１の色空間で行い、代表色度算出部１４が、原画像及び第１の画像の少なくとも何れか一方における全部又は一部の領域である第１の領域の画素の色度を代表する代表色度を決定し、色調整部１８が、代表色度が、目標とする色度である目標色度に近付くように、視認性向上処理で得られた第１の画像における全部又は一部の領域である第２の領域の画素の色値を調整する処理を、均等色空間である第２の色空間で行うことにより、第２の画像を生成する。【選択図】図１

Description

本発明は、画像処理装置、プログラムに関する。

入力画像データの照明光成分を抽出するフィルタリング部と、入力画像データを抽出された照明光成分で除算することにより入力画像データの反射率成分を算出する反射率成分算出処理部と、算出された反射率成分に基づいて補正パラメータを算出する補正パラメータ算出部と、算出された補正パラメータと入力画像データとを乗算することにより補正画像データを生成する乗算部とを備え、補正パラメータの算出に、彩度および輝度成分によって算出される色の濃さを反映させた値を用いるようにした画像処理装置は知られている（例えば、特許文献１参照）。

入力画像をHSV色空間画像に変換するHSV変換部、HSV色空間画像から照明光を分離して、この照明光成分についてレティネックス演算に基づく、階調補正を行う階調補正部、階調補正後のHSVデータを入力画像の色空間データに再変換する再変換部、を備え、HSV色空間に変換された入力画像の彩度データについて、照明光の値が小さい領域について彩度を低く調整する第１のモードと、照明光の値が小さい領域について彩度を高く調整する第２のモードが切り替え可能に構成されており、いずれかのモードを特定する選択命令が与えられると、選択されたモードに基づき、HSV変換部から与えられる彩度データを調整した調整後彩度データを再変換部に与える彩度調整部を有する階調補正装置も知られている（例えば、特許文献２参照）。

特開２０１１−８６９７６号公報 特開２０１４−２１１９１４号公報

ここで、視認性向上処理により不自然になった色を視認性向上処理で用いた色空間で補正する構成を採用した場合には、原画像における被写体の視認性を高めつつ、色再現性も高める、ということはできなかった。

本発明の目的は、視認性向上処理により不自然になった色を視認性向上処理で用いた色空間で補正するよう構成された場合に比較して、原画像における被写体の視認性を高めつつ、階調つぶれの抑制と色再現性の向上を両立することにある。

請求項１に記載の発明は、原画像に対し、当該原画像における被写体の視認性を向上させる視認性向上処理を、当該視認性向上処理により当該原画像の画素の色値が色域外の色値に変換され難い色空間である第１の色空間で行うことにより、第１の画像を生成する第１の画像生成手段と、前記原画像及び前記第１の画像の少なくとも何れか一方における全部又は一部の領域である第１の領域の画素の色度を代表する代表色度を決定する代表色度決定手段と、前記代表色度が、目標とする色度である目標色度に近付くように、前記第１の画像における全部又は一部の領域である第２の領域の画素の色値を調整する処理を、均等色空間である第２の色空間で行うことにより、第２の画像を生成する第２の画像生成手段とを備えたことを特徴とする画像処理装置である。
請求項２に記載の発明は、前記第１の領域及び前記第２の領域の少なくとも何れか一方を、記憶色の色値から予め定められた範囲内にある色値を有する画素を含む領域に決定する領域決定手段を更に備えたことを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記第１の領域及び前記第２の領域の少なくとも何れか一方を、操作者により指定された領域に決定する領域決定手段を更に備えたことを特徴とする請求項１に記載の画像処理装置である。
請求項４に記載の発明は、前記代表色度決定手段は、前記代表色度を、前記第１の領域の画素の色度の相加平均値又は加重平均値に決定することを特徴とする請求項１に記載の画像処理装置である。
請求項５に記載の発明は、前記代表色度決定手段は、前記代表色度を前記第２の色空間で決定することを特徴とする請求項１に記載の画像処理装置である。
請求項６に記載の発明は、前記代表色度決定手段は、前記原画像の画素の色度から前記第１の画像の画素の色度への変化量が第１の閾値より小さい場合に、前記原画像の前記第１の領域の画素の色度を代表する前記代表色度を決定し、当該変化量が当該第１の閾値以上の第２の閾値より大きい場合に、前記第１の画像の前記第１の領域の画素の色度を代表する前記代表色度を決定することを特徴とする請求項１に記載の画像処理装置である。
請求項７に記載の発明は、前記代表色度決定手段は、前記原画像の前記第１の領域の画素の色度を代表する第１の代表色度と、前記第１の画像の前記第１の領域の画素の色度を代表する第２の代表色度との加重和である前記代表色度を、前記原画像の画素の色度から前記第１の画像の画素の色度への変化量が小さいほど、当該第１の代表色度の重みが大きくなるように決定することを特徴とする請求項１に記載の画像処理装置である。
請求項８に記載の発明は、コンピュータに、原画像に対し、当該原画像における被写体の視認性を向上させる視認性向上処理を、当該視認性向上処理により当該原画像の画素の色値が色域外の色値に変換され難い色空間である第１の色空間で行うことにより、第１の画像を生成する機能と、前記原画像及び前記第１の画像の少なくとも何れか一方における全部又は一部の領域である第１の領域の画素の色度を代表する代表色度を決定する機能と、前記代表色度が、目標とする色度である目標色度に近付くように、前記第１の画像における全部又は一部の領域である第２の領域の画素の色値を調整する処理を、均等色空間である第２の色空間で行うことにより、第２の画像を生成する機能とを実現させるためのプログラムである。

請求項１の発明によれば、視認性向上処理により不自然になった色を視認性向上処理で用いた色空間で補正するよう構成された場合に比較して、原画像における被写体の視認性を高めつつ、階調つぶれの抑制と色再現性の向上を両立することができる。
請求項２の発明によれば、記憶色を考慮して色再現性を高めることができる。
請求項３の発明によれば、予め定められた色を有する領域を用いて色再現性を高めるよう構成された場合に比較して、色再現性を高めるために用いられる領域を直感的に決定することができる。
請求項４の発明によれば、色再現性を高めるために用いられる代表色度を計算で決定することができる。
請求項５の発明によれば、視認性向上処理で用いた色空間で代表色度を算出するよう構成された場合に比較して、色再現性を更に高めることができる。
請求項６の発明によれば、視認性向上処理による色度の変化量を考慮して色再現性を高めることができる。
請求項７の発明によれば、視認性向上処理による色度の変化量を考慮して色再現性を高めることができる。
請求項８の発明によれば、視認性向上処理により不自然になった色を視認性向上処理で用いた色空間で補正するよう構成された場合に比較して、原画像における被写体の視認性を高めつつ、階調つぶれの抑制と色再現性の向上を両立することができる。

本発明の第１の実施の形態における画像処理装置の機能構成例を示したブロック図である。 （ａ）はＨＳＶ色空間の色域外殻を例示した図であり、（ｂ）はＨＳＶ色空間の色域外殻と色調整の前後のＨＳＶ値との関係を例示した図である。 （ａ）はＬ＊ａ＊ｂ＊色空間の色域外殻を例示した図であり、（ｂ）はＬ＊ａ＊ｂ＊色空間の色域外殻と色調整の前後のＬ＊ａ＊ｂ＊値との関係を例示した図である。 色調整に用いられる単調な関数のグラフを例示した図である。 本発明の実施の形態における視認性処理部の機能構成例を示したブロック図である。 本発明の第２の実施の形態における画像処理装置の機能構成例を示したブロック図である。 本発明の第３の実施の形態における画像処理装置の機能構成例を示したブロック図である。 本発明の第４の実施の形態における画像処理装置の機能構成例を示したブロック図である。 本発明の実施の形態における画像処理装置の動作例を示したフローチャートである。 本発明の実施の形態における画像処理装置のハードウェア構成例を示したブロック図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。第１の実施の形態は、被写体の肌を表す領域（以下、「肌領域」という）に関して記憶色を考慮した好ましい色再現を行いつつ視認性を向上した画像を生成する実施の形態である。第１の実施の形態では、特に原画像のみから代表色度を算出する場合について示す。図示するように、第１の実施の形態における画像処理装置１０は、肌領域検出部１１と、均等色空間変換部１３と、代表色度算出部１４と、明度色度色空間変換部１５と、視認性処理部１６と、均等色空間変換部１７と、色調整部１８と、色空間逆変換部１９とを備える。

肌領域検出部１１は、原画像であるＲＧＢ画像から肌領域を検出する。

まず、肌領域検出部１１は、記憶色の領域で好ましさを向上させる色調整が必要とされる部分を分離するために、原画像の各画素のＲＧＢ値Ｉ_ｉ，ｊ＝（Ｒ_ｉ，ｊ，Ｇ_ｉ，ｊ，Ｂ_ｉ，ｊ）に対して、式(1)により、座標変換された画素値（ｘ１_ｉ，ｊ，ｘ２_ｉ，ｊ）を得る。

次に、肌領域検出部１１は、予め固定パラメータとして設定しておいた基準となる肌色（以下、「基準肌色」という）のＲＧＢ値Ｉ＾＝（Ｒ＾，Ｇ＾，Ｂ＾）に対しても、式(2)により、座標変換された画素値（ｘ１，ｘ２）を得る。尚、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

次いで、肌領域検出部１１は、画素値間の距離ｄ_ｉ，ｊを式(3)によって求め、ｄ_ｉ，ｊが予め定めた閾値以下となる画素の位置（ｉ，ｊ）を、肌領域に属する画素の位置として検出する。

尚、上記では、画素ごとに肌領域に属するかどうかを二値で表す方法を示したが、この限りではない。例えば、式(4)に示した関数により、画素ごとに肌領域度合いを表す重みｗ_ｉ，ｊを算出して利用してもよい。式中、ｐは関数の最大勾配であり、ｄ_ｉｎｆは関数の変曲点を表すパラメータである。

また、上記では、基準肌色を予め固定パラメータとして設定されたものとしたが、ユーザが基準肌色を指定するようにしてもよい。この場合、ユーザは、基準肌色を、色を表す数値で指定してもよいし、画像上の画素で指定してもよい。

本実施の形態では、第１の領域を、記憶色の色値から予め定められた範囲内にある色値を有する画素を含む領域に決定する領域決定手段の一例として、肌領域検出部１１を設けている。

均等色空間変換部１３は、原画像であるＲＧＢ画像を、人の知覚と均等な座標系を持つ均等色空間の画像（以下、「均等色空間画像」という）へと変換する。尚、ここでは、均等色空間をＣＩＥ Ｌａｂ色空間とし、均等色空間画像をＬ＊ａ＊ｂ＊画像とする。

本実施の形態では、均等色空間である第２の色空間の一例として、ＣＩＥ Ｌａｂ色空間を用いている。

代表色度算出部１４は、均等色空間画像上の画素の色度Ｃ（ａ＊，ｂ＊）から代表色度Ｃ_ｓを算出する。

具体的には、各画素が肌領域に属するかどうかを二値で示した情報が肌領域検出部１１から渡された場合、代表色度算出部１４は、式(5)のように、均等色空間画像上の画素の色度Ｃ（ａ＊，ｂ＊）の肌領域における平均（相加平均）を算出し、これを代表色度Ｃ_ｓとする。

また、各画素の肌領域度合いを表す重みｗ_ｉ，ｊが肌領域検出部１１から渡された場合、代表色度算出部１４は、式(6)のように、均等色空間画像上の画素の色度Ｃ（ａ＊，ｂ＊）の加重平均を算出し、これを代表色度Ｃ_ｓとする。

尚、式(5)及び式(6)において、Σ_ｓは肌領域内で和をとることを示し、ｎ_ｓは肌領域内の画素の数を示している。

このように、各画素が肌領域に属するかどうかを二値で示した情報が肌領域検出部１１から渡された場合、代表色度算出部１４が処理対象とする領域は画像の一部の領域となり、各画素の肌領域度合いを表す重みｗ_ｉ，ｊが肌領域検出部１１から渡された場合、代表色度算出部１４が処理対象とする領域は画像の全部の領域となる。即ち、本実施の形態では、画像の全部又は一部の領域である第１の領域の一例として、代表色度算出部１４が処理対象とする領域を用いている。また、第１の領域の画素の色度を代表する代表色度を決定する代表色度決定手段の一例として、代表色度算出部１４を設けている。

明度色度色空間変換部１５は、原画像であるＲＧＢ画像を、明度及び色度を成分とする色空間（以下、「明度色度色空間」という）の明度色度画像へと変換する。尚、ここでは、明度色度色空間をＨＳＶ色空間とし、明度色度画像をＨＳＶ画像とする。従って、明度色度色空間変換部１５は、以下の式により、ＲＧＢ画像をＨＳＶ画像へと変換する。以下の式において、ｍａｘは、各画素におけるＲ値、Ｇ値、Ｂ値の最大値であり、ｍｉｎは、各画素におけるＲ値、Ｇ値、Ｂ値の最小値である。また、Ｈは色相、Ｓは彩度、Ｖは明度を表す。

このように、視認性を向上させる視認性向上処理（以下、「視認性処理」という）にはＨＳＶ色空間を用いることが有効である。これは、以下の２つの点で、ＨＳＶ色空間は視認性処理に適しているからである。１つは、図２（ａ）に示したように、ＨＳＶ色空間におけるｓＲＧＢの色域が円筒形の空間であることから、図２（ｂ）に示したように、明度Ｖを調整しても色域外にならない、という点である。もう１つは、ＲＧＢのまま処理するのに比べて、色の不自然さが抑えられる、という点である。

これに対し、視認性処理を均等色空間で行う場合、例えばＣＩＥ Ｌａｂ色空間におけるｓＲＧＢの色域は、図３（ａ）に示したような概形となり、図３（ｂ）に示したように、Ｌ＊を調整すると色域外に出てしまう場合がある。

尚、ここでは、視認性処理に適した色空間を、明度を調整しても色域外にならない色空間としたが、この限りではない。例えば、明度を調整して色域外になったとしても、色域外となった度合いが小さく、視認性処理の結果に殆ど影響を及ぼさない色空間であればよい。即ち、本実施の形態では、視認性向上処理により原画像の画素の色値が色域外の色値に変換され難い色空間である第１の色空間の一例として、ＨＳＶ色空間を用いている。

視認性処理部１６は、こうして得られた明度色度画像の成分のうち明度成分に対してレティネックス原理に基づく視認性処理を実施する。視認性処理部１６における処理の詳細については後述する。これにより、視認性処理部１６は、高視認性明度成分を生成して出力する。

均等色空間変換部１７は、こうして得られた高視認性明度成分と、明度色度画像から得られたままの色度（色相、彩度）成分とからなる画像を、均等色空間であるＣＩＥ Ｌａｂ色空間の高視認性画像へと変換する。

本実施の形態では、第１の画像の一例として、高視認性画像を用いている。また、視認性向上処理を第１の色空間で行うことにより第１の画像を生成する第１の画像生成手段の一例として、視認性処理部１６及び均等色空間変換部１７を設けている。

色調整部１８は、代表色度算出部１４により算出された代表色度Ｃ_ｓ（ａ_ｓ＊，ｂ_ｓ＊）が、人が好ましい肌色と感じる目標色度Ｃ_ｔ（ａ_ｔ＊，ｂ_ｔ＊）へと移動するように、均等色空間において高視認性画像に対して色調整を行うことにより、色調整画像を生成する。このとき、色調整は、調整対象となる部分が階調逆転を起こさないように行う。例えば、特開２００４−１１２６９４号公報又は特開２００６−１３５６２８号公報に記載された方法を用いるとよい。

以下、このような方法について、具体的に説明する。

まず、色度点Ｃ_１（ａ_１＊，ｂ_１＊）及びＣ_２（ａ_２＊，ｂ_２＊）を通る直線上の色度点Ｃ（ａ＊，ｂ＊）は、式(10)に示すように、ｔ＝０のときに（ａ＊，ｂ＊）＝（ａ_１＊，ｂ_１＊）、ｔ＝１のときに（ａ＊，ｂ＊）＝（ａ_２＊，ｂ_２＊）となる媒介変数ｔを用いて表される。

このような媒介変数ｔを単調な関数で補正することにより、色度点Ｃ_１及びＣ_２を通る直線上において階調逆転なく選択的に色調整が行われる。図４は、色調整に用いられる単調な関数のグラフを例示したものである。このグラフにおいて、横軸のｔは、代表色度算出部１４により算出された代表色度Ｃ_ｓを表すための媒介変数であり、縦軸のｔ’は、目標色度Ｃ_ｔを表すための媒介変数である。色調整部１８は、代表色度算出部１４により算出された代表色度Ｃ_ｓをｔ＝ｔ１のときの色度とし、目標色度Ｃ_ｔをｔ’＝ｔ２のときの色度として、このグラフを用いる。

また、このような色度点Ｃ_１及びＣ_２を通る直線を基準直線とし、基準直線上にない色度点については、基準直線から離れるほど調整量が小さくなるように色調整を行う。例えば、基準直線からの距離がｄのとき、式(11)によって計算される重みｗを乗算すればよい。式中、ｐは関数の最大勾配であり、ｄ_ｉｎｆは関数の変曲点を表すパラメータである。

尚、上述した方法でなくとも、階調逆転することなく選択的に色調整可能な方法であれば、別の媒介変数や変換関数を利用してもよい。

本実施の形態では、第２の領域の一例として、色調整部１８が処理対象とする領域を用いており、第２の画像の一例として、色調整画像を用いている。また、第２の領域の画素の色値を調整する処理を第２の色空間で行うことにより第２の画像を生成する第２の画像生成手段の一例として、色調整部１８を設けている。

色空間逆変換部１９は、色調整部１８により生成された色調整画像を、原画像の色空間であるＲＧＢの画像へと変換し、これを出力画像として出力する。

ここで、視認性処理部１６における処理を詳細に述べる。図５は、視認性処理部１６の機能構成例を表すブロック図である。図示するように、視認性処理部１６は、照明推定部１６１と、反射率推定部１６２と、画像再現部１６３とを備える。

照明推定部１６１は、明度色度色空間変換部１５で生成された明度色度画像の明度成分から照明成分を推定する。

照明成分を推定するためには幾つかの方法があるが、本実施の形態では、式(12)で表されるガウス関数を用いる例を示す。式中、ｉ，ｊは画素の位置を表し、σは平滑化度合い（スケール）を表し、ｋは画像処理のフィルタサイズの画素分で積分した場合に結果が１になるように正規化する係数を表す。

人の視覚には、注目領域の周辺によって照明光を推定するという特性があり、レティネックス原理はこれに基づいたモデルである。

本実施の形態では平滑化を行うための関数としてガウス関数を示したが、平滑化する関数であれば何でもよく、例えばバイラテラルフィルタを利用してもよい。

更に、平滑化は、１つのスケールの層で行ってもよいが、スケールを変えた多層（マルチスケール）にすることで、照明成分の推定のロバスト性を高めてもよい。例えば、照明成分の推定は、式(13)で示すようにスケール１からスケールＮの多層画像の加重平均をとることにより行うのが望ましい。

ここで、Ｌ_ｉ，ｊは推定される照明画像（以下、「照明推定画像」という）の画素値を表し、Ｇ_ｎｉ，ｊはスケールｎのガウス関数を表し、Ｉ_ｉ，ｊは原画像の明度成分を表し、Ｗ_ｎはスケールｎの重みを表し、「×」を「○」で囲んだ記号は畳み込みを表す。尚、Ｗ_ｎは、簡易的に１／Ｎとしてもよいし、層に応じて可変としてもよい。また、スケールは、少なくとも１つあればよく、多数のスケールの中から選択してもよい。

反射率推定部１６２は、照明推定部１６１から得られた照明推定画像の画素値と原画像の明度成分との比により、原画像の反射率を推定する。具体的には、原画像の明度成分をＩ_ｉ，ｊとし、照明推定画像の画素値をＬ_ｉ，ｊとして、式(14)により、推定される反射率画像（以下、「反射率推定画像」）の画素値Ｒ_ｉ，ｊを算出する。

画像再現部１６３は、反射率推定部１６２から得られた反射率推定画像の画素値と原画像の明度成分とに基づいて、反射率成分を強調する処理を行うことで、高視認性画像の明度成分を得る。この反射率成分を強調する処理は、例えば式(15)により行えばよい。

ここで、Ｉ’_ｉ，ｊは、高視認性画像の明度成分を表す。また、αは視認性向上の度合いを制御する視認性パラメータである。α＝１の場合は反射率成分そのものを、α＝０の場合は原画像となる。視認性パラメータは設計要素であるため、αは０から１までの如何なる値でもよいものとする。また、画像再現の方法は、本発明の本質を損なわなければどのようなものでもよい。

尚、ここではレティネックス原理に基づき視認性を向上させる処理を用いる例を示したが、照明光成分と反射率成分とに分解し、視認性を向上させる処理であれば他の処理を用いてもよい。

また、本実施の形態では、視認性処理をＨＳＶ色空間で行う例を示したが、叙述したように、視認性処理による明度又は輝度の変化によって画素値が色域外となり難い他の色空間で行ってもよい。一方、本実施の形態では、色調整をＣＩＥ Ｌａｂ色空間で行う例を示したが、均等色空間のように、人の知覚を考慮して作られた色調整に向いた色空間であれば、他の色空間で行ってもよい。このように、本実施の形態では、これらの各処理に相応しい色空間で処理を行うようにしている。

［第２の実施の形態］
図６は、本発明の第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。第２の実施の形態も、第１の実施の形態と同じく、被写体の肌領域に関して記憶色を考慮した好ましい色再現を行いつつ視認性を向上した画像を生成する実施の形態である。第２の実施の形態でも、特に原画像のみから代表色度を算出する場合について示すが、ユーザが肌領域を指定する点で、第１の実施の形態とは異なる。図示するように、第２の実施の形態における画像処理装置１０は、領域指定受付部１２と、均等色空間変換部１３と、代表色度算出部１４と、明度色度色空間変換部１５と、視認性処理部１６と、均等色空間変換部１７と、色調整部１８と、色空間逆変換部１９とを備える。ここで、領域指定受付部１２及び代表色度算出部１４以外については、第１の実施の形態と同じなので説明を省略し、領域指定受付部１２及び代表色度算出部１４についてのみ説明する。

領域指定受付部１２は、原画像であるＲＧＢ画像上でのユーザによる領域の指定を受け付け、ユーザが指定した領域（以下、「ユーザ指定領域」という）を特定する。例えば、ユーザが被写体の肌領域を、直接、或いは、グラフカット等の一般的な切り抜きアルゴリズムを利用した領域抽出処理によって指定すると、領域指定受付部１２は、この指定を受け付けてユーザ指定領域を特定する。そして、第１の実施の形態の肌領域検出部１１と同じく、画素ごとにユーザ指定領域に属するかどうかを二値で示した情報、又は、画素ごとにユーザ指定領域度合いを表す重みｗ_ｉ，ｊを出力する。

本実施の形態では、第１の領域を、操作者により指定された領域に決定する領域決定手段の一例として、領域指定受付部１２を設けている。

代表色度算出部１４は、均等色空間画像上の画素の色度Ｃ（ａ＊，ｂ＊）から代表色度Ｃ_ｓを算出する。領域指定受付部１２から渡される情報が、各画素がユーザ指定領域に属するかどうかを二値で示した情報、又は、各画素のユーザ指定領域度合いを表す重みｗ_ｉ，ｊである点のみが、第１の実施の形態と異なる。

本実施の形態では、画像の全部又は一部の領域である第１の領域の一例として、代表色度算出部１４が処理対象とする領域を用いている。また、第１の領域の画素の色度を代表する代表色度を決定する代表色度決定手段の一例として、代表色度算出部１４を設けている。

［第３の実施の形態］
図７は、本発明の第３の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第３の実施の形態における画像処理装置１０も、第１の実施の形態と同じく、肌領域検出部１１と、均等色空間変換部１３と、代表色度算出部１４と、明度色度色空間変換部１５と、視認性処理部１６と、均等色空間変換部１７と、色調整部１８と、色空間逆変換部１９とを備える。但し、第３の実施の形態では、視認性処理部１６で視認性処理を行い、均等色空間変換部１７で均等色空間へと変換して得られた高視認性画像を、代表色度算出部１４でも利用する。即ち、代表色度算出部１４以外については、第１の実施の形態と同じなので説明を省略し、代表色度算出部１４についてのみ説明する。

代表色度算出部１４は、均等色空間画像上の画素の色度Ｃ_１（ａ＊，ｂ＊）から代表色度Ｃ_ｓ１を算出する。具体的には、各画素が肌領域に属するかどうかを二値で示した情報が肌領域検出部１１から渡された場合、代表色度算出部１４は、式(16)のように、均等色空間画像上の画素の色度Ｃ_１（ａ＊，ｂ＊）の肌領域における平均（相加平均）を算出し、これを代表色度Ｃ_ｓ１とすればよい。

また、代表色度算出部１４は、高視認性画像上の画素の色度Ｃ_２（ａ＊，ｂ＊）から代表色度Ｃ_ｓ２を算出する。具体的には、各画素が肌領域に属するかどうかを二値で示した情報が肌領域検出部１１から渡された場合、代表色度算出部１４は、式(17)のように、高視認性画像上の画素の色度Ｃ_２（ａ＊，ｂ＊）の肌領域における平均（相加平均）を算出し、これを代表色度Ｃ_ｓ２とすればよい。

尚、式(16)及び式(17)において、Σ_ｓ１及びΣ_ｓ２は肌領域内の画素分の総和を示し、ｎ_ｓ１及びｎ_ｓ２は肌領域内の画素の数を示している。

そして、代表色度算出部１４は、固定パラメータであるβ（０≦β≦１）を用いて、式(18)により、代表色度Ｃ_ｓを算出する。

これは、β＝１のときＣ_ｓ＝Ｃ_ｓ１となるので原画像の代表色度を利用し、β＝０のときＣ_ｓ＝Ｃ_ｓ２となるので高視認性画像の代表色度を利用することを示している。

例えば、原画像の全範囲又は特定範囲の画素の色度から高視認性画像の全範囲又は特定範囲の画素の色度への変化量が小さい場合にβ＝１として代表色度Ｃ_ｓ１を利用し、原画像の全範囲又は特定範囲の画素の色度から高視認性画像の全範囲又は特定範囲の画素の色度への変化量が大きい場合にβ＝０として代表色度Ｃ_ｓ２を利用すればよい。ここで、「変化量が小さい」とは、例えば、変化量が閾値Ｔｈ_１より小さいことであり、「変化量が大きい」とは、例えば、変化量が閾値Ｔｈ_２より大きいことである。閾値Ｔｈ_２は閾値Ｔｈ_１より大きくてもよいし、閾値Ｔｈ_１と等しくてもよい。この場合、代表色度Ｃ_ｓ１は、原画像の第１の領域の画素の色度を代表する代表色度の一例であり、代表色度Ｃ_ｓ２は、第１の画像の第１の領域の画素の色度を代表する代表色度の一例である。また、閾値Ｔｈ_１は、第１の閾値の一例であり、閾値Ｔｈ_２は、第２の閾値の一例である。

或いは、各画素の肌領域度合いを表す重みｗ_ｉ，ｊが肌領域検出部１１から渡された場合、代表色度算出部１４は、式(19)，(20)のように、重みｗ_ｉ，ｊを用いて加重平均を求めることで代表色度Ｃ_ｓ１，Ｃ_ｓ２を算出してもよい。

尚、式(19)及び式(20)において、Σ_ｓ１及びΣ_ｓ２は肌領域内の画素分の総和を示している。

そして、代表色度算出部１４は、これらの代表色度Ｃ_ｓ１，Ｃ_ｓ２を用いて、式(18)より、代表色度Ｃ_ｓを算出してもよい。

例えば、原画像の全範囲又は特定範囲の画素の色度から高視認性画像の全範囲又は特定範囲の画素の色度への変化量が小さいほどβを大きくして代表色度Ｃ_ｓ１の利用の度合いを大きくし、原画像の全範囲又は特定範囲の画素の色度から高視認性画像の全範囲又は特定範囲の画素の色度への変化量が大きいほどβを小さくして代表色度Ｃ_ｓ２の利用の度合いを大きくすればよい。この場合、代表色度Ｃ_ｓ１は、原画像の第１の領域の画素の色度を代表する第１の代表色度の一例であり、代表色度Ｃ_ｓ２は、第１の画像の第１の領域の画素の色度を代表する第２の代表色度の一例である。また、βは、第１の代表色度の重みの一例である。

このように、各画素が肌領域に属するかどうかを二値で示した情報が肌領域検出部１１から渡された場合、代表色度算出部１４が処理対象とする領域は画像の一部の領域となり、各画素の肌領域度合いを表す重みｗ_ｉ，ｊが肌領域検出部１１から渡された場合、代表色度算出部１４が処理対象とする領域は画像の全部の領域となる。即ち、本実施の形態では、画像の全部又は一部の領域である第１の領域の一例として、代表色度算出部１４が処理対象とする領域を用いている。また、第１の領域の画素の色度を代表する代表色度を決定する代表色度決定手段の一例として、代表色度算出部１４を設けている。

以上述べたように、本実施の形態は、視認性処理を行った結果を色調整にどの程度用いるかを決定し、色調整が行われる領域と行われない領域との間の調整量の差による違和感を低減させるものである。

尚、上記では、βを固定値としたが、予めプログラム内で決定しておいた値としてもよいし、処理時にユーザが指定した値としてもよい。

［第４の実施の形態］
図８は、本発明の第４の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第４の実施の形態における画像処理装置１０も、第１の実施の形態と同じく、肌領域検出部１１と、均等色空間変換部１３と、代表色度算出部１４と、明度色度色空間変換部１５と、視認性処理部１６と、均等色空間変換部１７と、色調整部１８と、色空間逆変換部１９とを備える。但し、第４の実施の形態では、肌領域検出部１１で検出した肌領域の情報を、色調整部１８でも利用する。即ち、色調整部１８以外については、第１の実施の形態と同じなので説明を省略し、色調整部１８についてのみ説明する。

色調整部１８は、第１の実施の形態で述べたように、代表色度算出部１４により算出された代表色度Ｃ_ｓ（ａ_ｓ＊，ｂ_ｓ＊）が、人が好ましい肌色と感じる目標色度Ｃ_ｔ（ａ_ｔ＊，ｂ_ｔ＊）へと移動するように、均等色空間において高視認性画像に対して色調整を行うことにより、色調整画像を生成する。但し、このとき、各画素が肌領域に属するかどうかを二値で示した情報が肌領域検出部１１から渡されたとすると、色調整部１８は、高視認性画像中の肌領域に属する画素に対してのみ色調整を行う。

或いは、各画素の肌領域度合いを表す重みｗ_ｉ，ｊが肌領域検出部１１から渡されたとすると、色調整部１８は、重みｗ_ｉ，ｊに応じた色調整を行う。例えば、図４において、横軸を原画像の色度値Ｉ_ｉ，ｊ（ｔ）とし、縦軸を高視認性画像の色度値Ｉ’_ｉ，ｊ（ｔ）とし、関数をＦ（Ｉ_ｉ，ｊ（ｔ））とすると、式(21)により、色調整を行えばよい。

このように、各画素が肌領域に属するかどうかを二値で示した情報が肌領域検出部１１から渡された場合、色調整部１８が処理対象とする領域は画像の一部の領域となり、各画素の肌領域度合いを表す重みｗ_ｉ，ｊが肌領域検出部１１から渡された場合、色調整部１８が処理対象とする領域は画像の全部の領域となる。即ち、本実施の形態では、画像の全部又は一部の領域である第２の領域の一例として、色調整部１８が処理対象とする領域を用いており、第２の画像の一例として、色調整画像を用いている。また、第２の領域の画素の色値を調整する処理を第２の色空間で行うことにより第２の画像を生成する第２の画像生成手段の一例として、色調整部１８を設けている。

［変形例］
代表色度算出部１４は、第１、第３、第４の実施の形態では、肌領域検出部１１により検出された肌領域から代表色度を算出し、第２の実施の形態では、領域指定受付部１２により特定されたユーザ指定領域から代表色度を算出するようにした。しかしながら、代表色度算出部１４は、肌領域検出部１１により検出された肌領域及び領域指定受付部１２により特定されたユーザ指定領域の何れからでもなく、例えば、画像の全領域から、代表色度を算出するようにしてもよい。

また、色調整部１８は、第１乃至第３の実施の形態では、画像の全領域に対して色調整を行い、第４の実施の形態では、肌領域検出部１１により検出された肌領域に対して色調整を行うようにした。しかしながら、色調整部１８は、領域指定受付部１２により特定されたユーザ指定領域に対して色調整を行うようにしてもよい。

更に、代表色度算出部１４が代表色度を算出するのに用いる領域と、色調整部１８が色調整を行うのに用いる領域とは、互いに独立に決定されるものであってよい。例えば、代表色度算出部１４が、肌領域検出部１１により検出された肌領域から代表色度を算出したからといって、色調整部１８も、肌領域検出部１１により検出された肌領域に対して色調整を行う必要はない。色調整部１８は、画像の全領域に対して色調整を行ってもよいし、領域指定受付部１２により特定されたユーザ指定領域に対して色調整を行ってもよい。

［画像処理装置の動作］
図９は、本発明の実施の形態における画像処理装置１０の動作例を表すフローチャートである。尚、この動作例では、代表色度算出部１４が代表色度を算出するのに用いる領域を、色調整部１８が色調整を行うのに用いる領域とは、同じであるものとする。

原画像が入力されると、まず、原画像上の領域が特定される（ステップ１０１）。具体的には、第１、第３、第４の実施の形態のように、肌領域検出部１１が、基準肌色からの色の離れ度合いに基づいて、肌領域を特定してもよいし、第２の実施の形態のように、領域指定受付部１２が、ユーザ操作に基づいて、ユーザ指定領域を特定してもよい。或いは、画像上の特定される領域は、全領域であってもよいが、その場合、このステップ１０１は実行しなくてもよい。

次に、明度色度色空間変換部１５が、原画像から、色空間を明度色度色空間へ変換することにより、明度色度画像を取得する（ステップ１０２）。

次いで、視認性処理部１６が、ステップ１０２で取得された明度色度画像の明度成分に対して視認性処理を行うことにより、高視認性明度成分を取得する（ステップ１０３）。

続いて、均等色空間変換部１７が、ステップ１０３で取得された高視認性明度成分とステップ１０２で取得された明度色度画像の色度成分とからなる画像から、色空間を均等色空間へ変換することにより、高視認性画像を取得する（ステップ１０４）。

一方で、均等色空間変換部１３が、原画像から、色空間を均等色空間へ変換することにより、均等色空間画像を取得する（ステップ１０５）。

次に、代表色度算出部１４が、ステップ１０５で取得された均等色空間画像及びステップ１０４で取得された高視認性画像の少なくとも何れか一方の画像上の特定された領域の色度を代表する代表色度を算出する（ステップ１０６）。ここで、特定された領域は、ステップ１０１で特定された領域であり、第１、第３、第４の実施の形態のように、肌領域検出部１１により特定された肌領域でもよいし、第２の実施の形態のように、領域指定受付部１２により特定されたユーザ指定領域でもよい。或いは、全領域であってもよい。

その後、色調整部１８が、ステップ１０４で取得された高視認性画像上の特定された領域に対し、代表色度を目標色度に近付ける色調整を行うことにより、色調整画像を取得する（ステップ１０７）。ここでも、特定された領域は、ステップ１０１で特定された領域であり、第１、第３、第４の実施の形態のように、肌領域検出部１１により特定された肌領域でもよいし、第２の実施の形態のように、領域指定受付部１２により特定されたユーザ指定領域でもよい。或いは、全領域であってもよい。

そして、最後に、色空間逆変換部１９が、ステップ１０７で取得された色調整画像から、色空間を原画像の色空間へ逆色変換することにより、出力画像を取得する（ステップ１０８）。

［画像処理装置のハードウェア構成］
本実施の形態における画像処理装置１０は、例えばＰＣにインストールされた画像処理ソフトウェアとしても実現され得るが、典型的には、画像読取り及び画像形成を行う画像処理装置１０として実現される。

図１０は、このような画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２１と、ＲＡＭ（Random Access Memory）２２と、ＲＯＭ（Read Only Memory）２３と、ＨＤＤ（Hard Disk Drive）２４と、操作パネル２５と、画像読取部２６と、画像形成部２７と、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）２８とを備える。

ＣＰＵ２１は、ＲＯＭ２３等に記憶された各種プログラムをＲＡＭ２２にロードして実行することにより、後述する各機能を実現する。

ＲＡＭ２２は、ＣＰＵ２１の作業用メモリ等として用いられるメモリである。

ＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶するメモリである。

ＨＤＤ２４は、画像読取部２６が読み取った画像データや画像形成部２７における画像形成にて用いる画像データ等を記憶する例えば磁気ディスク装置である。

操作パネル２５は、各種情報の表示やユーザからの操作入力の受付を行うタッチパネルである。ここで、操作パネル２５は、各種情報が表示されるディスプレイと、指やスタイラスペン等で指示された位置を検出する位置検出シートとからなる。

画像読取部２６は、紙等の記録媒体に記録された画像を読み取る。ここで、画像読取部２６は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。

画像形成部２７は、記録媒体に画像を形成する。ここで、画像形成部２７は、例えばプリンタであり、感光体に付着させたトナーを記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。

通信Ｉ／Ｆ２８は、ネットワークを介して他の装置との間で各種情報の送受信を行う。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０…画像処理装置、１１…肌領域検出部、１２…領域指定受付部、１３…均等色空間変換部、１４…代表色度算出部、１５…明度色度色空間変換部、１６…視認性処理部、１７…均等色空間変換部、１８…色調整部、１９…色空間逆変換部

Claims (8)

1. 原画像に対し、当該原画像における被写体の視認性を向上させる視認性向上処理を、当該視認性向上処理により当該原画像の画素の色値が色域外の色値に変換され難い色空間である第１の色空間で行うことにより、第１の画像を生成する第１の画像生成手段と、
   前記原画像及び前記第１の画像の少なくとも何れか一方における全部又は一部の領域である第１の領域の画素の色度を代表する代表色度を決定する代表色度決定手段と、
   前記代表色度が、目標とする色度である目標色度に近付くように、前記第１の画像における全部又は一部の領域である第２の領域の画素の色値を調整する処理を、均等色空間である第２の色空間で行うことにより、第２の画像を生成する第２の画像生成手段と
   を備えたことを特徴とする画像処理装置。
2. 前記第１の領域及び前記第２の領域の少なくとも何れか一方を、記憶色の色値から予め定められた範囲内にある色値を有する画素を含む領域に決定する領域決定手段を更に備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の領域及び前記第２の領域の少なくとも何れか一方を、操作者により指定された領域に決定する領域決定手段を更に備えたことを特徴とする請求項１に記載の画像処理装置。
4. 前記代表色度決定手段は、前記代表色度を、前記第１の領域の画素の色度の相加平均値又は加重平均値に決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記代表色度決定手段は、前記代表色度を前記第２の色空間で決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記代表色度決定手段は、前記原画像の画素の色度から前記第１の画像の画素の色度への変化量が第１の閾値より小さい場合に、前記原画像の前記第１の領域の画素の色度を代表する前記代表色度を決定し、当該変化量が当該第１の閾値以上の第２の閾値より大きい場合に、前記第１の画像の前記第１の領域の画素の色度を代表する前記代表色度を決定することを特徴とする請求項１に記載の画像処理装置。
7. 前記代表色度決定手段は、前記原画像の前記第１の領域の画素の色度を代表する第１の代表色度と、前記第１の画像の前記第１の領域の画素の色度を代表する第２の代表色度との加重和である前記代表色度を、前記原画像の画素の色度から前記第１の画像の画素の色度への変化量が小さいほど、当該第１の代表色度の重みが大きくなるように決定することを特徴とする請求項１に記載の画像処理装置。
8. コンピュータに、
   原画像に対し、当該原画像における被写体の視認性を向上させる視認性向上処理を、当該視認性向上処理により当該原画像の画素の色値が色域外の色値に変換され難い色空間である第１の色空間で行うことにより、第１の画像を生成する機能と、
   前記原画像及び前記第１の画像の少なくとも何れか一方における全部又は一部の領域である第１の領域の画素の色度を代表する代表色度を決定する機能と、
   前記代表色度が、目標とする色度である目標色度に近付くように、前記第１の画像における全部又は一部の領域である第２の領域の画素の色値を調整する処理を、均等色空間である第２の色空間で行うことにより、第２の画像を生成する機能と
   を実現させるためのプログラム。

Images