JP2011059960A - 画像処理装置、シミュレーション装置、画像処理方法、シミュレーション方法、及びプログラム - Google Patents

Abstract

【課題】ウェーブレット変換時にリンギング歪が発生することにより、シミュレーション結果における出力画像の精度が低下していた。
【解決手段】人物画像データにおける画素を、肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、前記肌領域と前記背景領域との境界となる境界エッジを抽出する画像分離・エッジ抽出手段と、前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、当該領域以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理手段と、前記エッジ・背景処理手段により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理手段と、前記背景領域の画素値を、前記エッジ・背景処理手段によって置換される前の初期の背景領域の画素値で置換することにより画像処理された肌領域と前記背景領域との画像データを合成する画像合成手段とを有する。
【選択図】 図１

Description

本発明は、画像処理装置、シミュレーション装置、画像処理方法、シミュレーション方法、及びプログラムに関する。特にウェーブレット変換による画像処理方法と、化粧料を素肌に塗布した画像のシミュレーション方法に関するものである。

顧客がメイクアップ化粧料の購買時に、皮膚への化粧料の適応（塗布）により、毛穴、しみやそばかすなどがどのように目立たなくなるか、又は素肌のツヤがどのように変化するかが重要な評価項目となっている。しかし、皮膚にファンデーション等のメイクアップ化粧料を適用した場合、メイクアップ化粧料そのものの色ではなく、素肌の色、質感が影響を与え、実際に皮膚に化粧料を塗布しなければその化粧料の仕上がりを確認することができないのが現状である。

そこで、近年、実際に化粧料を顔に塗布することなく、簡易に化粧料を皮膚に塗布した場合の仕上がりを確認可能とするため、コンピュータ上でシミュレーションする手法が検討されている。

例えば、特許文献１では、偏光を用いて顔画像を撮影し、それらを独立成分分析して鏡面反射光成分を分解し、ウェーブレット（Ｗａｖｅｌｅｔ）変換による多重解像度解析を行う。そして、高周波成分又は低周波成分に増減を加えた後、これらの画像を再合成することで肌の質感を変化させたシミュレーション方法が開示されている。

しかし、上記のような方法で原信号に対し、高周波成分又は低周波成分のウェーブレット係数を変更して逆ウェーブレット変換で復号するサブバンド分解・合成による画像処理を行う場合、復号信号の急峻なエッジの近傍に微細な疑似エッジ（リンギング）が発生する。特に顔画像を用いた場合では、背景領域と肌領域の輪郭部に沿って、白い線上のノイズが生じ、強い違和感を生じさせる結果となる。

リンギングは、ブロック歪みと異なり、発生場所が画像に依存し、ブロックサイズのみで決まるブロック歪みに比べて、発生場所を特定することが困難である。従って、従前のブロックノイズの除去方法（例えば、特許文献２参照）をそのまま用いることができない。

このようなリンギングの発生を低減する方法として、特許文献３では、特定座標を含む分割画像にエッジ成分が含まれる場合に、第２の高周波サブバンドにおける特定座標の分割画像に対してコアリング処理（入力信号の絶対値が閾値よりも低い場合に、信号を抑制（例えば、閾値以下を一律に０に）する処理）を行わないように制御する。これにより、エッジ近傍のウェーブレット係数を変更させず、リンギングの発生を抑制している。

また、特許文献４では、伸張画像データの各画素のエッジ量を算出し、閾値ε（＝エッジ量×α（定数）×圧縮率）を求め、閾値ε以下の薄いエッジ量が検出された近傍画像に対して平滑化フィルタ処理を行うことで、リンギングを目立たなくさせている。

特開２００５−４４６８号公報 特開２０００−５０２７５号公報 特開２００７−４８１７６号公報 特開２００６−１３５５２１号公報

しかし、特許文献３では、輪郭近傍に対して処理を行わないため、変換処理を適用後の画像データにおける輪郭近傍の質感が他の領域と異なったように見える。特に顔画像に適用して、シミュレーション処理を実施した場合、顔の輪郭情報は目立ちやすいため、顔の印象が異なったものとなり、処理結果に違和感を覚えるという問題があった。

また、特許文献４では、閾値εの設定が難しく、設定した値によっては鮮鋭度の悪い画像となり、ぼやけたような印象を与える画像となる。また、この手法による顔領域を対象としたシミュレーション方法では、シミや小ジワなどのリンギング歪みと異なるエッジも平滑化して、消してしまうことがある。その結果、シミュレーションの精度が低下する問題があった。

本発明は、上述の問題に鑑みて成されたものであり、リンギング歪みを効果的に除去した画像を生成する画像処理装置、画像処理方法、シミュレーション装置、シミュレーション方法及びそのためのプログラムを提供することを目的とする。また、上記リンギング歪みを効果的に除去したメイクアップシミュレーション装置、シミュレーション処理方法及びそのためのプログラムを提供することを目的とする。

本発明は、上記を解決するために以下の構成を有する。顔画像を含む人物画像データに対する変換処理に伴うノイズを抑制する画像処理装置であって、前記人物画像データにおける画素を、肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、当該両領域の境界となる境界エッジを抽出する画像分離・エッジ抽出手段と、前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、当該領域以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理手段と、前記エッジ・背景処理手段により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理手段と、前記サブバンド処理手段によって得られた画像データのうち、前記背景領域の画素値を、前記エッジ・背景処理手段によって置換される前の初期の背景領域の画素値で置換することにより画像処理された肌領域と前記背景領域との画像データを合成する画像合成手段とを有する。

本発明によれば、顔画像を含む人物画像データに対して、サブバンド分解・合成による画像処理を行う際に生ずるリンギング歪みの発生を効果的に抑えた画像処理結果を提供することが可能である。特に本発明を、メイクアップ化粧料を塗布した顔を予測するメイクアップシミュレーションに用いた場合、人物画像においてキメや小ジワ等の肌情報や、輪郭部分付近の部分的な劣化がなく、顔画像の輪郭部分が不自然に強調されることのない、自然なメイクアップシミュレーション画像が得ることができる。

第一の実施形態に係る画像処理装置のブロック構成例である。 第一の実施形態に係る画像処理のフローチャートを示す図である。 第一の実施形態に係るエッジ抽出およびデータの分離処理の一例を示すフローチャート図である。 第一の実施形態に係るエッジ抽出およびデータの分離処理の一例を示すフローチャート図である。 第一の実施形態に係るエッジ近傍の画素値による置換処理を説明するための図である。 ソーベルフィルタを説明するための図である。 第一の実施形態に係るエッジ部分の置換を説明するための図である。 第一の実施形態に係る画像データの分割・統合を説明するための図である。 第一の実施形態に係る処理結果の一例を示す図である。 第二の実施形態に係るシミュレーション装置のブロック構成例である。 第二の実施形態に係るシミュレーション処理のフローチャートを示す図である。

以下では、図を参照して、本発明における実施形態について説明する。なお、本実施形態にて境界エッジと記載しているものは、人物画像データにおいて肌領域と背景領域（肌領域以外）との境界に位置する画素を指す。

＜第一の実施形態＞
以下に第一の実施形態として、画像処理装置について詳細に説明する。

［画像処理装置の構成］
図１は、本発明の実施形態に係る画像処理装置１におけるブロック構成例を示す図である。画像処理装置１は、大きく分けて、画像入力部１１、操作部１２、出力部１３、事前処理部１４、係数記憶部１５、画像処理部１６を備える。画像処理装置１は、画像入力部１１から入力された顔画像を含む人物画像データをもとに、画像処理部１６において顔画像に対して所定の画像処理を施す。画像処理が施された画像処理結果は、画像処理装置１の出力部１３によって出力する。

次に各部の構成、及び処理の流れについて説明する。画像入力部１１は、デジタルカメラやイメージスキャナ等により得られた顔画像を含む人物画像データを電子データとして入力する。操作部１２は、操作者からの指示を受け付け、画像処理装置１の各部に対し、人物画像データ等へ適用する処理を指示する。出力部１３は、画像処理結果を文字、グラフや画像等で液晶ディスプレイ等のモニタに表示、又は紙媒体等に印刷出力を行い、操作者による画像処理結果の確認を可能とする。事前処理部１４は、画像処理部１６で行う画像処理に必要な重み付け係数を算出する。係数記憶部１５は、事前処理部１４で得られた重み付け係数を保持する。

画像処理部１６は、画像分離・エッジ抽出部１６１、背景データ記憶部１６２、エッジ・背景処理部１６３、サブバンド処理部１６４、画像合成部１６５を有する。画像分離・エッジ抽出部１６１は、
（１）画像入力部１１で入力された顔画像を含む人物画像データにおける各画素が肌領域に属するものか、肌領域以外（以下、背景領域）に属するものかを判別し、肌領域画像データと背景領域画像データとに分離し（肌領域と背景領域とに分ける）、
（２）肌領域と背景領域との境界に位置する画素を境界エッジとして抽出し（エッジ抽出）、
（３）背景領域に属する画像データ（画素値）を、背景領域画像の初期値として背景データ記憶部１６２に保存する。

尚、係数記憶部１５、背景データ記憶部１６２としては、ハードディスク、ＲＡＭやネットワークストレージなど、情報を保持するための装置であればどのようなものでも構わない。また、ここでは分けて記載しているが、同一の装置であってもかまわない。

エッジ・背景処理部１６３では、
（１）背景領域のうち、画像分離・エッジ抽出部１６１で抽出された境界エッジから一定画素範囲にある領域の画素値を、境界エッジ近傍の肌領域の画素値で置換し、
（２）上記領域以外の背景領域の画素値を肌領域の全画素値の平均値にて置換する。

ここで、上記処理手順とは逆に処理を行っても良い。具体的には、エッジ・背景処理部１６３において、
（１’）背景領域の画素値を肌領域の全画素値の平均値にて置換し、
（２’）背景領域のうち、画像分離・エッジ抽出部１６１で抽出された境界エッジから一定画素範囲にある領域の画素値を、境界エッジ近傍の肌領域の画素値で再置換する。

その後、エッジ・背景処理部１６３にて背景領域の画素値が置換された画像データは、サブバンド処理部１６４へ移行される。

サブバンド処理部１６４は、ブロック分割部１６４１、サブバンド分解・補正部１６４２、ブロック統合部１６４３から構成される。ブロック分割部１６４１は、サブバンド分解・補正部１６４２において、膨大な記憶領域を確保せず、高速に処理できるように画像データを所定の大きさに分割する。尚、十分な記憶領域確保でき高速な処理機能であれば、ブロック分割部１６４１はスキップし、サブバンド分解・補正部１６４２に直接移行しても良い。

サブバンド分解・補正部１６４２は、ウェーブレット変換を用いたサブバンド分解により、画像データを複数の周波数成分に分解し、分解後の信号値としてウェーブレット係数を得る。得られた各レベルの高周波数成分ＬＨ、ＨＬ、ＨＨに、事前処理部１４で算出し係数記憶部１５に保持されている重み付け係数を乗算させることにより、ウェーブレット係数を補正する。次に、サブバンド合成して画像データを再構成することで、処理画像データを生成する。

ブロック統合部１６４３は、ブロック分割部１６４１で画像データが分割された場合、サブバンド分解・補正部１６４２で生成された処理画像データを統合する。尚、ブロック分割部１６４１をスキップした場合は、ブロック統合部１６４３での処理を行わず、直接、画像合成部１６５へ移行する。

画像合成部１６５では、サブバンド処理部にて生成した処理画像データのうち、入力画像データの背景領域に該当する領域の画像データを、エッジ・背景処理部１６３において置換される前の画素値、すなわち、背景データ記憶部１６２にて保存していた背景領域画素データの初期値により置換する。これにより、サブバンド処理部１６４で画像処理された肌領域画像データと初期の背景領域画像データを合成させた処理画像データを得る。

［各部の機能及び処理］
画像処理装置1における各部の機能及び処理について、詳述する。

［事前処理部１４、係数記憶部１５］
事前処理部１４は、ウェーブレット変換によるサブバンド分解によって、分解された画像を再構成するときに、ウェーブレット係数を補正操作するために使用する重み付け係数を算出する。そして、重み付け係数を係数記憶部１５に記憶させ、保持する。

ここで、ウェーブレット変換による基本的な画像処理を行う場合の重み付け係数を設定する手段において関連する処理を説明するが、当該方法に限定されるものではない。

１）ノイズ除去処理
一般にデジタルカメラで被写体を撮影すると、固体撮像素子を電圧に変換する際にノイズが生じる。このような画像上のノイズを除去するために、平滑化処理を行う。特に人物画像の場合、注目されやすい顔領域にノイズ除去処理（平滑化）を行うことで違和感が無い画像となる。

対象画像において、ノイズが点状で存在する場合、高周波成分の寄与が大きいため、高周波成分を抑制させるように重み付け係数を設定するが、鮮鋭度が過度に劣化しないよう、留意する必要がある。なお、本実施形態における重み付け係数の算出および設定は、予め算出し、係数記憶部１５に保持しておくことにより、対象画像に依存して算出せず、汎用的な係数を用いても良い。

２）画像圧縮
コンピュータ等の記憶領域を有効に活用するために、画像圧縮技術が活用される。特に人物画像の場合、顔面部は肌の細かな凹凸、陰影によって情報量が増加すると考えられ、違和感が無い程度に情報圧縮を行えることが望ましい。また、ウェーブレット変換は可逆圧縮が可能であるため、印刷等で処理する場合は元画像に再構成することもできる。

情報圧縮を行う際には、画像の周波数成分が低周波成分に集中していることを利用する。なお、本実施形態における重み付け係数の算出および設定は、予め算出し、係数記憶部１５に保持しておくことにより、対象画像に依存して算出せず、汎用的な係数を用いても良い。

３）肌の質感（テクスチャ）変換
背景技術にて上述したように近年、肌の質感（テクスチャ）を変化させるシミュレーション方法に、ウェーブレット変換によるサブバンド分解・合成手法が活用されている。例えば、肌画像に対してテカリを抑える、ツヤを与える、キメを滑らかにする、キメを荒くするといった皮膚の質感を変化させる画像処理を行う。これらの質感補正特性を肌領域画像データに付加するための重み付け係数を画像処理の前に算出しておく。

本実施形態における重み付け係数の算出は、予め目的とする質感を変化させる前と変化させた後の顔画像データに対し、それぞれ次数Ｎ＝８のＤａｕｂｅｃｈｉｅｓのウェーブレット変換によるサブバンド分解を行い、各サブバンド分解レベルの標準偏差を求める。そして、それらの比率から重み付け係数を求める。目的とする質感変化処理ごとに重み付け係数の算出処理を行い、係数記憶部１５に記憶させ、保持する。尚、比較に使用する画像データは、ほぼ同一解像度で取得しておくことが必要である。

［画像分離・エッジ抽出部１６１］
画像分離・エッジ抽出部１６１は、画像入力部１１で入力された顔画像を含む人物画像データを肌領域と背景領域との画像データに分離し、また、所定のアルゴリズムによって境界エッジの位置を特定する。肌領域と背景領域の画像データの分離方法とエッジ抽出方法は、当該方法に合わせて、同時に並行して実施しても良いし、一方の処理毎に順番に実施してもよい。以下に上述した２つの処理を同時に実施する場合と順に実施する場合のそれぞれの手法について一例を説明する。

なお、明記しない限り、背景領域とは、背景と、目、髪の毛、眉毛、鼻の穴、唇等の肌以外の領域とを含めた領域をいう。

［画像データ分離とエッジ抽出とを同時に行う手法例］
１）肌領域画像データ及び背景領域画像データの分離
画像分離・エッジ抽出部１６１は、画像入力部１１で入力された顔画像を含む人物画像データを、肌領域に属する画素か背景領域に属する画素かを判別し、肌領域画像データと背景領域画像データとに分離する。以下では、人物画像データを、肌領域に属するデータと背景領域に属するデータに分離する手段を説明するが、当該方法に限定されるものではない。

まず、被験者の人物画像データの各画素が有するＲＧＢ値を取り出す。そして、各画素のＲ、Ｇ、Ｂ値から、下記の式（１）により、Ｎｏｒｍａｌｉｚｅｄ＿Ｒ、Ｎｏｒｍａｌｉｚｅｄ＿Ｇ及び、ＹＩＱ表色系のＹ値を求める。

そして、求めた値と予め定義した閾値との比較により当該画素が肌領域に属するものか背景領域に属するものかを判別し、肌領域画像データと背景領域画像データとに分離する。

２）エッジ抽出方法
人物画像データにおいて、肌領域と背景領域との境界に位置する画素を抽出し、境界エッジとして特定する。本手法では、エッジ抽出は、図３に示すように人物画像データを肌領域に属する画素と背景領域に属する画素とに分離する上記の処理と同時に行う。

具体的な境界エッジの抽出方法としては、図５に示すように、人物画像データにおける人物領域（顔領域）の中心線５０１（垂直線）を基準として、画像の水平方向、画像の両端に向けて走査させる。水平方向の走査の場合、画像の水平方向をｘ軸と設定し、画像データの左端から右端に向かう方向を正方向とする。ｘ軸の中心線５０１から正方向へ走査し、走査中は各画素について肌領域か背景領域か判定する。画像末端まで走査が終了したら、判定結果が肌領域から背景領域に変化する境界に位置する画素を境界エッジとして抽出する。この処理を全てのｘ軸の正方向及び負方向について実施して境界エッジを抽出する。なお、境界を構成する肌領域側の画素と背景領域側の画素のうち、どちらを境界エッジとしても良い。以下では、境界を構成する画素のうち背景領域側の画素を境界エッジとして説明する。

画像の走査は水平方向（ｘ軸方向）に限らず、垂直方向（ｙ軸方向）であっても構わない。この場合、人物画像（顔領域）の中心付近を通る水平線（中心線５０１と直角をなす）を基準として、ｙ軸の中心線から全ての正方向及び負方向へ走査し境界エッジを抽出する。ここでは画像データの下端から上端に向かう方向を正方向とする。一般的に肌領域は、略円形もしくは略楕円形であるため、全ての境界エッジを抽出するにはｘ軸とｙ軸の両方の走査を行うことが望ましい。しかし、処理時間が増加するため、x軸方向のみの走査であっても構わない。または、y軸方向のみの操作であっても構わない。

［画像データ生成とエッジ抽出を順に行う手法例］
画像データ生成とエッジ抽出を順に行う方法について述べる。境界エッジの抽出方法は上記方法に限らず、例えば微分フィルタによって濃度差から求める方法やウェーブレット変換による方法など、公知の方法を利用することもできる。ここでは、詳しくは説明せず、下記に概要のみ説明する。これらの方法を適用する場合、人物画像データを走査させて全画素を調べる方法ではないため、例えば図４のように、はじめにエッジ抽出を人物画像データの全画素を対象に行う。そして、抽出したエッジに基づき特定される領域を肌領域と背景領域とに分類し、肌領域と背景領域の境界を境界エッジとする。その後、境界エッジの位置が記録された肌領域画像データと、背景領域画像データを分離する。

例えば、顔のパターンであれば、画像データにおいて顔の輪郭のエッジは一番大きな領域における外側のエッジであり、その内側に目、口、鼻などのエッジが抽出される。そのためテンプレートなどを使い、顔の輪郭のエッジや目口鼻のエッジの位置を特定する。例えば、人物画像データから抽出されたエッジのうち、顔の輪郭の抽出が予想される領域において抽出されたエッジを輪郭エッジとし、目口鼻などの抽出が予想される領域において抽出されたエッジを、それぞれ目口鼻のエッジとする。そして、これらのエッジが抽出された後、抽出されたエッジに基づいて肌領域画像データ及び背景領域画像データを分離する。
具体的には輪郭エッジと、目口鼻の各エッジとの間の領域を肌領域、輪郭エッジより外の領域及び目口鼻の各エッジよりも内側の領域を背景領域とする。もしくは、予め肌領域を判定するための画素の閾値を用意しておき、各エッジに囲まれた領域の画素の値が与えられた閾値内であれば肌領域とみなす。それ以外の領域は、背景領域とみなす。この処理によって肌領域画像データと背景領域画像データを分離しても良い。以上の処理により順に画像データの分離とエッジ抽出を行うこともできる。

ａ）微分フィルタによるエッジ抽出
微分フィルタを用いてエッジを抽出する方法としては、図６に示すような３×３のソーベルフィルタを用いて各画素に適用し、画素間における濃淡の差が大きい箇所をエッジ画素として抽出する。

ソーベルフィルタを用いる際に、エッジの走査方向の値にのみ依存しないようにする為、Ｘ方向とＹ方向のフィルタを組み合わせて勾配が大きい部分をエッジとして検出することが望ましい。横方向に検出されたエッジ画素の濃度値をｆｘ（ｘ，ｙ）、縦方向に検出されたエッジ画素の濃度値をｆｙ（ｘ，ｙ）とすると、この両方の検出をかけた画素の濃度値ｆ’（ｘ，ｙ）は、以下の式（２）で求めることができる。

尚、顔画像が対象の場合、ＲＧＢの濃淡の差は小さいため、各画素のＲＧＢの値から下記の式（３）により、ＨＳＶ表色系におけるＨ（色相）値に変換してから、フィルタをかけることが望ましい。

ｂ）ウェーブレット変換によるエッジ抽出
ウェーブレット変換結果を用いてエッジを抽出する方法は、例えば、次数Ｎ＝８のＤａｕｂｅｃｈｉｅｓのウェーブレット変換によるサブバンド分解を４レベルまで行い、各レベル成分の高周波数成分ＬＨ、ＨＬ、ＨＨを２倍し、低周波成分ＬＬを０とする。そして、各レベル画像を逆ウェーブレット変換によって再構成することで、画素間における濃淡の差が大きい箇所をエッジ画素として抽出する。

３）背景領域画素データの保存
分離した肌領域画像データと背景領域画像データのうち背景領域の画素データは、画像合成部１６５において、画像処理を施した肌領域画像データと背景領域画像データを合成するために、背景領域の初期値として背景データ記憶部１６２に保存する。画像合成部１６５における合成処理については後述する。

［エッジ・背景処理部１６３］
エッジ・背景処理部１６３は、画像分離・エッジ抽出部１６１で分離された背景領域に対し、以下の処理を行う。
（１）背景領域のうち、画像分離・エッジ抽出部１６１で抽出された境界エッジから一定画素範囲にある領域の画素値を、境界エッジ近傍の肌領域の画素値で置換する。
（２）上記領域以外の背景領域の画素値を肌領域における全画素値の平均値に置換する。

つまり、（１）により肌領域近傍の背景領域のデータ置換を行い、（２）によりそれ以外の背景領域のデータ置換を行う。なお、上記（１）及び（２）の置換処理は逆の順で処理を行っても良い。具体的には、
（１’）背景領域の画素値を、肌領域における全画素値の平均値に置換し、
（２’）背景領域のうち画像分離・エッジ抽出部１６１で抽出された境界エッジの位置から一定画素範囲にある領域の画素値を、境界エッジ近傍の肌領域の画素値で再置換する。

１）境界エッジ近傍の肌領域の画素値による背景領域画像データの置換
本実施形態において、サブバンド分解後に重み付け処理を行い、画像データを再合成した際に境界エッジ周辺に発生するリンギング歪みは、サブバンド分解レベルＮ＝２〜６に対する重み付け処理に伴って発生する。ウェーブレット変換のサブバンド分解レベルが大きくなるにつれて、データ置換を行う境界エッジ近傍の背景領域の範囲を広くすることで、リンギング歪みの発生を抑えることが可能である。また、データを置換する背景領域の範囲は境界エッジから２のＮ乗画素とすることもできる。

データを置換する背景領域の範囲は、処理の処理時間や画像品質により、適宜調整を行うことができる。本実施形態においては、処理効率の点から、特に視覚的ノイズの影響が大きいＮ＝２〜５の重み付け処理によって発生するリンギング歪みを抑制するため、境界エッジから３２画素（２の５乗）の範囲にある領域をデータ置換する背景領域とする。

置換される背景領域の画素値は、サブバンド合成を行ったとき、境界エッジの濃度差が原因となりリンギング歪が抑制できる濃度差に設定すれば良い。本発明では、境界エッジ近傍の肌領域の画素値で置換する。具体的には、図７（ａ）のように境界エッジ画素に隣接する肌色領域の画素で置換しても良いし、図７（ｂ）のように境界エッジ画素に隣接する肌領域における所定領域（例えば、３×３画素領域）の平均値で置換しても良い。

また、本実施形態において、エッジ抽出処理を水平方向と垂直方向の両方向に対して行った場合、重複して抽出した境界エッジ画素に対する置換を、いずれかの方向の処理を優先しても良い。もしくは、両方の抽出処理が完了した後に境界エッジ画素とそれに隣接する背景領域の画素との値の差を基準として適用する置換値を選択の上、決定しても良い。

２）肌領域の平均画素値による背景領域画像データの置換
背景領域の画素値と肌領域の全画素の平均値が大きく異なる場合、低周波成分の寄与が大きくなる。そのため、ウェーブレット変換によるサブバンド合成を実行すると、肌領域の陰影情報が変化し、見た目にも画像全体の明るさが変化したように見える。その結果、人物画像データにおいて、背景領域の画素値が肌領域と同じ程度の画素値（ＲＧＢ値の平均値）でない場合、サブバンド合成すると、肌領域の明るさが全体的に変わって見えるという問題が生じる。そこで、画像データの上記領域以外の背景領域の画素値を肌領域の画素値に近い値に置換する。本実施形態では、肌領域全体の画素値の平均値を背景領域の画素値とする。

［ブロック分割部１６４１］
ブロック分割部１６４１は、サブバンド分解・補正部１６４２で膨大な記憶領域を確保せず、高速に処理できるように、処理対象画像データを予め定義したブロックのサイズに分割し、複数のブロック画像にする。本実施形態においては、処理効率の点からブロック画像のサイズを幅２５６画素、高さ２５６画素の大きさに分割しているが、処理時間や画質により必要に応じて、分割するブロック画像の幅及び高さを適宜調整しても良い。

このとき、単純に処理対象画像データを分割すると、サブバンド分解及び合成後にブロック統合部１６４３において統合した画像は、統合部分にノイズがある状態になる。それは、サブバンド合成処理後に各ブロック分割画像の周辺にリンギング歪が生じており、そのまま統合すると各画像が持つノイズが処理画像に反映されてしまうからである。

そのため、図８（ａ）に示すように隣接する画像における上下左右の端から所定画素数の領域を重複してブロック分割を行う。本実施形態においては、処理効率の点から、エッジ・背景処理部１６３と同様に３２画素（２の５乗）を重複画素範囲としているが、処理時間や画像品質により重複画素範囲は適宜調整を行っても良い。なお、ブロック画像に分割した後に、ウェーブレット変換によるサブバンド分解合成を実施する場合、分割する画像のサイズとして幅、高さは理論上、重複画素範囲を含めた領域を２のべき乗とすることが望ましい。

［サブバンド分解・補正部１６４２］
サブバンド分解・補正部１６４２は、肌の質感を変化させるために行う画像処理に必要な重み付け係数を、係数記憶部１５から取得し、ブロック分割部１６４１で分割した各ブロック画像データに対して、ウェーブレット変換によるサブバンド分解を行う。そして、得られた各レベルの高周波数成分ＬＨ、ＨＬ、ＨＨに重み付け係数を乗算し、ＬＬを０とし、サブバンド合成して画像データを再構成する。これにより処理対象である画像データにおける肌領域に対し、テカリを抑える、ツヤを与える、キメを滑らかにするといった肌の質感を変化させることができる。

［ブロック統合部１６４３］
ブロック統合部１６４３は、ブロック分割部１６４１で分割し、サブバンド処理部１６４で処理された複数のブロック画像データを分割前の配置と同様になるように、統合処理を行う。統合処理は、隣接するブロック画像データのブロック分割部１６４１で設定した所定領域を重複させる。なお、図８（ｂ）に示すようにブロック画像７０１及び７０２を統合する場合、斜線領域７０３及び７０４の重複画素部分を切り捨てても良いし、斜線領域７０３及び７０４を補間演算などの処理を施し、ブロック画像７０１及び７０２の重複画素範囲に反映させてから切り捨てても良い。

［画像合成部１６５］
画像合成部１６５は、サブバンド処理部１６４にて生成した処理画像データのうち、背景領域の画像データを、エッジ・背景処理部１６３でデータ置換される前の初期値、即ち背景データ記憶部１６２に保存させていた背景領域画像データの初期値で置換することにより合成し、目的とする画像処理が施された人物画像データを生成する。

［画像処理の手順］
次に、本実施形態における画像処理装置１の画像処理の手順を、図２を用いて説明する。Ｓ１０１では、顔画像を含む人物画像データを取得する。画像処理装置１は、例えば操作部１２の操作によって、撮像装置（不図示）と連携し、画像入力部１１で被験者の顔画像を含む人物画像を撮影することによって人物画像データを取得する。その後、人物画像データはＳ１０２へ移行する。

Ｓ１０２では、画像分離・エッジ抽出部１６１において顔画像を含む人物画像データを肌領域か背景領域か判別し、肌領域画像データと背景領域画像データとに分離する。そして、肌領域と背景領域の境界部分より境界エッジを抽出する。背景領域の画像データ（画素値）は、背景領域に関する初期のデータとして背景データ記憶部１６２に記憶させる。Ｓ１０２で肌領域画像データと背景領域画像データに分離され、境界エッジが抽出された画像データはＳ１０３へ移行する。

Ｓ１０３では、エッジ・背景処理部１６３において、背景領域のうち境界エッジから当該境界エッジを含む所定数の画素範囲にある領域について、その画素値を当該境界エッジに接する画素の画素値、若しくは境界エッジ近傍画素の画素値の平均値で置換する。一方、上記以外の背景領域については、その画素値を肌領域の全画素値の平均値で置換する。Ｓ１０３の処理によって、人物画像データは、背景領域が境界エッジ近傍の肌領域の画素値若しくは肌領域の全画素値の平均値で置換された画像データとなり、Ｓ１０４へ移行する。

Ｓ１０４では、ブロック分割部１６４１において、Ｓ１０３から移行された画像データを、予め定義したブロックサイズ（２５６×２５６画素）に分割し、複数のブロック画像にする。このとき、本実施形態では、図８（ａ）に示すように隣接する上下左右の端を予め定義した重複画素範囲を重複させて分割する。

次に、サブバンド分解・補正部１６４２において、分割した各ブロック画像データに対し、Ｄａｕｂｅｃｈｉｅｓのウェーブレット変換によるサブバンド分解を実行し、各周波数成分に分解する。これにより異なる周波数帯域に対応した各分解レベルの成分を、ＲＧＢ値ごとに取得することができる。そして、取得したＲＧＢ値ごとの各分解レベルの高周波数成分ＬＨ、ＨＬ、ＨＨに対して、係数記憶部１５に記憶させておいた重み付け係数を乗算することにより、補正処理を実行する。その後、ウェーブレット逆変換により、再構成する。なお、本工程における補正にて用いる重み付け係数の値は、事前処理部１４で重み付け係数を算出しても良いし、別途外部からダウンロード等により取得しても良い。

次にブロック統合部１６４３において、サブバンド分解・補正部１６４２で構成処理された複数のブロック画像を、分割処理前の配置になるように統合させる。このとき、隣接する画像はブロック分割部１６４１で指定した重複画素範囲を重複させる。統合された画像は、次のＳ１０５へ移行する。

Ｓ１０５では、画像合成部１６５において、統合画像のうち初期の背景領域に相当する領域の画素値を、Ｓ１０２で背景データ記憶部１６２に保存させておいた背景領域（背景部分と目、眉毛等の部分を含む）の初期画素値に置換する。これにより、肌領域画像と初期の背景画像とを合成し、人物画像の肌領域に画像処理を施した画像を生成する。そして、出力部１３へ移行し、本処理を終了する。

［実行結果例］
人物画像の境界エッジ部分について、図９（ａ）にウェーブレット変換によるサブバンド分解・合成を行う前に、本実施形態のエッジ・背景処理部１６３の処理を行っていない画像を、図９（ｂ）にエッジ・背景処理部１６３の処理を行った画像を示す。

図９（ａ）では、境界エッジ内側の肌領域が処理前に比べ明るくなり、逆に境界エッジ外側が暗くなっていることから、リンギング歪みが発生していることが分かる。一方、本発明の画像処理を行った図９（ｂ）においては、上記リンギング歪みが発生していない。

＜第二の実施形態＞
本発明における第二の実施形態として、メイクアップ化粧料（以下、「化粧料」と称する）を塗布していない顔（以下、素顔という。）の皮膚の色を化粧料を塗布した顔（以下、化粧料塗布顔という。）の皮膚の色に変換させる機能を備えることにより、化粧料を皮膚に塗布したシミュレーション画像を模擬することが可能なシミュレーション装置を実現することができる。以下に第二の実施形態について説明する。

［シミュレーション装置の構成］
図１０は、本実施形態に係るシミュレーション装置２のブロック構成例を示す図である。シミュレーション装置２は、大きく分けて、画像入力部２１、操作部２２、出力部２３、事前処理部２４、係数記憶部２５、画像処理部２６、色情報入力部２７、化粧肌色推定部２８を備える。第一の実施形態と第二の実施形態との違いは、第二の実施形態では色情報入力部２７、化粧肌色推定部２８を追加していることである。

シミュレーション装置２は、画像入力部２１から入力された被験者の素顔の顔画像を含む人物画像データと、色情報入力部２７から入力された被験者の素顔の皮膚の色の色情報から、画像処理部２６で所定の画像処理を施す。これにより、被験者の顔に化粧料を塗布した場合の仕上がりをシミュレーションできる。被験者は、シミュレーション結果をシミュレーション装置２の出力部２３から確認することができる。

次に各部の構成について説明する。画像入力部２１は、シミュレーションを受ける被験者の素顔の顔画像を含む人物画像データが、デジタルカメラやイメージスキャナ等により入力される。操作部２２は、シミュレーション装置２の各部に対し、シミュレーションを行う操作者が処理を指示する。出力部２３は、シミュレーション結果を文字やグラフ及び画像等で液晶ディスプレイ等のモニタに表示又は紙媒体等に印刷出力を行う。これにより、被験者及び操作者がシミュレーション結果を確認できる。事前処理部２４は、化粧料塗布による肌の質感変化を画像処理部２６において画像データに付与するために必要な重み付け係数を、シミュレーションする化粧料ごとに算出する。係数記憶部２５は、事前処理部２４で得られた化粧料ごとの重み付け係数を保持する。

色情報入力部２７は、分光測色計を用いて計測された被験者の所定箇所（頬、目の下、額中心、顎部等）の素肌色の色情報を分光反射率として入力される。化粧肌色推定部２８では、色情報入力部２７で入力された被験者の素肌の分光反射率と、シミュレーションに用いる化粧料の所定のデータとを用いて、化粧料塗布顔の皮膚の色情報として分光反射率を推定する。画像処理部２６は、画像分離・エッジ抽出部２６１、背景データ記憶部２６２、エッジ・背景処理部２６３、サブバンド処理部２６４、画像合成部２６５、肌色変換部２６６を有する。画像処理部２６は、第一の実施形態との構成と違い、肌色変換部２６６が追加している。

画像分離・エッジ抽出部２６１は、
（１）画像入力部２１で入力された素顔の顔画像を含む人物画像データにおける各画素が肌領域に属するものか背景領域に属するものかを判別し、肌領域画像データと背景領域画像データとに分離し、
（２）肌領域と背景領域との境界に位置する画素を境界エッジとして抽出し、
（３）背景領域画像データ（画素値）を、背景領域画像の初期値として、背景データ記憶部２６２に保存する。

肌色変換部２６６は、化粧肌色推定部２８から化粧料塗布顔の皮膚の色情報として取得した分光反射率をＲＧＢ値に変換し、画像分離・エッジ抽出部２６１で分離した肌領域画像データの各画素に対し、化粧料塗布顔の皮膚の色に変換する。肌色変換部２６６にて素肌色を化粧肌色に変換された肌領域画像データを含む画像データはエッジ・背景処理部２６３に移行する。

エッジ・背景処理部２６３以降のサブバンド処理部２６４のブロック分割部２６４１、サブバンド分解・補正部２６４２、ブロック統合部２６４３と、画像合成部２６５の処理は、第一の実施形態にて述べた画像処理装置1のエッジ・背景処理部１６３から画像合成部１６５の処理と同じ処理が実施される。

次に第二の実施形態におけるシミュレーション装置２に特有の構成部の機能及び処理について、詳述する。

［事前処理部２４、係数記憶部２５］
事前処理部２４は、化粧料によってテカリを抑える、ツヤを与えるといった皮膚の質感補正特性を人物画像データに付加するための重み付け係数を化粧料それぞれについて算出する。そして、係数記憶部２５に記憶させ、保持する。

重み付け係数の算出は、予めサンプル被験者の化粧料を塗布していない状態の顔（以下、サンプル素肌という。）の画像データと、化粧料を一定の厚さで塗布した状態の顔（以下、サンプル化粧料塗布肌という。）の画像データをそれぞれ次数Ｎ＝８のＤａｕｂｅｃｈｉｅｓのウェーブレット変換によるサブバンド分解を行い、各分解レベルの標準偏差を求め、サンプル素肌の標準偏差とサンプル化粧料塗布肌の比率から重み付け係数を求める。

上記の重み付け算出処理をシミュレーションに利用する化粧料の数だけ行い、これらの重み付け係数を係数記憶部２５に記憶させ、保持する。尚、被験者の人物画像データとサンプル素肌画像データ、サンプル化粧料塗布肌画像データとは、ほぼ同一解像度で取得しておくことが必要である。

［化粧肌色推定部２８］
化粧肌色推定部２８は、色情報入力部２７から得た被験者の素肌色の所定箇所における分光反射率と、シミュレーションに用いる化粧料の所定のデータを用いて、化粧料塗布肌色の分光反射率を推定する。
１）化粧料塗布肌の分光反射率Ｒａ（λ）の推定
化粧料塗布肌の分光反射率Ｒａ（λ）は、クベルカ・ムンク理論、モンテカルロ法、逆モンテカルロ法などの公知の分光反射推定理論に基づいて推定することができる。以下では、クベルカ・ムンク理論による分光反射率Ｒａ（λ）を推定する手段を説明するが、分光反射率の推定は当該方法に限定されるものではない。

クベルカ・ムンク理論に基づき、分光反射率Ｒａ（λ）は、素肌層の分光反射率Ｒｂ（λ）、化粧料の散乱係数Ｓｆ（λ）及び吸収係数Ｋｆ（λ）、皮膚に塗布された化粧料層の厚みＤｆ、並びに化粧料層表面と空気層の境界面反射率Ｒｉ（λ）を用いることによって求めることができる。

まず、化粧料層の分光反射率Ｒｆ（λ）及び分光透過率Ｔｆ（λ）が、化粧料の散乱係数Ｓｆ（λ）、吸収係数Ｋｆ（λ）、及び厚みＤｆを用いて次の式（４）により求められる。

さらに、化粧料塗布肌の分光反射率Ｒａ（λ）は、Ｒｂ（λ）、Ｒｉ（λ）、並びに式（４）により求めたＲｆ（λ）及びＴｆ（λ）に基づいて、式（５）により推定することができる。

ここで、化粧料の散乱係数Ｓｆ（λ）及び吸収係数Ｋｆ（λ）に関しては、下地の色を完全に遮蔽する十分厚い塗膜の分光反射率Ｒ∞（λ）、下地が透けるような薄い塗膜の分光反射率Ｒ０（λ）及びその厚みＤ０、並びに下地の分光反射率Ｒｇ（λ）に基づいて、以下の式（６）により予め求めておく。

なお、素肌層の分光反射率Ｒｂ（λ）に関しては、分光測色計を用いて、被験者の素肌を計測しておく必要がある。そのためには、例えば、被験者の肌で事前に計測した値を、被験者の肌の色情報として色情報入力部２７に入力できるようにすればよい。あるいは、一度入力された値を色情報入力部２７に記憶させておき、その値をシミュレーションで再利用できるようにしてもよい。また、化粧料固有の各分光反射率Ｒ∞（λ）、Ｒ０（λ）、及びＲｇ（λ）に関しても、予め計測しておく必要がある。これらの値についても、予め各化粧料に関して測色計を用いて計測し、計測値を化粧肌色推定部２８に記憶させておくことにより、シミュレーションで利用できる。

一方、化粧料層の厚みＤｆは人により塗り方や好みにより個人差が大きく、また、塗膜表面と空気層の境界面反射率Ｒｉ（λ）は化粧料を塗布する前の皮膚の滑らかさや化粧のり加減によって変わる。従って、Ｄｆ及びＲｉ（λ）を実際に計測することは困難である。そこで、例えば、画像処理装置１への入力により、Ｄｆ及びＲｉ（λ）としておおよその値を設定してもよいし、予めデフォルト値を設定してもよい。また、被験者に対するアンケート等により、当該デフォルト値をインタラクティブに調整できるようにしてもよい。

［肌色変換部２６６］
肌色変換部２６６は、化粧肌色推定部２８から推定した化粧料塗布肌色の分光反射率Ｒａ（λ）をＲＧＢ変換し被験者の化粧肌色を求め、画像分離・エッジ抽出部２６１で分離した肌領域画像データの各画素に対し、化粧料塗布顔の皮膚の色に変換する。

本実施形態においては、被験者の素顔の顔画像を含む人物画像データの目鼻交点付近の領域を代表肌領域と定める。そして、当該代表肌領域の分光反射率から算出した化粧料塗布肌色を化粧肌色の基本色とする。ここで、目鼻交点とは、目の中心付近から垂直に伸びる直線と、小鼻の中心位置から水平方向に伸びる直線の交差部分の領域であり、顔画像における頬の部分にあたる肌領域に対応する。そして、肌領域画像データの各画素と、画像分離・エッジ抽出部２６１で得られた肌領域画像データ上の代表肌領域における肌色の画素との差分を当該化粧肌色の基本色に加算することで化粧肌色に変換している。

尚、化粧肌色の精度を高めるために、肌領域画像データを顔の立体形状等から複数の箇所に分割し、分割箇所ごとに代表肌領域を設定し、当該分割箇所ごとの化粧肌色に変換することもできる。例えば、目鼻の交点以外に、目の下、額中心、下唇の下を代表肌領域として分光反射率を測定し、化粧料塗布肌色の分光反射率を推定して、それぞれの代表肌領域の化粧肌色における基本色を求める。その後、頬部、目周辺部、額部、顎部の分割肌領域画像データと、それぞれに該当する代表肌領域の肌色の差分を、それぞれの化粧肌の基本色に加算することで、それぞれの分割箇所ごとの化粧肌色へ変換する。

１）化粧料肌色の基本色（Ｒｆ，Ｇｆ，Ｂｆ）の算出
化粧肌色推定部２８で得られた化粧料塗布肌色の分光反射率Ｒａ（λ）は、色の表示に用いる光源下におけるＣＩＥ−ＸＹＺ表色系の三刺激値ＸＹＺに変換した後、式（７）の線形変換により、ＲＧＢ値へ変換される。尚、色の表示に用いる光源は、光源の分光分布Ｓ（λ）が既知であれば、標準光源でなくても問題ない。

ＲＧＢ値への色変換は、出力部２３の色再現特性に合わせて、補正を行う必要がある。例えば、式（８）に完全拡散反射面の三刺激値（Ｘｎ，Ｙｎ，Ｚｎ）及び、色の表示に用いる光源の分光分布Ｓ（λ）、ＸＹＺ表色系における等色関数（ｘ（λ），ｙ（λ），ｚ（λ））を代入することで得られるＣｘ、Ｃｙ、Ｃｚで補正する。なお、式（８）における分光分布及び等色関数には、可視光領域４００〜７００（ｎｍ）の範囲でＮ（ｎｍ）ごとの波長λｐでサンプリングした情報を用いる。Ｎは使用する分光測色計の仕様に合わせる。

２）肌領域画像データの化粧肌色への変換
代表肌領域を設定した場合、当該代表肌領域の化粧肌色の基本色（Ｒｆ，Ｇｆ，Ｂｆ）を用いて、画像分離・エッジ抽出部２６１で得られた肌領域画像データの各画素のＲＧＢ値（Ｒ，Ｇ，Ｂ）を化粧肌色の各画素のＲＧＢ値（Ｒ’，Ｇ’，Ｂ’）へ変換する。

本実施形態では、以下の式（９）により、肌領域画像データの各画素のＲＧＢ値（Ｒ，Ｇ，Ｂ）と、肌領域画像データの代表画素領域におけるＲＧＢの各平均値（Ｒｎ，Ｇｎ，Ｂｎ）の差分を化粧肌色の基本色（Ｒｆ，Ｇｆ，Ｂｆ）に加算する。これにより、肌の質感を表現するテクスチャ情報を維持したまま、化粧肌色（Ｒ’，Ｇ’，Ｂ’）に変換できる。

［シミュレーション処理の手順］
次に、本実施態様におけるシミュレーション装置２のシミュレーションの手順を、図１１を用いて説明する。Ｓ２０１で、被験者の化粧料を塗布していない素顔の顔画像を含む人物画像データと、被験者の素肌色の色情報を取得する。シミュレーション装置２は、例えば、操作部２２の操作によって撮像装置（不図示）と連携し、画像入力部２１で被験者の化粧料を塗布していない素顔の顔画像を含む人物画像を撮影する。これにより、人物画像データを取得し、色情報入力部２７で被験者の素肌色の色情報（分光反射率）を取得する。その後、被験者の人物画像データはＳ２０２へ、被験者の素肌色の色情報（分光反射率）はＳ２０３へ移行する。

Ｓ２０２では、画像分離・エッジ抽出部２６１において人物画像データを肌領域画像データと背景領域画像データとに分離し、境界エッジを抽出すると同時に、背景領域の画像データ（画素値）を背景データ記憶部２６２へ記憶させる。

Ｓ２０３では、化粧肌色推定部２８において上述した手法等により素肌色の色情報（分光反射率）を用いて、化粧料塗布肌色の分光反射率を推定する。

Ｓ２０４では、肌色変換部２６６において、Ｓ２０３で推定した分光反射率から化粧料塗布肌色の基本色（Ｒｆ，Ｇｆ，Ｂｆ）を算出する。そして、化粧料塗布肌色の基本色（Ｒｆ，Ｇｆ，Ｂｆ）を用いて、Ｓ２０２で分離した肌領域画像の全画素（Ｒ，Ｇ，Ｂ）を化粧肌色（Ｒ’，Ｇ’，Ｂ’）へ変換し、Ｓ２０５へ移行する。

Ｓ２０５では、エッジ・背景処理部２６３にて、背景領域のうち境界エッジから当該境界エッジを含む所定画素範囲にある領域について、その画素値を当該境界エッジに接する画素の画素値、若しくは境界エッジ近傍画素の画素値の平均値で置換する。一方、上記以外の背景領域については、その画素値を肌領域の全各画素値の平均値で置換する。Ｓ２０５の処理によって、人物画像データは、背景領域が境界エッジ近傍の肌領域の画素値若しくは肌領域の全画素値の平均値で置換された画像データとなって、Ｓ２０６へ移行する。

Ｓ２０６では、サブバンド分解・合成処理における処理効率の点から、ブロック分割部２６４１において、Ｓ２０５で処理した被験者の画像データを、予め定義したブロックサイズ（２５６×２５６画素）にブロック画像として分割する。このとき、本実施形態においては分割した各ブロック画像は、図８（ａ）に示すように隣接する画像の上下左右の端を予め定義した画素領域を重複させる。

次に、サブバンド分解・補正部２６４２において、各ブロック画像データに対し、Ｄａｕｂｅｃｈｉｅｓのウェーブレット変換によるサブバンド分解を実行し、各周波数成分に分解する。これにより異なる周波数帯域に対応した各分解レベルの成分データを、ＲＧＢ値ごとに取得する。そして、取得した高周波数成分ＬＨ、ＨＬ、ＨＨのＲＧＢそれぞれに対して、係数記憶部２５に記憶させておいたシミュレーションを行う化粧料に係る重み付け係数を乗算し、ＬＬを０にすることにより、化粧料塗布に伴う質感変化に関する補正処理を実行する。その後、ウェーブレット逆変換により、再構成する。なお、本工程における補正にて用いる重み付け係数の値は、重み付け係数を算出する処理を行って求めても良いし、別途外部からダウンロード等により取得しても良い。

次に、サブバンド分解・補正部２６４２において処理された各ブロック画像を、ブロック統合部２６４３において分割処理前の配置となるように、隣接する画像がブロック分割部２６４１において指定した重複画素領域と重なるように、ブロック統合処理を行い、Ｓ２０７へ移行する。

Ｓ２０７では、ブロック統合部２６４３で統合された画像の背景領域に相当する領域の画素値を、Ｓ２０２で背景データ記憶部２６２に保存させておいた背景領域（背景部分と目、眉毛等の部分を含む）の初期画素値に置換する。これにより、化粧料塗布顔へと変換された肌領域画像と初期の背景画像とを合成し、人物画像にメイクアップシミュレーション処理を施した画像を生成する。そして、出力部２３へ移行し、本処理を終了する。

＜他の実施形態＞
以上の処理をプログラムとしてＣＤ−Ｒ、ＤＶＤ−Ｒ、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フラッシュメモリ等の記憶媒体に記憶させ、この記憶媒体に記憶されているプログラムをコンピュータに読み込ませる（インストール、もしくはコピーさせる）ことで、このコンピュータは上記の処理を行うことができる。よって、このようなプログラムや記憶媒体も本発明の範疇にあることは明白である。

１ 画像処理装置
１１ 画像入力部
１２ 操作部
１３ 出力部
１４ 事前処理部
１５ 係数記憶部
１６ 画像処理部

Claims (9)

1. 顔画像を含む人物画像データに対する変換処理に伴うノイズを抑制する画像処理装置であって、
   前記人物画像データにおける画素を、肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、前記肌領域と前記背景領域との境界となる境界エッジを抽出する画像分離・エッジ抽出手段と、
   前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、当該領域以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理手段と、
   前記エッジ・背景処理手段により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理手段と、
   前記サブバンド処理手段によって得られた画像データのうち、前記背景領域の画素値を、前記エッジ・背景処理手段によって置換される前の初期の背景領域の画素値で置換することにより画像処理された肌領域と前記背景領域との画像データを合成する画像合成手段と
   を有することを特徴とする画像処理装置。
2. 前記画像分離・エッジ抽出手段は、
   前記人物画像データの水平方向の中心にある画素を基準として、前記人物画像データの水平方向の両端に向けて走査し、肌領域に属する画素か背景領域に属する画素かを判定し、該肌領域と該背景領域との境界に位置する画素を境界エッジとして抽出する手段と、
   前記人物画像データの垂直方向の中心にある画素を基準として、前記人物画像データの垂直方向の両端に向けて走査し、肌領域に属する画素か背景領域に属する画素かを判定し、該肌領域と該背景領域との境界に位置する画素を境界エッジとして抽出する手段と
   の少なくとも一方を有することを特徴とする請求項１に記載の画像処理装置。
3. 被験者の素肌の顔画像を含む人物画像データに対し画像処理を行い、化粧料を塗布した化粧肌の人物画像をシミュレーションするシミュレーション装置であって、
   前記人物画像データにおける画素を、肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、前記肌領域と前記背景領域との境界となる境界エッジを抽出する画像分離・エッジ抽出手段と、
   被験者の化粧料を塗布していない素顔の皮膚の色（素肌色）の色情報を取得する色情報入力手段と、
   前記色情報と塗布する化粧料のデータとに基いて、被験者の化粧料を塗布した皮膚の色（化粧料塗布肌色）の色情報を推定する化粧肌色推定手段と、
   前記化粧肌色推定手段により推定した化粧料塗布肌色の色情報を用いて、前記肌領域における画素値を変換する肌色変換手段と、
   前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、当該領域以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理手段と、
   前記エッジ・背景処理手段により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理手段と、
   前記サブバンド処理手段によって得られた画像データのうち、前記背景領域の画素値を、前記エッジ・背景処理手段によって置換される前の初期の背景領域の画素値で置換することにより化粧料塗布肌色に変換された肌領域と前記背景領域との画像データを合成する画像合成手段と
   を有することを特徴とするシミュレーション装置。
4. 顔画像を含む人物画像データに対する変換処理に伴うノイズを抑制する画像処理装置の画像処理方法であって、
   前記画像処理装置の画像分離・エッジ抽出手段が、前記人物画像データにおける画素を肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、前記肌領域と前記背景領域との境界となる境界エッジを抽出する画像分離・エッジ抽出工程と、
   前記画像処理装置のエッジ・背景処理手段が、前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、当該領域以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理工程と、
   前記画像処理装置のサブバンド処理手段が、前記エッジ・背景処理工程により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理工程と、
   前記画像処理装置の画像合成手段が、前記サブバンド処理手段によって得られた画像データのうち、前記背景領域の画素値を、前記エッジ・背景処理工程によって置換される前の初期の背景領域の画素値で置換することにより画像処理された肌領域と前記背景領域との画像データを合成する画像合成工程と
   を有し、
   前記画像分離・エッジ抽出工程は、
   前記人物画像データにおける画素を、前記肌領域に属する画素か前記背景領域に属する画素かを判別し、肌領域画像データと背景領域画像データとに分離する分離工程と、
   前記肌領域画像データと前記背景領域画像データとの境界に位置する画素を境界エッジとして抽出する抽出工程と、
   前記背景領域画像データの値を、前記初期の背景領域の画素値として保存する保存工程とを有し、
   前記エッジ・背景処理工程は、
   前記背景領域画像データのうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジに隣接する前記肌領域の画素値、若しくは当該境界エッジの近傍における前記肌領域の画素値の平均値で置換し、当該領域以外の背景領域の画素値を前記肌領域に属する全画素の画素値の平均値で置換する置換工程と
   を有することを特徴とする画像処理方法。
5. 顔画像を含む人物画像データに対する変換処理に伴うノイズを抑制する画像処理装置の画像処理方法であって、
   前記画像処理装置の画像分離・エッジ抽出手段が、前記人物画像データにおける画素を肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、前記肌領域と前記背景領域との境界となる境界エッジを抽出する画像分離・エッジ抽出工程と、
   前記画像処理装置のエッジ・背景処理手段が、前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、それ以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理工程と、
   前記画像処理装置のサブバンド処理手段が、前記エッジ・背景処理工程により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理工程と、
   前記画像処理装置の画像合成手段が、前記サブバンド処理手段によって得られた画像データのうち、前記背景領域の画素値を、前記エッジ・背景処理工程によって置換される前の初期の背景領域の画素値で置換することにより画像処理された肌領域と前記背景領域との画像データを合成する画像合成工程と
   を有し、
   前記画像分離・エッジ抽出工程は、
   前記人物画像データの所定領域内において抽出されるエッジを前記境界エッジとして抽出する抽出工程と、
   前記抽出工程において抽出された前記境界エッジに基いて、前記人物画像データにおける画素を、前記肌領域に属する画素と前記背景領域に属する画素とに分離する分離工程と
   前記背景領域に属する画素である背景領域画像データの値を、前記初期の背景領域の画素値として保存する保存工程とを有し、
   前記エッジ・背景処理工程は、
   前記背景領域画像データのうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジに隣接する前記肌領域の画素値、若しくは当該境界エッジの近傍における前記肌領域の画素値の平均値で置換し、当該領域以外の背景領域の画素値を前記肌領域に属する全画素の画素値の平均値で置換する置換工程と
   を有することを特徴とする画像処理方法。
6. 被験者の素肌の顔画像を含む人物画像データに対し画像処理を行い、化粧料を塗布した化粧肌の人物画像をシミュレーションするシミュレーション装置の画像処理方法であって、
   前記シミュレーション装置の画像分離・エッジ抽出手段が、前記人物画像データにおける画素を、肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、前記肌領域と前記背景領域との境界となる境界エッジを抽出する画像分離・エッジ抽出工程と、
   前記シミュレーション装置の色情報入力手段が、被験者の化粧料を塗布していない素顔の皮膚の色である素肌色の色情報を取得する色情報入力工程と、
   前記シミュレーション装置の化粧肌色推定手段が、前記色情報と塗布する化粧料のデータとに基いて、被験者の化粧料を塗布した皮膚の色である化粧料塗布肌色の色情報を推定する化粧肌色推定工程と、
   前記シミュレーション装置の肌色変換手段が、前記化粧肌色推定工程により推定した化粧料塗布肌色の色情報を用いて、前記肌領域における画素値を変換する肌色変換工程と、
   前記シミュレーション装置のエッジ・背景処理手段が、前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、当該領域以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理工程と、
   前記シミュレーション装置のサブバンド処理手段が、前記エッジ・背景処理工程により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理工程と、
   前記シミュレーション装置の画像合成手段が、前記サブバンド処理工程によって得られた画像データのうち、前記背景領域の画素値を、前記エッジ・背景処理手段によって置換される前の初期の背景領域の画素値で置換することにより化粧料塗布肌色に変換された肌領域と前記背景領域との画像データを合成する画像合成工程と
   を有し、
   前記画像分離・エッジ抽出工程は、
   前記人物画像データにおける画素を、前記肌領域に属する画素か前記背景領域に属する画素かを判別し肌領域画像データと背景領域画像データとに分離する分離工程と、
   前記肌領域画像データと前記背景領域画像データとの境界に位置する画素を境界エッジとして抽出する抽出工程と、
   前記背景領域画像データの値を、前記初期の背景領域の画素値として保存する保存工程とを有し、
   前記エッジ・背景処理工程は、
   前記背景領域画像データのうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジに隣接する前記肌領域の画素値、若しくは当該境界エッジの近傍における前記肌領域の画素値の平均値で置換し、当該領域以外の背景領域の画素値を前記肌領域に属する全画素の画素値の平均値で置換する置換工程と
   を有することを特徴とする画像処理方法。
7. 被験者の素肌の顔画像を含む人物画像データに対し画像処理を行い、化粧料を塗布した化粧肌の人物画像をシミュレーションするシミュレーション装置の画像処理方法であって、
   前記シミュレーション装置の画像分離・エッジ抽出手段が、前記人物画像データにおける画素を、肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、前記肌領域と前記背景領域との境界となる境界エッジを抽出する画像分離・エッジ抽出工程と、
   前記シミュレーション装置の色情報入力手段が、被験者の化粧料を塗布していない素顔の皮膚の色である素肌色の色情報を取得する色情報入力工程と、
   前記シミュレーション装置の化粧肌色推定手段が、前記色情報と塗布する化粧料のデータとに基いて、被験者の化粧料を塗布した皮膚の色である化粧料塗布肌色の色情報を推定する化粧肌色推定工程と、
   前記シミュレーション装置の肌色変換手段が、前記化粧肌色推定工程により推定した化粧料塗布肌色の色情報を用いて、前記肌領域における画素値を変換する肌色変換工程と、
   前記シミュレーション装置のエッジ・背景処理手段が、前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、当該領域以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理工程と、
   前記シミュレーション装置のサブバンド処理手段が、前記エッジ・背景処理工程により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理工程と、
   前記シミュレーション装置の画像合成手段が、前記サブバンド処理工程によって得られた画像データのうち、前記背景領域の画素値を、前記エッジ・背景処理手段によって置換される前の初期の背景領域の画素値で置換することにより化粧料塗布肌色に変換された肌領域と前記背景領域との画像データを合成する画像合成工程と
   を有し、
   前記画像分離・エッジ抽出工程は、
   前記人物画像データの所定領域内において抽出されるエッジを前記境界エッジとして抽出する抽出工程と、
   前記抽出工程において抽出された前記境界エッジに基いて、前記人物画像データにおける画素を、前記肌領域に属する画素と前記背景領域に属する画素とに分離する分離工程と、
   前記背景領域に属する画素である背景領域画像データの値を、前記初期の背景領域の画素値として保存する保存工程とを有し、
   前記エッジ・背景処理工程は、
   前記背景領域画像データのうち、前記境界エッジから一定画素範囲にある領域に画素値を、当該境界エッジに隣接する前記肌領域の画素値、若しくは当該境界エッジの近傍における前記肌領域の画素値の平均値で置換し、当該領域以外の背景領域の画素値を前記肌領域に属する全画素の画素値の平均値で置換する置換工程と
   を有することを特徴とする画像処理方法。
8. 画像処理装置を、
   顔画像を含む人物画像データにおける画素を、肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、前記肌領域と前記背景領域との境界となる境界エッジを抽出する画像分離・エッジ抽出手段と、
   前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、それ以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理手段と、
   前記エッジ・背景処理手段により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理手段と、
   前記サブバンド処理手段によって得られた画像データのうち、前記背景領域の画素値を、前記エッジ・背景処理手段によって置換される前の初期の背景領域の画素値で置換することにより画像処理された肌領域と前記背景領域との画像データを合成する画像合成手段と
   して機能させることを特徴とするプログラム。
9. シミュレーション装置を、
   被験者の素肌の顔画像を含む人物画像データにおける画素を、肌領域に属する画素と肌領域以外の領域である背景領域に属する画素とに分離し、前記肌領域と前記背景領域との境界となる境界エッジを抽出する画像分離・エッジ抽出手段と、
   被験者の化粧料を塗布していない素顔の皮膚の色である素肌色の色情報を取得する色情報入力手段と、
   前記色情報と塗布する化粧料のデータとに基いて、被験者の化粧料を塗布した皮膚の色である化粧料塗布肌色の色情報を推定する化粧肌色推定手段と、
   前記化粧肌色推定手段により推定した前記化粧料塗布肌色の色情報を用いて前記肌領域における画素を変換する肌色変換手段と、
   前記背景領域のうち、前記境界エッジから一定画素範囲にある領域の画素値を、当該境界エッジ近傍の肌領域の画素値で置換し、それ以外の背景領域の画素値を、前記肌領域の全画素値の平均値で置換するエッジ・背景処理手段と、
   前記エッジ・背景処理手段により背景領域の画素値が置換された画像データに対し、サブバンド分解及び合成による画像処理を行うサブバンド処理手段と、
   前記サブバンド処理手段によって得られた画像データのうち、前記背景領域の画素値を、前記エッジ・背景処理手段によって置換される前の初期の背景領域の画素値で置換することにより化粧料塗布肌色に変換された肌領域と前記背景領域との画像データを合成する画像合成手段と
   して機能させることを特徴とするプログラム。