JP2002352258A - 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 目や口などの部位の画像を貼りこむ前に、顔
画像に含まれる部位の領域の塗りつぶしや部位の画像の
補正を効率よく行い、表情合成の際に眼鏡や前髪を認識
し、合成する部位の画像を選択することで、リアルな合
成を可能とする。 【解決手段】 顔画像入力手段１０１により、顔画像を
入力し、次に、部位領域検出手段１０２により、顔画像
に含まれる、目、鼻、口、頬などの部位を含む領域を検
出する。次に、部位領域塗りつぶし手段１０３により、
検出した部位領域の内部を塗りつぶし、次に、合成手段
１０５により、部位領域を塗りつぶした顔画像に、部位
記憶手段１０４に記憶されている部位の画像を合成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力した画像を利
用して静止画像または動画像を生成する画像処理装置、
画像処理方法および画像処理プログラムならびに画像処
理プログラムを記録した記録媒体に関し、例えばパソコ
ン、ディジタルカメラ、ＣＡＤ、携帯電話機、携帯情報
端末、テレビゲーム等の画像処理機能を有する電子機器
全般に利用される。

【０００２】

【従来の技術】従来の表情合成技術では、表情合成を行
う場合、顔画像のテクスチャを変形する際に多くの点の
対応付けで行っていた。

【０００３】しかしこの方法では、閉じている口を開け
たり、開いている口を閉じたりすることは難しかった。
そこで、本発明者らは、予め用意した唇画像を貼りこむ
ことで、閉じている口を開けたり、開いている口を閉じ
たりすることを実現した画像処理装置を提案している
（特願平２０００−３５４４７２号参照）。

【０００４】また、表情合成の際、顔画像に眼鏡が含ま
れる場合には、眼鏡も同じように変形されることにな
る。そのため、特開平６−１３９３１８号公報に記載の
ものでは、表情を変化させるとき、予め眼鏡をかけてい
ない顔画像を使用し、表情を変化させた後に眼鏡の合成
を行っていた。

【０００５】

【発明が解決しようとする課題】しかしながら、上記し
た従来の表情合成技術では、以下に示す種々の問題があ
った。すなわち、唇などの部位の画像を貼りこむ場合、
貼りこむ前に顔画像の口などの部位領域を塗りつぶす必
要があるが、部位領域を塗りつぶす際に塗りつぶす色が
比較的悪い場合には、顔画像が不自然なものとなる。部
位の画像を貼りこむ前に、用意した部位の画像を補正す
る際、顔画像に含まれる部位の色の抽出精度が悪い場合
には、合成する部位の画像が不自然なものとなる。顔の
テクスチャ画像に含まれる目や頬などを変形する際に、
その変形部分に眼鏡が含まれた場合には、眼鏡が共に変
形されて不自然なものとなる。また、眼鏡を予め用意し
ておく方法では、比較的リアルな合成を実現することが
できない。また、目や眉を変形する際に前髪が含まれた
場合には、前髪が共に変形されて不自然な動きとなる。
また、部位の画像を合成する際、表情によって部位の形
は大きく変わるため、画像の変形のみでは不自然な部位
の形となる場合がある。

【０００６】本発明はかかる問題点を解決すべく創案さ
れたもので、その目的は、目や口などの部位の画像を貼
りこむ前に、顔画像に含まれる部位の領域の塗りつぶし
や部位の画像の補正を効率よく行うとともに、表情合成
の際に眼鏡や前髪を認識し、合成する部位の画像を選択
することで、リアルな合成を可能とした画像処理装置、
画像処理方法および画像処理プログラムならびに画像処
理プログラムを記録した記録媒体を提供することにあ
る。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、本発明の画像処理装置は、顔画像を入力する顔画像
入力手段と、顔画像に含まれる部位の領域を検出する部
位領域検出手段と、検出された部位領域内を少なくとも
一つの色で塗りつぶす部位領域塗りつぶし手段を備えた
ことを特徴とする。また、本発明の画像処理方法は、顔
画像を入力する顔画像入力手順と、入力された顔画像に
含まれる部位の領域を検出する部位領域検出手順と、検
出された部位領域内を少なくとも一つの色で塗りつぶす
部位領域塗りつぶし手順とを含むことを特徴とする。ま
た、本発明の画像処理プログラムは、コンピュータ読み
取り可能な画像処理プログラムであって、顔画像を入力
する顔画像入力ステップと、入力された顔画像に含まれ
る部位の領域を検出する部位領域検出ステップと、検出
された部位領域内を少なくとも一つの色で塗りつぶす部
位領域塗りつぶしステップとを含むことを特徴とする。

【０００８】このような特徴を有する本発明によれば、
顔画像における任意の部位を塗りつぶすことで顔画像か
ら消去することができるため、その後に予め用意した部
位の画像を合成しても違和感のない合成画像を作成する
ことができる。

【０００９】また、本発明の画像処理装置によれば、目
や口など少なくとも一つの部位の画像を記憶する部位記
憶手段と、前記部位領域塗りつぶし手段で塗りつぶした
顔画像に前記部位記憶手段で記憶された部位画像を合成
する合成手段とをさらに備えたことを特徴とする。ま
た、本発明の画像処理方法によれば、目や口など少なく
とも一つの部位の画像を記憶する部位記憶手順と、前記
部位領域塗りつぶし手順で塗りつぶした顔画像に前記部
位記憶手順で記憶された部位画像を合成する合成手順と
をさらに含むことを特徴とする。また、本発明の画像処
理プログラムによれば、目や口など少なくとも一つの部
位の画像を記憶する部位記憶ステップと、前記部位領域
塗りつぶしステップで塗りつぶした顔画像に前記部位記
憶ステップで記憶された部位画像を合成する合成ステッ
プとをさらに含むことを特徴とする。

【００１０】このような特徴を有する本発明によれば、
部位を消去した顔画像に予め用意した顔画像を合成する
ため、変形では得られない表情合成を行うことができ
る。

【００１１】また、本発明の画像処理装置によれば、前
記部位領域検出手段で検出された領域に含まれる任意の
座標を塗りつぶす色情報を前記画像入力手段によって入
力された顔画像に含まれる少なくとも一つの画素の色情
報から求める色決定手段を備えたことを特徴とする。ま
た、本発明の画像処理方法によれば、前記部位領域検出
手順で検出された領域に含まれる任意の座標を塗りつぶ
す色情報を前記画像入力手順によって入力された顔画像
に含まれる少なくとも一つの画素の色情報から求める色
決定手順を含むことを特徴とする。また、本発明の画像
処理プログラムによれば、前記部位領域検出ステップで
検出された領域に含まれる任意の座標を塗りつぶす色情
報を前記画像入力ステップによって入力された顔画像に
含まれる少なくとも一つの画素の色情報から求める色決
定ステップを含むことを特徴とする。

【００１２】このような特徴を有する本発明によれば、
領域を塗りつぶす色を、領域周囲の色から抽出し、色
相、彩度、明度を徐々に変化させることで、自然に領域
を塗りつぶすことができる。

【００１３】また、本発明の画像処理装置によれば、前
記部位領域検出手段で検出された領域に含まれる任意の
座標と検出された領域の周囲に含まれる少なくとも二つ
の任意の座標との距離を計算する距離計算手段と、前記
距離計算手段で距離を計算した領域の周囲に含まれる少
なくとも二つの座標における色を抽出する色抽出手段
と、前記距離計算手段で求めた少なくとも二つの距離と
前記色抽出手段で抽出した少なくとも二つの色とから求
めた色情報を前記色決定手段で求める色情報とする領域
周囲色決定手段とをさらに備えたことを特徴とする。ま
た、本発明の画像処理方法によれば、前記部位領域検出
手順で検出された領域に含まれる任意の座標と検出され
た領域の周囲に含まれる少なくとも二つの任意の座標と
の距離を計算する距離計算手順と、前記距離計算手順で
距離を計算した領域の周囲に含まれる少なくとも二つの
座標における色を抽出する色抽出手順と、前記距離計算
手順で求めた少なくとも二つの距離と前記色抽出手順で
抽出した少なくとも二つの色とから求めた色情報を前記
色決定手順で求める色情報とする領域周囲色決定手順と
をさらに含むことを特徴とする。また、本発明の画像処
理プログラムによれば、前記部位領域検出ステップで検
出された領域に含まれる任意の座標と検出された領域の
周囲に含まれる少なくとも二つの任意の座標との距離を
計算する距離計算ステップと、前記距離計算ステップで
距離を計算した領域の周囲に含まれる少なくとも二つの
座標における色を抽出する色抽出ステップと、前記距離
計算手順で求めた少なくとも二つの距離と前記色抽出ス
テップで抽出した少なくとも二つの色とから求めた色情
報を前記色決定ステップで求める色情報とする領域周囲
色決定ステップとをさらに含むことを特徴とする。

【００１４】このような特徴を有する本発明によれば、
領域を塗りつぶす色を、領域周囲の色から抽出し、色
相、彩度、明度を徐々に変化させることで、自然に領域
を塗りつぶすことができる。つまり、部位を塗りつぶす
色を領域の外側から内側へ徐々に変更していくことで、
塗りつぶしても比較的違和感なく、顔画像の部位を消去
することができる。

【００１５】また、本発明の画像処理装置によれば、前
記部位領域検出手段で検出された領域に含まれる少なく
とも二つの画素から色情報を抽出する領域内色抽出手段
と、前記領域内色抽出手段によって抽出された色情報の
平均を求める平均計算手段と、前記平均計算手段によっ
て求めた色情報を前記色決定手段で求める色情報とする
領域平均色決定手段とをさらに備えたことを特徴とす
る。また、本発明の画像処理方法によれば、前記部位領
域検出手順で検出された領域に含まれる少なくとも二つ
の画素から色情報を抽出する領域内色抽出手順と、前記
領域内色抽出手順によって抽出された色情報の平均を求
める平均計算手順と、前記平均計算手順によって求めた
色情報を前記色決定手順で求める色情報とする領域平均
色決定手順とをさらに含むことを特徴とする。また、本
発明の画像処理プログラムによれば、前記部位領域検出
ステップで検出された領域に含まれる少なくとも二つの
画素から色情報を抽出する領域内色抽出ステップと、前
記領域内色抽出ステップによって抽出された色情報の平
均を求める平均計算ステップと、前記平均計算ステップ
によって求めた色情報を前記色決定ステップで求める色
情報とする領域平均色決定ステップとをさらに含むこと
を特徴とする。

【００１６】このような特徴を有する本発明によれば、
領域を塗りつぶす色を、領域に含まれる複数の画素の色
情報の平均によって求めることにより、色相、彩度、明
度を徐々に変化させることで、自然に領域を塗りつぶす
ことができる。つまり、部位を塗りつぶす色を領域に含
まれる複数の画素の色の平均の色で塗りつぶすことによ
り、比較的違和感なく、顔画像の部位を消去することが
できる。

【００１７】また、本発明の画像処理装置によれば、前
記色決定手段によって決定された色を、前記部位領域検
出手段によって検出された領域の中心座標との距離によ
って色相、彩度、明度の少なくとも一つを変更する色補
正手段をさらに備えたことを特徴とする。また、本発明
の画像処理方法によれば、前記色決定手順によって決定
された色を、前記部位領域検出手順によって検出された
領域の中心座標との距離によって色相、彩度、明度の少
なくとも一つを変更する色補正手順をさらに含むことを
特徴とする。また、本発明の画像処理プログラムによれ
ば、前記色決定ステップによって決定された色を、前記
部位領域検出ステップによって検出された領域の中心座
標との距離によって色相、彩度、明度の少なくとも一つ
を変更する色補正ステップをさらに含むことを特徴とす
る。

【００１８】このような特徴を有する本発明によれば、
領域内の位置によって色の補正を行うため、部位の領域
を顔の形状に近い膨らんだ感じで塗りつぶすことができ
る。

【００１９】また、本発明の画像処理装置によれば、部
位領域を塗りつぶした顔画像と塗りつぶす前の顔画像の
対応する座標の画素同士の色相、彩度、明度のうち少な
くとも一つを比較することで、閾値以上の値の差をもつ
少なくとも一つの画素を抽出する画素抽出手段と、前記
画素抽出手段によって抽出した画素の色相、彩度、明度
のうち少なくとも一つの平均と、目や口などの部位の画
像の色相、彩度、明度のうち少なくとも一つの平均との
比率を求める比率計算手段と、前記比率計算手段で求め
られた比率によって部位の画像を補正する画像補正手段
とをさらに備えたことを特徴とする。また、本発明の画
像処理方法によれば、部位領域を塗りつぶした顔画像と
塗りつぶす前の顔画像の対応する座標の画素同士の色
相、彩度、明度のうち少なくとも一つを比較すること
で、閾値以上の値の差をもつ少なくとも一つの画素を抽
出する画素抽出手順と、前記画素抽出手順によって抽出
した画素の色相、彩度、明度のうち少なくとも一つの平
均と、目や口などの部位の画像の色相、彩度、明度のう
ち少なくとも一つの平均との比率を求める比率計算手順
と、前記比率計算手順で求められた比率によって部位の
画像を補正する画像補正手順とをさらに含むことを特徴
とする。また、本発明の画像処理プログラムによれば、
部位領域を塗りつぶした顔画像と塗りつぶす前の顔画像
の対応する座標の画素同士の色相、彩度、明度のうち少
なくとも一つを比較することで、閾値以上の値の差をも
つ少なくとも一つの画素を抽出する画素抽出ステップ
と、前記画素抽出ステップによって抽出した画素の色
相、彩度、明度のうち少なくとも一つの平均と、目や口
などの部位の画像の色相、彩度、明度のうち少なくとも
一つの平均との比率を求める比率計算ステップと、前記
比率計算ステップで求められた比率によって部位の画像
を補正する画像補正ステップとをさらに含むことを特徴
とする。

【００２０】このような特徴を有する本発明によれば、
部位を塗りつぶした画像と元の顔画像とを比較すること
で、比較的容易に部位の色情報を抽出することができ
る。そして、顔画像によって異なる部位の色情報に合わ
せて、予め用意した部位の画像を補正することができる
ので、部位の画像を違和感なく合成することができる。

【００２１】また、本発明の画像処理装置によれば、顔
画像の部位の大きさを認識する画像認識手段と、前記画
像認識手段によって認識した部位の大きさに合わせて合
成する部位の画像の大きさを変更する画像サイズ変更手
段とをさらに備えたことを特徴とする。また、本発明の
画像処理方法によれば、顔画像の部位の大きさを認識す
る画像認識手順と、前記画像認識手順によって認識した
部位の大きさに合わせて合成する部位の画像の大きさを
変更する画像サイズ変更手順とをさらに含むことを特徴
とする。また、本発明の画像処理プログラムによれば、
顔画像の部位の大きさを認識する画像認識ステップと、
前記画像認識ステップによって認識した部位の大きさに
合わせて合成する部位の画像の大きさを変更する画像サ
イズ変更ステップとをさらに含むことを特徴とする。

【００２２】このような特徴を有する本発明によれば、
元の画像における部位の大きさを認識し、その大きさに
合わせて部位を合成することで、比較的元の顔画像に類
似した部位の画像を合成することができる。すなわち、
異なる部位の大きさに合わせて、予め用意した部位の画
像の大きさを変更することができるため、部位の画像を
違和感なく合成することができる。

【００２３】また、本発明の画像処理装置によれば、顔
画像における眉、目、口、頬などの変形を行う領域を抽
出する変形候補領域抽出手段と、前記変形候補領域抽出
手段で抽出された少なくとも一つの変形候補領域のうち
表情情報によってどの領域を変形するかを決定する変形
領域決定手段と、前記変形領域決定手段によって決定さ
れた変形領域を変形の程度を決める変形パラメータに従
って変形する顔画像変形手段とをさらに備えたことを特
徴とする。また、本発明の画像処理方法によれば、顔画
像における眉、目、口、頬などの変形を行う領域を抽出
する変形候補領域抽出手順と、前記変形候補領域抽出手
順で抽出された少なくとも一つの変形候補領域のうち表
情情報によってどの領域を変形するかを決定する変形領
域決定手順と、前記変形領域決定手順によって決定され
た変形領域を変形の程度を決める変形パラメータに従っ
て変形する顔画像変形手順とをさらに含むことを特徴と
する。また、本発明の画像処理プログラムによれば、顔
画像における眉、目、口、頬などの変形を行う領域を抽
出する変形候補領域抽出ステップと、前記変形候補領域
抽出ステップで抽出された少なくとも一つの変形候補領
域のうち表情情報によってどの領域を変形するかを決定
する変形領域決定ステップと、前記変形領域決定ステッ
プによって決定された変形領域を変形の程度を決める変
形パラメータに従って変形する顔画像変形ステップとを
さらに含むことを特徴とする。

【００２４】このような特徴を有する本発明によれば、
顔画像における眉、目、口、頬などの変形候補領域のう
ち、表情情報から変形領域および変形パラメータを決定
することで、変形領域を様々な形状に変形することがで
きるため、目的とする表情合成を実現することができ
る。

【００２５】また、本発明の画像処理装置によれば、表
情合成を行う表情によって合成する部位の画像の種類を
変更する画像選択手段をさらに備えたことを特徴とす
る。また、本発明の画像処理方法によれば、表情合成を
行う表情によって合成する部位の画像の種類を変更する
画像選択手順をさらに含むことを特徴とする。また、本
発明の画像処理プログラムによれば、表情合成を行う表
情によって合成する部位の画像の種類を変更する画像選
択ステップをさらに含むことを特徴とする。

【００２６】このような特徴を有する本発明によれば、
合成を行う表情によって合成する部位の形状を変更する
ことで、部位の変形だけでは得られない表情を表現する
ことができる。すなわち、予め用意された部位の画像を
表情情報によって選択することができるため、表情に適
した部位の形状を持つ画像を合成することができる。

【００２７】また、本発明の画像処理装置によれば、表
情合成を行う表情によって合成する部位の画像の大きさ
を変更する画像変更手段をさらに備えたことを特徴とす
る。また、本発明の画像処理方法によれば、表情合成を
行う表情によって合成する部位の画像の大きさを変更す
る画像変更手順を含むことを特徴とする。また、本発明
の画像処理プログラムによれば、表情合成を行う表情に
よって合成する部位の画像の大きさを変更する画像変更
ステップをさらに含むことを特徴とする。

【００２８】このような特徴を有する本発明によれば、
合成を行う表情によって合成する部位の大きさを変更す
ることで、部位の変形だけでは得られない表情を表現す
ることができる。すなわち、予め用意された部位の画像
の大きさを、表情情報によって変更することができるた
め、表情に適した部位の大きさに補正した画像を合成す
ることができる。

【００２９】また、本発明の画像処理装置によれば、顔
画像に含まれる眉、目、鼻、口、頬など顔の部位のうち
少なくとも一つの部位における大きさ、座標、相対位置
の少なくとも一つから変形領域の変形パラメータを決定
する変形パラメータ決定手段をさらに備えたことを特徴
とする。また、本発明の画像処理方法によれば、顔画像
に含まれる眉、目、鼻、口、頬など顔の部位のうち少な
くとも一つの部位における大きさ、座標、相対位置の少
なくとも一つから変形領域の変形パラメータを決定する
変形パラメータ決定手順をさらに含むことを特徴とす
る。また、本発明の画像処理プログラムによれば、顔画
像に含まれる眉、目、鼻、口、頬など顔の部位のうち少
なくとも一つの部位における大きさ、座標、相対位置の
少なくとも一つから変形領域の変形パラメータを決定す
る変形パラメータ決定ステップを含むことを特徴とす
る。

【００３０】このような特徴を有する本発明によれば、
表情合成の変形パラメータを顔画像によって動的に変更
することで、それぞれの部位の個人差に関係なく、精度
良く表情合成を行うことができる。すなわち、入力され
た顔画像からそれぞれの部位の大きさを認識し、その大
きさに適した変形パラメータを動的に求めることができ
るため、部位の大きさに依存しない表情合成を実現する
ことができる。

【００３１】また、本発明の画像処理装置によれば、前
記変形領域決定手段で決定された変形領域から眼鏡など
顔に付随する装飾物を検出する装飾物検出手段をさらに
備え、前記装飾物検出手段によって装飾物であると検出
された画素は顔画像の処理を切り替えることを特徴とす
る。また、本発明の画像処理方法によれば、前記変形領
域決定手順で決定された変形領域から眼鏡など顔に付随
する装飾物を検出する装飾物検出手順をさらに含み、前
記装飾物検出手順によって装飾物であると検出された画
素は顔画像の処理を切り替えることを特徴とする。ま
た、本発明の画像処理プログラムによれば、前記変形領
域決定ステップで決定された変形領域から眼鏡など顔に
付随する装飾物を検出する装飾物検出ステップをさらに
含み、前記装飾物検出ステップによって装飾物であると
検出された画素は顔画像の処理を切り替えることを特徴
とする。

【００３２】このような特徴を有する本発明によば、顔
画像に含まれる装飾物を認識することで、例えば眼鏡を
かけている場合でも、必要な部位のみ変形することがで
きるので、精度の良い表情合成を行うことができる。す
なわち、入力された顔画像に装飾物が含まれている場合
でも、目的としている部位を判断することができるた
め、装飾物が部位の動きとともに変形しない表情合成を
実現することができる。

【００３３】また、本発明の画像処理装置によれば、前
記変形領域決定手段で決定された変形領域から変形を行
う部位と変形を行わない部位を判断する部位判断手段を
さらに備え、前記部位判断手段によって変形する部位で
あると判断された画素のみ変形することを特徴とする。
また、本発明の画像処理方法によれば、前記変形領域決
定手順で決定された変形領域から変形を行う部位と変形
を行わない部位を判断する部位判断手順をさらに含み、
前記部位判断手順によって変形する部位であると判断さ
れた画素のみ変形することを特徴とする。また、本発明
の画像処理プログラムによれば、前記変形領域決定ステ
ップで決定された変形領域から変形を行う部位と変形を
行わない部位を判断する部位判断ステップをさらに含
み、前記部位判断ステップによって変形する部位である
と判断された画素のみ変形することを特徴とする。

【００３４】このような特徴を有する本発明によれば、
入力された顔画像の変形領域に、変形を行わない部位が
含まれている場合でも、目的としている部位を判断する
ことができるため、目的の部位の変形と共に他の部位が
変形しない表情合成を実現することができる。すなわ
ち、ある部位領域で変形を行う部位と行わない部位とを
認識することで、例えば前髪が眉毛にかかっている場合
でも、眉毛のみを変形させ前髪は変形させないといった
表情合成が可能となり、精度の良い表情合成を行うこと
ができる。

【００３５】なお、本発明の画像処理プログラムは、こ
れを記録した記録媒体としても実現することができる。

【００３６】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００３７】［第１の実施形態］まず、請求項１、２、
１３、１４、２５、２６に記載の発明に係る第１の実施
形態について説明する。

【００３８】図１は、第１の実施形態に係る画像処理装
置のブロック図、図２は、第１の実施形態に係る画像処
理装置の処理動作を説明するためのフローチャート、図
９、図１０は第１の実施形態に係る説明図である。

【００３９】本実施形態の画像処理装置は、図１に示す
ように、顔画像を入力する顔画像入力手段１０１と、顔
画像に含まれる部位の領域を検出する部位領域検出手段
１０２と、検出された部位領域内を少なくとも一つの色
で塗りつぶす部位領域塗りつぶし手段１０３と、目や口
など少なくとも一つの部位の画像を記憶する部位記憶手
段１０４と、部位領域塗りつぶし手段１０３で塗りつぶ
した顔画像に部位記憶手段１０４で記憶された部位画像
を合成する合成手段１０５とを備えた構成となってい
る。

【００４０】次に、上記構成の画像処理装置における画
像処理について、図２に示す画像処理フローチャートを
参照して詳細に説明する。

【００４１】まず、顔画像入力手段１０１により、顔画
像を入力する（ステップＳ２０１）。顔画像の入力は、
ビデオカメラ等により、その場で静止画像として入力し
ても良いし、予めディジタルカメラから転送するなどに
よってファイルに記録した画像を入力しても良い。

【００４２】次に、部位領域検出手段１０２により、顔
画像に含まれる、目、鼻、口、頬などの部位を含む領域
を検出する（ステップＳ２０２）。検出方法としては、
色情報からそれぞれの部位の認識を行っても良いし、そ
れぞれの部位の座標から相対関係によって領域を指定し
ても良い。例えば、口領域を抽出する場合、両目の中心
座標から口領域の横幅を計算し、鼻と口の中心座標から
口領域の縦幅を計算することができる。

【００４３】次に、部位領域塗りつぶし手段１０３によ
って、検出した部位領域の内部を塗りつぶす（ステップ
Ｓ２０３）。塗りつぶしを行う色に関しては、予め定め
た色を使用しても良いし、顔画像の一部から抽出した色
を使用しても良い。図９は、実際に口の領域を塗りつぶ
した画像の一例を示している。

【００４４】次に、合成手段１０５によって、部位領域
を塗りつぶした顔画像に、部位記憶手段１０４に記憶さ
れている部位の画像を合成する（ステップＳ２０４）。
合成方法としては、部位の画像の中点座標と、合成する
ために塗りつぶした領域の中点座標とを合わせるように
して合成するなどがあげられる。図１０は、実際に口の
画像を合成した画像の一例である。ここでは、符号１１
１〜１１３で示す３種類の画像を示している。

【００４５】［第２の実施形態］次に、請求項３〜６、
１７〜２０、３１〜３４に記載の発明に係る第２の実施
形態について説明する。

【００４６】図３は、第２の実施形態に係る画像処理装
置のブロック図、図４は、第２の実施形態に係る画像処
理装置の処理動作を説明するためのフローチャート、図
１１は、第２の実施形態に係る説明図である。

【００４７】本実施形態の画像処理装置は、図１に示す
構成に加えて、部位領域検出手段１０２で検出された領
域に含まれる任意の座標を塗りつぶす色情報を画像入力
手段１０１によって入力された顔画像に含まれる少なく
とも一つの画素の色情報から求める色決定手段３０１
と、部位領域検出手段１０２で検出された領域に含まれ
る任意の座標と検出された領域の周囲に含まれる少なく
とも二つの任意の座標との距離を計算する距離計算手段
３０２と、距離計算手段３０２で距離を計算した領域の
周囲に含まれる少なくとも二つの座標における色を抽出
する色抽出手段３０３と、距離計算手段３０２で求めた
少なくとも二つの距離と色抽出手段３０３で抽出した少
なくとも二つの色から求めた色情報を色決定手段３０１
で求める色情報とする領域周囲色決定手段３０４と、部
位領域検出手段１０２で検出された領域に含まれる少な
くとも二つの画素から色情報を抽出する領域内色抽出手
段３０５と、領域内色抽出手段３０５によって抽出され
た色情報の平均を求める平均計算手段３０６と、平均計
算手段３０６によって求めた色情報を色決定手段３０１
で求める色情報とする領域平均色決定手段３０７と、色
決定手段３０１によって決定された色を、部位領域検出
手段１０２によって検出された領域の中心座標との距離
によって色相、彩度、明度の少なくとも一つを変更する
色補正手段３０８とを追加した構成となっている。な
お、図３では、図１に示す機能ブロックと同じブロック
に同符号を付している。

【００４８】次に、上記構成の画像処理装置における画
像処理について、図４に示す画像処理フローチャートを
参照して詳細に説明する。

【００４９】まず、顔画像入力手段１０１により、顔画
像を入力する（ステップＳ４０１）。顔画像の入力は、
ビデオカメラ等により、その場で静止画像として入力し
ても良いし、予めディジタルカメラから転送するなどに
よってファイルに記録した画像を入力しても良い。

【００５０】次に、部位領域検出手段１０２により、顔
画像に含まれる目、鼻、口、頬などの部位を含む領域を
検出する（ステップＳ４０２）。検出方法としては、色
情報からそれぞれの部位の認識を行っても良いし、それ
ぞれの部位の座標から相対関係によって領域を指定して
も良い。例えば、口領域を抽出する場合、両目の中心座
標から口領域の横幅を計算し、鼻と口の中心座標から口
領域の縦幅を計算することができる。

【００５１】次に、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）の
決定を行う（ステップＳ４０３）。塗りつぶす色情報
は、例えば頬領域に含まれる画素の抽出など、色決定手
段３０１によって顔画像に含まれる少なくとも一つの画
素の色情報から求めるが、このような塗りつぶす色情報
の抽出方法として、以下に２種類の方法を示す。

【００５２】第１の方法は、距離計算手段３０２によっ
て、検出された領域に含まれる任意の座標と検出された
領域の周囲に含まれる少なくとも二つの任意の座標との
距離を計算し（ステップＳ４０４）、色抽出手段３０３
によって、距離を計算した領域周囲の座標から色情報
（例えば、ＲＧＢ情報）を抽出する（ステップＳ４０
５）。そして、領域周囲色決定手段３０４によって、計
算した距離と抽出した色情報とから領域内の座標を塗り
つぶす色を求める（ステップＳ４０６，Ｓ４１０）。

【００５３】例えば、図１１に示すように、部位領域を
楕円状でとり、領域内に含まれる画素Ａと領域の周囲に
含まれるＣ１、Ｃ２、Ｃ３、Ｃ４との距離Ｌ１、Ｌ２、
Ｌ３、Ｌ４を計算する。計算式は下式で表される。

【００５４】

【数１】 ここで、Ｃ１、Ｃ２、Ｃ３、Ｃ４に関する色情報をそれ
ぞれ、Ｃ１（Ｒ１、Ｇ１、Ｂ１）、Ｃ２（Ｒ２、Ｇ２、
Ｂ２）、Ｃ３（Ｒ３、Ｇ３、Ｂ３）、Ｃ４（Ｒ４、Ｇ
４、Ｂ４）とおくと、領域内に含まれる画素Ａを塗りつ
ぶす色（Ｒ、Ｇ、Ｂ）は下式で表される。

【００５５】

【数２】 第２の方法は、領域内色抽出手段３０５によって、塗り
つぶす領域から少なくとも二つ以上の画素の色情報を抽
出し（ステップＳ４０７）、平均計算手段３０６によっ
て、領域内色抽出手段３０５により抽出した色情報の平
均を求め（ステップＳ４０８）、この求めた平均の色情
報から、塗りつぶす色情報を求める（ステップＳ４０
９，Ｓ４１０）。ここで、領域内色抽出手段３０５で抽
出した色情報をＲｉ、Ｇｉ、Ｂｉ（ｉ＝２，３，・・・
ｎ）とするとき、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）は、
下式で表される。

【００５６】

【数３】 次に、色補正手段３０８により、求めた色情報（Ｒ、
Ｇ、Ｂ）の補正を行う（ステップＳ４１１）。例えば、
楕円の中心点からの距離によって、元の顔画像の色情報
と先ほど求めた画素Ａを塗りつぶす色情報（Ｒ、Ｇ、
Ｂ）とをαブレンドすることで、顔の形状に近い丸みを
帯びた塗りつぶしが実現できる。ここで、楕円状の領域
は下式で表されるとする。

【００５７】ｘ² ／ａ² ＋ｙ² ／ｂ² ＝１ 次に、元の顔画像の色情報を（Ｒｏ、Ｇｏ、Ｂｏ）とす
るとき、補正を行った後の色情報（Ｒｒ、Ｇｒ、Ｂｒ）
は下式で表すことができる。

【００５８】

【数４】 次に、部位領域塗りつぶし手段１０３によって、検出し
た部位領域の内部を塗りつぶす（ステップＳ４１２）。
すなわち、先ほど色決定手段３０１および色補正手段３
０８によって求めた色情報（Ｒｒ、Ｇｒ、Ｂｒ）を用い
て、部位領域塗りつぶし手段１０３で検出した部位領域
の内部を塗りつぶす。図９は実際に口領域を塗りつぶし
た画像の一例を示している。

【００５９】なお、本実施形態では、ＲＧＢ情報からの
変換例を示したが、ＲＧＢ情報を色相（Ｈ）、彩度
（Ｓ）、明度（Ｖ）のＨＳＶ情報など他の色情報に変換
して色の補正を行うこともできる。また、明度と彩度を
変更せずに色相のみ変更したい場合は、色相情報のみ色
の補正を行うことで、元の明るさや鮮やかさを残したま
ま、色相情報のみ変更することができる。以下に、ＲＧ
Ｂ情報からＨＳＶ情報に変換する式の一例（株式会社オ
ーム社発行の「Ｃ言語で学ぶ実践画像処理」より引用）
を下記に示す。

【００６０】

【数５】 このようにして求めたＨＳＶ情報を用いて、先ほどのＲ
ＧＢ情報での変換方法と同様に行うことで、色の補正を
行うことができる。また、ＨＳＶ情報からＲＧＢ情報に
変換する式の一例についても下記に示す。

【００６１】

【数６】 次に、合成手段１０５によって、部位記憶手段１０４に
記憶されている部位の画像を、部位領域を塗りつぶした
顔画像に合成する（ステップＳ４１３）。合成方法とし
ては、部位の画像の中点座標と、合成するために塗りつ
ぶした領域の中点座標を合わせるように合成するなどが
あげられる。図１０は、実際に口の画像を合成した画像
の一例である。

【００６２】［第３の実施形態］次に、請求項７、８、
２１、２２、２５、３６に記載の発明に係る第３の実施
形態について説明する。

【００６３】図５は、第３の実施形態に係る画像処理装
置のブロック図、図６は、第３の実施形態に係る画像処
理装置の処理動作を説明するためのフローチャート、図
１２および図１３は、第３の実施形態に係る説明図であ
る。

【００６４】本実施形態の画像処理装置は、図３に示す
構成に加えて、部位領域を塗りつぶした顔画像と塗りつ
ぶす前の顔画像の対応する座標の画素同士の色相、彩
度、明度のうち少なくとも一つを比較することで、閾値
以上の値の差をもつ少なくとも一つの画素を抽出する画
素抽出手段５０１と、画素抽出手段５０１によって抽出
した画素の色相、彩度、明度のうち少なくとも一つの平
均と、目や口などの部位の画像の色相、彩度、明度のう
ち少なくとも一つの平均との比率を求める比率計算手段
５０２と、比率計算手段５０２で求められた比率によっ
て部位の画像を補正する画像補正手段５０３と、顔画像
の部位の大きさを認識する画像認識手段５０４と、画像
認識手段５０４によって認識した部位の大きさに合わせ
て合成する部位の画像の大きさを変更する画像サイズ変
更手段５０５とを追加した構成となっている。なお、図
５では、図３に示す機能ブロックと同じブロックに同符
号を付している。

【００６５】次に、上記構成の画像処理装置における画
像処理について、図６に示す画像処理フローチャートを
参照して詳細に説明する。

【００６６】まず、顔画像入力手段１０１により、顔画
像を入力する（ステップＳ６０１）。顔画像の入力は、
ビデオカメラ等により、その場で静止画像として入力し
ても良いし、予めディジタルカメラから転送するなどに
よってファイルに記録した画像を入力しても良い。

【００６７】次に、部位領域検出手段１０２により、顔
画像に含まれる目、鼻、口、頬などの部位を含む領域を
検出する（ステップＳ６０２）。検出方法としては、色
情報からそれぞれの部位の認識を行っても良いし、それ
ぞれの部位の座標から相対関係によって領域を指定して
も良い。例えば、口領域を抽出する場合、両目の中心座
標から口領域の横幅を計算し、鼻と口の中心座標から口
領域の縦幅を計算することができる。

【００６８】次に、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）の
決定を行う（ステップＳ６０３）。塗りつぶす色情報
は、例えば頬領域に含まれる画素の抽出など、色決定手
段３０１によって顔画像に含まれる少なくとも一つの画
素の色情報から求めるが、このような塗りつぶす色情報
の抽出方法として、以下に２種類の方法を示す。

【００６９】第１の方法は、距離計算手段３０２によっ
て、検出された領域に含まれる任意の座標と検出された
領域の周囲に含まれる少なくとも二つの任意の座標との
距離を計算し（ステップＳ６０４）、色抽出手段３０３
によって、距離を計算した領域周囲の座標から色情報
（例えば、ＲＧＢ情報）を抽出する（ステップＳ６０
５）。そして、領域周囲色決定手段３０４によって、計
算した距離と抽出した色情報とから領域内の座標を塗り
つぶす色を求める（ステップＳ６０６，Ｓ６１０）。

【００７０】例えば、図１１に示すように、部位領域を
楕円状でとり、領域内に含まれる画素Ａと領域の周囲に
含まれるＣ１、Ｃ２、Ｃ３、Ｃ４との距離Ｌ１、Ｌ２、
Ｌ３、Ｌ４を計算する。計算式は下式で表される。

【００７１】

【数７】 ここで、Ｃ１、Ｃ２、Ｃ３、Ｃ４に関する色情報をそれ
ぞれ、Ｃ１（Ｒ１、Ｇ１、Ｂ１）、Ｃ２（Ｒ２、Ｇ２、
Ｂ２）、Ｃ３（Ｒ３、Ｇ３、Ｂ３）、Ｃ４（Ｒ４、Ｇ
４、Ｂ４）とおくと、領域内に含まれる画素Ａを塗りつ
ぶす色（Ｒ、Ｇ、Ｂ）は下式で表される。

【００７２】

【数８】 第２の方法は、領域内色抽出手段３０５によって、塗り
つぶす領域から少なくとも二つ以上の画素の色情報を抽
出し（ステップＳ６０７）、平均計算手段３０６によっ
て、領域内色抽出手段３０５により抽出した色情報の平
均を求め（ステップＳ６０８）、この求めた平均の色情
報から、塗りつぶす色情報を求める（ステップＳ６０
９，Ｓ６１０）。ここで、領域内色抽出手段３０５で抽
出した色情報をＲｉ、Ｇｉ、Ｂｉ（ｉ＝２，３，・・・
ｎ）とするとき、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）は、
下式で表される。

【００７３】

【数９】 次に、色補正手段３０８により、求めた色情報（Ｒ、
Ｇ、Ｂ）の補正を行う（ステップＳ６１１）。例えば、
楕円の中心点からの距離によって、元の顔画像の色情報
と先ほど求めた画素Ａを塗りつぶす色情報（Ｒ、Ｇ、
Ｂ）とをαブレンドすることで、顔の形状に近い丸みを
帯びた塗りつぶしが実現できる。ここで、楕円状の領域
は下式で表されるとする。

【００７４】ｘ² ／ａ² ＋ｙ² ／ｂ² ＝１ 次に、元の顔画像の色情報を（Ｒｏ、Ｇｏ、Ｂｏ）とす
るとき、補正を行った後の色情報（Ｒｒ、Ｇｒ、Ｂｒ）
は下式で表すことができる。

【００７５】

【数１０】 次に、部位領域塗りつぶし手段１０３によって、検出し
た部位領域の内部を塗りつぶす（ステップＳ６１２）。
すなわち、先ほど色決定手段３０１および色補正手段３
０８によって求めた色情報（Ｒｒ、Ｇｒ、Ｂｒ）を用い
て、部位領域塗りつぶし手段１０３で検出した部位領域
の内部を塗りつぶす。図９は実際に口領域を塗りつぶし
た画像の一例を示している。

【００７６】なお、本実施形態では、ＲＧＢ情報からの
変換例を示したが、ＲＧＢ情報を色相（Ｈ）、彩度
（Ｓ）、明度（Ｖ）のＨＳＶ情報など他の色情報に変換
して色の補正を行うこともできる。また、明度と彩度を
変更せずに色相のみ変更したい場合は、色相情報のみ色
の補正を行うことで、元の明るさや鮮やかさを残したま
ま、色相情報のみ変更することができる。以下に、ＲＧ
Ｂ情報からＨＳＶ情報に変換する式の一例（株式会社オ
ーム社発行の「Ｃ言語で学ぶ実践画像処理」より引用）
を下記に示す。

【００７７】

【数１１】 このようにして求めたＨＳＶ情報を用いて、先ほどのＲ
ＧＢ情報での変換方法と同様に行うことで、色の補正を
行うことができる。また、ＨＳＶ情報からＲＧＢ情報に
変換する式の一例についても下記に示す。

【００７８】

【数１２】 次に、画素抽出手段５０１によって、部位領域塗りつぶ
し手段１０３によって部位領域を塗りつぶした顔画像
と、顔画像入力手段１０１によって取得した塗りつぶす
前の顔画像とを比較し、対応する座標の画素同士の色
相、彩度、明度のうち少なくとも一つを比較すること
で、閥値以上の値の差を持つ画素の抽出を行う（ステッ
プＳ６１３）。図１２は、元の顔画像５１１と口領域を
塗りつぶした顔画像５１０の一例である。これら２つの
画像を比較することで、元の顔画像から口の部位のみの
色情報を抽出できることがわかる。

【００７９】ここで、抽出方法についてもう少し詳しく
説明する。元の顔画像におけるある画素の色情報（Ｒ
ｏ、Ｇｏ、Ｂｏ）と、元の顔画像の画素に対応する塗り
つぶした顔画像の画素の色情報（Ｒｒ、Ｇｒ、Ｂｒ）と
の距離Lengthを以下のように表す。

【００８０】

【数１３】 この距離がある閾値以上の場合は塗りつぶした領域に含
まれる部位の色情報と判断し、抽出する。例えば、この
方法を口の領域で実行すると、口周りの色は塗りつぶし
た色と比較的色情報が近いため抽出されず、唇の色や歯
の色は塗りつぶした色と比較的色情報が遠いため抽出さ
れる。従って、元の顔画像における部位の色情報のみ抽
出することができる。ここで、歯の色である白っぽい色
と影の色である黒っぽい色でフィルタをかけると、唇の
色のみ抽出することができる。

【００８１】次に、比率計算手段５０２によって、元の
顔画像から抽出した部位の色情報の平均と、部位記憶手
段１０４に記憶されている部位の画像の色情報の平均と
を計算し（ステップＳ６１４）、それぞれの平均値から
比率を求める（ステップＳ６１５）。

【００８２】ここで、比率の計算方法について説明す
る。まず、元の顔画像からｎ個抽出した部位の色情報
（Roi 、Goi 、Boi ）（i=1 〜n ）の平均/Ｏｒ、/Ｏ
ｇ、/Ｏｂは下記の式で計算できる。

【００８３】

【数１４】 次に、合成する部位の画像の色情報の平均を/Ｒｒ、/Ｒ
ｇ、/Ｒｂと表したとき、それぞれの色情報の比率Ratio
＿r 、Ratio ＿g 、Ratio ＿b は下記の式で計算でき
る。

【００８４】

【数１５】 次に、画像補正手段５０３によって、部位の画像を元の
顔画像に含まれる部位の色に近づけるように補正する
（ステップＳ６１６）。

【００８５】ここで、この補正の方法について説明す
る。予め用意した部位の画像の色情報（Ｒ、Ｇ、Ｂ）
と、ステップＳ６１５で計算した比率（Ratio ＿r 、Ra
tio ＿g、Ratio ＿b ）を用いて計算する。補正した部
位の画像の色情報（Ｒ＿p 、Ｇ＿p 、Ｂ＿p ）は下記の
式で計算できる。

【００８６】Ｒ＿p ＝Ratio ＿r ×Ｒ Ｇ＿p ＝Ratio ＿g ×Ｇ Ｂ＿p ＝Ratio ＿b ×Ｂ 以上のような補正を行うことで、元の顔画像の各部位の
色情報に近い部位の画像に補正することができる。

【００８７】次に、画像認識手段５０４によって、元の
顔画像に含まれる部位の大きさを求める（ステップＳ６
１７）。ここで述べる大きさとは、部位の縦の長さ（he
ight）と横の長さ（width ）である。

【００８８】ここで、部位の大きさを求める方法につい
て説明する。先ほどのステップＳ６１３と同様に、ある
闘値以上の距離となる画素をすべて抽出する。そして、
図１３に示すように、抽出したすべての画素からＸ座
標、Ｙ座標それぞれの最大座標と最小座標（Xmax、Xmi
n、Ymax、Ymin）を求める。このとき、下記の式で部位
の大きさを計算することができる。

【００８９】width ＝Xmax−Xmin＋１ height＝Ymax−Ymin＋１ 次に、画像サイズ変更手段５０５によって、元の顔画像
に含まれる部位の大きさとなるように、予め用意した部
位の画像の大きさを変更する（ステップＳ６１８）。例
えば、先ほど求めた元の顔画像の部位の大きさと、予め
用意した部位の画像の大きさとの比率を計算し、その比
率に従って部位の画像を拡大、縮小することで実現でき
る。

【００９０】次に、合成手段１０５によって、これまで
修正してきた部位の画像を、部位領域を塗りつぶした顔
画像に合成する（ステップＳ６１９）。合成方法として
は、部位の画像の中点座標と、合成するために塗りつぶ
した領域の中点座標とを合わせるように合成するなどが
あげられる。図１０は、実際に口の画像を合成した画像
の一例である。

【００９１】［第４の実施形態］次に、請求項９〜１
４、２３〜２８、３７〜４２に記載の発明に係る第４の
実施形態について説明する。

【００９２】図７は、第４の実施形態に係る画像処理装
置のブロック図、図８は、第４の実施形態に係る画像処
理装置の処理動作を説明するためのフローチャート、図
１４〜図１８は、第４の実施形態に係る説明図である。

【００９３】本実施形態の画像処理装置は、図５に示す
構成に加えて、顔画像における眉、目、口、頬などの変
形を行う領域を抽出する変形候補領域抽出手段７０１
と、変形候補領域抽出手段７０１で抽出された少なくと
も一つの変形候補領域のうち表情情報によってどの領域
を変形するかを決定する変形領域決定手段７０２と、変
形領域決定手段７０２によって決定された変形領域を変
形の程度を決める変形パラメータに従って変形する顔画
像変形手段７０３と、表情合成を行う表情によって合成
する部位の画像の種類を変更する画像選択手段７０４
と、表情合成を行う表情によって合成する部位の画像の
大きさを変更する画像変更手段７０５と、顔画像に含ま
れる眉、目、鼻、口、頬など顔の部位のうち少なくとも
一つの部位における大きさ、座標、相対位置の少なくと
も一つから変形領域の変形パラメータを決定する変形パ
ラメータ決定手段７０６と、変形領域決定手段７０２で
決定された変形領域から眼鏡など顔に付随する装飾物を
検出する装飾物検出手段７０７と、変形領域決定手段７
０２で決定された変形領域から変形を行う部位と変形を
行わない部位を判断する部位判断手７０８とを追加した
構成となっている。なお、図７では、図５に示す機能ブ
ロックと同じブロックに同符号を付している。

【００９４】次に、上記構成の画像処理装置における画
像処理について、図８に示す画像処理フローチャートを
参照して詳細に説明する。

【００９５】まず、顔画像入力手段１０１により、顔画
像を入力する（ステップＳ８０１）。顔画像の入力は、
ビデオカメラ等により、その場で静止画像として入力し
ても良いし、予めディジタルカメラから転送するなどに
よってファイルに記録した画像を入力しても良い。

【００９６】次に、部位領域検出手段１０２により、顔
画像に含まれる目、鼻、口、頬などの部位を含む領域を
検出する（ステップＳ８０２）。検出方法としては、色
情報からそれぞれの部位の認識を行っても良いし、それ
ぞれの部位の座標から相対関係によって領域を指定して
も良い。例えば、口領域を抽出する場合、両目の中心座
標から口領域の横幅を計算し、鼻と口の中心座標から口
領域の縦幅を計算することができる。

【００９７】次に、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）の
決定を行う（ステップＳ８０３）。塗りつぶす色情報
は、例えば頬領域に含まれる画素の抽出など、色決定手
段３０１によって顔画像に含まれる少なくとも一つの画
素の色情報から求めるが、このような塗りつぶす色情報
の抽出方法として、以下に２種類の方法を示す。

【００９８】第１の方法は、距離計算手段３０２によっ
て、検出された領域に含まれる任意の座標と検出された
領域の周囲に含まれる少なくとも二つの任意の座標との
距離を計算し（ステップＳ８０４）、色抽出手段３０３
によって、距離を計算した領域周囲の座標から色情報
（例えば、ＲＧＢ情報）を抽出する（ステップＳ８０
５）。そして、領域周囲色決定手段３０４によって、計
算した距離と抽出した色情報とから領域内の座標を塗り
つぶす色を求める（ステップＳ８０６，Ｓ８１０）。

【００９９】例えば、図１１に示すように、部位領域を
楕円状でとり、領域内に含まれる画素Ａと領域の周囲に
含まれるＣ１、Ｃ２、Ｃ３、Ｃ４との距離Ｌ１、Ｌ２、
Ｌ３、Ｌ４を計算する。計算式は下式で表される。

【０１００】

【数１６】 ここで、Ｃ１、Ｃ２、Ｃ３、Ｃ４に関する色情報をそれ
ぞれ、Ｃ１（Ｒ１、Ｇ１、Ｂ１）、Ｃ２（Ｒ２、Ｇ２、
Ｂ２）、Ｃ３（Ｒ３、Ｇ３、Ｂ３）、Ｃ４（Ｒ４、Ｇ
４、Ｂ４）とおくと、領域内に含まれる画素Ａを塗りつ
ぶす色（Ｒ、Ｇ、Ｂ）は下式で表される。

【０１０１】

【数１７】 第２の方法は、領域内色抽出手段３０５によって、塗り
つぶす領域から少なくとも二つ以上の画素の色情報を抽
出し（ステップＳ８０７）、平均計算手段３０６によっ
て、領域内色抽出手段により抽出した色情報の平均を求
め（ステップＳ８０８）、この求めた平均の色情報か
ら、塗りつぶす色情報を求める（ステップＳ８０９，Ｓ
８１０）。ここで、領域内色抽出手段３０５で抽出した
色情報をＲｉ、Ｇｉ、Ｂｉ（ｉ＝２，３，・・・ｎ）と
するとき、塗りつぶす色情報（Ｒ、Ｇ、Ｂ）は、下式で
表される。

【０１０２】

【数１８】 次に、色補正手段３０８により、求めた色情報（Ｒ、
Ｇ、Ｂ）の補正を行う（ステップＳ８１１）。例えば、
楕円の中心点からの距離によって、元の顔画像の色情報
と先ほど求めた画素Ａを塗りつぶす色情報（Ｒ、Ｇ、
Ｂ）とをαブレンドすることで、顔の形状に近い丸みを
帯びた塗りつぶしが実現できる。ここで、楕円状の領域
は下式で表されるとする。

【０１０３】ｘ² ／ａ² ＋ｙ² ／ｂ² ＝１ 次に、元の顔画像の色情報を（Ｒｏ、Ｇｏ、Ｂｏ）とす
るとき、補正を行った後の色情報（Ｒｒ、Ｇｒ、Ｂｒ）
は下式で表すことができる。

【０１０４】

【数１９】 次に、部位領域塗りつぶし手段１０３によって、検出し
た部位領域の内部を塗りつぶす（ステップＳ８１２）。
すなわち、先ほど色決定手段３０１および色補正手段３
０８によって求めた色情報（Ｒｒ、Ｇｒ、Ｂｒ）を用い
て、部位領域塗りつぶし手段１０３で検出した部位領域
の内部を塗りつぶす。図９は実際に口領域を塗りつぶし
た画像の一例を示している。

【０１０５】なお、本実施形態では、ＲＧＢ情報からの
変換例を示したが、ＲＧＢ情報を色相（Ｈ）、彩度
（Ｓ）、明度（Ｖ）のＨＳＶ情報など他の色情報に変換
して色の補正を行うこともできる。また、明度と彩度を
変更せずに色相のみ変更したい場合は、色相情報のみ色
の補正を行うことで、元の明るさや鮮やかさを残したま
ま、色相情報のみ変更することができる。以下に、ＲＧ
Ｂ情報からＨＳＶ情報に変換する式の一例（株式会社オ
ーム社発行の「Ｃ言語で学ぶ実践画像処理」より引用）
を下記に示す。

【０１０６】

【数２０】 このようにして求めたＨＳＶ情報を用いて、先ほどのＲ
ＧＢ情報での変換方法と同様に行うことで、色の補正を
行うことができる。また、ＨＳＶ情報からＲＧＢ情報に
変換する式の一例についても下記に示す。

【０１０７】

【数２１】 次に、画素抽出手段５０１によって、部位領域塗りつぶ
し手段１０３によって部位領域を塗りつぶした顔画像
と、顔画像入力手段１０１によって取得した塗りつぶす
前の顔画像とを比較し、対応する座標の画素同士の色
相、彩度、明度のうち少なくとも一つを比較すること
で、閥値以上の値の差を持つ画素の抽出を行う（ステッ
プＳ８１３）。図１２は、元の顔画像５１１と口領域を
塗りつぶした顔画像５１０の一例である。これら２つの
画像を比較することで、元の顔画像から口の部位のみの
色情報を抽出できることがわかる。

【０１０８】ここで、抽出方法についてもう少し詳しく
説明する。元の顔画像におけるある画素の色情報（Ｒ
ｏ、Ｇｏ、Ｂｏ）と、元の顔画像の画素に対応する塗り
つぶした顔画像の画素の色情報（Ｒｒ、Ｇｒ、Ｂｒ）と
の距離Lengthを以下のように表す。

【０１０９】

【数２２】 この距離がある閾値以上の場合は塗りつぶした領域に含
まれる部位の色情報と判断し、抽出する。例えば、この
方法を口の領域で実行すると、口周りの色は塗りつぶし
た色と比較的色情報が近いため抽出されず、唇の色や歯
の色は塗りつぶした色と比較的色情報が遠いため抽出さ
れる。従って、元の顔画像における部位の色情報のみ抽
出することができる。ここで、歯の色である白っぽい色
と影の色である黒っぽい色でフィルタをかけると、唇の
色のみ抽出することができる。

【０１１０】次に、画像選択手段７０４によって、表情
情報から合成する部位の画像を決定する（ステップＳ８
１４）。例えば、唇の画像に関しては、図１４に示すよ
うにいくつか用意されている。これらの画像７１０〜７
１２は、表情情報と対応付けされており、例えば「あか
んべ」の表情を行うときは、図１４の画像７１０を選択
し、驚きの表情を行うときは画像７１１を選択する。

【０１１１】次に、比率計算手段５０２によって、元の
顔画像から抽出した部位の色情報の平均と、部位記憶手
段１０４に記憶されている部位の画像の色情報の平均と
を計算し（ステップＳ８１５）、それぞれの平均値から
比率を求める（ステップＳ８１６）。

【０１１２】ここで、比率の計算方法について説明す
る。まず、元の顔画像からｎ個抽出した部位の色情報
（Roi 、Goi 、Boi ）（i=1 〜n ）の平均/Ｏｒ、/Ｏ
ｇ、/Ｏｂは下記の式で計算できる。

【０１１３】

【数２３】 次に、合成する部位の画像の色情報の平均を/Ｒｒ、/Ｒ
ｇ、/Ｒｂと表したとき、それぞれの色情報の比率Ratio
＿r 、Ratio ＿g 、Ratio ＿b は下記の式で計算でき
る。

【０１１４】

【数２４】 次に、画像補正手段５０３によって、部位の画像を元の
顔画像に含まれる部位の色に近づけるように補正する
（ステップＳ８１７）。

【０１１５】ここで、この補正の方法について説明す
る。予め用意した部位の画像の色情報（Ｒ、Ｇ、Ｂ）
と、ステップＳ８１６で計算した比率（Ratio ＿r 、Ra
tio ＿g、Ratio ＿b ）を用いて計算する。補正した部
位の画像の色情報（Ｒ＿p 、Ｇ＿p 、Ｂ＿p ）は下記の
式で計算できる。

【０１１６】Ｒ＿p ＝Ratio ＿r ×Ｒ Ｇ＿p ＝Ratio ＿g ×Ｇ Ｂ＿p ＝Ratio ＿b ×Ｂ 以上のような補正を行うことで、元の顔画像の各部位の
色情報に近い部位の画像に補正することができる。

【０１１７】次に、画像変更手段７０５によって、表情
情報によって合成する部位の画像の大きさを変更する
（ステップＳ８１８）。例えば、驚きの表情が選択され
た場合は合成する唇画像をＹ軸方向に大きくすること
や、怒りの表情が選択された場合は合成する唇画像をＸ
軸方向に大きくすることで、比較的表情を強く表現する
ことができる。

【０１１８】次に、画像認識手段５０４によって、元の
顔画像に含まれる部位の大きさを求める（ステップＳ８
１９）。ここで述べる大きさとは部位の縦の長さ（heig
ht）と横の長さ（width ）である。

【０１１９】ここで、部位の大きさを求める方法につい
て説明する。先ほどのステップＳ８１３と同様に、ある
闘値以上の距離となる画素をすべて抽出する。そして、
図１３に示すように、抽出したすべての画素からＸ座
標、Ｙ座標それぞれの最大座標と最小座標（Xmax、Xmi
n、Ymax、Ymin）を求める。このとき、下記の式で部位
の大きさを計算することができる。

【０１２０】width ＝Xmax−Xmin＋１ height＝Ymax−Ymin＋１ 次に、画像サイズ変更手段５０５によって、元の顔画像
に含まれる部位の大きさとなるように、予め用意した部
位の画像の大きさを変更する（ステップＳ８２０）。例
えば、先ほど求めた元の顔画像の部位の大きさと、予め
用意した部位の画像の大きさとの比率を計算し、その比
率に従って部位の画像を拡大、縮小することで実現でき
る。

【０１２１】次に、合成手段１０５によって、これまで
修正してきた部位の画像を、部位領域を塗りつぶした顔
画像に合成する（ステップＳ８２１）。合成方法として
は、部位の画像の中点座標と塗りつぶした領域の中点座
標とを合わせるように合成するなどがあげられる。図１
０は、口の画像を合成した画像の一例である。

【０１２２】次に、変形候補領域抽出手段７０１によっ
て、顔画像から眉、目、口、頬などの変形を行う領域を
抽出する（ステップＳ８２２）。領域の抽出方法として
は、顔画像の色情報から各部位を認識することで領域を
指定する、各部位の座標情報から相対的に領域を指定す
るなどがあげられる。

【０１２３】図１５は、顔画像における変形領域を示し
た一例であり、各変形領域を黒い枠で囲んで示してい
る。

【０１２４】次に、変形領域決定手段７０２によって、
表情情報から、変形候補領域抽出手段７０１によって抽
出した領域のうちどの領域の変形を行うかを決定する
（ステップＳ８２３）。例えば、笑いの表情を合成する
場合は、図１６に示すように、眉を下げる、目を細め
る、口元を上げるという処理を行うため、変形領域とし
ては両眉、両目、口を選択する。また、ウインクの表情
を合成する場合は、片目を閉じる、片眉を下げる、頬を
上げるという処理を行うため、変形領域としては片眉、
片目、片頬を選択する。

【０１２５】次に、変形パラメータ決定手段７０６によ
って、顔画像の各部位の大きさを認識することで各部位
の変形を行うパラメータ量を決定する（ステップＳ８２
４）。例えば、目のサイズに関係なく変形パラメータを
一定にすると、目を閉じるような表情合成を行ったと
き、目が完全に閉じきらない場合がある。そのため、目
を閉じるパラメータを、目の大きさに従って動的に変更
することで、大きな目の画像や小さな目の画像の場合で
も、目を閉じる表情合成が実現できる。

【０１２６】次に、装飾物検出手段７０７によって、顔
画像に含まれる眼鏡のような装飾物を検出する（ステッ
プＳ８２５）。例えば、頬領域の変形を行う際に眼鏡が
含まれている場合、部位と同様に眼鏡が変形され不自然
なものとなる。そのため、変形を行う際に、頬に関する
画素であるか、眼鏡に関する画素であるかを判断する必
要がある。そして、頬に関する画素である場合は変形を
行い、眼鏡に関する画素である場合は変形を行わないこ
とで、自然な表情合成を実現することができる。

【０１２７】ここで、眼鏡を判別する方法の一例をあげ
る。まず、元の顔画像のエッジ画像を作成する。眼鏡を
かけている顔画像の場合、頬の領域に細長いエッジが表
れる。この頬領域において、図１７に示すようにＸ軸方
向にエッジのカウントを行い、ある閾値以上を示した場
合、カウントを行ったＹ座標は眼鏡が含まれると判断す
る。このようなエッジのカウントを、頬領域すべてのＹ
座標に関して行って、最大および最小のＹ座標を求め
る。この求めた範囲が眼鏡を含む領域となる。

【０１２８】次に、部位判断手段７０８によって、顔画
像から抽出したそれぞれの部位の領域において、変形を
行う部位であるかを判断する（ステップＳ８２６）。例
えば、眉の領域の変形を行う場合、領域内に前髪が含ま
れるときがある。このような状態で眉毛を変形すると、
同時に前髪も変形してしまうため前髪が切れる場合があ
る。領域内の部位を区別する方法としては、エッジ画像
を使用する、色情報から閾値によって区別する、眉毛の
形状認識を行うなどがあげられる。

【０１２９】次に、顔画像変形手段７０３によって、顔
画像から抽出した領域の変形を行う（ステップＳ８２
７）。変形方法としては、ｓｉｎ関数や一次関数などを
使って逆変換による写像を用いて表情合成を行うなどの
方法があげられる。図１８は、逆変換によって合成した
一例である。笑いの表情は、符号７１７で示すように、
両目の領域をｓｉｎ関数で若干細くし、口の領域をｓｉ
ｎ関数で口元を上げることで実現できる。また、驚きの
表情は、符号７１８で示すように、両眉毛の領域を上
げ、両目の領域をｓｉｎ関数によって大きく見開き、口
の領域は予め用意した縦に大きく開いた驚きの表情用の
唇画像をステップＳ８１４で選択し、選択された唇画像
をステップＳ８１８で縦に若干大きく拡大し、補正を行
った唇画像を合成することで実現できる。因みに、符号
７１６は普通の表情を表している。

【０１３０】以上説明した画像処理装置および画像処理
方法は、入力画像を利用して静止画像または動画像を生
成する画像処理を機能させるためのプログラムで実現さ
れている。

【０１３１】発明の対象とするのは、このプログラムそ
のものであってもよいし、このプログラムをコンピュー
タで読み取り可能な記録媒体に格納されているものであ
ってもよい。

【０１３２】本発明では、この記録媒体として、図示は
省略しているが、画像処理が行なわれるために必要なメ
モリ、例えばＲＯＭのようなものそのものがプログラム
メディアであってもよいし、また、図示していない外部
記憶装置としてプログラム読み取り装置が設けられ、そ
こに記録媒体を挿入することで読み取り可能なプログラ
ムメディアであってもよい。いずれの場合においても、
格納されているプログラムはマイクロコンピュータがア
クセスして実行させる構成であってもよいし、あるいは
いずれの場合もプログラムを読み出し、読み出されたプ
ログラムは、マイクロコンピュータの図示しないプログ
ラム記憶エリアにロードされて、そのプログラムが実行
される方式であってもよい。このロード用のプログラム
は予め本体装置に格納されているものとする。

【０１３３】ここで、上記プログラムメディアは、本体
と分離可能に構成される記録媒体であり、磁気テープや
カセットテープ等のテープ系、ＦＤ（フレキシブルディ
スク）やＨＤ（ハードディスク）等の磁気ディスクやＣ
Ｄ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスク系、Ｉ
Ｃカード（メモリカードを含む）／光カード等のカード
系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯ
Ｍ、フラッシュＲＯＭ等による半導体メモリを含めた固
定的にプログラムを担持する媒体であってもよい。

【０１３４】また、本発明においては、インターネット
を含む通信ネットワークと接続可能なシステム構成とし
た場合には、通信ネットワークからプログラムをダウン
ロードするように流動的にプログラムを担持する媒体で
あってもよい。なお、このように通信ネットワークから
プログラムをダウンロードする場合には、そのダウンロ
ード用プログラムは予め装置本体に格納しておくか、あ
るいは別の記録媒体からインストールされるものであっ
てもよい。なお、記録媒体に格納されている内容として
はプログラムに限定されず、データであってもよい。

【０１３５】さらに、本発明では、プログラム自体とし
て、図１、図３、図５、図７に示されている各機能ブロ
ックで実行される処理そのものであってもよいし、ある
いはインターネットを含む通信ネットワークとアクセス
することで取り込める、あるいは取り込めたものであっ
てもよいし、こちらから送り出すものであってもよい。
さらには、この取り込んだプログラムに基づいて、上記
画像処理装置内で処理された結果、つまり生成されたも
のであってもよい。あるいは、こちらから送り出す際に
上記画像処理装置内で処理された結果、つまり生成され
たものであってもよい。なお、これらのものはプログラ
ムに限定されず、データであってもよい。

【０１３６】

【発明の効果】本発明によれば、顔画像における任意の
部位を塗りつぶすことで顔画像から消去することができ
るため、後に予め用意した部位の画像を合成しても違和
感のない合成画像を作成することができる。

【０１３７】また、本発明によれば、部位を消去した顔
画像に予め用意した顔画像を合成するため、変形では得
られない表情合成を行うことができる。

【０１３８】また、本発明によれば、領域を塗りつぶす
色を、領域周囲の色から抽出し、色相、彩度、明度を徐
々に変化させることで、自然に領域を塗りつぶすことが
できる。

【０１３９】また、本発明によれば、部位を塗りつぶす
色を領域の外側から内側へ徐々に変更していくため、塗
りつぶしても比較的違和感なく、顔画像の部位を消去す
ることができる。

【０１４０】また、本発明によれば、部位を塗りつぶす
色を、領域に含まれる複数の画素の色の平均の色で塗り
つぶすことにより、比較的違和感なく、顔画像の部位を
消去することができる。

【０１４１】また、本発明によれば、領域内の位置によ
って色の補正を行うために、部位の領域を顔の形状に近
い膨らんだ感じで塗りつぶすことができる。

【０１４２】また、本発明によれば、顔画像によって異
なる部位の色情報に合わせて、予め用意した部位の画像
を補正することができるので、部位の画像を違和感なく
合成することができる。

【０１４３】また、本発明によれば、顔画像によって異
なる部位の大きさに合わせて、予め用意した部位の画像
の大きさを変更することができるため、部位の画像を違
和感なく合成することができる。

【０１４４】また、本発明によれば、顔画像における
眉、目、口、頬などの変形候補領域のうち、表情情報か
ら変形領域および変形パラメータを決定することで、変
形領域を様々な形状に変形することができるため、目的
とする表情合成を実現することができる。

【０１４５】また、本発明によれば、予め用意された部
位の画像を表情情報によって選択することができるた
め、表情に適した部位の形状をもつ画像を合成すること
ができる。

【０１４６】また、本発明によれば、予め用意された部
位の画像を表情情報によって大きさを変更することがで
きるため、表情に適した部位の大きさに補正した画像を
合成することができる。

【０１４７】また、本発明によれば、入力された顔画像
からそれぞれの部位の大きさを認識し、その大きさに適
した変形パラメータを動的に求めることができるため、
部位の大きさに依存しない表情合成を実現することがで
きる。

【０１４８】また、本発明によれば、入力された顔画像
に装飾物が含まれている場合でも、目的としている部位
を判断することができるため、装飾物が部位の動きと共
に変形しない表情合成を実現することができる。

【０１４９】また、本発明によれば、入力された顔画像
の変形領域に変形を行わない部位が含まれている場合で
も、目的としている部位を判断することができるため、
目的の部位の変形と共に他の部位が変形しない表情合成
を実現することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る画像処理装置の
ブロック図である。

【図２】第１の実施形態に係る画像処理装置の処理動作
を説明するためのフローチャートである。

【図３】本発明の第２の実施形態に係る画像処理装置の
ブロック図である。

【図４】第２の実施形態に係る画像処理装置の処理動作
を説明するためのフローチャートである。

【図５】本発明の第３の実施形態に係る画像処理装置の
ブロック図である。

【図６】第３の実施形態に係る画像処理装置の処理動作
を説明するためのフローチャートである。

【図７】本発明の第４の実施形態に係る画像処理装置の
ブロック図である。

【図８】第４の実施形態に係る画像処理装置の処理動作
を説明するためのフローチャートである。

【図９】第１の実施形態に係る説明図である。

【図１０】第１の実施形態に係る発明図である。

【図１１】第２の実施形態に係る説明図である。

【図１２】第３の実施形態に係る発明図である。

【図１３】第３の実施形態に係る説明図である。

【図１４】第４の実施形態に係る説明図である。

【図１５】第４の実施形態に係る説明図である。

【図１６】第４の実施形態に係る説明図である。

【図１７】第４の実施形態に係る説明図である。

【図１８】第４の実施形態に係る説明図である。

【符号の説明】

１０１ 顔画像入力手段 １０２ 部位領域検出手段 １０３ 部位領域塗りつぶし手段 １０４ 部位記憶手段 １０５ 合成手段 ３０１ 距離計算手段 ３０２ 色抽出手段 ３０３ 色決定手段 ３０４ 色補正手段 ５０１ 画素抽出手段 ５０２ 比率計算手段 ５０３ 画像補正手段 ５０４ 画像認識手段 ５０５ 画像サイズ変更手段 ７０１ 変形候補領域抽出手段 ７０２ 変形領域決定手段 ７０３ 顔画像変形手段 ７０４ 画像選択手段 ７０５ 画像変更手段 ７０６ 変形パラメータ決定手段 ７０７ 装飾物検出手段 ７０８ 部位判断手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 長井 義典 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 井上 理 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5B050 AA08 AA09 BA06 BA12 CA07 DA04 EA06 EA07 EA08 EA09 EA12 EA13 EA18 EA19 EA22 FA09 5B057 AA20 BA30 CA01 CA08 CA12 CA16 CB01 CB12 CB16 CC03 CD05 CD11 CE08 CE09 CE17 CE18 DA08 DA17 DB02 DB06 DB09 DC03 DC08 DC25 DC30 DC33 DC36 5B080 FA02 FA08 GA25

Claims (43)

【特許請求の範囲】
1. 【請求項１】 顔画像を入力する顔画像入力手段と、 顔画像に含まれる部位の領域を検出する部位領域検出手
   段と、 検出された部位領域内を少なくとも一つの色で塗りつぶ
   す部位領域塗りつぶし手段とを備えたことを特徴とする
   画像処理装置。
2. 【請求項２】 目や口など少なくとも一つの部位の画像
   を記憶する部位記憶手段と、 前記部位領域塗りつぶし手段で塗りつぶした顔画像に前
   記部位記憶手段で記憶された部位画像を合成する合成手
   段とを備えたことを特徴とする請求項１に記載の画像処
   理装置。
3. 【請求項３】 前記部位領域検出手段で検出された領域
   に含まれる任意の座標を塗りつぶす色情報を前記画像入
   力手段によって入力された顔画像に含まれる少なくとも
   一つの画素の色情報から求める色決定手段を備えたこと
   を特徴とする請求項１または請求項２に記載の画像処理
   装置。
4. 【請求項４】 前記部位領域検出手段で検出された領域
   に含まれる任意の座標と検出された領域の周囲に含まれ
   る少なくとも二つの任意の座標との距離を計算する距離
   計算手段と、 前記距離計算手段で距離を計算した領域の周囲に含まれ
   る少なくとも二つの座標における色を抽出する色抽出手
   段と、 前記距離計算手段で求めた少なくとも二つの距離と前記
   色抽出手段で抽出した少なくとも二つの色とから求めた
   色情報を前記色決定手段で求める色情報とする領域周囲
   色決定手段とを備えたことを特徴とする請求項３に記載
   の画像処理装置。
5. 【請求項５】 前記部位領域検出手段で検出された領域
   に含まれる少なくとも二つの画素から色情報を抽出する
   領域内色抽出手段と、 前記領域内色抽出手段によって抽出された色情報の平均
   を求める平均計算手段と、 前記平均計算手段によって求めた色情報を前記色決定手
   段で求める色情報とする領域平均色決定手段とを備えた
   ことを特徴とする請求項３に記載の画像処理装置。
6. 【請求項６】 前記色決定手段によって決定された色
   を、前記部位領域検出手段によって検出された領域の中
   心座標との距離によって色相、彩度、明度の少なくとも
   一つを変更する色補正手段を備えたことを特徴とする請
   求項３ないし請求項５のいずれかに記載の画像処理装
   置。
7. 【請求項７】 部位領域を塗りつぶした顔画像と塗りつ
   ぶす前の顔画像の対応する座標の画素同士の色相、彩
   度、明度のうち少なくとも一つを比較することで、閾値
   以上の値の差をもつ少なくとも一つの画素を抽出する画
   素抽出手段と、前記画素抽出手段によって抽出した画素
   の色相、彩度、明度のうち少なくとも一つの平均と、目
   や口などの部位の画像の色相、彩度、明度のうち少なく
   とも一つの平均との比率を求める比率計算手段と、 前記比率計算手段で求められた比率によって部位の画像
   を補正する画像補正手段とを備えたことを特徴とする請
   求項１ないし請求項６のいずれかに記載の画像処理装
   置。
8. 【請求項８】 顔画像の部位の大きさを認識する画像認
   識手段と、 前記画像認識手段によって認識した部位の大きさに合わ
   せて合成する部位の画像の大きさを変更する画像サイズ
   変更手段とを備えたことを特徴とする請求項１ないし請
   求項７のいずれかに記載の画像処理装置。
9. 【請求項９】 顔画像における眉、目、口、頬などの変
   形を行う領域を抽出する変形候補領域抽出手段と、 前記変形候補領域抽出手段で抽出された少なくとも一つ
   の変形候補領域のうち表情情報によってどの領域を変形
   するかを決定する変形領域決定手段と、 前記変形領域決定手段によって決定された変形領域を変
   形の程度を決める変形パラメータに従って変形する顔画
   像変形手段とを備えたことを特徴とする請求項１ないし
   請求項８のいずれかに記載の画像処理装置。
10. 【請求項１０】 表情合成を行う表情によって合成する
    部位の画像の種類を変更する画像選択手段を備えたこと
    を特徴とする請求項１ないし請求項９のいずれかに記載
    の画像処理装置。
11. 【請求項１１】 表情合成を行う表情によって合成する
    部位の画像の大きさを変更する画像変更手段を備えたこ
    とを特徴とする請求項１ないし請求項１０のいずれかに
    記載の画像処理装置。
12. 【請求項１２】 顔画像に含まれる眉、目、鼻、口、頬
    など顔の部位のうち少なくとも一つの部位における大き
    さ、座標、相対位置の少なくとも一つから変形領域の変
    形パラメータを決定する変形パラメータ決定手段を備え
    たことを特徴とする請求項１ないし請求項１１のいずれ
    かに記載の画像処理装置。
13. 【請求項１３】 前記変形領域決定手段で決定された変
    形領域から眼鏡など顔に付随する装飾物を検出する装飾
    物検出手段を備え、前記装飾物検出手段によって装飾物
    であると検出された画素は顔画像の処理を切り替えるこ
    とを特徴とする請求項９ないし請求項１２のいずれかに
    記載の画像処理装置。
14. 【請求項１４】 前記変形領域決定手段で決定された変
    形領域から変形を行う部位と変形を行わない部位を判断
    する部位判断手段を備え、前記部位判断手段によって変
    形する部位であると判断された画素のみ変形することを
    特徴とする請求項９ないし請求項１３のいずれかに記載
    の画像処理装置。
15. 【請求項１５】 顔画像を入力する顔画像入力手順と、 入力された顔画像に含まれる部位の領域を検出する部位
    領域検出手順と、 検出された部位領域内を少なくとも一つの色で塗りつぶ
    す部位領域塗りつぶし手順とを含むことを特徴とする画
    像処理方法。
16. 【請求項１６】 目や口など少なくとも一つの部位の画
    像を記憶する部位記憶手順と、 前記部位領域塗りつぶし手順で塗りつぶした顔画像に前
    記部位記憶手順で記憶された部位画像を合成する合成手
    順とを含むことを特徴とする請求項１５に記載の画像処
    理方法。
17. 【請求項１７】 前記部位領域検出手順で検出された領
    域に含まれる任意の座標を塗りつぶす色情報を前記画像
    入力手順によって入力された顔画像に含まれる少なくと
    も一つの画素の色情報から求める色決定手順を含むこと
    を特徴とする請求項１５または請求項１６に記載の画像
    処理方法。
18. 【請求項１８】 前記部位領域検出手順で検出された領
    域に含まれる任意の座標と検出された領域の周囲に含ま
    れる少なくとも二つの任意の座標との距離を計算する距
    離計算手順と、 前記距離計算手順で距離を計算した領域の周囲に含まれ
    る少なくとも二つの座標における色を抽出する色抽出手
    順と、 前記距離計算手順で求めた少なくとも二つの距離と前記
    色抽出手順で抽出した少なくとも二つの色とから求めた
    色情報を前記色決定手順で求める色情報とする領域周囲
    色決定手順とを含むことを特徴とする請求項１７に記載
    の画像処理方法。
19. 【請求項１９】 前記部位領域検出手順で検出された領
    域に含まれる少なくとも二つの画素から色情報を抽出す
    る領域内色抽出手順と、 前記領域内色抽出手順によって抽出された色情報の平均
    を求める平均計算手順と、 前記平均計算手順によって求めた色情報を前記色決定手
    順で求める色情報とする領域平均色決定手順とを含むこ
    とを特徴とする請求項１７に記載の画像処理方法。
20. 【請求項２０】 前記色決定手順によって決定された色
    を、前記部位領域検出手順によって検出された領域の中
    心座標との距離によって色相、彩度、明度の少なくとも
    一つを変更する色補正手順を含むことを特徴とする請求
    項１７ないし請求項１９のいずれかに記載の画像処理方
    法。
21. 【請求項２１】 部位領域を塗りつぶした顔画像と塗り
    つぶす前の顔画像の対応する座標の画素同士の色相、彩
    度、明度のうち少なくとも一つを比較することで、閾値
    以上の値の差をもつ少なくとも一つの画素を抽出する画
    素抽出手順と、 前記画素抽出手順によって抽出した画素の色相、彩度、
    明度のうち少なくとも一つの平均と、目や口などの部位
    の画像の色相、彩度、明度のうち少なくとも一つの平均
    との比率を求める比率計算手順と、 前記比率計算手順で求められた比率によって部位の画像
    を補正する画像補正手順とを含むことを特徴とする請求
    項１５ないし請求項２０のいずれかに記載の画像処理方
    法。
22. 【請求項２２】 顔画像の部位の大きさを認識する画像
    認識手順と、 前記画像認識手順によって認識した部位の大きさに合わ
    せて合成する部位の画像の大きさを変更する画像サイズ
    変更手順とを含むことを特徴とする請求項１５ないし請
    求項２１のいずれかに記載の画像処理方法。
23. 【請求項２３】 顔画像における眉、目、口、頬などの
    変形を行う領域を抽出する変形候補領域抽出手順と、 前記変形候補領域抽出手順で抽出された少なくとも一つ
    の変形候補領域のうち表情情報によってどの領域を変形
    するかを決定する変形領域決定手順と、 前記変形領域決定手順によって決定された変形領域を変
    形の程度を決める変形パラメータに従って変形する顔画
    像変形手順とを含むことを特徴とする請求項１５ないし
    請求項２２のいずれかに記載の画像処理方法。
24. 【請求項２４】 表情合成を行う表情によって合成する
    部位の画像の種類を変更する画像選択手順を含むことを
    特徴とする請求項１５ないし請求項２３のいずれかに記
    載の画像処理方法。
25. 【請求項２５】 表情合成を行う表情によって合成する
    部位の画像の大きさを変更する画像変更手順を含むこと
    を特徴とする請求項１５ないし請求項２４のいずれかに
    記載の画像処理方法。
26. 【請求項２６】 顔画像に含まれる眉、目、鼻、口、頬
    など顔の部位のうち少なくとも一つの部位における大き
    さ、座標、相対位置の少なくとも一つから変形領域の変
    形パラメータを決定する変形パラメータ決定手順を含む
    ことを特徴とする請求項１５ないし請求項２５のいずれ
    かに記載の画像処理方法。
27. 【請求項２７】 前記変形領域決定手順で決定された変
    形領域から眼鏡など顔に付随する装飾物を検出する装飾
    物検出手順を含み、前記装飾物検出手順によって装飾物
    であると検出された画素は顔画像の処理を切り替えるこ
    とを特徴とする請求項２３ないし請求項２６のいずれか
    に記載の画像処理方法。
28. 【請求項２８】 前記変形領域決定手順で決定された変
    形領域から変形を行う部位と変形を行わない部位を判断
    する部位判断手順を含み、前記部位判断手順によって変
    形する部位であると判断された画素のみ変形することを
    特徴とする請求項２３ないし請求項２７のいずれかに記
    載の画像処理方法。
29. 【請求項２９】 コンピュータ読み取り可能な画像処理
    プログラムであって、 顔画像を入力する顔画像入力ステップと、 入力された顔画像に含まれる部位の領域を検出する部位
    領域検出ステップと、 検出された部位領域内を少なくとも一つの色で塗りつぶ
    す部位領域塗りつぶしステップとを含むことを特徴とす
    る画像処理プログラム。
30. 【請求項３０】 目や口など少なくとも一つの部位の画
    像を記憶する部位記憶ステップと、 前記部位領域塗りつぶしステップで塗りつぶした顔画像
    に前記部位記憶ステップで記憶された部位画像を合成す
    る合成ステップとを含むことを特徴とする請求項２９に
    記載の画像処理プログラム。
31. 【請求項３１】 前記部位領域検出ステップで検出され
    た領域に含まれる任意の座標を塗りつぶす色情報を前記
    画像入力ステップによって入力された顔画像に含まれる
    少なくとも一つの画素の色情報から求める色決定ステッ
    プを含むことを特徴とする請求項２９または請求項３０
    に記載の画像処理プログラム。
32. 【請求項３２】 前記部位領域検出ステップで検出され
    た領域に含まれる任意の座標と検出された領域の周囲に
    含まれる少なくとも二つの任意の座標との距離を計算す
    る距離計算ステップと、 前記距離計算ステップで距離を計算した領域の周囲に含
    まれる少なくとも二つの座標における色を抽出する色抽
    出ステップと、 前記距離計算手順で求めた少なくとも二つの距離と前記
    色抽出ステップで抽出した少なくとも二つの色とから求
    めた色情報を前記色決定ステップで求める色情報とする
    領域周囲色決定ステップとを含むことを特徴とする請求
    項３１に記載の画像処理プログラム。
33. 【請求項３３】 前記部位領域検出ステップで検出され
    た領域に含まれる少なくとも二つの画素から色情報を抽
    出する領域内色抽出ステップと、 前記領域内色抽出ステップによって抽出された色情報の
    平均を求める平均計算ステップと、 前記平均計算ステップによって求めた色情報を前記色決
    定ステップで求める色情報とする領域平均色決定ステッ
    プとを含むことを特徴とする請求項３１に記載の画像処
    理プログラム。
34. 【請求項３４】 前記色決定ステップによって決定され
    た色を、前記部位領域検出ステップによって検出された
    領域の中心座標との距離によって色相、彩度、明度の少
    なくとも一つを変更する色補正ステップを含むことを特
    徴とする請求項３１ないし請求項３３のいずれかに記載
    の画像処理プログラム。
35. 【請求項３５】 部位領域を塗りつぶした顔画像と塗り
    つぶす前の顔画像の対応する座標の画素同士の色相、彩
    度、明度のうち少なくとも一つを比較することで、閾値
    以上の値の差をもつ少なくとも一つの画素を抽出する画
    素抽出ステップと、 前記画素抽出ステップによって抽出した画素の色相、彩
    度、明度のうち少なくとも一つの平均と、目や口などの
    部位の画像の色相、彩度、明度のうち少なくとも一つの
    平均との比率を求める比率計算ステップと、 前記比率計算ステップで求められた比率によって部位の
    画像を補正する画像補正ステップとを含むことを特徴と
    する請求項２９ないし請求項３４のいずれかに記載の画
    像処理プログラム。
36. 【請求項３６】 顔画像の部位の大きさを認識する画像
    認識ステップと、 前記画像認識ステップによって認識した部位の大きさに
    合わせて合成する部位の画像の大きさを変更する画像サ
    イズ変更ステップとを含むことを特徴とする請求項２９
    ないし請求項３５のいずれかに記載の画像処理プログラ
    ム。
37. 【請求項３７】 顔画像における眉、目、口、頬などの
    変形を行う領域を抽出する変形候補領域抽出ステップ
    と、 前記変形候補領域抽出ステップで抽出された少なくとも
    一つの変形候補領域のうち表情情報によってどの領域を
    変形するかを決定する変形領域決定ステップと、 前記変形領域決定ステップによって決定された変形領域
    を変形の程度を決める変形パラメータに従って変形する
    顔画像変形ステップとを含むことを特徴とする請求項２
    ９ないし請求項３６のいずれかに記載の画像処理プログ
    ラム。
38. 【請求項３８】 表情合成を行う表情によって合成する
    部位の画像の種類を変更する画像選択ステップを含むこ
    とを特徴とする請求項２９ないし請求項３７のいずれか
    に記載の画像処理ステップ。
39. 【請求項３９】 表情合成を行う表情によって合成する
    部位の画像の大きさを変更する画像変更ステップを含む
    ことを特徴とする請求項２９ないし請求項３８のいずれ
    かに記載の画像処理プログラム。
40. 【請求項４０】 顔画像に含まれる眉、目、鼻、口、頬
    など顔の部位のうち少なくとも一つの部位における大き
    さ、座標、相対位置の少なくとも一つから変形領域の変
    形パラメータを決定する変形パラメータ決定ステップを
    含むことを特徴とする請求項２９ないし請求項３９のい
    ずれかに記載の画像処理プログラム。
41. 【請求項４１】 前記変形領域決定ステップで決定され
    た変形領域から眼鏡など顔に付随する装飾物を検出する
    装飾物検出ステップを含み、前記装飾物検出ステップに
    よって装飾物であると検出された画素は顔画像の処理を
    切り替えることを特徴とする請求項３７ないし請求項４
    ０のいずれかに記載の画像処理プログラム。
42. 【請求項４２】 前記変形領域決定ステップで決定され
    た変形領域から変形を行う部位と変形を行わない部位を
    判断する部位判断ステップを含み、前記部位判断ステッ
    プによって変形する部位であると判断された画素のみ変
    形することを特徴とする請求項３７ないし請求項４１の
    いずれかに記載の画像処理プログラム。
43. 【請求項４３】 前記請求項２９ないし請求項４２のい
    ずれかに記載の画像処理プログラムを格納したコンピュ
    ータ読みり可能な記録媒体。