JP2013226286A - ヘアスタイル合成方法、ヘアスタイル合成装置およびヘアスタイル合成プログラム - Google Patents

Abstract

【課題】被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを生成する。
【解決手段】ヘアスタイル合成方法は、被写体の顔パーツを含む被写体画像データ１３の肌部分から、ＲＧＢの各チャンネルの基準値を持つ被写体肌色データ１４を出力するステップと、ＲＧＢの各チャンネルについて、被写体肌色データ１４とモデルの肌色データとの差分から、当該チャンネルのガンマカーブの係数を算出するステップと、ＲＧＢの各チャンネルについて、当該チャンネルについて算出された係数を持つガンマカーブに基づいて、被写体画像データ１３の各画素の値を補正し、被写体補正画像データを１６生成するステップと、モデルのヘアスタイル画像データＨ１と、被写体補正画像データ１６とを合成して、合成画像データ１７を生成するステップとを備える。
【選択図】図１

Description

本発明は、被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを生成するヘアスタイル合成方法、ヘアスタイル合成装置およびヘアスタイル合成プログラムに関する。

昨今の情報処理技術および撮像装置の普及によって、ユーザは、複数の画像を合成することができ、ユーザは写真の合成により様々なシミュレーションを行うことができる。例えば、どのようなヘアスタイルが似合うか分からないユーザに対し、似合うヘアスタイルを提案するとともに、ユーザの顔画像データと合成したシミュレーション画像を出力することができる（例えば、特許文献１参照。）。この特許文献１によれば、ユーザに合うヘアスタイルを提案し、ユーザの顔と合成して出力することができる。

また、写真プリントにおいてより美しい画像データを出力するために、画像データ中の人の顔色に着目して、補正する方法も知られている（例えば、特許文献２、特許文献３および特許文献４参照。）。

特許文献２に記載の方法では、画像データ中の顔と顔以外の背景もバランス良く仕上げるため、顔の色の濃度を、濃度特性曲線をシフトした適正濃度特性曲線を用いて、画像データを補正する。特許文献３に記載の方法は、ＲＧＢ色空間の値から、ＰＱ色空間のＰＱ座標に変換し、ＰＱ色空間における目標となる色相に合わせるように、Ｐ成分およびＱ成分からなる補正シフト量を用いて補正する。特許文献４に記載の方法は、ＲＧＢ色空間から、色相彩度座標系の座標値に変換し、ニューラルネットワークなどを用いて、基準カラー補正量を算定する。このとき、教師データはＧＵＩからの操作によって入力される。

特開２０１１−１４３１５８号公報 特開２００５−１５９３８７号公報 特開２００６−３１８２７６号公報 特開２００８−７９０２２号公報

しかしながら、特許文献１に記載の方法によれば、ヘアスタイルの画像と、顔の画像とを合成した画像を作成している。この場合、入力される被写体の顔画像データの撮影環境によっては、ヘアスタイルと被写体の顔の輪郭との境界が不自然な画像となってしまう問題がある。

これに対し、モデルのヘアスタイルと顔の輪郭を残した画像を用意し、この画像に、被写体の顔パーツを重ねる方法もある。この方法によれば、ヘアスタイルと被写体の顔の輪郭との境界を自然にすることができる。具体的には、被写体の画像から、被写体の目、鼻および口を含む顔パーツ部Ｆを切り出して、モデルのヘアスタイルと顔の輪郭を残した画像に重ねて、合成画像を生成する。

しかしながら、モデルのヘアスタイルと顔の輪郭を残した画像と、被写体の画像とを合成する際、被写体の肌の色と、モデルの顔の輪郭の肌の色とが合わない場合、図１１に示すように、肌の色に差が発生してしまう問題がある。例えば、被写体の画像データとモデルのヘアスタイルの画像データとで、ホワイトバランスが異なる場合、被写体とモデルとが同じ肌の色であっても、合成した際に肌の色に差が発生してしまう。またホワイトバランスが同じ場合でも、被写体とモデルとで肌の色が異なる場合、被写体の画像の顔パーツ部Ｆと、モデルの輪郭部分とで、図１１に示すように、肌の色に差が発生してしまう問題がある。

そこで、顔パーツ部Ｆの肌の色を、モデルの肌の色に補正する必要があるところ、特許文献２ないし４の方法では、適切に補正できない問題がある。

具体的には、特許文献２に記載の方法では、顔の色の濃度を、濃度特性曲線をシフトした適正濃度特性曲線を用いて、画像データを補正する。従って、顔パーツ部Ｆの全体を補正すると、モデルの肌色と顔パーツ部Ｆの肌色とで、濃度が同じになっても、そのＲＧＢの成分が異なるので色相が合わず、図１１と同様に肌の色に差が発生してしまう問題が解決しない。また特許文献３に記載の方法では、ＲＧＢ色空間から変換したＰＱ色空間を用いているため、特許文献２と同様に、色相が合わず、図１１と同様に肌の色に差が発生してしまう問題が残る。

また特許文献４に記載の方法は、色相彩度座標系に変換した後、補正するので、特許文献２および３と同様に、色相が合わず、図１１と同様に肌の色に差が発生してしまう問題が残る。さらに特許文献４は、既に目標とする色が決まっている場合の補正において、ニューラルネットワークを用いることにより、複雑な計算を要してしまう問題がある。これは、リアルタイム性を要求される場面において、コンピュータに負担がかかってしまう問題がある。

従って本発明の目的は、被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを容易に生成することのできるヘアスタイル合成方法、ヘアスタイル合成装置およびヘアスタイル合成プログラムを提供することである。

上記課題を解決するために、本発明の第１の特徴は、被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを生成するヘアスタイル合成方法に関する。即ち本発明の第１の特徴に係るヘアスタイル合成方法は、被写体の顔パーツを含む被写体画像データの肌部分から、ＲＧＢの各チャンネルの基準値を持つ被写体肌色データを出力するステップと、ＲＧＢの各チャンネルについて、被写体肌色データとモデルの肌色データとの差分から、当該チャンネルのガンマカーブの係数を算出するステップと、ＲＧＢの各チャンネルについて、当該チャンネルについて算出された係数を持つガンマカーブに基づいて、被写体画像データの各画素の値を補正し、被写体補正画像データを生成するステップと、モデルのヘアスタイル画像データと、被写体補正画像データとを合成して、合成画像データを生成するステップとを備える。

ここで、被写体肌色データを出力するステップは、被写体画像データから、目を含む矩形部分に下方向に隣接するほほの領域のＲＧＢの各チャンネルの基準値を、被写体肌色データとして出力しても良い。

また、係数を算出するステップが出力するガンマカーブの係数は、ＲＧＢの各チャンネルについて、当該チャンネルの被写体肌色データの基準値を、当該チャンネルのモデルの肌色データに変換可能な係数であっても良い。

本発明の第２の特徴は、被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを生成するヘアスタイル合成装置に関する。即ち本発明の第２の特徴に係るヘアスタイル合成装置は、ＲＧＢの各チャンネルのモデルの肌色データと、当該モデルのヘアスタイル画像データとを対応づけたモデルデータを記憶する記憶装置と、被写体の顔パーツを含む被写体画像データの肌部分から、ＲＧＢの各チャンネルの基準値を持つ被写体肌色データを出力する肌色取得手段と、ＲＧＢの各チャンネルについて、被写体肌色データとモデルの肌色データとの差分から、当該チャンネルのガンマカーブの係数を算出する係数算出手段と、ＲＧＢの各チャンネルについて、当該チャンネルについて算出された係数を持つガンマカーブに基づいて、被写体画像データの各画素の値を補正し、被写体補正画像データを生成する被写体画像補正手段と、モデルのヘアスタイル画像データと、被写体補正画像データとを合成して、合成画像データを生成する画像合成手段とを備える。

ここで、肌色取得手段は、被写体画像データから、目を含む矩形部分に下方向に隣接するほほの領域のＲＧＢの各チャンネルの基準値を、被写体肌色データとして出力しても良い。

また、係数算出手段が出力するガンマカーブの係数は、ＲＧＢの各チャンネルについて、当該チャンネルの被写体肌色データの基準値を、当該チャンネルのモデルの肌色データに変換可能な係数であっても良い。

本発明の第３の特徴は、被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを生成するヘアスタイル合成プログラムに関する。即ち本発明の第３の特に係るヘアスタイル合成プログラムは、コンピュータに、被写体の顔パーツを含む被写体画像データの肌部分から、ＲＧＢの各チャンネルの基準値を持つ被写体肌色データを出力するステップと、ＲＧＢの各チャンネルについて、被写体肌色データとモデルの肌色データとの差分から、当該チャンネルのガンマカーブの係数を算出するステップと、ＲＧＢの各チャンネルについて、当該チャンネルについて算出された係数を持つガンマカーブに基づいて、被写体画像データの各画素の値を補正し、被写体補正画像データを生成するステップと、モデルのヘアスタイル画像データと、被写体補正画像データとを合成して、合成画像データを生成するステップとを実行させる。

ここで、被写体肌色データを出力するステップは、被写体画像データから、目を含む矩形部分に下方向に隣接するほほの領域のＲＧＢの各チャンネルの基準値を、被写体肌色データとして出力しても良い。

また、係数を算出するステップが出力するガンマカーブの係数は、ＲＧＢの各チャンネルについて、当該チャンネルの被写体肌色データの基準値を、当該チャンネルのモデルの肌色データに変換可能な係数であっても良い。

本発明によれば、被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを容易に生成することのできるヘアスタイル合成方法、ヘアスタイル合成装置およびヘアスタイル合成プログラムを提供することができる。

本発明の実施の形態に係るヘアスタイル合成方法の処理を説明するフローチャートである。 本発明の実施の形態に係るヘアスタイル合成方法において、合成対象モデル選択画面の一例である。 モデル画像データの一例である。 本発明の実施の形態に係るヘアスタイル画像データの一例である。 本発明の実施の形態に係る被写体画像データの撮影時のポイントを示した被写体画像案内画面の一例である。 被写体画像データの一例である。 本発明の実施の形態に係るヘアスタイル合成方法におけるガンマカーブを説明する図である。 本発明の実施の形態に係るヘアスタイル合成方法により出力された合成画像データの一例である。 本発明の実施の形態に係るヘアスタイル合成装置のハードウェア構成と機能ブロックを説明する図である。 本発明の実施の形態に係るモデルデータのデータ構造とデータの一例を説明する図である。 従来手法で生成した合成写真を説明する図である。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

（ヘアスタイル合成方法）
本発明の実施の形態に係るヘアスタイル合成方法は、被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを生成する。このとき、本発明の実施の形態に係るヘアスタイル合成方法は、ＲＧＢの各チャンネルについて、被写体の肌色データをモデルの肌色データに変換するガンマカーブを作成し、被写体の各画素の画素値に、ＲＧＢの各ガンマカーブを適用して、被写体の肌色データを補正する。これにより、ヘアスタイル合成方法は、モデルのヘアスタイルと顔の輪郭を持ち、任意の被写体の目鼻口などの顔のパーツを持つ合成画像を生成する。このヘアスタイル合成方法は、ヘアスタイル合成装置１によって実行される。ヘアスタイル合成装置１は、所定のプログラムを実行するコンピュータや、スマートフォンなどである。

図１を参照して、本発明の実施の形態に係るヘアスタイル合成方法を説明する。

まずステップＳ１においてヘアスタイル合成装置１は、合成対象のモデルの識別子を取得する。例えばヘアスタイル合成装置１は、図２に示す合成対象モデル選択画面Ｐ１０１をディスプレイに表示する。ユーザは、合成対象モデル選択画面Ｐ１０１に表示されたモデルのうち、自身の顔と合成したいヘアスタイルのモデルを選択し、ヘアスタイル合成装置１は、合成対象のモデルの識別子を取得する。

ここで、ヘアスタイル合成装置１は、合成対象のモデルについて、モデルの識別子と、モデル画像データＭ１と、ヘアスタイル画像データＨ１と、モデルの肌色データを対応づけて予め記憶する。図３は、ユーザが指定した合成対象のモデルのモデル画像データＭ１で、図４は、このモデル画像データＭ１に対応するヘアスタイル画像データＨ１である。ヘアスタイル画像データＨ１は、ユーザの顔パーツ部Ｆと合成可能な様に、モデルの顔パーツ部Ｆを切り抜いた画像データである。モデルの肌色データは、ＲＧＢの各チャンネルのモデルの肌色のデータであって、予め保持しているデータである。

ステップＳ２においてヘアスタイル合成装置１は、ユーザの画像として、被写体画像データ１３を取得する。このときユーザは、被写体画像データ１３として撮影した画像データを指定しても良いし、予め撮影した画像データを取得しても良い。ヘアスタイル合成装置１は、本発明の実施の形態に係るヘアスタイル合成方法に適切な被写体画像データとして、図５に示す被写体画像案内画面Ｐ１０２を表示しても良い。被写体画像案内画面Ｐ１０２は、被写体の画像データを撮影するにあたり、「正面を向く」、「前髪は上げる」、「メガネはかけない」などの注意事項を表示する。これらの注意事項は、ユーザの画像データから顔パーツ部Ｆを抽出し、モデルのヘアスタイル画像に合成しやすくするためのものである。このような処理により、ヘアスタイル合成装置１は、図６に示す被写体画像データを取得したとする。

ステップＳ３においてヘアスタイル合成装置１は、ステップＳ２で取得した被写体画像データ１３の各画素値から、明るさを算出する。ヘアスタイル合成装置１は、ステップＳ４において、ステップＳ３で取得した被写体画像データ１３の明るさが、所定の閾値以上であるか否かを判定する。明るさが所定の閾値以下の場合、ヘアスタイル合成装置１は、ユーザに再度画像を撮影するようにエラーメッセージを出力し、ステップＳ２に戻る。

ここで、「所定の閾値」は、本発明の実施の形態に係るヘアスタイル合成方法によって適切な合成画像データ１７を得られる明るさの閾値である。例えば、被写体画像データ１３が暗すぎる場合、ヘアスタイル合成装置１は、エラーメッセージを出力する。

被写体画像データ１３が所定の閾値以上の明るさを持つ場合、ステップＳ５に進む。ステップＳ５においてヘアスタイル合成装置１は、被写体画像データ１３のうち、被写体の顔および目の位置を検出する。本発明の実施の形態において、被写体の顔および目の位置を検出する方法は、問わない。ここで顔の位置は、目の位置が正しく検出されたか否かを判定するために用いられる。また目の位置は、後述するように被写体画像データを合成する際に用いられる。

ステップＳ６において、ステップＳ５で検出した目の位置に基づいて、被写体のほほの領域を検出する。例えばヘアスタイル合成装置１は、目の位置に基づいて、目を含む矩形を特定し、その目を含む矩形に下方向に隣接する矩形であって、目を含む矩形と同じ大きさの矩形を、ほほの領域として検出する。ステップＳ７においてステップＳ６で特定されたほほの領域の画素の画素値から、被写体肌色データ１４を生成する。この被写体肌色データ１４は、被写体画像データの肌部分から取得した、ＲＧＢの各チャンネルの被写体の肌色の基準値のデータである。ここで「被写体の肌色の基準値」とは、本発明の実施の形態において特定した、被写体の肌色を代表する値であって、具体的には、被写体のほほの部分の中央値である。

ここで、ステップＳ５ないしステップＳ７の処理は、被写体肌色データ１４を生成するための一連の処理の一例である。被写体肌色データ１４を生成することができれば、どのような処理でも良い。

被写体肌色データ１４を生成すると、ヘアスタイル合成装置１は、ＲＧＢの各チャンネルについてステップＳ８およびステップＳ９の処理を繰り返す。ステップＳ８においてヘアスタイル合成装置１は、チャンネルＲについて、モデル肌色データのＲの値と、被写体肌色データのＲの値との差分ｄＲを算出する。ステップＳ９において、ヘアスタイル合成装置１は、ステップＳ８で算出した成分差分ｄＲに基づいて、チャンネルＲのガンマカーブの係数γＲを算出する。この処理で算出する係数γＲは、図７に示すように、被写体の肌色のチャンネルＲの基準値ｘを、モデルの肌色のチャンネルＲの値ｙ’とするためのガンマカーブの係数である。

図７に示す例において、ガンマカーブは、式（１）により与えられる。なお、ここでは、各チャンネルの画素値を、８ビットで表現する場合について説明する。
・・・・式（１）
式（１）に基づいて、係数γＲは、式（２）により与えられる。
・・・・式（２）
ここで、図７に示すように、入力画素値ｘが、Ｒチャンネルの被写体の肌色の基準値の場合、出力画素値ｙ’は、ｙ＋ｄＲで表現され、ｘ＝ｙであるので、ｙ’＝ｘ＋ｄの関係が成り立つ。従って、係数γＲは、被写体の入力画素値ｘと、差分ｄＲにより与えられる。

このように式（１）および式（２）により、被写体の入力画素値ｘを、ｙ’に補正することができる。

ヘアスタイル合成装置１は、Ｒチャンネルについてガンマカーブの係数γＲを算出すると、Ｇチャンネルについてガンマカーブの係数γＧを算出するとともに、Ｂチャンネルについてガンマカーブの係数γＢを算出する。

各チャンネルについてガンマカーブの係数が算出されると、ヘアスタイル合成装置１は、被写体画像データの各画素および各チャンネルについて、ステップＳ１０において、被写体画像データ１３の各画素値を、各チャンネルに対応するガンマカーブで補正する。ヘアスタイル合成装置１は、被写体画像データ１３の各画素のＲの画素値を、係数γＲを持つガンマカーブを使って補正し、Ｇの画素値を、係数γＧを持つガンマカーブを使って補正し、Ｂの画素値を、係数γＢを持つガンマカーブを使って補正する。この結果、ステップＳ１１においてヘアスタイル合成装置１は、ステップＳ１０で得られた補正後の値をマージして、被写体補正画像データ１６を生成する。

さらにステップＳ１２において、ヘアスタイル合成装置１は、ステップＳ１０で作成した被写体補正画像データ１６とモデルのヘアスタイル画像データＨ１とを合成して、合成画像データ１７を生成する。例えばヘアスタイル合成装置１は、モデルの目の位置と被写体の目の位置が合うように、ヘアスタイル画像データＨ１の顔パーツ部Ｆに被写体補正画像データ１６の顔パーツ部分を合成する。このときヘアスタイル画像データＨ１は、被写体補正画像データ１６を、モデルの顔パーツ部Ｆの大きさに合うように、適宜拡大および縮小しても良い。

このような処理で得られた合成画像データ１７を、図８に示す。図８に示す例では、モデルのヘアスタイルおよび顔の輪郭に、被写体の顔パーツが合成されている。また、被写体の顔パーツの肌部分は、図６に示した被写体の肌の色相ではなく、モデルの肌の色相にあったものとなる。

また、図７に示すガンマカーブは、被写体の肌色の近辺の画素値を、モデルの肌色の画素値に変換し、それ以外の色の補正の度合いは大きくない。従って、被写体の顔パーツ部のうち、目、口、ほくろなど、肌色とは異なる色の部分については補正の度合いが小さく、肌色部分がモデルの肌色の色相に合うように変換される。これにより本発明の実施の形態に係るヘアスタイル合成装置１は、被写体の顔の特徴を残しつつ、図８に示すように、自然な合成画像データ１７を得ることができる。

（ヘアスタイル合成装置）
図９を参照して本発明の実施の形態に係るヘアスタイル合成装置１を説明する。ヘアスタイル合成装置１は、被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データ１７を生成する。ヘアスタイル合成装置１は、記憶装置１０、中央処理制御装置２０および入出力装置３０などを備える一般的な情報処理端末であって、具体的には、コンピュータ、スマートフォン、携帯電話機などである。ヘアスタイル合成装置１は、一般的な情報処理端末が、所定の処理を実行するためのヘアスタイル合成プログラムを実行することにより、図９に示す各手段として機能する。

ヘアスタイル合成装置１がコンピュータで実装される場合、入出力装置３０は、キーボード、マウスなどの入力装置と、ディスプレイなどの出力装置である。ヘアスタイル合成装置１がスマートフォンで実装される場合、入出力装置３０は、タッチパネル式のディスプレイ装置である。入出力装置３０は、中央処理制御装置２０によって制御される。

記憶装置１０は、合成対象モデル識別子データ１１、モデルデータ１２、被写体画像データ１３、被写体肌色データ１４、係数データ１５、被写体補正画像データ１６および合成画像データ１７を記憶する。合成対象モデル識別子データ１１、被写体画像データ１３、被写体肌色データ１４、係数データ１５、被写体補正画像データ１６および合成画像データ１７は、中央処理制御装置２０の各手段が出力するデータである。

モデルデータ１２は、ＲＧＢの各チャンネルのモデルの肌色データと、当該モデルのヘアスタイル画像データとを対応づけたデータである。このモデルの肌色データは、ＲＧＢのチャンネルごとに与えられ、モデル画像データＭ１から予め算出されたり、オペレータの操作により設定されるデータである。

モデルデータ１２は、例えば図１０に示すデータ構造を有する。図１０に示すモデルデータ１２は、モデルの識別子をキーに、モデル肌色データ、両目の位置、ヘアスタイル画像データおよびモデル画像データが対応づけられている。モデルデータ１２は、図２に示す各モデルについて、各種データを対応づけて保持する。

図１０に示す例において、モデルの識別子”ＩＤ−Ｍ１”には、モデル肌色データ（Ｒ１，Ｇ１，Ｂ１）、両目の位置（Ｐｘ１，Ｐｙ１）、ヘアスタイル画像データＨ１およびモデル画像データＭ１が対応づけられている。ここで、ヘアスタイル画像データＨ１は、図４を参照して説明したデータで、モデル画像データＭ１は、図３を参照して説明したデータである。ヘアスタイル画像データＨ１およびモデル画像データＭ１は、モデルを正面から撮影した、ホワイトバランスが適正な画像データである。

モデル肌色データは、例えば、モデル画像データＭ１のモデルの肌色部分から抽出されたデータであって、ＲＧＢの３チャンネルで表現される。両目の位置は、ヘアスタイル画像データＨ１におけるモデルの両目の位置のデータであって、被写体の画像と合成する際の位置合わせに用いられる。

中央処理制御装置２０は、合成対象モデル取得手段２１、被写体画像取得手段２２、明るさ判定手段２３、肌色取得手段２４、係数算出手段２５、被写体画像補正手段２６および画像合成手段２７を備える。

合成対象モデル取得手段２１は、ユーザの操作によって、入出力装置３０から合成対象のモデルの識別子を取得し、合成対象モデル識別子データ１１として、記憶装置１０に記憶する。合成対象モデル取得手段２１の処理は、図１に示すヘアスタイル合成方法のステップＳ１に相当する。

被写体画像取得手段２２は、ユーザの操作によって、合成する被写体画像データ１３を取得し、被写体画像データ１３として記憶装置１０に記憶する。被写体画像取得手段２２の処理は、図１に示すヘアスタイル合成方法のステップＳ２に相当する。

ここで取得する被写体画像データ１３は、被写体の顔パーツとを含み被写体を正面から撮影したデータである。ここで、顔パーツは、目、鼻、口などの顔のパーツであって、これらのパーツの近傍の肌も含む。

明るさ判定手段２３は、記憶装置１０から被写体画像データ１３を読み出し、被写体画像データ１３が、本発明の実施の形態に係るヘアスタイル合成に適用可能な程度の明るさを持っているか否かを判定する。明るさが不足する場合、明るさ判定手段２３は、再度ユーザに被写体画像データ１３を入力するようメッセージを出力する。明るさ判定手段２３の処理は、図１に示すヘアスタイル合成方法のステップＳ３およびＳ４に相当する。

肌色取得手段２４は、記憶装置１０から被写体画像データ１３を読み出し、被写体画像データ１３の肌部分から、ＲＧＢの各チャンネルの基準値を持つ被写体肌色データ１４を出力し、記憶装置１０に記憶する。肌色取得手段２４の処理は、図１に示すヘアスタイル合成方法のステップＳ５ないしＳ７に相当する。

肌色取得手段２４は、被写体画像データ１３における被写体の肌部分を特定し、その肌部分の色から、被写体の肌色のＲＧＢの基準値を取得する。肌色取得手段２４は、被写体画像データ１３の顔および目の位置を検出し、被写体画像データ１３から、目を含む矩形部分に下方向に隣接するほほの領域のＲＧＢの各チャンネルの基準値を、被写体肌色データ１４として出力する。肌色取得手段２４は、例えば、このほほの部分の中間色を被写体の肌色の基準値として特定し、中間色のＲＧＢの各チャンネルの値を、被写体肌色データ１４として、記憶装置１０に記憶する。ここでは、ほほの部分の中間色を用いる場合を説明したが、ほほの部分の色の平均値、中央値など、被写体の肌色を代表する値を基準値としても良い。

係数算出手段２５は、ＲＧＢの各チャンネルについて、被写体肌色データ１４とモデルの肌色データとの差分から、当該チャンネルのガンマカーブの係数を算出し、係数データ１５として記憶装置１０に記憶する。係数算出手段２５の処理は、図１に示すヘアスタイル合成方法のステップＳ８およびＳ９に相当する。

係数算出手段２５は、合成対象モデル識別子データ１１の示すモデルの識別子をキーに、モデルデータ１２からこのモデルのモデル肌色データを取得するとともに、記憶装置１０から被写体肌色データ１４を読み出す。係数算出手段２５は、被写体肌色データ１４のＲＧＢの各チャンネルの基準値が、モデルのＲＧＢの各チャンネルの肌色データに変換されるようなガンマカーブの係数を、ＲＧＢのそれぞれについて出力する。

具体的には係数算出手段２５は、被写体肌色データ１４のＲの値と、モデルの肌色データのＲの値との差分を算出し、被写体肌色データ１４のＲの値が、モデルの肌色データのＲの値となる係数γＲを、上述した式（１）および式（２）に基づいて算出する。係数算出手段２５は、被写体肌色データ１４のＧの値と、モデルの肌色データのＧの値との差分を算出し、被写体肌色データ１４のＧの値が、モデルの肌色データのＧの値となる係数γＧを、上述した式（１）および式（２）に基づいて算出する。さらに係数算出手段２５は、被写体肌色データ１４のＢの値と、モデルの肌色データのＢの値との差分を算出し、被写体肌色データ１４のＢの値が、モデルの肌色データのＢの値となる係数γＢを、上述した式（１）および式（２）に基づいて算出する。

被写体画像補正手段２６は、ＲＧＢの各チャンネルについて、当該チャンネルについて算出された係数を持つガンマカーブに基づいて、被写体画像データ１３の各画素の値を補正し、被写体補正画像データ１６を生成する。ここで係数算出手段２５が出力するガンマカーブの係数は、ＲＧＢの各チャンネルについて、当該チャンネルの被写体肌色データ１４の基準値を、当該チャンネルのモデルの肌色データに変換可能な係数である。被写体画像補正手段２６の処理は、図１に示すヘアスタイル合成方法のステップＳ１０およびＳ１１に相当する。

被写体画像補正手段２６は、記憶装置１０から被写体画像データ１３および係数データ１５を読み出す。被写体画像補正手段２６は、被写体画像データ１３の各画素の画素値について、係数データ１５に基づいて補正する。被写体画像補正手段２６は、被写体画像データ１３のＲの画素値について、係数データ１５の係数γＲで表されるガンマカーブを用いて補正する。被写体画像補正手段２６は、被写体画像データ１３のＧの画素値について、係数データ１５の係数γＧで表されるガンマカーブを用いて補正する。被写体画像補正手段２６は、被写体画像データ１３のＢの画素値について、係数データ１５の係数γＢで表されるガンマカーブを用いて補正する。被写体画像補正手段２６は、このように各画素および各チャンネルについて補正した値をマージし、被写体補正画像データ１６を生成して記憶装置１０に記憶する。

画像合成手段２７は、モデルのヘアスタイル画像データＨ１と、被写体補正画像データ１６とを合成して、合成画像データ１７を生成する。画像合成手段２７の処理は、図１に示すヘアスタイル合成方法のステップＳ１２に相当する。

画像合成手段２７は、モデルデータ１２から合成対象のヘアスタイル画像データＨ１を読み出すとともに、被写体補正画像データ１６を読み出す。ヘアスタイル画像データＨ１は、モデルのヘアスタイルと顔の輪郭を残した画像であるので、画像合成手段２７は、ヘアスタイル画像データＨ１の顔パーツ部Ｆに、被写体補正画像データ１６の顔パーツ部を合成する。このとき画像合成手段２７は、被写体の目の位置とモデルの目の位置とが合うように、被写体補正画像データ１６を縮小したり、拡大したりしても良い。

このような本発明の実施の形態に係るヘアスタイル合成方法によれば、予めモデルの肌色データをＲＧＢのチャンネルごとに保持する。またヘアスタイル合成方法は、ＲＧＢチャンネルごとの被写体の肌色データをモデルの肌色データに変換するためのガンマカーブの係数を、ＲＧＢチャンネルごとに保持する。これにより、ヘアスタイル合成方法は、被写体の顔パーツの肌色部分を、モデルの肌色の色相に変換してモデルの顔の輪郭と被写体の顔パーツを合成することができるので、モデルの輪郭と被写体の顔パーツ部との境界がなく、自然な合成画像データ１７を得ることができる。

例えば、被写体の肌の色とモデルの肌の色とが異なる場合、被写体画像データ１３のホワイトバランスが崩れている場合、また被写体の顔部分が暗く撮影された場合であっても、本発明の実施の形態に係るヘアスタイル合成方法は、自然な合成画像データを得ることができる。

また本発明の実施の形態に係るヘアスタイル合成方法において、ガンマカーブの係数は、ＲＧＢチャンネルごとの被写体の肌色データをモデルの肌色データに変換する。従って、目、鼻、口、ほくろなど、肌色とは異なる色を含むパーツについては、肌色部分に比べて補正の度合いが小さく、合成画像データ１７において被写体の顔の特徴を残すことができる。

さらに本発明の実施の形態に係るヘアスタイル合成方法は、ガンマカーブの係数を容易に算出することができるので、リアルタイム性の要求されるアプリケーションや、スマートフォンなどのスペックの低い情報処理装置においても適切に処理することができる。

（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

例えば、本発明の実施の形態に記載したヘアスタイル合成装置１は、図９に示すように一つのハードウェア上に構成されても良いし、その機能や処理数に応じて複数のハードウェア上に構成されても良い。また、既存の情報処理装置上に実現されても良い。

本発明はここでは記載していない様々な実施の形態などを含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ ヘアスタイル合成装置
１０ 記憶装置
１１ 合成対象モデル識別子データ
１２ モデルデータ
１３ 被写体画像データ
１４ 被写体肌色データ
１５ 係数データ
１６ 被写体補正画像データ
１７ 合成画像データ
２０ 中央処理制御装置
２１ 合成対象モデル取得手段
２２ 被写体画像取得手段
２３ 明るさ判定手段
２４ 肌色取得手段
２５ 係数算出手段
２６ 被写体画像補正手段
２７ 画像合成手段
３０ 入出力装置

Claims (9)

1. 被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを生成するヘアスタイル合成方法であって、
   被写体の顔パーツを含む被写体画像データの肌部分から、ＲＧＢの各チャンネルの基準値を持つ被写体肌色データを出力するステップと、
   ＲＧＢの各チャンネルについて、前記被写体肌色データとモデルの肌色データとの差分から、当該チャンネルのガンマカーブの係数を算出するステップと、
   ＲＧＢの各チャンネルについて、当該チャンネルについて算出された係数を持つガンマカーブに基づいて、前記被写体画像データの各画素の値を補正し、被写体補正画像データを生成するステップと、
   前記モデルのヘアスタイル画像データと、前記被写体補正画像データとを合成して、合成画像データを生成するステップ
   とを備えることを特徴とするヘアスタイル合成方法。
2. 前記被写体肌色データを出力するステップは、前記被写体画像データから、目を含む矩形部分に下方向に隣接するほほの領域のＲＧＢの各チャンネルの基準値を、前記被写体肌色データとして出力する
   ことを特徴とする請求項１に記載のヘアスタイル合成方法。
3. 前記係数を算出するステップが出力するガンマカーブの係数は、ＲＧＢの各チャンネルについて、当該チャンネルの被写体肌色データの基準値を、当該チャンネルの前記モデルの肌色データに変換可能な係数である
   ことを特徴とする請求項１または２に記載のヘアスタイル合成方法。
4. 被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを生成するヘアスタイル合成装置であって、
   ＲＧＢの各チャンネルのモデルの肌色データと、当該モデルのヘアスタイル画像データとを対応づけたモデルデータを記憶する記憶装置と、
   被写体の顔パーツを含む被写体画像データの肌部分から、ＲＧＢの各チャンネルの基準値を持つ被写体肌色データを出力する肌色取得手段と、
   ＲＧＢの各チャンネルについて、前記被写体肌色データと前記モデルの肌色データとの差分から、当該チャンネルのガンマカーブの係数を算出する係数算出手段と、
   ＲＧＢの各チャンネルについて、当該チャンネルについて算出された係数を持つガンマカーブに基づいて、前記被写体画像データの各画素の値を補正し、被写体補正画像データを生成する被写体画像補正手段と、
   前記モデルのヘアスタイル画像データと、前記被写体補正画像データとを合成して、合成画像データを生成する画像合成手段
   とを備えることを特徴とするヘアスタイル合成装置。
5. 前記肌色取得手段は、前記被写体画像データから、目を含む矩形部分に下方向に隣接するほほの領域のＲＧＢの各チャンネルの基準値を、前記被写体肌色データとして出力する
   ことを特徴とする請求項４に記載のヘアスタイル合成装置。
6. 前記係数算出手段が出力するガンマカーブの係数は、ＲＧＢの各チャンネルについて、当該チャンネルの被写体肌色データの基準値を、当該チャンネルのモデルの肌色データに変換可能な係数である
   ことを特徴とする請求項４または５に記載のヘアスタイル合成装置。
7. 被写体の顔パーツと、モデルのヘアスタイルとを合成した合成画像データを生成するヘアスタイル合成プログラムであって、
   コンピュータに、
   被写体の顔パーツを含む被写体画像データの肌部分から、ＲＧＢの各チャンネルの基準値を持つ被写体肌色データを出力するステップと、
   ＲＧＢの各チャンネルについて、前記被写体肌色データとモデルの肌色データとの差分から、当該チャンネルのガンマカーブの係数を算出するステップと、
   ＲＧＢの各チャンネルについて、当該チャンネルについて算出された係数を持つガンマカーブに基づいて、前記被写体画像データの各画素の値を補正し、被写体補正画像データを生成するステップと、
   前記モデルのヘアスタイル画像データと、前記被写体補正画像データとを合成して、合成画像データを生成するステップ
   とを実行させることを特徴とするヘアスタイル合成プログラム。
8. 前記被写体肌色データを出力するステップは、前記被写体画像データから、目を含む矩形部分に下方向に隣接するほほの領域のＲＧＢの各チャンネルの基準値を、前記被写体肌色データとして出力する
   ことを特徴とする請求項７に記載のヘアスタイル合成プログラム。
9. 前記係数を算出するステップが出力するガンマカーブの係数は、ＲＧＢの各チャンネルについて、当該チャンネルの被写体肌色データの基準値を、当該チャンネルの前記モデルの肌色データに変換可能な係数である
   ことを特徴とする請求項７または８に記載のヘアスタイル合成プログラム。