JP2016110416A - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】画像処理装置、画像処理方法、及びコンピュータプログラムを提供する。【解決手段】マトリクス状に配列した複数の画素からなる画像を取得する手段と、取得された画像に撮影されている人物の顔及び該顔内の器官の領域を特定する特定手段とを備え、予め記憶されている化粧用画像を前記特定手段により特定された領域に重畳させる画像処理装置において、前記特定手段が特定した領域に基づき、該特定した領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定する決定手段と、該決定手段が決定した大きさ又は角度に基づき、前記特定した領域に対応する化粧用画像の一部又は全部を拡縮又は回転して変形する変形手段と、前記決定手段が決定した位置に基づき、前記特定手段により特定された領域上に前記変形手段で変形された前記化粧用画像を重畳させる重畳手段とを備える。【選択図】図５

Description

本発明は、人物であるユーザを被写体として写真撮影し、撮影結果が出力された所定のシート又はデータを得ることができる撮影遊戯機における画像処理に関し、特に、化粧が施された自然な撮影結果を容易に得ることを可能とする画像処理装置、画像処理方法及びコンピュータプログラムに関する。

ユーザが自身を撮影して得られる写真シールシートを排出する装置が撮影遊戯機として提供されている。昨今の撮影遊戯機のユーザには、ユーザ自身がファッションモデル又はアーティストのように変身した写真画像をゲーム感覚で得たいという要望がある。また、実際の生活では派手過ぎてできないようなメイク、又は素材を自身で揃えることが難しいメイク等を含む多様なメイクを種々試すことを手軽に楽しみたいなどの要望がある。このような要望に対応するべく、撮影により得られた画像に対し、種々の加工等の画像処理が行なわれている。例えば、顔認識技術を用いて識別された顔、及び顔の中の目、口、鼻等の部分の大きさ等を、「なりたい顔」として求められているバランスに近づけるように変更する画像処理が行なわれる。また、得られた画像に対してユーザが選択した装飾用のスタンプ画像、ユーザが自由に描画した絵、文字等を重畳させて合成した画像を作成し出力する画像処理が行なわれる。

ユーザがデジタル画像内で自分自身を変身させたいと思う要望に応えるべく、顔にメイク（化粧）が施される画像処理が実施されている。撮影された画像内の人物の顔領域に対しメイクが施されたような画像処理を行なう技術に関しては、以下のような技術が提案されている。

特許文献１には撮影遊戯機に関し、化粧を施す落書きを可能とする発明が開示されている。特許文献１には、撮影により得られた画像を含む落書き用の操作画面に、落書きブラシのパターン及び色をかわいい、クール等のテーマ毎にメイクパレットとして出力し、メイクパレット内からコンセプトを選択し、選択されたテーマのパターン及び色を用いた落書きを受け付け、化粧を施した撮影結果を提供することが提案されている。

特許文献２には撮影遊戯機に関し、撮影された画像内のユーザの唇の部分に口紅を塗ったように画像処理を施すことが提案されている。特に、顔の唇部分を認識して抽出した唇画像を撮影された画像に重畳し、重畳された唇画像の色又はグラデーション等の変更、一部の削除を可能とした構成とすることで、口紅を付けたように見える画像をユーザが満足する状態で提供することができる技術が提案されている。特許文献２に開示されている画像処理では更に、顔の目の虹彩部分を認識してカラーコンタクトのように色を変える画像を撮影された画像に重畳し、又は、顔の目のまつ毛部分を認識してつけまつげを付加する処理を行なうことが提案されている。

特許文献３には、メイクシミュレーションに係る方法が提案されている。特許文献３に開示されている方法では、ユーザ夫々の顔の中の目、鼻又は口等の各部分の画像内での位置を精度よく顔認識技術によって認識し、各部分の位置を基準にして決定される化粧領域に、ブラシによって着色描画することで自然なメイクが実現されている。

特開２０００−０６９４０４号公報 特開２０１４−１３１１６０号公報 特開２０１２−１１３７４７号公報

特許文献１では、ユーザ自身がペン等の入力装置を用いて操作画面上の顔領域に描画操作を行なう必要があり、メイクに不慣れなユーザにとっては、どのようにパターン又は色を選択し、どのように描画したらよいかが困難である。したがって、ユーザの操作性に対する満足度、及び撮影結果の内容に対する満足度がいずれも不十分であった。

特許文献２では、唇部分以外の部分に対してメイクを施したような画像とする画像処理の具体的な方法については詳細な記載はない。人物の顔の中に元々存在していたまつげの領域に基づき、まつげの太さを増減させる加工（マスカラ処理）ではなく、つけまつげ等の人物の顔の中に存在していたものではない画像を顔領域に自動的に重畳させても、ユーザ自身の顔として自然に写るように画像処理を行なうことは非常に難しい。特に、つけまつげ及びカラーコンタクト等の目及び目の周辺の領域の加工は顔の印象を大きく変えるので、加工によっては人物の顔として過度に不自然な画像となり、結果によってはユーザの満足度を低下させる虞がある。したがって特許文献２に開示されている技術を用いるとしても、唇以外の部分には従来通り、ユーザ自身が描画する処理が必要であり、メイクに不慣れなユーザが容易に満足する画像を撮影遊戯機から得ることは依然として難しい。

満足度を向上させるために、特許文献３に開示されているような技術によって、自然なメイク後の画像を作成することが期待される。しかしながら、派手なメイク、自身では実施が難しいメイク等を含む多様なメイクを種々試すことを手軽に楽しむには、特許文献３に開示されている方法ではユーザ個々の顔認識技術の精度が高過ぎ、また、精度が高過ぎるために描画する処理時間を要する可能性がある。更に、特許文献３に開示されている技術は、人物の顔の中に存在している器官及び肌の一部の形を変形させるか、一部の色を変更させるなどの処理を行なっている。つまり、人物の顔の中に元々存在していないメイク用の素材画像を顔領域に自動的に重畳させるメイクについては実現されていない。

本発明は斯かる事情に鑑みてなされたものであり、多様なメイクが施された自然な撮影結果をユーザが気軽に得ることが可能となる画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。

本発明に係る画像処理装置は、マトリクス状に配列した複数の画素からなる画像を取得する手段と、取得された画像に撮影されている人物の顔及び該顔内の器官の領域を特定する特定手段とを備え、予め記憶されている化粧用画像を前記特定手段により特定された領域に重畳させる画像処理装置において、前記特定手段が特定した領域に基づき、該特定した領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定する決定手段と、該決定手段が決定した大きさ又は角度に基づき、前記特定した領域に対応する化粧用画像の一部又は全部を拡縮又は回転して変形する変形手段と、前記決定手段が決定した位置に基づき、前記特定手段により特定された領域上に前記変形手段で変形された化粧用画像を重畳させる重畳手段とを備えることを特徴とする。

本発明に係る画像処理装置は、前記予め記憶されている化粧用画像は、化粧の種類に対応付けられており、前記重畳手段により重畳される化粧用画像の元の化粧用画像、又は元の化粧用画像と同一の化粧の種類に対応付ける他の化粧用画像を別途配置する前記画像上の位置、大きさ、又は角度を受け付ける受付手段と、前記元の化粧用画像又は前記他の化粧用画像の一部又は全部を前記受付手段が受け付けた大きさ又は角度に基づいて拡縮又は回転して変形し、変形後の化粧用画像を前記取得された画像上の前記受付手段が受け付けた位置に更に重畳させる他の重畳手段とを更に備えることを特徴とする。

本発明に係る画像処理装置は、前記予め記憶されている化粧用画像は、化粧の種類に対応付けられており、前記記憶されている化粧用画像を配置する前記画像上の位置、大きさ、又は角度を受け付ける受付手段と、該受付手段が受け付けた大きさ又は角度に基づいて前記化粧用画像の一部又は全部を拡縮又は回転して変形し、変形後の化粧用画像を前記取得された画像上の前記受付手段が受け付けた位置に重畳させる他の重畳手段と、同一の化粧の種類に対し、前記重畳手段により重畳される化粧用画像、及び前記他の重畳手段により重畳される化粧用画像の内のいずれか一方の選択を受け付ける手段とを更に備えることを特徴とする。

本発明に係る画像処理装置は、前記画像に写っている人物が複数である場合、前記化粧用画像の重畳対象として画像内で特定された複数の人物の顔の領域の内の１つを個別に選択するか、前記複数の人物の顔の領域全てとするかの選択を受け付ける手段を更に備えることを特徴とする。

本発明に係る画像処理装置は、取得された画像及び重畳される画像を表示する表示手段と、重畳される前又は重畳された後の前記化粧用画像を、多少、透明度、濃淡、明暗、又は混色割合を複数段階に変更させ、段階順又は逆順に前記表示手段に表示させ、表示させた複数段階の前記化粧用画像から何れかの選択を受け付ける選択手段とを更に備えることを特徴とする。

本発明に係る画像処理装置は、前記化粧用画像の多少、透明度、濃淡、明暗、又は混色割合を複数段階に変更させて夫々記憶しておく段階別画像記憶手段を備え、前記選択手段は、記憶してある複数段階の化粧用画像を段階順又は逆順に前記段階別画像記憶手段から取得して表示することを特徴とする。

本発明に係る画像処理装置は、前記予め記憶されている化粧用画像は、化粧の種類と対応付けて複数の化粧用画像が識別可能に記憶されており、複数のテーマ別に、１又は複数の化粧用画像を記憶しておくテーマ別記憶手段と、前記複数のテーマの内のいずれかの選択を受け付けるテーマ選択受付手段とを備え、前記重畳手段は、前記選択されたテーマに対応する化粧用画像を変形して重畳するようにしてあることを特徴とする。

本発明に係る画像処理方法は、マトリクス状に配列した複数の画素からなる画像を取得し、取得した画像に撮影されている人物の顔及び該顔内の器官の領域を特定し、予め記憶されている化粧用画像を特定された領域に重畳させる画像処理方法において、特定された領域に基づき、該特定された領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定するステップ、決定された大きさ又は角度に基づき、前記特定された領域に対応する化粧用画像の一部又は全部を拡縮又は回転するステップ、及び決定された位置に基づき、前記特定された領域上に拡縮又は回転された前記化粧用画像を重畳させるステップを含むことを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、マトリクス状に配列した複数の画素からなる画像を取得させ、取得された画像に撮影されている人物の顔及び該顔内の器官の領域を特定させ、予め記憶されている化粧用画像を特定された領域に重畳させるコンピュータプログラムにおいて、前記コンピュータに、特定された領域に基づき、該特定された領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定するステップ、決定された大きさ又は角度に基づき、前記特定された領域に対応する化粧用画像の一部又は全部を拡縮又は回転するステップ、及び決定された位置に基づき、前記特定された領域上に拡縮又は回転された前記化粧用画像を重畳させるステップを実行させることを特徴とする。

本発明では、ユーザを撮影して得られた画像から顔領域又は各器官の領域そのものを抽出した画像のみならず、予め記憶してある化粧用素材の画像が、ユーザの顔上に適合するように位置決めされ、一部又は全部変形されて自動的に重畳される。

本発明では、同一の種類の化粧用画像について、手動により重畳される化粧用画像と自動的に重畳される化粧用画像とが相互に重畳され、重ね付けも可能である。

本発明では、同一の種類の化粧用画像について、手動により重畳される化粧用画像及び自動的に重畳される化粧用画像のいずれかに切り替えが可能となる。化粧用画像が複数の化粧の種類に対応付けて記憶されている場合、種類別に手動又は自動のいずれに切り替えられてもよい。

本発明では、複数のユーザを撮影した得られた画像において選択するに際し、複数のユーザに同一の画像を夫々変形させて重畳させるのか、夫々異なる画像を重畳させるのかを選択することが可能となる。これにより、単に落書き機能の１つとして化粧用の落書きの描画を個々に受け付けるのではなく、同じ雰囲気の化粧を複数のユーザに同様に施して「お揃い」にしたいという要望に応えたり、ユーザ夫々の好みに合わせて個別に化粧を施したりすることが可能となる。

本発明では、化粧用画像の多少、透明度、濃淡、明暗又は混色割合等を複数段階に、段階順又は逆順に変更させて表示させ、何れの段階とするかの選択を受け付ける。これによりユーザはプレビューを確認しながら直感的に好みの段階を選択することができる。

本発明では、複数段階に変更させた化粧用画像を段階順又は逆順に表示するに際し、予め全段階について変更処理を行なって各々記憶しておき、段階順に変更後の画像を差し替えることで表示する。これにより処理を効率化することができる。

本発明では、１又は複数の化粧用画像をテーマ別に記憶しておき、テーマの選択に応じて記憶してある画像を自動的に位置決めし、変形して重畳するようにしてある。テーマを選択する操作のみで化粧用画像が適切な位置に自動的に重畳された画像が得られる。

本発明による場合、ユーザの顔が撮影されている領域上の適切な位置に、化粧用画像が自動的に変形されて重畳されるので、ユーザは自身で化粧用画像を配置する位置をなぞったり調整したりする操作が不要である。つまりユーザは、複雑な操作を行なうことなしに自身の顔に化粧が施された画像を容易に得ることができる。手動の落書き操作による化粧用画像の重畳と自動的な重畳とを切り替えることも可能であり、自身で化粧を施したいと要望するユーザにも同様に適応可能である。重畳する化粧用画像を複数段階で連続的に変更するように表示された中から何れかを選択することができるようにすることで、ユーザがイメージをつかみながら容易に化粧用画像の濃淡又は色味を調整することが可能である。ユーザは、容易な操作で自身の好みの結果に変更することができ、満足度が向上する。

ユーザ自身を撮影して得られた画像から抽出された領域内の大きさ又は太さ等を変更するのではなく、つけまつげのような予め記憶してある化粧用の素材の画像を重畳させても自然に見えるような画像を作成することは、従来では非常に困難であった。しかしながら本発明による場合、顔の中で特定される顔領域に含まれる各器官の領域の位置等を基準として化粧用素材の画像の位置、大きさ、又は角度を決定して更に変形を行なうことにより、スタンプ画像のように明らかに重畳されていることがわかるような画像ではなく、ユーザ自身が自然に写っていて、プロによってメイクを施されたファッションモデル又はアーティストを撮影したような画像の出力を実現できた。

本実施の形態における撮影遊戯機の外観を示す斜視図である。 本実施の形態における撮影遊戯機の構成を模式的に示すブロック図である。 本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。 本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。 落書き用操作画面の一例を示す説明図である。 手動モードの場合のメイクパレットの例を示す説明図である。 画像処理部のＣＰＵによる操作を受け付ける処理手順の一例を示すフローチャートである。 メイクに係る操作及び選択を受け付ける処理手順の一例を示すフローチャートである。 落書き編集に係るレイヤー構造の一例を模式的に示す説明図である。 「リップ」用の事前処理の手順の一例を示すフローチャートである。 「ＭＡＫＥ」の操作の受け付け中における「リップ」に係る処理手順の一例を示すフローチャートである。 個別／全員切替処理の一例の詳細を示すフローチャートである。 調整用画面の表示例を示す説明図である。 調整用画面によって調整されるリップメイクの内容例を示す説明図である。 「チーク」用の事前処理の手順の一例を示すフローチャートである。 「ＭＡＫＥ」の操作の受け付け中における「チーク」に係る処理手順の一例を示すフローチャートである。 手動モードの場合の調整用画面の表示例を示す説明図である。 「カラコン」が選択されている場合のメイクパレットの表示例を示す説明図である。 「カラコン」用の事前処理の手順の一例を示すフローチャートである。 重畳用のカラコン画像を作成する過程を説明する説明図である。 「ＭＡＫＥ」の操作の受け付け中における「カラコン」に係る処理手順の一例を示すフローチャートである。 「アイライン」が選択されている場合のメイクパレットの内容例を示す説明図である。 予め記憶されているアイライン画像の内容例を示す説明図である。 「アイライン」用の事前処理の手順の一例を示すフローチャートである。 重畳用のアイライン画像を作成する過程を説明する説明図である。 「ＭＡＫＥ」の操作の受け付け中における「アイライン」処理に係る処理手順の一例を示すフローチャートである。 「つけまつげ」が選択されている場合のメイクパレットの内容例を示す説明図である。 予め記憶されているつけまつげ画像の内容例を示す説明図である。 複数段階のつけまつげ画像を作成する処理手順の一例を示すフローチャートである。 距離変換マスク画像の内容例を模式的に示す説明図である。 「つけまつげ」用の事前処理の手順の一例を示すフローチャートである。 「ＭＡＫＥ」の操作の受け付け中における「つけまつげ」処理に係る処理手順の一例を示すフローチャートである。 「ヘアカラー」が選択されている場合のメイクパレットの表示例を示す説明図である。 「ＭＡＫＥ」の操作の受け付け中における「ヘアカラー」処理に係る処理手順の一例を示すフローチャートである。 「ヘアカラー」のグラデーションパターンでの描画例を模式的に示す説明図である。 「ワンタッチ」が選択されている場合のメイクパレットの表示例を示す説明図である。 「ＭＡＫＥ」の操作の受け付け中における「ワンタッチ」に係る処理手順の一例を示すフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

図１は、本実施の形態における撮影遊戯機の外観を示す斜視図である。撮影遊戯機は全体として、複数のユーザが入り込むことが可能な略直方体形状の箱型の装置である。撮影遊戯機は、おおまかに撮影エリアＡ及び編集エリアＢに分けることができ、夫々のエリアＡ，Ｂに複数の機器が設けられて構成される。

撮影エリアＡには、事前接客部１及び撮影部２に係る機器が設けられている。事前接客部１は撮影エリアＡの外側に向けて設けられているコイン投入口、タッチパネル式ディスプレイ及びスピーカ等を含んで構成されており、ユーザの撮影前のコインの投入、名前の登録等の操作を受け付ける。撮影部は、撮影エリアＡ内部の壁面に内側に向けて設置されているカメラ２１、ディスプレイ２２、照明装置群２３、及びスピーカ２４（図２参照）を含んで構成されており、ユーザに撮影ガイドを表示し、音声で案内しながら複数種類の画像を撮影し、撮影された画像を第１編集部３ａ及び第２編集部３ｂ（図２参照）へ出力する処理を行なう。

編集エリアＢには、第１編集部３ａ、第２編集部３ｂ及び印刷部４に係る機器が設けられている。第１編集部３ａ及び第２編集部３ｂは編集エリアＢの中央部に、操作画面表示用のマルチタッチパネル式のディスプレイ３０ａ，３０ｂ（図２参照）を夫々ユーザが操作しやすい高さに背中合わせで露出させた装置を含んで構成されている。第１編集部３ａ及び第２編集部３ｂは更にスピーカ３３ａ，３３ｂ（図２参照）及び照明装置、並びに前記操作画面表示用のタッチペン３１ａ，３２ａ，３１ｂ，３２ｂ（図２参照）等を備えている。第１編集部３ａ及び第２編集部３ｂは、ユーザを撮影した撮影画像に基づく画像への落書き操作をディスプレイ３０ａ，３０ｂ及びタッチペン３１ａ，３２ａ，３１ｂ，３２ｂにて受け付け、受け付けられた操作に対応する画像処理を実行する。印刷部４は、編集エリアＢの第１編集部３ａ，第２編集部３ｂを含む装置の筐体内に設けられるプリンタを含んで構成され、画像処理後の画像が印刷された写真シールシートを筐体の表面に設けられている吐出口から吐き出す。

図２は、本実施の形態における撮影遊戯機の構成を模式的に示すブロック図である。撮影遊戯機は、撮影エリアＡ及び編集エリアＢにおけるユーザから視認可能な範囲に上述の事前接客部１、撮影部２、第１編集部３ａ、第２編集部３ｂ及び印刷部４を備えているほか、撮影エリアＡ内の壁面に隠された箇所、又は編集エリアＢの装置の筐体内部等のユーザから視認不可能な位置に、通信部５と制御機構とを備えている。

通信部５は、インターネット等の外部ネットワークに接続して撮影された画像を含むデータの送受信を実現する。通信部５は制御機構に接続されており、制御機構は通信部５を介して外部ネットワーク上のサーバ装置と通信し、データの送受信を行なうことが可能である。本実施の形態における撮影遊戯機では、通信部５が撮影によって得られた画像データを撮影遊戯機のメーカが管理するサーバ装置へ送信する。これにより、ユーザはサーバ装置から自身の撮影画像を携帯電話機（スマートフォン）、タブレット、又はＰＣ等の端末装置へダウンロードして取得することが可能である。

制御機構は、上述した各ハードウェアを制御するＰＣ（Personal Computer ）と、各ハードウェアが接続されているバス１００を含む制御基板と、各ハードウェアに電力を供給する図示しない電源部とにより構成される。ＰＣは１つのＰＣで構成されてもよいが、処理を円滑化するために、事前接客部１を制御するＰＣ、撮影部２を制御するＰＣ、第１編集部３ａを制御するＰＣ、第２編集部３ｂを制御するＰＣ、並びに印刷部４及び通信部５を制御するＰＣ、のように制御対象毎に異なるＰＣを用いてもよい。なお以下の説明では第１編集部３ａ及び第２編集部３ｂにおける落書き操作に基づく画像処理について主に説明する。このため、仮想的に第１ＰＣと第２ＰＣとに分別して説明する。第１ＰＣは、事前接客部１及び撮影部２における処理を制御する制御部６に対応する。第２ＰＣは、撮影部２により得られた画像に対する所定の加工処理、第１編集部３ａ及び第２編集部３ｂによる編集の受け付け、合成等の画像処理を制御し、印刷部４における印刷出力並びに通信部５からのデータ送信を指示する画像処理部７に対応する。

制御部６は、第１ＰＣに備えられたＣＰＵ（Central Processing Unit ）６０と、メモリ６１と、ＨＤＤ（Hard Disk Drive）６２と、キャプチャ・クロマキーボード６３とを含む。メモリ６１はＤＲＡＭ（Dynamic Random Access Memory）又はＳＤＲＡＭ（Synchronous DRAM）等のＲＡＭを用い、ＨＤＤ６２に替えてフラッシュメモリ、又はＳＳＤ（Solid State Drive ）等の他の不揮発性記憶装置を用いてもよい。

ＣＰＵ６０は、ＨＤＤ６２に記憶されている制御プログラム６Ｐを読み出し、メモリ６１に各種情報を読み書きしながら前記制御プログラム６Ｐを実行することにより、以下の各機能を実現する。

ＣＰＵ６０は、事前接客部１のコイン投入口にて所定料金の投入を受け付けた場合に事前接客部１から出力される制御信号を入力し、タッチパネル式のディスプレイに操作画面を出力させ、スピーカから案内音声を出力させる。また、ＣＰＵ６０は、事前接客部１のディスプレイに表示されている操作画面上の操作に対応する情報を事前接客部１から入力する。具体的にはＣＰＵ６０は、タッチパネル式のディスプレイ上の操作により、ユーザの名前、通信部５からの送信先アドレスに係る情報等を入力する。

ＣＰＵ６０は、撮影部２にてカメラ２１から得られるモニタ用の映像信号をキャプチャ・クロマキーボード６３が入力するように制御し、キャプチャ・クロマキーボード６３から映像信号に含まれる各フレームの画像データを取得し、取得したフレームの画像データに基づいてライブ画面用の画像の映像信号を作成し、作成した画像信号をディスプレイ２２へ出力する。またＣＰＵ６０は、撮影開始及び案内をユーザに通知するための撮影ガイドの画像信号をディスプレイ２２へ出力し、音声信号をスピーカ２４へ出力する。

ＣＰＵ６０は、撮影部２のカメラ２１による撮影と照明装置群２３によるフラッシュ点灯とを同期させて撮影を行なう。なおＣＰＵ６０は、カメラ２１による撮影を複数回実行する。ＣＰＵ６０は、撮影により得られる画像の複数の画像データをカメラ２１から取得し、夫々を区別できるように識別情報を付与してＨＤＤ６２に記憶すると共に、複製して画像処理部７へ出力する。

ＨＤＤ６２は、ＣＰＵ６０が参照する各種情報を記憶する。ＨＤＤ６２は、ＣＰＵ６０が実行する制御プログラム６Ｐを予め記憶している。ＨＤＤ６２は、制御プログラム６Ｐのほかに、事前接客部１のディスプレイ及び撮影部２のディスプレイ２２に表示する画像及びフォントデータ、事前接客部１のスピーカ及び撮影部２のスピーカ２４から出力させる音声及び音楽等のデータを予め記憶している。また、ＨＤＤ６２には、撮像部２における写真撮影で得られる画像データが記憶される。

キャプチャ・クロマキーボード６３は、キャプチャ機能及びクロマキー機能を有する回路基板である。キャプチャ・クロマキーボード６３は、映像信号から毎秒３０（２９．９７）枚のフレームの画像データを取得して静止画像として出力するキャプチャ機能を有する。またキャプチャ・クロマキーボード６３は、静止画像から一定の範囲で所定の色調及び明度を有すると判断される画素を抽出し、抽出した画素に対してα値（透明度）を設定することにより一部の色を透明化して出力するクロマキー機能を有する。キャプチャ・クロマキーボード６３は、カメラ２１からのモニタ用の映像信号から順次フレームをキャプチャし、キャプチャして得られた静止画像に必要に応じてクロマキー処理を実行し、内蔵するメモリに書き込む。ＣＰＵ６０は、キャプチャ・クロマキーボード６３内蔵のメモリから静止画像を順次読み出して、撮影部２のディスプレイ２２に表示するライブ画面用の画像の画像信号を作成する。

画像処理部７は、第２ＰＣに備えられたＣＰＵ７０と、メモリ７１と、ＨＤＤ７２と、グラフィックボード７３とを備える。メモリ７１は、ＤＲＡＭ又はＳＤＲＡＭ等のＲＡＭを用いる。

ＣＰＵ７０は、ＨＤＤ７２に記憶されている画像処理プログラム７Ｐを読み出し、メモリ７１に各種情報を読み書きしながら前記画像処理プログラム７Ｐに基づく画像処理を実行する。またＣＰＵ７０は、制御部６から出力された画像データを、付与されている識別情報と共にメモリ７１又はＨＤＤ７２に記憶し、該画像データを基に加工処理を行なう。加工処理には、画像中の人物の顔を小顔にする加工、顔の頬部分の色味を明るくする（チーク）加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見えるようにする加工等、種々の加工が含まれる。なおこれらの加工処理の内の一部では、加工具合の強弱（多少）を複数の段階に分けて実行する。ＣＰＵ７０は、加工の種類毎に段階数分だけ複製した画像データをメモリ７１又はＨＤＤ７２に記憶し、各画像データに夫々の段階で加工処理を実行し、加工後の複数の画像データをメモリ７１又はＨＤＤ７２に記憶する。

更にＣＰＵ７０は、メモリ７１又はＨＤＤ７２に記憶してある撮影により得られた上述の加工処理前及び加工処理後の複数の画像データに基づき、第１編集部３ａ及び第２編集部３ｂにて落書き操作をディスプレイ３０ａ，３０ｂ及びタッチペン３１ａ，３２ａ，３１ｂ，３２ｂにて受け付ける。ＣＰＵ７０は、落書き機能の内の１つの機能として、画像データに基づく画像中、ユーザが撮影されている領域に対してメイクを施す機能を実現し、メイクに係る操作を受け付ける。メイクにはリップ、チーク、カラーコンタクト（以下カラコンという）、アイライン、つけまつげ、及びヘアカラーの複数種類がある。メイクに係る落書き編集処理については詳細を後述する。ＣＰＵ７０は、落書き操作として受け付けた操作の内容に応じて、後述する落書き用操作画面のプレビュー表示部に表示する手書き文字又はメイクを含むスタンプ等の画像データを作成してディスプレイ３０ａ，３０ｂへ出力する処理、更に、落書き用操作画面のプレビュー表示部に表示されている確定した編集内容に応じて合成画像データを作成する処理を実行する。ＣＰＵ７０は、作成された合成画像データに基づき画像を写真シールシートに印刷出力する処理、合成画像データ又は合成処理前の画像データを通信部５から外部サーバ装置へ送信する処理を実行する。

ＨＤＤ７２は、ＣＰＵ７０が参照する各種情報を記憶する。ＨＤＤ７２は、ＣＰＵ７０が実行する画像処理プログラム７Ｐを予め記憶している。またＨＤＤ７２は、第１編集部３ａ及び第２編集部３ｂのディスプレイ３０ａ，３０ｂに表示する案内用の文字画像、合成用の素材である文字、フォントデータ又は画像、スピーカ３３ａ，３３ｂから出力させる音楽及び音声等のデータを予め記憶している。合成用の素材である画像の中には、上述したメイクを施す機能を実現するべくメイク用情報７２０が予め記憶されている。メイク用情報７２０には、リップパターン情報、チーク用画像、カラコン画像、アイライン画像、つけまつげ画像、及びヘアカラー用パターン情報が含まれる。メイク用情報７２０は書き換え可能である。また、ＨＤＤ７２は、受け付けた編集に基づく画像処理により得られた画像データ、合成後の画像の画像データが記憶される。

グラフィックボード７３は、入力した画像データ及び描画命令に基づいて画像を描画し、描画した画像の画像データを出力するハードウェアである。ＣＰＵ７０は、制御部６から取得して記憶した画像データに対する画像処理を、グラフィックボード７３を用いて行なう。具体的には、ＣＰＵ７０は画像データと、目的の画像を得るための描画命令とをグラフィックボード７３に与えて処理を行なわせ、描画処理によって得られた画像の画像データをグラフィックボード７３内蔵のメモリから入力する。描画処理には、拡縮、回転、移動、クロマキー機能、トリミング機能、α化機能、明度又は色調等の調整機能、フィルター機能、合成機能等が含まれる。

図３及び図４は、本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。なお、制御部６にて行なわれる処理手順と、画像処理部７にて行なわれる処理手順とに分けて説明する。図３は制御部６により実行される全体処理の手順の一例を示すフローチャートである。

制御部６のＣＰＵ６０は、事前接客部１にてディスプレイに、撮影遊戯機の案内を表示させると共に、スピーカから音楽及び案内音声を出力させ（ステップＳ１０１）、所定料金が投入されたか否かを判断する（ステップＳ１０２）。ＣＰＵ６０は、所定料金が未投入であると判断した場合（Ｓ１０２：ＮＯ）、処理をステップＳ１０１へ戻す。

ＣＰＵ６０は、所定料金が投入されたと判断した場合（Ｓ１０２：ＹＥＳ）、事前接客部１のディスプレイにて、ユーザの名前の入力又は撮影モードの選択等を受け付ける（ステップＳ１０３）。ＣＰＵ６０は、撮影エリアＡの空き状況を確認した上で、空いている場合に移動を促す案内画面を事前接客部１のディスプレイに表示させると共に、案内音声を出力させる（ステップＳ１０４）。

ＣＰＵ６０は、撮影エリアＡ内にて撮影部２のディスプレイ２２に、撮影内容の案内画面を表示させ、案内音声及びＢＧＭをスピーカ２４から出力させる（ステップＳ１０５）。更にＣＰＵ６０は、カメラ２１からの映像信号に基づくライブ画面をディスプレイ２２に表示させる（ステップＳ１０６）。このときＣＰＵ６０は、撮影開始までのカウントダウンを示す文字又は画像をディスプレイ２２に表示させ、カウントダウンの音声をスピーカ２４に出力させる。

ＣＰＵ６０は、制御部２のカメラ２１及び照明装置群２３を制御して１回の撮影を実行し（ステップＳ１０７）、画像データを他の撮影により得られた画像の画像データと識別可能にＨＤＤ６２に記憶する（ステップＳ１０８）。ＣＰＵ６０は撮影を実行する都度、ディスプレイ２２にプレビュー画面を表示し（ステップＳ１０９）、所定の回数の撮影が完了したか否かを判断する（ステップＳ１１０）。

所定の回数の撮影が完了していないと判断された場合（Ｓ１１０：ＮＯ）、ＣＰＵ６０は、処理をステップＳ１０７へ戻し、次の撮影を実行する。このように所定の回数の撮影を実行するに際しＣＰＵ６０は撮影毎に、顔のアップの撮影とユーザの全身の撮影とを区別して実行する。ＣＰＵ６０は撮影毎に、アップなのか全身なのか等に応じて適切なカメラ２１の傾き、画角、照明の明暗で撮影が実行されるように制御するとよい。

所定の回数の撮影が完了していると判断された場合（Ｓ１１０：ＹＥＳ）、ＣＰＵ６０は、編集エリアＢの空き状況を確認した上で、空いている場合に編集エリアＢの第１編集部３ａ及び第２編集部３ｂの何れかへの移動を促す案内画面をディスプレイ２２に表示させると共に、案内音声をスピーカ２４から出力させ（ステップＳ１１１）、撮影エリアＡにおける処理を終了する。

図４は、画像処理部７により実行される全体処理の手順の一例を示すフローチャートである。なお以下の説明では、第１撮影部３ａ側にユーザが案内され、落書き操作が受け付けられる場合について説明する。第２撮影部３ｂ側でも処理は同様であるため詳細な説明を省略する。

画像処理部７のＣＰＵ７０は、制御部６によりＨＤＤ６２に記憶された画像データを取得する（ステップＳ２０１）。ステップＳ２０１は詳細には、制御部６のＣＰＵ６０がＨＤＤ６２から読み出してＨＤＤ７２に記憶し、画像処理部７のＣＰＵ７０が読み出すことができるようにするか、又はＣＰＵ７０がＨＤＤ６２から画像データを直接的に読み出すかにより実現される。制御部６と画像処理部７とが異なるＰＣにて実現される場合、共通の記憶装置（図示せず）に画像データが書き込まれ、ＣＰＵ７０が読み出すことができるように構成してもよいし、通信により画像データを制御部６及び画像処理部７間で送受信することにより実現してもよい。

ＣＰＵ７０は、取得した複数の画像データ毎に、１又は複数の人物被写体領域を抽出する処理を行なう（ステップＳ２０２）。ステップＳ２０２は詳細には、ＣＰＵ７０はグラフィックボード７３を用い、複数回撮影して得られた複数の画像データに基づく画像から夫々、一定の範囲で所定の色調及び明度を有すると判断される画素を抽出し、抽出した画素以外の人物被写体を撮影した人物領域に対応する画素をα化（透明化）することによって得られるマスク画像の画像データを作成させる。ＣＰＵ７０は、抽出した人物被写体領域に基づいて、複数の画像データ毎に、選択されている撮影モードに対応するトリミング枠を仮に決定してトリミングを行なう（ステップＳ２０３）。ステップＳ２０３におけるトリミング枠は例えば、矩形及び円形が含まれる。

またＣＰＵ７０は、取得した複数の画像データ別に抽出した１又は複数の人物被写体領域毎に、顔認識技術に基づいて顔領域、並びに顔領域内の目、鼻、及び口の各器官領域の特定を実行する（ステップＳ２０４）。ＣＰＵ７０は、ステップＳ２０４の処理を肌色検出、テンプレートマッチングなどの種々の既存技術を利用して行なえばよい。またステップＳ２０４においてＣＰＵ７０は、顔領域及び器官領域を、夫々の輪郭に対応する画像中の画素の座標情報で特定する。なおステップＳ２０４における処理は、上述のステップＳ２０３の処理中にバックグラウンドで並行的に実行されるようにしてもよい。

次にＣＰＵ７０は、複数の画像データ別に、抽出された人物被写体領域、特定された顔領域、並びに顔領域内の各器官領域に対する加工処理を実行する（ステップＳ２０５）。ステップＳ２０５にてＣＰＵ７０は、複数回撮影して得られる画像データ夫々について、撮影の方法（アップ撮影又は全身撮影等）に適した加工処理を行なう。加工処理には上述したように、顔を小顔にする加工、顔の頬部分の色味を明るくする（チーク）加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見せる加工等が含まれる。ただしステップＳ２０５においては加工処理全てを完了させないようにすることが望ましい。加工処理の内の一部、例えば小顔にする加工、及び目を大きくする加工については加工度合いを複数段階に分けて実行し、各段階の画像データをメモリ７１又はＨＤＤ７２に記憶し、第１編集部３ａにおける編集を受け付けるに際し、何れの段階の加工度合いとするかの選択を受け付けることが可能なように実行しておく。ステップＳ２０５までの処理は、図３のフローチャートにおける１回目のステップＳ１０７の撮影処理の都度、各撮影に対して記憶される画像データに対してバックグラウンド的に開始され、編集エリアＢへの案内画面の表示中に処理が進むように実行されてもよい。

ＣＰＵ７０は、ステップＳ２０５の加工処理の一部又は全部が完了した後、加工処理後の画像を含む編集案内用の画面を第１編集部３ａのディスプレイ３０ａに表示させると共に、案内音声及び音楽をスピーカ３３ａから出力させる（ステップＳ２０６）。

ＣＰＵ７０は、ステップＳ２０５にて複数段階の加工度合いに分けて実行した加工について、各段階の加工処理後の画像データに基づくプレビュー画像をディスプレイ３０ａに表示させ、何れの段階の加工度合いとするかの選択を受け付ける（ステップＳ２０７）。このときＣＰＵ７０は例えば、小顔にする加工及び目を大きくする加工について夫々、各段階のプレビュー画像を並べて表示するか、スライダーコントロールをディスプレイ３０ａに表示し、スライダーコントロール上をタッチペン３１ａ又は３２ａがスライドすることに応じてプレビュー画像が連続的に変化するように表示させ、何れかの選択を受け付ける。

次にＣＰＵ７０は、第１編集部３ａにおいて、スタンプ貼付け、文字追加、及びメイクを含む落書き操作を受け付ける（ステップＳ２０８）。落書き操作の受け付けについては詳細を後述する。更にＣＰＵ７０は、合成後の撮影画像の写真シールシートにおけるレイアウト等の選択を受け付ける（ステップＳ２０９）。

ＣＰＵ７０は、ステップＳ２０７で選択された加工の段階と、ステップＳ２０８で受け付けられた落書き操作と、ステップＳ２０９で選択されたレイアウトとに基づいて、撮影により得られた画像データに基づく画像と、ステップＳ２０８にて受け付けられて確定した落書き操作に基づく文字、画像、メイク用情報７２０に基づく画像等とを合成し、受け付けた選択に基づいて写真シールシートにレイアウトする合成処理を実行する（ステップＳ２１０）。

ＣＰＵ７０は、合成処理後の写真シールシートのプレビュー画面を第１編集部３ａのディスプレイ３０ａに表示させる（ステップＳ２１１）。ＣＰＵ７０は、印刷部４のプリンタが使用中でないか否かを確認した上で、使用中でない場合に印刷部４のプリンタにて写真シールシートの印刷出力を開始させる（ステップＳ２１２）。印刷出力処理の間に、ＣＰＵ７０は、ユーザの携帯電話機への画像データ送信を実行するためのアドレス等の送信先情報の入力用の操作画面、又は送信する画像データの選択を受け付けるための選択画面をディスプレイ３０ａに表示させると共に、案内音声を出力させ（ステップＳ２１３）、ディスプレイ３０ａにて入力操作を受け付け（ステップＳ２１４）、入力された情報を記憶する（ステップＳ２１５）。ＣＰＵ７０は、記憶した情報に基づいて選択された画像データ及び送信先情報を通信部５から外部サーバ装置へ送信し（ステップＳ２１６）、ディスプレイ３０ａに印刷部４の前への移動を促す案内画面を表示させると共に、案内音声を出力させ（ステップＳ２１７）、処理を終了する。

次に、ステップＳ２０８にて受け付けられる落書き操作について詳細を説明する。図５は、落書き用操作画面の一例を示す説明図である。第１編集部３ａのディスプレイ３０ａに図５に示すような落書き用操作画面が表示される。ディスプレイ３０ａに表示されている落書き用操作画面に対し、ユーザはタッチペン３１ａ及びタッチペン３２ａによって操作内容の選択、描画等の操作を行なう。なお第１編集部３ａでは、複数のユーザがタッチペン３１ａ及びタッチペン３２ａを使用して同時に操作することが可能である。第２編集部３ｂにおける落書き操作についても同様であるので以下、詳細な説明を省略する。

図５の内容例において落書き用操作画面は、２つのタッチペン３１ａ，３２ａによる操作を受け付けるために２つのプレビュー表示部３０１，３０２を有している。図５に示す例では、一方のプレビュー表示部３０１に矩形にトリミングされたプレビュー画像の例が表示され、他方のプレビュー表示部３０２に円形にトリミングされたプレビュー画像の例が表示されている。また、落書き用操作画面は、２つのプレビュー表示部３０１，３０２に対して複数の画像データに基づく複数の画像からいずれの画像の画像データを編集対象とするかを順次切り替えるための切替部３０１１，３０２１を有している。また落書き用操作画面は、手書き操作によって文字又は線を入力するためのペンの種類、太さ及び色を選択するためのペンパレット３０３と、予め記憶されているスタンプ画像及びメイク用の画像などの素材画像を選択するためのスタンプパレット３０４とを含む。スタンプパレット３０４は、プレビュー表示部３０１，３０２夫々に対応するように左右に配置される。なおペンパレット３０３及びスタンプパレット３０４は、一方が選択されている間は他方のパレット内の種類、太さ、及び色又は素材画像の選択が無効（非アクティブ）となるようにしてある。

スタンプパレット３０４は、プレビュー表示部３０１，３０２に表示されている２つのプレビュー画像に対して重畳させるスタンプの素材の種類を選択するためのタブ選択部１０１をプレビュー表示部３０１，３０２と対応するように夫々有している。タブ選択部１０１には「ＳＰＥＣＩＡＬ」「ＳＴＡＭＰ」、「ＭＥＳＳＡＧＥ」、及び「ＭＡＫＥ」の例えば４種類のタブが選択可能に表示されている。「ＳＰＥＣＩＡＬ」は、撮影により得られた画像データに基づく画像に対し、撮影遊戯機の種別毎に異なる編集、又は提供期間等で異なるなどの特別な素材の選択を受け付ける画面を表示するためのタブである。「ＳＴＡＭＰ」は、予め記憶してあるイラスト等の画像を選択する画面を表示するためのタブである。「ＭＥＳＳＡＧＥ」は、予め記憶してある文字を含むメッセージ画像を選択する画面を表示するためのタブである。「ＭＡＫＥ」はＨＤＤ７２に記憶されているメイク用情報７２０に基づく画像の選択を受け付ける画面を表示するためのタブである。

図５に示す落書き用操作画面は、プレビュー表示部３０１，３０２と対応する両方のタブ選択部１０１で「ＭＡＫＥ」のタブが選択されている場合の内容例が示されている。「ＭＡＫＥ」のタブが選択されている場合のスタンプパレット３０４は、各プレビュー表示部３０１，３０２に対応するメイクパレット３１０を有している。

メイクパレット３１０は上部に、メイク選択部１０２を含む。メイク選択部１０２は、メイクパレット３１０の上部に位置する複数のメイクの種類に応じた複数のボタンからなる。図５に示す例では、メイクの種類（対象）は「リップ」、「チーク」、「カラコン」、「アイライン」、「つけまつげ」、及び「ヘアカラー」の６種類と、６種類全てを自動的に実行する「ワンタッチ」がある。

メイクパレット３１０はメイク選択部１０２よりも下方の領域に、各種類のメイクに応じた操作ボタン群を含む。メイクの操作は種類別に、自動モードと手動モードとが存在する。なお自動モードは撮像により得られた画像から顔領域の特定が成功した場合のみに操作可能であり、顔領域の特定に失敗した場合には手動モードのみとなる。図５に示す例では自動モードの場合の操作ボタン群を示している。自動モードの場合の操作ボタン群は、顔サンプル表示部１０３、個別選択部１０４、全員選択部１０５、顔切替部１０６、及びキャンバス部１０７を含む。

顔サンプル表示部１０３は、選択対象の素材のサンプル画像、又は複数の画像データ毎に特定された顔領域を含む矩形領域の画像が抽出されて表示される領域である。

個別選択部１０４及び全員選択部１０５は、編集対象の画像として選択され、対応するプレビュー表示部３０１（又はプレビュー表示部３０２）に表示されている画像中に複数の顔領域が特定されている場合に、複数の顔領域の内の１つをメイクの対象とすることを選択するか、全員を同じメイクの対象とすることを選択するかを切り替えるためのボタンである。図５の例においてプレビュー表示部３０１に対応するメイクパレット３１０では、個別選択部１０４が選択され、プレビュー表示部３０２に対応するメイクパレット３１０では、全員選択部１０５が選択されている。

顔切替部１０６は、個別選択部１０４が選択されている場合に、複数の顔領域からメイクの対象とする顔領域を選択するためのボタンである。個別選択部１０３が選択されている場合のみに選択が有効であり、全員が選択（「みんな」が選択）されている場合は無効である。対応するプレビュー表示部３０１（又はプレビュー表示部３０２）に表示されている画像中に複数の顔領域が特定されている場合にタッチペン３１ａによって顔切替部１０６が選択されたとき、顔領域が順に切り替えられ、サンプルとして顔サンプル表示部１０３に表示される。なお顔切替部１０６は、画像から１つの顔領域のみ特定された場合は無効となる。

キャンバス部１０７は、メイク選択部１０２で選択されたメイクの種類に応じた色、パターン、及び大きさを選択するためのボタン等が配置される領域である。詳細については後述する。

図６は、手動モードの場合のメイクパレット３１０の例を示す説明図である。手動モードの場合、顔サンプル表示部１０３、個別選択部１０４、全員選択部１０５及び顔切替部１０６に代替して、素材サンプル表示部１０８が配置される。素材サンプル表示部１０８には、選択されたメイク素材のサンプルイメージ、例えば、どのような位置にメイク素材の画像を配置したらよいかを示す説明画像が表示される。

図５及び図６に示した落書き用操作画面において操作を受け付ける全体的な処理について、フローチャートを参照して以下に説明する。図７は、画像処理部７のＣＰＵ７０による操作を受け付ける処理手順の一例を示すフローチャートである。なお図７のフローチャートに示す処理手順は、図４のフローチャートに示した処理手順の内のステップＳ２０８の詳細である。以下の説明では、タッチペン３１ａにより、落書き用操作画面のプレビュー表示部３０１、プレビュー表示部３０１に対応するタブ選択部１０１及びメイクパレット３１０側における操作について落書き操作を受け付ける処理について説明する。タッチペン３２ａにより受け付けられるプレビュー表示部３０２側における操作についても同様であるので詳細な説明を省略する。

ＣＰＵ７０は、落書き用操作画面をディスプレイ３０ａに表示し（ステップＳ３０１）、ペンパレット３０３が選択中であるか否か判断する（ステップＳ３０２）。ペンパレット３０３が選択中であると判断された場合（Ｓ３０２：ＹＥＳ）、ＣＰＵ７０はペンパレット３０３における選択を受け付け、タッチペン３１ａによる手書きの落書き操作を受け付ける（ステップＳ３０３）。

ＣＰＵ７０は、時間切れになったか、又は終了指示を受け付けたかにより、落書き操作が終了したか否かを判断する（ステップＳ３０４）。落書き編集が終了していないと判断した場合（Ｓ３０４：ＮＯ）、処理をステップＳ３０２へ戻す。

ＣＰＵ７０は、ステップＳ３０２にてペンパレット３０３が選択中でないと判断した場合（Ｓ３０２：ＮＯ）、スタンプパレット３０４が選択されているのでタブ選択部１０１にて「ＳＰＥＣＩＡＬ」が選択されているか否かを判断する（ステップＳ３０５）。ＣＰＵ７０は、「ＳＰＥＣＩＡＬ」が選択されていると判断した場合（Ｓ３０５：ＹＥＳ）、
ＣＰＵ７０はタブ選択部１０１の下方に「ＳＰＥＣＩＡＬ」に係る操作画面を表示し、「ＳＰＥＣＩＡＬ」の操作画面上の操作を受け付け（ステップＳ３０６）、処理をステップＳ３０４へ進める。

ステップＳ３０５にて「ＳＰＥＣＩＡＬ」が選択されていないと判断された場合（Ｓ３０５：ＮＯ）、ＣＰＵ７０は、「ＳＴＡＭＰ」が選択されたか否かを判断する（ステップＳ３０７）。「ＳＴＡＭＰ」が選択されたと判断された場合（Ｓ３０７：ＹＥＳ）、ＣＰＵ７０はタブ選択部１０１の下方に「ＳＴＡＭＰ」に係る操作画面を表示し、操作画面上での操作を受け付け（ステップＳ３０８）、処理をステップＳ３０４へ進める。

ステップＳ３０７にて「ＳＴＡＭＰ」が選択されていないと判断された場合（Ｓ３０７：ＮＯ）、ＣＰＵ７０は、「ＭＥＳＳＡＧＥ」が選択されたか否かを判断する（ステップＳ３０９）。「ＭＥＳＳＡＧＥ」が選択されたと判断された場合（Ｓ３０９：ＹＥＳ）、ＣＰＵ７０はタブ選択部１０１の下方に「ＭＥＳＳＡＧＥ」に係る操作画面を表示し、操作画面上での操作を受け付け（ステップＳ３１０）、処理をステップＳ３０４へ進める。

ステップＳ３０９にて「ＭＥＳＳＡＧＥ」が選択されていないと判断された場合（Ｓ３０９：ＮＯ）、ＣＰＵ７０は、「ＭＡＫＥ」が選択されたか否かを判断する（ステップＳ３１１）。「ＭＡＫＥ」が選択されたと判断された場合（Ｓ３１１：ＹＥＳ）、ＣＰＵ７０はタブ選択部１０１の下方にメイクパレット３１０（「ＭＡＫＥ」に係る操作画面に対応）を表示し、メイクパレット３１０上での操作を受け付け（ステップＳ３１２）、処理をステップＳ３０４へ進める。ステップＳ３１２については詳細を後述する。

ステップＳ３１１にて「ＭＡＫＥ」が選択されていないと判断された場合（Ｓ３１１：ＮＯ）、ＣＰＵ７０は処理をステップＳ３０４へ進める。

ステップＳ３０４にて、時間切れになったか、又は終了指示を受け付けたかにより、落書き操作が終了したと判断された場合（Ｓ３０４：ＹＥＳ）、ＣＰＵ７０は、図４のフローチャートに示したステップＳ２０９へ処理を戻す。

図８は、メイクに係る操作及び選択を受け付ける処理手順の一例を示すフローチャートである。以下に示す処理手順は、図７のフローチャートに示した処理手順の内のステップＳ３１２の詳細である。

ＣＰＵ７０は、図７のフローチャートに示した処理の内、ステップＳ３１１にて「ＭＡＫＥ」タブが選択された場合に初期的に、「ワンタッチ」に係る操作画面をキャンバス部１０７に表示し（ステップＳ４０１）、メイク選択部１０２にて他のメイクの種類が選択されたか否かを判断し（ステップＳ４０２）、他のメイクの種類が選択されていないと判断した場合（Ｓ４０２：ＮＯ）、「ワンタッチ」メイクに係る処理を実行する（ステップＳ４０３）。「ワンタッチ」メイクに係る処理の詳細については後述する。

ＣＰＵ７０は、ステップＳ４０３の処理後、タブ選択部１０１にて他の落書きの種類が選択されるか、落書き編集が確定されて終了したか若しくは時間切れになったかによって、「メイク」の落書き編集受け付けを終了するか否かを判断する（ステップＳ４０４）。ＣＰＵ７０は「メイク」の落書き編集受け付けを終了しないと判断した場合（Ｓ４０４：ＮＯ）、処理をステップＳ４０２へ戻す。

ＣＰＵ７０は、ステップＳ４０２にて「ワンタッチ」以外の他のメイクの種類が選択されたと判断した場合（Ｓ４０２：ＹＥＳ）、メイク選択部１０２にて「リップ」が選択されたか否かを判断する（ステップＳ４０５）。ＣＰＵ７０は、ステップＳ４０５にて「リップ」が選択されていると判断した場合（Ｓ４０５：ＹＥＳ）、「リップ」に係る処理を実行し（ステップＳ４０６）、ステップＳ４０４へ処理を進める。「リップ」に係る処理については詳細を後述する。

ＣＰＵ７０は、「リップ」が選択されていないと判断した場合（Ｓ４０５：ＮＯ）、「チーク」が選択されたか否かを判断する（ステップＳ４０７）。ＣＰＵ７０は、「チーク」が選択されていると判断した場合（Ｓ４０７：ＹＥＳ）、「チーク」に係る処理を実行し（ステップＳ４０８）、ステップＳ４０４へ処理を進める。「チーク」に係る処理については詳細を後述する。

ＣＰＵ７０は、「チーク」が選択されていないと判断した場合（Ｓ４０７：ＮＯ）、「カラコン」が選択されたか否かを判断する（ステップＳ４０９）。ＣＰＵ７０は、「カラコン」が選択されていると判断した場合（Ｓ４０９：ＹＥＳ）、「カラコン」に係る処理を実行し（ステップＳ４１０）、ステップＳ４０４へ処理を進める。「カラコン」に係る処理については詳細を後述する。

ＣＰＵ７０は、「カラコン」が選択されていないと判断した場合（Ｓ４０９：ＮＯ）、「アイライン」が選択されたか否かを判断する（ステップＳ４１１）。ＣＰＵ７０は、「アイライン」が選択されていると判断した場合（Ｓ４１１：ＹＥＳ）、「アイライン」に係る処理を実行し（ステップＳ４１２）、ステップＳ４０４へ処理を進める。「アイライン」に係る処理については詳細を後述する。

ＣＰＵ７０は、「アイライン」が選択されていないと判断した場合（Ｓ４１１：ＮＯ）、「つけまつげ」が選択されたか否かを判断する（ステップＳ４１３）。ＣＰＵ７０は、「つけまつげ」が選択されていると判断した場合（Ｓ４１３：ＹＥＳ）、「つけまつげ」に係る処理を実行し（ステップＳ４１４）、ステップＳ４０４へ処理を進める。「つけまつげ」に係る処理については詳細を後述する。

ＣＰＵ７０は、「つけまつげ」が選択されていないと判断した場合（Ｓ４１３：ＮＯ）、「ヘアカラー」が選択されたか否かを判断する（ステップＳ４１５）。ＣＰＵ７０は、「ヘアカラー」が選択されていると判断した場合（Ｓ４１５：ＹＥＳ）、「ヘアカラー」に係る処理を実行し（ステップＳ４１６）、ステップＳ４０４へ処理を進める。「ヘアカラー」に係る処理については詳細を後述する。ＣＰＵ７０は、ステップ４１５にて「ヘアカラー」が選択されていないと判断した場合（Ｓ４１５：ＮＯ）、他のタブ等が選択されているので処理をステップＳ４０４へ進める。

ＣＰＵ７０は、ステップＳ４０４にて「メイク」の落書き編集受け付けを終了すると判断した場合（Ｓ４０４：ＹＥＳ）、ＣＰＵ７０は、処理を図７のフローチャートに示したステップＳ３０５へ処理を戻す。

次に、図８のフローチャートを参照して説明した「メイク」の落書き編集受け付けの詳細をメイクの種類別に順に説明する。なお以下に説明する複数の種類のメイクについての落書き編集は、撮影により得られた画像上に重畳される複数のレイヤーに夫々対応付けられる。図９は、落書き編集に係るレイヤー構造の一例を模式的に示す説明図である。図９に示すように、撮影により得られた画像データに基づき抽出された１又は複数の人物被写体領域を含む画像上に、６種類のメイク夫々について自動的に描画される画像用のレイヤーが重畳され、更に手動で描画されるメイクの画像のレイヤーが重畳されている。詳細には下から、リップ、チーク、カラコン、アイライン、つけまつげ２（下）、及びつけまつげ１（上）の自動描画用と、ヘアカラー以外の手動描画用、ヘアカラーの手動描画用の順で重畳されている。異なるレイヤーに対応付けて記憶される落書きは、別個に表示／非表示、削除等が可能である。

＜１．「リップ」について＞
「リップ」について図５の落書き用操作画面の内容例を参照して説明する。「リップ」は唇へ口紅又はリップグロスを塗布するメイクを施したような画像処理を行なう機能である。「リップ」の機能では唇領域を自動的に特定して化粧を施す自動モードのみが存在する。図５中のプレビュー表示部３０１に対応するメイクパレット３１０には、メイク選択部１０２で「リップ」が選択された場合に表示される自動モードのときのキャンバス部１０７の内容例が示されている。「リップ」が選択されている場合、キャンバス部１０７には複数種類のリップスティックに夫々対応した複数のリップ選択アイコン７２１、「リップ」のメイクを消去するＯＦＦボタン７２３、一部を消去する消しゴム選択ボタン７２４が配置される。

画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図５のキャンバス部１０７に示されている画像に対応するリップ用の色、テクスチャ及びグラデーションパターンを識別するリップパターン情報を複数種類含む。複数種類のリップパターン情報は例えば、色味の異なる複数のピンク、オレンジ、レッドなどの色情報、色情報に加えて光沢感を出すためのテクスチャ情報、更に上唇と下唇で色味又は濃淡を変化させるグラデーションパターンの情報が含まれる。テクスチャ情報は例えば、微細な粒子又は金属箔が散りばめられたような画像、又は光沢部分のパターン画像を含む。グラデーションパターンの情報は例えば、混合される複数の色の情報と、色を変化させる位置、各色の透明度等の情報を含む。

ＣＰＵ７０はまず、「リップ」について以下の事前処理を実行しておく。具体的にはＣＰＵ７０は、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、及び口領域に基づいて、各人物用の顔領域に重畳させる唇画像を作成しておく事前処理を行なう。図１０は、「リップ」用の事前処理の手順の一例を示すフローチャートである。

ＣＰＵ７０は、複数の画像データから１つの画像データを選択し（ステップＳ５０１）、選択中の画像データにて抽出されている１又は複数の人物被写体領域の内の顔領域の中から１つの顔領域を選択する（ステップＳ５０２）。ＣＰＵ７０は選択した顔領域にて特定されている口領域（上唇及び下唇又は唇全体）の輪郭を特定する（ステップＳ５０３）。ＣＰＵ７０は、特定した輪郭に基づき唇マスク画像を作成し（ステップＳ５０４）、選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ５０５）。

ＣＰＵ７０は、記憶した唇マスク画像に基づいてグラフィックボード７３を用い、選択中の顔領域から唇領域を抽出して唇画像を作成する（ステップＳ５０６）。このときＣＰＵ７０は、作成した唇画像を口領域の中心から外側へ向けて１又は複数画素分拡大しておいてもよい。異なる画素数分拡大した複数の唇画像を段階的に作成してもよい。

ＣＰＵ７０は、ＨＤＤ７２に記憶されている複数種類のリップパターン情報の内、１つのリップパターン情報を選択し（ステップＳ５０７）、選択したリップパターン情報に含まれる情報に基づく色、テクスチャ、及びグラデーションパターンによって唇画像を塗る描画処理を行なう（ステップＳ５０８）。ＣＰＵ７０は、処理後の唇画像を選択中の顔領域、及び選択中のリップパターン情報と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ５０９）。ＣＰＵ７０は、ステップＳ５０８及びステップＳ５０９の処理を、１つの唇画像の１つのリップパターン情報に対し、濃淡、透明度又は重畳させるテクスチャ画像の透明度等を予め記憶してある複数の段階で変更して実行し、各段階の唇画像を区別して記憶する。したがってＣＰＵ７０は、複数段階全てについて処理を行なったか否か判断し（ステップＳ５１０）、未処理の段階があると判断した場合（Ｓ５１０：ＮＯ）、処理をステップＳ５０８へ戻して未処理の段階について処理を実行する。

ＣＰＵ７０は、ステップＳ５１０にて予め記憶してある複数段階全てについて処理を行なったと判断した場合（Ｓ５１０：ＹＥＳ）、全てのリップパターン情報を選択したか否かを判断する（ステップＳ５１１）。未選択のリップパターン情報が存在すると判断された場合（Ｓ５１１：ＮＯ）、ＣＰＵ７０は処理をステップＳ５０７へ戻す。

ＣＰＵ７０は、全てのリップパターン情報を選択したと判断した場合（Ｓ５１１：ＹＥＳ）、画像データ中の全ての顔領域を選択したか否かを判断する（ステップＳ５１２）。ＣＰＵ７０は、未選択の顔領域が存在すると判断した場合（Ｓ５１２：ＮＯ）、処理をステップＳ５０２へ戻す。ＣＰＵ７０はステップＳ５１２で全ての顔領域を選択したと判断した場合（Ｓ５１２：ＹＥＳ）、撮影回数分の全画像データを選択したか否かを判断し（ステップＳ５１３）、未選択の画像データが存在すると判断した場合（Ｓ５１３：ＮＯ）、処理をステップＳ５０１へ戻す。ＣＰＵ７０は、全画像データを選択したと判断した場合（Ｓ５１３：ＹＥＳ）、「リップ」用の事前処理を終了する。

次に、落書き用操作画面でユーザが操作している間の「リップ」についてのリアルタイム処理について説明する。図１１は、「ＭＡＫＥ」の操作の受け付け中における「リップ」に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４０６の詳細に対応する。

ＣＰＵ７０はまず、自動モードのみに実行すべき個別／全員切替処理を実行する（ステップＳ６０１）。ステップＳ６０１で実行される個別／全員切替処理について説明する。図１２は、個別／全員切替処理の一例の詳細を示すフローチャートである。ＣＰＵ７０は、個別／全員切替処理の実行がメイクに係る処理の中で初回であるか否かを判断し（ステップＳ３００１）、初回であると判断した場合（Ｓ３００１：ＹＥＳ）、初期的に「みんな」を選択し（ステップＳ３００２）、特定されている全部の顔領域を含む所定範囲の画像を顔サンプル表示部１０３に表示する（ステップＳ３００３）。ＣＰＵ７０は、顔切替部１０６を無効化し（ステップＳ３００４）、次のステップＳ３００５へ処理を進める。初回以外では、異なるメイクの種類が選択された場合でも直前に個別を選択していたのか、全員を選択していたのかを保持しておくためである。

ステップＳ３００１にて初回でないと判断された場合（Ｓ３００１：ＮＯ）、及びＳ３００４の後は、ＣＰＵ７０は「みんな」が選択中であるか否かを判断する（ステップＳ３００５）。「みんな」が選択中であると判断された場合（Ｓ３００５：ＹＥＳ）、ＣＰＵ７０は個別選択部１０４により「個別」が選択されたか否かを判断する（ステップＳ３００６）。「個別」が選択されていないと判断された場合（Ｓ３００６：ＮＯ）、ＣＰＵ７０は、編集対象の画像データにて特定された全顔領域をメイク対象とし（ステップＳ３００７）、個別／全員切替処理を終了し、各別のメイク編集を受け付ける処理を続行する。

ステップＳ３００６にて個別選択部１０４がタッチペン３１ａによって選択され、「個別」が選択されたと判断された場合（Ｓ３００６：ＹＥＳ）、ＣＰＵ７０は顔切替部１０６を有効化すると共に（ステップＳ３００８）、編集対象の画像データにて特定されている全顔領域の内の１つの顔領域を選択する（ステップＳ３００９）。ＣＰＵ７０は選択された顔領域を含む画像を顔サンプル部１０３に表示し（ステップＳ３０１０）、選択されている顔領域をメイク対象とし（ステップＳ３０１１）、個別／全員切替処理を終了し、各別のメイク編集を受け付ける処理を続行する。

ステップＳ３００５にて「みんな」が選択中でないと判断された場合（Ｓ３００５：ＮＯ）、ＣＰＵ７０は顔切替部１０６がタッチペン３１ａによって選択されたか否かを判断する（ステップＳ３０１２）。ＣＰＵ７０は、顔切替部１０６が選択されたと判断した場合（Ｓ３０１２：ＹＥＳ）、選択されている顔領域に対して他の顔領域を巡回的に選択し（ステップＳ３０１３）、処理をステップＳ３０１０へ進める。

ステップＳ３０１２にて顔切替部１０６が選択されていないと判断された場合（Ｓ３０１２：ＮＯ）、全員選択部１０５がタッチペン３１ａによって選択され、「みんな」が選択されたか否かを判断する（ステップＳ３０１４）。「みんな」が選択されたと判断された場合（Ｓ３０１４：ＹＥＳ）、ＣＰＵ７０は特定されている全部の顔領域を含む所定範囲の画像を顔サンプル表示部１０３に表示し（ステップＳ３０１５）、顔切替部１０６を無効化して（ステップＳ３０１６）、処理をステップＳ３００７へ進める。

ステップＳ３０１４にて「みんな」が選択されていないと判断された場合（Ｓ３０１４：ＮＯ）、他の部分が選択されたか編集処理がなされているので、ＣＰＵ７０は処理を図７のフローチャートへ戻し、他の操作を受け付ける処理を続行する。

このように、本実施の形態における「メイク」の落書き編集受け付けでは、メイク対象を個別／全員で切り替えることが可能である。したがって複数のユーザで複数の撮影がなされた場合に、複数回の撮影に対応する複数の画像データ毎に、全員分の顔領域に同一のメイクを施す画像処理を行なうのか、個別の顔領域に夫々異なるメイクを施す画像処理を行なうのかを、ユーザが選択することが可能である。

図１１のフローチャートに戻り、説明を続ける。ＣＰＵ７０は個別／全員切替処理を行なった後、リップ選択アイコン７２１が選択されたか否かを判断する（ステップＳ６０２）。ＣＰＵ７０は、リップ選択アイコン７２１が選択されたと判断した場合（Ｓ６０２：ＹＥＳ）、選択されたリップ選択アイコン７２１に対応するリップパターン情報を識別する（ステップＳ６０３）。

ＣＰＵ７０は、メイク対象の顔領域（「個別」が選択されている場合は選択中の１つの顔領域、「みんな」が選択されている場合は全顔領域）に対応付けて記憶されている各顔領域に対して位置が決定され、拡縮、回転等の変形が完了している唇画像の内、ステップＳ６０３で識別されたリップパターン情報が対応付けられている唇画像を抽出する（ステップＳ６０４）。ＣＰＵ７０は、抽出した唇画像の内、複数の段階の内の所定の段階（例えば中央の段階）で処理が実行された唇画像を選択し（ステップＳ６０５）、選択した唇画像を、リップの自動描画用のレイヤーにおける対応する顔領域に対応する位置に重畳させて表示する（ステップＳ６０６）。これにより、プレビュー表示部３０１の対応する顔領域内の唇の位置に唇画像が重畳される。

ＣＰＵ７０は更に、プレビュー表示部３０１中のメイク対象の顔領域の近傍の唇画像以外の位置に、調整用画面を更に重畳させて表示する（ステップＳ６０７）。調整用画面が重畳されるレイヤーは図９に示した各メイク用のレイヤーよりも上である。調整用画面には複数の段階を調整するためのスライダーコントロール及びＯＫボタンが含まれている。ＣＰＵ７０は、調整用画面のＯＫボタンが選択されたか否かを判断し（ステップＳ６０８）、ＯＫボタンが選択された場合（Ｓ６０８：ＹＥＳ）、表示中の唇画像を確定させて記憶し（ステップＳ６０９）、調整用画面を非表示とし（ステップ６１０）、「リップ」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

ステップＳ６０８にてＯＫボタンが選択されていないと判断された場合（Ｓ６０８：ＮＯ）、ＣＰＵ７０は、スライダーコントロールが選択された否かを判断する（ステップＳ６１１）。ＣＰＵ７０はスライダーコントロールが選択されたと判断した場合（Ｓ６１１：ＹＥＳ）、スライダーコントロールのつまみの動き、「＋」「−」の選択、又は直接的に選択された段階に応じて、表示中の唇画像を他の段階（連続する段階）で処理が実行された唇画像へ差し替え（ステップＳ６１１）、処理をステップＳ６０８へ戻す。

ステップＳ６１１にてスライダーコントロールが選択されていないと判断した場合（Ｓ６１１：ＮＯ）、ＣＰＵ７０は調整用画面外が選択されたか否かを判断する（ステップＳ６１３）。ＣＰＵ７０は、調整用画面外が選択されていないと判断した場合（Ｓ６１３：ＮＯ）、処理をステップＳ６０８へ戻す。なお、ＣＰＵ７０はＣＡＮＣＥＬボタンを更に含む調整用画面を表示するようにし、ＯＫボタン又はＣＡＮＣＥＬボタンのいずれかが選択されるまで待機するようにしてもよい。

ステップＳ６１３にて調整用画面外が選択されたと判断した場合（Ｓ６１３：ＹＥＳ）、ＣＰＵ７０は表示している唇画像をキャンセル扱いとして非表示とし、更に調整用画像を非表示とし（ステップＳ６１４）、「リップ」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

ＣＰＵ７０は、ステップＳ６０２にてリップ選択アイコン７２１が選択されていないと判断した場合（Ｓ６０２：ＮＯ）、ＯＦＦボタン７２３が選択されたか否かを判断する（ステップＳ６１５）。ＣＰＵ７０はＯＦＦボタン７２３が選択されたと判断した場合（Ｓ６１５：ＹＥＳ）、表示している唇画像を非表示として確定を解除し（ステップＳ６１６）、「リップ」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

ＣＰＵ７０は、ＯＦＦボタン７２３が選択されていないと判断した場合（Ｓ６１５：ＮＯ）、そのまま「リップ」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

なお消しゴム選択ボタン７２４については、ＣＰＵ７０は、消しゴム選択ボタン７２４が選択された後にタッチペン３１ａの接触箇所に対応する軌跡の座標情報を記憶し、記憶した座標情報に沿って、選択された太さにて唇画像の一部を非表示（透明）にすればよい。

図１３は、調整用画面の表示例を示す説明図であり、図１４は、調整用画面によって調整されるリップメイクの内容例を示す説明図である。図１３にはプレビュー表示部３０１に表示されているメイク対象の顔領域に、調整用画面３０５が重畳表示されていることが示されている。調整用画面３０５にはスライダーコントロール３０６、及びＯＫボタン３０７が含まれている。図１４に示すように、スライダーコントロール３０６のつまみの位置に応じて、プレビュー表示部３０１に表示されているメイク対象の顔領域に重畳されている唇画像が差し替えられる。唇画像が、１つのリップパターン情報に対し、光沢感を出すテクスチャ画像の透明度等を予め記憶してある複数の段階で変更して作成されている場合、唇画像の差し替えによって光沢感の強弱が変更される。これによりユーザは、マット感のある唇から、グロスを乗せたような光沢感の唇までの間で、リップメイクの光沢感の強弱を好みに合わせて調整することができる。なお、色の濃淡を調整できるようにしてもよい。なおスライダーコントロール３０６ではなく、リップの光沢感の強弱を段階的に選択することが可能な他のコントロールであってもよい。

＜２．「チーク」について＞
「チーク」について図５の落書き用操作画面の内容例を参照して説明する。「チーク」は、頬領域への頬紅を塗布するメイクを施したような画像処理を行なう機能である。「チーク」の機能では頬領域を自動的に特定して化粧を施す自動モードと、ユーザが手動操作によって頬領域にチーク用画像を配置する手動モードとがあり、いずれか選択できる。なお顔領域及び頬領域の特定に成功している場合、初期的には自動モードが選択される。顔領域及び頬領域の特定に失敗した場合は、手動モードのみで以下に示す処理が実行される。図５中のプレビュー表示部３０２に対応するメイクパレット３１０には、メイク選択部１０２で「チーク」が選択された場合に表示される自動モードのときのキャンバス部１０７の内容例が示されている。自動モードにおけるキャンバス部１０７には複数種類のチークに夫々対応した複数のチーク選択アイコン７３１、「チーク」のメイク操作を手動モードに切り替えるための手動ボタン７３２、「チーク」のメイクを消去するＯＦＦボタン７３３、及び一部を消去する消しゴム選択ボタン７３４が含まれる。

画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図５のキャンバス部１０７に示されている画像に対応する複数種類のチーク用画像を含む。チーク用画像は例えば、略円形、ハート形、卵形、扁平な楕円形などの形状で、ピンク、レッド、オレンジ等の異なる色で彩色されている。またチーク用画像は夫々、半透明であって更に周囲がぼかされていて顔領域上に重畳された場合に自然に見えるようにしてある。チーク用画像は各形状及び色に加え、透明でないラメ、ホログラム、ラインストーン、スタッズ、又はシール等の光輝を放つ装飾物の画像が含まれるものもある。これらの装飾用の画像によって、頬骨周辺にキラキラとした光輝を放つ細粒等を散りばめるメイクを施したような画像を顔領域に重畳させることが可能である。

ＣＰＵ７０は「チーク」について以下の事前処理を実行しておく。具体的にはＣＰＵ７０は、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、各器官領域に基づいて、各人物の顔領域に重畳させるチーク用画像の色の変更、拡縮、傾きの変更等をしておく事前処理を行なう。図１５は、「チーク」用の事前処理の手順の一例を示すフローチャートである。

ＣＰＵ７０は、複数の画像データから１つの画像データを選択し（ステップＳ７０１）、選択中の画像データにて抽出されている１又は複数の人物被写体領域の内の顔領域の中から１つの顔領域を選択する（ステップＳ７０２）。ＣＰＵ７０は選択した顔領域にて特定されている顔の輪郭、及び各器官領域に基づき、顔領域内の所定の位置（中心を通る中心線の座標等）及びチーク領域を特定する（ステップＳ７０３）。チーク領域は、特定されている顔の輪郭、目の輪郭の下部分、及び鼻の輪郭で囲まれる左右に分かれた領域である。ＣＰＵ７０は、特定したチーク領域のチークマスク画像を作成し（ステップＳ７０４）、選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ７０５）。

ＣＰＵ７０は、メイク用情報７２０中の複数種類のチーク用画像の内の１つを選択し（ステップＳ７０６）、ステップＳ７０３で特定した顔領域内の所定の位置又はチーク領域に基づいて、選択中のチーク用画像を重畳させる位置（画像内の座標）、大きさ、及び傾きを決定する（ステップＳ７０７）。ＣＰＵ７０は、選択中のチーク用画像を、ステップＳ７０７で決定した位置に、決定した大きさ及び傾きで配置した重畳用のチーク用画像を、選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ７０８）。ＣＰＵ７０は、ステップＳ７０８で記憶した重畳用のチーク用画像の色の濃淡又は透明度を予め記憶してある複数の段階で変更し、複数の段階の重畳用のチーク用画像を区別してメモリ７１又はＨＤＤ７２に記憶する（ステップＳ７０９）。

次にＣＰＵ７０は、全てのチーク用画像を選択したか否かを判断する（ステップＳ７１０）。未選択のチーク用画像が存在すると判断された場合（Ｓ７１０：ＮＯ）、ＣＰＵ７０は処理をステップＳ７０６へ戻す。

ＣＰＵ７０は、全てのチーク用画像を選択したと判断した場合（Ｓ７１０：ＹＥＳ）、画像データ中の全ての顔領域を選択したか否かを判断する（ステップＳ７１１）。ＣＰＵ７０は、未選択の顔領域が存在すると判断した場合（Ｓ７１１：ＮＯ）、処理をステップＳ７０２へ戻す。ＣＰＵ７０はステップＳ７１１で全ての顔領域を選択したと判断した場合（Ｓ７１１：ＹＥＳ）、撮影回数分の全画像データを選択したか否かを判断し（ステップＳ７１２）、未選択の画像データが存在すると判断した場合（Ｓ７１２：ＮＯ）、処理をステップＳ７０１へ戻す。ＣＰＵ７０は、全画像データを選択したと判断した場合（Ｓ７１２：ＹＥＳ）、「チーク」用の事前処理を終了する。このようにチーク用画像は顔領域の位置及び大きさ、前記複数の画素の配列方向に対する角度に基づき、顔領域内に収まるように変形され、決定された位置、大きさ、角度で重畳される。なおＣＰＵ７０は、顔領域及び頬領域の特定に失敗した場合、図１５のフローチャートに示した事前処理に係る処理は実行しない。

次に、落書き用操作画面でユーザが操作している間の「チーク」についてのリアルタイム処理について説明する。図１６は、「ＭＡＫＥ」の操作の受け付け中における「チーク」に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４０８の詳細に対応する。

ＣＰＵ７０はまず、自動モードが選択されているか否かを判断する（ステップＳ８０１）。ＣＰＵ７０は、自動モードが選択されていると判断した場合（Ｓ８０１：ＹＥＳ）、図１２のフローチャートに示した個別／全員切替処理を実行してメイク対象を判別する（ステップＳ８０２）。

ＣＰＵ７０は、チーク選択アイコン７３１が選択されたか否かを判断する（ステップＳ８０３）。ＣＰＵ７０は、チーク選択アイコン７３１が選択されたと判断した場合（Ｓ８０３：ＹＥＳ）、選択されたチーク選択アイコン７３１に対応するチーク用画像を識別する（ステップＳ８０４）。

ＣＰＵ７０は、メイク対象の顔領域（「個別」が選択されている場合は選択中の１つの顔領域、「みんな」が選択されている場合は全顔領域）に対応付けて記憶されているチーク用画像の内、ステップＳ８０４で識別されたチーク用画像に対応する重畳用のチーク用画像（位置、大きさ、角度等決定、変形、配置済み）を記憶されている中から抽出する（ステップＳ８０５）。ＣＰＵ７０は、抽出した重畳用のチーク用画像の内、複数の段階の内の略中央の段階で処理が実行された重畳用のチーク用画像を選択し（ステップＳ８０６）、選択した重畳用のチーク用画像を、チークの自動描画用のレイヤーにおける対応する顔領域上の対応する位置に重畳するように、チーク用マスク画像を利用して表示する（ステップＳ８０７）。これにより、プレビュー表示部３０２の対応する顔領域内の頬領域に重畳用のチーク用画像が重畳される。

ＣＰＵ７０は、レビュー表示部３０２中のメイク対象の顔領域の近傍のチーク領域以外の位置に、調整用画面を更に重畳させて表示する（ステップＳ８０８）。調整用画面には複数の段階間を調整するためのスライダーコントロール及びＯＫボタンが含まれている。ＣＰＵ７０は、調整用画面のＯＫボタンが選択されたか否かを判断し（ステップＳ８０９）、ＯＫボタンが選択されたと判断した場合（Ｓ８０９：ＹＥＳ）、表示中の重畳用のチーク用画像を確定させて記憶し（ステップＳ８１０）、調整用画面を非表示とし（ステップＳ８１１）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

ステップＳ８０９にてＯＫボタンが選択されていないと判断された場合（Ｓ８０９：ＮＯ）、ＣＰＵ７０は、スライダーコントロールが選択された否かを判断する（ステップＳ８１２）。ＣＰＵ７０はスライダーコントロールが選択されたと判断した場合（Ｓ８１２：ＹＥＳ）、スライダーコントロールのつまみの動き、「＋」「−」の選択、「＋」「−」の選択、又は直接的に選択された段階に応じて、表示中の重畳用のチーク用画像を他の段階（隣接する段階の濃淡又は透明度）で処理が実行されたチーク用画像へ差し替えることで変更し（ステップＳ８１３）、処理をステップＳ８０９へ戻す。

ステップＳ８１２にてスライダーコントロールが選択されていないと判断された場合（Ｓ８１２：ＮＯ）、ＣＰＵ７０は調整用画面外が選択されたか否かを判断する（ステップＳ８１４）。ＣＰＵ７０は、調整用画面外が選択されていないと判断した場合（Ｓ８１４：ＮＯ）、処理をステップＳ８０９へ戻す。なおＣＰＵ７０はＣＡＮＣＥＬボタンを更に含む調整用画面を表示するようにし、ＯＫボタン又はＣＡＮＣＥＬボタンのいずれかのボタンが選択されるまで待機するようにしてもよい。

ステップＳ８１４にて調整用画面外が選択されたと判断された場合（Ｓ８１４：ＹＥＳ）、ＣＰＵ７０は、表示している重畳用のチーク用画像をキャンセル扱いとして非表示とし、更に調整用画面を非表示とし（ステップＳ８１５）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

このように自動的にチーク用画像の位置を決定して変形したものを重畳させ、調整用画面にて複数段階への変更を受け付ける処理により、図１３及び図１４で示した「リップ」の調整用画面を用いた操作と同様に、「チーク」の濃淡が変更されたチーク用画像の差し替えが行なわれる。これにより、ユーザは、自動的に配置されたチーク用画像の濃淡を直感的に調整することができる。なおチーク用画像における濃淡又は透明度は、事前処理ではなく「チーク」に係る処理中のステップＳ８１３にてグラフィックボード７３を使用してリアルタイムに変更して表示するようにしてもよい。なおスライダーコントロール３０６ではなく、チークの濃淡又は透明度を段階的に選択することが可能な他のコントロールによって変更を受け付けるようにしてもよい。

ＣＰＵ７０は、ステップＳ８０３にてチーク選択アイコン７３１が選択されていないと判断した場合（Ｓ８０３：ＮＯ）、ＯＦＦボタン７３３が選択されたか否かを判断する（ステップＳ８１６）。ＣＰＵ７０はＯＦＦボタン７３３が選択されたと判断した場合（Ｓ８１６：ＹＥＳ）、表示しているチーク用画像を非表示として確定を解除し（ステップＳ８１７）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。ＣＰＵ７０は、ステップＳ８１６にてＯＦＦボタン７３３が選択されていないと判断した場合（Ｓ８１６：ＮＯ）、そのまま「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

ステップＳ８０１にて、手動ボタン７３２が選択されたことにより手動モードが選択されていると判断された場合（Ｓ８０１：ＮＯ）、ＣＰＵ７０は図６に示した手動モードの場合のメイクパレット３１０にて操作を受け付ける。図６に示すように手動モードの場合、キャンバス部１０７には、チーク選択アイコン７３１、メイク操作を自動モードへ切り替えるための自動ボタン７３５、及び描画されたチークの一部を消去する消しゴム選択ボタン７３６が含まれる。ユーザは、手動モードにてチークに係るメイクの操作を行なう場合、タッチペン３１ａにてチーク選択アイコン７３１を選択し、素材サンプル表示部１０８の内容を確認しながら、対応するプレビュー表示部３０２にドラッグし、チーク用画像を重畳させたい場所でタッチペン３１ａをディスプレイ３０ａから離す。ＣＰＵ７０はタッチペン３１ａがディスプレイ３０ａから離れた箇所を特定し、特定した箇所の位置に選択されたチーク選択アイコン７３１に対応するチーク用画像を重畳させる。

具体的にはＣＰＵ７０はチーク選択アイコン７３１が選択されたか否かを判断する（ステップＳ８１８）。ＣＰＵ７０は、手動モードにてチーク選択アイコン７３１が選択されたと判断した場合（Ｓ８１８：ＹＥＳ）、選択されたチーク選択アイコン７３１に対応するチーク用画像を識別する（ステップＳ８１９）。ＣＰＵ７０は、手動モードの場合の操作画面に対する上述のような手動操作を受け付け（ステップＳ８２０）、識別されているチーク用画像をＨＤＤ７２のメイク用情報７２０から読み出し、ヘアカラー以外の手動描画用のレイヤー上で、手動操作に基づいて特定された位置に重畳するように、読み出したチーク用画像を表示する（ステップＳ８２１）。これにより、プレビュー表示部３０２の対応する顔領域内の頬領域に、選択されたチーク選択アイコン７３１に対応するチーク用画像（元の大きさ、角度）が重畳される。

次にＣＰＵ７０は、手動操作を受け付ける場合も、調整用画面を更に重畳させて表示する（Ｓ８０８）。手動操作を受け付ける場合の調整用画面には、回転角度を調整するための回転ボタン（例えば一回に画面上で時計回り又は反時計回りに３度ずつ回転）、手動描画用のレイヤーに重畳させたチーク用画像の大小を調整するスライダーコントロール、濃淡を調整するためのスライダーコントロール及びＯＫボタンが含まれている。

図１７は、手動モードの場合の調整用画面の表示例を示す説明図である。図１７にはプレビュー表示部３０２に表示されているメイク対象の顔領域に重畳されて手動操作時の調整用画面３０８が表示されていることが示されている。手動モードにおける調整用画面が表示される際には、プレビュー表示部３０１内を拡大し、表示箇所を移動できるように移動ＯＮボタン３０９１及び拡大表示ボタン３０９２が落書き用操作画面に選択可能に配置される。拡大表示ボタン３０９２が選択された場合、顔領域を含む部分が表示されるように、撮影により得られた画像の上部分を所定の倍率でズームアップ表示するようにするとよい。またチークに係る処理における手動操作時の調整用画面３０８には、上述の回転ボタン３０８１、大小を調整するスライダーコントロール３０８２、濃淡を調整するためのスライダーコントロール３０８３及びＯＫボタン３０７が含まれている。なお手動モードにおける調整用画面は、落書き用操作画面内のペンパレット３０３及びメイクパレット３０４と重畳しない位置に移動が可能とすることにより操作性を向上させる。ただし、プレビュー表示部３０１に対応する調整用画面はプレビュー表示部３０２側には移動できないように（逆も同様に）、移動が制限されるとよい。

図１６のフローチャートに戻り説明を続ける。ＣＰＵ７０は、図１７に示したような手動用の調整用画面にてＯＫボタンが選択されたか否かを判断し（Ｓ８０９）、ＯＫボタンが選択されたと判断した場合は（Ｓ８０９：ＹＥＳ）、表示中の重畳用のチーク用画像を確定させて記憶し（Ｓ８１０）、調整用画面を非表示として（Ｓ８１１）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。また、手動モードにおける調整用画面にていずれかのスライダーコントロールが選択されたか否かを判断し（Ｓ８１２）、ＣＰＵ７０はスライダーコントロールが選択されたと判断した場合（Ｓ８１２：ＹＥＳ）、スライダーコントロールのつまみの動き、「＋」「−」の選択、又は直接的に選択される段階に応じて、表示中の重畳用のチーク用画像の角度、大きさ、濃淡を変更し（Ｓ８１３）、処理をステップＳ８０９へ戻す。これによりユーザは、タッチペン３１ａのドラッグによって指定した位置に重畳されているチーク用画像の角度、サイズ、濃淡を調整用画面３０８にて調整することが可能である。同様にしてＣＰＵ７０は、手動モードの調整用画面においても調整用画面外が選択されたと判断した場合（Ｓ８１４：ＹＥＳ）、表示しているチーク用画像をキャンセル扱いとして非表示及び調整用画面を非表示とし（Ｓ８１５）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

ＣＰＵ７０は、ステップＳ８１８で手動モードの場合においてチーク選択アイコン７３１が選択されていないと判断した場合（Ｓ８１８：ＮＯ）、自動ボタン７３５が選択されたか否かを判断する（ステップＳ８２２）。ＣＰＵ７０は自動ボタン７３５が選択されたと判断した場合（Ｓ８２２：ＹＥＳ）、処理をステップＳ８０１へ戻し、自動モードが選択されていると判断して処理を続行する。

ＣＰＵ７０は、ステップＳ８２２で自動ボタン７３５が選択されていないと判断した場合（Ｓ８２２：ＮＯ）、そのまま「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

このように手動モードにてチーク用画像を重畳させる場合も、プレビュー表示部３０２に表示される調整用画面３０８にて大小、角度、濃淡への変更を受け付ける処理により、ユーザは、詳細な調整を直感的に行なうことができる。また手動モードで重畳されるチーク用画像と、自動モードで重畳されるチーク用画像とが別のレイヤー上に描画されて別個に記憶されるため、重ね付けも可能である。なお、手動ボタン７３２が選択された場合に、自動描画用のレイヤーにおけるチーク用画像を非表示とし、手動モードで受け付けたチーク用画像のみを表示し、逆に、自動ボタン７３５が選択された場合に、手動描画用のレイヤーにおけるチーク用画像を非表示とするようにしていずれか一方に切り替えるようにしてもよい。

なおＣＰＵ７０は、自動モード時のキャンバス部１０７における消しゴム選択ボタン７３４が選択された場合、その後のタッチペン３１ａの軌跡を記憶し、チークの自動描画用のレイヤーにおける重畳用のチーク用画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）とする。同様に、手動モード時のキャンバス部１０７における消しゴム選択ボタン７３６が選択された場合は同様の処理を、手動描画用のレイヤーに対して行なえばよい。なお手動描画用のレイヤーもメイクの種類別に分けてもよいが、本実施の形態では図９に示した通りヘアカラー以外については共通としている。したがって他のメイクに係る画像の一部を透明としないようにメイクの種類別に領域を識別しておいてもよい。

＜３．「カラコン」について＞
「カラコン」について画面例を参照して説明する。「カラコン」はカラコンを装着させたような画像処理を行なう機能である。「カラコン」の機能では目の領域及び虹彩の領域を自動的に特定してカラコンを画像処理で装着させる自動モードと、ユーザが手動操作によって目の領域にカラコン画像を配置する手動モードとがあり、いずれか選択できる。なお「カラコン」の機能においても目の領域及び虹彩の領域の特定に成功している場合、初期的に自動モードが選択され、特定に失敗している場合は手動モードのみで以下の処理が実行される。図１８は、「カラコン」が選択されている場合のメイクパレット３１０の表示例を示す説明図である。図１８には自動モードのときのキャンバス部１０７の内容例が示されている。「カラコン」が選択されている場合の自動モードにおけるキャンバス部１０７には複数種類のカラコンに夫々対応したカラコン選択アイコン７４１、手動モードへ切り替えるための手動ボタン７４２、「カラコン」のメイクを消去するＯＦＦボタン７４３、及び一部を消去する消しゴム選択ボタン７４４が配置される。「カラコン」が選択されている場合の手動モードにおけるメイクパレット３１０の画面例については「チーク」における例（図６）と同様であるから説明を省略する。

画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図１８のキャンバス部１０７のカラコン選択アイコン７４１の画像に対応する複数種類のカラコン画像を含む。カラコン画像は例えば、褐色、灰色、緑色等の異なる色、及び異なる着色範囲のカラーコンタクトレンズの画像である。

ＣＰＵ７０は「カラコン」について以下の事前処理を実行しておく。なお以下の処理は目の領域及び虹彩の領域の特定に失敗している場合は実行されない。具体的にはＣＰＵ７０は、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、目の領域に基づいて、各人物の顔領域に重畳させるカラコン画像の拡縮等をしておく事前処理を行なう。図１９は、「カラコン」用の事前処理の手順の一例を示すフローチャートである。

ＣＰＵ７０は、複数の画像データから１つの画像データを選択し（ステップＳ９０１）、選択中の画像データにて抽出されている１又は複数の人物被写体領域の内の顔領域の中から１つの顔領域を選択する（ステップＳ９０２）。ＣＰＵ７０は選択した顔領域にて特定されている目の領域に基づき、目の輪郭及び虹彩（黒目部分）の輪郭（輪郭上の複数点の座標上方）並びに虹彩領域の中心位置を特定する（ステップＳ９０３）。

ＣＰＵ７０は、特定した輪郭に基づき、目マスク画像及び虹彩マスク画像を作成し（ステップＳ９０４）、虹彩マスク画像に基づき虹彩部分の画素の行方向における最大の大きさ及び列方向における最大の大きさを特定し（ステップＳ９０５）、特定した大きさに所定の比率を乗算して得られる円形の半径に基づき、カラコン画像の拡縮率を算出する（ステップＳ９０６）。

ＣＰＵ７０は、メイク用情報７２０中の複数種類のカラコン画像の内の１つを選択し（ステップＳ９０７）、ステップＳ９０３で特定した各虹彩領域の中心位置に基づき、ステップＳ９０７で選択したカラコン画像を重畳させる位置を決定し（ステップＳ９０８）、決定した位置に配置したカラコン画像をステップＳ９０６で算出した拡縮率で拡縮し（ステップＳ９０９）、決定した位置に拡縮されて配置されたカラコン画像と、目マスク画像４０２とのＡＮＤ演算により重畳用のカラコン画像を作成する（ステップＳ９１０）。ＣＰＵ７０は、選択中のカラコン画像を識別する情報と、ステップＳ９１０で作成した重畳用のカラコン画像を、選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ９１１）。ＣＰＵ７０は、ステップＳ９１１で記憶した重畳用のカラコン画像の色の濃淡又は透明度を予め記憶してある複数の段階で変更し、各段階の重畳用のカラコン画像を区別してメモリ７１又はＨＤＤ７２に記憶する（ステップＳ９１２）。

ＣＰＵ７０は、全てのカラコン画像を選択したか否かを判断する（ステップＳ９１３）。未選択のカラコン画像が存在すると判断された場合（Ｓ９１３：ＮＯ）、ＣＰＵ７０は処理をステップＳ９０７へ戻す。

ＣＰＵ７０は、全てのカラコン画像を選択したと判断した場合（Ｓ９１３：ＹＥＳ）、画像データ中の全ての顔領域を選択したか否かを判断する（ステップＳ９１４）。ＣＰＵ７０は、未選択の顔領域が存在すると判断した場合（Ｓ９１４：ＮＯ）、処理をステップＳ９０２へ戻す。ＣＰＵ７０はステップＳ９１４で全ての顔領域を選択したと判断した場合（Ｓ９１４：ＹＥＳ）、撮影回数分の全画像データを選択したか否かを判断し（ステップＳ９１５）、未選択の画像データが存在すると判断した場合（Ｓ９１５：ＮＯ）、処理をステップＳ９０１へ戻す。ＣＰＵ７０は、全画像データを選択したと判断した場合（Ｓ９１５：ＹＥＳ）、「カラコン」用の事前処理を終了する。

図２０は、重畳用のカラコン画像を作成する過程を説明する説明図である。図２０中の左上に示される顔領域から、目の輪郭画像（目マスク画像）４０２と、目の中の虹彩領域の輪郭画像（虹彩マスク画像）４０３とが作成される。虹彩マスク画像に基づき、各虹彩領域の画素の行方向における最大の大きさ（ｄ１，ｄ３）及び列方向における最大の大きさ（ｄ２，ｄ４）が特定され、特定された大きさに基づいてカラコン画像の拡縮率が算出され、拡縮されたカラコン画像４０１と目マスク画像４０２とのＡＮＤ領域（ハッチング部分）が、重畳用のカラコン画像４０４として作成される。

次に落書き用操作画面でユーザが操作している間の「カラコン」についてのリアルタイム処理についてフローチャートで説明する。図２１は、「ＭＡＫＥ」の操作の受け付け中における「カラコン」に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４１０の詳細に対応する。なお、図２１のフローチャートに示す各処理は、図１６のフローチャートの「チーク」に係る処理手順における「チーク」を「カラコン」に置換したものであるので、対応するステップ番号を付して各ステップの詳細な説明は省略する。

「カラコン」についても、図１３及び図１４で示した「リップ」の調整用画面を用いた操作、図１７に示した「チーク」の手動用の調整用画面を用いた操作と同様に、カラコン画像の濃淡及び大小の変更が行なわれる。なお「カラコン」に係る手動モード時の調整用画面には回転ボタンは含まれない。ユーザはカラコンの色又は濃淡を直感的に調整し、手動の場合においては大きさについても微調整が可能である。なおカラコン画像における濃淡又は透明度は、「カラコン」に係る処理中のステップＳ１０１３にてグラフィックボード７３を使用してリアルタイムに変更して表示するようにしてもよい。

消しゴム選択ボタン７４４についても「チーク」同様に、ＣＰＵ７０は、消しゴム選択ボタン７４４が選択された場合に、その後のタッチペン３１ａの軌跡を記憶し、カラコンの自動描画用のレイヤーにおける重畳用のカラコン画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）にすればよい。同様に手動モードにおける消しゴム選択ボタンが選択された場合も同様の処理を、手動描画用のレイヤーに対して行なう。

＜４．「アイライン」について＞
「アイライン」について画面例を参照して説明する。「アイライン」は上瞼又は下瞼の際を縁取るように線描したような画像処理を行なう機能である。「アイライン」の機能では上瞼又は下瞼の曲線を自動的に特定してアイラインを施す自動モードと、ユーザが手動操作によってアイライン画像を配置する手動モードとがあり、いずれか選択できる。なお、目の領域、上瞼又は下瞼の特定に成功している場合、初期的には自動モードが選択される。目の領域の特定に失敗している場合、手動モードのみで以下に示す処理が実行される。図２２は、「アイライン」が選択されている場合のメイクパレット３１０の内容例を示す説明図である。図２２には自動モードのときのキャンバス部１０７の内容例が示されている。「アイライン」が選択された場合の自動モードにおけるキャンバス部１０７には複数種類のアイラインに夫々対応したアイライン選択アイコン７５１、「アイライン」のメイク操作を手動で受け付ける手動ボタン７５２、「アイライン」メイクを消去するＯＦＦボタン７５３、及び一部を消去する消しゴム選択ボタン７５４が配置される。「アイライン」が選択されている場合の手動モードにおけるメイクパレット３１０の画面例については「チーク」における例（図６）と同様であるから説明を省略する。

画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図２２のキャンバス部１０７のアイライン選択アイコン７５１の画像に対応する複数種類のアイライン画像を含む。アイライン画像は、ブラウン系、ブラック系、又はピンク等の鮮色系で夫々描画された複数種類の形状のアイラインの画像と、目の周辺に散りばめられる光輝を放つ装飾の画像とを含む。図２３は、予め記憶されているアイライン画像の内容例を示す説明図である。図２３には、上瞼の際の全体を縁取った形状、一部を縁取った形状、目尻のみを縁取った形状のアイライン画像が示されている。また図２３には、目尻上方又は目尻の下方に配置するラメ、ホログラム、ラインストーン、スタッズ、又はシール等の光輝を放つ装飾物の画像が示されている。図２３に示すアイライン画像中の破線で示される曲線は、顔認識技術によって認識される目の輪郭の内、目頭（ｓ）から目尻（ｅ）までを結ぶ上部の輪郭、及び下部の輪郭に対応すべき曲線であり、これらはメイク用情報７２０内のアイライン画像に含まれている。

ＣＰＵ７０は「アイライン」について以下の事前処理を実行しておく。なお以下の処理は目の領域及の特定に失敗している場合は実行されない。具体的にはＣＰＵ７０は、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、各器官領域に基づいて、各人物の顔の目領域付近に重畳させるアイライン画像の拡縮、傾きの変更等をしておく事前処理を行なう。図２４は、「アイライン」用の事前処理の手順の一例を示すフローチャートである。

ＣＰＵ７０は、複数の画像データから１つの画像データを選択し（ステップＳ１１０１）、選択中の画像データにて抽出されている１又は複数の人物被写体領域の内の顔領域の中から１つの顔領域を選択する（ステップＳ１１０２）。ＣＰＵ７０は選択した顔領域にて特定されている目の領域の輪郭を特定する（ステップＳ１１０３）。また、ＣＰＵ７０は、目の領域の輪郭に基づいて、目頭及び目尻の位置を特定し（ステップＳ１１０４）、目頭及び目尻間を結ぶ線分の画像の画素の配列方向に対する角度を特定する（ステップＳ１１０５）。ＣＰＵ７０は、目の上瞼領域のマスク画像を作成してもよい。

ＣＰＵ７０は、メイク用情報７２０中の複数種類のアイライン画像の内の１つを選択し（ステップＳ１１０６）、選択したアイライン画像の上部又は下部の輪郭の目頭（ｓ）又は目尻（ｅ）をステップＳ１１０４で特定した目頭又は目尻の位置に一致させて（ステップＳ１１０７）、選択したアイライン画像の上部又は下部の輪郭の目頭（ｓ）又は目尻（ｅ）を結ぶ線分の角度を、ステップＳ１１０５で特定した角度と一致させる（ステップＳ１１０８）。ＣＰＵ７０は、アイライン画像の上部又は下部の輪郭の目頭（ｓ）又は目尻（ｅ）を結ぶ線分と、ステップＳ１１０４で特定した目頭及び目尻間を結ぶ線分とが一致するように、選択したアイライン画像を拡縮する（ステップＳ１１０９）。ＣＰＵ７０は、拡縮後のアイライン画像を微小な間隔で角度を変えて前記線分を軸として図面上の手前又は奥へ向けて三次元的に回転させたものを画像上に射影させる編集を、グラフィックボード７３を利用して行ない（ステップＳ１１１０）。異なる角度で回転させた複数のアイライン画像の内、上部又は下部の曲線と、ステップＳ１１０３で特定した目の領域の輪郭との差分が最も少ないアイライン画像を選択し（ステップＳ１１１１）、選択した拡縮及び回転後のアイライン画像から、上部又は下部の輪郭に対応する曲線を消去し（ステップＳ１１１２）、消去後のアイライン画像を重畳用のアイライン画像として選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ１１１３）。右目及び左目の双方に対して上述の処理を行なう。また、ステップＳ１１０３にて特定されたいずれかの目領域が、ウィンクなどによって領域ではなく線分のみである場合、アイライン画像の上部の輪郭を、曲線側が目頭又は目尻よりも下方となるまで回転させて、差分が最も少ないアイライン画像を選択するとよい。

ＣＰＵ７０は、ステップＳ１１１３で記憶した拡縮及び回転後の重畳用のアイライン画像の色の濃淡又は透明度を予め記憶してある複数の段階で変更し、複数の段階の重畳用のアイライン画像を区別して記憶する（ステップＳ１１１４）。

次にＣＰＵ７０は、全てのアイライン画像を選択したか否かを判断する（ステップＳ１１１５）。未選択のアイライン画像が存在すると判断された場合（Ｓ１１１５：ＮＯ）、ＣＰＵ７０は処理をステップＳ１１０６へ戻す。

ＣＰＵ７０は、全てのアイライン画像を選択したと判断した場合（Ｓ１１１５：ＹＥＳ）、画像データ中の全ての顔領域を選択したか否かを判断する（ステップＳ１１１６）。ＣＰＵ７０は、未選択の顔領域が存在すると判断した場合（Ｓ１１１６：ＮＯ）、処理をステップＳ１１０２へ戻す。ＣＰＵ７０はステップＳ１１１６で全ての顔領域を選択したと判断した場合（Ｓ１１１６：ＹＥＳ）、撮影回数分の全画像データを選択したか否かを判断し（ステップＳ１１１７）、未選択の画像データが存在すると判断した場合（Ｓ１１１７：ＮＯ）、処理をステップＳ１１０１へ戻す。ＣＰＵ７０は、全画像データを選択したと判断した場合（Ｓ１１１７：ＹＥＳ）、「アイライン」用の事前処理を終了する。

図２５は、重畳用のアイライン画像を作成する過程を説明する説明図である。図２５中（Ａ）は、太線で示されている特定された目の領域の輪郭に基づき、特定された輪郭中の目頭（Ｓ）及び目尻（Ｅ）を結ぶ線分の角度に、アイライン画像の上部の輪郭の目頭（ｓ）及び目尻（ｅ）を結ぶ線分の角度を一致させた際のアイライン画像（Ｓ１１０７、Ｓ１１０８）を示している。図２５中（Ｂ）は、特定された目の輪郭中の目頭（Ｓ）及び目尻（Ｅ）を結ぶ線分の長さと、アイライン画像の上部の輪郭の目頭（ｓ）及び目尻（ｅ）を結ぶ線分の長さとを一致させるように、アイライン画像を拡大させた際のアイライン画像（Ｓ１１０９）を示している。図２５中（Ｃ）は、（Ｂ）の拡大後に、微小な間隔で角度を変えて前記線分を軸として回転させた（Ｓ１１１０）アイライン画像を示している。（Ｃ）に示されているアイライン画像の内、中央の矩形で囲まれたアイライン画像が、上部又は下部の輪郭に対応する曲線と、特定された目の領域の輪郭との差分が最も少ないとして選択されている。図２５中（Ｄ）は、選択された拡大回転後のアイライン画像から、上部又は下部の輪郭に対応する曲線を消去して得られるアイライン画像を示している（Ｓ１１１２）。なお、図２５中（Ｄ）では、重畳される目の領域の輪郭を一点鎖線にて示している。

このように本実施の形態では、目の領域の位置、大きさ、目尻若しくは目頭の位置に基づいて、アイライン画像の重畳位置、大きさ、角度が自動的に決定される。また、アイライン画像は装飾物の画像も含み、これらの装飾物の画像についても目の領域の位置、大きさ、目尻若しくは目頭の位置に基づいて、目尻から横へかけての領域の下方若しくは上方、又は目の下全体等、装飾の画像の重畳位置、大きさ、角度が決定される。

次に、落書き用操作画面でユーザが操作している間の「アイライン」についてのリアルタイム処理についてフローチャートで説明する。図２６は、「ＭＡＫＥ」の操作の受け付け中における「アイライン」処理に係る処理手順の一例を示すフローチャートである。図２６のフローチャートに示す処理は、図８のフローチャートのステップＳ４１２の詳細に対応する。なお、図２６のフローチャートに示す各処理は、図１６のフローチャートの「チーク」に係る処理手順における「チーク」を「アイライン」に置換したものと同様であるので、対応するステップ番号を付して各ステップの詳細な説明は省略する。

なおアイライン画像を自動的に重畳させた場合の調整用画面によって濃淡又は色味を複数段階で変更することが可能であるが、アイラインに係る処理においては、濃淡又は色味の変更を受け付けない構成としてもよい。この場合、図２４のフローチャートに示した事前処理の内、ステップＳ１１１４については省略してもよい。また、アイライン画像の手動操作を受け付ける場合の調整用画面には、回転角度を調整するための回転ボタン、左右に反転させるための反転ボタン、湾曲具合の強弱を変更して瞼に沿わすためのボタン、重畳させたアイライン画像の大小を調整するスライダーコントロール、及びＯＫボタンが含まれている。

また、アイラインについても手動操作に基づいて重畳されるアイライン画像と、自動的に重畳されるアイライン画像とが別のレイヤー上に描画されて別個に記憶されるため、重ね付けが可能である。なお、手動ボタン７５２が選択された場合に、自動描画用のレイヤーにおけるアイライン画像を非表示とし、手動操作にて受け付けたアイライン画像のみを表示し、逆に、自動ボタンが選択された場合に、手動描画用のレイヤーにおけるアイライン画像を非表示とするようにしていずれか一方に切り替えるようにしてもよい。

消しゴム選択ボタン７５４についても「リップ」同様に、ＣＰＵ７０は、消しゴム選択ボタン７５４が選択された後のタッチペン３１ａの軌跡を記憶し、アイラインの自動描画用のレイヤーにおける重畳用のアイライン画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）とする。同様に、手動モードにおける消しゴム選択ボタンが選択された場合は同様の処理を、手動描画用のレイヤーに対して行なえばよい。

このようにアイラインのメイクについて、濃淡又は色味を複数段階で変更して作成されているアイライン画像の差し替えにより、スライダーコントロールのつまみの位置に応じて濃淡又は色味が連続的に変化する。ユーザはメイク対象の顔領域が表示されているプレビュー表示部３０１（３０２）内でプレビュー画像を確認しながら、好みの濃淡又は色味のアイラインを選択することができる。

＜５．「つけまつげ」について＞
「つけまつげ」について画面例を参照して説明する。「つけまつげ」は目につけまつげを装着させたような画像処理を行なう機能である。「つけまつげ」の機能では「アイライン」同様、上瞼又は下瞼の曲線を自動的に特定してつけまつげを施す自動モードと、ユーザが手動操作によってつけまつげ画像を配置する手動モードとがあり、いずれか選択できる。なお、目の領域、上瞼又は下瞼の特定に成功している場合、初期的には自動モードが選択される。目の領域の特定に失敗している場合、手動モードのみで以下に示す処理が実行される。図２７は、「つけまつげ」が選択されている場合のメイクパレット３１０の内容例を示す説明図である。図２７には、自動モードのときのキャンバス部１０７の内容例が示されている。「つけまつげ」が選択されている場合、自動モードにおけるキャンバス部１０７には複数種類のつけまつげに夫々対応したつけまつげ選択アイコン７６１、「つけまつげ」のメイク操作を手動で受け付ける手動ボタン７６２、「つけまつげ」メイクを消去するＯＦＦボタン７６３、及び一部を消去する消しゴム選択ボタン７６４が配置される。「つけまつげ」が選択されている場合の手動モードにおけるメイクパレット３１０の画面例については「チーク」における例（図６）と同様であるから説明を省略する。

画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図２７のキャンバス部１０７のつけまつげ選択アイコン７６１の画像に対応する複数種類のつけまつげ画像を含む。つけまつげ画像は、ブラウン系、ブラック系で描画された複数種類の形状のつけまつげ画像を含む。図２８は、予め記憶されているつけまつげ画像の内容例を示す説明図である。図２８には、毛束感、毛の長さ若しくは密度、毛の流れ方、又は毛の色が各々異なる複数のつけまつげ画像、上下両方用のつけまつげ画像が示されている。図２５に示すつけまつげ画像は、アイライン画像同様に、破線で示される曲線によって顔認識技術によって認識される目の輪郭の内、目頭（ｓ）から目尻（ｅ）までを上部の輪郭、及び下部の輪郭に対応すべき曲線（破線）を含む。

なおＣＰＵ７０は、図２８に示した複数種類のつけまつげ画像に対し、複数段階のつけまつげ画像を作成する事前処理を実行しておき、事前処理の結果をＨＤＤ７２に記憶しておく。なお以下の処理は目の領域及の特定に失敗している場合は実行されない。図２９は、複数段階のつけまつげ画像を作成する処理手順の一例を示すフローチャートである。

ＣＰＵ７０は、複数種類のつけまつげ画像から１つを選択する（ステップＳ２００１）。ＣＰＵ７０は、選択したつけまつげ画像に対しグラフィックボード７３を利用して距離変換を実行し、距離変換マスク画像を取得する（ステップＳ２００２）。

ステップＳ２００２の距離変換処理により、つけまつげ画像の画像内の各画素における背景画像からの距離、即ち輪郭からの距離が求められる。具体的にはグラフィックボード７３により、モノクロームのつけまつげ画像は距離変換マスク画像に変換されて出力される。距離変換マスク画像は、輪郭からの距離が短い画素ほどα値（透明度）が最小値（０）に近く、輪郭からの距離が遠い画素ほどα値が最大値（２５５）に近くなる。図３０は、距離変換マスク画像の内容例を模式的に示す説明図である。図３０に示す内容例では、つけまつげ画像の距離変換マスク画像の一部を拡大して示している。距離変換マスク画像は、図３０中の太線で示される輪郭からの距離が等しい画素が同様のα値で描画されるため、図３０に示す如く、輪郭からの距離が等しい画素群の境界線が等高線のように区別できている。後述の処理では、つけまつげ画像を外側から図３０に示す境界線に沿うように順に削り取るようにしてつけまつげのボリュームを複数段階に変化させたつけまつげ画像がＨＤＤ７２に記憶される。

図２９のフローチャートに戻り説明を続ける。
ＣＰＵ７０は、所定のつけまつげのボリューム変更の段階数を記憶してあるＨＤＤ７２から読み出し（ステップＳ２００３）、後続の演算用変数である比率Ｒの初期値と、段階数に応じた比率Ｒの減算値とを決定する（ステップＳ２００４）。つけまつげの距離変換マスク画像内の１つの画素について、画素値（α値）と比率Ｒとの乗算値に基づき、透明率を算出する（ステップＳ２００５）。ステップＳ２００５にてＣＰＵ７０は、画素値と比率Ｒとを乗算して得られた値を画素値の最大値（２５５）に対する比率（０．０〜１．０）に変換する。ＣＰＵ７０は、算出した透明率で画素を描画し（ステップＳ２００６）、選択中のつけまつげ画像の全画素についてステップＳ２００５及びＳ２００６の処理を実行したか否かを判断し（ステップＳ２００７）、全画素について処理を実行していないと判断した場合（Ｓ２００７：ＮＯ）、処理をステップＳ２００５へ戻して処理を実行する。

ステップＳ２００７にて全画素について処理を実行したと判断した場合（Ｓ２００７：ＹＥＳ）、描画された各画素からなる重畳用のつけまつげ画像を、現段階を識別する情報と共にＨＤＤ７２に記憶する（ステップＳ２００８）。

次にＣＰＵ７０は、比率Ｒが最小値であるか否か判断し（ステップＳ２００９）、最小値でないと判断した場合（Ｓ２００９：ＮＯ）、減算値分だけ減少させ（ステップＳ２０１０）、処理をステップＳ２００５へ戻す。ステップＳ２００９にて最小値であると判断された場合（Ｓ２００９：ＹＥＳ）、ＣＰＵ７０は全種類のつけまつげ画像について処理を実行したか否か判断し（ステップＳ２０１１）、全種類について処理を実行していないと判断された場合（Ｓ２０１１：ＮＯ）、ＣＰＵ７０は処理をステップＳ２００１へ戻してＨＤＤ７２のメイク用情報７２０から他のつけまつげ画像についての処理を実行する。

ステップＳ２０１１にて全種類のつけまつげ画像について処理を実行したと判断した場合（Ｓ２０１１：ＹＥＳ）、複数段階のつけまつげ画像を作成する事前処理を終了する。

ステップＳ２００５及びＳ２００６の処理は、例えば比率Ｒが初期値の場合は、α値がｎまでの部分は削られて非表示になり、初期値から複数段階減算されて比率Ｒ＜初期値となった場合はα値がｍ（ｍ＞ｎ）までの部分が削られて非表示になる。つまり比率Ｒが小さくなるほど、輪郭からの距離が遠い部分まで削られる。例えば、０〜２５５までのα値に対し、比率Ｒが６．０〜１．０まで変化する場合、比率Ｒが初期値６．０の場合にはα値が０〜４２の外側部分が削られる（「４２」は、比率Ｒ（＝６．０）を乗算した場合に２５５を超えない最大数）。比率Ｒが２．０の場合にはα値が０〜１２７（比率Ｒ（＝２．０）を乗算した場合に２５５を超えない最大数）の外側部分が削られ、比率Ｒ＝６．０の場合よりも処理後のつけまつげ画像のボリュームは少なくなる。削られ方は、外側部分をグラデーションで透明にするので、処理後も自然なつけまつげ画像となる。このようにつけまつげの画像に予め距離変換処理を実行し、距離別に外縁部を消去したつけまつげの画像を記憶しておくことにより、ボリューム感が複数段階に異なる自然なつけまつげの画像を作成することが可能となる。

更にＣＰＵ７０は、アイライン同様に、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、各器官領域特に目の領域に基づいて、各人物の顔の目領域付近に重畳させるつけまつげ画像の拡縮、傾きの変更等をしておく事前処理を行なう。図３１は、「つけまつげ」用の事前処理の手順の一例を示すフローチャートである。図３１のフローチャートに示す処理手順は大部分が、図２４のフローチャートに示した「アイライン」に係る事前処理の手順における「アイライン」を「つけまつげ」に置換したものである。ステップＳ１３１４において、決定した位置、角度、大きさに基づいて描画した重畳用のつけまつげ画像を、複数の段階で変更するに際し、「つけまつげ」に係る処理では、図２９のフローチャートに示した処理によって作成した複数段階のつけまつげ画像で描画することで変更する。他の処理手順は、図２４のフローチャートにおける各ステップの「アイライン」を「つけまつげ」に置換したものであるから、対応するステップ番号を付して各ステップの詳細な説明は省略する。このように本実施の形態では目の領域の位置、大きさ、目尻若しくは目頭の位置に基づいて、つけまつげの重畳位置、大きさ、角度が決定される。

次に、落書き用操作画面でユーザが操作している間の「つけまつげ」についてのリアルタイム処理についてフローチャートで説明する。図３２は、「ＭＡＫＥ」の操作の受け付け中における「つけまつげ」処理に係る処理手順の一例を示すフローチャートである。図３２のフローチャートに示す処理は、図８のフローチャートのステップＳ４１４の詳細に対応する。なお、図３２のフローチャートに示す各処理は、図１６のフローチャートの「チーク」に係る処理手順における「チーク」を「つけまつげ」に置換したものと同様であるので、対応するステップ番号を付して各ステップの詳細な説明は省略する。

つけまつげ画像を自動的に重畳させた場合の調整用画面によってボリュームを複数段階で変更することが可能である。また、つけまつげ画像の手動モードの場合の調整用画面には、回転角度を調整するための回転ボタン、左右に反転させるための反転ボタン、湾曲具合の強弱を変更して瞼に沿わすためのボタン、重畳させたアイライン画像の大小を調整するスライダーコントロール、更にボリューム感を変更するスライダーコントロール及びＯＫボタンが含まれている。

つけまつげについても手動モードの場合に重畳されるつけまつげ画像と、自動モードで重畳されるつけまつげ画像とが別のレイヤー上に描画されて別個に記憶されるため、重ね付けが可能である。なお、手動ボタン７６２が選択された場合に、自動描画用のレイヤーにおけるつけまつげ画像を非表示とし、手動操作にて受け付けたつけまつげ画像のみを表示し、逆に、自動ボタンが選択された場合に、手動描画用のレイヤーにおけるつけまつげ画像を非表示とするようにしていずれか一方に切り替えるようにしてもよい。

消しゴム選択ボタン７６４についても「リップ」同様に、ＣＰＵ７０は、消しゴム選択ボタン７６４が選択された後のタッチペン３１ａの軌跡を記憶し、つけまつげの自動描画用のレイヤーにおける重畳用のつけまつげ画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）とする。同様に、手動モードにおける消しゴム選択ボタンが選択された場合は同様の処理を、手動描画用のレイヤーに対して行なえばよい。

このように、「つけまつげ」についてもメイク対象の顔領域に自動的に配置されて重畳表示されると共に調整用画面３０６が表示され、図２９のフローチャートで示したようにボリューム感を複数段階で変更して作成されてあるつけまつげ画像の差し替えにより、スライダーコントロールのつまみの位置に応じてつけまつげのボリュームが連続的に変化する。ユーザはメイク対象の顔領域が表示されているプレビュー表示部３０１（３０２）内でプレビュー画像を確認しながら、好みのボリュームのつけまつげを選択することができる。

＜６．「ヘアカラー」について＞
「ヘアカラー」について画面例を参照して説明する。「ヘアカラー」は髪色を変更させたような画像を得る画像処理を行なう機能である。「ヘアカラー」の機能ではユーザの手動操作によって髪色を変化させる処理を行なう手動モードのみが存在する。図３３は、「ヘアカラー」が選択されている場合のメイクパレット３１０の表示例を示す説明図である。図３３には、手動モードにおけるキャンバス部１０７の内容例が示されている。「ヘアカラー」が選択されている場合のキャンバス部１０７には複数種類のヘアカラーに対応したヘアカラー選択アイコン７７１と、「ヘアカラー」のメイクを消去するＯＦＦボタン７７３、一部を消去する消しゴム選択ボタン７７４が配置される。

画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図３３のキャンバス部１０７に示されている画像に対応するヘアカラー用の色、テクスチャ及びグラデーションパターンを識別するヘアカラーパターン情報を複数種類含む。複数種類のヘアカラーパターン情報は例えば、ブラック、ブラウン、ブロンド、ピンク、オレンジ、ブルー、パープルなどの髪色の情報、頭頂部と毛先部とで色味又は濃淡を変化させるグラデーションパターンの情報が含まれる。グラデーションパターンの情報は例えば、混合される複数の色の情報と、色を変化させる位置、各色の透明度等の情報を含む。

本実施の形態では、「ヘアカラー」については１〜５の他の種類のメイクのような自動モードは実現しない。図３４は、「ＭＡＫＥ」の操作の受け付け中における「ヘアカラー」処理に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４１６の詳細に対応する。

ＣＰＵ７０は、ヘアカラー選択アイコン７７１が選択されたか否かを判断する（ステップＳ１６０１）。ＣＰＵ７０は、ヘアカラー選択アイコン７７１が選択されたと判断した場合（Ｓ１６０１：ＹＥＳ）、選択されたヘアカラー選択アイコン７７１に対応するヘアカラーパターン情報を識別する（ステップＳ１６０２）。

ＣＰＵ７０は、ステップＳ１６０２で識別したヘアカラーパターン情報に基づき、描画ブラシの線種、色及び太さを決定し（ステップＳ１６０３）、タッチペン３１ａのプレビュー表示部３０１への接触を検知し（ステップＳ１６０４）、決定した線種、色及び太さの描画ブラシで接触箇所を描画する（ステップＳ１６０５）。なおステップＳ１６０５における描画は、接触箇所に対応する画素のぼかし又は輝度を上昇させるなどのフィルター処理に代替又はフィルター処理と組み合わされてもよく、ヘアカラー用の手動描画用のレイヤーにて描画される。このときステップＳ１６０２にてグラデーションパターンが識別されている場合、ＣＰＵ７０は、トリミング範囲内における接触箇所の位置（中央、上部、又は下部等）に応じて、グラデーションパターンに含まれる色又は透明度で描画する。

ＣＰＵ７０は、ステップＳ１６０５で描画されて表示中のヘアカラー画像を確定させ、表示中の画像に対応する画像データに対応付けて記憶し（ステップＳ１６０６）、他のボタン又はタブ等が選択されたか否かを判断し（ステップＳ１６０７）、選択されていないと判断した場合（Ｓ１６０７：ＮＯ）、処理をステップＳ１６０４へ戻し、他のボタン又はタブ等が選択されるまで描画を続行する。

ステップＳ１６０７にて他のボタン又はタブ等が選択されたと判断した場合（Ｓ１６０７：ＹＥＳ）、ＯＦＦボタン７７３が選択されたか否かを判断する（ステップＳ１６０８）。ＣＰＵ７０は、ＯＦＦボタン７７３が選択されたと判断した場合（Ｓ１６０８：ＹＥＳ）、描画されて表示中のヘアカラー画像を非表示として確定を解除し（ステップＳ１６０９）、「ヘアカラー」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

ＣＰＵ７０は、ステップＳ１６０１にてヘアカラー選択アイコン７７１が選択されていないと判断した場合（Ｓ１６０１：ＮＯ）、処理をステップＳ１６０８へ進める。

ＣＰＵ７０は、ＯＦＦボタン７７３が選択されていないと判断した場合（Ｓ１６０８：ＮＯ）、そのまま「ヘアカラー」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

なお消しゴム選択ボタン７７４については、ＣＰＵ７０は、消しゴム選択ボタン７７４が選択された後のタッチペン３１ａの軌跡を記憶し、ヘアカラー用の手動描画用のレイヤーにおけるヘアカラー画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）とする。

図３５は、「ヘアカラー」のグラデーションパターンでの描画例を模式的に示す説明図である。図３５では、ヘアカラー選択アイコン７７１でグラデーションパターンが選択されて描画中にプレビュー表示部３０１に表示される画像の例を示している。図３５では、頭頂部と毛先部との間で連続的に色が変化するようなパターンでヘアカラー画像が描画されている。これにより、毛先（又は根元）が明るめとなるようにカラーリングしたようなヘアカラー画像が表示される。

なお「ヘアカラー」についても１又は複数の顔領域に基づき、ＣＰＵ７０が各顔領域に対応する髪範囲を精度よく特定できる場合は、自動モードを選択可能としてもよい。自動モードではＣＰＵ７０は、ヘアカラー選択アイコン７７１に対応するヘアカラーパターンにて重畳用のヘアカラー画像の位置、大きさ、角度等を事前に決定しておき、選択されたヘアカラー選択アイコン７７１に対応する重畳用のヘアカラー画像を重畳させる。また、髪範囲を特定することが困難な場合、ユーザの手動操作により、図３５中の太線枠のように、矩形等で髪範囲の指定を受け付け、指定された髪範囲における中央、上部、又は下部等でグラデーションを変化させ、毛先と根元とでグラデーションとなるような髪色に変化させる処理を施してもよい。

＜７．「ワンタッチ」について＞
「ワンタッチ」について画面例を参照して説明する。「ワンタッチ」の機能では顔領域、並びに唇、頬、目、及び虹彩等の各器官の領域を自動的に特定して化粧を施す自動モードのみが存在する。顔領域及び各器官の領域の特定に失敗した場合は、「ワンタッチ」機能は無効としてもよい。図３６は、「ワンタッチ」が選択されている場合のメイクパレット３１０の表示例を示す説明図である。図３３には、メイク選択部１０２で「ワンタッチ」が選択された場合に表示されているキャンバス部１０７の内容例が示されている。「ワンタッチ」が選択されている場合、キャンバス部１０７には複数のテーマに夫々対応したテーマ選択アイコン７１１及びメイクを消去するＯＦＦボタン７１３が配置される。

「ワンタッチ」は、１．〜５．で説明した「ヘアカラー」以外の５つのメイクを全て自動で施した画像が得られる機能である。画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０の内の、リップパターン情報、チーク用画像、カラコン画像、アイライン画像、及びつけまつげ画像から１つずつが、テーマ選択アイコン７１１に対応する複数のテーマ毎に予め対応付けてメモリ７１又はＨＤＤ７２に記憶されている。メイク選択部１０２で「ワンタッチ」が選択されている場合ＣＰＵ７０は、選択されたテーマに対応するメイク用情報７２０を用いて自動的に、メイク対象の顔領域に合わせて位置を決定し、変形して顔領域に重畳させて表示する。ＣＰＵ７０は、１．〜５．で説明した「ヘアカラー」以外の５つのメイクについての事前処理を行なっておく。そして、各テーマに応じて、複数段階で処理されている画像から所定の段階の画像が識別して記憶してあるとよい。例えば、図３６に示すようにテーマが「ＣＵＴＥ」、「ＮＡＴＵＲＡＬ」及び「ＣＯＯＬ」である場合、「ＣＵＴＥ」のテーマにはピンク色の光沢感が強い段階で処理された唇画像、ピンク色の円形のチーク用画像、薄い色の重畳用のカラコン画像、ブラウン系のアイライン画像、毛束が全体的に増量されているつけまつげ画像の内の中央段階の重畳用のつけまつげ画像等が対応付けられる。

落書き用操作画面でユーザが操作している間の「ワンタッチ」についてのリアルタイム処理について説明する。図３７は、「ＭＡＫＥ」の操作の受け付け中における「ワンタッチ」に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４０３の詳細に対応する。

ＣＰＵ７０は、テーマ選択アイコン７１１が選択されたか否かを判断する（ステップＳ１７０１）。ＣＰＵ７０は、テーマ選択アイコン７１１が選択されたと判断した場合（Ｓ１７０１：ＹＥＳ）、選択されたテーマ選択アイコン７１１に対応するテーマに対応するメイク用情報７２０に基づいて事前処理された重畳用の画像を抽出し（ステップＳ１７０２）、各画像を重畳させて表示し（ステップＳ１７０３）、表示中である各重畳用のメイク用の画像を確定させて記憶し（ステップＳ１７０４）、「ワンタッチ」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

ＣＰＵ７０は、テーマ選択アイコン７１１が選択されていないと判断した場合（Ｓ１７０１：ＮＯ）、ＯＦＦボタン７１３が選択されたか否かを判断する（ステップＳ１７０５）。ＣＰＵ７０はＯＦＦボタン７１３が選択されたと判断した場合（Ｓ１７０５：ＹＥＳ）、表示している各重畳用の画像を非表示として確定を解除し（ステップＳ１７０６）、「ワンタッチ」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

ＣＰＵ７０は、ＯＦＦボタン７１３が選択されていないと判断した場合（Ｓ１７０５：ＮＯ）、そのまま「ワンタッチ」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。

このような処理により、「ワンタッチ」機能ではユーザはテーマを選択するだけで自身の顔領域上にメイク用情報７２０に基づくメイクの素材画像が変形されて適切な位置に重畳表示された画像を得ることができる。メイクに不慣れなユーザであっても容易にメイク操作を行なうことができる。なお「ワンタッチ」機能で変形されて配置された各種類のメイクの素材画像は、メイク選択部１０２で「チーク」、「カラコン」、「アイライン」又は「つけまつげ」を選択する操作がされた場合に以後、個別に別の画像に変更することができるようにしてもよい。

上述した処理手順により、顔の中で特定される顔領域に含まれる各器官の領域の位置等を基準として化粧用素材の画像の位置、大きさ、又は角度を決定し、更に変形を行なうことにより、アイライン画像、つけまつげ画像のような予め記憶してある化粧用の素材の画像を重畳させてもスタンプ画像のように明らかに重畳されていることがわかるような画像ではなく、ユーザ自身が自然に写っていて、プロによってメイクを施されたファッションモデル又はアーティストを撮影したような画像の出力を実現できる。

なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

以上の実施の形態に関し更に、以下の付記を開示する。

（付記１）
マトリクス状に配列した複数の画素からなる画像を取得する手段と、取得された画像に撮影されている人物の顔及び該顔内の器官の領域を特定する特定手段とを備え、予め記憶されている化粧用画像を前記特定手段により特定された領域に重畳させる画像処理装置において、前記特定手段が特定した領域に基づき、該特定した領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定する決定手段と、該決定手段が決定した大きさ又は角度に基づき、前記特定した領域に対応する化粧用画像の一部又は全部を拡縮又は回転して変形する変形手段と、前記決定手段が決定した位置に基づき、前記特定手段により特定された領域上に前記変形手段で変形された前記化粧用画像を重畳させる重畳手段とを備えることを特徴とする画像処理装置。

（付記２）
前記化粧用画像はつけまつげの画像を含み、前記決定手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置に基づき、前記つけまつげの画像の位置、大きさ、又は角度を決定し、前記変形手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置、又は、目尻及び目頭間を結ぶ線分の前記複数の画素の配列方向に対する角度に基づき、前記つけまつげの画像の一部を拡縮又は回転するようにしてあることを特徴とする付記１に記載の画像処理装置。

（付記３）
前記化粧用画像はつけまつげの画像を含み、前記段階別画像記憶手段は、前記つけまつげの画像の輪郭からの距離別に、該距離内の前記つけまつげの画像の外縁部を消去する距離変換処理を実行する手段を備え、距離別に、外縁部を消去した後のつけまつげの画像を記憶するようにしてあることを特徴とする付記１に記載の画像処理装置。

（付記４）
前記化粧用画像はアイラインの画像を含み、前記決定手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置に基づき、前記アイラインの画像の位置、大きさ、又は角度を決定し、前記変形手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置、又は、目尻及び目頭間を結ぶ線分の前記複数の画素の配列方向に対する角度に基づき、前記アイラインの画像の一部を拡縮又は回転するようにしてあることを特徴とする付記１に記載の画像処理装置。

（付記５）
前記化粧用画像は光輝を放つ装飾の画像を含み、前記決定手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置に基づき、前記装飾の画像の位置、大きさ、及び角度を決定し、前記変形手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置、又は、目尻及び目頭間を結ぶ線分の前記複数の画素の配列方向に対する角度に基づき、前記装飾の画像の一部を拡縮又は回転するようにしてあることを特徴とする付記１に記載の画像処理装置。

（付記６）
前記化粧用画像は頬紅の画像を含み、前記決定手段は、前記特定手段が特定した顔領域の位置及び大きさ、前記複数の画素の配列方向に対する角度に基づき、前記頬紅の画像の位置、大きさ及び角度を決定し、前記変形手段は、前記特定手段が特定した顔領域の位置及び大きさに基づき、前記頬紅の画像の一部を拡縮し、前記顔領域内に収まるように一部を削除するようにしてあることを特徴とする付記１に記載の画像処理装置。

７ 画像処理部
７０ ＣＰＵ（コンピュータ、重畳手段）
７１ メモリ（記憶装置）
７２ ＨＤＤ（記憶装置）
７２０ メイク用情報（化粧用画像）
７Ｐ 画像処理プログラム
３０ａ，３０ｂ ディスプレイ（表示手段）
３０１，３０２ プレビュー表示部（表示手段）
３０５ 調整用画面（選択手段）
３０８ 調整用画面（受付手段）

本発明に係る画像処理装置は、マトリクス状に配列した複数の画素からなる画像を取得する手段と、取得された画像に撮影されている人物の顔及び該顔内の器官の領域を特定する特定手段とを備え、予め記憶されている化粧用画像を前記特定手段により特定された領域に重畳させる画像処理装置において、前記画像に写っている人物が複数である場合、前記化粧用画像の重畳対象として画像内で特定された複数の人物の顔の領域の内の１つを個別に選択するか、前記複数の人物の顔の領域全てとするかの選択を受け付ける個別／全部選択手段と、該個別／全部選択手段にて受け付けた選択に応じて１又は複数の顔領域に対し、前記特定手段が特定した領域に基づき、該特定した領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定する決定手段と、該決定手段が決定した大きさ又は角度に基づき、前記特定した領域に対応する化粧用画像の一部又は全部を拡縮又は回転して変形する変形手段と、前記決定手段が決定した位置に基づき、前記特定手段により特定された領域上に前記変形手段で変形された化粧用画像を重畳させる重畳手段とを備えることを特徴とする。
また本発明に係る画像処理装置は、前記重畳手段により前記化粧用画像が重畳された後、前記画像に対して前記個別／選択手段にて再度選択を受け付け、該個別／選択手段にて異なる選択を受け付けた場合、該異なる選択に応じて１又は複数の領域に対し、前記重畳手段により化粧用画像を再重畳させることを特徴とする。

本発明に係る画像処理方法は、マトリクス状に配列した複数の画素からなる画像を取得し、取得した画像に撮影されている人物の顔及び該顔内の器官の領域を特定し、予め記憶されている化粧用画像を特定された領域に重畳させる画像処理方法において、前記画像に写っている人物が複数である場合、前記化粧用画像の重畳対象として画像内で特定された複数の人物の顔の領域の内の１つを個別に選択するか、前記複数の人物の顔の領域全てとするかの選択を受け付ける個別／全部選択ステップ、受け付けられた選択に応じた１又は複数の顔領域中における特定された領域に基づき、該特定された領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定するステップ、決定された大きさ又は角度に基づき、前記特定された領域に対応する化粧用画像の一部又は全部を拡縮又は回転するステップ、及び決定された位置に基づき、前記特定された領域上に拡縮又は回転された前記化粧用画像を重畳させるステップを含むことを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、マトリクス状に配列した複数の画素からなる画像を取得させ、取得された画像に撮影されている人物の顔及び該顔内の器官の領域を特定させ、予め記憶されている化粧用画像を特定された領域に重畳させるコンピュータプログラムにおいて、前記コンピュータに、前記画像に写っている人物が複数である場合、前記化粧用画像の重畳対象として画像内で特定された複数の人物の顔の領域の内の１つを個別に選択するか、前記複数の人物の顔の領域全てとするかの選択を受け付ける個別／全部選択ステップ、受け付けられた選択に応じた１又は複数の顔領域における特定された領域に基づき、該特定された領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定するステップ、決定された大きさ又は角度に基づき、前記特定された領域に対応する化粧用画像の一部又は全部を拡縮又は回転するステップ、及び決定された位置に基づき、前記特定された領域上に拡縮又は回転された前記化粧用画像を重畳させるステップを実行させることを特徴とする。

Claims (9)

1. マトリクス状に配列した複数の画素からなる画像を取得する手段と、取得された画像に撮影されている人物の顔及び該顔内の器官の領域を特定する特定手段とを備え、予め記憶されている化粧用画像を前記特定手段により特定された領域に重畳させる画像処理装置において、
   前記特定手段が特定した領域に基づき、該特定した領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定する決定手段と、
   該決定手段が決定した大きさ又は角度に基づき、前記特定した領域に対応する化粧用画像の一部又は全部を拡縮又は回転して変形する変形手段と、
   前記決定手段が決定した位置に基づき、前記特定手段により特定された領域上に前記変形手段で変形された化粧用画像を重畳させる重畳手段と
   を備えることを特徴とする画像処理装置。
2. 前記予め記憶されている化粧用画像は、化粧の種類に対応付けられており、
   前記重畳手段により重畳される化粧用画像の元の化粧用画像、又は元の化粧用画像と同一の化粧の種類に対応付ける他の化粧用画像を別途配置する前記画像上の位置、大きさ、又は角度を受け付ける受付手段と、
   前記元の化粧用画像又は前記他の化粧用画像の一部又は全部を前記受付手段が受け付けた大きさ又は角度に基づいて拡縮又は回転して変形し、変形後の化粧用画像を前記取得された画像上の前記受付手段が受け付けた位置に更に重畳させる他の重畳手段と
   を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記予め記憶されている化粧用画像は、化粧の種類に対応付けられており、
   前記記憶されている化粧用画像を配置する前記画像上の位置、大きさ、又は角度を受け付ける受付手段と、
   該受付手段が受け付けた大きさ又は角度に基づいて前記化粧用画像の一部又は全部を拡縮又は回転して変形し、変形後の化粧用画像を前記取得された画像上の前記受付手段が受け付けた位置に重畳させる他の重畳手段と、
   同一の化粧の種類に対し、前記重畳手段により重畳される化粧用画像、及び前記他の重畳手段により重畳される化粧用画像の内のいずれか一方の選択を受け付ける手段と
   を更に備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像に写っている人物が複数である場合、前記化粧用画像の重畳対象として画像内で特定された複数の人物の顔の領域の内の１つを個別に選択するか、前記複数の人物の顔の領域全てとするかの選択を受け付ける手段
   を更に備えることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 取得された画像及び重畳される画像を表示する表示手段と、
   重畳される前又は重畳された後の前記化粧用画像を、多少、透明度、濃淡、明暗、又は混色割合を複数段階に変更させ、段階順又は逆順に前記表示手段に表示させ、表示させた複数段階の前記化粧用画像から何れかの選択を受け付ける選択手段と
   を更に備えることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記化粧用画像の多少、透明度、濃淡、明暗、又は混色割合を複数段階に変更させて夫々記憶しておく段階別画像記憶手段を備え、
   前記選択手段は、記憶してある複数段階の化粧用画像を段階順又は逆順に前記段階別画像記憶手段から取得して表示する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記予め記憶されている化粧用画像は、化粧の種類と対応付けて複数の化粧用画像が識別可能に記憶されており、
   複数のテーマ別に、１又は複数の化粧用画像を記憶しておくテーマ別記憶手段と、
   前記複数のテーマの内のいずれかの選択を受け付けるテーマ選択受付手段と
   を備え、
   前記重畳手段は、前記選択されたテーマに対応する化粧用画像を変形して重畳するようにしてあること
   を特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
8. マトリクス状に配列した複数の画素からなる画像を取得し、取得した画像に撮影されている人物の顔及び該顔内の器官の領域を特定し、予め記憶されている化粧用画像を特定された領域に重畳させる画像処理方法において、
   特定された領域に基づき、該特定された領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定するステップ、
   決定された大きさ又は角度に基づき、前記特定された領域に対応する化粧用画像の一部又は全部を拡縮又は回転するステップ、及び
   決定された位置に基づき、前記特定された領域上に拡縮又は回転された前記化粧用画像を重畳させるステップ
   を含むことを特徴とする画像処理方法。
9. コンピュータに、マトリクス状に配列した複数の画素からなる画像を取得させ、取得された画像に撮影されている人物の顔及び該顔内の器官の領域を特定させ、予め記憶されている化粧用画像を特定された領域に重畳させるコンピュータプログラムにおいて、
   前記コンピュータに、
   特定された領域に基づき、該特定された領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定するステップ、
   決定された大きさ又は角度に基づき、前記特定された領域に対応する化粧用画像の一部又は全部を拡縮又は回転するステップ、及び
   決定された位置に基づき、前記特定された領域上に拡縮又は回転された前記化粧用画像を重畳させるステップ
   を実行させることを特徴とするコンピュータプログラム。

Images