JP2005092588A - 合成画像プリント装置及び画像編集方法 - Google Patents

Abstract

【課題】 実際の化粧や、タッチペンの操作に不慣れな利用者であっても、簡易な操作により、適切な領域に対して化粧処理を行うことのできる合成画像プリント装置を提供する。
【解決手段】 被写体を撮影するカメラと、撮影した被写体画像を表示する表示装置と、表示された被写体画像に対する編集操作を行う入力装置と、編集された被写体画像を写真シールに印刷して出力する出力装置とを備えた合成画像プリント装置において、前記被写体画像に対して合成する複数の化粧画像及び当該化粧画像を合成する化粧範囲を示す基本図形１２１０とを予め記憶する記憶手段と、前記被写体画像を表示した表示画面に前記入力装置が接触したことを検出し、前記入力装置の移動軌跡１２２１に応じて、前記基本図形１２１０を変形させることにより化粧範囲１２２２を設定し、当該化粧範囲１２２２に対し、任意に選択された化粧画像の合成を行う画像編集手段とを備える。
【選択図】 図１２

Description

本発明は、遊技場、遊園地などのアミューズメント施設などで利用者の全身、もしくは上半身、または顔領域を撮影・印刷する自動写真撮影装置に好適な合成画像プリント装置及び画像編集方法に関する。

従来アミューズメント装置として、利用者である被写体をデジタルカメラで撮影し、その撮影画像と利用者が選択した画像とを合成した画像をシール紙に印刷する合成画像プリント装置が一般に知られている。
このような合成画像プリント装置では背景画像と、撮影した被写体画像をクロマキー合成をしてシールとして印刷するものが主流であるが、中には撮影した被写体画像に対して編集を加えるものが知られている。例えば、被写体画像に対して、予め設定された画像処理方法に基づき、利用者による化粧入力に対応して化粧画像を合成する化粧画像処理手段を備えた構成が知られている（例えば、特許文献１参照。）
また、化粧をシミュレーションする装置として、化粧を行う範囲を指定する化粧範囲指定手段と、判定された化粧範囲に対し、指定された口紅色，パウダー色に変換する各変換手段とを備えた構成が知られている（例えば、特許文献２参照。）
特開２０００−０６９４０４号公報 特開平０６−３１９６１３号公報

前記特許文献１に記載の発明では、カラーパレット，化粧ツール（口紅，ファンデーション等の化粧道具）等について、予め設定された透明度，ラインの種類，ライン幅の３つのパラメータに基づき、利用者による入力に応じたライン描画を行うことにより、化粧画像を合成して、利用者の顔に化粧をした状態に近い画像の作成を行っている。
一方、前記特許文献２に記載の発明では、例えば、唇の特徴点と同じ位置に予めプリセットされた複数の制御点を移動して、各制御点を線形保管によって結んだ領域を化粧範囲として、利用者の指定に応じた口紅色への変更を行っている。

しかし、前記特許文献１の発明では、利用者個々の入力に応じたライン描画、具体的には、タッチペンの移動軌跡に応じたライン描画を行うものであるため、どの範囲に対して化粧画像の合成を行うかは全て利用者の技量に委ねられていた。
また、前記特許文献２の発明では、画像内範囲指定装置により化粧範囲の指定を行うこととしているが、口紅以外の化粧について、具体的にどのように範囲指定を行うかは説明されていない。この場合、特徴点に基づく範囲指定が不可能な場合（例えば、アイシャドウの化粧範囲等）については、一般的には、前記特許文献１の発明と同様の範囲指定が必要と考えられる。
従って、前記特許文献１，２の発明では、利用者が化粧処理を施す範囲を自ら判断して、タッチペンの操作を行うことが必要となり、実際の化粧が不得手な利用者や、タッチペンの操作に不慣れな利用者等にとっては、必ずしも適切な範囲について化粧処理を行うことができないという問題があった。

本発明は前記課題を解決するためのものであり、実際の化粧や、タッチペンの操作に不慣れな利用者であっても、簡易な操作により、適切な領域に対して化粧処理を行うことのできる合成画像プリント装置及び画像編集方法を提供することを目的とする。

前記課題を解決するため、本発明の合成画像プリント装置は、被写体を撮影するカメラと、撮影した被写体画像を表示する表示装置と、表示された被写体画像に対する編集操作を行う入力装置と、編集された被写体画像を写真シールに印刷して出力する出力装置とを備えた合成画像プリント装置において、前記被写体画像に対して合成する複数の化粧画像及び当該化粧画像を合成する化粧範囲を示す基本図形とを予め記憶する記憶手段と、前記被写体画像を表示した表示画面に前記入力装置が接触したことを検出し、前記入力装置の移動軌跡に応じて、前記基本図形を変形させることにより化粧範囲を設定し、当該化粧範囲に対し、任意に選択された化粧画像の合成を行う画像編集手段とを備えることを特徴とする。
また、前記入力装置が検出した移動軌跡に応じて、前記基本図形を変形させることにより化粧範囲を設定すると共に複数の化粧処理を同時に展開することを特徴とする。
また、前記画像編集手段は、前記被写体画像について化粧対象となる顔の両目及び口の位置の指定を受付け、各指定位置情報を取得して化粧対象となる顔領域を設定する顔領域設定手段と、前記各指定位置情報に基づき、任意に選択された化粧部分を特定し、当該化粧部分を拡大表示するとともに、当該化粧部分に対応する化粧画像種別を表示する化粧部分表示手段とを有することを特徴とする。
また、前記画像編集手段は、設定された前記化粧範囲に対し、任意の選択に応じて化粧範囲を変更する化粧範囲変更手段を有することを特徴とする。
また、前記画像編集手段は、設定した前記化粧範囲に対し、任意の選択に応じて変更した化粧画像を合成する化粧画像変更手段を有することを特徴とする。
また、前記化粧画像変更手段は、設定された前記化粧範囲に対し、色濃度の濃淡階調を変化させて着色した化粧画像の合成を行う手段を有することを特徴とする。
また、前記画像編集手段は、前記化粧画像の種別毎に設定され、任意に選択された各化粧画像の全部又は一部を消去する消去手段を有することを特徴とする。
また、前記画像編集手段は、各化粧画像の種別に応じて予め設定された表示順により、各化粧画像を合成して表示することを特徴とする。
また、被写体を撮影するカメラと、撮影した被写体画像を表示する表示装置と、表示された被写体画像に対する編集操作を行う入力装置と、編集された被写体画像を写真シールに印刷して出力する出力装置とを備えた合成画像プリント装置において、画像編集手段として、前記被写体画像を表示した表示画面に前記入力装置が接触したことを検出し、前記入力装置の指定した点を含む所定範囲内のＲＧＢ値に基づき算出した明るさをヒストグラム化して、修正必要箇所を特定し、当該修正必要箇所の上下左右の四方向から抽出した任意の点の肌色に基づき生成した置換色により、前記修正必要箇所の色を置き換える手段を有することを特徴とする。

また、本発明の画像編集方法は、撮影手段で撮影した被写体画像を画面に表示して、入力装置による編集操作に応じて前記被写体画像を編集編集し、前記被写体画像を写真シールに印刷する手段を備えた合成画像プリント装置における画像編集方法であって、前記被写体画像に対して合成する複数の化粧画像と当該化粧画像を合成する化粧範囲を示す基本図形とを予め記憶手段に記憶し、前記入力装置が前記被写体画像を表示した画面に接触したことを検出して、当該入力装置の移動軌跡に応じて前記基本図形を変形させることにより、化粧範囲を設定する第１のステップと、設定した化粧範囲に対し、任意に選択された化粧画像を合成する第２のステップとを備えることを特徴とする。
また、前記第２のステップにおいて、前記入力装置の移動軌跡に応じて、前記第１のステップで設定した化粧範囲に対し、種別の異なる複数の化粧画像を同時に展開することを特徴とする。
また、前記第１のステップの前処理として、前記被写体画像について化粧対象となる顔の両目及び口の位置の指定を受付け、各指定位置情報を取得して化粧対象となる顔領域を設定するステップと、前記各指定位置情報に基づき、任意に選択された化粧部分を特定し、当該化粧部分を拡大表示するとともに、当該化粧部分に対応する化粧画像種別を表示するステップとをさらに備えることを特徴とする。
また、前記第２のステップにおいて、前記第１のステップで設定した化粧範囲について、任意の選択に応じて化粧範囲を変更し、当該化粧範囲に化粧画像を合成するステップをさらに備えることを特徴とする。
また、前記第１のステップで設定した化粧範囲に対し、前記第２のステップで合成した化粧画像に替えて、任意に選択された化粧画像を合成するステップをさらに備えることを特徴とする。
また、前記第２のステップにおいて、前記第１のステップで設定した化粧範囲に対し、色濃度の濃淡階調を変化させて着色した化粧画像の合成を行うステップをさらに備えることを特徴とする。
また、予め前記化粧画像の種別毎に消去手段を設定し、前記第２のステップで合成した化粧画像について、任意に選択された消去手段に対応する種別の化粧画像の一部又は全部を消去するステップをさらに備えることを特徴とする。
また、前記第２のステップにおいて前記化粧範囲に合成した化粧画像について、化粧画像の種別毎に予め設定された表示順により、各化粧画像を合成して表示することを特徴とする。
また、撮影手段で撮影した被写体画像を画面に表示して、入力装置による編集操作に応じて前記被写体画像を編集編集し、前記被写体画像を写真シールに印刷する手段を備えた合成画像プリント装置における画像編集方法であって、前記入力装置が前記被写体画像を表示した画面に接触したことを検出し、前記入力装置の指定した点を含む所定範囲内のＲＧＢ値に基づき算出した明るさをヒストグラム化して、修正必要箇所を特定する第１のステップと、当該修正必要箇所の上下左右の四方向から抽出した任意の点の肌色に基づき、置換色を生成し、前記修正必要箇所の色を置き換える第２のステップとを備えることを特徴とする。
また、前記被写体画像に対する画像編集方法として、任意の選択に応じて、前記化粧画像の合成を行う化粧処理と他の画像編集処理とのいずれか一方又は双方を行うことを特徴とする。
また、前記化粧処理は、前記被写体画像に設定された顔領域の各化粧部分について、任意に選択された化粧部分に対し、任意に選択された順序により行うことを特徴とする。

以上の構成により、本発明では、簡易な操作により、適切な範囲に対して化粧処理を行った合成画像を生成することが可能となる。従って、タッチペンの操作又は実際の化粧が不得手な利用者でも、適切な範囲に対し化粧画像の編集を行うことが可能となる。
また、前記入力装置の移動軌跡に応じて、種別の異なる複数の化粧画像を同時に展開することとしたので、利用者にとって簡易な操作により、適切な範囲に対する化粧処理が可能となる。
また、指定位置情報に基づき、化粧部分の拡大画像と、対応する化粧画像種別とを表示することにより、適切な編集画面の表示を行うことができる。
また、設定した化粧範囲について、任意の選択に応じた化粧範囲の変更を可能としたので、利用者に応じて適切な化粧範囲の修正が可能となる。
また、設定した化粧範囲に対して、利用者の選択に応じた化粧画像の変更を可能としたので、利用者にとって、化粧の変更が容易となる。
また、化粧画像について、色濃度の濃淡階調を変化させて着色した化粧画像の合成を可能としたので、実際の化粧に近い化粧処理が可能となる。
また、任意に選択された化粧画像のみを消去する消去手段を備えることとしたので、化粧画像の適切な消去が可能となる。
また、化粧ツールの種別に応じて、予め設定された表示順により各化粧画像を表示することとしたので、髪を示す化粧画像の上に、アイメイクを示す化粧画像が表示される等の不具合を無くすことが可能となる。
また、入力装置の指定した点を含む所定範囲内のＲＧＢ値に基づき算出した明るさをヒストグラム化して、修正必要箇所を特定し、当該修正必要箇所の上下左右の四方向から抽出した任意の点の肌色に基づき生成した置換色により、前記修正必要箇所の色を置き換える手段を有することにより、しみ，ソバカス等の修正必要箇所に対して、適切な範囲に対して、修正処理が可能になるとともに、周囲の肌色に合った色での修正が可能となる。
また、化粧処理と落書き処理等の他の画像編集処理とを任意選択可能とするとともに、化粧処理を行う化粧部分及び化粧処理を行う順序についても、任意選択を可能としたので、利用者の嗜好に応じた画像編集処理を行わせることが可能となる。

以下、図面を参照して本発明の一実施の形態を詳細に説明する。
図１は本発明の合成画像プリント装置写真の外観を示す斜視図であり、図２は図１の合成画像プリント装置を矢印Ａ方向から見た側面を示す図である。
図１で示すように、本発明における筐体の片側部が開口し、利用者が出入りできる構造となっており、遮光性素材を用いたカーテンで仕切られている。両側が開口されていても構わない。
筐体内は撮影対象の被写体を収容可能な空間を有する撮影室と、この撮影室に入室した被写体の背面側から照明光を照射する背面照明装置が設けられている。
本体部筐体１と、背面部筐体２と、床板３と、屋根部４とから構成され、本体部筐体１と背面部筐体２とは床板３および屋根部４の結合部材によって所定間隔の距離を隔てて結合されている。本体部筐体１と背面部筐体２との間の空間は複数もしくは単体の被写体が背面部筐体２に入室可能となる通路５となるものであり、図の奥行き方向に通過可能となっている。後述するが合成画像プリント装置の撮影本体の反対側、背面筐体部には被写体の立ち位置の後方に背面部照明装置が設置されている。半透明のスクリーンもしくはアクリル板によって後部照明装置と被写体を隔てている。
図３は本体部筐体１の外観を示す斜視図であり、図４は本体部筐体１を正面から見た図である。
図３，図４に示すように、本体部筐体１の正面ほぼ中央に被写体を撮影するカメラ６が設置されている。また、装置本体の上部および左右にはストロボ１１Ａ〜１１Ｃが設置されている。このストロボ１１Ａ〜１１Ｃはカメラ６で被写体を撮影するときのみ発光し、その光の強さにより撮影する画像の明るさを調整可能になっている。
また、上方および左右には、常時点灯し、操作中の利用者の周囲を照らすライト１２Ａ〜１２Ｃが設置されている。また、カメラ６の下方には、被写体を撮影するときに、実際に写っている画像を確認するための液晶モニタ７が設置されている。
利用者は撮影のときに液晶モニタ７に表示される自分の像を見ながら、立つ位置やポーズ、顔の位置などを調整、確認する。
本体部筐体１の胴部付近には、操作画面や進行状況、ガイダンスなどを表示する表示装置８が設けられている。表示装置８の表示部表面には透明性のある入力装置であるタッチパネルが貼り合せた状態で設けられ、表示画面に表示させた操作ボタンや画像などの位置をペン又は指を用いて押圧または接触することによって、動作指示や情報選択指示などの各種入力操作ができるようになっている。
利用者が入力装置を構成するタッチペン９でタッチパネル面のアイコンなどをタッチすると、表示装置８はその位置を検出し、接触位置に表示したアイコンに割り当てられた機能または動作を開始する。
本体部筐体１の下部には、撮影した被写体画像とユーザが選択した背景画像とを合成する画像処理手段を備えた制御装置１０が設けられている。
制御装置１０は、撮影制御、撮影画像を加工または編集し、利用者に落書き機能及び化粧機能を提供する画像編集処理、印刷制御としての機能を有する。
この他に、スピーカ１３、スイッチパネル１４、課金装置１５、ストロボ用電源１６、プリンタ１７、ＵＰＳ１８が設けられている。
スピーカ１３は操作中の音楽やガイダンスの音声を出力する。スイッチパネル１４はテスト用のスイッチやボリュームスイッチを固定したパネルである。課金装置１５は利用料金の投入を受け付け、収納する。無料設定時を考慮し、取り外し可能なものとなっている。ストロボ用電源１６はストロボ１１Ａ〜１１Ｃに対して利用者が選択した明るさに応じた電力を供給する。
プリンタ１７は画像を所定の用紙に印刷して出力する。ＵＰＳ１８は停電時にも電源供給をする無停電電源装置である。キャスター１９は装置筐体の移動時に使用し、位置決定後はロックする。

図５は、機能構成を示すブロック図である。
本実施の形態では、制御装置１０に全体の制御を行うＣＰＵ（中央処理装置）５０１を備えている。ＣＰＵ５０１は、メモリ５０２と、Ｉ／Ｏ制御部５０３と、画像入力部５０４と、パターンメモリ５０５と、画像処理部５０６と、画像出力部５０７と、データ記憶部５０８と、データ入力部５０９とに接続されている。
Ｉ／Ｏ制御部５０３は、通信制御Ｉ／Ｆ（インタフェース）５１０と、デジタルカメラ６Ｉ／Ｆ５１１と、インバータ５１２と、センサ５１３と、タッチパネル５１４と、コイン制御部５１５と、タイマ５１６とに接続され、これら全体の制御を行う。

データ記憶部５０８は、光デイスク、光磁気デイスクや、フレキシブルディスクなどの補助記憶媒体との間で各種のデータを送受する。画像出力部５０６は、プリンタ１７、表示装置８にそれぞれ接続されている。
Ｉ／Ｏ制御部５０３は、インバータ５１２を制御し、発光部／調光部に対して接続されている面発光表示板に電圧を加え、発光面全体を一様に発光させる。画像入力部５０４は、カメラ６で撮影した画像データをＡ／Ｄ変換装置（図示しない）によりアナログ信号からディジタル信号に変換する。カメラ６には、広角レンズが装着されているため、近距離でも縦横、撮影範囲の広い映像が撮影できる。さらに背面、底面部に設置してある面発光表示板からの発光の彩度、明度を測定する。

ＣＰＵ５０１は、画像入力装置及びデジタルカメラＩ／Ｆ５１１からの圧縮ディジタル信号を受信し、被写体の全身画像の輪郭を抽出し、その撮影された全身画像の歪み補正を行い、さらに面発光表示板による背景色と撮影した画像の明度と彩度の比較を行い、背景色の彩度と明度に適合するように全身画像の彩度と明度の補正を行った後、メモリ５０２に格納してあるプログラムによって、利用者が予め選択した任意の背景画像と合成し、プリンタ１７ヘプリント出力処理を行なう。さらに、このデータはフレキシブルディスクやＰＤやＭＯなどの補助記憶媒体に格納することとしてもよい。格納する場合にはＰＧＰなどの暗号プログラムにより、暗号化される。なお、ここで暗号化されるのは画像および、入力装置（タッチパネル）から入力された氏名、電話番号などのプライバシーに関わるデータとなる。

メモリ５０２には、画像入力部５０４から取り込んだ画像データが記憶されるほか、ＣＰＵ５０１に発する命令と画像合成装置の制御手順となる命令群がプログラムとして記憶されている。また、装飾あるいは落書きを行うための合成用画像が記憶されている。また、ＣＰＵ５０１の処理データもワークデータとして一時的に記憶する。さらに、撮影時に点灯される背景、底面に設置された面発光表示板からの光の彩度、明度のデータを記憶する。

パターンメモリ５０５には、被写体の画像と重ね合せる背景画像データ，化粧画像データ，化粧範囲を示す基本図形等が記憶されると共に、表示装置８に表示する操作メニューのガイドが記憶されている。このパターンメモリ５０５の内容はデータ記憶部５０８によって書き換え可能になっている。通信制御Ｉ／Ｆ５１０は、外部ネットワークとの接続に用いられる。本装置は通信制御Ｉ／Ｆ５１０により専用回線を介して、外部にある機器管理サーバに接続される。この機器管理サーバ（図示しない）は故障の有無を管理することを目的とする。

また、新しい背景画像やキャラクタ画像を機器管理サーバから送信し、Ｉ／Ｏ制御部５０３を介してデータ記憶部５０８に記憶する。データ記憶部５０８ではパターンメモリ５０５に書き込まれたデータの日付と照合し、データ記憶部５０８に記憶されたデータが新しいものであれば、パターンメモリ５０５内のデータを書き換える。また、光通信制御Ｉ／Ｆを設けることで、ＰＤＡなどの携帯情報端末やパソコンなどが直接、接続でき、プログラムなどのバイナリーデータのやりとりもすることができるようになっている。

センサ５１３は、例えば赤外線センサによって、操作部位のユーザの存否を検知し、ユーザがコイン投入後、所定の位置にいるかどうか、また、存在するユーザは単数であるか複数であるかを確認するためのものである。
タッチパネル５１４は表示装置８の表示画面表面に設けられた液晶パネルであり、例えば表示装置画面に操作メニューを表示し、種々の選択条件を押圧操作によって入力するために使用するものである。
例えば、表示装置画面に密着させてセツトし、表示させた操作メニューの位置を押圧操作した時の抵抗値をＣＰＵ１がＡ／Ｄ変換装置を介して検知し、画面上の座標を算出し、これにより、ユーザがどのボタンを選択したかを判定するようになっている。
コイン制御部５１５は、コインの投入の有無や、不正コインの投入などをＣＰＵ１からの制御に従って検知するものであり、投入されたコインの形状と重さを計測し、真正コインではないコインに対し、さらにコインの表裏の模様を判定し、投入されたコインが真正コインか、不正コインや偽造コインであるかどうかを判別する。

インバータ５１２は、面発光表示板に対してのちらつき防止制御を行なう。外部調光に応じて、手動でちらつき防止周期を変更することもできる。発光部／調光部は、撮影手段としてのカメラ６に電圧を加える点弧角を制御するために発光機能／調光機能を付加するものである。面発光表示板は、具体的にはＥＬ板やＰＩＳなどを用いる。また、これらの面発光表示板の全面にブルーのフィルムやグリーンのフィルムを圧着し、ブルー、グリーン等の白色や肌色以外の色彩を発光させる。また、表面反射を防止するためにアクリルなどで表面の加工を行う。もちろん、ビーズ加工等であっても構わない。
なお、背面照明装置と面発光装置は少なくも一つが装置内に備えられているため、これらの装置構成はいずれの装置が必要とする構成が装置内に設けられている。

画像処理部５０６は、メモリ５０２に記憶させた被写体画像とパターンメモリ５０５に格納した任意の背景画像との合成処理をＣＰＵ５０１と共同してまたは単独で行い、合成した画像データをプリンタ１７に送るなどの処理を行う。また、被写体画像に対して、落書処理及び後述する化粧処理等の画像編集処理を行う。
プリンタ１７は、カラー画像を葉書もしくはシールに印刷し、出力する。

タイマ５１６は、外部にある機器管理サーバと専用線で接続できる環境にないときに装置本体内に設けられ、ＣＰＵ５０１の命令により動作する。また、光通信制御Ｉ／Ｆを備えることにより、赤外線通信を行うＩｒＤＡの制御や、光ファイバを利用した通信が行なう場合の制御を行うこととしてもよい。このインタフェースを用いることでプログラムなどのバイナリーデータのやり取りができ、ＰＤＡなどの情報携帯端末や、ノート型パーソナルコンピュータと直接接続することができ、情報携帯端末やパーソナルコンピュータ内に本発明の画像合成装置のプログラムやデータを取り込むことができる。また、パーソナルコンピュータで作成したデータやプログラムを本実施の形態の制御装置に送って、背景パターンやキャラクタに任意に変更することができる。

ユーザの撮影は、コイン投入後、ユーザへの撮影指示が表示装置８の表示画面で指示されたときに、カメラ６により行われる。カメラ６としては、ＣＣＤカメラのほかにC-ＭＯＳ搭載カメラや通常のビデオカメラ等を用いてもよい。ＣＣＤカメラ等の画像入力装置２００により撮影した画像データは、ＣＣＤカメラ等に内蔵されたＡＥ（オートアイリス）機能により露出調整されてメモリ５０２に記憶される。また、撮影装置として例えば、Ｉｒ−ＤＡ光通信機能を有するデジタルスティルカメラを用いてもよい。その場合には、予め撮影した画像データを受信し転送できるＩｒ−ＤＡ光通信機能と複数枚の画像データが格納できるバッファメモリにより、ユーザにメニュー画像の選択条件となるアイコンを選択させて、ＪＰＥＧ圧縮した複数枚の静止画を容易に合成することができるようになる。

なお、センサ５１３によって、ユーザが操作部に立ったことを検知した場合、その検知信号により、ＣＰＵ５０１に割り込みを発生させて表示装置８の表示をデモンストレーション用画面から操作ガイド画面に切り換えるようにする。さらに、コインを投入させることで、背面および底面の面発光表示板を発光準備状態に制御し、カメラ６のシャッターが切れるタイミング、つまり、撮影タイミングに同期して背面および底面の面発光表示板が発光するように制御される。

撮影料金は、コイン制御部５１５で受け付けるが、料金受納手段は、コイン検知器に限られず、紙幣読取器、プリペイドカード読取器、クレジットカード等を用いることも可能である。撮影された画像データは、撮影後、ＲＧＢデータに変換され、画像出力部５０７を介して、表示装置８に表示される。表示装置８の画面解像度は、例えば、１画面あたり、３２０×２４０画素のものが適当である。

本画像合成装置に具備する表示装置８には、ユーザが操作する段階で必要なメニュー画面を表示してユーザの作成した合成画像等が適切であるかを確認する表示が必要である。これらの画面表示は、ＣＰＵ５０１により制御され、表示される。また、画面への表示や画像処理などは、ＣＰＵ５０１によって動作状態が管理されているため、プリント処理中は、予めパターンメモリ５０５に記憶させてある画像や映像に切り換えて表示することができる。操作画面が不要な時には、メニュー表示を切り換えてコマーシャルや商品広告などを放映する。表示装置８は、ＣＲＴ型表示装置に限定するものではなく、例えば液晶型ＬＣＤ表示装置やＬＥＤ発光による文字表示装置でもよい。なお、図５の各回路ブロックのうち、破線で囲む回路ブロックは、例えば、公知の半導体集積回路応用技術によって半導体基板上、またはガラスエポキシ基板上に形成されるものである。そして、図４に示すの制御装置１０内に設置される。

図６，７は、上記構成における処理手順を示すフローチャートである。ここで説明する各処理は、制御装置１０のメモリ５０２に記憶された制御プログラムによって実現されるものである。
図６は、本発明の合成画像プリント装置における基本処理を示すフローチャートである。
管理側の設定として、まず、電源を投入する。
電源が投入されると、オープニング処理として、機器動作確認，カメラ撮影準備，プリンタ印刷準備を行う（ステップ６０１）。機器動作確認では、蛍光灯照明機器の点滅確認，制御装置１０の起動確認が行われ、カメラ撮影準備では、シャッタースピード，絞りの設定が行われ、さらにプリンタ印刷準備では、プリンタ１７のウォームアップが開始される。
ステップ６０１でのオープニング処理が終わると、顧客操作を受け入れるためのデモとして、画像合成装置の紹介、操作手順のデモを行う（ステップ６０２）。

撮影を開始するために、利用者により規定枚数のコインが投入されると、撮影を行うための処理手順を画面上に表示する。
撮影条件として、明るさ，濃度等の選択画面を表示し、利用者に各撮影条件を選択させる（ステップ６０３）。

利用者はタッチパネルに対してタッチペンでタッチすることで選択を行う。このとき利用者により選択された明るさをストロボ用電源に設定する。
ステップ６０３で設定された明るさでストロボを発光して、撮影処理を行う（ステップ６０４）。
通常、本装置では、撮影処理の際に、被写体画像を含む３つの画像を使って合成を行う。まず、利用者により任意に選択されたフレームの前景画像に対して、マスク処理を行う。マスク処理を行うことで撮影した被写体と前景画像との重なり位置を確認する。次に実際に被写体の動画像を取り込み、そのまま動画で表示されている状態で選択したフレームの中に合成して、液晶モニタ７に表示する。
この場合、マスク化された前景画像と利用者により選択された背景フレームとの間に、動画撮影されている被写体画像を挟み込むように合成し表示する。このときに使用されている被写体側の撮影データ、ＮＴＳＣの低解像の動画画像データが使用されている。ここでは解像度は６４０×４８０ピクセルの解像度のデータを利用する。
取り込んでいた動画の被写体画像を撮影する。ここでは静止スチル画像によって撮影を行う。実際に撮影を行う場合は前述の低解像度ではなく、高解像度の画像データ、ここでは１２８０×１０２４ピクセルのデータでの出力に切り替える。
撮影した静止画像に対して画像の歪み、色、輝度、濃度による補正と、画像の大きさの補正という２つの形態の補正を行い、データ記憶部に保存する（ステップ６０５）。その後再びステップ６０４の撮影に戻り、４枚撮影するまでこれを繰り返す。

撮影画像としての被写体画像を４枚保存した後、画像編集処理を開始する(ステップ６０６〜６０９)。
画像編集処理としては、利用者の選択に応じて、落書き処理（ステップ６０７）の他、後述する化粧処理（ステップ６０８）を行い、画像編集の選択画面（ステップ６０６）から終了ボタンが選択されると画像編集処理を終了する（ステップ６０９）。
その後印刷するレイアウトを選択させ（ステップ６１０）、このレイアウトで編集した画像をプリンタ１７で印刷する（ステップ６１１）。
印刷後処理を終了し（ステップ６１２）、オープニング画面（ステップ６０１）へ戻る。
なお、落書き処理と化粧処理の順番はユーザによって変えることもできる。また、落書き処理、化粧処理のいずれか一つだけを選択することも、さらにどちらも選択しないことも可能である。また、落書き処理、化粧処理のどちらか一方にした場合には、それぞれの処理に利用する時間をどちらかの処理に追加することができる。最初にどちらか一方の処理にするかという選択も可能であり、一つの処理終了後に、同じ処理を選択するか異なる処理を選択するかを選ぶことも可能である。

図７は、図６のステップ６０８に示す化粧処理を示すフローチャートである。
化粧処理を開始すると、化粧モード選択画面を表示装置に表示して、利用者に化粧モードを選択させる（ステップ７０１）。
化粧モードの選択を受付ると、表示装置に化粧処理開始画面を表示する（ステップ７０２）。化粧処理開始画面では、被写体画像とともに、化粧処理対象となる顔について、両目及び口の位置の指定を促す案内メッセージを表示する。
タッチペンの操作により、両目及び口の位置が指定されると（ステップ７０３）、指定された両目及び口の位置情報に基づき顔領域を判定して、化粧部分選択画面として、判定結果に基づく顔領域の拡大画像と、化粧部分選択ボタンとを表示する（ステップ７０４）。この場合、両目及び口の位置情報に基づき、顔の中心線も判定される。
タッチペンにより、化粧部分の選択ボタンが操作されると（ステップ７０５）、選択ボタンに対応する化粧部分の化粧処理画面を表示して、利用者に化粧部分を選択させる。化粧処理を行う化粧部分及び化粧処理の順序については、利用者による任意の選択が可能なものとし、一部の化粧部分のみについて化粧処理を行うこととしてもよい。
化粧部分として目が選択された場合（ステップ７０６）、化粧処理画面として、両目の位置情報に基づく両目部分の拡大画像とともに、両目部分に対応する種別の化粧画像を選択するための化粧ツール（アイライン，アイシャドウ，マスカラ等のメイク道具）及びアイテムパレット（色，パターン）を表示する（ステップ７０７）。この場合、アイテムパレットには、ステップ７０１で利用者により選択された化粧モードに対応するパレットを表示する。
化粧処理画面では、タッチペンの操作により化粧ツール及びアイテムパレットを選択させた後（ステップ７０８）、化粧範囲を指定させる（ステップ７０９）。
口・肌・髪・アクセサリのいずれかが選択された場合（ステップ７１０，７１４，７１８，７２２）も同様に、対応する化粧処理画面を表示し（ステップ７１１，７１５，７１９，７２３）、化粧ツール，アイテムパレットを選択させた後（ステップ７１２，７１６，７２０，７２４）、化粧範囲を指定させる（７１３，７１７，７２１，７２５）。
指定された化粧範囲について、選択された化粧ツール及びアイテムパレットに応じた化粧画像合成処理を行い、各部分の拡大画像に合成して表示する（ステップ７２６）。なお、各化粧部分における化粧範囲の指定及び化粧画像生成処理については、後述する。
合成画像を表示した後、タッチペンの操作により、化粧ツール又はアイテムパレットが選択されると、選択内容に基づき化粧画像を変更し、変更した化粧画像を拡大画像に合成して表示する（ステップ７２７）。また、消去ツール，消しゴムツールが選択されると、タッチペンで指定された化粧画像について、後述する消去処理を行う。
一方、タッチペンの操作により、終了ボタンが選択されると（ステップ７２８）、化粧部分選択画面を表示する（ステップ７０４）。
化粧部分選択画面で終了ボタンが選択されると（ステップ７２９）、化粧処理を終了して（ステップ７３０）、画像編集選択画面を表示する。
複数の処理が存在するため、予めユーザにどの処理を行うのかを選択させ、選択されたそれぞれの処理１つづつに必要な時間をカウントダウンし表示することもでき、また選択した全ての処理の合計時間数をカウントダウン表示させることもできる。また、各処理を順次選択していく場合は、化粧処理を行うことができる時間の総合計数をカウントダウン表示することもできる、前述したように落書き時間も化粧処理時間に加えることができるため、予め落書きモードを選択してある場合は落書き時間も加えて表示することができる。
また、音声にてカウントダウンをユーザに知らせても良い。

以下、図８〜２０に基づき、化粧処理の具体例を説明する。
図８は、画像編集選択画面の画面構成の一例を示す図である。
本例では、画像編集選択画面としての落書き処理画面８００上に、化粧処理選択ボタン８０１と、画像編集終了ボタン８０２と、編集対象となる被写体画像選択ボタン８０３と、選択画像表示部８０４と、落書きツールボタン８０５とが配置されている。
本画面において、画面操作として、タッチペン８０６により化粧処理選択ボタン８０１が操作されると、化粧処理を開始する。化粧処理では、化粧ツール及びアイテムパレットを選択させた後、タッチペンが化粧部分を表示した表示画面のパネル上に接触したことを検出して、タッチペンの移動軌跡に応じた化粧範囲を設定し、選択された化粧ツール及びアイテムパレットに応じた化粧画像を合成する。
また、画像編集終了ボタン８０２が操作されると、画像編集処理を終了する。

図９は、化粧処理の前に利用者に選択させる化粧モードと、各化粧モードに対応したアイテムパレットの基本パターンを示す図である。
各化粧モード９０１には、化粧ツール９０２〜９０６毎にアイテムパレットが設定されており、利用者の選択に応じて、化粧モードに対応するアイテムパレットを各化粧処理画面に表示する。
なお、図９では、各化粧ツール９０２〜９０６に対して一つずつのアイテムパレットが設定されているが、実際には複数のアイテムパレットが設定されることとなる。
また、達人モードでは、他の化粧モードに設定されたアイテムパレットの全てが選択可能となっている。また、達人モードにおいては、利用者の選択に応じて、アイシャドーでの濃淡やさらに濃淡階調の度合い、色合いの濃さの位置関係（例えば、目を丸く印象つけたいときには瞼の上、黒目の上あたりを濃い色にし、目尻に向かって濃淡階調を段階的に薄くてしておくことや、鋭い印象を持たせたいときには目尻に向かって）を変化させることもできる。

図１０は、顔領域の指定画面の画面構成の一例を示す図である。
図１０（ａ）に示すように、顔領域の指定画面１０１０では、被写体画像全体１０１１とともに、ガイドメッセージ１０１２を表示する。
利用者のタッチペンの操作により、左右両目と口の三点が指定されると、図１０（ｂ）に示すように、化粧部分選択画面１０２０として、指定点に基づき判定された顔領域の拡大画像１０２１を表示するとともに、化粧部分選択ボタン１０２２と終了ボタン１０２３とを表示する。ここで、三点の指定により、両目及び口の位置座標と、顔領域の範囲と、顔領域における中心線とが設定される。
化粧部分選択画面１０２０において、化粧部分選択ボタン１０２２が操作されると、選択されたボタンに対応する化粧部分の化粧処理画面を表示する。

図１１は、目部分の化粧処理画面の画面構成の一例を示す図である。
目部分の化粧処理画面１１００では、両目周辺の拡大画像を表示する化粧部分拡大表示部１１０１と、化粧ツール選択ボタン１１０２と、各化粧ツールに対応するアイテムパレット１１０３と、消しゴムツールボタン１００４と、消去ツールボタン１００５とを備える。アイテムパレット１１０３はそれぞれ予めマスカラを塗る範囲を示すものであり、ユーザは化粧の範囲を選択することができる。
化粧部分拡大表示部１１０１には、両目の周囲の拡大画像を表示し、タッチペンの移動軌跡に応じた化粧処理を可能とする。
目部分の化粧処理として、アイシャドウツールを用いた化粧処理を行う場合には、図１１に示す編集部分拡大表示部１１０１に示す目部分の上部輪郭に沿って、タッチペンを操作させ、タッチペンの移動軌跡に応じた所定範囲に、アイシャドウを入れた化粧画像を生成する。

図１２は、目部分の化粧処理画面１１００において、アイシャドウツールを選択した場合の化粧処理の一例を示す図である。
この場合、図１２（ａ）に示すように、化粧範囲を示す基本図形１２１０として、予め目の輪郭線を示す線分１２１１とアイシャドウを入れる範囲１２１２が記憶されている。
利用者のタッチペンの移動軌跡１２２１に合わせて、基本図形１２１０の線分１２１１を変形するとともに、線分１２１１の変形に対応させて、基本図形１２１０を変形することにより化粧範囲１２２２を設定し、当該化粧範囲に対して選択された化粧パターンに応じた化粧画像の生成を行う。この場合、タッチペンがパネル面上で移動を行っている間は、基本図形１２１０の変形を行い続け、タッチペンがタッチパネル面から離れた時点で変形を終了し、化粧範囲を確定する。
この場合、タッチペンの移動軌跡に応じて、化粧範囲の設定だけでなく、化粧範囲に合成される化粧画像について、色濃度の濃淡階調を設定することとしてもよい。

この場合の基本図形１２１０の変形方法について、図１３〜１７を用いて説明する。
図１３は、予め設定されている基本図形１２１０の一例を示す図である。
基本図形ＡＢＣは、線分ＡＢと曲線ＢＣとを基準にして、各端点を結ぶことにより形成されている。
線分ＡＢは、曲線ＢＣに対して垂直になるように引かれている。さらに、線分ＡＣ上の端点Ａ，ｂ，ｄ，ｆ，ｈから線分ＢＣ上の端点ａ，ｃ，ｅ，ｇに対し直線を描くことにより、図形ＡＢＣ内に複数の擬似三角形を生成する。
このとき、擬似三角形ＢＡａ，ａｂｃ，ｃｄｅ，ｅｆｇの各底辺に当る部分を直線化し、線分Ｂａ，ａｃ，ｃｅ，ｅｇ，ｇＣを生成しておく。
図１４は、タッチペンによる移動軌跡の一例を示す図である。
タッチペンの移動軌跡は、ユーザによって目の上部輪郭に沿うものであるため、目の輪郭形状により線分Ｂ’Ｃ’の湾曲具合が異なる。
本例で示す線分Ｂ’Ｃ’（移動軌跡）は、図１３に示す線分ＢＣよりも湾曲度が大きくなっている。
図１３の線分ＢＣ上に配置された線分Ａａ，ab,bc,cd,de,ef,fg,ghを角度、長さをそのまま保ち、図１４の線分Ｂ‘Ｃ’上に移動し、各線分Ａａ，ａｂ，ｂｃ，ｃｄ，ｄｅ，ｅｆ，ｆｇ，ｇｈに対応する線分Ａ’ａ’，ａ’ｂ’，ｂ’ｃ’，ｃ’ｄ’，ｄ’ｅ’，ｅ’ｆ’，ｆ’ｇ’，ｇ’ｈ’とする。
図１５は、タッチペンの移動軌跡に対し、擬似三角形の一部を配置した例を示す図である。
ここでは基準となる線分が２本必要となる。
一つはユーザによって輪郭をなぞった線分Ｂ‘Ｃ’であり、もう一つの基準となる線分Ａ’Ｂ’は線分Ｂ‘Ｃ’から生成する。
この時点で抽出されているのは図１４からわかるように線分Ｂ‘Ｃ’とそれぞれ移動をおこなった線分Ａ’ａ’，ａ’ｂ’，ｂ’ｃ’，ｃ’ｄ’，ｄ’ｅ’，ｅ’ｆ’，ｆ’ｇ’，ｇ’ｈ’である。
線分Ｂ‘Ｃ’の端点Ｂ‘と、線分Ｂ’Ｃ‘上に存在する線分Ａ’ａ’を形成する端点a’を結ぶことで、直線線分Ｂ’ａ‘を生成する。
この直線線分Ｂ’ａ‘に対して、線分ＡＢの長さを保ったまま、垂直方向に線分Ａ’Ｂ‘を引く。
このように基準になる線分Ｂ‘Ｃ’と線分Ａ‘Ｂ’を作成する。
さらに線分Ｂ’Ｃ’上にある移動した線分Ａ’ａ’，ａ’ｂ’，ｂ’ｃ’，ｃ’ｄ’，ｄ’ｅ’，ｅ’ｆ’，ｆ’ｇ’，ｇ’ｈ’のそれぞれの端点を結んで線分Ｂ’ａ’，ａ’ｃ’，ｃ’ｅ’，ｅ’ｇ’，ｇ’Ｃ’を生成する。
図１６は、底辺を示す各線分に対応させて擬似三角形を変形した例を示す図面である。
線分Ｂ’Ｃ’上に移動した各擬似三角形Ｂ’Ａ’ａ’，ａ’ｂ’ｃ’，ｃ’ｄ’ｅ’，ｅ’ｆ’ｇ’，ｇ’ｈ’Ｃ’と、図１３で形成した擬似三角形ＢＡａ，ａｂｃ，ｃｄｅ，ｅｆｇのそれぞれの底辺を基準にして線分Ｂ‘Ｃ’上のそれぞれの位置での角度を求め、この角度に応じて、角度，長さに応じて、拡大・縮小・角度変更を行う。
これは線分Ｂ‘Ｃ’の湾曲度が位置によって異なり、変化した角度が一定でないために、図形ＡＢＣ内に設けた三角形と、擬似図形Ａ‘Ｂ’Ｃ‘内で線分Ｂ‘Ｃ’上に設置したそれぞれの端点から形成される三角形の底辺を基準にして、擬似的に三角形を作り出し、底辺位置を基準に最初の三角形ＢＡａ，ａｂｃ，ｃｄｅ，ｅｆｇとそれぞれ対応する擬似三角形の位置の違いによって線分Ｂ‘Ｃ’上で湾曲度に応じた角度が求まる。
求められた角度によって、各擬似三角形Ｂ’Ａ’ａ’，ａ’ｂ’ｃ’，ｃ’ｄ’ｅ’，ｅ’ｆ’ｇ’，ｇ’ｈ’Ｃ’の角度を変化させる。
最後に、拡大・縮小・角度変更を行った各三角形の頂点を通る曲線Ａ’Ｃ’を描くことにより、変形後の化粧範囲を示す図形Ａ’Ｂ’Ｃ’を生成する。
図１７は、タッチペンの移動軌跡に応じて基本図形ＡＢＣ（破線）を変形して設定した化粧範囲Ａ’Ｂ’Ｃ’（実線）を示す図である。
以上のように、本例では、基本図形内に複数の擬似三角形を設定し、タッチペンの移動軌跡を示す線分上の端点を基準として、擬似三角形を構成する線分を配置する。線分（移動軌跡）上の端点を結んで、各擬似三角形の底辺に対応する線分を生成する。線分（移動軌跡）上に配置した擬似三角形について、底辺に対応する線分の傾斜角，線分の長さ等に応じて、拡大・縮小・角度変更等することにより変形させ、変形後の各擬似三角形の頂点を曲線で結んで形成された図形を化粧範囲として設定する。

なお、基本図形の変形方法としては、前記の例に限られるものでは無く、他の方法を用いることとしてもよい。例えば、基本図形に切れ目を入れて短冊状にし、基本図形の底辺をタッチペンの移動軌跡に対応させるように変形させる。次に、底辺の変形に応じて、上部側を外側に開くようにして、各短冊が扇を開いたような空間を有した状態とする。最後に、各短冊間の空間を埋めることにより、基本図形を変形した化粧範囲を設定することとしてもよい。また、モーフィングを応用して、特徴点を複数抽出し、各特徴点を結んで、変形させても良い。

図１８は、目部分の化粧処理画面１１００において、マスカラツールを選択した場合の化粧処理の一例を示す図である。
マスカラツールを用いた化粧処理を行う場合にも、アイシャドウツールの場合と同様に、図１１に示す編集部分拡大表示部に示す目部分の上部輪郭に沿って、タッチペンを操作させる。
マスカラツールの場合には、図１８（ａ），（ｂ）に示すように、タッチペンの移動軌跡１８０１に応じてメモリに記憶された睫毛を示す化粧画像１８０２を連続して読出し、被写体画像を表示した表示装置画面に一本一本の睫毛を連続して描画する。この場合、化粧画像１８０２は、タッチペンの動き、光の当たり方、選択されている毛質に合わせて、１本１本の化粧画像を補正して描画する。なお、睫毛を示す化粧画像１８０２は、顔領域に設定された中心線に基づき、カール方向が左右対称となるように描画する。

アイラインツールの場合には、タッチペンの移動軌跡に合わせてアイラインを示す化粧画像を描画する。
複数の化粧ツールを選択された場合には、タッチペンの移動軌跡に応じて、選択された全ての化粧ツールに対応する化粧処理が行われる。従って、アイシャドー処理、マスカラ処理、アイライン処理はそれぞれ個別に行うことも可能だが、目の輪郭をなぞり始めた時点でそれぞれの処理を同時に行うこともできる。

図１９は、口部分の化粧処理の概要を示す図である。
口部分の化粧処理画面では、図１１と略同様に、口周辺の拡大画像と、化粧ツール選択ボタンと、各化粧ツールに対応するアイテムパレットと、消しゴムツールボタンと、消去ツールボタンとを備える。口部分の化粧ツールとしては、口紅ツール等を用いる。
口部分の化粧処理として、口紅ツールを用いた化粧処理を行う場合には、アイテムパレットで選択された色の口紅を示す化粧画像について、図１９（ａ）に示すようにタッチペンの移動軌跡に沿って塗り潰しを行うか、図１９（ｂ）に示すように、タッチペンの移動軌跡で囲まれた範囲内を化粧範囲として塗り潰しを行う。

図２０は、肌部分の化粧処理として、チークツール及びハイライトツールを用いた化粧処理の概要を示す図であり、図２１は、コンシーラツールを用いた化粧処理の概要を示す図である。
肌部分の化粧処理画面では、図１１と略同様に顔全体の拡大画像と、化粧ツール選択ボタンと、各化粧ツールに対応するアイテムパレット、消しゴムツールボタンと、消去ツールボタンとを備える。肌部分の化粧ツールとしては、チークツール，ハイライトツール，コンシーラツール等を用いる。
肌部分の化粧処理として、チークツール又はハイライトツールを用いた化粧処理を行う場合には、図２０（ａ）に示すように、タッチペンで描画された範囲２００１を化粧範囲として設定し、図２０（ｂ）に示すように、化粧範囲２００２に対して、指定されたアイテムパレットに基づく色，パターン等のチークを入れた化粧画像を合成する。ハイライトについては、化粧範囲に対し、周囲の肌の色に合わせて発色を変化させる処理を行う。
コンシーラツールを用いた化粧処理を行う場合には、図２１（ａ）に示すように、コンシーラをのせたい部分をタッチペンで指定させ、指定点２１０１を中心とした真円状の所定範囲２１０２内において肌色と異なる部分を、当該所定範囲２１０２内の肌色に合わせて生成した色に置き換えて、図１６（ｂ）に示すように、コンシーラをのせた画像を生成する。
この場合、図１６（ａ）の下図に示すように、所定範囲１６０２内のＲＧＢ値に基づき算出した明るさをヒストグラム化して、しみ、そばかす、くま、ほくろ、にきび等の修正必要箇所２１０３を特定し、図１６（ｂ）に示すように、線形補完により修正する。
置き換える色の生成は、置き換え対象点を基準として、上下左右の四方向から抽出した任意の点の肌色を平均化することにより行う。
なお、肌色の基準値を予め設定しておき、ヒストグラムから修正必要箇所２１０３を特定する際に、当該基準値との比較を行うこととしてもよい。
また、しみ、そばかす、くま、ほくろの周辺の肌色は、全体の肌色より黒みがかっている場合があるので、真円状の外周部分、つまりしみ、そばかす、くま、ほくろから最も遠い部分の画素を一画素づつ中心に配置することで中心点を濃淡階調の薄い色とし、中心から外円にかけてじょじょに濃淡の段階的変化をもたせることで、しみ、そばかす、くま、ほくろと境界と肌色の変化が分かりにくいようにすることとしても良い。

図２２は、髪部分の化粧処理の概要を示す図である。
髪部分の化粧処理画面では、図１１と略同様に顔全体の拡大画像と、髪形，髪質選択ボタンと、消しゴムツールボタンとを表示する。
髪部分の化粧処理では、図２２に示すように、髪を追加したい部位に対してタッチペンを操作させることにより、タッチペンの移動軌跡に応じて、メモリに記憶された髪の毛を示す化粧画像を連続して読出し、被写体画像を表示した表示装置画面に一本一本の髪の毛を連続して描画する。
この場合、髪の色は、タッチペンにより指定された始点の髪の色に基づき設定し、予め設定された髪の本数、顔領域の大きさ，光の当り方，選択された髪形，髪質に応じて、レイトレーシングの技法を用いて、光源からの光線(Ray)を追跡(Trace)して演算し、光の反射や透過、屈折、影などを表現し、髪の毛一本一本を修正して描画する。
なお、髪の毛を示す合成画像は、顔領域に設定された中心線に基づき、カール方向が左右対称となるように描画し、合成画像のカール幅等は、顔領域の大きさに応じて変更する。

図２３は、アクセサリの化粧処理の概要を示す図である。
ここでいうアクセサリとは、カラーコンタクトツールを指す。
アクセサリの化粧処理では、図１８に示すように、タッチペンの移動軌跡により目部分の領域を範囲指定させ、指定された領域内で明度により白目部分と黒目部分とを判定し、黒目部分に対して、選択された色のカラーコンタクトを入れた化粧画像を生成する。
この場合、カラーコンタクトの色をはっきりとさせるために、指定された領域内をグレースケール化した上で、選択された色の化粧画像を合成する。
また、カラーコンタクトツール以外に、目の強調ツールを選択可能とする。この場合の強調処理では、指定範囲内にアンシャープマスクのフィルタをかける。

図２４は、化粧処理として化粧画像の消去処理を行った例を示す図である。
それぞれの部分の化粧処理において、化粧画像の消去については、各化粧処理画面に表示される専用の消去ツール又は消しゴムツールを用いる。消去ツール及び消しゴムツールは、それぞれの化粧画像の種別毎に設定されるものであり、各化粧処理画面上で編集可能な化粧画像のみが消去処理の対象となる。よって、本実施の形態では、ハイライト、チーク、口紅等の処理においてもそれぞれ独立した消去処理が存在する。
消去ツールが選択された場合には、タッチペンにより指定された化粧画像全体を消去する。
消しゴムツールが選択された場合には、タッチペンにより指定された化粧画像の一部を消去する。
例えば、目部分の化粧処理画面が表示されている場合において、消しゴムツールが選択された場合には、図２４に示すように、タッチペンで指定された部分について、アイシャドウツール，マスカラツール，アイラインツールに対応する化粧画像２４０１を消去する。この場合、髪ツール，カラーコンタクトツールに対応する化粧画像２４０２，２４０３は、本画面上での編集可能な化粧画像ではないため、消去処理の対象とはならない。同様に、チーク，ハイライト，コンシーラ，アクセサリ等、他の化粧画像も消去処理の対象とはならず、目に対する化粧処理が優先される。もちろん、ハイライトやチークの編集画面において利用される消去処理で対応する化粧部分が優先されて、消去処理の対象となる。
なお、本例では、アイシャドウツール，マスカラツール，アイラインツールの全てを消去処理の対象としているが、これに限られるものでは無く、各ツール毎に異なる消しゴムツール又は消去ツールを設定することとしてもよい。
また、消しゴムツールによる処理としては、化粧画像の一部を消去するだけでなく、設定した化粧範囲自体を任意に変更するものとしてもよい。

図２５は、化粧処理における入力画像としての被写体画像と、化粧合成画像とを示す図である。
図２５（ａ）に示す被写体画像に対し、タッチペンの移動軌跡に応じて設定した化粧範囲に、化粧画像を各化粧ツールの種別に応じて予め設定した表示順序により合成して、図２５（ｂ）に示す化粧合成画像を表示する。
従って、目部分に髪がかかっている場合であっても、化粧合成画像において、目部分の化粧画像（アイライン，アイシャドウ，マスカラ等）が、髪の化粧画像の前面側に表示されることは無い。

以上のように、本実施の形態に係る合成画像プリント装置では、化粧処理として、利用者の指定に基づき設定した化粧範囲に、選択された化粧ツールに基づく化粧処理を行うこととしている。この場合、目部分については、タッチペンの移動軌跡に対応させて、基本図形を変形させることにより化粧範囲を設定することとしたので、タッチペンの操作又は実際の化粧に不慣れな利用者であっても、目部分の上部輪郭をなぞる操作をさせるだけで、適切な範囲に対し化粧処理を行った化粧合成画像を生成することができる。
また、睫毛や髪の毛を示す化粧画像について、顔領域の大きさ，光の当り方，選択された髪形，毛質等に応じて、レイトレーシングの技術により、一本一本を修正して描画して合成することとしたので、より自然な合成画像を生成することが可能となる。
また、コンシーラツールによる処理として、タッチペンで指定された点を中心とした所定範囲内において特定された修正必要箇所を、当該所定範囲内の肌色に合わせて生成した色に置き換えることとしたので、周囲の色に対して違和感の無い修正画像を生成することができる。この場合、修正必要箇所を、所定範囲内のＲＧＢ値に基づき算出した明るさをヒストグラム化することにより特定することとしたので、修正を行う化粧範囲の設定を適切に行うことが可能となる。さらに、肌色の基準値を予め設定しておき、ヒストグラムから修正必要箇所２１０３を特定する際に、当該基準値との比較を行うことにより、髪の毛等で囲まれた範囲の肌色が、髪の毛の色で修正される等の不都合を無くすことが可能となる。
また、化粧対象となる顔領域について、利用者に指定された両目及び口の位置情報に基づき、顔領域の大きさ、各化粧部分の位置、顔領域の中心線を設定することとしたので、各設定情報に基づき、編集部分の拡大画像の表示，各化粧画像の大きさの設定（睫毛の長さ，髪の毛のカール幅等），各化粧画像の描画方向（睫毛の向き，髪の毛のカール方向等）を適切に設定することが可能となる。

本発明の他の実施の形態の例を図２６，２７を用いて説明する。
前記実施の形態では、化粧処理の前に、化粧モードの選択をさせることとしているが、これに限られるものでは無く、例えば、図２６に示すように、化粧処理画面において、化粧モードの選択ボタン２６０１，２６０２を備えることにより、編集中に化粧モードの選択，変更を可能としてもよい。
この場合、タッチペンの操作により選択された化粧モードに対応して、各化粧モードに設定されたアイテムパレットが表示される。
また、図２７に示すように、化粧画像の一括変換処理を可能としてもよい。
例えば、図２７（ａ）に示すように、かわいい系モードで化粧画像を生成した後、タッチペンの操作によりきれい系モード選択ボタンが選択された場合に、図２７（ｂ）に示すように、きれい系モードの化粧画像に変換する。
この場合には、予め各化粧モードに基本パターンとして設定された、化粧ツール毎の色，パターン等に基づき化粧処理を行うことにより化粧画像を生成する。
以上のように、化粧処理において、化粧モードの変更を可能とすることにより、化粧画像の一括変更処理が可能となり、利用者の嗜好に応じた様々な化粧画像への変更が容易となる。

本発明の一実施の形態に係る合成画像プリント装置の外観を示す斜視図である。 本発明の一実施の形態に係る合成画像プリント装置を示す側面図である。 本発明の一実施の形態に係る合成画像プリント装置を構成する本体部筐体を示す斜視図である。 本発明の一実施の形態に係る合成画像プリント装置を構成する本体部筐体を示す正面図である。 本発明の一実施の形態に係る合成画像プリント装置を構成する制御装置を示すブロック図である。 本発明の一実施の形態に係る合成画像プリント装置による基本処理手順を示すフローチャートである。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理手順を示すフローチャートである。 本発明の一実施の形態に係る合成画像プリント装置で表示する編集処理選択画面の画面構成の一例を示す図である。 本発明の一実施の形態に係る合成画像プリント装置で表示する編集処理選択画面の画面構成の一例を示す図である。 本発明の一実施の形態に係る合成画像プリント装置で表示する顔領域指定画面の画面構成の一例を示す図である。 本発明の一実施の形態に係る合成画像プリント装置で表示する目部分の化粧処理画面の画面構成の一例を示す図である。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理として、アイシャドウツールを用いた化粧処理の概要を説明するための図である。 アイシャドウツールを用いた化粧処理における化粧範囲の設定を説明するための図である。 アイシャドウツールを用いた化粧処理における化粧範囲の設定を説明するための図である。 アイシャドウツールを用いた化粧処理における化粧範囲の設定を説明するための図である。 アイシャドウツールを用いた化粧処理における化粧範囲の設定を説明するための図である。 アイシャドウツールを用いた化粧処理における化粧範囲の設定を説明するための図である。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理として、マスカラツールを用いた化粧処理の概要を説明するための図である。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理として、口紅ツールを用いた化粧処理の概要を説明するための図である。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理として、チークツール・ハイライトツールを用いた化粧処理の概要を説明するための図である。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理として、コンシーラツールを用いた化粧処理の概要を説明するための図である。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理として、髪ツールを用いた化粧処理の概要を説明するための図である。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理として、カラーコンタクトツールを用いた化粧処理の概要を説明するための図である。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理として、消しゴムツールを用いた化粧処理の概要を説明するための図である。 本発明の一実施の形態に係る合成画像プリント装置による化粧処理結果として表示する化粧合成画像の一例を示す図である。 本発明の合成画像プリント装置で表示する目部分の化粧処理画面の画面構成の他の例を示す図である。 本発明の合成画像プリント装置による化粧処理として、複数の化粧画像の一括変換処理の概要を説明するための図である。

符号の説明

１ 本体部筐体、２ 背面部筐体、３ 床板、４ 屋根部、５ 通路、６ カメラ、７ 液晶モニタ、８ 表示装置、９ タッチペン、１０ 制御装置、１１Ａ〜１１Ｃ ストロボ、１２Ａ〜１Ｃ ライト、１３ スピーカ、１４ スイッチパネル、１５ 課金装置、１６ ストロボ用電源、１７ プリンタ、１８ ＵＰＳ、１９ キャスター、５０１ ＣＰＵ、５０２ メモリ、５０３ Ｉ／Ｏ制御部、５０４ 画像入力部、５０５ パターンメモリ、５０６ 画像処理部、５０７ 画像出力部、５０８ データ記憶部、５０９ データ入力部、５１０ 通信制御Ｉ／Ｆ、５１１ デジタルカメラＩ／Ｆ、５１２ インバータ、５１３ センサ、５１４ タッチパネル、５１５ コイン制御部、５１６ タイマ、１１００ 化粧処理画面、１１０１ 化粧部分拡大表示部、１１０２ 化粧ツール選択ボタン、１１０３ アイテムパレット、１１０４ 消しゴムツールボタン、１１０５ 消去ツールボタン、１２１０ 基本図形、１２１１ 線分、１２１２ 化粧範囲、１２２１ 移動軌跡、１２２２ 化粧範囲、１６０１ 指定点、１６０２ 所定範囲、１６０３ 修正必要箇所。

Claims (20)

1. 被写体を撮影するカメラと、撮影した被写体画像を表示する表示装置と、表示された被写体画像に対する編集操作を行う入力装置と、編集された被写体画像を写真シールに印刷して出力する出力装置とを備えた合成画像プリント装置において、
   前記被写体画像に対して合成する複数の化粧画像及び当該化粧画像を合成する化粧範囲を示す基本図形とを予め記憶する記憶手段と、
   前記被写体画像を表示した表示画面に前記入力装置が接触したことを検出し、前記入力装置の移動軌跡に応じて、前記基本図形を変形させることにより化粧範囲を設定し、当該化粧範囲に対し、任意に選択された化粧画像の合成を行う画像編集手段と
   を備えることを特徴とする合成画像プリント装置。
2. 前記入力装置が検出した移動軌跡に応じて、前記基本図形を変形させることにより化粧範囲を設定すると共に複数の化粧処理を同時に展開することを特徴とする請求項１に記載の合成画像プリント装置。
3. 前記画像編集手段は、
   前記被写体画像について化粧対象となる顔の両目及び口の位置の指定を受付け、各指定位置情報を取得して化粧対象となる顔領域を設定する顔領域設定手段と、
   前記各指定位置情報に基づき、任意に選択された化粧部分を特定し、当該化粧部分を拡大表示するとともに、当該化粧部分に対応する化粧画像種別を表示する化粧部分表示手段と
   を有することを特徴とする請求項１に記載の合成画像プリント装置。
4. 前記画像編集手段は、
   設定された前記化粧範囲に対し、任意の選択に応じて化粧範囲を変更する化粧範囲変更手段を有することを特徴とする請求項１に記載の合成画像プリント装置。
5. 前記画像編集手段は、
   設定した前記化粧範囲に対し、任意の選択に応じて変更した化粧画像を合成する化粧画像変更手段を有することを特徴とする請求項１に記載の合成画像プリント装置。
6. 前記化粧画像変更手段は、
   設定された前記化粧範囲に対し、色濃度の濃淡階調を変化させて着色した化粧画像の合成を行う手段を有することを特徴とする請求項５に記載の合成画像プリント装置。
7. 前記画像編集手段は、
   前記化粧画像の種別毎に設定され、任意に選択された各化粧画像の全部又は一部を消去する消去手段を有することを特徴とする請求項１に記載の合成画像プリント装置。
8. 前記画像編集手段は、
   各化粧画像の種別に応じて予め設定された表示順により、各化粧画像を合成して表示することを特徴とする請求項１に記載の合成画像プリント装置。
9. 被写体を撮影するカメラと、撮影した被写体画像を表示する表示装置と、表示された被写体画像に対する編集操作を行う入力装置と、編集された被写体画像を写真シールに印刷して出力する出力装置とを備えた合成画像プリント装置において、
   画像編集手段として、前記被写体画像を表示した表示画面に前記入力装置が接触したことを検出し、前記入力装置の指定した点を含む所定範囲内のＲＧＢ値に基づき算出した明るさをヒストグラム化して、修正必要箇所を特定し、当該修正必要箇所の上下左右の四方向から抽出した任意の点の肌色に基づき生成した置換色により、前記修正必要箇所の色を置き換える手段を有することを特徴とする合成画像プリント装置。
10. 撮影手段で撮影した被写体画像を画面に表示して、入力装置による編集操作に応じて前記被写体画像を編集し、前記被写体画像を写真シールに印刷する手段を備えた合成画像プリント装置における画像編集方法であって、
    前記被写体画像に対して合成する複数の化粧画像と当該化粧画像を合成する化粧範囲を示す基本図形とを予め記憶手段に記憶し、
    前記入力装置が前記被写体画像を表示した画面に接触したことを検出して、当該入力装置の移動軌跡に応じて前記基本図形を変形させることにより、化粧範囲を設定する第１のステップと、
    設定した化粧範囲に対し、任意に選択された化粧画像を合成する第２のステップと
    を備えることを特徴とする画像編集方法。
11. 前記第２のステップにおいて、前記入力装置の移動軌跡に応じて、前記第１のステップで設定した化粧範囲に対し、種別の異なる複数の化粧画像を同時に展開することを特徴とする請求項１０に記載の画像編集方法。
12. 前記第１のステップの前処理として、
    前記被写体画像について化粧対象となる顔の両目及び口の位置の指定を受付け、各指定位置情報を取得して化粧対象となる顔領域を設定するステップと、
    前記各指定位置情報に基づき、任意に選択された化粧部分を特定し、当該化粧部分を拡大表示するとともに、当該化粧部分に対応する化粧画像種別を表示するステップと
    をさらに備えることを特徴とする請求項１０に記載の画像編集方法。
13. 前記第２のステップにおいて、
    前記第１のステップで設定した化粧範囲について、任意の選択に応じて化粧範囲を変更し、当該化粧範囲に化粧画像を合成するステップをさらに備えることを特徴とする請求項１０に記載の画像編集方法。
14. 前記第１のステップで設定した化粧範囲に対し、前記第２のステップで合成した化粧画像に替えて、任意に選択された化粧画像を合成するステップをさらに備えることを特徴とする請求項１０に記載の画像編集方法。
15. 前記第２のステップにおいて、
    前記第１のステップで設定した化粧範囲に対し、色濃度の濃淡階調を変化させて着色した化粧画像の合成を行うステップをさらに備えることを特徴とする請求項１０に記載の画像編集方法。
16. 予め前記化粧画像の種別毎に消去手段を設定し、
    前記第２のステップで合成した化粧画像について、任意に選択された消去手段に対応する種別の化粧画像の一部又は全部を消去するステップをさらに備えることを特徴とする請求項１０に記載の画像編集方法。
17. 前記第２のステップにおいて前記化粧範囲に合成した化粧画像について、化粧画像の種別毎に予め設定された表示順により、各化粧画像を合成して表示することを特徴とする請求項１０に記載の画像編集方法。
18. 撮影手段で撮影した被写体画像を画面に表示して、入力装置による編集操作に応じて前記被写体画像を編集し、前記被写体画像を写真シールに印刷する手段を備えた合成画像プリント装置における画像編集方法であって、
    前記入力装置が前記被写体画像を表示した画面に接触したことを検出し、前記入力装置の指定した点を含む所定範囲内のＲＧＢ値に基づき算出した明るさをヒストグラム化して、修正必要箇所を特定する第１のステップと、
    当該修正必要箇所の上下左右の四方向から抽出した任意の点の肌色に基づき、置換色を生成し、前記修正必要箇所の色を置き換える第２のステップと
    を備えることを特徴とする画像編集方法。
19. 前記被写体画像に対する画像編集方法として、
    任意の選択に応じて、前記化粧画像の合成を行う化粧処理と他の画像編集処理とのいずれか一方又は双方を行うことを特徴とする請求項１０に記載の画像編集方法。
20. 前記化粧処理は、
    前記被写体画像に設定された顔領域の各化粧部分について、任意に選択された化粧部分に対し、任意に選択された順序により行うことを特徴とする請求項１９に記載の画像編集方法。
    
    
    

Images