JP2021039655A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】撮影した画像をシール紙に印刷する一連のゲームを提供する写真作成ゲーム機に適用することができる、より自然な形で目の印象を変えることができる画像処理装置を提供する。【解決手段】画像処理装置（写真シール作成装置）の編集処理部４０３は、利用者を被写体として撮影して得られた撮影画像に写る利用者の黒目を検出し、利用者による操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する黒目処理部４３３Ａを備えている。【選択図】図１９

Description

本技術は、特に、より自然な形で目の印象を変えることができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

従来、写真シール作成装置が知られている。写真シール作成装置は、利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供するものである。写真シール作成装置は遊戯施設などに設置される。

写真シール作成装置が提供する１ゲームの流れは、通常、撮影空間内にいる利用者を被写体として撮影を行った後、利用者を編集空間に移動させ、編集空間内で行われる操作に従って画像を編集して、編集済みの画像をシール紙に印刷するものとなる。撮影空間での撮影時、ストロボ光を照射することによって、利用者の目の黒目部分にキャッチライトを写り込ませた状態で撮影が行われる。

例えば特許文献１には、撮影画像に写る利用者の黒目部分を所定の色で塗りつぶし、色を変えた黒目部分に、キャッチライトを表現した画像を描画する技術が開示されている。

特開２０１４−１８２６７２号公報 特開２０１３−０５５３７２号公報

目の印象を変えるために黒目部分の色を画像処理によって変更した場合、変更後の黒目部分の見え方が不自然になってしまうことがある。

本技術はこのような状況に鑑みてなされたものであり、より自然な形で目の印象を変えることができるようにするものである。

本技術の一側面の画像処理装置は、利用者を被写体として撮影して得られた撮影画像に写る前記利用者の黒目を検出する検出部と、前記利用者による操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する画像処理部とを備える。

本技術の一側面においては、利用者を被写体として撮影して得られた撮影画像に写る前記利用者の黒目が検出され、前記利用者による操作に応じて、黒目の色と、黒目の縁の濃さとがそれぞれ変更される。

本技術によれば、より自然な形で目の印象を変えることができる。

本技術の写真シール作成装置の外観の構成例を示す斜視図である。 写真シール作成装置の外観を他の角度から見た斜視図である。 利用者の移動について説明する図である。 事前選択部の構成例を示す図である。 撮影部の構成例を示す斜視図である。 撮影部の構成例を示す斜視図である。 カメラの角度調整の例を示す図である。 背景部の構成例を示す図である。 操作部の構成例を示す図である。 編集ユニットの正面側の構成例を示す図である。 カーテンの取り付け例を示す図である。 カーテンの裏面のデザイン例を示す図である。 鏡面部の利用例を示す図である。 編集ユニットの側面の構成例を示す図である。 編集画像のレイヤ構造の例を示す図である。 写真シール作成装置の構成例を示すブロック図である。 写真シール作成装置の機能構成例を示すブロック図である。 図１７の撮影処理部の構成例を示すブロック図である。 図１７の編集処理部の構成例を示すブロック図である。 図１９の編集用画像生成部の構成例を示すブロック図である。 領域の検出の例を示す図である。 図２０のまつげ処理部の構成例を示すブロック図である。 逆さまつげの除去の例を示す図である。 まつげ画像の変形の例を示す図である。 まつげ画像の合成の例を示す図である。 写真シール作成装置の動作について説明するフローチャートである。 図２６のステップＳ３において行われる編集処理について説明するフローチャートである。 落書き前自撮りの案内画面の表示例を示す図である。 編集画面の例を示す図である。 図２７のステップＳ４２において行われる編集用画像生成処理について説明するフローチャートである。 図３０のステップＳ６４において行われるまつげ処理について説明するフローチャートである。 メイクツールの選択中の編集パレットを拡大して示す図である。 アイカラーツールによって生成される画像の例を示す図である。 アイカラーツール選択時の画像処理に用いられるマスク画像の例を示す図である。 黒目領域の色の変更の例を示す図である。 目の輪郭の濃さの調整の例を示す図である。 目の輪郭の濃さの調整の他の例を示す図である。

＜写真シール作成装置の外観＞
図１および図２は、写真シール作成装置１の外観の構成例を示す斜視図である。

写真シール作成装置１は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置１は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりすることで、利用者に画像を提供する。写真シール作成装置１は、ゲームセンターなどのアミューズメント施設や店舗に設置される。

写真シール作成装置１の利用者は、主に女子高生や若い女性が中心とされる。写真シール作成装置１において、１組あたり主に２人や３人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置１において、１人の利用者がゲームを楽しむこともできる。

写真シール作成装置１において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。

写真シール作成装置１は、写真作成ゲームを提供する写真作成ゲーム機ということができる。

図１に示すように、写真シール作成装置１は、基本的に、撮影ユニット１１と編集ユニット１２が接した状態で設置されることによって構成される。撮影ユニット１１と編集ユニット１２は電気的に接続される。

撮影ユニット１１は、人が中に入ることができる程度の大きさを有する箱形状の筐体を有し、事前選択部２０、撮影部２１、および背景部２２から構成される。事前選択部２０は、撮影部２１の側面に設置される。事前選択部２０の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影部２１と背景部２２は所定の距離だけ離して設置される。撮影部２１と背景部２２の間に形成される空間が、撮影処理が行われる撮影空間となる。

事前選択部２０は、事前選択処理として、写真シール作成装置１によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を行ったりする。事前選択部２０には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択部２０は、撮影空間の空き状況に応じて、事前選択空間にいる利用者を撮影空間へと案内する。

撮影部２１は、利用者を被写体として撮影するための装置である。撮影部２１は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影部２１の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。

撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影部２１の左側面が側面パネル４１Ａにより構成され、右側面が側面パネル４１Ｂにより構成される。さらに、撮影部２１の正面が正面パネル４２により構成される。側面パネル４１Ａには、上述した事前選択部２０が設置される。なお、事前選択部２０が、側面パネル４１Ｂに設置されるようにしてもよい。

背景部２２は、背面パネル５１、側面パネル５２Ａ、および側面パネルから構成される。背面パネル５１は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル５２Ａは、背面パネル５１の左端に取り付けられ、側面パネル４１Ａより横幅の狭い板状の部材である。側面パネル５２Ｂは、背面パネル５１の右端に取り付けられ、側面パネル４１Ｂより横幅の狭い板状の部材である。

側面パネル４１Ａと側面パネル５２Ａは、ほぼ同一平面に設けられる。側面パネル４１Ａと側面パネル５２Ａの上部は、板状の部材である連結部２３Ａによって連結される。側面パネル４１Ａと側面パネル５２Ａの下部は、床面に設けた例えば金属製の部材である連結部２３Ａ’によって連結される。側面パネル４１Ｂと側面パネル５２Ｂも同様に、ほぼ同一平面に設けられる。側面パネル４１Ｂと側面パネル５２Ｂの上部は、連結部２３Ｂによって連結される。側面パネル４１Ｂと側面パネル５２Ｂの下部は、連結部２３Ｂ’によって連結される。

側面パネル４１Ａと側面パネル５２Ａは、撮影空間の左側面を囲む部材となり、側面パネル４１Ｂと側面パネル５２Ｂは、撮影空間の右側面を囲む部材となる。

撮影空間の床には、板状の部材である床材２７が敷かれる。

側面パネル４１Ａ、連結部２３Ａ、および側面パネル５２Ａに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル４１Ｂ、連結部２３Ｂ、および側面パネル５２Ｂに囲まれることによって形成される開口も撮影空間の出入り口となる。

撮影空間の天井の一部には、ビニル素材の部材や板状の部材からなる天井シート２４が設けられる。

編集ユニット１２は、撮影画像に編集を施すための装置である。編集ユニット１２は、一方の側面が撮影部２１の正面パネル４２に接するようにして、撮影ユニット１１に連結して設けられる。

図２に示す編集ユニット１２の構成を正面側の構成とすると、編集ユニット１２の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、２組の利用者が同時に編集作業を行うことができる。

編集ユニット１２の正面側は、垂直な面６１と、面６１の上方に形成された斜面６２から構成される。斜面６２には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面６２の右側には、照明装置６４の一端を支持する柱状の支持部６３Ａが設けられる。斜面６２の左側には、照明装置６４の他端を支持する柱状の支持部６３Ｂが設けられる。支持部６３Ａの上面にはカーテンレール２６を支持する支持部６５が設けられる。

編集ユニット１２の上方にはカーテンレール２６が取り付けられる。カーテンレール２６は、３本のレール２６Ａ乃至２６Ｃを組み合わせて構成される。

３本のレール２６Ａ乃至２６Ｃは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール２６Ａとレール２６Ｂの一端は、連結部２３Ａと連結部２３Ｂにそれぞれ固定され、レール２６Ａとレール２６Ｂの他端は、レール２６Ｃの両端にそれぞれ固定される。

カーテンレール２６には、編集ユニット１２の正面前方の空間と背面前方の空間が外から見えないようにするためのカーテンが取り付けられる。カーテンレール２６に取り付けられたカーテンにより囲まれる編集ユニット１２の正面前方の空間と背面前方の空間が、利用者が編集作業を行う編集空間となる。

編集ユニット１２の側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット１２の側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。

＜利用者の移動について＞
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。

図３は、写真シール作成装置１を上から見た平面図である。

利用者は、事前選択部２０の前方の空間である事前選択空間Ａ０において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って事前選択作業を行う。例えば、利用者は、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。

事前選択作業を終えた利用者は、白抜き矢印＃１で示すように、側面パネル４１Ａと側面パネル５２Ａの間の出入り口Ｇ１から、撮影部２１と背景部２２の間に形成された撮影空間Ａ１に入る。利用者は、撮影部２１に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。

撮影作業を終えた利用者は、白抜き矢印＃２で示すように出入り口Ｇ１から撮影空間Ａ１を出て編集空間Ａ２−２に移動するか、または、白抜き矢印＃３で示すように出入り口Ｇ２から撮影空間Ａ１を出て編集空間Ａ２−１に移動する。

編集空間Ａ２−１は、編集ユニット１２の正面側の編集空間である。一方、編集空間Ａ２−２は、編集ユニット１２の背面側の編集空間である。利用者が編集空間Ａ２−１と編集空間Ａ２−２のいずれの空間に移動するのかは、撮影部２１のタッチパネルモニタの画面表示などによって案内される。例えば２つの編集空間のうちの空いている方が移動先として案内される。

編集空間Ａ２−１または編集空間Ａ２−２に移動した利用者は、編集作業を開始する。編集空間Ａ２−１の利用者と、編集空間Ａ２−２の利用者は同時に編集作業を行うことができる。編集空間Ａ２−１と編集空間Ａ２−２を区別する必要がない場合、適宜、まとめて編集空間Ａ２という。

編集作業が終了した後、編集画像の印刷が開始される。編集空間Ａ２−１での編集作業を終えた利用者は、白抜き矢印＃５で示すように編集空間Ａ２−１から印刷待ち空間Ａ３に移動する。また、編集空間Ａ２−２での編集作業を終えた利用者は、白抜き矢印＃４で示すように編集空間Ａ２−２から印刷待ち空間Ａ３に移動する。

印刷待ち空間Ａ３に移動した利用者は、印刷が終わるのを待つ。印刷が終了すると、利用者は、編集ユニット１２の側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。

次に、各装置の構成について説明する。

＜事前選択部の構成＞
図４は、事前選択部２０の構成例を示す図である。

事前選択部２０の上側にはタッチパネルモニタ７１が設けられる。タッチパネルモニタ７１は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ７１は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ７１には、利用者の人数の選択に用いられる画面などが表示される。

タッチパネルモニタ７１の下方にはスピーカ７２が設けられる。スピーカ７２は、事前選択処理の案内音声、BGM(Back Ground Music)、効果音などを出力する。スピーカ７２の隣に、利用者が硬貨を入れる硬貨投入返却口７３が設けられる。

＜撮影部の構成＞
図５および図６は、撮影部２１の構成例を示す斜視図である。

撮影部２１は、側面パネル４１Ａ、側面パネル４１Ｂ、および正面パネル４２に囲まれるようにして構成される。

正面パネル４２の略中央には箱状のカメラユニット８１が設けられる。カメラユニット８１の正面には、カメラ９１とタッチパネルモニタ９２が設けられる。カメラ９１の右側には、スマートフォンホルダ９３が設けられる。

カメラ９１は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット８１の内部に取り付けられる。カメラ９１は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有する。カメラ９１は、撮影空間Ａ１にいる利用者を被写体として撮影を行う撮影部として機能する。

また、カメラ９１は、上下方向の首振り機能（角度調整機能）を有する。

図７は、カメラ９１の角度調整の例を示す図である。

図７に示すように、カメラ９１は、カメラユニット８１の内部において姿勢を変えることによって、光軸の向きを上下方向に調整することが可能とされる。図７において、破線矢印はレンズの光軸の向きを表す。

図７Ａ乃至Ｃに示すように、例えば、写真シール作成装置１の接地面と略水平な方向を上限とし、下限となる所定の下向きの角度までの範囲で、カメラ９１の角度を調整することが可能とされる。

このようなカメラ９１の角度の調整は、後述するように、撮影を行っている利用者の操作に従って電動で行われる。利用者は、カメラ９１の角度を好みの角度に調整して、撮影を行うことができる。

カメラ９１により取り込まれた動画像に基づいて生成されたライブビュー画像は、タッチパネルモニタ９２に表示される。所定のタイミングでカメラ９１により取り込まれた静止画像は撮影画像として保存される。

タッチパネルモニタ９２はカメラ９１の下方に設けられる。タッチパネルモニタ９２は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ９２は、カメラ９１により取り込まれたライブビュー画像を表示するライブビューモニタとしての機能と、各種のGUIを表示して利用者の選択操作を受け付ける機能を備えている。

カメラ９１の右側には、スマートフォンの置き場となるスマートフォンホルダ９３が設けられる。スマートフォンホルダ９３は、スマートフォンを横向きで置くのに十分な長さとなるように形成される。

利用者は、自分のスマートフォンをスマートフォンホルダ９３に置き、スマートフォンを利用して、ゲーム中の自身の様子を動画像や静止画像として撮影することができる。

カメラユニット８１の上方には、カメラユニット８１の位置（カメラ９１の位置）を基準として左に偏った状態で上ストロボユニット８２が設置される。上ストロボユニット８２は、カメラユニット８１の上方と左上方の略全体を覆うようにして設けられる。

上ストロボユニット８２の正面は、斜め下方を向くように前傾したパネルと、その下方に設けられ、略垂直面を構成するパネルとから構成される。上ストロボユニット８２の正面が、透光性を有する乳白色の板状の部材を用いた発光面として構成される。上ストロボユニット８２は、カメラ９１による撮影に合わせて発光し、利用者の正面左上方から、主に利用者の顔と上半身にストロボ光を照射する。

カメラユニット８１の下方には、主に利用者の下半身および足元にストロボ光を照射する足元ストロボユニット８３が設けられる。

足元ストロボユニット８３は、正面視において横長長方形となる正面全体が発光面となるように、側面パネル４１Ａと側面パネル４１Ｂとの間に隙間なく形成される。足元ストロボユニット８３の上面は、写真シール作成装置１の設置面と略水平な面であり、撮影作業を行う利用者が手荷物などを置くための荷物置き場として用いられる。

上ストロボユニット８２と足元ストロボユニット８３の内部には、常時点灯する電球とストロボ発光管が設けられる。上ストロボユニット８２と足元ストロボユニット８３は、電球を発光させることによって撮影空間内を常時照らすとともに、撮影タイミングに合わせてストロボ発光管を発光させることによって、被写体となる利用者にストロボ光を照射する。

なお、正面パネル４２の天井付近にはスピーカが設けられる。スピーカからは、撮影処理の案内音声、BGM、効果音などが出力される。スピーカが背景部２２に設けられるようにしても良い。

図８は、背景部２２の撮影空間Ａ１側の構成例を示す図である。

背面パネル５１の内側には、緑色などの所定の色のシートが貼り付けられる。撮影された画像に写る緑色の領域を検出することによってクロマキー処理が行われ、人物の領域が検出される。

背面パネル５１の左端に取り付けられる側面パネル５２Ｂの内側には操作部５３が設けられる。

操作部５３は、図９に示すように、カメラ９１の向きを上方向または下方向に調整するときに押下される角度調整ボタン５３Ａと、撮影を停止するときに押下される撮影停止ボタン５３Ｂとから構成される。

カメラ９１による撮影は、１０秒間隔などの所定の間隔で連続して行われる。撮影停止ボタン５３Ｂは、その連続撮影を一時的に停止させるために押下される。利用者は、連続撮影を一時的に停止させている状態で、角度調整ボタン５３Ａを押下し、カメラ９１の角度を調整することができる。

操作部５３が側面パネル５２Ｂに設けられていることにより、カメラ９１に顔を向けている利用者の立ち位置は、無意識のうちに、撮影空間Ａ１において右側に僅かに寄った位置となる。撮影空間Ａ１において操作部５３の対角となる正面左側の位置に設けられた上ストロボユニット８２から立ち位置までの距離を確保することにより、適切な光量の光によって、上ストロボユニット８２から利用者を照射することが可能となる。

側面パネル５２Ｂに設けられた操作部５３は、利用者の立ち位置を無意識のうちに誘導する機能をも有する。操作部５３が側面パネル５２Ａ側に設けられるようにしてもよい。

＜編集ユニットの構成＞
図１０は、編集ユニット１２の正面側（図３の編集空間Ａ２−１側）の構成例を示す図である。背面側（図３の編集空間Ａ２−２側）にも同様の構成が設けられる。

斜面６２のほぼ中央にはタブレット内蔵モニタ１３１が設けられる。タブレット内蔵モニタ１３１の左側にはタッチペン１３２Ａが設けられる。タブレット内蔵モニタ１３１の右側にはタッチペン１３２Ｂが設けられる。

タブレット内蔵モニタ１３１には、例えば、編集作業に用いられる編集画面が表示される。２人の利用者が同時に編集作業を行う場合、タッチペン１３２Ａはタブレット内蔵モニタ１３１に向かって左側にいる利用者により用いられ、タッチペン１３２Ｂはタブレット内蔵モニタ１３１に向かって右側にいる利用者により用いられる。

なお、タッチペン１３２Ａを用いた操作とタッチペン１３２Ｂを用いた操作は識別される。適宜、タブレット内蔵モニタ１３１の左側の表示に対してはタッチペン１３２Ａを用いた操作のみが可能とされ、右側の表示に対してはタッチペン１３２Ｂを用いた操作のみが可能とされる。以下、適宜、タッチペン１３２Ａとタッチペン１３２Ｂを区別する必要がない場合、まとめてタッチペン１３２という。

照明装置６４の下方であって、照明装置６４を支持する柱状の支持部６３Ａと支持部６３Ｂの間には、アクリルミラー板などにより構成される鏡面部６６が設けられる。鏡面部６６は略垂直な面を形成する。

図１０においては、鏡面となる鏡面部６６の範囲が色を付して示されている。鏡面部６６の横方向の幅は、タブレット内蔵モニタ１３１の横方向の幅より広い幅となる。鏡面部６６には、編集空間Ａ２−１にいる利用者の顔付近を含めて、編集空間Ａ２−１の内部の様子が写り込むことになる。

図１１は、カーテンの取り付け例を示す図である。

図１１に示すように、編集ユニット１２の上方のカーテンレール２６には、編集空間Ａ２が外から見えないようにするためのカーテン取り付けられる。図１１の例においては、レール２６Ｃにカーテン１１１が取り付けられ、編集ユニット１２の正面側のレール２６Ｂにカーテン１１２が取り付けられている。編集ユニット１２の背面側のレール２６Ａにも、カーテン１１２と同様のカーテンが取り付けられる。

ビニル素材のカーテン１１１、カーテン１１２の表面には、写真シール作成装置１が目立つように所定のデザインが施される。また、カーテン１１１とカーテン１１２のうち、少なくともカーテン１１２には、表面だけでなく裏面（編集空間Ａ２−１側の面）にも、所定のデザインが施される。

図１２は、カーテン１１２の裏面のデザイン例を示す図である。

図１２に示すように、カーテン１１２の裏面には、キャラクタや文字がプリントされることによってデザインが施される。

図１２の例においては、キャラクタである鳥のイラストと花のイラストからなるデザインが施されている。カーテン１１２の上方には、花に囲まれた「Happy!」の文字が、左右反転した状態でプリントされている。他のイラストがプリントされたり、風景や人物の写真がプリントされるといったように、カーテン１１２の裏面のデザインは任意である。

編集空間Ａ２−１にいる利用者は、図１２に示すようなデザインが施されたカーテン１１２に自分の背中を向けて立つことになる。利用者の前方にある鏡面部６６には、利用者の背景として、カーテン１１２のデザインも写り込む。

図１３は、鏡面部６６の利用例を示す図である。

図１３に示すように、編集空間Ａ２−１にいる利用者は、自分のスマートフォンのカメラを鏡面部６６に向けて、鏡面部６６に写っている自分の様子を撮影することができる。図１３の例においては利用者が１人だけ示されているが、２人でゲームを行っている場合、２人で撮影を行うことができる。

すなわち、鏡面部６６は、編集空間Ａ２−１にいる利用者が、いわゆる自撮り（自分撮り）を鏡越しで行うために用意されるものである。

カーテン１１２の裏面には上述したようなデザインが施されているから、利用者は、カーテン１１２に施されたデザインを自分の背景にして自撮りを行うことができる。また、左右反転の状態でプリントされているカーテン１１２の文字は、図１３に示すように、正転した状態で鏡面部６６に写り込む。自撮りによって得られた画像には、カーテン１１２にプリントされた文字が、正転した状態で写ることになる。

利用者は、編集空間Ａ２−１での自撮りによって撮影した画像を、自分が利用しているSNS(Social Networking Service)のサイトにアップロードし、友達などに見せることができる。

このように、写真シール作成装置１は、撮影空間Ａ１において撮影を行うだけでなく、編集空間Ａ２においても撮影を行うことが可能な装置である。後述するように、編集の開始時、自撮りを行うことが利用者に対して案内される。撮影を終えて編集空間Ａ２に移動した利用者に対しては、編集の前に、自撮りを行う時間が確保される。

なお、編集空間Ａ２−１側に取り付けられるカーテン１１２の裏面のデザインと、編集空間Ａ２−２側に取り付けられるカーテン１１２の裏面のデザインが異なるデザインであってもよい。利用者は、いずれのデザインのカーテン１１２が設置された方の編集空間Ａ２に案内されるのかを楽しむことができる。

カーテン１１２の裏面のデザインとして、商品やサービスの広告などがプリントされるようにしてもよい。

図１４は、編集ユニット１２の側面の構成例を示す図である。

編集ユニット１２の側面の下側にはシール紙排出口１６１が設けられる。編集ユニット１２の内部にはプリンタが設けられている。プリンタにより、編集空間Ａ２−１において編集作業を行った利用者が写る画像、または、編集空間Ａ２−２において編集作業を行った利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口１６１から排出される。

＜編集画像のレイヤ構造＞
図１５は、編集画像のレイヤ構造の例を示す図である。

左端の編集画像Ｐ１が編集によって生成される画像である。編集画像Ｐ１は、基本的に、背景画像Ｐ１１、人物画像Ｐ１２、前景画像Ｐ１３の各レイヤの画像から構成される。各種の画像処理の対象となるレイヤも適宜設定される。

図１５の例において、背景画像Ｐ１１は、単色の画像である。前景画像Ｐ１３は、「Love my friend」の手書き文字の画像とハート型の画像を含む画像である。「Love my friend」の手書き文字の画像は、ペンツールを用いて利用者によって入力されたペン画像である。また、ハート型の画像は、スタンプツールを用いて利用者によって入力されたスタンプ画像である。

このように、編集画像Ｐ１は、撮影画像からクロマキー処理によって抽出した人物の領域の画像である人物画像Ｐ１２を背景画像Ｐ１１に重ね、その上に前景画像Ｐ１３を重ねることによって生成される。ペン画像やスタンプ画像を背景画像Ｐ１１上に入力し、被写体の背景に表示させるようにすることも可能とされる。撮影画像に対しては、前景画像や背景画像が合成されることもあるし、編集処理を経たとしても利用者の操作によっては合成されないこともある。

図１５の例においては、人物画像Ｐ１２として、利用者の略胸付近から上の範囲が大きく写る画像が示されている。撮影処理においては、このように顔が大きく写る撮影画像であるアップ画像が撮影される。アップ画像の撮影は例えば複数回行われる。利用者の全身が写る全身画像の撮影が行われるようにしてもよい。

＜写真シール作成装置の内部構成＞
図１６は、写真シール作成装置１の構成例を示すブロック図である。図１６において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１６に示すように、写真シール作成装置１は、PC(Personal Computer)部３０１に対して、事前選択部３０２、撮影部３０４、編集部３０５Ａ，３０５Ｂ、および印刷部３０６が外部入出力インタフェース３０３を介して接続されることによって構成される。情報処理部であるPC部３０１は、例えば編集ユニット１２の筐体内部に搭載される。

PC部３０１を構成するCPU(Central Processing Unit)３１１、ROM(Read Only Memory)３１２、RAM(Random Access Memory)３１３は、バス３１４により相互に接続される。

CPU３１１は、所定のプログラムを実行し、写真シール作成装置１の全体の動作を制御する。ROM３１２は、CPU３１１が実行するプログラムやデータを記憶する。RAM３１２は、CPU３１１が処理するデータやプログラムを一時的に記憶する。

バス３１４には、さらに、入出力インタフェース３１５が接続される。入出力インタフェース３１５には、記憶部３１６、通信部３１７、およびドライブ３１８が接続される。

記憶部３１６は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部３１６は、CPU３１１から供給された各種の設定情報などを記憶する。記憶部３１６に記憶されている情報はCPU３１１により適宜読み出される。

通信部３１７は、インターネットなどのネットワークのインタフェースである。通信部３１７は、CPU３１１による制御に従って外部の装置と通信を行う。通信部３１７は、利用者により選択された画像を、例えば写真シール作成装置１のメーカーが管理する画像管理サーバに送信する。通信部３１７から送信された画像は、所定の記憶領域が割り当てられて保存され、画像管理サーバにアクセスしてきた携帯端末上で表示されたり、携帯端末にダウンロードされたりする。

ドライブ３１８には、光ディスクや半導体メモリなどよりなるリムーバブルメディア３１９が適宜装着される。ドライブ３１８によりリムーバブルメディア３１９から読み出されたプログラムやデータは、CPU３１１に供給され、記憶部３１６に記憶されたり、インストールされたりする。

入出力インタフェース３１５には外部入出力インタフェース３０３が接続される。PC部３０１による各部の制御が、外部入出力インタフェース３０３を介して行われる。

事前選択部３０２は、事前選択空間Ａ０にいる利用者を対象とした事前選択処理を行う。事前選択部３０２は、タッチパネルモニタ７１、スピーカ７２、および硬貨処理部３２１から構成される。

タッチパネルモニタ７１は、PC部３０１による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、各種の設定が行われる。

硬貨処理部３２１は、硬貨投入返却口７３への硬貨の投入を検出する。硬貨処理部３２１は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部３０１に出力する。

撮影部３０４は、撮影空間Ａ１にいる利用者を対象とした撮影処理を行う。撮影部３０４は、操作部５３、カメラ９１、カメラ駆動部９１Ａ、タッチパネルモニタ９２、照明装置３３１、およびスピーカ３３２から構成される。

操作部５３は、角度調整ボタン５３Ａ、撮影停止ボタン５３Ｂに対する利用者の操作に応じて、利用者の操作を表す信号をPC部３０１に出力する。

カメラ９１は、PC部３０１によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像（画像データ）をPC部３０１に出力する。

カメラ駆動部９１Ａは、PC部３０１による制御に従って、カメラ９１の上下方向の角度を調整する。

照明装置３３１は、撮影空間Ａ１内の各ストロボユニットであり、PC部３０１から供給される照明制御信号に従って発光する。照明装置３３１には、上ストロボユニット８２と足元ストロボユニット８３が含まれる。

スピーカ３３２は、撮影空間Ａ１の各位置に設けられたスピーカにより構成される。

編集部３０５Ａは、編集空間Ａ２−１にいる利用者を対象とした編集処理を行う。編集部３０５Ａは、タブレット内蔵モニタ１３１、タッチペン１３２Ａ，１３２Ｂ、およびスピーカ３４１から構成される。編集部３０５Ｂは、編集空間Ａ２−２にいる利用者を対象とした編集処理を行い、編集部３０５Ａと同一の構成を有する。以下、適宜、編集部３０５Ａ，３０５Ｂをまとめて編集部３０５という。

タブレット内蔵モニタ１３１は、PC部３０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、編集対象となる撮影画像が編集される。

印刷部３０６は、プリンタ３５１を含むように構成される。プリンタ３５１にはシール紙ユニット３５２が装着される。

プリンタ３５１は、内蔵するヘッド３６１を駆動し、PC部３０１から供給された印刷データに基づいて、シール紙ユニット３５２に収納されているロール状のシール紙３６３に画像を印刷する。また、プリンタ３５１は、画像を印刷したシール紙３６３をカッター３６２によって所定のカット位置でカットして、シール紙排出口１６１に排出する。

＜写真シール作成装置の機能構成例＞
図１７は、写真シール作成装置１の機能構成例を示すブロック図である。図１７に示す機能部のうちの少なくとも一部は、CPU３１１により所定のプログラムが実行されることによって実現される。

写真シール作成装置１においては、事前選択処理部４０１、撮影処理部４０２、編集処理部４０３、および印刷処理部４０４が実現される。

事前選択処理部４０１は、事前選択部３０２の各部を制御することで、事前選択処理を実行する。事前選択処理により、利用者の人数の選択などが行われる。利用者による選択内容を表す情報は撮影処理部４０２に供給される。

撮影処理部４０２は、撮影部３０４の各部を制御することで撮影処理を行う。撮影処理部４０２は、撮影処理を行うことによって得られた撮影画像のデータを編集処理部４０３に出力する。撮影処理部４０２から編集処理部４０３に対しては、撮影を複数回行うことによって得られた複数枚の撮影画像のデータが供給される。

編集処理部４０３は、編集部３０５の各部を制御することで編集処理を行う。編集処理には、撮影画像に写る利用者の目の大きさを調整するための画像処理、撮影画像に対して編集を施すための画像処理などが含まれる。

撮影画像の編集後、編集処理部４０３は、分割数の選択に用いられる画面、画像管理サーバに送信する画像の選択に用いられる画面などの各種の画面をタブレット内蔵モニタ１３１に表示する。編集処理部４０３は、利用者により選択された分割数に従って各編集画像を配置することによって印刷データを生成し、印刷処理部４０４に出力する。また、編集処理部４０３は、利用者により選択された編集画像を画像管理サーバに送信する。

印刷処理部４０４は、プリンタ３５１に印刷データを出力し、編集画像の印刷を行う。

＜撮影処理部の詳細構成＞
図１８は、撮影処理部４０２の構成例を示すブロック図である。

撮影処理部４０２は、撮影制御部４１１、画像処理部４１２、表示制御部４１３、および画像記憶部４１４から構成される。

撮影制御部４１１は、カメラ９１を制御することによって動画像の撮影を行い、撮影を行うことによって得られた画像を画像処理部４１２に出力する。撮影制御部４１１から出力された動画像はライブビュー画像の生成に用いられる。

また、撮影制御部４１１は、カウントダウンに合わせて静止画像の撮影を行い、撮影を行うことによって得られた静止画像を画像処理部４１２に出力する。撮影制御部４１１から出力された静止画像は撮影画像の生成に用いられる。

画像処理部４１２は、撮影制御部４１１から供給された動画像の各フレームから矩形領域をトリミングにより切り出し、切り出した画像からなる動画像を生成する。画像処理部４１２により生成された動画像は、ライブビュー画面に表示するライブビュー画像として用いられる。

また、画像処理部４１２は、撮影制御部４１１から供給された静止画像から矩形領域をトリミングにより切り出すことによって、所定の画角の撮影画像を生成する。画像処理部４１２により生成された撮影画像は、画像記憶部４１４に供給され、記憶される。

表示制御部４１３は、ライブビュー画面などの、タッチパネルモニタ９２の各種の画面の表示を制御する。

画像記憶部４１４は、画像処理部４１２により生成された撮影画像を記憶する。撮影処理が終了した場合、画像記憶部４１４に記憶された撮影画像は編集処理部４０３に供給される。

＜編集処理部の詳細構成＞
図１９は、図１７の編集処理部４０３の構成例を示すブロック図である。

編集処理部４０３は、選択受付部４３１、編集用画像生成部４３２、編集制御部４３３、表示制御部４３４、印刷データ生成部４３５、および通信制御部４３６から構成される。編集制御部４３３には黒目処理部４３３Ａと輪郭調整部４３３Ｂが含まれる。

選択受付部４３１は、タブレット内蔵モニタ１３１に表示された画面に対する利用者の操作を受け付ける。選択受付部４３１により受け付けられた利用者の操作の内容を表す情報は、編集制御部４３３と表示制御部４３４に供給される。

編集用画像生成部４３２は、撮影処理部４０２から供給された撮影画像に基づいて、編集用の撮影画像を生成する。例えば、画像処理部４１２（図１８）によるトリミング後のそれぞれの画像を原画として、レタッチ処理などの各種の処理を原画に対して施して得られた画像が、編集用の撮影画像となる。編集用画像生成部４３２により生成された編集用の撮影画像は、編集制御部４３３と表示制御部４３４に供給される。

編集制御部４３３は、選択受付部４３１から出力された情報に基づいて、編集用画像生成部４３２から供給された編集用の撮影画像の編集を行う。編集は、手書きの文字やスタンプ画像などの合成用画像を、編集対象となっている撮影画像に合成する画像処理である。

編集用画像生成部４３２により行われるレタッチ処理が、利用者による選択内容に応じた画像処理を複数の撮影画像のそれぞれに一括して施す処理であるのに対して、編集は、利用者による選択内容に応じた画像処理を、そのとき編集対象となっている１枚の撮影画像に施す処理である。レタッチ処理時、目の大きさなどを撮影画像毎に選択することができるようにしてもよい。

編集制御部４３３は、編集結果を表す情報を表示制御部４３４に出力し、編集画面の表示に反映させる。

編集制御部４３３は、編集が終了した場合、編集を施して得られた撮影画像である編集画像を印刷データ生成部４３５と通信制御部４３６に出力する。

編集制御部４３３の黒目処理部４３３Ａは、編集画面に対する利用者の操作に応じて、撮影画像に写るそれぞれの利用者の黒目の色を変更する処理である黒目処理を行う。

編集制御部４３３の輪郭調整部４３３Ｂは、編集画面に対する利用者の操作に応じて画像処理を行い、編集用の撮影画像に写る利用者の特定の部位を強調させる。例えば、目全体、または、黒目部分などの目の一部を強調させるための画像処理が輪郭調整部４３３Ｂにより行われる。

表示制御部４３４は、利用者による操作に用いられる操作画面をタブレット内蔵モニタ１３１に表示し、利用者の操作に応じて操作画面の表示を制御する。表示制御部４３４には、編集用画像生成部４３２から出力された撮影画像、編集制御部４３３から出力された編集画像などが供給される。表示制御部４３４に供給された各種の画像は操作画面の表示に用いられる。

印刷データ生成部４３５は、編集制御部４３３から供給された編集画像を所定のレイアウトで配置することによって印刷データを生成する。印刷データ生成部４３５は、印刷データを印刷処理部４０４に出力し、シール紙３６３に印刷させる。

通信制御部４３６は、通信部３１７を制御し、編集制御部４３３から供給された編集画像を画像管理サーバに送信する。

図２０は、編集用画像生成部４３２の構成例を示すブロック図である。

編集用画像生成部４３２は、領域検出部４５１、レタッチ処理部４５２、性別判定部４５３、まつげ処理部４５４、および縮小部４５５により構成される。

撮影処理部４０２から供給された撮影画像は、領域検出部４５１、レタッチ処理部４５２、および性別判定部４５３に入力される。編集用画像生成部４３２の各部による処理は、それぞれの撮影画像を対象として行われる。

領域検出部４５１は、撮影画像に写る人物である利用者の領域を検出するとともに、利用者の各部位の領域を検出する。例えば、利用者の顔の領域、顔を構成する部位としての目、まぶた、鼻、唇、頬の領域、髪の毛の領域などが領域検出部４５１により検出される。

図２１は、領域の検出の例を示す図である。

２人の女性が写る撮影画像Ｐ１０１が供給された場合、それぞれの利用者を対象として、顔や、顔の各部位の領域の検出が行われる。例えば左側に写る利用者からは、左右のそれぞれの目の領域を含む各領域が検出される。

左側に写る利用者の右目の領域に注目した場合、図２１の左側に拡大して示すように、黒目領域Ａ１１と、黒目領域Ａ１１の左右の白目領域Ａ１２，Ａ１３がそれぞれ検出される。

白目領域Ａ１２は、鼻に近い方の白目の領域であり、白目領域Ａ１３は、耳に近い方の白目の領域である。位置ｐ１は目頭の位置を表し、位置ｐ２は目尻の位置を表す。黒目領域Ａ１１には、上ストロボユニット８２と足元ストロボユニット８３の発光により、それぞれの形状や大きさに応じたキャッチライトが写り込む。

黒目領域と白目領域の検出は、例えば、ニューラルネットワークなどにより構成される予測モデルに基づいて行われる。領域検出部４５１に対しては、機械学習によってあらかじめ生成された、目の各領域を検出するための予測モデルが用意されている。

領域検出部４５１に用意される予測モデルは、例えば、撮影画像を入力とし、目の各領域のマスク画像、目の周りの肌の領域のマスク画像を出力とするモデルである。予測モデルから出力されたマスク画像により、黒目領域と白目領域の各領域の位置、大きさ、形状などが表される。

黒目領域と白目領域の検出が、予測モデルを用いるのではなく、画像を解析することによって抽出された各領域の特徴量に基づくマッチングにより行われるようにしてもよい。この場合、黒目領域と白目領域の各領域の特徴量を表すデータが領域検出部４５１には用意される。

目の各領域だけでなく、顔全体や、顔の他の各部の領域についても、機械学習によって生成された予測モデルを用いて検出されるようにしてもよい。また、特徴量に基づくマッチングにより検出されるようにしてもよい。

図２０の領域検出部４５１は、以上のようにして検出した各領域の情報をレタッチ処理部４５２とまつげ処理部４５４に出力する。領域検出部４５１から出力される情報により、撮影画像に写るそれぞれの利用者の左右の目の黒目領域と白目領域の位置、大きさ、形状などが表される。領域検出部４５１による検出結果を表す情報は、後段の編集制御部４３３にも供給される。

レタッチ処理部４５２は、撮影画像に対してレタッチ処理を施す。レタッチ処理は、顔の輪郭の調整、目の大きさの調整などの、撮影画像に写る利用者の特定の部位に対する画像処理である。画像処理の対象となる各領域が、領域検出部４５１から供給される情報により特定される。レタッチ処理が施された撮影画像は、まつげ処理部４５４に供給される。

肌の明るさの調整などの他の処理がレタッチ処理として行われるようにしてもよい。特定の部位に対する処理ではなく、画像全体を対象としたフィルタ処理などの他の画像処理が行われるようにしてもよい。

性別判定部４５３は、撮影画像に写るそれぞれの利用者の性別を判定し、判定結果を表す情報をまつげ処理部４５４に出力する。性別判定部４５３による判定についても、機械学習によって生成された予測モデルに基づいて行われるようにしてもよいし、画像を解析することによって抽出された各領域の特徴量に基づくマッチングにより行われるようにしてもよい。

まつげ処理部４５４は、レタッチ処理部４５２から供給された撮影画像に写るそれぞれの利用者のまつげ（睫毛）を強調する画像処理であるまつげ処理を行う。まつげ処理は、性別判定部４５３による判定結果に基づいて、例えば女性だけを対象として行われる。まつげ処理が施されることによってまつげが強調された撮影画像は、縮小部４５５に供給される。まつげ処理部４５４により行われるまつげ処理については後に詳述する。

縮小部４５５は、まつげ処理部４５４から供給された撮影画像を縮小することによって、編集用の撮影画像を生成する。撮影画像の縮小は、例えば画素を間引き、撮影画像を構成する画素数を減らすことによって行われる。縮小部４５５により生成された編集用の撮影画像は、編集制御部４３３などに供給される。

このように、編集用画像生成部４３２においては、レタッチ処理とまつげ処理は、縮小前の原画に対して施されることになる。データ量の多い撮影画像を対象として、精細な処理を施すことが可能となる。

図２２は、図２０のまつげ処理部４５４の構成例を示すブロック図である。

まつげ処理部４５４は、逆さまつげ除去部４６１、変形部４６２、合成部４６３、およびまつげ強調処理部４６４により構成される。

レタッチ処理部４５２から供給されたレタッチ処理後の撮影画像は逆さまつげ除去部４６１に入力される。また、領域検出部４５１により検出された各領域の情報は、まつげ処理部４５４の各部に入力される。性別判定部４５３による性別の判定結果を表す情報は、変形部４６２と合成部４６３に入力される。

逆さまつげ除去部４６１は、撮影画像に写る利用者の目に逆さまつげがある場合、逆さまつげを画像処理によって除去する。逆さまつげは、上まつげのうち、下向きになって生えていて白目領域にかかっているまつげ、および、下まつげのうち、上向きになって生えていて白目領域にかかっているまつげである。白目領域の位置などについては、領域検出部４５１から供給された情報に基づいて特定される。

図２３は、逆さまつげの除去の例を示す図である。

図２３の左側に破線の円Ｃ１で囲んで示すように白目領域Ａ１３にまつげがかかって写っている場合、逆さまつげ除去部４６１は、まつげを構成する画素を、周りの白目領域Ａ１３の画素で置き換える（補間する）ことによって、図２３の右側に示すように逆さまつげを除去する。

白目領域Ａ１３にまつげがかかって写っていることは、白目領域の標準の色として設定された白色以外の色の画素が白目領域Ａ１３内にある場合に、その画素を異常画素として検出することによって特定される。逆さまつげ除去部４６１には、白目領域の標準の色を表す情報があらかじめ設定されている。

逆さまつげ除去部４６１においては、標準の色以外の色の画素である異常画素を、周りにある白色の画素で補間することによって、逆さまつげの除去が行われる。

白色以外の色の画素を異常画素として検出し、白色の画素で補間する処理が逆さまつげ除去部４６１において行われるため、結果的に、充血して赤くなっている部分なども除去されることになる。

以上のようにして逆さまつげが除去された撮影画像が逆さまつげ除去部４６１から出力される。撮影画像に写る利用者の目に逆さまつげがない場合、逆さまつげ除去部４６１に入力された撮影画像はそのまま出力される。

変形部４６２は、逆さまつげ除去部４６１から供給された撮影画像に写る利用者が女性である場合、その利用者の目の上側の輪郭の形状に合わせて、まつげ画像を変形させる。変形部４６２には、まつげを表現したテクスチャ画像であるまつげ画像があらかじめ記憶されている。変形部４６２による変形後のまつげ画像が、撮影画像に写る利用者の目の部分に対する合成に用いられる。

図２４は、まつげ画像の変形の例を示す図である。

変形部４６２は、図２４の左上に示すような、デフォルトの形状のまつげ画像Ｐ１１１を有している。撮影画像に写る利用者の例えば右目Ｅ_Rの上側の輪郭の形状が、図２４の左下に示す位置ｐ１から位置ｐ２までの曲線で表される場合、変形部４６２は、まつげ画像Ｐ１１１を位置ｐ１−位置ｐ２間の曲線の特定の区間の形状に合わせて変形させ、図２４の右側に示す、変形後のまつげ画像Ｐ１１１’を生成する。位置ｐ１−位置ｐ２間の曲線は、領域検出部４５１から供給された情報に基づいて特定される。

変形部４６２は、以上のようにして変形したまつげ画像を合成部４６３に出力する。デフォルトのまつげ画像が複数用意されており、変形に用いられるまつげ画像が選択されるようにしてもよい。まつげ画像の選択が、利用者により行われるようにしてもよいし、まつげ処理部４５４において自動的に行われるようにしてもよい。

図２２の合成部４６３は、逆さまつげ除去部４６１から供給された撮影画像に写る女性の利用者の目の上側の輪郭に沿って、変形部４６２により変形されたまつげ画像を合成する。

図２５は、まつげ画像の合成の例を示す図である。

図２５の左上に示すような変形後のまつげ画像Ｐ１１１’が供給された場合、合成部４６３は、図２５の右側に示すように、まつげ画像Ｐ１１１’を右目Ｅ_Rの上側の輪郭に沿って合成する。右目Ｅ_Rの上側の輪郭の位置は、領域検出部４５１から供給された情報に基づいて特定される。

以上のようなまつげ画像の合成が左目についても同様にして行われる。左目に対するまつげ画像の合成は、例えば、右目用として用意されたまつげ画像Ｐ１１１を用いて行われる。

この場合、変形部４６２は、まつげ画像Ｐ１１１の左右を反転させ、左右反転後のまつげ画像Ｐ１１１の形状を、左目の上側の形状に合わせて変形させる。合成部４６３は、変形部４６２による変形後のまつげ画像Ｐ１１１を左目の上側の輪郭に沿って合成する。

このように、左目に対するまつげ画像の合成には、右目用として用意されたまつげ画像の左右を反転させた画像が用いられる。左目に対する処理が右目用の画像を用いて行われるため、用意しておく必要があるまつげ画像の数を減らすことができる。反対に、左目用のまつげ画像が用意されており、右目に対する処理が、左目用の画像を用いて行われるようにしてもよい。当然、右目用と左目用のそれぞれのまつげ画像が用意されるようにしてもよい。

以上のようなまつげ画像の合成は、撮影画像に写るそれぞれの女性を対象として行われる。合成部４６３は、まつげ画像の合成後の撮影画像を図２２のまつげ強調処理部４６４に出力する。

まつげ強調処理部４６４は、合成部４６３から供給された撮影画像に写るまつげを画像処理によって強調させる。例えば、上まつげと下まつげの１本１本を太くする処理や、色を濃くする処理が行われる。まつげ強調処理部４６４は、まつげを強調した撮影画像を出力する。

＜写真シール作成装置の動作＞
ここで、図２６のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の動作について説明する。図２６の処理は、例えば、所定の金額分の硬貨が投入されたときに開始される。

ステップＳ１において、事前選択処理部４０１は、事前選択部３０２を制御することで事前選択処理を行う。事前選択処理により、例えば、利用者の人数の選択、撮影コースの選択などが行われる。いずれの選択も、タッチパネルモニタ７１に表示される選択画面を用いて行われる。

ステップＳ２において、撮影処理部４０２は、撮影部３０４を制御することで撮影処理を行う。

例えば、撮影処理部４０２は、立ち位置の誘導を行った後、カメラ９１により取り込まれた動画像に基づいて、ライブビュー画面をタッチパネルモニタ９２に表示させる。また、撮影処理部４０２は、ライブビュー画面を表示させた後、撮影空間Ａ１にいる利用者を被写体として静止画像の連続撮影を行う。

ステップＳ３において、編集処理部４０３は、編集空間Ａ２−１と編集空間Ａ２−２のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部３０５を制御することで編集処理を行う。

例えば、編集処理部４０３は、タブレット内蔵モニタ１３１に編集画面を表示させ、撮影画像に対して利用者に編集作業を行わせる。編集画面には、編集対象の撮影画像とともに、撮影画像に合成する合成用画像を選択するときに操作されるボタンなどが表示される。編集処理の詳細については図２７のフローチャートを参照して後述する。

ステップＳ４において、印刷処理部４０４は、プリンタ３５１を制御することで、印刷処理を行う。印刷処理部４０４は、編集処理部４０３により生成された印刷データをプリンタ３５１に出力してシール紙３６３に印刷させる。

印刷が終了した場合、ステップＳ５において、プリンタ３５１は、カッター３６２で切り離したシール紙３６３をシール紙排出口１６１に排出する。

写真シール作成装置１の利用者の各グループに対しては、以上のような一連の処理からなる写真作成ゲームが提供される。あるグループの利用者に続けて他のグループの利用者が写真シール作成装置１の利用を開始した場合、写真シール作成装置１の利用を先に始めた利用者の写真シール作成ゲームと、後から始めた利用者の写真シール作成ゲームとが適宜並行して行われることになる。適宜、写真シール作成ゲームを単にゲームともいう。

＜編集処理＞
次に、図２７のフローチャートを参照して、図２６のステップＳ３において行われる編集処理について説明する。

ステップＳ４１において、編集処理部４０３の表示制御部４３４（図１９）は、落書き前自撮りの案内画面をタブレット内蔵モニタ１３１に表示させる。ここでいう落書きは、撮影画像の編集のことを意味する。編集は、タッチペン１３２を用いて、撮影画像を落書きするようにして行われる。

図２８は、落書き前自撮りの案内画面の表示例を示す図である。

図２８に示すように、落書き前自撮りの案内画面の左側には、モデルの人物が鏡面部６６越しに自撮りを行っている様子を表す画像が表示される。案内画面の右側には、自撮りによって得られた画像のサンプル画像が表示される。それぞれの画像の下には、画像の内容を説明するメッセージが表示される。

このような案内画面を表示させることにより、鏡面部６６を用いてどのような自撮りを行うことができるのかを利用者に分かりやすく伝えることができる。

編集空間Ａ２に移動してきた利用者は、案内画面に従って、自分のスマートフォンを用意し、鏡面部６６越しに自撮りを行う。

図２７の説明に戻り、ステップＳ４２において、編集用画像生成部４３２は編集用画像生成処理を行う。編集用画像生成処理により、それぞれの撮影画像を元にして編集用の撮影画像が生成される。

撮影処理においては、例えば最大８枚の撮影画像の撮影が行われる。撮影画像の枚数が多いため、それぞれの撮影画像に基づいて行われる編集用の撮影画像の生成には一定の時間が必要になる。編集用の撮影画像の生成は、編集前の自撮り用に確保された時間を利用して行われる。利用者は、編集用の撮影画像の生成が行われている間も、退屈せずに待つことができる。

利用者が自撮りを行っている間に行われる編集用画像生成処理の詳細については図３０のフローチャートを参照して後述する。

ステップＳ４３において、表示制御部４３４は、キープ画像の選択画面をタブレット内蔵モニタ１３１に表示させる。図２８の案内画面に代えてキープ画像の選択画面がタブレット内蔵モニタ１３１に表示されることにより、利用者は自撮りを終え、タブレット内蔵モニタ１３１の表示に従ってキープ画像の選択を行う。

キープ画像は、実際に編集する撮影画像である。キープ画像として選択可能な撮影画像の枚数は例えば４枚として設定されている。キープ画像の選択画面には、レタッチ処理が施された撮影画像が並べて表示される。選択画面を用いて行われる選択は、最大８枚の撮影画像の中から４枚の撮影画像を選択するようにして行われる。

４枚などの所定の枚数のキープ画像が選択された場合、ステップＳ４４において、表示制御部４３４は、編集画面をタブレット内蔵モニタ１３１に表示させる。編集画面には、編集対象となる撮影画像とともに、編集に用いられるスタンプ画像やペン画像などの各種の編集ツール（合成用画像）を選択するときに押下されるボタンなどが表示される。

図２９は、タブレット内蔵モニタ１３１に表示される編集画面の例を示す図である。

編集画面には、編集領域５０１Ｌ，５０１Ｒがそれぞれ左右に並べて設けられる。編集領域５０１Ｌ，５０１Ｒの間には、キープ画像として選択された撮影画像のサムネイルが表示されるサムネイル表示領域５０２が設けられる。

また、編集領域５０１Ｌ，５０１Ｒそれぞれの下方には、編集パレット５０３Ｌ，５０３Ｒが設けられる。編集パレット５０３Ｌ，５０３Ｒの間には、編集パレット５０３Ｌ，５０３Ｒに表示される編集ツールのカテゴリを選択するためのカテゴリ選択ボタン群５０４が設けられる。

このような構成により、編集画面においては、編集対象として選択された撮影画像の編集入力が２人の利用者によって個別に受け付けられる。

以下において、編集領域５０１Ｌ，５０１Ｒ、編集パレット５０３Ｌ，５０３Ｒをそれぞれ区別しない場合には、単に、編集領域５０１、編集パレット５０３という。

編集領域５０１は、編集入力を行う対象として選択されたキープ画像（編集対象画像）の表示領域である。利用者は、タッチペン１３２を用いて編集ツールを選択し、編集領域５０１に表示されたキープ画像の編集を行う。

サムネイル表示領域５０２は、キープ画像を表すサムネイルの表示領域である。利用者は、サムネイル表示領域５０２に表示されているサムネイルを選択することによって、編集入力を行うキープ画像を選択する。

編集パレット５０３は、ペンツール、くっつきツール、スタンプツール、メイクツールなどの各種の編集ツールの選択に用いられるアイコンなどが表示される領域である。なお、くっつきツールは、顔の認識結果に基づいた位置に所定の画像を合成するときに用いられる編集ツールである。また、メイクツールは、目、唇、頬などを対象として、メイクを模した画像処理を施すときに用いられる編集ツールである。

カテゴリ選択ボタン群５０４は、編集パレット５０３に表示させる編集ツールのカテゴリを切り替えるときに押下されるボタンから構成される。

図２９の例においては、タブレット内蔵モニタ１３１に向かって左側の利用者によりカテゴリ選択ボタン群５０４のペンボタンが選択されている。編集パレット５０３Ｌには、ペンツールを選択するためのアイコンなどが表示される。

また、右側の利用者によりカテゴリ選択ボタン群５０４のメイクボタンが選択されている。編集パレット５０３Ｒには、メイクツールを選択するためのボタンなどが表示される。

サムネイル表示領域５０２の下には、スマートフォンの外観を模した２つの携帯おまけボタン５０５Ｌ，５０５Ｒが並べて表示される。携帯おまけボタン５０５Ｌ，５０５Ｒが操作された場合、携帯おまけの作成を行うときに用いられるボタンなどが表示される。なお、携帯おまけは、携帯端末の待ち受け画面に表示されたり、SNSにアップロードされたりする画像など、携帯端末上で用いられることを前提とした画像である。作成された携帯おまけは、携帯端末への送信専用の画像として画像管理サーバに送信される。

サムネイル表示領域５０２の上にはBGM選択領域５０６が表示される。BGM選択領域５０６は、編集作業中のBGMの選曲や音量の調整を行うときに操作される。

図２７の説明に戻り、ステップＳ４５において、編集制御部４３３は、編集画面に対する利用者の操作に応じて、編集対象となる撮影画像に編集を施す。編集が施されることによって生成された編集画像は印刷データ生成部４３５に供給される。

終了ボタンが操作されるなどして編集が終了した場合、ステップＳ４６において、表示制御部４３４は、分割数選択画面をタブレット内蔵モニタ１３１に表示させる。

分割数選択画面は、シールレイアウトの選択に用いられる画面である。シールレイアウトは、１枚のシール紙３６３に配置される編集画像の枚数や位置、大きさを決定するレイアウト（配置パターン）である。シール紙３６３には、利用者により選択されたシールレイアウトに従って配置された編集画像が印刷される。

ステップＳ４７において、表示制御部４３４は、送信画像選択画面をタブレット内蔵モニタ１３１に表示させる。

利用者は、画像管理サービスを利用するためには会員登録を行う必要があり、会員には有料会員と無料会員がある。有料会員は画像管理サーバに送信された全ての画像を取得して自分の携帯端末にダウンロードしたりすることができるのに対して、無料会員は１枚の画像だけを取得することができる。送信画像選択画面は、無料会員が取得する１枚の画像を選択するのに用いられる画面である。なお、画像管理サービスは、ゲームにおいて作成され、写真シール作成装置１から画像管理サーバに送信された画像を利用者に提供するサービスである。

ステップＳ４８において、編集処理部４０３は、メールアドレス入力画面をタブレット内蔵モニタ１３１に表示させる。

メールアドレス入力画面は、利用者のメールアドレスの入力に用いられる画面である。メールアドレス入力画面には、メールアドレスに用いることが可能なアルファベットや記号、スマートフォンなどの携帯電話機のキャリアを選択するためのボタンなどが表示される。

ステップＳ４９において、通信制御部４３６は、編集画像を画像管理サーバに送信する。画像管理サーバに対しては、適宜、撮影画像も送信される。すなわち、編集画像だけでなく、編集画像の元になった撮影画像も画像管理サーバに対して送信される。

また、画像管理サーバに対しては、写真シール作成装置１の機器ID、撮影日時、送信画像選択画面からどの画像が選択されたのかを表す情報なども送信される。

ステップＳ５０において、印刷データ生成部４３５は、利用者により選択されたレイアウトで編集画像を配置することによって印刷データを生成する。印刷データは印刷処理部４０４に供給され、編集画像の印刷に用いられる（図２６のステップＳ４）。

ステップＳ５１において、表示制御部４３４は、案内画面をタブレット内蔵モニタ１３１に表示させることによって、編集作業を終えた利用者に対して、印刷待ち空間Ａ３への移動を案内する。印刷待ち空間Ａ３への移動の案内は、スピーカ３４１から音声を出力することによっても行われる。

その後、図２６のステップＳ３に戻り、それ以降の処理が行われる。

以上のように、写真シール作成装置１のゲームにおいては、撮影空間Ａ１だけでなく、編集空間Ａ２においても撮影を行うことが可能とされる。利用者は、編集空間Ａ２にいてゲームを行っている自分達の様子を自撮りによって残しておくことができる。

＜編集用画像生成処理＞
次に、図３０のフローチャートを参照して、図２７のステップＳ４２において行われる編集用画像生成処理について説明する。

ステップＳ６１において、性別判定部４５３は、撮影画像に写るそれぞれの利用者の性別を判定する。

ステップＳ６２において、レタッチ処理部４５２は、撮影画像に対してレタッチ処理を施す。レタッチ処理部４５２によるレタッチ処理は、撮影処理時にタッチパネルモニタ９２に表示されたレタッチ画面を用いて選択された内容に従って行われる。

例えば、レタッチ処理部４５２は、撮影画像に写る利用者の目を検出し、検出した目の大きさを調整する処理をそれぞれの撮影画像を対象として行う。レタッチ処理部４５２は、目の大きさの調整以外の複数種類の画像処理を、それぞれの撮影画像を対象として行う。

ステップＳ６３において、領域検出部４５１は、撮影画像に写る利用者の目の領域を検出する。

ステップＳ６４において、まつげ処理部４５４は、撮影画像に写っているまつげを強調する画像処理であるまつげ処理を行う。まつげ処理の詳細については図３１のフローチャートを参照して後述する。

ステップＳ６５において、縮小部４５５は、まつげ処理部４５４から供給された撮影画像を縮小して編集用の撮影画像を生成する。

ステップＳ６６において、編集用画像生成部４３２は、全ての撮影画像の処理が終わったか否かを判定し、まだ処理が終わっていない撮影画像があると判定した場合、ステップＳ６１以降の処理を繰り返し実行する。

全ての撮影画像の処理が終わったとステップＳ６６において判定した場合、図２７のステップＳ４２に戻り、それ以降の処理が行われる。

＜まつげ処理＞
次に、図３１のフローチャートを参照して、図３０のステップＳ６４において行われるまつげ処理について説明する。

ステップＳ８１において、まつげ処理部４５４は、性別判定部４５３による性別の判定結果に基づいて、処理対象になっている撮影画像に女性が写っているか否かを判定する。

上述したように、まつげを強調する画像処理であるまつげ処理は、女性だけを対象として行われ、男性を対象としては行われない。処理対象になっている撮影画像に女性が写っていない、すなわち、撮影画像に写っている利用者全員が男性であるとステップＳ８１において判定された場合、図３１のステップＳ８２以降の処理はスキップされる。

これにより、男性のまつげを強調するような画像処理が行われるのを防ぐことが可能となる。

ステップＳ８２以降の処理のうちの少なくとも一部の処理が、男性を対象として行われるようにしてもよい。

処理対象になっている撮影画像に女性が写っているとステップＳ８１において判定された場合、処理はステップＳ８２に進む。複数の女性が写っている場合、１人ずつ注目してステップＳ８２以降の処理が行われる。

ステップＳ８２において、逆さまつげ除去部４６１は、目の領域のうちの白目領域に含まれる異常画素を検出し、周辺画素で補間することによって逆さまつげを除去する。

ステップＳ８３において、変形部４６２は、図２４を参照して説明したようにして、目の上側の輪郭の形状に合わせて、まつげ画像を変形させる。

ステップＳ８４において、合成部４６３は、変形部４６２により変形されたまつげ画像を、撮影画像に写る、処理対象の女性の目の上側の輪郭に沿って合成する。

ここで、処理対象の女性の両方の目が開いている場合、両目に対してまつげ画像の合成が行われる。例えば、閾値となる度合いより目の開きの度合いが低い場合（閉じている場合）、まつげ画像の合成を含むまつげを強調する処理が、その閉じている目を対象としては行われないようにしてもよい。

ウインクなどをして閉じている目を対象としてまつげの強調が行われるとした場合、不自然な見栄えになる可能性があるが、そのようなことを防ぐことが可能となる。

ステップＳ８５において、まつげ強調処理部４６４は、まつげを画像処理によって強調させる。例えば、上まつげと下まつげを検出し、その１本１本を太くしたり、濃くしたりすることによって、まつげの強調が行われる。まつげの１本１本を太くしたり、濃くしたりする処理は、上まつげとして合成されたまつげ画像を構成するまつげの１本１本に対しても施される。

すなわち、この例においては、上まつげに対しては、まつげ画像の合成に加えて、さらに、１本１本を太くしたりする処理が施されることになる。また、上まつげと下まつげは、それぞれ異なる処理によって強調されることになる。

その後、図３０のステップＳ６４に戻り、それ以降の処理が行われる。

以上のように、撮影画像に写る女性に対するまつげの強調は、テンプレートとして用意されたまつげ画像をそのまま合成するのではなく、目の輪郭の形状に合わせて変形させたまつげ画像を合成するようにして行われる。

撮影時の表情などにより、それぞれの利用者の目の形状は異なるものとなる。それぞれの利用者の目の形状に合わせて変形させたまつげ画像を合成することにより、より自然な形でまつげを強調させ、目を大きく見せることが可能となる。

また、まつげ画像の合成後、上まつげと下まつげの１本１本を強調することにより、まつげ画像として合成されたまつげを、利用者の自分のまつげに馴染ませることが可能となる。

＜メイクツール機能＞
・アイカラーツール
ここで、編集画面に用意されるメイクツールを用いた編集について説明する。

図３２は、メイクツール選択中の、図２９の編集パレット５０３Ｒを拡大して示す図である。

編集パレット５０３Ｒの上には、メイクツールの選択に用いられる選択ボタン５１１−１乃至５１１−５が並べて表示される。

選択ボタン５１１−１は、小顔に見えるためのメイクを行う小顔ツールを選択するときに押下されるボタンである。

選択ボタン５１１−２は、黒目部分の色を変えるアイカラーツールを選択するときに押下されるボタンである。利用者は、アイカラーツールを使うことにより、カラーコンタクトレンズを装着しているかのようなメイクをすることができる。図３２の例においては、選択ボタン５１１−２が押下され、アイカラーツールが選択されている。

選択ボタン５１１−３は、目の輪郭の濃さを調整する輪郭濃度調整ツールを選択するときに押下されるボタンである。

選択ボタン５１１−４は、唇の色を変えるリップツールを選択するときに押下されるボタンである。選択ボタン５１１−５は、チークの色を変えるチークツールを選択するときに押下されるボタンである。

アイカラーツールが選択されている場合、図３２に示すように、編集パレット５０３Ｒの左側には顔画像領域５１２が表示される。顔画像領域５１２は、顔認識を行うことによって切り出された、撮影画像に写る利用者の顔の画像の表示領域である。

顔画像領域５１２に顔が表示されている利用者を対象として、黒目の色を変更する処理である黒目処理が黒目処理部４３３Ａ（図１９）により行われる。図３２の例においては、図２９において編集領域５０１Ｒに表示されている撮影画像に写る２人の利用者のうちの右側の利用者がアイカラーツールの対象の利用者として表示されている。

顔画像領域５１２の下には、アイカラーツールの対象とする利用者を切り替えるときに押下される切り替えボタン５１３が表示される。

顔画像領域５１２の右側には、アイカラーの選択に用いられるボタンであるカラー選択ボタン５１４−１乃至５１４−４が表示される。円形のボタンであるカラー選択ボタン５１４−１乃至５１４−４には、それぞれ、ブラウン、ショコラ、グレー、ブラックの色が割り当てられている。

例えばカラー選択ボタン５１４−１が押下された場合、編集領域５０１Ｒに表示されている撮影画像に写る利用者のうち、アイカラーツールの対象として選択されている利用者の黒目領域の色がブラウンに変更される。

また、カラー選択ボタン５１４−２が押下された場合、編集領域５０１Ｒに表示されている撮影画像に写る利用者のうち、アイカラーツールの対象として選択されている利用者の黒目領域の色がショコラに変更される。

図３３は、アイカラーツールによって生成される画像の例を示す図である。

撮影画像Ｐ１０１が編集対象として選択され、右側の利用者がアイカラーツールの対象として選択されている場合、カラー選択ボタン５１４−１乃至５１４−４が押下されることに応じて、編集領域５０１Ｒの撮影画像が、枠Ｆで囲んで示す右側の利用者の黒目領域の色が変更された撮影画像Ｐ１０１−１乃至Ｐ１０１−４に切り替えられる。

図３３の例においては同じ画像として示されているが、撮影画像Ｐ１０１−１は、右側の利用者の黒目領域の色がブラウンに変更された画像であり、撮影画像Ｐ１０１−２は、右側の利用者の黒目領域の色がショコラに変更された画像である。撮影画像Ｐ１０１−３は、右側の利用者の黒目領域の色がグレーに変更された画像であり、撮影画像Ｐ１０１−４は、右側の利用者の黒目領域の色がブラックに変更された画像である。

切り替えボタン５１３が押下される毎に、左側に写る利用者、右側に写る利用者、２人の利用者の順に、アイカラーツールの対象とする利用者が切り替えられる。

例えば、アイカラーツールの対象とする利用者が左側に写る利用者として選択されている場合、カラー選択ボタン５１４−１乃至５１４−４が押下されることに応じて、編集領域５０１Ｒの撮影画像が、左側の利用者の黒目領域の色が変更された撮影画像に切り替えられる。

また、アイカラーツールの対象とする利用者が全員である２人の利用者として選択されている場合、カラー選択ボタン５１４−１乃至５１４−４が押下されることに応じて、編集領域５０１Ｒの撮影画像が、左側と右側の２人の利用者の黒目領域の色が変更された撮影画像に切り替えられる。

このように、アイカラーツールを利用することにより、利用者は、１枚の撮影画像毎に、かつ、撮影画像に写っている利用者毎に、黒目の色を変えることができる。また、利用者は、２人の利用者の目の色を同時に変えることもできる。

図３２のカラー選択ボタン５１４−４の右下には、アイカラーツールの機能をオフにするときに押下されるオフボタン５１５が表示される。オフボタン５１５が押下された場合、編集領域５０１Ｒには、黒目処理が施されていない撮影画像が表示される。

図３４は、アイカラーツール選択時の画像処理に用いられるマスク画像の例を示す図である。

編集用の撮影画像の生成時、図３４Ａに示す撮影画像Ｐ１０１に基づいて、図３４Ｂに示すような、目の各領域を表すマスク画像が生成される。上述したように、編集用の撮影画像の生成時、編集用画像生成部４３２の領域検出部４５１（図２０）においては、機械学習により生成された予測モデルを用いて、目の各領域などを表すマスク画像Ｍが生成される。

図３４Ｂの例においては、マスク画像Ｍを構成する画素のうち、２人の利用者のそれぞれの目の輪郭、目の黒目の輪郭、およびまつげを表す画素が白色の画素によって表されている。このようなマスク画像Ｍを用いて、黒目処理部４３３Ａにより黒目処理が行われる。

図３５は、黒目領域の色の変更の例を示す図である。

アイカラーツールによって黒目の色を変更することが選択された場合、黒目処理部４３３Ａは、マスク画像Ｍを用いて、アイカラーツールの対象とする利用者の黒目領域を抽出する。図３５の上段の例においては、右目Ｅ_Rの黒目領域Ａ１１_Rと、左目Ｅ_Lの黒目領域Ａ１１_Lがマスク画像Ｍに基づいて抽出されている。

また、黒目処理部４３３Ａは、抽出した黒目領域である黒目領域Ａ１１_R，Ａ１１_Lを構成する画素の色を、ブラウン、ショコラ、グレー、ブラックの中から利用者により選択された色に変更する。図３５の下段において黒目領域Ａ１１_R，Ａ１１_Lにハッチを付して示していることは、黒目領域Ａ１１_R，Ａ１１_Lの画素の色が変更されていることを表す。

黒目領域を構成する画素の色の変更は、例えば、オリジナルの色の色相を、選択された色に応じた量だけ変更するようにして行われる。ブラウン、ショコラ、グレー、ブラックのそれぞれの色に対しては、変更の程度（量）を含む、色相の変更の仕方があらかじめ設定されている。

すなわち、選択された色に変更するのではなく、オリジナルの黒目の色を基準にして、その基準の色を、選択された色に応じて調整するようにして色の変更が行われる。

色相ではなく、明度、彩度などの他のパラメータを変更することによって、または、複数のパラメータの組み合わせを変更することによって、黒目領域の色が変更されるようにしてもよい。

黒目領域を構成する各画素に対してフィルタ処理を施したり、所定のトーンカーブを用いて輝度を調整したりするようにして色の変更が行われるようにしてもよい。

このように、黒目領域の色の変更は、黒目領域の形状と同じ形状を有する略円形の画像を撮影画像の上に合成するのではなく、撮影画像の画素の色自体を変更するようにして行われる。また、人ごとに微妙に異なるオリジナルの色を元にして、オリジナルの色を変更するようにして黒目領域の色の変更が行われる。

ブラウン、ショコラ、グレー、ブラックの中から同じ色を選択したとしても人ごとに微妙に異なる色となるため、黒目領域の印象を、違和感なく、自然な見映えがする状態で変更することが可能となる。

仮に、所定の色の円形の画像を黒目領域に合成する形で黒目領域の色の変更が行われるとした場合、人によっては、黒目領域の色が大きく変わってしまったり、目の向きやストロボ光の当たり方などに応じた見え方の違いが損なわれてしまったりすることがあるが、そのような不自然な色の変更が行われるのを防ぐことが可能となる。

・輪郭濃度調整ツール
次に、輪郭濃度調整ツールを用いて行われる目の輪郭の濃さの調整について説明する。

選択ボタン５１１−３が押下された場合、編集パレット５０３Ｒには、例えば、目の輪郭の濃さの調整に用いられるスライドバーが表示される。編集パレット５０３Ｒの左側には顔画像領域５１２が表示される。

顔画像領域５１２に顔が表示されている利用者を対象として、目の輪郭の濃さを変更する処理である輪郭濃度調整処理が輪郭調整部４３３Ｂ（図１９）により行われる。輪郭濃度調整処理も、領域検出部４５１により生成されたマスク画像Ｍを用いて行われる。

図３６は、目の輪郭の濃さの調整の例を示す図である。

目の輪郭を濃くすることが輪郭濃度調整ツールによって選択された場合、輪郭調整部４３３Ｂは、目の輪郭、目の黒目の輪郭、および、まつげを、マスク画像Ｍを用いて抽出する。

また、輪郭調整部４３３Ｂは、抽出したそれぞれの部分が濃くなるように、画素の色を調整する。例えば、抽出したそれぞれの部分を太くすることによって、または、色を濃くすることによって、目の輪郭、目の黒目の輪郭、および、まつげの調整が行われる。図３６の下段の例においては、目の輪郭、目の黒目の輪郭（左右の縁）、および、まつげが、図３６の上段の状態より濃い状態で示されている。

図３７は、目の輪郭の濃さの調整の他の例を示す図である。

目の輪郭を薄くすることが輪郭濃度調整ツールによって選択された場合、輪郭調整部４３３Ｂは、目の輪郭、目の黒目の輪郭、および、まつげを、マスク画像Ｍを用いて抽出する。

また、輪郭調整部４３３Ｂは、抽出したそれぞれの部分が薄くなるように、画素の色を調整する。例えば、抽出したそれぞれの部分を細くすることによって、または、色を薄くすることによって、目の輪郭、目の黒目の輪郭、および、まつげの調整が行われる。

このように、目の輪郭の調整は、マスク画像Ｍに基づいて、目の輪郭、目の黒目の輪郭、および、まつげを一体として調整するようにして行われる。スライドバーが複数表示され、目の輪郭、目の黒目の輪郭、および、まつげの濃さのそれぞれを調整することができるようにしてもよい。

このような輪郭濃度調整処理が、輪郭濃度調整ツールの対象とする利用者を選択して行われる。

例えば、図３２を参照して説明したように、輪郭濃度調整ツールの対象とする利用者が右側に写る利用者として選択されている場合、スライドバーが操作されることに応じて、編集領域５０１Ｒの撮影画像が、右側の利用者の目の輪郭の濃さが変更された撮影画像に切り替えられる。

同様に、輪郭濃度調整ツールの対象とする利用者が左側に写る利用者として選択されている場合、スライドバーが操作されることに応じて、編集領域５０１Ｒの撮影画像が、左側の利用者の目の輪郭の濃さが変更された撮影画像に切り替えられる。

また、輪郭濃度調整ツールの対象とする利用者が２人の利用者として選択されている場合、スライドバーが操作されることに応じて、編集領域５０１Ｒの撮影画像が、左側と右側の２人の利用者の目の輪郭の濃さが変更された撮影画像に切り替えられる。

このように、輪郭濃度調整ツールを利用することにより、利用者は、１枚の撮影画像毎に、かつ、撮影画像に写っている利用者毎に、目の輪郭の濃さを変えることができる。また、利用者は、２人の利用者の目の輪郭の濃さを同時に変えることもできる。

アイカラーツールと輪郭濃度調整ツールを合わせて利用することにより、利用者は、黒目の色については利用者毎に個別に調整し、目の輪郭などの濃さについては２人まとめて調整するといったことが可能となる。また、利用者は、黒目の色については２人まとめて調整し、目の輪郭などの濃さについては利用者毎に個別に調整するといったことが可能となる。

＜変形例＞
・他のメイクツールの例
メイクツールとして用意されるリップツール、チークツールを用いた処理が、アイカラーツールと同様にして行われるようにしてもよい。

例えば選択ボタン５１１−４が押下され、リップツールが選択された場合、リップツールの対象として選択された利用者の唇の色が、編集パレット５０３Ｒに表示されたボタンを用いて選択された色に応じて変更される。マスク画像を用いて抽出された唇領域を構成する画素の色の変更が、オリジナルの唇の色を基準にして、その基準の色を、選択された色に応じて調整するようにして行われる。

・出力先に応じた処理の切り替え
アイカラーツールによって色が変更される黒目領域は、画像全体に対して狭い領域である。仮に、黒目領域の色を変更した複数枚の画像を並べてシール紙に印刷した場合、それぞれの画像に写る黒目が小さいために、レイアウトによっては、黒目領域の色の違いを表現できないことがある。また、黒目全体が不自然な色に見えてしまうことがある。

アイカラーツールによる黒目領域の色の変更が、編集画面に表示する画像には反映され、シール紙に印刷する画像には反映されないようにしてもよい。この場合、それぞれの撮影画像を対象として、編集画面に表示する画像を生成するための処理と、シール紙に印刷する画像を生成するための処理とが、利用者の操作に応じて行われることになる。

すなわち、撮影画像Ｐ１０１が編集対象として選択されている場合において、アイカラーツールによる黒目領域の色の変更が利用者により指示された場合、黒目領域の色を変更した撮影画像Ｐ１０１が、編集画面に表示する画像として生成されるとともに、黒目領域の色を変更していない撮影画像Ｐ１０１が、シール紙に印刷する画像として生成される。

これにより、画像の出力先に応じて適切な画像を生成することができ、不自然な見え方の画像がシール紙に印刷されてしまうといったことを防ぐことが可能となる。

なお、黒目領域の色を変更した状態で編集画面に表示された撮影画像Ｐ１０１に対しては、各種の編集ツールを用いた編集が利用者の操作に応じて施される。編集については施され、黒目領域の色については変更されていない画像がシール紙には印刷されることになる。

画像の出力先が編集画面（タブレット内蔵モニタ１３１）またはシール紙であるものとしたが、他の出力先に応じて処理が切り替えられるようにしてもよい。出力先には、タッチパネルモニタ９２などの写真シール作成装置１に設けられる構成だけでなく、利用者のスマートフォンのモニタ、画像管理サーバが含まれる。

なお、画像の印刷媒体がシール紙である場合について説明したが、印刷用紙、樹脂製のカード、布などの各種の媒体がシール紙に代えて用いられるようにしてもよい。

・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１６に示されるリムーバブルメディア３１９に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３１２や記憶部３１６に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

１ 写真シール作成装置， ６６ 鏡面部， ８２ 上ストロボユニット， ９１ カメラ， ９２ タッチパネルモニタ， １３１ タブレット内蔵モニタ， ３０１ PC部， ３０２ 事前選択部， ３０４ 撮影部， ３０５ 編集部， ３０６ 印刷部， ４０１ 事前選択処理部， ４０２ 撮影処理部， ４０３ 編集処理部， ４０４ 印刷処理部， ４１１ 撮影制御部， ４１２ 画像処理部， ４１３ 表示制御部， ４１４ 画像記憶部， ４３１ 選択受付部， ４３２ 編集用画像生成部， ４３３ 編集制御部， ４３４ 表示制御部， ４３５ 印刷データ生成部， ４３６ 通信制御部， ４５１ 領域検出部， ４５２ レタッチ処理部， ４５３ 性別判定部， ４５４ まつげ処理部， ４５５ 縮小部

Claims (10)

1. 利用者を被写体として撮影して得られた撮影画像に写る前記利用者の黒目を検出する検出部と、
   前記利用者による操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する画像処理部と
   を備える画像処理装置。
2. 前記検出部は、前記撮影画像に写る複数の前記利用者のそれぞれの黒目を検出し、
   前記画像処理部は、対象とする前記利用者を選択して行われる操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する
   請求項１に記載の画像処理装置。
3. 前記撮影画像の編集時に、前記画像処理部による処理が施された前記撮影画像を編集画面に表示させる表示制御部と、
   前記編集画面に対する前記利用者の操作に応じて、前記撮影画像に対して編集を施す編集処理部と、
   前記編集処理部による編集が施され、前記画像処理部による処理が施されていない前記撮影画像を印刷媒体に印刷させる印刷部と
   をさらに備える請求項１または２に記載の画像処理装置。
4. 前記画像処理部は、黒目を構成する画素の画素値を変更することによって、黒目の色を変更する
   請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記画像処理部は、黒目を構成する画素の画素値を、前記利用者により選択された色に応じてあらかじめ設定された量だけ変更する
   請求項４に記載の画像処理装置。
6. 前記検出部は、黒目とまつげを含む目の各部を検出し、
   前記画像処理部は、前記利用者による操作に応じて、黒目の縁の濃さとともに、まつげの濃さと目の輪郭の濃さとを変更する
   請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記画像処理部は、前記撮影画像に写る複数の前記利用者のうちの、前記利用者により選択された１人の前記利用者の黒目の色を変更するとともに、前記利用者全員の黒目の縁の濃さをまとめて変更する
   請求項１に記載の画像処理装置。
8. 前記画像処理部は、前記撮影画像に写る複数の前記利用者のうちの、前記利用者により選択された１人の前記利用者の黒目の縁の濃さを変更するとともに、前記利用者全員の黒目の色をまとめて変更する
   請求項１に記載の画像処理装置。
9. 画像処理装置が、
   利用者を被写体として撮影して得られた撮影画像に写る前記利用者の黒目を検出し、
   前記利用者による操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する
   画像処理方法。
10. コンピュータに、
    利用者を被写体として撮影して得られた撮影画像に写る前記利用者の黒目を検出し、
    前記利用者による操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する
    処理を実行させるためのプログラム。

Images