以下、本発明の具体的な実施の形態について添付の図面を参照しながら説明する。なお、同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。さらに、各図面に記載した構成の形状、また、長さ、奥行および幅などの寸法は、実際の形状および寸法を反映させたものではなく、図面の明瞭化と簡略化のために適宜変更している。
本発明に係る画像処理装置を、一例である写真シール作成装置として説明する。本発明を適用する写真シール作成装置は、撮影や編集等を利用者にゲームとして行わせ、その撮影・編集した画像を、写真シールやデータとして利用者に提供するゲーム装置である。写真シール作成装置1は、例えば、ゲームセンタ、ショッピングモールおよび観光地の店舗等に設置される。
写真シール作成装置が提供するゲームにおいて、利用者は、写真シール作成装置に設けられたカメラを用いて自分自身等を撮影する。利用者は、その撮影画像に対して、前景画像および/または背景画像を合成したり、また、編集用合成用画像としてのペン画像入力やスタンプ画像入力等の編集機能(落書き編集機能)を用いたりして編集を行い、撮影画像を彩り豊かなものにデザインする。そしてゲーム終了後、利用者は、編集した画像が印刷された写真シール等を成果物として受け取る。または、写真シール作成装置は編集した画像を利用者の携帯端末に提供し、利用者は携帯端末により成果物を受け取ることもできる。
(写真シール作成装置の構成)
図1および図2は、写真シール作成装置1の外観の構成例を示す斜視図である。写真シール作成装置1は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置1は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりするためにその画像をサーバに送信することで、利用者に画像を提供する。写真シール作成装置1の利用者は、主に女子中学生および女子高校生などの若い女性が中心とされる。写真シール作成装置1において、1組当たり主に2人や3人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置1において、1人の利用者がゲームを楽しむこともできる。
写真シール作成装置1において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が華やかな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
図1に示すように、写真シール作成装置1は、基本的に、撮影ユニット11と編集ユニット12が接した状態で設置されることによって構成される。
撮影ユニット11は、事前選択操作部20、撮影操作部21、および背景部22から構成される。事前選択操作部20は、撮影操作部21の側面に設置される。事前選択操作部20の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影操作部21と背景部22は所定の距離だけ離れて設置される。撮影操作部21と背景部22の間に形成される空間が、撮影処理が行われる撮影空間となる。
事前選択操作部20は、事前選択処理として、写真シール作成装置1によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を利用者に選択させるための処理を行ったりする。事前選択操作部20には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択操作部20は、撮影空間の空き状況に応じて、適宜、事前選択空間にいる利用者を撮影空間へと案内する。
撮影操作部21は、利用者を被写体として撮影するための装置である。撮影操作部21は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影操作部21の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影操作部21の左側面が側面パネル41Aにより構成され、右側面が側面パネル41Bにより構成される。さらに、撮影操作部21の正面が正面パネル42により構成される。側面パネル41Aには、上述した事前選択操作部20が設置されるものとする。なお、事前選択操作部20は、側面パネル41Bに設置されるようにしてもよいし、側面パネル41A,41Bの両方に設置されるようにしてもよい。
背景部22は、背面パネル51、側面パネル52A、および側面パネル52Bから構成される。背面パネル51は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル52Aは、背面パネル51の左端に取り付けられ、側面パネル41Aより横幅の狭い板状の部材である。側面パネル52Bは、背面パネル51の右端に取り付けられ、側面パネル41Bより横幅の狭い板状の部材である。
側面パネル41Aと側面パネル52Aは、ほぼ同一平面に設けられる。側面パネル41Aと側面パネル52Aの上部は、板状の部材である連結部23Aによって連結される。側面パネル41Aと側面パネル52Aの下部は、床面に設けた例えば金属製の部材である連結部23A’によって連結される。側面パネル41Bと側面パネル52Bも同様に、ほぼ同一平面に設けられる。側面パネル41Bと側面パネル52Bの上部は、連結部23Bによって連結される。側面パネル41Bと側面パネル52Bの下部は、連結部23B’によって連結される。
なお、背面パネル51の撮影空間側の面には、例えば緑色のクロマキー用のシートが貼り付けられる。写真シール作成装置1は、クロマキー用のシートを背景として撮影することで、撮影処理や編集処理においてクロマキー合成を行う。これにより、利用者が所望する背景画像がシートの部分に合成される。
側面パネル41A、連結部23A、および側面パネル52Aに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル41B、連結部23B、および側面パネル52Bに囲まれることによって形成される開口も撮影空間の出入り口となる。
撮影空間の上方には、撮影操作部21の正面、連結部23A、および連結部23Bに囲まれた天井が形成される。その天井の一部に、天井ストロボユニット24が設けられる。天井ストロボユニット24の一端が連結部23Aに固定され、他端が連結部23Bに固定される。天井ストロボユニット24は、撮影に合わせて撮影空間内に向けて光を照射するストロボを内蔵する。天井ストロボユニット24の内部には、ストロボの他に蛍光灯が設けられている。これにより、天井ストロボユニット24は、撮影空間の照明としても機能する。
編集ユニット12は、撮影画像に編集を施すための装置である。編集ユニット12は、一方の側面が撮影操作部21の正面パネル42に接するようにして、撮影ユニット11に連結している。
図1に示される編集ユニット12の構成を正面側の構成とすると、編集ユニット12の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、2組の利用者が同時に編集作業を行うことができる。
編集ユニット12の正面側は、面61と、面61の上方に形成された斜面62から構成される。面61は、床面に対して垂直で、撮影操作部21の側面パネル41Aとほぼ平行な面である。斜面62には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面62の左側には、照明装置64の一端を支持する柱状の支持部63Aが設けられる。斜面62の右側には、照明装置64の他端を支持する柱状の支持部63Bが設けられる。支持部63Aの上面にはカーテンレール26を支持する支持部65が設けられる。
編集ユニット12の上方にはカーテンレール26が取り付けられる。カーテンレール26は、3本のレール26A,26B,26Cが、組み合わせられて構成される。3本のレール26A,26B,26Cは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール26Aとレール26Bの一端は、連結部23Aと連結部23Bにそれぞれ固定され、レール26Aとレール26Bの他端は、レール26Cの両端にそれぞれ接合される。
カーテンレール26には、編集ユニット12の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット12の正面前方の空間と背面後方の空間が、利用者が編集作業を行う編集空間となる。
また、後述するが、編集ユニット12の左側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット12の左側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
(利用者の移動)
ここで、画像作成ゲームの流れと、それに伴う利用者の移動について説明する。図3は、写真シール作成ゲーム中の利用者の空間移動を説明するための図である。
まず、利用者は、事前選択操作部20の前方の空間である事前選択空間A0において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って各種の設定を行う。利用者は、例えば、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。
事前選択作業を終えた利用者は、白抜き矢印#1で示すように、側面パネル41Aと側面パネル52Aの間の出入り口G1から、撮影操作部21と背景部22の間に形成された撮影空間A1に入る。そして利用者は、撮影操作部21に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。
撮影作業を終えた利用者は、白抜き矢印#2で示すように出入り口G1から撮影空間A1を出て編集空間A2−1に移動するか、または、白抜き矢印#3で示すように出入り口G2から撮影空間A1を出て編集空間A2−2に移動する。
編集空間A2−1は、編集ユニット12の正面側の編集空間である。一方、編集空間A2−2は、編集ユニット12の背面側の編集空間である。利用者が編集空間A2−1と編集空間A2−2のいずれの空間に移動するのかは、撮影操作部21のタッチパネルモニタの画面表示などによって案内される。例えば2つの編集空間のうちの空いている方が移動先として案内される。編集空間A2−1または編集空間A2−2に移動した利用者は、編集作業を開始する。編集空間A2−1の利用者と、編集空間A2−2の利用者は同時に編集作業を行うことができる。
編集作業が終了した後、編集画像の印刷が開始される。印刷が開始されると、編集空間A2−1での編集作業を終えた利用者は、白抜き矢印#4で示すように編集空間A2−1から印刷待ち空間A3に移動する。また、編集空間A2−2での編集作業を終えた利用者は、白抜き矢印#5で示すように編集空間A2−2から印刷待ち空間A3に移動する。
印刷待ち空間A3に移動した利用者は、画像の印刷の終了を待つ。印刷が終了すると、利用者は、編集ユニット12の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の画像作成ゲームを終える。
(事前選択部の構成)
次に、各装置の構成について説明する。図4は、事前選択操作部20の正面図である。
事前選択操作部20の上側にはタッチパネルモニタ71が設けられる。タッチパネルモニタ71は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ71は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ71には、撮影に関するコースの選択、編集の対象となる編集対象画像における背景となる画像の選択、作成画像のレイアウト、画像作成ゲーム中に流れるBGM(Back Ground Music)、音および音声の少なくともいずれかの選択、並びに利用者の名前の入力などを行わせる事前選択処理に用いられる画面が表示される。
撮影に関するコースは、利用者が2人で撮影を行う2人用コースと、3人以上で撮影を行う大人数コースとが用意されている。また、男女のカップルで撮影を行うカップルコースが用意されていてもよい。
タッチパネルモニタ71の下方には、スピーカ72が設けられる。スピーカ72は、事前選択処理の案内音声、BGM、効果音などを出力する。また、スピーカ72に隣接するようにして、利用者が硬貨を入れる硬貨投入返却口73が設けられる。
(撮影部の構成)
図5は、撮影部としての撮影操作部21の正面図である。撮影操作部21は、側面パネル41A、側面パネル41B、および正面パネル42に囲まれるようにして構成される。
正面パネル42の中央には、カメラユニット81が設けられる。カメラユニット81は、カメラ91および表示部としてのタッチパネルモニタ92から構成される。
カメラ91は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット81の内部に取り付けられる。カメラ91は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、撮影空間A1にいる利用者を撮影する。カメラ91により取り込まれた動画像(以下、ライブビュー表示画像ともいう)は、タッチパネルモニタ92にリアルタイムで表示される。撮影が指示されたときなどの所定のタイミングでカメラ91により取り込まれた静止画像は、撮影画像として保存される。
タッチパネルモニタ92は、カメラ91の下方に設けられる。タッチパネルモニタ92は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ92は、カメラ91により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUIを表示し利用者の選択操作を受け付ける機能を備えている。当該選択操作の具体例としては、撮影コースの選択、撮影開始および終了の指示(撮影の制御指示)、目の変形具合および色、ならびに肌の色の補正具合の選択、作成画像における背景画像となる画像の選択、ならびに画像作成ゲーム中のBGM(音・音声)の選択などが挙げられる。タッチパネルモニタ92には、カメラ91により取り込まれた動画像(ライブビュー画像)や静止画像(撮影画像)が表示される。
カメラユニット81の上方には、曲面の発光面を利用者に向けた上ストロボ82が設置される。上ストロボ82は、正面上方から利用者の顔および上半身に光を照射する。
また、カメラユニット81の下方には、利用者の下半身および足元に光を照射する足元ストロボ85が設けられる。なお、上ストロボ82と足元ストロボ85には、ストロボと蛍光灯が含まれている。
なお、図1および図5においては図示を省略するが、正面パネル42の例えば天井付近には、スピーカ93が設けられる。スピーカ93は、制御部201から出力される音声信号により、撮影処理の案内音声、BGM、効果音などを出力する。
(背景部の構成)
図6は、背景部22の撮影空間A1側の正面図である。
背面パネル51の上方には、背面上ストロボ101が設置される。背面上ストロボ101は、背面上方から利用者に光を照射する。
図中、背面パネル51の左方には、背面左ストロボ102が設置される。背面左ストロボ102は、背面右方から利用者を照射する。図中、背面パネル51の右方には、背面右ストロボ103が設置される。背面右ストロボ103は、背面左方から利用者を照射する。
また、背面パネル51の撮影空間A1側(図中、手前側)の面には、クロマキーシート121が貼り付けられていてもよい。クロマキーシート121の色は、例えば緑色とされる。
なお、図示はしないが、側面パネル52A,52Bの撮影空間A1側の面にも、クロマキーシート121と同様に、クロマキーシートが貼り付けられていてもよい。
(編集ユニットの構成)
図7は、編集ユニット12の編集空間A2−1側の正面図である。
斜面62のほぼ中央には、タブレット内蔵モニタ131が設けられる。タブレット内蔵モニタ131の左側にはタッチペン132Aが設けられる。タブレット内蔵モニタ131の右側にはタッチペン132Bが設けられる。タブレット内蔵モニタ131は、タブレットがディスプレイを露出するように設けられることによって構成される。タブレットは、タッチペン132Aまたはタッチペン132Bを用いた操作入力を可能とする。タブレット内蔵モニタ131には、例えば、編集作業に用いられる編集画面が表示される。例えば、2人の利用者が同時に編集作業を行う場合、タッチペン132Aはタブレット内蔵モニタ131に向かって左側にいる利用者により用いられ、タッチペン132Bはタブレット内蔵モニタ131に向かって右側にいる利用者により用いられる。
図8は、編集ユニット12の左側面図である。
編集ユニット12の左側面の下側にはシール紙排出口161が設けられる。編集ユニット12の内部には出力部としてのプリンタが設けられている。そのプリンタにより、編集空間A2−1の利用者が写る画像、または、編集空間A2−2の利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口161から排出される。
(写真シール作成装置の内部構成)
図9は、写真シール作成装置1の内部の構成例を示すブロック図である。図9において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
制御部201はCPU(Central Processing Unit)などにより構成される。制御部201は、ROM(Read Only Memory)206や記憶部202に記憶されているプログラムを実行し、写真シール作成装置1の全体の動作を制御する。制御部201には、記憶部202、通信部203、ドライブ204、ROM206、RAM(Random Access Memory)207が接続される。制御部201には、事前選択操作部20、撮影操作部21、背景部22、編集操作部27A,27B、および印刷操作部28の各構成も接続される。
記憶部202は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部202は、制御部201から供給された各種の設定情報などを記憶する。記憶部202に記憶されている情報は制御部201により適宜読み出される。
通信部203は、インターネットなどのネットワークのインタフェースである。通信部203は、制御部201による制御に従って外部の装置と通信を行う。通信部203は、例えば、利用者に選択された撮影画像や編集画像をサーバに送信する。通信部203から送信された画像は、サーバにおいて所定の記憶領域が割り当てられて保存され、サーバにアクセスしてきた携帯端末に表示されたり、ダウンロードされたりする。
ドライブ204には、光ディスクや半導体メモリなどよりなるリムーバブルメディア205が適宜装着される。ドライブ204によりリムーバブルメディア205から読み出されたプログラムやデータは、制御部201に供給され、記憶部202に記憶されたり、インストールされたりする。
ROM206は、制御部201において実行されるプログラムやデータを記憶する。RAM207は、制御部201が処理するデータやプログラムを一時的に記憶する。
事前選択操作部20は、事前選択空間A0にいる利用者を対象とした事前選択処理を実現する。事前選択操作部20は、タッチパネルモニタ71、スピーカ72、および硬貨処理部74から構成される。
タッチパネルモニタ71は、制御部201による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部201に供給され、各種の設定が行われる。
硬貨処理部74は、硬貨投入返却口73への硬貨の投入を検出する。硬貨処理部74は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号を制御部201に出力する。
撮影操作部21は、撮影空間A1にいる利用者を対象とした撮影処理を実現する。撮影部220は、上ストロボ82、左ストロボ83、右ストロボ84、足元ストロボ85、カメラ91、タッチパネルモニタ92、およびスピーカ93から構成される。
上ストロボ82、左ストロボ83、右ストロボ84、および足元ストロボ85は、撮影空間A1内に配置され、制御部201から供給される照明制御信号に従って発光する。
カメラ91は、制御部201によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像(画像データ)を制御部201に出力する。
編集操作部27Aは、編集空間A2−1にいる利用者を対象とした編集処理を実現する。編集操作部27Aは、タブレット内蔵モニタ131、タッチペン132A,132B、およびスピーカ133から構成される。編集操作部27Bは、編集空間A2−2にいる利用者を対象とした編集処理を実現し、編集操作部27Aと同一の構成を有する。なお、以下、編集操作部27A,27Bを特に区別しない場合には、単に、編集操作部27という。
タブレット内蔵モニタ131は、制御部201による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部201に供給され、編集対象となる撮影画像が編集される。
印刷操作部28は、印刷待ち空間A3にいる利用者に、作成画像を印刷済みのシール紙を提供する印刷処理を実現する。印刷操作部28は、プリンタ140を含むように構成される。プリンタ140にはシール紙ユニット141が装着される。
プリンタ140は、制御部201から供給された印刷データに基づいて、編集画像をシール紙ユニット141に収納されているシール紙142に印刷し、シール紙排出口161に排出する。
(写真シール作成装置の機能ブロック)
図10は写真シール作成装置1の機能ブロックを示すブロック図である。写真シール作成装置1は、事前選択部210、撮影部220、編集部230、および印刷部240として機能する。また、制御部201は、本発明の写真シール作成プログラムを実行することにより、事前選択処理部301、撮影処理部302、抽出部303、算出部304、属性判定部305、画像処理部306、合成部307、編集処理部308、および印刷処理部309として機能する。
事前選択部210は、上述した事前選択操作部20と、事前選択処理部301とを備える。事前選択処理部301は、事前選択操作部20におけるタッチパネルモニタ71、スピーカ72、および硬貨処理部74を制御することで、事前選択処理を行う。事前選択処理部301は、撮影空間A1において行われる撮影に関するコースの選択のための選択画面等をタッチパネルモニタ71に表示させる。また事前選択処理部301は、タッチパネルモニタ71に対する、利用者の操作入力を受け付ける。具体的には、事前選択処理部301は、タッチパネルモニタ71に表示された選択画面に対する選択の操作入力、および利用者の名前の入力等を受け付ける。また事前選択処理部301は、各種の選択操作を説明するガイダンスの出力を制御する。事前選択処理部301は、各種の選択操作を説明する画面をタッチパネルモニタ71に表示させたり、各種の選択操作を説明する音声をスピーカ72から出力させたりする。
撮影部220は、上述した撮影操作部21と、撮影処理部302とを備える。撮影処理部302は、撮影操作部21におけるカメラ91、タッチパネルモニタ92、およびスピーカ93を制御することで、撮影処理を行う。
撮影処理部302は、タッチパネルモニタ92に対する、利用者の操作入力を受け付ける。例えば、撮影空間A1における撮影処理は、撮影処理部302が、利用者によるタッチパネルモニタ92への接触操作を入力として受け付けることにより開始される。
撮影処理部302は、カメラ91を制御し、利用者を被写体として撮影する。撮影には、動画像と静止画像とがある。撮影処理部302は、タッチパネルモニタ92の表示を制御することにより、カメラ91に取り込まれた動画像をタッチパネルモニタ92にライブビュー表示させたり、撮影結果である静止画像を撮影画像として表示させたりする。
また、撮影処理部302は、撮影枚数、利用者の立ち位置、サンプルポーズ、目線についてのメッセージ、および撮影タイミング等を説明するインストラクション画面をタッチパネルモニタ92に表示させる。さらに、それぞれのインストラクション画面に対応するナレーションの音声、およびBGMをスピーカ93から出力させる。
抽出部303は、予め定められる顔認識技術を利用して、撮影部220で撮影された撮影画像に含まれる利用者の顔領域を抽出する。撮影画像に複数の利用者が含まれる場合、抽出部303は、各利用者の顔領域を抽出する。
算出部304は、予め定められる属性値の算出方法にしたがって、抽出部303から抽出された顔領域のデータから、利用者の特徴を表す属性の特定に利用する属性値を算出する。撮影画像に複数の利用者が含まれる場合、算出部304は、各利用者について属性値を算出する。「属性」とは、例えば、利用者の性別、年齢層、肌の色等の利用者の特徴である。ここで、男女の判定に利用される属性値、年齢層の特定に利用される属性値、肌の色の特定に利用される属性値とは異なるものとすることができる。したがって、算出部304は、各利用者について、それぞれ複数の属性値を算出してもよい。
男女の判定に利用する属性値は、男性又は女性に該当する可能性の判定に使用する値である。算出部304は、例えば、顔画像領域から特定された「利用者の顔の肌の色相、明度、彩度」、「唇の色相、明度、彩度」、「髪の毛の領域」、「前髪の長さ」等の値を利用し、男女の判定に利用する属性値を算出することができる。これは、男性よりも女性の方が肌の色が白い、唇の色が赤い、髪の毛が長い等で髪の毛の領域が広い、前髪が長い等の傾向があり、これらの情報によって男性又は女性の可能性を推定できるためである。
また、算出部304は、男女の判定に利用する属性値の算出に、「目の大きさと目の輪郭の太さの比率」を利用しても良い。例えば、メイクをしている利用者の場合、メイクをしていない利用者と比較すると、目の輪郭がはっきりする。すなわち、メイクをしている利用者の方が目の輪郭が太くなる。したがって、仮に目のサイズが同程度だとしても、メイクをしている利用者としていない利用者では、目の大きさと輪郭の太さの比率は異なる。また、目の周りにメイクをする男性はまれである。したがって、目の大きさと目の輪郭の太さの比率が所定以上である場合、利用者がメイクをしていると推定可能であり、これにより、女性の可能性が高いと考えられるためである。
さらに、算出部304は、男女の判定に利用する属性値の算出に、「口や目の輪郭とその周辺の肌の色の濃淡差」を利用しても良い。例えば、メイクをしている利用者の場合、メイクをしていない利用者と比較すると、口や目の輪郭とその周辺の肌の色の濃淡差が大きくなる。すなわち、メイクをしない場合、口や目等の顔のパーツはその他の顔の肌の色の差は大きくないが、メイクをすることで、これらの差が大きくなる。したがって、目や口等のパーツの輪郭とその周辺の肌の色の差が所定以上である場合、利用者メイクをしていると推定可能であり、これにより、女性の可能性が高いと考えられるためである。
なお、算出部304は、複数の男女の写真データを学習データとした機械学習により、男女の判定の精度を向上させることができる。特に、髪の毛の長い男性、髪の毛の短い女性、化粧をしていない女性等、平均的な情報によって男女の区別のつきにくい画像を多く学習データとして利用することで、男女判定の精度を向上させることができる。
年齢層の特定に利用する属性値として、例えば、「顔の色相、彩度、明度」、「髪の毛の色相、彩度、明度」等を用いて属性値を求める。
なお、算出部304は、複数の年齢の人物の写真データを学習データとした機械学習により、年齢層の判定の精度を向上させることができる。特に、13歳未満であるが、13歳以上と見られやすい人物、13〜23歳であるが、13歳未満又は23歳以上と見られやすい人物、23歳以上であるが、23歳未満と見られやすい人物等、異なる年齢層に見られやすい人物の画像を多く学習データとして利用することで、年齢層の判定の精度を向上させることができる。
肌の色の特定に利用する属性値として、例えば、「顔の色相、彩度、明度」等を用いる。
属性判定部305は、算出部304で算出された属性値を用いて、撮影部220で撮影された撮影画像に含まれる利用者の属性を判定する。具体的には、属性判定部305は、属性値を所定の閾値と比較して、利用者の属性を判定する。算出部304において、複数の属性について属性値を求めるとき、属性値毎に異なる閾値を利用することができる。撮影画像に複数の利用者が含まれる場合、属性判定部305は、各利用者について算出された属性値を用いて、それぞれの属性を判定する。
また、属性判定部305は、判定結果の属性に応じて、利用者に対して画像データの処理に利用する値であるパラメータを設定する。ここで、撮影画像に複数の利用者が含まれる場合、属性判定部305は、利用者毎に、判定された属性に応じたパラメータを設定することができる。
(男女判定)
例えば、算出部304において、利用者が男性であるか否かの判定に利用する属性値(以下、必要に応じて「男性属性値」とする。)と、利用者が女性であるか否かの判定に利用する属性値(以下、必要に応じて「女性属性値」とする。)とを算出したとする。また、属性判定部305は、男性属性値が所定の閾値(以下、必要に応じて「男性閾値」とする。)以上であるときに利用者は男性であると特定し、女性属性値が所定の閾値(以下、必要に応じて「女性閾値」とする。)以上であるときに利用者は女性であると特定するとする。この一例の場合について、以下に表1を用いて説明する。またこのとき、男性閾値及び女性閾値が、それぞれ『80』、『85』と設定されているとする。
表1の例1.1に示すように、ある利用者に対し、算出部304において男性属性値『30』、女性属性値『90』が得られた場合、男性属性値は男性閾値以下であり、女性属性値は女性閾値以上であるため、属性判定部305は、利用者は「女性」であると特定する。また、例1.2に示すように、ある利用者に対し、算出部304において男性属性値『85』、女性属性値『40』が得られた場合、男性属性値は男性閾値以上であり、女性属性値は女性閾値以下であるため、属性判定部305は、利用者は「男性」であると特定する。
これに対し、例1.3に示すように、ある利用者に対し、男性属性値『75』、女性属性値『80』が得られた場合、男性属性値は男性閾値以下であり、女性属性値も女性閾値以下である。また、例1.4に示すように、ある利用者に対し、男性属性値『82』、女性属性値『87』が得られた場合、男性属性値は男性閾値以上であり、女性属性値も女性閾値以上である。このような場合、従来であれば利用者が女性であるか男性であるかを特定することはできなかった。写真シール作成装置1では、このように属性を特定できない場合、予め定められるいずれかの属性と推定し、その後の処理を実行する。ここでは、例1.3及び例1.4のように、写真シール作成装置1の属性判定部305は、利用者が「女性」であると推定する。具体的には後述するが、男女のいずれであるか判定できない場合に女性と推定するのは、写真シール作成装置1を利用する利用者は、男性より女性が多い傾向にあることよる。
また、属性判定部305は、判定された属性に応じたパラメータを設定する。パラメータは、例えば、利用者の顔、目、鼻、又は口等のサイズ、形状又は色等を変化させる値である。具体的には、パラメータの値に応じて、撮影画像の利用者の顔を小顔に変化したり、目を大きく変化したりする。また、パラメータは、例えば、口紅(「リップ」ともいう)や頬紅(「チーク」ともいう)を付加するか否かを特定する値である。具体的には、パラメータの値に応じて、撮影画像の利用者にリップやチークをつける。さらに、パラメータは、例えば、利用者の肌の色や質感を調整する値である。具体的には、パラメータの値に応じて、肌を色白に変更したり、健康的に日焼けした肌色に変更したりする。その他、パラメータによって目や口の輪郭をはっきりさせるようにしてもよいし、リップやチーク以外のメイクをしてもよい。
ここで、男性に設定されるパラメータ(以下、必要に応じて「男性パラメータ」とする)と、女性に設定されるパラメータ(以下、必要に応じて「女性パラメータ」とする)とを比較すると、男性パラメータよりも女性パラメータの方が、画像に与える変化量が大きく設定される。男性と女性とでは外見において気にする部分や程度が異なり、女性の方が顔画像の処理に対する要求の程度が大きい傾向があるためである。
具体的には、女性の利用者は、写真シールに印刷される画像において、例えば、色白であったり、小顔であったり、目が大きく写ることを好む。これに対し、男性の利用者は、気にする部分や程度が女性と異なることが一般的である。そのため、男性の利用者を女性と同様の変化量で色白にしたり、小顔にしたり、目を大きくした場合、利用者の満足度は低くなると考えられる。したがって、写真シール作成装置1では、利用者の性別に応じて、画像処理の度合いを異なるものとする。
例えば、女性パラメータには、顔のサイズは0.8倍となり、目のサイズは1.3倍となるような値を設定する。一方、男性パラメータには、顔のサイズは、0.9倍となり、目のサイズは、1.1倍となるような値を設定する。なお、ここで、パラメータとしては必ず変化させる値を設定する必要はなく、その変化量には、0も含む。すなわち、男性の利用者に設定するパラメータは、目や顔のサイズを変化させないようなパラメータであってもよい。
仮に、男性の利用者が誤って女性と判定された場合、この利用者は女性パラメータによって画像処理される。しかしながら、男性の利用者は女性パラメータによって画像処理がされたとしても、処理結果の満足度に影響は少ない。一方、女性の利用者が誤って男性と判定され、仮に男性パラメータによって画像処理がされ、画像処理の変化量が小さい場合、処理結果の満足度が低くなる傾向が高い。また、実際に、写真シール作成装置1の利用者は、女性の比率が高い。そのため、写真シール作成装置1では、男女の判定が難しい利用者については、女性と推定し、女性を設定する。
(年齢層判定)
例えば、算出部304において、利用者第1の年齢層(例えば、13歳未満)であるか否かを判定する属性値(以下、必要に応じて「第1年齢属性値」とする。)と、利用者が第2の年齢層(例えば、13〜23歳)であるか否かを判定する属性値(以下、必要に応じて「第2年齢属性値」とする。)と、利用者が第3の年齢層(例えば、23歳以上)であるか否かを判定する属性値(以下、必要に応じて「第3年齢属性値」とする)を算出するとする。また、属性判定部305が、第1年齢属性値が所定の閾値(以下、必要に応じて「第1年齢閾値」とする。)以上であるときに利用者は15歳未満であると判定し、第2年齢属性値が所定の閾値(以下、必要に応じて「第2年齢閾値」とする。)以上であるときに利用者は13〜23歳であると判定し、第3年齢属性値が所定の閾値(以下、必要に応じて「第3年齢閾値」とする。)以上であるときに利用者は23歳以上であるとする。この一例の場合について、以下に表2を用いて説明する。またこのとき、第1乃至第3年齢閾値は、全て『80』と設定されているとする。
表2の例2.1に示すように、ある利用者に対し、算出部304において第1年齢属性値『90』、第2年齢属性値『75』、第3年齢属性値『30』が得られた場合、第1年齢属性値は第1閾値以上であり、第2年齢属性値は第2閾値以下であり、第3年齢属性値は第3年齢以下であるため、属性判定部305は、利用者は「13歳未満」であると判定することができる。また、例2.2に示すように、ある利用者に対し、算出部304において第1年齢属性値『75』、第2年齢属性値『90』、第3年齢属性値『35』が得られた場合、第1年齢属性値は第1年齢閾値以下であり、第2年齢属性値は第2年齢閾値以上であり、第3年齢属性値は第3年齢閾値以下であるため、属性判定部305は、利用者は「13〜23歳」であると判定することができる。例2.3に示すように、ある利用者に対し、算出部304において第1年齢属性値『30』、第2年齢属性値『75』、第3年齢属性値『85』が得られた場合、第1年齢属性値は第1年齢閾値以下であり、第2年齢属性値は第2年齢閾値以下であり、第3年齢属性値は第3年齢閾値以上であるため、属性判定部305は、利用者は「23歳以上」であると判定することができる。
これに対し、例2.4に示すように、ある利用者に対し、算出部304において第1年齢属性値『75』、第2年齢属性値『75』、第3年齢属性値『65』が得られた場合、第1年齢属性値、第2年齢属性値及び第3年齢属性値の全てが閾値以下である。また、例2.5に示すように、ある利用者に対し、算出部304において第1年齢属性値『82』、第2年齢属性値『82』、第3年齢属性値『40』が得られた場合、第1年齢属性値及び第2年齢属性値の両方が閾値以上である。例2.6に示すように、ある利用者に対し、算出部304において第1年齢属性値『30』、第2年齢属性値『83』、第3年齢属性値『85』が得られた場合、第2年齢属性値及び第3年齢属性値の両方が閾値以上である。このような場合、従来であれば閾値のみから単純に利用者が女性であるか男性であるかを特定することはできなかった。写真シール作成装置1では、属性を特定できない場合、予め定められるいずれかの属性と推定する。ここでは、例2.4乃至例2.6のように、写真シール作成装置1の属性判定部305は、利用者が「13〜23歳」であると推定する。具体的には後述するが、年齢層を特定できない場合に「13〜25歳」と推定するのは、写真シール作成装置1を利用する利用者の割合が最も高い年齢層であることによる。なお、具体的な年齢については13〜23歳に限定せず、写真シール作成装置1は、利用者の年齢層を特定できない場合、利用者の割合が最も高い年齢層と推定することができる。
ここで、仮に、撮影画像に複数の利用者が含まれ、そのうちの1人のみ他の利用者と異なる年齢層である場合、属性判定部305は、その1人の利用者についても周りの利用者の年齢層に合わせるようにしてもよい。
例えば、撮影画像に利用者が3人含まれる場合であって、表3の例3.1のように、利用者1及び利用者2は13〜23歳であるが、利用者3のみ23歳以上となった場合、利用者3の年齢層を、利用者1及び利用者2に合わせ、13〜23歳と推定してパラメータを設定してもよい。また、例3.2のように、利用者1及び利用者2は13〜23歳であるが、利用者3のみ13歳未満となった場合、利用者3の年齢層を13〜23歳と推定してパラメータを設定してもよい。グループで利用する場合、特に年齢については、全ての利用者は同一の年齢層である可能性が高く、また、画像の変化量を統一させた方が、利用者の満足度が高まる場合もあるからである。
また、属性判定部305は、判定された属性に応じたパラメータを設定する。上述した場合と同様に、パラメータは、例えば、利用者の顔、目、鼻、又は口等のサイズ、形状又は色等を変化させる値である。具体的には、パラメータの値に応じて、撮影画像の利用者の顔を小顔に変化したり、目を大きく変化したりする。また、パラメータは、例えば、口紅や頬紅を付加するか否かを特定する値である。
13歳未満、13〜23歳、23歳以上の利用者に設定される各パラメータ(以下、必要に応じてそれぞれ「第1年齢パラメータ」、「第2年齢パラメータ」、「第3年齢パラメータ」とする)は、第2年齢パラメータが画像に与える変化量が最も大きいものとする。これは、13〜23歳の利用者が顔画像の処理に対する要求の程度が大きい傾向にあるためである。なお、この場合も、13〜23歳の年齢は一例であり、状況に応じて設定される。
仮に、13歳未満または23歳以上の利用者が別の年齢と誤って判定された場合、この利用者は第2年齢パラメータによって画像処理される。しかしながら、これらの年齢の利用者は第2年齢パラメータによって画像処理がされたとしても、処理結果の満足度に影響は少ない。一方、13〜23歳の利用者は、仮に第1パラメータ又は第3パラメータによって画像処理がされ、画像処理の変化量が低かった場合、処理結果の満足度が低くなる傾向が高い。そのため、写真シール作成装置1では、年齢層の判定が難しい利用者については、13〜23歳と推定し、第2年齢パラメータを設定する。
(肌色判定)
例えば、算出部304において、肌の色を特定する属性値(以下、必要に応じて「肌色属性値」とする。)を算出するとする。また、属性判定部305が、肌色属性値が所定の閾値(以下、必要に応じて「肌色閾値」とする。)以上であるときに利用者はある程度より明るいと判定するとする。ここで、肌の色がある程度明るいとは、一般的な利用者が通常の日焼け程度の肌の色をいい、故意に日焼けして肌の色を変えた場合に得られるような色や、日焼けによっても肌の色が変わらない程度にもともとの肌の色が濃い場合には、この肌色閾値以下となる。この一例の場合について、以下に表3を用いて説明する。またこのとき、肌色閾値が、それぞれ『80』と設定されているとする。
表3の例4.1に示すように、ある利用者に対し、算出部304において肌色属性値『70』が得られた場合、肌色属性値は肌色値以下であるため、属性判定部305は、利用者は「肌色の調整が不要」であると判定する。また、例4.2に示すように、ある利用者に対し、算出部304において肌色属性値『85』が得られた場合、肌色属性値は肌色閾値以上であるため、属性判定部305は、利用者は「肌色の調整が必要」であると判定する。
これに対し、例4.3に示すように、ある利用者に対し、肌色属性値『79』が得られた場合、肌色属性値は肌色閾値以下である。このような場合、従来であれば利用者に「肌色の調整は不要」と特定されていた。これに対し、写真シール作成装置1では、閾値と比較してその差が小さい場合、予め定められるいずれかの属性と推定する。ここでは、例4.3の例では、写真シール作成装置1の属性判定部305は、利用者が「肌色の調整が必要」であると推定する。
また、属性判定部305は、判定された属性に応じたパラメータを設定する。ここで、「肌色の調整が必要」であると判定された利用者に使用するパラメータ(以下、必要に応じて「肌色パラメータ」とする)を設定し、「肌色の調整が不要」であると判定された利用者にはパラメータを設定しない例で説明する。しかし、「肌色の調整が不要」であると判定された利用者に「肌色パラメータ」より変化量の小さい、利用者の肌色を調整するパラメータを設定してもよい。
すなわち、肌の色がある程度濃い場合、その利用者の好みによって肌の色を変えている場合や、人種的な特徴によって肌の色が決められていることがあり、このような利用者は画像処理として美白の処理を求める傾向が低いためである。
なお、属性判定部305は、属性に応じて、ゲームの進行を決定するためのゲームフローを設定してもよい。具体的には、属性判定部305は、撮影画像に含まれる男女の構成比率や年齢層に応じてゲームフローを設定してもよい。なお、タッチパネルモニタ92に表示させるインストラクション画面や、スピーカ93から出力される音声及びBGMは、属性判定部305で設定されたゲームフローに応じて異なるものとすることができる。これにより、利用者の男女の構成比率や年齢層に応じたインストラクション画面や音声及びBGMとなり、利用者にとって分かりやすく操作性が向上させることが可能となり、また、利用者毎に撮影を盛り上げる効果を得ることができる。
画像処理部306は、属性判定部305で設定されたパラメータを用いて画像データを処理する。具体的には、画像処理部306は、利用者の顔領域に対して画像処理を実行する。例えば、画像処理部306は、パラメータに応じた画像処理により小顔にしたり、目を大きくしたり、メイクを施したり、肌を色白に変更したりする。
合成部307は、処理した画像を合成用画像とし、カメラ91に取り込まれた動画像に合成用画像を合成し、合成した画像をタッチパネルモニタ92にライブビュー表示画像としてさせる。したがって、利用者は、仕上がりイメージをリアルタイムで確認しながら撮影を行うことができる。
編集部230は、上述した編集操作部27A,27Bと、編集処理部308とを備える。編集処理部308は、編集操作部27A,27Bにおけるタブレット内蔵モニタ131、およびスピーカ133を制御することで、編集処理を行う。編集処理部308は、タブレット内蔵モニタ131に対する、タッチペン132A,132Bを用いた利用者の操作入力を受け付ける。
また、編集処理部308は、タブレット内蔵モニタ131に表示させた選択画面に対する選択操作に応じて、編集対象画像としての撮影画像に所定の画像処理を施し、タブレット内蔵モニタ131に表示させる。あるいは、編集処理部308は、タブレット内蔵モニタ131に表示させた編集画面に対する入力操作に応じて、合成用画像に所定の画像処理を施し、あるいは、入力操作に応じて新たな合成用画像を生成して、撮影画像に合成し、タブレット内蔵モニタ131に表示させる。
また、編集処理部308は、編集の進め方などを説明するガイダンスの出力を制御する。例えば、編集処理部308は、編集の進め方などを説明するガイダンスの画面をタブレット内蔵モニタ131に表示させたり、編集の進め方などを説明するガイダンスの音声をスピーカ133から出力させたりする。また、編集処理部308は通信部203を制御し、インターネットなどのネットワークを介した通信に関する処理を行う。また、編集処理部308は、印刷操作部28のプリンタ140を制御することで、印刷処理を行ってもよい。
印刷部240は、上述した印刷操作部28と、印刷処理部309とを備える。印刷処理部309は、編集処理部308から印刷データを受け取り、印刷操作部28のプリンタ140を制御することで、印刷処理を行う。なお、ここでは、画像データを出力する出力部の一例として印刷データである写真シールを出力する印刷部240を用いて説明したが、画像データの出力方法は、これに限定されない。例えば、ネットワーク等を用いて画像データ自体を外部の通信端末に送信する送信手段を出力部としてもよい。
このように、写真シール作成装置1は課金と引き換えに、利用者の気持ちが盛り上がるような仕掛け(撮影ポーズの選択、BGM、ナレーションなど)が種々施された写真シール作成ゲームを提供する。そのため、写真シール作成装置1での作成画像は、利用者の楽しい表情が引き出された画像や、趣向を凝らした、華やかな画像となる。
また、写真シール作成装置1ではライティングなどの設備が充実しており、そして画像の変形処理(例えば被写体の目の大きさや脚の長さなど)および色の補正(被写体の肌の美白処理など)などを高度な技術で行えるため、写真シール作成装置1で作成した画像は、利用者の写りが良い画像となる。
また、写真シール作成装置1以外での画像処理(例えば写真加工のためのアプリケーションなどでの処理)に比べて容易に編集(画像への落書き)ができ、当該編集のバリエーションも豊かである。この点からも、写真シール作成装置1での作成画像は写真シール作成装置1以外で撮影および画像処理された画像に比べ、比較的華やかに仕上がるといえる。
(写真シール作成ゲームの流れ)
次に、利用者が写真シール作成装置1において写真シール作成ゲームを行う処理の流れについて、図11を用いて説明する。図11は、写真シール作成装置1におけるゲームの開始から当該ゲームで写真シールを作成するまでの処理の流れを示すフローチャートである。
ゲーム開始前の状態においては、写真シール作成装置1の事前選択処理部301として機能する制御部201は、事前選択操作部20のタッチパネルモニタ71に、硬貨の投入を促すメッセージを表示させる。また、制御部201は、図11に示すように、硬貨処理部74からの起動信号の有無に基づいて、硬貨投入返却口73に硬貨が投入されたか否かを判定する(S1)。制御部201は、硬貨投入返却口73に硬貨が投入されていないと判定した場合には(S1:NO)、硬貨が投入されたか否かの判定処理を継続する。
ゲームを開始しようとする利用者は、事前選択操作部20の前方の空間である事前選択空間A0において硬貨投入返却口73に硬貨を投入する。硬貨投入返却口73へ硬貨が投入されると、硬貨処理部74からゲームの開始を指示する起動信号が出力される。制御部201は、硬貨処理部74から起動信号を入力すると、硬貨投入返却口73に硬貨が投入されたと判定し(S1:YES)、利用者に対して事前接客処理を実行する(S2)。
事前接客処理においては、制御部201は、タッチパネルモニタ71に、コースの選択、名前の入力、およびデザインの選択等を促すメッセージ等を表示させる。利用者が、タッチパネルモニタ71に表示されるメッセージ等に従って各種の選択または入力を行うと、制御部201は、撮影コース、名前、デザイン、および印刷レイアウト等の設定を行う。制御部201は、複数種類の合成用背景画像を選択可能にタッチパネルモニタ92に表示させ、合成用背景画像を利用者に選択させる。
事前接客処理が終了すると、制御部201は、利用者に対して撮影空間A1に移動して撮影を行うことを促すメッセージ等をタッチパネルモニタ71に表示させる。撮影処理部302として機能する制御部201は、撮影操作部21のタッチパネルモニタ92に、画面にタッチするように促すメッセージを表示させる。なお、このメッセージと共に、あるいはこのメッセージに代えて、スタートボタンを表示させてもよい。また、制御部201は、BGMと共に、画面にタッチするように促すナレーションを、スピーカ93から出力させる。撮影空間A1に移動した利用者が、タッチパネルモニタ92にタッチすると、制御部201は、タッチパネルモニタ92がタッチされたことを読み取り、撮影処理を開始する(S3)。
撮影処理においては、制御部201は、タッチパネルモニタ92に、例えばライティングに関するガイダンスを表示させ、利用者にライティングのレベルの選択を促す。利用者がライティングのレベルを選択すると、制御部201は、ライティングのレベルを、選択されたレベルに設定する。
また、制御部201は、撮影枚数を説明するためのインストラクション画面をタッチパネルモニタ92に表示させ、対応するナレーションをスピーカ93から出力させる。本実施形態では、一例として、撮影枚数は7枚に設定されている。
次に、制御部201は、利用者を立ち位置に誘導するためのインストラクション画面をタッチパネルモニタ92に表示させ、対応するナレーションをスピーカ93から出力させる。
以上のようなインストラクション画面を表示させた後、制御部201は、利用者に選択させた撮影コースに応じて、合成用背景画像と、カメラ91で取得している動画像とを合成したライブビュー表示画像を、ライブビュー表示としてタッチパネルモニタ92に表示させる(S4)。これにより、利用者は、仕上がりイメージを確認しながらポーズを取ることができる。
制御部201は、ライブビュー表示を、撮影のためのカウントダウンの終了直前まで行い、その間、制御部201は、ライブビュー表示と共に、あるいはライブビュー表示に代えて、サンプルポーズをタッチパネルモニタ92に表示させる。制御部201は、サンプルポーズに合わせたナレーションをスピーカ93から出力させる。
制御部201は、ライブビュー表示の開始から終了までの時間を管理しており、予め設定した所定の時間が経過すると、タッチパネルモニタ92の表示とスピーカ93の音声とでカウントダウンを行う。
制御部201は、カウントダウンの終了タイミングで、上ストロボ82、左ストロボ83、右ストロボ84、および足元ストロボ85に照明制御信号を送信すると共にカメラ91にシャッタ信号を送信する。
これにより、上ストロボ82、左ストロボ83、右ストロボ84、および足元ストロボ85から閃光を照射し、照明された利用者が背景とともに写っている撮影画像をカメラ91により取得する。本実施形態では、一例として、ステップS3からステップS4までの処理を複数回繰り返して7枚の撮影画像を取得する。また、制御部201は、撮影画像に合成用背景画像を合成させた編集対象画像を記憶部202に記憶させる。
なお、ここでは、予め設定した時間毎に撮影画像が取得される例で説明したが、撮影画像の取得タイミングはこれに限定されない。例えば、撮影のための操作ボタンを撮影操作部21が有する場合、この操作ボタンを操作したタイミングで撮影画像を取得するようにしてもよい。
撮影終了後、制御部201は、利用者に対して、編集空間A2−1、または編集空間A2−2のいずれか一方への移動を促す案内画面をタッチパネルモニタ92に表示するとともに、音声による移動案内をスピーカ93に出力する。
そして、制御部201は、利用者による編集対象画像の編集を許容する編集処理を実行する(S5)。詳述すると、制御部201は、編集対象画像を、タブレット内蔵モニタ131に表示し、この編集対象画像に対して利用者がタッチペン132A,132Bでスタンプ画像やペン画像などを描くことを許容し、編集画像を作成する。
その後、制御部201は、利用者に対してシール紙排出口161が設けられた印刷待ち空間A3への移動を促す案内画面をタブレット内蔵モニタ131に表示するとともに、音声による移動案内をスピーカ133に出力する。
さらに、制御部201は、事前選択操作部20において選択された印刷レイアウトに編集画像を配置して印刷用画像を作成し、この印刷用画像をシール紙142に印刷する印刷処理を実行する(S6)。
印刷処理が終了すると、制御部201は、シール紙142の排出処理を実行し(S7)、印刷完了したシール紙142をシール紙排出口161から排出し、利用者に写真シールとして提供してゲームを終了する。このようにして、写真シール作成装置1により作成した利用者の撮影画像を、写真シールとして出力することができる。なお、詳細な説明は省略するが、本実施形態の写真シール作成装置1は、通信により、撮影画像を携帯端末等に出力することも可能である。
(合成処理の詳細)
次に、図11のフローチャートのステップS4の合成処理の詳細について、図12のフローチャートを参照して説明する。図12は、合成処理の流れを示すフローチャートである。
図12に示すように、ステップS4の合成処理では、制御部201は、まず、撮影画像に含まれる利用者の顔領域を抽出する(S41)。撮影画像に複数の利用者を含む場合、制御部201は、全ての利用者の顔領域を抽出する。
制御部201は、ステップS41で抽出した顔領域の利用者に対して属性値を算出する(S42)。撮影画像に複数の利用者を含む場合、制御部201は、全ての利用者に対して属性値を算出する。また、制御部201は、利用者に対して複数種の属性値を算出してもよい。上述した例では、制御部201は、利用者に対し男女の種別の判定に利用する属性値、年齢層の判定に利用する属性値、肌色の判定に利用する属性値等の複数種の属性値を算出することができる。
制御部201は、ステップS42で抽出した利用者の属性値を用いて、利用者の属性を判定する(S43)。撮影画像に複数の利用者を含み、ステップS42で利用者毎に属性値が算出された場合、制御部201は、利用者毎の属性を判定する。また、利用者に対して複数の属性値が算出された場合、制御部201は、複数の属性値に応じた属性を判定する。制御部201は、例えば、ある利用者に対し、「女性」、「13〜23歳」かつ「肌色の調整が必要」であるという属性を判定する。ここで判別された属性は、写真シール作成ゲームにおける画像処理の決定に利用される。利用者の性別、年齢、肌の色によって、写真シール作成装置1に求められる画像処理に影響する可能性があるためである。
制御部201は、ステップS43で判定された属性に応じて、利用者に対してパラメータを設定する(S44)。仮に、画像が複数の利用者を含む場合、各利用者に対してパラメータを設定する。ここで設定するパラメータは、画像データを処理する際の変化量を決定する値である。例えば、利用者が女性である場合、男性である場合と比較して、利用者の顔や目のサイズの変化量が大きくなるような値をパラメータとする。なお、具体的な処理については、図13のフローチャートを用いて後述する。
制御部201は、ステップS44で設定されたパラメータを用いて、画像データを処理する(S45)。具体的には、画像処理部306は、パラメータにしたがって、各ユーザの顔や目のサイズや形状、肌の色、メイク等を変更させた画像を生成する。
制御部201は、ステップS45で処理された画像を用いて画像を合成する(S46)。ここで合成された画像は、ライブビュー表示により利用者に確認されながら画像の取得がされる。
(パラメータ設定の詳細)
次に、図12のフローチャートのステップS44の合成処理の詳細について、図13乃至図15のフローチャートを参照して説明する。なお、図13に示すフローチャートでは、利用者が男性である場合には、年齢及び肌の色に関するパラメータは固定であり属性値に応じて調整されないものとして説明するが、これに限定されない。
制御部201は、図12のステップ43で属性が判定された各利用者についてパラメータの設定の処理を実行する(S21)。
利用者が男性である場合(S22でYES)、制御部201は、男性用のパラメータを設定する(S23)。図13の例では、制御部201は、男性である場合、メイクはされず、顔のサイズの変化量は小さく、目のサイズの変化量は中程度であり、肌の色の変化はないものとしてパラメータを設定する。図13乃至図15に示す例では、パラメータによる変化量の程度を「大」、「中」、「小」、「なし」として説明する。例えば、顔のサイズを小さくする場合の変化量について、「大」、「中」、「小」、「なし」についてそれぞれ、「0.8倍」、「0.85倍」、「0.9倍」、「1倍」のように考えることができる。また、目のサイズを大きくする場合の変化量について、「大」、「中」、「小」、「なし」についてそれぞれ、「1.2倍」、「1.1倍」、「1.05倍」、「1倍」のように考えることができる。
利用者が女性である場合(S22でNO)、制御部201は、利用者が13歳未満であるか否かを判定する(S24)。利用者が13歳未満である場合(S24でYES)、制御部201は、利用者が13歳未満の女性である場合のパラメータを設定する(S25)。図13の例では、制御部201は、利用者が13歳未満の女性である場合、メイクはされず、顔のサイズの変化はなく、目のサイズの変化量は中程度であり、肌の色の変化もないものとしてパラメータを設定する。図13に示すフローチャートでは、利用者が13歳未満の女性である場合には、肌の色に関するパラメータは固定であり、属性値に応じて調整されないものとして説明するが、これに限定されない。
利用者が13歳未満でない場合(S24でNO)、制御部201は、利用者が13〜23歳であるか否かを判定する(S26)。
利用者が13〜23歳であるとき(S26でYES)、制御部201は、13〜23歳の処理を実行する(S27)。具体的な処理については、図14に示すフローチャートを用いて後述する。
利用者が13〜23歳でないとき(S26でNO)、制御部201は、23歳以上の処理を実行する(S28)。具体的な処理については、図15に示すフローチャートを用いて後述する。
制御部201は、全ての利用者についてパラメータの設定の処理が終了するまで、ステップS22〜28の処理を繰り返し、全ての利用者についてパラメータが設定されると(S21)、図12のフローチャートのステップS45の処理に進む。
(13〜23歳の女性のパラメータ設定の詳細)
次に、図13のフローチャートのステップS27のパラメータ設定処理の詳細について、図14のフローチャートを参照して説明する。
制御部201は、利用者の肌色属性値が、肌色閾値以上であるか否かを判定する(S31)。
利用者の肌色属性値が、肌色閾値以上であるとき(S31でYES)、制御部201は、13〜23歳の肌色属性値が肌色閾値以上である女性の場合のパラメータを設定する(S32)。図14の例では、制御部201は、メイクの変化量は大きく、顔のサイズの変化量は大きく、目のサイズの変化量は大きく、肌の色の変化量も大きいものとしてパラメータを設定する。
利用者の肌色属性値が、肌色閾値以上でないとき(S31でNO)、制御部201は、13〜23歳の肌色属性値が肌色閾値以下である女性の場合のパラメータを設定する(S33)。図14の例では、制御部201は、メイクの変化量は大きく、顔のサイズの変化量は大きく、目のサイズの変化量も大きいが、肌の色の変化量のみ小さいパラメータを設定する。
また、これにより、13〜23歳の女性についてのパラメータ設定の処理は終了し、図13のフローチャートの処理に戻る。
(23歳以上の女性のパラメータ設定の詳細)
次に、図13のフローチャートのステップS28のパラメータ設定処理の詳細について、図15のフローチャートを参照して説明する。
制御部201は、利用者の肌色属性値が、肌色閾値以上であるか否かを判定する(S41)。
利用者の肌色属性値が、肌色閾値以上であるとき(S41でYES)、制御部201は、23歳以上の肌色属性値が肌色閾値以上である女性の場合のパラメータを設定する(S42)。図15の例では、制御部201は、メイクの変化量は大きく、顔のサイズの変化量は中程度、目のサイズの変化量も中程度であり、肌の色の変化量は大きいパラメータを設定する。
利用者の肌色属性値が、肌色閾値以上でないとき(S31でNO)、制御部201は、23歳以上の肌色属性値が肌色閾値以下である女性の場合のパラメータを設定する(S33)。図15の例では、制御部201は、メイクの変化量は中程度、顔のサイズの変化量は中程度、目のサイズの変化量も中程度であり、肌の色の変化量のみ大きいパラメータを設定する。
また、これにより、23歳以上の女性についてのパラメータ設定の処理は終了し、図13のフローチャートの処理に戻る。
(表示例)
図16は、タブレット内蔵モニタ131に表示される編集画面400の一例である。図16に示すように、編集画面400は、第1編集部401と第2編集部402とを備える。
第1編集部401は、第1サムネイル部403、第1編集対象画像表示部405、第1操作ボタン表示部407及び第1パレット409を備える。同様に、第2編集部402は、第2サムネイル部404、第2編集対象画像表示部406、第2操作ボタン表示部408及び第2パレット410を備える。
第1サムネイル部403及び第2サムネイル部404には、撮影された複数の編集対象画像Im1〜Im5のサムネイルが表示される。第1サムネイル部403及び第2サムネイル部404に表示されるサムネイルは、タッチペン132A又は132Bで選択することができる。図16に示す例では、それぞれ、編集対象画像Im1、Im3が選択される。なお、図示は省略するが、選択された編集対象画像のサムネイルには、「選択中」の文字が表示されてもよい。また、図11のフローチャートのステップS3で7枚の画像を撮影した場合、サムネイル部403,404にもそれぞれ7枚の編集対象画像が表示されるが、図16は、便宜的に5枚の編集対象画像が表示される例で説明する。
第1編集対象画像表示部405には、第1サムネイル部403で選択された編集対象画像が表示される。また、第2編集対象画像表示部406には、第2サムネイル部404で選択された編集対象画像が表示される。サムネイル部403又は404に表示される編集対象画像において選択される編集対象画像が変更されると、編集対象画像表示部405又は406に表示される編集対象画像も変更される。
第1パレット409は、第1編集対象画像表示部405に表示される編集対象画像にコンテンツである文字、模様、色等で装飾する場合にコンテンツの種類等を選択するために利用される。また、第2パレット410は、第2編集対象画像表示部406に表示される編集対象画像にコンテンツで装飾する場合にコンテンツの種類等を選択するために利用される。後に詳述するが、図16に示す例では、各パレット409及び410は、「なりきり」、「顔落書き」、「アイテム」及び「メイク」のタブを含む。
図17は、撮影画像に含まれる利用者が女性である場合の一例である。図17(a)の撮影画像が取得された場合、属性判定部305は、第1の利用者U11について、「女性」の属性を判別する。また属性判定部305は、第2の利用者U12についても、「女性」の属性を判別する。これにより、属性判定部305は、各利用者U11及びU12に、女性パラメータを設定する。
その後、画像処理部306によって、女性パラメータを利用して画像処理がされる。例えば、図17(b)は、女性パラメータにしたがって、女性の利用者U11,U12の顔を小顔にし、目を大きく画像処理した一例である。なお、図17(b)では、女性パラメータのみを考慮した例で示すが、画像処理部306は、年齢に応じたパラメータも考慮した画像処理を行っても良い。
図18は、撮影画像に含まれる利用者が女性及び男性である場合の一例である。図18(a)の撮影画像が取得された場合、属性判定部305は、第1の利用者U21について、「女性」の属性を判別する。また属性判定部305は、第2の利用者U22について、「男性」の属性を判別する。これにより、属性判定部305は、第1の利用者U21に、女性パラメータを設定し、第2の利用者U22に、男性パラメータを設定する。
その後、画像処理部306によって、女性パラメータ及び男性パラメータを利用して画像処理がされる。例えば、図18(b)は、女性パラメータにしたがって、女性である利用者U21の顔を小顔にし、目を大きく画像処理し、また、男性パラメータにしたがって、男性である利用者U22の顔は小顔にせず、目を女性と比較して小さな変化量で大きく画像処理した一例である。このように、画像処理部306は、利用者の男女の属性に応じて、好適な変化量で画像処理を実行する。なお、図18(b)では、男性パラメータ及び女性パラメータのみを考慮した例で示すが、画像処理部306は、年齢に応じたパラメータも考慮した画像処理を行っても良い。
図示を用いた説明は省略するが、画像処理部306は、女性の場合には、パラメータに応じて、色白に画像処理したり、メイクを目立ちやすくするように画像処理することができる。また、画像処理部306は、女性の場合には、パラメータに応じて、肌色を日焼けしたような健康的な色に画像処理することができる。
なお、上述した説明では、画像処理部306によって、自動でメイクが目立つような画像に変更された場合であっても、メイクタブによって、再度、利用者自身の希望のメイクがされたような画像に編集可能としてもよい。例えば、画像処理部306で「ピンク」のリップがつけられた場合であって、利用者が別の色に変更したいと考える場合、「ピンク」、「オレンジ」、「レッド」の選択肢が表示され、それらの色相から利用者が自由に好みの色相を選択することができる。また、色相だけでなく、明度や彩度を調整可能にしてもよい。すなわち、濃いピンクのリップを薄くつける、薄いオレンジを濃くつける等のように色相の他、明度や彩度を調整しながらつけることができる。
また、上述した説明では、画像処理部306で顔のサイズや目の形状やサイズ、肌色等を画像処理により変更可能な例で説明したが、これらは同時に、編集画面を利用して編集することを可能にしてもよい。この場合、画像処理部306で自動に処理された顔や目のサイズや形状、肌色等に不満であった場合でも、さらに編集することが可能となり、利用者の満足度を向上させることができる。
上述したように、本実施形態では、利用者の属性に応じて、画像処理のパラメータを設定して画像を処理する。また、利用者の属性を判定しにくい場合、いずれかの属性と推定して画像を処理する。これにより、利用者の属性に応じて適切に画像を処理し、また、操作性を向上させることができる。
<変形例>
以上の実施形態は例示であり、この発明の範囲から離れることなく様々な変形が可能である。例えば、上述した各実施形態を適宜組み合わせてもよい。例えば、実施形態7においては、利用者の性別に応じて、9秒カウントするか7秒カウントするかを選択する態様について説明したが、実施形態7と実施形態1または実施形態2とを組み合わせてもよい。この場合には、利用者の性別が男性の場合には、撮影間隔を17秒で一定とし、女性の場合には、撮影枚数に応じて9秒カウントと7秒カウントとを選択するようにしてもよい。
また、手動で撮影間隔を切り替えるようにしてもよい。例えば、セルフシャッタボタンと、スライドバー等とを設け、セルフシャッタボタンについては、撮影間隔を切り替えるのではなく、撮影のタイミングを決定するように構成する。そして、スライドバー等を操作することにより、セルフシャッタボタンを操作した以降の撮影間隔を変更できるようにしてもよい。
(ソフトウェアによる実現例)
写真シール作成装置1の機能ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、写真シール作成装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、前記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、前記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。