JP2022172733A - 写真作成ゲーム機、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】撮影画像に写る利用者の特定の部位に対してより自然な状態で合成用画像を合成することができるようにする。【解決手段】本技術の一側面の写真作成ゲーム機は、撮影画像に写る複数の利用者のそれぞれの特定の部位の三次元形状を表す三次元情報を利用者毎に生成し、利用者の三次元情報に基づいて変形した合成用画像を、合成先とする利用者の特定の部位に合成する。本技術は、撮影した画像をシール紙に印刷する一連のゲームを提供する写真作成ゲーム機に適用することができる。【選択図】図５

Description

本技術は、写真作成ゲーム機、画像処理方法、およびプログラムに関し、特に、撮影画像に写る利用者の特定の部位に対してより自然な状態で合成用画像を合成できるようにした写真作成ゲーム機、画像処理方法、およびプログラムに関する。

従来、写真シール作成装置が知られている。写真シール作成装置は、利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供するものである。写真シール作成装置は遊戯施設などに設置される。

写真シール作成装置が提供する１ゲームの流れは、通常、撮影空間にいる利用者を被写体として撮影を行った後、利用者を編集空間に移動させ、編集空間で行われる操作に従って画像を編集して、編集済みの画像をシール紙に印刷する流れとなる。

撮影画像の編集は、撮影空間から編集空間に移動した後、編集空間に設けられたディスプレイに表示された編集画面を用いて行われる。編集画面には、編集の対象となる撮影画像とともに、編集用の各種のツールの選択に用いられるボタンなどが表示される。

特許文献１には、落書き時のメイク操作のモードとして自動モードと手動モードが用意された撮影遊戯機が記載されている。自動モードにおいては、顔の領域と特定の器官の領域が特定され、「リップ」、「チーク」、「カラコン」などのメイク用の画像が、特定された領域に自動的に重畳されるようになっている。例えば「チーク」の画像は、顔の頬の領域に自動的に重畳して合成される。

特開２０１６－１８１２８０号公報

メイク用の平面的な画像をそのまま合成した場合、人間の顔は立体的であるから、顔の向きなどによってはメイク用の画像の平面的な感じが目立ち、違和感が生じる場合がある。

本技術はこのような状況に鑑みてなされたものであり、撮影画像に写る利用者の特定の部位に対してより自然な状態で合成用画像を合成できるようにするものである。

本技術の一側面の写真作成ゲーム機は、撮影画像に写る複数の利用者のそれぞれの特定の部位の三次元形状を表す三次元情報を前記利用者毎に生成し、前記利用者の前記三次元情報に基づいて変形した合成用画像を、合成先とする前記利用者の前記特定の部位に合成する画像処理部を備える。

本技術の一側面においては、撮影画像に写る複数の利用者のそれぞれの特定の部位の三次元形状を表す三次元情報が利用者毎に生成され、利用者の三次元情報に基づいて変形した合成用画像が、合成先とする利用者の特定の部位に合成される。

本技術によれば、撮影画像に写る利用者の特定の部位により自然な状態で合成用画像を合成することができる。

本技術の一実施の形態に係る写真シール作成装置の外観を示す斜視図である。 撮影部の正面の構成例を示す斜視図である。 写真シール作成装置の構成例を示すブロック図である。 写真シール作成装置の機能構成例を示すブロック図である。 フェイスシールコンテンツが合成された撮影画像の例を示す図である。 編集処理部の構成例を示すブロック図である。 携帯用画像生成部の構成例を示すブロック図である。 顔モデルの生成例を示す図である。 顔モデルの他の生成例を示す図である。 顔モデルのさらに他の生成例を示す図である。 フェイスシール用コンテンツの変換の例を示す図である。 写真シール作成装置の動作について説明するフローチャートである。 図１２のステップＳ３において行われる編集処理について説明するフローチャートである。 図１２のステップＳ３において行われる編集処理について説明する、図１３に続くフローチャートである。 携帯用落書き画面の表示例を示す図である。 フェイスシール用コンテンツの例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．写真シール作成装置の構成
２．写真シール作成装置の内部構成
３．制御部の機能構成例
４．写真シール作成装置の動作
５．変形例

＜写真シール作成装置の構成＞
図１は、本技術の一実施の形態に係る写真シール作成装置の外観を示す斜視図である。

写真シール作成装置１は、写真作成ゲームを提供するゲーム機である。写真シール作成装置１は、ゲームセンターなどの店舗に設置される。

写真シール作成装置１の利用者は、主に女子高生や若い女性が中心となる。写真シール作成装置１において、１組あたり主に２人や３人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置１において、１人の利用者がゲームを楽しむこともできる。

写真シール作成装置１の写真作成ゲームにおいて、利用者は、自身が被写体となって撮影を行う。利用者は、撮影によって得られた撮影画像に対して、手書きの文字やスタンプ画像などの合成用画像を合成させるための編集を行い、撮影画像を彩り豊かな画像に編集する。利用者は、編集済みの撮影画像が印刷されたシール紙を受け取って一連のゲームを終了させる。

箱状の筐体を有する写真シール作成装置１の側面には事前操作部１１が設けられる。事前操作部１１は、一緒に遊ぶ利用者の人数の選択や撮影コースの選択などの、撮影前の操作に用いられる装置である。事前操作部１１にはタッチパネルモニタ１１Ａが設けられる。タッチパネルモニタ１１Ａの下には、プレイ料金を支払うためのコイン投入口１１Ｂが設けられる。

各種の選択に用いられる画面がタッチパネルモニタ１１Ａに表示される。利用者は、タッチパネルモニタ１１Ａの表示に従って各種の選択を行った後、出入り口Ｇから撮影空間に入り、撮影を行うことになる。撮影空間の正面には撮影部２１が設けられる。撮影部２１と背景部２２の間の空間が撮影空間となる。撮影部２１には、カメラを内蔵した箱状のカメラユニット３１が設けられる。

事前操作部１１の左側には編集部５１が設けられる。編集部５１は、カメラで撮影することによって得られた撮影画像の編集に用いられる装置である。撮影空間で撮影を行った利用者は、編集部５１の前方の編集空間に移動し、撮影画像の編集を行うことになる。編集部５１の上方に形成された斜面には、撮影画像の編集用のモニタであるタブレット内蔵モニタ６１が設けられる。撮影画像の編集に用いられる画面がタブレット内蔵モニタ６１に表示される。

編集空間は、編集部５１の筐体を挟んで２つ用意される。図１に示す編集部５１の前方の空間と、編集部５１を挟んで後方の空間にそれぞれ編集空間が形成される。これにより、撮影空間での撮影を終えた利用者のグループを空いている方の編集空間に移動させ、２つの編集空間において並行して編集を行わせることができる。

図２は、撮影部２１の正面の構成例を示す斜視図である。撮影部２１は、側面パネル２１Ａ、側面パネル２１Ｂ、および正面パネル２１Ｃに囲まれるようにして構成される。

撮影部２１の正面の中央よりやや上側の位置にはカメラユニット３１が設けられる。カメラユニット３１には、カメラ４１とタッチパネルモニタ４２が設けられる。

カメラ４１は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット３１の内部に取り付けられる。カメラ４１は、CCD(Charge Coupled Device)イメージセンサやCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有し、撮影空間にいる利用者を撮影する。カメラ４１は、利用者を被写体として撮影を行う撮影部として機能する。

カメラ４１により取り込まれた動画像（以下、ライブビュー画像ともいう）は、タッチパネルモニタ４２にリアルタイムで表示される。撮影が指示されたときなどの所定のタイミングでカメラ４１により取り込まれた静止画像は、撮影画像として保存される。

タッチパネルモニタ４２は、カメラ４１の下方に設けられる。タッチパネルモニタ４２は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ４２は、カメラ４１により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUIを表示し、利用者の選択操作を受け付ける機能を備えている。

カメラユニット３１の上方には、曲面の発光面を利用者に向けた上ストロボユニット３２が設けられる。上ストロボユニット３２は、利用者の正面上方から、主に利用者の顔と上半身に向けて光を照射する。

カメラユニット３１の下方には、利用者に対して下方から光を照射する下箱ストロボユニット３３が設けられる。上ストロボユニット３２と下箱ストロボユニット３３のそれぞれにはストロボ光源が設けられる。ストロボ光源は、静止画像の撮影タイミングに合わせて発光し、被写体となる利用者にストロボ光を照射する。

下箱ストロボユニット３３と側面パネル２１Ａとの間には箱状部３４Ｌが設けられる。また、下箱ストロボユニット３３と側面パネル２１Ｂとの間には箱状部３４Ｒが設けられる。箱状部３４Ｌ，３４Ｒの上面は、略水平な面であり、撮影作業を行う利用者が手荷物などを置くための荷物置き場として用いられる。

＜写真シール作成装置の内部構成＞
図３は、写真シール作成装置１の構成例を示すブロック図である。図３において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３に示すように、写真シール作成装置１は、PC(Personal Computer)部１０１に対して、事前操作部１１、撮影部２１、編集部５１、および印刷部１０３が外部入出力インタフェース１０２を介して接続されることによって構成される。PC部１０１は、例えば編集部５１の筐体内部に収納される。

PC部１０１を構成するCPU(Central Processing Unit)１１１、ROM(Read Only Memory)１１２、RAM(Random Access Memory)１１３は、バス１１４により相互に接続される。

CPU１１１は、所定のプログラムを実行し、写真シール作成装置１の全体の動作を制御する。ROM１１２は、CPU１１１が実行するプログラムやデータを記憶する。RAM１１２は、CPU１１１が処理するデータやプログラムを一時的に記憶する。

バス１１４には、さらに、入出力インタフェース１１５が接続される。入出力インタフェース１１５には、記憶部１１６、通信部１１７、およびドライブ１１８が接続される。

記憶部１１６は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部１１６は、CPU１１１から供給された各種の設定情報などを記憶する。記憶部１１６に記憶されている情報はCPU１１１により適宜読み出される。

通信部１１７は、インターネットなどのネットワークのインタフェースである。通信部１１７は、CPU１１１による制御に従って外部の装置と通信を行う。通信部１１７は、利用者により選択された画像を、例えば写真シール作成装置１の製造メーカが管理するサーバに送信する。通信部１１７から送信された画像は、所定の記憶領域が割り当てられて保存され、サーバにアクセスしてきた携帯端末上で表示されたり、携帯端末にダウンロードされたりする。

ドライブ１１８には、光ディスクや半導体メモリなどよりなるリムーバブルメディア１１９が適宜装着される。ドライブ１１８によりリムーバブルメディア１１９から読み出されたプログラムやデータは、CPU１１１に供給され、記憶部１１６に記憶されたり、インストールされたりする。

入出力インタフェース１１５には外部入出力インタフェース１０２が接続される。PC部１０１による各部の制御が、外部入出力インタフェース１０２を介して行われる。

事前操作部１１は、撮影前の利用者を対象とした事前選択処理を行う。事前操作部１１は、タッチパネルモニタ１１Ａ、スピーカ１２１、および硬貨処理部１２２から構成される。

タッチパネルモニタ１１Ａは、PC部１０１による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部１０１に供給され、各種の設定が行われる。

硬貨処理部１２２は、コイン投入口１１Ｂへの硬貨の投入を検出する。硬貨処理部１２２は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部１０１に出力する。

撮影部２１は、撮影空間にいる利用者を対象とした撮影処理を行う。撮影部２１は、照明装置１３１、カメラ４１、タッチパネルモニタ４２、およびスピーカ１３２から構成される。

照明装置１３１は、撮影空間内の各ストロボユニットであり、PC部１０１から供給された照明制御信号に従って発光する。上ストロボユニット３２、下箱ストロボユニット３３などの、撮影空間に設けられるストロボユニットが照明装置１３１に含まれる。

カメラ４１は、PC部１０１によるシャッタ制御に従って撮影を行い、撮影によって得られた画像データをPC部１０１に出力する。

編集部５１は、撮影後の編集処理を行う。編集部５１は、タブレット内蔵モニタ６１、タッチペン１４１Ａ，１４１Ｂ、およびスピーカ１４２から構成される。タブレット内蔵モニタ６１、タッチペン１４１Ａ，１４１Ｂのセットが編集部５１の筐体の２つの面に設けられる。

タブレット内蔵モニタ６１は、PC部１０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部１０１に供給され、編集対象となる撮影画像の編集が行われる。

印刷部１０３は、プリンタ１５１を含むように構成される。プリンタ１５１にはシール紙ユニット１５２が装着される。

プリンタ１５１は、PC部１０１から供給された印刷データに基づいて、シール紙ユニット１５２に収納されているシール紙に画像を印刷する。プリンタ１５１は、画像を印刷したシール紙をシール紙排出口に排出する。

＜写真シール作成装置の機能構成例＞
図４は、写真シール作成装置１の機能構成例を示すブロック図である。図４に示す機能部のうちの少なくとも一部は、図３のCPU１１１により所定のプログラムが実行されることによって実現される。

写真シール作成装置１においては制御部２０１が実現される。制御部２０１は、事前選択処理部２１１、撮影処理部２１２、編集処理部２１３、印刷処理部２１４、および送信処理部２１５により構成される。

事前選択処理部２１１は、事前操作部１１の各部を制御することで、事前選択処理を実行する。事前選択処理により、利用者の人数の選択、撮影コースの選択などが行われる。利用者による選択内容を表す情報は撮影処理部２１２に供給される。

撮影処理部２１２は、撮影部２１の各部を制御することで撮影処理を行う。撮影処理においては、６枚などの複数枚の撮影画像の撮影が行われる。撮影処理部２１２は、撮影処理を行うことによって得られた複数枚の撮影画像のデータを編集処理部２１３に出力する。

編集処理部２１３は、編集部５１の各部を制御することで編集処理を行う。編集処理には、撮影画像の編集、シール紙に対する画像の印刷、および、外部の装置である画像管理サーバに対する画像の送信が含まれる。

画像管理サーバに送信された画像は、利用者が、写真シール作成装置１のゲームの終了後に、自分のスマートフォンなどの携帯端末を操作することによって、携帯端末上で閲覧したり、ダウンロードしたりすることに用いられる。

撮影画像の編集には、シール紙に印刷するための画像を撮影画像に基づいて生成する処理と、画像管理サーバに送信するための画像を撮影画像に基づいて生成する処理が含まれる。

シール紙に印刷するための画像は、シールデザインを利用者に選択させ、利用者により選択されたシールデザインに応じた画像処理を行うことによって生成される。シール紙に印刷するための画像の生成時、シールデザインとともに、デザイン性のある画像を合成することもできるようになっている。

一方、画像管理サーバに送信するための画像である携帯用画像は、ペンツール、スタンプツールなどの、あらかじめ用意された編集ツールの中から利用者により選択されたツールを用いて行われた操作に応じた画像処理を編集対象の撮影画像に施すことによって生成される。ペンツール、スタンプツールを用いることにより、合成用画像としてのペン画像、スタンプ画像が、編集対象の撮影画像に合成される。利用者は、好みの編集ツールを選択し、画像処理を施す位置を編集対象の撮影画像上で選択するなどして、撮影画像の編集を進めることになる。

このように、特に携帯用画像を作成するための撮影画像の編集は、利用者が、タッチペン１４１を用いて、撮影画像に落書きをするような感覚で進められる。以下、適宜、編集のことを落書きという。シール紙に印刷するための画像を作るための撮影画像の編集をシール用落書きといい、携帯用画像を作成するための撮影画像の編集を携帯用落書きという。

後に詳述するように、携帯用落書きのツールとしてフェイスシールツールが用意される。フェイスシールツールは、あらかじめ用意された画像を顔に合成するときに用いられる機能である。図５の破線で囲んで示すように、顔の頬の部分などに合成するためのデザイン性の高い画像がコンテンツとして複数種類用意される。以下、適宜、フェイスシール用のコンテンツとして用意された合成用画像をフェイスシール用コンテンツという。

図５の例においては、左側に写る人物の顔の目元の位置にフェイスシール用コンテンツＣ１が合成され、右側に写る人物の顔の頬の位置にフェイスシール用コンテンツＣ２が合成されている。フェイスシール用コンテンツＣ１は、小さなハート型の画像を複数集めて構成される画像である。フェイスシール用コンテンツＣ２は、サクランボ型の画像により構成される画像である。フェイスシール用コンテンツの種類毎に、合成先となる位置があらかじめ設定されている。

利用者がフェイスシールツールを選択し、合成するコンテンツの種類を選択したとき、撮影画像に写る利用者の顔の頬の部分などにコンテンツが自動的に合成される。このように、コンテンツの合成は、合成先の位置を利用者が指定することなく自動的に行われる。

編集処理部２１３は、シール用落書きの処理によって生成した印刷データを印刷処理部２１４に出力し、携帯用画像のデータを送信処理部２１５に出力する。

印刷処理部２１４は、印刷データをプリンタ１５１に出力し、画像をシール紙に印刷させる。

送信処理部２１５は、通信部１１７を制御することによって画像管理サーバとの間で通信を行い、携帯用画像を画像管理サーバに送信する（アップロードする）。

図６は、編集処理部２１３の構成例を示すブロック図である。

編集処理部２１３は、画像解析部２２１、シール用画像生成部２２２、シールデザインデータ記憶部２２３、携帯用画像生成部２２４、および表示制御部２２５により構成される。撮影処理部２１２から出力された撮影画像のデータは、画像解析部２２１と表示制御部２２５に入力される。

画像解析部２２１は、それぞれの撮影画像に写る利用者の特徴を解析し、撮影画像に写る利用者の特定の部位の位置を認識する。特定の部位の位置として、例えば、頭、目、鼻、口、耳の位置が認識される。画像解析部２２１により認識された位置を表す情報は、撮影画像のデータとともにシール用画像生成部２２２と携帯用画像生成部２２４に供給される。

シール用画像生成部２２２は、利用者により選択されたシールデザインに関する情報をシールデザインデータ記憶部２２３から読み出し、読み出した情報に基づく画像処理を撮影画像に対して施す。例えば、利用者により選択されたデザインの画像が合成されることによってシール用画像が生成される。

シール用画像の印刷データは印刷処理部２１４に供給される。シール用画像生成部２２２による画像処理の内容を表す情報は、適宜、表示制御部２２５に供給され、画面表示に用いられる。シール用画像生成部２２２による画像処理は、シール紙に印刷する画像を作るための処理である。

携帯用画像生成部２２４は、利用者が行う携帯用落書きに応じた画像処理をそれぞれの撮影画像に対して施し、携帯用画像を生成する。携帯用落書きは、画像管理サーバに送信する画像を作るための落書きである。携帯用落書きによる落書き済みの画像は、画像管理サーバに送信することに用いられる、送信用の画像である。

携帯用画像生成部２２４により生成された携帯用画像は、送信処理部２１５に供給される。携帯用画像生成部２２４による画像処理の内容を表す情報は、適宜、表示制御部２２５に供給され、画面表示に用いられる。

表示制御部２２５は、シール用落書き画面と携帯用落書き画面を含む各種の画面をタブレット内蔵モニタ６１に表示させる。表示制御部２２５は、利用者の操作に応じて、画面の表示を制御する。

図７は、携帯用画像生成部２２４の構成例を示すブロック図である。なお、図７には、フェイスシールツールの機能に関する構成が示されている。実際には、携帯用落書き画面の表示を用いて実現される他の機能に関する構成も携帯用画像生成部２２４には設けられる。

携帯用画像生成部２２４は、レタッチ処理部２３１、フェイスシール処理部２３２、コンテンツ記憶部２３３、および合成部２３４により構成される。画像解析部２２１から出力された撮影画像はレタッチ処理部２３１に入力される。

レタッチ処理部２３１は、それぞれの撮影画像に写る利用者の顔に対してレタッチ処理を施す。レタッチ処理として、例えば、顔を小顔にする処理、目を大きくする処理が用意される。レタッチ処理部２３１は、タブレット内蔵モニタ６１に表示されるレタッチ画面を用いて利用者により行われる操作に応じて、顔の大きさを調整したり、目の大きさを調整したりするなどのレタッチ処理を行う。レタッチ処理が、利用者の操作によらずに自動的に行われるようにしてもよい。

レタッチ処理部２３１によりレタッチ処理が施されたそれぞれの撮影画像はフェイスシール処理部２３２と合成部２３４に供給される。レタッチ処理は、例えば、携帯用落書き画面を用いた携帯用落書きの開始前に行われる。レタッチ処理が施された画像が、携帯用落書きの対象として用いられる。

また、レタッチ処理は、携帯用落書きの開始後にも行われる。携帯用落書き画面には、レタッチ処理を行うときに操作されるボタンなどの表示が用意される。

このように、撮影画像に対しては、顔全体の形状と大きさ、および、目などの、顔の一部の形状と大きさを変更するレタッチ処理が所定のタイミングで施される。顔全体の形状等と顔の一部の形状等のうちのいずれかの変更のみがレタッチ処理として行われるようにしてもよい。また、顔の形状の変更と大きさの変更のうちのいずれかの変更のみがレタッチ処理として行われるようにしてもよい。

目ではなく、鼻、眉、耳、口などの、他の一部の形状等の変更がレタッチ処理として行われるようにしてもよい。レタッチ処理の対象となる部分が一箇所であってもよいし、複数箇所であってもよい。

フェイスシール処理部２３２は、フェイスシールツールを用いた利用者の操作に応じて、フェイスシール用のコンテンツを生成する。フェイスシール処理部２３２は、３Ｄモデル生成部２４１と変換部２４２により構成される。

３Ｄモデル生成部２４１は、レタッチ処理部２３１から供給された撮影画像に写る利用者の顔領域を特定し、顔の三次元形状（立体形状）を表す３Ｄモデルである顔モデルを生成する。顔モデルは、例えば、仮想的な三次元空間上に配置された顔の特徴点を結ぶ線分により区切られる複数のメッシュにより構成される。撮影画像に写る利用者の顔領域は、画像解析部２２１による解析結果に基づいて特定される。

図８は、顔モデルの生成例を示す図である。

撮影画像に利用者Ｕ１と利用者Ｕ２の２人の利用者が写っている場合、矢印の先に示すように、利用者Ｕ１の顔の三次元形状を表す顔モデルＭ１と、利用者Ｕ２の顔の三次元形状を表す顔モデルＭ２がそれぞれ生成される。すなわち、撮影画像に写る利用者毎の顔モデルが生成される。

顔モデルＭ１は、利用者Ｕ１の顔にフェイスシール用コンテンツを合成する場合に用いられ、顔モデルＭ２は、利用者Ｕ２の顔にフェイスシール用コンテンツを合成する場合に用いられる。後述するように、顔モデルはフェイスシール用コンテンツを変換するために用いられる。フェイスシール用コンテンツの形状、大きさ、色の変更などが顔モデルに基づいて行われる。

顔モデルの生成は、例えば、顔画像を入力とし、３Ｄモデルを出力とする推論器を用いて行われる。３Ｄモデル生成部２４１には、顔画像と３Ｄモデルを学習用のデータとして機械学習を行うことによって生成された、顔の３Ｄモデル生成用の推論器が用意されている。

３Ｄモデル生成部２４１は、撮影画像に写るそれぞれの利用者の顔領域を画像解析部２２１による解析結果に基づいて特定し、顔画像を推論器に入力することによって、利用者毎の顔モデルを生成する。

顔モデルの生成が、機械学習によって生成された推論器を用いて行われるのではなく、他のツールを用いて行われるようにしてもよい。例えば、顔画像を解析することによって特定された特徴点を三次元空間上に配置することによって顔モデルが生成されるようにしてもよい。二次元画像に写る被写体の三次元形状を推定する各種の技術を採用することが可能である。

メッシュにより構成される３Ｄモデルではなく、顔の三次元形状を表す他の三次元情報が利用者毎に生成されるようにしてもよい。

図９は、顔モデルの他の生成例を示す図である。

図９に示すように、顔モデルの生成は、それぞれの撮影画像を対象として行われる。図９の例においては、１枚目の撮影画像に基づいて、利用者Ｕ１の顔の三次元形状を表す顔モデルＭ１－１と利用者Ｕ２の顔の三次元形状を表す顔モデルＭ２－１が生成され、２枚目の撮影画像に基づいて、利用者Ｕ１の顔の三次元形状を表す顔モデルＭ１－２と利用者Ｕ２の顔の三次元形状を表す顔モデルＭ２－２が生成されている。

３枚目以降の撮影画像についても同様に、それぞれの撮影画像に基づいて、利用者毎の顔モデルが生成される。それぞれの顔モデルは、それぞれの顔モデルの生成の元になった人物の顔を対象としてフェイスシール用コンテンツを合成することが選択されたときに用いられる。例えば３枚目の撮影画像が落書き対象として選択されている場合において、利用者Ｕ１を対象としてフェイスシール用コンテンツを合成することが選択されたとき、顔モデルＭ１－３が用いられる。

同じ利用者の顔画像に基づいて生成された複数の顔モデルに基づいて、その利用者用の１つの顔モデルが生成されるようにしてもよい。

例えば撮影が６回行われている場合、６枚の撮影画像のそれぞれを元にして生成された、利用者Ｕ１の顔の三次元形状を表す顔モデルＭ１－１乃至Ｍ１－６に基づいて、利用者Ｕ１用の１つの顔モデルが生成される。また、利用者Ｕ２の顔の三次元形状を表す顔モデルＭ２－１乃至Ｍ２－６に基づいて、利用者Ｕ２用の１つの顔モデルが生成される。例えば、６つの顔モデルの平均を求めることによって、利用者毎の１つの顔モデルが生成される。

６つの顔モデルに基づいて１つの顔モデルを生成することにより、それぞれの利用者用の、より精度の高い顔モデルを生成することが可能となる。

このような顔モデルの生成は、レタッチ処理が行われる毎に繰り返し行われる。

図１０は、顔モデルのさらに他の生成例を示す図である。

図１０の上段に示すように、１枚目の撮影画像に基づいて顔モデルＭ１と顔モデルＭ２が生成されている場合において、撮影画像に写る利用者Ｕ１と利用者Ｕ２のそれぞれの顔を対象としてレタッチが行われたとき、図１０の下段に示すように、レタッチ後の撮影画像に基づいて、顔モデルＭ１’と顔モデルＭ２’が生成される。図１０の下段の撮影画像において、利用者Ｕ１と利用者Ｕ２のそれぞれの顔の輪郭に色を付していることは、レタッチによって輪郭が変形していることを表す。

顔モデルＭ１’は、レタッチ後の１枚目の撮影画像に写る利用者Ｕ１の顔の三次元形状を表す顔モデルである。顔モデルＭ２’は、レタッチ後の１枚目の撮影画像に写る利用者Ｕ２の顔の三次元形状を表す顔モデルである。

複数の利用者が写っている場合において、１人の利用者のみを対象としてレタッチが行われたとき、レタッチが行われた利用者の顔モデルだけが作り直される。

レタッチ処理が行われる毎に顔モデルを作り直すことにより、レタッチ後の顔の三次元形状に応じて、フェイスシール用コンテンツを適切に合成することが可能となる。例えば、フェイスシール用コンテンツを一度合成した後にレタッチ処理が行われた場合、合成済みのフェイスシール用コンテンツに代えて、新たに生成された顔モデルを用いて変換されたフェイスシール用コンテンツが同じ位置に合成される。顔に合成されているフェイスシール用コンテンツの表示が、レタッチに追従して変化することになる。

３Ｄモデル生成部２４１により生成された顔モデルの情報は、図７の変換部２４２に供給される。

変換部２４２は、利用者により選択されたフェイスシール用コンテンツをコンテンツ記憶部２３３から読み出して取得する。変換部２４２は、コンテンツ記憶部２３３から読み出したフェイスシール用コンテンツを、落書き対象となっている撮影画像に基づいて生成された、合成先とする利用者の顔モデルに基づいて変換する。

図１１は、フェイスシール用コンテンツの変換の例を示す図である。

図１１の左端に示すフェイスシール用コンテンツＣ１を、落書き対象になっている撮影画像に写る利用者Ｕ１の顔に合成することが選択された場合について説明する。この場合、矢印＃１，＃２の先に示すように、落書き対象になっている撮影画像に基づいて生成された利用者Ｕ１の顔モデルＭ１に基づいてフェイスシール用コンテンツＣ１の変換が行われる。

フェイスシール用コンテンツＣ１の合成位置として顔の中央の位置Ｐが設定されている場合、フェイスシール用コンテンツＣ１の変換は、位置Ｐの周囲の立体形状に応じて変形させるようにして行われる。平面的な変形だけでなく、奥行き方向の変形も行われることになる。

変換後のフェイスシール用コンテンツＣ１の形状は、矢印＃３の先に示すように、デフォルトのフェイスシール用コンテンツＣ１を顔モデルＭ１上の位置Ｐに貼り付けたときの形状となる。形状の変更に合わせて、適宜、フェイスシール用コンテンツＣ１の色、濃度、透明度などの変更も行われる。

変換部２４２は、変換後のフェイスシール用コンテンツを合成部２３４に出力する。

コンテンツ記憶部２３３は、携帯用落書きにおいて用いられる各種のコンテンツを記憶する。コンテンツ記憶部２３３が記憶するコンテンツには、フェイスシール用コンテンツの他に、ペンツール用の画像、スタンプツール用の画像などの各種のコンテンツが含まれる。

合成部２３４は、変換部２４２から供給されたフェイスシール用コンテンツを落書き対象の撮影画像に写る利用者の顔に合成する。

また、合成部２３４は、フェイスシールツール以外のツールを用いた利用者の操作に応じて、落書き対象の撮影画像に対してコンテンツを合成する。合成部２３４は、適宜、フィルタ処理などの画像処理を施すことによって携帯用画像を生成する。合成部２３４により生成された携帯用画像は、表示制御部２２５（図６）等に供給される。

＜写真シール作成装置の動作＞
ここで、図１２のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の動作について説明する。図１２の処理は、400円などの所定の料金分の硬貨が投入されたときに開始される。

ステップＳ１において、事前選択処理部２１１は事前選択処理を行う。事前選択処理においては、利用者の人数の選択、ゲームコースの選択などが行われる。

ステップＳ２において、撮影処理部２１２は、撮影部２１を制御し、撮影処理を行う。具体的には、撮影処理部２１２は、カメラ４１により取り込まれたライブビュー画像をタッチパネルモニタ４２に表示させる。撮影処理部２１２は、撮影タイミングになったとき、撮影空間にいる利用者を被写体として撮影し、アップ画像となる撮影画像を生成する。アップ画像は、利用者の上半身が大きく写る静止画像である。アップ画像の撮影が、６回などの所定の回数繰り返し行われる。

ステップＳ３において、編集処理部２１３は、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部５１の構成を制御することで編集処理を行う。

・編集処理
次に、図１３および図１４のフローチャートを参照して、図１２のステップＳ３において行われる編集処理について説明する。

ステップＳ１１において、レタッチ処理部２３１は、撮影画像に写る利用者の顔に対してレタッチ処理を行う。タブレット内蔵モニタ６１にはレタッチ画面が表示され、利用者の操作に応じて、それぞれの撮影画像に写る利用者の顔を対象としてレタッチ処理が施される。

ステップＳ１２において、フェイスシール処理部２３２の３Ｄモデル生成部２４１は、レタッチ処理後の撮影画像に写る利用者の顔領域を特定して顔モデルを生成する。

ステップＳ１３において、編集処理部２１３の表示制御部２２５は、シール用落書き画面を表示させる。シール用落書き画面には、落書きの対象となる撮影画像とともに、シールデザインを選択するときに操作されるボタン、撮影画像に合成する画像を選択するときに操作されるボタンなどの各種のボタンが表示される。

ステップＳ１４において、シール用画像生成部２２２は、利用者による操作に応じた画像処理を撮影画像に対して施し、シール用画像を生成する。

ステップＳ１５において、シール用画像生成部２２２は、シール用落書きが終了か否かを判定する。シール用落書きが終了ではないとステップＳ１５において判定された場合、ステップＳ１３に戻り、シール用落書きが続けられる。例えば、あらかじめ設定された制限時間が経過した場合、シール用落書きは終了となる。

一方、シール用落書きが終了したとステップＳ１５において判定された場合、図１４のステップＳ１６において、表示制御部２２５は、携帯用落書き画面をタブレット内蔵モニタ６１に表示させる。利用者は、携帯用落書き画面を用いて撮影画像の落書きを行う。

図１５は、携帯用落書き画面の表示例を示す図である。

図１５に示すように、携帯用落書き画面は、基本的に、中央のサムネイル表示領域３０３を挟んで各表示が左右対称に設けられることによって構成される。左側の領域は、タブレット内蔵モニタ６１に向かって左側に立つ利用者により用いられる領域である。右側の領域は、タブレット内蔵モニタ６１に向かって右側に立つ利用者により用いられる領域である。

なお、図１５に示される携帯用落書き画面上の各領域を囲む矩形の破線は、画面に実際に表示されるものではない。

携帯用落書き画面の中央に設けられるサムネイル表示領域３０３は、撮影画像を表すサムネイル画像の表示領域である。利用者は、サムネイル表示領域３０３に表示されているサムネイル画像を用いて、落書き対象とする撮影画像を選択する。

サムネイル表示領域３０３には、撮影によって得られた全ての撮影画像を表すサムネイル画像が表示される。図１５の例においては６枚のアップ画像のサムネイル画像が表示されている。図１５の例においては、左側の利用者により左上のサムネイル画像が選択され、右側の利用者により右下のサムネイル画像が選択されている。

左側の領域の略中央には、落書き入力領域３０１Ｌが設けられる。落書き入力領域３０１Ｌは、サムネイル画像を用いて選択された、落書き対象となる撮影画像の表示領域である。利用者は、タッチペン１４１を用いて編集ツールを選択し、落書き入力領域３０１Ｌに表示された撮影画像の編集を行うことができる。編集の内容が落書き入力領域３０１Ｌの表示に反映される。

落書き入力領域３０１Ｌの右側には、消しゴムツールを選択するときに押下されるボタン、落書きをリセットするときに押下されるボタン、１つ前の操作に戻るときに押下されるボタンなどが並ぶツール領域３０２Ｌが設けられる。

落書き入力領域３０１Ｌの下方にはパレット領域３０４Ｌが設けられる。パレット領域３０４Ｌは、落書き入力領域３０１Ｌに表示されている撮影画像に合成させる各種の編集ツールの選択に用いられるボタンなどが表示される領域である。

パレット領域３０４Ｌの上方には、編集ツールのカテゴリの選択に用いられるタブが用意される。利用者は、パレット領域３０４Ｌに表示させる編集ツールを、タブを用いて切り替えることができる。図１５の例においては、フェイスシール、アイメイク、目の大きさ、小顔、リップ、カラコン、立体感、まつげのタブが用意され、そのうちのフェイスシールのタブが選択されている。

フェイスシールのタブが選択された場合、フェイスシールツールが選択された状態になる。フェイスシールツールが選択された場合、フェイスシール用コンテンツの選択に用いられるボタン３１１－１乃至３１１－５などがパレット領域３０４Ｌに表示される。パレット領域３０４Ｌの表示を用いて、図５を参照して説明したような各種のフェイスシール用コンテンツが選択される。

なお、右側の利用者により用いられる右側の領域には、左側の領域の構成と同じ構成が配置される。

図１４の説明に戻り、ステップＳ１７において、携帯用画像生成部２２４は、フェイスシールツールが選択されたか否かを判定する。

フェイスシールツールが選択されたとステップＳ１７において判定された場合、ステップＳ１８において、変換部２４２は、落書き対象となっている撮影画像に写る利用者のうちの、合成先として選択された利用者の顔モデルに基づいて、フェイスシール用コンテンツを変換する。

ステップＳ１９において、合成部２３４は、変換後のフェイスシール用コンテンツを合成する。これにより、落書き入力領域３０１Ｌ，３０１Ｒに表示されている撮影画像に写る利用者の顔部分にフェイスシール用コンテンツが合成して表示される。

ステップＳ２０において、レタッチ処理部２３１はレタッチが行われたか否かを判定する。パレット領域３０４Ｌ，３０４Ｒに用意された目の大きさタブ、または小顔タブが選択されたときにレタッチが行われる。

レタッチが利用者により行われたとステップＳ２０において判定された場合、ステップＳ２１において、レタッチ処理部２３１は、利用者の操作に応じてレタッチ処理を行う。

ステップＳ２２において、３Ｄモデル生成部２４１は、レタッチ処理後の撮影画像に写る利用者の顔領域を特定し、新たな顔モデルを生成する。

ステップＳ２３において、変換部２４２は、新たな顔モデルに基づいて、合成済みのものと同じフェイスシール用コンテンツを変換する。

ステップＳ２４において、合成部２３４は、変換後のフェイスシール用コンテンツを合成する。これにより、落書き入力領域３０１Ｌ，３０１Ｒに表示されている合成済みのフェイスシール用コンテンツが、レタッチ後の顔の立体形状に追従して変形して表示されることになる。

ステップＳ２５において、携帯用画像生成部２２４は、フェイスシールツール以外のツールを用いた利用者による操作に応じて、落書き対象の撮影画像に画像処理を施し、携帯用画像を生成する。フェイスシールツールが施された落書き対象の撮影画像に対して、さらに、他のツールを用いた落書きが施される。

フェイスシールツールが選択されていないとステップＳ１７において判定された場合、または、レタッチが行われていないとステップＳ２０において判定された場合も同様に、ステップＳ２５において携帯用画像の生成が行われる。

ステップＳ２６において、携帯用画像生成部２２４は、携帯用落書きが終了か否かを判定する。携帯用落書きが終了ではないとステップＳ２６において判定された場合、ステップＳ１６に戻り、携帯用落書きが続けられる。例えば、あらかじめ設定された制限時間が経過した場合、携帯用落書きは終了となる。

携帯用落書きが終了したとステップＳ２６において判定した場合、ステップＳ２７において、印刷処理部２１４は、シール用落書きによって生成されたシール用画像の印刷を開始する。印刷の開始タイミングは、シール用落書きが行われた後であれば任意のタイミングとすることが可能である。

ステップＳ２８において、送信処理部２１５は、携帯用画像を画像管理サーバに送信する。携帯用画像の送信が終わったとき、図１２のステップＳ３に戻り、写真シール作成ゲームの一連の処理は終了となる。

以上の処理により、撮影画像に写る利用者の顔に対して立体的なフェイスシール用コンテンツを合成することができる。合成先となる位置の立体形状に応じて変換が行われるため、違和感がなく、より自然な状態でフェイスシール用コンテンツを合成することが可能となる。

また、レタッチが行われる毎に顔モデルが作り直されることにより、レタッチによって顔が変形した場合でも、より自然な状態を維持し続けることが可能となる。

顔モデルの生成の元になる撮影画像は、ストロボ光を用いて、十分な明るさが確保された状態で撮影された画像であり、画像処理に適した画像である。画像処理に適した画像に基づいて精度の高い顔モデルを生成し、フェイスシール用コンテンツの変換に用いることが可能となる。

図１６は、フェイスシール用コンテンツの他の例を示す図である。

図１６に示すフェイスシール用コンテンツＣ１１は、吹き出しの内側に「LOVE」の文字が配置された画像である。このように、文字を含む画像もフェイスシール用コンテンツとして用意される。

ある撮影画像が落書き対象となっている場合において、利用者Ｕ１の顔がフェイスシール用コンテンツの合成先として選択されているとき、矢印＃１１の先に示すように、利用者Ｕ１の顔モデルに基づいて、奥行き感を有するようにフェイスシール用コンテンツＣ１１が変換され、合成される。

矢印＃１２の先に示すように、合成後のフェイスシール用コンテンツＣ１１は、利用者Ｕ１の顔の頬に沿ってシールを貼り付けたかのように、違和感のない状態で表示される。

＜変形例＞
・顔モデルの生成
顔モデルの生成が写真シール作成装置１において行われるのではなく、外部のサーバにおいて行われるようにしてもよい。この場合、３Ｄモデル生成部２４１（図７）は、撮影画像から抽出した顔画像を外部のサーバに送信し、外部のサーバから送信されてきた顔モデルを取得することになる。

・フェイスシール用コンテンツの合成位置
合成位置がフェイスシール用コンテンツの種類毎にあらかじめ設定されているものとしたが、利用者により選択された位置に合成されるようにしてもよい。この場合、変換部２４２によるフェイスシール用コンテンツの変換は、フェイスシール用コンテンツの合成位置が選択されたときに、選択された位置に応じて行われる。

・３Ｄモデルの例
顔以外の特定の部位の立体形状を表す３Ｄモデルが生成され、コンテンツの変換に用いられるようにしてもよい。例えば、頭、首、腕、足などの様々な部位を特定の部位として３Ｄモデルの生成が行われるようにしてもよい。

フェイスシール用コンテンツの変換が利用者毎に生成された三次元情報としての３Ｄモデルに基づいて行われるものとしたが、それぞれの利用者の顔の立体形状を表す他の三次元情報に基づいて行われるようにしてもよい。

・その他
フェイスシールツールが携帯用落書き時の編集ツールとして用意されるものとしたが、シール用落書き時の編集ツールとして用意されるようにしてもよい。すなわち、ゲームによって生成された画像の出力先として、携帯用画像として携帯端末に出力する出力先と、シール用画像としてシール紙に出力する出力先とが用意されているが、後者の出力先となるシール用画像の作成時にフェイスシールツールを用いた落書きが行われるようにしてもよい。携帯用画像とシール用画像のうちの少なくともいずれかに対して、フェイスシールツールを用いた落書きが行われるようにすることが可能である。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなるリムーバブルメディアに記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROMや記憶部に、あらかじめインストールしておくことができる。

コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

１ 写真シール作成装置， ２０１ 制御部， ２１１ 事前選択処理部， ２１２ 撮影処理部， ２１３ 編集処理部， ２１４ 印刷処理部， ２１５ 送信処理部， ２２１ 画像解析部， ２２２ シール用画像生成部， ２２３ シールデザインデータ記憶部， ２２４ 携帯用画像生成部， ２２５ 表示制御部， ２３１ レタッチ処理部， ２３２ フェイスシール処理部， ２３３ コンテンツ記憶部， ２３４ 合成部， ２４１ ３Ｄモデル生成部， ２４２ 変換部

Claims (11)

1. 撮影画像に写る複数の利用者のそれぞれの特定の部位の三次元形状を表す三次元情報を前記利用者毎に生成し、前記利用者の前記三次元情報に基づいて変形した合成用画像を、合成先とする前記利用者の前記特定の部位に合成する画像処理部を備える
   写真作成ゲーム機。
2. 前記画像処理部は、前記利用者の顔を前記特定の部位として前記三次元情報を生成する
   請求項１に記載の写真作成ゲーム機。
3. 前記画像処理部は、前記利用者により選択された前記合成用画像を、前記利用者により合成先とすることが選択された前記利用者の前記三次元情報に基づいて変形する
   請求項１または２に記載の写真作成ゲーム機。
4. 前記画像処理部は、前記利用者により選択された前記合成用画像を、前記合成用画像の種類毎に設定された前記特定の部位内の合成位置に応じて変形する
   請求項３に記載の写真作成ゲーム機。
5. 前記画像処理部は、前記特定の部位のレタッチが行われる毎に、レタッチ後の前記特定の部位の三次元形状を表す前記三次元情報を生成する
   請求項１乃至４のいずれかに記載の写真作成ゲーム機。
6. 前記画像処理部は、前記撮影画像に写る複数の前記利用者のうちのいずれかの前記利用者を対象としてレタッチが行われた場合、レタッチが行われた前記利用者の前記特定の部位の三次元形状を表す前記三次元情報を生成する
   請求項５に記載の写真作成ゲーム機。
7. 前記画像処理部は、複数回の撮影によって得られた複数枚の前記撮影画像のそれぞれに基づいて、前記利用者毎の前記三次元情報を生成する
   請求項１乃至６のいずれかに記載の写真作成ゲーム機。
8. 撮影空間にいる複数の前記利用者を被写体として複数回の撮影を行う撮影部と、
   前記撮影部による撮影に合わせて発光する、前記撮影空間に設置されたストロボと
   をさらに備える
   請求項１乃至７のいずれかに記載の写真作成ゲーム機。
9. 前記画像処理部は、前記利用者の携帯端末に出力される前記撮影画像と、シール紙に出力される前記撮影画像のうちの少なくともいずれかを対象として前記合成用画像の合成を行う
   請求項１乃至８のいずれかに記載の写真作成ゲーム機。
10. 写真作成ゲーム機が、
    撮影画像に写る複数の利用者のそれぞれの特定の部位の三次元形状を表す三次元情報を前記利用者毎に生成し、
    前記利用者の前記三次元情報に基づいて変形した合成用画像を、合成先とする前記利用者の前記特定の部位に合成する
    画像処理方法。
11. コンピュータに、
    撮影画像に写る複数の利用者のそれぞれの特定の部位の三次元形状を表す三次元情報を前記利用者毎に生成し、
    前記利用者の前記三次元情報に基づいて変形した合成用画像を、合成先とする前記利用者の前記特定の部位に合成する
    処理を実行させるためのプログラム。

Images