以下、本発明に係る写真撮影遊戯装置の一実施形態について、図面を参照しつつ説明する。本実施形態に係る写真撮影遊戯装置は、写真撮影により生成された画像データに対して落書き編集を行った後、写真印刷シートとして印刷したり、画像データとして外部装置(携帯端末や画像蓄積サーバ等)に出力するものである。まず、この写真撮影遊戯装置の全体構造について説明する。
<1.全体構造>
図1は、本実施形態に係る写真撮影遊戯装置を左前側から見た斜視図、図2は図1の写真撮影遊戯装置を上から見た平面図である。以下では、図1に示す前後左右の方向を基準として、他の図面の説明も行う。図1及び図2に示すように、この写真撮影遊技装置は、前部側の撮影部1と後部側の編集部2とを備えており、前後方向に長いほぼ直方体状を呈している。そして、撮影部1の側面には、撮影に必要な情報などを入力するプレイ準備部3が設けられ、編集部2の後端には、編集後の写真の出力などを行う出力部4が設けられている。
撮影部1は、4つの壁によって平面視矩形状の撮影空間10を規定する枠体100を備えており、この枠体100の前壁14の内面に、ユーザを撮影するカメラが内蔵された撮影筐体11が配置されている。また、枠体100の両側壁13には、それぞれ撮影空間10への出入口である第1出入口101a,101bが設けられている。そして、上述したプレイ準備部3は、左側の第1出入口101aの側方に配置されるプレイ準備筐体31を有しており、撮影空間10に入る前に、所定の情報を入力するようになっている。また、撮影空間10の上方には、照明及びフラッシュ照射する天井照明ユニット(図示省略)が設けられている。
枠体100の後壁12は、撮影筐体11とほぼ同じ幅及び高さの板状部材によって形成され、撮影筐体11を向く面には、クロマキー処理のための単一の色(例えば、青色または緑色)が着色されている。着色については、直接ペンキなどで着色するほか、着色された布地、プレート等を取付けてもよい。
編集部2は、枠体100の後壁12の後方に隣接して配置されており、この編集筐体21には、左右の方向を向く一対の操作面が設けられている。そして、各操作面への入力作業を行う編集空間20a,20bへは第2出入口201a,201bを介して入ることができる。
本実施形態の編集筐体21は、左右両側から2組のユーザが同時に編集可能な対面式であり、左右それぞれに操作面が設けられるとともに、左右方向長さが後壁12の同方向幅よりも小さい筐体である。編集筐体21は、その前端面を後壁12の背面の中央部に接続されており、この編集筐体21の左右両側方のスペースが、2組のユーザがそれぞれ編集作業を行う編集空間20a,20bとなっている。編集筐体21の上方には、平面視においてほぼコの字状のカーテンフレーム22が設けられている。このカーテンフレーム22は、前後方向に延びる一対の側部フレーム221と、この側部フレーム221の後端同士を連結する左右方向に延びる後部フレーム222とからなる。
各側部フレーム221の前端は、後壁12に連結されており、後部フレーム222の中央部は、編集筐体21の後上端部に設けられた支持部材23によって支持されている。そして、後壁12と、左側の側部フレーム221とから、編集空間20aに出入りするための第2出入口201aが構成されており、後壁12と、右側の側部フレーム221とから、編集空間20bに出入りするための第2出入口201bが構成されている。
出力部4は、編集筐体21の後端面と接する出力筐体41を有しており、この出力筐体41に対しては、写真撮影遊戯装置の後端側から操作を行うように、操作面が後端側を向いている。したがって、この出力筐体41の後端側の空間が、出力操作を行う出力空間40となる。
<2.プレイ準備筐体>
次に、プレイ準備筐体31について説明する。図1に示すように、このプレイ準備筐体31は、枠体100の左側の側壁13に接する矩形状の筐体であり、ユーザが撮影部1の撮影空間10に入るのに先立って、情報を入力するために用いられる。例えば、撮影空間10に既に他のユーザが入っているときの待ち時間に情報の入力が行われることがある。このプレイ準備筐体31の正面には、タッチパネル式の液晶モニタ32が設けられており、このモニタ32に情報の入力を促す表示がなされ、これに対して、ユーザが所定の情報を入力する。また、この液晶モニタ32の下方には、コイン投入口33とコイン返却口34とが設けられている。
また、液晶モニタ32の上方及び下方にはそれぞれプレイ準備筐体31におけるプレイの案内をするための音声や音楽を出力するスピーカ(不図示)が設けられる。上方のスピーカは低音を出力するものであり、下方のスピーカは高音を出力するものである。上方のスピーカを低音を出力するものにすることにより、上方のスピーカによる音声が、上方の隙間から撮影空間10に入りこむこと防止することができ、撮影空間10でプレイしているユーザのプレイを妨害することを防止することができる。
また、上方のスピーカを高音を出力するものにし、下方のスピーカを低音を出力するものにすれば、迫力のある音声を出力することができる。ただし、上方のスピーカからの出力が、撮影空間10に入りこむ可能性があるので、撮影空間10との仕切り等を上方スピーカの周りに設けることが好ましい。
<3.撮影筐体>
次に、撮影筐体11について詳細に説明する。図3は撮影筐体の斜視図である。同図に示すように、本実施形態の撮影筐体11は、第1カメラ111、第2カメラ112、第1モニタ113、第2モニタ114、及び正面ストロボユニット115、を含む。
第1カメラ111は、撮影筐体11の正面の略中央部に配置され、撮影空間10の被写体を正面から撮影する。具体的には、被写体のアップ撮影(胸より上の撮影)、及び全身撮影に利用される。この第1カメラ111による全身撮影では、被写体を正面よりも少し下方から(被写体を少し見上げるように)撮影するため、脚が近く、顔が遠くなるように撮影される。これにより、実際よりも脚が長く見える撮影画像が得られる。また、アップ撮影では、顔ができるだけ大きく写るようにするため、縦横比がほぼ同じである画像や若干縦長の画像が得られるように設定されている。しかし、全身撮影では、被写体の全身が写るようにするため、アップ撮影の場合よりも縦長の画像が得られるように設定されている。そして、第1カメラ111では、図示を省略するモータなどの駆動手段により、レンズのズームリングが回転するように構成されており、これによって画角を変化させ、アップ撮影及び全身撮影の2つの撮影に対応するようになっている。すなわち、アップ撮影では被写体の顔を中心に撮影するための画角とし、全身撮影では顔を中心として全身を撮影するため、アップ撮影の際の画角よりも大きい所定の画角とする。
一方、第2カメラ112は、撮影筐体11の正面の右上端部付近に配置され、撮影空間10の被写体を斜め上方から撮影する。具体的には、被写体の全身撮影に利用される。第2カメラ112による全身撮影では、被写体を上方から撮影するため、顔が近く、足下が遠くなるように撮影される。
第1モニタ113は、撮影条件などの入力操作が可能なタッチパネル式の液晶モニタであり、第1カメラ111の下側に配置される。また、後に詳述するが、この第1モニタ113は、第1カメラ111で撮影された動画を表示したり、第1カメラ111及び第2カメラ112で撮影された静止画像を表示し、画像補正のために、これらをユーザに確認させるという役割も果たす。一方、第2モニタ114は、第2カメラ112の下側に配置された小型のモニタであり、第2カメラ112で撮影された動画を表示する役割を果たす。この第2モニタ114は、主として全身画像の動画を表示するため、縦長に形成されている。
正面ストロボユニット115は、撮影空間10を前方から照明する。この正面照明ユニット115は、中央上ストロボ115Aと、中央下ストロボ115Bと、斜め上ストロボ115Cと、足下左ストロボ115Dと、足元右ストロボ115Eとからなる。中央上ストロボ115Aは、円形に形成され、第1カメラ111の上方に配置されている。そして、被写体に対し光を上方から照射する。中央下ストロボ115Bは、矩形状に形成され、第1モニタ113の下方から撮影筐体11の下端に亘って延びるように配置されている。そして、この中央下ストロボ115Bは、被写体に対し光を下方から照射する。
斜め上ストロボ115Cは、中央上ストロボ115Aよりも小型の円形に形成され、第2カメラ112の上方に配置されている。そして、この斜め上ストロボ115Cは、被写体に対し光を斜め上方から照射する。また、足下左ストロボ115D及び足元右ストロボ115Eは、矩形状に形成され、撮影筐体11の下端部付近において、中央下ストロボ115Bの左右にそれぞれ配置されている。これら足元ストロボ115D,Eは、全身撮影用であり、撮撮影空間10で立っている被写体の足元に光を照射する。
各ストロボ115A〜115Eの内部には蛍光灯が設けられており、撮影空間10内の照明として用いられる。各蛍光灯の発光量が調整されることによって、または、発光させる蛍光灯の数が調整されることによって、撮影空間10内の明るさが、利用者が行っている撮影作業の内容に応じて適宜調整される。
<4.編集筐体>
続いて、編集筐体21について詳細に説明する。図4は編集筐体の斜視図である。同図に示すように、本実施形態の編集筐体21は、下部側の制御ボックス211と、この制御ボックス211の上に設けられた編集台部212とを有する。制御ボックス211の内部には、メインコンピュータユニット及びI/Oコントローラなどの各種の制御装置が内蔵されており、この制御装置が写真撮影遊戯装置全体の動作の制御を行う。
編集台部212は、左右方向を向く山型の傾斜面により形成されており、各傾斜面に編集作業を行うための操作面が設置されている。具体的には、各操作面にはタブレットを内蔵した液晶モニタで構成された編集用モニタ213が設けられており、各編集用モニタ213の左右両側には2本のタッチペン214A,214Bが接続されている。このタッチペン214A,214Bのペン先を編集用モニタ213の画面に接触させることにより、画面表示されたアイコンを選択する選択入力や、文字や描画の落書きを行う場合の手書き入力を行うことができる。なお、図4では、左側の編集用モニタ213を示しているが、右側の編集用モニタ213も左側と同じ構造である。また、制御ボックス211の制御装置は、左右両側の編集用モニタ213への入力情報に対応する処理を個別に並列処理できるようになっている。
<5.出力筐体>
次に、出力筐体41について詳細に説明する。図5は出力筐体の正面図である。同図に示すように、出力筐体41は、編集筐体21の後端部に接する矩形状の筐体であり、後端側を向く面に操作面が設けられている。操作面の上部中央にはタッチパネル式の液晶モニタ411が設けられており、このモニタ411に、出力の説明などが表示される。
液晶モニタ411の下方には非接触通信部412が設けられており、近接された非接触型ICと通信を行うことで、非接触型ICからのデータの読み出しや非接触型ICに対するデータの書き込みを行う。例えば、FeliCa(登録商標)などを利用することができる。また、この非接触通信部412の下にはシール紙排出口413が設けられている。シート排出口413には、編集部において編集処理を行うことによって作成した画像が印刷された写真印刷シートが排出される。そのため、出力筐体41にはプリンタが内蔵されており、写真印刷シートの印刷がそのプリンタにより行われる。また、シール紙排出口413の下にはスピーカ414が設けられており、出力処理における案内音声、BGM、効果音等の音を出力する。なお、本実施形態では、出力筐体41を編集筐体21と別体としているが、これらを一体的な筐体で構成することもできる。
<6.写真撮影遊戯装置の機能的構成>
次に、本実施形態に係る写真撮影遊戯装置の機能的構成について説明する。図6は、写真撮影遊戯装置の内部の機能的構成を示すブロック図である。
図6に示すように、この写真撮影遊戯装置では、バスXを介して、制御部9、記憶部5、撮影部1、編集部2、プレイ準備部3、出力部4が電気的に接続されている。制御部9は、公知のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備えている。そして、制御部9では、記憶部5に記憶されているプログラムを実行し、写真撮影遊戯装置の全体の動作を制御する。また、バスXには、通信部6、外部ドライブ7も接続されている。なお、制御部9、記憶部5、通信部6及び外部ドライブ7は、公知のコンピュータにより構成してもよく、このようなコンピュータが上述した編集筐体21の制御ボックス211に内蔵されている。
記憶部5は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体で構成され、制御部9から送信された各種の設定情報を記憶する。記憶部5に記憶されている情報は制御部9により適宜読み出される。この記憶部5には、画像の編集のために用いられる各種画像データ、印刷シートに係る画像データ、画像処理のための各種データが記憶されている。例えば、撮影画像の背景画像となる背景画像データ、補正のサンプルに関する画像データ、印刷シートのサンプルに関する画像データなどが記憶されている。また、制御部9のROMには、記憶部5におけるプログラムの実行を開始させるためのプログラムやデータが記憶されており、RAMは、制御部9において処理するデータやプログラムを一時的に記憶する。以下では、RAM,ROMをまとめてメモリということがある。
通信部6はインターネットなどのネットワークと接続するためのインタフェースであり、制御部9による制御に従って外部の装置と通信を行う。外部ドライブ7では、光ディスクや半導体メモリなどのリムーバブルメディアに対する読み書きが行われる。例えば、外部ドライブ7によりリムーバブルメディアから読み出されたコンピュータプログラムやデータは、制御部9に送信され、記憶部5に記憶されたり、プログラムとしてインストールされる。
プレイ準備部3は、撮影前の情報の入力などの処理を行うモニタ32及びコイン処理部175により構成される。
モニタ113は、公知のタッチパネルを有しており、撮影前に所定の情報を表示するとともに、画面をタッチすることによりユーザからの情報の入力を受け付ける。詳細は、後述するが、例えば、撮影コースの選択、名前の入力、背景画像の選択などの操作を受け付ける。これらの操作を示す信号は、操作信号として制御部9に入力される。
コイン処理部35は、コイン投入口に対するコインの投入を検出する。コイン処理部35は、プレイに要する金額分(プレイ料金分)のコインが投入されたことを検出した場合、そのことを表す起動信号を制御部9に出力する。なお、コイン処理部35は、電子マネーやクレジットカードによるプレイ料金の支払を受け付け、当該起動信号を制御部9に出力するようなものとすることもできる。
撮影部1は、撮影空間10における撮影処理を行う構成である照明制御部18、第1カメラ111、第2カメラ112、第1モニタ113、第2モニタ114、及びスピーカ19から構成される。
第1カメラ111及び第2カメラ112は、制御部9による制御に従って撮影を行い、撮影によって得られた画像を制御部9に出力する。上述したように、第1カメラ112は、被写体を正面から撮影するためものであり、第2カメラ112は、被写体を斜め上方から撮影するためのものである。そのため、これらのカメラ111,112はそれぞれ、最適な画像を得るために理想的な画角やトリミング範囲などの設定が予め行われている。特に、第1カメラ111については、上述した通り、撮影の種類によって画角を変化させるため、制御部9によって、ズームリングを駆動するモータの制御も行われる。各カメラ111、112は、リアルタイムに画像を取り込んで当該画像を表す画像信号を出力する。各カメラ111,112から出力された画像信号は制御部9に入力されて、その内部のメモリに一時的に記憶されるとともに、第1モニタ113及び第2モニタ114にそれぞれ送信され、当該画像信号に基づくライブ映像が表示される。このとき、後述するように、各モニタ113,114には、クロマキー処理がなされた被写体の画像と、選択された背景画像とが重ね合わされ、さらに背景画像には被写体の影を示す影画像が付加される(より詳しくは、後述する第1合成画像には影画像、第2合成画像には付加影画像が付加される)。なお、実際には、静止画像として保存される撮影画像データ(以下、単に「撮影画像」ということもある)は高解像度の静止画データであり、ライブ映像表示を行うための撮影画像データ(「ライブビュー」とも呼ばれる)は低解像度の動画データである場合が多いが、高解像度の動画データとしてもよい。
また、撮影部1では、後述するように、撮影画像の補正も行われる。すなわち、モニタ113は、撮影画像の補正の候補を表示し、ユーザにより選択された補正の候補が信号として、制御部9に入力される。そして、制御部9は、選択された補正の候補に基づいて、撮影画像データの画像処理を行い、第1モニタ113に送信する。これにより、第1モニタ113は、画像処理された撮影画像を表示する。
照明制御部18は、制御部9より供給される照明制御信号に従って、撮影空間10内の正面照明ユニット115及び天井照明ユニットから照射されるストロボ光を制御する。また、照明制御部18は、これら照明ユニットの内部に設けられる電灯(蛍光灯など)を制御することで、ユーザによる撮影処理の段階に応じて撮影空間10内の明るさを調整する。スピーカ19は、ユーザによる撮影処理の段階応じた音声を出力する。
編集部2a,2bは、編集空間20a,20bそれぞれで編集処理を行うためのものである。編集部2aおよび編集部2の機能的構成は同じであるので、以下では編集部2aの機能的構成のみを説明し、編集部2bの機能的構成の説明を省略する。
編集部2aは、タブレット内蔵モニタとしての編集用モニタ213、2本のタッチペン214A,214B、およびスピーカ215から構成される。編集用モニタ213は、制御部9による制御に従って編集画面を表示し、編集画面に対するユーザの編集操作等を検出する。すなわち、ユーザにより、編集用モニタ213がタッチペン214A,214Bでタッチされると、その操作およびタッチペン214A,214Bのいずれでタッチされたのかが検出され、操作信号として制御部9に送信される。これにより、編集対象である合成画像(後述)の編集が行われる。具体的には、編集用モニタ213に表示された画像に対し、例えば、文字、模様、図形などのいわゆる落書きを、タッチペン214A,214Bなどの入力デバイスで入力する。これにより、合成画像に、落書きが重ね合わされた出力用画像が生成される。画像の編集については、後述する。こうして生成された出力用画像に基づく画像データは、出力部4へ送信される。
出力部4は、出力空間40における出力処理を行う構成であるタッチパネル式の液晶モニタ411、非接触通信部412、およびスピーカ414から構成される。その他、印刷を行うためのプリンタ44、およびシール紙ユニット45も備えている。プリンタ44は、合成画像、または編集処理によって得られた編集済みの出力用画像を、プリンタ44に装着されたシール紙ユニット45に収納されているシール紙に印刷し、シール紙排出口413に排出する。非接触通信部412は、携帯端末との間のデータの受送信を行うものである。なお、編集部2で作成された画像データは、通信部6によってネットワークを通じて外部の画像蓄積サーバに送信される。
<7.被写体の影の生成のための制御部の機能的構成と合成画像の生成方法>
次に、ユーザによる編集処理が行われるまでの撮影画像の処理について説明する。本実施形態に係る写真撮影遊戯装置では、出力される画像に対して立体感を付与し、リアリティを向上するため、被写体の影を含む合成画像を生成する。合成画像とは、被写体が写る被写体画像と、背景画像とを合成し、さらに被写体の影(後述する影画像または付加影画像)を付した画像である。なお、被写体画像と背景画像(及び影の画像)が一体化された合成画像は、印刷時に生成されるものであり、それまでは、被写体画像と背景画像とを重畳して表示したり、画像処理したりしている。すなわち、被写体画像に係るデータと背景画像に係るデータとを別々に保存し、例えば、モニタへの表示の際にこれらのデータに係る画像を重畳して合成画像を表示している。但し、以下の説明では、特に断りのない限り、一体化した画像、重畳した画像に関わらず、合成画像と称することとする。
そして、本実施形態では、選択された背景画像の種類に応じて生成される影が異なるようにしている。具体的には、2種類の背景画像、つまり、被写体の背後付近に配置されるような壁を表示したタイプ(第1デザイン)の第1背景画像と、被写体の背後に奥行きのある空間を表示したタイプ(第2デザイン)の第2背景画像とが設定されており、選択されたいずれかの背景画像に応じて影を生成している。第1背景画像は、被写体の背後付近に壁を表示するため、この壁に被写体の影が表示される。一方、第2背景画像は、被写体の背後に奥行きのある空間を表示するため、被写体の影は被写体の足下から背面へと延びるように形成される。但し、被写体の背後に奥行きのある空間がある場合だけではなく、後述するように、撮影空間で生じる影が利用できない程度に、被写体の背後に壁などの構造物が描かれていてもよい。そこで、以下では、第1背景画像を用いた第1合成画像、及び第2背景画像を用いた第2合成画像の生成方法について、それぞれ説明する。
<7−1 第1合成画像の生成方法>
まず、図7を参照しつつ、第1合成画像を生成する場合の制御部9の具体的な機能的構成について説明する。図7は、第1合成画像を生成する処理に係る制御部9の機能的構成を示すブロック図である。同図に示すように、制御部9は、メモリや記憶部5内に格納されている画像処理プログラムを読み出して実行することにより、仮想的に背景画像取得部41、撮影画像取得部42、マスク画像生成部43、及び合成画像生成部44として動作する。以下、各部41〜44の動作による画像処理について説明する。
背景画像取得部41は、後述するように、ユーザからの背景画像の選択を受け付けるものであり、背景画像の選択は、プレイ準備筐体31において行われる。また、背景画像取得部41では、ユーザが選択した背景画像が、いずれのタイプの背景画像であるかを識別する。
撮影画像取得部42は、上述したいずれかのカメラ111、112で撮影された撮影画像を取得する。この撮影画像には、撮影筐体11の後壁12の前に立つユーザが含まれる。すなわち、この撮影画像は、クロマキー処理用の後壁12及び撮影空間10の床面(不図示)を背景として、被写体としてのユーザが写る画像である。そして、マスク画像生成部43は、取得された撮影画像から、被写体画像及び影画像を抽出するための第1マスク画像を生成する。この第1マスク画像は、第1背景画像が合成される撮影画像に基づいて生成されるものである。第1マスク画像の具体的な生成方法は、後述する。
合成画像生成部44は、生成された第1マスク画像を用いて、撮影画像から被写体が抽出された被写体画像、及び被写体の周囲に映る影が抽出された影画像を生成する。そして、合成画像生成部44は、被写体画像、影画像、及び背景画像を合成し、第1合成画像を生成する。その後、この第1合成画像に対しては、編集部2においてユーザが編集処理を施すことにより、編集画像がさらに重ね合わされ、最終的な出力用画像が生成される。
次に、第1合成画像の生成方法について、図8のフローチャートも参照しつつ説明する。まず、第1マスク画像の生成方法について説明する。撮影空間10において、後壁12の前に被写体が立ち、撮影時にストロボから光が照射されると、後壁12には被写体の影が映る。このとき、後壁12において影が映っている部分は、後壁の色をやや暗くしたような色になる。
このような影を反映するため、例えば、図9に示すような撮影画像が取得されるとともに、図10に示すような第1背景画像が取得された場合、マスク画像生成部43は、第1背景画像であることを識別した上で(ステップS10のYES)、図11に示すような第1マスク画像を生成する(ステップS20)。マスク画像生成部43は、撮影画像において、後壁と同じ色の領域(以下、背景領域という)、影が映っている色の領域、つまり後壁12の色をやや暗くした色の領域(以下、影領域という)、及びそれ以外の被写体が表示された色の領域(以下、被写体領域という)を、撮影画像の各画素の画素値に基づいて検出する。そして、マスク画像生成部43は、図10に示すように、背景領域の透過率を0%、被写体領域の透過率を100%、影領域の透過率を0〜100%の間の所定の透過率としたグレースケール画像である第1マスク画像を生成する。すなわち、第1マスク画像において、背景領域は黒色(画素値0)、被写体領域は白(画素値255)、影領域は黒と白が混在した色(画素値0〜255)となり、撮影画像において主として背景領域がマスクされ、後述するように被写体領域及び影領域が、それぞれ被写体画像及び影画像として抽出される。
このような第1マスク画像を生成するには、撮影画像中のいずれの色を検出してマスクするか、つまり上述した画素値(あるいはその他の色の指標)をどのように設定するかが重要となる。例えば、被写体画像の抽出に当たって、後壁12と対応する背景領域はマスクするため、後壁12と同じ色は必ず検出しなければならないが、影領域の検出も必要であるため、後壁12に投影された影と同じ色も検出されなければならない。この場合、後壁12の色とほぼ同じ色の背景領域のみを検出するようにすれば、背景領域と、それ以外の領域、つまり影領域及び被写体領域と、を切り分けて抽出することができる。すなわち、背景領域と同じ色の画素値(またはそれに非常に近い画素値及びそれを含む画素値)を設定して背景領域を抽出すれば、それ以外の影領域と被写体領域とを合わせた領域を抽出することができる。但し、後壁12に投影される影の色は、ストロボの位置や被写体の位置などとの関係で濃くなったり、薄くなったりするため、設定される画素値によっては、濃い影のみが影領域として検出されたり、あるいは薄い影も含む影領域が検出されることがある。すなわち、背景領域を検出するための画素値の範囲を狭くすれば、薄い影まで含めた影領域のみが被写体領域とともに抽出でき、背景領域を検出するための画素値の範囲をやや広くすれば、薄い影は背景領域に含まれて検出されるため、濃い影の影領域のみを被写体領域とともに抽出することができる。一般に、濃い影のみを検出するときは、影領域は狭くなり、薄い影も含めて検出するときは、影領域は広くなる傾向にある。この点は、種々の設定方法があるが、本実施形態では、第1背景画像が選択されたときには、一律に検出する影のための画素値を固定される。なお、ここで検出される画素値が、本発明に係る特定の色に相当する。
また、第1マスク画像における影領域の透過率は、種々の設定が可能である。例えば、一定の透過率にすることもできるし、被写体領域から背景領域へいくにしたがって透過率を変化させてもよい。透過率は直線的に変化させてよいし、曲線的に変化させてもよい。また、透過率は、選択される背景画像によって変化させることもできる。例えば、色の濃い背景画像が選択された場合には、濃い影が適するため、濃い影を写すために透過率を低くすることができる。一方、色の薄い背景画像が選択された場合には、薄い影が適するため、薄い影を写すために透過率を高くすることができる。また、カメラによって透過率を変化させることもできる。すなわち、第2カメラ112を用いて撮影した場合には、上方から撮影が行われるため、被写体の顔に近い部分の影は濃くなり、被写体の足元に近い部分の影は薄くなる。したがって、被写体の顔に近い部分の影領域の透過率を低くし、足元に近い部分の影領域の透過率を高くすることができる。
次に、合成画像生成部44は、上記のように得られた第1マスク画像を用い、図12に示すように、撮影画像から、被写体が写る被写体画像と、その周囲で影が映る影画像とを抽出する。すなわち、被写体画像は、第1マスク画像の被写体領域と対応する領域を抽出したものであり、透過率100%で撮影画像から抽出された画像である。一方、影画像は、第1マスク画像の影領域と対応する領域を抽出したものであり、上記のように設定された透過率に基づいて、撮影画像から抽出されたものである。そして、合成画像生成部44は、これら被写体画像と影画像とを、第1背景画像に合成し、図13に示すような、第1合成画像を生成する(ステップS30)。このとき、第1合成画像において、影画像が重ね合わされる部分は、撮影画像から抽出された影領域の画素の画素値と、背景画像において影領域に対応する領域の画素の画素値とを、混合した画素値となる。なお、第1マスク画像を使用すれば、撮影画像から、被写体画像と影画像とを別の画像として抽出することもできるし、被写体画像及び影画像よりなる1つの画像(以下、「影付き被写体画像」ということもある。)として抽出することもできる。
こうして、第1合成画像には、第1背景画像の上に、被写体画像が表示されるとともに、被写体画像の周囲に影画像が表示される。第1背景画像は、被写体の背後付近に配置されるような壁を表示したものであるので、影画像は、この壁に映る影のように表示される。
その後、後述するように、第1合成画像は、第1または第2モニタ13,14に表示され(ステップS40)、ユーザは、その表示された画像を見ながら、撮影を行う(ステップS50)。そして、所定の枚数の撮影が終わると(ステップS60のYES)、撮影が終了し、所定の枚数に至ってない場合には(ステップS60のNO)、撮影が繰り返される。
<7−2 第2合成画像の生成方法>
まず、図14を参照しつつ、第2合成画像を生成する場合の制御部9の具体的な機能的構成について説明する。図14は、撮影画像の処理に係る制御部9の機能的構成を示すブロック図である。同図に示すように、制御部9は、メモリや記憶部5内に格納されている画像処理プログラムを読み出して実行することにより、仮想的に背景画像取得部41、撮影画像取得部42、マスク画像生成部43、影情報生成部45、及び合成画像生成部44として動作する。なお、背景画像取得部41及び撮影画像取得部42における処理は、第1合成画像の生成と同じであるので、以下では、マスク画像生成部43、影情報生成部45、及び合成画像生成部44の処理について説明する。
マスク画像生成部43は、取得された撮影画像に対してクロマキー処理を行い、第2マスク画像を生成する。この第2マスク画像は、第2背景画像が合成される撮影画像に基づいて生成されるものである。第2マスク画像の具体的な生成方法は、後述する。
影情報取得部45は、マスク画像生成部43で生成された第2マスク画像に基づいて、被写体の仮想的な影を表す影情報を生成するものである。影情報の生成手順については後述する。
合成画像生成部44は、生成された第2マスク画像を用いて、撮影画像から被写体が抽出された被写体画像を生成する。そして、第2背景画像に対し、上述した影情報に基づいて仮想的な影を生成する。そして、この第2背景画像に対して仮想的な影を形成し、影が形成された第2背景画像に対して被写体画像を合成し、第2合成画像を生成する。この第2合成画像に対しては、編集部2においてユーザが編集処理を施すことにより、編集画像がさらに重ね合わされ、最終的な出力用画像が生成される。
次に、第2合成画像の生成方法について、図8のフローチャートも参照しつつ説明する。例えば、図15に示すような撮影画像が取得されるとともに、図16に示すような第2背景画像が取得された場合、マスク画像生成部43は、第2背景画像であることを識別した上で(ステップS10のNO)、図17のような第2マスク画像を生成する(ステップ70)。このとき、マスク画像生成部43は、撮影画像において、後壁12と同じ色の背景領域、及びそれに近い色の影領域を合わせて検出し、それ以外の被写体が表示された色の被写体領域を切り分けるようにする。より詳細に説明すると、マスク画像生成部43は、例えば、後壁12の色と全く同じ画素値とともに、これに近い色の影領域(影領域は後壁の色を暗くしたものであるため)を含む画素値の範囲を設定し、これによって影領域を背景領域とともに検出する。その結果、背景領域と影領域を合わせた領域から切り分けて、被写体領域を抽出することができる。したがって、第2マスク画像を生成するには、背景画像を検出するための画素値の範囲を、第1背景画像よりも広くする。具体的には、第2マスク画像においては、撮影画像における影領域と背景領域とを合わせた領域の透過率を0%とし、それ以外の被写体領域の透過率を100%とするように、画素値の範囲が設定されている。言い換えると、影領域を背景領域と認識するように、画素値の範囲が設定されている。
続いて、影情報生成部45において、以下の手順に基づいて、マスク画像に基づき、影情報を生成する。まず、第2マスク画像を下端から上端へ走査し、被写体領域の下端S1を検出する。次に、図18に示すような、被写体領域にグラデーションマスクを形成する。このグラデーションマスクは、検出した下端S1から予め決められた基準長さL1だけ形成される。すなわち、被写体領域の下端S1から上端S2までの基準長さL1の領域に亘って、被写体領域と同じ輪郭を有するグラデーションマスクが形成される。なお、上端S2は画像の幅方向(水平方向)に延びる直線で表される。また、基準長さL1は、例えば、画像の縦方向に並ぶ画素数としたり、あるいは所定の長さとすることもできる。
このグラデーションマスクは、図19に示すグラデーションカーブに基づいて決定された画素値を有する画素により構成される。図19のグラフは、横軸が画像の縦方向の位置を示し、原点が下端S1、上限点が上端S2を示す。また、縦軸は、グラデーションの強度である画素値を示し、原点が画素値255、上限点が画素値0を示す。ここでは、画素値255は透明であり、画素値0が黒となるようにしている。そして、被写体領域に形成されるグラデーションマスクは、図19のカーブに基づいて画素値が決定され、下端から上端に向かって縦方向に画素値が変化するように形成される。なお、図19はグラデーションカーブの一例であり、他の曲線を用いることもできる。このようなグラデーションカーブは、記憶部に記憶され、グラデーションカーブが形成されるときに、読み出され、参照される。
次に、上記のように形成されたグラデーションマスクを傾斜させ、傾斜マスクを形成する。なお、この処理では、グラデーションマスク上で画素を傾斜させるのではなく、グラデーションマスクを構成する画素データを用いて、新たに傾斜マスクを形成する。まず、グラデーションマスクの中で、影として用いる領域を決定する。ここでは、図20に示すように、マスク画像の下端部からラインS3までの、画像の縦方向の所定の長さL2の領域を、被写体の床面側の部分(以下、「被写体の基端部」という)が写るであろう(被写体が人であって床面に立って撮影している場合は、足が写るであろう)範囲に相当する足ゾーンとして認識する。足ゾーンの認識方法は種々の方法があるが、例えば、第2マスク画像の下端部から所定の画素数の領域を足ゾーンとして認識することもできるし、第2マスク画像の縦方向の総画素数のうち、下端部からの所定の割合を足ゾーンとして認識することができる。また、撮影画像における、後壁12と撮影空間10の床面(不図示)との境界から下、あるいは、その境界よりも若干上から下を足ゾーンとして認識することもできる。但し、足ゾーンの長さL2がグラデーションマスクの基準長さL1よりも短くなるように、基準長さL1及び足ゾーンの長さL2をそれぞれ決めておく必要がある。
そして、グラデーションマスクの中で、足ゾーンを含む領域が、付加影領域として利用される。次に、付加影領域を足ゾーンを中心に傾斜させる。この点について、図21を参照しつつ説明する。図21(a)は、説明の簡略化のため、グラデーションマスクに含まれる画素の中から、縦方向の一列を選択して表示している。図中の数値は、画素値の例である。ここでは、一例として、20個の画素が並んであり、説明の便宜上、これらを下から上へ向かって第1〜第20画素P1〜P20と称することにする。また、足ゾーンの各画素を中心に傾斜させる画素数(基準画素数D)、および、その傾斜角度θを予め決めておく。ここでは、説明を容易にするため基準画素数Dを4画素とするがこれに限らない。基準画素数Dは、ある程度多い方が影の色変化を滑らかにすることができる。
次に、具体的なグラデーションマスクの傾斜方法について説明する。まず、図21(b)に示すように、第1画素P1を基準とし、これよりも上方にある基準画素数Dの画素を傾斜角度θだけ傾斜させる。すなわち、第1画素P1を回転中心として、これよりも上にある第2〜第5画素P2〜P5を回転させる。続いて、第2画素P2を回転中心として、これよりも上にある第3〜第6画素P3〜P6を回転させる。同様にして、足ゾーンに含まれる第9画素までを回転中心とし、それぞれ、それより上にある画素を回転させる。ここで、第6〜第9画素P6〜P9を回転中心とするときには、足ゾーンよりも上にある画素も利用している。したがって、影を生成するために用いられる「付加影領域」とは、足ゾーン内で被写体領域に含まれる画素、及び足ゾーンより上であっても、足ゾーン内の画素から基準画素数D内に含まれる画素が該当する。
但し、基準画素数Dに含まれる画素は、被写体領域内の画素に限られる。したがって、ある画素よりも上の画素が、被写体領域の外にある場合にはその画素は利用しない(厳密には、傾斜マスクを生成するために、被写体領域の外にある画素の画素値を利用しない)。なお、回転中心として利用する画素は、必ずしも被写体領域内になくてもよい。例えば、被写体領域外にある画素から基準画素数D内にある画素が、被写体領域内にある場合には、そのような被写体領域外の画素を回転中心とすることができる。ただし、回転させる被写体領域外の画素は、足ゾーン内に含まれるものに限る。
こうして、足ゾーンに含まれる画素の任意の一列を傾斜させた概略図が、図22である。そして、このような処理を足ゾーンに含まれるすべての列について行うと、図23に示すような傾斜マスクが形成される。なお、複数の列について、画素の傾斜を行うと、画素の重複が生じる。この場合には、画素値の高いものを新しい画素値とする。例えば、傾斜により、ある画素の画素値が100であった場合、これに、画素値が110の画素が傾斜されて重なったときには、その画素の画素値を110に置き換える。そして、新たに重ねられた画素値の方が小さい場合には、元の画素値を維持する。このように、傾斜マスクは、所定の長さの画素のうち、最も下側の画素(足ゾーンの各画素)を回転中心として回転させているため、後述するように、影が被写体の基端部付近(被写体が人であって床面に立っている場合は、足下)から延びるように見せることができる。
次に、合成画像生成部44は、上記のように得られた傾斜マスクを元に背景画像の処理を行う。ここでは、上述したように、図16に示す第2背景画像において、傾斜マスクに対応する領域に対し、画像の処理を行う。具体的には、例えば、背景画像において、傾斜マスクに対応する領域の画素に対し、傾斜マスクの画素値に対応するように、彩度を上げるとともに、明度を下げる。すなわち、傾斜マスクの画素値が高い場合には、それに併せて背景画像の画素の彩度を大きく上昇させるとともに、明度を大きく低下させる。このとき、画素の色相は変化させずに維持する。これにより、図24に示すように、背景画像に影が形成される。この影は、基端部に近い部位ほど色が濃く、終端部に近いほど色が薄い。例えば、図15のように被写体が床面に立っている場合は、床面に近い足の影ほど影の色が濃く暗くなり、床面から遠い部位の影ほど影の色が薄く明るくなる(図24)。また、背景画像の色相は変化させないので、選ばれた背景画像にとって自然な色の影をつけることができる。こうして、背景画像に付加された影が、本発明に係る付加影画像に相当する。
次に、合成画像生成部44は、上記のように得られた第2マスク画像を用い、撮影画像から被写体が写る被写体画像を抽出する。すなわち、被写体画像は、第2マスク画像の被写体領域と対応する領域を抽出したものであり、透過率100%で撮影画像から抽出された画像である。そして、合成画像生成部44は、被写体画像を、付加影画像が付加された背景画像に合成し、図25に示すような、第2合成画像を生成する(図8のステップS80)。その後の処理は第1合成画像の生成時と同じである(図8のステップS90以降)。
<8.写真撮影遊戯装置における処理手順>
続いて、本実施形態に係る写真撮影遊戯装置のプレイ方法及び画像処理について説明する。上述したように、この写真撮影遊戯装置には、撮影部1、編集部2、プレイ準備部3、及び出力部4が含まれている。プレイ準備部3では撮影前の所定の情報の入力が行われ、撮影部1では撮影処理が行われる。そして、編集部2では後述する編集処理が行われ、出力部4では出力処理が行われる。これらの処理は、記憶部5または外部ドライブ7に記憶されたプログラム、あるいはインストールされたプログラムを制御部9により実行することにより、行われる。以下では、まず、プレイの流れとそれに伴うユーザの移動について、図2及び図26に示すフローチャートを参照しつつ説明し、その後、各処理について詳細に説明する。
<8−1.プレイの流れ>
以下、図26のフローチャートにしたがい、プレイの流れについて説明する。図2に示すように、まず、ユーザは、矢印Aで示すように枠体100の左側の側壁13に配置されたプレイ準備部3によりプレイ準備処理を行う。プレイ準備筐体31のモニタ32において、デモ画像の表示中にユーザがコイン投入口33にコインを所定の金額を投入すると(ステップS100のYES)、プレイが開始され、プレイ準備処理が始まる(ステップS110)。そして、撮影コース、背景画像の選択などの所定の情報が入力されると、ユーザは、矢印Bで示すように第1出入口101aを使って撮影空間10に移動する。このとき、プレイ準備筐体31のモニタ32によって、撮影空間10への移動を促す表示や通知がなされる(ステップS120)。例えば、撮影空間10が他のユーザによって利用されていないときは、撮影空間10への移動を促す表示などを行う。一方、撮影空間10に他のユーザが存在する場合には、撮影空間10への移動を待つように表示などを行う。
続いて、ユーザは、撮影空間10に入り、撮影部1に設けられたカメラ111a,111bやモニタ113など利用して撮影処理を行う(ステップS130)。そして、撮影処理を終えたユーザは、矢印Cで示すように第1及び第2出入口101a,101bを使って撮影空間10から装置外部に出た後、いずれかの編集空間20a,20bに移動する。このとき、撮影筐体11のモニタ113およびスピーカ19によって、編集空間20a,20bへの移動を促す表示や通知がなされる(ステップS140)。例えば、いずれの編集空間20a,20bもユーザが利用していないときは、いずれか一方の編集空間への移動を促す表示などを行う。また、いずれか一方の編集空間20a,20bにユーザが存在する場合には、空いている編集空間への移動を促す表示などを行う。そして、いずれの編集空間20a,20bもユーザによって利用されている場合には、編集空間20a,20bへの移動を待つように表示などを行う。
編集空間20a,20bに移動したユーザは編集処理を開始する。各編集空間20a,20bのユーザは、同時に編集処理を行うことができる。ユーザは、プレイ準備処理で選択された背景画像が被写体画像(撮影画像から被写体部分を抽出した画像)の背景として合成された合成画像に対して、編集処理を行う(ステップS150)。そして、編集処理が終了すると、編集済みの合成画像を含む画像の印刷が開始される(ステップS160)。続いて、編集筐体21の編集用モニタ213には出力空間30への移動を促す表示がなされるとともに、スピーカ215によって出力空間40への移動を促す音声が通知される(ステップS170)。これに従って、編集処理を終えたユーザは、いずれかの編集空間20a,20bから、矢印Dで示すように出力空間40に移動して印刷が完了するのを待機させる。なお、出力空間40で他のユーザが出力処理をしている場合には、編集用モニタ213およびスピーカ215によって、出力空間40への移動を待たせる表示や通知がなされる。また、出力空間40への移動を促す通知後に、印刷処理を開始することもできる。
そして、出力空間40では、ユーザに画像の印刷を待たせている間、本プレイによって生成した画像をユーザの携帯端末で取得できるようにするための操作(例えば、メールアドレスの入力)をモニタ411に対して行わせる(ステップS180)。画像の印刷が終了したとき、ユーザは、出力筐体41に設けられたシール紙排出口413からシール紙を受け取り、一連のプレイを終えることになる。以上のようなユーザの移動を促す表示は、制御部9により行われる。
<8−2 プレイ準備処理>
次に、図26のステップS110で示したプレイ準備処理の詳細について、図27を参照しつつ説明する。図27は、本実施形態におけるプレイ準備処理の処理手順を示すフローチャートである。
コインが投入され、プレイが開始されると、制御部9は、プレイ準備筐体31のモニタ32に撮影コースの表示を行う。本実施形態では、図28に示すように、2種類の撮影コース、つまり第1撮影コースと、第2撮影コースとがモニタ32に表示され、ユーザはいずれか一方を選択する(ステップS200)。これらの撮影コースには、それぞれ、上述したようにアップ撮影と、全身撮影とが含まれるが、全身撮影の方法が相違する。すなわち、第1撮影コースを選択した場合には、第2カメラ112によって全身撮影が行われる。一方、第2撮影コースを選択した場合には、第1カメラ111によって全身撮影が行われる。
撮影コースの選択が完了すると、モニタ32には、名前の入力を促す画面が表示される。図示を省略するが、モニタには、ひらがな、カタカナ、アルファベットの一覧が表示され、ユーザは、この画面から適宜名前を入力する(ステップS210)。ここで入力した名前は、例えば、編集処理で使用される落書き用のツールの一つである名前スタンプを作成するための情報として利用される。
名前の入力が完了すると、モニタ32には、背景画像の選択を促す画面が表示される。例えば、図29の例では、後に撮影される5枚の写真それぞれに対応した背景画像を選択できるように、画面の上部に、5つの背景画像の枠1001が示されており、その下に、選択される背景画像の候補が示される。背景画像の候補としては、模様や色合いなどに基づく4つテーマ(トレンド、ラフ、ノーマル、及びセット)に係る背景画像が設定されており、各テーマには複数種の背景画像が含まれている。図29の例では、テーマとして「トレンド」を選択したときの24枚の背景画像の候補が示されている。本実施形態においては、5枚の写真の撮影が行われるが、そのうちの3枚がアップ撮影によるものであり、残りの2枚が全身撮影によるものである。そして、アップ撮影による3枚の撮影画像に対しては、上述した第1背景画像が合成され、全身撮影による2枚の撮影画像に対しては、第1背景画像及び第2背景画像にいずれかが合成される。そのため、3枚のアップ画像用の背景画像を選択する場合には、その候補として第1背景画像のみが複数示され、2枚の全身画像用の背景画像を選択する場合には、その候補として第1背景画像と第2背景画像とが混在した候補が複数示される。
そして、ユーザは、3枚のアップ画像用の背景画像を選択した後、2枚の全身画像用の背景画像を選択する(ステップS220)。このとき、画面上部の背景画像の枠1001の1つが太線で表されており、この状態で背景画像の候補をタッチペンでタッチすると、太線で囲まれた背景画像の枠1001に、タッチされた背景画像が表示される。その後、別の背景画像の枠1001をタッチすると、その枠に入るべき背景画像を選択することができる。このとき、アップ画像用の背景画像の枠1001(左から3番目までの3つの背景画像の枠1001のいずれか)をタッチした場合は、複数の第1背景画像の中から使用するものを選ぶための画面が表示される。一方、全身画像用の背景画像の枠1001(右から2番目までの2つの背景画像の枠1001のいずれか)をタッチした場合は、複数の第1背景画像及び第2背景画像の中から使用するものを選ぶための画面が表示される。
こうして、すべての枠1001の中に背景画像が入り、所定時間が経過する、あるいは、決定ボタン(不図示)がタッチされると、背景画像の選択が完了する。このとき、所定時間が経過するまで、あるいは、決定ボタンがタッチされるまでは、背景画像の枠1001をタッチし、その後、背景画像の候補をタッチすれば、何度でも背景画像の入替を行うことができる。アップなお、全身撮影用の背景画像は、第1及び第2撮影コースのいずれが選択されたかによってそのデザインが異なる。具体的には、上方から被写体を撮影する第1撮影コースの場合は、上から被写体が撮影されていることがわかるような奥行きを持ったデザインの背景画像が候補として挙げられ、正面から被写体を撮影する第2撮影コースの場合は、正面から被写体が撮影されていることがわかるような奥行きを持ったデザインの背景画像が候補として挙げられる。
なお、本例では、アップ撮影で使用する背景の候補を第1背景画像のみとしたが、これに限らない。例えば、候補を第2背景画像のみとしてもよいし、第1背景画像及び第2背景画像が混在したものを候補としてもよい。また、第1撮影コースが選択された場合は、アップ撮影及び全身撮影用の背景画像の候補として、第1背景画像(あるいは、第2背景画像)のみ、あるいは、第1背景画像(あるいは、第2背景画像)を第2背景画像(第1背景画像)よりも多く表示し、第2撮影コースが選択された場合は、第1コースが選択された場合の逆としてもよい。
こうして、背景画像の選択が完了すると、モニタ113には、撮影部1の撮影空間10への移動を促す表示がなされる。なお、上述した例では、プレイ準備処理においては、ユーザにより、3種類の情報の入力が行われたが、これ以外の情報の入力、例えば、メールアドレスなどの入力などを行わせることもできる。
<8−3 撮影処理>
次に、図26のステップS130で示した撮影処理の詳細について、図30を参照しつつ説明する。図30は、本実施形態における撮影処理の処理手順を示すフローチャートである。
ユーザが撮影空間に入ると、制御部9は、2種類の画像の撮影を行う。第1撮影コースが選択されている場合には(ステップS300のYES)、第1カメラ111によるアップ撮影、及び第2カメラ112による全身撮影が行われる。一方、第2撮影コースが選択されている場合には(ステップS300のNO)、第1カメラ111によるアップ撮影、及び第1カメラ111による全身撮影が行われる。
まず、アップ撮影について説明する。この撮影は、いずれの撮影コースを選択しても同じである。制御部9は、第1カメラ111に設けられたモータを駆動し、ズームリングを回転させてアップ撮影に適した画角を設定する(ステップS310)。このとき、第1モニタ113には、図31に示すような画面が表示される。ユーザは、この画面の矩形状の撮影画像表示領域1131にリアルタイムに表示される撮影動画像(ライブビュー)を見ながら撮影を行う。撮影画像表示領域1131に表示されるライブビューは、上述した第1合成画像であり、図8で示した処理を経たものである。すなわち、第1カメラ111によって撮影された撮影画像の動画がフレームごとに画像処理されて第1合成画像を生成し、生成された第1合成画像が順に撮影画像表示領域1131に表示される。これにより、ライブビューが生成される。なお、このような第1合成画像を生成するためには(第1背景画像が選択されたときには)、後壁12に影が投影されていることが必要であるため、制御部9は、ライブビューの表示に先立って、ユーザをアップ撮影に適した撮影位置へ誘導するする。具体的には、第1モニタ113に、誘導用の画面を表示させたり、あるいはスピーカから誘導用の音声を出力する。また、撮影位置に加え、影が投影されやすい撮影ポーズを案内することもできる。なお、撮影位置への案内や撮影ポーズの案内を行う制御部9が、本発明の案内部に相当する。
以上のようなライブビューが表示されている間に、アップ撮影(静止画の取得)が3回連続して行われる(ステップS320)。このとき、撮影する(表示されるライブビューを静止画として固定する)タイミングで、中央上ストロボ115A、中央下ストロボ115B、天井照明ユニットのストロボが発光する。
撮影は秒数表示1132を示してカウントダウンを行いながら所定時間ごとにシャッターが切られることで行われる。つまり、制御部9より第1カメラ111に制御信号が送信され撮影が行われる。そして、撮影された矩形状の画像のサムネイルが、画面下部のサムネイル表示領域1133に順に表示されていく。なお、このサムネイルは、上述した第1合成画像のサムネイルである。こうして、3回の撮影を行うが、1回の撮影が終了するごとに、撮影画像表示領域1131に表示されるライブビューにおいては、背景画像が切り替わる。すなわち、選択された3つの第1背景画像をそれぞれ用いて生成された第1合成画像が、スルー画像として撮影画像表示領域1131に順に表示される。そして、3回の撮影により、3種類の画像に係る撮影画像データが生成され、メモリに格納される。ここで撮影される画像を、以下、アップ画像と称する。
続いて、第1撮影コースを選択した場合には、第2カメラ112によって全身撮影が行われる。このとき、第2カメラ112における画角などは予め設定されている。これまで、ユーザは、第1モニタ113を見ながらアップ画像を撮影してきたが、第1撮影コースの全身撮影では、第2モニタ114を見ながら撮影を行うため、第1モニタ113には、ユーザに対し、第2モニタ114を見るように促すための表示がなされる。そして、ユーザは、第2モニタ114を見ながら、全身撮影を行う(ステップS330)。つまり、第2モニタ114には、ライブビューが表示され、ユーザはこれを見ながら2回の全身撮影を行う。このとき、第2モニタ114に表示されるライブビューは、第1合成画像または第2合成画像であり、図8の処理を経たものである。すなわち、選択された背景画像の種類によって、第1合成画像または第2合成画像がライブビューとして表示される。そして、ここで撮影される画像を、以下、第1全身画像という。第1全身画像は、上述したように顔が近く、足下が遠くなるように撮影された画像である。ここでも、アップ撮影と同様に、1回の撮影が終了するごとに、背景画像が切り替わった第1合成画像または第2合成画像がライブビューとして表示される。こうして、第1全身画像の撮影が終了すると、後述するように、第1モニタ113において、撮影された画像の補正が行われる。
一方、第2撮影コースを選択した場合には(ステップS300のNO)、第1撮影コースと同様に、第1カメラ111によるアップ撮影により合計3回の撮影が行われる(ステップS340〜S350)。これに続いて、同じく第1カメラ111によって全身撮影が行われる。まず、制御部9は、第1カメラ111に設けられたモータを駆動し、ズームリングを回転させて全身撮影に適した画角を設定する(ステップS360)。より具体的には、アップ撮影の際に設定された画角よりも広い画角となるように設定する。また、第1モニタ113には、ユーザを全身撮影に適した位置へ誘導するため、第1モニタ113に、誘導用の画面を表示させる。そして、アップ画像の撮影時と同様に全身撮影が行われる(ステップS370)。つまり、図31に示す撮影画像表示領域1131には、図8の処理を経て生成された第1合成画像または第2合成画像がライブビューとして表示され、ユーザはこれを見ながら2回の全身撮影を行う。ここで撮影される画像を、以下、第2全身画像という。第2全身画像は、上述したように正面から撮影される画像であり、被写体において、脚が長く見えるように撮影される画像である。
こうして、いずれの撮影コースにおいても、合計5回の撮影により、5枚の画像に係る撮影画像データが生成され、メモリに格納される。また、サムネイル表示領域1133には、3枚のアップ画像に係る第1合成画像、及び2枚の全身画像に係る第1または第2合成画像の合計5枚のサムネイルが表示される。
<8−4 第1補正処理>
こうして、すべての撮影が完了すると、得られた撮影画像に対して第1補正処理を行う(ステップS380)。まず、撮影された撮影画像の第1補正処理を促す画面がモニタ113に表示される。撮影画像の補正は種々の態様があるが、ここでは、撮影画像の肌の明るさと、撮影画像に含まれる被写体の目の大きさの補正を行うため、図32に示すような画面がモニタ113に表示される。同図に示すように、画面の左側には、既に撮影されたアップ画像がプレビュー画像1134として表示されており、画面の右側には、3種類の目の大きさを示す補正サンプルボタン1135と、5種類の肌の明るさを示す補正サンプルボタン1136が表示されている。なお、プレビュー画像とは、補正の内容をユーザに確認させるための画像である。ここでは、目の大きさとして、異なる3種類ずつの補正サンプルを設定しているが、目に関する補正であれば目の大きさに限らない。例えば、補正サンプルとしては、例えば、メイク、アイライン、まつげ、アイシャドー、黒目などを適宜調整したものを複数種準備することができる。また、肌の明るさとは、例えば、美白、小麦色などの設定である。
そして、いずれかの補正サンプルボタン1135,1136をタッチすると、タッチした補正サンプルボタンに対応する目の補正や明るさの補正が施されたアップ画像が、プレビュー画像1134として表示される。また、他の補正サンプルボタンをタッチすれば、その補正がなされたアップ画像がプレビュー画像1134として表示される。したがって、ユーザは、自身のアップ画像を用いて目の大きさや明るさを確認することができる。特に、顔が大きく写っているアップ画像をプレビュー画像として使用することで、目の大きさの確認をよりしやすい、という効果がある。
なお、取得したすべての撮影画像から顔検出を行い、もっとも多くの顔が検出された1枚の撮影画像、あるいは、撮影画像中に含まれるすべての顔の大きさの平均値が最も大きい1枚の撮影画像を最初に表示するプレビュー画像として使用することもできる。さらには、取得したすべての撮影画像から個体認証を行い、別人と判別されたすべての利用者の顔画像をプレビュー画像として表示することもできる。
そして、OKボタン1137を押下すれば、OKボタン1137を押下する直前に選択されていた補正が、すべての撮影画像に対してなされ、補正後の画像データがメモリに記憶される。なお、OKボタン1137が押下されない場合には、所定時間が経過後、その時点で選択されていた補正が、すべての撮影画像に対してなされる。こうして、補正後の画像データがメモリに記憶され、目の大きさと肌の明るさに関する第1補正処理が終了する。
なお、補正処理は、公知の画像処理技術を利用することができる。例えば、目の補正については、画像の中から目に該当する領域を検出し、この領域を選択した補正サンプルに適合するように、目の大きさなどを調整するように画像処理を行う。
<8−5 第2補正処理>
次に、第2撮影コースを選択している場合には(ステップS390のYES)、第2補正処理が行われる(ステップS400)。まず、第2撮影コースにおいて撮影された全身画像の第2補正処理を促す画面がモニタ113に表示される。ここでは、脚の長さの補正を行うため、図33に示すような画面がモニタ113に表示される。同図に示すように、画面の左側には、既に撮影された全身画像がプレビュー画像1138として表示されており、画面の右側には、3種類の脚の長さ(例えば、左側から長い、少し長い、とても長い)を示す補正サンプルボタン1139が表示されている。
そして、いずれかの補正サンプルボタン1139をタッチすると、タッチした補正サンプルボタンに対応する脚の長さの補正が施された全身画像が、プレビュー画像1138として表示される。また、他の補正サンプルボタンをタッチすれば、その補正がなされた全身画像がプレビュー画像1138として表示される。したがって、ユーザは、自身の全身画像を用いて脚の長さを確認することができる。
そして、OKボタン1140を押下すれば、OKボタン1140を押下する直前に選択されていた補正が、全身画像に対してなされ、補正後の画像データがメモリに記憶される。なお、OKボタン1140が押下されない場合には、所定時間が経過後、その時点で選択されていた補正が、全身画像に対して施され、補正後の画像データがメモリに記憶され、脚の長さに関する第2補正処理が終了する。
なお、脚の長さに関する補正処理は、公知の画像処理技術を利用することができる。例えば、画像の中から脚に該当する領域を検出し、この領域を選択した補正サンプルに適合するように、脚の長さを調整するように画像処理を行う。このとき、脚の長さの補正は、被写体画像に対してのみ行われ、背景画像を含む合成画像には行われない。すなわち、上述したように、印刷が行われるまでは、被写体画像(あるいは影付き被写体画像)、背景画像は別々に保存され、重畳されてモニタに表示されるため、脚の長さに関する補正処理は、被写体画像(あるいは影付き被写体画像)に対して行われ、その後、背景画像に重畳されて表示される。また、付加影画像を付加する場合には、脚の長さが補正された後の被写体画像に対して、第2マスク画像が生成され、その後、第2背景画像に付加影画像が付加される。
こうして、第2補正処理が完了すると、モニタ113には、編集部2のいずれか一方の編集空間20a,20bへの移動を促す表示がなされるとともに、スピーカ19によって、編集空間20a,20bへの移動を促す通知がなされる。また、生成された各撮影画像は、編集部2に送信される。なお、上述した例では、合計6回の撮影が行われたが、撮影回数は特には限定されない。
上記のように、第2撮影コースを選択した場合には、第2補正処理が行われるが、第1撮影コースを選択していた場合には(ステップS390のNO)、第2補正処理は行われず、撮影処理が終了する。すなわち、モニタ113に、編集部2のいずれか一方の編集空間20a,20bへの移動を促す表示がなされる。
<8−6.編集処理>
こうして撮影処理が完了すると、編集処理が開始される。ここでは、編集処理を行う際に、編集用モニタ213に表れる画面の構成について説明する。以下、このような落書きのための編集用モニタ213の画面構成について、図34を参照しつつ詳細に説明する。図34は編集用モニタに表示される編集対象画像の編集用画面を示す模式図である。
図34に示すように、この編集画面において、編集用モニタ213は、左右一対の編集スペースに区分けされ、2人のユーザが同時並行して使用できるようになっている。編集用モニタ213の左側の編集スペースにおいては、左側のタッチペン214Aによる入力受け付けが可能となっており、右側の編集スペースにおいては、右側のタッチペン214Bによる入力受け付けが可能となっている。各編集スペースの上部中央には、編集対象の合成画像(第1合成画像または第2合成画像,以下、同じ)を表示し、その合成画像に対してスタンプ等の合成用画像の合成(落書き)を行う矩形状の落書き領域501が設けられている。各落書き領域501の上方には、5枚の合成画像(アップ画像、全身画像に係る合成画像)のサムネイル502が表示されており、ここからタッチペンでタッチされることにより選択された1枚の合成画像が、落書き領域501に表示される。
落書き領域501の側部には、編集ボタンが配置されている。具体的には、上から、「エンド」ボタン503、消しゴムボタン504、「進む」ボタン505、「戻る」ボタン506、及び「モバイル」ボタン507が配置されている。「エンド」ボタン503は、編集を終了するためのボタンであり、この「エンド」ボタン503を押下すると、編集処理が自発的に終了し、出力処理へと移行する。消しゴムボタン504は、4種類のものが配置されており、3種類の大きさ消しゴムボタンと、すべての落書きを消すための「全消し」ボタンとが配置されている。例えば、いずれかの大きさ消しゴムボタンをタッチペン214A,214Bで押下すると、その大きさ消しゴムが設定され、この状態で落書き領域501をタッチペン214A,214Bでなぞると、なぞった部分の落書きが消去されるようになっている。また、「全消し」ボタンを押下すると、すべての落書きが消去される。
「戻る」ボタン506は、直前に行った落書き処理を取り消して元に戻すためのボタンであり、「進む」ボタン505は、反対に、「戻る」ボタン506を押下する直前の落書き処理を復活させるためのボタンである。「モバイル」ボタン507は、後述するモバイル編集画面に遷移するためのボタンである。
また、左右の編集ボタンの間には、カウントダウン用のタイマー508が設けられている。このタイマーは、種々の設定ができるが、例えば、落書き編集を行える基本制限時間(例えば、300秒)を予め設定しておき、落書き編集が開始されると同時にカウントダウンを始め、タイマーの表示がゼロになったときに落書き編集を強制的に終了させるように構成することができる。あるいは、撮影部1にユーザがいないとき、つまり、編集作業を待つ後続のユーザがいないときには、カウントダウンを行わず、制限なく編集作業を行えるようにしてもよいし、最大制限時間(例えば、20分)を設定しておき、最大制限時間まで編集作業を行えるようにしてもよい。但し、このような状態になったとき、もう一方の編集部2に後続のユーザがいる状態で、新たなユーザによる撮影処理が開始された場合、撮影処理の開始に合わせて、予め設定された時間(例えば、60秒)からのカウントダウンを始めるようにすることが好ましい。このタイマー508は、左右のユーザで共通であり、両ユーザの編集処理時間が1つのタイマー508で管理される。
落書き領域501の下方には、落書き編集を行うためのツールを選択するためのパレット509が配置されている。パレット509は、複数の領域に分けられている。まず、パレット509の上段には、複数のカテゴリーが表示されたカテゴリー領域510が配置されている。ここでは、例として「オススメ」、「スタンプ」、「ペン」、「メッセージ」、及び「メイク」という5つのカテゴリーが表示されている。
カテゴリー領域510の下方には、詳細ツール領域511が配置されており、上記各カテゴリーに関連した落書き用のツールが表示される。例えば、「スタンプ」というカテゴリーを選択すると、種々の種類のスタンプ(ツール)が表示される。この領域の上段には、6つの種類ボタン(A〜F)512が配置され、その下方には、複数種のスタンプが表示されたツールボタン513が配置されている。また、ツールボタン513の側方には、ツール編集ボタン、及び大きさ調整ボタン518が配置されている。
種類ボタン512は、選択されたカテゴリーをさらに分類するものである。図16には、1つの種類ボタンに対応する複数のスタンプが示されているが、これと同様に、他の種類ボタンを押下すると、同じカテゴリーでさらに種類の異なるスタンプが表示される。例えば、図16のツールが表示された状態で落書き処理を行う場合には、いずれかのツールをタッチペン214A,214Bで押下してツールを選択し、その後、タッチペン214A,214Bで落書き領域501の任意の位置を押下する。これにより、選択されたツールが落書き領域501における押下された位置に表示される。一旦設定されたツールは、他のツールを選択するまで維持される。
ツール編集ボタンは、4種類のボタンを有している。上から、第1回転ボタン514、第2回転ボタン515及び反転ボタン516が配置されており、その側方に大きさ調整ボタン518が配置されている。第1回転ボタン514は、画面に垂直な軸回りに選択されたツールを回転するためのものであり、第2回転ボタン515は、画面に平行で上下に延びる軸回りに選択されたツールを回転する(奥行き方向に回転する)ためのものである。反転ボタン516は、落書き領域に表示されたツールの左右を反転させるものである。また、大きさ調整ボタン518は、落書き領域501に表示するツールの大きさを決定するためのものであり、5種類の大きさが表示されている。例えば、カテゴリーとしてスタンプを選択して、大きさ調整ボタン518を押下した後、いずれかのツールを選択すると、選択した大きさに応じたスタンプが落書き領域501に表示される。
ここで、カテゴリー領域510で、「メイク」を選択したときの処理について、図35を参照しつつ説明する。図35の右側の編集スペースにおいて、「メイク」ボタンを押下すると、その下方には、メイクに応じた種類ボタン512が表示される。ここでは、一例として、左端のアイメイクボタンを押下したときの処理について説明する。
アイメイクボタンを押下すると、その下方には、3つのアイメイクのサンプル、つまりナチュラルアイ、リッチアイ、インパクトアイが表示されるとともに、その右側にアイメイクをしていない落書き前のサンプルが表示される。また、サンプルの左側には、いずれかのサンプルを選択する前、及び選択後のアイメイクのイメージが分かるように、顔の画像例が表示されている。このとき、落書き領域501の表示されている画像に対しては、顔検出が行われ、検出された顔の上に、当該顔を示す矩形状の枠588が表示される。
上述した3つのアイメイクのサンプルの1つをタッチした上で、落書き領域501の枠588(あるいは、顔)をタッチすると、選択したアイメイクのサンプルが落書き領域501の画像に反映される。より具体的には、選択したアイメイクのサンプルに対応する画像処理(以下、「アイメイク処理」という)が、タッチされた枠588に対応する顔に施される。図35に示すように、落書き領域501の画像に2人分の顔が含まれており、それぞれに対応する2つの枠588が表示されている場合、タッチした枠588に対応する顔のみにアイメイク処理が施され、タッチされていない別の枠588に対応する顔にはアイメイク処理は施されない。またこの場合、アイメイクのいずれかのサンプルが選択されている間に、各枠588を順にタッチすると、そのタッチしたサンプルに対応するアイメイク処理が各枠588に対応する顔に施される。なお、「OFF」ボタンをタッチした後に各枠588をタッチすると、タッチされた枠588に対応する顔に施されていたアイメイク処理が除去され、アイメイクを施す前の状態に戻る。
また、上記したものに代えて次のようなやり方でアイメイクを施すこともできる。まず、アイメイクを施したい顔に対応する枠588の1つをタッチした後に、いずれかのアイメイクのサンプルをタッチする。すると、選択したアイメイクのサンプルに対応するアイメイク処理が、タッチした枠588に対応する顔に施される。このとき、別の枠588をタッチしたり、他の落書きツールに切り替えたりするまでの間に、他のアイメイクのサンプルをタッチすると、当該タッチした枠588に対応する顔に対してそのサンプルに対応するアイメイク処理が施される。すなわち、別の顔を選ぶ等しなければ、所定の顔に対するアイメイク処理の選び直しをユーザの気に入るまで行うことができる。そして、他の枠をタッチすると、直前に選択したアイメイクのサンプルが、アイメイクとして固定される。もちろん、最初の枠588をもう一度タッチすれば、アイメイクを再度変更できる。なお、「OFF」ボタンをタッチすると、アイメイクを施す前の画像に戻る。
この画像処理の方法は種々のものがあるが、例えば、次のような方法がある。まず、撮影画像の中から目を検出し、検出された目の輪郭から外側に向かって一定の幅の領域(以下、「まつ毛領域」という)において、画素値を変化させる。なお、まつ毛領域の幅については、撮影画像における顔や目の大きさに基づいて決定される。より具体的には、顔や目の大きさが大きいほど、まつ毛領域の幅を長く設定し、顔や目の大きさが小さいほど、まつ毛領域の幅を短く設定する。また、一般的に上まつ毛の領域のほうが下まつ毛の領域よりも広いので、まつ毛領域に関して、上まつ毛に対応する領域の幅を、下まつ毛に対応する領域の幅よりも長く設定することが好ましい。以上により、上まつ毛及び下まつ毛が適切に強調された撮影画像とすることができる。ただし、目の色を変化させたくない場合は、検出された目の輪郭に含まれる各画素を除いて画素値を変化させればよい。上述した例では、ナチュラルアイ、リッチアイ、インパクトアイにいくにしたがって、色が濃くなるようにまつ毛領域の画素値を変化させる。これにより、目の大きさを変化させるような処理を行うことなく、目を強調することができる。なお、画素値を変化させる程度は、撮影画像の種類によって変化させることもできる。例えば、アップ画像では、顔、すなわち目が大きく表示されているため、あまり画素値を変化させない。それに対して、全身画像では、目が小さく表示されるため、アップ画像の場合よりも画素値を変化させる度合いを大きくする。これにより、全身画像においても、利用者が満足するような目の補正を施すことができる。
以上の画面構成は、左右の編集スペースで同じである。ユーザは、適宜、編集すべき編集対象画像をサムネイル502から選択し、落書き領域501に表示させる。そして、表示された合成画像に対して、編集作業を行う。
こうして、ユーザは、タイマー46の残り時間が0になる(またはユーザが終了させる操作を行う)まで、落書きを行う。そして、タイマーの残り時間が0になるか、あるいはユーザが終了ボタンをタッチして自発的に落書きを終了させると、編集用モニタ213に「落書き終了」との表示が表れる。そして、その時点において、編集画面で編集されている合成画像が編集済画像(出力用画像)とされ、この編集済画像に係る編集済画像データがメモリに保存され、編集処理が終了する。ここで、生成された編集済画像は、先に選択した印刷シートと合成され、後述する出力処理により印刷シートあるいはデータとして出力される。
<8−7.モバイルモード>
<8−7−1.モバイルモードで作成される画像>
次に、上述したモバイルモードについて説明する。モバイルモードでは、SNS(Social Networking Service)で提供されるユーザ画面において使用する画像データを生成することができる。例えば、Facebook(登録商標),Twitter(登録商標),Line(登録商標)などのSNSではアカウントを取得したユーザに個人サイトが提供されるのであるが、その個人サイトのトップ画面は、概ね以下のように構成されている。すなわち、図36に示すように、トップ画面の上部には、カバー画像81が配置されている。このカバー画像81は、任意の画像をカバー画像81として使用することができる。当該個人サイトのイメージや、ユーザの嗜好に合わせて設定される。また、このカバー画像81と重ね合わせるようにアイコン画像82が配置されている。このアイコン画像82は、例えば、ユーザ個人を表すものとして使用され、ユーザ自身の顔写真が用いられることが多い。このように、近年のSNSのトップ画面には、上述した3つのSNSを含め、大きさや配置位置は異なるものの、カバー画像81とアイコン画像82とが表示されることが多い。そこで、モバイルモードでは、SNSで用いることができるカバー画像と、アイコン画像を作成する。
<8−7−2.モバイルモードにおける画像の編集>
次に、モバイルモードにおける画面の編集について説明する。上記編集画面において、右側の編集スペースにおいて、モバイルモードボタン507(図34,35参照)を押下すると、図37に示すように、モバイルモードの選択画面601が表示される。この画面は、カバー画像、アイコン画像のどれを作成するかを選択する画面である。例えば、「カバー画像」ボタンを押下してOKボタンを押下すると、カバー画像作成画面に遷移し、「アイコン画像」ボタンを押下してOKボタンを押下すると、アイコン画像作成画面に遷移する。このとき、「やめる」ボタンを押下すると、元の画面、つまり、左側の編集スペースと同じ画面に遷移する。なお、両編集スペースでいずれもモバイルモードボタン507をタッチしたときには、両編集スペースに選択画面601が表示される。
図37の選択画面601において、「カバー画像」ボタンを押下すると、図38に示すように、右側の編集スペースに例えば、第1カバー画像作成画面602が表示される。同図に示すように、この画面には、複数(ここでは9種類)のカバー画像サンプルが表示される。ここで表示される複数のサンプルは、プレイ準備部3で選択した背景画像セットに基づいて、準備されている。すなわち、選択した背景画像セットに最も適合したカバー画像サンプル、例えば、デザイン、色合いなどにおいて統一性のあるカバー画像サンプルが表示される。そして、ユーザが、いずれかのカバー画像サンプルをタッチし、OKボタンを押下すると、第2カバー画像作成画面に遷移する。このとき、「やめる」ボタンを押下すると、図37の選択画面に戻り、「モバイルモードをやめる」ボタンを押下すると、左側の編集スペースと同じ画面に遷移する。この操作について、以下の画面についても同じである。
図38に示す第1カバー画像作成画面602において、OKボタンを押下すると、右側の編集スペースに、例えば、図39に示す第2カバー画像作成画面603が表示される。同図に示すように、この画面では、上部に、5枚のサムネイルが表示されている。このサムネイルは、撮影処理にて作成された5枚の被写体画像のサムネイルであり、背景画像は合成されていない。すなわち、影のない被写体画像が用いられるが、この点については、後述する。そして、その下方にプレビュー画面925が配置されている。プレビュー画面925には、第1カバー画像作成画面602で選択されたカバー画像のサンプルを作るためのベースとなる画像であるカバー用装飾画像951が表示されている。このカバー用装飾画像951は、画像スペース701を有している。この画像スペース701は、カバー用装飾画像951の種類によって、大きさや形状が異なるものとすることができる。そして、画像スペース701に、5つのサムネイルから選択された被写体画像が配置される。
より詳細には、5つのサムネイルのいずれかをタッチすると、タッチしたサムネイルの被写体画像がプレビュー画面925に表示されたカバー用装飾画像951の下に配置される。つまり、被写体画像に関して、カバー用装飾画像951の画像配置スペース701に重なっている部分は表示されるが、それ以外の部分はカバー用装飾画像951で隠れて表示されない。また、プレビュー画面には、このプレビュー画面に表示されている被写体画像の範囲を示す編集枠901が表示される。この編集枠901の形状は、選択された被写体画像の形状に対応しており、図39では全身画像を選択した例を示している。編集枠901の4つの角にはそれぞれ拡縮用ハンドル921が表示されるとともに、編集枠901の両側にはそれぞれ回転用ハンドル931が表示されている。これにより、拡縮用ハンドル921をタッチペン214Aでドラッグすると、編集枠901の大きさが被写体画像とともに変化する。また、回転用ハンドル931をタッチペン214Aでドラッグすると、編集枠901が被写体画像とともに回転する。さらに、ユーザが、編集枠901の内部をタッチペン214Aでドラッグすると、編集枠901が被写体画像とともに移動させることかできる。したがって、ユーザは、編集枠901を操作することで、カバー用装飾画像951に対する被写体画像の配置位置を任意の位置に移動させたり、または回転させたり、あるいは任意の大きさに調整することができる。これにより、被写体画像の、画像スペース701を通じて見える範囲を変更することができる。
そして、編集が完了し、OKボタンを押下すると、プレビュー画面で表示された状態となるように、被写体画像とカバー用装飾画像951とが合成される。これにより、カバー画像が生成され、メモリに保存される。この状態から選択画面601に戻って、アイコン画像を選択すると、アイコン画像作成画面に遷移し、アイコン画像を作成することができる。
アイコン画像作成画面は、3つの画面で構成されている。まず、図40に示す第1アイコン画像作成画面604が表示される。この画面では、複数のアイコン画像のサンプル(ここでは20個)の中から、所定のサンプルを選択する。なお、ここで表示されている20個のアイコン画像のサンプルも、プレイ準備部3で選択された背景画像に基づいて、決定される。ユーザは、複数のサンプルの1つをタッチして選択し、この状態でOKボタンを押下すると、第2アイコン画像作成画面605に遷移する。
図41に示すに示す第2アイコン画像作成画面605では、図39と同様に、上部に5枚の被写体画像のサムネイルが表示されており、その下方にプレビュー画面926が配置されている。このプレビュー画面926には、第1アイコン画像作成画面604で選択されたアイコン画像のサンプルを作るためのベースとなるアイコン用装飾画像920が表示される。アイコン用装飾画像920は、正方形の画像であり、前景画像と背景画像とで構成されている。そして、このアイコン用装飾画像に、5つのサムネイルから選択された被写体画像が重ね合わせて表示される。より具体的には、アイコン用装飾画像920の前景画像、被写体画像、アイコン用装飾画像920の背景の順に重なって表示される。なお、このプレビュー画面において、被写体画像は、アイコン用装飾画像と重なる部分だけ表示され、それ以外の部分は表示されないようになっている。
このプレビュー画面926には、第2カバー画像作成画面603と同様に、被写体画像の範囲を示す編集枠902、拡縮用ハンドル931、及び回転用ハンドル932が表示されている。これにより、ユーザは、編集枠902等を操作することで、アイコン用装飾画像に対する被写体画像の重ね位置を任意の位置に移動させたり、または回転させたり、あるいは任意の大きさに調整することができる。これにより、被写体画像の表示範囲を変更することができる。
そして、OKボタンを押下すると、その時点のプレビュー画面において、被写体画像の表示部分のみが抽出され、つまり被写体画像の非表示部分はトリミングされる。そして、抽出された被写体画像と、アイコン用装飾画像とが合成されアイコン画像が生成される。そして、第3アイコン画像作成画面606に遷移する。
図42に示す第3アイコン画像作成画面606は、図34に示す編集画面と同様の構成であり、第2アイコン画像作成画面605で作成されたアイコン画像に対して、落書き編集を行うことができる。落書き編集後、終了ボタンを押下すると、落書き済みのアイコン画像がメモリに保存されるとともに、図34の編集画面に遷移し、「前の画面に戻る」ボタンを押下すると、第2アイコン画像作成画面605に戻る。そして、図34の編集画面に戻ったとき、カバー画像、アイコン画像が一枚でも作成されていれば、モバイルモード507には、「作成済み」の表示が付加され、カバー画像やアイコン画像が既に作成されていることを視認させる。
こうして、モバイルモードでは、SNSで用いるカバー画像とアイコン画像とを作成することができるが、左右一対の編集スペースにおいて、カバー画像とアイコン画像を1つずつ、合計4枚の画像を生成することができる。但し、ユーザがモバイルモードでの編集を行わなかった場合、あるいはカバー画像またはアイコン画像のいずれか一方しか作成しなかった場合には、制御部9は、自動的にカバー画像やアイコン画像を作成することができる。作成の手順は上記の通りであり、サンプルの選択、撮影画像の選択等は、制御部9が自動で選択する。なお、自動的に生成される画像の数は、特には限定されない。例えば、モバイルモードに移行しなかった場合には、カバー画像とアイコン画像を1つずつ自動作成し、カバー画像のみを2枚作成した場合には、アイコン画像を2枚自動作成し、一方の編集スペースにおいてのみカバー画像を1枚作成した場合には、アイコン画像を1枚だけ自動作成する、など、適宜決定することができる。
なお、モバイルモードでの編集を全く行わなかった場合、アイコン画像あるいは、カバー画像の自動生成を行うに当たっては、アイコン等のデザインを背景画像セットの選択結果に基づいて決定するようにしてもよい。これにより、ユーザの好みを反映したアイコン画像やカバー画像を作ることができる。
また、カバー画像(あるいは、アイコン画像)のみを作った場合は、作ったカバー画像(あるいは、アイコン画像)に対応するデザインのアイコン画像(あるいは、カバー画像)を自動生成するようにしてもよい。上述したように、カバー画像とアイコン画像は基本的にはセットで使用するものなので、デザインの統一性図ることができ、利用者の満足度を向上させることができる。
上記のように、モバイルモードでは、合成画像を用いるのではなく、影のない被写体画像のみを用いてカバー画像やアイコン画像を生成しているが、この点について説明する。被写体画像のみを抽出する方法は、特には限定されないが、例えば、次のようにすることができる。第1合成画像の場合には、影画像と被写体画像の両方を抽出する第1マスク画像しか作成されていないので、撮影画像から改めて第2マスク画像を生成し、この第2マスク画像を用いて撮影画像あるいは第1合成画像から被写体画像を抽出することができる。したがって、こうして生成された被写体画像を用いることができる。このとき、第1合成画像が、影付き被写体画像と第1背景画像とが一体化されたものであっても、被写体画像を抽出することができ、それぞれ別データとして持っている場合は、影付き被写体画像から被写体画像を抽出することができる。
一方、第2合成画像においては、上記のように、被写体画像と影が付された背景画像とが別々のデータとして保存されているため、被写体画像をそのまま用いればよい。なお、第2合成画像が被写体画像と背景画像とが一体化された画像であるの場合には、撮影画像から既に生成した第2マスク画像を用いて、この撮影画像あるいは第2合成画像から被写体画像を抽出することができる。
あるいは、撮影時に、または、両方のマスク画像が必要となるまでの間に、一方のマスク画像だけでなく、第1及び第2マスク画像の双方を生成し、保存しておくこともできる。こうすることで、例えば、第1合成画像であっても、撮影画像から、保存された第2マスク画像を用いて被写体画像を抽出することができる。
<8−8 印刷シート選択処理>
次に、印刷シートの選択処理について説明する。まず、「印刷シートの選択処理」とは、「編集済合成画像を印刷シートにどのようなレイアウトで印刷するのかを決定するとともに、印刷シートの編集済合成画像が印刷されない領域に印刷する画像のデザインを決定する処理」のことを指す。また、「印刷シートを選ぶ(選択する)」とは、「編集済合成画像を印刷シートにどのようなレイアウトで印刷するのかを決定するとともに、印刷シートの編集済合成画像が印刷されない領域に印刷する画像のデザインを決定する」ことを指す。
上述した落書き編集が終了すると、編集部2では、印刷シートの選択処理が行われる。すなわち、編集用モニタ213に、図43に示す印刷シート選択画面が表示される。同図に示すように、この画面において、編集用モニタ213は、左右一対の編集スペースに区分けされ、2人のユーザが同時並行して使用できるようになっている。
この印刷シート選択画面は、4つのタブ381と、このタブ381の下方に2つの編集スペース382と、を有しており、編集スペース382には、プレビュー画面383と印刷シートの複数(ここでは8種類)のサンプル384が表示されている。本実施形態では、印刷シートの種類が大きく分けて4種類に分類されている。トレンド分割、切れてる分割、3人4人分割、及び細かい分割が準備されており、4つのタブ381は、これら印刷シートに対応している。すなわち、ユーザがいずれかのタブ381をタッチすることで、いずれかの種類に属する複数の印刷シートの中から、所定の印刷シートを選択できるようになっている。なお、図43に示した画面は、トレンド分割のタブが選ばれているときの印刷シート選択画面である。この2つのタブの場合は、2人のユーザが左右の画面を用いて個別に印刷シートを選べるようになっている。
初期状態では、図43に示すように、トレンド分割のタブ381が選択されるとともに、選択された背景画像に最も適合する印刷シートのサンプルが選択され、編集済画像が配置された状態の印刷シートが実際の出力サイズで、プレビュー画面383に表示される。なお、適合するとは、例えば、デザイン、色合いなどで最も統一感があることをいう。このとき、8つのサンプル384の中で、選択された印刷シートのサンプルは、反転などの表示を伴って、ユーザが視認できるようになっている。また、ここで表示される印刷シートのサンプル384は、選択された背景画像ごとに相違しており、デザイン、色合いなどで、選択された背景画像セットと統一感の高い、複数の印刷シートのサンプルが表示される。これは、各タブ381においても同じである。
そして、ユーザが、別の印刷シートのサンプル384をタッチすると、現在表示中のものに代えて、選択された印刷シートに編集済画像が配置され、プレビュー画面383に表示される。ユーザは、OKボタン385を押下するまで、タブ381の切り替え、及びサンプル384の選択が可能である。そして、OKボタン385を押下すれば、OKボタン385を押下する直前に選択されていたサンプルが印刷シートとして選択され、メモリに記憶される。なお、OKボタン385が押下されない場合には、所定時間が経過後、その時点で選択されていたサンプルが、選択された印刷シートとしてメモリに記憶される。この時点で、印刷シート選択処理が完了する。
<8−9 出力処理>
次に、出力処理について説明する。上記のように生成された編集済画像データ、アイコン画像及びカバー画像は、出力部4に送信される。そして、まず、編集済画像データ等の画像データの送信処理を行う。
送信に当たっては、複数の方法がある。まず、電子メールを入力させ、その電子メールに画像データを送信したり、あるいは画像データを取得できるインターネット上のサイトのURLを送信することもできる。このとき、モニタ411には、2人のユーザに対して、それぞれメールアドレスの入力を促す画面が表示される。なお、編集済画像データ等の画像データまたはURLは、写真撮影遊戯装置から直接ユーザの電子メールアカウントに送信することもできるし、写真撮影遊戯装置から外部のサーバを介して送信することもできる。
また、出力部4の非接触通信部412から、編集済画像データ等の画像データを携帯端末へ送信することもできる。さらに、モニタ411にQRコード(登録商標)を表示させ、このQRコード(登録商標)を読み取ることで、上述したURLを取得することもできる。
また、出力部4は、印刷シートの選択処理で選択された印刷シートに基づいて、複数の編集済み合成画像が印刷媒体に印刷する。そして、その印刷媒体がシール排出口413から排出される。
<9.特徴>
以上のように、本実施形態によれば、以下の効果を得ることができる。写真撮影遊戯装置においては、被写体画像を背景画像に合成することで合成画像を生成するのであるが、合成画像に被写体の影を付する場合には、影が背景画像に適したものでなければ、違和感が生じる可能性がある。例えば、背景画像が被写体の背後に壁などの構造物を配置したようなものである場合、被写体の影がこの壁に投影されていれば、合成画像は違和感なく自然に見える。一方、背景画像が被写体の背後に奥行きのある空間を表示するものである場合には、被写体の影が被写体の足元から背後の空間へ延びていれば、合成画像が自然に見える。
ところで、本実施形態では、被写体の背後に後壁12を有する撮影空間10で撮影が行われるため、撮影時には、被写体に加え、撮影空間10の壁に投影された被写体の影が撮影画像に含まれる。そのため、合成する背景画像が、被写体の背後に壁を配置したようなもの、つまり上述した第1背景画像である場合には、撮影空間の壁に投影された影も被写体とともに背景画像に合成すると、合成画像が自然に見える。一方、合成する背景画像が、被写体の背後に奥行きのある空間を提供するようなもの、つまり上述した第2背景画像である場合には、後壁に投影される影を合成するとかえって不自然になる。
ここで、撮影画像から被写体画像を抽出するには、上述したように、撮影画像内の少なくとも1つの特定の色の領域を検出し、検出された領域の少なくとも一部をマスクするマスク画像を用いるが、検出する特定の色の画素値の設定によっては、被写体画像に加え、撮影空間内の壁に投影された影も、撮影画像から抽出することができる。すなわち、検出する画素値の設定に応じて、撮影画像から抽出する画像を、被写体画像のみにすることもできるし、被写体画像に加え、その周囲に形成される影に係る影画像も抽出することができる。そこで、本実施形態においては、第1背景画像に対し、被写体画像及び影画像が抽出できるように、検出する画素値を設定し、第1マスク画像を生成している。そして、被写体画像、影画像、及び第1背景画像を合成した第1合成画像を生成している。
一方、第2背景画像に対しては、被写体画像のみが抽出できるように、検出する画素値を設定し、第2マスク画像を生成している。そして、被写体画像及び第2背景画像を合成するとともに、第2背景画像には、これに適した、つまり背後の空間へと延びるような付加的な影を付している。このように、本実施形態では、選択した背景画像の種類によって、撮影画像から抽出する画像を変更できるように、検出する画素値をその都度変えてマスク画像を生成しているため、背景画像に適した、違和感のない影を有する合成画像を生成することができる。
このように、本実施形態においては、背景画像に応じて、クロマキー処理の方法(例えば、上記のような検出する画素値の範囲など)を変えることができ、それによって、撮影画像から抽出される画像を変えることができる。これにより、背景画像に適した画像、つまり影付き被写体画像、または影を含まない被写体画像を得ることができ、さらに影付き被写体画像では、影の濃さや幅の異なる画像を得ることができる。また、このようなクロマキー処理の方法は、背景画像に応じてのみならず、撮影画像の種類、例えば、アップ画像と全身画像との間で相違するようにしてもよい。このほか、撮影画像の形状(縦横比の相違する四角形や円形等)に応じて、または、画角、撮影位置、撮影方向などの撮影条件に応じて、クロマキー処理の方法を変更することもできる。このように、本実施形態では、背景画像に応じて抽出される画像を変えることができるため、ユーザの満足度を向上することができる。
<10.変形例>
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。なお、以下の変形例は、適宜組み合わせが可能である。
<10−1>
上記実施形態では、撮影部1の第1モニタ113及び第2モニタ114において、第1合成画像または第2合成画像をライブビューとして表示したが、合成画像ではなく、第1または第2カメラ111,112で撮影したそのままの画像を表示させてもよい。あるいは影を付さず、被写体画像と背景画像のみを合成した画像を表示させてもよい。このように影を付さない画像を表示させると、画像生成の負荷を低減することができる。例えば、第1合成画像では、付加影画像を生成しなくてもよいため、装置の負荷を低減することができる。但し、第1合成画像においては、影を付加しないようにするためには、第2マスク画像を生成しなければならないため、かえって負荷が高くなる可能性もある。
<10−2>
上記実施形態では、すべての画像に影を付しているが、影を付するか否かをユーザに選択させることもできる。すなわち、ユーザの選択により、影を付する画像と付さない画像が生成されるようにしてもよい。その選択は、背景画像の選択時、または編集時に行うことができる。
<10−3>
上記実施形態では、撮影終了時には、選択された背景画像に応じて第1合成画像または第2合成画像のいずれかが生成されているが、編集部において、背景画像を変更することもできる。例えば、第1背景画像を選択して第1合成画像を生成した後、編集部2において、この背景画像を第2背景画像に変更する場合、次のような処理を行うことができる。まず、撮影画像から、改めて第2マスク画像を生成し、この第2マスク画像を用いて撮影画像から被写体画像を抽出し、新たに選択された第2背景画像と被写体画像とを合成する。このとき、第2背景画像に上述した付加的な影を付することもできる。これにより、合成画像において、背景画像が第1背景画像から第2背景画像に変更される。
また、上記実施形態では、第1背景画像が選択された撮影画像は、第1マスク画像を生成し、第2背景画像が選択された撮影画像は、第2マスク画像を生成するようにしているが、いずれの背景画像が選択されても、第1マスク画像と第2マスク画像の双方を生成し、保存するようにしてもよい。これにより、撮影画像、新たに選択した第2背景画像、及び保存している第2マスク画像を用い、上述した第2合成画像を生成する手順で、合成画像を作り直すことができる。この方法でも、合成画像において、背景画像が第1背景画像から第2背景画像に変更される。
<10−4>
また、編集時に、影をなくすこともできる。この場合に、モバイルモードでの説明と同様に、例えば、第1合成画像の場合には、撮影画像から改めて第2マスク画像を生成し、この第2マスク画像を用いて被写体画像を抽出し、背景画像と改めて合成することで影をなくすことができる。第2合成画像の場合には、撮影画像から既に生成した第2マスク画像を用いて被写体画像を抽出し、付加的な影が付されていない背景画像と改めて合成することで、影をなくすことができる。なお、第2合成画像に含まれる被写体画像と、影が形成された背景画像とが別データとされている場合は、第2マスク画像を使うことなく被写体画像から影をなくすことができる。
あるいは、撮影時に、一方のマスク画像だけでなく、第1及び第2マスク画像の双方を生成し、保存しておくこともできる。こうすることで、影付き被写体画像と、影のない被写体画像の両方を生成することができ、用途によってそれぞれの使い分けを行うことができる。
<10−5>
上記実施形態では、マスク画像を生成する際に、検出する画素値(またはその範囲)を第1背景画像及び第2背景画像で分けており、特に、第1背景画像を選択した場合には、背景領域を検出するための画素値の範囲を固定している。これに対して、第1背景画像の中でも、個々の背景画像ごとに検出する背景領域の画素値の範囲を変えることもできる。これにより、例えば、第1背景画像の色合いに応じて、被写体領域とともに抽出される影領域の範囲を変えることができる。
<10−6>
上記実施形態では、背景領域を検出するための画素値の範囲を変えることで、第1背景画像に対しては被写体領域と影領域とを抽出できるようにし、第2背景画像に対しては被写体領域のみを抽出できるようにしている。しかしながら、検出する画素値の範囲を変更することで、次のような処理を行うことができる。
すなわち、例えば、図7におけるマスク画像生成部43において、背景領域の色とほとんど同じ色の画素値のみを検出するようにすると、例えば、背景領域内に写る撮影空間の境界線を撮影画像から抽出するマスク画像を作成することができる。撮影空間における床と壁の境界線や、壁同士の境界線は、それ以外の背景領域より暗く写るので、影領域や被写体領域と同様撮影画像から抽出することができる。そして、こうして抽出した影領域、被写体領域、及び境界線を合成すれば、例えば、図46に示すような合成画像を生成することができる。この合成画像に写る境界線は、背景領域に写った撮影空間内の境界線を抽出したものである。このように、検出すべき画素値を非常に狭く設定することで、撮影空間内の境界線なども抽出することができるため、合成すべき背景画像に模様がなく、無地であったとしても、そのような背景画像に壁間または壁と床との境界線を描くことができ、合成画像に立体感を奏することができる。背景選択で無地の背景画像が選択された場合は、上記した第1あるいは第2マスク画像ではなく当該マスク画像を使って被写体画像等を抽出してもよい。このように、本発明においては、背景領域を抽出するための「特定の色」を変化させることで、背景画像に応じた画像を抽出することができ、それによって背景画像に合成する画像を適宜変えることができるため、ユーザの満足度を向上することができる。
<10−7>
第2背景画像が選択されたときの付加的な影の形成手順において、グラデーションマスク、傾斜マスクの形成方法は、特には限定されず、種々の方法が可能である。例えば、グラデーションマスクを生成するに先立って、第2マスク画像を水平方向及び垂直方向の少なくとも一方で圧縮したものを用い、ここから傾斜マスクを生成することもできる。また、グラデーションのほか、付加的にマスク画像をぼかすような画像処理を施すこともできる。また、グラデーション処理、傾斜処理は、その順序を反対にすることもできる。
さらに、第2背景画像が選択されたときの付加的な影の生成方法は、上記実施形態に限定されず、種々の方法で付加的な影を生成することができる。例えば、マスク画像に関わらず、予め影画像を準備しておき、これを用いることもできる。
<10−8>
上記実施形態及び各変形例等では、傾斜マスクを影情報とし、これに基づいて、背景画像に影を形成しているが、影を表す影画像を形成し、これと背景画像を合成することもできる。影画像は、上記実施形態及び各変形例と同様に、傾斜マスクを用いて作成する。例えば、任意の影用の画像に対し、傾斜マスクに基づいて影を形成し、これを切り取って形成することができる。この場合、背景画像の上に影画像を重畳し、さらにその上に被写体画像を重畳することで、上述したような影が付いた合成画像を作ることができる。
<10−9>
上記実施形態では、正面から被写体を撮影する第1カメラ111と、斜め上から被写体を撮影する第2カメラ112という2つのカメラを備えている。しかしながら、カメラを移動させることで、1台のカメラで上から被写体を撮影したり、下から被写体を撮影したりすることができる。
<10−10>
上記実施形態では、撮影画像の補正を、撮影部1において行っているが、編集部2において行うこともできる。
<10−11>
上記実施形態では、メールアドレスの入力を出力部4で行っているが、編集部2において行うこともできる。