JP2016146623A - 写真撮影遊戯装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】自然な影を付し、合成画像のリアリティを増大することができる写真撮影遊戯装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】被写体を撮影するカメラを有し、前記被写体の撮影画像を生成する撮影部と、前記撮影画像から前記被写体が写る領域を抽出した被写体画像を生成する被写体画像生成部と、複数種類の背景画像が記憶されている記憶部と、前記複数種類の背景画像の中から前記被写体画像の背景として合成する背景画像の選択を受け付ける背景画像取得部と、前記被写体画像の形状に基づいて、選択された前記背景画像に対応した影の形状を決定する影情報生成部と、選択された前記背景画像に対応した形状の影、前記被写体画像、及び前記背景画像を有する合成画像を生成する合成画像生成部と、前記合成画像生成部で生成された合成画像に編集処理を施し、出力用画像を生成する編集部と、前記出力用画像を出力する出力部と、を備える。
【選択図】図６

Description

本発明は、写真撮影遊戯装置、画像処理方法、及び画像処理プログラムに関する。

従来より、ユーザを含む被写体をカメラで撮影し、その撮影画像を写真印刷シートとして出力する遊戯用の写真撮影遊戯装置が知られている。このような写真撮影遊戯装置では、ユーザの嗜好に応じて、例えば、次のような編集処理を行えるものが多く提案されている。まず、撮影された被写体の画像に対してクロマキー処理を施し、被写体部分を抽出した被写体画像を生成する。そして、この被写体画像にユーザが選択した背景画像を合成し、合成画像を生成する。その後、合成画像に対して編集を施した出力用画像を生成し、これを写真印刷シートとして出力している。

しかしながら、上記のような出力用画像の生成に当たっては、被写体画像と背景画像とを合成するため、影がなく立体感に乏しい合成画像が生成される。これに対して、例えば、特許文献１では、予め複数パターンの影を有するレイヤー画像を生成しておき、これを被写体画像及び背景画像に合成することで、被写体が影とともに写る合成画像を生成している。

特許第４６４８０９２号公報

ところが、特許文献１で生成されるレイヤー画像は、影が単一の色で生成されているため、見栄えが人工的である。そのため、このような影を付すと、かえって合成画像のリアリティが低下するおそれがある。本発明は、上記問題を解決するためになされたものであり、人工的ではない、自然な影を付することができ、合成画像のリアリティを増大することができる写真撮影遊戯装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明に係る第１の写真撮影遊戯装置は、被写体を撮影する少なくとも１つのカメラを有し、前記被写体が写る撮影画像を生成する、撮影部と、前記撮影画像から前記被写体が写る領域を抽出した被写体画像を生成する被写体画像生成部と、複数種類の背景画像が記憶されている記憶部と、前記複数種類の背景画像の中から前記被写体画像の背景として合成する背景画像の選択を受け付ける背景画像取得部と、前記被写体画像の形状に基づいて、選択された前記背景画像に対応した影の形状を決定する影情報生成部と、選択された前記背景画像に対応した形状の影、前記被写体画像、及び前記背景画像を有する合成画像を生成する合成画像生成部と、前記合成画像生成部で生成された合成画像に編集処理を施し、出力用画像を生成する編集部と、前記出力用画像を出力する出力部と、を備えている。

本発明に係る第１の画像処理方法は、カメラによって撮影された被写体が写る撮影画像から前記被写体が写る領域を抽出した被写体画像を生成するステップと、複数種類の背景画像の中から前記被写体画像の背景として合成する背景画像の選択を受け付けるステップと、前記被写体画像の形状に基づいて、選択された前記背景画像に対応した影の形状を決定するステップと、選択された前記背景画像に対応した形状の影、前記被写体画像、及び
前記背景画像を有する合成画像を生成するステップと、を備えている。

本発明に係る第１の画像処理プログラムは、コンピュータに、カメラによって撮影された被写体が写る撮影画像から前記被写体が写る領域を抽出した被写体画像を生成するステップと、複数種類の背景画像の中から前記被写体画像の背景として合成する背景画像の選択を受け付けるステップと、前記被写体画像の形状に基づいて、選択された前記背景画像に対応した影の形状を決定するステップと、選択された前記背景画像に対応した形状の影、前記被写体画像、及び前記背景画像を有する合成画像を生成するステップと、を実行させる。

本発明に係る第１の画像処理装置は、被写体が写る撮影画像をクロマキー処理することで、前記被写体が抽出された被写体画像を生成する被写体画像生成部と、前記被写体に近い基端部と終端部とを有するとともに前記基端部から終端部にいくしたがって色の濃度が薄くなるように形成された、前記被写体の影を生成するための影情報を生成する影情報生成部と、背景画像を取得する背景画像取得部と、前記影情報に基づいて前記背景画像に影を形成するとともに、当該影が形成された背景画像と前記被写体画像とを合成した合成画像を生成する合成画像生成部と、を備えている。

この構成によれば、被写体に近い基端部と終端部とを有するとともに基端部から終端部にいくしたがって色の濃度が薄くなるように形成された、被写体の影を生成するための影情報を生成する影情報生成部を備えている。そして、この影情報に基づいて、背景画像を処理し、影が形成された背景画像を生成している。そのため、背景画像に形成される影は、被写体から離れるにしたがって濃度が薄くなるグラデーションを有する。したがって、合成画像に自然な影を形成することができるため、画像の立体感が増し、リアリティを増大することができる。

本発明に係る第２の画像処理装置は、被写体が写る撮影画像をクロマキー処理することで、前記被写体が抽出された被写体画像を生成する被写体画像生成部と、前記被写体に近い基端部と終端部とを有するとともに前記基端部から終端部にいくしたがって色の濃度が薄くなるように形成された、前記被写体のための影画像を生成する影画像生成部と、背景画像を取得する背景画像取得部と、前記被写体画像、前記背景画像、及び前記影画像を合成した合成画像を生成する合成画像生成部と、を備えている。

本発明に係る第２の画像処理方法は、被写体が写る撮影画像をクロマキー処理することで、前記被写体が抽出された被写体画像を生成するステップと、前記被写体に近い基端部と終端部とを有するとともに前記基端部から終端部にいくしたがって色の濃度が薄くなるように形成された、前記被写体の影を生成するための影情報を生成するステップと、背景画像を取得するステップと、前記影情報に基づいて前記背景画像に影を形成するとともに、当該影が形成された背景画像と前記被写体画像とを合成した合成画像を生成するステップと、を備えている。

本発明に係る第２の画像処理プログラムは、コンピュータに、被写体が写る撮影画像をクロマキー処理することで、前記被写体が抽出された被写体画像を生成するステップと、前記被写体に近い基端部と終端部とを有するとともに前記基端部から終端部にいくしたがって色の濃度が薄くなるように形成された、前記被写体の影を生成するための影情報を生成するステップと、背景画像を取得するステップと、前記影情報に基づいて前記背景画像に影を形成するとともに、当該影が形成された背景画像と前記被写体画像とを合成した合成画像を生成するステップと、を実行させる。

本発明に係る写真印刷シートは、被写体が写る撮影画像をクロマキー処理することで、
前記被写体が抽出された被写体画像を生成するステップと、前記被写体に近い基端部と終端部とを有するとともに前記基端部から終端部にいくしたがって色の濃度が薄くなるように形成された、前記被写体の影を生成するための影情報を生成するステップと、背景画像を取得するステップと、前記影情報に基づいて前記背景画像に影を形成するとともに、当該影が形成された背景画像と前記被写体画像とを合成した合成画像を生成するステップと、前記合成画像に編集を施し、出力画像を生成するステップと、前記出力画像を印刷して出力するステップと、により生成される。

本発明によれば、人工的ではない、自然な影を付することができ、合成画像のリアリティを増大することができる。

本発明の一実施形態に係る写真撮影遊戯装置を左前側から見た斜視図である。 図１の写真撮影遊戯装置を上から見た平面図である。 撮影筐体の斜視図である。 編集筐体の斜視図である。 出力筐体の正面図である。 写真撮影遊戯装置の内部の機能的構成を示すブロック図である。 撮影画像の処理に係る制御部４の機能的構成を示すブロック図である。 撮影画像とマスク画像の例である。 グラデーションマスクの例である。 グラデーションカーブの一例である。 グラデーションマスクと足ゾーンの関係を示す図である。 傾斜マスクの作成方法の例を示す図である。 傾斜マスクの作成方法の例を示す図である。 傾斜マスクの例である。 背景画像と、影が付された背景画像を示す図である。 合成画像の例である。 撮影画像の例である。 マスク画像の例である。 グラデーションマスクの例である。 傾斜マスクの例である。 傾斜マスクの圧縮方法の例である。 圧縮された傾斜マスクの例である。 影が付された背景画像を示す図である。 移動グラデーションマスクの例である。 影が付された背景画像を示す図である。 合成画像の例である。 本実施形態における写真撮影遊戯装置でのプレイの手順を示すフローチャートである。 撮影処理の処理手順を示すフローチャートである。 上部モニタに示される画像の例である。 背景画像の選択の処理手順を示すフローチャートである。 背景選択用の画面を示す模式図である。 編集用モニタに表示される編集対象画像の編集用画面を示す模式図である。 背景画像の例である。 背景画像における影の処理の例である。 傾斜マスクを生成する手順の例である。 傾斜マスクを生成する手順の例である。 差分グラデーションマスクの例である。 傾斜マスクを生成する手順の例である。

以下、本発明に係る写真撮影遊戯装置の一実施形態について、図面を参照しつつ説明する。本実施形態に係る写真撮影遊戯装置は、写真撮影により生成された画像データに対して落書き編集を行った後、写真印刷シートとして印刷したり、画像データとして外部装置（携帯端末や画像蓄積サーバ等）に出力するものである。まず、この写真撮影遊戯装置の全体構造について説明する。

＜１．全体構造＞
図１は、本実施形態に係る写真撮影遊戯装置を左前側から見た斜視図、図２は図１の写真撮影遊戯装置を上から見た平面図である。以下では、図１に示す前後左右の方向を基準として、他の図面の説明も行う。図１及び図２に示すように、この写真撮影遊技装置は、前部側の撮影部１と後部側の編集部２とを備えており、前後方向に長いほぼ直方体状を呈している。そして、編集部２の後端には、編集後の写真の出力などを行う出力部３が設けられている。

撮影部１は、ユーザを撮影するカメラが内蔵された撮影筐体１１と、この撮影筐体１１の後方に撮影空間１０を介して配置された背景壁部１２とを有している。そして、撮影筐体１１の側面と、背景壁部１２の側面との間の隙間が、撮影空間１０への出入口である第１出入口１０１ａ，１０１ｂを構成している。また、編集部２は、背景壁部１２の後方に隣接して配置された編集筐体２１を有しており、この編集筐体２１には、左右の方向を向く一対の操作面が設けられている。そして、各操作面への入力作業を行う編集空間２０ａ，２０ｂへは第２出入口２０１ａ，２０１ｂを介して入ることができる。また、出力部３は、編集筐体２１の後端面と接する出力筐体３１を有しており、この出力筐体３１に対しては、写真撮影遊戯装置の後端側から操作を行うように、操作面が後端側を向いている。したがって、この出力筐体３１の後端側の空間が、出力操作を行う出力空間３０となる。

撮影筐体１１と背景壁部１２の上端部の側面は、前後方向に延びる天井フレーム１３によって互いに連結されている。そして、この天井フレーム１３の枠内部には、撮影空間１０を上から覆い、照明及びフラッシュ照射する天井照明ユニット１４が設けられている。撮影筐体１１の左側面（あるいは右側面）には、写真撮影遊技装置の使用方法を含む説明書きを掲示するための掲示スペース１５が設けられている。また、その左側面の上部には、撮影筐体１１が使用中であるか否かを示す表示部１６が設けられている。

この表示部１６は、編集筐体２１の制御ボックス２１１（図４参照）の内部に設けられた制御装置（図示せず）によって発光又は消灯される表示灯で構成されている。そして、発光によって撮影部１が使用中であることをユーザに示し、消灯によって撮影部１が空きになったことをユーザに示すものである。本実施形態では、表示部１６が左右方向外側に突出した平面視三角形状に形成されているが、その形状は特には限定されず、凸湾曲状などのその他の形状であってもよい。

背景壁部１２は、撮影筐体１１とほぼ同じ幅及び高さの板状部材によって形成され、撮影筐体１１の正面と対面する本体プレート１２１と、この本体プレート１２１の左右両端から前方に延設された一対のサイドプレート１２２とを有しており、全体として平面視コ字状に形成されている。本体プレート１２１において、撮影筐体１１を向く面には、クロマキー処理のための単一の色（例えば、青色または緑色）が着色されている。着色につい
ては、本体プレート１２１に直接ペンキなどで着色するほか、着色された布地、プレート等を取付けてもよい。また、図示はしていないが、撮影空間１０の床面には、この本体プレート１２１と連続するように、当該本体プレート１２１と同様にクロマキー処理のための単一色が着色されている。そして、撮影筐体１１の後端縁と、天井フレーム１３の下端縁と、サイドプレート１２２の前端縁とから、上述したように、撮影空間１０に出入りするための第１出入口１０１ａ，１０１ｂが構成されている。

本実施形態の編集筐体２１は、左右両側から２組のユーザが同時に編集可能な対面式であり、左右それぞれに操作面が設けられるとともに、左右方向長さが背景壁部１２の同方向幅よりも小さい筐体よりなる。編集筐体２１は、その前端面を背景壁部１２の背面の中央部に接続されており、この編集筐体２１の左右両側方のスペースが、２組のユーザがそれぞれ編集作業を行う編集空間２０ａ，２０ｂとなっている。編集筐体２１の上方には、平面視においてほぼコの字状のカーテンフレーム２２が設けられている。このカーテンフレーム２２は、前後方向に延びる一対の側部フレーム２２１と、この側部フレーム２２１の後端同士を連結する左右方向に延びる後部フレーム２２２とからなる。

各側部フレーム２２１の前端は、天井フレーム１３の後端に前後方向に延長状に連結されており、後部フレーム２２２の中央部は、編集筐体２１の後上端部に設けられた支持部材２３によって支持されている。そして、左右一方側の側部フレーム２２１と、後部フレーム２２２のほぼ半分の長さ部分により、編集空間２０ａ，２０ｂに出入りするための前記第２出入口２０１ａ，２０１ｂの上枠部が構成されている。

＜２．撮影筐体＞
次に、撮影筐体１１について詳細に説明する。図３は撮影筐体の斜視図である。同図に示すように、本実施形態の撮影筐体１１の室内側面には、撮影空間１０を前方から照明するとともに、フラッシュ照射する正面照明ユニット１１５が設けられている。この正面照明ユニット１１５は、４つの部位、つまり中央上側のユニット部分１１５Ａと、中央下側のユニット部分１１５Ｂと、左側のユニット部分１１５Ｃと、右側のユニット部分１１５Ｄとから構成されている。また、撮影筐体１１の右下部には、コイン投入口とコイン返却口を有するキャッシュボックス１１６が設けられている。

上述した中央上側のユニット部分１１５Ａ及びユニット部分１１５Ｂは、一体的に連結され、凹湾曲状に形成されている。そして、ユニット部分１１５Ａの上端部には、被写体を上方から撮影するための上部カメラ１１１が搭載されている。また、上部カメラ１１１の下方には、撮影条件などの入力操作が可能なタッチパネル式の液晶モニタである上部モニタ１１３が設けられている。そして、この上部モニタ１１３には、上部カメラ１１１で撮影された画像が表示される。また、上部モニタ１１３の下方、つまりユニット部分１１５Ａの下端部には、被写体を正面から撮影するための下部カメラ１１２が搭載されている。そして、この下部カメラ１１２の下方、つまりユニット部分１１５Ｂの上端部には、このカメラ１１２で撮影された画像が表示される下部モニタ１１４が設けられている。この下部モニタ１１４にはタッチパネルは設けられておらず、もっぱら表示のみを行うようになっている。

＜３．編集筐体＞
続いて、編集筐体２１について詳細に説明する。図４は編集筐体の斜視図である。同図に示すように、本実施形態の編集筐体２１は、下部側の制御ボックス２１１と、この制御ボックス２１１の上に設けられた編集台部２１２とを有する。制御ボックス２１１の内部には、メインコンピュータユニット及びＩ／Ｏコントローラなどの各種の制御装置が内蔵されており、この制御装置が写真撮影遊戯装置全体の動作の制御を行う。

編集台部２１２は、左右方向を向く山形の傾斜面により形成されており、各傾斜面に編集作業を行うための操作面が設置されている。具体的には、各操作面にはタブレットを内蔵した液晶モニタで構成された編集用モニタ２１３が設けられており、各編集用モニタ２１３の左右両側には２本のタッチペン２１４Ａ，２１４Ｂが接続されている。このタッチペン２１４Ａ，２１３Ｂのペン先を編集用モニタ２１３の画面に接触させることにより、画面表示されたアイコンを選択する選択入力や、文字や描画の落書きを行う場合の手書き入力を行うことができる。なお、図４では、左側の編集用モニタ２１３を示しているが、右側の編集用モニタ２１３も左側と同じ構造である。また、制御ボックス２１１の制御装置は、左右両側の編集用モニタ２１３への入力情報に対応する処理を個別に並列処理できるようになっている。

＜４．出力筐体＞
次に、出力筐体３１について詳細に説明する。図５は出力筐体の正面図である。同図に示すように、出力筐体３１は、編集筐体２１の後端部に接する矩形状の筐体であり、後端側を向く面に操作面が設けられている。操作面の上部中央にはタッチパネル式の液晶モニタ３１１が設けられており、このモニタ３１１に、出力の説明などが表示される。

液晶モニタ３１１の下方には非接触通信部３１２が設けられており、近接された非接触型ICと通信を行うことで、非接触型ICからのデータの読み出しや非接触型ICに対するデータの書き込みを行う。例えば、FeliCa（登録商標）などを利用することができる。また、この非接触通信部３１２の下にはシール紙排出口３１３が設けられている。シート排出口１６４には、編集部において編集処理を行うことによって作成した画像が印刷された写真印刷シートが排出される。そのため、出力筐体３１にはプリンタが内蔵されており、写真印刷シートの印刷がそのプリンタにより行われる。また、シール紙排出口３１３の下にはスピーカ３１４が設けられており、出力処理における案内音声、BGM、効果音等の音を出
力する。なお、本実施形態では、出力筐体３１を編集筐体２１と別体としているが、これらを一体的な筐体で構成することもできる。

＜５．写真撮影遊戯装置の機能的構成＞
次に、本実施形態に係る写真撮影遊戯装置の機能的構成について説明する。図６は、写真撮影遊戯装置の内部の機能的構成を示すブロック図である。

図６に示すように、この写真撮影遊戯装置では、バスＸを介して、制御部４、記憶部５、撮影部１、編集部２、出力部３が電気的に接続されている。制御部４は、公知のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備えている。そして、制御部４では、記憶部５に記憶されているプログラムを実行し、写真撮影遊戯装置の全体の動作を制御する。また、バスＸには、通信部６、外部ドライブ７も接続されている。なお、制御部４、記憶部５、通信部６及び外部ドライブ７は、公知のコンピュータにより構成してもよく、このようなコンピュータが上述した編集筐体２１の制御ボックス２１１に内蔵されている。

記憶部５は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体で構成され、制御部４から送信された各種の設定情報を記憶する。記憶部５に記憶されている情報は制御部４により適宜読み出される。この記憶部５には、画像の編集のために用いられる各種画像データ、画像処理のためのデータが記憶されている。例えば、撮影画像の背景となる背景画像データなどが記憶されている。また、制御部４のROMには、制御部４において
実行されるプログラムやデータが記憶されており、RAMには、制御部４において処理する
データやプログラムを一時的に記憶する。以下では、RAM, ROMをまとめてメモリということがある。

通信部６はインターネットなどのネットワークと接続するためのインタフェースであり、制御部４による制御に従って外部の装置と通信を行う。外部ドライブ７では、光ディスクや半導体メモリなどのリムーバブルメディアに対する読み書きが行われる。例えば、外部ドライブ７によりリムーバブルメディアから読み出されたコンピュータプログラムやデータは、制御部４に送信され、記憶部５に記憶されたり、プログラムとしてインストールされる。

撮影部１は、撮影空間１０における撮影処理を行う構成であるコイン処理部１７、照明制御部１８、上部カメラ１１１、下部カメラ１１２、上部モニタ１１３、下部モニタ１１４、およびスピーカ１９から構成される。

上部カメラ１１１及び下部カメラ１１２は、制御部４による制御に従って撮影を行い、撮影によって得られた画像を制御部４に出力する。上述したように、上部カメラ１１１は、被写体を情報から撮影するためものであり、下部カメラ１１２は、被写体を正面から撮影するためのものである。そのため、これらのカメラ１１１，１１２はそれぞれ、最適な画像を得るために理想的な画角やトリミング範囲などの設定が予め行われている。各カメラ１１１、１１２は、リアルタイムに画像を取り込んで当該画像を表す画像信号を出力する。カメラ１１１，１１２から出力された画像信号は制御部４に入力されて、その内部のメモリに一時的に記憶されるとともに、上部モニタ１１３および下部モニタ１１４にそれぞれ送信され、当該画像信号に基づくライブ映像が表示される。すなわち、上部カメラ１１１によるライブ映像は、上部モニタ１１３に表示され、下部カメラ１１２によるライブ映像は、下部モニタ１１４に表示される。なお、実際には、静止画像として保存される撮影画像データ（以下、単に「撮影画像」ということもある）は高解像度の静止画データであり、ライブ映像表示を行うための撮影画像データ（「スルー画像データ」とも呼ばれる）は低解像度の動画データである場合が多いが、高解像度の動画データとしてもよい。

上部モニタ１１３は、公知のタッチパネルであり、表示機器として、上部カメラ１１１によって撮影中のライブ映像を表示する。また、上部カメラ１１１および下部カメラ１１２で撮影された静止画像としての撮影画像が表示されるとともに、入力機器としても、表示された撮影画像を選択する操作や、撮影画像に対する補正に関する操作等を受け付ける。これらの操作を示す信号は、操作信号として制御部４に入力される。一方、下部モニタ１１４は、下部カメラ１１２によって撮影中のライブ映像を表示するものであり、上部モニタ１１３と概ね同じ構成である。但し、上述したように、タッチパネルとしての機能は有しておらず、もっぱら画像を表示することに用いられる。

コイン処理部１７は、コイン投入口に対するコインの投入を検出する。コイン処理部１７は、プレイに要する金額分（プレイ料金分）のコインが投入されたことを検出した場合、そのことを表す起動信号を制御部４に出力する。なお、コイン処理部１７は、電子マネーやクレジットカードによるプレイ料金の支払を受け付け、当該起動信号を制御部４に出力するようなものとすることもできる。

照明制御部１８は、制御部４より供給される照明制御信号に従って、撮影空間１０内の正面照明ユニット１１５から照射されるフラッシュを制御する。また、照明制御部１８は、天井照明ユニット１４及び正面照明ユニット１１５の内部に設けられる電灯（蛍光灯など）を制御することで、ユーザによる撮影処理の段階に応じて撮影空間１０内の明るさを調整する。スピーカ１９は、ユーザによる撮影処理の段階応じた音声を出力する。

編集部２ａ，２ｂは、編集空間２０ａ，２０ｂそれぞれで編集処理を行うためのものである。編集部２ａおよび編集部２の機能的構成は同じであるので、以下では編集部２ａの機能的構成のみを説明し、編集部２ｂの機能的構成の説明を省略する。

編集部２ａは、タブレット内蔵モニタとしての編集用モニタ２１３、２本のタッチペン２１４Ａ，２１４Ｂ、およびスピーカ２１５から構成される。編集用モニタ２１３は、制御部４による制御に従って編集画面を表示し、編集画面に対するユーザの編集操作等を検出する。すなわち、ユーザにより、編集用モニタ２１３がタッチペン２１４Ａ，２１４Ｂでタッチされると、その操作およびタッチペン２１４Ａ,２１４Ｂのいずれでタッチされ
たのかが検出され、操作信号として制御部４に送信される。これにより、編集対象である合成画像（後述）の編集が行われる。具体的には、編集用モニタ２１３に表示された画像に対し、例えば、文字、模様、図形などのいわゆる落書きを、タッチペン２１４Ａ，２１４Ｂなどの入力デバイスで入力する。これにより、合成画像に、落書きが重ね合わされた出力用画像が生成される。画像の編集については、後述する。こうして生成された出力用画像に基づく画像データは、出力部３へ送信される。

出力部３は、出力空間３０における出力処理を行う構成であるタッチパネル式の液晶モニタ３１１、非接触通信部３１２、およびスピーカ３１４から構成される。その他、印刷を行うためのプリンタ３４、およびシール紙ユニット３５も備えている。プリンタ３４は、合成画像、または編集処理によって得られた編集済みの出力用画像を、プリンタ３４に装着されたシール紙ユニット３５に収納されているシール紙に印刷し、シール紙排出口３１３に排出する。非接触通信部３１２は、携帯端末との間のデータの受送信を行うものである。なお、編集部２で作成された画像データは、通信部６によってネットワークを通じて外部の画像蓄積サーバに送信される。

＜６．被写体の影の生成のための制御部の機能的構成＞
次に、ユーザによる編集処理が行われるまでの撮影画像の処理について説明する。本実施形態では、出力される画像に対して立体感を付与し、リアリティを向上するため、被写体の影を付した画像を生成する。以下では、被写体の影が付された画像の生成方法について説明する。まず、図７を参照しつつ、上述した制御部４の具体的な機能的構成について説明する。図７は、撮影画像の処理に係る制御部４の機能的構成を示すブロック図である。同図に示すように、制御部４は、メモリや記憶部５内に格納されている画像処理プログラムを読み出して実行することにより、仮想的に撮影画像取得部４１、マスク画像生成部４２、影情報生成部４３、背景画像取得部４４、及び合成画像生成部４５として動作する。以下、各部４１〜４５の動作による画像処理について説明する。

撮影画像取得部４１は、上述したいずれかのカメラ１１１、１１２で撮影された撮影画像を取得する。この撮影画像には、撮影筐体１１の本体プレート１２１前に立つユーザが含まれる。すなわち、この撮影画像は、クロマキー処理用の本体プレート１２１及び撮影空間１０の床面（不図示）を背景として、被写体としてのユーザが写る画像である。そして、取得された撮影画像は、マスク画像生成部４２において、クロマキー処理される。これにより、図８に示すように、撮影画像からマスク画像を生成する。マスク画像は、被写体が写る被写体領域が１００％の透過率で透過された画像であり、より詳細には、被写体領域と背景領域とが二値化された画像である。

背景画像取得部４４は、後述するように、ユーザからの背景画像の選択を受け付けるものである。そして、影情報取得部４３は、マスク画像生成部４２で生成されたマスク画像に基づいて、被写体の影を表す影情報を生成するものである。影情報の生成手順については後述する。合成画像生成部４５は、影情報に基づいて背景画像に影を形成するとともに、生成されたマスク画像を用いて、撮影画像から被写体が抽出された被写体画像を生成する。そして、影が形成された背景画像及び被写体画像を合成し、合成画像を生成する。この合成画像に対しては、編集部２においてユーザが編集処理を施すことにより、編集画像がさらに重ね合わされ、最終的な出力用画像が生成される。なお、本発明の被写体画像生
成部は、本実施形態においては、合成画像生成部４５が兼ねている。

＜６−１．上部カメラで撮影された撮影画像の処理＞
次に、影情報を生成するための具体的な撮影画像の処理について説明する。まず、上部カメラ１１１で撮影された撮影画像が撮影画像取得部４１に取得される。そして、マスク画像生成部４２により、図８に示すように、この撮影画像からマスク画像が生成される。続いて、影画像生成部４３において、以下の手順に基づいて、マスク画像に基づき、影情報を生成する。

まず、マスク画像を下端から上端へ走査し、被写体領域の下端Ｓ１を検出する。次に、図９に示すような、被写体領域にグラデーションマスクを形成する。このグラデーションマスクは、検出した下端Ｓ１から予め決められた基準長さＬ１だけ形成される。すなわち、被写体領域の下端Ｓ１から上端Ｓ２までの基準長さＬ１の領域に亘って、被写体領域と同じ輪郭を有するグラデーションマスクが形成される。なお、上端Ｓ２は画像の幅方向（水平方向）に延びる直線で表される。また、基準長さＬ１は、例えば、画像の縦方向に並ぶ画素数としたり、あるいは所定の長さとすることもできる。

このグラデーションマスクは、図１０に示すグラデーションカーブに基づいて決定された画素値を有する画素により構成される。図９のグラフは、横軸が画像の縦方向の位置を示し、原点が下端Ｓ１、上限点が上端Ｓ２を示す。また、縦軸は、グラデーションの強度である画素値を示し、原点が画素値２５５、上限点が画素値０を示す。ここでは、画素値２５５は透明であり、画素値０が黒となるようにしている。そして、被写体領域に形成されるグラデーションマスクは、図１０のカーブに基づいて画素値が決定され、下端から上端に向かって縦方向に画素値が変化するように形成される。なお、図１０はグラデーションカーブの一例であり、他の曲線を用いることもできる。このようなグラデーションカーブは、記憶部に記憶され、グラデーションカーブが形成されるときに、読み出され、参照される。

次に、上記のように形成されたグラデーションマスクを傾斜させ、傾斜マスクを形成する。なお、この処理では、グラデーションマスク上で画素を傾斜させるのではなく、グラデーションマスクを構成する画素データを用いて、新たに傾斜マスクを形成する。まず、グラデーションマスクの中で、影として用いる領域を決定する。ここでは、図１１に示すように、マスク画像の下端部からラインＳ３までの、画像の縦方向の所定の長さＬ２の領域を、被写体の床面側の部分（以下、「被写体の基端部」という）が写るであろう（被写体が人であって床面に立って撮影している場合は、足が写るであろう）範囲に相当する足ゾーンとして認識する。足ゾーンの認識方法は種々の方法があるが、例えば、マスク画像の下端部から所定の画素数の領域を足ゾーンとして認識することもできるし、マスク画像の縦方向の総画素数のうち、下端部からの所定の割合を足ゾーンとして認識することができる。また、撮影画像における、本体プレート１２１と撮影空間１０の床面（不図示）との境界から下、あるいは、その境界よりも若干上から下を足ゾーンとして認識することもできる。但し、足ゾーンの長さＬ２がグラデーションマスクの基準長さＬ１よりも短くなるように、基準長さＬ１及び足ゾーンの長さＬ２をそれぞれ決めておく必要がある。

そして、グラデーションマスクの中で、足ゾーンを含む領域が、影領域として利用される。次に、影領域を足ゾーンを中心に傾斜させる。この点について、図１２を参照しつつ説明する。図１２（ａ）は、説明の簡略化のため、グラデーションマスクに含まれる画素の中から、縦方向の一列を選択して表示している。図中の数値は、画素値の例である。ここでは、一例として、２０個の画素が並んであり、説明の便宜上、これらを下から上へ向かって第１〜第２０画素Ｐ１〜Ｐ２０と称することにする。また、足ゾーンの各画素を中心に傾斜させる画素数（基準画素数Ｄ）、および、その傾斜角度θを予め決めておく。こ
こでは、説明を容易にするため基準画素数Ｄを４画素とするがこれに限らない。基準画素数Ｄは、ある程度多い方が影の色変化を滑らかにすることができる。

次に、具体的なグラデーションマスクの傾斜方法について説明する。まず、図１２（ｂ）に示すように、第１画素Ｐ１を基準とし、これよりも上方にある基準画素数Ｄの画素を傾斜角度θだけ傾斜させる。すなわち、第１画素Ｐ１を回転中心として、これよりも上にある第２〜第５画素Ｐ２〜Ｐ５を回転させる。続いて、第２画素Ｐ２を回転中心として、これよりも上にある第３〜第６画素Ｐ３〜Ｐ６を回転させる。同様にして、足ゾーンに含まれる第９画素までを回転中心とし、それぞれ、それより上にある画素を回転させる。ここで、第６〜第９画素Ｐ６〜Ｐ９を回転中心とするときには、足ゾーンよりも上にある画素も利用している。したがって、影を生成するために用いられる「影領域」とは、足ゾーン内で被写体領域に含まれる画素、及び足ゾーンより上であっても、足ゾーン内の画素から基準画素数Ｄ内に含まれる画素が該当する。

但し、基準画素数Ｄに含まれる画素は、被写体領域内の画素に限られる。したがって、ある画素よりも上の画素が、被写体領域の外にある場合にはその画素は利用しない（厳密には、傾斜マスクを生成するために、被写体領域の外にある画素の画素値を利用しない）。なお、回転中心として利用する画素は、必ずしも被写体領域内になくてもよい。例えば、被写体領域外にある画素から基準画素数Ｄ内にある画素が、被写体領域内にある場合には、そのような被写体領域外の画素を回転中心とすることができる。ただし、回転させる被写体領域外の画素は、足ゾーン内に含まれるものに限る。

こうして、足ゾーンに含まれる画素の任意の一列を傾斜させた概略図が、図１３である。そして、このような処理を足ゾーンに含まれるすべての列について行うと、図１４に示すような傾斜マスクが形成される。なお、複数の列について、画素の傾斜を行うと、画素の重複が生じる。この場合には、画素値の高いものを新しい画素値とする。例えば、傾斜により、ある画素の画素値が１００であった場合、これに、画素値が１１０の画素が傾斜されて重なったときには、その画素の画素値を１１０に置き換える。そして、新たに重ねられた画素値の方が小さい場合には、元の画素値を維持する。このように、傾斜マスクは、所定の長さの画素のうち、最も下側の画素（足ゾーンの各画素）を回転中心として回転させているため、後述するように、影が被写体の基端部付近（被写体が人であって床面に立っている場合は、足下）から延びるように見せることができる。こうして形成された傾斜マスクが、本発明における影情報に相当する。そして、傾斜マスクの最も下側の位置が本発明の基端部に相当し、それとは反対の端部が本発明の終端部に想到する。

次に、上記のように得られた傾斜マスクを元に背景画像の処理を行う。ここでは、図１５（ａ）に示す背景画像が取得されたとする。この背景画像において、傾斜マスクに対応する領域に対し、画像の処理を行う。具体的には、例えば、背景画像において、傾斜マスクに対応する領域の画素に対し、傾斜マスクの画素値に対応するように、彩度を上げるとともに、明度を下げる。すなわち、傾斜マスクの画素値が高い場合には、それに併せて背景画像の画素の彩度を大きく上昇させるとともに、明度を大きく低下させる。このとき、画素の色相は変化させずに維持する。これにより、図１５（ｂ）に示すように、背景画像に影が形成される。この影は、基端部に近い部位ほど色が濃く、終端部に近いほど色が薄い。例えば、図８（ａ）のように被写体が床面に立っている場合は、床面に近い足の影ほど影の色が濃く暗くなり、床面から遠い部位の影ほど影の色が薄く明るくなる（図１５（ｂ））。また、背景画像の色相は変化させないので、選ばれた背景画像にとって自然な色の影をつけることができる。

こうして画像処理された背景画像に対し、被写体画像を合成すると、図１６に示すような合成画像が形成される。

＜６−２．下部カメラで撮影された撮影画像の処理＞
次に、下部カメラで撮影された撮影画像の処理について説明する。上部カメラ１１１による撮影のように、被写体を上方から撮影する場合、照明は上方から照射されるため、一般的に影の長さは短くなる。一方、下部カメラ１１２で撮影する場合には、照明は正面から照射されるため、影は長くなり、後方に向かって拡散するように形成される。また、下部カメラ１１２で撮影された撮影画像には、被写体の全身が満遍なく写るため、被写体の基端部（立っている場合は、足下）と床面との境目も明確に表示される。そして、合成される背景画像は、被写体画像の撮影環境とは関係なく作成されたものであるため、背景画像と被写体画像を合成すると、被写体が背景から浮いたように見えるおそれがある。これは、被写体の基端部も明確に表示される下部カメラ１１２による撮影画像では顕著に起こりうる問題である。以上の理由により、下部カメラ１１２で撮影した撮影画像に対しては、上部カメラ１１１で撮影された撮影画像とは異なる画像処理を施す。以下、詳述する。

まず、図１７に示すような下部カメラ１１２で撮影した撮影画像を、撮影画像取得部４１で取得する。この撮影画像に基づいて、マスク画像生成部４２によって、図１８に示すように、マスク画像を生成する。そして、このマスク画像に基づいて、図１９に示すように、グラデーションマスクを生成する。ここまでの処理は、上述した上部カメラ１１１による撮影画像に対する処理と同じであるため、詳細は省略する。なお、下部カメラ１１２で撮影された撮影画像には、上部カメラ１１２で撮影された撮影画像よりも床面が写りこまないので、上部カメラ１１２で撮影された撮影画像に関する足ゾーンの長さＬ２よりも短く設定される必要がある。

次に、傾斜マスクを生成するのであるが、上述したように、正面からの撮影では影が拡散するため、ここでは、角度の相違する２種類の傾斜マスクを生成し、これを合成する。例えば、図２０（ａ）に示すような傾斜角度θが１０度の傾斜マスク、及び図２０（ｂ）に示すような傾斜角度θが３０度の傾斜マスクを生成する。ここでの傾斜の方法は、上述したとおりである。そして、図２０（ｃ）に示すように、これら２つの傾斜マスクを合成し、合成傾斜マスクを生成する。合成する際に画素が重なり合うときには、高い画素値を採用する。すなわち、画素値１００の画素と、画素値１２０の画素が重なった場合には、画素値を１２０とする。

こうして、図２０（ｃ）に示すような合成傾斜マスクが生成されるが、このマスクは縦方向に長すぎて、影としては不自然に見えるため、これを縦方向に圧縮する処理を行う。圧縮の方法は特には限定されないが、例えば、図２１に示すように行うことができる。ここでは、縦方向の長さが５０％になるように圧縮する例を示す。同図に示すように、合成傾斜マスクの下側から１０個の画素（第１〜第１０画素Ｐ１〜Ｐ１０）が並んでいるとすると（図中の数値は画素値）、第１画素Ｐ１と第２画素Ｐ２を合成した画素を第１画素Ｐ１の位置に生成する。画素値は第１及び第２画素Ｐ１，Ｐ２の平均である。また、第３画素Ｐ３と第４画素Ｐ４とを合成した画素を第２画素Ｐ２の位置に生成する。画素値は第３及び第４画素Ｐ３，Ｐ４の平均である。こうして、すべての画素に対して同様の処理を行い、縦方向の長さを半分にする。これにより、図２２に示すように、合成傾斜マスクの下端の位置は変化せず、縦方向に圧縮された合成傾斜マスクが生成される。こうして形成された圧縮された合成傾斜マスクが、本発明における影情報に相当する。そして、圧縮された合成傾斜マスクに基づいて、背景画像の処理を行い、図２３に示すように、背景画像に影を生成する。このときの、背景画像に対して影を生成する処理は、上述した方法と同じである。

次に、撮影画像における被写体の基端部付近に影をつける処理について説明する。被写体を正面から撮影した場合、被写体と背景画像とを合成すると、被写体が背景画像から浮
いたように見え、リアリティが低下するおそれがある。そこで、下部カメラ１１２による撮影画像に対する処理では、後述する移動グラデーションマスクを作成して被写体の基端部付近に影をつける処理を行う。以下、詳述する。移動グラデーションマスクも、上述した傾斜マスクと同様、グラデーションマスク上で画素を傾斜させるのではなく、グラデーションマスクを構成する画素データを用いて、新たに移動グラデーションマスクを作成する。

図１９で示したグラデーションマスクにおいて、足ゾーンよりも上の画素の画素値は使用しない。まず、足ゾーンに含まれるグラデーションマスクに対して、被写体領域の基端部と終端部の画素値の差が大きくなるように、画素のコントラストを上げる。すなわち、被写体の基端部に近い画素の画素値を「２５５」により近づけるとともに、被写体の基端部から遠い画素の画素値を「０」により近づける。これにより、基端部付近にのみ強い影が生じるようになる。続いて、このグラデーションマスクを縦方向へわずかに下方に移動させ、図２４に示すようなグラデーションマスクを生成する。これを移動グラデーションマスクと称する。このときの移動量はごくわずかであり、後述するように、被写体画像の輪郭を強調する程度の数画素分（例えば、１〜１０画素）の長さである。これに基づいて、背景画像に対し、被写体の基端部付近（図２４に示す例では「足下部分」に相当）に対応する暗領域を生成する。このとき、背景画像に対する処理では、影を形成する場合よりも、彩度及び明度の変更量を多くし、色の濃い暗領域を形成する。こうして、図２５に示すように、背景画像には、被写体の基端部付近（足下）に対応する暗領域と影が形成され、この背景画像に対して、被写体画像を合成すると、図２６に示すような合成画像が形成される。ここで、暗領域は、当初のグラデーションマスクを下方にずらせた移動グラデーションマスクに基づいて生成されているため、暗領域は被写体からずれた位置に形成される。そのため、暗領域は、被写体領域からはみ出し、被写体の基端部付近の輪郭を強調する。以上の工程で生成された合成画像に対し、後述するような編集処理が行われる。

＜７．写真撮影遊戯装置における処理手順＞
続いて、本実施形態に係る写真撮影遊戯装置のプレイ方法及び画像処理について説明する。上述したように、この写真撮影遊戯装置には、撮影部１、編集部２、及び出力部３が含まれている。撮影部１では撮影処理が行われ、編集部２では後述する編集処理が行われ、出力部３では出力処理が行われる。これらの処理は、記憶部５またはドライブ７に記憶されたプログラム、あるいはインストールされたプログラムを制御部４により実行することにより、行われる。以下では、まず、プレイの流れとそれに伴うユーザの移動について、図２及び図２２に示すフローチャートを参照しつつ説明し、その後、各処理について詳細に説明する。

＜７−１．プレイの流れ＞
以下、図２７のフローチャートにしたがい、プレイの流れについて説明する。図２に示すように、まず、ユーザは、矢印Ａで示すように第１出入口１０１ａ，１０１ｂから、撮影空間１０に入り、撮影部１に設けられたカメラ１１１，１１２やモニタ１１３，１１４など利用して撮影処理を行う。この写真撮影遊戯装置が使用されていない時（プレイが行われていない時）には、上部モニタ１１３にはデモ画像が表示されている。デモ画像の表示中にユーザがコイン投入口にコインを所定の金額を投入すると（ステップＳ１００のＹＥＳ）、プレイが開始され、撮影処理が始まる（ステップＳ１１０）。そして、撮影処理を終えたユーザは、矢印Ｂで示すように第１出入口１０１ａ，１０１ｂを使って撮影空間１０から装置外部に出た後、いずれかの編集空間２０ａ，２０ｂに移動する。このとき、撮影筐体１１の上部モニタ１１３およびスピーカ１９によって、編集空間２０ａ，２０ｂへの移動を促す表示や通知がなされる（ステップＳ１２０）。例えば、いずれの編集空間２０ａ，２０ｂもユーザが利用していないときは、いずれか一方の編集空間への移動を促す表示などを行う。また、いずれか一方の編集空間２０ａ，２０ｂにユーザが存在する場
合には、空いている編集空間への移動を促す表示などを行う。そして、いずれの編集空間２０ａ，２０ｂもユーザによって利用されている場合には、編集空間への移動を待つように表示などを行う。

編集空間２０ａ，２０ｂに移動したユーザは編集処理を開始する。各編集空間２０ａ，２０ｂのユーザは、同時に編集処理を行うことができる。ユーザは、まず、背景画像の選択を行い（ステップＳ１３０）、その後、選択した背景画像と被写体画像とが合成された合成画像に対して、編集処理を行う（ステップＳ１４０）。なお、選択された編集画像には、上述したような影を付する処理がなされている。そして、編集処理が終了すると、撮影画像や編集済みの撮影画像の中から選択された画像の印刷が開始される。そして、編集筐体２１の編集用モニタ２１３には出力空間３０への移動を促す表示がなされるとともに、スピーカ２１５によって出力空間３０への移動を促す音声が通知される（ステップＳ１５０）。これに従って、編集処理を終えたユーザは、いずれかの編集空間２０ａ，２０ｂから、矢印Ｃで示すように出力空間３０に移動して印刷などの出力処理を行う（ステップＳ１６０）。なお、出力空間３０で他のユーザが出力処理をしている場合には、編集用モニタ２１３およびスピーカ２１５によって、出力空間３０への移動を待たせる表示や通知がなされる。

そして、出力空間３０では、ユーザに画像の印刷を待たせている間、本プレイによって生成した画像をユーザの携帯端末で取得できるようにするための操作（例えば、メールアドレスの入力）をモニタ３１１に対して行わせる（ステップＳ１７０）。画像の印刷が終了したとき、ユーザは、出力筐体３１に設けられたシール紙排出口３１３からシール紙を受け取り、一連のプレイを終えることになる。以上のようなユーザの移動を促す表示は、制御部４により行われる。

＜７−２．撮影処理＞
次に、撮影部１における撮影処理について、図２８を参照しつつ説明する。図２８は、本実施形態における撮影処理の処理手順を示すフローチャートである。

コインが投入され、プレイが開始されると、制御部４は、２種類の画像の撮影を行う。まず、上部カメラにより画像を取得する撮影が４回連続して行われる（ステップＳ２００）。ここで、上部モニタ１１３には、図２９に示すような画面が表示される。ユーザは、この画面の撮影フレーム１１３１にリアルタイムに表示されるスルー画像を見ながら撮影を行う。このとき、撮影フレーム１１３１に表示されるスルー画像は、上部カメラ１１１により撮影されたものである。また、撮影フレーム１１３１に表示される画像は、クロマキー処理により、撮影画像から抽出された被写体画像と、予め決められた前景画像および／または背景画像とが合成された画像である。以下、予め決められた背景画像が合成された画像を、仮合成画像と称することとする。

撮影フレーム１１３１には、図２９に示すように、ユーザの立ち位置（図中の点線）をスルー画像上に重ねて表示することもできる。また、ユーザの立ち位置を大まかに示す領域を、スルー画像上に重ねて表示することもできる。これらにより、ユーザの立ち位置を誘導し、上述した足ゾーンに、ユーザの足が含まれるような撮影画像を取得することができる。撮影は秒数１１３２を示してカウントダウンを行いながら所定時間ごとにシャッターが切られることで行われる。つまり、制御部４より上部カメラ１１１に制御信号が送信され撮影が行われる。撮影された画像のサムネイルが、画面下部のサムネイル表示領域１１３３に順に表示されていく。こうして、４回の撮影により、４種類の画像に係る撮影画像データが生成され、メモリに格納される。なお、メモリに格納されるのは、仮合成画像ではなく、クロマキー処理がなされていない撮影画像である。

次に、下部カメラ１１２による撮影が２回連続して行われる（ステップＳ２１０）。ここでは、ユーザは、図２９に示す撮影フレーム１１３１にリアルタイムに表示されるスルー画像を見ながら撮影を行う。このとき、撮影フレーム１１３１に表示されるスルー画像は、上述した仮合成画像である。また、図示を省略するが、撮影フレーム１１３１には、ユーザの立ち位置を表示することもできる。撮影は秒数１１３２を示してカウントダウンを行いながら、所定時間ごとにシャッターが切られることで行われる。撮影された画像のサムネイルは、上部カメラ１１１による撮影と同様に、画面下部のサムネイル表示領域１１３３に表示される。こうして、２回の撮影により、２種類の画像に係る撮影画像が生成され、メモリに格納される。以上の６回の撮影が終了すると、サムネイル表示領域１１３３には、６枚の仮合成画像のサムネイルが表示される。

こうして、合計６回の撮影が完了し、さらに撮影時間が残っていたとすると（ステップＳ２２０のＹＥＳ）、ボーナスショットの撮影が行われる（ステップＳ２３０）。こうして、すべての撮影が完了すると、上部モニタ１１３には、編集部２のいずれか一方の編集空間２０ａ，２０ｂへの移動を促す表示がなされるとともに、スピーカ１９によって、編集空間２０ａ，２０ｂへの移動を促す通知がなされる（ステップＳ２４０）。また、生成された各撮影画像は、編集部２に送信される。なお、撮影回数は特には限定されない。

＜７−３．編集用モニタの画面構成と編集処理＞
編集処理は以下の手順で行われる。まず、背景画像（以下では、前景画像が含まれている場合でも、単に「背景画像」と記載する）の選択が行われる。この点について、図３０のフローチャートを参照しつつ説明する。上述したように、撮影部１のモニタに表示された仮合成画像は、制御部４が自動的に背景画像を付加することで生成されている。そのため、編集作業に入る前に、ユーザによる背景画像の選択を行う。最初に、編集用モニタ２１３には、図３１に示すような、背景選択画面が表示される（ステップＳ３００）。この背景選択画面の上部には、６つの撮影画像フレームＰが表示されている。この撮影画像フレームには、６つの仮合成画像が表示されている。これら仮合成画像は、撮影部１で生成したものであってもよいし、編集部２で改めて生成したものであってもよい。そして、撮影画像フレームＰの下方には、複数の背景画像の候補が表示された、背景画像フレームＱが表示されている。ここで、ユーザは、タッチペン２１４Ａ，２１４Ｂで、背景画像のいずれかをタッチして背景画像の選択を行い（ステップＳ３１０）、その後、仮合成画像のいずれかをタッチすると、選択された背景画像が、予め決められた背景画像と入れ替わった合成画像が表示される（ステップＳ３２０）。このとき、表示される合成画像は、上述した手順（項６）で生成されたものである。すなわち、選択された背景画像に対して、上述した処理を経て影が形成され、影が形成された背景画像が、被写体画像と合成され、合成画像が生成される。

そして、この操作をすべての仮合成画像に対して行うことができる。こうして背景画像の選択が完了すると、ＯＫボタンＲを押下する（ステップＳ３３０のＹＥＳ）。これにより、仮合成画像の背景画像が、選択された背景画像に入れ替わった合成画像（編集対象画像）が生成され、その画像データがメモリに記憶される。あるいは、ＯＫボタンＲが押下されなくても、所定の時間が経過すると、背景画像の選択は自動的に終了し、生成された合成画像がメモリに記憶される。

こうして背景画像が決定されると、これに続いて、編集対象画像等に対して編集処理を行う。ここでは、編集処理を行う際に、編集用モニタ２１３に表れる画面の構成について説明する。以下、このような落書きのための編集用モニタ２１３の画面構成について、図３２を参照しつつ詳細に説明する。図３２は編集用モニタに表示される編集対象画像の編集用画面を示す模式図である。

図３２に示すように、この編集画面において、編集用モニタ２１３は、左右一対の編集スペースに区分けされ、２人のユーザが同時並行して使用できるようになっている。編集用モニタ２１３の左側の編集スペースにおいては、左側のタッチペン２１４Ａによる入力受け付けが可能となっており、右側の編集スペースにおいては、右側のタッチペン２１４Ｂによる入力受け付けが可能となっている。各編集スペースの上部中央には、編集対象画像を表示し（仮想的な）落書きを行える矩形状の落書き領域５０１が設けられている。各落書き領域５０１の上方には、６枚の編集対象画像のサムネイル５０２が表示されており、ここから選択された１枚の編集対象画像が、落書き領域５０１に表示される。

落書き領域５０１の側部には、編集ボタンが配置されている。具体的には、上から、「エンド」ボタン５０３、消しゴムボタン５０４、「進む」ボタン５０５、及び「戻る」ボタン５０６が配置されている。「エンド」ボタン５０３は、編集を終了するためのボタンであり、この「エンド」ボタン５０３を押下すると、編集処理が自発的に終了し、出力処理へと移行する。消しゴムボタン５０４は、４種類のものが配置されており、３種類の大きさ消しゴムボタンと、すべての落書きを消すための「全消し」ボタンとが配置されている。例えば、いずれかの大きさ消しゴムボタンをタッチペン２１４Ａ，２１４Ｂで押下すると、その大きさ消しゴムが設定され、この状態で落書き領域５０１をタッチペン２１４Ａ，２１４Ｂでなぞると、なぞった部分の落書きが消去されるようになっている。また、「全消し」ボタンを押下すると、すべての落書きが消去される。

「戻る」ボタン５０６は、直前に行った落書き処理を取り消して元に戻すためのボタンであり、「進む」ボタン５０５は、反対に、「戻る」ボタン５０６を押下する直前の落書き処理を復活させるためのボタンである。

また、左右の編集ボタンの間には、カウントダウン用のタイマー５０８が設けられている。このタイマーは、種々の設定ができるが、例えば、落書き編集を行える基本制限時間（例えば、３００秒）を予め設定しておき、落書き編集が開始されると同時にカウントダウンを始め、タイマーの表示がゼロになったときに落書き編集を強制的に終了させるように構成することができる。あるいは、撮影部１にユーザがいないとき、つまり、編集作業を待つ後続のユーザがいないときには、カウントダウンを行わず、制限なく編集作業を行えるようにしてもよいし、最大制限時間（例えば、２０分）を設定しておき、最大制限時間まで編集作業を行えるようにしてもよい。但し、このような状態になったとき、もう一方の編集部２に後続のユーザがいる状態で、新たなユーザによる撮影処理が開始された場合、撮影処理の開始に合わせて、予め設定された時間（例えば、６０秒）からのカウントダウンを始めるようにすることが好ましい。このタイマー５０８は、左右のユーザで共通であり、両ユーザの編集処理時間が１つのタイマー５０８で管理される。

落書き領域５０１の下方には、絵、模様、図形、文字などを書き込むためのパレット５０９が配置されている。パレット５０９は、複数の領域に分けられている。まず、パレット５０９の上段には、複数のカテゴリーが表示されたカテゴリー領域５１０が配置されている。ここでは、例として「オススメ」、「スタンプ」、「ペン」、「メッセージ」、及び「メイク」という５つのカテゴリーが表示されている。

カテゴリー領域５１０の下方には、詳細ツール領域５１１が配置されており、上記各カテゴリーに関連した落書き用のツールが表示される。例えば、「スタンプ」というカテゴリーを選択すると、種々の種類のスタンプ（ツール）が表示される。この領域の上段には、６つの種類ボタン（Ａ〜Ｆ）５１２が配置され、その下方には、複数種のスタンプが表示されたツールボタン５１３が配置されている。また、ツールボタン５１３の側方には、ツール編集ボタン、及び大きさ調整ボタン５１８が配置されている。

種類ボタン５１２は、選択されたカテゴリーをさらに分類するものである。図３２には、１つの種類ボタンに対応する複数のスタンプが示されているが、これと同様に、他の種類ボタンを押下すると、同じカテゴリーでさらに種類の異なるスタンプが表示される。例えば、図３２のツールが表示された状態で落書き処理を行う場合には、いずれかのツールをタッチペン２１４Ａ，２１４Ｂで押下してツールを選択し、その後、タッチペン２１４Ａ，２１４Ｂで落書き領域５０１の任意の位置を押下する。これにより、選択されたツールが落書き領域５０１における押下された位置に表示される。一旦設定されたツールは、他のツールを選択するまで維持される。

ツール編集ボタンは、４種類のボタンを有している。上から、第１回転ボタン５１４、第２回転ボタン５１５及び反転ボタン５１６が配置されている。第１回転ボタン５１４は、画面に垂直な軸回りに選択されたツールを回転するためのものであり、第２回転ボタン５１５は、画面に平行で上下に延びる軸回りに選択されたツールを回転する（奥行き方向に回転する）ためのものである。反転ボタン５１６は、落書き領域に表示されたツールの左右を反転させるものである。また、大きさ調整ボタン５１８は、落書き領域５０１に表示するツールの大きさを決定するためのものであり、５種類の大きさが表示されている。例えば、カテゴリーとしてスタンプを選択して、大きさ調整ボタン５１８を押下した後、いずれかのツールを選択すると、選択した大きさに応じたスタンプが落書き領域５０１に表示される。

以上の画面構成は、左右の編集スペースで同じである。ユーザは、適宜、編集すべき編集対象画像をサムネイル５０２から選択し、落書き領域５０１に表示させる。そして、表示された編集対象画像に対して、編集作業を行う。

こうして、ユーザは、タイマー４６の残り時間が０になる（またはユーザが終了させる操作を行う）まで、落書きを行う。そして、タイマーの残り時間が０になるか、あるいはユーザが終了ボタンをタッチして自発的に落書きを終了させると、編集用モニタ２１３に「落書き終了」との表示が表れる。そして、その時点において、編集画面で編集されている編集対象画像が編集済画像（出力用画像）とされ、この編集済画像に係る編集済画像データがメモリに保存され、編集処理が終了する。その後、出力用のシール紙のレイアウトを編集用モニタ２１３で決定することもできる。

＜７−４．出力処理＞
次に、出力処理について説明する。上記のように生成された編集済画像データは、出力部３に送信される。そして、まず、編集済画像データの送信処理を行う。

送信に当たっては、複数の方法がある。まず、電子メールを入力させ、その電子メールに画像データを送信したり、あるいは画像データを取得できるインターネット上のサイトのURLを送信することもできる。このとき、モニタ３１１には、２人のユーザに対して、
それぞれメールアドレスの入力を促す画面が表示される。なお、編集済画像データまたはＵＲＬは、写真撮影遊戯装置から直接ユーザの電子メールアカウントに送信することもできるし、写真撮影遊戯装置から外部のサーバを介して送信することもできる。

また、出力部３の非接触通信部３１２から、編集済画像データを携帯端末へ送信することもできる。さらに、モニタ３１１にＱＲコード（登録商標）を表示させ、このＱＲ（登録商標）コードを読み取ることで、上述したＵＲＬを取得することもできる。

こうして、画像データの送信処理が完了すると、出力部３においてシート紙の印刷が行われ、シール紙排出口３１３から排出される。

＜８．効果＞
以上のように、本実施形態によれば、影情報生成部４３により、被写体に近い位置から離れるにしたがって色の濃度が薄くなるように形成された、被写体の影を生成するための傾斜マスクが生成される。そして、この傾斜マスクに基づいて、背景画像を処理し、影が形成された背景画像を生成している。そのため、背景画像に形成される影は、被写体から離れるにしたがって濃度が薄くなるグラデーションを有する。したがって、合成画像に自然な影を形成することができるため、画像の立体感が増し、リアリティを増大することができる。

また、傾斜マスクは、被写体領域を有するマスク画像に基づいて形成される。そのため、被写体の形状に即した自然な影を形成することができる。また、この傾斜マスクは、被写体領域の下端から傾斜するように形成されているため、背景画像において、傾斜マスクと対応する位置の画素を画像処理することで、被写体の基端部から延びる影を形成することができる。したがって、影を形成する際に、影の位置決めなどの処理を行うことなく、被写体の基端部から正確に延びる影を形成することができる。

＜９．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。

＜９−１＞
上記実施形態では、編集部２において、ユーザが背景画像を選択したときに、背景画像に影を形成しているが、その他、制御部４で自動的に選択された背景画像に対しても、影を形成することができる。例えば、撮影時のスルー画像や、図２８の撮影画像フレームに表示された仮合成画像の背景画像に影を形成することもできる。影の形成手順は同じである。

＜９−２＞
上記実施形態では、図７に示す合成画像生成部４５において、撮影画像から被写体画像を抽出しているが、マスク画像生成部４２において、被写体画像を抽出し、これを用いて、合成画像生成部４５で背景画像との合成を行ってもよい。この場合、本発明の被写体画像生成部は、マスク画像生成部４２が兼ねることになる。

＜９−３＞
また、背景画像に影を形成するか否かをユーザに選択させることもできる。すなわち、ユーザの選択により、背景画像に影を形成しないようにすることもできる。その選択は、背景画像の選択時、または編集時に行うことができる。

＜９−４＞
影の形成手順における、グラデーションマスク、傾斜マスク、合成傾斜マスク、圧縮された合成傾斜マスクの形成方法は、特には限定されず、種々の方法が可能である。すなわち、本発明においては、マスク画像を用いて最終的にグラデーションが付された傾斜マスクが形成されればよい。例えば、グラデーション処理、傾斜処理は、その順序を反対にすることもできる。

＜９−５＞
上記実施形態では、グラデーションマスク、傾斜マスク、合成傾斜マスク、圧縮された合成傾斜マスクの形成方法、及び背景画像に対する影の生成処理を、予め決められたパラメータにしたがって行っているが、これを、選択された背景画像に応じて行うこともできる。例えば、図１５（ａ）に示す背景画像は、右側が明るく、左側が暗い。これは、照明
が右側から照射された様子を示している。この場合、背景画像には右から左へ延びる影が形成されるのが自然である。したがって、このような背景画像に表された画像に応じて、影の形状、色情報（彩度、明度、色相など）、グラデーション等を決定するパラメータを適宜選択し、背景画像に応じた影を形成することもできる。例えば、上述した基準長さＬ１、足ゾーンの長さＬ２、基準画素数Ｄ、傾斜角度θ、傾斜の向き、グラデーションカーブ、彩度、明度の調整量を、選択された背景画像に応じて変化させてもよい。

同様に、いずれのカメラで撮影されたかによって、上記パラメータを変化させることもできる。すなわち、上部カメラで撮影されたときと、下部カメラで撮影されたときで、影の形状、色情報、グラデーションを決定するパラメータを適宜変化させ、形成される影を相違させることもできる。

＜９−６＞
また、背景画像には、例えば、図３３に示すように、水平面と壁との間の境界を示すような表示を形成することもできる。この例では、水平方向に延びる色味の濃い線状の領域を形成し、これを境界とすることができる。この境界の位置は、背景画像と被写体画像とが合成された状態において、被写体画像の基端部よりも上方にあるように調整することが好ましい。これにより、合成画像において、被写体が水平面上に立っているように見せることができる。境界の位置の調整は、カメラの位置、ユーザの立ち位置から、調整することができる。また、境界の位置は、上記したような位置となるように予め設定しておくこともできる。

＜９−７＞
また、このような境界を形成した場合、影は境界よりも下側に形成されることが好ましい。これにより、影が水平面上に形成されているように見せることができる。但し、影が境界を越えるように形成することもできる。この場合、自然な影に見せるため、図３４に示すように、境界上で影を傾斜させ、境界より上側で影が上方に伸びるように、形成することができる。

＜９−８＞
上記実施形態において、種々の傾斜マスクの形成方法を示したが、次のような方法で傾斜マスクを形成することもできる。これについて、図３５及び図３６を用いて説明する。上記実施形態では、例えば、図１８に示すマスク画像を利用し、図１９に示すように、その被写体領域内の画素値がグラデーションするグラデーションマスクを利用して影を形成していた。一方、この例では、例えば、図３５に示すように、画像全体に縦方向のグラデーションが形成されたマスクを利用して影を形成する。点線は被写体領域の輪郭であり、この例では、被写体領域の足ゾーンに含まれる各画素を回転の中心とする。当該各画素からの基準画素数Ｄについては、上記実施形態と同様に設定する。より詳細に説明すると、例えば、図３５の線Ｘにおいては、足ゾーン内にも関わらず、点Ｋよりも上は被写体領域ではない。そのため、点Ｋの画素を回転中心として、それよりも上の画素を回転させようとしても、その画素は被写体領域の外にあり、上記実施形態の処理では回転に用いることができなかった。そこで、この例では、被写体領域の外にある画素も基準画素数Ｄに含まれる画素として、回転させる。

例えば、図３６の画素Ｐ４が被写体領域の輪郭の境界（図３５の点Ｋ）にあると仮定すると、この画素Ｐ４より上にあって画素Ｐ４から基準画素数Ｄ内に含まれる画素Ｐ５〜Ｐ８（傾斜マスクを利用するのに利用される画素）は被写体領域の外にある。しかしながら、この例では、被写体領域の外にある画素Ｐ５〜Ｐ８を画素Ｐ４を中心に回転させる。図１９の例では、被写体領域の外にグラデーションが形成された画素が存在しないが、図３５の例では、画像全体にグラデーションを形成しているため、被写体領域の外にもグラデ
ーションが形成された画素が存在する。よって、それらの画素を傾斜させ、傾斜マスクを形成する。このようにすることで、影が不自然に切れてしまったり、短くなったりするのを防止することができる。この手法は、図２６のような、影に被写体の形状を反映させる必要がない場合に適応することができる。

＜９−９＞
上記実施形態では、図２４〜図２６に示すように、移動グラデーションマスクを利用して、被写体の基端部付近に影をつけた。しかしながら、被写体の基端部付近に影を形成する方法は、これに限定されず、種々の方法を適用することができる。例えば、グラデーションマスクを２つ準備し、そのうちの１つを縦方向に下側にずらし、図３７に示すように、両グラデーションマスクの差分を生成する。このときのずらす長さはごくわずかであり、被写体画像の輪郭を強調する程度の数画素分（例えば、１〜１０画素）の長さである。こうして、生成された差分グラデーションマスクは、被写体の基端部の輪郭に対応するものであり、これに基づいて、背景画像に対し、基端部の輪郭に対応する部分の影を生成する。このとき、背景画像に対する処理では、影を形成する場合よりも、彩度及び明度の変更量を多くし、色の濃い輪郭を形成する。このような差分グラデーションマスクを利用することで、背景画像には、被写体の基端部付近に影が形成され、この背景画像に対して、被写体画像を合成すると、図２６に示すような合成画像が形成される。

＜９−１０＞
また、次のような方法で傾斜マスクを生成することもできる。例えば、図３８に示すようなグラデーションマスクを用い、被写体領域内の各画素を横方向にシフトさせる。このとき、同図の矢印の長さで示すように、画像の縦方向において、グラデーションマスクの基端部（図の下端側）に近い画素ほどシフト量を小さくし、終端部に近いほどシフト量を大きくする。こうして形成された傾斜マスクに基づいて、背景画像に影を生成する。これにより、背景画像には、被写体領域から斜めに延びる影を形成することができる。ただし、被写体領域内の各画素をシフトさせる方向は、図３８に示したような左横方向に限定されず、右横方向や左斜め上方向、左斜め下方向等様々な方向にシフトさせることができる。この場合も、図３８の例と同様に、グラデーションマスクの基端部に近いほどシフト量を小さくし、終端部に近いほどシフト量を大きくする。

＜９−１１＞
上記実施形態及び各変形例等では、傾斜マスクを影情報とし、これに基づいて、背景画像に影を形成しているが、影を表す影画像を形成し、これと背景画像を合成することもできる。影画像は、上記実施形態及び各変形例と同様に、傾斜マスクを用いて作成する。例えば、任意の影用の画像に対し、傾斜マスクに基づいて影を形成し、これを切り取って形成することができる。この場合、背景画像の上に影画像を重畳し、さらにその上に被写体画像を重畳することで、図１６，２６で示した影が付いた合成画像を作ることができる。

＜９−１２＞
上記実施形態では、上から被写体を撮影する上部カメラ１１１と、下から被写体を撮影する下部カメラ１１２という２つのカメラを備えている。しかしながら、カメラを移動させることで、１台のカメラで上から被写体を撮影したり、下から被写体を撮影したりすることができる。

＜９−１３＞
上記実施形態及び各変形例等では、写真撮影遊戯装置において、影が付加された背景画像と、被写体画像とを合成することで合成画像を形成しているが、写真撮影遊戯装置以外で用いることもできる。すなわち、上記写真撮影遊戯装置において合成画像を生成する部位（例えば、コンピュータ）を取り出し、これを画像処理装置として用いることもできる
。これにより、任意の撮影画像を入力すれば、影が付された合成画像を生成する画像処理装置とすることができる。

４１ 撮影画像取得部
４２ マスク画像生成部
４３ 影情報生成部
４４ 背景画像取得部
４５ 合成画像生成部
１１１ 上部カメラ
１１２ 下部カメラ

Claims (4)

1. 被写体を撮影する少なくとも１つのカメラを有し、前記被写体が写る撮影画像を生成する、撮影部と、
   前記撮影画像から前記被写体が写る領域を抽出した被写体画像を生成する被写体画像生成部と、
   複数種類の背景画像が記憶されている記憶部と、
   前記複数種類の背景画像の中から前記被写体画像の背景として合成する背景画像の選択を受け付ける背景画像取得部と、
   前記被写体画像の形状に基づいて、選択された前記背景画像に対応した影の形状を決定する影情報生成部と、
   選択された前記背景画像に対応した形状の影、前記被写体画像、及び前記背景画像を有する合成画像を生成する合成画像生成部と、
   前記合成画像生成部で生成された合成画像に編集処理を施し、出力用画像を生成する編集部と、
   前記出力用画像を出力する出力部と、
   を備えている、写真撮影遊戯装置。
2. 前記撮影画像から、前記被写体を示す被写体領域を有するマスク画像を生成するマスク画像生成部をさらに備え、
   前記影情報生成部は、選択された前記背景画像に対応した変形処理を前記マスク画像に施し、前記変形処理が施された前記マスク画像に基づいて前記影の形状を決定する、請求項１に記載の写真撮影遊戯装置。
3. カメラによって撮影された被写体が写る撮影画像から前記被写体が写る領域を抽出した被写体画像を生成するステップと、
   複数種類の背景画像の中から前記被写体画像の背景として合成する背景画像の選択を受け付けるステップと、
   前記被写体画像の形状に基づいて、選択された前記背景画像に対応した影の形状を決定するステップと、
   選択された前記背景画像に対応した形状の影、前記被写体画像、及び前記背景画像を有する合成画像を生成するステップと、
   を備えている、画像処理方法。
4. コンピュータに、
   カメラによって撮影された被写体が写る撮影画像から前記被写体が写る領域を抽出した被写体画像を生成するステップと、
   複数種類の背景画像の中から前記被写体画像の背景として合成する背景画像の選択を受け付けるステップと、
   前記被写体画像の形状に基づいて、選択された前記背景画像に対応した影の形状を決定するステップと、
   選択された前記背景画像に対応した形状の影、前記被写体画像、及び前記背景画像を有する合成画像を生成するステップと、
   を実行させる、画像処理プログラム。