JP2019211683A - 写真作成ゲーム機、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】面白みのある撮影を利用者に提供することができるようにする。【解決手段】本技術を適用した写真作成ゲーム機は、利用者を被写体として撮影し、被写体までの距離を測定し、撮影された動画像に合成する合成用画像を記憶し、合成用画像を合成した動画像を表示する間、測定された距離に応じて合成用画像を切り替える写真作成ゲーム機である。本技術は、撮影した画像をシール紙に印刷する一連のゲームを提供する写真作成ゲーム機に適用することができる。【選択図】図１９

Description

本技術は、写真作成ゲーム機、画像処理方法、およびプログラムに関し、特に、面白みのある撮影を利用者に提供することができるようにした写真作成ゲーム機、画像処理方法、およびプログラムに関する。

従来、写真シール作成装置が知られている。写真シール作成装置は、利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供するものである。写真シール作成装置は遊戯施設などに設置される。

写真シール作成装置が提供する１ゲームの流れは、通常、撮影空間内にいる利用者を被写体として撮影を行った後、利用者を編集空間に移動させ、編集空間内で行われる操作に従って画像を編集して、編集済みの画像をシール紙に印刷するものとなる。

特許文献１には、カメラの真上にレーザスキャナを設け、利用者までの距離を計測することができるようにした写真作成装置が開示されている。利用者までの距離を計測することにより、複数の利用者が前後の位置関係にある場合に、前の人と後ろの人の間に付加画像を合成することができるようになされている。

特開２００８−２５９０８５号公報

特許文献１に記載の写真作成装置において、利用者までの距離に応じた付加画像の合成は、撮影によって得られた静止画像を対象として行われる。例えば、撮影時に表示されるライブビュー画面の表示においてそのような付加画像の合成が行われるとすれば、面白みのある撮影を利用者に提供できるものと考えられる。

本技術はこのような状況に鑑みてなされたものであり、面白みのある撮影を利用者に提供することができるようにするものである。

本技術の写真作成ゲーム機は、利用者を被写体として撮影を行う撮影部と、前記被写体までの距離を測定する距離センサと、前記撮影部により撮影された動画像に合成する合成用画像を記憶する記憶部と、前記合成用画像を合成した前記動画像を表示する間、前記距離センサにより測定された距離に応じて前記合成用画像を切り替える表示制御部とを備えた写真作成ゲーム機である。

本技術においては、利用者が被写体として撮影され、被写体までの距離が測定され、撮影された動画像に合成する合成用画像が記憶され、合成用画像を合成した動画像を表示する間、測定された距離に応じて合成用画像が切り替えられる。

本技術によれば、面白みのある撮影を利用者に提供することができる。

本技術の写真シール作成装置の外観の構成例を示す斜視図である。 写真シール作成装置の外観を他の角度からみた斜視図である。 利用者の移動について説明する図である。 事前選択部の構成例を示す図である。 撮影部の構成例を示す図である。 背景部の構成例を示す図である。 編集ユニットの正面の構成例を示す図である。 編集ユニットの側面の構成例を示す図である。 編集画像のレイヤ構造の例を示す図である。 距離画像の例を示す図である。 距離の特定の例を示す図である。 顔領域の情報を用いた距離の算出の例を示す図である。 ライブビュー画面の表示例を示す図である。 ライブビュー画像の生成例を示す図である。 利用者の立ち位置の例を示す図である。 利用者の立ち位置の他の例を示す図である。 ライブビュー画面の表示例を示す図である。 コンテンツを構成するキャラクタの画像の例を示す図である。 ライブビュー画像の生成例を示す図である。 写真シール作成装置の構成例を示すブロック図である。 写真シール作成装置の機能構成例を示すブロック図である。 図２１の撮影処理部の構成例を示すブロック図である。 写真シール作成ゲーム処理について説明するフローチャートである。 図２３のステップＳ３において行われる撮影処理について説明するフローチャートである。 利用者の位置と顔の大きさの組み合わせの例を示す図である。 コンテンツの出現／消滅の切り替えの例を示す図である。 コンテンツの出現／消滅の切り替えの他の例を示す図である。 コンテンツの出現／消滅の切り替えの他の例を示す図である。 コンテンツの切り替えの例を示す図である。

＜写真シール作成装置の外観＞
図１および図２は、写真シール作成装置１の外観の構成例を示す斜視図である。

写真シール作成装置１は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置１は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりすることで、利用者に画像を提供する。写真シール作成装置１は、ゲームセンターなどのアミューズメント施設や店舗に設置される。

写真シール作成装置１の利用者は、主に女子高生や若い女性が中心とされる。写真シール作成装置１において、１組あたり主に２人や３人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置１において、１人の利用者がゲームを楽しむこともできる。

写真シール作成装置１において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの他の画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。

写真シール作成装置１は、写真作成ゲームを提供する写真作成ゲーム機ということができる。

図１に示すように、写真シール作成装置１は、基本的に、撮影ユニット１１と編集ユニット１２が接した状態で設置されることによって構成される。撮影ユニット１１と編集ユニット１２は電気的に接続される。

撮影ユニット１１は、人が中に入ることができる程度の大きさを有する箱形状の筐体を有し、事前選択部２０、撮影部２１、および背景部２２から構成される。事前選択部２０は、撮影部２１の側面に設置される。事前選択部２０の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影部２１と背景部２２は所定の距離だけ離して設置される。撮影部２１と背景部２２の間に形成される空間が、撮影処理が行われる撮影空間となる。

事前選択部２０は、事前選択処理として、写真シール作成装置１によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を行ったりする。事前選択部２０には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択部２０は、撮影空間の空き状況に応じて、事前選択空間にいる利用者を撮影空間へと案内する。

撮影部２１は、利用者を被写体として撮影するための装置である。撮影部２１は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影部２１の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。

撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影部２１の左側面が側面パネル４１Ａにより構成され、右側面が側面パネル４１Ｂにより構成される。さらに、撮影部２１の正面が正面パネル４２により構成される。側面パネル４１Ａには、上述した事前選択部２０が設置される。なお、事前選択部２０が、側面パネル４１Ｂに設置されるようにしてもよい。

背景部２２は、背面パネル５１、側面パネル５２Ａ、および側面パネル５２Ｂから構成される。背面パネル５１は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル５２Ａは、背面パネル５１の左端に取り付けられ、側面パネル４１Ａより横幅の狭い板状の部材である。側面パネル５２Ｂは、背面パネル５１の右端に取り付けられ、側面パネル４１Ｂより横幅の狭い板状の部材である。

側面パネル４１Ａと側面パネル５２Ａは、ほぼ同一平面に設けられる。側面パネル４１Ａと側面パネル５２Ａの上部は、板状の部材である連結部２３Ａによって連結される。側面パネル４１Ａと側面パネル５２Ａの下部は、床面に設けた例えば金属製の部材である連結部２３Ａ’によって連結される。側面パネル４１Ｂと側面パネル５２Ｂも同様に、ほぼ同一平面に設けられる。側面パネル４１Ｂと側面パネル５２Ｂの上部は、連結部２３Ｂによって連結される。側面パネル４１Ｂと側面パネル５２Ｂの下部は、連結部２３Ｂ’によって連結される。

撮影空間の床には、板状の部材である床材２７が敷かれる。

側面パネル４１Ａ、連結部２３Ａ、および側面パネル５２Ａに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル４１Ｂ、連結部２３Ｂ、および側面パネル５２Ｂに囲まれることによって形成される開口も撮影空間の出入り口となる。

撮影空間の天井の一部には、ビニル素材の部材や板状の部材からなる天井シート２４が設けられる。

編集ユニット１２は、撮影画像に編集を施すための装置である。編集ユニット１２は、一方の側面が撮影部２１の正面パネル４２に接するようにして、撮影ユニット１１に連結して設けられる。

図１に示す編集ユニット１２の構成を正面側の構成とすると、編集ユニット１２の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、２組の利用者が同時に編集作業を行うことができる。

編集ユニット１２の正面側は、面６１と、面６１の上方に形成された斜面６２から構成される。面６１は、床面に対して垂直で、撮影部２１の側面パネル４１Ａとほぼ平行な面である。斜面６２には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面６２の左側には、照明装置６４の一端を支持する柱状の支持部６３Ａが設けられる。斜面６２の右側には、照明装置６４の他端を支持する柱状の支持部６３Ｂが設けられる。支持部６３Ａの上面にはカーテンレール２６を支持する支持部６５が設けられる。

編集ユニット１２の上方にはカーテンレール２６が取り付けられる。カーテンレール２６は、３本のレール２６Ａ乃至２６Ｃを組み合わせて構成される。

３本のレール２６Ａ乃至２６Ｃは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール２６Ａとレール２６Ｂの一端は、連結部２３Ａと連結部２３Ｂにそれぞれ固定され、レール２６Ａとレール２６Ｂの他端は、レール２６Ｃの両端にそれぞれ固定される。

カーテンレール２６には、編集ユニット１２の正面前方の空間と背面前方の空間が外から見えないようにするためのカーテンが取り付けられる。カーテンレール２６に取り付けられたカーテンにより囲まれる編集ユニット１２の正面前方の空間と背面前方の空間が、利用者が編集作業を行う編集空間となる。

編集ユニット１２の左側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット１２の左側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。

＜利用者の移動について＞
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。

図３は、写真シール作成装置１を上から見た平面図である。

利用者は、事前選択部２０の前方の空間である事前選択空間Ａ０において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って事前選択作業を行う。例えば、利用者は、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。

事前選択作業を終えた利用者は、白抜き矢印＃１で示すように、側面パネル４１Ａと側面パネル５２Ａの間の出入り口Ｇ１から、撮影部２１と背景部２２の間に形成された撮影空間Ａ１に入る。利用者は、撮影部２１に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。

撮影作業を終えた利用者は、白抜き矢印＃２で示すように出入り口Ｇ１から撮影空間Ａ１を出て編集空間Ａ２−１に移動するか、または、白抜き矢印＃３で示すように出入り口Ｇ２から撮影空間Ａ１を出て編集空間Ａ２−２に移動する。

編集空間Ａ２−１は、編集ユニット１２の正面側の編集空間である。一方、編集空間Ａ２−２は、編集ユニット１２の背面側の編集空間である。利用者が編集空間Ａ２−１と編集空間Ａ２−２のいずれの空間に移動するのかは、撮影部２１のタッチパネルモニタの画面表示などによって案内される。例えば２つの編集空間のうちの空いている方が移動先として案内される。編集空間Ａ２−１または編集空間Ａ２−２に移動した利用者は、編集作業を開始する。編集空間Ａ２−１の利用者と、編集空間Ａ２−２の利用者は同時に編集作業を行うことができる。

編集作業が終了した後、編集画像の印刷が開始される。編集空間Ａ２−１での編集作業を終えた利用者は、白抜き矢印＃４で示すように編集空間Ａ２−１から印刷待ち空間Ａ３に移動する。また、編集空間Ａ２−２での編集作業を終えた利用者は、白抜き矢印＃５で示すように編集空間Ａ２−２から印刷待ち空間Ａ３に移動する。

印刷待ち空間Ａ３に移動した利用者は、印刷が終わるのを待つ。印刷が終了すると、利用者は、編集ユニット１２の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。

次に、各装置の構成について説明する。

＜事前選択部の構成＞
図４は、事前選択部２０の構成例を示す図である。

事前選択部２０の上側にはタッチパネルモニタ７１が設けられる。タッチパネルモニタ７１は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ７１は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ７１には、利用者の人数の選択に用いられる画面などが表示される。

タッチパネルモニタ７１の下方にはスピーカ７２が設けられる。スピーカ７２は、事前選択処理の案内音声、BGM(Back Ground Music)、効果音などを出力する。スピーカ７２の隣に、利用者が硬貨を入れる硬貨投入返却口７３が設けられる。

事前選択部２０のタッチパネルモニタ７１の上には、表面が透明の板状部材で覆われた収納部７４が形成される。収納部７４には、例えば、写真シール作成装置１で作成されるシールのサンプルが収納される。商品のサンプルや商品説明用の写真（ポスター）を掲示することなどにも収納部７４は用いられる。

＜撮影部の構成＞
図５は、撮影部２１の正面の構成例を示す図である。

撮影部２１は、側面パネル４１Ａ、側面パネル４１Ｂ、および正面パネル４２に囲まれるようにして構成される。

正面パネル４２の略中央には箱状のカメラユニット８１が設けられる。カメラユニット８１の正面には、カメラ９１、タッチパネルモニタ９２、および距離画像センサ９３が設けられる。

カメラ９１は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット８１の内部に取り付けられる。カメラ９１は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、撮影空間Ａ１にいる利用者を撮影する。カメラ９１は、利用者を被写体として撮影を行う撮影部として機能する。

カメラ９１により取り込まれた動画像に基づいて生成されたライブビュー画像は、タッチパネルモニタ９２に表示される。撮影が指示されたときなどの所定のタイミングでカメラ９１により取り込まれた静止画像は撮影画像として保存される。

タッチパネルモニタ９２はカメラ９１の下方に設けられる。タッチパネルモニタ９２は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ９２は、カメラ９１により取り込まれたライブビュー画像を利用者に提示するライブビューモニタとしての機能と、各種のGUIを表示して利用者の選択操作を受け付ける機能を備えている。

距離画像センサ９３は、撮影空間Ａ１の距離画像を生成する。距離画像は、撮影空間Ａ１にある対象物の各位置までの距離（奥行き）を示す値を各画素の画素値として構成される画像である。例えば、距離画像センサ９３による距離画像の生成は、撮影空間Ａ１において撮影が行われている間、繰り返し行われる。

距離画像センサ９３による距離の算出は、例えば、パターン照射方式により行われる。パターン照射方式は、所定のパターンのレーザー光線を照射し、対象物において反射する光のパターンの歪みに基づいて距離を測定する方式である。

距離画像センサ９３による距離の測定がTOF(Time of Flight)方式により行われるようにしてもよい。TOF方式は、照射光と反射光との位相差を用いて対象物までの距離を算出する方式である。パターン照射方式、TOF方式に限らず、ストラクチャ光照明方式、Infrared Depth方式、ステレオカメラ方式などの他の方式より対象物までの距離が算出され、距離画像が生成されるようにしてもよい。

図５に示すように、距離画像センサ９３は、カメラ９１の近傍の真上の位置に、レンズが露出するようにカメラユニット８１の内部に取り付けられる。距離画像の画素数は、カメラ９１に取り込まれた原画像をトリミングすることによって生成されたライブビュー画像や撮影画像の画素数と略同一の画素数であってもよい。

距離画像センサ９３により生成された距離画像は、後述するように、カメラ９１により撮影された画像に写る利用者までの距離を算出し、他の画像を合成することに用いられる。

カメラユニット８１の上方には、撮影部２１の横幅と略同じ幅の上ストロボユニット８２が設置される。上ストロボユニット８２の正面は、乳白色の板状の部材であるパネル８６−１乃至８６−３から構成される。パネル８６−１乃至８６−３は、斜め下方を向く面を構成するように、正面パネル４２に対して略４５度の角度を有するように設置される。上ストロボユニット８２は、利用者の正面上方から、利用者の顔と上半身に光を照射する。

カメラユニット８１の下方には、利用者の下半身および足元に光を照射する足元ストロボユニット８３が設けられる。

上ストロボユニット８２および足元ストロボユニット８３は、照明用の電球とストロボ発光可能な照明機器とにより構成される。上ストロボユニット８２および足元ストロボユニット８３は、利用者の操作性や安全性を確保するために撮影空間内を常時照らすとともに、撮影画像の画質を向上させるために撮影タイミングで発光し、被写体となる利用者にストロボ光を照射する。

足元ストロボユニット８３と側面パネル４１Ａとの間には箱状部８４が設けられる。また、足元ストロボユニット８３と側面パネル４１Ｂとの間には箱状部８５が設けられる。箱状部８４，８５の上面は、写真シール作成装置１の設置面と略水平な面であり、撮影作業を行う利用者が手荷物などを置くための荷物置き場として用いられる。

なお、正面パネル４２の天井付近にはスピーカが設けられる。スピーカからは、撮影処理の案内音声、BGM、効果音などが出力される。スピーカが背景部２２に設けられるようにしても良い。

＜背景部の構成＞
図６は、背景部２２の撮影空間Ａ１側の構成例を示す図である。

背面パネル５１の上方には、背面ストロボ１０１−１と背面ストロボ１０１−２が設置される。背面ストロボ１０１−１と背面ストロボ１０１−２は、撮影空間Ａ１にいる利用者の後方かつ上方から光を照射する。

背面ストロボ１０１−１と背面ストロボ１０１−２の間に、スピーカ１０２−１とスピーカ１０２−２が設けられる。スピーカ１０２−１とスピーカ１０２−２は、撮影処理の案内音声、BGM、効果音などを出力する。

背面パネル５１には白色のシート１２１が貼り付けられる。シート１２１は、ビニル素材やファブリック素材のシートである。シート１２１の色は、白色に限らず、明るい灰色などの、反射率の高い他の色であってもよい。

背面パネル５１の撮影空間Ａ１側の面にシート１２１が貼り付けられるものとしたが、面自体が白色で塗られていたり、シート状ではなく、白色の板状のパネルが貼り付けられていたりするようにしてもよい。

また、白色のカーテンを巻き取って収納可能なカーテンユニットが設置されるようにしてもよい。例えば撮影時、白色のカーテンがカーテンユニットから降ろされる。

＜編集ユニットの構成＞
図７は、編集ユニット１２の正面側（編集空間Ａ２−１側）の構成例を示す図である。

斜面６２のほぼ中央にはタブレット内蔵モニタ１３１が設けられる。タブレット内蔵モニタ１３１の左側にはタッチペン１３２Ａが設けられる。タブレット内蔵モニタ１３１の右側にはタッチペン１３２Ｂが設けられる。

タブレット内蔵モニタ１３１には、例えば、編集作業に用いられる編集画面が表示される。２人の利用者が同時に編集作業を行う場合、タッチペン１３２Ａはタブレット内蔵モニタ１３１に向かって左側にいる利用者により用いられ、タッチペン１３２Ｂはタブレット内蔵モニタ１３１に向かって右側にいる利用者により用いられる。

なお、タッチペン１３２Ａを用いた操作とタッチペン１３２Ｂを用いた操作は識別される。タブレット内蔵モニタ１３１の左側の表示に対してはタッチペン１３２Ａを用いた操作のみが可能とされ、右側の表示に対してはタッチペン１３２Ｂを用いた操作のみが可能とされる。以下、適宜、タッチペン１３２Ａとタッチペン１３２Ｂを区別する必要がない場合、まとめてタッチペン１３２という。

図８は、編集ユニット１２の左側面の構成例を示す図である。

編集ユニット１２の左側面の下側にはシール紙排出口１６１が設けられる。編集ユニット１２の内部にはプリンタが設けられている。プリンタにより、編集空間Ａ２−１において編集作業を行った利用者が写る画像、または、編集空間Ａ２−２において編集作業を行った利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口１６１から排出される。

＜撮影画像の例＞
以上のような構成を有する写真シール作成装置１の撮影空間Ａ１においては、アップ画像と全身画像の撮影が行われる。

アップ画像は、利用者の胸から上の上半身が大きく写る画像である。アップ画像においては、利用者の顔が、全身画像に写る顔より大きく写る。全身画像は、利用者の全身が写る画像である。

図９は、撮影画像を元にして生成される編集画像のレイヤ構造の例を示す図である。

左端の編集画像Ｐ１１が編集によって生成される画像である。編集画像Ｐ１１は、撮影画像Ｐ２１と前景画像Ｐ２２の各レイヤの画像から構成される。

図９の例においては、２人の利用者が写るアップ画像が撮影画像Ｐ２１とされている。

前景画像Ｐ２２は、「Love my friend」の手書き文字の画像とハート型の画像を含む画像である。「Love my friend」の手書き文字の画像は、ペンツールを用いて利用者によって入力されたペン画像である。また、ハート型の画像は、スタンプツールを用いて利用者によって入力されたスタンプ画像である。

編集画像Ｐ１１は、撮影画像Ｐ２１の上に前景画像Ｐ２２を重ねることによって生成される。

編集画像Ｐ１１を構成する画像として背景画像が用いられるようにしてもよい。背景画像は、所定の色の画像や、所定の柄の画像であり、利用者の領域の周りにそのような所定の色や柄を表示するために用いられる。

背景画像の合成が行われる場合、撮影画像Ｐ２１に対してクロマキ処理が施され、利用者の領域である人物領域が抽出される。人物領域からなる撮影画像Ｐ２１の下のレイヤの画像として背景画像が配置されることによって、編集画像Ｐ１１が生成される。

カメラ９１により撮影された画像に写る人物の前景や背景に他の画像を合成することは、後述するように撮影時にも行われる。

利用者までの距離に応じた合成用画像の合成が行われ、合成によって得られた合成画像がライブビュー画像として表示されることにより、利用者に対して面白みのある撮影を提供することができるようになされている。利用者は、そのような合成画像を見ながら撮影を行うことができる。

＜距離画像を用いた距離の算出について＞
図１０は、距離画像の例を示す図である。

距離画像を構成する各画素を、各画素に写る対象物の距離に応じた濃淡で表した場合、図１０に示すように、距離画像Ｄ１は、利用者のシルエットを表す画像となる。例えば黒に近い色の画素ほど、その画素の位置に対応する被写体までの距離が近いことを表す。

図１０の例においては、２人の利用者や、床の手前の部分などの、近くにある対象物が写る画素は濃い色で表され、背景などの、遠くにある対象物が写る画素は薄い色で表されている。対象物までの距離の基準は、距離画像センサ９３の位置である。

図１０の例においては、距離画像Ｄ１の画角が２人の利用者の全身を含む画角とされているが、図１０に示す画角より狭い画角の距離画像が写真シール作成装置１において生成されるようにしてもよい。

例えば、アップ画像の撮影時、アップ画像の画角と同じ画角の距離画像が生成され、アップ画像に写る被写体の各位置までの距離が距離画像に基づいて算出される。また、全身画像の撮影時、全身画像の画角と同じ画角の図１０に示すような距離画像が生成され、全身画像に写る被写体の各位置までの距離が距離画像に基づいて算出される。距離画像は、撮影画像の画角に合わせたトリミングなどを適宜行うことによって生成される。

なお、各対象物までの距離（奥行き）は、例えばmm単位の距離として算出される。距離画像センサ９３から背面パネル５１までの距離が1900mmである場合、距離画像の各画素の画素値は、0〜1900mmまでの距離を表す。

mm単位の距離ではなく、0〜255の階調によって距離を表すことも可能とされる。0〜255の階調は８ビットの情報を用いて表される。この場合、0〜1900mmの距離が0〜255の値により表されることになる。例えば、950mmの距離は125として表される。

このような距離画像を用いて利用者までの距離が算出され、合成用画像の合成が行われる。距離の算出は、距離画像だけでなく、カメラ９１により撮影された画像にも基づいて行われる。

図１１は、距離の算出時に行われる画像処理の例を示す図である。

図１１の左側に示す画像Ｐ３１はカメラ９１により撮影された画像である。図１１の例においては、２人の利用者の全身が画像Ｐ３１に写っている。

距離の算出時、カメラ９１により撮影された画像を対象として顔認識が行われる。例えば、画像を解析することによって、鼻と、鼻を挟む位置にある２つの目などの所定の部位が特定され、鼻と２つの目を囲む輪郭の領域が、１つの顔の領域として認識される。

顔認識の結果に基づいて、矢印＃１１の先に示すように、画像Ｐ３１における顔領域以外の領域をマスクする顔領域画像Ｐ３１’が生成される。顔領域画像Ｐ３１’において、２つの白色の領域が、画像Ｐ３１に写る２人の顔の領域に相当する。

図１２は、顔領域の情報を用いた距離の算出の例を示す図である。

矢印＃２１と矢印＃２２の先に示すように、距離画像Ｄ１に対して顔領域画像Ｐ３１’が合成され、矢印＃２３の先に示すように、距離画像Ｄ１における顔領域を抽出した顔領域画像Ｄ１’が生成される。顔領域画像Ｄ１’上の、所定の濃淡で表される２つの領域が顔領域に相当する。

顔領域画像Ｄ１’は、顔領域のみにフォーカスした距離画像ということができる。以下、適宜、顔領域のみにフォーカスした距離画像を距離顔画像という。

このようにして抽出された距離顔画像を構成する画素の画素値（所定の濃淡で表される領域を構成する画素の画素値）により表される距離が、対象物、すなわち利用者までの距離として算出される。例えば、距離顔画像の画素値の平均値や中央値が、利用者までの距離として算出される。

このように、利用者までの距離は、距離画像全体のうち、カメラ９１により撮影された画像から抽出された特定の領域の画素の画素値に基づいて算出される。

顔領域ではなく、手の領域、脚の領域などの、他の部分の領域の画素の画素値に基づいて距離が算出されるようにしてもよい。

アップ画像の撮影時と全身画像の撮影時とで、距離の算出に用いる領域が切り替えられるようにしてもよい。

例えば、アップ画像の撮影時、顔領域に基づいて距離が算出され、全身画像の撮影時、全身の領域に基づいて距離が算出されるようにすることが可能である。この場合、アップ画像の撮影時には、距離画像における顔領域を抽出するマスク画像がカメラ９１により撮影された画像に基づいて生成され、全身画像の撮影時には、距離画像における全身の領域を抽出するマスク画像がカメラ９１により撮影された画像に基づいて生成されることになる。

カメラ９１により撮影された画像を用いずに、距離画像だけに基づいて距離が算出されるようにしてもよい。

以上のようにして算出された距離に基づいて合成用画像の合成が行われる。合成用画像を合成することによって生成された合成画像は、ライブビュー画像としてライブビュー画面の表示に用いられる。

すなわち、図１１、図１２を参照して説明した距離の算出は、ライブビュー画面の表示中、繰り返し行われる。顔領域の抽出は、カメラ９１により撮影された動画像の各フレームを対象として行われる。

＜コンテンツの合成について＞
図１３は、ライブビュー画面の例を示す図である。

ライブビュー画面の略中央にはライブビュー表示領域２０１が配置される。ライブビュー表示領域２０１には、カメラ９１により取り込まれた動画像に基づいて生成されたライブビュー画像が表示される。

図１３の例においては、利用者の背景にキャラクタが合成された合成画像がライブビュー画像として表示されている。写真シール作成装置１には、キャラクタなどの合成用画像が、合成画像の生成に用いるコンテンツとして用意されている。

ライブビュー表示領域２０１の右側には、撮影までのカウントダウンを表す数字が表示される。また、ライブビュー表示領域２０１の下には、ライブビュー表示領域２０１より小さい矩形の領域である撮影結果表示領域２０２−１乃至２０２−５が横に並べて配置される。撮影結果表示領域２０２−１乃至２０２−５には、撮影が行われる毎に、撮影によって得られた撮影画像が撮影順に表示される。

図１４は、ライブビュー画像の生成例を示す図である。

図１４の左側に示す画像Ｐ３１は、図１１の画像Ｐ３１と同じ画像である。画像Ｐ３１を含む動画像がカメラ９１により撮影された場合、矢印＃３１と矢印＃３２の先に示すように、利用者の背景にコンテンツＣ１が合成され、矢印＃３３の先に示すような合成画像Ｐ５１が生成される。

利用者の領域の抽出は、動画像を構成する各フレームを解析することによって行われるようにしてもよいし、距離画像に基づいて行われるようにしてもよい。

ライブビュー画像の生成に用いるコンテンツは、上述したようにして算出された距離に基づいて切り替えられる。

図１５は、利用者の立ち位置の例を示す図である。

図１５は、右側面から見た撮影空間Ａ１の状態を模式的に示している。図１５の右側が撮影空間Ａ１の前方（撮影部２１側）に相当し、左側が撮影空間Ａ１の後方（背景部２２側）に相当する。

図１５に斜線を付して示すように、撮影空間Ａ１の後方寄りの位置には切り替えゾーンＺ１が設定される。切り替えゾーンＺ１は、距離画像センサ９３を基準として、所定の距離以上離れた位置に設定される。

切り替えゾーンＺ１は、コンテンツの切り替えが起こる領域である。距離画像などに基づいて算出された距離に基づいて、切り替えゾーンＺ１の内側に利用者が立っているか否かが繰り返し判定される。

図１４に示すコンテンツＣ１は、例えば、図１５に示すように切り替えゾーンＺ１より前（切り替えゾーンＺ１の外側）に利用者が立っている場合に用いられるコンテンツである。ライブビュー画面の表示中、例えば、切り替えゾーンＺ１の内側に立つことを促すような案内が提示される。

図１６に示すように、切り替えゾーンＺ１の内側に利用者が立ち位置を変えた場合、ライブビュー画像の生成に用いるコンテンツが切り替えられる。ライブビュー画面には、例えば、図１７に示すような合成画像Ｐ５２がライブビュー画像として表示される。

合成画像Ｐ５２において利用者の背景に合成されているコンテンツＣ２は、キャラクタの構図がコンテンツＣ１と異なるコンテンツである。合成画像Ｐ５２において、キャラクタの右手は左側に立つ利用者の前景に配置され、キャラクタの左手は右側に立つ利用者の前景に配置されている。キャラクタの両手が利用者の前景に配置されることにより、キャラクタが利用者に抱きついているような画像がライブビュー画像として表示されることになる。

図１８は、コンテンツＣ２を構成するキャラクタの画像の例を示す図である。

図１８Ａ，図１８Ｂに示すように、コンテンツＣ２は、キャラクタの手以外の部分の画像と、キャラクタの手の部分の画像とから構成される。図１８Ａの手以外の部分の画像は、利用者の背景に配置するオブジェクトを含む背景用の画像であり、図１８Ｂの手の部分の画像は、利用者の前景に配置するオブジェクトを含む前景用の画像である。

図１８に示すコンテンツＣ２は、利用者の前景に配置するオブジェクトと背景に配置するオブジェクトの両方を含むコンテンツとなる。コンテンツＣ２のキャラクタ自体は、コンテンツＣ１のキャラクタと同じ種類のキャラクタである。

図１９は、ライブビュー画像の生成例を示す図である。

切り替えゾーンＺ１の内側に利用者が立っている場合、矢印＃４１と矢印＃４２の先に示すように、利用者の背景にコンテンツＣ２の背景用の画像が合成されるとともに、利用者の前景にコンテンツＣ２の前景用の画像が合成され、矢印＃４３の先に示すような合成画像Ｐ５２が生成される。コンテンツＣ２が合成される画像Ｐ３２は、切り替えゾーンＺ１に立つ利用者が写る画像である。

利用者の前景に合成されるキャラクタの手の部分の画像に対しては、適宜、距離画像などに基づいて算出された距離に応じて拡大／縮小などの処理が施される。

利用者は、撮影が行われる前、立ち位置に応じてコンテンツが変わるライブビュー画像を見ながら、ポーズを確認することができる。

撮影画像の撮影タイミングになった場合、その直前に表示されているライブビュー画像の合成に用いられているコンテンツと同じコンテンツが合成された静止画像が撮影画像として生成される。

切り替えゾーンＺ１の外側に利用者が立っているときに撮影された撮影画像はコンテンツＣ１が合成された静止画像となり、切り替えゾーンＺ１の内側に利用者が立っているときに撮影された撮影画像はコンテンツＣ２が合成された静止画像となる。

利用者の全身が写る全身画像は、上半身が大きく写るアップ画像よりポーズの自由度が高いため、キャラクタが利用者に抱きついているような面白みのある画像を撮影することができる。また、アップ画像についても、利用者の肩に手をかけているようなコンテンツや頭をなでているようなコンテンツを用意することで、より面白みのある画像を撮影することができる。

このように、写真シール作成装置１は、利用者の立ち位置に応じてコンテンツの種類を変更することにより、面白みのある撮影を利用者に提供することができる。

以上のようなライブビュー画面の表示を行う写真シール作成装置１の一連の処理についてはフローチャートを参照して後述する。

＜写真シール作成装置の内部構成＞
図２０は、写真シール作成装置１の構成例を示すブロック図である。図２０において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２０に示すように、写真シール作成装置１は、PC(Personal Computer)部３０１に対して、事前選択部３０２、撮影部３０４、編集部３０５Ａ，３０５Ｂ、および印刷部３０６が外部入出力インタフェース３０３を介して接続されることによって構成される。情報処理部であるPC部３０１は、例えば編集ユニット１２の筐体内部に搭載される。

PC部３０１を構成するCPU(Central Processing Unit)３１１、ROM(Read Only Memory)３１２、RAM(Random Access Memory)３１３は、バス３１４により相互に接続される。

CPU３１１は、所定のプログラムを実行し、写真シール作成装置１の全体の動作を制御する。ROM３１２は、CPU３１１が実行するプログラムやデータを記憶する。RAM３１２は、CPU３１１が処理するデータやプログラムを一時的に記憶する。

バス３１４には、さらに、入出力インタフェース３１５が接続される。入出力インタフェース３１５には、記憶部３１６、通信部３１７、およびドライブ３１８が接続される。

記憶部３１６は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部３１６は、CPU３１１から供給された各種の設定情報などを記憶する。記憶部３１６に記憶されている情報はCPU３１１により適宜読み出される。

通信部３１７は、インターネットなどのネットワークのインタフェースである。通信部３１７は、CPU３１１による制御に従って外部の装置と通信を行う。通信部３１７は、利用者により選択された画像を、例えば写真シール作成装置１の製造メーカが管理する画像取得サイト管理サーバに送信する。通信部３１７から送信された画像は、所定の記憶領域が割り当てられて保存され、画像取得サイト管理サーバにアクセスしてきた携帯端末上で表示されたり、携帯端末にダウンロードされたりする。

ドライブ３１８には、光ディスクや半導体メモリなどよりなるリムーバブルメディア３１９が適宜装着される。ドライブ３１８によりリムーバブルメディア３１９から読み出されたプログラムやデータは、CPU３１１に供給され、記憶部３１６に記憶されたり、インストールされたりする。

入出力インタフェース３１５には外部入出力インタフェース３０３が接続される。PC部３０１による各部の制御が、外部入出力インタフェース３０３を介して行われる。

事前選択部３０２は、事前選択空間Ａ０にいる利用者を対象とした事前選択処理を行う。事前選択部３０２は、タッチパネルモニタ７１、スピーカ７２、および硬貨処理部３２１から構成される。

タッチパネルモニタ７１は、PC部３０１による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、各種の設定が行われる。

硬貨処理部３２１は、硬貨投入返却口７３への硬貨の投入を検出する。硬貨処理部３２１は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部３０１に出力する。

撮影部３０４は、撮影空間Ａ１にいる利用者を対象とした撮影処理を行う。撮影部３０４は、カメラ９１、タッチパネルモニタ９２、距離画像センサ９３、照明装置３３１、およびスピーカ３３２から構成される。

カメラ９１は、PC部３０１によるシャッタ制御に従って撮影を行い、撮影によって得られた画像のデータをPC部３０１に出力する。

距離画像センサ９３は、PC部３０１によるシャッタ制御に従って距離の測定を行い、距離画像を生成する。距離画像センサ９３は、距離画像のデータをPC部３０１に出力する。

照明装置３３１は、撮影空間Ａ１内の各ストロボユニットであり、PC部３０１から供給された照明制御信号に従って発光する。

スピーカ３３２は、スピーカ１０２−１とスピーカ１０２−２を含む、撮影空間Ａ１の各位置に設けられたスピーカにより構成される。

編集部３０５Ａは、編集空間Ａ２−１にいる利用者を対象とした編集処理を行う。編集部３０５Ａは、タブレット内蔵モニタ１３１、タッチペン１３２Ａ，１３２Ｂ、およびスピーカ３４１から構成される。編集部３０５Ｂは、編集空間Ａ２−２にいる利用者を対象とした編集処理を行い、編集部３０５Ａと同一の構成を有する。以下、適宜、編集部３０５Ａ，３０５Ｂをまとめて編集部３０５という。

タブレット内蔵モニタ１３１は、PC部３０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、編集対象となる撮影画像が編集される。

印刷部３０６は、プリンタ３５１を含むように構成される。プリンタ３５１にはシール紙ユニット３５２が装着される。

プリンタ３５１は、内蔵するヘッド３６１を駆動し、PC部３０１から供給された印刷データに基づいて、シール紙ユニット３５２に収納されているロール状のシール紙３６３に画像を印刷する。また、プリンタ３５１は、画像を印刷したシール紙３６３をカッター３６２によって所定のカット位置でカットして、シール紙排出口１６１に排出する。

＜写真シール作成装置の機能構成例＞
図２１は、写真シール作成装置１の機能構成例を示すブロック図である。図２１に示す機能部のうちの少なくとも一部は、CPU３１１により所定のプログラムが実行されることによって実現される。

写真シール作成装置１においては、事前選択処理部４０１、撮影処理部４０２、編集処理部４０３、および印刷処理部４０４が実現される。

事前選択処理部４０１は、事前選択部３０２の各部を制御することで、事前選択処理を実行する。事前選択処理により、利用者の人数の選択などが行われる。利用者による選択内容を表す情報は撮影処理部４０２に供給される。

撮影処理部４０２は、撮影部３０４の各部を制御することで撮影処理を行う。撮影処理部４０２は、撮影処理を行うことによって得られた撮影画像のデータを編集処理部４０３に出力する。撮影処理部４０２から編集処理部４０３に対しては、撮影を複数回行うことによって得られた複数枚の撮影画像のデータが供給される。

編集処理部４０３は、編集部３０５の各部を制御することで編集処理を行う。編集処理には、撮影画像に写る利用者の目の大きさや肌の明るさを調整するための画像処理、撮影画像に対して編集を施すための画像処理などが含まれる。

撮影画像の編集後、編集処理部４０３は、分割数の選択に用いられる画面、画像取得サイト管理サーバに送信する画像の選択に用いられる画面などの各種の画面をタブレット内蔵モニタ１３１に表示する。編集処理部４０３は、利用者により選択された分割数に従って各編集画像を配置することによって印刷データを生成し、印刷処理部４０４に出力する。また、編集処理部４０３は、利用者により選択された編集画像を画像取得サイト管理サーバに送信する。

印刷処理部４０４は、プリンタ３５１に印刷データを出力し、編集画像の印刷を行う。

＜撮影処理部の詳細構成＞
図２２は、撮影処理部４０２の構成例を示すブロック図である。

撮影処理部４０２は、撮影制御部４１１、画像処理部４１２、距離算出部４１３、合成部４１４、コンテンツ記憶部４１５、表示制御部４１６、および画像記憶部４１７から構成される。

撮影制御部４１１は、カメラ９１を制御することによって動画像と静止画像の撮影を行い、撮影を行うことによって得られた画像を画像処理部４１２に出力する。カメラ９１により撮影された動画像はライブビュー画面の表示に用いられ、静止画像は、撮影画像の生成に用いられる。

画像処理部４１２は、撮影制御部４１１から供給された動画像の各フレームから矩形領域をトリミングにより切り出し、切り出した画像からなる動画像を距離算出部４１３と合成部４１４に出力する。アップ画像の撮影前のライブビュー画面の表示時、画像処理部４１２からは、アップ画像と同じ画角の動画像が出力され、全身画像の撮影前のライブビュー画面の表示時、画像処理部４１２からは、全身画像と同じ画角の動画像が出力される。

また、画像処理部４１２は、撮影制御部４１１から供給された静止画像から矩形領域をトリミングにより切り出すことによってアップ画像または全身画像を生成し、距離算出部４１３と合成部４１４に出力する。コンテンツが合成されていない撮影画像の撮影が行われる場合、画像処理部４１２により生成された撮影画像は、適宜、画像記憶部４１７にも供給される。

距離算出部４１３は、距離画像センサ９３を制御することによって、撮影空間Ａ１内の対象物までの距離を測定し、距離画像を生成する。また、距離算出部４１３は、画像処理部４１２から供給された画像を対象として顔認識を行い、顔領域画像を生成する。

距離算出部４１３は、距離画像に顔領域画像を適用することによって距離顔画像を生成し、距離顔画像を構成する画素の画素値に基づいて利用者までの距離を算出する。距離算出部４１３は、算出した距離を表す情報を合成部４１４に出力する。

合成部４１４は、画像処理部４１２から供給された画像に写る利用者までの距離を距離算出部４１３から供給された情報に基づいて特定し、切り替えゾーンＺ１の内側に利用者がいるか否かを判定する。合成部４１４は、利用者の立ち位置に応じたコンテンツをコンテンツ記憶部４１５から読み出し、画像処理部４１２から供給された画像に合成する。

合成部４１４は、ライブビュー画面の表示用の画像にコンテンツを合成して得られた合成画像を表示制御部４１６に出力する。

また、合成部４１４は、静止画像の撮影タイミングにおいて画像処理部４１２から供給された静止画像にコンテンツを合成して得られた合成画像を、撮影画像として表示制御部４１６と画像記憶部４１７に出力する。

コンテンツ記憶部４１５は、合成画像の生成に用いられる各種のコンテンツを記憶する。コンテンツ記憶部４１５には、キャラクタや著名人などをオブジェクトとして含む合成用画像がコンテンツとして複数記憶される。コンテンツ記憶部４１５には、同じキャラクタ、同じ著名人などの同じオブジェクトについて、距離に応じて使い分けられる複数種類のコンテンツが用意される。

表示制御部４１６は、タッチパネルモニタ９２に対する画面の表示を制御する。例えば、表示制御部４１６は、画像処理部４１２から供給された動画像、または、合成部４１４から供給された合成画像からなる動画像に基づいてライブビュー画面を表示させる。表示制御部４１６は、動画像に合成するコンテンツを利用者までの距離に応じて切り替える制御部として機能する。

また、表示制御部４１６は、静止画像の撮影タイミングで合成部４１４から供給された合成画像を撮影結果としてライブビュー画面に表示させる。

画像記憶部４１７は、画像処理部４１２から供給された撮影画像と、合成部４１４から供給された合成画像を記憶する。画像記憶部４１７に記憶されたデータは、編集処理の開始後に編集処理部４０３により読み出される。

＜写真シール作成装置の動作＞
ここで、図２３のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の動作について説明する。

ステップＳ１において、事前選択処理部４０１は、所定の金額分の硬貨が投入されたか否かを判定し、硬貨が投入されたと判定するまで待機する。起動信号が硬貨処理部３２１から供給されたことから、硬貨が投入されたとステップＳ１において判定された場合、処理はステップＳ２に進む。

ステップＳ２において、事前選択処理部４０１は、事前選択部３０２を制御することで事前選択処理を行う。事前選択処理により、例えば、利用者の人数の選択、撮影コースの選択などが行われる。いずれの選択も、タッチパネルモニタ７１に表示される選択画面を用いて行われる。

ステップＳ３において、撮影処理部４０２は、撮影部３０４を制御することで撮影処理を行う。

例えば、撮影処理部４０２は、カメラ９１により取り込まれた動画像に基づいてライブビュー画面をタッチパネルモニタ９２に表示させ、撮影空間Ａ１にいる利用者を被写体として撮影を行う。撮影処理の詳細については図２４のフローチャートを参照して後述する。

ステップＳ４において、編集処理部４０３は、編集空間Ａ２−１と編集空間Ａ２−２のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部３０５を制御することで編集処理を行う。

例えば、編集処理部４０３は、タブレット内蔵モニタ１３１に編集画面を表示させ、撮影処理により得られた撮影画像に対して利用者に編集作業を行わせる。編集画面には、編集対象の撮影画像とともに、ペンツールの画像やスタンプツールの画像などの、撮影画像に合成する画像を選択するときに操作されるボタンなどが表示される。編集処理部４０３は、利用者の操作に応じて他の画像を合成することによって撮影画像の編集を行い、編集画像を生成する。

撮影画像の編集後、編集処理部４０３は、分割数の選択に用いられる画面、画像取得サイト管理サーバに送信する画像の選択に用いられる画面などの各種の画面をタブレット内蔵モニタ１３１に表示する。編集処理部４０３は、利用者により選択された分割数に従って各編集画像を配置することによって印刷データを生成する。また、編集処理部４０３は、利用者により選択された編集画像を画像取得サイト管理サーバに送信する。

ステップＳ５において、印刷処理部４０４は、プリンタ３５１を制御することで、印刷処理を行う。印刷処理部４０４は、編集処理部４０３により生成された印刷データをプリンタ３５１に出力してシール紙３６３に印刷させる。

図１４、図１９を参照して説明したようにしてコンテンツが合成された撮影画像に対しても編集が適宜施され、編集によって得られた編集画像がシール紙３６３に印刷される。

印刷が終了した場合、ステップＳ６において、プリンタ３５１は、カッター３６２で切り離したシール紙３６３をシール紙排出口１６１に排出する。

写真シール作成装置１の利用者の各グループに対しては、以上のような一連の処理からなる写真作成ゲームが提供される。あるグループの利用者に続けて他のグループの利用者が写真シール作成装置１の利用を開始した場合、写真シール作成装置１の利用を先に始めた利用者の写真シール作成ゲームと、後から始めた利用者の写真シール作成ゲームとが適宜並行して行われることになる。

＜撮影処理＞
次に、図２４のフローチャートを参照して、図２３のステップＳ３において行われる撮影処理について説明する。

ステップＳ１１において、撮影制御部４１１は、カメラ９１を制御し、ライブビュー表示用の動画像の撮影を開始する。画像処理部４１２は、撮影制御部４１１により撮影された動画像の各フレームから矩形領域の範囲をトリミングにより切り出すことによってアップ画像と同じ画角または全身画像と同じ画角の動画像を生成し、距離算出部４１３と合成部４１４に出力する。

ステップＳ１２において、距離算出部４１３は、距離画像センサ９３を制御し、距離画像の撮影を開始する。

ステップＳ１３において、距離算出部４１３は、画像処理部４１２から供給された画像を対象として顔認識を行い、顔認識結果に基づいて利用者の距離を特定する。特定された距離を表す情報は合成部４１４に出力される。

ステップＳ１４において、合成部４１４は、距離算出部４１３から供給された情報に基づいて利用者が切り替えゾーンＺ１にいるか否かを判定し、利用者の距離に応じたコンテンツを画像処理部４１２から供給された画像に合成する。コンテンツを合成して得られた合成画像は表示制御部４１６に供給される。

ステップＳ１５において、表示制御部４１６は、合成部４１４から供給された合成画像を表示制御部４１６に出力し、ライブビュー画面をタッチパネルモニタ９２に表示させる。

利用者が切り替えゾーンＺ１の外にいる場合、利用者の背景にキャラクタが写る図１４を参照して説明したような合成画像が表示され、利用者が切り替えゾーンＺ１の内側にいる場合、利用者の背景と前景の両方にキャラクタが写る図１９を参照して説明したような合成画像が表示される。

ステップＳ１６において、撮影制御部４１１は、静止画像の撮影タイミングか否かを判定する。撮影のタイミングになっていないとステップＳ１６において判定された場合、ステップＳ１３に戻り、利用者の距離に応じたコンテンツの合成を含むライブビュー画面の表示が続けられる。

撮影のタイミングになったとステップＳ１６において判定された場合、ステップＳ１７に進み、撮影制御部４１１は、カメラ９１を制御し、静止画像の撮影を行う。撮影によって得られた静止画像に対しては、ライブビュー画像に直前に表示されていたコンテンツと同じコンテンツが合成され、撮影画像が生成される。撮影画像のデータは、画像記憶部４１７に供給され、記憶される。

ステップＳ１８において、撮影制御部４１１は、撮影終了か否かを判定する。撮影終了ではないとステップＳ１８において判定された場合、ステップＳ１３に戻り、ライブビュー画面の表示および撮影が続けられる。

一方、撮影終了であるとステップＳ１８において判定された場合、図２３のステップＳ３に戻り、それ以降の処理が行われる。撮影処理によって得られた撮影画像のデータが編集処理部４０３に供給される。

以上のように利用者の距離に応じたコンテンツを合成することにより、面白みのある撮影を利用者に提供することが可能となる。利用者は、立ち位置を変えることに応じてコンテンツが切り替わるライブビュー画面を見ながら撮影を行うことができる。

＜距離の特定について＞
利用者までの距離を特定する際、どの利用者の顔を用いて算出された距離を採用するのかが、利用者の人数などに応じて以下のようにして決定される。

・利用者が１名の場合
１人の利用者の顔を用いて算出された距離を採用する。

・利用者が複数名の場合
（１） それぞれの利用者の顔を用いて算出された、それぞれの利用者までの距離の平均値を採用する。
（２） 右端や左端等の特定の位置にいる利用者の顔を用いて算出された距離を採用する。
（３） 最も大きく写っている顔（カメラ９１に近い利用者の顔）と、最も小さく写っている顔（カメラ９１から遠い利用者の顔）のうちのいずれかの顔を用いて算出された距離を採用する。
（４） ライブビュー画像に所定の値のフレーム以上出現した顔を用いて算出された距離を採用する。
（５） 基準となる顔を利用者に選択させ、利用者により選択された顔を用いて算出された距離を採用する。
（６） カメラ９１の方向を向いている顔を用いて算出された距離を採用する。顔の向きではなく、身体の向きがカメラ９１の方向を向いている利用者の顔を用いて算出された距離が採用されるようにしてもよい。
（７） 上記（１）〜（６）の組み合わせにより算出された距離を採用する。例えば、右端や左端等の特定の位置と顔の大きさが予め設定されている場合、ある利用者の顔が設定された条件を満たす組み合わせに該当する場合に、その利用者の顔を用いて算出された距離が採用される。

図２５は、利用者の位置と顔の大きさの組み合わせの例を示す図である。

図２５の例においては、撮影された画像に写る利用者の顔の大きさとして、大、中、小の３種類が規定されている。それぞれの顔の大きさは、顔認識により認識された顔の面積を閾値と比較することによって特定される。

また、図２５の例においては、撮影された画像に写る利用者の位置として、遠い、中間、近いの３種類が規定されている。それぞれの利用者の位置は、顔認識により認識されたそれぞれの利用者の顔を用いて算出された距離を閾値と比較することによって特定される。

例えば、ある利用者の顔の大きさが大きい場合、利用者がいずれの距離にいるときであっても、その利用者の顔は距離の算出には用いられない。

また、ある利用者の顔の大きさが中程度の大きさである場合、利用者が中間の距離にいるときだけ、その利用者の顔は距離の算出に用いられる。利用者が遠くにいるとき、および、近くにいるとき、その利用者の顔は距離の算出には用いられない。

ある利用者の顔の大きさが小さい場合、利用者がいずれの距離にいるときであっても、その利用者の顔は距離の算出には用いられない。

このように、中間の程度の大きさで写っており、中間の距離にいる利用者の顔が、距離の算出に用いられるようにしてもよい。

＜コンテンツの切り替えについて＞
コンテンツの出現／消滅が、距離に応じて切り替えられるようにしてもよい。

ここで、コンテンツの出現は、コンテンツが合成された合成画像がライブビュー画像として表示されることを表す。コンテンツの消滅は、コンテンツが合成されていない画像がライブビュー画像として表示されること、すなわち、コンテンツの非表示を表す。利用者がある距離にいるときには、コンテンツが合成されたライブビュー画像が表示され、他の距離にいるときには、コンテンツが合成されていないライブビュー画像が表示されることになる。

図２６は、コンテンツの出現／消滅の切り替えの例を示す図である。

図２６は、右側面から見た撮影空間Ａ１の状態を模式的に示している。図２６Ａ乃至Ｃにおいて、双方向の矢印で示す範囲が、コンテンツが出現する出現範囲となる。双方向の矢印で示す範囲内に利用者がいる場合、コンテンツが出現し、矢印で示す範囲外に利用者がいる場合、コンテンツが消滅する。

図２６Ａに示すように、コンテンツの出現範囲が撮影空間Ａ１の後方寄りの位置に設定されている場合、例えば、利用者までの距離が閾値となる所定の値以上であるときにはコンテンツが出現し、所定の値未満であるときにはコンテンツが消滅する。

図２６Ｂに示すように、コンテンツの出現範囲が撮影空間Ａ１の前方寄りの位置に設定されている場合、例えば、利用者までの距離が閾値となる所定の値以上であるときにはコンテンツが消滅し、所定の値未満であるときにはコンテンツが出現する。

図２６Ｃに示すように、コンテンツの出現範囲が撮影空間Ａ１の中間の位置に設定されている場合、例えば、利用者までの距離が第１の閾値となる所定の値（α）以上であるとき、または、第２の閾値となる所定の値（β）未満であるとき、コンテンツが消滅する。利用者までの距離が所定の値（α）未満であり、所定の値（β）以上であるとき、コンテンツが出現する。

このように、利用者までの距離に応じて、コンテンツの出現とコンテンツの消滅が切り替えられるようにしてもよい。

距離画像センサ９３の位置を基準とした利用者までの奥行き方向の距離に加えて、側面からの利用者の距離を特定して、コンテンツの出現／消滅が切り換えられるようにしてもよい。

図２７は、コンテンツの出現／消滅の切り替えの他の例を示す図である。

図２７は、上方から見た撮影空間Ａ１の状態を模式的に示している。図２７の上方が撮影空間Ａ１の前方に相当し、下方が撮影空間Ａ１の後方に相当する。

図２７に示すように、利用者が撮影空間Ａ１の側面から距離Ｌ１の位置に設定された所定の範囲にいる場合、コンテンツが出現し、それ以外の位置にいる場合、コンテンツが消滅する。図２７の例においては、カメラ９１に向かって右側にいる利用者Ｈ１と左側にいる利用者Ｈ２の双方が、側面から距離Ｌ１の位置に設定された範囲内にいるものとされている。

このように、利用者までの奥行き方向の距離に加えて、側面からの距離に応じて、コンテンツの出現とコンテンツの消滅が切り替えられるようにしてもよい。

カメラ９１から利用者までの距離に加えて、カメラ９１の画角の範囲内に入っているか否かを特定して、コンテンツを切り換えてもよい。

図２８は、コンテンツの出現／消滅の切り替えの他の例を示す図である。

図２８に示すように、利用者がカメラ９１の画角の範囲内にいる場合、コンテンツが出現し、カメラ９１の画角の範囲外にいる場合、コンテンツが消滅するようにしてもよい。図２８に示す破線の間の範囲が、画角の範囲に相当する。

＜コンテンツについて＞
図２９は、コンテンツの切り替えの例を示す図である。

図２９Ａに示すコンテンツの切り替えは、図１４、図１９を参照して説明した切り替えと同様のものである。すなわち、この例においては、キャラクタの種類は変わらずに、キャラクタのポーズ（構図）が変わったコンテンツが切り替えに用いられる。

図２９Ａの左側に示す画像は、キャラクタの右半身の一部が隠れ、左手を上に挙げたような画像であり、図２９Ａの右側に示す画像は、キャラクタの大きさが大きくなり、両手が利用者の肩に置かれるような画像である。

図２９Ｂに示すように、キャラクタの種類自体が切り替わるようにしてもよい。図２９Ｂに左側に示す画像は、図２９Ａに示す画像と同じ画像であり、図２９Ｂの右側に示す画像は、図２９Ｂのキャラクタと異なる種類のキャラクタの画像である。

このように、複数種類のコンテンツを保持しておくことで、カメラ９１から利用者までの距離に応じて図２９Ａの左側に示すコンテンツと右側に示すコンテンツとを切り替えたり、図２９Ｂの左側に示すコンテンツと右側に示すコンテンツとを切り替えたりすることが可能となる。

複数種類のコンテンツの中から特定のコンテンツが利用者により選択されるようにしてもよい。ライブビュー画面の表示時、利用者により選択されたコンテンツに対応付けられた別のコンテンツがライブビュー画像との合成に用いられる。

距離に応じてコンテンツが切り替わるのではなく、ライブビュー画面に用意されたボタンが押下されたことに応じて切り替わるようにしてもよい。例えば、「勝手にくっつく」機能のボタンが押下された場合、利用者の前景に配置された部分と背景に配置された部分を含むコンテンツが、背景に配置された部分だけのコンテンツに替えて合成される。

キャラクタの種類や構図が切り替えられるのではなく、その色相・明度・彩度のうちの少なくともいずれかが切り替えられるようにしてもよい。

利用者の立ち位置に応じて、コンテンツにおけるオブジェクトの以下の状態が段階的に変化するようにしてもよい。利用者の立ち位置は、距離画像、カメラ９１により撮影された画像、各種のセンサの検出結果などに基づいて特定される。距離画像、カメラ９１により撮影された画像、各種のセンサの検出結果のうちの２つ以上を組み合わせて用いることによって、利用者の立ち位置が特定されるようにしてもよい。

（１） 大きさ
利用者の立ち位置がカメラ９１に近く、カメラ９１により撮影された画像に写る利用者の大きさが大きくなるにつれてオブジェクトが大きくなり、利用者の大きさが小さくなるにつれてオブジェクトが小さくなる。

（２） 位置
利用者の立ち位置が左右や前後に移動することに応じてオブジェクトの位置が左右や前後に移動する。利用者の立ち位置に応じて、ある位置にオブジェクトが配置されているコンテンツから、他の位置にオブジェクトが配置されているコンテンツに切り替えられることになる。

（３） 数
利用者の立ち位置によってオブジェクトの数が増減する。例えば、立ち位置がカメラ９１に近い場合、オブジェクトの数が増加し、立ち位置がカメラ９１から遠い場合、オブジェクトの数が減少する。反対に、立ち位置がカメラ９１に近い場合、オブジェクトの数が減少し、立ち位置がカメラ９１から遠い場合、オブジェクトの数が増加するようにしてもよい。

このように、コンテンツに含まれるオブジェクトの数が複数であってもよい。

各種の状態を利用者の位置に応じて変化させることにより、視覚的に面白みのあるコンテンツを提供することができる。さらに、コンテンツの切り替えによって立ち位置を指定することができるため、コンテンツの表示に立ち位置の誘導の役割を担わせることもできる。

オブジェクトの主要部が見えるように合成されるコンテンツと、主要部が見えないように合成されるコンテンツとを用意しておき、これらのコンテンツを用いて立ち位置を誘導させるようにしてもよい。

例えば、適切ではない立ち位置に利用者がいるときには、主要部が見えないように合成されるコンテンツがライブビュー画像との合成に用いられ、適切な立ち位置に利用者がいるときには、主要部が見えるように合成されるコンテンツがライブビュー画像との合成に用いられる。ライブビュー画像上にコンテンツの主要部が見えているかどうかによって、利用者は、自分の立ち位置が適した位置であるか否かを確認することができる。

＜その他の例＞
観光地等に設置されている顔出しパネルのような顔を嵌めるコンテンツを記憶しておき、顔認識処理を使用して利用者の顔のみを合成するようにしてもよい。これにより、利用者は、観光地に行ったような画像を生成することができる。

ライブビュー画面の表示時ではなく、編集のタイミングでコンテンツの切り換えが行われるようにしてもよい。例えば、編集時に撮影画像のトリミングを利用者が行っている場合、トリミングにより、撮影画像に写る利用者の位置が移動したり、利用者の大きさが変わったりするときには、その移動量、移動方向、拡縮量に応じて、コンテンツの切り替えが行われる。

・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図２０に示されるリムーバブルメディア３１９に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３１２や記憶部３１６に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

１ 写真シール作成装置， ９１ カメラ， ９２ タッチパネルモニタ， ９３ 距離画像センサ， ４１１ 撮影制御部， ４１２ 画像処理部， ４１３ 距離算出部， ４１４ 合成部， ４１５ コンテンツ記憶部， ４１６ 表示制御部， ４１７ 画像記憶部

Claims (16)

1. 利用者を被写体として撮影を行う撮影部と、
   前記被写体までの距離を測定する距離センサと、
   前記撮影部により撮影された動画像に合成する合成用画像を記憶する記憶部と、
   前記合成用画像を合成した前記動画像を表示する間、前記距離センサにより測定された距離に応じて前記合成用画像を切り替える表示制御部と
   を備える写真作成ゲーム機。
2. 前記表示制御部は、前記合成用画像の表示または非表示を切り替える
   請求項１に記載の写真作成ゲーム機。
3. 前記表示制御部は、前記距離センサにより測定された距離が予め設定された所定の範囲内の距離である場合、前記合成用画像を表示させ、前記所定の範囲外の距離である場合、前記合成用画像を非表示とすることによって、前記合成用画像を切り替える
   請求項２に記載の写真作成ゲーム機。
4. 前記表示制御部は、前記合成用画像の種類を変更することによって、前記合成用画像を切り替える
   請求項１に記載の写真作成ゲーム機。
5. 前記表示制御部は、前記被写体の背景に配置するオブジェクトを含む前記合成用画像と、前記被写体の背景と前景の両方に配置するオブジェクトを含む前記合成用画像とを切り替える
   請求項４に記載の写真作成ゲーム機。
6. 前記撮影部は、前記利用者の全身が画角に含まれる前記動画像の撮影を行う
   請求項１乃至５のいずれかに記載の写真作成ゲーム機。
7. 前記距離センサは、対象物の各位置までの距離を各画素の画素値により示す距離画像を生成する距離画像センサである
   請求項１乃至６のいずれかに記載の写真作成ゲーム機。
8. 前記撮影部により撮影された画像と、前記距離センサにより生成された前記距離画像とに基づいて、前記被写体までの距離を算出する算出部をさらに備える
   請求項７に記載の写真作成ゲーム機。
9. 前記算出部は、前記撮影部により撮影された画像を対象として顔認識を行い、前記距離画像における、前記利用者の顔の領域に対応する画素の画素値に基づいて、前記被写体までの距離を算出する
   請求項８に記載の写真作成ゲーム機。
10. 前記算出部は、前記利用者の顔の領域以外の領域をマスクするマスク画像を前記顔認識の結果に基づいて生成し、前記マスク画像に基づいて、前記距離画像における、前記利用者の顔の領域に対応する画素を抽出する
    請求項９に記載の写真作成ゲーム機。
11. 前記表示制御部は、前記利用者を前記被写体とした静止画像の撮影前、前記合成用画像を合成した前記動画像を表示させる
    請求項１乃至１０のいずれかに記載の写真作成ゲーム機。
12. 前記表示制御部は、前記距離センサにより測定された距離により特定される前記利用者の位置に応じて、オブジェクトの配置位置が異なる前記合成用画像を合成させる
    請求項１乃至１０のいずれかに記載の写真作成ゲーム機。
13. 前記表示制御部は、前記距離センサにより測定された距離により特定される前記利用者の位置に応じて、オブジェクトの大きさが異なる前記合成用画像を合成させる
    請求項１乃至１０のいずれかに記載の写真作成ゲーム機。
14. 前記表示制御部は、前記距離センサにより測定された距離により特定される前記利用者の位置に応じて、オブジェクトの数が異なる前記合成用画像を合成させる
    請求項１乃至１０のいずれかに記載の写真作成ゲーム機。
15. 写真作成ゲーム機が、
    利用者を被写体として撮影し、
    前記被写体までの距離を測定し、
    撮影された動画像に合成する合成用画像を記憶し、
    前記合成用画像を合成した前記動画像を表示する間、測定された距離に応じて前記合成用画像を切り替える
    画像処理方法。
16. 写真作成ゲーム機に搭載されたコンピュータに、
    利用者を被写体として撮影し、
    前記被写体までの距離を測定し、
    撮影された動画像に合成する合成用画像を記憶し、
    前記合成用画像を合成した前記動画像を表示する間、測定された距離に応じて前記合成用画像を切り替える
    処理を実行させるプログラム。

Images