JP2020188507A - 遊戯画像撮影システムおよび画像処理装置 - Google Patents

Abstract

【課題】撮影画像の補正にユーザごとの好みを簡単に反映させることが可能な画像処理装置を提供する。【解決手段】識別処理部５２０は撮影画像における人物検出および人物認証により被写体に含まれるユーザを特定し、補正処理部５４０は撮影画像に対する補正を実行する。補正処理部５４０は、複数人のユーザを被写体に含む撮影画像に対する補正を実行する場合、ユーザごとにあらかじめ記憶されている補正の既定値を識別処理部により特定されたユーザごとに読み出し、その読み出した既定値に応じた補正を複数人のユーザのそれぞれの画像範囲に実行し得る。【選択図】図２

Description

本発明は、画像処理装置に関し、特に画像の補正を処理する装置に関する。

従来、複数のユーザを含む被写体をカメラで複数回撮影し、その撮影画像を写真印刷シートとして出力したり、ネットワークを介して外部の装置に送信したりすることができる遊戯用撮影装置および遊戯用写真撮影サービスが知られている。このような遊戯用撮影装置では、ユーザの嗜好に応じて、例えば、次のような編集処理を行えるものが多く提案されている。まず、撮影された被写体の画像に対してクロマキー処理をし、被写体部分を抽出した被写体画像を生成する。そして、この被写体画像にユーザが選択した背景画像を合成した上で、目の色や大きさ、肌の色、顔の輪郭などに補正を加えたり、文字や模様を重ねたりするなどの編集処理（一般に「落書き」とも呼ばれる）を経て、最終的な印刷用の画像を生成する。またそうした編集機能を、一緒に撮影した複数のユーザが一度にタッチペンなどで操作できるように提供することで、撮影から編集まで友人同士が一緒に楽しむことができ、人気を博している。

一方、近年、スマートフォンなどのカメラ機能付き携帯端末において動作するアプリケーションソフトウェア（以下、「アプリ」ともいう）でも、手軽に写真撮影をして撮影画像を簡単に加工できるものが増えている。特に、通常のスマートフォンはメインカメラ以外にユーザ側を撮影するためのサブカメラを搭載しており、そのサブカメラによって自分を撮影する「セルフ撮影」「自撮り」とも呼ばれる撮影方法も一般化している。

特開２０１５−２１１２７５号公報

スマートフォンなどのカメラ機能付き携帯端末が普及した結果、複数人が集まったときに手軽に数人の集合写真を撮れるため、スマートフォンで撮影した集合写真にも遊戯用撮影装置と同じような加工を簡単にできることが望まれるようになった（例えば、特許文献１参照）。そのような状況を背景にして、携帯端末特有の機能を用いることによって遊戯用撮影装置にはない新たな利便性の高い機能も実現し得ると本願発明者は認識するに至った。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像の補正にユーザごとの好みを簡単に反映させることが可能な画像処理装置を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、ユーザを被写体に含む像を撮像する撮像部と、撮像部により撮像されるユーザの撮影画像を取得する画像取得部と、撮影画像における人物検出および人物認証により被写体に含まれるユーザを特定する識別処理部と、撮影画像に対する補正を実行する補正処理部と、撮影画像を画面に表示させる表示制御部と、を備える。補正処理部は、複数人のユーザを被写体に含む撮影画像に対する補正を実行する場合、ユーザごとにあらかじめ記憶されている補正の既定値を識別処理部により特定されたユーザごとに読み出し、その読み出した既定値に応じた補正を複数人のユーザのそれぞれの画像範囲に実行し得る。

ここで、「画像処理装置」は、プログラムを実行できるカメラ付き携帯電話などの携帯端末やコンピュータ端末であってよい。「撮影画像」は動画像に含まれるフレームと静止画像のいずれであってもよい。「人物検出」は、顔などの人間の一部を画像認識によって検出することで人物を検出する技術であってよい。「人物認証」は、顔などの人間の一部の特徴情報を、あらかじめ記憶しておく特徴情報と比較することによってユーザを特定する技術であってよい。「補正」は、顔に含まれる一部、例えば目、輪郭、鼻、肌などについて、その形状や大きさ、色、質感などを変化させる画像処理であってよい。この態様によると、１台の端末で複数人のユーザを被写体として撮影し、それぞれの顔に補正を施す場合でも、ユーザごとに別々の好みの設定値で補正をすることができるだけでなく、お気に入りの設定値を容易に読み出して設定することができる。このように、撮影画像の補正にユーザごとの好みを簡単に反映させることができる。

補正処理部は、撮影画像の被写体に含まれるユーザが一人の場合と複数人の場合とで異なる記憶手段から補正の既定値を読み出すことができてもよい。また、補正処理部は、撮影画像の被写体に含まれるユーザが複数人の場合、ユーザごとに異なる記憶手段から補正の既定値を読み出すことができてもよい。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮影画像の補正にユーザごとの好みを簡単に反映させることが可能な画像処理装置を提供することができる。

画像処理システムの全体構成を模式的に示す図である。 端末装置の機能構成を示す機能ブロック図である。 端末装置のハードウェアブロック図である。 遊戯用撮影装置を左前側から見た斜視図である。 図４に示す遊戯用撮影装置を上から見た平面図である。 遊戯用撮影装置の機能構成を模式的に示す機能ブロック図である。 管理サーバの機能構成を模式的に示す機能ブロック図である。 ユーザが本実施形態のアプリを初めて使用する場合の過程を示すフローチャートである。 図８のＳ２０における端末ユーザ設定処理を詳細に示すフローチャートである。 図８のＳ２６における補正処理を詳細に示すフローチャートである。 図８のＳ３０における端末ユーザ設定を詳細に示すフローチャートである。 初回の撮影前に端末ユーザ設定を実行する場合の設定画面例を模式的に示す図である。 端末ユーザ設定として識別情報を登録する画面の画面例を模式的に示す図である。 第１の補正として「テイスト」をユーザに選択させる画面例を模式的に示す図である。 第２の補正として「写りの仕上がり」をユーザに選択させる画面例を模式的に示す図である。 第３の補正として「肌の明るさ」をユーザに選択させる画面例を模式的に示す図である。 端末ユーザが未設定のまま初回の撮影を実行した場合の画面例を示す図である。 画像から人物を検出してユーザを特定する画面例を模式的に示す図である。 第２実施形態におけるユーザ特定画面の例を模式的に示す図である。

（第１実施形態）
本実施形態においては、スマートフォンなどのカメラ付き携帯電話を始めとする端末装置にインストールされた所定の写真撮影アプリケーションプログラム（以下、単に「アプリ」ともいう）を用いてユーザが自分一人または自分を含む複数人を被写体として写真撮影をする。そのアプリは、撮影画像に被写体として含まれるユーザのそれぞれ個別の設定値を用いて画像を補正することができる。ユーザそれぞれの設定値は自分の端末装置または管理サーバ上にお気に入りの既定値として登録され、アプリは撮影画像に含まれる人物の顔認証結果に応じて各自の既定値を参照し、その既定値を用いたユーザごとの補正をユーザそれぞれの画像範囲に実行する。ユーザごとの補正の既定値は、アプリにおいて事前に設定された内容や補正の実行結果に基づいて端末装置上または管理サーバ上に登録されてもよいし、いわゆるプリントシール機などの遊戯用撮影装置において実行された補正結果に基づいて端末装置上または管理サーバ上に登録されてもよい。アプリによって撮影され、補正された画像は、各種のＳＮＳ（Social Network Service）サイトなどの外部サービスへ投稿して共有することもできる。

図１は、画像処理システム６００の全体構成を模式的に示す図である。画像処理システム６００は、複数の端末装置５００がインターネット等のネットワーク２００を介して管理サーバ３００と接続するシステムであり、管理サーバ３００はネットワーク２００を介して遊戯用撮影装置１００と接続する。また、複数の端末装置５００は、ネットワーク２００を介してＳＮＳサイト４００とも接続され得る。本図では、複数の端末として端末装置５００ａと端末装置５００ｂの２台を図示するが、ユーザの数に応じた多数の端末装置５００がネットワーク２００を介して管理サーバ３００に接続され得る。以下、本明細書において、それぞれの端末装置５００を特に区別する場合を除き、単に「端末装置５００」と総称する。

端末装置５００にインストールされたアプリは、内蔵のカメラを用いて撮影した写真画像から被写体の人物を検出し、人物ごとに顔の特徴情報を検出してその特徴情報に基づく顔認証によって人物ごとにユーザを特定する。特定されたユーザごとにあらかじめ登録されている既定値を端末装置５００または管理サーバ３００から読み出して、その既定値に基づいて補正が実行される。未登録のユーザについては未登録者用にあらかじめアプリに用意された平均的な推奨値に基づいて補正が仮実行された上で、その補正がなされた画像を基準にして好みの補正内容をユーザが指定して補正に反映される。最終的な補正の結果はそのユーザの「お気に入りの補正値」であり、ユーザの既定値として管理サーバ３００に登録されるとともに、そのアプリが実行されている端末装置５００を保有するユーザ自身については端末装置５００のアプリ上にもその既定値が登録される。

遊戯用撮影装置１００は、カメラや、撮影した写真画像を補正および編集するためのユーザインタフェースを備える電子機器を含む、いわゆるプリントシール機などの装置である。ユーザが遊戯用撮影装置１００で写真を撮影して画像を補正すると、遊戯用撮影装置１００で入力されたユーザのメールアドレス等の識別情報に紐付けられる形で補正の設定値および顔の特徴情報が管理サーバ３００に送信され、管理サーバ３００に登録される。また、端末装置５００上のアプリで実行されて管理サーバ３００に登録された補正の既定値や特徴情報は、遊戯用撮影装置１００から識別情報に基づいて参照可能であり、遊戯用撮影装置１００におけるユーザ特定や補正に用いられてもよい。このようにアプリ内で用いた補正の設定値を遊戯用撮影装置１００でも利用することにより、遊戯用撮影装置１００において必要なユーザの操作を簡素化して操作時間が短縮されるようにしてもよい。

図２は、端末装置５００の機能構成を示す機能ブロック図である。端末装置５００は、撮像部５１０、識別処理部５２０、画像取得部５３０、補正処理部５４０、データ記憶部５５０、認証処理部５６０、入出力制御部５７０、通信処理部５８０を備える。撮像部５１０は、カメラ制御部５１１を含み、ユーザを被写体に含む像を撮像する。カメラ制御部５１１は、端末装置５００に内蔵されるカメラを制御してユーザを撮像する。

画像取得部５３０は、撮像部５１０により撮像されるユーザの撮影画像を取得する。画像取得部５３０は、映像取得部５３１および画像記録部５３２を含む。映像取得部５３１は、撮像部５１０により撮像された映像、例えば静止画の撮影待機中や動画の撮影中に撮像部５１０によって撮像される映像を取得して、後述するデータ記憶部５５０の一時記憶部５５１にライブビュー映像としてリアルタイムに送信してその映像に含まれるフレームをバッファリングする。バッファリングされたライブビュー映像は、後述する入出力制御部５７０の表示制御部５７１によりタッチパネル画面に表示されるとともに、識別処理部５２０による人物検出または顔認証の対象となる。

画像記録部５３２は、ユーザによるシャッターボタン操作またはタイマーによるシャッターオンの指示に基づくタイミングで撮像部５１０により撮像される画像を静止画として取得し、データ記憶部５５０の一時記憶部５５１に記憶させる。一時記憶部５５１に記憶された撮影画像は、識別処理部５２０による人物検出または人物認証の対象となるとともに、補正処理部５４０による補正処理の対象となる。補正処理後の画像は後述する画像記憶部５５４に記憶される。

識別処理部５２０は、撮影画像における人物検出および人物認証により被写体に含まれるユーザを特定する。識別処理部５２０は、人物検出部５２１、特徴検出部５２２、特徴照合部５２３を含む。

人物検出部５２１は、撮像部５１０により撮像される画像から被写体に含まれるユーザの画像範囲を、既知の人物検出技術や顔検出技術などの画像処理技術を用いて検出する。ここでいう「撮像部５１０により撮像される画像」は、ユーザによってシャッターボタンが操作される写真撮影（以下、「本撮影」ともいう）の前はライブビュー映像であってもよいし、本撮影後は本撮影によって取得される静止画としての撮影画像であってもよい。ライブビュー映像は、内蔵カメラの撮像素子によって撮像される被写体や画角をリアルタイムに確認するための映像である。なお、人物検出部５２１は、人物検出として人物全体ではなく顔の画像範囲だけを検出する手法を用いてもよい。

特徴検出部５２２は、人物検出部５２１によって検出された人物の画像範囲から人物の顔の画像範囲を検出する（ただし、人物検出部５２１が人物の顔の画像範囲を検出する仕様の場合は特徴検出部５２２は顔の画像範囲の検出を要しない）。特徴検出部５２２は、顔の画像範囲から人間の顔の各構成要素を既存の顔認識技術を用いて検出することにより、各構成要素の特徴量を顔の特徴情報として検出する。例えば、肌の色の領域や目、鼻などの器官を抽出して顔領域を検出し、検出した顔領域から目や鼻などの器官同士の距離や配置、大きさといった特徴量を検出する。なお、人物検出部５２１および特徴検出部５２２は、ライブビュー映像に含まれる各フレームからリアルタイムに人物検出ないし顔検出を実行し、顔の特徴情報を検出してもよい。あるいは、一時記憶部５５１にバッファされた数秒分のライブビュー映像に含まれるフレームや静止画像、または、画像記憶部５５４に記憶された数秒分の動画像に含まれるフレームや静止画像から、それらの再生タイミングとは無関係の事後的なタイミングで検出処理をしてもよい。その場合、画像再生と並行するリアルタイムな検出ではない分、時間と負荷のかかる検出処理を実行することができる。

特徴照合部５２３は、特徴検出部５２２によって検出された顔の特徴情報とデータ記憶部５５０にあらかじめ記憶されている特徴情報、すなわち端末装置５００の端末ユーザの顔の特徴情報とを照合することにより、端末装置５００の端末ユーザが被写体に含まれるかを特定する。また、特徴照合部５２３は、端末ユーザ以外のユーザに関しては通信処理部５８０による外部装置との無線通信を介した特徴情報の照合によりユーザを特定する。

特徴情報同士の照合は、例えば、特徴情報に含まれる複数の特徴項目ごとにその特徴量の値が近似するほど高いスコアをカウントし、特徴項目ごとに重み付けをしたスコアを合計した総合スコアが所定の基準値を超える場合に「合致する」と判定してもよい。あるいは、被写体に含まれるユーザが一人の場合は、そのユーザが端末ユーザである蓋然性が高いとして、総合スコアが所定の第１の基準値を下回ったとしても、第１の基準値より低い第２の基準値を超えていれば「合致する」と判定してもよい。すなわち、端末ユーザか他のユーザかによって異なる判定基準を用いて特徴情報を照合することにより、照合の厳密さを調整してもよい。また、被写体に含まれるユーザが複数人の場合、いずれのユーザが端末ユーザであるかの判定基準として、端末ユーザの特徴情報との照合において最もスコアが高い人物を端末ユーザであると判定してもよい。例えば、スコアが所定の基準値を上回る人物が仮に複数検出された場合でも、最も高いスコアの人物のみを端末ユーザと判定することによって誤判定の可能性を減らすことが期待できる。

本実施形態においては、特徴照合部５２３は端末ユーザ以外のユーザの特徴情報を通信処理部５８０のデータ通信部５８２を介して管理サーバ３００へ送信し、管理サーバ３００に記憶されるユーザの特徴情報と照合させ、ユーザを特定させる。変形例においては、端末ユーザの特徴情報もデータ記憶部５５０ではなく管理サーバ３００に記憶させておき、被写体に含まれるすべてのユーザについて特徴情報を管理サーバ３００へ送信するなど通信処理部５８０による通信を介した照合によりユーザを特定する仕様としてもよい。別の変形例においては、端末ユーザの特徴情報をデータ記憶部５５０に記憶させる一方、端末ユーザとの間であらかじめ「友達」として関連づけられたユーザの特徴情報を管理サーバ３００から取得してデータ記憶部５５０に記憶させてもよい。「友達」かどうかの関連づけは、遊戯用撮影装置１００において過去に一緒に撮影したことのあるユーザの履歴に基づいて画像処理システム６００として独自に管理サーバ３００が管理してもよいし、ＳＮＳサイト４００において管理されている「友達」同士の関連性情報をＳＮＳサイト４００の認証を介して取得し、その関連性を用いることとしてもよい。これらの場合、管理サーバ３００から取得してデータ記憶部５５０に記憶されたユーザごとの特徴情報と検出された特徴情報とを特徴照合部５２３が照合することによりユーザを特定する。「友達」かどうかの関連づけは、遊戯用撮影装置１００において過去に一緒に撮影したことのあるユーザの履歴に基づいて画像処理システム６００として独自に管理サーバ３００が管理してもよいし、ＳＮＳサイト４００において管理されている「友達」同士の関連性情報をＳＮＳサイト４００の認証を介して取得し、その関連性を用いることとしてもよい。別の変形例においては、被写体に含まれるユーザの特徴情報を照合する相手の特徴情報として、管理サーバ３００に記憶されるすべてのユーザの特徴情報を照合の対象としたうえで、その中から所定の優先順位にしたがって対象を絞りながら照合してもよい。管理サーバ３００に記憶されるすべての特徴情報から無作為な順序で照合すると処理にかかる時間が増大するおそれがあるためである。例えば、上述したように端末ユーザとの間で「友達」として関連づけられたユーザの特徴情報を最優先で照合する。その中から検出されない場合は、居住地域や行動地域などの地域情報に基づいて照合する対象を絞り込んでもよい。すなわち、ユーザごとに居住地域や行動地域などの地域情報を関連づけて管理サーバ３００に登録しておくことを前提に、端末ユーザの地域情報や現在地と同じまたは近い地域情報が関連づけられたユーザの特徴情報を優先的に照合することとしてもよい。地域情報は、画像を撮影する際に携帯端末で取得されるＧＰＳなどの位置情報やモバイル通信の基地局や無線ＬＡＮ通信のアクセスポイントなどから得られる位置情報に基づき、特徴情報に自動で関連づけられてサーバに登録されてもよい。

特徴照合部５２３は、検出した特徴情報とユーザごとの特徴情報との照合において、ユーザの識別情報に基づいたユーザによる確認処理をもとに被写体に含まれるユーザを特定する。例えば特徴照合部５２３は、複数のユーザの特徴情報のなかで、検出された特徴情報に適合する特徴情報を特定し、その特徴情報に対応づけられた識別情報を入出力制御部５７０を介して画面に提示する。識別情報は、ユーザごとに登録されたニックネームなどのユーザ名であってもよく、その場合、例えば「この人は○○さんですか？」というようにユーザに対して正しいユーザであるか否かを質問する文字列を画面に表示する。この情報が正しい場合はユーザはタッチパネルを操作して正しい旨を指示し、誤っていれば誤認識である旨を指示する。このような確認処理を通じて、特徴照合部５２３による照合結果が正しいことが認められたときにユーザが正しく特定されたことになる。なお、識別情報としてのユーザ名は、本実施形態においては「この人は○○さんですか？」のように照合の正否を問うためにユーザに提示するものであり、照合精度やシステムの仕様によっては無関係の他人の端末に表示される可能性がある。そのため、個人情報保護の観点から、ユーザ名はユーザの本名ではないニックネームなどの名前を登録しておくのが好ましい。ただし、変形例として、ユーザ同士の友達関係を管理する仕様とした上で、端末装置５００の端末ユーザの「友達」としてあらかじめ関連づけられたユーザと照合した場合には、個人情報漏洩の問題もないことから、本名を含む名前を提示できる仕様としてもよい。

変形例として、識別処理部５２０は、端末ユーザ以外のユーザが被写体に含まれている場合に、そのユーザの特徴情報を管理サーバ３００へ送信するのではなく、撮影画像そのものを送信して管理サーバ３００に人物検出からユーザ特定までの処理を実行させる仕様としてもよい。

認証処理部５６０は、特徴検出部５２２によって検出された顔の特徴情報や補正処理部５４０で設定された補正の既定値、入力制御部５７３によって入力された識別情報を互いに対応づける形でデータ通信部５８２を介して管理サーバ３００に送信する。特に特徴検出部５２２により顔の特徴情報が検出されるたびに管理サーバ３００に送信して管理サーバ３００に蓄積させる。また認証処理部５６０は、ユーザの識別情報に基づいてそのユーザを特定ないし認証をする。特に、端末ユーザ以外の他のユーザを特定する場合にそのユーザが正しいか否かを認証するためにユーザに識別情報を入力させ、入力された識別情報を暗号化して管理サーバ３００へ送信し、管理サーバ３００から認証結果を受信することによりユーザを確認する。認証処理部５６０は、識別情報としてメールアドレス、ユーザ名、パスワードなどの主に文字列からなる情報や、指紋情報や虹彩情報、網膜情報などの生体情報のいずれか一つ以上の情報を用いて認証する。認証処理部５６０は、入力制御部５７３を介して入力されるメールアドレス、ユーザ名、パスワード、指紋情報などの識別情報を暗号化した上でデータ通信部５８２を介して管理サーバ３００へ送信する。識別情報として指紋情報を用いる場合、端末装置５００に内蔵されている指紋センサによって指紋情報を取得してもよいし、タッチパネルによって指紋情報を取得してもよい。識別情報として虹彩情報や網膜情報、静脈認証を用いる場合、カメラによって虹彩、網膜、静脈の画像を取得してもよい。識別情報として声紋認証を用いる場合、マイクによって音声を取得してもよい。

データ記憶部５５０は、画像取得部５３０によって取得されたライブビュー映像や静止画を一時的に記憶するバッファメモリである一時記憶部５５１と、ユーザの特徴情報を記憶する特徴記憶部５５２と、ユーザの補正の既定値を記憶する既定値記憶部５５３と、ユーザの撮影画像を記憶する画像記憶部５５４と、を含む。

特徴記憶部５５２は、特徴検出部５２２によって検出された端末装置５００の端末ユーザの顔の特徴情報を、そのユーザの識別情報とともにその識別情報に対応づける形で記憶する。他のユーザの特徴情報は、管理サーバ３００内におけるデータ記憶部に記憶されるが、変形例においては、他のユーザ、特に端末ユーザの「友達」として関連づけられたユーザの特徴情報を管理サーバ３００から取得してそのユーザの識別情報と対応づける形で特徴記憶部５５２に記憶させてもよい。端末装置５００において画像から顔の特徴情報が検出されるたびに送信され、これを特徴記憶部３１２に蓄積することにより特徴情報による照合精度を高める。

既定値記憶部５５３は、端末装置５００の端末ユーザに対応する補正の既定値を、そのユーザの識別情報と対応づける形で記憶する。端末ユーザの補正の既定値は、アプリのインストール後、初回の撮影前に端末ユーザが自らの指示によって既定値を登録できるほか、初回の撮影後に実際に補正をしたときの設定値を既定値として登録することもできる。また、撮影画像を補正するたびに端末ユーザの指示に基づいてその設定値で既定値を更新することもできる。あるいは、撮影画像を補正するたびに自動的にその設定値で既定値を更新する仕様としてもよいし、相対的に頻度の高い設定値で既定値を更新する仕様としてもよい。他のユーザに対応する補正の既定値は、管理サーバ３００内におけるデータ記憶部にユーザごとの特徴情報および識別情報と対応づけられて記憶される。ただし、変形例においては、他のユーザ、特に端末ユーザの「友達」として関連づけられたユーザの補正の既定値を管理サーバ３００から取得してそのユーザの識別情報と対応づける形で既定値記憶部５５３に記憶させてもよい。

識別情報として生体情報を用いる場合、指紋情報以外に、虹彩認証、網膜認証、静脈認証、声紋認証などの各認証用の情報を専用のセンサまたは画像、音声から採取して特徴記憶部５５２に記憶させてもよい。ただし、プライバシーの観点から、その性質上変更できない情報である生体情報による認証を好まないユーザのために、代替手段としてメールアドレス、ユーザ名、パスワードや暗証番号などの変更可能な文字情報のみ使用することをユーザが選択可能であってもよい。あるいは、生体情報とパスワードや暗証番号などの文字情報を組み合わせて使用し、いずれも適合するときのみユーザが特定されるようにしてもよい。変形例においては、識別情報としてアプリをインストールする際に一意に割り当てるアプリＩＤを用いてもよい。

補正処理部５４０は、簡易補正部５４１と主補正部５４２を含む。簡易補正部５４１は、撮像されて一時記憶部５５１に一時的に記憶された、ライブビュー映像に含まれる複数のフレームのそれぞれに対して、比較的処理負荷が低く高速処理が可能な簡易補正を実行する。簡易補正の内容は、全ユーザを対象にして一律に仮施行するためにメーカーが推奨値として用意する標準的な設定値である。この標準的な設定値は、全員に共通であってもよいし、男女や人種によって別々の設定値があらかじめ用意され、ユーザごとに別々の補正が実行されるようになっていてもよい。ただし、変形例においては、ユーザごとに登録された補正の既定値を読み出して、その既定値に基づいてユーザごとに異なる補正をそれぞれの画像範囲に実行してもよい。

主補正部５４２は、静止画である撮影画像に対して補正を実行する。撮影画像に対する補正は、目の色や大きさ、顔の輪郭、小鼻の形状、肌の色や質感等を変化させる処理である。主補正部５４２は、複数人のユーザを被写体に含む撮影画像に対する補正を実行する場合、ユーザごとにあらかじめ記憶されている補正の既定値を識別処理部５２０により特定されたユーザごとに読み出し、その読み出した既定値に応じた補正を複数人のユーザのそれぞれの画像範囲に実行し得る。主補正部５４２は、撮影画像の被写体に含まれるユーザが一人の場合と複数人の場合とで異なる記憶手段から補正の既定値を読み出し得る。すなわち、ユーザが一人の場合は端末装置５００の端末ユーザが一人で撮影したと推定できることから、原則として既定値記憶部５５３に記憶された既定値を読み出し、その既定値に応じた補正を撮影画像に含まれる端末ユーザの画像範囲に実行する。一方、ユーザが複数人の場合は、特徴記憶部５５２に記憶される端末ユーザの特徴情報と照合されたユーザについては既定値記憶部５５３から既定値を読み出し、それ以外のユーザについてはデータ通信部５８２を介して管理サーバ３００から既定値を読み出し、その既定値に応じた補正をユーザごとの画像範囲に実行する。このように、撮影画像の被写体に含まれるユーザが複数人の場合、ユーザごとに異なる記憶手段から補正の既定値を読み出し得る。補正後の画像は、表示制御部５７１によりタッチパネルの画面に表示される。

入出力制御部５７０は、表示制御部５７１、音声制御部５７２、入力制御部５７３を含む。表示制御部５７１は、ライブビュー映像や撮影画像を含む表示内容をタッチパネルの画面に表示させる。音声制御部５７２は、スピーカから音声を出力する。入力制御部５７３は、タッチパネルやボタンを介したユーザの操作入力を受け付ける。

通信処理部５８０は、外部との通信を制御する。通信処理部５８０は、近距離無線部５８１、データ通信部５８２、位置取得部５８３を含む。近距離無線部５８１は、Ｂｌｕｅｔｏｏｔｈ（商標）やＮＦＣ（Near Field Communication）などの近距離無線通信により、例えば他のユーザの端末装置５００などの外部装置とのデータ通信を制御する。データ通信部５８２は、無線ＬＡＮ通信や携帯電話のパケット通信などによる管理サーバ３００とのデータ通信を制御する。位置取得部５８３は、ＧＰＳ信号を受信して端末装置５００の現在位置情報を取得する。

図３は、端末装置５００のハードウェアブロック図である。端末装置５００においては、カメラ５１５、通信モジュール５８５、タッチパネル５５５、スピーカ５５６、ＧＰＵ５５７、ＣＰＵ５９０、メモリ５７５が互いにバス５９１を介して接続される。

カメラ５１５は、端末装置５００の背面側に内蔵される、いわゆるアウトカメラとも呼ばれるメインカメラ５１６と、端末装置５００の正面側に内蔵される、いわゆるインカメラとも呼ばれるサブカメラ５１７と、を含む。メインカメラ５１６およびサブカメラ５１７は、機能的には撮像部５１０の一部を構成しており、カメラ制御部５１１により制御され、映像または画像が画像取得部５３０によって取得される。いずれのカメラによって撮像された映像および画像であっても本実施形態のアプリによる画像処理の対象となり得る。

通信モジュール５８５は、Ｂｌｕｅｔｏｏｔｈ（商標）やＮＦＣなどの近距離無線通信を行う近距離無線モジュール５８６、無線ＬＡＮ通信を行う無線ＬＡＮモジュール５８７、携帯電話のパケット通信を行う携帯通信モジュール５８８、ＧＰＳ信号に基づいて端末装置５００の現在位置情報を取得するＧＰＳモジュール５８９を含む。通信モジュール５８５は、機能的には通信処理部５８０の一部を構成する。

タッチパネル５５５は、端末装置５００における画面表示とタッチ入力のための装置である。タッチパネル５５５は、機能的には入出力制御部５７０の一部を構成し、表示制御部５７１によってタッチパネル５５５への表示が制御され、入力制御部５７３によってタッチパネル５５５やボタンへの操作入力が検出される。スピーカ５５６は、音声を出力する装置である、機能的には入出力制御部５７０の一部を構成し、音声制御部５７２によってスピーカ５５６による音声出力が制御される。

ＧＰＵ（Graphics Processing Unit）５５７は、画像表示や画像変換処理を実行するマイクロプロセッサであり、機能的には識別処理部５２０、補正処理部５４０、表示制御部５７１の一部を構成する。ＣＰＵ（Central Processing Unit）５９０は、主に画像処理以外の処理や計算を司る中央処理装置であり、機能的には画像取得部５３０、識別処理部５２０、補正処理部５４０、認証処理部５６０、入出力制御部５７０等の一部を構成する。メモリ５７５は、読み書き可能なフラッシュメモリなどの不揮発性記憶媒体であり、機能的にはデータ記憶部５５０の一部を構成する。

図４は、遊戯用撮影装置１００を左前側から見た斜視図である。図５は、図４に示す遊戯用撮影装置１００を上から見た平面図である。以下では、図４に示す前後左右の方向を基準として、他の図面も説明する。図４および図５に示すように、遊戯用撮影装置１００は、前部側の撮影部５０と後部側の編集部５１とを備え、前後方向に長いほぼ直方体状を呈している。撮影部５０の左側面または右側面にはコインの投入と撮影人数を含む撮影内容を事前設定する事前設定部４０が設けられ、編集部５１の後端には、編集後の写真の出力等をするための出力部５２が設けられている。

撮影部５０は、ユーザを撮影するカメラが内蔵された撮影筐体１１と、この撮影筐体１１の後方に撮影空間１０を介して配置された背景壁部１２とを有する。撮影筐体１１の側面と、背景壁部１２の側面との間の隙間が、撮影空間１０への出入口である第１出入口１０１ａ，１０１ｂを構成する。事前設定部４０は、撮影人数を含む撮影内容の設定項目を表示してユーザからの指示を受け付けるタッチパネル４１と、コインの投入口と返却口を含むコイン投入部４２を有する。事前設定部４０の筐体は、図では撮影部５０の左側面に着脱自在に取り付けた例を示すが、遊戯用撮影装置１００を設置する店舗のレイアウトに応じて左右側面のいずれかに取り付ければよい。ユーザは事前設定部４０を取り付けた側の入口から撮影空間１０へ入る。編集部５１は、背景壁部１２の後方に隣接して配置された編集筐体２１を有する。編集筐体２１には、左右の方向を向く一対の操作面が設けられる。ユーザは各操作面への入力作業をする編集空間２０ａ，２０ｂに、第２出入口２０１ａ，２０１ｂを介して入ることができる。出力部５２は、編集筐体２１の後端面と接する出力筐体３１を有する。出力筐体３１に対しては、ユーザが遊戯用撮影装置１００の後端側から操作するように、操作面が後端側を向いている。したがって、出力筐体３１の後端側の空間が、ユーザが出力操作をするための出力空間３０となる。なお、変形例として、事前設定部４０を備えない形で遊戯用撮影装置１００を構成してもよいし、編集部５１ないし編集空間２０を備えない形で遊戯用撮影装置１００を構成してもよい。

撮影筐体１１と背景壁部１２との上端部の側面は、前後方向に延びる天井フレーム１３によって互いに連結される。天井フレーム１３の枠内部には、撮影空間１０を上から覆い、照明およびフラッシュ照射する天井照明ユニット１４が設けられる。撮影筐体１１の左側面または右側面には、遊戯用撮影装置１００の使用方法を含む説明書きを掲示するための掲示スペース１５が設けられる。掲示スペース１５の上部には、撮影筐体１１が使用中であるか否かを示す表示部１６が設けられる。

表示部１６は、発光または消灯される表示灯（図示せず）を備える。表示部１６は、表示灯の発光によって撮影部５０が使用中であることをユーザに示し、消灯によって撮影部５０が空きになったことをユーザに示す。遊戯用撮影装置１００は、表示部１６が左右方向外側に突出した平面視三角形状に形成されているが、その形状は特には限定されず、凸湾曲状などのその他の形状であってもよい。

背景壁部１２は、撮影筐体１１とほぼ同じ幅および高さの板状部材によって形成され、撮影筐体１１の正面と対面する本体プレート１２１と、この本体プレート１２１の左右両端から前方に延設された一対のサイドプレート１２２とを有する。このため背景壁部１２は、全体として平面視コ字状に形成されている。本体プレート１２１において、撮影筐体１１を向く面には、クロマキー処理のための単一の色（例えば、青色または緑色）が着色される。着色については、本体プレート１２１に直接ペンキなどで着色するほか、着色された布地、プレート等を取付けてもよい。図示はしないが、撮影空間１０の床面には、この本体プレート１２１と連続するように、当該本体プレート１２１と同様にクロマキー処理のための単一色が着色される。撮影筐体１１の後端縁と、天井フレーム１３の下端縁と、サイドプレート１２２の前端縁とから、上述したように、撮影空間１０に出入りするための第１出入口１０１ａ，１０１ｂが構成される。

編集筐体２１は、左右両側から２組のユーザが同時に編集可能な対面式であり、左右それぞれに操作面が設けられる。編集筐体２１は、左右方向の長さが背景壁部１２の同方向の幅よりも短い。編集筐体２１は、その前端面を背景壁部１２の背面の中央部に接続される。編集筐体２１の左右両側方のスペースが、２組のユーザがそれぞれ編集作業を行う編集空間２０ａ，２０ｂとなる。編集筐体２１の上方には、平面視においてほぼコの字状のカーテンフレーム２２が設けられる。カーテンフレーム２２は、前後方向に延びる一対の側部フレーム２２１と、この側部フレーム２２１の後端同士を連結する左右方向に延びる後部フレーム２２２とからなる。図示はしないが、編集筐体２１の内部には、例えばＰＣ（Personal Computer）等のＣＰＵ（Central Processing Unit）を備える計算機が設置される。

各側部フレーム２２１の前端は、天井フレーム１３の後端に前後方向に延長状に連結され、後部フレーム２２２の中央部は、編集筐体２１の後上端部に設けられた支持部材２３によって支持される。左右一方側の側部フレーム２２１と、後部フレーム２２２のほぼ半分の長さ部分により、編集空間２０ａ，２０ｂに出入りするための前記第２出入口２０１ａ，２０１ｂの上枠部が構成される。

図６は、遊戯用撮影装置１００の機能構成を模式的に示す機能ブロック図である。遊戯用撮影装置１００は、事前設定部４０、撮影処理部１３０、表示制御部１３５、データ生成部１４０、データ記憶部１５０、および出力処理部１６０を含む。

本図は、遊戯用撮影装置１００を実現するための機能構成を示しており、その他の構成は省略している。本図において、さまざまな処理をする機能ブロックとして記載される各要素は、図示しないハードウェアであるカメラ、ＣＰＵ、メインメモリ、その他のＬＳＩ（Large Scale Integrated circuit）で構成することができる。また、ソフトウェア的にはＲＡＭにロードされたプログラム等をＣＰＵが実行することによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

事前設定部４０は、撮影に先立って、撮影プレイ中に撮影空間１０に流す音楽、合成用の背景画像等の撮影内容をユーザの指示に基づいて事前設定する。事前設定部４０が事前設定する背景画像としては、ユーザに選択された音楽に応じた複数の背景画像のうちいずれかをユーザが選択する形で設定する。また、事前設定部４０は、撮影に先立って、被写体となるユーザの撮影人数、名前やグループ名、好みのテーマ等の撮影内容をユーザの指示に基づいて事前設定する。事前設定部４０が事前設定する撮影人数としては、「２人」「３人」「大人数」のうちいずれかをユーザが選択する形で設定する。

撮影処理部１３０は、個別認証部１３１、撮像部１３２、画像取得部１３３を含む。撮像部１３２は、事前設定部４０から受け取るプレイ開始の指示に基づき、個別認証部１３１または画像取得部１３３による制御にしたがい、正面カメラ１１１または側方カメラ１１２により１人または複数のユーザを被写体として撮像する。個別認証部１３１は、認証用の撮影画像の取得、取得した認証用の撮影画像に対する人物検出および人物認証を実行する。個別認証部１３１は、取得した認証用の撮影画像から人物を検出する人物検出を実行する。本実施の形態における人物検出は、例えば顔検出である。個別認証部１３１は、認証用の撮影画像から、肌の色の領域や目、鼻などの器官を抽出して顔領域を検出する。個別認証部１３１は、検出した顔領域から目や鼻などの器官同士の距離や配置、大きさといった特徴量を検出し、その特徴量に基づいて各人物の特徴を特定する人物認証を実行する。個別認証部１３１は、認証用の撮影画像をデータ記憶部１５０に一時的に記憶させる。

表示制御部１３５は、撮像部１３２により撮影中のライブビュー映像を正面モニタ１１３または側方モニタ１１４の画面にリアルタイムで表示させる。

画像取得部１３３は、撮像部１３２（すなわち正面カメラ１１１および側方カメラ１１２）の焦点距離や画角、トリミング範囲などの設定を行い、撮像部１３２に撮像させる。そして画像取得部１３３は、ライブビューを表示制御部１３５を介して正面モニタ１１３または側方モニタ１１４に表示させる。また、画像取得部１３３は、撮像部１３２により撮像される被写体について、ユーザの撮影画像を複数回撮影して取得する。本実施の形態では、画像取得部１３３は、少なくとも５回の撮影を実行し、５枚程の撮影画像を生成する。

画像取得部１３３は、取得した複数の本撮影用の撮影画像をひとまとまりの写真画像群としてデータ記憶部１５０に記憶させる。より具体的には、画像取得部１３３は、取得した複数の本撮影用の撮影画像に同一のプレイＩＤを付与し、かつ撮影画像を特定するために、各撮影画像に固有の画像識別子を付与する。

画像取得部１３３は、撮像部１３２により撮像される被写体について、ユーザの動画像を複数回撮影して取得する。画像取得部１３３は、例えば３回の動画撮影を実行し、３本の動画像を取得する。

表示制御部１３５は、動画撮影の開始に先立ち、動画撮影中の被写体動作の手本をユーザに示すための手本動画を正面モニタ１１３の画面に表示させる。表示制御部１３５は、手本動画の表示を終了した後、撮像部１３２により撮像されるユーザの映像のライブビューに切り替える。ライブビューに切り替えられた後で、画像取得部１３３がユーザの動画像を撮影する。このような手本動画の表示からユーザの動画像の撮影までの過程を３回繰り返すことにより３本の動画像を取得する。画像取得部１３３は、取得した動画像をデータ記憶部１５０にプレイＩＤと対応づけて記憶させる。

データ生成部１４０は、背景処理部１４１、補正処理部１４２、編集処理部１４３、動画処理部１４４を含む。背景処理部１４１は、データ記憶部１５０に記憶される認証用の撮影画像、複数の本撮影用の撮影画像、および複数の動画像のそれぞれについて、被写体と背景画像を既知のクロマキー合成技術により合成する。すなわち背景処理部１４１は、撮影画像における被写体と、それ以外の領域である背景領域とを区別するための背景情報（クロマキーマスク）を２値化画像またはグレースケールの画像、あるいはそれらを圧縮したデータとして生成し、その背景情報を用いて被写体を背景から抽出した画像を取得する。認証用の撮影画像について背景処理部１４１は、その被写体のみの画像を、あらかじめ定められた背景画像、例えば白、グレー、黒といった単一の無彩色が一面に施された背景画像と合成する。本撮影用の撮影画像について背景処理部１４１は、その被写体のみの画像を、事前設定したユーザの好みの背景画像と合成する。被写体のみの画像および背景画像と合成した合成画像はデータ記憶部１５０に記憶される。本撮影用の撮影画像については、後の編集処理において被写体のみの画像に別の背景画像を合成してあらたな合成画像を生成し直すこともできる。背景処理部１４１は、撮像部１３２により撮影中のライブビュー映像からリアルタイムに被写体を抽出して背景画像を合成して表示制御部１３５により表示させる処理をしてもよい。また、背景処理部１４１は上述のクロマキー合成を、画像取得部１３３によって取得された動画像に対しても同様に処理し、合成動画像を生成する。

補正処理部１４２は、本撮影用の撮影画像における人物検出および人物認証を実行するとともに、本撮影用の撮影画像に対する補正を実行する。本撮影用の撮影画像における人物検出は、例えば認証用の撮影画像における人物検出と同様の顔検出である。補正処理部１４２は、本撮影用の撮影画像から、肌の色の領域や目、鼻などの器官を抽出して顔領域を検出する。本撮影用の撮影画像における人物認証は、認証用の撮影画像における人物認証と同様の処理および人物特定の処理を含む。より具体的には、まず本撮影用の撮影画像における人物検出により検出した顔領域から目や鼻などの器官同士の距離や配置、大きさといった人物ごとの特徴量を検出する。その人物ごとの特徴量を、あらかじめ認証用の撮影画像における人物認証によって特定されてデータ記憶部１５０に一時的に記憶させたユーザごとの特徴量と照合し、その照合結果に基づいて本撮影用の撮影画像に含まれる人物がどのユーザであるかを特定する処理が「人物特定」である。例えば、あらかじめ特定して記憶するユーザごとの特徴量の情報がＡとＢの２つある場合、本撮影用の撮影画像から特定された人物ごとの特徴量がそれぞれＡとＢのどちらに相対的に近似するかを照合する。これにより、本撮影用の撮影画像に含まれる人物ごとにどのユーザであるかを特定する。

本撮影用の撮影画像に対する補正は、目の色や大きさ、顔の輪郭、肌の色や質感等を変化させる処理であり、本撮影後の編集処理（特に落書きの処理）に先立ち、本撮影用の撮影画像に対して実行される。補正処理の方法は、撮影人数によって異なり、また、アップ撮影による画像か全身撮影による画像かによっても異なる。事前設定された撮影人数が３人以内であった場合に、ユーザごとに事前設定された好みに応じて選択される補正方法にて人物ごとの個別の補正を実行する。ユーザごとに指定された補正の設定値およびユーザごとの顔の特徴情報は、送信出力部１６３を介して管理サーバ３００へ送信され、管理サーバ３００によりユーザごとの識別情報と対応づけられて記憶される。撮影人数が３人を超える場合、補正処理部１４２は、本撮影用の撮影画像に含まれる人物全体に対して同じ補正を実行する。また例えば、アップ撮影による画像と全身撮影による画像とでは画像に写る目をはじめとする部位の大きさが異なり、顔ないし全身の印象に影響する目の印象度の割合も異なるため、目の拡大率などが僅かに相違する。

編集処理部１４３は、落書きと呼ばれる編集処理を実行するとともに、データ記憶部１５０に記憶される複数の撮影画像を含む写真画像群と、個別認証部１３１により特定されるユーザを識別するためのプレイＩＤとを紐付けたコンテンツデータを生成する。コンテンツデータには、背景処理部１４１が取得した背景情報や遊戯用撮影装置１００の識別情報も含めてもよい。編集処理部１４３は、画像取得部１３３が一連の写真画像群を撮影する度（１プレイごと）に、コンテンツデータを生成する。コンテンツデータは、画像取得部１３３が生成したプレイＩＤを用いて一意に特定することができる。

編集処理部１４３は、背景処理部１４１による背景画像の合成と補正処理部１４２による補正処理がなされた撮影画像を編集対象画像とし、その編集対象画像に対して編集処理を実行する。編集処理は複数の編集対象画像に対して個別に実行されるとともに、複数のユーザからのそれぞれの指示に基づいて複数の編集対象画像に対して同時並行的に実行され得る。

具体的には、編集処理部１４３は、補正処理部１４２により補正された合成画像と、合成画像に装飾として重畳しうる文字、模様、図形、スタンプ画像などの編集ツールと、を含む編集画面を編集用モニタ２１３に表示させ、合成画像に対する編集処理の指示を受け付ける。編集処理部１４３は特に、事前設定部４０が受け付けた音楽に応じた編集ツールを編集画面に初期的に表示させる。編集処理の指示は、タッチペン２１４を用いた編集用モニタ２１３に対するユーザの編集操作、例えば編集ツールを選択する選択操作や編集対象画像（合成画像）に対して位置を指定する入力操作により入力される。編集処理部１４３は、ユーザの選択した編集ツールに対応する編集を編集対象画像に施して複数の編集済画像を生成し、これをデータ記憶部１５０に記憶させる。また、編集処理部１４３は、シート紙に印刷する印刷用画像を決定させるための選択画面を編集用モニタ２１３に表示させ、印刷用画像の選択を受け付ける。

動画処理部１４４は、画像取得部１３３によって取得されてデータ記憶部１５０に記憶される複数の動画像に対する編集処理を実行し、出力対象となる表示用動画像と送信用動画像を生成する。

出力処理部１６０は、印刷処理部１６１、無線出力部１６２、送信出力部１６３を含む。印刷処理部１６１は、データ記憶部１５０に記憶された複数の編集済画像に基づく印刷用画像をプリンタ３４によりシール紙に印刷する。無線出力部１６２は、非接触通信部を介してユーザの端末へ複数の編集済画像を送信する。送信出力部１６３は、ネットワークを介して管理サーバ３００へすべての編集済画像を送信する。送信出力部１６３は、プレイの終了後にタッチパネル上に表示されるキーボードに、ユーザによって入力されたメールアドレス等の個人を特定する識別情報を受け付ける。送信出力部１６３は、入力されたメールアドレスおよびプレイＩＤと対応させて編集済画像を管理サーバ３００にアップロードし、ユーザによって後に編集済画像をダウンロードさせることができる。

送信出力部１６３は、動画処理部１４４によって設定された表示用動画像を表示制御部１３５に送信することによりその表示用動画像を液晶モニタ等の表示装置に表示させる。送信出力部１６３は、動画処理部１４４によって設定された送信用動画像または撮影された動画像を、入力されたメールアドレスおよびプレイＩＤと対応させて管理サーバ３００にアップロードし、ユーザによって後にダウンロードさせることができる。管理サーバ３００は、メールアドレスおよびプレイＩＤと対応させる形で編集済画像および送信用動画像（または撮影された動画像）を記憶し、そのメールアドレス宛にそのメールアドレスに対応づけられたプレイＩＤを引数として含んだＵＲＬをコンテンツアクセス情報として送信する。ユーザは、受信したコンテンツアクセス情報のＵＲＬに携帯電話等の端末装置５００でアクセスすることにより、所定の画像取得ウェブサイト内の自身の編集済画像や送信用動画像をダウンロードできるページを開くことができ、ダウンロードが可能となる。また、シール紙には、編集済画像に基づく印刷用画像とともにプレイＩＤが印刷され、ユーザはそのプレイＩＤを所定の画像取得ウェブサイトに入力することによっても、自身の編集済画像や送信用動画像をダウンロードできるページを開くことができ、ダウンロードが可能となる。なお、ユーザが無料会員としてメールアドレスを登録している場合は、管理サーバ３００にアップロードされた複数の編集済画像のうち自身が選択した画像が取得可能なページを開くことができる。ユーザが有料会員としてメールアドレスを登録している場合は、管理サーバ３００にアップロードされた複数の編集済画像のすべてが取得可能なページを開くことができる。

図７は、管理サーバ３００の機能構成を模式的に示す機能ブロック図である。管理サーバ３００は、ユーザごとの特徴情報および補正の既定値をそのユーザの識別情報と対応づけて記憶するほか、遊戯用撮影装置１００から取得したコンテンツデータや写真撮影サービスの利用履歴等のユーザ情報を管理するサーバである。コンテンツデータは、プレイＩＤ、写真画像群、遊戯用撮影装置１００で入力されたメールアドレスなどのデータである。管理サーバ３００は、ユーザのデータを記憶するデータ記憶部３１０と、ネットワーク２００を介して端末装置５００、遊戯用撮影装置１００、ＳＮＳサイト４００と通信する通信処理部３２０と、ユーザを特定する識別処理部３３０と、ユーザを認証する認証処理部３４０と、を備える。

データ記憶部３１０は、識別情報記憶部３１１、特徴記憶部３１２、既定値記憶部３１３、画像記憶部３１４を含む。識別情報記憶部３１１は、ユーザごとの識別情報を記憶する。特徴記憶部３１２は、ユーザごとの特徴情報を識別情報との対応で記憶する。ユーザの識別情報は、例えばメールアドレス、ユーザ名、パスワードなどの主に文字列からなる情報や、指紋情報などの生体情報のうちいずれであってもよい。既定値記憶部３１３は、ユーザごとの補正の既定値を識別情報との対応で記憶する。画像記憶部３１４は、遊戯用撮影装置１００から送信された写真画像群などのコンテンツデータを記憶する。

識別処理部３３０は、端末装置５００から送信された特徴情報を特徴記憶部３１２に記憶された複数の特徴情報と照合し、そのうち一致する特徴情報と対応するユーザの識別情報を認証処理部３４０が端末装置５００に通信処理部３２０を介して送信する。特徴情報の照合方法は、上述した端末装置５００における照合と同様である。認証処理部３４０が、ユーザの識別情報が正しい旨を示す情報を通信処理部３２０を介して端末装置５００から受信すると、通信処理部３２０を介してそのユーザの補正の既定値を端末装置５００へ送信する。

図８は、ユーザが本実施形態のアプリを初めて使用する場合の過程を示すフローチャートである。このアプリを使用するにあたり、ユーザ設定として顔の特徴情報などを端末装置５００において登録する必要がある。ユーザ設定は、初回の撮影前にあらかじめ設定する方法と、まずは１回撮影をした後で事後的に設定する方法の２通りが用意されている。

ユーザは、所定のサイトからアプリをダウンロードして端末装置５００にインストールすると（Ｓ１０）、アプリの使用可能状態となる。ユーザがアプリを起動すると（Ｓ１２）、この時点ではアプリ側からユーザへ端末ユーザ設定の実行を促すことなく直ちに撮影が可能な待機状態となり、カメラ５１５によって撮像されるライブビュー映像の表示が開始される（Ｓ１４０）。インストールしてすぐにユーザ設定をしないと撮影できない仕様ではユーザに対して心理的に設定の煩わしさを感じさせてしまうおそれがあるためであり、ユーザ設定をしなくともまずは初回の撮影が可能となるように設定を後回しにして煩わしさを和らげている。変形例としては、この時点、すなわちアプリのインストール後の初回起動時に端末ユーザ設定を実行可能である旨を表示して、任意で端末ユーザ設定を開始できるよう促す仕様としてもよい。

ライブビューの表示開始後、ライブビュー映像には簡易補正が実行される（Ｓ１６）。この場合の簡易補正は、ライブビュー映像から一人または複数人のユーザの顔を検出し、そのユーザに端末ユーザが含まれているか否かに関わらず一律に同じ設定値にて簡易的な補正を施す。ただし、変形例においては、端末ユーザを特定して端末ユーザに対してはその端末ユーザに対応づけられた既定値に基づいて簡易補正または本格的な補正を施してもよい。撮影可能状態において、所定のメニューから端末ユーザ設定を含む各種設定の実行がユーザにより指示された場合（Ｓ１８のＹ）、端末ユーザ設定を実行する（Ｓ２０）。端末ユーザ設定の詳細は後述する。設定実行の指示がなく（Ｓ１８のＮ）、撮影操作もない間は（Ｓ２２のＮ）、Ｓ１６に戻ってライブビュー映像に対するリアルタイムな簡易補正を繰り返す。ここで、ユーザによってシャッターボタンが操作されるなど撮影操作がなされると（Ｓ２２のＹ）、本撮影が実行され（Ｓ２４）、その撮影画像に含まれるユーザごとの画像範囲に補正を実行する（Ｓ２６）。補正の詳細については後述する。その補正後、端末ユーザが未設定であった場合は（Ｓ２８のＹ）、端末ユーザ設定を実行し（Ｓ３０）、端末ユーザが設定済みであった場合はＳ３０をスキップして１回の撮影を終了する（Ｓ２８のＮ）。Ｓ３０における端末ユーザ設定については後述するが、Ｓ２０における端末ユーザ設定とは手順が異なる。以降は、Ｓ１４からＳ３０までの処理をアプリが終了されるまで繰り返す。すなわち、１回撮影をするたびに補正を実行するのであって、複数枚の写真を撮影してからまとめて補正をする方式ではない。このように、アプリが起動されるたびにＳ１４からＳ３０までの処理を撮影回数分だけ繰り返す。

図９は、図８のＳ２０における端末ユーザ設定処理を詳細に示すフローチャートである。まず、カメラ５１５で端末ユーザ自身を一人で撮影させて端末ユーザの静止画像を取得する（Ｓ５０）。ただし、変形例としてライブビュー映像としてユーザの画像を取得する仕様でもよい。端末ユーザの画像から人物（特に顔の部分）を検出し（Ｓ５２）、その人物の顔から特徴情報を検出する（Ｓ５４）。補正の既定値として登録するための補正の設定値をユーザが入力し（Ｓ５６）、メールアドレスやユーザ名などの識別情報をユーザが入力し（Ｓ５８）、これらを対応づけて端末ユーザ設定として端末装置５００に登録するとともに、管理サーバ３００にも同じ情報を送信する（Ｓ６０）。なお、Ｓ５０〜Ｓ５２において被写体として複数のユーザが含まれ、複数の人物が検出された場合、いずれの人物を端末ユーザとして登録するかをユーザに選択させるためのダイアログを表示し、ユーザによって選択された人物について顔の特徴情報を検出し、これを識別情報と対応づけて端末装置５００および管理サーバ３００に登録する。変形例においては、端末ユーザの特徴情報を端末装置５００にのみ登録する仕様としてもよい。

図１０は、図８のＳ２６における補正処理を詳細に示すフローチャートである。まず、撮影画像から一人または複数の人物（特に顔の部分）を検出し（Ｓ１００）、その人物の顔から特徴情報を検出する（Ｓ１０２）。端末ユーザ設定がすでになされている場合（Ｓ１０４のＹ）、端末ユーザの特徴情報を読み出して照合し（Ｓ１０６）、被写体から端末ユーザが特定された場合（Ｓ１０８のＹ）、端末ユーザの顔画像を拡大表示するとともに端末ユーザの補正の既定値を読み出して設定し、その設定値に基づいた補正を端末ユーザの画像範囲に実行する（Ｓ１１０）。また、端末ユーザの好みで設定値の変更があればその変更された設定値に基づいた補正を実行し直す。Ｓ１０８において端末ユーザが特定されない場合はＳ１１０をスキップする（Ｓ１０８のＮ）。Ｓ１０４において端末ユーザ設定がなされていない場合はＳ１０６〜Ｓ１１０をスキップする（Ｓ１０４のＮ）。

端末ユーザ以外のユーザが含まれている場合は他のユーザの特徴情報を管理サーバ３００から取得して照合し（Ｓ１１２）、ユーザを特定できた場合は（Ｓ１１４のＹ）、特定したユーザのうち未補正である一人の顔画像を拡大表示するとともにその特定したユーザの補正の既定値を管理サーバ３００から取得して設定し（Ｓ１１６）、その設定値に基づいた補正をそのユーザの画像範囲に実行する（Ｓ１１８）。そのユーザの好みで設定値の変更があればその変更された設定値に基づいた補正を実行し直す。Ｓ１１４においてユーザを特定しない場合はＳ１１６をスキップして（Ｓ１１４のＮ）、ユーザの好みに応じた設定値に基づいて補正を実行する（Ｓ１１８）。被写体に含まれるユーザのうち未補正のユーザが他にいればＳ１１４に戻り（Ｓ１２０のＹ）、Ｓ１１４〜Ｓ１１８の補正処理をユーザの人数分繰り返す。未補正のユーザがなければ本図のフローを終了する（Ｓ１２０のＮ）。なお、端末ユーザが未設定である場合、その端末ユーザについてもＳ１１２〜Ｓ１２０の過程で補正を実行することとなる。その場合、端末ユーザに対する補正をＳ１１８で実行したときに端末ユーザを設定する旨の指示があれば、そのまま図１１のフローに遷移して端末ユーザを設定する。

図１１は、図８のＳ３０における端末ユーザ設定を詳細に示すフローチャートである。本図における端末ユーザ設定のフローは、図９における端末ユーザ設定とは異なり、すでに撮影がなされ、人物や顔の特徴情報が検出済みであるため、これらの処理は省略されている。すでに検出された人物が複数の場合はいずれの人物を端末ユーザとして設定するかをユーザに選択させる（Ｓ１５０）。ただし、検出された人物が一人の場合はその人物を端末ユーザとして設定してよいかをユーザに確認する。また、図１０のＳ１１８において端末ユーザを設定する旨の指示があった場合にはどの人物の補正設定値を用いて端末ユーザの既定値を登録するかが明示されているためＳ１５０を省略する。

端末ユーザとして特定された人物について、メールアドレスやユーザ名などの識別情報をユーザに入力させる（Ｓ１５２）。特定された人物の特徴情報と、その人物についてすでになされた補正の設定値とを、識別情報と対応づけて端末装置５００に端末ユーザ設定として登録するとともに、管理サーバ３００にも同じ情報を送信する（Ｓ１５４）。

図１２は、初回の撮影前に端末ユーザ設定を実行する場合の設定画面例を模式的に示す図である。図９の端末ユーザ設定において本図の画面が表示される。まず、画像枠６１０にはサブカメラ５１７によって撮像されるライブビュー映像が表示され、端末ユーザの顔がアップで表示される。画像枠６１０の下方に「画像枠に顔が大きく収まるように正面を向き、ランプが点灯したら撮影してください。」といったユーザへの指示を表示することにより、端末ユーザに対して正面を向いて画像枠６１０に大きく顔が写るように位置調整を促す。最初はシャッターボタン６３４をグレイアウトして操作不可の状態にし、ライブビュー映像から顔を検出できたときに準備ランプ６３３を緑色に点灯させるとともに、シャッターボタン６３４を操作可能状態に表示する。端末ユーザがシャッターボタン６３４を操作したときに、端末ユーザの顔写真が撮影されて、静止画の撮影画像が画像枠６１０に表示される。特徴検出部５２２は、この端末ユーザの顔写真から顔の特徴情報を検出し、端末ユーザの特徴情報として特徴記憶部５５２および管理サーバ３００に登録する。端末ユーザが自分の顔写真の写りに納得しない場合は再びシャッターボタン６３４を操作して撮り直すことができ、画像の写りに納得したときに「次へ」と書かれた遷移ボタン６３５を操作すると、次図の識別情報登録画面へ遷移する。この場合、特徴検出部５２２は撮り直された顔写真から顔の特徴情報を検出し、端末ユーザの正式な特徴情報として特徴記憶部５５２および管理サーバ３００に登録し直す。

図１３は、端末ユーザ設定として識別情報を登録する画面の画面例を模式的に示す図である。画像枠６１０には前図で撮影した画像が表示され、画像枠６１０の下方にはユーザ名欄６３６、アドレス欄６３７、パスワード欄６３８が表示される。ユーザは、ユーザ名欄６３６に好みのユーザ名を入力し、アドレス欄６３７に自分のメールアドレスを入力し、パスワード欄６３８に任意のパスワードを入力してから、登録ボタン６３２を操作する。これにより、ユーザの識別情報が登録され、次図の補正画面に遷移する。ここでは端末ユーザのユーザ名が「Ａ」として登録されることを前提として以下を説明する。なお、本実施形態では識別情報を先に登録させてから補正の既定値を登録する仕様としているが、先に補正を実行して補正の既定値を登録してから識別情報を登録させる順序としてもよい。なお、すでにユーザ登録済みの端末ユーザが、アプリを再インストールした場合や機種変更などで別の端末装置５００にアプリをインストールした場合には、図１３と同様の認証画面において登録済みのユーザ名またはメールアドレス、および、パスワードを入力させる。入力されたユーザ名またはメールアドレスとパスワードは管理サーバ３００へ送信され、正しい情報として認証されると、登録済みの端末ユーザの特徴情報などが管理サーバ３００から送信されて端末内に登録される。このようにして端末ユーザの環境を新しい端末装置５００などへ移行ないし再設定することができる。

図１４は、第１の補正として「テイスト」をユーザに選択させる画面例を模式的に示す図である。タッチパネル画面６０１には、端末ユーザである「Ａさん」の顔画像を画像枠６１０に表示するとともに、補正対象者である「Ａさん」のニックネームを補正対象ユーザ名６２０として表示することで、現在「Ａさん」が補正中であることを示す。画像枠６１０の下方には、テイスト選択ボタン６２１として「かわいい」「キレイ」「ナチュラル」の３つの選択肢を表示し、ユーザに選択させる。ユーザがいずれかの選択ボタンを操作すると、その選択ボタンが太枠で囲まれて色が変わるといった強調表示がなされ、その選択ボタンに対応する補正が画像枠６１０の画像に実行される。タッチパネル画面６０１の下部には、画面切替選択ボタン６３０として「補正完了」と「次の補正」と表記されたボタンが表示される。ユーザが「次の補正」をタッチ操作すると、この画面における補正項目「テイスト」の選択が終了して次の補正項目の設定画面に切り替わる。一方、ユーザが「補正完了」をタッチ操作すると、次の補正項目には移動せずに現時点での補正内容で確定させてすべての補正項目について完了させる。

図１５は、第２の補正として「写りの仕上がり」をユーザに選択させる画面例を模式的に示す図である。タッチパネル画面６０１において、画像枠６１０および補正対象ユーザ名６２０は前画面の図１４と同様である。画像枠６１０の下方には、目選択ボタン６２２、輪郭選択ボタン６２３、小鼻選択ボタン６２４が表示される。目選択ボタン６２２として、異なる目の大きさを示す３つの選択肢「目１」「目２」「目３」が表示され、初期的には前画面で選択した「かわいい」のテイストに対応する「目３」が選択状態となって強調表示される。この時点で、設定値「目３」に基づく補正がすでに施されている。輪郭選択ボタン６２３として、異なる輪郭形状を示す３つの選択肢「輪郭１」「輪郭２」「輪郭３」が表示され、初期的には前画面で選択した「かわいい」のテイストに対応する「輪郭１」が選択状態となって強調表示される。この時点で、設定値「輪郭１」に基づく補正がすでに施されている。小鼻選択ボタン６２４として、異なる小鼻形状を示す３つの選択肢「小鼻１」「小鼻２」「小鼻３」が表示され、初期的には前画面で選択した「かわいい」のテイストに対応する「小鼻１」が選択状態となって強調表示される。この時点で、設定値「小鼻１」に基づく補正がすでに施されている。ユーザが他のボタンをタッチ操作すると、そのタッチしたボタンに強調表示対象が切り替わり、画像枠６１０の顔画像に施される補正も、ユーザにより選択された項目に対応する補正設定値に基づく補正に切り替わる。

タッチパネル画面６０１の下部には、画面切替選択ボタン６３０として「戻る」「補正完了」「次の補正」と表記されたボタンが表示される。ユーザが「戻る」をタッチ操作すると、図１４の前画面に戻り、「次の補正」をタッチ操作すると、この画面における補正項目「写りの仕上がり」の選択が終了して次の補正項目の設定画面に切り替わる。ユーザが「補正完了」をタッチ操作すると、次の補正項目には移動せずにすべての補正項目について完了させる。

図１６は、第３の補正として「肌の明るさ」をユーザに選択させる画面例を模式的に示す図である。タッチパネル画面６０１において、画像枠６１０および補正対象ユーザ名６２０は図１４、図１５と同様である。画像枠６１０の下方には、肌選択ボタン６２５として、異なる肌の明るさを示す３つの選択肢「美黒」「おすすめ」「美白」が表示され、初期的には図１４の画面でユーザが選択した「かわいい」のテイストに対応する「美白」が選択状態となって強調表示される。この時点で、設定値「美白」に基づく補正がすでに施されている。タッチパネル画面６０１の下部には、画面切替選択ボタン６３０として「戻る」「補正完了」と表記されたボタンが表示される。ユーザが「戻る」をタッチ操作すると、図１５の前画面に戻り、「補正完了」をタッチ操作すると、すべての補正項目について補正が完了し、端末ユーザ設定も完了する。端末ユーザ設定として登録される識別情報、補正の既定値、顔の特徴情報は、ユーザの指示に基づいて随時変更が可能であり、一度撮影した顔画像は画像記憶部５５４に「プロフィール写真」として記憶され、端末ユーザ設定の画面を開くたびに表示されるが、この写真も図１３のように再度撮り直して差し替えることができる。「プロフィール写真」として画像記憶部５５４に記憶される画像は管理サーバ３００にも送信され、識別情報と対応づけられて管理サーバ３００に記憶される。

なお、図１４〜１６においては、複数の補正項目についてそれぞれボタンで選択肢を提示し、ユーザに選択させる仕様を説明した。変形例においては、ボタン操作ではなく、画像枠６１０の顔画像に直接指でタッチ操作することで自由に変形ないし修正できるようなインタフェースとしてもよい。例えば、目、輪郭、小鼻などの形状や大きさを変えたい場合に、指２本でタッチしてその２本の指を狭める「ピンチイン」や２本の指を広げる「ピンチアウト」といった操作により、形状や大きさを多段階調整できるインタフェースとしてもよい。別の変形例においては、目、輪郭、小鼻などの部分をタッチ操作するたびに複数の選択肢の中で順に切り替えて補正を実行するインタフェースとしてもよい。例えば、「目１」の補正が反映された状態で目の部分をタッチすると、「目２」の補正に切り替わって反映され、さらにタッチするたびに「目３」「目１」「目２」のように循環して補正が施される方式である。これらの変形例では、選択肢のボタンを表示する必要がないため補正の段階を限定せずに多段階調整を可能とするだけでなく画面構成をシンプルにすることができる。また、図１４〜１６のように画面を切り替える必要がなく、また補正の順序に囚われずに自由な順序で補正を実行することができる。

図１７は、端末ユーザが未設定のまま初回の撮影を実行した場合の画面例を示す。端末ユーザが未設定のまま初回の撮影を実行すると、本図の画面を表示させて、撮影画像に被写体として含まれる人物が端末ユーザであるか否かを設定する。図示する例は２人の人物が検出された場合であり、それぞれの顔を囲むように第１ユーザ枠６１１、第２ユーザ枠６１２を表示する。初期的には点線によるユーザ枠を表示し、「端末ユーザはどちら？」といった質問を表示していずれかの枠の選択をユーザに促す。例えばユーザが左側の第１ユーザ枠６１１を選択すると、第１ユーザ枠６１１で囲まれた人物が端末ユーザとして特定され、この人物の画像に対する図１４〜１６の補正処理に遷移する。このとき、補正処理の前に図１３の識別情報の登録画面に遷移して、先に端末ユーザの識別情報を登録させる仕様としてもよい。あるいは「すぐに登録」「後で登録」のように端末ユーザの識別情報の登録タイミングを補正処理の前と後のどちらがよいかユーザに選択させる仕様としてもよい。補正処理の後で端末ユーザの識別情報を登録する場合は、図１６において「補正完了」のボタンを操作して補正が完了したタイミングで図１３における端末ユーザの識別情報登録画面に遷移してもよい。または、すべての人物について補正が完了するまで待ってから図１３における端末ユーザの識別情報登録画面に遷移してもよい。端末ユーザについての補正処理が図１６の画面において完了すると、その補正の設定値が端末ユーザの補正の既定値として登録される。端末ユーザの補正の既定値ないし識別情報の登録が終わると、次図の画面に遷移する。なお、ユーザがスキップボタン６４０を操作した場合は、端末ユーザおよび他のユーザの特定はせずに図１４〜１６の補正処理を一人ずつ進める。

図１８は、画像から人物を検出してユーザを特定する画面例を模式的に示す図である。左の人物はすでに端末ユーザとして特定されているため、第１ユーザ枠６１１の下に端末ユーザのユーザ名「Ａさん」の文字を第１ユーザ名６１３として表示する。一方、右の人物の第２ユーザ枠６１２の下にはその人物の顔の特徴情報を特徴照合部５２３が照合して得られたユーザ名を「Ｂさん？」というように疑問符とともに第２ユーザ名６１４として表示する。ユーザが第２ユーザ枠６１２を選択すると第２ユーザ枠６１２は太枠の強調表示に変化させることで選択状態であることを示すとともに、認証処理部５６０は「Ｙｅｓ」「Ｎｏ」のボタン（図示せず）を表示し、ユーザが「Ｙｅｓ」をタッチ操作したときにパスワード欄６１５を表示するとともに「パスワードを入力してください」と表示する。認証処理部５６０は、ユーザが入力したパスワードを暗号化して管理サーバ３００に送信し、そのパスワードが「Ｂさん」に対応づけられたパスワードと一致した旨の応答を受信したときに右の人物は「Ｂさん」であることを確定させ、その人物について図１４〜１６の補正処理へ遷移する。このように、端末ユーザとその他のユーザとで、本人確認としてパスワードなどの識別情報の入力を要求するか否かが異なる。端末ユーザに関しては被写体として含まれる可能性がつねに高いことから誤認識の可能性が低く、個人情報保護の問題も少ないためであり、逆に他のユーザに関しては誤認識のおそれや個人情報保護の観点から本人確認の要求度合いを高めている。変形例においては、パスワードの代わりに指紋情報などの生体情報を入力させて、その生体情報を暗号化して管理サーバ３００に送信し、認証させる仕様としてもよい。

なお、第２ユーザ枠６１２のユーザに関する照合の結果、総合スコアが所定の基準値を超えるような特徴情報が複数存在した場合に、スコアの高い順に複数のユーザ候補を一人ずつ表示し得るようにしてもよい。例えば、第２ユーザ名６１４としてスコアが最も高い「Ｂさん？」を表示し、ユーザが「Ｎｏ」を選択した場合は次点のスコアである「Ｃさん？」の表示に切り替え、さらに「Ｎｏ」を選択すれば次点のスコアである「Ｄさん？」の表示に切り替えるなど、複数人にわたって次々に候補を表示し得る仕様としてもよい。そして、ユーザが「Ｙｅｓ」を選択してパスワードの認証が得られるか、所定の基準値を超える複数のユーザ候補のすべてを表示し終えるまで候補の提示を繰り返してもよい。また、ユーザが「Ｎｏ」をタッチ操作したときはそのユーザ名の表示をいったん消去させるが、あらためてユーザがユーザ枠をタッチ操作したときに、次点候補のユーザ名を表示してもよい。または「Ｎｏ」がタッチ操作されたときに「ユーザを再特定する」「ユーザ名を手入力する」といった選択肢を表示し、ユーザの自動特定と手動入力のいずれにすべきかをユーザに選択させてもよい。あるいは、第２実施形態として後述する方法で他のユーザを特定してもよい。ユーザが「ユーザを再特定する」を選択した場合は次点候補のユーザ名を表示する。ユーザが「ユーザ名を手入力する」を選択した場合は、ユーザ名とパスワードの入力欄を表示して、それぞれをユーザに入力させ、これらの情報を暗号化して管理サーバ３００に送信し、一致するユーザのユーザ名が返送されたときにそのユーザで確定させる。変形例として、第２ユーザ枠６１２のユーザに関する照合の結果、総合スコアが所定の基準値を超えるような特徴情報が複数存在した場合に、その複数人のユーザ候補の選択肢を「Ｂさん？」「Ｃさん？」「Ｄさん？」のように一度に提示してユーザにいずれかを選択させる仕様としてもよい。ユーザの選択が確定すると、その人物について図１４〜１６の補正処理へ遷移する。被写体として含まれる一人または複数人のユーザの特定および補正処理が終わると初回の撮影が終了するが、ユーザが「Ｎｏ」を選択するなどして一部のユーザを特定しないまま補正処理に移行する場合は画面切替選択ボタン６３０をタッチ操作すればよい。なお、図１８の例のように第１ユーザ枠６１１の人物が端末ユーザとして登録済みのユーザである一方で第２ユーザ枠６１２の人物がユーザ登録されていないような場合、第２ユーザ枠６１２の人物についてユーザ登録ができるようにしてもよい。例えば、第２ユーザ枠６１２をタッチしたときに「ユーザを再特定する」「ユーザ名を手入力する」といった選択肢以外に「ユーザを登録する」のような選択肢をさらに表示し、この選択肢をユーザが選択した場合は図１３〜１６の画面に遷移してユーザ登録および補正値の設定をさせてもよい。

ここで、遊戯用撮影装置における補正の場合、できる限り短時間に補正を処理する必要があるため、被写体として含まれるユーザ数が複数人の場合は補正内容を各自別々に設定するのが難しく、人数が多いほど設定できる補正項目を減らすことが多い。本実施形態のアプリにおいては、遊戯用撮影装置のような時間的制約が特にないことから、ユーザの人数にかかわらず各自がすべての補正項目について時間をかけて好みを設定できるように構成されている。補正の手順としては、被写体に含まれるユーザのうち所定人数ずつが順次、補正項目ごとに好みの値を設定する、または、所定人数以上であった場合に補正の手順を切り替える。本実施形態の例では、一度に一人のユーザが各補正項目に好みの値を設定でき、全ユーザについて順次設定させていく仕様とする。

２回目以降の撮影において、特に端末ユーザ設定がすでに登録されている場合には、画像の撮影直後に自動的にユーザが特定されて図１８の画面が表示される。また、他のユーザとしてすでにパスワードなどの識別情報によって認証されている場合には識別情報の再入力をさせることなくユーザを確定させ、一人一人について図１４〜１６の補正処理を実行する。このとき、端末ユーザおよび他のユーザについてそれぞれの補正の既定値を読み込むことができるため、あらためてユーザが補正の設定値を入力または変更することなく、自動的に各種の補正処理が実行されるようにしてもよい。あるいは、補正処理までは自動実行せず、既定値の設定までを自動的に実行する仕様としてもよい。その場合、補正の画面では最初から既定値に基づく選択がなされた状態となる。例えば、図１４においては、端末ユーザである「Ａさん」の補正の既定値である「かわいい」のボタンが初期的に選択状態となっており、太枠で囲まれて色が変わるといった強調表示がなされ、選択状態であることが外観で示される。また、画像枠６１０に表示される顔画像にもそのユーザの補正既定値としてあらかじめ登録された設定値に基づく補正がすでに施されている。ユーザが他のボタン、例えば「キレイ」や「ナチュラル」をタッチ操作すると、そのタッチしたボタンに強調表示対象が切り替わり、画像枠６１０の顔画像に施される補正も、ユーザにより選択されたテイストに対応する補正設定値に基づく補正に切り替わる。図１５においては、初期的に「Ａさん」の既定値である「目３」「輪郭１」「小鼻１」が選択状態となって強調表示される。画像枠６１０に表示される顔画像にも既定値「目３」「輪郭１」「小鼻１」に基づく補正がすでに施されている。ユーザが他のボタンをタッチ操作すると、そのタッチしたボタンに強調表示対象が切り替わり、画像枠６１０の顔画像に施される補正も、ユーザにより選択された項目に対応する補正設定値に基づく補正に切り替わる。図１６においては、初期的に「Ａさん」の既定値である「美白」が選択状態となって強調表示される。画像枠６１０に表示される顔画像にも既定値「美白」に基づく補正がすでに施されている。ユーザが他のボタンをタッチ操作すると、そのタッチしたボタンに強調表示対象が切り替わり、画像枠６１０の顔画像に施される補正も、ユーザにより選択された項目に対応する補正設定値に基づく補正に切り替わる。

（第２実施形態）
本実施形態においては、ユーザの顔の特徴情報、補正の既定値、識別情報等の情報をネットワーク２００を介さずに端末装置５００間で送受信する点で第１実施形態と相違する。すなわち、第１実施形態では端末ユーザ以外のユーザについては顔の特徴情報、補正の既定値、識別情報等をネットワーク２００を介して管理サーバ３００から取得したが、本実施形態ではこれらの情報を近距離無線技術を用いて他の端末装置５００から取得する。以下、第１実施形態との相違点を中心に説明し、共通点の説明を省略する。

図１９は、第２実施形態におけるユーザ特定画面の例を模式的に示す図である。まず、端末ユーザについてはその特徴情報との照合によって自動的に特定され、第１ユーザ名６１３として「Ａさん？」と表示する点は第１実施形態と同様であるが、他のユーザに関しては最初の時点では特徴情報を取得しておらずユーザ特定は行われない。ユーザ特定がなされていない第２ユーザ枠６１２をユーザがタッチ操作したときに、「近くを検索」と書かれた第１検索ボタン６４２と、「振って検索」と書かれた第２検索ボタン６４３が表示される。

「近くを検索」をユーザが選択した場合、近距離無線の通信範囲において同じアプリをインストールした端末を検出してそのユーザ名を選択候補として表示し、いずれかを選択するとその端末側のアプリに「ユーザ情報を送信してよいですか？」と表示する。その端末ユーザが同意すると、アプリに記憶されたユーザの特徴情報、補正の既定値、識別情報が送信され、元のアプリ側で受け取ることができる。

「振って検索」をユーザが選択した場合、「端末を振ってください」と表示する。ユーザが端末を振るなどのジェスチャーを行って振動を加えると、その振動を加速度センサによって検知した端末は位置取得部５８３によって位置情報を取得して識別情報とともに管理サーバ３００へ送信する。このとき、ほぼ同時、または前後間もないタイミングで他のユーザの端末にも振動を加えると、その端末側のアプリも同様に位置取得部５８３によって位置情報を取得して識別情報とともに管理サーバ３００へ送信する。管理サーバ３００では、近似する時間に近似する位置情報を送信してきた複数の端末のそれぞれに、相互の識別情報を送信して両者の端末同士が近距離無線通信を用いた直接接続を確立する。例えば、端末Ａには端末Ｂの識別情報を送信し、端末Ｂには端末Ａの識別情報を送信し、端末Ａと端末Ｂが近距離無線通信で接続される。この場合の識別情報には、端末のＭＡＣアドレスが含まれていてもよい。「Ｂさん」の識別情報を受け取った、図示する「Ａさん」の端末では第２ユーザ枠６１２の下方に「Ｂさん」の第２ユーザ名６１４を表示し、「Ｂさん」の端末から特徴情報や補正の既定値などの情報を近距離無線通信による受信する。これにより、最初にタッチ操作された第２ユーザ枠６１２の人物が「Ｂさん」と特定され、その顔画像範囲には「Ｂさん」の補正既定値に基づく補正が次以降の画面にて実行される。

以上のように、「近くを検索」「振って検索」を利用してユーザを特定する場合、そのユーザの端末が近くにあって特定内容が正しい可能性が高いことから、第１実施形態と異なりパスワード等の識別情報の入力は要求しない。ただし、変形例においては、より確実性を高めるためにパスワード等の識別情報をさらに入力させる要求をする構成としてもよい。別の変形例においては、近くにある端末同士を認識するために「近くを検索」「振って検索」を利用するだけで、補正の既定値は管理サーバ３００から取得する構成としてもよいし、無線ＬＡＮのアドホックモードで接続して直接受信する構成としてもよい。また、第２実施形態においては、端末ユーザ以外のユーザについては「近くを検索」「振って検索」によってユーザを特定し、顔の特徴情報に基づく照合を用いないが、特定した他のユーザの特徴情報を取得してデータ記憶部５５０に記憶させておく。その上で、２枚目以降の撮影画像におけるユーザ特定では「近くを検索」「振って検索」を用いることなく、第１実施形態と同様に特徴情報に基づく照合によって他のユーザを特定することができる。ただし、変形例においては、他のユーザの特徴情報を取得しない構成とし、２枚目以降の撮影画像においても１枚目と同様に「近くを検索」「振って検索」によりユーザを特定する構成としてもよい。

別の変形例においては、二次元コードを利用したユーザ特定方法をさらに設けてもよい。アプリに自分の識別情報を二次元コード化して表示する機能を設け、表示した二次元コードを他の端末のカメラでスキャンすることで識別情報を伝達することができる。

以上、本発明の実施の形態に係る画像処理システム６００について説明した。本発明は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。

上記の各実施形態においては、端末ユーザの特徴情報、補正の既定値、識別情報は端末内のデータ記憶部に記憶させる構成を説明した。変形例においては、端末ユーザの特徴情報、補正の既定値、識別情報を端末内に記憶させずに、他のユーザと同様に管理サーバ３００から取得して他のユーザと同様に識別情報による認証を経てユーザを特定する方式としてもよい。

上記の各実施形態においては、ユーザの顔に補正を加える構成を説明したが、実際にはユーザは顔写真だけでなく、全身写真をこのアプリを使用して撮影することもできる。そこで、変形例においては、顔の補正だけでなく、全身のスタイル補正、例えば脚の長さ、二の腕の細さ、腰のくびれの細さ等を補正する仕様としてもよい。その場合、図１４〜１９の画像枠６１０にはユーザの全身撮影画像を表示し、その画像に基づいてユーザの選択や設定をし、その画像に対して補正を実行する。

２００ ネットワーク、 ３１０ データ記憶部、 ３２０ 通信処理部、 ３３０ 識別処理部、 ５１０ 撮像部、 ５２０ 識別処理部、 ５３０ 画像取得部、 ５４０ 補正処理部、 ５５０ データ記憶部、 ５７１ 表示制御部、 ５８０ 通信処理部。

Claims (6)

1. ユーザＩＤを取得するＩＤ取得部と、
   前記取得されたユーザＩＤに対応づけられるユーザ情報を取得するユーザ情報取得部と、
   ユーザを撮影する撮影部と、
   撮影画像に対する前記ユーザによる編集入力を受け付ける編集部と、
   ユーザ情報に基づいて、撮影時の設定を変更する設定変更部と、を備えることを特徴とする遊戯画像撮影システム。
2. 前記ユーザＩＤは、ユーザの識別情報であり、
   前記ユーザ情報は、ユーザごとに記憶される補正の設定値を含む情報であり、
   前記撮影時の設定は、撮影画像に含まれる顔画像に対する補正の設定を含むことを特徴とする請求項１に記載の遊戯画像撮影システム。
3. ユーザを被写体に含む像を撮像する撮像部と、
   前記撮像部により撮像されるユーザの撮影画像を取得する画像取得部と、
   ユーザが自分の端末装置で事前に登録した設定を示す設定情報を所定手段を介して取得する設定取得部と、
   前記撮影画像に対する画像処理を前記設定取得部により取得された設定情報に基づいて実行する画像処理部と、
   前記撮影画像を画面に表示させる表示制御部と、
   ネットワーク上の所定のサーバとの通信を制御する通信処理部と、
   を備えることを特徴とする画像処理装置。
4. 前記設定取得部は、前記ユーザの情報端末から所定手段を介して前記ユーザが事前に登録した前記設定情報を取得することを特徴とする請求項３に記載の画像処理装置。
5. 前記設定取得部は、前記ユーザの情報端末から所定手段を介して前記ユーザの識別情報を取得し、その識別情報に基づいて所定のサーバから前記ユーザが事前に登録した前記設定情報を取得することを特徴とする請求項３に記載の画像処理装置。
6. 前記所定手段は、前記ユーザの情報端末に表示された二次元コードを読み取る装置であることを特徴とする請求項４または５に記載の画像処理装置。

Images