JP2017037615A - 遊戯用撮影装置、画像処理方法およびプログラム - Google Patents

遊戯用撮影装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2017037615A
JP2017037615A JP2015227013A JP2015227013A JP2017037615A JP 2017037615 A JP2017037615 A JP 2017037615A JP 2015227013 A JP2015227013 A JP 2015227013A JP 2015227013 A JP2015227013 A JP 2015227013A JP 2017037615 A JP2017037615 A JP 2017037615A
Authority
JP
Japan
Prior art keywords
image
person
correction
authentication
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015227013A
Other languages
English (en)
Inventor
竜介 中西
Ryusuke Nakanishi
竜介 中西
幸輔 大北
Kosuke Okita
幸輔 大北
辰巳 聡
Satoshi Tatsumi
聡 辰巳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tatsumi Denshi Kogyo KK
Original Assignee
Tatsumi Denshi Kogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tatsumi Denshi Kogyo KK filed Critical Tatsumi Denshi Kogyo KK
Publication of JP2017037615A publication Critical patent/JP2017037615A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】例外的な撮影状況による影響を低減させてユーザの好みを反映し得る遊戯用撮影装置を提供する。【解決手段】遊戯用撮影装置100において、個別認証部131は、撮像部132により撮像されるユーザの認証用の撮影画像を取得し、その画像から人物を検出する人物検出を実行し、検出した各人物の特徴を特定する人物認証を実行する。画像取得部は、撮像部132により撮像されるユーザの本撮影用の撮影画像を取得する。補正処理部142は、撮影画像に対する補正を実行する。出力処理部は、撮影された画像の出力処理を実行する。補正処理部142は、人物認証の結果に基づいて本撮影用の撮影画像に含まれる人物ごとに個別の補正を実行し、人物検出または人物認証に失敗していた場合は本撮影用の撮影画像に含まれる被写体全体に対する補正を実行する。【選択図】図8

Description

本発明は、遊戯用撮影装置、画像処理方法およびプログラムに関し、特に人物認証を用いて画像処理する装置、方法およびプログラムに関する。
従来、複数のユーザを含む被写体をカメラで複数回撮影し、その撮影画像を写真印刷シートとして出力したり、ネットワークを介して外部の装置に送信したりすることができる遊戯用撮影装置および遊戯用写真撮影サービスが知られている。このような遊戯用撮影装置では、ユーザの嗜好に応じて、例えば、次のような編集処理を行えるものが多く提案されている。まず、撮影された被写体の画像に対してクロマキー処理をし、被写体部分を抽出した被写体画像を生成する。そして、この被写体画像にユーザが選択した背景画像を合成した上で、目の色や大きさ、肌の色、顔の輪郭などに補正を加えたり、文字や模様を重ねたりするなどの編集処理(一般に「落書き」とも呼ばれる)を経て、最終的な印刷用の画像を生成する。またそうした編集機能を、一緒に撮影した複数のユーザが一度にタッチペンなどで操作できるように提供することで、撮影から編集まで友人同士が一緒に楽しむことができ、人気を博している。
特開2013−243466号公報 特開2013−243648号公報
上述のような遊戯用撮影装置において、近年、撮影前に複数のユーザの人物認証を行うとともにユーザごとに補正の好みを指定しておき、撮影後は人物認証結果に基づいて複数のユーザを特定してユーザごとに指定してあった好みの態様で補正を実行する技術が知られている(例えば、特許文献1,2参照)。しかしながら、これら人物認証に基づいて個別に補正を実行する技術は、あくまでユーザが想定通りの撮影行動をとり、想定通りの人物認証結果が得られることを前提とするが、ユーザの行動や認証結果は想定外のものとなることも考えられる。そのため、ユーザの行動や認証結果が例外的であった場合でも適切に対処してユーザの好みに最大限応えられるような機能を提供することが望ましい。一方で、想定外の状況が生まれないように、できる限り想定通りの撮影行動をユーザに促し、想定通りの人物認証結果が得られるような機能も望まれる。
本発明はこうした課題に鑑みてなされたものであり、その目的は、例外的な撮影状況による影響を低減させてユーザの好みを反映し得る遊戯用撮影装置を提供することにある。
上記課題を解決するために、本発明のある態様の遊戯用撮影装置は、ユーザを被写体とした撮影がなされる撮影空間と、撮影空間においてユーザを被写体に含む像を撮像する撮像部と、撮像部により撮像されるユーザの認証用の撮影画像を取得し、その画像から人物を検出する人物検出を実行し、検出した各人物の特徴を特定する人物認証を実行する個別認証部と、撮像部により撮像されるユーザの本撮影用の撮影画像を取得する画像取得部と、撮影画像に対する補正を実行する補正処理部と、撮影された画像の出力処理を実行する出力処理部と、を備える。補正処理部は、人物認証の結果に基づいて本撮影用の撮影画像に含まれる人物ごとに個別の補正を実行し、人物検出または人物認証に失敗していた場合は本撮影用の撮影画像に含まれる被写体全体に対する補正を実行する。
ここで「ユーザの認証用の撮影画像」は、撮影に先立って事前設定された撮影人数に応じて取得してもよいし、事前設定なしに取得してもよい。事前設定された撮影人数に応じて取得する場合、撮影人数が所定人数以内の場合はユーザの人数分だけ取得し、所定人数を超える場合は取得しないこととしてもよい。事前設定なしに取得する場合、撮像部により撮像されるユーザの画像から撮影人数を検出して、その撮影人数が所定人数以内の場合に取得することとしてもよい。「人物検出」は、画像に含まれる人物の像全体を検出してもよいし、主に顔の部分を中心に検出してもよい。「人物認証」は、画像に含まれる人物の像全体から個別の特徴を特定してもよいし、主に顔における個別の特徴を特定してもよい。「認証用の撮影画像」は、主に「人物検出」および「人物認証」のために取得される画像であってよく、「本撮影用の撮影画像」は、ユーザからの指定に基づいて補正や編集を経て出力用の画像とするために取得される画像であってよい。「出力処理」は、シール紙などへの媒体への印刷処理、携帯端末への無線ダイレクト送信、ユーザに画像をダウンロードさせるためのサーバへのアップロード、のいずれを含んでもよい。「個別の補正」は、「人物検出」や「人物認証」に成功した場合に実行するものであってよく、または、撮影に先立って撮影人数が事前設定された場合にはその撮影人数が所定人数以内の場合に実行するものであってもよい。「被写体全体に対する補正」は、「人物検出または人物認証に失敗していた場合」だけでなく、撮影に先立って撮影人数が事前設定された場合にはその撮影人数が所定人数を超える場合にも実行するものであってもよい。
この態様によると、人物ごとの個別の補正が事実上困難となる例外的な状況において補正処理の複雑化や不具合を回避し、可能な範囲でユーザの好みを補正に反映させることができる。
補正処理部は、人物検出または人物認証に失敗していた場合、本撮影用の撮影画像に含まれる被写体全体に対する補正に関してユーザの指示を受け付ける画面においてその補正を即時に仮反映させる対象として1枚以上のプレビュー画像を表示させるとともに、そのプレビュー画像は、認証用の撮影画像または本撮影用の撮影画像であって複数枚撮影された本撮影用の撮影画像のうち少なくとも1枚を含めて表示する画像であってもよい。「プレビュー画像」は、人物検証および人物認証に成功していた場合は認証用の撮影画像を表示すればよく、一方で人物検出および人物認証に失敗していた場合は被写体として含まれる複数のユーザのうち人物検出に成功していたユーザがいればそのユーザについてのみ認証用の撮影画像を表示してもよい。本撮影用の撮影画像を表示する場合は、目や輪郭など顔の器官や部位の補正を確認しやすいように顔がアップで写った画像またはアップで写るように拡大した画像を表示してもよい。あるいは、複数回なされる本撮影によって複数枚取得される本撮影用の撮影画像のうちの複数枚を表示してもよいし、認証用の撮影画像と本撮影用の撮影画像の双方を並べて表示してもよい。この態様によれば、人物検出や人物認証に失敗するという例外的な状況においても、可能な範囲で補正のプレビューを見やすくし、ユーザの好みを適切に補正に反映させることができる。
補正処理部は、ユーザが選択し得る補正項目の種類は撮影人数に応じて異なるとともに、撮影人数が所定人数以内の場合であって人物検出または人物認証に失敗していた場合にはその撮影人数に対応してユーザが選択し得る補正項目の種類にて撮影画像に含まれる被写体全体に対する補正を実行してもよい。「補正処理部」は、撮影人数が所定人数以内の場合は本撮影用の撮影画像に含まれる人物ごとに個別の補正を実行してもよく、撮影人数が所定人数を超える場合は本撮影用の撮影画像に含まれる被写体全体に対する補正を実行してもよい。この態様によれば、人物検出や人物認証に失敗し、撮影人数が所定人数を超える場合と同様に個別の補正ではなく被写体全体に対する補正を実行することになるという例外的な状況においても、撮影人数が所定人数以内の場合と同様の補正項目の種類となるよう可能な範囲でユーザの好みを補正に反映させることができる。
認証用の撮影画像を取得する際に、撮影対象となる被写体の映像を画面にリアルタイム表示させるとともに、そのリアルタイム表示する被写体を走査するように仮想的な走査線をリアルタイム表示する被写体の上に重ねて表示する表示制御部をさらに備えてもよい。「仮想的な走査線」は、実際の処理として「走査」を実行することを要しない趣旨であって、その「走査線」の表示によって「認証用の撮影画像」をこれから撮影することをユーザに把握させる趣旨である。この態様によれば、仮想的な走査線をリアルタイム表示する被写体の上に重ねて表示することで現在撮影中であることをユーザに把握させて撮像部のある方向に注目させることができ、適切な撮影を効果的に促すことができる。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、例外的な撮影状況による影響を低減させてユーザの好みを反映し得る遊戯用撮影装置を提供できる。
写真撮影システムの全体構成を模式的に示す図である。 遊戯用撮影装置を左前側から見た斜視図である。 図2に示す遊戯用撮影装置を上から見た平面図である。 撮影筐体の斜視図である。 編集筐体の斜視図である。 出力筐体の正面図である。 遊戯用撮影装置のハードウェア構成を模式的に示すブロック図である。 遊戯用撮影装置の機能構成を模式的に示す機能ブロック図である。 事前設定から本撮影までの過程を示すフローチャートである。 補正および編集の過程を示すフローチャートである。 出力処理の過程を示すフローチャートである。 事前設定部のタッチパネルに表示される受付画面の例を示す図である。 事前設定部のタッチパネルに表示される名前入力画面の例を示す図である。 撮影人数が2人の場合の個別認証撮影における画面例を示す図である。 撮影人数が3人の場合の個別認証撮影における画面例を示す図である。 本撮影におけるアップ撮影の画面例を示す図である。 本撮影における全身撮影の画面例を示す図である。 撮影人数が2人の場合における補正方法の選択画面例を示す図である。 撮影人数が3人の場合における補正方法の選択画面例を示す図である。 撮影人数が「大人数」の場合における補正方法の選択画面例を示す図である。 印刷シートデザインを選択する画面の例を示す図である。 タブごとの印刷シートデザインの例を示す図である。 事前設定の過程を示すフローチャートである。 撮影空間における撮影の過程を示すフローチャートである。 補正および編集の過程を示すフローチャートである。 出力処理の過程を示すフローチャートである。 事前設定部のタッチパネルに表示される受付画面の例を示す図である。 カップルコースを選択した場合の個別認証撮影における画面例を示す図である。 カップルコースの場合における補正方法の選択画面例を示す図である。
(第1実施形態)
<写真撮影システムの概要>
図1は、写真撮影システム600の全体構成を模式的に示す図である。写真撮影システム600は、インターネット等のネットワーク200を介して接続する遊戯用撮影装置100、管理サーバ300、および複数の端末装置500を含む。本図では、端末装置500aと端末装置500bとのふたつの端末装置を図示しているが、端末装置500の数は2に限られず、3以上であってよい。以下、本明細書において、それぞれの端末装置500を特に区別する場合を除き、単に「端末装置500」と総称する。
遊戯用撮影装置100は、ユーザを含む被写体を写真撮影するカメラや、撮影した写真画像を編集するためのユーザインタフェースを備える電子機器を含む装置である。ユーザが遊戯用撮影装置100で写真を撮影すると、遊戯用撮影装置100は、ユーザを被写体に含む写真画像群と、プレイIDと、遊戯用撮影装置100で入力されたメールアドレスとを紐付けて管理サーバ300に送信する。プレイIDは、1プレイごとに一意に割り当てられる識別情報であり、プレイをした店舗における機種およびプレイを特定するための一意の識別情報である。写真画像群とは、所定の1プレイにおいて作成されグループ化された複数の撮影画像のことを指す。以下、本明細書において、プレイIDと、写真画像群と、メールアドレスとが紐付けられたデータを「コンテンツデータ」と記載する。また、本明細書において「撮影画像」というときは、撮影により得られた画像だけでなく、撮影後に補正や編集を施したり、出力のためにサイズ変更や画質変更を施した画像を含む場合があってもよい。同様に「出力用画像」というときは、画面表示用の画像と印刷用の画像と送信用の画像とを含んでもよく、それぞれのハードウェア仕様、ソフトウェア仕様、通信仕様などの各仕様に応じてサイズ変更や画質変更を施したものをすべて含んでもよい。
管理サーバ300は、遊戯用撮影装置100から取得したコンテンツデータ(プレイID、写真画像群、遊戯用撮影装置100で入力されたメールアドレス)や写真撮影サービスの利用履歴等のユーザ情報を管理するサーバである。管理サーバ300は、コンテンツデータに含まれる写真画像群にアクセスするためのコンテンツアクセス情報を、当該コンテンツデータに含まれるメールアドレス宛に送信する。これにより、各ユーザが所持する端末500は、コンテンツアクセス情報が記載されたメールを取得することができる。コンテンツアクセス情報は、例えば管理サーバ300にアクセスするためのURL(Uniform Resource Locator)であり、このURLの中にはプレイIDが含まれている。
携帯端末500は、このメールのURLにアクセスすることにより、URLに含まれるプレイIDに紐づけられた写真画像群を取得することができる。
ユーザは、遊戯用撮影装置100のユーザ向けに設計され、ユーザ自身の端末装置500にインストールされた専用の情報提示アプリケーションを用い、コンテンツアクセス情報をもとに管理サーバ300にアクセスし、自身の端末装置500に写真画像群をダウンロードする。ユーザは端末装置500上で写真画像群を編集することもできる。情報提示アプリケーションは、ネットワーク200を介して管理サーバ300からダウンロードできる。
<遊戯用撮影装置の外観>
図2は、遊戯用撮影装置100を左前側から見た斜視図である。図3は、図2に示す遊戯用撮影装置100を上から見た平面図である。以下では、図2に示す前後左右の方向を基準として、他の図面も説明する。図2および図3に示すように、遊戯用撮影装置100は、前部側の撮影部50と後部側の編集部51とを備え、前後方向に長いほぼ直方体状を呈している。撮影部50の左側面または右側面にはコインの投入と撮影人数を含む撮影内容を事前設定する事前設定部40が設けられ、編集部51の後端には、編集後の写真の出力等をするための出力部52が設けられている。
撮影部50は、ユーザを撮影するカメラが内蔵された撮影筐体11と、この撮影筐体11の後方に撮影空間10を介して配置された背景壁部12とを有する。撮影筐体11の側面と、背景壁部12の側面との間の隙間が、撮影空間10への出入口である第1出入口101a,101bを構成する。事前設定部40は、撮影人数を含む撮影内容の設定項目を表示してユーザからの指示を受け付けるタッチパネル41と、コインの投入口と返却口を含むコイン投入部42を有する。事前設定部40の筐体は、図では撮影部50の左側面に着脱自在に取り付けた例を示すが、遊戯用撮影装置100を設置する店舗のレイアウトに応じて左右側面のいずれかに取り付ければよい。ユーザは事前設定部40を取り付けた側の入口から撮影空間10へ入る。編集部51は、背景壁部12の後方に隣接して配置された編集筐体21を有する。編集筐体21には、左右の方向を向く一対の操作面が設けられる。ユーザは各操作面への入力作業をする編集空間20a,20bに、第2出入口201a,201bを介して入ることができる。出力部52は、編集筐体21の後端面と接する出力筐体31を有する。出力筐体31に対しては、ユーザが遊戯用撮影装置100の後端側から操作するように、操作面が後端側を向いている。したがって、出力筐体31の後端側の空間が、ユーザが出力操作をするための出力空間30となる。なお、変形例として、事前設定部40を備えない形で遊戯用撮影装置100を構成してもよいし、編集部51ないし編集空間20を備えない形で遊戯用撮影装置100を構成してもよい。
撮影筐体11と背景壁部12との上端部の側面は、前後方向に延びる天井フレーム13によって互いに連結される。天井フレーム13の枠内部には、撮影空間10を上から覆い、照明およびフラッシュ照射する天井照明ユニット14が設けられる。撮影筐体11の左側面または右側面には、遊戯用撮影装置100の使用方法を含む説明書きを掲示するための掲示スペース15が設けられる。掲示スペース15の上部には、撮影筐体11が使用中であるか否かを示す表示部16が設けられる。
表示部16は、発光または消灯される表示灯(図示せず)を備える。表示部16は、表示灯の発光によって撮影部50が使用中であることをユーザに示し、消灯によって撮影部50が空きになったことをユーザに示す。遊戯用撮影装置100は、表示部16が左右方向外側に突出した平面視三角形状に形成されているが、その形状は特には限定されず、凸湾曲状などのその他の形状であってもよい。
背景壁部12は、撮影筐体11とほぼ同じ幅および高さの板状部材によって形成され、撮影筐体11の正面と対面する本体プレート121と、この本体プレート121の左右両端から前方に延設された一対のサイドプレート122とを有する。このため背景壁部12は、全体として平面視コ字状に形成されている。本体プレート121において、撮影筐体11を向く面には、クロマキー処理のための単一の色(例えば、青色または緑色)が着色される。着色については、本体プレート121に直接ペンキなどで着色するほか、着色された布地、プレート等を取付けてもよい。図示はしないが、撮影空間10の床面には、この本体プレート121と連続するように、当該本体プレート121と同様にクロマキー処理のための単一色が着色される。撮影筐体11の後端縁と、天井フレーム13の下端縁と、サイドプレート122の前端縁とから、上述したように、撮影空間10に出入りするための第1出入口101a,101bが構成される。
編集筐体21は、左右両側から2組のユーザが同時に編集可能な対面式であり、左右それぞれに操作面が設けられる。編集筐体21は、左右方向の長さが背景壁部12の同方向の幅よりも短い。編集筐体21は、その前端面を背景壁部12の背面の中央部に接続される。編集筐体21の左右両側方のスペースが、2組のユーザがそれぞれ編集作業を行う編集空間20a,20bとなる。編集筐体21の上方には、平面視においてほぼコの字状のカーテンフレーム22が設けられる。カーテンフレーム22は、前後方向に延びる一対の側部フレーム221と、この側部フレーム221の後端同士を連結する左右方向に延びる後部フレーム222とからなる。図示はしないが、編集筐体21の内部には、例えばPC(Personal Computer)等のCPU(Central Processing Unit)を備える計算機が設置される。
各側部フレーム221の前端は、天井フレーム13の後端に前後方向に延長状に連結され、後部フレーム222の中央部は、編集筐体21の後上端部に設けられた支持部材23によって支持される。左右一方側の側部フレーム221と、後部フレーム222のほぼ半分の長さ部分により、編集空間20a,20bに出入りするための前記第2出入口201a,201bの上枠部が構成される。
<撮影筐体>
図4は、撮影筐体の斜視図である。撮影筐体11の室内側面には、撮影空間10を前方から明るく照らすとともに、フラッシュ照射する正面照明ユニット115が設けられる。正面照明ユニット115は、中央上側のユニット部分115Aと中央下側のユニット部分115Bとで構成される。中央上側のユニット部分115Aおよびユニット部分115Bは、一体的に連結され、凹湾曲状に形成される。ユニット部分115Aの中央には、被写体を正面から主にアップで撮影するための正面カメラ111が搭載される。正面カメラ111の下方にはタッチパネル式の正面モニタ113が設けられ、正面カメラ111で撮像される画像および撮影方法の案内が表示されるとともに、案内にしたがって入力されるユーザのタッチ操作を受け付ける。正面モニタ113の右側方には、被写体となるユーザの全身を側方から広角で撮影するための側方カメラ112が搭載される。側方カメラ112の下方には側方カメラ112で撮像される画像が表示される側方モニタ114が設けられる。なお、変形例として撮影空間10の外に事前設定部40が設置されない構成の場合、正面モニタ113または側方モニタ114の下方にコイン投入部42を設けてもよい。また、側方カメラ112はタッチパネル式ではないが、変形例においては正面モニタ113と同様にタッチパネル式で構成してもよい。
<編集筐体>
図5は、編集筐体の斜視図である。編集筐体21は、下部側の制御ボックス211と、この制御ボックス211の上に設けられた編集台部212とを有する。制御ボックス211の内部には、メインコンピュータユニットおよびI/Oコントローラなどの各種の制御装置が内蔵され、この制御装置が遊戯用撮影装置100の全体の動作を制御する。
編集台部212は、左右方向を向く山形の傾斜面により形成され、各傾斜面に編集作業をするための操作面が設置される。具体的には、各操作面にはタブレットを内蔵した液晶モニタで構成された編集用モニタ213が設けられ、各編集用モニタ213の左右両側には2本のタッチペン214A,214Bが接続される。編集用モニタ213はタッチパネルであり、ユーザはこのタッチペン214A,214Bのペン先を編集用モニタ213の画面に接触させることにより、画面表示されたアイコンを選択する選択入力や、文字や描画の落書きをする場合の手書き入力ができる。なお、図5では、左側の編集用モニタ213を示すが、右側の編集用モニタ213も左側と同様の構造である。また、制御ボックス211の制御装置は、左右両側の編集用モニタ213への入力情報に対応する処理を個別に並列処理できる。
<出力筐体>
図6は、出力筐体の正面図である。出力筐体31は、編集筐体21の後端部に接する矩形状の筐体であり、後端側を向く面に操作面が設けられる。操作面の上部中央にはタッチパネル式の液晶モニタ311が設けられ、この液晶モニタ311に、出力の説明などが表示される。
液晶モニタ311の下方には非接触通信部312が設けられ、近接する非接触型IC(Integrated Circuit)と通信することで、非接触型ICからのデータの読み出しや非接触型ICにデータを書き込む。例えば、FeliCa(登録商標)などを利用できる。非接触通信部312の下にはシール紙排出口313が設けられる。シール紙排出口313には、編集部において編集処理を行うことによって作成した画像が印刷された写真印刷シートが排出される。そのため、出力筐体31にはプリンタが内蔵され、プリンタは写真印刷シートを印刷する。シール紙排出口313の下にはスピーカ314が設けられ、出力処理における案内音声、BGM、効果音等の音を出力する。なお、本実施の形態では、出力筐体31を編集筐体21と別体としているが、これらを一体的な筐体で構成することもできる。
<遊戯用撮影装置のハードウェア構成>
図7は、遊戯用撮影装置100のハードウェア構成を模式的に示すブロック図である。遊戯用撮影装置100では、バスXを介して、制御部53、記憶部54、撮影部50、事前設定部40、編集部51、出力部52が電気的に接続される。制御部53は、公知のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備える。制御部53では、記憶部54に記憶されるプログラムを実行し、遊戯用撮影装置100の全体の動作を制御する。バスXには、通信部55、外部ドライブ56も接続される。なお、制御部53、記憶部54、通信部55および外部ドライブ56は、公知のコンピュータにより構成してもよく、このようなコンピュータが上述した編集筐体21の制御ボックス211に内蔵される。
記憶部54は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体で構成され、制御部53から送信された各種の設定情報を記憶する。記憶部54に記憶される情報は制御部53により適宜読み出される。記憶部54には、画像の合成や編集のために用いられる各種画像データ、画像処理のためのデータが記憶される。例えば、撮影画像の背景となる背景画像データなどが記憶される。制御部53のROMには、ファームウェアなどのプログラムや設定情報などのデータが記憶され、RAMには、制御部53において処理するデータやプログラムが一時的に記憶される。以下では、RAM、ROMをまとめてメモリということがある。
通信部55はインターネットなどのネットワークと接続するためのインタフェースであり、制御部53による制御にしたがって外部の装置と通信する。外部ドライブ56は、光ディスクや半導体メモリなどのリムーバブルメディアに対する読み出しや書き込みを実行する。例えば、外部ドライブ56によりリムーバブルメディアから読み出されたコンピュータプログラムやデータは、制御部53に送信され、記憶部54に記憶されたり、プログラムとしてインストールされたりする。
事前設定部40は、撮影に先立ってユーザから撮影人数を含む撮影条件や撮影内容等の指示を受け取って事前設定するための装置であり、タッチパネル41およびコイン投入部42を含む。タッチパネル41は、公知のタッチパネルであり、表示装置としてユーザへの案内を表示するとともに、ユーザのタッチ操作に基づく指示を受け取る。コイン投入部42は、コイン投入口に対するコインの投入を検出する。コイン投入部42は、プレイに要する所定の金額分(プレイ料金分)のコインが投入されたことを検出した場合、そのことを表す起動信号を制御部53に出力する。なお、コイン投入部42に代えて、電子マネーやクレジットカードによるプレイ料金の支払を受け付け、当該起動信号を制御部53に出力する装置を設けてもよい。
撮影部50は、撮影空間10における撮影処理をするために、照明制御部18、正面カメラ111、側方カメラ112、正面モニタ113、側方モニタ114、およびスピーカ19から構成される。
正面カメラ111および側方カメラ112は、制御部53による制御にしたがって被写体を撮影する。正面カメラ111および側方カメラ112は、撮像により得られる被写体の動的映像または撮影により得られた被写体の静止画像を制御部53に出力する。上述したように、正面カメラ111は、被写体を正面から主にアップで撮影するためものであり、側方カメラ112は、被写体となるユーザの全身を側方から広角で撮影するためのものである。そのため、これらのカメラ111、112はそれぞれ、最適な画像を得るために撮影人数に応じて異なる理想的な焦点距離や画角、トリミング範囲などの設定が予め行われる。各カメラ111、112は、被写体の映像をリアルタイムに画像信号として出力する。カメラ111、112から出力された画像信号は制御部53に入力されて、その内部のメモリに一時的に記憶される。なお、上記した例では、正面カメラ111は、後述する個別認証撮影やアップでの撮影用であるため被写体となるユーザの全身までは映らない範囲で焦点距離を変更可能なズームレンズが用いられる。変形例においては、正面カメラ111のレンズとしてより広角側の焦点距離も範囲に含むズームレンズを用いることとし、その焦点距離を変更することでアップ撮影と全身撮影の両方を行えるようにしてもよい。全身撮影を行う場合は、アップ撮影よりもズームレンズの焦点距離を短くすればよい。
制御部53は、表示制御部として機能し、正面カメラ111で撮像される被写体映像の画像信号を正面モニタ113に送信するとともにタッチパネルとしての正面モニタ113に対するユーザの操作入力を受信し、側方カメラ112で撮像される被写体映像の画像信号を側方モニタ114に送信する。このとき、制御部53は被写体映像にクロマキー合成により背景画像を合成した映像や静止画像を正面モニタ113または側方モニタ114に送信してもよいし、目の大きさや輪郭に変化を加える補正処理をした映像や静止画像を正面モニタ113または側方モニタ114に送信してもよい。なお、静止画像として保存される撮影画像データ(以下、単に「撮影画像」ということもある。)は高解像度の静止画データであり、ライブ映像を表示するための撮影画像データ(「スルー画像データ」とも呼ばれる。)は低解像度の動画データである場合が多いが、高解像度の動画データとしてもよい。
正面モニタ113は、正面カメラ111が撮像中のライブ映像をリアルタイム表示する。正面モニタ113はまた、正面カメラ111および側方カメラ112で撮影された静止画像としての撮影画像を表示する。側方モニタ114は、側方カメラ112が撮像中のライブ映像をリアルタイム表示するものであり、正面モニタ113と異なりタッチパネル式ではないモニタであるが、タッチパネル式モニタで構成してもよい。また、側方カメラ112および側方モニタ114は必須の構成でなく、正面カメラ111および正面モニタ113のみでもよい。
照明制御部18は、制御部53より供給される照明制御信号にしたがって、撮影空間10内の正面照明ユニット115が照射するフラッシュを制御する。照明制御部18は、天井照明ユニット14および正面照明ユニット115の内部に設けられる電灯(LEDや蛍光灯など)を制御することで、ユーザによる撮影処理の段階に応じて撮影空間10内の明るさを調整する。スピーカ19は、ユーザによる撮影処理の段階に応じた音声を出力する。
編集部51a,51bは、編集空間20a,20bのそれぞれにおける編集処理のために設けられる。編集部51aおよび編集部51bの機能や構成は同じであるため、以下では編集部51aのみを説明し、編集部51bの説明を省略する。
編集部51aは、タブレット内蔵モニタとしての編集用モニタ213、2本のタッチペン214A,214B、およびスピーカ215から構成される。編集用モニタ213は、制御部53による制御にしたがって編集画面を表示し、編集画面に対するユーザの編集操作等を検出する。すなわち、ユーザにより、編集用モニタ213がタッチペン214A,214Bでタッチされると、その操作およびタッチペン214A,214Bのいずれでタッチされたのかが検出され、操作信号として制御部53に送信される。これにより、ユーザは編集対象である合成画像を編集する。具体的には、編集用モニタ213に表示された画像に対し、例えば、文字、模様、図形などのいわゆる落書きを、タッチペン214A,214Bなどの入力デバイスで入力する。これにより、合成画像に、落書きが重ね合わされた出力用画像が生成される。こうして生成された出力用画像に基づく画像データは、出力部52へ送信される。
出力部52は、出力空間30において出力処理を実行する。出力部52は、タッチパネル式の液晶モニタ311、非接触通信部312、およびスピーカ314を備える。その他、出力用画像を印刷するためのプリンタ34、およびシール紙ユニット35も備えている。プリンタ34は、合成画像、または補正処理や編集処理によって得られた出力用画像を、プリンタ34に装着されたシール紙ユニット35に収納されているシール紙に印刷し、シール紙排出口313に排出する。非接触通信部312は、携帯端末との間でデータを受送信する無線通信ユニットであり、例えば例えばBluetooth(商標)やNFCなどの近距離無線通信モジュールや、無線LANなどの無線ネットワーク通信モジュールが含まれる。なお、編集部51で作成された画像データは、通信部55によってネットワークを通じて外部の画像蓄積サーバに送信される。
<遊戯用撮影装置の機能構成>
図8は、遊戯用撮影装置100の機能構成を模式的に示す機能ブロック図である。遊戯用撮影装置100は、事前設定部40、撮影処理部130、表示制御部135、データ生成部140、データ記憶部150、および出力処理部160を含む。
本図は、遊戯用撮影装置100を実現するための機能構成を示しており、その他の構成は省略している。本図において、さまざまな処理をする機能ブロックとして記載される各要素は、図7に示すハードウェアであるカメラ、CPU、メインメモリ、その他のLSI(Large Scale Integrated circuit)で構成することができる。また、ソフトウェア的にはRAMにロードされたプログラム等をCPUが実行することによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
事前設定部40は、撮影に先立って、被写体となるユーザの撮影人数、名前やグループ名、好みのコンテンツセット等の撮影内容をユーザの指示に基づいて事前設定する。事前設定部40が事前設定する撮影人数としては、「2人」「3人」「大人数」のうちいずれかをユーザが選択する形で設定する。
撮影処理部130は、個別認証部131、撮像部132、画像取得部133を含む。撮像部132は、事前設定部40から受け取るプレイ開始の指示に基づき、個別認証部131または画像取得部133による制御にしたがい、正面カメラ111または側方カメラ112により1人または複数のユーザを被写体として撮像する。個別認証部131は、認証用の撮影画像の取得、取得した認証用の撮影画像に対する人物検出および人物認証を実行する。個別認証部131は、まず正面カメラ111のレンズの焦点距離を、事前設定部40により事前設定された撮影人数に応じたアップ撮影のための焦点距離となるよう制御部53を介して制御する。個別認証部131は、事前設定部40により事前設定された撮影人数が3人以内である場合に撮像部132により撮像される被写体について、ユーザの認証用の撮影画像を取得する。認証用の撮影画像は、事前設定された撮影人数分の画像枠が正面モニタ113に表示されるときに、正面モニタ113に映るユーザが自身の顔の位置を顔画像枠内に合わせた状態で撮影される。個別認証部131は、認証用の撮影画像として実際には被写体全体で1枚の撮影画像を正面カメラ111から取得し、その画像上で設定された人数分の顔画像枠に沿ってトリミングすることにより、人数分の人物ごとの認証用の撮影画像を得る。また、認証用の撮影前における撮像中の映像(以下、「ライブビュー」という)もまた、被写体全体を含む1つの映像から複数の顔画像枠にあたる部分を撮影人数分だけ切り出してユーザごとのライブビュー映像として表示する。一方、個別認証部131は、事前設定された撮影人数が3人を超える「大人数」の場合は認証用の撮影画像を取得しない。
個別認証部131は、取得した認証用の撮影画像から人物を検出する人物検出を実行する。本実施の形態における人物検出は、例えば顔検出である。個別認証部131は、認証用の撮影画像から、肌の色の領域や目、鼻などの器官を抽出して顔領域を検出する。個別認証部131は、検出した顔領域から目や鼻などの器官同士の距離や配置、大きさといった特徴量を検出し、その特徴量に基づいて各人物の特徴を特定する人物認証を実行する。
個別認証部131は、人物検出または人物認証に失敗した場合、認証用の撮影画像を再取得し、再取得した認証用の撮影画像において人物検出または人物認証を少なくとも1回、再試行する。その再試行において再び人物検出または人物認証に失敗した場合はその失敗を確定する。人物検出の失敗は、例えば画像から顔を1つも検出できない場合や、顔らしき部位を検出できたとしても目や鼻などの器官を検出できない場合である。人物認証の失敗は、例えば検出した顔から特徴量を検出できない場合や、顔の検出数より特徴量の検出数が少ない場合(3人分の顔を検出したにもかかわらず2人分の特徴量しか検出できない場合など)である。個別認証部131は、認証用の撮影画像をデータ記憶部150に一時的に記憶させる。
なお、変形例としては、撮影人数の事前設定を行わずに、撮影画像から撮影人数を検出し、検出した撮影人数に応じて以降の処理を実行する構成としてもよい。その場合、実際の撮影人数にかかわらず被写体全体でいったん人数検出用の撮影画像を撮影し、その人数検出用の撮影画像から人物検出により撮影人数を検出した上で、上述の画像枠を人数分だけ正面モニタ113に表示した上であらためて認証用の撮影画像を取得することとしてもよい。または、認証用の撮影を行うことなく、人数検出用の撮影画像を用いて人物認証を行ってもよい。あるいは、人数検出用の撮影を行うことなく、認証用の撮影前のライブビュー映像から顔を検出することで撮影人数を検出してもよい。また、顔画像枠を設定する位置は撮影人数に応じて固定的に設定するのではなく、逆にライブビュー映像から検出する顔の領域に追随する形でその顔の周囲に顔画像枠を設定することにより撮影人数分の顔画像枠を設定してもよい。
画像取得部133は、まず正面カメラ111のレンズの焦点距離を、事前設定部40により事前設定された撮影人数に応じたアップ撮影の焦点距離となるよう制御部53を介して制御する。また、画像取得部133は、側方カメラ112のレンズの焦点距離を、事前設定部40により事前設定された撮影人数に応じた全身撮影の焦点距離となるよう制御部53を介して制御する。撮像部132により撮像される被写体について、ユーザの本撮影用の撮影画像を複数回撮影して取得する。本例では、画像取得部133は、少なくとも5回の本撮影を実行し、5枚の撮影画像を生成する。画像取得部133は、取得した複数の本撮影用の撮影画像をひとまとまりの写真画像群としてデータ記憶部150に記憶させる。より具体的には、画像取得部133は、取得した複数の本撮影用の撮影画像に同一のプレイIDを付与し、かつ撮影画像を特定するために、各撮影画像に固有の画像識別子を付与する。
表示制御部135は、撮像部132により撮影中の映像(以下、「ライブビュー」という)を正面モニタ113または側方モニタ114の画面にリアルタイムで表示させる。表示制御部135は、認証用撮影において、被写体全体の1つのライブビューを、事前設定された撮影人数分の顔画像枠に分割して互いに間隔を空けた複数のライブビューとして正面モニタ113に表示させる。また表示制御部135は、認証用撮影において、被写体の顔を走査するように仮想的な走査線を、ライブビューにおける被写体の顔の上に重ねて表示する。顔の走査については後述する。
データ生成部140は、背景処理部141、補正処理部142、編集処理部143を含む。背景処理部141は、データ記憶部150に記憶される認証用の撮影画像および複数の本撮影用の撮影画像それぞれについて、撮影画像における被写体と背景画像を既知のクロマキー合成技術により合成する。すなわち背景処理部141は、撮影画像における被写体と、それ以外の領域である背景領域とを区別するための背景情報(クロマキーマスク)を2値化画像またはグレースケールの画像、あるいはそれらを圧縮したデータとして生成し、その背景情報を用いて被写体を背景から抽出した画像を取得する。認証用の撮影画像について背景処理部141は、その被写体のみの画像を、あらかじめ定められた背景画像、例えば白、グレー、黒といった単一の無彩色が一面に施された背景画像と合成する。本撮影用の撮影画像について背景処理部141は、その被写体のみの画像を、事前設定したユーザの好みの背景画像と合成する。被写体のみの画像および背景画像と合成した合成画像はデータ記憶部150に記憶される。本撮影用の撮影画像については、後の編集処理において被写体のみの画像に別の背景画像を合成してあらたな合成画像を生成し直すこともできる。背景処理部141は、撮像部132により撮影中のライブビュー映像からリアルタイムに被写体を抽出して背景画像を合成して表示制御部135により表示させる処理をしてもよい。
補正処理部142は、本撮影用の撮影画像における人物検出および人物認証を実行するとともに、本撮影用の撮影画像に対する補正を実行する。本撮影用の撮影画像における人物検出は、例えば認証用の撮影画像における人物検出と同様の顔検出である。補正処理部142は、本撮影用の撮影画像から、肌の色の領域や目、鼻などの器官を抽出して顔領域を検出する。本撮影用の撮影画像における人物認証は、認証用の撮影画像における人物認証と同様の処理および人物特定の処理を含む。より具体的には、まず本撮影用の撮影画像における人物検出により検出した顔領域から目や鼻などの器官同士の距離や配置、大きさといった人物ごとの特徴量を検出する。その人物ごとの特徴量を、あらかじめ認証用の撮影画像における人物認証によって特定されてデータ記憶部150に一時的に記憶させたユーザごとの特徴量と照合し、その照合結果に基づいて本撮影用の撮影画像に含まれる人物がどのユーザであるかを特定する処理が「人物特定」である。例えば、あらかじめ特定して記憶するユーザごとの特徴量の情報がAとBの2つある場合、本撮影用の撮影画像から特定された人物ごとの特徴量がそれぞれAとBのどちらに相対的に近似するかを照合する。これにより、本撮影用の撮影画像に含まれる人物ごとにどのユーザであるかを特定する。
本撮影用の撮影画像に対する補正は、目の色や大きさ、顔の輪郭、肌の色や質感等を変化させる処理であり、本撮影後の編集処理(特に落書きの処理)に先立ち、本撮影用の撮影画像に対して実行される。補正処理の方法は、撮影人数によって異なり、また、アップ撮影による画像か全身撮影による画像かによっても異なる。まず、撮影人数が3人以内であった場合、補正処理部142は、本撮影用の撮影画像から検出する人物がどのユーザであるかを特定する人物特定の結果に基づいて人物ごとに個別の補正を実行する。すなわち、事前設定された撮影人数が3人以内であった場合であって、認証用の撮影画像および本撮影用の撮影画像における人物検出および人物認証に成功した場合に、ユーザごとに事前設定された好みに応じて選択される補正方法にて人物ごとの個別の補正を実行する。なお、一部の人物のみ人物の特定が成功した場合は成功した人物の分だけ個別の補正を実行する形でもよい。撮影人数が3人を超える場合、補正処理部142は、本撮影用の撮影画像に含まれる各人物に対して同じ補正を実行する。撮影人数が大人数の場合は認証用の撮影画像を取得しておらず、人物認証および人物特定に基づく個別の補正の設定はなされないためである。この場合、補正処理部142は本撮影用の撮影画像において人物検出を実行して複数の人物を検出し、その各人物に対してユーザに選択された同じ補正方法にて補正を実行する。
補正方法の選択は、本撮影後における編集処理の前にユーザの指示にしたがってなされる。ユーザが選択し得る補正項目の種類は撮影人数に応じて異なり、撮影人数が2人の場合は3項目を選択でき、3人の場合は2項目を選択でき、大人数(3人を超える)の場合は1項目のみ選択できる。補正処理部142は、事前設定された撮影人数が3人以内であった場合でも、人物検出または人物認証に失敗していた場合は、撮影人数が3人を超える場合と同様に本撮影用の撮影画像に含まれる各人物に対して同様の補正を施す。この場合の補正項目の種類も、撮影人数に対応したものとする。すなわち、撮影人数が2人であれば3項目を選択でき、3人であれば2項目を選択できる。
補正方法の選択に関するユーザの指示を受け付ける画面においては、ユーザが選択中の選択肢に対応する補正をユーザの画像に即時に仮反映させるプレビュー画像を表示する。撮影人数が3人以内の場合は、その人数と同数のプレビュー画像を表示し、撮影人数が3人を超える「大人数」の場合は被写体全体で1枚のプレビュー画像を表示する。プレビュー画像としては、撮影人数が3人以内であって人物検出および人物認証に成功していた場合はユーザごとの認証用の撮影画像を用い、撮影人数が3人を超える「大人数」の場合は認証用の撮影画像が取得されていないので複数撮影された本撮影用の撮影画像からプレビューに適した1枚、例えばアップ撮影による画像を用いる。一方、撮影人数が3人以内であって人物検出または人物認証に失敗していた場合は、被写体全体に対する補正方法を選択させるため、失敗した認証用の撮影画像ではなく、複数撮影された本撮影用の撮影画像からプレビューに適した1枚を用いる。なお、認証用の撮影画像はユーザごとに顔が含まれるように撮影されるが、顔ないし人物の周囲もマージンとして含む形で撮影されるため、プレビュー画像としては余分なマージンが除かれるようにトリミングされた画像が用いられる。
補正方法の選択は、アップ撮影による画像と全身撮影による画像とで区別せずに共通の設定としてユーザに選択させるが、実際に施される補正の手法としてはアップ撮影による画像と全身撮影による画像とで相違する。例えば、アップ撮影による画像と全身撮影による画像とでは画像に写る目をはじめとする部位の大きさが異なり、顔ないし全身の印象に影響する目の印象度の割合も異なるため、目の拡大率などの設定値を僅かに変えている。この設定値の違いは、撮影人数を問わず、すなわち個別の補正か全体の補正かを問わず設けられる。
編集処理部143は、落書きと呼ばれる編集処理を実行するとともに、データ記憶部150に記憶される複数の撮影画像を含む写真画像群と、個別認証部131により特定されるユーザを識別するためのプレイIDとを紐付けたコンテンツデータを生成する。コンテンツデータには、背景処理部141が取得した背景情報や遊戯用撮影装置100の識別情報も含めてもよい。編集処理部143は、画像取得部133が一連の写真画像群を撮影する度(1プレイごと)に、コンテンツデータを生成する。コンテンツデータは、画像取得部133が生成したプレイIDを用いて一意に特定することができる。
編集処理部143は、背景処理部141による背景画像の合成と補正処理部142による補正処理がなされた撮影画像を編集対象画像とし、その編集対象画像に対して編集処理を実行する。編集処理は複数の編集対象画像に対して個別に実行されるとともに、複数のユーザからのそれぞれの指示に基づいて複数の編集対象画像に対して同時並行的に実行され得る。複数のユーザからの指示は、タッチペン214を用いた編集用モニタ213に対するユーザの編集操作、例えば使用する編集機能を選択する選択操作や編集入力の対象となる編集対象画像に対して位置を指定する入力操作により入力される。編集処理部143は、編集対象画像に対してユーザの指示に応じてスタンプ画像や文字を重畳する落書き処理と印刷レイアウトの決定を実行し、複数の出力用画像を生成し、これをデータ記憶部150に記憶させる。
出力処理部160は、印刷処理部161、無線出力部162、送信出力部163を含む。印刷処理部161は、データ記憶部150に記憶された複数の出力用画像をプリンタ34によりシール紙に印刷する。無線出力部162は、非接触通信部312を介してユーザの端末へ複数の出力用画像を送信する。送信出力部163は、ネットワークを介して管理サーバ300へすべての出力用画像を送信する。送信出力部163は、プレイの終了後にタッチパネル上に表示されるキーボードに、ユーザによって入力されたメールアドレス等の個人を特定する情報を受け付ける。送信出力部163は、入力されたメールアドレスおよびプレイIDと対応させて出力用画像を管理サーバ300にアップロードし、ユーザによって後に出力用画像をダウンロードさせることができる。管理サーバ300は、メールアドレスおよびプレイIDと対応させる形で出力用画像を記憶し、そのメールアドレス宛にそのメールアドレスに対応づけられたプレイIDを引数として含んだURLをコンテンツアクセス情報として送信する。ユーザは、受信したコンテンツアクセス情報のURLに携帯電話等の端末装置500でアクセスすることにより、所定の画像取得ウェブサイト内の自身の出力用画像をダウンロードできるページを開くことができ、ダウンロードが可能となる。また、シール紙には、出力用画像とともにプレイIDが印刷され、ユーザはそのプレイIDを所定の画像取得ウェブサイトに入力することによっても、自身の出力用画像をダウンロードできるページを開くことができ、ダウンロードが可能となる。なお、ユーザが無料会員としてメールアドレスを登録している場合は、管理サーバ300にアップロードされた複数の出力用画像のうち自身が選択した画像が取得可能なページを開くことができる。ユーザが有料会員としてメールアドレスを登録している場合は、管理サーバ300にアップロードされた複数の出力用画像のすべてが取得可能なページを開くことができる。
図9は、事前設定から本撮影までの過程を示すフローチャートである。まず事前設定部40のタッチパネル41にユーザがタッチ操作をしてスタートし、撮影人数の選択、名前の入力、および背景画像の選択を事前設定としてユーザがタッチ操作で入力する(S100)。「2人コース」が選択された場合(S101)、2人のユーザに対して認証用撮影をする旨の案内を正面モニタ113に表示し(S104)、正面カメラ111による2人用のユーザの認証用撮影を実行する(S105)。この撮影中に正面モニタ113にリアルタイム表示されるユーザの画像としては、リアルタイムに合成処理されるプレビュー画像として仮想的な走査線で走査される画像を表示する他、所定の背景画像または事前設定された背景画像を合成した画像を表示してもよい。また、認証用撮影において人物検出または人物認証に失敗した場合、個別認証部131は認証用撮影を少なくとも1回再試行し、人物検出または人物認証に再び失敗した場合にその失敗を確定する。「3人コース」が選択された場合(S102)、3人のユーザに対して認証用撮影をする旨の案内を正面モニタ113に表示し(S107)、正面カメラ111による3人用のユーザの認証用撮影を実行する(S108)。認証用撮影において人物検出または人物認証に失敗した場合、個別認証部131は認証用撮影を少なくとも1回再試行し、人物検出または人物認証に再び失敗した場合にその失敗を確定する。「大人数コース」が選択された場合(S103)、認証用撮影は行わない(S104,S105,S107,S108をスキップ)。事前設定および認証用撮影の後、本撮影として正面カメラ111によりアップの画像を3回撮影する(S106)。
アップ撮影の後、横にある側方モニタ114へ誘導する案内を正面モニタ113に表示してユーザを側方モニタ114の方向へ向かせ(S110)、ユーザの立ち位置に関する案内を側方モニタ114に表示し(S111)、本撮影として側方カメラ112によりユーザの全身画像を2回撮影する(S112)。
この時点でのプレイの残り時間を参照し(S120)、残り時間があれば(S121)、ユーザにボーナスショット撮影を提供して、S120に戻り(S122)、残り時間がなければ(S123)、落書きブース(編集空間20)へ誘導する案内を正面モニタ113に表示し(S124)、2箇所ある編集空間20a,20bのいずれへ移動すべきかを案内し(S125)、落書きブースへ移動する(S126)。
図10は、補正および編集の過程を示すフローチャートである。補正(「レタッチ」ともいう)の案内画面を編集用モニタ213に表示する(S200)。この案内画面は、「2人コース」、「3人コース」、「大人数コース」のいずれが選ばれていたかで、その内容が変わる。そして事前設定で2人コースが選ばれていた場合は(S201)、「テイスト選択」(S202)、「仕上がり選択」(S203)、「明るさ選択」(S204)の3項目についてユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正を本撮影用の撮影画像(S106で取得された3枚のアップ撮影画像およびS107で取得された2枚の全身撮影画像)に施す(S205)。事前設定で3人コースが選ばれていた場合は(S210)、「テイスト選択」(S211)と「明るさ選択」(S212)の2項目についてユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正を本撮影用の撮影画像に施す(S205)。3人の場合は2人の場合に比べて個別の好みの選択に時間を要するため、2人コースに比べて補正項目数を減らしている。事前設定で大人数コースが選ばれていた場合は(S220)、「目の大きさ、明るさ選択」(S221)の1項目についてのみユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正をすべての本撮影用の撮影画像に施す(S205)。大人数コースの場合は人数分の好みを選択させるだけの時間的な余裕がないため、ユーザごとの個別の選択ではなく全員について一括して指定できる1項目のみについて選択させる趣旨である。
「落書き準備中」から落書きの本編へ移行し(S230)、ユーザからの指示に基づいて、補正が施された複数の本撮影用の撮影画像に対して編集処理を実行した後、印刷レイアウトとして分割レイアウト選択や大きく印刷する写真の選択をユーザの指示に基づいて設定し(S232)、出力空間30への移動案内を編集用モニタ213に表示し(S233)、出力空間30(「出口コーナー」ともいう)へ誘導する(S234)。
図11は、出力処理の過程を示すフローチャートである。1人目のユーザが複数の出力用画像の中から一つ選択させる画面(送信画像選択画面)を表示する(S320)。そして、1人目のユーザのメールアドレスを入力させる画面(メールアドレス入力画面)を表示する(S321)。続いて、2人目のユーザ用の送信画像選択画面を表示し(S322)、2人目のユーザ用のメールアドレス入力画面を表示する(S323)。3人目のユーザがいる場合は(S324のY)、3人目のユーザ用のメールアドレス入力画面を表示する(S325)。さらに4人目のユーザがいる場合は(S326のY)、4人目のユーザ用のメールアドレス入力画面を表示する(S327)。3人目がいない場合はS325からS327までスキップし(S324のN)、4人目がいない場合はS327をスキップする(S326のN)。
「プリント準備中」を液晶モニタ311に表示しながら出力用画像をシール紙に印刷する(S328)。このとき、編集が完了したすべての本撮影用の撮影画像の写真画像群が管理サーバ300へアップロードされる。最後に印刷が完了したことを液晶モニタ311に表示して終了する(S329)。
図12は、事前設定部40のタッチパネル41に表示される受付画面の例を示す。受付画面では、まずコインの入力を促し、コインの入力があった後、図示するように撮影人数の選択をユーザに促す。画面には2人コースを示す「2人」、3人コースを示す「3人」、大人数コースを示す「大人数」のボタンがそれぞれ表示され、ユーザがいずれかを選択してタッチ操作することで撮影人数が事前設定される。
図13は、事前設定部40のタッチパネル41に表示される名前入力画面の例を示す。名前入力画面では、図12で選択された撮影人数に対応する画面構成にて名前入力のための入力欄およびキーボードが表示される。ここでいう「名前」は、撮影画像の編集処理において用いることを目的としてユーザに入力を求める文字情報である。名前入力画面で入力された文字情報は、例えば本撮影で使用される背景画像やらくがき本編で使用されるスタンプ、印刷シートのデザインの一部として用いられる。図13(a)は撮影人数として「2人」が選択された場合の画面例であり、左右に2つの名前入力欄およびキーボードが表示され、2人のユーザが左右で同時並行的にニックネームなどの名前を入力でき、一人一人入力させる場合に比べて入力時間を節減できる。ここで、個別の名前入力ではなく全員で一つのグループ名を入力する名前入力画面への切り替えをユーザが希望する場合は入力切替ボタン610をタッチ操作することで、図13(b)のグループ名入力画面に切り替えることができる。図13(b)は撮影人数として「3人」または「大人数」が選択された場合の画面例であり、入力欄およびキーボードは中央に一つだけ表示され、個別の名前ではなくグループ名を入力できる。ここで、グループ名の入力ではなく2人用の名前入力画面への切り替えをユーザが希望する場合は入力切替ボタン611をタッチ操作することで、図13(a)の名前入力画面に切り替えることができる。なお、切り替えを行う直前の画面において、すでに入力されていた名前については、記憶しておき、再度切り替えが行われた際には、その記憶しておいた名前がすでに入力状態となっている画面を表示してもよい。
図14は、撮影人数が2人の場合の個別認証撮影における画面例を示す。図14(a)のように、2人分の顔画像枠620を左右に並べて正面モニタ113の画面に表示する。このとき「枠の中に入って撮影してね。」といった文字列を表示することにより、2人のユーザに対して2つの顔画像枠620にそれぞれ顔が収まるように立ち位置の調節を促す。2つの顔画像枠620は少し間隔をあけて表示することにより、2人のユーザにも互いに顔が重ならないような間隔で立ち位置を調節させるよう促すことができる。2人のユーザが所定の立ち位置に立ったとき、図14(b)のように撮像部132で撮像される2人のユーザのライブビュー映像をそれぞれ顔画像枠620内にリアルタイム表示する。このとき、実際のライブビューとしては、撮影人数分の顔画像枠620を包含する全体ライブビュー枠630に1つのライブビューを表示するとともに、顔画像枠620以外の部分にグレーのフィルタが重なるような形状の透明度のあるフィルタ画像を前面レイヤーに合成する。これにより撮影人数分の顔画像枠620だけが撮影人数分のクリアなライブビューとして表示されるとともに、それ以外の部分は暗い半透明で薄く表示される。ユーザは顔画像枠620以外の部分も視認できるため、ユーザに自身の顔を顔画像枠620に収めるためにどのように動けばよいかを把握しやすくすることができる。この点、図14(a)ではまだライブビューを表示しておらず、認証用撮影の説明を表示する画面であるため、半透明のフィルタ画像は表示していない。全体ライブビュー枠630を横長の枠としているのは、複数のユーザの認証用撮影を1回の撮影で行えるよう撮影人数分の顔画像枠620を横並びで配置するためである。また、2人のユーザの顔が大きく表示されるように、本撮影における撮影画像より拡大した表示倍率にて表示する。ここで、本撮影においては後述するように縦長の撮影画像となるように正面カメラ111により縦長の画角で撮影するが、認証用撮影においても同じ正面カメラ111を使用するため、認証用撮影のライブビュー映像も本来は縦長の映像となる。そのため、縦長の映像を拡大した上で図14のように横長の画角で切り出して全体ライブビュー枠630に嵌めて表示している。また、顔画像枠620に表示される顔画像の上に仮想的な走査線621を重ね、上から下に走査しているように走査線621を顔画像枠620の上端から下端へ移動させて表示する。これにより、ユーザの顔を上から下まで走査しながら特徴量を検出して人物認証をしているかのように見せることができる。その上で図14(c)のように「カメラを見て」「正面を向いてカメラを見てね。」といった文字列を表示することにより、ユーザを正面カメラ111の方向に顔を向けさせるよう促すことができ、その状態で認証用の画像を撮影して撮影画像を取得する。
変形例として、顔画像枠620に含まれる顔ないし人物の領域のうち走査線621が通過した領域には、その顔ないし人物の領域の映像にグレーの前景画像を重ね合わせて影のように見せることで、走査済であることを表現してもよい。この場合の前景画像は、例えば走査線621を顔画像枠620の上端から下端に移動させるのと同時に被写体のクロマキーマスクを逐次生成するとともに、クロマキーマスク上で走査線621が重なる位置のY座標を取得する。その上で、取得したY座標より上部のクロマキーマスクを抽出して顔画像枠620に含まれる顔ないし人物の画像の前景として重ね、半透明のアルファブレンディングにより逐次合成する。これにより、暗い影のような半透明の前景画像が顔ないし人物の領域のうち走査線621が通過した部分にだけ掛かった映像が逐次得られる。また、ユーザの顔を走査する際に人物検出をリアルタイムに実行する構成としてもよい。その場合、ライブビュー映像上で人物検出を試行してユーザの顔が正面を向いていて人物検出が可能であることを確認したタイミングから走査線621を顔画像枠620の上端から移動開始させてもよい。また、顔画像枠620の移動開始後もライブビュー映像上で人物検出が不能となればそのタイミングで走査線621の移動を中止させることとしてもよい。そのようなライブビュー映像上の人物検出および走査線621の移動は、複数の顔画像枠620のそれぞれにおいて個別のタイミングで実行してもよい。認証用の撮影後は撮影した1枚の画像から2つの顔画像枠620の部分を切り出すことによって2枚の認証用の撮影画像を取得し、図14(d)のように2枚の認証用の撮影画像(以下、認証用撮影画像)を表示することで、認証用の撮影完了をユーザに示す。
図15は、撮影人数が3人の場合の個別認証撮影における画面例を示す。図15(a)のように、3人分の顔画像枠620を横方向に並べて正面モニタ113の画面に表示する。このとき「枠の中に入って撮影してね。」といった文字列を表示することにより、3人のユーザに対して3つの顔画像枠620にそれぞれ顔が収まるように立ち位置の調節を促す。3つの顔画像枠620は少し間隔をあけて表示することにより、3人のユーザにも互いに顔が重ならないような間隔で立ち位置を調節させるよう促すことができる。3人のユーザが所定の立ち位置に立ったとき、図15(b)のように撮像部132で撮像される3人のユーザのライブビュー映像をそれぞれ顔画像枠620内にリアルタイム表示する。このとき、3人のユーザの顔が大きく表示されるように、本撮影における撮影画像より拡大した表示倍率にて表示する。また、顔画像枠620に表示される顔画像の上に仮想的な走査線621を重ね、上から下に走査しているように走査線621を顔画像枠620の上端から下端へ移動させて表示する。これにより、ユーザの顔を上から下まで走査しながら特徴量を検出して人物認証をしているかのように見せることができる。その上で図15(c)のように「カメラを見て」「正面を向いてカメラを見てね。」といった文字列を表示することにより、ユーザを正面カメラ111の方向に顔を向けさせるよう促すことができ、その状態で認証用の画像を撮影して撮影画像を取得する。認証用の撮影後は撮影した1枚の画像から3つの顔画像枠620の部分を切り出すことによって3枚の認証用撮影画像を取得し、図15(d)のように3枚の認証用撮影画像を表示することで、認証用の撮影完了をユーザに示す。
図16は、本撮影におけるアップ撮影の画面例を示す。図16(a)のように、正面カメラ111で撮像する2人のユーザのアップでの映像を正面モニタ113の画面内のアップ撮影枠622にリアルタイム表示し、図16(b)のように「カメラを見てね」といった文字表示と「3」「2」「1」といった数字のカウントダウン値623を表示することにより、ユーザを正面カメラ111の方向へ向けさせて本撮影を実行する。本撮影の実行により取得された撮影画像は図16(c)のようにアップ撮影枠622に静止画として表示するとともに、アップ撮影枠622の下方にて横方向に並ぶ複数の撮影済画像枠624に本撮影のたびに撮影画像を左から順次表示していく。
図17は、本撮影における全身撮影の画面例を示す。本図のように側方カメラ112で撮像する2人のユーザの全身が写った映像を側方モニタ114の画面内の全身撮影枠625にリアルタイム表示し、図17(b)のように「撮影するよ!」といった文字表示と「3」「2」「1」といった数字のカウントダウン値を表示することにより、ユーザを側方カメラ112の方向へ向けさせて本撮影を実行する。本撮影の実行により取得された撮影画像は図16(c)のように正面モニタ113の撮影済画像枠624に本撮影のたびに撮影画像を左から順次表示していく。
図18は、撮影人数が2人の場合における補正方法の選択画面例を示す。上述の通り、撮影人数が2人の場合、選択画面は左右2つに分割され、ユーザごとに左画面と右画面に分かれてそれぞれ「テイスト選択」「仕上がり選択」「明るさ選択」の3項目について好みを選択できる。
図18(a)は「テイスト選択」の補正項目の選択画面であり、左画面と右画面に分かれたユーザごとのプレビュー画像枠626に顔画像が表示され、ユーザごとに選択肢ボタン627が表示される。ここでいう「テイスト」は、目や輪郭等の部分を補正する方法に関する一種の「方向性」を指し、「テイスト」ごとに補正方法に関して異なる方向性の選択肢のセットがあらかじめ定義されている。ここでは「テイスト」として「かわいい」「キレイ」「ナチュラル」の3通りの方向性が選択肢ボタン627として表示され、2人のユーザがそれぞれの好みでいずれかを個別に選択できる。まず、この選択画面に切り替わったとき、初期的に選択肢ボタン627のいずれかが選択状態で表示される。初期的に選択状態となるボタンは、例えば最も上に位置するボタンであってもよいし、遊戯用撮影装置100のお勧めする補正に対応するボタンであってもよい。また、ユーザの顔立ちを、プレビュー画像枠626に表示される顔画像から画像分析した結果に基づいていずれかのボタンが自動選択されてもよい。例えば、顔立ちの画像分析の結果、「幼い顔」と判断した場合は、実際とは逆の「キレイ」を選択し、「大人っぽい顔」と判断した場合は、実際とは逆の「かわいい」を選択するなど、分析結果とボタン種類との対応関係が「テイスト」の初期選択の基準としてあらかじめ規定されていてもよい。この場合、左画面において初期的に選択状態になるボタンは、左画面における顔画像の顔分析結果に基づいて決定され、右画面において初期的に選択状態になるボタンは、右画面における顔画像の分析結果に基づいて決定される。
選択状態となった「テイスト」に対応する内容の補正を仮反映させたプレビュー画像としての顔画像をプレビュー画像枠626に表示することで、ユーザは補正を仮に反映させた結果を即時に確認することができる。ユーザが他のボタンを選択し直すと、あらたに選択した「テイスト」に対応する補正を仮反映させたプレビュー画像がプレビュー画像枠626に表示される。左画面で選択した「テイスト」は左画面のプレビュー画像枠626にのみ仮反映され、右画面で選択した「テイスト」は右画面のプレビュー画像枠626にのみ仮反映される。顔画像を左右で入れ替えたい場合は、入替ボタン631を押すことで左画面と右画面の顔画像を入れ替えることができる。左右を入れ替える場合、それまで仮反映させていた補正をキャンセルして初期値に戻すこととしてもよいし、それまで仮反映させていた補正を維持したまま入れ替えることとしてもよい。このように仮の補正結果を確認しながら選択し、最後の「OK」ボタンを押すと「テイスト」選択が確定する。左画面と右画面の一方の画面で「OK」ボタンが押されれば、入替ボタン631が使用不能(例えば、画面から消去)になるとともに押された側の「テイスト」の選択だけが確定してその半分の画面が図18(b)の半分の画面に差し替わって次の「仕上がり」の選択に移り、他方の画面は引き続き「テイスト」を選択できる。このように、図18(b)までは左右で独立してユーザごとに補正の選択を進行させる。これにより、補正の選択を効率化してプレイ時間の短縮を図ることができる。
また、左画面と右画面が同じ選択画面(左画面と右画面が共に、「テイスト」選択画面か「仕上がり」選択画面)であるときに限り、入替ボタン631を使用可能にしているので、操作の煩雑化を低減することができる。
図18(b)は「仕上がり選択」の補正項目の選択画面であり、左画面と右画面に分かれたユーザごとのプレビュー画像枠626に顔画像が表示され、ユーザごとに選択肢ボタン627が表示される。この画面に切り替わったとき、初期的には図18(a)の画面で確定した「テイスト」に対応する内容の補正を施した顔画像に、「仕上がり」の選択画面において初期的に選択されている補正がさらに施された顔画像がプレビュー画像枠626に表示されている。ここでいう「仕上がり」は、目と輪郭に対する異なる補正方法を指し、目と輪郭のそれぞれについて3つずつの選択肢ボタン627が表示される。2人のユーザについて画面を左右に分けてそれぞれに選択肢が表示されるが、図18(a)の画面でユーザごとに選択した「テイスト」の種類に応じて異なる選択肢が表示される。例えば左画面を操作する第1のユーザが「テイスト」として「かわいい」を選択した場合は、図18(b)の左画面には「かわいい」に対応する目の大きさや色の選択肢が3つ表示され、「かわいい」に対応する輪郭の形の選択肢が3つ表示される。右画面を操作する第2のユーザが「テイスト」として「キレイ」を選択した場合は、図18(b)の右画面には「キレイ」に対応する目の大きさや色の選択肢が3つ表示され、「キレイ」に対応する輪郭の形の選択肢が3つ表示される。プレビュー画像枠626に初期的に表示されるプレビュー画像は、初期値として一番左に表示された第1の目の選択肢と第1の輪郭の選択肢の補正が反映されたプレビュー画像であり、他の選択肢を選択し直すたびにあらたな選択肢に対応する補正が反映されたプレビュー画像に切り替わる。左画面での選択は左画面のプレビュー画像枠626にのみ仮反映され、右画面での選択は右画面のプレビュー画像枠626にのみ仮反映される。顔画像を左右で入れ替えたい場合は、入替ボタン631を押すことで左画面と右画面の顔画像を入れ替えることができる。左右を入れ替える場合、それまで仮反映させていた「仕上がり」に関する補正をキャンセルして初期値に戻すこととしてもよいし、それまで仮反映させていた補正を維持したまま入れ替えることとしてもよい。なお、変形例として、ユーザの顔立ちを画像分析して顔の面積に対する目の大きさに応じて初期的に選択する目の選択肢を決定してもよい。例えば、顔の面積に対して目が大きいと判断した場合は「目1」(あまり目の大きさを変えない補正)を選択し、顔の面積に対して目が小さいと判断した場合は「目3」(目の大きさをかなり大きくする補正)を選択してもよい。また、ユーザの顔立ちを画像分析して顔の輪郭の形や縦横比に応じて初期的に選択する輪郭の選択肢を決定してもよい。例えば、顔の形や縦横比から丸みのある輪郭と判断した場合は「輪郭1」(輪郭をかなり細くする補正)を選択し、顔の形や縦横比から細めの輪郭と判断した場合は「輪郭3」(輪郭の細さをあまり変えない補正)を選択してもよい。最後に「OK」ボタンを選択することで「仕上がり」の選択が確定する。左画面と右画面の一方の画面で「OK」ボタンが押されれば押された画面の選択肢だけが確定し、他方の画面は引き続き選択できる。この時、入替ボタンが631使用不能(例えば、画面から消去)になる。ただし、左右一方の画面で「OK」ボタンが押されただけでは図18(c)の画面への切り替えはなく、左右の両画面とも「OK」ボタンが押されたときに図18(c)の画面へ切り替わる。
図18(c)は「明るさ選択」の補正項目の選択画面であり、ユーザごとのプレビュー画像枠626に顔画像が表示される。具体的には、図18(a)、(b)で確定された補正が施された顔画像に、「明るさ」の選択画面において初期的に選択されている補正がさらに施された顔画像がプレビュー画像として表示される。ここでいう「明るさ」は、肌の色や質感の明るさを指し、濃い色と質感から薄い色と質感にわたって5段階に分けた5つの選択肢ボタン627を表示する。本図の例では撮影人数にかかわらず画面はユーザごとに分割されておらず、選択肢ボタン627はユーザごとではなくユーザ全体でまとめて表示されて一つを選択する。ユーザがいずれかの段階のボタンを選択すると、両方のプレビュー画像が、そのボタンに対応する補正が反映されたプレビュー画像に切り替わる。最後に「OK」ボタンを選択することで「明るさ」の選択が確定する。
図18(a)〜(c)のプレビュー画像枠626に表示される顔画像は、個別認証部131により取得された認証用撮影画像およびその画像をベースとして選択された補正が仮反映されたプレビュー画像である。図18(a)に示す選択画面の初期状態としては、図14(d)の左側の顔画像枠620に表示されている認証用撮影画像が、左画面のプレビュー画像枠626に表示され、右側の顔画像枠620に表示されている認証用撮影画像が、右画面のプレビュー画像枠626に表示される。補正項目の選択が確定した場合、左の顔画像(左画面に表示された認証用撮影画像)に対して選択された補正は、本撮影に係る複数の撮影画像において、左の顔画像と同一人物を人物認証で特定した上でその人物の顔に対して実行される。同様に、右の顔画像(右画面に表示された認証用撮影画像)に対して選択された補正は、本撮影に係る複数の撮影画像において、右の顔画像と同一人物を人物認証で特定した上でその人物の顔に対して実行される。このように、図18(b)において個別に選択された補正は、図18(b)の「OK」ボタンが押されたときに、人物検出および人物認証の結果に基づいて抽出されるすべての同一人物に対して自動的に実行される。図18(c)において選択された補正は図18(c)の「OK」ボタンが押されたときに、本撮影に係る撮影画像に含まれるすべての人物に対して実行される。
なお、本例では、図18(a)〜(c)の各選択画面において、「OK」ボタンが押されるたびに、本撮影に係る複数の撮影画像に対して補正を実行するようにしたが、図18(c)において、「OK」ボタンが選択された際、すなわち最後の選択が完了した際に、図18(a)〜(c)の選択画面で確定した補正をまとめて実行するようにしてもよい。
ここでもし、認証用撮影画像を取得する際に人物検出または人物認証に失敗していた場合は、そもそも認証用撮影画像の撮影自体に失敗していたか、または認証用撮影画像からユーザの特徴が認識できない。よって、適切な認証用撮影画像がない可能性がある上に、少なくとも本撮影用の撮影画像において2人のユーザを区別することはできない。その場合、図18(a)および(b)のようにユーザごとに別々に補正項目を選択させるのではなく、図18(c)のようにユーザ全体で一つを選択する方式を採る。ユーザが選択し得る補正項目の種類はあくまで撮影人数に対応しており、例えば撮影人数が2人の場合は図18図(a)〜(c)の3項目のままである。プレビュー画像枠626に表示する適切な認証用撮影画像はないため、代わりに本撮影の撮影画像を表示するとともに、表示する撮影画像としては本撮影で撮影した複数の撮影画像に含まれる複数枚の画像を並べる形であってもよい。
図19は、撮影人数が3人の場合における補正方法の選択画面例を示す。上述の通り、撮影人数が3人の場合、選択画面は横方向に3つに分割され、ユーザごとに左画面、中画面、右画面に分かれてそれぞれ「テイスト選択」「明るさ選択」の2項目についてユーザは好みを選択でき、2人の場合と異なり「仕上がり選択」が含まれない。「仕上がり」、すなわち目や輪郭を3人分選択させると徒に時間を要する可能性があるため、ユーザごとに「仕上がり」を個別選択させずに、選択された「テイスト」に基づいて自動的に目や輪郭を決定することでユーザごとの補正を実行する。
図19(a)は「テイスト選択」の補正項目の選択画面であり、左画面、中画面、右画面に分かれたユーザごとのプレビュー画像枠626に顔画像が表示され、ユーザごとに選択肢ボタン627が表示される。「テイスト」として「かわいい」「キレイ」「ナチュラル」の3通りの方向性が選択肢ボタン627として表示され、3人のユーザがそれぞれの好みでいずれかを個別に選択できる。この選択画面に切り替わったとき、初期的に選択肢ボタン627のいずれかが選択状態で表示される。左画面で選択した「テイスト」は左画面のプレビュー画像枠626にのみ仮反映され、中画面で選択した「テイスト」は中画面のプレビュー画像枠626にのみ仮反映され、右画面で選択した「テイスト」は右画面のプレビュー画像枠626にのみ仮反映される。左画面と中画面で顔画像を入れ替えたい場合は入替ボタン631aを押し、中画面と右画面で顔画像を入れ替えたい場合は入替ボタン631bを押すことで顔画像を入れ替えることができる。左画面と右画面で顔画像を入れ替えたいときは、入替ボタン631a、入替ボタン631b、入替ボタン631aの順、または、入替ボタン631b、入替ボタン631a、入替ボタン631bの順で3回押すことで顔画像を入れ替えることができるが、変形例として左画面と右画面で顔画像を1回で直接入れ替えるための入替ボタンを別途設置してもよい。左画面、中画面、右画面のいずれかの画面で「OK」ボタンが押されれば押された画面の選択肢だけが確定し、他の画面は引き続き選択でき、左、中、右のすべてで「OK」ボタンが押されたときに図19(b)の画面へ切り替わる。
図19(b)は「明るさ選択」の補正項目の選択画面であり、ユーザごとのプレビュー画像枠626に顔画像が表示される。この画面に切り替わったとき、初期的には図19(a)の選択画面で確定した補正が反映されたプレビュー画像に、「明るさ」の選択画面において初期的に選択されている補正がさらに施された顔画像がプレビュー画像としてプレビュー画像枠626に表示されている。撮影人数にかかわらず画面はユーザごとに分割されておらず、選択肢ボタン627はユーザごとではなくユーザ全体でまとめて表示されて一つを選択する。プレビュー画像枠626に初期的に表示されるすべてのプレビュー画像は、初期値として中央に表示された「おすすめ」の補正が反映されたプレビュー画像である。他の選択肢を選択し直すたびに、すべてのプレビュー画像が、あらたな選択肢に対応する補正が反映されたプレビュー画像に切り替わる。最後に「OK」ボタンを選択することで「明るさ」の選択が確定する。
図19(a)(b)のプレビュー画像枠626に表示される顔画像は、個別認証部131により取得された認証用撮影画像およびその画像をベースとして選択された補正が仮反映されたプレビュー画像である。図19(a)に示す選択画面の初期状態としては、図15(d)の左側の顔画像枠620に表示されている認証用撮影画像が、左画面のプレビュー画像枠626に表示され、真ん中の顔画像枠620に表示されている認証用撮影画像が、中画面のプレビュー画像枠626に表示され、右側の顔画像枠620に表示されている認証用撮影画像が、右画面のプレビュー画像枠626に表示される。図19(a)において3人の顔画像(左画面、中画面および右画面のそれぞれに表示された認証用撮影画像)に対して個別に選択された補正は、図19(a)の「OK」ボタンが押されたときに、それぞれ本撮影に係る複数の撮影画像から同一人物として人物認証で特定した人物の顔に対して実行される。図19(b)においてユーザ全体について選択された補正は、図19(b)の「OK」ボタンが押されたときに、本撮影に係る撮影画像に含まれるすべての人物に対して実行される。
もし、認証用撮影画像を取得する際に人物検出または人物認証に失敗していた場合は、図19(a)のようにユーザごとに別々に補正項目を選択させるのではなく、図19(b)のようにユーザ全体で一つを選択する方式を採る。ユーザが選択し得る補正項目の種類はあくまで撮影人数に対応しており、撮影人数が3人の場合は図19(a)(b)の2項目のままである。プレビュー画像枠626に表示する適切な認証用撮影画像はないため、代わりに本撮影の撮影画像を表示するとともに、表示する撮影画像としては本撮影で撮影した複数の撮影画像に含まれる複数枚の画像を並べる形であってもよい。
図20は、撮影人数が「大人数」の場合における補正方法の選択画面例を示す。上述の通り、撮影人数が「大人数」の場合、「目の大きさ、明るさ選択」の1項目についてユーザは好みを選択でき、2人の場合と3人の場合のどちらよりも補正項目が少ない。「大人数」の場合、個別認証は行われず認証用撮影画像がそもそもないため、プレビュー画像枠626に表示される画像は本撮影用の撮影画像およびその画像をベースとして選択された補正が仮反映されたプレビュー画像である。本図の例では、肌の色や質感の明るさと、目の大きさや色について、ユーザ全体で一つずつを選択できる。このようにユーザ全体について選択された補正はその確定時(「OK」ボタンが選択された際)に、本撮影に係る複数の撮影画像に含まれる各人物に対して施される。
図21は、印刷シートデザインを選択する画面の例を示す。図21(a)に示す通り、画面上部には複数のタブ628が表示される。本図においては「タブA」「タブB」「タブC」「タブD」「タブE」の5種類のタブ628が表示される例が示される。ユーザがいずれかのタブ628を選択すると、表示される印刷シートデザイン632の種類が切り替わる。タブ628の種類としては、本図では「タブA」「タブB」「タブC」「タブD」「タブE」と表記しているが、より具体的な例として「切れている分割」「トレンド分割」「3人4人用分割」「細かい分割」「記念日分割」といった5種類のタブが表示される。各タブには、タブごとに異なる分割方法に合わせてレイアウトされた複数の印刷シートデザイン632が含まれ、補正および編集により生成された複数の出力用画像がシートデザイン画像上にそのレイアウトに沿って配置されて構成される複数の印刷シートデザイン632の画像がサムネイル形式で表示される。いずれかのタブをユーザが選択するとともに、選択中のタブに表示された複数の印刷シートデザイン632のうちいずれかのサムネイルをユーザが選択すると、選択した印刷シートデザイン632を実寸大に拡大した画像がプレビュー画像枠629に表示され、ユーザは印刷シートデザイン632の内容を確認することができる。
いずれかの印刷シートデザイン632のレイアウトに沿って複数の出力用画像が配置された印刷シートを印刷したユーザは、そのレイアウトごとの分割方法にしたがって印刷シートを分割するように切断し、一緒に撮影した者たちでシートを分け合うことができる。分割のレイアウトとしては、2人で分け合いやすいものから大人数で分け合いやすいものまで種々のデザインが用意され、タブを切り替えることによりユーザの好みで他の分割方法も選択できる。図21の例は、「切れている分割」すなわち主に2人で分けやすくレイアウトされたデザインであり、画面は左右二つに分けられ、ユーザごとに印刷シートデザイン632のレイアウトや画像を確認できる。このように確認しながら、いずれかのタブに分類される複数の印刷シートデザイン632の種類からユーザごとにいずれかを好みで選択する。
右画面を操作するユーザが「OK」ボタンを押して印刷シートデザインの選択を確定すると、図21(b)のように右画面の印刷シートデザインおよびプレビュー画像枠629が消去され、「となりの人が選び終わるまで待ってね。」といった文字を表示することで、右ユーザの待機と左ユーザの選択を促す。
図22は、タブごとの印刷シートデザインの例を示す。撮影人数に応じて、タブ628の種類の並び順および初期的に選択されるタブ628の種類が異なり、初期的には一番左に配置されたタブ628が選択された状態で表示される。例えば撮影人数が2人の場合(2人コースが選ばれた場合)、左から順に「切れている分割」「トレンド分割」「3人4人用分割」「細かい分割」「記念日分割」の並び順でタブ628が表示され、一番左の「切れている分割」が初期的に選択された状態で表示される。図22(a)のタブに示す「切れている分割」と、図22(b)のタブに示す「トレンド分割」は、いずれも左右で2人で分けやすいレイアウトで構成される複数の印刷シートデザイン632が含まれており、撮影人数が2人のときに優先される並び順に表示される。図22(e)のタブに示す「3人4人用分割」は、撮影人数が3人または4人のときの分割に適したレイアウトで構成される複数の印刷シートデザイン632が含まれており、撮影人数が3人以上の場合(3人コースが選ばれた場合)に優先される並び順に表示される。同様に、図22(c)のタブに示す「細かい分割」は、撮影人数が5人や6人のときの分割に適したレイアウトで構成される複数の印刷シートデザイン632が含まれている。そのため、撮影人数が3人または大人数の場合(大人数コースが選ばれた場合)は左から順に「3人4人用分割」「細かい分割」「切れている分割」「トレンド分割」「記念日分割」の並び順でタブ628が表示され、一番左の「3人4人用分割」が初期的に選択された状態で表示される。図22(d)のタブ「記念日分割」は、ユーザが所定の「記念日」に該当する特別な状況にある場合にユーザが好みで選択するレイアウトであり、いつでも優先的に表示されるべき位置づけのレイアウトではないためつねに一番右に表示される。
(第2実施形態)
本実施形態における遊戯用撮影装置は、主に女性の友達同士で撮影するコースと男女のカップルで撮影するコースとで分かれる機能を有する点で第1実施形態と相違する。以下、第1実施形態との相違点を中心に説明し、共通点の説明は省略する。
図23は、事前設定の過程を示すフローチャートである。第1実施形態における図9の「事前設定」に相当する。まず事前設定部40のタッチパネル41にユーザがタッチ操作をしてスタートし、コース選択として女性同士で撮影する「友達」コースと、男女同士で撮影する「カップル」コースのいずれかを選択する(S400)。「友達」コースを選択した場合は撮影人数として「2人」または「3人以上」のいずれかを選択し(S402)、「2人」であれば人数分だけ名前を入力し、「3人以上」であればグループ名を入力する(S404、S406)。「カップル」コースを選択した場合は撮影人数は2人で固定であるためS402の撮影人数の入力はなく、2人分の名前を入力する(S408、S410)。次に「友達」「カップル」いずれの場合も背景画像を選択し(S412)、「友達」の場合は友達用のオーナメントを選択し(S414)、友達用のカラーおまけ撮影の内容を選択する(S416)。「オーナメント」は、背景画像に付加する装飾画像であり、背景画像ごとに付加するオーナメントを選択できる。「カラーおまけ撮影」は、撮影の最後のおまけとして実行される付加的な撮影であり、ユーザは好きなテーマ色とそのテーマ色が全体的に施された枠デザインの組合せを選択できる。「カップル」の場合はカップル用のオーナメントを選択し(S418)、カップル用のカラーおまけ撮影の内容を選択する(S420)。次に「友達」「カップル」いずれの場合も撮影待ちのデモを表示し(S422)、ジングルを再生し(S424)、撮影空間10が空いたときに撮影空間10へ移動する案内画面を表示する(S426)。
図24は、撮影空間における撮影の過程を示すフローチャートである。まず正面モニタ113のタッチパネルにユーザがタッチ操作をしてスタートする。「友達」コースの撮影人数「2人」または「カップル」コースが選択されている場合、2人のユーザに対して認証用撮影をする旨の案内を正面モニタ113に表示して正面カメラ111による2人用のユーザの認証用撮影を実行する(S440)。この撮影中に正面モニタ113にリアルタイム表示されるユーザの画像としては、リアルタイムに合成処理されるプレビュー画像として仮想的な走査線で走査される画像を表示する他、所定の背景画像または事前設定された背景画像を合成した画像を表示してもよい。また、認証用撮影において人物検出または人物認証に失敗した場合、個別認証部131は認証用撮影を少なくとも1回再試行し、人物検出または人物認証に再び失敗した場合にその失敗を確定する。「友達」コースの撮影人数「3人以上」が選択されている場合はS440をスキップして認証用撮影は行わない。
次に、本撮影としてユーザの立ち位置に関する案内を正面カメラ111に表示した後、正面カメラ111によりアップの画像を3回撮影する(S442)。アップ撮影の後、横(斜め上)にある側方モニタ114へ誘導する案内を正面モニタ113に表示してユーザを側方モニタ114の方向へ向かせ、ユーザの立ち位置に関する案内を側方モニタ114に表示した後、本撮影として側方カメラ112によりユーザの全身画像を2回撮影する(S444)。さらに「カラーおまけ撮影」として正面カメラ111によりアップの画像を1回撮影する(S446)。
この時点でのプレイの残り時間を参照し(S448)、残り時間があれば、ユーザにボーナスショット撮影を提供してS448に戻り(S450)、残り時間がなければ落書きブース(編集空間20)へ誘導する案内を正面モニタ113に表示して2箇所ある編集空間20a,20bのいずれへ移動すべきかを案内し(S452)、落書きブースへ移動する。
図25は、補正および編集の過程を示すフローチャートである。補正(レタッチ)の案内画面を編集用モニタ213に表示する(S470)。この案内画面は、「友達」コースの撮影人数「2人」、「友達」コースの撮影人数「3人以上」、「カップル」コースのいずれが選ばれていたかで、その内容が変わる。そして事前設定で「友達」コースの撮影人数「2人」が選ばれていた場合は「テイスト選択」(S472)、「仕上がり選択」(S474)、「明るさ選択」(S476)の3項目についてユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正を本撮影用の撮影画像(S442で取得された3枚のアップ撮影画像およびS444で取得された2枚の全身撮影画像)に施す(S486)。事前設定で「友達」コースの撮影人数「3人以上」が選ばれていた場合は「目の大きさ、明るさ選択」の1項目についてのみユーザは好みを選択でき(S478)、「落書き準備中」を表示させるとともに好みの選択に基づく補正を本撮影用の撮影画像に施す(S486)。撮影人数が3人以上の場合は人数分の好みを選択させるだけの時間的な余裕がないため、ユーザごとの個別の選択ではなく全員について一括して指定できる1項目のみについて選択させる趣旨である。事前設定で「カップル」コースが選ばれていた場合は、「友達」コースの撮影人数「2人」と同様に「テイスト選択」(S480)、「仕上がり選択」(S482)、「明るさ選択」(S484)の3項目についてユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正を本撮影用の撮影画像に施す(S486)。ただし、この場合の「テイスト選択」「仕上がり選択」「明るさ選択」は「友達」コースの場合と内容が異なる(詳細は後述する)。
「落書き準備中」から落書きの本編へ移行し(S488)、ユーザからの指示に基づいて、補正が施された複数の本撮影用の撮影画像に対して編集処理を実行した後、印刷レイアウトとして分割レイアウト選択や大きく印刷する写真の選択をユーザの指示に基づいて設定し(S490)、出力空間30への移動案内を編集用モニタ213に表示し(S492)、出力空間30(「出口コーナー」ともいう)へ誘導する(S494)。
図26は、出力処理の過程を示すフローチャートである。複数の出力用画像の中から一つをモバイル画像として送信するか否かを選択させる画面を表示し(S500)、送信を選択した場合には複数の出力用画像の中から一つをモバイル画像として選択させる画面を表示し(S502)、ユーザのメールアドレスを入力させる画面を表示する(S504)。「プリント準備中」を液晶モニタ311に表示しながら出力用画像をシール紙に印刷する(S506)。このとき、編集が完了したすべての本撮影用の撮影画像の写真画像群が管理サーバ300へアップロードされる。最後に印刷が完了したことを液晶モニタ311に表示して終了する(S508)。
図27は、事前設定部40のタッチパネル41に表示される受付画面の例を示す。受付画面では、まずコインの入力を促し、コインの入力があった後、図27(a)のように「FRIEND」(友達コース)または「COUPLE」(カップルコース)の選択をユーザに促す。選択肢の枠内には、友達同士で撮影された画像のサンプルと、カップル同士で撮影された画像のサンプルが表示される。ユーザがいずれかを選択すると、選択した方の枠が図27(b)のように強調表示される。以降の事前設定は、第1実施形態の図12、13と同様である。
図28は、カップルコースを選択した場合の個別認証撮影における画面例を示す。図28(a)のように、2人分の顔画像枠620を左右に並べて正面モニタ113の画面に表示するとともに、枠の左側には女性画像見本640および「女の子用」の文字を表示することにより、顔画像枠620の左枠が女性用の枠であることを示す。枠の右側には男性画像見本641および「男の子用」の文字を表示することにより、顔画像枠620の右枠が男性用の枠であることを示す。顔画像枠620の左側の枠および女性画像見本640の枠は女性用であることを強調するためにピンク色が施されており、顔画像枠620の右側の枠および男性画像見本641の枠は男性用であることを強調するために水色が施されている。画面の上部には「枠の中に入って撮影してね。」といった文字列を表示することにより、男女カップルのユーザに対して男女で区別された枠にそれぞれ顔が収まるように立ち位置の調節を促す。このように、男女の枠を先に左右に分けて固定的に表示し、それぞれの性別に合うようにユーザが立ち位置を決めるよう促すことで、撮影するどちらの人物が女性で、どちらの人物が男性であるかを容易に区別することができる。変形例においては、撮影する映像に含まれる人物ごとの顔などの特徴や身長の違いといった特徴から男女のどちらであるかを画像認識で識別して、その識別結果に応じて男女の枠を左右に自動的に配置してもよい。また図28の例では2つの顔画像枠620を同じ高さの位置に設定する例を示しているが、変形例においては女性用の顔画像枠620を男性用の顔画像枠620より相対的に低くなるようにそれぞれの位置の高さを設定してもよい。男性の顔の位置より女性の顔の位置の方が低い場合が多いためであり、また、男性用の顔画像枠620の位置が低いと男性ユーザが枠に収まるために斜めに立ってしまうおそれがあり、その場合、人物検出の精度に影響が生じるおそれがあるためである。ただし、そうした枠の位置も、映像に含まれる顔の位置を識別し、その識別結果に応じて自動的に最適な高さに設定することとしてもよい。高さだけでなく水平位置や枠の大きさに関しても識別結果に応じて最適な位置または大きさに設定することとしてもよい。
ここで、本図の例では左が女性、右が男性である例を示したが、左が男性、右が女性となるように表示する場合があってもよい。例えば、次に使用される編集空間が左側の編集空間20aである場合には左を女性、右を男性とし、逆に、次に使用される編集空間が右側の編集空間20bである場合には右を女性、左を男性とするよう決定してもよい。すなわち、次に向かわせる編集空間への出口側に女性を立たせるように女性用および男性用の顔画像枠620をそれぞれ表示させる。これは、男性よりも女性の方が本装置での遊戯に慣れている場合が多く、女性の方が男性よりも率先して先導する形で編集空間へ向かう可能性が高いと考えられるためであり、出口に近い側を女性とする方が動線として効率的であるとの考え方に基づく。
撮影部50の左側面および右側面のいずれに事前設定部40が設けられているかに応じて、女性用および男性用の顔画像枠620を左右のいずれに表示するかを設定してもよい。例えば、図3のように撮影部50の左側面に事前設定部40が設けられている場合は、女性用の顔画像枠620を右に設定し、男性用の顔画像枠620を左に設定する。これは、女性の方が男性よりも先に撮影空間10に入る確率が高く、撮影空間10における初期の立ち位置は、女性が右で男性が左となることが多いと考えられるためである。女性用の顔画像枠620を右に設定し、男性の顔画像枠を左に設定しておくことにより、ユーザに立ち位置の変更をさせる確率を低くすることができる。一方、撮影部50の右側面に事前設定部40が設けられている場合は、左画像に設けられている場合とは逆で、女性用の顔画像枠620を左に設定し、男性用の顔画像枠620を右に設定する。これにより、上述したのと同様の効果を得ることができる。
ところで、図3の遊戯用撮影装置100は、背景壁部12の前側に撮影筐体11が配置された撮影部50を備えているが、撮影筐体11と背景壁部12との位置関係が図3とは逆である撮影部を備える遊戯用撮影装置も存在する。具体的には、図3の背景壁部12の位置に撮影筐体11が配置され、撮影筐体11の位置に背景壁部12が配置された遊戯用撮影装置である。このような遊戯用撮影装置では、撮影部の左側面に事前設定部が設けられている場合は、女性用の顔画像枠620を左に設定し、男性用の顔画像枠620を右に設定する。撮影部の右側面に事前設定部が設けられている場合は、女性用の顔画像枠620を左に設定し、男性用の顔画像枠620を右に設定する。
図28(a)においては、2つの顔画像枠620は少し間隔をあけて表示することにより、2人のユーザにも互いに顔が重ならないような間隔で立ち位置を調節させるよう促すことができる。2人のユーザが所定の立ち位置に立ったとき、図28(b)のように撮像部132で撮像される2人のユーザのライブビュー映像をそれぞれ顔画像枠620内にリアルタイム表示する。図28(a)で表示していた女性画像見本640と男性画像見本641はすぐに消去され、ユーザの視線を女性画像見本640や男性画像見本641ではなく顔画像枠620に注目させる。
図28(b)(c)におけるライブビューの表示方法や仮想的な走査線621の表示方法は第1実施形態と同様である。ただし、左側の顔画像枠620に表示される人物には女性用の補正がリアルタイムに施され、右側の顔画像枠620に表示される人物には男性用の補正がリアルタイムに施される。例えば、女性用の補正は肌の色を白に近づけるようにより明るくする補正であるのに対して、男性用の補正は女性用の補正より補正の度合いを小さくするといった違いがある。ただし、ライブビュー映像に施される補正は、後述の図28(d)の認証用撮影画像またはレタッチ画面で表示される認証用撮影画像に施される補正とは異なり、相対的に度合いの弱い補正であるため、以下「弱補正」と呼ぶ。ライブビュー映像に対する補正は、映像を構成する多数のフレームのそれぞれに順次リアルタイムに施す必要があるため、認証用撮影画像のような静止画に対する補正よりも画像処理負担が大きく、ハードウェア構成によっては処理が間に合わないおそれがある。したがって、ライブビュー映像に施す補正は認証用撮影画像に施す補正より負荷の軽い「弱補正」の処理に留める。例えば、肌の色調を変更する程度に留めて、顔の輪郭や目の大きさを変更するといった形状変更の処理をしないこととしてもよい。
また、図28におけるライブビューの例では、全体として一つである映像に対して人物ごとに異なる弱補正を施しているが、変形例においては、左右の顔画像枠620の部分でそれぞれ切り出し、完全に分離する形でそれぞれの映像をライブビューとして表示してもよい。この場合、例えばそれぞれの人物の顔画像に対して顔の輪郭や目の大きさを変更する弱補正をするような場合であっても、それぞれの形状変更が互いに引っ張り合って画像に歪みが生じるといった干渉のおそれがない。また、左右の顔画像枠620として部分的に相互に重なる範囲を抽出するような場合であっても分離して別個に表示させるためそれぞれに別個の弱補正を施すことができる。
認証用の撮影で得られた2枚の認証用撮影画像は、図28(d)のように表示される。この画面では認証用撮影画像を表示するだけでなく、性別確認の画面を兼ねている。すなわち、「性別をチェックしてね」といった文字列を表示するとともに左右どちらのユーザが女性で、どちらのユーザが男性であるかを確定させる。顔画像枠620の左側には「女」の文字とともに女性表示642を配置し、顔画像枠620の右側には「男」の文字とともに男性表示643を配置し、この配置で正しければユーザはOKボタン644をタッチして性別を確定し、正しくなければNGボタン645をタッチする。NGボタン645には「(入れかえ)」と書かれているように、左右の男女を入れさせる機能を持たせる。ユーザがNGボタン645をタッチした場合には図28(e)のように顔画像枠620の左側に男性表示643、右側に女性表示642が配置されるように左右を入れ替える。このとき、左側の顔画像枠620の枠色は男性用を示す水色に変更されてその枠内の人物には男性用の補正が施され、右側の顔画像枠620の枠色は女性用を示すピンク色に変更されてその枠内の人物には女性用の補正が施される。ユーザがNGボタン645をタッチするたびに左右の男女の表示、枠色などの枠の設定(枠の位置、高さ、大きさを含んでもよい)、補正の種類が入れ替えられ、OKボタン644がタッチされたときに確定する。変形例としては、女性表示642と男性表示643を入れ替えるのではなく、女性表示642と男性表示643を固定したまま2枚の認証用撮影画像の位置を左右で入れ替えて女性表示642の側に女性用の補正を施し、男性表示643の側に男性用の補正を施すこととしてもよい。別の変形例としては、上記の性別確認を図29にて後述する補正方法の選択画面におけるいずれかの段階で実行してもよい。認証用撮影において人物検出に失敗した場合に、個別認証部131が認証用撮影を少なくとも1回再試行し、人物検出に再び失敗した場合にその失敗を確定する点は第1実施形態と同様である。
図29は、カップルコースの場合における補正方法の選択画面例を示す。カップルコースでは撮影人数が2人であるため、選択画面は左右2つに分割され、ユーザごとに左画面と右画面に分かれてそれぞれ「テイスト選択」「仕上がり選択」「明るさ選択」の3項目について好みを選択できる。
図29(a)は「テイスト選択」の補正項目の選択画面であり、左画面と右画面に分かれたユーザごとのプレビュー画像枠626に顔画像が表示され、ユーザごとに選択肢ボタン627が表示される。ここで、友達コースでは第1実施形態における図18の選択画面と同様であり、カップルコースでも基本的には第1実施形態における図18の選択画面と同様である。ただし、男女によって補正したい「テイスト」の方向性は通常異なるため、カップルコースでは男性と女性で異なる選択肢を提示する。男性用の「テイスト」としては「キリッと」「ナチュラル」の2通りの方向性、女性用の「テイスト」としては「かわいい」「キレイ」の2通りの方向性が選択肢ボタン627として表示され、男女別々の好みでいずれかを個別に選択できる。全体的には女性用の「テイスト」の方が相対的に補正の強度が強く、男性用の「テイスト」の方が相対的に補正の強度が弱い。ただし、男性用の補正では髭の剃り跡を消す補正を強くするなど、部分的に女性より補正強度を高める処理をしてもよい。また、女性でも「ナチュラル」のように強度が小さい補正を好む場合があるため、女性用の「テイスト」に「ナチュラル」を加えて女性用の項目数が男性用より多くなるようにしてもよい。左画面で選択した「テイスト」は左画面のプレビュー画像枠626に仮反映され、右画面で選択した「テイスト」は右画面のプレビュー画像枠626に仮反映される。
編集空間におけるユーザの立ち位置に合わせて顔画像を左右で入れ替えたい場合は、入替ボタン631を押すことで左画面と右画面の顔画像を入れ替えることができる。すなわち、入替ボタン631は図28のような男女の性別表示を入れ替えるボタンではないが、変形例として入替ボタン631に代え、男女の性別表示および補正の種類を入れ替えて性別を確定させるボタンを設けてもよい。左右の顔画像を入れ替える場合、それまで仮反映させていた補正をキャンセルして初期値に戻すこととしてもよいし、それまで仮反映させていた補正を維持したまま入れ替えることとしてもよい。本図では左に「男性」、右に「女性」となる配置で表示しているが、男女でどちらが左でどちらが右に表示されるかは、そのときに使用される編集空間が編集空間20aと編集空間20bのどちらであるかに応じて決定される。例えば、正面カメラ111に向かって左側に設置される編集空間20aが使用されるときは、図29の画面にいう右側が女性、左側が男性となるように決定され、正面カメラ111に向かって右側に設置される編集空間20bが使用されるときは、図29の画面にいう左側が女性、右側が男性となるように決定される。男女のカップルで本装置の遊戯をする場合、男性が不慣れな場合が想定され、撮影空間10から女性が先導するように編集空間20に向かうことが考えられる。その場合、撮影空間10から編集空間20に向かったときにつねに女性が奥側となるように編集空間20での男女の立ち位置を決定している。これにより、編集空間20における自然な男女の立ち位置に合致させることができ、立ち位置の変更や図29の画面における左右の入れ替えの手間を省くことができ、時間短縮を図ることができる。
このように仮の補正結果を確認しながら選択し、最後の「OK」ボタンを押すと「テイスト」選択が確定する。左画面と右画面の一方の画面で「OK」ボタンが押されれば、入替ボタン631が使用不能(例えば、画面から消去)になるとともに押された側の「テイスト」の選択だけが確定してその半分の画面が図29(b)の半分の画面に差し替わって次の「仕上がり」の選択に移り、他方の画面は引き続き「テイスト」を選択できる。このように、図29(b)までは左右で独立してユーザごとに補正の選択を進行させる。これにより、補正の選択を効率化してプレイ時間の短縮を図ることができる。
図29(b)は「仕上がり選択」の補正項目の選択画面であり、左画面と右画面に分かれたユーザごとのプレビュー画像枠626に顔画像が表示され、ユーザごとに選択肢ボタン627が表示される。ここで表示される選択肢ボタン627の種類および項目数は男女で異なる。女性用の選択肢ボタン627としては目と輪郭と小鼻に対する3種類の補正方法を提示するが、男性用の選択肢ボタン627は目と輪郭に対する2種類の補正方法しか提示しない。男性用の補正方法が女性用より少ないのは、男性の方が本装置における遊戯に不慣れな場合が多く、女性よりも選択に時間を要するおそれがあり、時間短縮を図るためである。一方、男性用と女性用とで補正の種類としては同じ「目」「輪郭」の選択肢が用意されるが、その補正の内容および強度は、図29(a)で選択したテイストの種類によって異なるだけでなく、男性用と女性用とで補正の強度等が異なる。例えば、女性用の補正の選択肢としては、「テイスト」として「かわいい」を選択していれば「かわいい」に対応する目の大きさや輪郭の形、小鼻の形の選択肢が3つずつ表示され、「キレイ」を選択していれば「キレイ」に対応する目の大きさや輪郭の形、小鼻の形の選択肢が3つずつ表示される。男性用の補正の選択肢としては、「テイスト」として「キリッと」を選択していれば「キリッと」に対応する目の大きさや輪郭の形の選択肢が3つずつ表示され、「ナチュラル」を選択していれば「ナチュラル」に対応する目の大きさや輪郭の形の選択肢が3つずつ表示される。
変形例として、男性用の項目には「髪の量」「眉毛」といった男性特有の項目、女性用の項目には「リップ」といった化粧の項目に含まれるような女性特有の項目を設けてもよい。また、本実施の形態では肌の色に関しては、後述の図29(c)における「明るさ選択」において補正するが、変形例においては「仕上がり選択」の項目の一つとして「肌の色」を設けて肌の色だけを抽出して補正しつつ、「明るさ選択」では画像全体の色調を補正することとしてもよい。他の変形例としては、女性用の選択肢が項目ごとに3段階の選択を用意するのに対し、男性用の選択肢は項目ごとに2段階の選択にするなど、女性より男性の方が選択肢の段階数が少なくなるようにしてもよい。遊戯に不慣れな男性の方が選択の検討に時間を要する可能性が高いだけでなく、補正に対するこだわりも女性より低い場合が多いと考えられ、むしろ補正に対して違和感を覚える男性ユーザに配慮するためである。このことから、別の変形例においては、男性用の「テイスト選択」「仕上がり選択」の選択肢として「ナシ」「スキップ」「キャンセル」など、補正を施さないという選択肢を設けてもよいし、「テイスト選択」「仕上がり選択」自体を設けない仕様としてもよい。「テイスト選択」「仕上がり選択」の一方または双方を設けない場合、その項目に対応する補正自体を実行しないこととしてもよいし、男性ユーザによる選択を経ることなしに最適な補正または平均的な補正を自動的に実行することとしてもよい。その場合、図29のような男女で分割した画面ではなく、女性のみを表示する画面構成としてもよい。
最後にユーザが「OK」ボタンを選択することで「仕上がり」の選択が確定する。左右の両画面とも「OK」ボタンが押されたときに図29(c)の画面へ切り替わる。また、別の変形例においては、女性用の「仕上がり選択」の項目を、女性が化粧をする順序に沿って並べてもよい。この場合、女性が補正項目を選択していく順序に違和感を生じさせにくくなる。
図29(c)は「明るさ選択」の補正項目の選択画面であり、ユーザごとのプレビュー画像枠626に顔画像が表示される。具体的には、図29(a)、(b)で確定された補正が施された顔画像に、「明るさ」の選択画面において初期的に選択されている補正がさらに施された顔画像がプレビュー画像として表示される。画面は男女で分割されておらず、選択肢ボタン627はユーザごとではなくカップル全体でまとめて表示されて一つを選択する。ユーザがいずれかの段階のボタンを選択すると、両方のプレビュー画像が、そのボタンに対応する補正が反映されたプレビュー画像に切り替わる。最後に「OK」ボタンを選択することで「明るさ」の選択が確定する。変形例としては、男女で「明るさ」の補正への要望が異なることを考慮し、男女で別々に選択できるようにしてもよい。
図29(a)〜(c)のプレビュー画像枠626に表示される顔画像は、個別認証部131により取得された認証用撮影画像およびその画像をベースとして選択された補正が仮反映されたプレビュー画像である。ここで、プレビュー画像はその画像処理の負荷が大きく処理に時間を要するため、ユーザが補正の項目を選択するたびにリアルタイムにプレビュー画像枠626へ仮反映させることがハードウェア構成によっては困難になることも想定される。その場合、ユーザが補正項目を選択するたびにその都度仮反映したプレビュー画像を生成し、処理の待ち時間が発生して補正の選択に時間がかかるおそれがある。そこで、図28の認証撮影が終わって男女の性別が確定した時点からユーザ別の認証用撮影画像を生成するだけでなく、プレビュー画像枠626に表示させる可能性のある全通りのパターンのプレビュー画像を生成開始する。通常、撮影空間10で認証撮影が終わった後、本撮影を経て編集空間20において補正の選択を行うまで十分な時間の長さがあるため、その間に全通りのパターンのプレビュー画像を生成することは十分可能である。例えば、図29(a)で表示し得るプレビュー画像は、ユーザごとに2種類ずつであり、図29(b)で表示し得るプレビュー画像は、男性は3×3=9種類、女性は3×3×3=27種類であり、図29(c)で表示し得るプレビュー画像は、ユーザごとに4種類である。したがって、全通りのパターンは男性は2×9×4=72通り、女性は2×27×4=216通りである。また、図28では男女を確定せずに図29の画面において男女の指定を入れ替えられる仕様とする場合には、さらに男性の場合と女性の場合の両パターンについてプレビュー画像を生成しておいてもよい。この場合は、ユーザごとに72通り+216通りの合計288通りずつ生成しておけばよい。ただし、変形例においては、補正の項目が選択されるたびに仮反映したプレビュー画像をその都度生成することとしてもよい。
以上、本発明の実施の形態に係る写真撮影システム600について説明した。本発明は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。
10 撮影空間、 53 制御部、 100 遊戯用撮影装置、 131 個別認証部、 132 撮像部、 133 画像取得部、 135 表示制御部、 142 補正処理部、 160 出力処理部、 621 走査線。

Claims (6)

  1. ユーザを被写体とした撮影がなされる撮影空間と、
    前記撮影空間においてユーザを被写体に含む像を撮像する撮像部と、
    前記撮像部により撮像されるユーザの認証用の撮影画像を取得し、その画像から人物を検出する人物検出を実行し、検出した各人物の特徴を特定する人物認証を実行する個別認証部と、
    前記撮像部により撮像されるユーザの本撮影用の撮影画像を取得する画像取得部と、
    前記撮影画像に対する補正を実行する補正処理部と、
    撮影された画像の出力処理を実行する出力処理部と、
    を備え、
    前記補正処理部は、人物認証の結果に基づいて前記本撮影用の撮影画像に含まれる人物ごとに個別の補正を実行し、前記人物検出または前記人物認証に失敗していた場合は前記本撮影用の撮影画像に含まれる被写体全体に対する補正を実行することを特徴とする遊戯用撮影装置。
  2. 前記補正処理部は、前記人物検出または前記人物認証に失敗していた場合、前記本撮影用の撮影画像に含まれる被写体全体に対する補正に関してユーザの指示を受け付ける画面においてその補正を即時に仮反映させる対象として1枚以上のプレビュー画像を表示させるとともに、そのプレビュー画像は、前記認証用の撮影画像または前記本撮影用の撮影画像であって複数枚撮影された前記本撮影用の撮影画像のうち少なくとも1枚を含めて表示する画像であることを特徴とする請求項1に記載の遊戯用撮影装置。
  3. 前記補正処理部は、ユーザが選択し得る補正項目の種類は撮影人数に応じて異なるとともに、撮影人数が所定人数以内の場合であって前記人物検出または前記人物認証に失敗していた場合にはその撮影人数に対応してユーザが選択し得る補正項目の種類にて前記撮影画像に含まれる被写体全体に対する補正を実行することを特徴とする請求項1または2に記載の遊戯用撮影装置。
  4. 前記認証用の撮影画像を取得する際に、撮影対象となる被写体の映像を画面にリアルタイム表示させるとともに、そのリアルタイム表示する被写体を走査するように仮想的な走査線を前記リアルタイム表示する被写体の上に重ねて表示する表示制御部をさらに備えることを特徴とする請求項1から3のいずれかに記載の遊戯用撮影装置。
  5. 人物を含む第1の撮影画像を取得し、その画像から人物を検出する人物検出を実行し、検出した各人物の特徴を特定する人物認証を実行するステップと、
    前記第1の撮影画像とは異なる第2の撮影画像を取得するステップと、
    前記人物認証の結果に基づいて、前記第2の撮影画像に含まれる人物ごとに個別の補正を実行し、前記人物検出または前記人物認証に失敗していた場合は、第2の撮影画像に含まれる被写体全体に対する補正を実行するステップと、
    を備える画像処理方法。
  6. 人物を含む第1の撮影画像を取得し、その画像から人物を検出する人物検出を実行し、検出した各人物の特徴を特定する人物認証を実行するステップと、
    前記第1の撮影画像とは異なる第2の撮影画像を取得するステップと、
    前記人物認証の結果に基づいて、前記第2の撮影画像に含まれる人物ごとに個別の補正を実行し、前記人物検出または前記人物認証に失敗していた場合は、第2の撮影画像に含まれる被写体全体に対する補正を実行するステップと、
    をコンピュータに実行させることを特徴とするプログラム。
JP2015227013A 2015-08-13 2015-11-19 遊戯用撮影装置、画像処理方法およびプログラム Pending JP2017037615A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015159950 2015-08-13
JP2015159950 2015-08-13

Publications (1)

Publication Number Publication Date
JP2017037615A true JP2017037615A (ja) 2017-02-16

Family

ID=58049481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015227013A Pending JP2017037615A (ja) 2015-08-13 2015-11-19 遊戯用撮影装置、画像処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2017037615A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163316A (ja) * 2017-03-27 2018-10-18 大日本印刷株式会社 撮影システム
JP2019067172A (ja) * 2017-10-02 2019-04-25 日本電信電話株式会社 被写体識別装置、被写体識別方法、およびプログラム
JP2020113878A (ja) * 2019-01-10 2020-07-27 フリュー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20220046011A1 (en) * 2020-08-05 2022-02-10 Bank Of America Corporation Application for confirming multi-person authentication
WO2023013894A1 (ko) * 2021-08-04 2023-02-09 삼성전자주식회사 촬영된 영상에 시각 효과를 적용하고 태그를 설정하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228036A (ja) * 2005-02-18 2006-08-31 Hitachi Software Eng Co Ltd 写真シール作成装置およびその画像処理方法
JP2012175500A (ja) * 2011-02-23 2012-09-10 Seiko Epson Corp 画像処理方法、制御プログラムおよび画像処理装置
JP2013243648A (ja) * 2012-04-25 2013-12-05 Furyu Kk 写真シール機、写真シール機の処理方法、並びにプログラム
JP2014033305A (ja) * 2012-08-02 2014-02-20 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228036A (ja) * 2005-02-18 2006-08-31 Hitachi Software Eng Co Ltd 写真シール作成装置およびその画像処理方法
JP2012175500A (ja) * 2011-02-23 2012-09-10 Seiko Epson Corp 画像処理方法、制御プログラムおよび画像処理装置
JP2013243648A (ja) * 2012-04-25 2013-12-05 Furyu Kk 写真シール機、写真シール機の処理方法、並びにプログラム
JP2014033305A (ja) * 2012-08-02 2014-02-20 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163316A (ja) * 2017-03-27 2018-10-18 大日本印刷株式会社 撮影システム
JP2019067172A (ja) * 2017-10-02 2019-04-25 日本電信電話株式会社 被写体識別装置、被写体識別方法、およびプログラム
JP2020113878A (ja) * 2019-01-10 2020-07-27 フリュー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7401727B2 (ja) 2019-01-10 2023-12-20 フリュー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20220046011A1 (en) * 2020-08-05 2022-02-10 Bank Of America Corporation Application for confirming multi-person authentication
US11792188B2 (en) * 2020-08-05 2023-10-17 Bank Of America Corporation Application for confirming multi-person authentication
WO2023013894A1 (ko) * 2021-08-04 2023-02-09 삼성전자주식회사 촬영된 영상에 시각 효과를 적용하고 태그를 설정하는 방법 및 장치

Similar Documents

Publication Publication Date Title
JP5246524B2 (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP5801152B2 (ja) 写真シール作成装置およびその制御方法、並びにプログラム
JP2017037615A (ja) 遊戯用撮影装置、画像処理方法およびプログラム
JP5201430B1 (ja) 写真シール作成装置および方法、並びにプログラム
JP7011206B2 (ja) 遊戯用撮影装置、画像処理装置、および画像処理方法
JP5447183B2 (ja) 写真シール作成装置および方法、並びにプログラム
JP6206707B2 (ja) 撮影装置および表示制御方法
JP5569502B2 (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP6620572B2 (ja) 遊戯用撮影装置および画像処理方法
JP2017229013A (ja) 写真作成ゲーム機および表示方法
JP2013243466A (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP2015004751A (ja) 写真撮影遊戯装置、画像生成方法、及び画像生成プログラム
JP6881884B2 (ja) 写真撮影遊戯装置、画像生成方法、及び画像生成プログラム
JP5904192B2 (ja) 写真シール作成装置、画像処理方法、並びにプログラム
JP6582865B2 (ja) 遊戯用撮影装置、画像編集方法およびプログラム
JP6574949B2 (ja) 写真撮影遊戯装置、写真シール作成装置、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
US20150249754A1 (en) Image providing device and image providing method
JP2017037271A (ja) 遊戯用撮影装置
JP6156559B2 (ja) 遊戯用撮影装置、遊戯用撮影方法、及びプログラム
JP5967275B2 (ja) 写真撮影遊戯機とその制御方法及び制御コンピュータ
JP6090369B2 (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP6455550B2 (ja) 写真シール作成装置および表示制御方法
JP5533778B2 (ja) 画像編集装置および方法、並びにプログラム
JP2014170234A (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP5979463B1 (ja) 写真シール作成装置、情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200421