JP2018106678A - 写真作成ゲーム機および画像処理方法 - Google Patents

写真作成ゲーム機および画像処理方法 Download PDF

Info

Publication number
JP2018106678A
JP2018106678A JP2017178839A JP2017178839A JP2018106678A JP 2018106678 A JP2018106678 A JP 2018106678A JP 2017178839 A JP2017178839 A JP 2017178839A JP 2017178839 A JP2017178839 A JP 2017178839A JP 2018106678 A JP2018106678 A JP 2018106678A
Authority
JP
Japan
Prior art keywords
image
face
area
unit
editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017178839A
Other languages
English (en)
Other versions
JP7074994B2 (ja
Inventor
恭子 多田
Kyoko Tada
恭子 多田
莉恵 北野
Rie Kitano
莉恵 北野
裕香 南
Yuka Minami
裕香 南
彩香 和田
Ayaka Wada
彩香 和田
有美 澁谷
Ariyoshi Shibuya
有美 澁谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furyu Corp
Original Assignee
Furyu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furyu Corp filed Critical Furyu Corp
Publication of JP2018106678A publication Critical patent/JP2018106678A/ja
Application granted granted Critical
Publication of JP7074994B2 publication Critical patent/JP7074994B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】より確実に、満足度の高い画像を提供する。【解決手段】認識部は、撮影画像において顔またはその一部を認識し、第1の画像処理部は、認識された顔またはその一部の領域に対して第1の画像処理を施す。また、領域特定部は、撮影画像において、第1の画像処理の対象となった顔またはその一部の領域と同じ領域を特定し、第2の画像処理部は、領域特定部により特定された顔またはその一部の領域に対して第2の画像処理を施す。本技術は、写真シール作成装置に適用することができる。【選択図】図15

Description

本技術は、写真作成ゲーム機および画像処理方法に関し、特に、満足度の高い画像を提供することができるようにする写真作成ゲーム機および画像処理方法に関する。
従来、アミューズメント施設等に設置される写真シール機が知られている。写真シール機は、利用者を撮影し、利用者の操作に応じて撮影画像に対して編集を施す。写真シール機は、編集が施された撮影画像をシール紙に印刷する。
近年、写真シール機においては、撮影画像に適切な画像処理を施すために、撮影画像に対する顔認識が行われている。
例えば、特許文献1には、顔を認識するための認識撮影により得られた画像から顔を検出・登録し、登録された顔と、その後の撮影により得られた撮影画像における顔とを照合することが開示されている。これにより、撮影画像に写る利用者毎の顔に、目の大きさや形状を変更する画像処理を施すことが可能となる。
また、特許文献2には、撮影画像において、顔認識により検出された顔の器官の位置に、その器官に対応する化粧用画像(メイクアップスタンプ)を合成することが開示されている。
特開2013−243648号公報 特開2015−34836号公報
しかしながら、特許文献1や特許文献2に開示されている構成では、顔やその器官の認識に失敗した場合、撮影画像に適切な画像処理を施すことはできず、満足度の高い画像が提供されなかった。
本技術は、このような状況に鑑みてなされたものであり、より確実に、満足度の高い画像を提供することができるようにするものである。
本技術の写真作成ゲーム機は、撮影画像において顔またはその一部を認識する認識部と、認識された前記顔またはその一部の領域に対して第1の画像処理を施す第1の画像処理部と、前記撮影画像において、前記第1の画像処理の対象となった前記顔またはその一部の領域と同じ領域を特定する領域特定部と、前記領域特定部により特定された前記顔またはその一部の領域に対して第2の画像処理を施す第2の画像処理部とを備える。
本技術の画像処理方法は、撮影画像において顔またはその一部を認識し、認識された前記顔またはその一部の領域に対して第1の画像処理を施し、前記撮影画像において、前記第1の画像処理の対象となった前記顔またはその一部の領域と同じ領域を特定し、特定された前記顔またはその一部の領域に対して第2の画像処理を施すステップを含む。
本技術においては、撮影画像において顔またはその一部が認識され、認識された前記顔またはその一部の領域に対して第1の画像処理が施され、前記撮影画像において、前記第1の画像処理の対象となった前記顔またはその一部の領域と同じ領域が特定され、特定された前記顔またはその一部の領域に対して第2の画像処理が施される。
本技術によれば、より確実に、満足度の高い画像を提供することが可能となる。
本技術の写真シール作成装置の外観の構成例を示す斜視図である。 写真シール作成装置の外観を他の角度からみた斜視図である。 利用者の移動について説明する図である。 事前選択部の構成例を示す図である。 撮影部の構成例を示す図である。 背景部の構成例を示す図である。 床材を示す斜視図である。 編集ユニットの正面の構成例を示す図である。 編集ユニットの側面の構成例を示す図である。 シール紙の例を示す図である。 編集画像のレイヤ構成の例を示す図である。 写真シール作成装置の構成例を示すブロック図である。 写真シール作成装置の機能構成例を示すブロック図である。 編集処理部の機能構成例を示すブロック図である。 レタッチ処理部の機能構成例を示すブロック図である。 写真シール作成ゲーム処理について説明するフローチャートである。 編集処理について説明するフローチャートである。 自動レタッチ処理について説明するフローチャートである。 編集画面の例を示す図である。 手動レタッチ処理のガイダンスポップアップの例を示す図である。 手動レタッチ処理の使い方ポップアップの例を示す図である。 手動レタッチ処理について説明するフローチャートである。 手動レタッチ処理の対象となる領域の特定について説明する図である。 手動レタッチ処理の結果について説明する図である。 手動レタッチ処理の対象となる領域の特定について説明する図である。 編集画面の他の例を示す図である。 手動レタッチ処理の使い方ポップアップの他の例を示す図である。 手動レタッチ処理の使い方ポップアップの他の例を示す図である。 手動レタッチ処理の対象となる領域の特定について説明する図である。 手動レタッチ処理において描画される線の角度制限について説明する図である。
<写真シール作成装置の外観>
図1および図2は、写真シール作成装置1の外観の構成例を示す斜視図である。
写真シール作成装置1は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置1は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりすることで、利用者に画像を提供する。写真シール作成装置1は、ゲームセンターなどのアミューズメント施設や店舗に設置される。
写真シール作成装置1の利用者は、主に女子高生や若い女性が中心とされる。写真シール作成装置1において、1組あたり主に2人や3人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置1において、1人の利用者がゲームを楽しむこともできる。
写真シール作成装置1において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
写真シール作成装置1は、写真作成ゲームを提供する写真作成ゲーム機ということができる。
図1に示すように、写真シール作成装置1は、基本的に、撮影ユニット11と編集ユニット12が接した状態で設置されることによって構成される。撮影ユニット11と編集ユニット12は電気的に接続される。
撮影ユニット11は、人が中に入ることができる程度の大きさを有する箱形状の筐体を有し、事前選択部20、撮影部21、および背景部22から構成される。事前選択部20は、撮影部21の側面に設置される。事前選択部20の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影部21と背景部22は所定の距離だけ離して設置される。撮影部21と背景部22の間に形成される空間が、撮影処理が行われる撮影空間となる。
事前選択部20は、事前選択処理として、写真シール作成装置1によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を行ったりする。事前選択部20には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択部20は、撮影空間の空き状況に応じて、適宜、事前選択空間にいる利用者を撮影空間へと案内する。
撮影部21は、利用者を被写体として撮影するための装置である。撮影部21は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影部21の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。
撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影部21の左側面が側面パネル41Aにより構成され、右側面が側面パネル41Bにより構成される。さらに、撮影部21の正面が正面パネル42により構成される。側面パネル41Aには、上述した事前選択部20が設置される。なお、事前選択部20が、側面パネル41Bに設置されるようにしてもよい。
背景部22は、背面パネル51、側面パネル52A、および側面パネル52Bから構成される。背面パネル51は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル52Aは、背面パネル51の左端に取り付けられ、側面パネル41Aより横幅の狭い板状の部材である。側面パネル52Bは、背面パネル51の右端に取り付けられ、側面パネル41Bより横幅の狭い板状の部材である。
側面パネル41Aと側面パネル52Aは、ほぼ同一平面に設けられる。側面パネル41Aと側面パネル52Aの上部は、板状の部材である連結部23Aによって連結される。側面パネル41Aと側面パネル52Aの下部は、床面に設けた例えば金属製の部材である連結部23A’によって連結される。側面パネル41Bと側面パネル52Bも同様に、ほぼ同一平面に設けられる。側面パネル41Bと側面パネル52Bの上部は、連結部23Bによって連結される。側面パネル41Bと側面パネル52Bの下部は、連結部23B’によって連結される。
撮影空間の床には、板状の部材である床材27が敷かれる。
なお、背面パネル51の撮影空間側の面には、例えば緑色のクロマキー用のシートが貼り付けられる。写真シール作成装置1は、クロマキー用のシートを背景として撮影することで、撮影処理や編集処理においてクロマキー合成を行う。これにより、所望の背景画像が、シートが写っている利用者の背景の部分に合成される。
側面パネル41A、連結部23A、および側面パネル52Aに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル41B、連結部23B、および側面パネル52Bに囲まれることによって形成される開口も撮影空間の出入り口となる。
撮影空間の上方には、撮影部21の正面、連結部23A、および連結部23Bに囲まれた天井が形成される。その天井の一部に、天井ストロボユニット24が設けられる。天井ストロボユニット24の一端が連結部23Aに固定され、他端が連結部23Bに固定される。
天井ストロボユニット24は、撮影に合わせて撮影空間内に向けて光を照射するストロボを内蔵する。天井ストロボユニット24の内部には、ストロボの他に蛍光灯が設けられている。これにより、天井ストロボユニット24は、撮影空間の照明としても機能する。
編集ユニット12は、撮影画像に編集を施すための装置である。編集ユニット12は、一方の側面が撮影部21の正面パネル42に接するようにして、撮影ユニット11に連結している。
図1に示される編集ユニット12の構成を正面側の構成とすると、編集ユニット12の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、2組の利用者が同時に編集作業を行うことができる。
編集ユニット12の正面側は、面61と、面61の上方に形成された斜面62から構成される。面61は、床面に対して垂直で、撮影部21の側面パネル41Aとほぼ平行な面である。斜面62には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面62の左側には、照明装置64の一端を支持する柱状の支持部63Aが設けられる。斜面62の右側には、照明装置64の他端を支持する柱状の支持部63Bが設けられる。支持部63Aの上面にはカーテンレール26を支持する支持部65が設けられる。
編集ユニット12の上方にはカーテンレール26が取り付けられる。カーテンレール26は、3本のレール26A乃至26Cを、組み合わせて構成される。3本のレール26A乃至26Cは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール26Aとレール26Bの一端は、連結部23Aと連結部23Bにそれぞれ固定され、レール26Aとレール26Bの他端は、レール26Cの両端にそれぞれ接合される。
カーテンレール26には、編集ユニット12の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット12の正面前方の空間と背面後方の空間が、利用者が編集作業を行う編集空間となる。
後述するが、編集ユニット12の左側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット12の左側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
<利用者の移動について>
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。
図3は、写真シール作成装置1を上から見た平面図である。
利用者は、事前選択部20の前方の空間である事前選択空間A0において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って各種の設定を行う。利用者は、例えば、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。
事前選択作業を終えた利用者は、白抜き矢印#1で示すように、側面パネル41Aと側面パネル52Aの間の出入り口G1から、撮影部21と背景部22の間に形成された撮影空間A1に入る。利用者は、撮影部21に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。
撮影作業を終えた利用者は、白抜き矢印#2で示すように出入り口G1から撮影空間A1を出て編集空間A2−1に移動するか、または、白抜き矢印#3で示すように出入り口G2から撮影空間A1を出て編集空間A2−2に移動する。
編集空間A2−1は、編集ユニット12の正面側の編集空間である。一方、編集空間A2−2は、編集ユニット12の背面側の編集空間である。利用者が編集空間A2−1と編集空間A2−2のいずれの空間に移動するのかは、撮影部21のタッチパネルモニタの画面表示などによって案内される。例えば2つの編集空間のうちの空いている方が移動先として案内される。編集空間A2−1または編集空間A2−2に移動した利用者は、編集作業を開始する。編集空間A2−1の利用者と、編集空間A2−2の利用者は同時に編集作業を行うことができる。
編集作業が終了した後、編集画像の印刷が開始される。印刷が開始されると、編集空間A2−1での編集作業を終えた利用者は、白抜き矢印#4で示すように編集空間A2−1から印刷待ち空間A3に移動する。また、編集空間A2−2での編集作業を終えた利用者は、白抜き矢印#5で示すように編集空間A2−2から印刷待ち空間A3に移動する。
印刷待ち空間A3に移動した利用者は、印刷が終わるのを待つ。印刷が終了すると、利用者は、編集ユニット12の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。
次に、各装置の構成について説明する。
<事前選択部の構成>
図4は、事前選択部20の構成例を示す図である。
事前選択部20の上側にはタッチパネルモニタ71が設けられる。タッチパネルモニタ71は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ71は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ71には、利用者の人数の選択などに用いられる画面が表示される。
タッチパネルモニタ71の下方には、スピーカ72が設けられる。スピーカ72は、事前選択処理の案内音声、BGM(Back Ground Music)、効果音などを出力する。スピーカ72に隣接するようにして、利用者が硬貨を入れる硬貨投入返却口73が設けられる。
<撮影部の構成>
図5は、撮影部21の正面の構成例を示す図である。撮影部21は、側面パネル41A、側面パネル41B、および正面パネル42に囲まれるようにして構成される。
正面パネル42の中央よりやや上側には、カメラユニット81が設けられる。カメラユニット81の正面には、カメラ91、タッチパネルモニタ92、および正面ストロボ93が設けられる。
カメラ91は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット81の内部に取り付けられる。カメラ91は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、撮影空間A1にいる利用者を撮影する。カメラ91は、利用者を被写体として撮影を行う撮影部として機能する。
カメラ91により取り込まれた動画像(以下、ライブビュー画像ともいう)は、タッチパネルモニタ92にリアルタイムで表示される。撮影が指示されたときなどの所定のタイミングでカメラ91により取り込まれた静止画像は、撮影画像として保存される。
タッチパネルモニタ92は、カメラ91の下方に設けられる。タッチパネルモニタ92は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ92は、カメラ91により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUIを表示し利用者の選択操作を受け付ける機能を備えている。
正面ストロボ93は、カメラ91の上方に設けられる。正面ストロボ93は、乳白アクリル板よりなる、三日月状の発光面を有する。正面ストロボ93は、カメラ91による撮影に合わせて発光することで、被写体としての利用者の顔付近を正面から照射する。
カメラユニット81の上方には、曲面の発光面を利用者に向けた上ストロボユニット82が設置される。上ストロボユニット82は、利用者の正面上方から、利用者の顔および上半身に光を照射する。
カメラユニット81の下方には、利用者の下半身および足元に光を照射する足元ストロボユニット83が設けられる。
上ストロボユニット82および足元ストロボユニット83は、蛍光灯とストロボ発光可能な照明機器とにより構成される。上ストロボユニット82および足元ストロボユニット83は、撮影空間を明るくして、利用者の操作性や安全性を確保するために、撮影空間内を常時照らすとともに、撮影画像の画質を向上させるために、撮影タイミングでストロボ発光し、被写体となる利用者に光を照射する。
足元ストロボユニット83と側面パネル41Aとの間には、箱状部84が設けられる。また、足元ストロボユニット83と側面パネル41Bとの間には、箱状部85が設けられる。箱状部84,85の上面は、写真シール作成装置1の設置面と略水平な面をなし、撮影作業を行う利用者が手荷物などを置くための荷物置き場として用いられる。
なお、図示はしないが、正面パネル42の例えば天井付近には、スピーカが設けられる。そのスピーカは、撮影処理の案内音声、BGM、効果音などを出力する。
<背景部の構成>
図6は、背景部22の撮影空間A1側の構成例を示す図である。
背面パネル51の上方には、背面上ストロボ101が設置される。背面上ストロボ101は、背面上方から利用者に光を照射する。
図中、背面パネル51の左方には、背面左ストロボ102が設置される。背面左ストロボ102は、背面右方から利用者を照射する。図中、背面パネル51の右方には、背面右ストロボ103が設置される。背面右ストロボ103は、背面左方から利用者を照射する。
また、背面パネル51の撮影空間A1側(図中、手前側)の面には、クロマキーシート121が貼り付けられる。クロマキーシート121の色は、例えば緑色とされる。
なお、図示はしないが、側面パネル52A,52Bの撮影空間A1側の面の下側(床面側)にも、クロマキーシート121と同様に、クロマキーシートが貼り付けられる。
図7は、床材27を示す斜視図である。説明の便宜上、撮影部21、側面パネル41Aなどの図示を省略している。
床材27の後方寄りの位置には、横長長方形の床シート27Aが、その長辺が背面パネル51と略平行になるように貼り付けられる。図7において、背面パネル51のある方向が撮影空間A1の後方となり、白抜き矢印で示す、撮影部21のある方向が撮影空間A1の前方となる。
床シート27Aの前方寄りには、目印図形28−1乃至28−4が並べて印刷され、その後方に、目印図形28−5乃至28−8が並べて印刷される。2行×4列に配置された目印図形28−1乃至28−8は、それぞれ視覚的に異なる図形であり、全体が例えば黒色で塗りつぶされている。
1行目の目印図形28−1は菱形の目印であり、目印図形28−2はハート型の目印である。目印図形28−3は四つ葉のクローバー型の目印であり、目印図形28−4は正方形の目印である。
また、2行目の目印図形28−5は四枚の花びらからなる花状の目印であり、目印図形28−6は星型の目印である。目印図形28−7は円形の目印であり、目印図形28−8はチューリップの花びら状の目印である。
それぞれの目印図形は、1人の利用者がその両足を載せることが出来るような、略30cm×30cmの範囲内に収まる程度の大きさを有している。それぞれの大きさが異なるようにしてもよい。
後に詳述するように、目印図形28−1乃至28−8は、撮影時の立ち位置を利用者毎に誘導するための目印として用いられる。
例えば、利用者の人数が2人であり、上半身が大きく写る画像を撮影する場合、カメラ91に向かって右側に立っている利用者の立ち位置として、四つ葉のクローバー型の目印図形28−3が指定され、左側に立っている利用者の立ち位置として、ハート型の目印図形28−2が指定される。
目印図形28−1乃至28−8は、それぞれ、利用者の人数、撮影する画像の画角(範囲)などに応じて、最適な立ち位置を指定することができるような位置に印刷されている。なお、最適な立ち位置は、ストロボからの光が被写体に対して十分に照射される位置、カメラ91の撮影範囲から外れない位置、背景と顔の大きさのバランスがよくなる位置等を意味する。
目印図形として、黒色以外の色を付した図形、所定の模様を付した図形、または、色と模様を付した図形を用いるようにしてもよい。目印図形毎に、形状、大きさ、模様、および色のうちの少なくともいずれかを変えるようにすることも可能である。図7に示す目印図形28−1乃至28−8は、色は黒色として同じ色であるが、それぞれ形状を変えた図形である。
<編集ユニットの構成>
図8は、編集ユニット12の正面側(編集空間A2−1側)の構成例を示す図である。
斜面62のほぼ中央には、タブレット内蔵モニタ131が設けられる。タブレット内蔵モニタ131の左側にはタッチペン132Aが設けられる。タブレット内蔵モニタ131の右側にはタッチペン132Bが設けられる。
タブレット内蔵モニタ131は、タブレットとディスプレイを積層して構成される。タブレットは、タッチペン132Aまたはタッチペン132Bを用いた操作入力を可能とする。タブレット内蔵モニタ131には、例えば、編集作業に用いられる編集画面が表示される。2人の利用者が同時に編集作業を行う場合、タッチペン132Aはタブレット内蔵モニタ131に向かって左側にいる利用者により用いられ、タッチペン132Bはタブレット内蔵モニタ131に向かって右側にいる利用者により用いられる。
なお、タッチペン132Aを用いた操作とタッチペン132Bを用いた操作は識別される。適宜、タブレット内蔵モニタ131の左側の表示に対してはタッチペン132Aを用いた操作のみが可能とされ、右側の表示に対してはタッチペン132Bを用いた操作のみが可能とされる。以下、適宜、タッチペン132Aとタッチペン132Bを区別する必要がない場合、まとめてタッチペン132という。
図9は、編集ユニット12の左側面の構成例を示す図である。
編集ユニット12の左側面の下側にはシール紙排出口161が設けられる。編集ユニット12の内部にはプリンタが設けられている。そのプリンタにより、編集空間A2−1の利用者が写る画像、または、編集空間A2−2の利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口161から排出される。
<シール紙の例>
図10は、写真シール作成装置1により作成されるシール紙の例を示す図である。
利用者が例えば2人である場合、図10に示すようなレイアウトで写真(編集画像)が印刷されたシール紙が2枚分作成され、利用者に提供される。図10に示すレイアウトは複数種類用意されているレイアウトのうちの1つであり、利用者は好みのレイアウトを選択することができる。
1枚のシール紙には、略名刺サイズの編集画像印刷領域181Aと、横長帯状のおまけ画像印刷領域181Bが形成される。編集画像印刷領域181Aの略左半分には編集画像191−1が大きく印刷され、その右側に、4枚の編集画像191−2乃至191−5が、編集画像191−1より小さいサイズで2行×2列に並べて印刷される。
編集画像191−1乃至191−5は、被写体の顔と上半身が大きく写る画像であるアップ画像に対して編集が施されることによって生成された画像である。実際には、適宜、利用者の背景には、所定の色や柄の画像である背景画像が合成され、利用者の前景には、手書きの文字やスタンプ画像などの前景画像が合成される。
撮影処理においては、アップ画像の他に、頭の上から膝下付近までの広い範囲が写る画像の撮影も行われる。この画像は、例えば、洋服のコーディネートを残しておくために用いられる。以下、適宜、洋服のコーディネートを残しておくためなどに用いられる、アップ画像よりも撮影範囲の広い画像をコーディネート画像という。
アップ画像とコーディネート画像は縦横比が異なる。例えば、アップ画像の横方向の長さと縦方向の長さの比は1:1.2であり、コーディネート画像の横方向の長さと縦方向の長さの比は1:1.5である。この例においては、コーディネート画像は、シール紙には印刷されないものとされている。
おまけ画像印刷領域181Bには、床シート27Aに印刷された目印図形28−1乃至28−8と同じようなシンプルな形状にトリミングされた撮影画像192−1乃至192−5が横に並べて印刷される。おまけ画像印刷領域181Bに印刷されている画像は、例えばはさみで切り取って用いられる。
編集前の画像ではなく、編集済みの画像(編集画像191−1乃至191−5と同じ画像)がトリミングされて撮影画像192−1乃至192−5として印刷されるようにしてもよい。
おまけ画像印刷領域181Bの余白にはシールIDなどが印刷される。シールIDは、写真シール作成装置1からサーバに送信された画像をスマートフォンなどの携帯端末で閲覧するときに利用される。
携帯端末に対する画像の送信は、写真シール作成装置1から送信された画像を携帯端末に取り込む(保存する)ためのWebサイトである画像取得サイトを管理するサーバを介して行われることになる。利用者は、携帯端末に取り込んだ画像をSNS(Social Networking Service)に投稿したり、壁紙に設定したりして利用することができる。以下、適宜、画像取得サイトを管理するサーバを画像取得サイト管理サーバという。
図11は、編集画像のレイヤ構造の例を示す図である。
左端の編集画像P1が編集によって生成される画像である。編集画像P1は、背景画像P11、人物画像P12、前景画像P13の各レイヤの画像から構成される。
図11の例において、背景画像P11は、レンガを重ねた壁面の柄の画像である。前景画像P13は、「Love my friend」の手書き文字の画像とハート型の画像を含む画像である。「Love my friend」の手書き文字の画像は、ペンツールを用いて利用者によって入力されたペン画像である。また、ハート型の画像は、スタンプツールを用いて利用者によって入力されたスタンプ画像である。
このように、編集画像P1は、撮影画像からクロマキー処理によって抽出した人物の領域の画像である人物画像P12を背景画像P11に重ね、その上に前景画像P13を重ねることによって生成される。ペン画像やスタンプ画像を背景画像P11上に入力し、被写体の背景に表示させるようにすることも可能とされる。撮影画像に対しては、前景画像や背景画像が合成されることもあるし、編集処理を経たとしても利用者の操作によっては合成されないこともある。
<写真シール作成装置の内部構成>
図12は、写真シール作成装置1の構成例を示すブロック図である。図12において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図12に示すように、写真シール作成装置1は、PC(Personal Computer)部301に対して、事前選択部302、撮影部304、編集部305A,305B、および印刷部306が外部入出力インタフェース303を介して接続されることによって構成される。情報処理部であるPC部301は、例えば編集ユニット12の筐体内部に収納される。
PC部301を構成するCPU(Central Processing Unit)311、ROM(Read Only Memory)312、RAM(Random Access Memory)313は、バス314により相互に接続される。
CPU311は、所定のプログラムを実行し、写真シール作成装置1の全体の動作を制御する。ROM312は、CPU311が実行するプログラムやデータを記憶する。RAM312は、CPU311が処理するデータやプログラムを一時的に記憶する。
バス314には、さらに、入出力インタフェース315が接続される。入出力インタフェース315には、記憶部316、通信部317、およびドライブ318が接続される。
記憶部316は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部316は、CPU311から供給された各種の設定情報などを記憶する。記憶部316に記憶されている情報はCPU311により適宜読み出される。
通信部317は、インターネットなどのネットワークのインタフェースである。通信部317は、CPU311による制御に従って外部の装置と通信を行う。通信部317は、利用者により選択された画像を、例えば写真シール作成装置1の製造メーカが管理する画像取得サイト管理サーバに送信する。通信部317から送信された画像は、所定の記憶領域が割り当てられて保存され、画像取得サイト管理サーバにアクセスしてきた携帯端末上で表示されたり、その携帯端末にダウンロードされたりする。
ドライブ318には、光ディスクや半導体メモリなどよりなるリムーバブルメディア319が適宜装着される。ドライブ318によりリムーバブルメディア319から読み出されたプログラムやデータは、CPU311に供給され、記憶部316に記憶されたり、インストールされたりする。
入出力インタフェース315には外部入出力インタフェース303が接続される。PC部301による各部の制御が、外部入出力インタフェース303を介して行われる。
事前選択部302は、事前選択空間A0にいる利用者を対象とした事前選択処理を実現する。事前選択部302は、タッチパネルモニタ71、スピーカ72、および硬貨処理部321から構成される。
タッチパネルモニタ71は、PC部301による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部301に供給され、各種の設定が行われる。
硬貨処理部321は、硬貨投入返却口73への硬貨の投入を検出する。硬貨処理部321は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部301に出力する。
撮影部304は、撮影空間A1にいる利用者を対象とした撮影処理を実現する。撮影部304は、照明装置331、カメラ91、タッチパネルモニタ92、およびスピーカ332から構成される。
照明装置331は、撮影空間A1内の各ストロボユニットであり、PC部301から供給される照明制御信号に従って発光する。
カメラ91は、PC部301によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像(画像データ)をPC部301に出力する。
編集部305Aは、編集空間A2−1にいる利用者を対象とした編集処理を実現する。編集部305Aは、タブレット内蔵モニタ131、タッチペン132A,132B、およびスピーカ341から構成される。編集部305Bは、編集空間A2−2にいる利用者を対象とした編集処理を実現し、編集部305Aと同一の構成を有する。なお、以下、編集部305A,305Bを特に区別しない場合には、単に、編集部305という。
タブレット内蔵モニタ131は、PC部301による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部301に供給され、編集対象となる撮影画像が編集される。
印刷部306は、プリンタ351を含むように構成される。プリンタ351にはシール紙ユニット352が装着される。
プリンタ351は、内蔵するヘッド361を駆動し、PC部301から供給された印刷データに基づいて、シール紙ユニット352に収納されているロール状のシール紙363に画像を印刷する。また、プリンタ351は、画像を印刷したシール紙363をカッター362によって所定のカット位置でカットして、シール紙排出口161に排出する。
<写真シール作成装置の機能構成例>
図13は、写真シール作成装置1の機能構成例を示すブロック図である。図13に示す機能部のうちの少なくとも一部は、CPU311により所定のプログラムが実行されることによって実現される。
写真シール作成装置1においては、事前選択処理部401、撮影処理部402、編集処理部403、および印刷処理部404が実現される。
事前選択処理部401は、事前選択部302の各部を制御することで、事前選択処理を実行する。事前選択処理により、利用者の人数の選択、背景画像の選択などが行われる。利用者による選択内容を表す情報は撮影処理部402に供給される。
撮影処理部402は、撮影部304の各部を制御することで撮影処理を行う。撮影処理部402は、撮影処理を行うことによって得られた撮影画像のデータを編集処理部403に出力する。撮影処理部402から編集処理部403に対しては、撮影を複数回行うことによって得られた複数枚の撮影画像のデータが供給される。
編集処理部403は、編集部305の各部を制御することで編集処理を行う。編集処理には、撮影画像に写る利用者の目の大きさや肌の明るさを調整する処理、撮影画像に対して編集を施す処理などが含まれる。
写真シール作成装置1が提供するゲームにおける編集処理には、撮影画像を用いて動画像を生成する処理も含まれる。この動画像は、静止画像である撮影画像を合成した各フレーム画像から構成され、例えば7秒間などの再生時間の短い動画像である。
利用者は、ゲームの終了後、画像取得サイト管理サーバにアクセスして動画像を自分の携帯端末に取り込み、SNSに投稿して用いたりすることができる。以下、適宜、撮影画像を用いて生成される動画像を、携帯用ミニ動画という。
編集処理部403は、撮影画像の編集を終えた後、編集画像を所定のレイアウトで配置することによって印刷データを生成し、印刷処理部404に出力する。
印刷処理部404は、プリンタ351に印刷データを出力し、編集画像の印刷を行う。
<編集処理部の構成例>
図14は、編集処理部403の機能構成例を示すブロック図である。
編集処理部403は、表示制御部431、編集制御部432、通信制御部433、およびレタッチ処理部434から構成される。
表示制御部431は、タブレット内蔵モニタ131の表示を制御する。例えば、表示制御部431は、タブレット内蔵モニタ131に、撮影画像に施される画像処理の度合いを選択するための選択画面や、撮影画像を対象とした編集作業のための編集画面を表示させる。
編集制御部432は、編集画面に対する利用者の操作に応じて、撮影画像に編集を施す。具体的には、編集制御部432は、編集画面において利用者により選択された合成用画像を、撮影画像の所定の位置に合成する。
通信制御部433は、通信部317を制御し、インターネットなどのネットワークを介した通信に関する処理を行う。例えば、通信制御部433は、通信部317を制御することで、撮影処理において得られた撮影画像や、編集処理において得られた編集画像を画像取得サイト管理サーバへ送信する。
レタッチ処理部434は、撮影処理において得られた撮影画像に対してレタッチ処理を施す。レタッチ処理は、撮影画像に写る顔やその一部を加工したり修整する画像処理をいう。
次に、図15を参照して、レタッチ処理部434の機能構成例について説明する。
レタッチ処理部434は、認識部451、第1の画像処理部452、領域特定部453、および第2の画像処理部454から構成される。
認識部451は、撮影画像における顔、またはその器官(顔パーツ)を含む顔の一部を認識する。顔の一部には、顔パーツである目、鼻、口、耳の他、頬、顎、額、髪などが含まれる。認識部451は、認識対象とする部分の輪郭点を抽出し、それらを結んだ領域が顔や顔パーツであるか否かを判定することで、顔や顔パーツの認識を行う。なお、抽出される輪郭点の数は任意であり、認識される部位によって変えるようにしてもよい。
また、認識対象とする部分の色を検出することで、顔や顔パーツの認識が行われるようにしてもよい。例えば、肌色が検出されたか否かによって顔を認識したり、白色と黒色とが検出されたか否かによって目を認識するようにする。なお、最終的にレタッチ処理の対象とする部分(例えば目)が認識されればよく、顔や他の顔パーツの検出を行わずに、目のみを検出するようにしてもよい。
さらに、顔や顔の一部以外に、首や胸元、腕や手などを認識対象とするようにしてもよい。
第1の画像処理部452は、認識部451によって認識された顔または顔パーツの領域に対して、レタッチ処理を実現する画像処理を施す。例えば、第1の画像処理部452は、認識された目の領域に対して、目を大きくする画像処理を施す。
ここで、第1の画像処理部452が施す画像処理、すなわち、利用者の操作によらず、顔や顔パーツが認識されることで施される画像処理により実現されるレタッチ処理を、自動レタッチ処理という。
領域特定部453は、利用者の操作により、撮影画像において、自動レタッチ処理の対象となった顔または顔パーツの領域と同じ領域を特定する。例えば、自動レタッチ処理の対象が目の領域である場合、領域特定部453は、利用者の操作により、撮影画像において目の領域を特定する。
第2の画像処理部454は、領域特定部453により特定された顔やパーツの領域に対して、レタッチ処理を実現する画像処理を施す。例えば、第2の画像処理部454は、領域特定部453により特定された目の領域に対して、目を大きくする画像処理を施す。
ここで、第2の画像処理部454が施す画像処理、すなわち、利用者の操作により顔や顔パーツが特定されることで施される画像処理により実現されるレタッチ処理を、手動レタッチ処理という。
なお、第1の画像処理部452および第2の画像処理部454による画像処理の対象は、1つの顔パーツに限らず、複数の顔パーツであってもよい。さらに、画像処理の対象として、顔パーツの領域だけでなく、その周囲の領域が含まれるようにしてもよい。これにより、顔パーツを含む領域に対してより自然な処理を施すことができ、また、認識/特定された顔パーツの位置がずれた場合であっても、その影響を大きく受けることなく処理を施すことができる。
<写真シール作成装置の動作>
ここで、図16のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置1の動作について説明する。
ステップS1において、事前選択処理部401は、所定の金額分の硬貨が投入されたか否かを、硬貨処理部321から供給される起動信号に基づいて判定し、硬貨が投入されたと判定するまで待機する。
ステップS1において、硬貨が投入されたと判定された場合、処理はステップS2に進む。ステップS2において、事前選択処理部401は、事前選択部302を制御することで、事前選択処理を行う。具体的には、事前選択処理部401は、撮影空間で行われる撮影に関するコースとして、利用者の人数に応じて行われるゲームの種類を決定する人数コースや、撮影空間で行われる撮影により得られる撮影画像の背景となる背景画像の選択などを利用者に行わせることで、各種の設定を行う。
ステップS3において、撮影処理部402は、撮影部304を制御することで、撮影処理を行う。具体的には、撮影処理部402は、カメラ91に取り込まれた被写体の動画像をタッチパネルモニタ92にライブビュー表示させ、撮影空間A1にいる利用者を被写体として撮影し、撮影画像を生成する。
ステップS4において、編集処理部403は、編集空間A2−1と編集空間A2−2のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部305を制御することで、編集処理を行う。具体的には、編集処理部403は、撮影処理により得られた撮影画像に対して利用者に編集作業を行わせることで、編集が施された編集画像を生成する。
ステップS5において、印刷処理部404は、プリンタ351を制御することで、印刷処理を行う(開始する)。具体的には、印刷処理部404は、編集処理により得られた編集画像をプリンタ351に出力してシール紙に印刷する。なお、撮影処理により得られた撮影画像が、シール紙に印刷されるようにしてもよい。
印刷が終了すると、ステップS6において、プリンタ351は、画像が印刷されたシール紙をシール紙排出口161に排出し、処理を終了させる。
<編集処理の詳細>
次に、図17のフローチャートを参照して、上述した写真シール作成ゲームの一連の処理におけるステップS4の編集処理の詳細について説明する。
編集処理が開始されると、ステップS31において、表示制御部431は、目の大きさ・明るさ選択画面をタブレット内蔵モニタ131に表示させる。
目の大きさ・明るさ選択画面は、撮影画像に写る利用者の目の大きさと肌の明るさの選択に用いられる画面である。
目の大きさ・明るさ選択画面において、目の大きさと肌の明るさとが選択されると、処理はステップS32に進む。
ステップS32において、表示制御部431は、タブレット内蔵モニタ131に名前入力画面を表示させる。
名前入力画面は、利用者による名前の入力に用いられる画面である。名前入力画面には、名前の入力に用いることが可能なひらがなを選択するためのボタンと、選択されたボタンに対応する文字列が表示されるテキストボックスが表示される。
名前入力画面において、名前の入力が終了すると、処理はステップS33に進む。
ステップS34において、表示制御部431は、編集画面をタブレット内蔵モニタ131に表示させる。
編集画面は、編集対象となる撮影画像の編集に用いられる画面である。編集画面には、編集対象となる撮影画像と、編集に用いられるスタンプ画像やペン画像などの各種の編集ツール(合成用画像)が表示される。
利用者は、タッチペン132A,132Bを用いて、スタンプ画像やペン画像などを編集対象となる撮影画像上の所定の位置へ重畳することで、編集対象となる撮影画像に対する合成用画像の合成が行われる。
すなわち、ステップS34において、編集制御部432は、利用者の操作に応じて、編集対象となる撮影画像に編集を施す。
編集作業が終了すると、ステップS35において、表示制御部431は、分割数選択画面をタブレット内蔵モニタ131に表示させる。
分割数選択画面は、最終的に出力されるシール紙の分割数やシールレイアウトの選択に用いられる画面である。シールレイアウトは、1枚の写真シールに配置される編集画像(撮影画像)の枚数や位置、大きさを決定するレイアウト(配置パターン)である。ここで、利用者により選択されたシールレイアウトに従って編集画像が配置されてなる画像、すなわち、シール紙に印刷されて最終的に出力される画像をレイアウト画像という。
したがって、分割数選択画面には、例えば5枚の撮影画像それぞれに編集が施された編集画像が、異なるシールレイアウトで配置されたレイアウト画像が複数表示される。
分割数選択画面において、レイアウト画像のいずれかが選択されると、処理はステップS36に進む。
ステップS36において、表示制御部431は、ミニゲーム画面をタブレット内蔵モニタ131に表示させる。
ミニゲーム画面は、後述する携帯送信用画像以外に、利用者の所有する携帯端末に送信される動画像を当てる(選択させる)ためのゲームを行う画面である。詳細な説明は省略するが、この動画像は、撮影処理により得られた複数の撮影画像を用いて生成される。
ミニゲーム画面において、ゲームが行われ、携帯端末に送信される動画像が決定されると、処理はステップS37に進む。
ステップS37において、表示制御部431は、携帯送信用画像選択画面をタブレット内蔵モニタ131に表示させる。
携帯送信用画像選択画面は、利用者の所有する携帯端末に送信するための携帯送信用画像の選択に用いられる画面である。携帯送信用画像選択画面には、5枚の撮影画像に加え、そのうちのいずれかに所定の編集が施された携帯送信専用の画像が表示される。
携帯送信用画像選択画面において、画像のいずれかが選択されると、処理はステップS38に進む。
ステップS38において、表示制御部431は、メールアドレス入力画面をタブレット内蔵モニタ131に表示させる。
メールアドレス入力画面は、利用者の所有する携帯端末のメールアドレスの入力に用いられる画面である。メールアドレス入力画面には、メールアドレスに用いることが可能なアルファベットや記号、携帯電話機のキャリアを選択するためのボタンと、選択されたボタンに対応する文字列が表示されるテキストボックスが表示される。
メールアドレス入力画面において、メールアドレスの入力が終了すると、処理はステップS39に進む。
ステップS39において、通信制御部433は、通信部317を制御することで、インターネットなどのネットワークを介して、利用者により選択された携帯送信用画像を、利用者により入力されたメールアドレスとともに、画像取得サイト管理サーバに送信する。
画像取得サイト管理サーバは、利用者により入力されたメールアドレス宛てに、携帯端末が画像取得サイト管理サーバにアクセスするのに必要なURL(Uniform Resource Locator)が記載されたメールを送信する。そして、そのURLに基づいて、利用者が所有する携帯端末が、ネットワークを介して画像取得サイト管理サーバにアクセスすることで、画像取得サイト管理サーバに送信された携帯送信用画像が携帯端末に提供される。
そして、ステップS40において、編集処理部403は、編集作業を終えた利用者に対して、印刷待ち空間A3への移動を案内する。印刷待ち空間A3への移動の案内は、編集部305のタブレット内蔵モニタ131に案内画面を表示させることによって、または音声をスピーカ341から出力させることによって行われる。
以上のようにして、編集処理が行われる。
<自動レタッチ処理>
上述した編集処理の対象となる撮影画像に対しては、撮影画像における顔パーツが認識され、その結果に応じて、自動レタッチ処理が実行される。
ここで、図18のフローチャートを参照して、自動レタッチ処理について説明する。この処理が実行されるタイミングは、撮影処理以降であればよく、例えば、撮影作業を終え、利用者が編集空間に移動している間や、編集作業を行っている間などとされる。
ステップS51において、認識部451は、撮影画像において顔パーツ、具体的には目を認識する。
ステップS52において、認識部451は、目の認識に成功したか否かを判定する。目の認識に成功したと判定された場合には、処理はステップS53に進む。
ステップS53において、第1の画像処理部452は、認識に成功した目の領域に対する画像処理、具体的には目を大きくする処理を施す。例えば、この処理は、撮影画像に写る目の大きさを、上述した目の大きさ・明るさ選択画面において選択された目の大きさに変える処理として施される。
一方、ステップS52において目の認識に成功しなかった(目の認識に失敗した)場合には、ステップS53はスキップされ、画像処理は施されない。
例えば、目の輪郭点として、目尻と目頭の2点を抽出することで目の認識を行う場合、撮影画像における目が以下の状態にあるときに、目の認識に失敗するおそれがある。
(1)目尻または目頭に髪の毛がかかっている
(2)眼鏡をかけている
(3)目をつぶっている
(4)顔がカメラに正対しておらず、目が写っていない
このような場合、利用者が、目の大きさ・明るさ選択画面において所望の目の大きさを選択したとしても、撮影画像に対して自動レタッチ処理は施されず、結果として、満足度の高い画像が提供されない可能性があった。
そこで、本実施の形態においては、上述したような場合、特に(1),(2)のような場合であっても、満足度の高い画像を提供することができるようにする。
例えば、編集画面において、認識に失敗した目の領域に対して、目を大きくする処理が施されるようにする。
<編集画面の例>
編集画面は、基本的に、主な構成が左右対称に設けられることによって構成される。左半分の領域は、タブレット内蔵モニタ131に向かって左側にいる利用者により用いられる領域である。右半分の領域は、タブレット内蔵モニタ131に向かって右側にいる利用者により用いられる領域である。このような編集画面の構成により、主に2人の利用者が同時に編集作業を行うことができる。
図19においては、編集画面の左半分の領域(左半分領域)が示されている。
左半分領域の中央上部には、サムネイル表示領域511が設けられる。サムネイル表示領域511は、撮影画像を表すサムネイル画像の表示領域である。利用者は、サムネイル表示領域511に表示されているサムネイル画像を選択することによって、編集対象とする撮影画像を選択する。
図19の例では、5枚の撮影画像を表すサムネイル画像がサムネイル表示領域511に並んで表示されている。
左半分領域の略中央には、編集領域512が設けられる。編集領域512は、編集対象として選択された撮影画像の表示領域である。利用者は、タッチペン132Aを用いて編集ツールを選択し、編集領域512に表示された撮影画像の編集を行う。
左半分領域の下部には、編集パレット513が表示される。編集パレット513は、ペン画像、スタンプ画像などの各種の編集ツール(合成用画像)の選択に用いられる。
編集パレット513においては、タブ毎に各編集ツールが用意されている。利用者は、それぞれのタブを選択することによって、編集パレット513に表示される編集ツールを切り替える。例えば、「スタンプ」の名前が付されたタブは、スタンプ画像を選択するときに操作されるタブであり、「ペン」の名前が付されたタブは、ペン画像を選択するときに操作されるタブである。
編集領域512の左方には、手動レタッチ領域514およびメイクパレット515が設けられる。
手動レタッチ領域514は、目の領域に対する手動レタッチ処理を実行するために、編集対象となる撮影画像における目の大きさを選択するためのボタンの表示領域である。
手動レタッチ領域514には、「小さめ拡大」ボタン521、「大きめ拡大」ボタン522、および「初めから」ボタン523が設けられる。「小さめ拡大」ボタン521は、所定の拡大率で目を拡大するために操作されるボタンである。「大きめ拡大」ボタン522は、「小さめ拡大」ボタン521より大きい拡大率で目を拡大するために操作されるボタンである。「初めから」ボタン523は、「小さめ拡大」ボタン521または「大きめ拡大」ボタン522によって拡大された目の大きさを、元の大きさに戻すために操作されるボタンである。
編集画面が、タブレット内蔵モニタ131に最初に表示された状態(デフォルトの状態)では、「初めから」ボタン523は、グレーアウト表示されており、「小さめ拡大」ボタン521および「大きめ拡大」ボタン522のいずれかが操作されると、グレーアウト表示が解除される。
なお、図19の例では、目を拡大するために操作されるボタンとして、「小さめ拡大」ボタン521と「大きめ拡大」ボタン522の2つのボタンが設けられているが、単に、所定の拡大率で目を拡大するために操作される1つのボタンのみが設けられるようにしてもよい。
メイクパレット515は、メイクツールを選択するためのアイコンの表示領域である。メイクツールは、撮影画像に写る利用者の顔を、化粧(メイク)を施したような顔にするための編集ツールである。メイクツールが選択されることで、撮影画像における顔パーツに対して、選択されたメイクツールに対応する画像処理が施される。なお、メイクツールに対応する画像処理は、メイクパレット515に対する利用者の選択操作(具体的には、メイクパレット515に設けられる「2人同時」ボタンまたは「1人ずつ」ボタンの押下)により、撮影画像に写る利用者それぞれに同時に施されるようにしてもよく、利用者毎に施されるようにしてもよい。
編集領域512の右方には、携帯おまけボタン516が設けられる。携帯おまけボタン516が操作されると、編集画面上に携帯おまけ作成用の画面(携帯おまけ作成画面)が表示され、利用者は携帯おまけの作成を行うことができる。携帯おまけは、例えば、携帯端末の待受画像に用いられたり、ブログやSNSなどのウェブサイトに公開される画像として用いられる。
さて、手動レタッチ領域514において、「小さめ拡大」ボタン521および「大きめ拡大」ボタン522のいずれかが操作されると、図20に示されるように、編集領域512上に、手動レタッチ処理の機能について説明するガイダンスポップアップ530が表示される。
ガイダンスポップアップ530には、手動レタッチ処理の機能について説明する文言および画像、「使う」ボタン531、並びに「使わない」ボタン532が表示される。
図20の例において、「使わない」ボタン532が押下されると、ガイダンスポップアップ530は閉じられ、編集画面は、図19に示される表示の状態に遷移する。
一方、「使う」ボタン531が押下されるか、手動レタッチ領域514において初めて「小さめ拡大」ボタン521および「大きめ拡大」ボタン522のいずれかが押下されると、図21に示されるように、編集領域512上に、手動レタッチ処理の機能の使い方について説明する使い方ポップアップ540が表示される。
使い方ポップアップ540には、手動レタッチ処理の機能の使い方を説明する文言および画像が表示される。具体的には、タッチペン132で目の左右をタッチして線を描く旨の説明文と、モデル画像の目の目頭から目尻へペン先が移動し線が描かれるアニメーションが表示される。
図21の状態で、使い方ポップアップ540左上に設けられている閉じるボタン541が押下されるか、編集画面上の使い方ポップアップ540以外の領域が押下されると、使い方ポップアップ540は閉じられ、編集画面は、図19に示される表示状態に遷移するとともに、手動レタッチ処理の機能が利用できる状態となる。
上述したように、手動レタッチ処理の機能によれば、タッチペン132により撮影画像における目の領域を特定することで、その領域に対して目を大きくする処理が施される。
<手動レタッチ処理>
ここで、図22のフローチャートを参照して、手動レタッチ処理について説明する。
ステップS71において、領域特定部453は、顔パーツの領域が特定されたか否かを判定する。具体的には、領域特定部453は、利用者のタッチペン132の操作により所定の領域が指定されたか否かを判定する。
利用者のタッチペン132の操作により所定の領域が指定されるまで、ステップS71の処理は繰り返される。そして、利用者のタッチペン132の操作により所定の領域が指定された場合、領域特定部453は、指定された領域を顔パーツの領域として特定し、処理はステップS72に進む。
ステップS72において、第2の画像処理部454は、領域特定部453により特定された領域に対して画像処理を施す。
例えば、図23に示されるように、撮影画像上で、タッチペン132により始点SPから終点EPまでの線551が描かれたとする。線551の長さがLであった場合、領域特定部453は、線551と垂直な2方向(図中上下方向)にL/4ずつの距離に、線551に平行な長さLの線分を設定する。そして、領域特定部453は、長辺の長さL、短辺の長さL/2の矩形領域552を、顔パーツの領域として特定する。
そして、第2の画像処理部454は、矩形領域552において、線551により二分されるそれぞれの領域の画素を、線551から遠ざかる方向のみに拡大・移動する拡大・移動処理を、矩形領域552に対して施す。
なお、タッチペン132により描画可能な線551の長さの上限は、撮影画像が表示される編集領域512の横幅の、例えば15%とされる。この値は、撮影画像において顔が極めて大きく写った場合に必要とされる値とされる。描画可能な線551の長さに上限を設けることで、不自然な画像が作成される可能性を低減することができる。
また、点と判断されるような長さの線551では、上述した拡大・移動処理が施されないため、描画可能な線551の長さの下限は、数ピクセル程度とされる。なお、描画可能な線551の長さの上限および下限は、撮影画像の撮影範囲、言い換えると、撮影画像が、アップ画像であるか、コーディネート画像のような人物のほぼ全身が写る全身画像であるかによって異なる値をとるようにしてもよい。
このような処理により、図24左側に示されるように、タッチペン132により、目頭から目尻へ線551が描かれた目の領域は、図24右側に示されるように、目が大きくなったように変化する。
なお、上述した拡大・移動処理における画素の拡大率・移動量は、「小さめ拡大」ボタン521が押下されたときと、「大きめ拡大」ボタン522が押下されたときとで異なるものとする。具体的には、「小さめ拡大」ボタン521が押下されたときより、「大きめ拡大」ボタン522が押下されたときの方が、画素の拡大率・移動量は大きくなる。
以上の処理によれば、顔パーツの認識に失敗した場合であっても、タッチペン132により、その顔パーツの領域を特定することで画像処理が施されるので、利用者に対して、より確実に、満足度の高い画像を提供することが可能となる。
<領域の特定について>
以上においては、タッチペン132により線を描くことで、顔パーツの領域が特定されるものとしたが、単に、例えば2点(目頭および目尻の2点)などの複数点をタッチペン132により指定し、それらを結ぶ線分に基づいて、顔パーツの領域が特定されるようにしてもよい。
また、図25に示されるように、タッチペン132により最初に指定された点P1と、次に指定された点P2とを結ぶ線を対角線とする矩形領域561が、顔パーツの領域として特定されるようにしてもよい。
さらに、画面上で、撮影画像における顔の輪郭がタッチペン132によりなぞられることにより顔パーツの位置が推定されることで、顔パーツの領域が特定されるようにしてもよい。
また、顔パーツの領域が特定された後、画面上の撮影画像においてタッチペン132により指定された位置が、顔パーツの領域の中心となるようにしてもよい。この場合、領域の中心でドラッグ操作することで、顔パーツの領域を移動できるようにしてもよいし、画面上に十字キー(方向キー)を設け、その十字キーを操作することで、顔パーツの領域を移動できるようにしてもよい。また、画面上に拡大/縮小ボタンを設け、顔パーツの領域を拡大/縮小できるようにしてもよい。
なお、画面上の所定の位置に、顔パーツの領域の大きさを示す目盛りを有するスライダーを設け、そのスライダーが操作されることで、顔パーツの領域の大きさが段階的に変化するようにしてもよいし、顔パーツの領域の大きさを示す図形が表示された複数のボタンを設け、選択されたボタンに応じて、顔パーツの領域の大きさが段階的に変化するようにしてもよい。
また、画面に対する操作に、タッチペン132に代えて指を用いるようにしてもよい。この場合、ピンチインやピンチアウトなどの操作によって、顔パーツの領域の大きさが調整されるようしてもよい。具体的には、ピンチアウトの操作により、顔パーツの領域が大きくなり、ピンチインの操作により、顔パーツの領域が小さくなるようにする。さらに、画面上でのタッチペン132や指の移動方向に応じて、顔パーツの領域の大きさが調整されるようにしてもよい。
なお、手動レタッチ処理の機能は、認識に成功した顔パーツの領域にも利用することができる。そこで、画面上の撮影画像において、認識されている顔パーツの近傍をタッチペン132や指でタッチすることで、顔パーツの領域が特定されるようにしてもよい。また、画面上に、顔パーツそれぞれに対応するボタンを設け、選択されたボタンに応じて、顔パーツの領域が特定されるようにしてもよい。
<レタッチ処理の他の例>
以上においては、レタッチ処理として、目を大きくする処理が施される例について説明したが、目を大きくする処理以外の処理が施されるようにしてもよい。例えば、レタッチ処理として、目を小さくする処理や、目の形状をたれ目、つり目などに変える処理、目全体の位置を変更する処理が施されるようにしてもよい。
また、手動レタッチ処理の機能を利用した場合、目を大きくする処理以外に、目の領域のシャープネスを変更する処理が施されるようにしてもよい。例えば、「小さめ拡大」ボタン521が押下された場合には、シャープネスを弱めに設定し、「大きめ拡大」ボタン522が押下された場合には、シャープネスを強めに設定するようにする。これにより、目を大きくするだけだと生じてしまう見た目の違和感を抑えることができるようになる。
さらに、目の領域において黒目の領域が特定できる場合には、その黒目の領域を大きくする処理がさらに施されるようにしてもよい。これにより、黒目に写り込むキャッチライトを目立たせることができる。
また、目に対するレタッチ処理以外にも、鼻や口、顔に対するレタッチ処理が施されるようにしてもよい。
例えば、鼻に対するレタッチ処理として、鼻筋の部分にハイライトを入れるような処理が施されるようにする。この場合、鼻筋の部分の明度を高くする処理が施されるようにしてもよいし、鼻筋の部分にハイライトを模した画像を合成する処理が施されるようにしてもよい。
また、口に対するレタッチ処理として、唇を厚くしたり薄くするような処理が施されるようにする。また、開いている口を閉じた口にするような処理が施されるようにしてもよい。
さらに、顔に対するレタッチ処理として、顔を小さくするような処理が施されるようにする。この場合、顔の輪郭部分の領域を、顔の中心に移動させる処理が施されるようにする。
なお、手動レタッチ処理(図22の処理)は、顔パーツの領域を特定する度に実行されるようにしてもよい。しかしながら、際限なく目が大きくなると、撮影画像に写る顔が不自然になるため、処理の回数に上限を設けるようにしてもよい。この場合、上限回数を超えてタッチペン132による線551が描画されたり、上限回数を超えた状態で「小さめ拡大」ボタン521または「大きめ拡大」ボタン522が操作されたときには、これ以上手動レタッチ処理の機能を利用できない旨のポップアップが表示されるようにする。
なお、手動レタッチ処理の上限回数は、撮影画像の撮影範囲、言い換えると、撮影画像が、アップ画像であるか、コーディネート画像のような人物のほぼ全身が写る全身画像であるかによって異なる回数としてもよい。具体的には、全身画像においては、アップ画像と比較して、画像全体における顔パーツの領域が小さく目立たないので、処理の対象が全身画像の場合には、アップ画像の場合より処理の上限回数を少なくするなどしてもよい。
また、手動レタッチ処理は、手動レタッチ処理が既に(一度)施されている領域には、再び施されないようにしてもよいし、自動レタッチ処理(図18の処理)が既に施されている領域には、施されないようにしてもよい。
<手動レタッチ処理の他の例>
(例1)
顔パーツの領域の特定の仕方として、撮影画像における顔パーツ毎に、顔パーツの領域が特定されるようにしてもよい。具体的には、上述したように、顔パーツそれぞれに対応するボタンが、例えば編集パレット513に表示されるようにする。例えば、目に対応するボタンが押下されることで、目の領域に、目を大きくする処理が施される。この場合、目の領域は、認識に成功することにより特定されるか、または、顔全体の領域における顔パーツそれぞれの位置関係から推定されるものとする。これにより、目の認識に成功した場合であっても失敗した場合であっても、タッチペン132で目頭と目尻とを結ぶ線を描くという手間をかけずに、手動レタッチ処理が施されるようになる。
(例2)
撮影画像における顔毎に、顔パーツの領域が特定されるようにしてもよい。具体的には、顔パーツに対応するボタンとは別に、手動レタッチ処理の対象を、撮影画像における利用者1人ずつにするためのボタンと、利用者全員にするためのボタンとが表示されるようにする。手動レタッチ処理の対象を利用者1人ずつにするためのボタンが押下された場合、選択された1人の利用者のみに手動レタッチ処理が施され、手動レタッチ処理の対象を利用者全員にするためのボタンが押下された場合、利用者全員に手動レタッチ処理が施される。
(例3)
撮影画像全体における顔の占める割合に応じて、顔パーツの拡大率を変更するようにしてもよい。具体的には、撮影画像において顔が大きく写っている場合には、顔パーツの拡大率を高くし、顔が小さく写っている場合には、顔パーツの拡大率を小さくする。これにより、撮影画像に写る顔が大きいほど、撮影画像全体の写りの印象を決める目の大きさを強調することができる。
なお、撮影画像において複数の利用者が写っている場合には、それぞれの顔の大きさの平均に応じて、顔パーツの拡大率を変更するようにしてもよい。
また、手動レタッチ処理として、目を大きくする処理以外に、目の領域の明度、彩度、コントラストなどの色調を補正する処理が施されるようにしてもよい。この場合、各種の色調を示すボタンを設け、目の領域の色調が、選択されたボタンに対応する色調に補正されるようにする。これにより、撮影画像を、より理想的な写りの画像に仕上げることができる。
(例4)
目の認識において、両方の目の認識の成功をもって、認識に成功したと判定するようにしてもよい。
ここで、片方の目のみの認識に成功している場合、認識に失敗したもう片方の目のみが、手動レタッチ処理の対象となるようにしてもよい。この場合、手動レタッチ領域514において「小さめ拡大」ボタン521または「大きめ拡大」ボタン522が操作されたときに、認識に成功した目の領域をグレースケール表示するなど、その領域の表示を異ならせるようにしてもよい。これにより、認識に成功した目が手動レタッチ処理の対象でないことを、利用者に把握させることができる。
また、両方の目の認識に失敗した状態で、片方の目の領域が特定され、かつ、鼻や口などの他の顔パーツの認識に成功している場合、それらの位置関係から、もう片方の目の領域が特定(推定)されるようにしてもよい。なお、この状態で、撮影画像上で両方の目について目頭と目尻との間の長さを比較し、明らかに異なる長さである場合には、いずれか一方の領域は目の領域でないおそれがあるので、その領域は、手動レタッチ処理の対象から除外されるようにしてもよい。
(例5)
顔パーツの認識の成功をもって、顔全体の認識を行うようにした場合、顔パーツの認識に失敗したとしても、その領域が特定されることで、顔全体の認識に成功したとするようにしてもよい。
例えば、目の認識に失敗して顔全体の認識を行えない場合、目の領域が特定されることで、顔全体の認識に成功したこととする。これにより、顔全体の領域における目以外の顔パーツの位置が推定されるので、目以外の顔パーツ、例えば唇に対して、唇の色を変更するなどの処理を施すことが可能となる。
<画像取得サイト管理サーバ・携帯端末でのレタッチ処理>
レタッチ処理は、写真シール作成装置1だけでなく、画像取得サイト管理サーバや携帯端末において行われるようにしてもよい。
画像取得サイト管理サーバにおいてレタッチ処理が行われる場合、写真シール作成装置1において行われた手動レタッチ処理のパラメータと、いずれの処理も施されていない撮影画像とが、画像取得サイト管理サーバに送信されるようにする。画像取得サイト管理サーバは、撮影画像に対して、そのパラメータを用いてレタッチ処理を施す。このとき、画像取得サイト管理サーバは、写真シール作成装置1からのパラメータとは異なるパラメータを用いるようにしてもよい。
携帯端末においてレタッチ処理が行われる場合には、写真シール作成装置1において行われた手動レタッチ処理と同様のレタッチ処理が行われるようにしてもよいし、写真シール作成装置1において行われた手動レタッチ処理とは独立して、撮影画像に対するレタッチ処理が行われるようにしてもよい。
<人数について>
撮影画像に写る利用者の人数に応じて、手動レタッチ処理が実行されるようにしてもよい。
例えば、撮影画像に写る利用者が4人以上など、所定の人数以上である場合には、利用者同士の顔が重なり、顔パーツを認識できない可能性があるので、手動レタッチ処理が実行されるようにする。
逆に、撮影画像に写る利用者が2人以下など、所定の人数以下である場合には、撮影画像における顔の占める割合が高くなり、顔の印象が画像全体の写りに影響を与えるので、手動レタッチ処理が実行されるようにしてもよい。
さらに、撮影画像に写る利用者が2人などの特定の人数である場合にのみ、手動レタッチ処理が実行されるようにしてもよい。
<撮影範囲について>
撮影処理において、撮影画像として、人物の顔と上半身が写るアップ画像と、人物の全身が写る全身画像の、異なる撮影範囲の画像が生成されるようにした場合、撮影範囲に応じて、手動レタッチ処理が実行されるようにしてもよい。
例えば、全身画像は、アップ画像と比較して画像における顔の占める割合が低いので、全身画像に対して手動レタッチ処理は実行されないようにし、アップ画像に対してのみ手動レタッチ処理が実行されるようにする。
なお、アップ画像および全身画像に加え、撮影画像として、人物の膝より上が写る膝上画像が生成されるようにした場合、膝上画像に対しては、手動レタッチ処理が実行されないようにしてもよいし、実行されるようにしてもよい。
<特別撮影について>
上述した撮影処理において行われる通常の撮影以外に、動画像撮影や、複数の撮影画像を配置し合成したコラージュ画像を得るための撮影、複数の利用者を被写体とした1回の撮影により利用者毎の撮影画像を得るための撮影などの、特別な撮影(特別撮影)が行われるようにしてもよい。
このような特別撮影は、画像における顔の写りを良くすることよりも、面白味をもたせたり、特別感を与えることを目的としている。そこで、特別撮影により得られた画像に対しては、手動レタッチ処理は実行されないようにし、通常の撮影により得られた撮影画像に対してのみ、手動レタッチ処理が実行されるようにする。
<自動レタッチ処理の変形例>
以上においては、編集処理において選択された目の大きさに応じて、自動レタッチ処理が実行されるものとしたが、事前選択処理や撮影処理において、目の大きさが選択されるようにしてもよい。
ここで、撮影処理において、例えば5回の撮影が行われ、得られた5枚の撮影画像のうち、4枚の撮影画像においては2人の利用者についての目が認識され、1枚の撮影画像においては2人の利用者についての目が認識されなかったとする。この場合、1枚の撮影画像においては、少なくとも1人の利用者について目の認識に失敗していることになる。この場合、目の認識に失敗した利用者について、目以外に認識されている顔パーツに基づいて、目の領域を推定する。これにより、目の認識に失敗した場合であっても、自動レタッチ処理が施されるようになる。
また、この場合、編集画面においては、目の認識に失敗した撮影画像であることを利用者に把握させるような表示がなされるようにしてもよい。
さらに、自動レタッチ処理は、撮影時に表示されるライブビュー画像に対して施されるようにしてもよい。この場合、処理対象となる顔パーツが正しく認識されるように、利用者に対して、ライブビュー画像に適切に映るようなガイダンスが出力されるようにしてもよい。
以上においては、編集画面において、認識に失敗した目の領域に対して、目を大きくする処理が施されるものとしたが、これに加えて、左右の目の大きさが異なる場合に、左右の目の大きさを揃える処理が施されるようにしてもよい。
<編集画面の他の例>
図26は、編集画面の他の例を示す図である。
なお、図26の編集画面において、サムネイル表示領域611、編集領域612、および編集パレット613は、図19の編集画面におけるサムネイル表示領域511、編集領域512、および編集パレット513とそれぞれ同様の機能を有する。
編集領域612の左方には、手動レタッチ領域614が設けられる。
手動レタッチ領域614は、目の領域に対する手動レタッチ処理を実行するために、編集対象となる撮影画像における目の大きさを変えるためのボタンの表示領域である。
手動レタッチ領域614には、「直す」ボタン621,622、および、OFFボタン623が設けられる。
「直す」ボタン621は、左右の目の大きさを同一にするために操作されるボタンである。
「直す」ボタン621が操作されると、図27に示されるように、編集領域612上に、左右の目の大きさを同一にする手動レタッチ処理の機能について説明する使い方ポップアップ630が表示される。
使い方ポップアップ630には、左右の目の大きさを同一にする手動レタッチ処理の機能の使い方を説明する文言および画像が表示される。具体的には、「小さい方の目をタッチしてね!」のメッセージと、モデルとなる人物の左右の目の部分が拡大されたモデル画像が表示される。図27のモデル画像は、タッチペン132のペン先が、モデルの左右の目のうちの小さい方の目の部分にタッチされる様子を表すアニメーションとして表示される。
図27の状態で、使い方ポップアップ630右上に設けられている閉じるボタン631が押下されると、使い方ポップアップ630は閉じられる。
「直す」ボタン622は、目を拡大するために操作されるボタンである。
「直す」ボタン622が操作されると、図28に示されるように、編集領域612上に、目を拡大する手動レタッチ処理の機能について説明する使い方ポップアップ640が表示される。
使い方ポップアップ640には、目を拡大する手動レタッチ処理の機能の使い方を説明する文言および画像が表示される。具体的には、「認識を外した目の上にラインを引いてね」のメッセージと、モデルとなる人物の左右の目の部分が拡大されたモデル画像が表示される。図28のモデル画像は、タッチペン132のペン先が、モデルの左右の目のうちの認識に失敗した方の目の目頭から目尻へ移動して線が描かれる様子を表すアニメーションとして表示される。
図28の状態で、使い方ポップアップ640右上に設けられている閉じるボタン641が押下されると、使い方ポップアップ640は閉じられる。
このように、図26の編集画面においては、左右の目の大きさを同一にする手動レタッチ処理と、認識に失敗した目を拡大する手動レタッチ処理の2つの処理の機能を利用することができる。
そのため、この例では、使い方ポップアップ630や使い方ポップアップ640が表示された状態でも、それぞれの機能を実現する操作を受付可能とする。これにより、利用者は、「直す」ボタン621および「直す」ボタン622のいずれかを選択した後、タッチペン132でいずれの操作(小さい方の目をタッチするのか、または、認識に失敗した目の目頭から目尻へ線を描くのか)を、間違えることなく行うことができる。すなわち、上述した2種類の手動レタッチ処理は、その処理毎に機能を実現する操作が異なる。そこで、選択された処理に対応する使い方ポップアップが表示されるようにすることで、利用者は、その使い方ポップアップを確認しながら、所望する機能を実現する操作を間違えることなく行うことができる。
なお、使い方ポップアップ630や使い方ポップアップ640が表示された状態で、編集領域612の撮影画像に写る目の領域に対する操作を可能とするよう、使い方ポップアップ630,640はいずれも編集領域612上の中央下部の領域に表示される。
また、上述した2種類の手動レタッチ処理の機能の使い方を説明する使い方ポップアップが表示される以外にも、編集画面に対する操作により実行されるその他の処理の機能の使い方を説明する使い方ポップアップが表示されるようにしてもよい。例えば、目や唇、頬などの顔パーツに対して選択されたメイクツールの機能の使い方を説明する使い方ポップアップや、目の形状を変える画像処理の機能の使い方を説明する使い方ポップアップなどが表示されるようにしてもよい。この場合、これらの使い方ポップアップもまた、対応する処理が施される領域に対する操作を可能とするよう、顔や目の領域を隠さない領域に表示されるようにする。
OFFボタン623は、「直す」ボタン621および「直す」ボタン622が操作されることにより施された処理を全て解除する(無効にする)ためのボタンである。
編集画面のデフォルトの状態では、OFFボタン623は、図26に示されるように、グレーアウト表示されており、「直す」ボタン621および「直す」ボタン622のいずれかが操作されると、図27または図28に示されるように、グレーアウト表示が解除される。
なお、編集領域612の右下方に設けられる「戻る」ボタン615が操作された場合、「直す」ボタン621および「直す」ボタン622が操作されることにより施された処理のうち、直近に操作されたボタンにより施された処理が1つだけ解除される。
例えば、「直す」ボタン621が操作されることで、撮影画像に写る一方の利用者に対して左右の目の大きさを同一にする手動レタッチ処理が施された後、「直す」ボタン622が操作されることで、撮影画像に写る他方の利用者に対して認識に失敗した目を拡大する手動レタッチ処理が施されたとする。
この状態で、OFFボタン623が操作された場合、一方の利用者に対して施された左右の目の大きさを同一にする手動レタッチ処理と、他方の利用者に対して施された認識に失敗した目を拡大する手動レタッチ処理とが、いずれも解除される。
一方、「戻る」ボタン615が操作された場合、直近に操作されたボタンにより他方の利用者に対して施された認識に失敗した目を拡大する手動レタッチ処理のみが解除される。「戻る」ボタン615がさらに操作されると、その前に操作されたボタンにより一方の利用者に対して施された左右の目の大きさを同一にする手動レタッチ処理のみが解除される。
なお、図27の使い方ポップアップ630や図28の使い方ポップアップ640に表示されるモデル画像は、撮影画像から切り出された利用者の目の部分の拡大画像であってもよい。この場合、利用者それぞれの目の部分の拡大画像が表示されるようにし、選択された拡大画像に対応する利用者が、手動レタッチ処理の対象となるようにしてもよい。
<手動レタッチ処理における画像処理の詳細>
ここで、上述した2種類の手動レタッチ処理における画像処理の詳細について説明する。
左右の目の大きさを同一にする手動レタッチ処理においては、撮影画像において認識された目の領域がタッチペン132によりタッチされることで、例えばその目の中心点を基準に、目の輪郭点が中心点から遠ざかるように移動させる処理が施される。もちろんこれに限らず、目の輪郭点を結ぶことで囲まれる目の領域を拡大する処理が施されるなど、タッチペン132によりタッチされた方の目の領域が拡大する処理が施されればよい。
なお、「直す」ボタン621が操作された後、目の領域以外の領域がタッチペン132によりタッチされた場合には、いずれの処理も施されないようにする。
認識に失敗した目を拡大する手動レタッチ処理においては、図29に示されるように、撮影画像上で、タッチペン132により目頭(始点P11)から目尻(終点P12)に向かって線651が描かれることで、図23を参照して説明した処理が施される。なお、図29の例では、線651が描画されるとともに、始点P11を目頭、終点P12を目尻とした目を模したアイコン652が表示される。
なお、始点P11から終点P12に向かって描かれる線651は、編集領域612上、横方向(左右方向)に描かれた場合にのみ有効とされ、それ以外の方向(縦方向や斜め方向)に描かれた場合については無効とする。
しかしながら、利用者の中には、顔を傾けた状態で撮影を行う利用者もおり、その状態で得られる撮影画像には、利用者の顔、ひいては目が傾いて写ることになる。このような場合、認識に失敗した目を拡大する手動レタッチ処理において、描画される線651について上述した制限を設けることは好ましくない。
そこで、図30に示されるように、始点P11を原点とした2次元平面上で、始点P11から終点P12に向かって描かれる線651と横軸(x軸)とのなす角度について制限を設ける。具体的には、線651と横軸(x軸)とのなす角度が、0°乃至40°,130°乃至210°,320°乃至360°の範囲にある場合には、線651を有効とするようにする。すなわち、線651と横軸(x軸)とのなす角度が、41°乃至129°,211°乃至319°の範囲にある場合には、線651は無効となり、描画もされなければ、目を拡大する処理も施されない。
これにより、利用者の目が傾いて写る撮影画像に対しても、認識に失敗した目を拡大する手動レタッチ処理の機能を利用することが可能となる。
また、この例においても、手動レタッチ処理の上限回数が設けられるようにする。この場合、手動レタッチ処理の種類(左右の目の大きさを同一にするか、認識に失敗した目を拡大するか)によらず、処理の合計回数が上限回数を超えた場合には、これ以上手動レタッチ処理の機能を利用できない旨のポップアップが表示されるようにする。
ここで、手動レタッチ処理の上限回数は、利用者の人数に応じて行われるゲームの種類を決定する人数コースによって異なるものとする。
例えば、人数コースとして、2人の利用者に適したゲームを提供する2人用コースが選択されている場合には、2人の利用者の左右それぞれの目の領域に対して、1回ずつのみ手動レタッチ処理を許容するよう、手動レタッチ処理の上限回数を4回とする。また、人数コースとして、3人以上の利用者に適したゲームを提供する3人以上コースが選択されている場合には、最大5人の利用者の左右それぞれの目の領域に対して、1回ずつのみ手動レタッチ処理を許容するよう、手動レタッチ処理の上限回数を10回とする。
上述した実施の形態では、写真シール作成装置1は、得られた画像をシール紙に印刷するとともに、画像取得サイト管理サーバに送信することで利用者の携帯端末に提供する構成を採るものとした。これに限らず、画像をシール紙に印刷せずに、画像取得サイト管理サーバに送信することで利用者の携帯端末に提供するのみの構成を採ることも可能である。また逆に、画像を画像取得サイト管理サーバに送信せずに、シール紙に印刷するのみの構成を採ることも可能である。
すなわち、本技術は、画像がシール紙に印刷された写真シールを作成する写真シール作成装置に限らず、単に、画像を作成するゲームを提供する写真作成ゲーム機に適用することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図12に示されるように、装置本体とは別に、写真シール作成装置1の管理者にプログラムを配信するために配布される、そのプログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROMおよびDVDを含む)、光磁気ディスク、もしくは半導体メモリなどよりなるリムーバブルメディア319により構成される。また、これらだけでなく、記録媒体は、装置本体にあらかじめ組み込まれた状態で管理者に配信されるプログラムが記録されているROM312や、記憶部316に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上において、印刷媒体は、シール紙や写真紙に限られるものではない。例えば、所定のサイズの紙やフィルム、プリペイドカードやIC(Integrated Circuit)カードなどのカード、あるいは、Tシャツなどの布地などに、画像を印刷するようにしてもよい。この場合、1または複数の撮影画像が配置されたシールレイアウト画像が、これらの印刷媒体に印刷されるようにしてもよい。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
1 写真シール作成装置
401 事前選択処理部
402 撮影処理部
403 編集処理部
404 印刷処理部
431 表示制御部
432 編集制御部
433 通信制御部
434 レタッチ処理部
451 認識部
452 第1の画像処理部
453 領域特定部
454 第2の画像処理部

Claims (10)

  1. 撮影画像において顔またはその一部を認識する認識部と、
    認識された前記顔またはその一部の領域に対して第1の画像処理を施す第1の画像処理部と、
    前記撮影画像において、前記第1の画像処理の対象となった前記顔またはその一部の領域と同じ領域を特定する領域特定部と、
    前記領域特定部により特定された前記顔またはその一部の領域に対して第2の画像処理を施す第2の画像処理部と
    を備える写真作成ゲーム機。
  2. 前記認識部は、前記撮影画像において顔パーツを認識し、
    前記第1の画像処理部は、認識に成功した前記顔パーツの領域に対して前記第1の画像処理を施し、
    前記領域特定部は、前記撮影画像において前記顔パーツの領域を特定し、
    前記第2の画像処理部は、前記領域特定部により特定された前記顔パーツの領域に対して前記第2の画像処理を施す
    請求項1に記載の写真作成ゲーム機。
  3. 前記領域特定部は、前記撮影画像において、利用者の操作により指定された領域を、前記顔パーツの領域として特定する
    請求項2に記載の写真作成ゲーム機。
  4. 前記第2の画像処理部は、前記第2の画像処理が既に施されている領域には、前記第2の画像処理を施さない
    請求項3に記載の写真作成ゲーム機。
  5. 前記第2の画像処理部は、前記第1の画像処理が既に施されている領域には、前記第2の画像処理を施さない
    請求項3または4に記載の写真作成ゲーム機。
  6. 前記顔パーツは目であり、
    前記第1および第2の画像処理は、目の領域を拡大する処理である
    請求項2乃至5のいずれかに記載の写真作成ゲーム機。
  7. 前記領域特定部は、前記撮影画像における前記顔毎に、前記顔パーツの領域を特定する
    請求項2乃至6のいずれかに記載の写真作成ゲーム機。
  8. 前記領域特定部は、前記撮影画像における前記顔パーツ毎に、前記顔パーツの領域を特定する
    請求項2乃至6のいずれかに記載の写真作成ゲーム機。
  9. 前記撮影画像として、人物の顔および上半身が写るアップ画像と、前記人物の全身が写る全身画像とを生成する撮影処理部をさらに備え、
    前記領域特定部は、前記撮影画像が前記アップ画像である場合に、前記撮影画像において前記顔パーツの領域を特定する
    請求項2乃至8のいずれかに記載の写真作成ゲーム機。
  10. 撮影画像において顔またはその一部を認識し、
    認識された前記顔またはその一部の領域に対して第1の画像処理を施し、
    前記撮影画像において、前記第1の画像処理の対象となった前記顔またはその一部の領域と同じ領域を特定し、
    特定された前記顔またはその一部の領域に対して第2の画像処理を施す
    ステップを含む画像処理方法。
JP2017178839A 2016-12-22 2017-09-19 写真作成ゲーム機および画像処理方法 Active JP7074994B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016249601 2016-12-22
JP2016249601 2016-12-22

Publications (2)

Publication Number Publication Date
JP2018106678A true JP2018106678A (ja) 2018-07-05
JP7074994B2 JP7074994B2 (ja) 2022-05-25

Family

ID=62787306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017178839A Active JP7074994B2 (ja) 2016-12-22 2017-09-19 写真作成ゲーム機および画像処理方法

Country Status (1)

Country Link
JP (1) JP7074994B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170097A (ja) * 2019-04-04 2020-10-15 フリュー株式会社 写真作成ゲーム機、画像処理方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013243648A (ja) * 2012-04-25 2013-12-05 Furyu Kk 写真シール機、写真シール機の処理方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013243648A (ja) * 2012-04-25 2013-12-05 Furyu Kk 写真シール機、写真シール機の処理方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170097A (ja) * 2019-04-04 2020-10-15 フリュー株式会社 写真作成ゲーム機、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
JP7074994B2 (ja) 2022-05-25

Similar Documents

Publication Publication Date Title
JP5246524B2 (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP6458460B2 (ja) 画像生成装置および方法、並びにプログラム
US9549084B2 (en) Photo decoration device
JP6206707B2 (ja) 撮影装置および表示制御方法
JP6880394B2 (ja) 写真作成ゲーム機および撮影方法
JP5569502B2 (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP2016177015A (ja) 写真シール作成装置および画像処理方法
JP6792154B2 (ja) 写真作成ゲーム機および画像処理方法
JP6477780B2 (ja) 写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム
JP6853475B2 (ja) 写真作成ゲーム機および表示方法
JP7074994B2 (ja) 写真作成ゲーム機および画像処理方法
JP2019186875A (ja) 写真作成ゲーム機、制御方法、およびプログラム
JP2014075812A (ja) 写真シール作成装置、画像処理方法、並びにプログラム
JP6232662B2 (ja) 写真撮影遊戯機及びその制御プログラム
JP6867587B2 (ja) 写真作成ゲーム機、情報処理方法、およびプログラム
JP2016213780A (ja) 写真シール作成装置および画像表示方法
JP6376421B1 (ja) 写真作成ゲーム機、表示方法、およびプログラム
JP2019192061A (ja) 写真作成ゲーム機、制御方法、およびプログラム
JP7121256B2 (ja) 写真作成ゲーム機、画像処理方法、およびプログラム
JP7032642B2 (ja) 写真作成ゲーム機、編集方法、およびプログラム
JP6455550B2 (ja) 写真シール作成装置および表示制御方法
JP6842038B2 (ja) 写真作成ゲーム機および画像処理方法
JP6982230B2 (ja) 写真作成ゲーム機および画像処理方法
JP6978660B2 (ja) 写真撮影遊戯装置、画像表示方法、及び画像表示プログラム
JP6443028B2 (ja) 画像生成装置、画像生成方法、および印刷媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7074994

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150