図1は、写真シール作成装置1の構成例を示す斜視図である。
写真シール作成装置1は、撮影や編集等の作業を利用者にゲームとして行わせ、撮影画像や編集済み画像を提供する代わりに利用者より代金を受け取るゲーム機(画像処理装置)である。写真シール作成装置1はゲームセンタなどの店舗に設置される。利用者は1人であることもあるし、複数人であることもある。
写真シール作成装置1が提供する写真シール作成ゲームにおいて、利用者は、代金を投入し、自身が被写体となって撮影を行い、撮影によって得られた撮影画像の中から編集対象画像を選択し、編集対象画像に対して、背景や前景となるフレーム画像、手書きの線画やスタンプ画像を合成する編集機能を用いて編集を行うことにより、撮影画像を彩り豊かな画像にする。ゲーム終了後、利用者は、編集済み画像が印刷されたシール紙を受け取ることになる。
図1に示すように、写真シール作成装置1の筐体10は、主に、撮影ユニット12、編集ユニット13、天井ストロボユニット14、および背景カーテンユニット15から構成される。
撮影ユニット12は、利用者を被写体として撮影する機能を有するユニットである。撮影ユニット12の内部の撮影空間において撮影が行われる。撮影ユニット12は、大きく前方ユニット12Aと後方ユニット12Bに分けられる。
前方ユニット12Aは、撮影空間の前方側となるユニットであり、撮影に関する処理を行ったり、利用者による操作を受け付けたりする。前方ユニット12Aの側面には、外付けモニタ16、スピーカ17、タッチペン18a,18bが設けられる。外付けモニタ16の下方には硬貨投入口55が設けられる。後方ユニット12Bは撮影空間の後方側となる壁状のユニットである。
編集ユニット13は、利用者が撮影画像に対して編集等を行うための構成が設けられるユニットである。2組の利用者が同時に編集作業を行うことができるように、編集等を行うための構成が編集ユニット13の2つの面のそれぞれに設けられる。写真シール作成装置1は、ある利用者に写真シール作成ゲームを行わせることと、他の利用者に写真シール作成ゲームを行わせることを並列的に実行することができる。
撮影空間の上方に設けられる天井ストロボユニット14は、撮影タイミングに合わせて撮影空間内に向けてフラッシュを発光するストロボを内蔵する。天井ストロボユニット14の内部には蛍光灯が配置されており、撮影空間の照明としても機能する。
後方ユニット12Bの上部には、背景に利用する可動式のカーテン(背景カーテン)が収納された背景カーテンユニット15が設けられている。背景カーテンユニット15には、色または柄の異なる巻き取り式のカーテンが複数収納されている。背景カーテンユニット15は、前方ユニット12Aに設けられたカメラやストロボ等の撮影機能と連動して動作し、撮影の際に、例えば利用者により選択された色のカーテンを下ろし、その他のカーテンを巻き取る。
前方ユニット12Aの側面に設けられる外付けモニタ16は、撮影空間で撮影が行われている場合に、次に撮影空間を利用するために撮影空間の外で待機している利用者や、写真シール作成装置1の傍を通りかかった人に対して、ゲームの進行状況を示す映像を表示したり、ゲームの流れや遊び方等を案内する映像(デモンストレーション)を表示したり、写真シール作成装置1が設置されている店舗や地域の広告等を表示したりする。外付けモニタ16はタブレット内蔵モニタであり、事前接客処理に関する画面を表示し、利用者による選択操作を受け付ける。
スピーカ17は、外付けモニタ16の表示に合わせた音声を出力する。
タッチペン18a,18bは事前接客作業を行う利用者により用いられる。利用者は、タッチペン18(タッチペン18a,18b)によって外付けモニタ16をタップしたり、外付けモニタ16上を移動させたりすることにより、各種の項目を選択することができる。タッチペンを2本用意しておくことにより、事前接客作業における選択操作を2人の利用者が同時に行うことが可能になる。
図2は、写真シール作成装置1を別の角度から見た斜視図である。
編集ユニット13は、前方ユニット12Aの、後方ユニット12B側の面(撮影空間側の面)と反対の面に隣接して設置される。編集ユニット13の2つの側面には、利用者が撮影画像に対する編集等を行うための第1編集インタフェース13Aと第2編集インタフェース13Bがそれぞれ設けられる。
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について図3を参照して説明する。図3は、写真シール作成装置1を上から見た平面図である。
外付けモニタ16の前方の空間である事前接客空間31において硬貨投入口55に代金を投入した利用者(利用者A)は、タッチペン18を用いて、外付けモニタ16に表示される画面に従って各種の設定を行う。事前接客空間31においては、例えば、画像をサーバに送信する機能である携帯送信の機能を利用するか否かの選択が事前接客作業として行われる。
事前接客作業を終えた利用者は、前方ユニット12Aと後方ユニット12Bの間に形成された撮影空間32に入り、前方ユニット12Aに設けられたカメラやモニタを利用して撮影作業を行う(利用者B)。
撮影作業を終えた利用者は、撮影画像の中から編集対象画像を選択し、選択した後に例えば前方ユニット12Aのモニタに表示される移動案内に従って、撮影空間32から、編集作業を行う編集空間に移動する。
編集ユニット13の、前方ユニット12Aから見て右側(第1編集インタフェース13Aの前方)に第1編集空間33Aが形成され、左側(第2編集インタフェース13Bの前方)に第2編集空間33Bが形成される。以下、適宜、第1編集空間33Aと第2編集空間33Bを区別する必要が無い場合、まとめて編集空間33という。
撮影空間32の利用者(利用者B)は、撮影作業を終えたとき、2つの編集空間のうち、空いている方に案内される。第1編集空間33Aまたは第2編集空間33Bに移動した利用者は、編集作業を開始する。第1編集空間33Aの利用者である利用者Cと、第2編集空間33Bの利用者である利用者C'は同時に編集作業を行うことができる。
編集作業を終えた利用者は、次に、分割数の設定などの印刷設定作業を編集空間33において行う。印刷設定作業が終了した後、印刷が開始される。画像の印刷中、利用者は、携帯送信の機能を利用することを事前接客作業時に選択している場合、サーバに保存しておく画像を編集済み画像の中から選択したり、ミニゲームを行ったりする。印刷が終了した場合、利用者は印刷物受取領域34に移動してシール紙を受け取り、一連の写真シール作成ゲームを終える。
次に、各ユニットの構成について説明する。
図4は、前方ユニット12Aの構成例を示す図である。図4の正面12A−1は、撮影空間32で撮影作業を行う利用者にとって前方に位置する面である。
正面12A−1のほぼ中央には、撮影空間32内の被写体を撮影するカメラ51が設けられており、カメラ51の下にタッチパネルモニタ52が設けられている。
正面12A−1には、カメラ51による撮影タイミングに合わせて発光する照明装置53−1乃至53−8が設置されている他、撮影作業を行っている利用者が手荷物等を置くための荷物置き場54−1および54−2が、タッチパネルモニタ52の下にある照明装置53−7を挟んで左右に設けられている。正面12A−1の例えば天井付近には、写真シール作成ゲームの撮影作業における案内音声、BGM(Back Ground Music)、効果音等の音声を出力するスピーカも設けられる。
カメラ51は、CCD(Charge Coupled Device)などの撮像素子により構成され、撮影空間32にいる利用者を撮影する。カメラ51により取り込まれた取り込み画像は、一部が切り出されたり、背景等の画像が合成されたりして、タッチパネルモニタ52にリアルタイムで表示される。利用者により撮影が指示されたときなどの所定のタイミングでカメラ51により取り込まれた画像は撮影画像(静止画像)として保存される。
タッチパネルモニタ52は、LCD(Liquid Crystal Display)などのライブビューモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ52は、カメラ51により取り込まれた取り込み画像に背景や前景等の画像を合成した合成画像(動画像)を表示するライブビューモニタとしての機能と、各種のGUI(Graphical User Interface)画像を表示するとともに、画面上に重畳されたタッチパネルにより利用者の選択操作を受け付ける機能とを備えている。
図5は、編集ユニット13の、撮影ユニット12側から見て右側面の構成例(第1編集空間33A側の構成例)を示す図である。
第1編集インタフェース13Aには、タブレット内蔵モニタ62、タッチペン63−1,63−2、およびスピーカ64が設けられる。これらの上方には照明装置61も設けられる。
タブレット内蔵モニタ62は、タッチペン63−1または63−2を用いて操作入力が可能なタブレットがLCDなどの表示デバイス上に重畳されることによって構成される。タブレット内蔵モニタ62には、例えば、編集対象画像の編集に用いられる画面である編集画面が表示される。2人で同時に編集作業を行う場合、タッチペン63−1は一方の利用者により用いられ、タッチペン63−2は他方の利用者により用いられる。以下、適宜、タッチペン63−1とタッチペン63−2をまとめてタッチペン63という。
スピーカ64は、案内音声、効果音、BGMなどの編集作業に関する音声を出力する。なお、第2編集空間33B側の編集ユニット13の構成も、図5に示す第1編集空間33A側の構成と基本的に同様の構成である。
図6は、編集ユニット13の、写真シール排出部13Cの構成例を示す図である。
写真シール排出部13Cには写真シール排出口71が設けられる。写真シール排出口71には、第1編集空間33Aの利用者が編集作業を行って得られた画像が印刷されたシール紙と、第2編集空間33Bの利用者が編集作業を行って得られた画像が印刷されたシール紙が排出される。編集ユニット13の内部にはプリンタが設けられており、編集作業により得られた画像の印刷がそのプリンタにより行われる。
次に、写真シール作成装置1の内部構成について説明する。図7は、写真シール作成装置1の内部の構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
制御部101は、写真シール作成装置1の全体の動作を制御する。制御部101には、記憶部102、通信部103、ドライブ104、ROM(Read Only Memory)106、RAM(Random Access Memory)107、事前接客部111、撮影部112、編集部113、プリンタ114が接続される。
記憶部102は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体からなり、制御部101から供給された各種の設定情報を記憶する。記憶部102に記憶されている情報は制御部101により適宜読み出される。
通信部103はインターネットなどのネットワークのインタフェースであり、制御部101による制御に従って外部の装置と通信を行う。
ドライブ104には、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)や半導体メモリなどよりなるリムーバブルメディア105が適宜装着される。ドライブ104によりリムーバブルメディア105から読み出されたコンピュータプログラムやデータは、制御部101に供給され、記憶部102に記憶されたり、インストールされたりする。
ROM106には、制御部101において実行されるプログラムやデータが記憶されている。RAM107は、制御部101が処理するデータやプログラムを一時的に記憶する。
事前接客部111は、事前接客作業を利用者に行わせるための処理である事前接客処理を行うブロックであり、外付けモニタ16、スピーカ17、タッチペン18、および硬貨処理部121から構成される。
外付けモニタ16は、制御部101による制御に従って、写真シール作成ゲームの流れや遊び方等を案内する映像などを表示する。また、外付けモニタ16は、代金が投入された後、携帯送信の機能を利用するか否かの選択画面などを表示する。外付けモニタ16に対して入力された利用者の操作の内容を表す信号は制御部101に供給される。
硬貨処理部121は、硬貨投入口55に対する硬貨の投入を検出する。硬貨処理部121は、硬貨が投入されたことを検出した場合、そのことを表す起動信号を制御部101に出力する。
撮影部112は、撮影作業を利用者に行わせるための処理である撮影処理を行うブロックであり、背景カーテンユニット15、照明制御部122、カメラ51、タッチパネルモニタ52、およびスピーカ124から構成される。
背景カーテンユニット15は、制御部101より供給される背景制御信号に基づいて背景カーテンの上げ下ろしを行う。背景の選択は利用者が手動で行うようにしてもよい。なお、背景カーテンにおいて、複数の昇降式のカーテンのうちの1枚をクロマキ用のカーテンとしたり、クロマキ用のカーテンを予め撮影空間の背面に張り付けるようにするとともに、編集処理において用いられる合成用の背景画像を複数用意することで、編集作業時に、利用者が、クロマキ用のカーテン部分に、所望する合成用の背景画像を合成できるようにしてもよい。
照明制御部122は、制御部101より供給される照明制御信号に基づいて、照明装置53−1乃至53−8を点灯したり、消灯したりする。
カメラ51は、制御部101による制御に従って撮影を行い、撮影によって得られた画像データを制御部101に出力する。撮影処理においては、撮影が複数回行われ、複数の撮影画像の中から選択された所定の数の画像が編集対象画像として記憶部102に保存される。
編集部113は、編集作業を利用者に行わせるための処理である編集処理を行うブロックであり、第1編集インタフェース13Aに対応する第1編集部113Aと、第2編集インタフェース13Bに対応する第2編集部113Bよりなる。ここでは第1編集部113Aの構成について説明するが、第2編集部113Bも第1編集部113Aと同一の構成を有する。
第1編集部113Aは、タブレット内蔵モニタ62、タッチペン63−1,63−2、およびスピーカ64から構成される。
タブレット内蔵モニタ62は編集用モニタ141とタブレット142により構成され、制御部101による制御に従って編集画面を表示し、編集画面に対する利用者の操作を検出する。利用者の操作の内容を表す信号は制御部101に供給され、編集対象画像の編集が行われる。編集画面には、記憶部102に保存されていた編集対象画像のサムネイル画像が表示され、サムネイル画像をタップすることによって選択された1枚の編集対象画像がサムネイル画像より大きなサイズで表示される。利用者は、拡大して表示させる編集対象画像を適宜切り替え、拡大表示された編集対象画像に対して、編集画面に表示されるペンツールを使って手書きの文字を入力したり、スタンプツールを使ってハート柄などの画像を入力したりすることができる。
プリンタ114は、編集処理によって得られた編集済み画像をシール紙162に印刷し、写真シール排出口71に排出する。
図8は、制御部101の機能構成例を示すブロック図である。図8に示す構成は、制御部101が所定のプログラムを実行することによって実現される。制御部101においては、事前接客処理部201、撮影処理部202、編集処理部203、印刷処理部204、および事後接客処理部205が実現される。
事前接客処理部201は、写真シール作成ゲームを開始する際に投入される代金(硬貨)に関する処理や、撮影前設定などに関する処理である事前接客処理を行う。撮影処理部202は、利用者を撮影する処理である撮影処理を行う。編集処理部203は、撮影画像に対する編集等の編集処理を行う。印刷処理部204は、編集処理によって得られた画像をシール紙に印刷する印刷処理を行う。事後接客処理部205は、編集作業を終えて印刷が終わるのを待っている利用者に対してミニゲームなどを提供する事後接客処理を行う。
つまり、制御部101は、写真シール作成ゲームの各工程に関する処理の制御を行う。
図9は、撮影処理部202の詳細な構成例を示す機能ブロック図である。
図9において、撮影処理部202は、撮影制御部211、表示制御部212、および境界領域編集処理部213から構成される。
撮影制御部211は、利用者が撮影画像に合成する合成用画像を選択する合成用画像選択指示を受け付け、その合成用画像選択指示に応じて、カメラ51を制御し、撮影を開始する。また、撮影制御部211は、利用者による合成用画像選択指示に基づいて選択された合成用画像を、カメラ51により取得された動画像や撮影画像に合成する。そして、撮影制御部211は、合成の結果得られる撮影画像を、例えばRAM107などに一時的に記憶させる。このようにしてRAM107に記憶された合成用画像が合成された撮影画像のうち、利用者により編集対象画像として選択されたものが、記憶部102に保存され、編集作業において編集画像として用いられる。なお、撮影画像に合成される合成用画像は、例えば記憶部102に予め記憶されている。また、合成用画像とは、撮影処理時に撮影画像に前景または背景として合成される画像であり、人物の画像の外縁に合成される装飾画像(例えば、オーラ画像等)も含まれる。具体的には、合成用画像には、例えば、被写体である人物の画像に、絵、模様、図形、および文字のうち少なくともいずれか1つを含む絵柄を付加する背景画像または前景画像である「フレーム画像」や、色や模様のみからなる背景画像である「シンプル画像」などがある。
表示制御部212は、利用者が撮影画像に合成する合成用画像を選択するためのGUIの表示を制御したり、合成用画像が合成された動画像や撮影画像などのタッチパネルモニタ52への表示を制御する。
境界領域編集処理部213は、合成用画像が合成された撮影画像における、被写体の領域と背景の領域との境界を含む領域である境界領域に対して、所定の画像編集処理を施す。
図10は、図9の境界領域編集処理部213の詳細な構成例を示す機能ブロック図である。
境界領域編集処理部213は、合成画像ぼかし処理部231、色調整部232、マスク画像生成部233、2値化処理部234、マスク画像ぼかし処理部235、境界領域設定部236、抽出部237、および合成部238から構成される。
合成画像ぼかし処理部231は、撮影制御部211の制御に基づいてカメラ51により取得された撮影画像に合成用画像を合成させた合成画像に対して、ぼかし効果のあるフィルタ処理を施し、その結果得られたぼかし合成画像を、色調整部232に供給する。
色調整部232は、合成画像ぼかし処理部231からのぼかし合成画像の色を調整し、抽出部237に供給する。具体的には、色調整部232は、ぼかし合成画像の明度および彩度のいずれか一方または両方を調整する。
マスク画像生成部233は、撮影制御部211の制御に基づいてカメラ51により取得された撮影画像から、その撮影画像において被写体の領域である被写体領域と、被写体領域以外の背景の領域である背景領域とを分けるマスク画像を生成し、2値化処理部234に供給する。
2値化処理部234は、マスク画像生成部233により生成されたマスク画像において、被写体領域の画素を白画素とし、背景領域の画素を黒画素とする2値化処理を施す。
マスク画像ぼかし処理部235は、2値化処理部234により2値化処理されたマスク画像に対して、ぼかし効果のあるフィルタ処理を施し、その結果得られたぼかしマスク画像を、境界領域設定部236に供給する。
境界領域設定部236は、マスク画像ぼかし処理部235からのぼかしマスク画像において、被写体領域(白領域)と背景領域(黒領域)との境界を含む領域(境界近傍の領域)を境界領域として設定し、その境界領域を表す境界領域情報を、抽出部237に供給する。
抽出部237は、色調整部232からの色調整されたぼかし合成画像から、境界領域設定部236からの境界領域情報で表わされる境界領域に対応する部分を抽出し、抽出した抽出画像を、合成部238に供給する。
合成部238は、抽出部237からの抽出画像と、撮影画像に合成用画像を合成させた合成画像とを合成する。抽出画像が合成された合成画像は、表示制御部212の制御によって、タッチパネルモニタ52に表示されるようになる。
次に、写真シール作成装置1で行われる写真シール作成ゲームの流れについて、図11のフローチャートを参照して説明する。
ステップS1において、写真シール作成装置1の硬貨処理部121は、硬貨が投入されたか否かを判定し、投入されたと判定するまで待機する。
硬貨が投入されたとステップS1において判定された場合、ステップ2において、事前接客処理部201は事前接客処理を行う。例えば事前接客処理により、携帯送信の機能を利用するか否かが選択され、利用することが選択された場合、利用者の携帯電話機等の携帯端末装置のメールアドレスの入力画面が外付けモニタ16に表示される。利用者は自身の携帯端末装置のメールアドレスを入力することになる。
ステップS3において、撮影処理部202は撮影処理を行う。撮影処理によって得られた撮影画像はタッチパネルモニタ52に表示され、その中から選択された編集対象画像が編集処理部203に供給される。撮影処理の詳細については図12を参照して後述するが、撮影処理により、例えば6枚の撮影画像が得られる。
ステップS4において、編集処理部203は、編集画面を表示し、利用者の操作に応じて編集処理を行う。編集処理により、上述したように、編集対象画像に対して、手書きの文字や模様、あらかじめ用意されているハート柄などの画像(編集用合成用画像)が入力される。
ステップS5において、事後接客処理部205は事後接客処理を行う。携帯送信の機能を利用することが事前接客処理時に選択されている場合、事後接客処理部205は、編集対象画像をタブレット内蔵モニタ62に表示し、その中から、所定の数の画像を携帯送信用画像として利用者に選択させる。
携帯送信用画像として選択された画像は、利用者により入力されたメールアドレスとともに写真シール作成装置1からサーバに送信され、サーバが有する記憶媒体に保存される。保存先を表すURLを含む電子メールがサーバから利用者の携帯端末装置に送信される。利用者が携帯端末装置を操作して電子メールに含まれるURLに対するアクセスを指示したとき、サーバに対するアクセスが行われ、携帯送信用画像が携帯端末装置のディスプレイに表示される。
ステップS6において、印刷処理部204は、プリンタ114を制御し、編集処理により得られた編集済みの画像をシール紙162に印刷する印刷処理を行う。
ステップS7において、印刷処理部204は、所定の画面をタブレット内蔵モニタ62に表示するなどして、写真シール排出口71の前への移動を案内する。
印刷が終了したとき、ステップS8において、印刷処理部204は、編集済みの画像が印刷されたシール紙162を写真シール排出口71に排出し、処理を終了させる。
以上のような流れにより、写真シール作成ゲームは行われる。
次に、図13のフローチャートを参照して、図12のステップS2において実行される撮影処理の詳細な流れを説明する。なお、撮影処理では、上述したように、最終的に、例えば6枚の撮影画像が編集処理対象として決定される。
ステップS51において、撮影処理部202の表示制御部212は、撮影画像に合成される合成用画像をタッチパネルモニタ52に表示し、選択させる。ここでは、6枚の撮影画像それぞれに対応させるように、6種類の合成用画像が利用者によって選択される。なお、利用者は、同一の合成用画像を2枚以上選択することが可能である。
タッチパネルモニタ52において利用者が6枚分の合成用画像を選択すると、処理はステップS52に進み、表示制御部212は、リアルタイムにカメラ51により被写体が撮影されて得られる動画像に、ステップS51において選択された合成用画像の1枚を合成した画像を、ライブビュー画像としてタッチパネルモニタ52に表示する。
ステップS53において、表示制御部212は、タッチパネルモニタ52にカウントダウンインジケータを表示させ、撮影制御部211は、カウントダウンインジケータのカウント値がゼロになった時点で撮影(静止画像の取得)を行う。
ステップS54において、境界領域編集処理部213は、撮影された撮影画像(静止画像)に、ライブビュー画像に合成させた合成用画像を合成させた合成画像に対して境界領域編集処理を施す。境界領域編集処理の詳細については図13などを参照して後述する。
ステップS55において、表示制御部212は、ステップS54の処理で境界領域編集処理が施された撮影画像(合成画像)を、タッチパネルモニタ52に表示させ、ユーザに確認させる。
ステップS56において、撮影制御部211は、N回の撮影が行われたか否かを判定する。ここでNは、撮影される撮影回数に対応する数値であり、この場合、Nの値は6となる。
ステップS56では、変数Xの値がN未満であれば、まだN回の撮影が行われていないと判定され、処理は、ステップS57に進んで変数Xの値が1だけインクリメントされて、処理はステップS52に戻る。
そして、ステップS53で第2回目の撮影が行われ、ステップS54乃至S56の処理へ進む。
このように、ステップS56でN回の撮影が行われたと判定されるまで、ステップS52乃至S56の処理が繰り返し実行されることになる。ステップS56でN回の撮影が行われたと判定された場合、処理はステップS58に進む。
ステップS58において、撮影制御部211は、撮影可能時間内であるか、換言すれば、予め設定されている撮影時間に対してさらに1枚以上の撮影を行う余りの時間があるかを判定する。ステップS58で、撮影可能時間内ではないと判定された場合、処理はステップS60に進む。
一方、ステップS58で、撮影可能時間内であると判定された場合、処理はステップS59に進み、撮影制御部211は、追加の撮影であるボーナスショットを利用者に行わせる。具体的には、例えば、撮影制御部211は、選択された背景画像のうちのいずれか1つの背景画像を用いて、上述したステップS52乃至S55の処理を実行する。なお、撮影時間の余りの時間に応じて、ボーナスショットは複数回行うようにすることができる。ボーナスショットの終了後、処理はステップS60に進む。
ステップS60において、撮影制御部211は、ステップS53の処理で撮影されたN個の撮影画像を、編集対象画像として記憶部102に記憶させ、撮影処理は終了する。なお、ボーナスショットが行われた場合には、表示制御部212がタッチパネルモニタ52にN個の撮影画像とボーナスショットによる撮影画像を表示させることで、利用者に、N個の撮影画像とボーナスショットによる撮影画像の中から、編集対象画像を選択させ、撮影制御部211は、選択された撮影画像を記憶部102に記憶させる。
次に、図13のフローチャートを参照して、図12のステップS54において実行される境界領域編集処理の詳細な流れの例を説明する。
ステップS71において、合成画像ぼかし処理部231は、例えば、ローパスフィルタ(Low Pass Filter)を用いて、図12のステップS53において取得された撮影画像に、背景画像等の合成用画像を合成させた合成画像をぼかすぼかし処理を施す。合成画像ぼかし処理部231は、ぼかし処理の結果得られたぼかし合成画像を、色調整部232に供給する。
具体的には、図14の上段左側に示されるような、撮影画像に背景画像が合成された合成画像Aが取得された場合、合成画像ぼかし処理部231により、図14の上段中央に示されるようなぼかし合成画像Bが得られる。なお、ぼかし処理の手法は、ローパスフィルタを用いた手法に限らず、他の手法を用いるようにしてももちろんよい。
ステップS72において、色調整部232は、合成画像ぼかし処理部231からのぼかし合成画像Bの色を調整する。例えば、色調整部232が、ぼかし合成画像Bの明度を高くするように調整することで、図14の上段右側に示されるような、明るいぼかし合成画像Cが得られる。このようにして得られた、色(明度)が調整されたぼかし合成画像Cは、抽出部237に供給される。
ステップS73において、マスク画像生成部233は、図12のステップS53において取得された撮影画像に対して、クロマキ処理や肌領域の検出処理などを行うことによって、撮影画像において被写体領域と背景領域とを分けるマスク画像を生成し、2値化処理部234に供給する。
具体的には、撮影制御部211の制御に基づいてカメラ51により、図15の上段左側に示されるような撮影画像D、すなわち、背景画像等の合成用画像が合成されていない画像であって、背景の色がクロマキ用のカーテンの色である撮影画像Dが取得された場合、マスク画像生成部233は、図15の上段中央に示されるようなマスク画像Eを生成する。図15のマスク画像Eは、被写体領域以外の領域、すなわち背景領域をマスクしたマスク画像であるが、被写体領域をマスクしたマスク画像であってもよい。
ステップS74において、2値化処理部234は、マスク画像生成部233からのマスク画像に対して2値化処理を施し、マスク画像ぼかし処理部235および境界領域設定部236に供給する。
具体的には、2値化処理部234は、図15のマスク画像Eに対して、被写体領域の画素の画素値を(R,G,B)=(255,255,255)とし(すなわち、被写体領域の画素を白画素とし)、背景領域の画素の画素値を(R,G,B)=(0,0,0)とする(すなわち、背景領域の画素を黒画素とする)。これにより、図15の上段右側に示される2値化されたマスク画像Fが得られる。
ステップS75において、マスク画像ぼかし処理部235は、例えば、ローパスフィルタ(Low Pass Filter)を用いて、2値化処理部234からの2値化されたマスク画像Fをぼかすぼかし処理を施す。その結果、図15の下段左側に示されるぼかしマスク画像Gが得られ、境界領域設定部236に供給される。図15のぼかしマスク画像Gにおいては、例えば、被写体領域と背景領域との境界が平滑化され、その境界近傍は灰色領域となる。
ステップS76において、境界領域設定部236は、ぼかし処理前の2値化されたマスク画像F、および、ぼかし処理後のぼかしマスク画像Gに基づいて、撮影画像における被写体領域と背景領域との境界を含む境界領域を設定する。
具体的には、例えば、境界領域設定部236は、マスク画像Fにおける白画素に対して1の画素値を割り当て、黒画素に対して0の画素値を割り当てる。また、同様に、境界領域設定部236は、ぼかしマスク画像Gにおける白画素に対して1の画素値を割り当て、黒画素に対して0の画素値を割り当てる。
そして、境界領域設定部236は、新たに画素値が割り当てられたマスク画像Fおよびぼかしマスク画像Gの対応する各画素について、排他的論理和を用いて、真となる画素により構成される領域を境界領域として設定する。すなわち、マスク画像Fとぼかしマスク画像Gとにおいて、対応する画素の画素値がともに0または1である場合、その画素は偽となり、対応する画素の画素値がそれぞれ異なる場合、その画素は真となる。
ここで、例えば、ぼかしマスク画像Gにおいて灰色領域となっている領域では、白画素と黒画素とが混在しているので、その領域については、対応する画素の画素値がそれぞれ異なる割合が高くなる。具体的には、灰色領域において、白画素は、被写体領域から背景領域にかけて次第に少なくなり、黒画素は、被写体領域から背景領域にかけて次第に多くなる。したがって、白画素のみについて排他的論理和を用いた場合、真となる画素(白画素)は、被写体領域から境界にかけて多くなり、また、境界から背景領域にかけて少なくなる。同様に、黒画素のみについて排他的論理和を用いた場合、真となる画素(黒画素)は、被写体領域から境界にかけて多くなり、また、境界から背景領域にかけて少なくなる。結果として、排他的論理和を用いて真となる画素により構成される境界領域は、図15の下段右側に示される画像Hにおいて白の領域で表わされる、被写体領域と背景領域との境界に対して所定の幅を持った領域となり、画像Hの境界領域においては、画素の密度が、両端(被写体領域側および背景領域側)から、被写体領域と背景領域との境界に対応する部分にかけて高くなる。言い換えれば、画像Hの境界領域においては、画素の密度が、被写体領域と背景領域との境界に対応する部分を中心に異なるようになる。
境界領域設定部236は、このようにして設定した境界領域を表す境界領域情報を、抽出部237に供給する。
ステップS77において、抽出部237は、色調整部232からの色調整されたぼかし合成画像から、境界領域設定部236からの境界領域情報で表わされる境界領域に対応する部分を抽出する。
具体的には、抽出部237は、図14の明るいぼかし合成画像Cに、図15の画像Hにおいて示される境界領域に対応する部分(画素)を抽出することで、図14の下段左側に示される抽出画像Iを取得し、合成部238に供給する。図14の抽出画像Iは、明るいぼかし合成画像Cにおいて、ぼかし処理が施される前の合成画像A(撮影画像F)における被写体領域と背景領域との境界近傍の領域を切り出した境界領域画像300からなる画像となる。また、画像Hの境界領域に対応して抽出された明るいぼかし合成画像Cの画素は、その密度が、両端から境界に対応する部分にかけて高くなるので、境界領域画像300は、明るいぼかし合成画像Cにおける境界近傍の画像であって、境界を中心に明るく強調され、かつ、両端に近いほどぼかし具合が低く見える画像となる。
ステップS78において、合成部238は、撮影画像に合成用画像を合成させた合成画像と、抽出部237からの抽出画像とを合成する。すなわち、図14の合成画像Aと抽出画像Iとが合成されることで、図14の下段右側に示される境界領域編集画像Jが生成される。図14の境界領域編集画像Jは、合成画像Aにおける被写体領域と背景領域との境界部分に、抽出画像Iとしての境界領域画像300を重畳した画像となる。境界領域編集画像Jは、撮影画像(合成画像)として、表示制御部212の制御により、タッチパネルモニタ53に表示される。
ここで、図16を参照して、図14の境界領域編集画像Jにおける被写体領域と背景領域との境界領域について説明する。
図16においては、境界領域画像300の一部としての境界領域が示され、その境界領域の中央には、被写体領域と背景領域との境界を表す境界線301、境界線301の左側には、境界領域画像300と被写体領域との境界を表す境界線302、境界線301の右側には、境界領域画像300と背景領域との境界を表す境界線303が示されている。
以上の処理によれば、合成画像に対してぼかし処理が施され、明度を上げるように色調整されることで得られた明るいぼかし画像から、被写体と背景の境界とを含む境界領域に対応する部分の境界領域画像が抽出され、抽出された境界領域画像と合成画像とが合成される。これにより、境界領域編集画像Jの境界領域においては、図16の左側に示されるように、境界線302より左側の被写体領域(被写体側)、および、境界線303より右側の背景領域(背景側)と比較して、明度が高くなる。特に、境界領域画像においては、境界線を中心に明るく強調され、かつ、両端(被写体側および背景側)に近いほどぼかし具合が低く見えるようになるので、ごく自然な感じで合成画像における被写体と背景との境界近傍が明るい色合いとなり、被写体の後方から光が射しているように見える立体的な仕上がりの合成画像(編集対象画像)が得ることが可能となる。これにより、被写体と背景との間にリアルな奥行き感を出すことができ、ひいては、作成される写真シールに対する利用者の満足度を向上させることが可能となる。
また、以上においては、ぼかし処理が施された合成画像に対して、明度を上げるように色調整するようにしたが、明度を下げるように色調整するようにしてもよい。これにより、境界領域編集画像Jの境界領域においては、図16の右側に示されるように、境界線302より左側の被写体領域(被写体側)、および、境界線303より右側の背景領域(背景側)と比較して、明度が低くなる。特に、境界領域画像においては、境界線を中心に暗く強調され、かつ、両端(被写体側および背景側)に近いほどぼかし具合が低く見えるようになるので、ごく自然な感じで合成画像における被写体と背景との境界近傍が暗い色合いとなり、被写体の輪郭部分に影があるような、被写体が際立って見える立体的な仕上がりの合成画像(編集対象画像)を得ることが可能となる。これにより、被写体と背景との間にリアルな奥行き感を出すことができ、ひいては、作成される写真シールに対する利用者の満足度を向上させることが可能となる。
さらに、色調整部232は、上述したような明度を変える色調整を、撮影画像に合成される合成用画像(例えば、背景画像)の色に応じて行うようにしてもよい。
例えば、色調整部232は、背景画像の色が明度の高い色である場合には、ぼかし処理が施された合成画像に対して明度を下げるように色調整し、背景画像の色が明度の低い色である場合には、ぼかし処理が施された合成画像に対して明度を上げるように色調整するようにしてもよい。これにより、立体的な仕上がりとなる合成画像において、被写体と背景との間に、よりはっきりとした奥行き感を出すことができるようになる。
また、図16に示されるように、境界領域の明度は一様に調整されるものとしたが、図17に示されるように、境界領域において、境界線301の内側(境界線301と境界線302とに挟まれた領域)と、境界線301の外側(境界線301と境界線303とに挟まれた領域)とで異なる明度となるようにしてもよい。この場合、色調整部232は、抽出画像Iまたは境界領域編集画像Jの境界領域画像300(図14)に対して、再度、色調整するようになる。
図17の例では、境界領域における境界線301の内側、すなわち境界領域における被写体側の明度が高く調整され、境界領域における境界線301の外側、すなわち境界領域における背景側の明度が低く調整されている。これにより、被写体が浮き出て見える立体的な仕上がりの合成画像を得ることが可能となる。
なお、図17においては、境界領域における境界線301の内側の明度が高く調整され、境界領域における境界線301の外側の明度が低く調整されるようにしたが、逆に、境界領域における境界線301の内側の明度が低く調整され、境界領域における境界線301の外側の明度が高く調整されるようにしてもよい。また、境界領域における明度は、図16や図17のように、領域(部分)毎に一様でなくてもよく、例えば、境界線302から境界線303にかけて次第に低くなってもよいし、図17の例において、境界線302から境界線301にかけて次第に高くなるとともに、境界線301から境界線303にかけて次第に高くなったり、境界線302から境界線301にかけて次第に高くなり、境界線301から境界線303にかけて次第に低くなる等してもよい。
さらに、以上においては、色調整部232は、上述したように明度を変える色調整を行うものとしたが、明度でなく、彩度を変えるようにしてもよいし、明度と彩度の両方を変えるようにしてもよい。これにより、被写体が背景に滑らかに調和している立体的な仕上がりの合成画像や、被写体が際立って見える立体的な仕上がりの合成画像を得ることが可能となる。
また、以上においては、境界領域設定部236は、マスク画像およびぼかしマスク画像の対応する各画素について、排他的論理和を用いて境界領域を設定するようにしたが、その境界領域の幅を調整することができる。
具体的には、例えば、マスク画像ぼかし処理部235によるぼかし処理において、ぼかし具合を表すぼかし度を高くすることで、境界領域設定部236により設定される境界領域の幅を広くすることができる。
また、図15のぼかしマスク画像Gにおける、被写体領域と背景領域との境界近傍の灰色領域においては、実際には、白色の領域(被写体領域)から黒色の領域(背景領域)にかけて、灰色の濃度は次第に濃くなる。
そこで、例えば、境界領域設定部236は、ぼかしマスク画像Gにおいて、灰色領域の画素に対して、灰色の濃度に応じた0.1乃至0.9の値を設定し、例えば、その値が0.3などの閾値以下である場合は、その画素の画素値を0とみなし、その値が0.7などの閾値以上である場合は、その画素の画素値を1とみなして、排他的論理和を用いて境界領域を設定するようにしてもよい。
そして、このようにして境界領域を設定するようにした場合、その閾値によって、図18に示される、境界線301と境界線302との幅Wa、および、境界線301と境界線303との幅Wbを調整することができるようになる。
このように、境界領域において、境界線301と境界線302との幅Wa、および、境界線301と境界線303との幅Wbを調整することができれば、立体的な仕上がりとなる合成画像において、被写体と背景との間に面白みのある奥行き感を出すことができるようになる。さらに、幅Wa、Wbを調整した上で、図17の例に示したように、境界領域における境界線301の内側と外側とで異なる明度(または彩度)に調整することで、立体的な仕上がりとなる合成画像において、被写体と背景との間にさらに面白みのある奥行き感を出すことが期待できるようになる。
さらに、以上においては、被写体領域と背景領域との境界全てに対して、一様に境界領域編集処理を施すようにしたが、被写体の肌領域と背景領域の境界に対しては、ぼかし度を低くした境界領域編集処理を施すようにすることもできる。
図19は、被写体の肌領域と背景領域の境界に対して、ぼかし度を低くした境界領域編集処理を施す境界領域編集処理部213の詳細な構成例を示す機能ブロック図である。なお、図19の境界領域編集処理部213において、図10の境界領域編集処理部213に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図19の境界領域編集処理部213において、図10の境界領域編集処理部213と異なるのは、合成画像ぼかし処理部231に代えて、肌領域検出部401および合成画像ぼかし処理部402を設けた点である。
肌領域検出部401は、撮影制御部211の制御に基づいてカメラ51により取得された撮影画像に合成用画像を合成させた合成画像において、利用者の顔や手などの肌が露出している領域(以下、肌領域という)を検出し、その肌領域を表す肌領域情報を合成画像ぼかし処理部402に供給する。
合成画像ぼかし処理部402は、肌領域検出部401からの肌領域情報に基づいて、合成画像に対して、ぼかし効果のあるフィルタ処理を施し、その結果得られたぼかし合成画像を、色調整部232に供給する。
なお、図19の境界領域編集処理部213による境界領域編集処理は、基本的には、図13のフローチャートを参照して説明した、図10の境界領域編集処理部213による境界領域編集処理と同様である。しかしながら、図19の境界領域編集処理部213による境界領域編集処理においては、図13のフローチャートのステップS71において、図20を参照して説明する合成画像ぼかし処理が実行される。
ここで、図20のフローチャートを参照して、図19の境界領域編集処理部213による境界領域編集処理における合成画像ぼかし処理について説明する。
ステップS111において、図12のステップS53において取得された撮影画像に合成用画像を合成させた合成画像(例えば、図14の合成画像A)において、利用者の顔や手などの肌が露出している肌領域を検出し、その肌領域を表す肌領域情報を合成画像ぼかし処理部402に供給する。
ステップS112において、合成画像ぼかし処理部402は、肌領域検出部401からの肌領域情報に基づいて、ぼかし処理の対象となる合成画像の領域が肌領域であるか否かを判定する。
ステップS112において、ぼかし処理の対象となる合成画像の領域が肌領域でないと判定された場合、処理はステップS113に進み、合成画像ぼかし処理部402は、ぼかし処理の対象となる合成画像の領域に対して、上述で説明したぼかし処理と同様のぼかし処理を施す。
一方、ステップS112において、ぼかし処理の対象となる合成画像の領域が肌領域であると判定された場合、処理はステップS114に進み、合成画像ぼかし処理部402は、ぼかし処理の対象となる合成画像の領域に対して、上述で説明したぼかし処理よりぼかし具合を表すぼかし度の低いぼかし処理を施す。また、ここで、合成画像ぼかし処理部402は、ぼかし度を0にしたぼかし処理を施すようにしてもよい。すなわち、この場合、肌領域に対しては、ぼかし処理が施されないようになる。
以上の処理によれば、合成画像における肌領域に対しては、ぼかし度の低いぼかし処理が施される。これにより、抽出画像I(図14)、すなわち、境界領域画像300においては、利用者の顔や手の輪郭が自然に近い状態となるので、境界領域編集画像Jは、被写体の顔や手と背景との境界は自然な立体感のある仕上がりの画像となる。
なお、以上のようにして得られた合成画像(編集対象画像)に対する境界領域編集処理の内容に応じて、編集処理において利用者によって選択される編集用合成用画像が決定されるようにしてもよい。
具体的には、例えば、合成画像(編集対象画像)に対して、被写体と背景との境界付近が暗い色合いとなるような境界領域編集処理が行われた場合、編集処理部203による編集処理においては、編集対象画像の背景画像を変更させるための背景画像として、淡い色や予めぼかし処理の施された背景画像を利用者に選択させるようにし、編集対象画像に入力(合成)させるための編集用合成用画像として、濃い色や輪郭のはっきりした画像や文字を選択させるようにする。
これにより、編集作業によって得られる編集済み画像は、淡い色の背景、輪郭部分の影があるような際立って見える被写体、および、くっきりとした文字が合成された、例えば、ファッション誌の表紙に用いられるような仕上がりの画像となり、ひいては、写真シールに対する利用者の満足度を向上させることができるようになる。
なお、合成画像における境界領域編集処理の内容、背景画像、および、編集用合成用画像の組み合わせは、上述した組み合わせ以外の組み合わせであってももちろんよい。
また、撮影作業において合成用画像としての背景画像が選択され、編集作業において背景画像の色合いが変更された場合には、その変更された背景画像の色合いに応じた画像処理が施された編集用合成用画像を、利用者に選択させるようにしてもよい。具体的には、撮影作業においてピンク色の背景画像が選択され、編集作業において背景画像の色合いが赤色に変更された場合には、赤色にマッチした画像処理が施された編集用合成用画像を、利用者に選択させるようにしてもよい。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図7に示されるように、装置本体とは別に、写真シール作成装置1の管理者にプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROMおよびDVDを含む)、光磁気ディスク(MDを含む)、もしくは半導体メモリなどよりなるリムーバブルメディア105により構成されるだけでなく、装置本体に予め組み込まれた状態で管理者に配信される、プログラムが記録されているROM106や、記憶部102に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上において、印刷媒体は、シール紙や写真紙に限られるものではなく、例えば、所定のサイズの紙やフィルム、ポスター用の紙、テレホンカードなどのカード、あるいは、Tシャツなどの布地などに印刷するようにしてもよい。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。なお、以上において、1つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて1つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。