〔実施の形態1〕
以下、本発明の一実施形態について図1〜図24を参照しつつ説明する。図1は、本実施形態である画像提供システムの概略構成を示している。図示のように、画像提供システム1は、写真シール機(画像提供装置)2、および写真シール機2と通信可能な通信端末3を備える構成である。
写真シール機2は、利用者の写真撮影を行うと共に、所望の場合にその写真を背景画像などと合成した上で、シール紙に印刷出力するものであり、例えばゲームセンターなどの娯楽施設に設置されるものである。一方、通信端末3は、利用者が所有するものであり、写真シール機2と各種データを送受信するものである。
通信端末3は、その利用者が所持して移動できるように、携帯型PC(Personal Computer)、携帯電話機、PHS(Personal Handyphone System)(登録商標)端末、携帯型ゲーム機などの携帯型通信端末であることが望ましい。また、通信端末3の利用者が所持して移動しても写真シール機2と通信できるように、通信端末3と写真シール機2との間の通信は、赤外線、電波などを利用したワイヤレス通信であることが望ましい。さらに、通信端末3は、他の通信端末3とワイヤレス通信できることが望ましい。
なお、本実施形態では、通信端末3は、例えば任天堂株式会社が市販している携帯型ゲーム機(商品名「ニンテンドーDS」)のように、2画面のタッチパネルを備える携帯型通信端末を利用している。また、本実施形態では、写真シール機2および通信端末3間の通信には、無線LAN(Local Area Network)を利用している。
本実施形態の画像提供システム1では、写真シール機2の制御装置10は、CCDカメラ13から撮影画像を取得し、取得した撮影画像の中から顔画像を認識し、認識した顔画像に基づいて、顔の特徴点を抽出し、抽出した顔の特徴点に基づいて顔IDを作成し、作成した顔IDを利用して、通信端末3から受信した顔IDの認証を行い、認証に成功した場合、受信した顔IDに対応する撮影画像を通信端末3に送出している。したがって、写真シール機2は、ユーザ認証に利用する顔IDを撮影画像から作成するので、利用者ごとのIDを利用者が写真シール機2に予め入力する必要が無い。その結果、通信端末3に撮影画像を送信する場合のユーザ認証を簡便に行うことができる。
次に、写真シール機2の構成の詳細について説明する。図1に示されるように、写真シール機2は、本体に制御装置10、記憶装置11、および通信装置12が設けられている。また、利用者が撮影作業を行う空間である撮影空間には、CCDカメラ13、ライブビューパネル14、撮影処理用タッチパネル15、照明装置16、スピーカ17、および硬貨処理装置18が設けられている。また、利用者が撮影画像の編集作業を行う空間である編集空間には、編集処理用タッチパネル20および編集処理用タッチペン21が設けられている。そして、シール紙が印刷出力される空間である印刷空間には、印刷処理用タッチパネル22、プリンタ23、およびシール紙排出口24が設けられている。
制御装置10は、写真シール機2の各種構成の動作を統括的に制御するものである。制御装置10は、例えばPC(Personal Computer)ベースのコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行なわれる。
このプログラムは、例えばCD−ROMなどのリムーバブルメディアに記録されているものを読み出して使用する形態であってもよいし、ハードディスクなどにインストールされたものを読み出して使用する形態であってもよい。また、写真シール機2がインターネットなどの通信ネットワークに接続された構成とする場合、この通信ネットワークを介して上記プログラムをダウンロードしてハードディスクなどにインストールして実行する形態なども考えられる。なお、本実施形態の制御装置10の詳細については後述する。
記憶装置11は、各種のデータおよびプログラムを記憶するものである。記憶装置11は、例えばハードディスクなどの不揮発性の記憶装置によって構成される。この記憶装置11に記憶される内容としては、上記した制御プログラム、OS(Operating System)プログラム、およびその他各種プログラム、CCDカメラ13における動作設定値、撮影した画像の撮影画像データ、編集した画像の編集画像データなどが挙げられる。CCDカメラ13における上記動作設定値としては、装置出荷時やメンテナンス時などに設定されるホワイトバランスの値、撮影画像の明暗などを調整する際の画像処理に関する各種パラメータ値などが挙げられる。
本実施形態では、記憶装置11は、さらに、マスク画像データ、顔ID、および器官パーツを記憶している。なお、これらのデータの詳細については後述する。
通信装置12は、通信端末3と無線通信を行うためのものである。通信装置12は、制御装置10から受信した各種データを、データ通信に適した形式に変換した後、通信端末3に電波で送信する。また、通信装置12は、通信端末3から電波で受信した各種データを装置内部のデータ形式に変換した後、制御装置10に送信する。
CCDカメラ13は、被写体の撮影を行うものであり、例えばレンズ群、絞り、CCD(Charge Coupled Device)撮像素子などを備えたデジタルカメラによって構成される。ライブビューパネル14は、CCDカメラ13が撮影するライブビュー画像を表示するものであり、例えばLCD(液晶ディスプレイ)によって構成される。
撮影処理用タッチパネル15、編集処理用タッチパネル20、および印刷処理用タッチパネル22は、フラットパネルディスプレイやCRTなどの表示面にタッチセンサを設けて構成され、利用者が見易くかつ操作し易い位置に配備される。撮影処理用タッチパネル15、編集処理用タッチパネル20、および印刷処理用タッチパネル22は、それぞれ、撮影処理、画像編集処理、および印刷処理における各種メッセージや画像などを表示するとともに、利用者から各種の指示や選択などが入力される。
照明装置16は、被写体である利用者を照明する照明手段として機能するものである。照明装置16は、撮影時の照明として機能するとともに、通常時の撮影空間の照明としても機能する蛍光灯と、撮影時の写真閃光灯として機能するストロボランプとを備える構成である。スピーカ17は、各種の音声ガイダンスおよび効果音を出力するものである。
硬貨処理装置18は、写真シール機2の利用料金として利用者により硬貨投入口(図示せず)から投入された硬貨が、所定の硬貨であるか否かを判定するものである。所定の硬貨であると判定した場合には、硬貨処理装置18は、制御装置10に通知し、投入された硬貨を、硬貨を蓄積する硬貨容器(図示せず)に送り出す。一方、所定の硬貨以外の硬貨であると判定した場合には、硬貨処理装置18は、投入された硬貨を硬貨返却口(図示せず)に送り出す。なお、紙幣や硬貨を所定の硬貨に両替する両替機が写真シール機2付近に存在しない場合には、新たに紙幣投入口を設けて、紙幣処理装置を設けたり、釣銭処理装置を設けたりすることが望ましい。
編集処理用タッチペン21は、画像編集処理における細かな操作入力を利用者が行うためのものであり、編集処理用タッチパネル20の近傍に配備される。利用者は、この編集処理用タッチペン21を編集処理用タッチパネル20に接触させることによって、処理の進行に応じて表示されるボタンを選択したり、落書きなどの画像描画を行ったりすることができる。
プリンタ23は、出力すべき画像データが制御装置10から送られてくると、その画像データに基づいてシール紙に印刷するものである。このプリンタ23としては、例えば昇華型プリンタが用いられる。シール紙排出口24は、プリンタ23にて印刷されて出力されたシール紙を外部に排出するための開口である。
次に、写真シール機2として機能するための制御装置10の構成について説明する。図1に示されるように、制御装置10は、課金処理部25、撮影処理部(撮影画像取得手段)26、画像処理部27、および印刷処理部28を備える構成である。
課金処理部25は、硬貨処理装置18から制御装置10に硬貨の投入が通知されることにより課金処理を行うものである。課金処理部25は、課金処理が正常に完了したことが確認されると、すなわち、硬貨処理装置18からの通知をカウントし、利用者から硬化処理装置18に所定の硬貨が所定枚数投入されたと判断すると、プレイ動作の開始を撮影処理部26に通知する。
撮影処理部26は、課金処理部25からの通知に基づき撮影処理を行うものである。撮影処理は主に以下のように行われる。すなわち、まず、撮影枚数および撮影時間の設定を行う。次に、撮影の設定が行われる。具体的には、全身撮影またはアップ撮影の選択や、撮影アングルの調整が行なわれる。次に、CCDカメラ13が撮影するライブビュー画像をライブビューパネル14に表示する。利用者は、前記ライブビュー画像を参照しつつ所望のポーズをとり、所望のタイミングで撮影処理用タッチパネル15の撮影ボタンを押すと、カウントダウン後に撮影が実行される。
次に、上記撮影によりCCDカメラ13が生成した撮影画像データを受信して、記憶装置11に書き込む。そして、上記撮影の設定に戻って、上記の処理動作を、設定された撮影枚数および撮影時間に到達するまで繰り返す。その後、撮影処理の完了を画像処理部27に通知する。
画像処理部27は、撮影処理部26からの通知に基づき画像編集処理を行うものである。画像編集処理は主に以下のように行われる。すなわち、まず、複数回の撮影により取得された複数の撮影画像を編集処理用タッチパネル20に表示する。次に、これら複数の撮影画像の中から落書きなどの編集処理を行う撮影画像の選択を行う。これにより、撮影時に目をつぶってしまったり、不本意な状態で撮影されたりした撮影画像などを排除して、利用者の好みに適合した画像を選択することができる。
次に、選択された撮影画像を編集処理用タッチパネル20に表示し、編集処理用タッチペン21を用いて、撮影画像に対して背景画像の選択、色の変更、落書きなどの画像編集を行う。そして、別の撮影画像に対して画像編集を行う場合には、編集画像データを記憶装置11に保存して、上記の画像編集処理を繰り返す。その後、画像編集処理の完了を印刷処理部28に通知する。
印刷処理部28は、画像処理部27からの通知に基づき、印刷処理を行う。印刷処理は、主に以下のように行われるる。すなわち、まず、印刷処理用タッチパネル22を用いて、シール紙上での分割数または分割パターンを利用者に選択させ、選択された分割領域ごとに、画像編集処理部27が編集処理した編集画像が印刷されるように、プリンタ23を制御してシール紙に印刷を行う。そして、印刷されたシール紙がシール紙排出口24から排出される。その後、印刷処理を終了し、利用者のプレイ動作を終了する。
次に、通信端末3の構成について説明する。図1に示されるように、通信端末3は、端末本体に設けられる制御部30、記憶部31、通信部32、タッチパネル33、およびタッチペン34を備える構成である。なお、通信端末3の制御部30、記憶部31、通信部32、タッチパネル33、およびタッチペン34は、それぞれ、写真シール機2の制御装置10、記憶装置11、通信装置12、タッチパネル15・20・22、およびタッチペン21と同様に機能するので、その説明を省略する。なお、本実施形態の制御部30の詳細については後述する。
次に、本実施形態の写真シール機2における制御装置10および記憶装置11の詳細について、図2を参照しつつ説明する。図2は、写真シール機2における制御装置10および記憶装置11の概略構成を示している。
図2に示されるように、制御装置10は、上記の撮影処理部26の他に、顔認識部(顔認識手段、マスク画像作成手段)40、顔特徴点抽出部(特徴点抽出手段)41、器官パーツ選択部(類型特定手段)42、顔ID作成部(顔ID作成手段)43、画像・顔ID表示制御部44、顔ID認証部(顔ID受信手段、顔ID認証手段)45、および画像送出部(画像送出手段)46を備える構成である。また、記憶装置11は、撮影画像データ、マスク画像データ、および顔IDと、器官パーツ群52とを記憶するものである。なお、撮影処理部26および撮影画像データについては上述の通りであるから、その説明を省略する。
顔認識部40は、撮影処理部26から撮影画像データを受信し、受信した撮影画像データによる撮影画像から、認証対象となる顔画像を抽出するものである。この顔画像の抽出には、肌色領域を検出したり、顔の輪郭を検出したりするなど、公知の顔認識技術を利用することができる。また、顔認識部40は、上記撮影画像のうち、上記顔画像およびその周囲の領域の画像編集を禁止するためのマスク画像を形成するものである。顔認識部40は、形成したマスク画像からマスク画像データを生成して、記憶装置11に記憶する。
顔特徴点抽出部41は、顔認識部40が抽出した顔画像から、公知の顔特徴点抽出技術を利用して、顔の特徴点を抽出するものである。図4は、顔画像から顔の特徴点を抽出する具体例を示している。同図(a)は、顔認識部40が取得した顔画像FIの一例を示しており、同図(b)は、該顔画像FIから顔特徴点抽出部41が顔の特徴点FCを抽出した画像を示している。
器官パーツ選択部42は、顔特徴点抽出部41が抽出した特徴点FCに基づいて、記憶装置11に記憶された器官パーツ群52の中から、適当な器官パーツを選択するものである。図5は、器官パーツ群52の構造を示しており、図6は、器官パーツ群52に含まれる器官パーツの一例を示している。本実施形態では、図5および図6に示されるように、顔の器官として、目、鼻、および口を利用している。各器官は、図5に示されるように、50種類の器官パーツに分類されている。器官パーツは、図6に示されるように、各器官の寸法および形状によって規定されるものである。
また、各器官の器官パーツには、器官パーツを識別する器官IDが割り当てられている。具体的には、図5に示されるように、目の各器官パーツには、目IDが割り当てられ、鼻の各器官パーツには、鼻IDが割り当てられ、口の各器官パーツには、口IDが割り当てられている。
図2に戻ると、顔ID作成部43は、器官パーツ選択部42が選択した器官パーツに基づいて、顔画像を特定する顔IDを作成するものである。顔ID作成部43は、作成した顔IDを、撮影画像データおよびマスク画像データと対応付けて記憶装置11に記憶する。また、顔ID作成部43は、作成した顔IDを画像・顔ID表示制御部44に送信する。
本実施形態では、顔IDは、器官パーツ選択部42が選択した目、鼻、および口の器官パーツにそれぞれ対応する目ID、鼻ID、および口IDを結合したものである。例えば、図5に示される場合において、器官パーツ選択部42が、目の器官パーツとしてパーツ1(目ID=01)を選択し、鼻の器官パーツとしてパーツ28(鼻ID=28)を選択し、口の器官パーツとしてパーツ44(口ID=44)を選択したとすると、顔ID作成部43が作成する顔IDは、「012844」となる。
この場合、顔IDの総数は、50×50×50=125000であり、平均すると、日本国に約1000人は同じ顔IDのものが存在することになる。しかしながら、本実施形態では、写真シール機2において1回の遊戯での利用者を識別できる程度(4,5人程度)であればよいので、上記の顔IDの作成方法でも利用者を充分に識別可能である。
画像・顔ID表示制御部44は、顔ID作成部43から顔IDを受信すると、受信した顔IDに対応する撮影画像データを記憶装置11から読み出し、読み出した撮影画像データに基づく撮影画像と上記顔IDとを撮影処理用タッチパネル15に表示するように制御するものである。また、画像・顔ID表示制御部44は、顔ID認証部45に顔IDを送信して、顔ID認証部45から認証結果を受信し、認証に成功した場合には、画像送出部46に顔IDを送信する。
顔ID認証部45は、顔IDの認証を行うものである。具体的には、顔ID認証部45は、画像・顔ID表示制御部44から顔IDを受信すると、通信装置12を介して通信端末3に顔IDの入力要求を送信することにより、通信端末3から通信装置12を介して顔IDを取得し、画像・顔ID表示制御部44から受信した顔IDと、通信端末3から取得した顔IDとが一致するか否かを判断するものである。顔ID認証部45は、この判断結果を認証結果として画像・顔ID表示制御部44に送信する。
画像送出部46は、画像・顔ID表示制御部44から顔IDを受信すると、受信した顔IDに対応する撮影画像データおよびマスク画像データを記憶装置11から読み出して、通信装置12を介して通信端末に送信するものである。
次に、本実施形態の通信端末3における制御部30および記憶部31の詳細について、図3を参照しつつ説明する。図3は、通信端末3における制御部30および記憶部31の概略構成を示している。
図示のように、制御部30は、顔ID取得部(顔ID取得手段)60、画像取得部61、および画像編集部(画像編集手段)62を備える構成である。また、画像編集部62は、レイアウト変更部63を含んでいる。一方、記憶部31は、撮影画像データ、マスク画像データ、顔ID、および編集画像データを記憶するものである。
顔ID取得部60は、利用者がタッチパネル33にて顔IDを入力することにより、利用者から顔IDを取得するものである。具体的には、顔ID取得部60は、写真シール機2から通信部32を介して顔ID入力要求を取得すると、顔ID入力要求の画像をタッチパネル33に表示するように制御する。次に、顔ID取得部60は、利用者がタッチパネル33を操作することにより、利用者から顔IDを取得する。そして、顔ID取得部60は、取得した顔IDを通信部32を介して写真シール機2に送信する。これにより、顔ID取得部60が写真シール機2に送信した顔IDと、写真シール機2が記憶する顔IDとの認証が行われる。
上記認証に成功した場合、顔ID取得部60は、タッチパネル33から取得した顔IDを記憶部31に記憶する。なお、顔ID取得部60は、記憶部31に予め記憶した顔IDを読み出して、通信部32を介して写真シール機2に送信することもできる。
画像取得部61は、上記認証に成功した場合に、写真シール機2から通信部32を介して、撮影画像データおよびマスク画像データを取得して、記憶部31に記憶するものである。なお、顔ID取得部60または画像取得部61は、撮影画像データおよびマスク画像データを顔IDに対応付けて記憶部31に記憶することが望ましい。これにより、通信端末3を複数の利用者が利用する場合でも、各利用者に対応する撮影画像データ、マスク画像データ、および顔IDを記憶部31から読み出すことができる。
画像編集部62は、利用者が選択した画像に対して画像編集処理を行うものである。なお、画像編集部62における画像編集処理は、写真シール機2の画像処理部27におけるものと同様であるので、その説明を省略する。
レイアウト変更部63は、画像編集処理を行う画像が縦長であるか横長であるかに基づいて、タッチパネル33における表示レイアウトの変更を行うものである。なお、表示レイアウトの変更の具体例については後述する。
上記構成の画像提供システム1における処理動作について説明する。まず、1人の利用者が写真シール機2で1回撮影する場合について、図7〜図9を参照しつつ説明する。
図7は、上記の場合における写真シール機2および通信端末3の処理動作の流れを示している。また、図8(a)・(c)は、上記処理動作において写真シール機2のタッチパネル15に表示される画像を示しており、同図(b)は、写真シール機2の器官パーツ選択部42が選択した器官パーツを示している。また、図9(a)〜(c)は、上記処理動作において通信端末3のタッチパネル33に表示される画像を示している。
図7に示されるように、まず、写真シール機2の撮影処理部26は、1人の利用者に対する撮影処理を行う(ステップS10。以下、単に「S10」と記載することがある。他のステップについても同様である。)。
次に、写真シール機2は、顔認識処理を行う(S11)。具体的には、まず、図8(a)に示されるように、写真シール機2の制御装置10は、上記撮影処理により取得した撮影画像と、顔認識の実行を予告する画像とをタッチパネル15に表示させる。このとき、タッチパネル15の右下に表示される「やめる」ボタンを利用者が選択すると、以下の処理を行うこと無く撮影空間での処理が終了し、引き続き編集空間での画像編集処理が行われる。次に、上記撮影処理により取得した撮影画像から写真シール機2の顔認識部40が顔画像を抽出し、抽出した顔画像から写真シール機2の顔特徴点抽出部41が顔の特徴点を抽出する。
次に、写真シール機2の器官パーツ選択部42は、顔特徴点抽出部41が抽出した顔の特徴点に基づいて、目、鼻、および口の適当な器官パーツを選択する(S12)。図8(b)は、選択された器官パーツを撮影画像に適合するように配置したものである。図示において、撮影画像は破線で示され、器官パーツが実線で示されている。なお、選択された器官パーツとその幾何学的配置(位置情報)とに基づいて作成される器官配置データを顔IDとして利用することもできる。
次に、写真シール機2の顔ID作成部43は、器官パーツ選択部42が選択した器官パーツに対応する目ID、鼻ID、および口IDに基づいて顔IDを作成する(S13)。また、顔ID作成部43は、作成した顔IDを、撮影画像データに対応付けて記憶装置11に記憶する。
次に、写真シール機2は、通信端末3に対して顔IDの入力要求を行う(S14)。具体的には、まず、写真シール機2の画像・顔ID表示制御部44は、図8(c)に示されるように、顔ID作成部43が作成した顔IDと上記撮影画像とを、タッチパネル15に表示させる。次に、写真シール機2と、写真シール機2の近くに位置する通信端末3とを通信可能な状態にする。そして、写真シール機2の顔ID認証部45は、通信端末3に対して顔IDの入力要求を送信する。
通信端末3は、写真シール機2から顔IDの入力要求を受信すると(S20)、通信端末3の顔ID取得部60は、顔IDの入力を利用者に要求する顔ID入力要求画像をタッチパネル33に表示させる。図9(a)は、タッチパネル33に顔ID入力要求画像を表示した状態を示している。本実施形態では、通信端末3は、2つのタッチパネルを有しているので、図示のように、第1のタッチパネル33aには、利用者に顔IDの入力を指示するための画像を表示し、第2のタッチパネル33bには、顔IDを入力するための画像を表示している。
次に、図9(b)に示されるように、利用者が、写真シール機2のタッチパネル15に表示された顔ID(図8(c)参照)を、通信端末3の第2のタッチパネル33bに、タッチペン34を用いて入力し、「けってい」ボタンを選択する(S21)。このとき、通信端末3の顔ID取得部60は、第2のタッチパネル33bから入力された顔IDを写真シール機2に送信する(S22)。
写真シール機2は、通信端末3から顔IDを受信すると(S15)、写真シール機2の顔ID認証部45は、認証に成功したか否か、すなわち顔ID作成部43が作成した顔IDと、通信端末3から受信した顔IDとが一致するか否かを判断する(S16)。認証に失敗した場合(顔IDが不一致である場合)には、ステップS14に戻って、上記処理動作を繰り返す。一方、認証に成功した場合(顔IDが一致である場合)には、写真シール機2の画像送出部46は、顔IDに対応する撮影画像データを記憶装置11から読み出して、通信端末3に送信する(S17)。その後、写真シール機2における処理動作を終了する。
通信端末3は、写真シール機2から撮影画像データを受信すると(S23)、通信端末3の制御部30は、図9(b)に示されるように、画像の受信中を示す情報と顔IDとを第1のタッチパネル33aに表示させる。撮影画像データの受信が完了すると、通信端末3の制御部30は、図9(c)に示されるように、受信の完了を示す情報と、顔IDと、受信した撮影画像データに基づく撮影画像とを第1のタッチパネル33aに表示させる。
次に、顔ID取得部60が、顔IDを記憶部31に記憶するとともに、画像取得部61が、写真シール機2から取得した撮影画像データを、上記顔IDに対応付けて記憶部31に記憶する(S24)。その後、通信端末3における処理動作を終了する。
なお、本実施形態では、顔IDを記憶部31に記憶するタイミングは、写真シール機2から取得した撮影画像データを記憶部31に記憶するタイミング(S24)としているが、その他のタイミングであってもよい。例えば、写真シール機2が、顔IDの認証に成功した場合に(S16にてYES)、通信端末3に認証の成功を通知するようにしておき、通信端末3が該通知を受け取ったときに顔IDを記憶部31に記憶してもよい。また、写真シール機2が撮影画像データと共に顔IDを通信端末3に送信するようにしておき、通信端末3が写真シール機2から受信した撮影画像データおよび顔IDを記憶部31に記憶してもよい。
次に、複数人の利用者が写真シール機2で複数回撮影する場合について、図10および図11を参照しつつ説明する。なお、上述した処理動作と同様の処理動作については同じ符号を付して、その詳細な説明を省略する。
図10は、上記の場合における写真シール機2および通信端末3の処理動作の流れを示している。また、図11(a)は、写真シール機2の器官パーツ選択部42が選択した器官パーツを顔画像ごとに示しており、同図(b)・(c)は、上記処理動作において写真シール機2のタッチパネル15に表示される画像を示している。なお、上記処理動作において通信端末3のタッチパネル33に表示される画像は、図9(a)〜(c)と同様である。
図10に示されるように、まず、写真シール機2の撮影処理部26は、複数の利用者に対する撮影処理を行う(S10)。
次に、写真シール機2は、顔認識処理を行う(S30)。具体的には、まず、上記撮影処理により取得した撮影画像から写真シール機2の顔認識部40が複数の顔画像を抽出し、抽出した複数の顔画像のそれぞれから、写真シール機2の顔特徴点抽出部41が顔の特徴点を抽出する。また、顔認識部40は、上記撮影画像のうち、上記顔画像およびその周囲の領域の画像編集を禁止するためのマスク画像を形成する。マスク画像は、顔認識部40が抽出した複数の顔画像ごとに作成される。顔認識部40は、形成した複数のマスク画像から複数のマスク画像データを生成して、記憶装置11に記憶する。
次に、顔認識部40が抽出した各顔画像に関して、写真シール機2の器官パーツ選択部42は、顔特徴点抽出部41が抽出した顔の特徴点に基づいて、目、鼻、および口の適当な器官パーツを選択する(S12)。図11(a)は、4人の顔画像のそれぞれに関して、器官パーツ選択部42が選択した器官パーツを撮影画像に適合するように配置したものである。図示において、撮影画像は破線で示され、器官パーツが実線で示されている。
次に、上記各顔画像に関して、写真シール機2の顔ID作成部43は、器官パーツ選択部42が選択した器官パーツに対応する目ID、鼻ID、および口IDに基づいて顔IDを作成する(S13)。また、顔ID作成部43は、作成した顔IDを、マスク画像データおよび撮影画像データに対応付けて記憶装置11に記憶する。
次に、写真シール機2の制御装置10は、所定回数撮影が行われるか、或いは所定時間が経過するまで、上記処理動作を繰り返す(S31)。その後、写真シール機2の画像・顔ID表示制御部44は、通信端末3に送信すべき撮影画像を選択する(S32)。具体的には、画像・顔ID表示制御部44は、図11(b)に示されるように、撮影画像を選択するように利用者に要求する選択要求画像をタッチパネル15に表示させる。この選択要求画像には、複数の撮影画像のサムネイル画像が表示される。なお、全てのサムネイル画像を表示できない場合には、一部のサムネイル画像を表示しておき、残りのサムネイル画像を表示するための切替ボタンを設ければよい。
次に、利用者が所望のサムネイル画像を選択すると、画像・顔ID表示制御部44は、図11(c)に示されるように、選択したサムネイル画像に対応する撮影画像と、該撮影画像に含まれる複数の顔画像と、該複数の顔画像にそれぞれ対応する複数の顔IDとをタッチパネル15に表示させる。次に、写真シール機2と、写真シール機2の近くに位置する通信端末3とを通信可能な状態にする。そして、写真シール機2の顔ID認証部45は、通信端末3に対して顔IDの入力要求を送信する(S14)。
通信端末3は、写真シール機2から顔IDの入力要求を受信すると(S20)、通信端末3の顔ID取得部60は、図9(a)に示されるように、顔IDの入力を利用者に要求する顔ID入力要求画像をタッチパネル33に表示させる。
次に、図9(b)に示されるように、端末利用者が、写真シール機2のタッチパネル15に表示された複数の顔IDのうち、自身の顔画像に対応する顔IDを通信端末3のタッチパネル33から入力する(S21)。このとき、通信端末3の顔ID取得部60は、タッチパネル33から入力された顔IDを写真シール機2に送信する(S22)。
写真シール機2は、通信端末3から顔IDを受信すると(S15)、写真シール機2の顔ID認証部45は、認証に成功したか否か、すなわち顔ID作成部43が作成した複数の顔IDの何れかと、通信端末3から受信した顔IDとが一致するか否かを判断する(S16)。認証に失敗した場合(顔IDが不一致である場合)には、ステップS14に戻って、上記処理動作を繰り返す。一方、認証に成功した場合(顔IDが一致である場合)には、写真シール機2の画像送出部46は、ステップS32にて選択した撮影画像データと、該撮影画像データに対応し、かつステップS16にて一致した顔IDに対応するマスク画像データとを記憶装置11から読み出して、通信端末3に送信する(S33)。その後、写真シール機2における処理動作を終了する。
通信端末3は、写真シール機2から撮影画像データおよびマスク画像データを受信すると(S34)、通信端末3の制御部30は、図9(b)に示されるように、画像の受信中を示す情報と顔IDとをタッチパネル33に表示させる。撮影画像データおよびマスク画像データの受信が完了すると、通信端末3の制御部30は、図9(c)に示されるように、受信の完了を示す情報と、顔IDと、受信した撮影画像データに基づく撮影画像とを上部のタッチパネル33に表示させる。
次に、顔ID取得部60が、顔IDを記憶部31に記憶するとともに、画像取得部61が、写真シール機2から取得した撮影画像データおよびマスク画像データを、上記顔IDに対応付けて記憶部31に記憶する(S35)。その後、通信端末3における処理動作を終了する。なお、マスク画像データは、後述する撮影画像の画像編集処理において利用される。
次に、複数人の利用者が写真シール機2で複数回撮影する場合であって、写真シール機2が、通信端末3から顔IDを自動的に取得して、顔IDの認証を行う場合について、図12〜図14を参照しつつ説明する。なお、上述した処理動作と同様の処理動作については同じ符号を付して、その詳細な説明を省略する。
図12は、上記の場合における写真シール機2および通信端末3の処理動作の流れを示している。また、図13(a)〜(c)は、上記処理動作において、写真シール機2のタッチパネル15に表示される画像を示している。また、図14(a)・(b)は、上記処理動作において、通信端末3のタッチパネル33に表示される画像を示している。なお、図12〜図14に示される場合では、予め図7または図10に示される処理動作が行われることにより、通信端末3の記憶部31に顔IDが記憶されているとする。
まず、図12に示される撮影処理から撮影終了の判断処理までの処理(S10・S30・S12・S13・S31)は、図10に示される処理と同様であるので、その説明を省略する。
写真シール機2にて所定回数撮影が行われるか、或いは所定時間が経過して撮影が終了した後(S31でYES)、写真シール機2の制御装置10は、通信端末3の自動検索を行う(S40)。具体的には、写真シール機2の通信装置12は、写真シール機2の通信範囲内に存在する通信端末3であって、写真シール機2と通信可能な通信端末3を検索する。この検索は、所定期間(例えば30秒)経過するまで続けられる。また、写真シール機2の画像・顔ID表示制御部44は、図13(a)に示されるように、通信端末3の検索中を示す画像をタッチパネル15に表示させる。
所定期間経過するまでに通信可能な通信端末3を発見できなかった場合には(S41でNO)、図13(b)に示されるような、「近くに端末がありません」という検索失敗を示す画像を表示する(S42)。その後、ステップS40に戻って、上記自動検索を繰り返す。
一方、所定期間内に通信可能な通信端末3を発見した場合には(S41でYES)、写真シール機2の顔ID認証部45は、通信端末3に対して顔IDの取得要求を送信する(S43)。
通信端末3は、写真シール機2から顔IDの取得要求を受信すると(S50)、通信端末3の顔ID取得部60は、記憶部31に記憶された顔IDを読み出し(S51)、読み出した顔IDを写真シール機2に送信する(S52)。
写真シール機2は、通信端末3から顔IDを受信すると(S15)、写真シール機2の顔ID認証部45は、認証に成功したか否か、すなわち顔ID作成部43が作成した複数の顔IDの何れかと、通信端末3から受信した顔IDとが一致するか否かを判断する(S16)。認証に失敗した場合(顔IDが不一致である場合)には、ステップS40に戻って、上記処理動作を繰り返す。
一方、認証に成功した場合(顔IDが一致である場合)には、写真シール機2の画像送出部46は、通信端末3から受信した顔IDに対応付けられた全ての撮影画像データと、各撮影画像データに対応するサムネイル画像データと、各撮影画像データに対応し、かつ上記顔IDに対応するマスク画像データとを記憶装置11から読み出して、通信端末3に送信する(S44)。その後、写真シール機2における処理動作を終了する。
通信端末3は、写真シール機2から撮影画像データ、サムネイル画像データ、およびマスク画像データを受信する(S53)。このとき、通信端末3の制御部30は、図14(a)に示されるように、画像の受信中を示す情報をタッチパネル33に表示させる。撮影画像データ、サムネイル画像データおよびマスク画像データの受信が完了すると、通信端末3の制御部30は、図14(b)に示されるように、受信の完了を示す情報と、受信した複数のサムネイル画像データに基づく複数のサムネイル画像とをタッチパネル33に表示させる。
次に、通信端末3の画像取得部61が、写真シール機2から取得した撮影画像データ、サムネイル画像データ、およびマスク画像データを、記憶部31に記憶された顔IDに対応付けて、記憶部31に記憶する(S54)。その後、通信端末3における処理動作を終了する。
次に、通信端末3の画像編集部62が、撮影画像に対し色の変更、落書きなどの画像編集処理を実行する場合について、図15〜図24を参照しつつ説明する。
図15は、画像編集部62が実行する画像編集モードにおける処理動作を示している。また、図16は、画像編集の対象となる撮影画像(以下、「編集対象画像」と称する。)が横長である場合にタッチパネル33a・33bに表示される画像を示している。また、図17は、編集対象画像が縦長である場合にタッチパネル33a・33bに表示される画像を示している。
図15〜図17に示されるように、まず、第1のタッチパネル33aには、編集対象画像を選択するための選択用画像70が表示される。選択用画像70は、複数の撮影画像に対応する複数のサムネイル画像71を含んでいる(S60)。
一方、第2のタッチパネル33bには、画像編集を行うための編集用画像72が表示される。編集用画像72は、中央部に編集対象画像73を含んでいる。編集対象画像73は、その長手方向が第2のタッチパネル33bの長手方向と平行になるように配置される。また、編集用画像72は、タッチパネル33bの長手方向の一端に、画像編集で利用される各種のツールボタン74を含んでおり、他端に、選択されたツールボタン74に対応する各種ボタン75が含まれる。
次に、利用者がタッチペン34を用いて、第1のタッチパネル33aに含まれるサムネイル画像71を選択する(S61)。このとき、利用者が横長のサムネイル画像71aを選択する場合(S62でYES)、図16に示されるように、利用者がタッチパネル33a・33bを横長で使用するような横長用の表示レイアウトとなる(S63)。一方、利用者が縦長のサムネイル画像71bを選択する場合(S62でNO)、図17に示されるように、利用者がタッチパネル33a・33bを縦長で使用するような縦長用の表示レイアウトとなる(S64)。
なお、サムネイル画像71が横長であるか縦長であるかは、画像の表示サイズから判断してもよいし、横長および縦長の何れであるかを示す識別情報を、サムネイル画像データまたは撮影画像データに埋め込んでおき、上記データから上記識別情報を抽出することによって判断してもよい。
ここで、利用者が選択するサムネイル画像71が横長であるか縦長であるかに関係なく、利用者がタッチパネル33a・33bを横長で使用するような表示レイアウトの場合について、図18〜図20を参照しつつ説明する。なお、図18(a)、図19(a)、および図20(a)は、編集対象画像73が横長である場合の編集用画像72を示しており、図18(b)、図19(b)、および図20(b)は、編集対象画像73が縦長である場合の編集用画像72を示している。
図18(a)・(b)は、編集対象画像73が縦長であるか横長であるかに応じて、ツールボタン74および各種ボタン75の配置を変化させる場合の表示レイアウトを示している。図示の場合、編集対象画像73が横長であるか縦長であるかにより、表示レイアウトが大幅に変化するので、利用者がツールボタン74および各種ボタン75を操作し辛くなる。
図19(a)・(b)は、編集対象画像73、ツールボタン74、および各種ボタンの配置を固定するとともに、編集対象画像73がタッチパネル33の表示領域内に収まるように拡大または縮小する場合の表示レイアウトを示している。図示の場合、表示レイアウトが固定されているので、利用者がツールボタン74および各種ボタン75を操作し易い。しかしながら、同図(b)に示されるように、縦長の編集対象画像73は、縮小表示されるため、利用者による画像編集の作業がし辛くなる。
図20(a)・(b)は、編集対象画像73、ツールボタン74、および各種ボタンの配置を固定するとともに、編集対象画像73を縮小すること無く表示する場合の表示レイアウトを示している。図示の場合、表示レイアウトが固定されているので、利用者がツールボタン74および各種ボタン75を操作し易い。また、同図(b)に示されるように、縦長の編集対象画像73であっても、等倍表示であるため、利用者による画像編集の作業がし易い。しかしながら、縦長の編集対象画像73は、タッチパネル33の表示領域内に収まらないため、編集対象画像73を例えばスクロール表示させる必要があり、編集対象画像73の全体を把握し辛くなる。
これに対し、本実施形態の画像提供システム1は、図16および図17に示されるように、通信端末3を回転させるだけで表示レイアウトに変化が無く、また、縦長および横長の何れの画像でも適当な寸法で表示されるため、利用者の操作性が向上する。
図15に戻って、横長用および縦長用の何れかの表示レイアウトが選択された後(S62〜S64)、画像編集処理が行われる(S65)。このとき、画像編集部62は、記憶部31からマスク画像データを読み出して、画像の編集可能領域を制限する。
図21(a)は、撮影画像の一例を示しており、同図(b)は、該撮影画像に対応するマスク画像の一例を示している。同図(a)に示される撮影画像には、4人の顔画像が含まれ、このうち左上の顔画像に対応する顔IDを、通信端末3の記憶部31が記憶しているとする。この場合、マスク画像は、同図(b)に示されるように、残り3人の顔画像とその周辺領域(図示の斜線領域)が編集不能領域を示すものとなる。
図22(a)〜(c)は、図21(a)・(b)に示される撮影画像およびマスク画像に対して、画像編集部62が画像編集処理を行うときにタッチパネル33bに表示される編集用画像72を示している。図22(a)に示されるように、記憶部31が記憶する顔IDに対応する顔画像とその周囲の領域に対しては、画像編集(図示の例では付け髭)が可能である。一方、同図(b)に示されるように、上記顔IDに対応する顔画像以外の顔画像およびその周囲の領域に対して、画像編集を行おうとしても、同図(c)に示されるように、画像編集を行うことができず、「自分の顔じゃないから落書きできないよ!」というエラーメッセージを表示する。
これにより、通信端末3の利用者の顔画像以外の顔画像に対しては、マスク画像により画像編集を行うことができないので、個人情報の改竄を防止できる。
図15に戻って、上記画像編集処理(S65)は、利用者から終了の指示があるまで続けられる(S66)。利用者から終了の指示があると、編集中の画像データを編集画像データとして記憶部31に保存する。そして、別の画像の編集を行う場合には(S67でYES)、ステップS61に戻って上記の処理動作を繰り返し、画像の編集を行わない場合には(S67でNO)、画像編集モードを終了する。
次に、同じ撮影画像を複数の通信端末3で編集し、編集画像データを写真シール機2に送信した場合に、複数の編集画像を合成する方法について、図21、図23、および図24を参照しつつ説明する。図23(a)はAさんが編集した編集画像を示しており、同図(b)はBさんが編集した編集画像を示している。また、同図(c)はBさんに対するマスク画像を示している。
なお、複数の編集画像を合成する処理は、写真シール機2の画像編集処理部27にて行われる。また、或る通信端末3が、別の通信端末3から編集画像データを受信し、受信した編集画像データに基づく編集画像と、自端末の記憶部31が記憶する編集画像データに基づく編集画像とを、画像編集部62にて合成してもよい。
図21(a)に示される撮影画像に含まれる4人の顔画像のうち、Aさんは左上の顔画像の人物であり、Bさんは右上の顔画像の人物である。したがって、Aさんのマスク画像は、図21(b)に示されるものとなり、Bさんのマスク画像は、図23(c)に示されるものとなる。なお、図21(b)と同様に、図23(c)に示される画像の斜線領域が、編集不能領域を示している。
図21(b)に示されるマスク画像により、Aさんの編集画像では、図23(a)に示されるように、Aさんの顔画像の領域と、4人の顔画像以外の領域とに画像編集処理が施されることになる。一方、図23(c)に示されるマスク画像により、Bさんの編集画像では、図23(b)に示されるように、Bさんの顔画像の領域と、4人の顔画像以外の領域とに画像編集処理が施されることになる。
図24(a)・(b)は、図23(a)に示されるAさんの編集画像と、図23(b)に示されるBさんの編集画像とを合成した合成画像の例を示している。図24(a)に示される合成画像の例は、2つの編集画像を単純に合成したものである。図示のように、Aさんの顔画像とBさんの顔画像とのそれぞれに画像編集処理が反映されることになるが、4人の顔画像以外の領域では、スタンプ、線などの編集内容が重なる可能性がある。
そこで、編集内容が重なる場合には、図24(b)に示されるように、編集内容が重ならないように移動させるか、或いは編集内容を消去することが望ましい。これは、複数の編集画像を別々のレイヤに形成することにより対応可能である。
〔実施の形態2〕
次に、本発明の別の実施形態について、図25〜図27を参照しつつ説明する。図25は、本実施形態である画像選択システムの概略構成を示している。この画像選択システム(画像提供システム)100は、複数の通信端末3にて作成された複数の編集画像のうち、印刷を行うものを投票形式で決定するものである。なお、本実施形態の画像選択システム100は、図1に示される複数の通信端末3と写真シール機2とを備える構成であるため、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。
複数の通信端末3は、相互に無線通信可能であるが、或る1台が親機3aとなり、その他が子機3bとなる。また、親機3aは、写真シール機2と無線通信可能である。なお、親機3aおよび子機3bは、通信部32を介して無線通信を行うが、図25では、通信部32を省略して記載している。
図25に示されるように、親機3aの制御部30は、画像収集部(画像収集手段)110、画像選択部(画像送出手段)111、および画像決定部(画像決定手段)112を備える構成である。一方、子機3bの制御部30は、画像送信部120、画像取得部121、投票部122、および結果取得部123を備える構成である。また、図26(a)〜(d)は、親機3aのタッチパネル33に表示される画像を示しており、図27(a)〜(c)は、子機3bのタッチパネル33に表示される画像を示している。
まず、親機3aの制御部30は、図26(a)に示されるメニュー画像をタッチパネル33に表示させる。ここで、「投票」が選択されると、投票モードに移行し、以下の処理が行われる。
親機3aの画像収集部110は、通信可能な通信端末3を検索する。このとき、画像収集部110は、図26(b)に示される待機画像をタッチパネル33に表示させる。
検索の結果、通信可能な通信端末3が見つかると、親機3aの画像収集部110は、見つかった通信端末3を子機3bとして、画像の要求を送信する。一方、子機3bの画像送信部120は、親機3aから画像の要求を受信すると、記憶部31に記憶された撮影画像データと、該撮影画像データに対応する編集画像データとを読み出して親機3aに送信する。親機3aの画像収集部110は、子機3bから受信した撮影画像データおよび編集画像データを記憶部31に記憶する。
具体的には、親機3aの画像収集部110は、子機3bから顔IDを取得し、取得した顔IDに対応する画像データ(撮影画像データおよび編集画像データ)を検索する。次に、親機3aの画像収集部110は、検索した画像データと、子機3bが記憶する画像データとの照合を行う。このとき、画像収集部110は、図26(c)に示される照合中の画像をタッチパネル33に表示させる。照合の結果、親機3aの画像収集部110は、子機3bにのみ記憶されている画像データを子機3bに要求して取得し、記憶部31に記憶する。これにより、親機3aおよび子機3bの両方が記憶する画像データを通信する無駄を防止できる。なお、親機3aの画像収集部110は、通信可能な全ての子機3bに対して上記の処理を実行する。
次に、親機3aの画像選択部111は、記憶部31に記憶されている撮影画像データを読み出して、図26(d)に示されるように、撮影画像データに基づくサムネイル画像のリストをタッチパネル33に表示させる。親機3aの利用者がタッチパネル33またはタッチペン34を介して画像を選択すると、親機3aの画像選択部111は、選択されたサムネイル画像(撮影画像)に対応する全ての編集画像データを記憶部31から読み出して子機3bに送信する。
一方、子機3bの画像取得部121は、親機3aから編集画像データを受信すると、図27(a)に示されるように、受信した編集画像データに基づく編集画像のリストを第2のタッチパネル33bに表示させる。子機3bの利用者がタッチパネル33またはタッチペン34を介して編集画像を選択すると、子機3bの投票部122は、選択された編集画像の情報(例えば、編集画像の識別情報など)を含む投票データを親機3aに送信する。
親機3aの画像決定部112は、複数の子機3bから投票データを受信すると、投票数の多い編集画像を、印刷を行う編集画像に決定し、その編集画像データを写真シール機2に送信する。写真シール機2は、シール紙上での分割数または分割パターンを利用者に選択させ、選択された分割領域ごとに、親機3aから受信した編集画像データに基づく編集画像が印刷されるように、プリンタ23を制御して印刷を行う。その後、シール紙排出口24から印刷された写真シール紙が排出される。
また、親機3aの画像決定部112は、上記決定の結果を結果データとして子機3bに送信する。子機3bの結果取得部123は、親機3aから結果データを受信し、受信した結果データに基づき、図27(b)・(c)に示されるように、印刷を行う編集画像を第1のタッチパネル33aに表示させる。また、子機3bの結果取得部123は、印刷を行う編集画像が、子機3bの利用者が選択した編集画像と一致する場合には、図27(b)に示されるように、祝福を示す画像を第2のタッチパネル33bに表示させる。一方、子機3bの結果取得部123は、印刷を行う編集画像が、子機3bの利用者が選択した編集画像と一致しない場合には、図27(c)に示されるように、残念を示す画像を第2のタッチパネル33bに表示させる。
したがって、本実施形態の画像選択システム100は、印刷すべき画像を、通信端末3の利用者からの投票によって決定できるので、利用者の多数が最適と判断した編集画像を、印刷すべき画像として選択することができる。また、投票による編集画像の決定という遊戯を提供するので、利用者の娯楽性を高めることができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
例えば、上記実施形態では、顔IDは、器官パーツ選択部42が選択した器官パーツから作成しているが、顔特徴点抽出部41が抽出した顔の特徴点から作成することもできる。この場合、顔IDによる利用者の識別力が向上する一方で、顔IDのデータ長が増大することにより処理速度が低下することになる。
また、顔の特徴点を検出することにより顔認識を行うこともできる。この場合、顔認識部40および顔特徴点抽出部41を一体とすることができる。また、顔認識から器官パーツを選択できる場合には、顔特徴点抽出部41を省略することができる。
また、利用者が専ら通信端末3にて画像編集を行う場合には、写真シール機2は、編集空間と、該編集空間に設けられる編集処理用タッチパネル20および編集処理用タッチペン21と、制御装置10の画像処理部27を省略してもよい。
また、印刷空間に設けられる印刷処理用タッチパネル22、プリンタ23、およびシール紙排出口24は、写真シール機2とは別の装置であって写真シール機2とデータ通信可能である専用の印刷装置に設けることもできる。
最後に、写真シール機2および通信端末3の各ブロック、特に制御装置10および制御部30は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、制御装置10および制御部30は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである制御装置10および制御部30の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、制御装置10および制御部30に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、制御装置10および制御部30を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。