JP2016058937A - 遊戯用画像編集装置、遊戯用画像編集方法およびコンピュータ・プログラム - Google Patents

Abstract

【課題】合成用画像と被写体画像を重畳して合成画像を生成するときに、適切なレイアウトとなるように編集を支援する。【解決手段】合成部は、合成用画像１０４ａと被写体画像１０２を重畳することにより、遊戯用の合成画像１１０を生成する。合成部は、合成用画像１０４ａの合成用画像属性情報と被写体画像１０２の被写体画像属性情報にしたがって、合成用画像１０４ａに対する被写体画像１０２のレイアウト方法を初期設定する。そして、初期設定に基づいて、合成用画像１０４ａおよび被写体画像１０２を所定の相対位置関係で重畳した初期レイアウトで表示する。合成用画像１０４ａまたは被写体画像１０２に関して、そのサイズ、傾きおよび位置のうちの１以上が初期レイアウトから変更可能である。【選択図】図１３

Description

本発明は、被写体の画像に装飾用の画像を重ね合わせることにより被写体の画像を飾る画像編集技術に関する。

従来より、ユーザを含む被写体をカメラで複数回撮影し、その撮影画像を写真印刷シートとして出力したり、ネットワークを介して外部の装置に送信したりすることができる遊戯用撮影装置が知られている。このような遊戯用撮影装置では、ユーザの嗜好に応じて、たとえば、次のような編集処理を行えるものが多く提案されている。まず、撮影された被写体の画像に対してクロマキー処理をし、被写体部分を抽出した被写体画像を生成する。そして、この被写体画像にユーザが選択した合成用画像を重ね合わせ、合成画像（被写体画像を装飾した画像）を生成する。

合成用画像とは、被写体画像の背景や額縁となる装飾用の画像であり、遊戯用撮影装置はさまざまな合成用画像を用意している。ユーザは、好みの合成用画像を選択し、そこに被写体画像を重ね合わせ、更に、「落書き」などのさまざまな既知の編集処理を施すことにより、自分だけのお気に入りの合成画像を作ることができる。

特開２００９−２５８４８８号公報

合成用画像には被写体画像の周辺や背景を控えめに飾るものあれば、被写体画像がむしろその一部として埋め込まれるようなデザイン性の高いものもある。このため、合成用画像に対してどのようなレイアウトにて被写体画像を重畳するかという編集センスが重要になる。いいかえれば、編集に不慣れなユーザは、思ったような合成画像を作ることができなくなってしまう可能性もある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、合成用画像と被写体画像を重畳して合成画像を生成するときに、適切なレイアウトとなるように編集を支援する技術、を提供することにある。

本発明のある態様の遊戯用画像編集装置は、第１の画像を格納する第１画像保持部と、第２の画像を格納する第２画像保持部と、第１および第２の画像を表示する表示部と、第１および第２の画像を重畳することにより、遊戯用の合成画像を生成する合成部と、を備える。合成部は、第１および第２の画像それぞれの属性情報にしたがって、第１の画像に対する第２の画像のレイアウト方法を初期設定する。表示部は、初期設定に基づいて、第１および第２の画像を所定の相対位置関係で重畳した初期レイアウトにて表示し、また、第１または第２の画像のサイズ、傾きおよび位置のうちの１以上が変更可能である。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、合成用画像と被写体画像を重畳して遊戯用の合成画像を生成するときに、適切なレイアウトにて合成画像を生成しやすくなる。

実施の形態に係る画像編集システムの全体構成を模式的に示す図である。 実施の形態に係る遊戯用画像編集装置を左前側から見た斜視図である。 図２に示す遊戯用画像編集装置を上から見た平面図である。 遊戯用画像編集装置の機能ブロック図である。 遊戯用画像編集装置におけるプレイの流れを示すフローチャートである。 被写体画像の例を示す図である。 円形窓を有する合成用画像に対して被写体画像を選択するときの画面図である。 矩形窓を有する合成用画像に対して被写体画像を選択するときの画面図である。 被写体画像と合成用画像のレイヤー図である。 被写体画像に合成用画像を重ね合わせたときの合成画像を示す図である。 合成用画像と円形型の被写体画像の重ね合わせ方法を説明するための概念図である。 合成用画像と矩形型の被写体画像の重ね合わせ方法を説明するための概念図である。 編集時における合成画像を示す第１の画面図である。 編集時における合成画像を示す第２の画面図である。

本実施形態における「遊戯用撮影装置」とは「遊戯用画像編集装置に撮影機能を追加したもの」と定義する。撮影機能よりも撮影後の被写体画像の編集機能を中心として説明する意図を明確にするため、以下においては遊戯用撮影装置ではなく遊戯用画像編集装置とよぶことにする。実施の形態に係る遊戯用画像編集装置は、写真撮影により生成された被写体画像に対して各種の編集作業を行った後、写真印刷シートとして印刷したり、外部装置（携帯端末や画像蓄積サーバ等）に出力する。

＜画像編集システムの概要＞
図１は、実施の形態に係る画像編集システム６００の全体構成を模式的に示す図である。
画像編集システム６００は、インターネット等のネットワーク２００を介して接続する遊戯用画像編集装置１００、管理サーバ３００、ＳＮＳ（Social Networking Service）サーバ４００、および複数の端末装置５００を含む。図１では、端末装置５００ａと端末装置５００ｂとのふたつの端末装置を図示しているが、端末装置５００の数は２に限られず、３以上であってよい。以下本明細書において、それぞれの端末装置５００を特に区別する場合を除き、単に「端末装置５００」と総称する。まず、図１を参照しながら、実施の形態に係る画像編集システム６００の概要を述べる。

遊戯用画像編集装置１００は、ユーザを写真撮影するカメラや、撮影した写真画像を編集するためのユーザインタフェースを備える電子機器である。ユーザが遊戯用画像編集装置１００で写真を撮影すると、遊戯用画像編集装置１００は、ユーザを識別するための情報とそのユーザを被写体に含む写真画像群とを紐付ける。写真画像群とは、所定の１プレイにおいて作成されグループ化された複数の写真画像のことを指す。また、ユーザを識別するための情報は、プレイごとに取得、作成される。以下本明細書において、ユーザを識別するための情報とそのユーザを被写体に含む写真画像群とが紐付けられたデータを「コンテンツデータ」と記載する。

管理サーバ３００は、遊戯用画像編集装置１００から取得したコンテンツデータを管理するサーバである。管理サーバ３００は、コンテンツデータに含まれる写真画像群にアクセスするためのコンテンツアクセス情報を、各ユーザが所持する端末装置５００に送信する。コンテンツアクセス情報は、例えば管理サーバ３００にアクセスするためのＵＲＬ（Uniform Resource Locator）を含む。

ユーザは、コンテンツアクセス情報をもとに管理サーバ３００にアクセスし、自身の端末装置５００に写真画像群をダウンロードする。また、ユーザは、赤外線通信等により遊戯用画像編集装置１００から端末装置５００に写真画像群を送信させることもできる。

＜遊戯用撮影装置の外観＞
図２は、実施の形態に係る遊戯用画像編集装置１００を左前側から見た斜視図である。また図３は、図２に示す遊戯用画像編集装置１００を上から見た平面図である。
以下では、図２に示す前後左右の方向を基準として、他の図面も説明する。図２および図３に示すように、この遊戯用画像編集装置１００は、前部側の撮影部１と後部側の編集部２とを備えており、前後方向に長いほぼ直方体状を呈している。そして、編集部２の後端には、編集後の写真の出力等をするための出力部３が設けられている。

撮影部１は、ユーザを撮影するカメラが内蔵された撮影筐体１１と、この撮影筐体１１の後方に撮影空間１０を介して配置された背景壁部１２とを有している。そして、撮影筐体１１の側面と、背景壁部１２の側面との間の隙間が、撮影空間１０への出入口である第１出入口１０１ａ，１０１ｂを構成している。また、編集部２は、背景壁部１２の後方に隣接して配置された編集筐体２１を有している。この編集筐体２１には、左右の方向を向く一対の操作面が設けられている。そして、ユーザは各操作面への入力作業をする編集空間２０ａ，２０ｂに、第２出入口２０１ａ，２０１ｂを介して入ることができる。また、出力部３は、編集筐体２１の後端面と接する出力筐体３１を有している。この出力筐体３１に対しては、ユーザが遊戯用画像編集装置１００の後端側から操作するように、操作面が後端側を向いている。したがって、この出力筐体３１の後端側の空間が、ユーザが出力操作をするための出力空間３０となる。

撮影筐体１１と背景壁部１２との上端部の側面は、前後方向に延びる天井フレーム１３によって互いに連結されている。そして、この天井フレーム１３の枠内部には、撮影空間１０を上から覆い、照明およびフラッシュ照射する天井照明ユニット１４が設けられている。撮影筐体１１の左側面（あるいは右側面）には、遊戯用画像編集装置１００の使用方法を含む説明書きを掲示するための掲示スペース１５が設けられている。また、その左側面の上部には、撮影筐体１１が使用中であるか否かを示す表示部１６が設けられている。

この表示部１６は、発光又は消灯される表示灯（図示せず）を備える。表示部１６は、表示灯の発光によって撮影部１が使用中であることをユーザに示し、消灯によって撮影部１が空きになったことをユーザに示す。実施の形態に係る遊戯用画像編集装置１００は、表示部１６が左右方向外側に突出した平面視三角形状に形成されているが、その形状は特には限定されず、凸湾曲状などのその他の形状であってもよい。

背景壁部１２は、撮影筐体１１とほぼ同じ幅および高さの板状部材によって形成され、撮影筐体１１の正面と対面する本体プレート１２１と、この本体プレート１２１の左右両端から前方に延設された一対のサイドプレート１２２とを有している。このため背景壁部１２は、全体として平面視コ字状に形成されている。本体プレート１２１において、撮影筐体１１を向く面には、クロマキー処理のための単一の色（例えば、青色または緑色）が着色されている。着色については、本体プレート１２１に直接ペンキなどで着色するほか、着色された布地、プレート等を取付けてもよい。また、図示はしないが、撮影空間１０の床面には、この本体プレート１２１と連続するように、当該本体プレート１２１と同様にクロマキー処理のための単一色が着色されている。そして、撮影筐体１１の後端縁と、天井フレーム１３の下端縁と、サイドプレート１２２の前端縁とから、上述したように、撮影空間１０に出入りするための第１出入口１０１ａ，１０１ｂが構成されている。

編集筐体２１は、左右両側から２組のユーザが同時に編集可能な対面式であり、左右それぞれに操作面が設けられる。また編集筐体２１は、左右方向の長さが背景壁部１２の同方向の幅よりも短い。編集筐体２１は、その前端面を背景壁部１２の背面の中央部に接続されている。この編集筐体２１の左右両側方のスペースが、２組のユーザがそれぞれ編集作業を行う編集空間２０ａ，２０ｂとなる。編集筐体２１の上方には、平面視においてほぼコの字状のカーテンフレーム２２が設けられている。このカーテンフレーム２２は、前後方向に延びる一対の側部フレーム２２１と、この側部フレーム２２１の後端同士を連結する左右方向に延びる後部フレーム２２２とからなる。図示はしないが、編集筐体２１の内部には、例えばＰＣ（Personal Computer）等のＣＰＵ（Central Processing Unit）を備える計算機が設置されている。

各側部フレーム２２１の前端は、天井フレーム１３の後端に前後方向に延長状に連結されており、後部フレーム２２２の中央部は、編集筐体２１の後上端部に設けられた支持部材２３によって支持されている。そして、左右一方側の側部フレーム２２１と、後部フレーム２２２のほぼ半分の長さ部分により、編集空間２０ａ，２０ｂに出入りするための前記第２出入口２０１ａ，２０１ｂの上枠部が構成されている。

図４は、遊戯用画像編集装置１００の機能ブロック図である。
遊戯用画像編集装置１００の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウェアとソフトウェアの任意の組み合わせによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。

遊戯用画像編集装置１００は、ＵＩ（User Interface：ユーザインタフェース）部１８０、データ処理部１８２、通信部１８４およびデータ格納部１８８を含む。ＵＩ部１８０は、ユーザによる操作入力を受け付ける入力部１９２と、ユーザへの情報提示を行う出力部１９４と、撮影部１に設置される各種のカメラ１８６によって撮影された撮影画像に基づく被写体画像を取得する画像取得部１９０を含む。入力部１９２は、撮影筐体１１に設置されるタッチパネル（図示せず）や編集筐体２１の操作面（タッチパネル）に対するユーザの入力を検出する。出力部１９４は、撮影筐体１１に設置されるタッチパネル（図示せず）や編集筐体２１の操作面（タッチパネル）における表示のほか、表示部１６の制御、音声出力などを行う。出力部１９４は、出力筐体３１における印刷制御も行う。画像取得部１９０は、カメラ１８６から撮影画像を取得し、この撮影画像における被写体が写っている被写体領域を抽出した被写体画像を作成する。被写体領域の抽出は、例えばクロマキー処理によって実現される。

通信部１８４は、管理サーバ３００、ＳＮＳサーバ４００および端末装置５００とネットワーク２００を介して通信処理を行う。また、通信部１８４は、端末装置５００を対象として赤外線通信などの近距離通信機能を備えてもよい。データ格納部１８８は、各種データを格納する。データ処理部１８２は、ＵＩ部１８０や通信部１８４からの指示を受けて、データ格納部１８８が格納するデータを処理する。データ処理部１８２は、プレイの流れを統括的に制御する。

データ処理部１８２は、更に、合成部１９６を含む。合成部１９６は、画像取得部１９０で作成された被写体画像（第２の画像）と、被写体画像を装飾するために用意される画像（以下、「合成用画像（第１の画像）」とよぶ）を重畳して新たな画像（以下、「合成画像」とよぶ）を生成する。また、生成した合成画像が対して、エフェクトや「落書き」とよばれる画像加工処理なども行う。

合成部１９６は、更に、画像選択部１９８および画像調整部２０２を含む。画像選択部１９８は、利用者の入力部１９２に対する入力や使用する合成用画像に応じて被写体画像を選択する。また、画像調整部２０２は、合成用画像及びこの合成用画像に重畳する被写体画像に応じてこの被写体画像の初期状態としてのレイアウト方法（以下、「初期レイアウト」とよぶ）を決める。これらの処理方法の詳細については後述する。

データ格納部１８８は、合成用画像格納部２０４（第１画像保持部）、被写体画像格納部２０６（第２画像保持部）および編集済画像格納部２０８を含む。合成用画像格納部２０４は、あらかじめ用意された複数種類の合成用画像を格納する。合成用画像には後述する各種の合成用画像属性情報が設定されている。被写体画像格納部２０６は、画像取得部１９０で取得された被写体画像を格納する。被写体画像には後述する各種の被写体画像属性情報が設定されている。編集済画像格納部２０８は、被写体画像と合成用画像を重畳した合成画像に対して、さらに各種の編集処理が施された編集済画像を格納する。なお、各種編集処理が省略される場合もあり、その場合には合成画像が編集済画像となる。編集済画像は、出力筐体３１からプリントアウトされる場合もあるし、通信部１８４から管理サーバ３００等に送信される場合もある。

図５は、遊戯用画像編集装置１００におけるプレイの流れを示すフローチャートである。
ユーザは、まず、矢印Ａ（図３）で示すように第１出入口１０１ａ，１０１ｂから、撮影空間１０に入り事前接客処理を受ける（Ｓ１０）。具体的には、名前の入力、被写体画像の画質やエフェクト（被写体画像における目や足などの画像加工方法）、クロマキー処理される被写体の背景の選択などである。ユーザは、撮影筐体１１において出力部１９４から提示される指示にしたがって、複数の被写体画像を撮影する（Ｓ１２）。ここでは、出力部１９４から、さまざまなポーズを指示され、６枚の被写体画像が撮影される。
なお、第１出入口１０１ａ，１０１ｂ付近に事前接客空間がさらに設けられている場合は、撮影空間１０ではなく事前接客空間においてＳ１０の事前接客処理を受けることができる。この場合、Ｓ１０の処理が終わった後に、事前接客空間から撮影空間１０にユーザを移動させてＳ１２の処理を開始させる。

撮影処理を終えたユーザは、矢印Ｂ（図３）で示すように第１出入口１０１ａ，１０１ｂを使って撮影空間１０から装置外部に出た後、いずれかの編集空間２０ａ，２０ｂに移動する。編集空間２０ａ，２０ｂにおいて、被写体画像と合成用画像を重畳して合成画像を生成したり、さらに合成画像に落書き編集等を施して編集済画像を作成したりする編集処理が実行される（Ｓ１４）。本実施形態における編集処理は２種類ある。１つ目は、出力部３からシールとしてプリントするために印刷用の合成用画像等と被写体画像を重畳する印刷用編集処理であり、２つ目は、通信部１８４から管理サーバ３００にアップロードするために携帯用の合成用画像等と被写体画像を重畳する送信用編集処理である。編集処理の詳細については後述する。編集処理を終えたユーザは、いずれかの編集空間２０ａ，２０ｂから、矢印Ｃで示すように出力空間３０に移動する。

編集済画像の作成後、出力部３は印刷用の編集済画像をプリントアウトし（Ｓ１６）、通信部１８４は、携帯用の編集済画像を管理サーバ３００にアップロードする（Ｓ１８）。なお、送信用編集処理は、主として、ＳＮＳのプロフィール・ページに使用可能な編集済画像を作成することを目的とするが、出力部３からプリントアウトしてもよい。同様に、印刷用の合成用画像と被写体画像を組み合わせて作った編集済画像を管理サーバ３００にアップロードしてもよい。このため、以下においては、印刷用か送信用かは特に区別せずに説明する。

図６は、被写体画像の例を示す図である。
撮影空間１０で撮影するとき、遊戯用画像編集装置１００の撮影筐体１１において、ユーザに対してさまざまなポーズをするように指示をされる。ユーザは、遊戯用画像編集装置１００の指示にしたがって、ポーズを決め、複数枚の被写体画像が順次撮影される。図６においては、６枚の被写体画像１０２ａ〜１０２ｆが示されている。被写体画像１０２ａは、指を口にあてるポーズ１の画像であり、被写体画像１０２ａには「ポーズ１」という被写体画像属性情報が結び付けられる。被写体画像１０２ｂは、頬を口にあてるポーズ２の画像であり、被写体画像１０２ｂには「ポーズ２」という被写体画像属性情報が結び付けられる。被写体画像１０２ｃ以降も同様である。ポーズの指示はプレイごとに変わるようにすることもできる。あるいは、画質選択の結果や背景選択の結果等に応じて変えることもできる。

また、カメラ１８６における画角を狭く設定して被写体をアップで撮影した被写体画像１０２ｃ，１０２ｄもあれば、画角をアップのときよりも広く設定して被写体の全身を撮影した被写体画像１０２ａ，１０２ｂ，１０２ｅ，１０２ｆもある。被写体画像１０２ａ，１０２ｂ，１０２ｅ，１０２ｆは矩形だが、被写体画像１０２ｃ，１０２ｄは円形である。以下、長方形の被写体画像１０２を「矩形型」、円形の被写体画像１０２を「円形型」とよぶ。

このように、被写体画像１０２には、さまざまな被写体画像属性情報が設定される。被写体画像属性情報は、撮影時に指示されたポーズ、カメラ１８６における画角、撮影位置、撮影方向、画像の形状、画像の横ピクセル数及び画像の縦ピクセル数等を含む。たとえば、被写体画像１０２ａに設定されている被写体画像属性情報は、撮影時に指示されたポーズが「ポーズ１（人差し指を口に当てるポーズ）」であり、画角が「全身撮影用の画角」であり、撮影位置及び方向が「ユーザの上方から見おろして撮影するための位置及び方向」であり、画像の形状が「矩形型（被写体画像は長方形）」であり、横ピクセル数が「Ａピクセル」で縦ピクセル数が「Ｂピクセル」である（Ａ＜Ｂ）。このほかにも、顔認識技術により、被写体画像１０２に現れている顔領域の数、面積、位置、目つぶりの有無などさまざまな被写体画像属性情報が登録されてもよい。
これらの６枚の被写体画像１０２は、被写体画像属性情報とともに被写体画像格納部２０６に格納される。

図７は、円形窓を有する合成用画像１０４ａに対して被写体画像を選択するときの画面図である。
図７に示す合成用画像１０４ａは円形型の窓領域１０６を有する穴あきの画像である。合成用画像１０４ａは、サングラスをかけた猫の画像であり、サングラスの半分（猫の右目部分）にあたる領域に窓領域１０６（穴）が形成されている。この窓領域１０６に被写体画像１０２をレイアウトして、被写体画像１０２と合成用画像１０４ａを重畳する。具体的には、ユーザは合成用画像１０４ａを選択し、選択した合成用画像１０４ａの上に表示される被写体画像１０２ａ〜１０２ｆのサムネイルから、所望の被写体画像１０２をタップすることで重畳対象の被写体画像１０２を選択する。選択された被写体画像１０２は、窓領域１０６に嵌め込まれる。こうして、窓領域１０６から被写体画像１０２が透過し、合成用画像１０４ａの一部に被写体画像１０２が取り込まれたような、合成用画像１０４ａのデザイン性を強く主張した合成画像が生成される。
合成用画像１０４ａの下には、戻るボタン１３０、決定ボタン１３２、やめるボタン１３４が表示される。戻るボタン１３０をタッチすると、選択中の合成用画像１０４ａをキャンセルして、複数の合成用画像１０４から合成用画像１０４を選択する画面に戻る。決定ボタン１３２をタッチすると、合成用画像１０４ａと被写体画像１０２との相対位置関係を表示中のものに決定する。やめるボタン１３４をタッチすると、作成中の合成画像が破棄される。

図８は、矩形窓を有する合成用画像１０４ｂに対して被写体画像を選択するときの画面図である。
図８に示す合成用画像１０４ｂは矩形型の窓領域１０６を有するやはり穴あきの画像である。合成用画像１０４ａは、複数枚の写真が散らばったデザインであり、そのうちの１枚にあたる領域に窓領域１０６（穴）が形成されている。図７の合成用画像１０４ａよりも窓領域１０６が大きいため、被写体画像１０２を中心としてその周りを控えめに飾るような合成画像ができる。このように、合成用画像１０４のデザインや窓領域１０６の形状、位置、大きさなどにより、さまざまなイメージの合成画像を作ることができる。

合成用画像１０４には、さまざまな合成用画像属性情報が付与される。合成用画像属性情報には、窓領域１０６の位置、大きさ、傾き、形状のほか、合成用画像１０４の色調（グレー系、パステル系など）、背景タイプ（動物、静物、風景など）などがある。合成用画像格納部２０４は、あらかじめ複数タイプの合成用画像１０４を合成用画像属性情報とともに格納している。

図９は、被写体画像１０２と合成用画像１０４のレイヤー図である。
合成用画像１０４は、前景用合成用画像１０４−１と背景用画像１０４−２を含む。前景用合成用画像１０４−１が前面側のレイヤーに配置され、その後ろのレイヤーに被写体画像１０２が配置される。被写体画像１０２の更に後ろのレイヤーに背景用合成用画像１０４−２が配置される。被写体画像１０２が窓領域１０６より小さい場合でも、窓領域１０６を背景用合成用画像１０４−２によって漏れなくカバーできる。
なお、合成用画像１０４は、前景用合成用画像１０４−１及び背景用合成用画像１０４−２のいずれかのみで構成されていてもよい。また、前景用合成用画像１０４−１と背景用合成用画像１０４−２を別々に選べるようにしてもよい。

図１０は、被写体画像１０２に合成用画像１０４ａを重ね合わせたときの合成画像１１０を示す図である。
背面側レイヤーにある被写体画像１０２が、前面側レイヤーにある合成用画像１０４の窓領域１０６からのぞくような合成画像１１０が生成される。また、被写体画像１０２は円形であるが、被写体が写っていない部分は透明化されている。そのため、窓領域１０６においては、被写体画像１０２の被写体が写っていない部分から、背景用合成画像１０４−２が視認可能となる。このような重ね合わせにより、猫のサングラスにユーザ（被写体画像１０２）が移り込むようなデザインの合成画像１１０を作ることができる。猫の姿勢に合わせて被写体画像１０２も少し傾いている。使用する合成用画像１０４をユーザに選択させ、選択された合成用画像１０４に応じて適切な被写体画像１０２を選択し、位置、大きさ、傾きにてレイアウトし、重ね合わせることが編集作業の目的である。なお、窓領域１０６からのぞく被写体（二人の女の子）の背景には、背景用合成用画像１０４−２が写っている。

完成した、あるいは、作成中の合成画像１１０の上に、ユーザはメッセージを書き込んだり、スタンプ画像を追加したりといった落書き処理をすることも可能である。落書き処理は一般的な遊戯用画像編集装置において採用される既知技術を応用すればよい。

図１１は、合成用画像１０４ａと円形型の被写体画像１０２の重ね合わせ方法を説明するための概念図である。
ユーザは、編集筐体２１の操作面において、合成用画像格納部２０４にあらかじめ用意されている複数種類の合成用画像１０４の中から所望の合成用画像１０４を選択し、これに任意の被写体画像１０２を重ね合わせ、タッチペン等の入力手段によるドラッグ・アンド・ドロップにて合成画像１１０を作る。しかし、編集操作に不慣れなユーザの場合、合成用画像１０４と被写体画像１０２の重ね合わせがしっくりいかず、納得のいく合成画像１１０を作ることができない可能性もある。そこで、本実施形態においては、合成部１９６が合成用画像１０４に対する被写体画像１０２の初期レイアウトを自動的に行うことにより、ユーザの編集負担を軽減している。

円形型の窓領域１０６を有する合成用画像１０４ａには、窓領域１０６を囲む窓枠領域１１２の左上頂点１１６の座標と、窓枠領域１１２のサイズ（円形型の窓領域１０６の直径）、被写体画像１０２の回転角を決めるための情報が合成画像属性情報として付属している。

まず、ユーザが、被写体画像１０２ｃ（図６参照）のような円形型の被写体画像１０２を選択したとする。画像調整部２０２は、合成用画像１０４の合成用画像属性情報と被写体画像１０２の被写体用画像属性情報の双方をチェックし、被写体画像１０２を囲む被写体枠領域１１４の左上頂点１１８と合成用画像１０４ａの左上頂点１１６が一致する場所に被写体画像１０２を位置合わせする。次に、窓枠領域１１２の横幅（窓枠領域１１２の直径に相当するピクセル数）と被写体枠領域１１４の横幅（被写体画像１０２の横ピクセル数）が一致するように、被写体画像１０２のサイズを縦横比を一定に保ちながらサイズ調整する。被写体枠領域１１４および窓領域１０６がともに円形であるので、横幅ではなく縦幅に合わせてもよいが、以下においては横幅合わせを前提として説明する。

更に、合成用画像属性情報において窓領域１０６が右に２０度だけ傾いているという回転角情報があれば、画像調整部２０２は被写体画像１０２を被写体画像１０２の中心を回転中心として右に２０度回転させる。以上の処理により、図１０に示すような形態にて被写体画像１０２が初期レイアウトされる。このように、画像調整部２０２は、合成用画像１０４と被写体画像１０２に付属する合成用画像属性情報および被写体画像属性情報にしたがって、被写体画像１０２の位置、サイズおよび回転角を調整することにより、ユーザが編集作業を開始する前に妥当な初期設定としての合成画像１１０を提示できる。
レイアウト方法としては、位置合わせ、サイズ合わせ、回転操作のほかに、被写体画像１０２を平行移動させてもよい。更に、合成用画像１０４ａに設定されている合成用画像属性情報に基づいて、セピア化やモノクロ化などの色彩を調整する処理が追加されてもよい。

図１２は、合成用画像１０４ａと矩形型の被写体画像１０２の重ね合わせ方法を説明するための概念図である。
円形型の窓領域１０６を有する合成用画像１０４ａに、矩形型（縦長の長方形）の被写体画像１０２を初期レイアウトする場合もプロセスは同じである。図１２に示すような長方形の被写体画像１０２を初期レイアウトするときには、円形型の手順の後に平行移動処理を追加する。具体的には、窓枠領域１１２の左上頂点１１６と被写体画像１０２（被写体枠領域１１４）の左上頂点１１８を位置あわせし、被写体画像１０２のサイズ（短辺のピクセル数、すなわち横ピクセル数）を窓枠領域１１２のサイズ（横ピクセル数）にあわせて調整し、被写体画像１０２をその中心点１２６の周りに回転させる。そのあと、被写体画像１０２の左辺１２８が窓領域１０６の外周と接するまで被写体画像１０２を矢印の方向（図１２における被写体画像１０２の右上頂点から左上頂点１１８に向かう方向）に平行移動させる。
なお、図１２に示した例では、被写体画像１０２が矩形型であるのに対して、合成用画像１０４ａの窓領域１０６が円形型である。そのため、上記の自動配置を行った場合、被写体画像１０２における顔部分が窓領域１０６外に位置する可能性がある。その場合は、当該矩形型の被写体画像１０２に設定された被写体画像属性情報に含まれる顔認識結果を利用して、被写体画像１０２における顔部分が窓領域１０６内に位置するように、被写体画像１０２位置調整やサイズ調整をさらに行うことができる。

図１３は、編集時における合成画像１１０を示す第１の画面図である。
図１３では、円形型の被写体画像１０２ｃを選択したときの合成画像１１０を示している。上述のように被写体画像１０２ｃは位置、サイズ、および、傾きが窓領域１０６に合わせて調整され、初期レイアウトされる。画像調整部２０２により、被写体画像１０２の初期レイアウトが決定したあと、ユーザが画面をタップすると、被写体画像１０２を囲む被写体枠領域１１４が表示される。被写体枠領域１１４の４頂点付近には、サイズハンドル１２０が表示される。ユーザはタッチペンにてサイズハンドル１２０をドラッグすることで、縦横比を固定した状態で被写体画像１０２のサイズを自由に変更できる。被写体枠領域１１４の４辺付近には、回転ハンドル１２４が表示される。ユーザは回転ハンドル１２４をドラッグすることで、被写体画像１０２の回転角度を変更できる。より具体的には、被写体画像１０２の中心を軸に被写体画像１０２を回転させることができる。また、被写体枠領域１１４の任意の場所をタッチしてドラッグすることにより、被写体画像１０２を移動させることもできる。

このように、画像調整部２０２により被写体画像１０２が初期レイアウトされたあとでも、ユーザの編集操作によって合成画像１１０における被写体画像１０２のレイアウトを自由に変更できる。レイアウト編集完了後に、あるいは、レイアウト編集中に落書きなどのエフェクトを追加することも可能である。

また、初期レイアウトからレイアウトを変更した場合、ユーザは所定の復帰操作をすれば、被写体画像１０２を初期レイアウト状態に戻すことができる。復帰操作は、ダブル・タップなどの所定操作や、復帰ボタン１３６など所定のボタンの押下操作であってもよい。例えば、被写体画像１０２ｃ（図１３の合成用画像１０４ａに重ねて表示されているもの）の位置調整等をしている場合は、サムネイルとして表示された被写体画像１０２ｃを「復帰ボタン」とすることができる。このサムネイルとして表示された被写体画像１０２ｃを押下操作（タップ）することで、合成用画像１０４ａに重ねて表示されている被写体画像１０２ｃを初期レイアウトに戻す。「元に戻れ」のような音声命令を音声認識することで復帰操作を実現してもよい。

図１４は、編集時における合成画像１１０を示す第２の画面図である。
円形型の被写体画像１０２ｃを選択したあとに、ユーザは矩形型の被写体画像１０２ｅを再選択することもできる。図１４は、矩形型の被写体画像１０２ｅを選択したときの合成画像１１０を示している。被写体画像１０２ｅを選択すると、図１２に関連して説明した方式にしたがって被写体画像１０２ｅは位置、サイズ、および、傾きが窓領域１０６に合わせて調整される。すなわち、合成用画像１０４ａと被写体画像１０２ｅの合成用画像属性情報と被写体画像属性情報に基づいて、被写体画像１０２ｅはあらためて初期レイアウトされる。これにより、合成用画像１０４に対して被写体画像１０２がどのようにレイアウトされていたとしても、別の被写体画像１０２を選択するだけで、当該別の被写体画像を合成用画像１０４に対する初期レイアウトに配置することができる。

上記の実施形態では、合成用画像１０４と重ねて表示する被写体画像１０２をユーザの操作に基づいて決定している。しかしながら、初期において合成用画像１０４と重ねて表示する被写体画像１０２を自動的に選択することもできる。そのために、合成用画像１０４には、合成用画像属性情報だけでなく、選択属性情報が付与されてもよい。すなわち、画像選択部１９８は、合成用画像１０４に付属する選択属性情報にしたがって、被写体画像１０２を選択してもよい。選択属性情報とは、被写体画像１０２の選択基準に関わる情報であり、明示的に「円形型の被写体画像１０２を選ぶ」という選択指示を示す情報であってもよい。この場合には、画像選択部１９８は、被写体画像１０２ａ〜１０２ｆのうち円形型のものを選択する。

あるいは、選択属性情報は明示的なものでなくてもよい。たとえば、合成用画像属性情報の全部または一部を選択属性情報として利用してもよい。合成用画像１０４は、窓領域１０６の形状、大きさ、位置、色調（グレー系、パステル系など）、背景タイプ（動物、静物、風景など）といったさまざまな合成用画像属性情報を有する。同様に、被写体画像１０２も、サイズや形状、被写体の人数や顔の位置、ポーズといったさまざまな被写体画像属性情報を有している。
具体例として、合成用画像１０４に設定されている合成用画像属性情報に含まれる「窓領域１０６の形状」に関する情報を利用する。図１３を例にすると、合成用画像１０４ａに設定された合成用画像属性情報には「窓領域１０６の形状が円形型」であることを示す情報が含まれる。この情報を利用して、画像選択部１９８は、円形型の被写体画像１０２をすべての被写体画像１０２の中から検索する。円形型の被写体画像１０２は、被写体画像１０２ｃ、１０２ｄなので、いずれかを合成用画像１０４ａに重ねて表示する。例えば、顔が大きく写っている方を優先的に表示することもできる。なお、図８に示すように窓領域１０６が矩形型の場合も円形型の場合と同様であって、矩形型の被写体画像１０２ａ，１０２ｂ，１０２ｅ，１０２ｆのいずれかを合成用画像１０４ｂに重ねて表示する。

あるいは、背景タイプが動物のときには、指を口にあてるポーズ１の被写体画像１０２ａを選ぶ、という選択基準であってもよい。

合成画像属性情報と被写体画像属性情報の対応付けを行うことにより、更に複雑な選択も可能である。たとえば、画像選択部１９８は、選択属性情報（合成用画像属性情報）にしたがい、円形型の被写体画像１０２ｃを選択し、合成用画像属性情報および被写体画像属性情報にしたがって被写体画像１０２を初期レイアウトしたとする。ここで、被写体画像１０２から既知の顔画像検出技術により検出される顔領域が窓領域１０６に収まっていればそのまま被写体画像１０２ｃの選択を完了する。一方、顔領域が窓領域１０６に収まらなければ別の被写体画像１０２ｄを選択し、同様の初期レイアウトを行う。このときも顔領域が窓領域１０６に収まらないときには、矩形型の被写体画像１０２ｅを選択する。このように、被写体画像１０２にある顔領域が窓領域１０６からはみ出ない、または、はみ出る部分がもっとも少なくなる被写体画像１０２を初期選択するとしてもよい。

画像選択部１９８は、合成画像属性情報および被写体画像属性情報の任意の組み合わせについて、好適な合成画像１１０を作るための適切な選択基準を定めればよい。合成用画像１０４に基づいて被写体画像１０２を選択するだけでなく、被写体画像１０２に基づいて合成用画像１０４を選択してもよい。この場合には、被写体画像１０２の被写体画像属性情報を選択属性情報として利用すればよい。たとえば、口に指をあてるポーズ１の被写体画像１０２のときには、動物系の合成用画像１０４を選択するとしてもよい。あるいは、顔認識処理により、被写体画像１０２に３人以上が写っている場合には、所定サイズ以上の窓領域１０６を有する合成用画像１０４を選択するとしてもよい。

更に、被写体画像１０２に基づいて合成用画像１０４の初期レイアウトを決定してもよい。たとえば、被写体画像１０２の大きさや傾きなどを固定したまま、合成用画像１０４の位置や大きさ、傾きを調整することにより合成画像１１０を生成してもよい。

以上、実施形態に基づいて、遊戯用画像編集装置１００について説明した。
遊戯用画像編集装置１００によれば、複数種類の合成用画像１０４、特に、デザイン性の高い合成用画像１０４に被写体画像１０２を重ねて合成画像１１０を作成するときの編集作業の負担が軽減される。編集に不慣れな、あるいは、編集作業を煩わしく感じるようなユーザであっても、好適なレイアウトを初期設定として示すことができるため、心理的にも実質的にも編集負担が軽減される。たとえば、合成用画像１０４によっては被写体画像１０２を少し傾けてレイアウトした方が合成画像１１０がより自然な仕上がりになることもある。合成用画像１０４に「窓領域１０６の傾き（最適な傾き）」に関する合成用画像属性情報を付与しておくことで、自動的に最適な初期レイアウトを行うことができる。

もちろん、初期レイアウト後に、ユーザは自由に編集作業を実行できるし、復帰操作によりいつでも初期レイアウトに戻すことができるので安心して大胆に編集作業を行うことができる。合成用画像１０４に応じて、最適な被写体画像１０２を選ぶこともできるので、更に編集作業負担を軽減できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本実施形態においては、遊戯用画像編集装置は店舗などに設置されることを前提として説明したが、遊戯用画像編集装置の編集機能は、家庭用のパーソナルコンピュータや、携帯情報端末などで実現されてもよい。

本実施形態においては、１枚の合成用画像１０４と１枚の被写体画像１０２を組み合わせるとして説明したが、合成用画像１０４は複数枚であってもよい。たとえば、半透明の合成用画像１０４に２枚目の合成用画像１０４を重ね、二つの合成用画像１０４に共通の窓領域１０６に被写体画像１０２を初期レイアウトとしてもよい。同様に、１枚の合成用画像１０４に複数の窓領域１０６を形成し、それぞれに対して、複数枚の被写体画像１０２を初期レイアウトとしてもよい。

また、実施形態の図１４に示したように、合成用画像１０４ａから被写体画像１０２ｅの一部（被写体画像１０２の左下頂点付近）がはみ出すことがある。この場合、被写体画像１０２ｅの合成用画像１０４ａからはみ出した部分は、被写体画像１０２ｅと合成用画像１０４ａとが１枚の画像となるように合成される際にトリミングされる。つまり、合成用画像１０４の外周はトリミング枠としても機能している。
また、上述の合成に際して、合成用画像１０４の外周に代えて合成用画像１０４における窓領域１０６の外周や窓枠領域１１２の外周をトリミング枠とすることができる。この場合、被写体画像における、窓領域１０６の外周や窓枠領域１１２の外周に含まれる部分が抽出される。また、トリミング枠はこれらに限らず、窓領域１０６の外周と合成用画像１０４との間であればどのようなものでもよい。

１ 撮影部、 ２ 編集部、 ３ 出力部、 １０ 撮影空間、 １１ 撮影筐体、 １６ 表示部、 ２０ａ，２０ｂ 編集空間、 ２１ 編集筐体、 ３０ 出力空間、 ３１ 出力筐体、 １００ 遊戯用画像編集装置、 １０１ａ，１０１ｂ 第１出入口、 １０２ 被写体画像、 １０４ 合成用画像、 １０６ 窓領域、 １１０ 合成画像、 １１２ 窓枠領域、 １１４ 被写体枠領域、 １２０ サイズハンドル、 １２２ サイドプレート、 １２４ 回転ハンドル、 １８０ ＵＩ部、 １８２ データ処理部、 １８４ 通信部、 １８６ カメラ、 １８８ データ格納部、 １９０ 画像取得部、 １９２ 入力部、 １９４ 出力部、 １９６ 合成部、 １９８ 画像選択部、 ２００ ネットワーク、 ２０１ａ，２０１ｂ 第２出入口、 ２０２ 画像調整部、 ２０４ 合成用画像格納部、 ２０６ 被写体画像格納部、 ２０８ 編集済画像格納部、 ３００ 管理サーバ、 ４００ ＳＮＳサーバ、 ５００，５００ａ，５００ｂ 端末装置、 ６００ 画像編集システム。

Claims (7)

1. 第１の画像を格納する第１画像保持部と、
   第２の画像を格納する第２画像保持部と、
   前記第１および第２の画像を表示する表示部と、
   前記第１および第２の画像を重畳することにより、遊戯用の合成画像を生成する合成部と、を備え、
   前記合成部は、前記第１および第２の画像それぞれの属性情報にしたがって、前記第１の画像に対する前記第２の画像のレイアウト方法を初期設定し、
   前記表示部は、前記初期設定に基づいて、前記第１および第２の画像を所定の相対位置関係で重畳した初期レイアウトにて表示し、
   前記表示された前記第１または第２の画像のサイズ、傾きおよび位置のうちの１以上が前記初期レイアウトから変更可能であることを特徴とする遊戯用画像編集装置。
2. 前記合成部は、前記合成画像における前記第２の画像のレイアウト方法が変更されたあとにユーザから復帰操作がなされたときには、前記合成画像における前記第２の画像のレイアウト方法を前記初期設定に戻すことを特徴とする請求項１に記載の遊戯用画像編集装置。
3. 前記第２画像保持部は、複数の前記第２の画像を格納し、
   前記合成部は、前記第１および第２の画像それぞれの属性情報にしたがって、前記複数の第２の画像から重畳対象となる第２の画像を選択することを特徴とする請求項１または２に記載の遊戯用画像編集装置。
4. 前記合成部は、ユーザにより第２の画像が新たに選択されたときには、前記第１の画像と前記新たに選択された第２の画像から前記合成画像を再生成し、かつ、前記第１の画像および前記新たに選択された第２の画像それぞれの属性情報にしたがって、前記第１の画像に対する前記新たに選択された第２の画像のレイアウト方法を初期設定することを特徴とする請求項３に記載の遊戯用画像編集装置。
5. 前記第２の画像は、ユーザを被写体とする被写体画像であり、
   前記第１の画像は、前記被写体画像を透過表示させるための窓領域が形成される合成用画像であることを特徴とする請求項１から４のいずれかに記載の遊戯用画像編集装置。
6. 遊戯用画像編集装置により実行される方法であって、
   第１の画像を取得するステップと、
   第２の画像を取得するステップと、
   前記第１および第２の画像それぞれの属性情報にしたがって、前記第１の画像に対する前記第２の画像のレイアウト方法を初期設定するステップと、
   前記初期設定に基づいて、前記第１および第２の画像を所定の相対位置関係で重畳した初期レイアウトにて表示部に表示するステップと、
   ユーザの操作に基づいて、前記表示された前記第１または第２の画像のサイズ、傾きおよび位置のうちの１以上を前記初期レイアウトから変更するステップと、
   を備えることを特徴とする遊戯用画像編集方法。
7. 第１の画像をメモリにロードする機能と、
   第２の画像をメモリにロードする機能と、
   前記第１および第２の画像それぞれの属性情報にしたがって、前記第１の画像に対する前記第２の画像のレイアウト方法を初期設定する機能と、
   前記初期設定に基づいて、前記第１および第２の画像を所定の相対位置関係で重畳した初期レイアウトにて表示部に表示する機能と、
   ユーザの操作に基づいて、前記表示された前記第１または第２の画像のサイズ、傾きおよび位置のうちの１以上を前記初期レイアウトから変更する機能と、
   をコンピュータに実行させることを特徴とするコンピュータ・プログラム。

Images