JP2007005886A - 合成画像生成装置および方法並びにプログラム - Google Patents

Abstract

【課題】 創作性の高いプリントを手軽にかつ安価に作成する。
【解決手段】 テンプレート記憶部３０が記憶する複数のテンプレートから、テンプレート選択部３１がユーザが合成画像に含めることを所望する画像に適合するテンプレートを選択する。画像選択部３２は、合成画像の候補となる複数の画像から、複数の画像のそれぞれに対応するメタデータに基づいて、選択されたテンプレートが規定する選択条件に適合する、テンプレートの画像挿入領域の数に対応する所定数の画像を選択する。合成部３３が選択された所定数の画像を選択されたテンプレートの画像挿入領域に挿入して合成画像を生成する。
【選択図】 図１

Description

本発明は、テンプレートに画像を挿入して合成画像を生成する合成画像生成装置および方法、並びに合成画像生成方法をコンピュータに実行させるためのプログラムに関するものである。

従来より、ラボ等の写真店に銀塩カメラで撮影した写真フイルムやデジタルカメラにより取得した画像を記録したメディアを持ち込むことにより、写真店においてプリント作成装置を用いて感光材料に画像を焼き付けて写真プリントを作成するサービスが行われている。また、ポストカード等のあらかじめデザインがなされたテンプレートに画像を挿入して合成画像を生成し、これをプリント出力することにより、創作性の高いプリントを作成することも行われている（例えば特許文献１参照）。
特開平１０−１２４６９３号公報

しかしながら、テンプレートに挿入する画像はユーザが選択する必要があるため、その作業を行うユーザの負担が大きい。とくに複数の画像をテンプレートに挿入する場合においては、創作性の高いプリントを作成するには多くの労力が必要となってしまう。また、このような創作性の高いプリントを作成するためには、実際には、熟練者による編集作業が必要となり、多くの時間と高額の費用がかかってしまう。

本発明はこのような事情に鑑みてなされたものであり、創作性の高いプリントを手軽にかつ安価に作成することを目的とするものである。

本発明による合成画像生成装置は、２以上の所定数の画像を挿入する画像挿入領域を有し、該各画像挿入領域に画像を挿入することにより合成画像を生成するテンプレートであって、前記各画像挿入領域に挿入される画像の選択条件を規定するテンプレートを複数記憶するテンプレート記憶手段と、
前記複数のテンプレートのうち、ユーザが前記合成画像に含めることを所望する画像に適合するテンプレートを選択するテンプレート選択手段と、
前記合成画像の候補となる複数の画像から、該複数の画像のそれぞれに対応するメタデータに基づいて、前記選択されたテンプレートが規定する前記選択条件に適合する前記所定数の画像を選択する画像選択手段と、
前記選択された所定数の画像を前記選択されたテンプレートの前記画像挿入領域に挿入して前記合成画像を生成する合成手段とを備えたことを特徴とするものである。

なお、本発明による合成画像生成装置においては、前記合成画像をプリント出力するプリント手段をさらに備えるようにしてもよい。

また、本発明による合成画像生成装置においては、テンプレートの所定数の画像挿入領域が１列に配列されてなることが好ましい。

本発明による合成画像生成方法は、２以上の所定数の画像を挿入する画像挿入領域を有し、該各画像挿入領域に画像を挿入することにより合成画像を生成するテンプレートであって、前記各画像挿入領域に挿入される画像の選択条件を規定する複数のテンプレートのうち、ユーザが前記合成画像に含めることを所望する画像に適合するテンプレートを選択し、
前記合成画像の候補となる複数の画像から、該複数の画像のそれぞれに対応するメタデータに基づいて、前記選択されたテンプレートが規定する前記選択条件に適合する前記所定数の画像を選択し、
前記選択された所定数の画像を前記選択されたテンプレートの前記画像挿入領域に挿入して前記合成画像を生成することを特徴とするものである。

なお、本発明による合成画像生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、複数のテンプレートのうち、ユーザが合成画像に含めることを所望する画像に適合するテンプレートが選択され、合成画像の候補となる複数の画像のそれぞれに対応するメタデータに基づいて、選択されたテンプレートが規定する画像の選択条件に適合する所定数の画像が選択される。そして選択された所定数の画像が、選択されたテンプレートの画像挿入領域に挿入されて合成画像が生成される。このため、ユーザがテンプレートに挿入する画像を選択する必要がなくなり、その結果、創作性の高い合成画像を手軽にかつ安価に作成することが可能となる。

また、合成画像をプリント出力することにより、創作性の高い合成画像のプリントを作成できる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の合成画像生成装置を適用したビュープリント作成システムの構成を示す概略ブロック図である。図１に示すように、本実施形態によるビュープリント作成システム１は、ラボや写真店に設置されるものであり、あらかじめ用意されたビュープリント用の複数のテンプレートから適切なテンプレートを選択し、ユーザが撮影した画像の画像データや画像のタグ情報、ユーザが既に所有しているデジタルアルバムに記録された画像の画像データ等に基づいてメタデータを生成し、そのメタデータに基づいて、テンプレートに含める画像を選択し、選択した画像から合成画像を生成し、合成画像をプリント出力してビュープリントを作成するものである。

まず、このシステム１への入力画像、すなわち合成画像の候補の画像としては、ユーザのデジタルカメラ１１やカメラ付携帯電話１２で撮影された画像、ユーザが既に所有するデジタルアルバムが格納された読み書き可能なＤＶＤ１３等の記録媒体中の画像、ユーザが所有する銀塩フイルムからフイルムスキャナで読み取られた画像、およびユーザが所有する写真プリントからイメージスキャナで読み取られた画像等がある。

デジタルカメラ１で撮影された画像の場合、画像データの他にＥｘｉｆフォーマット等に基づくタグ情報がシステム１に入力される。デジタルアルバムの画像の場合、その画像の画像データの他にその画像についてのメタデータも入力される。また、図示していないが、ＡＰＳのような情報記録部付写真フイルムを読み取る場合には、画像データの他に、フイルム情報およびフレーム情報も同時に読み取り、これらの情報をメタデータとして利用することもできる。写真プリントの場合も、画像以外に、プリントの裏側に印字されたプリントの年代を特定可能な情報（例えば「Fujicolor99」のような情報、発売時期によって異なるブランドのロゴマーク等）を読み取ってメタデータとして利用することも可能である。なお、メタデータについては後述する。

また、入力画像等は、デジタルスチルカメラ１１に装填されたメモリカード等の記録メディアから読み込むこと、携帯電話１２や各種スキャナから有線（ケーブル）または無線経由で読み込むこと、およびＤＶＤ１３等の記録媒体から読み込むことの他、インターネット上の画像保管サーバからインターネット経由で読み込むこと等が可能である。

タグ情報解析部２１は、Ｅｘｉｆフォーマット等に基づくタグ情報が付帯された画像のタグ情報を解析し、後述のメタデータにおける基本画像情報や画像生成情報、カメラ設定の詳細情報に該当する情報等を抽出する。

画像解析部２２は、入力された画像に対して、被写体検出および人物検出等の画像処理を行い、後述のメタデータにおける被写体情報に該当する情報等を抽出する。

メタデータ解析部２３は、既存のデジタルアルバムに格納されているメタデータファイルを入力とし、本実施形態において画像選択に使用されるメタデータとなる情報を抽出する。

メタデータ入力部２４は、図２に一例を示すようなメタデータ入力画面を表示し、オペレータがシステム１に付属するキーボードやマウス等の入力装置（不図示）を操作することによるメタデータの入力を受け付ける。

メタデータ生成部２５は、タグ情報解析部２１、画像解析部２２およびメタデータ解析部２３が抽出したメタデータとなる情報、または、メタデータ入力部２４が入力を受け付けた情報に基づいてメタデータファイルを生成する。

ここで、メタデータとは、画像データと対応づけられた、その画像データによる画像についての各種情報を記述したデータである。例えば、ＤＩＧ３５は静止画のメタデータの標準規格であり、下記の情報等が含まれる。

・ファイル名、フォーマット、ファイルサイズ、圧縮方法、色情報、色空間等の画像基本情報
・画像生成日時、生成元、作成者、カメラ情報、ソフト情報、レンズ情報、デバイス特性、スキャナ情報、画素サイズ、解像度、原稿サイズ、フイルム感度等の画像生成情報
・センサーの種類、解像度、ＣＦＡパターン、光電変換関数等のデバイス特性の詳細情報
・露出時間、Ｆ値、露出プログラム、輝度値、露出補正値、被写体距離、測光方式、光源、色温度、焦点距離、フラッシュ、フラッシュ強度、ストロボのリターン状態、逆行判定、被写体位置、露光インデックス、オートフォーカス、特殊効果、カメラ位置、カメラ向き、印刷アスペクト比等のカメラ設定の詳細情報
・階層化されたタイトル、撮影日付、撮影場所、人物位置、場所、物名、組織情報、イベント種別、イベント記述、イベント場所、イベント日時、イベント期間、イベント参加者、役割、オブジェクト参照、イベント依存関係、イベント参照、オーディオ情報、特性情報、参照辞書情報等の被写体情報
・画像切抜き、変換、全体／部分の色調整、レタッチ、合成、付加情報調整等の画像処理履歴情報
・著作権者、権利者組織、タイトル、凡例、見出し、版権、権利主張日付、権利利用情報、権利保護情報、使用制限、使用義務、権利保護システム、権利発行国、登録組織番号、登録番号、発効日、権利者連絡先等の著作権情報
なお、上記の項目はすべてが必須項目ではなく、必要な項目のみ設定を行えばよい。また、これ以外の項目、例えば、後述する表示回数や表示時間等、画像の取得時ではなく、画像表示時に設定、更新される項目等であってもよい。このメタデータは、図３に一例を示すように、ＸＭＬフォーマットで記述されたものとすることができる。

ファイル名管理部２６は、複数のソースからの入力画像の画像データの画像ファイル名が重複しないように管理する。具体的には、画像ファイルに枝番を追加したり、このシステム独自のファイル名規則に基づいて新たなファイル名に変更したりする。なお、本実施形態では、メタデータのファイル名は、そのメタデータと対応づけられた画像ファイルのファイル名と同じであり、拡張子だけが異なるようにしている（例えば、メタデータは「．ｘｍｌ」、画像データは「．ｊｐｇ」）。

テンプレート選択部３１は、入力画像に対応するメタデータに基づいて、ハードディスク等のテンプレート記憶部３０に格納されている複数のテンプレートから、入力画像に適合するテンプレートを選択する。

テンプレートとは、その作成者が、「旅行」、「結婚式」、「子ども」、「孫」、「運動会」等のテーマに応じて、ある程度汎用性を持たせて創作した合成画像の雛型であり、テンプレートが有する画像挿入領域に挿入することが好ましい画像の選択条件が各画像挿入領域に規定されている。また、各テンプレートのテーマについても、テンプレート中に記述されている。なお、本実施形態においては、テンプレートの画像挿入領域は３つであるものとするが、２以上であればこれに限定されるものではない。

テンプレート選択部３１は、ユーザの各画像に対応づけられたメタデータの被写体情報のタイトルやイベントの項目の設定内容と一致するテーマのテンプレートを選択する。なお、テンプレート選択部３１は、テンプレートの一覧を画面表示して、ユーザが自分の好みのテンプレートを入力装置により選択できるようにしてもよい。

また、「テンプレートが有する画像挿入領域に挿入することが好ましい画像の選択条件」とは、各画像挿入領域に挿入される画像の意味づけに基づくものであり、例えば、「旅行」をテーマとしたテンプレートであれば、その旅行の代表的風景がふさわしい、最も重要度が高い画像がふさわしい等の様々な条件が考えられる。

そして、本実施形態では、これらの画像の選択条件を、入力画像に対応づけられたメタデータの属性に基づいて記載している。例えば、画像解析部２２の人物検出処理によって検出される画像中の人物の数や、Ｅｘｉｆのタグ情報に記録される焦点距離が所定の値より長いかどうかによって推定される風景画像かどうか等をメタデータに記録しておき、一方で、選択されたテンプレート中の各画像挿入領域における画像の選択条件として、この画像中の人物の数や風景画像かどうか等を利用することができる。また、ユーザが既に所有する既存のデジタルアルバムが記録されたＤＶＤ−Ｒが追記可能な記録領域を有する場合、そのアルバム中の各画像の表示回数や表示時間をメタデータの項目として持たせ、これらの項目を、その画像の表示回数や表示時間に応じて随時追記、更新するようにすれば、この表示回数が多いものや表示時間が長いものほど重要度が高い画像であると推定することもできる。

図４は、テンプレート中の各画像挿入領域における選択条件の設定例を示す概念図である。図に示すように、この例では、画像挿入領域Ａ１〜Ａ３の各々の選択条件は、メタデータの属性もしくはメタデータから導き出せる属性である画像中の人物の数、風景画像かどうか、表示回数の各々の値と各属性に対する重みづけとからなる。

まず、値については、メタデータの属性によって意味づけが異なる。例えば、人物の数では、特定の人数の人物が写っている画像を選択したい場合にはその数値を設定する。合成画像の候補の画像のうち、人物の数が最大の画像を選択したい場合には「ＭＡＸ」という値を設定する。この他、合成画像候補の画像毎の人物の数の平均を超える人物が画像中に写っている画像を選択したい場合には、「ＡＶＧ」という値を設定する。また、風景については、風景画像を選択したい場合には「Ｙ」、選択したくない場合には「Ｎ」を設定する。表示回数については、表示回数がより多い画像を選択したい場合には「Ａ」を設定し、より少ない画像を設定したい場合には「Ｄ」を設定する。また、どの属性についても、その属性の値を無視して選択したい場合には、「 」（空白）にしておく。

次に、重みづけについては、総得点を１０点とし、これを各属性に配分することによって、各属性の重みづけを画像挿入領域Ａ１〜Ａ３毎に設定する。例えば、画像挿入領域Ａ１においては、風景と表示回数のみに対して同じだけの重みが設定されている。重みづけの値が「０」の場合には、その属性の値を無視して選択が行われる。すなわち、属性の値を「 」（空白）に設定するのと同様になる。また、画像挿入領域Ａ３では、人物の数と表示回数に同等の重みに設定されており、風景画像であることは問われていない。

なお、属性の種類は、これらの３つの属性に限定されず、画像に対応づけられたメタデータに設定可能な属性や、メタデータから導き出して判定可能な属性であればいかなる属性でも選択条件とすることが可能である。重みづけについては、総得点の１０点を割り振るようにしているが、１００点を割り振るようにしてもよいし、各属性に優先順位をつけるようにしてもよい。

画像選択部３２は、合成画像の候補の複数の画像の各々について、テンプレートの各画像挿入領域における選択条件に対する適合度を算出し、各画像挿入領域に最適な画像を選択する。

まず、適合度の算出方法については、具体的には、図４に示した選択条件の場合、選択条件を構成するｎ個の属性の１つを属性ｉとし、その属性の重みづけをｗi、属性の値に対する評価をｖiとすると、ある画像挿入領域におけるある画像の適合度Ｍは、次の数式（１）によって求められる。

Ｍ＝ｗ１ｖ１＋ｗ２ｖ２＋・・・＋ｗｉｖｉ＋・・・＋ｗｎｖｎ （１）
ここで、評価ｖiは、その属性の条件を満たす場合を「１」、満たさない場合を「０」としてもよいし、属性の値に応じて連続的な値を設定するようにしてもよい。例えば、人物の数のような属性の場合、画像中の人数やその逆数、もしくはそれらを正規化した値を評価ｖiとして設定してもよい。

次に、適合度に基づいて各画像挿入領域に最適な画像を選択する。すなわち、各画像挿入領域において、適合度が最も高い画像を選択する。ここで、選択条件によっては、すべての画像挿入領域において、同じ画像が選択される可能性がある。これに対しては、各画像挿入領域における選択条件の中に、同じ画像の重複選択を許容するかどうか、許容しない場合にはどの画像画像挿入領域での選択を優先するのか等を設定する選択制御項目を設けることによって制御することが可能である。

また、１つの画像挿入領域において、適合度が同じ複数の画像が存在する可能性もある。これに対しては、各画像挿入領域における選択条件を構成する各々の属性のうち、重みづけの値がより大きい属性の評価ｖiが高い方の画像を選択するようにしてもよいし、選択条件を構成する各々の属性に対して優先順位を別途付けるようにしてもよい。画像選択部３２は、これらの制御ルールに基づいて上記のような例外条件の処理を行えばよい。

合成部３３はテンプレートの各画像挿入領域に、画像選択部３２が選択した画像を挿入して合成画像を生成する。なお、合成部３３は、各画像挿入領域に挿入される画像に対して、階調変換処理、色補正処理およびシャープネス処理等の画像処理を施すようにしてもよい。この場合、各画像挿入領域に挿入される画像毎に異なる画像処理を施してもよく、すべての画像に対して同一の画像処理を施してもよい。

プリント部３４は合成画像をテンプレートに適合するサイズの感光材料にプリントすることにより合成画像の写真プリントであるビュープリント４０を作成する。なお、図１においては銀塩フイルムの模様が付与されたテンプレートに３つの画像が１列に並んで挿入されたビュープリント４０が作成された状態を示している。

次いで、本実施形態における合成画像作成の処理について説明する。図５は合成画像作成処理のフローチャートである。

まず、テンプレート選択部３１が、テンプレート記憶部３０に記憶された複数のテンプレートから合成画像の候補の画像に適合するテンプレートを選択する（ステップＳＴ１）。次いで、画像選択部３２が、各画像のメタデータに基づいて、選択されたテンプレートの各画像挿入領域における選択条件に最も適合する画像を選択し（ステップＳＴ２）、合成部３３が、選択された画像をテンプレートの画像挿入領域に挿入することにより合成画像を生成し（ステップＳＴ３）、プリント部３４が合成画像をプリント出力してビュープリント４０を作成し（ステップＳＴ４）、処理を終了する。作成されたビュープリント４０は、ユーザに提供される。

このように本実施形態の合成画像生成装置を適用したアルバム作成システム１には、創作性の高い表示効果を有するビュープリント用のテンプレートがあらかじめ用意されており、そのテンプレートには、各々の画像挿入領域に挿入される画像の選択条件が記述されている。一方、ユーザが用意した合成画像の候補の複数の画像は、メタデータ生成部２５において、各々、その画像についての情報を表すメタデータと関連づけられる。テンプレート選択部３１は、このメタデータに基づいて、テンプレートを選択し、画像選択部３２は、各画像のメタデータに基づいて画像を選択し、合成部３３が、選択された画像をテンプレートの画像挿入領域に挿入することにより合成画像を生成し、プリント部３４が合成画像をプリント出力してビュープリント４０を作成し、ユーザに提供するようにしたものである。

このため、あらかじめ雛型として提供された創作性の高いビュープリント用のテンプレートにユーザの画像を適切に挿入して、ビュープリント４０を手軽にかつ安価に自動作成することが可能になる。

以上、本発明の実施形態に係る合成画像生成装置を適用したシステム１について説明したが、コンピュータを、上記のテンプレート記憶部３０、テンプレート選択部３１、画像選択部３２、合成部３３およびプリント部３４に対応する手段として機能させ、図５に示す処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態となるデジタルアルバム作成システムの機能構成を示すブロック図 メタデータ入力画面の一例を示す図 メタデータの一例を示す図 テンプレートの画像選択条件の一例を示す概念図 合成画像作成処理のフローチャート

符号の説明

１ アルバム作成システム
１１ デジタルスチルカメラ
１２ カメラ付き携帯電話
１３ ＤＶＤ（既存のデジタルアルバム）
２１ タグ情報解析部
２２ 画像解析部
２３ メタデータ解析部
２４ メタデータ入力部
２５ メタデータ生成部
２６ ファイル名管理部
３１ テンプレート選択部
３２ 画像選択部
３３ 合成部
３４ プリント部

Claims (4)

1. ２以上の所定数の画像を挿入する画像挿入領域を有し、該各画像挿入領域に画像を挿入することにより合成画像を生成するテンプレートであって、前記各画像挿入領域に挿入される画像の選択条件を規定するテンプレートを複数記憶するテンプレート記憶手段と、
   前記複数のテンプレートのうち、ユーザが前記合成画像に含めることを所望する画像に適合するテンプレートを選択するテンプレート選択手段と、
   前記合成画像の候補となる複数の画像から、該複数の画像のそれぞれに対応するメタデータに基づいて、前記選択されたテンプレートが規定する前記選択条件に適合する前記所定数の画像を選択する画像選択手段と、
   前記選択された所定数の画像を前記選択されたテンプレートの前記画像挿入領域に挿入して前記合成画像を生成する合成手段とを備えたことを特徴とする合成画像生成装置。
2. 前記合成画像をプリント出力するプリント手段をさらに備えたことを特徴とする請求項１記載の合成画像生成装置。
3. ２以上の所定数の画像を挿入する画像挿入領域を有し、該各画像挿入領域に画像を挿入することにより合成画像を生成するテンプレートであって、前記各画像挿入領域に挿入される画像の選択条件を規定する複数のテンプレートのうち、ユーザが前記合成画像に含めることを所望する画像に適合するテンプレートを選択し、
   前記合成画像の候補となる複数の画像から、該複数の画像のそれぞれに対応するメタデータに基づいて、前記選択されたテンプレートが規定する前記選択条件に適合する前記所定数の画像を選択し、
   前記選択された所定数の画像を前記選択されたテンプレートの前記画像挿入領域に挿入して前記合成画像を生成することを特徴とする合成画像生成方法。
4. ２以上の所定数の画像を挿入する画像挿入領域を有し、該各画像挿入領域に画像を挿入することにより合成画像を生成するテンプレートであって、前記各画像挿入領域に挿入される画像の選択条件を規定する複数のテンプレートのうち、ユーザが前記合成画像に含めることを所望する画像に適合するテンプレートを選択する手順と、
   前記合成画像の候補となる複数の画像から、該複数の画像のそれぞれに対応するメタデータに基づいて、前記選択されたテンプレートが規定する前記選択条件に適合する前記所定数の画像を選択する手順と、
   前記選択された所定数の画像を前記選択されたテンプレートの前記画像挿入領域に挿入して前記合成画像を生成する手順と有することを特徴とする合成画像生成方法をコンピュータに実行させるためのプログラム。

Images