JP2007104563A - レイアウト編集装置、レイアウト編集方法及びレイアウト編集プログラム - Google Patents

Abstract

【課題】 特定の被写体が撮影された領域を含む画像を変倍し配置するレイアウト編集に好適なレイアウト編集装置、レイアウト編集方法、レイアウト編集プログラムを提供する。
【解決手段】 各画像内の特定の被写体が撮影された領域である特定領域を検出し、特定領域検出手段で検出された各画像内の特定領域同士が重ならず、かつ特定領域がレイアウトの枠内に収まる倍率である変倍可能倍率で各画像を変倍し、変倍手段で変倍された各画像を配置する。
【選択図】 図１５

Description

本発明は、電子アルバムのレイアウトを編集するレイアウト編集装置、レイアウト編集方法及びレイアウト編集プログラムに関する。

近年、デジタルカメラやスキャナの発達により、写真を電子化された画像データとして保存することが多くなっている。写真の電子化により、従来の銀塩写真によるアルバムと同様な、画像データによる電子化されたアルバムが作られるようになっている。

従来、写真はプリントサイズが決まっており、それをどのように配置するかということのみでアルバムのレイアウトは編集されていたが、画像がデジタル化されたことによって、配置する際の画像の大きさについてユーザの自由度が上がったと考えることができる。これにより、ユーザはアルバムのレイアウトを自由に編集できるようになったが、編集作業はなかなか手間のかかる作業である。

例えば、ある特定の領域が重ならないように画像を変倍するといった編集は、単に変倍のみを考慮すれば良いものではなく、レイアウト全体での画像の配置も考慮しなければならない。

このようなレイアウトの編集に関し、特許文献１には、複数の画像を重ね合わせてレイアウトを行う場合に、各画像の注目領域を避けながら自動的に重ね合わせを行うことができる画像レイアウト装置が開示されている。

また特許文献２には、複数の画像をレイアウトする場合に、テンプレートのレイアウト順序情報と、画像の注目度の評価による画像の順序づけ情報とを基に、画像のレイアウトを自動的に行う、画像レイアウト装置が開示されている。
特開２００４−１９９２４８号公報 特開２００４−２３４５００号公報

しかしながら、特許文献１に記載の画像レイアウト装置では、画像のサイズを変更しないので、ユーザは手作業でサイズを変更する必要がある。このサイズの変更により、レイアウトに影響が出るので、再びレイアウトを編集しなければならない。

また特許文献２に記載の画像レイアウト装置では、注目領域として、人物が撮影された領域には言及されていない。

本発明は上記問題点に鑑み、特定の被写体が撮影された領域を含む画像を変倍し配置するレイアウト編集に好適なレイアウト編集装置、レイアウト編集方法、レイアウト編集プログラムを提供することを目的とする。

上記目的を達成するために本発明は、請求項１に記載のレイアウト編集装置は、複数の画像を有するレイアウトを、前記各画像ごとに変倍することにより編集するレイアウト編集装置であって、前記各画像内の特定の被写体が撮影された領域を含む特定領域を検出する特定領域検出手段と、前記特定領域検出手段で検出された各画像内の前記特定領域同士が重ならず、かつ前記特定領域が前記レイアウトの枠内に収まる倍率である変倍可能倍率で前記各画像を変倍する変倍手段と、前記変倍手段で変倍された各画像を配置する画像配置手段と、を有する。

ここで、請求項１に記載のレイアウト編集装置では、各画像内の特定の被写体が撮影された領域を含む特定領域を検出し、特定領域検出手段で検出された各画像内の特定領域同士が重ならず、かつ特定領域がレイアウトの枠内に収まる倍率である変倍可能倍率で各画像を変倍し、変倍手段で変倍された各画像を配置するので、特定の被写体が撮影された領域を含む画像を変倍し配置するレイアウト編集に好適なレイアウト編集を実行できる。

また、請求項２に記載のレイアウト編集装置は、前記変倍手段は、最も大きい拡大倍率、予め指定された倍率、または前記各画像の特定領域の面積が予め指定された面積と一致する倍率で前記各画像を変倍する。

ここで、請求項２に記載のレイアウト編集装置によれば、例えば人物領域を最も大きい倍率で拡大したレイアウトを作成することができる。また、請求項２に記載のレイアウト編集装置によれば、ユーザは人物領域を任意の倍率で変倍することが可能となる。また、請求項２に記載のレイアウト編集装置によれば、ユーザは人物領域を任意の面積になるように変倍することが可能となる。

また、請求項３に記載のレイアウト編集装置は、前記変倍手段は、前記各画像の特定領域の面積のうちで最も小さい面積を求め、他の画像内の特定領域の面積を前記最も小さい面積と一致する倍率で変倍して得られる各画像で構成されるレイアウトである正規化画像レイアウトを生成し、前記正規化画像レイアウト内の各画像内の画像を、前記変倍可能倍率のうち、最も大きい倍率で変倍する。

ここで、請求項３に記載のレイアウト編集装置によれば、ユーザが各画像に撮影された例えば人物領域を均等に拡大することができる。

また、請求項４に記載のレイアウト編集装置は、前記変倍手段は、前記特定領域検出手段で前記特定領域が検出されなかった画像は変倍しない。

ここで、請求項４に記載のレイアウト編集装置によれば、特定領域を含まない画像の変倍を回避できる。

また、請求項５に記載のレイアウト編集装置は、前記被写体は人物である。

ここで、請求項５記載のレイアウト編集装置によれば、一般的に変倍したいと思料される領域である人物領域を変倍することができる。

また、請求項６に記載のレイアウト編集方法は、複数の画像を有するレイアウトを、前記各画像ごとに変倍することにより編集するレイアウト編集方法であって、前記各画像内の特定の被写体が撮影された領域を含む特定領域を検出する特定領域検出段階と、前記特定領域検出段階で検出された各画像内の前記特定領域同士が重ならず、かつ前記特定領域が前記レイアウトの枠内に収まる倍率である変倍可能倍率で前記各画像を変倍する変倍段階と、前記変倍段階で変倍された各画像を配置する画像配置段階と、を有する。

ここで、請求項６に記載のレイアウト編集方法も、請求項１に記載の発明と同様の効果を得ることができる。

また、請求項７に記載のレイアウト編集方法は、最も大きい拡大倍率、予め指定された倍率、または前記各画像の特定領域の面積が予め指定された面積と一致する倍率で前記各画像を変倍する。

ここで、請求項７に記載のレイアウト編集方法も、請求項２に記載の発明と同様の効果を得ることができる。

また、請求項８に記載のレイアウト編集方法は、前記変倍段階は、前記各画像の特定領域の面積のうちで最も小さい面積を求め、他の画像内の特定領域の面積を前記最も小さい面積と一致する倍率で変倍して得られる各画像で構成されるレイアウトである正規化画像レイアウトを生成し、前記正規化画像レイアウト内の各画像内の画像を、前記変倍可能倍率のうち、最も大きい倍率で変倍する。

ここで、請求項８に記載のレイアウト編集方法も、請求項３に記載の発明と同様の効果を得ることができる。

また、請求項９に記載のレイアウト編集方法は、前記変倍段階は、前記特定領域検出段階で前記特定領域が検出されなかった画像は変倍しない。

ここで、請求項９に記載のレイアウト編集方法も、請求項４に記載の発明と同様の効果を得ることができる。

また、請求項１０に記載のレイアウト編集方法は、前記被写体は人物である。

ここで、請求項１０に記載のレイアウト編集方法も、請求項５に記載の発明と同様の効果を得ることができる。

また、請求項１１に記載のレイアウト編集プログラムは、複数の画像を有するレイアウトを、前記各画像ごとに変倍することにより編集する処理をコンピュータに実行させるためのレイアウト編集プログラムであって、前記各画像内の特定の被写体が撮影された領域を含む特定領域を検出する特定領域検出ステップと、前記特定領域検出ステップで検出された各画像内の前記特定領域同士が重ならず、かつ前記特定領域が前記レイアウトの枠内に収まる倍率である変倍可能倍率で前記各画像を変倍する変倍ステップと、前記変倍ステップで変倍された各画像を配置する画像配置ステップと、を有する。

ここで、請求項１１に記載のレイアウト編集プログラムも、請求項１に記載の発明と同様の効果を得ることができる。

また、請求項１２に記載のレイアウト編集プログラムは、前記変倍ステップは、最も大きい拡大倍率、予め指定された倍率、または前記各画像の特定領域の面積が予め指定された面積と一致する倍率で前記各画像を変倍する。

ここで、請求項１２に記載のレイアウト編集プログラムも、請求項２に記載の発明と同様の効果を得ることができる。

また、請求項１３に記載のレイアウト編集プログラムは、前記変倍ステップは、前記各画像の特定領域の面積のうちで最も小さい面積を求め、他の画像内の特定領域の面積を前記最も小さい面積と一致する倍率で変倍して得られる各画像で構成されるレイアウトである正規化画像レイアウトを生成し、前記正規化画像レイアウト内の各画像内の画像を、前記変倍可能倍率のうち、最も大きい倍率で変倍する。

ここで、請求項１３に記載のレイアウト編集プログラムも、請求項３に記載の発明と同様の効果を得ることができる。

また、請求項１４に記載のレイアウト編集プログラムは、前記変倍ステップは、前記特定領域検出ステップで前記特定領域が検出されなかった画像は変倍しない。

ここで、請求項１４に記載のレイアウト編集プログラムも、請求項４に記載の発明と同様の効果を得ることができる。

また、請求項１５に記載のレイアウト編集プログラムは、前記被写体は人物である。

ここで、請求項１５記載のレイアウト編集プログラムも、請求項５に記載の発明と同様の効果を得ることができる。

本発明によれば、特定の被写体が撮影された領域を含む画像を変倍し配置するレイアウト編集に好適なレイアウト編集装置、レイアウト編集方法、レイアウト編集プログラムを提供することができる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

まず、図１を用いて、レイアウト編集装置１２の構成について説明する。レイアウト編集装置１２は、ＣＰＵ１８と、ＨＤＤ２０と、ＲＡＭ２２と、ネットワークＩ／Ｆ部２４と、ＲＯＭ２６と、表示部２８と、操作入力部３０と、バス３２とを含む。

ＣＰＵ１８は、レイアウト編集装置１２の全体の動作を司るものであり、後述するレイアウト編集装置１２の処理を示すフローチャートは、ＣＰＵ１８により実行される。ＨＤＤ２０は、各データベース、レイアウト提供プログラムなどのプログラム、ＯＳ、そしてレイアウトなどが記録される不揮発性の記憶装置である。ＲＡＭ２２は、ＯＳやプログラムやデータが展開される揮発性の記憶装置である。ネットワークＩ／Ｆ部２４は、ネットワークに接続するためのものであり、ＮＩＣやそのドライバで構成される。ＲＯＭ２６は、レイアウト編集装置１２の起動時に動作するバイオスなどが記憶されている不揮発性の記憶装置である。表示部２８は、レイアウト編集装置１２に関する情報をユーザに表示するものである。操作入力部３０は、ユーザがレイアウト編集装置１２の操作や情報を入力する際に用いられるものである。バス３２は、情報のやりとりが行われる際に使用される。

以上説明した構成から、レイアウト編集装置１２は、例えばパソコンなどで実現することが可能である。

次に、図２を用いてレイアウトのデータ構造について説明する。このレイアウトは、アルバムのページに対応して設けられ、アルバムと関連づけられたデータとしてＨＤＤ２０（図１参照）に記録されるものである。

図２に示されるように、レイアウトは、画像データと、ページデータと、座標位置データと、レイヤを示すデータと、人物領域情報と、面積を示すデータと、変倍なしフラグと、変倍完了フラグと、レイアウトＩＤとを含むデータ構造となっている。

このうち、画像データは、表示される画像のデータである。ページデータは、画像が属するページを示すデータである。座標位置データは、画像が表示される位置をページ上の座標で示したものである。レイヤを示すデータは、画像が重なる場合、重なる領域にどちらの画像を表示するかを決定するための値であり、その値が小さい方の画像が重なる領域に表示される。具体的には、画像Ａのレイヤ値を１とし、画像Ｂのレイヤ値が２の場合、画像Ａと画像Ｂとが重なる領域には画像Ａが表示される。なお、レイヤが等しい画像同士が重なる場合は、配置される処理の順番で定めても良いし、いずれの画像も表示しないようにしても良い。

人物領域情報は、後述する人物領域検出処理により検出された画像内で被写体として人物が撮影された領域に関する情報を示し、例えば人物領域とその他の領域との境界を示す座標が挙げられる。この人物領域は、本実施の形態において特定領域に対応するが、特定領域は人物領域に限るものではなく、コンピュータが検出可能な領域であれば良い。

面積を示すデータは、上記人物領域の面積を示すデータであり、２種類の面積が存在する。一つは、単に検出された人物領域の面積そのものとする面積である。もう一つは、検出された人物領域の面積を、検出された人数で割った値である１人あたりの面積である。いずれの場合であっても以下に説明する変倍処理では、どちらかに定めて処理を実行する。

変倍なしフラグ並びに変倍完了フラグは、オンまたはオフで情報を示すフラグであり、その詳細については後述する。レイアウトＩＤは、レイアウトを識別するためのＩＤであり、例えばアルバムを識別するための情報として用いても良い。

以下、レイアウト編集装置１２の処理をフローチャートを用いて説明する。図３に示されるフローチャートは、レイアウト編集装置１２が行うレイアウト編集処理を示すものであり、複数の画像を有する１つのレイアウトに対して行われる処理を示している。普通のアルバムは、複数のレイアウトを有するので、そのレイアウト数に対応してレイアウト編集処理は繰り返し実行される。

最初のステップＳ１０１では、各画像内の人物領域を検出する人物領域検出処理を実行する。ステップＳ１０２では、人物領域検出処理で検出された各画像内の人物領域同士が重ならず、かつ人物領域がレイアウトの枠内に収まる倍率である変倍可能倍率で各画像を変倍する画像変倍処理を実行する。ステップＳ１０３では、画像変倍処理で変倍された各画像を配置する画像配置処理を実行する。

上記ステップＳ１０１は、特定領域検出手段に対応する。ステップＳ１０２は、変倍手段に対応する。ステップＳ１０３は、画像配置手段に対応する。

これらの処理により、特定の被写体が撮影された領域を含む画像を変倍し配置するレイアウト編集に好適なレイアウト編集装置が提供される。

以下、上記各ステップの詳細な説明を行う。まずステップＳ１０１の処理の詳細について、図４を用いて説明する。図４に示されるフローチャートは、人物領域検出処理を示すものである。

ステップＳ２０１で、眼、鼻、口などの顔器官を検出する。この顔器官の検出は、「Real Adaboost （辞書データ）」により行われる。ステップＳ２０２で、顔器官が検出できたかどうかの判断を行う。ステップＳ２０１で顔器官が検出できなかった場合、ステップＳ２０６へ処理が進み、変倍なしフラグをオンとする。

この変倍なしフラグとは、画像を変倍するかどうかを示すフラグであり、オンの場合、変倍を行わないことを示し、オフの場合は変倍を行うことを示している。また、変倍なしフラグの初期値はオフに設定されている。本実施の形態の場合、顔器官を検出できなかった画像は変倍しないので、ステップＳ２０６で変倍なしフラグがオンとされ、ステップＳ２０５へ処理が進む。

一方、顔器官が検出された場合、ステップＳ２０３で、顔周辺濃度から人物領域を検出する。これは例えば、エッジ検出により行うこともできる。ステップＳ２０４は、検出された人物領域に関する情報である人物領域情報を保持する処理である。

この人物領域情報の例として、検出された人物領域とそれ以外の領域との境界を示す座標の集合や、その集合からいくつかの座標を間引いた集合が挙げられる。後者の場合、厳密な境界ではないが、要素を直線で結ぶことで概略の境界を得ることができる。

次のステップＳ２０５は、レイアウト内の全ての画像に対して検出処理が行われたかどうかを判断する処理である。検出処理が行われていない画像があれば、再びステップＳ２０１の処理が行われ、全ての画像に対して検出処理が行われた場合は処理を終了する。

以上の処理により、人物領域情報を取得し、変倍なしフラグが確定したことにより、次に画像変倍処理が行われる。この画像変倍処理の詳細について説明する。画像変倍処理は、変倍の方法により４つの処理に分けられる。

４つの処理は、単純拡大処理、指定倍率変倍処理、指定面積変倍処理、及び正規拡大処理である。

このうち、単純拡大処理とは、変倍可能倍率のうち、最も大きい倍率で各画像を拡大する処理である。なお、変倍可能倍率とは、各画像内の人物領域同士が重ならず、かつ人物領域がレイアウトの枠内に収まる倍率である。

この単純拡大処理により、人物領域を最も大きい倍率で拡大したレイアウトを作成することができる。

指定倍率変倍処理とは、予め指定された倍率で各画像を変倍する処理であり、拡大する場合と縮小する場合とがある。この処理は、ユーザが人物領域をさほど変倍しなくても良い場合に用いることができる。なお、指定された倍率が、変倍可能倍率の範囲外の倍率の場合には、範囲内の倍率のうちで最も大きい倍率で変倍される。

この指定倍率変倍処理により、ユーザは人物領域を任意の倍率で変倍することが可能となる。

指定面積変倍処理とは、各画像の人物領域の面積が予め指定された面積と一致する倍率で変倍する処理であり、拡大する場合と縮小する場合とがある。この処理は、ユーザが人物領域の大きさを統一させたい場合に用いることができる。この場合も先ほどと同様に、指定された面積に一致させるために変倍可能倍率の範囲外の倍率で変倍する必要がある場合には、範囲内の倍率のうちで最も大きい倍率で変倍される。

この指定面積変倍処理により、ユーザは人物領域を任意の面積になるように変倍することが可能となる。

正規拡大処理とは、各画像の人物領域の面積うちで最も小さい面積を求め、他の画像内の人物領域の面積を最も小さい面積と一致する倍率で変倍して得られる各画像で構成されるレイアウトである正規化画像レイアウトを生成し、正規化画像レイアウト内の各画像を、変倍可能倍率のうち、最も大きい倍率で変倍する処理である。

この正規拡大処理により、ユーザが各画像に撮影された人物領域を均等に拡大することができる。例えば、卒業アルバムのような生徒一人に対し１つの画像を用いる場合などに好適な処理である。

以上示した４つの変倍処理への分岐を示すのが、図５に示されるフローチャートである。４つの変倍処理のいずれを実行するかは、ユーザにより定められても良いし、予め装置で決定するようにしても良い。この処理は、いずれの変倍処理を実行するかを示す変倍処理フラグに基づき分岐する。

ステップＳ３０１は、変倍処理フラグが単純拡大処理を示しているかどうかを判断する。単純拡大処理であれば、ステップＳ３０２で単純拡大処理が行われる。単純拡大処理でなければ、ステップＳ３０３で、変倍処理フラグが指定倍率変倍処理を示しているかどうかを判断する。指定倍率変倍処理であれば、ステップＳ３０４で指定倍率変倍処理が行われる。指定倍率変倍処理でなければ、ステップＳ３０５で、変倍処理フラグが指定面積変倍処理を示しているかどうかを判断する。指定面積変倍処理であれば、ステップＳ３０６で指定面積変倍処理が行われる。指定面積変倍処理でなければ、ステップＳ３０７で、変倍処理フラグが正規拡大処理を示しているかどうかを判断する。正規拡大処理であれば、ステップＳ３０８で正規拡大処理が行われる。また、ステップＳ３０７で変倍処理フラグが正規拡大処理を示していないと判断された場合、すなわち上記各処理を実行しない場合は処理を終了する。

この処理により、各変倍処理に分岐し、それぞれの変倍処理が行われる。次にこれらの変倍処理の詳細を説明する。上述した４つの変倍処理は３種類の関数を用いて行われるので、まずそれら関数の処理を説明する。

図６は、領域変倍計算処理関数の処理を示すフローチャートである。この関数の引数は、各画像の人物領域情報と、指定変倍率であり、戻り値は、計算により得られた各画像の変倍率である。

また、この関数は、指定変倍率に基づき、各画像の人物領域を徐々に変倍し、変倍可能倍率の範囲内の変倍率を求める関数である。指定変倍率が指定されない場合は、徐々に拡大していき、人物領域同士が重ならない最大の変倍率を計算する処理が行われる。

まず、ステップＳ４０１で、引数として上位モジュールから渡される各画像の人物領域情報と指定変倍率を取得する。次のステップＳ４０２では、変倍しようとしている画像の変倍なしフラグがオンとなっているかどうかの判断である。変倍なしフラグがオンの場合、変倍は行われず、ステップＳ４０４に処理は進む。

変倍なしフラグがオフの場合、ステップＳ４０３で人物領域変倍計算が行われる。ここでの変倍とは、この関数内のローカル変数が示す値であり、処理開始時に予め初期化されるものである。そして、この変倍率は、後述するステップＳ４０７で、指定変倍率に徐々に近づくように更新される。

次のステップＳ４０４は、レイアウト内の全ての画像に対して計算処理が行われたかどうかを判断する処理である。計算処理が行われていない画像があれば、再びステップＳ４０２の処理が行われ、全ての画像に対して計算処理が行われた場合、ステップＳ４０５へ処理が進む。

次のステップＳ４０５は、３つの条件による判断を行う。１つめの条件は、人物領域同士で重なっているという条件である。２つめの条件は、変倍率が指定変倍率に達しているという条件である。３つめの条件は、レイアウト枠に人物情報が収まらないという条件である。

これらいずれかの条件が満たされれば、真と判断する処理であり、真と判断すると、ステップＳ４０６で、上記判断で真となるひとつ前の各画像の変倍率を返し、処理を終了する。ステップＳ４０５で偽と判断されると、ステップＳ４０７で各画像の変倍率を更新し、再びステップＳ４０２の処理を実行する。

図７は、面積変倍計算処理関数を示すフローチャートである。この関数の引数は、各画像の人物領域情報と、指定面積であり、戻り値は、計算により得られた各画像の変倍率である。

また、この関数は、指定面積に基づき、各画像を徐々に変倍し、変倍可能倍率の範囲内の変倍率を求める関数である。

まず、ステップＳ５０１で、引数として上位モジュールから渡される各画像の人物領域情報と指定変倍率を取得する。次のステップＳ５０２では、変倍しようとしている画像の変倍なしフラグがオンまたは変倍完了フラグがオンとなっているかどうかの判断である。

変倍完了フラグとは、その画像の変倍が完了したかどうかを示すフラグであり、オンであれば変倍完了を示し、オフであれば変倍がまだ完了していないことを示す。面積を基準にする場合、各画像の人物領域の面積が異なるため、ある倍率である画像のみ面積が一致する可能性がある。そのため各画像にこの変倍完了フラグが設けられる。

この変倍完了フラグがオンまたは変倍なしフラグがオンの場合、変倍は行われず、ステップＳ５１０に処理は進む。

変倍完了フラグがオフかつ変倍なしフラグがオフの場合、ステップＳ５０３で人物領域面積計算が行われる。次に、ステップＳ５０４で、その面積と指定面積との比較を行う。人物領域の面積が指定面積より大きい場合、ステップＳ５０５で人物領域変倍計算を行う。ここでの変倍は人物領域の面積の方が大きいため、人物領域を縮小する変倍である。変倍後、ステップＳ５０６でその変倍率が保持される。

ステップＳ５０４で、人物領域の面積が指定面積より小さい場合、ステップＳ５０７で人物領域の面積が指定面積より小さいかどうかの判断を行う。人物領域の面積が指定面積より小さい場合、ステップＳ５０８で人物領域変倍計算を行う。ここでの変倍は人物領域の面積の方が小さいため、人物領域を拡大する変倍である。変倍後、ステップＳ５０６でその変倍率が保持される。

ステップＳ５０７で人物領域の面積が指定面積より小さくない場合、両者の面積は等しいので、変倍処理は完了であり、ステップＳ５０９で、変倍完了フラグをオンとする。

次のステップＳ５１０は、レイアウト内の全ての画像に対して計算処理が行われたかどうかを判断する処理である。計算処理が行われていない画像があれば、再びステップＳ５０２の処理が行われ、全ての画像に対して計算処理が行われた場合、ステップＳ５１１へ処理が進む。

次のステップＳ５１１は、３つの条件による判断を行う。１つめの条件は、人物領域同士で重なっているという条件である。２つめの条件は、全ての変倍完了フラグがオンになっているという条件である。３つめの条件は、レイアウト枠に人物情報が収まらないという条件である。

これらいずれかの条件が満たされれば、真と判断する処理であり、真と判断すると、ステップＳ５１２で、上記判断で真となる１つ前の各画像の変倍率を返し、処理を終了する。ステップＳ５１１で偽と判断されると、ステップＳ４０７で各画像の変倍率を更新し、再びステップＳ５０２の処理を実行する。

以上の面積変倍計算処理により、指定された各画像の人物領域の面積を等しくする変倍率を計算することができる。

図８は、単純変倍処理関数を示すフローチャートである。この関数の引数は、変倍率である。なお、この関数は画像全体を変倍するので、上記２つの関数と異なり、人物領域情報は不要である。

まず、ステップＳ６０１で、引数として上位モジュールから渡される各画像の変倍率を取得する。次のステップＳ６０２では、変倍しようとしている画像の変倍なしフラグがオンとなっているかどうかの判断である。変倍なしフラグがオンの場合、変倍は行われず、ステップＳ６０４に処理は進む。

変倍なしフラグがオフの場合、ステップＳ６０３で、変倍率に従い画像を変倍する。次のステップＳ６０４は、レイアウト内の全ての画像に対して変倍処理が行われたかどうかを判断する処理である。変倍処理が行われていない画像があれば、再びステップＳ６０２の処理が行われ、全ての画像に対して変倍処理が行われた場合、処理を終了する。

以上説明した領域変倍計算処理関数と面積変倍計算処理関数は、各画像の変倍率を計算する関数であり、単純変倍処理関数は、計算された変倍率で画像を変倍する関数である。これら３つの関数を用いて上述した単純拡大処理、指定倍率変倍処理、指定面積変倍処理、及び正規拡大処理が行われる。

図９は、単純拡大処理を示すフローチャートである。ステップＳ７０１で領域変倍計算処理関数コールを行う。このときの引数は、各画像の人物領域情報と変倍率指定なしである。変倍率指定なしの場合、上述したように徐々に拡大し変倍率を計算する処理が行われるので、変倍可能倍率のうち、最も大きい倍率が計算される。

領域変倍計算処理関数で各画像の変倍率が計算され、その変倍率がステップＳ７０２で、単純変倍処理関数をコールした際に渡される。これにより各画像が最も大きい倍率で変倍される。

次に、図１０のフローチャートを用いて指定倍率変倍処理について説明する。ステップＳ８０１で領域変倍計算処理関数コールを行う。このときの引数は、各画像の人物領域情報と指定変倍率である。この指定変倍率は、ユーザまたは予め装置により設定されている。

領域変倍計算処理関数で各画像の変倍率が計算され、その変倍率がステップＳ８０２で単純変倍処理関数をコールした際に渡される。これにより各画像が指定倍率で変倍される。

次に、図１１のフローチャートを用いて指定面積変倍処理について説明する。ステップＳ９０１で面積変倍処理関数コールを行う。このときの引数は、各画像の人物領域情報と指定面積である。この指定面積は、ユーザまたは予め装置により設定されている。

面積変倍計算処理関数で各画像の変倍率が計算され、その変倍率がステップＳ９０２で単純変倍処理関数をコールした際に渡される。これにより各画像の面積が指定面積となるように変倍される。

次に、図１２のフローチャートを用いて正規拡大処理について説明する。まず、ステップＳ１００１で、レイアウト内の画像の面積で最も小さい面積Ｓを求める。次のステップＳ１００２で面積変倍処理関数コールを行う。このときの引数は、各画像の人物領域情報と、指定面積Ｓである。

面積変倍計算処理関数で各画像の変倍率が計算され、その変倍率がステップＳ１００３で、単純変倍処理関数に渡される。これにより各画像の面積がＳとなるように変倍される。ステップＳ１００３までの処理で、人物領域の面積が等しい画像が得られるので、次のステップＳ１００４で単純拡大処理（図９参照）を行う。

このように、一旦各画像の人物領域の面積を正規化し、その後拡大することにより、人物領域の面積が同じ拡大された画像を取得することが可能となる。

以上が画像変倍処理で行われる処理であり、これらの処理で変倍された画像は画像配置処理により配置される。図１３は、画像配置処理を示すフローチャートである。

ステップＳ１１０１で、各画像を画像のレイヤ値（図２参照）をキーに降順でソートする。次のステップＳ１１０２で、ソート順に従い画像を配置する。この処理では、既に画像を配置する順番がソートされたものになっているので、レイアウトに画像を順番に上書きしていく。次に、ステップＳ１１０３で、レイアウトからはみ出した領域を断ち落とし、処理を終了する。

以上説明した画像変倍と画像配置の様子を図１４から図１６を用いて説明する。図１４は、編集前のレイアウトを示す図である。このレイアウト５０はユーザが用意するか、レイアウトアプリケーションなどを用いて作成するようにしても良い。また、レイアウト５０には、人物が存在しない画像５２がある。

このレイアウト５０に対し、人物領域検出処理、画像変倍処理を行ったレイアウトを示すのが、図１５のレイアウト５４である。ここで行われた画像変倍処理は、指定面積変倍処理である。指定面積変倍処理であるので、各画像の人物領域の面積が指定された面積に統一され、人の大きさがほぼ同じものとなる。また、人物領域検出処理で検出されなかった画像５２は、変倍されていないことが示されている。

このレイアウト５６には、画像の拡大によってレイアウト５４からはみ出す領域も示されている。はみ出した領域を画像配置処理により断ち落としたのが、図１６に示されるレイアウト５６である。

このように、レイアウトの編集の過程で、画像がレイアウトからはみ出る変倍を行い、はみ出した領域を断ち落とすため、デザイナーがレイアウトするような断ち落としテクニックを自動的に行うことができる。

以上の処理により、人物領域を重ならない変倍率で編集したレイアウトが完成する。この完成したレイアウトをユーザが再度編集できることは言うまでもなく、例えば本実施の形態におけるレイアウト提供プログラムをレイアウトアプリケーションにプラグイン可能なものとすれば良い。

レイアウト編集装置の構成を示す図である。 レイアウトのデータ構造を示す図である。 レイアウト編集処理を示すフローチャートである。 人物領域検出処理を示すフローチャートである。 画像変倍処理を示すフローチャートである。 領域変倍計算処理を示すフローチャートである。 面積変倍計算処理を示すフローチャートである。 単純変倍処理を示すフローチャートである。 単純拡大処理を示すフローチャートである。 指定倍率変倍処理を示すフローチャートである。 指定面積変倍処理を示すフローチャートである。 正規拡大処理を示すフローチャートである。 画像配置処理を示すフローチャートである。 編集前のレイアウトを示す図である。 人物領域検出処理、画像変倍処理を行ったレイアウトを示す図である。 完成されたレイアウトを示す図である。

符号の説明

１２ レイアウト編集装置
１８ ＣＰＵ
２０ ＨＤＤ
５０ レイアウト

Claims (15)

1. 複数の画像を有するレイアウトを、前記各画像ごとに変倍することにより編集するレイアウト編集装置であって、
   前記各画像内の特定の被写体が撮影された領域を含む特定領域を検出する特定領域検出手段と、
   前記特定領域検出手段で検出された各画像内の前記特定領域同士が重ならず、かつ前記特定領域が前記レイアウトの枠内に収まる変倍可能倍率で前記各画像を変倍する変倍手段と、
   前記変倍手段で変倍された各画像を配置する画像配置手段と、
   を有するレイアウト編集装置。
2. 前記変倍手段は、最も大きい拡大倍率、予め指定された倍率、または前記各画像の特定領域の面積が予め指定された面積と一致する倍率で前記各画像を変倍する請求項１に記載のレイアウト編集装置。
3. 前記変倍手段は、
   前記各画像の特定領域の面積のうちで最も小さい面積を求め、他の画像内の特定領域の面積を前記最も小さい面積と一致する倍率で変倍して得られる各画像で構成されるレイアウトである正規化画像レイアウトを生成し、
   前記正規化画像レイアウト内の各画像内の画像を、前記変倍可能倍率のうち、最も大きい倍率で変倍する請求項１に記載のレイアウト編集装置。
4. 前記変倍手段は、
   前記特定領域検出手段で前記特定領域が検出されなかった画像は変倍しない請求項１から請求項３のいずれか１項に記載のレイアウト編集装置。
5. 前記被写体は人物である請求項１から請求項４のいずれか１項に記載のレイアウト編集装置。
6. 複数の画像を有するレイアウトを、前記各画像ごとに変倍することにより編集するレイアウト編集方法であって、
   前記各画像内の特定の被写体が撮影された領域を含む特定領域を検出する特定領域検出段階と、
   前記特定領域検出段階で検出された各画像内の前記特定領域同士が重ならず、かつ前記特定領域が前記レイアウトの枠内に収まる変倍可能倍率で前記各画像を変倍する変倍段階と、
   前記変倍段階で変倍された各画像を配置する画像配置段階と、
   を有するレイアウト編集方法。
7. 前記変倍段階は、
   最も大きい拡大倍率、予め指定された倍率、または前記各画像の特定領域の面積が予め指定された面積と一致する倍率で変倍する請求項６に記載のレイアウト編集方法。
8. 前記変倍段階は、
   前記各画像の特定領域の面積のうちで最も小さい面積を求め、他の画像内の特定領域の面積を前記最も小さい面積と一致する倍率で変倍して得られる各画像で構成されるレイアウトである正規化画像レイアウトを生成し、
   前記正規化画像レイアウト内の各画像内の画像を、前記変倍可能倍率のうち、最も大きい倍率で変倍する請求項６に記載のレイアウト編集方法。
9. 前記変倍段階は、
   前記特定領域検出段階で前記特定領域が検出されなかった画像は変倍しない請求項６から請求項８のいずれか１項に記載のレイアウト編集方法。
10. 前記被写体は人物である請求項６から請求項９のいずれか１項に記載のレイアウト編集方法。
11. 複数の画像を有するレイアウトを、前記各画像ごとに変倍することにより編集する処理をコンピュータに実行させるためのレイアウト編集プログラムであって、
    前記各画像内の特定の被写体が撮影された領域を含む特定領域を検出する特定領域検出ステップと、
    前記特定領域検出ステップで検出された各画像内の前記特定領域同士が重ならず、かつ前記特定領域が前記レイアウトの枠内に収まる倍率である変倍可能倍率で前記各画像を変倍する変倍ステップと、
    前記変倍ステップで変倍された各画像を配置する画像配置ステップと、
    を有するレイアウト編集プログラム。
12. 前記変倍ステップは、
    最も大きい拡大倍率、予め指定された倍率、または前記各画像の特定領域の面積が予め指定された面積と一致する倍率で前記各画像を変倍する請求項１１に記載のレイアウト編集プログラム。
13. 前記変倍ステップは、
    前記各画像の特定領域の面積のうちで最も小さい面積を求め、他の画像内の特定領域の面積を前記最も小さい面積と一致する倍率で変倍して得られる各画像で構成されるレイアウトである正規化画像レイアウトを生成し、
    前記正規化画像レイアウト内の各画像内の画像を、前記変倍可能倍率のうち、最も大きい倍率で変倍する請求項１１に記載のレイアウト編集プログラム。
14. 前記変倍ステップは、
    前記特定領域検出ステップで前記特定領域が検出されなかった画像は変倍しない請求項１１ら請求項１３のいずれか１項に記載のレイアウト編集プログラム。
15. 前記被写体は人物である請求項１１から請求項１４のいずれか１項に記載のレイアウト編集プログラム。

Images