JP2007180651A

JP2007180651A - 画像処理装置および画像処理プログラム

Info

Publication number: JP2007180651A
Application number: JP2005373959A
Authority: JP
Inventors: Kimihide Takahashi; 公英高橋
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-12-27
Filing date: 2005-12-27
Publication date: 2007-07-12
Anticipated expiration: 2025-12-27
Also published as: JP4588627B2

Abstract

【課題】複数の画像に対してサイズ調整を行うとともに適正な配置を行ってレイアウト画像を作成する。
【解決手段】パーソナルコンピュータ２は、ＣＰＵ１０、メモリ１１、モニタ１２、操作部１３、および通信Ｉ／Ｆ１５を備えている。ＣＰＵ１０は、画像処理プログラム１６を実行することで、ブラウザ制御部１９の他、顔情報検出部２１、主要被写体比較部２２、画像レイアウト部２３として機能する。顔情報検出部２１は、複数の選択画像から顔面積を少なくとも含む顔情報を取得する。主要被写体比較部２２は、各選択画像の顔面積を比較する。画像レイアウト部２３は、顔面積が最大の選択画像を中心に配置し、それ以外の画像を小さくサイズ調整して周辺に配置したレイアウト画像を作成する。
【選択図】図１

Description

本発明は、複数の画像を配置したレイアウト画像を作成する機能を有する画像処理装置および画像処理プログラムに関する。

近年、デジタルカメラなどの電子撮像装置が普及している。また、デジタルカメラなどで取得した多数の画像ファイルをパソコンのモニタ上で閲覧して鑑賞するための画像ビューアが販売されている。画像ビューアとは、パソコンに組み込まれたソフトウェアであり、画像ファイルの一覧表示、選択表示、複写、削除、画像の切り抜き、回転、サイズ変更などの各種処理を統合的に操作可能とするものである。

上述したような画像ビューアと称されるソフトウェアでは、複数の画像データに基づいて画像を配置したレイアウト画像を作成する機能を有するものがある。このレイアウト画像作成機能では、例えば特許文献１に記載されているように、複数の画像データの中に含まれる人物画像を抽出し、この人物画像の顔面積がほぼ等しくなるように人物画像の大きさを調整してレイアウト画像を作成するものが知られている。
特開２００２−０４２１１６号公報

上記特許文献１に記載されているようなレイアウト機能では、人物画像が並んだ名簿画像のようなものを作成するときには適している。しかしながら、レイアウト画像として求められるものは名簿画像のようなものだけではなく、例えば卒業アルバムの組写真のようなレイアウト画像を作成する場合、すなわち運動会や入学式、修学旅行などの行事を象徴するような画像を中央付近に大きく配置し、その周囲に各競技や、代表的人物、旅行先などの写真を複数配置するようなレイアウト画像を作成する際には、上記特許文献１記載のようなレイアウト機能を使用することができない。よって、マニュアル入力で画像を拡大縮小するとともに位置を調整して配置をしなければならないため、非常に手間と時間が掛かってしまう。

本発明は、上記事情を考慮してなされたものであり、複数の画像に対してサイズ調整を行うとともに適正な配置を行ってレイアウト画像を作成することが可能な画像処理装置及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために本発明の画像処理装置では、複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔面積が最小または最大の主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする。但し、前記顔情報検出手段では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔面積が０であることを前記顔情報に含めるようにすることが好ましい。また、前記顔情報検出手段では、主要被写体の顔面積を求めているが、この顔面積は、顔領域の横幅及び縦長さより求めた概略値でもよい。

請求項２記載の画像処理装置では、複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔面積の総和を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像の顔面積総和を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔面積総和が最小または最大の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする。但し、前記顔情報検出手段では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔面積総和が０であることを前記顔情報に含めるようにすることが好ましい。

複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔の個数を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像内における主要被写体の顔の個数を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする。但し、前記顔情報検出手段では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔の個数が０であることを前記顔情報に含めるようにすることが好ましい。

なお、前記顔情報検出手段は、前記各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含んでおり、前記画像レイアウト手段は、前記顔位置情報に基づいて、主要被写体の顔の位置が重ならないように前記選択画像を配置して前記レイアウト画像を作成することが好ましい。

また、前記顔情報検出手段は、前記各選択画像内における主要被写体の顔の重心位置を検出した顔重心位置情報を前記顔情報に含んでおり、前記画像レイアウト手段は、前記顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成することが好ましい。

さらにまた、前記画像レイアウト手段は、前記中心画像を大きく、前記周辺画像を前記中心画像よりも小さくサイズ調整することや、前記画像レイアウト手段は、前記中心画像を小さく、前記周辺画像を前記中心画像よりも大きくサイズ調整することなども本発明では効果的である。

また、請求項８記載の画像処理プログラムでは、複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔面積が最小または最大の主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする。但し、前記顔情報検出処理では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔面積が０であることを前記顔情報に含めるようにすることが好ましい。

複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積の総和を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の顔面積総和を比較する主要被写体比較処理と、この主要被写体比較手段による比較結果に基づいて、顔面積総和が最小または最大の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする。但し、前記顔情報検出処理では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔面積総和が０であることを前記顔情報に含めるようにすることが好ましい。

複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔の個数を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像内における主要被写体の顔の個数を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする。但し、前記顔情報検出処理では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔個数が０であることを前記顔情報に含めるようにすることが好ましい。

なお、前記顔情報検出処理では、前記各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含んでおり、前記レイアウト画像作成処理では、前記顔位置情報に基づいて、主要被写体の顔の位置が重ならないように前記選択画像を配置して前記レイアウト画像を作成することが好ましい。

また、前記顔情報検出処理では、前記各選択画像内における主要被写体の顔の重心位置を検出した顔重心位置情報を前記顔情報に含んでおり、前記レイアウト画像作成処理では、前記顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成することが好ましい。

さらにまた、前記レイアウト画像作成処理では、前記中心画像を大きく、前記周辺画像を前記中心画像よりも小さくサイズ調整することや、前記レイアウト画像作成処理では、前記中心画像を小さく、前記周辺画像を前記中心画像よりも大きくサイズ調整することなども効果的である。

本発明の画像処理プログラムおよび画像処理装置によれば、選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔面積が最も小さい主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを行っているので、複数の画像のサイズ調整を行うとともに適正な配置を行ってレイアウト画像を作成することができる。

請求項２記載の画像処理装置及び請求項９記載の画像処理プログラムでは、各選択画像の顔面積総和を比較して、顔面積総和が最も小さい前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成しているので、複数の画像のサイズ調整を行うとともに適正な配置を行ってレイアウト画像を作成することができる。

請求項３記載の画像処理装置及び請求項１０記載の画像処理プログラムでは、各選択画像内における主要被写体の顔の個数を比較して、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成しているので、複数の画像のサイズ調整を行うとともに適正な配置を行ってレイアウト画像を作成することができる。

また、各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含み、顔位置情報に基づいて、主要被写体の顔の位置が重ならないように選択画像を配置して前記レイアウト画像を作成しているので、より適正な位置に画像が配置されたレイアウト画像を得ることができる。

さらにまた、各選択画像内における主要被写体の顔の重心位置を検出した顔重心位置情報を顔情報に含み、顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成しているので、より適正な位置に画像が配置されたレイアウト画像を得ることができる。

図１において、本発明を適用した画像処理装置としてのパーソナルコンピュータ（以下ＰＣと称する）２は、ＣＰＵ１０により全体を統括的に制御される。ＣＰＵ１０には、メモリ１１、モニタ１２、操作部１３、および通信Ｉ／Ｆ１５が接続されている。

メモリ１１は、半導体メモリや磁気ディスクなどからなり、ＰＣ２の起動時に必要な各種プログラムやデータをはじめ、画像処理プログラム１６などが記憶されている。また、メモリ１１には、デジタルカメラ１７から通信Ｉ／Ｆ１５を介して送信される画像データ（静止画データおよび動画データ）が記憶される。

モニタ１２は、ＬＣＤやＣＲＴなどからなり、前述の画像データや各種の情報を表示する。操作部１３は、キーボード１４ａやマウス１４ｂなどからなる。ＣＰＵ１０は、この操作部１３の操作に応答して、ＰＣ２の各部の動作を制御する。通信Ｉ／Ｆ１５は、デジタルカメラ１７などの外部機器と、ＵＳＢケーブルなどを介してデータの送受信を行う。

操作部１３の操作により画像処理プログラム１６を起動すると、ＣＰＵ１０には、ブラウザ制御部１９の他、顔情報検出部２１、主要被写体比較部２２、画像レイアウト部２３などの処理機能が生成される。ブラウザ制御部１９は、図２に示すようなＧＵＩ(ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ)としての画像表示ブラウザ３０をモニタ１２の画面上に表示する。

画像表示ブラウザ３０には、フォルダ３１の検索を補助するエクスプローラウィンドウ３２ａと、フォルダ３１内の画像ファイルのサムネイル画像３３が表示されるサムネイルウィンドウ３２ｂと、選択画像３４が表示される選択画像ウィンドウ３２ｃと、後述するレイアウト画像作成処理で作成されたレイアウト画像３５が表示されるレイアウトウィンドウ３２ｄとが設けられている。選択画像３４は、サムネイル画像３３にカーソル３６を合わせ、マウス１４ｂのクリックボタンをクリックすることで選択画像ウィンドウ３２ｃに表示される。選択画像３４は、サムネイル画像よりも大きく表示され、画像の内容が認識し易くなっている。また、カーソル３６は、マウス１４ｂの動きに連動して動くポインタである。

顔情報検出部２１は、選択画像３４内における人物（主要被写体）の顔領域を抽出し、この顔領域から顔情報を検出する顔情報検出処理を行う。この顔情報検出部２１では、例えば、図３に示すように、選択画像３４内における人物３８の両目３８ａを、予め設定した標準的人物の両目画像データとのマッチングを行うことで検出し、さらにこのマッチングで検出された両目３８ａの間隔Ｓから顔の横幅Ｗ、顔の縦長さＴを検出して、この横幅Ｗ、縦長さＴからなる顔領域３９（点線で囲まれた範囲）を抽出する。

選択画像３４から顔の幅Ｗを検出するときは、例えば、標準的な人物の両目間隔Ｓ_Ａ及び顔の横幅Ｗ_Ａを予め設定しておく。これによって、顔の横幅Ｗは、両目間隔Ｓ（上述のマッチングによって検出した両目間隔）との比率から、Ｗ＝（Ｓ／Ｓ_Ａ）×Ｗ_Ａによって求められる。また、顔の縦長さＴについても同様に、標準的な人物の両目間隔Ｓ_Ａ及び顔の縦長さＴ_Ａを設定しておくことで両目間隔Ｓとの比率から求めることが可能であり、さらにこれら顔の幅Ｗ及び縦長さＴから人物３８の顔面積の概略値を顔情報として求めることができる。また顔情報としては他に、人物３８の位置が、例えば画像の左上隅の位置を原点Ｏ（０，０）として、両目３８ａの中心位置３８ｂの座標（ｘ、ｙ）を求めることで検出される。なお、顔領域は、上述した両目画像データのマッチングによる抽出に限定するものではなく、例えば目及び口の位置関係などから顔画像を検出してもよいし、顔の輪郭を検出すること、または、顔の肌に相当する色情報を検出することによって顔領域を特定するようにしてもよい。また、選択画像３４から顔情報が抽出されない場合、顔面積が０である旨を顔情報に含んで主要被写体比較部２１へ送信する。

主要被写体比較部２１は、顔情報検出部２１で検出された顔情報に基づいて、各選択画像３４の主要被写体の顔面積を比較し、顔面積が最小の選択画像３４を判定する主要被写体比較処理を行う。なお、本実施形態では、選択画像３４から顔領域が抽出されない場合、顔面積が０、すなわち顔面積が最小であると判定するようにしている。

画像レイアウト部２３では、各選択画像３４のうち、顔面積が最小の主要被写体を含む選択画像３４を中心画像４１（図５参照）とし、この中心画像４１を除く選択画像３４を周辺画像４２（図５参照）としてレイアウト画像３５を作成する。作成されたレイアウト画像３５が、レイアウトウィンドウ３２ｄに表示されるとともに、その画像データがメモリ１１に一時記憶される。

レイアウトウィンドウ３２ｄに、画像レイアウト部２３によって作成されたレイアウト画像３５が表示されたとき、操作部１３によって、保存か削除かの選択が行われ、画像の保存が選択されたときには、そのレイアウト画像に基づくレイアウト画像データをメモリ１１に格納し、削除が選択されたときには、そのレイアウト画像データを削除して、画像のレイアウト操作をやり直しすることとなる。

次に上記構成を有する画像処理プログラム１６によるレイアウト画像作成の処理手順を図４のフローチャートに沿って説明する。先ずユーザーが操作部１３を操作して画像処理プログラム１６が起動されると、ＣＰＵ１０にブラウザ制御部１９、顔情報検出部２１、主要被写体比較部２２、画像レイアウト部２３などが生成され、ブラウザ制御部１９により、図２に示した画像表示ブラウザ３０が、モニタ１２の画面上に表示される。さらに操作部１３による選択操作で、サムネイルウィンドウ３２ｂに多数表示されたサムネイル画像３３の一覧の中からユーザーが所望する複数のサムネイル画像３３が選択されると、選択画像ウィンドウ３２ｃには選択されたサムネイル画像３３に対応する選択画像３４が表示される。

ユーザーは、選択画像ウィンドウ３２ｃに表示された複数の選択画像３４を見て自身が所望する画像であることを確認し、選択操作を完了すると、これらの選択画像３４に基づいてレイアウト画像３５の作成を開始する操作を行う。レイアウト画像３５の作成が指示されると、先ず、顔情報検出部２１が、各選択画像３４について顔情報の検出処理を行う。次に、主要被写体比較部２２では、顔情報検出部２１で検出された顔情報に基づいて、選択画像３４の主要被写体の顔面積比較を行う。そして、主要被写体比較部２２で行った比較結果から顔面積が最も小さい選択画像３４が１つだけのときには、その比較結果を画像レイアウト部２３に出力する。また、主要被写体比較部２２で行った比較結果で、顔面積が最も小さい選択画像３４が２つ以上あると判定されたときには、これらの中から１つの中心画像を選択するようにユーザーに選択入力を求める。この場合、例えば、図５（Ａ）に示すように、顔面積が最も小さい複数の選択画像３４ａ，３４ｂをレイアウトウィンドウ３２ｄ内に表示するとともに、選択入力を促す文章を表示する。そして、操作部１３による選択操作で１つの中心画像が選択されると、この選択結果を画像レイアウト部２３に出力する。なお、図５（Ａ）に示す例では、顔領域が抽出されない場合、すなわち顔面積が０の選択画像３４ａ，３４ｂが、顔面積が最小のものとして判定された場合を示している。

画像レイアウト部２３では、主要被写体比較部２２で行われた比較結果、又は比較結果に基づくユーザーの選択結果から、図５（Ｂ）に示すように、選択画像３４の中で顔面積が最も小さい画像を中心画像４１、及び選択画像３４の中で中心画像４１を除く画像を周辺画像４２として決定し、中心画像４１を大きく、周辺画像４２を中心画像４１よりも小さくなるように画像サイズを調整して、中心画像４１を全体の中心位置に、周辺画像４２をその周囲に配置してレイアウト画像３５を作成する。なお、本実施形態においては、レイアウト画像３５を作成する際に、中心画像４１及び周辺画像４２の間に適度なスペースを有して画像同士が重ならないようにする。

このようにしてレイアウト画像３５を作成することができるので、例えば、卒業アルバムの組写真のようなレイアウト画像を作成する場合に、行事を象徴するような画像が中心画像４１として大きく、その他の画像が周辺画像４２として小さく配置されるので、画像の大きさが自動的に調整され、且つ適正な位置な配置されたレイアウト画像を容易に作成することが可能となり、また手間や時間を掛けることなくレイアウト画像を作成することができるので、ユーザーの負担を軽減することができる。

上記第１実施形態においては、検出された顔面積が最小の選択画像を中心画像とし、それ以外の選択画像を周辺画像としているが、これに限らず、顔面積が最大の選択画像を中心画像とし、それ以外を周辺画像に決定してレイアウトを行うようにしてもよい。あるいは、顔面積が最大と最小の中間値に最も近似する選択画像を中心画像としてもよい。

なお、上記第１実施形態においては、選択画像３４から検出する顔情報として１人の主要被写体の顔面積を検出しているが、本発明はこれに限るものではなく、例えば、図６に示すように、選択画像５０内に複数の主要被写体５１，５２が配されているときには、顔情報検出部２１は、これらの主要被写体５１，５２から顔領域５１ａ，５１ｂをそれぞれ抽出して顔面積を検出し、顔面積の総和（主要被写体５１ａ，５１ｂの顔面積の合計）を算出した顔面積総和情報を顔情報に含めるようにする。なお、図６においては、主要被写体の数が２つ図示されているがこれに限らず、３つ以上の場合でも同様に顔面積の総和を検出すればよい。また、顔領域が抽出されない場合には、上記実施形態と同様に、顔面積の総和が０である旨を顔情報に含める。そして、主要被写体比較部２２では、この顔面積総和情報に基づいて、各選択画像３４の顔面積総和を比較して顔面積が最小の選択画像３４を判定し、画像レイアウト部２３では、この顔面積総和の比較結果に基づいて中心画像及び周辺画像を決定する。中心画像及び周辺画像を決定した後は、上記実施形態と同様にしてレイアウト画像３５を作成することができる。なお、このように顔面積総和の比較結果に基づいて中心画像、周辺画像を決定する場合、顔面積総和が最大の選択画像を中心画像とし、それ以外を周辺画像としてレイアウト画像を作成するようにしてもよいし、あるいは、顔面積総和が最大と最小の中間値に最も近似する選択画像を中心画像に決定してもよい。

なお、上記第１実施形態においては、顔情報として主要被写体の顔面積を検出し、この顔面積の比較結果に基づいて画像のレイアウトを行っているが、本発明はこれに限るものではなく、以下で説明する本発明の第２実施形態では、顔情報として顔の個数を検出し、この顔個数情報に基づいて画像のレイアウトを行うようにしている。なお、この第２実施形態を適用した画像処理装置の構成は上記第１の実施形態と同様であり、本実施形態を適用した画像処理プログラムを図７に示すフローチャートに沿って説明すると、先ず、上記実施形態と同様にプログラム起動後、画像の一覧表示からユーザーが所望する画像を選択する。なお、レイアウト前の選択画像６１〜６５の一例を図８（Ａ）に示す。そして、顔情報検出部２１では、選択画像６１〜６５内のおける顔領域６１ａ，６２ａ，６３ａ〜６３ｃ，６４ａ，６５ａ，６５ｂをそれぞれ検出し、選択画像６１〜６５内における顔画像の個数をそれぞれカウントした顔個数情報を顔情報の中に含めて主要被写体比較部２２に送る。主要被写体比較部２２では、顔の個数を比較し、画像レイアウト部２３では、この比較結果に基づき、顔の個数が最も多い画像（図８（Ａ）に示す例では選択画像６３）を中心画像６６とし、この中心画像６６以外の画像を周辺画像６７として決定し、レイアウト画像６８を作成する。

このようにして、顔個数が多い画像は中心に大きく配置され、顔個数が少ない画像は小さくサイズ調整して周辺に配置されるようになる。よって、家族写真のようなレイアウト画像を作成するときには、家族の集合画像などが中心に配置され、その周囲に家族の個々の画像などが配置されるようになるので、適正な位置にレイアウトされたレイアウト画像を得ることができる。なお、顔個数が同数の選択画像がある場合には、上記第１の実施形態と同様に、ユーザーが選択入力を行っていずれか一方の選択画像を中心画像に決定するようにしてもよい。また、顔個数情報に基づいて中心画像、及び周辺画像を決定する際には、上述したように顔個数が最多の選択画像に限らず、顔個数が最少の選択画像を中心画像とし、それ以外の選択画像を周辺画像に決定するようにしてもよく、さらにまた、顔個数が最多と最少の中間値に最も近似する選択画像を中心画像にしてもよい。

上記第１及び第２実施形態においては、画像同士が重ならないように画像サイズを調整してレイアウトしているが、本発明はこれに限るものではなく、選択画像を重ねて配置し、個々の画像サイズをより大きくするとともに画像同士の隙間を少なくしてレイアウトするようにした本発明の第３実施形態を以下に説明する。なお、この第３実施形態を適用した画像処理装置の構成は上記第１の実施形態と同様であり、本実施形態を適用した画像処理プログラムを図９に示すフローチャートに沿って説明すると、先ず、上記第１実施形態と同様に、プログラム起動後、画像の一覧表示からユーザーが所望の画像を選択し、これらの選択画像から顔情報検出部２１が顔情報を検出し、この顔情報に基づき中心画像及び周辺画像を決定してレイアウトを開始する。なお、レイアウト前の選択画像の一例を図１０（Ａ）に示す。なお、本実施形態で示す例では、選択画像７１〜７４が選択されており、これらの選択画像７１〜７４を、符号７５で示す大きさのレイアウト枠の中に配置するが、選択画像７１〜７４をそのままレイアウト枠７５の中に並べただけでは、選択画像７１〜７４が全て入りきらないことになる。画像レイアウト部２３では、顔情報検出部２１で検出した顔の位置情報に基づいて、各選択画像７１〜７４の主要被写体の顔領域７１ａ，７２ａ，７３ａ，７４ａが重ならないようにレイアウト枠７５の中に配置して図１０（Ｂ）に示すレイアウト画像７６を作成する。なお、このレイアウト画像７６を作成するとき顔領域７１ａ，７２ａ，７３ａ，７４ａ以外の部分は重なって配置してもよい。これによって、レイアウト枠７５の中に配置する個々の選択画像７１〜７４のサイズをより大きくすることが可能となり、且つ適正な位置に選択画像を配置したレイアウト画像７６を作成することが可能となる。

さらにまた、上記第１〜第３実施形態においては、主要被写体同士の互いの相対位置には関係なく、各選択画像を配置しているが、本発明はこれに限らず、以下で説明する本発明の第４実施形態では、主要被写体同士の相対位置を考慮してバランスよく画像を配置している。なお、この第４実施形態を適用した画像処理装置の構成は上記第１の実施形態と同様であり、本実施形態を適用した画像処理プログラムを図１１に示すフローチャートに沿って説明すると、先ず、上記実施形態と同様にプログラム起動後、画像の一覧表示からユーザーが所望の画像を選択する。そして、顔情報検出部２１では、上述した顔面積などの情報とともに、選択画像内における主要被写体の顔の重心位置（顔重心位置情報）を顔情報に含めて検出し、主要被写体比較部２２及び画像レイアウト部２３に顔情報を送る。なお、図１２（Ａ）にレイアウト前の選択画像８１〜８３を示す。なお、本実施形態において重心位置を求めるときは、例えば、各選択画像８１〜８３の顔領域８１ａ，８２ａ〜８２ｃ，８３ａの面積中心を算出する。そして、主要被写体が１つだけの選択画像８１，８３については、顔領域８１ａ，８３ａの面積中心がそれぞれの重心位置Ｇ_１，Ｇ_３となり、また複数の主要被写体を有する選択画像８２については、顔領域８２ａ〜８２ｃのそれぞれの面積中心からさらにそれらの中心値を算出したものが重心位置Ｇ_２となる。これら顔重心位置情報を含む顔情報が送られた主要被写体比較部２２では、顔情報に基づいて比較を行い、その比較結果から画像レイアウト部２３では、上述した顔重心位置情報に基づいて主要被写体同士の相対位置を決定する。すなわち、画像レイアウト部２３では、選択画像８１〜８３間における主要被写体の互いの顔重心位置Ｇ_１，Ｇ_２，Ｇ_３間の距離Ｌがほぼ等しくなるように配置してレイアウト画像８５を作成する（図１２（Ｂ）参照）。これによって、主要被写体間のバランスのとれたレイアウト画像８５を得ることができる。

なお、上記実施形態では、選択画像を選択画像ウィンドウ３２ｃに表示し、レイアウト画像をレイアウトウィンドウ３２ｄに表示するようにしているが、本発明はこれに限るものではなく、例えば、複数の選択画像を１つのウィンドウ内に表示し、その後、レイアウト画像３５を作成が終了したとき、このレイアウト画像３５に表示を切り換えるようにしてもよい。

また、上記実施形態では、マウス１４ｂによってカーソル３６を移動させて選択設定を行うようにしたが、本発明はこれに限定されず、マウス１４ｂの代わりに、キーボード１４ａのカーソルキーや、不図示のタブレットなどの入力装置を用いることが可能である。

また、上記実施形態では、本発明をパーソナルコンピュータに適用したが、本発明はこれに限定されず、デジタルスチルカメラ、デジタルビデオカメラ、フォトストレージ、ＰＤＡ、携帯電話機など、画像を取得して画像処理を行う画像処理装置を備えた各種電子機器に本発明を適用することができる。

本発明を適用したパーソナルコンピュータの構成を示すブロック図である。モニタの画面上に表示された画像表示ブラウザを示す図である。顔領域が抽出された画像の一例を示す図である。画像処理プログラムの処理手順を示すフローチャートである。レイアウト画像が作成されるときの画面表示の一例を示す図である。顔領域が複数抽出された画像の一例を示す図である。本発明の第２実施形態における画像処理プログラムの処理手順を示すフローチャートである。本発明の第２実施形態におけるレイアウト前の選択画像及びレイアウト画像を示す説明図である。本発明の第３実施形態における画像処理プログラムの処理手順を示すフローチャートである。本発明の第３実施形態におけるレイアウト前の選択画像及びレイアウト画像を示す説明図である。本発明の第３実施形態における画像処理プログラムの処理手順を示すフローチャートである。本発明の第３実施形態におけるレイアウト前の選択画像及びレイアウト画像を示す説明図である。

符号の説明

２パーソナルコンピュータ
１０ＣＰＵ
１２モニタ
１３操作部
１４ａキーボード
１４ｂマウス
１６画像処理プログラム
２１顔情報検出部
２２主要被写体比較部
２３画像レイアウト部

Claims

複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔面積が最小または最大の主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする画像処理装置。
複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔面積の総和を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像の顔面積総和を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔面積総和が最小または最大の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする画像処理装置。
複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔の個数を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像内における主要被写体の顔の個数を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする画像処理装置。
前記顔情報検出手段は、前記各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含んでおり、前記画像レイアウト手段は、前記顔位置情報に基づいて、主要被写体の顔の位置が重ならないように前記選択画像を配置して前記レイアウト画像を作成することを特徴とする請求項１ないし３いずれか記載の画像処理装置。
前記顔情報検出手段は、前記各選択画像内における主要被写体の顔の重心位置を検出した顔重心位置情報を前記顔情報に含んでおり、前記画像レイアウト手段は、前記顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成することを特徴とする請求項１ないし４いずれか記載の画像処理装置。
前記画像レイアウト手段は、前記中心画像を大きく、前記周辺画像を前記中心画像よりも小さくサイズ調整することを特徴とする請求項１ないし５いずれか記載の画像処理装置。
前記画像レイアウト手段は、前記中心画像を小さく、前記周辺画像を前記中心画像よりも大きくサイズ調整することを特徴とする請求項１ないし５いずれか記載の画像処理装置。
複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔面積が最小または最大の主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする画像処理プログラム。
複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積の総和を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の顔面積総和を比較する主要被写体比較処理と、この主要被写体比較手段による比較結果に基づいて、顔面積総和が最小または最大の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする画像処理プログラム。
複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔の個数を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像内における主要被写体の顔の個数を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする画像処理プログラム。
前記顔情報検出処理では、前記各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含んでおり、前記レイアウト画像作成処理では、前記顔位置情報に基づいて、主要被写体の顔の位置が重ならないように前記選択画像を配置して前記レイアウト画像を作成することを特徴とする請求項８ないし１０いずれか記載の画像処理プログラム。
前記顔情報検出処理では、前記各選択画像内における主要被写体の顔の重心位置を検出した顔重心位置情報を前記顔情報に含んでおり、前記レイアウト画像作成処理では、前記顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成することを特徴とする請求項８ないし１１いずれか記載の画像処理プログラム。
前記レイアウト画像作成処理では、前記中心画像を大きく、前記周辺画像を前記中心画像よりも小さくサイズ調整することを特徴とする請求項８ないし１２いずれか記載の画像処理プログラム。
前記レイアウト画像作成処理では、前記中心画像を小さく、前記周辺画像を前記中心画像よりも大きくサイズ調整することを特徴とする請求項８ないし１２いずれか記載の画像処理プログラム。