JP2008059534A - 画像トリミング装置、画像トリミング方法およびそのプログラム - Google Patents

Abstract

【課題】撮影画像に撮影された人物の顔だけでなく各シーンを特徴付ける画像部分を残すようにトリミングする。
【解決手段】顔領域抽出手段２２で撮影画像から顔を撮影した顔領域を抽出し、注目領域抽出手段２３で撮影画像Ｐより所定の範囲の明度を有す領域、所定の範囲の彩度を有す領域および所定の範囲の周波数を多く含む領域のうちのいずれかの領域を注目領域として抽出する。トリミング手段２６で、顔領域と注目領域とがトリミング枠内に存在するようにトリミング枠を設定する。
【選択図】図２

Description

本発明は、デジタルスチールカメラなどで撮影した画像をトリミングする画像トリミング装置、画像トリミング方法およびそのプログラムに関するものである。

従来、デジタルカメラなどで撮影したデジタル画像の構図を整えるため不要な部分をトリミングして、電子アルバムにまとめることが行われているが、通常、デジタル画像のトリミングはパソコンなどを用いて手作業で行われている。つまり、パソコンの写真編集ソフトで、ディスプレイに表示されているトリミング枠をデジタル画像から切り出したい部分に重ねあわせるようにマウスなどを用いてドラッギングして、編集者が望ましいと思う画像領域をトリミング枠内に入れてトリミング範囲を決定する。しかしながら、撮影枚数が多い場合、かかるトリミング処理に手間がかかるという問題がある。

そこで、人物画像を含むデジタル撮影画像をトリミングする際には、デジタル画像から人物の顔を検出し、顔領域の垂直方向の位置と水平方向の位置がトリミング後の画像上で所定比率になるようにトリミングするものが提案されている（例えば、特許文献１）。

一方、証明写真を撮る撮像装置は、略矩形の筐体内に撮像室を設け、撮像室に入った被写体となる人物の顔を撮像して、撮像した画像を印刷するものが各地に設置されている。この撮像室には、被写体となる人物が着座する椅子と、被写体を照射する照明器具が設けられ、コイン投入口硬貨を投入すると自動的に撮影が行われる。このような撮像装置では、顔が規定の位置に写るように正面のミラーに頭頂部を合せるマークが記されており、このマーク位置に頭頂部が一致するように椅子を回転させ、その高さを手動で上下させ、頭頂部の位置合わせをしていた。

しかし、このように顔の位置を手動で合せると、できあがった写真は顔の位置が上下にばらつくことが多く、写真の最上部から頭頂部までの天部が広い間が抜けたような写真になったり、天部が狭く窮屈で見苦しい写真になってしまうことがある。そこで、人物が撮像されたカラー画像から肌色領域を抽出し、抽出された肌色領域から人物の頭頂部、眼及び口の位置を求めて、顔を左右に等分する中心線と頭頂部の位置と、頭頂部から口までの距離とに基づき、所定の枠内に顔が収まるようにトリミングする手法を提案したものがある（例えば、特許文献２）。
特開２００５−２６７４５４公報 特開２００４−９６４８７公報

人物の顔を中心に撮影した撮影画像であれば、特許文献１のようにデジタル画像から人物の顔を検出し、顔領域の垂直方向の位置と水平方向の位置がトリミング後の画像上で所定比率になるようにトリミングしたり、特許文献２の証明写真のように用途が限定されたデジタル画像の場合には、被写体の顔が中心になるようにトリミング枠を設定すれようにすればよいが、結婚式のケーキカットのシーンを撮影した画像では人物を撮影した部分と同じくらいにケーキが写っていることも重要である。

しかしながら、上述の手法でトリミングをおこなうと、撮影画像中から顔のみを抽出してトリミングを行なうため、ケーキなどのシーンの特徴を表す画像部分をトリミングしてしまい撮影したシーンの特徴がなくなることになる。

そこで、本発明では、人物の顔だけでなく各シーンを特徴付ける画像部分を残すようにトリミングするトリミング装置、トリミング方法、およびそのプログラムを提供することを目的とするものである。

本発明の画像トリミング装置は、人物を撮影して得られた撮影画像を記憶する記憶手段と、
前記撮影画像から顔を撮影した顔領域を抽出する顔領域抽出手段と、
前記撮影画像より、所定の範囲の明度を有す領域、所定の範囲の彩度を有す領域および所定の範囲の周波数を多く含む領域のうちのいずれかの領域を注目領域として抽出する注目領域抽出手段と、
前記顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するトリミング手段とを備えたことを特徴とするものである。

本発明の画像トリミング方法は、人物を撮影して得られた撮影画像を記憶する記憶ステップと、
前記撮影画像から顔を撮影した顔領域を抽出する顔領域抽出ステップと、
前記撮影画像より、所定の範囲の明度を有す領域、所定の範囲の彩度を有す領域および所定の範囲の周波数を多く含む領域のうちのいずれかの領域を注目領域として抽出する注目領域抽出ステップと、
前記顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するトリミングステップとを備えたことを特徴とするものである。

本発明のプログラムは、コンピュータを、
人物を撮影して得られた撮影画像を記憶する記憶手段と、
前記撮影画像から顔を撮影した顔領域を抽出する顔領域抽出手段と、
前記撮影画像より、所定の範囲の明度を有す領域、所定の範囲の彩度を有す領域および所定の範囲の周波数を多く含む領域のうちのいずれかの領域を注目領域として抽出する注目領域抽出手段と、
前記顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するトリミング手段として機能させることを特徴とするものである。

「顔領域と注目領域とがトリミング枠内に存在するように」は、顔領域と注目領域の少なくとも一部が入っていればよい。

また、画像トリミング装置に、前記顔領域のうち重要度の高い顔領域を判定する顔重要度判定手段をさらに備えようにし、
前記トリミング手段が、前記重要度の高い顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するものが望ましい。

また、前記注目領域抽出手段が、前記撮影画像より、明度の高い高明度領域、彩度の高い高彩度領域および高周波数成分を多く含む高周波数領域のうちのいずれかの領域を注目領域として抽出するものであってもよい。

「明度の高い高明度領域」とは、明度が所定の値より高い領域をいう。

「彩度の高い高彩度領域」とは、彩度が所定の値より高い領域をいう。

「高周波数成分を多く含む高周波数領域」とは、所定の値より高い周波数を、撮影画像中の他の部分に比べて多く含む領域をいう。

画像トリミング装置が、前記顔領域抽出手段により抽出した顔領域の該顔の方向を検出する顔方向検出手段をさらに備えたものであり、
前記顔重要度判定手段が、前記抽出された各顔領域の位置、該顔領域の大きさおよび該顔領域の顔の方向のうちの少なくとも一つに基づいて重要度を判定するものであってもよい。

前記顔重要度判定手段が、前記顔領域抽出手段により抽出した顔領域のうち前記撮影画像の画像端の近傍に存在しかつ該顔領域の大きさが中心付近に存在する顔領域の大きさに比較して所定の割合より小さい場合には、前記画像端の近傍に存在する顔領域の重要度は高くないものと判定するものであってもよい。

前記顔重要度判定手段が、前記顔領域抽出手段により抽出した顔領域のうち前記撮影画像の画像端の近傍に存在しかつ該顔の向きが正面を向いていない顔領域の重要度は高くないものと判定するものであってもよい。

「顔領域が中心付近に存在する」か、「顔領域が画像端の近傍に存在する」かの判定は、例えば、複数抽出された顔領域が撮影画像の中心や画像端との距離を比較して相対的に判断しても良いし、撮影画像の中心や画像端から所定の範囲内に存在するか否かなど撮影画像中の顔領域の位置から判定しても良い。あるいは、複数の顔領域の相対位置と、顔領域の撮影画像内の位置とを組み合わせて撮影画像の中心付近に存在する画像であるか、撮影画像の画像端の近傍に存在する画像であるかを判定するようにしても良い。

本発明によれば、撮影画像から顔領域を抽出し、さらに、明度や彩度や周波数に基づいて撮影シーンの特徴を表すと思われる注目領域を抽出して、顔領域と注目領域とを含むようにトリミング枠を決めるようにすることにより、撮影された人物の顔と撮影シーンの特徴となる画像部分とが残るようにトリミングすることができる。

撮影画像には、後ろ向きの顔や撮影画像の端に小さく撮影されている顔などあまり重要ではない顔も含まれているため、顔領域の重要度を求めて、顔領域のうち重要度の高い顔領域がトリミング後の画像に残るようにトリミング枠を設定するようにしてもよい。

また、明度の高い高明度領域や彩度の高い高彩度領域は、撮影の中心となる特徴となる画像部分に現れることが多い。また、高周波数成分を多く含む高周波数領域は構造物の輪郭を含んでおり、撮影の中心となる構造物である可能性がある。そこで、高明度領域や高彩度領域や高周波数領域のいずれかを注目領域として抽出するようにすれば、撮影シーンの特徴となる画像部分を抽出することが可能となる。

また、抽出された各顔領域の位置、大きさおよび顔の方向から、重要度を決定するようにすれば、顔が撮影者の方向に向いていない顔や、中心付近にない顔、他の顔に比べて小さい画像などは除いて撮影者の意図に沿うように各顔領域の重要度を決定することができる。

以下、図面を参照して本発明による画像トリミング装置の実施の形態について説明する。図１は本発明の実施形態による画像トリミング装置を備えた画像編集システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による画像編集システム１は、トリミングの機能を有するソフトウェアがインストールされたパソコンなどで構成される画像トリミング装置２と、撮影画像Ｐを撮影するデジタルスチールカメラなどの撮影装置３とを備える。また、撮影装置３で撮影された撮影画像Ｐは、記録媒体やネットワークを介して、本実施形態の画像トリミング装置２に入力される。

図２は画像トリミング装置２の構成を示す概略ブロック図である。図２に示すように、画像トリミング装置２は、人物を撮影して得られた撮影画像Pを記憶する記憶手段２１と、撮影画像Pから顔を撮影した顔領域を抽出する顔領域抽出手段２２と、撮影画像の明度情報、彩度情報および周波数情報のうちの少なくとも１つの情報を用いて注目領域を抽出する注目領域抽出手段２３と、抽出した顔領域の顔の方向を検出する顔方向検出手段２４と 顔領域のうち重要度の高い顔領域を判定する顔重要度判定手段２５と、重要度が高いと判定された顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するトリミング手段２６とを備える。

記憶手段２１は、ＲＡＭ等からなるメモリである。この記憶手段２１には、インターフェース（不図示）を介して読み込まれた撮影画像Pが記憶される。

顔領域抽出手段２２は、記憶手段２１に記憶されている撮影画像Pから、顔領域を抽出する。具体的には、例えば、肌色領域を顔の候補となる領域とし、この肌色領域を顔パターンと照合して肌色の領域が顔領域であるか否かを判定する。顔の候補となる肌色領域の検出方法としては、YCrCb色空間での検出方法がある。これは、肌色画素の色相の成分をYCrCb色空間のCrCb平面上における特徴を利用して検出する。具体的には、ＲＧＢ（Red Green Blue）形式等で表された撮影画像PをYCrCb表色系に変換して、YCrCb色空間にて肌色画素を検出し、隣接する肌色画素同士を連結することで、肌色領域を形成して行く。

次に、検出された肌色領域が顔領域かどうかを判定する。事前に用意された向き別の複数の顔パターンと照合することで判定を行う。まず、肌色画素同士を連結することで検出された顔の候補領域を顔パターンの寸法にあわせるように拡大／縮小したうえで、顔パターンとの相関度を求める。そして、顔パターンのうちのいずれかの相関度が予め決められた閾値以上の相関度を持つ顔の候補領域を顔領域であると判定する。複数の肌色領域が存在する場合には、各肌色領域が顔領域であるか否かを判定することで複数の顔領域を検出することができる。

顔方向検出手段２４は、検出された顔領域内の画像から顔が向いている方向を検出する。具体的には、図３に示すように、例えば顔領域の中心点C2を求め、中心付近に存在する円形の形状を人物の目として抽出し、両目間を結んだ線分の中心点C１を求める。さらに、顔領域の中心点C２と両目の中心点C１を結ぶ線分と、点C１を通る両目を結ぶ線分の垂線とが成す角度θで顔の方向を検出する。この角度θから顔が右を向いているか、左を向いているか、あるいは、正面を向いているかを判定することができる。あるいは、人物の目が１つしか検出できない場合や、目が１つも検出できない場合には横を向いているか後ろを向いていると判定するようにしても良い。顔領域が複数存在する場合は、それぞれについて判定する。

顔重要度判定手段２５は、各顔領域の位置、大きさ、顔の向き、あるいはこれらの組み合わせから各顔領域の重要度を判定する。通常は、撮影画像Pの中心付近に重要な人物をもっていくように撮影が行なわれる。しかし、複数検出された顔領域の中には、あまり重要でない顔領域が含まれている。例えば、撮影画像Pの画像端の近傍に撮影されており顔の向きが正面を向いていないものや、中心付近に存在する顔領域と比較すると非常に小さいもの（中心となる重要な人物と離れた位置にいる人物を撮影したものである可能性が高い）は、あまり重要でない場合が多い。

そこで、中心付近に存在する顔領域や、顔の向きが正面に近いものは重要度を高く設定する。中心付近に存在する顔領域であるか否かは、撮影画像Pの中心点から各顔領域の中心までの距離を基準に、より中心点に近い顔領域を中心付近に存在する画像として重要度のポイントを高くし、角度θが所定の範囲内であって角度θが「０」に近いものほど重要度のポイントを高くして重要度の高い顔領域と判定する。また、重要度の高い顔領域は、１つの顔領域だけではなく複数の顔領域が重要度の高い顔を判定される場合や、撮影画像Pに撮影されている全ての顔領域の重要度が高いと判定される場合もある。

また、撮影画像Pの中心点から距離が他の顔領域に比べて遠く画像端の近傍に存在する顔領域であっても、顔領域の大きさが大きいものや顔の向きが正面に近いものは、中心付近に存在する顔領域と同程度に重要度は高いと判定するようにした方がよい。

しかし、顔領域のうち撮影画像Pの画像端の近傍に存在し、かつ、この顔の向きが正面を向いていない顔領域の重要度は高くないものと判定する。

あるいは、顔領域のうち撮影画像Pの画像端の近傍に存在し、かつ、この顔領域の面積の大きさと中心付近に存在する顔領域の面積の大きさとを比較して、所定の割合より小さい場合には、画像端の近傍に存在する顔領域の重要度は高くないものと判定する。

顔領域が撮影画像Pの中心付近に存在するか画像端の近傍に存在するかは、例えば、複数抽出された顔領域の中心点と撮影画像Pの中心点との距離を比較して、撮影画像Pの中心点から相対的に近い位置にある顔領域が中心付近に存在する顔領域であると判定しても良いが、ある画像端から1／3（画像端と中心点を3等分する）の範囲にあるものは画像端の近傍に存在する画像であると判定し、この範囲以外の画像は中心付近に存在する画像であると判定するようにしても良い。さらに、複数の顔領域の相対位置と、撮影画像Pの中心点や画像端から所定の範囲内に存在しているか否かを組み合わせて中心付近に存在する画像であるか、画像端の近傍に存在する画像であるかを判定するようにしても良い。

注目領域抽出手段２３は、撮影画像Pに含まれる明度情報、彩度情報および周波数情報のいずれかの情報に基づいて注目領域を抽出する。例えば、結婚式のシーンを撮影した撮影画像P上には、キャンドルや花嫁の衣装など白い色のものが撮影され、その画像部分が結婚式のシーンを特徴付ける画像部分であることが多い。そのため、その画像部分がトリミングされると、結婚式のシーンの特徴が現れた画像部分を取り除くことになり好ましくない。そこで、撮影画像Pより明度の高い高明度領域を注目領域として抽出する。

高明度領域は、RGB形式で表された撮影画像PをYCrCbあるいはLabに変換して明度の高い領域を抽出する。ここでは、YCrCbへ変換する場合について具体的に説明する。撮影画像PをYCrCbに変換するには、RGBで表されている各ピクセルに対して、(1)〜(3)式を用いてY、Cr、Cbを計算する。

Y= 0.299R+0.587G+0.114B (1)
Cr= 0.500R-0.419G-0.081B (2)
Cb= -0.169R-0.332G+0.500B (3)
このうちYは、グレースケールで表す時の明度に該当し、このYでピクセルの明るさを判定することができる。そこで、Yの値が所定の閾値よりも大きい値を持つピクセルが多く現れた領域を高明度領域として抽出する。

あるいは、結婚式のシーンなどでは着物などの鮮やかな色の服を着た人も、そのシーンを特徴付ける画像部分である。従って、彩度の高い高彩度領域が注目領域になる場合もある。そこで、上述と同様に、撮影画像PをYCrCbあるいはLabの色空間に変換して、高彩度領域をCrCb値あるいはab値から高彩度領域を抽出する。図４に示すように、YCrCb 空間において、CrCb平面上で中心から所定の大きさの円の内側にあるピクセルはグレーであり、その円の外側の範囲の値を持つピクセルが高彩度であるので、高彩度のピクセルを多く含む領域が高彩度領域になる。

上述のように高明度領域や高彩度領域を検出する際には、ローパスフィルタを用いて撮影画像Pのノイズや小さな構造物をぼかした後に、撮影画像PをYCrCbあるいはLabの色空間に変換して高明度領域や高彩度領域を抽出すれば、ノイズや細かい構造部に影響されて断片的な領域にならずに高明度領域や高彩度領域をある程度つながった領域として抽出することができ望ましい。

また、様々なシーンを撮影するときに人物と記念になる建物などの構造物を一緒に撮影することが多く、人物や建物などの構造物もシーンを特徴付ける画像部分になる。人物や構造物の輪郭は高周波数成分に含まれ、高周波数を多く含む高周波数領域が注目領域になる。

高周波数領域は、撮影画像Pから所定の周波数以上の周波数成分のみを抽出した高周波数成分画像を生成し、この高周波数成分画像を一定の大きさの複数の小ブロックに分けて、各小ブロック単位に含まれる高周波数成分を抽出して、各小ブロックに含まれる高周波数成分が他の小ブロックよりも多く含む領域を高周波数領域として抽出する。

上述の高明度領域、高彩度領域、高周波数領域は、いずれかがシーンを特徴付ける注目領域となる場合もあるが、高明度領域と高彩度領域とが注目領域になる場合や、高彩度領域と高周波数領域とが注目領域になる場合など、高明度領域、高彩度領域、高周波数領域のうちのいくつかを組み合わせたものがシーンを特徴付ける注目領域となる場合もある。さらに、シーンによっては、撮影画像Pに含まれる明度情報と、彩度情報、周波数情報の組み合わせから注目領域を判定できるような場合もある。

また、シーンに応じて、高明度領域や高彩度領域や高周波数領域に限らず、所定の範囲の明度を持つ領域や、所定の範囲内の彩度を持つ領域や、所定の範囲内の周波数が多く現れる領域を注目領域として抽出してもよい。

トリミング手段２６は、重要度の高い顔領域と注目領域とがトリミング枠内に存在するようにトリミング枠を撮影画像P上に設定する。具体的には、重要度が高いと判定された顔領域が全てを含み、さらに、注目領域も含むようにトリミング枠を設定する。あるいは、人物を中心にした画像に仕上げる場合には、重要度の高い顔領域が所定の大きさより小さくならないようにトリミング枠を設定し、注目領域がある程度入っていれば、注目領域は全て入らない状態でトリミング枠を設定するようにしてもよい。

次に、本実施の形態の画像トリミング装置２を用いて、撮影画像Pをトリミングするときの処理の流れについて図５のフローチャートに基づいて、デジタルスチールカメラ（以下、デジカメという）を用いて結婚式のシーンを撮影した撮影画像Pをトリミングする場合を例に、具体的に説明するが、結婚式のシーンに限定されるものではない。

デジカメで撮影した撮影画像Pを、画像トリミング装置２の入力手段を介してメモリ（記憶手段２１）に読み込む（S100）。結婚式のシーンを撮影した画像には、ウェディングドレスやキャンドルなど白い色の高明度のものや、着物など鮮やかな色をした高彩度のものも多く現れる。また、多く人が集まっている場面を撮影すると輪郭が多く含まれ、高周波数の画像成分を多く含む画像部分が現れる。このような結婚式のシーンを特徴付ける画像部分は残すようにトリミングすることが望まれる。また、結婚式のシーンでは主役となる新郎新婦を画像の中心において撮影する場合が多い。

そこで、まず、画像トリミング装置２は撮影画像Pから顔領域抽出手段２２を用いて顔領域を抽出する（S101）。例えば、図６のように多くの人物が撮影されている場合には顔領域は複数検出されるが、図６の右端の破線で囲まれた人物ａのように後ろ頭しか撮影されていない人物や、図６の人物ｂのように中心に写っている人物に比べて画像端の近傍に写っている人物が非常に小さい場合は、あまり重要でない場合が多い。そこで、複数顔が検出された場合には、顔重要度判定手段２５で重要度の高い顔であるかを判定して、重要度の高い顔領域がトリミング枠内に収まるようにトリミング手段２６でトリミング枠を設定すればよい。例えば、図６の右端の人物ａ，ｂの顔領域は重要なでないと判定し、これらの顔領域をトリミングして図７に示す画像部分を残すようにする（S102）。

次に、注目領域抽出手段２３で撮影されたシーンに応じたタイプの注目領域を抽出する。そこで、高彩度領域を注目領域として抽出する場合には（S103）、例えば、図８（ａ）の撮影画像Pをローパスフィルターでぼかすと図８（ｂ）のような画像になる（S104）。このぼかした撮影画像PをYCrCbに変換して（S105）、CrCb平面上で彩度が図４の外側の値を持つか否かに基づいて２値化して図８（ｃ）のような２値化画像を生成する。２値化画像上に白く現れた領域が高彩度領域であり、図８の例では、左端の着物やドレスを着た人物を撮影した画像部分が高彩度領域であることがわかる。そこで、これらの人物を撮影した画像部分を注目領域として抽出する（S106）。トリミング手段では、この左端の着物やドレスを着た人物と、中心の人物を含むようにトリミング枠を設定し、図８（ａ）の画像より上部と右端をトリミングして、図８（ｄ）のように仕上げられる（S107）。

あるいは、注目領域抽出手段２３で高周波数領域を注目領域として抽出する場合には（S103）、例えば、図９（ａ）の撮影画像Pの高周波数成分を抽出すると図９（ｂ）のような画像になる（S108）。さらに、この高周波数成分画像を一定の大きさの複数の小ブロックに分けて、各小ブロック単位に含まれる高周波数成分を抽出して、各小ブロックに含まれる高周波数成分が他の小ブロックよりも多く含む領域を高周波数領域として抽出する（S109）。図９（ｂ）には、画像の中心付近に高周波数成分が多く現れ、高周波数領域は画像の中止付近に存在すると考えられる。そこで、トリミング手段で高周波数領域は画像のうち図９（ｄ）の画像部分がトリミング枠内に入るように設定し、図９（ａ）の画像の上部と右端がトリミングされて図９（ｃ）のように仕上げられる（S107）。

また、注目領域抽出手段２３で高明度領域を注目領域と抽出する方法を、図１０の撮影画像Pを例に説明する。まず、図１０の撮影画像Pを読み込み（S100）、顔領域抽出手段２２を用いて、図１０の撮影画像Pから顔領域を抽出するが（S101）、中心に撮影されている人物はいずれも十分に大きく撮影されているので、顔重要度判定手段２５で重要度の高い顔と判定され、いずれもトリミング対象とはならない（S102）。次に、注目領域抽出手段２３で撮影画像Pをローパスフィルターに通して全体をぼかし（S110）、細かいノイズや細かい構造物を目立たなくする。例えば、図１０（ａ）の撮影画像Pをローパスフィルターでぼかすと図１０（ｂ）のような画像になり、このぼかした撮影画像PをYCrCbに変換し（S111）、明度Ｙが所定の値以上であるか否かに基づいて２値化した２値化画像を生成して高明度領域を抽出する（図１０（ｃ）参照）。図１０の例では、白いロウソクを撮影した画像部分など２値化画像上に白く表れた領域が高明度領域であり、この高明度領域を注目領域として抽出する（S112）。そこで、ロウソクの撮影されている画像部分と、中心の人物の顔領域を含むようにトリミング手段でトリミング枠を設定する。図１０の例では、トリミングするところはほとんどなくそのままの画像で仕上げられる（S107）。

どのような画像部分を注目領域として残すかによって画像の仕上がりが異なり、高明度領域、高彩度領域、高周波数領域のいずれを注目領域とするかは、ユーザの指定によって切り替えられるようにしておいても良い。あるいは、ユーザがいくつかのトリミングを試した結果を見て、好みでトリミングを選択できるようにしておいてもよい。さらに、高明度領域、高彩度領域、高周波数領域の複数を考慮して、トリミング枠を決定するようにしておいてもよい。

また、仕上げ画像を生成する前に、トリミング枠のみを表示して、マウスなどのポインティングデバイスを用いて、ユーザが好みに合うように枠を広げることができるようにしてもよい。

上述では、重要でない顔領域を除いた撮影画像から、注目領域を抽出してトリミング枠を設定する場合について説明したが、撮影画像全体から注目領域を抽出した後に、抽出された注目領域と重要度の高い顔領域が含まれるようにトリミング枠を設定するようにしても良い。

上述では、顔の重要度が高い画像を残すようにトリミングする場合について説明したが、検出した顔領域全てが入るようにしても良い。あるいは、単に中心から所定の範囲内にある顔領域のみを残すようにトリミングしてもよい。

以上、詳細に説明したように、人物の画像領域と、撮影画像のシーンに応じて注目領域を抽出し、顔領域と注目領域からシーンの特徴を表す画像部分を残すようなトリミングをすることができる。

画像編集システムの概略ブロック図 画像トリミング装置の概略ブロック図 顔の向きを検出する方法を説明するための図 彩度を説明するための図 画像トリミング装置の動作を表したフローチャート 人物のトリミングを説明するための図 人物のトリミングした撮影画像の一例 高彩度領域の抽出を説明するための図 高周波数領域の抽出を説明するための図 高明度領域の抽出を説明するための図

符号の説明

１ 画像編集システム
２ 画像トリミング装置
３ 撮影装置
２１ 記憶手段
２２ 顔領域抽出手段
２３ 注目領域抽出手段
２４ 顔方向検出手段
２５ 顔重要度判定手段
２６ トリミング手段
Ｐ 撮影画像

Claims (8)

1. 人物を撮影して得られた撮影画像を記憶する記憶手段と、
   前記撮影画像から顔を撮影した顔領域を抽出する顔領域抽出手段と、
   前記撮影画像より、所定の範囲の明度を有す領域、所定の範囲の彩度を有す領域および所定の範囲の周波数を多く含む領域のうちのいずれかの領域を注目領域として抽出する注目領域抽出手段と、
   前記顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するトリミング手段とを備えたことを特徴とする画像トリミング装置。
2. 前記顔領域のうち重要度の高い顔領域を判定する顔重要度判定手段をさらに備え、
   前記トリミング手段が、前記重要度の高い顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するものであることを特徴とする請求項１記載の画像トリミング装置。
3. 前記注目領域抽出手段が、前記撮影画像より、明度の高い高明度領域、彩度の高い高彩度領域および高周波数成分を多く含む高周波数領域のうちのいずれかの領域を注目領域として抽出するものであることを特徴とする請求項１または２記載の画像トリミング装置。
4. 前記顔領域抽出手段により抽出した顔領域の該顔の方向を検出する顔方向検出手段をさらに備え、
   前記顔重要度判定手段が、前記抽出された各顔領域の位置、該顔領域の大きさおよび該顔領域の顔の方向のうちの少なくとも一つに基づいて重要度を判定するものであることを特徴とする請求項２または３いずれか記載の画像トリミング装置。
5. 前記顔重要度判定手段が、前記顔領域抽出手段により抽出した顔領域のうち前記撮影画像の画像端の近傍に存在しかつ該顔の向きが正面を向いていない顔領域の重要度は高くないものと判定する請求項４記載の画像トリミング装置。
6. 前記顔重要度判定手段が、前記顔領域抽出手段により抽出した顔領域のうち前記撮影画像の画像端の近傍に存在しかつ該顔領域の大きさが中心付近に存在する顔領域の大きさに比較して所定の割合より小さい場合には、前記画像端の近傍に存在する顔領域の重要度は高くないものと判定する請求項４記載の画像トリミング装置。
7. 人物を撮影して得られた撮影画像を記憶する記憶ステップと、
   前記撮影画像から顔を撮影した顔領域を抽出する顔領域抽出ステップと、
   前記撮影画像より、所定の範囲の明度を有す領域、所定の範囲の彩度を有す領域および所定の範囲の周波数を多く含む領域のうちのいずれかの領域を注目領域として抽出する注目領域抽出ステップと、
   前記顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するトリミングステップとを備えたことを特徴とする画像トリミング方法。
8. コンピュータを、
   人物を撮影して得られた撮影画像を記憶する記憶手段と、
   前記撮影画像から顔を撮影した顔領域を抽出する顔領域抽出手段と、
   前記撮影画像より、所定の範囲の明度を有す領域、所定の範囲の彩度を有す領域および所定の範囲の周波数情報を多く含む領域のうちのいずれかの領域を注目領域として抽出する注目領域抽出手段と、
   前記顔領域と前記注目領域とがトリミング枠内に存在するようにトリミング枠を設定するトリミング手段として機能させるプログラム。