JP2007207055A - 画像処理装置、プログラム、情報記憶媒体及び画像処理方法 - Google Patents

Abstract

【課題】画像全体から画像の主要部となる画像領域を抽出して拡大表示等する場合に、主要部となる画像領域を自動的に且つ的確に抽出する。
【解決手段】全画像表示部１１は、画像取得部１０によって取得した画像を表示する。操作部１２は、画像の一部を拡大する等のユーザからの指定を受け付ける。領域分割部１３は、画像を複数の画像領域に分割する。領域評価部１４は、各画像領域の主要度を示す領域評価値を算出する。領域選択部１５は、領域評価値に基づいて最大の領域評価値を有する画像領域を選択する。画像拡大表示部１６は、選択した画像領域を所定の倍率で拡大表示する。
【選択図】図１

Description

本発明は、画像から特定の画像領域を抽出する画像処理装置、プログラム、当該プログラムを記憶した情報記憶媒体及び画像処理方法に関する。

デジタルカメラのビューワやフォトビューワ等において、表示した画像全体から画像の主要部となる特定の画像領域を抽出してその画像領域を拡大表示等する場合に、抽出する画像領域を選択する様々な方法がある。例えば、一般的な方法として、画像の中央部に画像の主要部があることが多いことから、画像の中央部の画像領域を抽出して拡大表示する方法がある。また、以下の特許文献１に記載されている方法では、画像を表示する表示装置にタブレットを備え、ユーザがそのタブレットを用いて表示したい画像領域を指定し、その画像領域を拡大表示する方法がある。また、以下の特許文献２に記載されている方法では、画像のトリミングを行うために、例えば人物画像の場合、顔の中心位置や顔領域の大きさ等の特徴量を抽出し、その特徴量に基づいてトリミングを実行している。

特許第３２４２３４５号公報 特開２０００−２６１６４４号公報

しかしながら、上記の一般的な方法である画像の中央部の画像領域を抽出する方法では、画像によっては必ずしも画像の中央部に主要部が位置するとは限らず、画像の主要部を抽出する方法としては問題がある。また、上記の特許文献１に記載されているタブレットを用いて画像領域を指定する方法では、タブレットなどの特別な入力装置が必要であり、ユーザのタブレットを用いた入力作業に手間がかかってしまう。また、上記の特許文献２に記載されているトリミングのために画像領域を抽出する方法では、トリミングということで、画像から切り取る最適なサイズと位置を決定してバランスの良い画像領域を抽出することが目的であり、画像から主要部を抽出して拡大表示する本発明の目的とは異なる。

本発明は、上記の事情に鑑みてなされたものであり、画像全体から画像の主要部となる画像領域を抽出して拡大表示等する場合に、主要部となる画像領域を自動的に且つ的確に抽出できる画像処理装置、プログラム、情報記憶媒体及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、上記した問題を解決するために、画像から特定の画像領域を抽出する画像処理装置であって、前記画像を取得する画像取得部と、前記取得した画像を複数の画像領域に分割する領域分割部と、前記分割した各画像領域からそれぞれの特徴を示す領域評価値を算出する領域評価部と、前記算出した領域評価値が最大となる画像領域を選択する領域選択部とを備える。

本発明に係る画像処理装置によれば、画像取得部によって取得した画像を領域分割部によって複数の画像領域に分割し、領域評価部によって、分割した各画像領域から画像内容の特徴を示す領域評価値を算出し、領域選択部によって領域評価値が最大である画像領域を選択する。これにより、画像全体において画像の主要部を有する画像領域を、当該主要部の特徴を示す領域評価値の大小によって判定することができる。このため、領域評価値が最大となる画像領域を選択することによって、画像全体から画像の主要部を有する画像領域を自動的に且つ的確に抽出することが可能となる。

上記した本発明に係る画像処理装置では、前記領域評価部は、前記各画像領域に含まれる人物の情報に基づいた人評価値と、前記各画像領域が有するエッジ画素の情報に基づいたエッジ評価値と、前記各画像領域が有する明るさに関する情報に基づいた明るさ評価値とのうち少なくとも１つの評価値によって領域評価値を算出する。

上記した本発明に係る画像処理装置では、前記人評価値は、前記各画像領域に含まれる人物の数に関する情報と、当該人物が有する顔領域の面積に関する情報と、当該人物が有するエッジ強度に関する情報とのうち少なくとも１つの情報に基づいて算出される。

上記した本発明に係る画像処理装置では、前記領域評価部は、前記取得した画像の中央部により近い位置にある画像領域の領域評価値がより大きくなるような係数を用いて領域評価値を算出する。

上記した本発明に係る画像処理装置では、ユーザからの操作を受け付ける操作部を更に備え、前記操作部からの指示に基づいて、前記領域分割部は前記領域選択部によって選択した画像領域を複数の画像領域に更に分割し、前記領域評価部は前記更に分割した各画像領域の領域評価値を算出し、前記領域選択部は前記算出した領域評価値が最大となる画像領域を選択することを繰り返す。

上記した本発明に係る画像処理装置では、ユーザからの操作を受け付ける操作部を更に備え、前記操作部からの指示に基づいて、前記領域選択部は前記算出した領域評価値が大きい順に画像領域を選択する。

上記した本発明に係る画像処理装置では、前記領域選択部によって選択した画像領域が最適であるか否かを判断する領域判断部を更に備え、前記領域判断部によって前記選択した画像領域が最適であると判断されるまで、前記領域分割部は前記選択した画像領域を複数の画像領域に更に分割し、前記領域評価部は前記更に分割した各画像領域の領域評価値を算出し、前記領域選択部は前記算出した領域評価値が最大となる画像領域を選択することを繰り返す。

上記した本発明に係る画像処理装置では、前記領域判断部は、前記選択した画像領域に含まれる人物領域の面積又は当該人物が有する顔領域の面積が所定の条件を満たすときに最適であると判断する。

上記した本発明に係る画像処理装置では、前記領域判断部は、前記選択した画像領域を構成する画素の数量が所定の条件を満たすときに最適であると判断する。

上記した本発明に係る画像処理装置では、前記画像取得部によって複数画像を取得した場合に、前記取得した複数画像のそれぞれから連続して前記最適である画像領域を選択する。

本発明に係るプログラムは、上記した問題を解決するために、画像から特定の画像領域を抽出する処理をコンピュータに実行させるためのプログラムであって、コンピュータを、前記画像を取得する画像取得部と、前記取得した画像を複数の画像領域に分割する領域分割部と、前記分割した各画像領域からそれぞれの特徴を示す領域評価値を算出する領域評価部と、前記算出した領域評価値が最大となる画像領域を選択する領域選択部として機能させる。

本発明に係る情報記憶媒体は、上記した問題を解決するために、コンピュータ読み取り可能な情報記憶媒体であって、上記プログラムを記憶する。

本発明に係る画像処理方法は、上記した問題を解決するために、画像から特定の画像領域を抽出する画像処理方法であって、前記画像を取得する画像取得工程と、前記取得した画像を複数の画像領域に分割する領域分割工程と、前記分割した各画像領域からそれぞれの特徴を示す領域評価値を算出する領域評価工程と、前記算出した領域評価値が最大となる画像領域を選択する領域選択工程とを備える。

（第１実施形態）
以下、本発明の第１実施形態に係る画像処理装置について図面を参照して説明する。

＜画像処理装置の構成＞
最初に、本実施形態に係る画像処理装置の構成について説明する。
本実施形態に係る画像処理装置は、デジタルカメラ、フォトビューワ、携帯電話端末、個人情報端末及びパーソナルコンピュータ等の情報機器に備えられたＣＰＵ（中央処理装置）と、そのＣＰＵで実行されるプログラムとによって実現される。

図１は、本発明に係る画像処理装置１００の構成を示すブロック図である。図１に示すように、画像処理装置１００は、画像取得部１０、全画像表示部１１、操作部１２、領域分割部１３、領域評価部１４、領域選択部１５及び画像拡大表示部１６によって構成される。

画像取得部１０は、上記の情報機器に備えられた記憶媒体や、上記の情報機器に通信回線を介して接続された他の記憶装置等から、デジタルカメラ、カメラ機能付き携帯電話、イメージスキャナ及びフィルムスキャナ等によって取得した例えば人物画像や風景画像等の画像を取得する。
全画像表示部１１は、画像取得部１０によって取得した画像を、上記の情報機器に備えられた例えば液晶表示装置等の画像表示装置、及び上記の情報機器に通信回線を介して接続された他の画像表示装置に表示する。
操作部１２は、全画像表示部１１に表示した画像の一部を拡大する等のユーザからの指定を、上記の情報機器に備えられた入力ボタン等の入力装置、及び上記の情報機器に通信回線を介して接続された他の入力装置等から受け付ける。

領域分割部１３は、画像取得部１０によって取得した画像を、所定の画素数からなる複数の画像領域に分割する。
領域評価部１４は、領域分割部１３によって分割した各画像領域のそれぞれに対して、各画像領域に含まれる人物に関する情報、各画像領域が有するエッジ画素に関する情報及び明るさに関する情報等に基づいて、各画像領域の主要度を示す領域評価値を算出する。
領域選択部１５は、領域評価部１４によって算出した各画像領域の領域評価値に基づいて、最大（最も主要度が高い）の領域評価値を有する画像領域を選択する。
画像拡大表示部１６は、領域選択部１５によって選択した画像領域を、画像表示装置に所定の倍率で拡大表示する。

＜画像処理の動作＞
次に、本実施形態による画像処理の動作について説明する。
図２は、本実施形態による画像処理の動作を示すフローチャートである。

最初に、図２に示すステップＳ１１０では、画像取得部１０によって、画像表示装置に表示する対象となる人物画像や風景画像等の画像をＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）形式の階調データとして取得する。

ステップＳ１２０では、全画像表示部１１によって、ステップＳ１１０において取得した画像の全体を画像表示装置に表示する。

ステップＳ１３０では、操作部１２によって、画像表示装置に表示している画像全体から一部の画像を拡大表示する指定をユーザから受け付ける。ユーザから拡大表示する指定が入力された場合、ステップＳ１４０へ進む。
他方、ユーザから拡大表示する指定が入力されなかった場合、図２に示す画像処理を終了する。

ステップＳ１４０では、領域分割部１３によって、画像全体を所定の画素数で構成される複数の画像領域に分割する。図７は、画像全体を複数の画像領域に分割した例を示す説明図であり、本実施形態では、同図に示すように、画像全体を均等に４分割した画像領域Ａ〜Ｄと、画像全体の中央部に位置する画像領域Ｅとの計５つの画像領域Ａ〜Ｅに分割するものとする。

ステップＳ１５０では、領域評価部１４によって、ステップＳ１４０において分割した各画像領域Ａ〜Ｅのそれぞれに対して、各画像領域の主要度を示す領域評価値を算出する。なお、各画像領域の領域評価値を算出する処理の詳細は後述する。

ステップＳ１６０では、領域選択部１５によって、ステップＳ１５０において算出した各画像領域の領域評価値に基づいて、これから表示装置に表示する画像領域を選択する。
ここで、選択する画像領域は、領域評価値が最大（最も主要度が高い）の画像領域を最も主要な画像領域であると判断し、この画像領域を表示するように選択する。

ステップＳ１７０では、画像拡大表示部１６によって、ステップＳ１６０において選択した最も主要な画像領域を拡大して、画像表示装置に表示する。
画像領域を拡大表示したらステップＳ１３０に戻り、拡大表示した画像領域の一部を更に拡大表示する必要がある場合に、拡大表示する指定をユーザから受け付ける。

なお、本発明の画像取得工程は、上記ステップＳ１１０に相当する。また、本発明の領域分割工程は、上記ステップＳ１４０に相当する。また、本発明の領域評価工程は、上記ステップＳ１５０に相当する。また、本発明の領域選択工程は、上記ステップＳ１６０に相当する。

＜領域評価値の算出処理＞
次に、各画像領域の領域評価値を算出する処理について説明する。
図３は、各画像領域の領域評価値を算出する処理を示すフローチャートである。上記した図２に示すステップＳ１５０の各画像領域の領域評価値を算出する処理へ進むと、最初に、図３に示すステップＳ２１０の処理を開始する。

ステップＳ２１０では、図２に示すステップＳ１１０において取得した画像からノイズ等を除去するために、画像全体を平滑化する処理を行う。ここで、平滑化処理には様々な方法があるが、本実施形態においては、平滑化フィルタを使用して画像全体に対して平滑化処理を行う。なお、これとは別の方法によって平滑化処理を行っても良い。また、この平滑化処理を省略することも可能である。

ステップＳ２２０では、ステップＳ２１０において平滑化処理を行った画像全体から人物の顔領域を検出する。ここで、人物の顔領域の検出は、画像中に含まれる全ての顔領域の検出を、単一の顔領域の検出を繰り返すことで行う。単一の顔領域の検出は、単一の顔肌色領域を検出して、この顔肌色領域と顔パターンテンプレートとを照合することで行う。

まず、顔領域の候補領域となる肌色領域の検出方法としては、よく用いられるＨＳＶ色空間での検出方法がある。これは、肌色画素のＨ成分（色相）とＳ成分（彩度）がＨＳＶ色空間のＨ−Ｓ平面上において一定範囲内に収束している特徴を利用する検出方法であり、Ｖは明度を表す。具体的には、ＲＧＢ形式の画像をＨＳＶ表色系に変換して、ＨＳＶ色空間にて肌色画素を検出する。そして、隣接する肌色画素同士を連結することで、肌色領域を形成する。

次に、検出された肌色領域が顔領域であるか否かを判定するには、事前に用意された向き別の顔パターンと照合する。具体的には、肌色画素同士を連結することで検出された顔の候補領域の輝度画像を求める。得た輝度画像の寸法を、顔パターンの寸法にあわせるように拡大／縮小したうえ、顔パターンと同様にモザイク化処理を行って、顔の候補領域と顔パターンの相関度を求める。そして、顔パターンのうちのいずれかの相関度が予め決められた閾値以上の相関度を持つ顔の候補領域を顔領域と判定する。

ステップＳ２３０では、ステップＳ２２０において検出した各人の顔領域に基づいて、画像全体から各人の顔面積を検出する。

ステップＳ２４０では、ステップＳ２２０において検出した各人の顔領域に基づいて、画像全体から各人の顔領域内の全画素からエッジ強度を検出する。エッジ強度の検出は、各人の顔領域において、隣接する画素間での差分を求め、その差分の最大値をその顔領域のエッジ強度とする。具体的には、注目画素データをＲＧＢとし、それの隣接画素データをＲ’Ｇ’Ｂ’とすると、一人物の顔領域において、Ｍａｘ（Ｒ−Ｒ’，Ｇ−Ｇ’，Ｂ−Ｂ’）の値がエッジ強度となる。
なお、ここでは、各人の顔領域からエッジ強度を求めたが、各人の顔領域から、その顔領域を有する人物領域を特定し、この人物領域からエッジ強度を求めても良い。

ステップＳ２５０では、図２に示すステップＳ１４０において分割した各画像領域の１つから、その画像領域の主要度を示す指標の１つである人評価値を算出する。なお、人評価値を算出する処理の詳細は後述する。

ステップＳ２６０では、上記の画像領域から、その画像領域の主要度を示す指標の１つであるエッジ評価値を算出する。なお、エッジ評価値を算出する処理の詳細は後述する。

ステップＳ２７０では、上記の画像領域から、その画像領域の主要度を示す指標の１つである明るさ評価値を算出する。なお、明るさ評価値を算出する処理の詳細は後述する。

ステップＳ２８０では、ステップＳ２５０〜Ｓ２７０において算出した人評価値、エッジ評価値及び明るさ評価値に基づいて、その画像領域の領域評価値を算出する。領域評価値は、上記のそれぞれの評価値に重み係数を乗算して積算することにより算出する。具体的には、人評価値の重み係数をＷｐ、エッジ評価値の重み係数をＷｅ及び明るさ評価値の重み係数をＷｌとすると、次式により算出する。なお、本実施形態では、重み係数Ｗｐを１．０として、重み係数Ｗｅ及びＷｌを０．５の値としている。
（領域評価値）＝Ｗｐ×（人評価値）＋Ｗｅ×（エッジ評価値）＋Ｗｌ×（明るさ評価値）

ステップＳ２９０では、全ての画像領域に対して領域評価値の算出処理が終了したか否かを判定する。終了していない場合は、次の画像領域を処理するためにステップＳ２５０の人評価値の算出処理に戻る。
他方、全ての画像領域に対して領域評価値の算出処理が終了した場合は、各画像領域に対して領域評価値を算出する処理を終了して、図２に示すフローチャートの処理に戻る。

なお、本実施形態では人評価値、エッジ評価値及び明るさ評価値に基づいて領域評価値を算出したが、これらの人評価値、エッジ評価値及び明るさ評価値のうち少なくとも１つによって領域評価値を算出しても良い。

＜人評価値の算出処理＞
次に、人評価値を算出する処理について説明する。
図４は、人評価値を算出する処理を示すフローチャートである。

図４のフローチャートに示すように、最初に、ステップＳ３１０では、図３に示すステップＳ２２０において画像全体から検出した顔領域に基づいて、処理対象となる１つの画像領域内に含まれる人物の人数を求める。そして、当該画像領域内に含まれる人数をnとすると、次式のように、求めた人数nを画像領域の人評価値としてセットする。即ち、１つの画像領域において、当該画像領域内に含まれる人物の人数が多い程、人評価値が高くなる。
（人評価値）＝ｎ

ステップＳ３２０では、図３に示すステップＳ２３０において画像全体から検出した各人の顔面積に基づいて、処理対象となる１つの画像領域内に含まれる各人の顔面積と、画像全体において最大の顔面積を持つ人物の顔面積とを比較することによって、その割合を人評価値に加算する。即ち、当該画像領域内の各人の顔面積をＡｉ、画像全体における最大顔面積をＡｍａｘとすると、次式のように、各人の顔面積Ａｉを最大顔面積Ａｍａｘで除した数値の総和を人評価値に加算する。
（人評価値）＝Σ（Ａｉ／Ａｍａｘ）

なお、上記した人評価値は、各人の顔領域を基に顔の大きさとして顔面積を検出し、その顔面積に基づいて人評価値を算出したが、人評価値の算出のために用いる顔の大きさとして、例えば、顔面積の代わりに、顔の大きさと関連ある顔の長さ、目と目の距離及び目と口の距離などを用いても良い。

ステップＳ３３０では、図３に示すステップＳ２４０において画像全体から検出した各人のエッジ強度に基づいて、処理対象となる１つの画像領域内に含まれる各人のエッジ強度と、画像全体において最大のエッジ強度を持つ人物のエッジ強度とを比較することによって、その割合を人評価値に加算する。即ち、当該画像領域内の各人のエッジ強度をＥｉ、画像全体における最大エッジ強度をＥｍａｘとすると、次式のように、各人のエッジ強度Ｅｉを最大エッジ強度Ｅｍａｘで除した数値の総和を人評価値に加算する。ここで、各人のエッジ強度が大きいということは、各人にピントが合っている画像といえる。また逆に、各人のエッジ強度が小さいということは、各人にピントが合っていない画像といえる。
（人評価値）＝Σ（Ｅｉ／Ｅｍａｘ）

ここで、人評価値に、上記した顔面積及びエッジ強度による人評価値の両方の値を反映する場合は、顔面積による人評価値の重み係数をＷｐ＿ａ、エッジ強度による人評価値の重み係数をＷｐ＿ｅとすると、次式により算出する。なお、本実施形態では、重み係数Ｗｐ＿ａを０．５〜０．７として、重み係数Ｗｐ＿ｅを１−Ｗｐ＿ａの値としている。
（人評価値）＝Ｗｐ＿ａ×（顔面積による人評価値）＋Ｗｐ＿ｅ（エッジ強度による人評価値）

なお、本実施形態では人物の数、顔領域の大きさ及びエッジ強度に基づいて人評価値を算出したが、これらの人物の数、顔領域の大きさ及びエッジ強度のうち少なくとも１つによって人評価値を算出しても良い。

上記したように、人評価値は、画像領域内に多くの人物が含まれるほど高く、また人物の顔領域が大きいほど高く、更に人物のエッジ強度が大きいほど高くなる。これらの人物の数、顔領域の大きさ及びエッジ強度に関しての特徴量を検出し、その特徴量に基づいて人評価値を算出することから、画像領域から人物に関しての主要度を適切に得ることができる。

＜エッジ評価値の算出処理＞
次に、エッジ評価値を算出する処理について説明する。
図５は、エッジ評価値を算出する処理を示すフローチャートである。

図５のフローチャートに示すように、最初に、ステップＳ４１０では、処理対象となる１つの画像領域からエッジ画素を検出する。このエッジ画素は、注目画素データと隣接画素データとの差が所定の閾値を超える場合に、エッジ画素であると判定する。即ち、注目画素データをＲＧＢ、隣接画素データをＲ’Ｇ’Ｂ’として、所定の閾値を例えば３とすると、エッジ画素となる判定条件は、次式のように表される。
Ｍａｘ（Ｒ−Ｒ’，Ｇ−Ｇ’，Ｂ−Ｂ’）＞３

ステップＳ４２０では、処理対象となる画像領域から、当該画像領域に占めるステップＳ４１０において検出したエッジ画素の割合を計算してエッジ画素比率を求める。当該画像領域内の全画素数をｔ及びエッジ画素数をｅとすると、エッジ画素比率は、次式によって算出する。
（エッジ画素比率）＝（ｅ／ｔ）×１００

ステップＳ４３０及びＳ４４０では、ステップＳ４２０において求めたエッジ画素比率に基づいてエッジ評価値を算出する。
ステップＳ４３０において、エッジ画素比率が５０％未満の場合、ステップＳ４５０に示すようにエッジ評価値は次式とする。
（エッジ評価値）＝（エッジ画素比率）／５０

他方、ステップＳ４４０において、エッジ画素比率が８０％未満の場合、即ちエッジ画素比率が５０％以上で且つ８０％未満の場合、ステップＳ４６０に示すように、エッジ評価値は次式とする。
（エッジ評価値）＝１−（（エッジ画素比率）−５０）／３０

他方、ステップＳ４４０において、エッジ画素比率が８０％未満でない場合、即ちエッジ画素比率が８０％以上の場合、ステップＳ４７０に示すように、エッジ評価値は次式とする。
（エッジ評価値）＝０

図８は、エッジ画素比率とエッジ評価値との関係を表したグラフである。同図に示すように、エッジ画素比率が５０％未満の場合は、エッジ画素比率が低くなるのに比例してエッジ評価値も低くなる。これは、画像領域内にエッジが少ない場合は、それだけ存在する対象物も少なくなることによる。また逆に、エッジ画素比率が５０％以上且つ８０％未満の場合は、エッジ画素比率が高くなるのに反比例してエッジ評価値が低くなる。これは、エッジ画素が半分を超える場合、エッジが多くなるのにしたがって主要物として認識できるエッジが少なくなることによる。更に、エッジ画素比率が８０％以上の場合は、エッジ評価値は０になる。これは、エッジが多すぎる場合、エッジが例えば芝とか洋服の模様等によるものであり、主要物としては除外すべき対象であることから０としている。

上記したように、エッジ評価値は、画像領域内のエッジ画像比率が５０％に近づくほど高くなる。このように、画像領域内からエッジ画素に関しての特徴量を検出し、その特徴量に基づいてエッジ評価値を算出することから、画像領域から対象物のエッジに関しての主要度を適切に得ることができる。

＜明るさ評価値の算出処理＞
次に、明るさ評価値を算出する処理について、図６を用いて説明する。
図６は、明るさ評価値を算出する処理を示すフローチャートである。

図６のフローチャートに示すように、最初に、ステップＳ５１０では、処理対象となる１つの画像領域内に含まれる全画素に対して次式の計算を実行し、それぞれの画素から明度信号を算出する。そして、算出した明度信号の中から、明度信号の最大値及び最小値を検出する。
（明度信号）＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
なお、上記した明度信号を算出する処理を簡略化するために、次式を用いて明度信号を算出しても良い。
（明度信号）＝Ｇ

ステップＳ５２０では、ステップＳ５１０において検出した明度信号の最大値及び最小値に基づいて、次式によって明るさ評価値を算出する。即ち、明るさ評価値は、明度差が大きいほど高くなる。
（明るさ評価値）＝（（明度信号の最大値）−（明度信号の最小値））／２５５

上記したように、明度に関しての特徴量を検出して明るさ評価値として算出することから、画像領域内にエッジが少ない対象物であっても、明度の変化を検出することによって、画像領域から対象物の明るさに関しての主要度を適切に得ることができる。

＜領域評価値算出の具体例＞
次に、分割した各画像領域から領域評価値を算出する処理の具体例について説明する。図９は、領域評価値を算出する対象となるサンプル画像Ａを示しており、ここでは、説明を簡略化するために、全体の画像を４つの画像領域（ａ）〜（ｄ）に分割している。図１０は、図９に示すサンプル画像Ａから検出した特徴量と、それぞれの特徴量に基づいて算出した評価値を示す表である。図１０の表の左側欄に示すように、各画像領域の特徴量は、人数、エッジ画素比率及び明るさ（明度信号の最大値−最小値）の項目によって構成される。また、表の右側欄に示す各画像領域の評価値は、人評価値、エッジ評価値、明るさ評価値及び領域評価値の項目によって構成される。なお、ここでは、人評価値は、人数の特徴量によってのみ算出している。

例えば、図９に示す画面左上の画像領域（ａ）の場合、人数の特徴量は、画像領域内に人が含まれないため０、エッジ画素比率の特徴量は４０％、明るさの特徴量は２５５となっている。そして、これらの特徴量から算出した人評価値は０、エッジ評価値はエッジ画素比率が５０未満であるため４０÷５０の計算によって０．８、明るさ評価値は２５５÷２５５の計算によって１．０となる。領域評価値は、ここでは人評価値の重み係数を１．０、エッジ評価値及び明るさ評価値の重み係数０．５として、０×１．０＋０．８×０．５＋１．０×０．５を計算することによって０．９が算出される。

また、画面右下の画像領域（ｄ）の場合、人数の特徴量は２、エッジ画素比率の特徴量は８０％、明るさの特徴量は１０２となっている。そして、算出した人評価値は２、エッジ評価値はエッジ画素比率が８０以上であるため０、明るさ評価値１０２÷２５５の計算によっては０．４となる。領域評価値は、２×１．０＋０＋０．４×０．５を計算することによって２．２が算出される。

ここで、上記した画像領域（ａ）〜（ｄ）の中で、画像領域（ｄ）が最も領域評価値が高いことから最も主要な画像領域として選択され、この画像領域（ｄ）が画像表示装置の画面全体に拡大表示される。

次に、別のサンプル画像から領域評価値を算出する例について説明する。図１１は、領域評価値を算出する対象となるサンプル画像Ｂを示しており、図９に示すサンプル画像Ａと同様に、全体の画像を４つの画像領域（ａ）〜（ｄ）に分割している。サンプル画像Ａとは、画像領域（ｃ）及び（ｄ）に人が含まれない点が異なっている。図１２は、図１１に示すサンプル画像Ｂから検出した特徴量と、それぞれの特徴量に基づいて算出した評価値を示す表である。

サンプル画像Ｂの場合、図１２の表の領域評価値に示すように、画像領域（ａ）の領域評価値が最も高いことから最も主要な画像領域として選択され、この画像領域（ａ）が画像表示装置の画面全体に拡大表示される。

上述したように、本実施形態の画像処理装置１００では、取得した画像を画像表示装置に表示し、ユーザから表示画像に対して拡大表示の指示があった場合、表示画像を画像領域（Ａ）〜（Ｅ）に分割し、それぞれの画像領域の主要度を示す領域評価値を算出する。そして、最大（最も主要度の高い）の領域評価値を有する画像領域を選択して、その画像領域を画像表示装置の全面に拡大表示する。画像を複数の画像領域に分割し、それぞれの画像領域から画像の主要度を判定する材料となる特徴量を検出して、その特徴量に基づいて領域評価値を算出することから、画像全体において主要部を有する画像領域の判定を自動的に、且つ的確に実行することができる。このため、ユーザは、手間を掛けないで表示されている画像の主要部の詳細を拡大表示して確認することができる。

また、拡大表示した画像に対して、ユーザから再度、拡大表示の指示があった場合にも、この表示画像を複数の画像領域に更に分割し、それぞれの画像領域から領域評価値を算出し、最大の領域評価値の画像領域を画像表示装置に拡大表示することができる。ユーザからの拡大表示の受け付け〜拡大表示の一連の処理は、複数回にわたって繰り返し行うことができることから、例えば画像に被写体となる細かい対象物が大量に存在する場合でも、ユーザは、拡大表示の指定を繰り返すことで、更に詳細な画像の表示、また更に詳細な画像の表示という具合に、所望の画像を順次拡大して確認することができる。

（第２実施形態）
以下、本発明の第２実施形態に係る画像処理装置について図面を参照して説明する。

＜第２実施形態に係る画像処理装置の動作＞
第２実施形態の画像処理装置の動作について説明する。なお、第２実施形態の画像処理装置の構成は、図１に示す第１実施形態の画像処理装置の構成と同様である。
図１３は、第２実施形態による画像処理の動作を示すフローチャートである。図２に示すフローチャートとは、ステップＳ６７０において、選択した画像領域が最適であるか否かの判定処理が加わっている点が異なる。

ステップＳ６１０〜Ｓ６６０では、図２に示すＳ１１０〜Ｓ１６０と同様に、取得した画像の全体を画像表示装置に表示し、表示している画像の一部領域を拡大表示する指定をユーザから受け付ける。そして、拡大表示する指定を受け付けた場合、画像全体を複数の画像領域に分割し、各画像領域のそれぞれに対して各画像領域の主要度を示す領域評価値を算出して拡大表示する画像領域を選択する。

ステップＳ６７０では、ステップＳ６６０において選択した画像領域が最適であるか否かを判定する。最適であると判定した場合は、ステップＳ６８０へ進む。
他方、最適でないと判定した場合は、ステップＳ６４０に戻ってステップＳ６６０において選択した画像領域を更に細かく分割し、分割した各画像領域から算出した領域評価値に基づいて画像領域を再度選択する。そして、選択した画像領域が最適になるまでステップＳ６４０〜Ｓ６６０の処理を繰り返す。

ここで、画像領域が最適であるか否かの判定は、本実施形態では、画像領域内に人物が含まれる場合、その人物の顔領域の面積が画像領域の面積の所定割合以上を占めているか否かによって判定する。この所定割合の値は、用途によって適宜定めることが可能であり、例えば画像領域の１／３又は１／２を顔領域が占めている等によって判定しても良い。

一方、上記とは別の判定方法として、画像領域内の画素数が、画像表示装置の画素数と所定割合で対応する場合に、最適な画像領域であると判定しても良い。具体的には、例えば、画像領域内の画素数と画像表示装置の画素数とが１：１又は２：１の割合で対応する画像領域を最適な画像領域として判定しても良い。ここで、上記の１：１の割合の場合、画像領域内の画素を画像表示装置にそのまま表示することになり、２：１の割合の場合、画像領域内の画素を半分に間引いて画像表示装置に表示することになる。

ステップＳ６８０では、図２に示すＳ１７０と同様に、ステップＳ６７０において最適な画像領域であると判断した画像領域を、画像表示装置の画面全体に拡大表示する。
画像領域を拡大表示したらステップＳ６３０に戻り、拡大表示した画像領域の一部を更に拡大表示する必要がある場合に、拡大表示する指定をユーザから受け付ける。

なお、本発明の領域判断部は、上記ステップＳ６７０に相当する。

上述したように、本実施形態の画像処理装置１００では、取得した画像を画像表示装置に表示し、ユーザから拡大表示の指示があった場合、画像領域に占める人物の顔領域の面積の割合、又は画像領域の画素数の条件によって画像領域が最適であるか否かを判定する。画像領域が最適でない場合は、画像領域が最適になるまで、表示画像を複数の画像領域に分割し、それぞれの画像領域から領域評価値を算出して、最大の領域評価値の画像領域を選択する処理を繰り返す。そして、最適になった画像領域を画像表示装置に拡大表示する。ユーザは、取得した表示画像に対して最初に拡大表示の指示をするのみで、自動的に最適な画像領域が拡大表示されることから、ユーザが拡大表示指定を何度も繰り返して、目的の画像を拡大表示させる手間を軽減することができる。

（第３実施形態）
以下、本発明の第３実施形態に係る画像処理装置について図面を参照して説明する。

＜第３実施形態に係る画像処理装置の動作＞
第３実施形態の画像処理装置の動作について説明する。なお、第３実施形態の画像処理装置の構成は、図１に示す第１実施形態の画像処理装置の構成と同様である。
図１４は、第３実施形態による画像処理の動作を示すフローチャートである。図１３に示す第２実施形態による画像処理の動作を示すフローチャートとは、ステップＳ７９０〜Ｓ７９３において次画像に対しての処理が加わっている点が異なる。

ステップＳ７１０〜Ｓ７８０では、図１３に示すＳ６１０〜Ｓ６８０と同様に、取得した画像の全体を画像表示装置に表示し、表示している画像の一部領域を拡大表示する指定をユーザから受け付ける。そして、拡大表示する指定を受け付けた場合、画像全体を複数の画像領域に分割し、各画像領域のそれぞれに対して各画像領域の主要度を示す領域評価値を算出して拡大表示する画像領域を選択する。そして、選択した画像領域が最適であるか否かを判定し、最適でないと判定した場合は、最適な画像領域が選択されるまで、画像領域の分割、領域評価値の算出及び画像領域の選択の処理を繰り返す。
他方、画像領域が最適であると判定した場合は、この画像領域を画像表示装置の画面全体に表示する。

ステップＳ７９０では、操作部１２によって、画像の拡大表示を解除するか否かの指定をユーザから受け付ける。
拡大表示を解除する指定を受け付けた場合、ステップＳ７２０に戻って、取得した画像全体を画像表示装置に表示する。
他方、拡大表示を解除する指定を受け付けなかった場合、ステップＳ７９１へ進む。

ステップＳ７９１では、操作部１２によって、拡大表示した画像の次画像がある場合に、その次画像を続けて表示するか否かの指定をユーザから受け付ける。
次画像を表示する指定を受け付けた場合、ステップＳ７９２へ進み、次に表示する対象となる画像を取得して、ステップＳ７４０に戻り、取得した画像全体を複数の画像領域に分割して、領域評価値の算出及び画像領域の選択の処理へ進む。
他方、次画像を表示する指定を受け付けなかった場合、図１４に示す画像処理を終了する。

ステップＳ７９３では、ステップＳ７３０において画像を拡大表示する指定をユーザから受け付けなかった場合、操作部１２によって、次画像があるときその次画像を続けて表示するか否かの指定をユーザから受け付ける。
次画像を表示する指定を受け付けた場合、ステップＳ７１０に戻って表示対象となる次画像を取得する。
他方、次画像を表示する指定を受け付けなかった場合は、図１４に示す画像処理を終了する。

上述したように、本実施形態の画像処理装置１００では、複数画像を取得した場合に、それぞれの画像に対して、自動的に最適な画像領域を画像表示装置に拡大表示することができることから、ユーザは、簡単な操作で、複数画像を最適な画像状態で拡大表示して確認することができる。

なお、本発明の実施形態は、以下のように変更しても良い。

（変形例１）上記した実施形態では、画像領域の領域評価値を算出するために、人評価値、エッジ評価値及び明るさ評価値に重み係数を乗算して積算することにより算出したが、領域評価値の算出方法はこれだけに限定されない。例えば、領域評価値を算出する際に、画像の中心部と画像領域との距離に応じて評価値が低くなるような重み係数を領域評価値に乗算する。これにより、画像の中央部にある画像領域ほど領域評価値が高くなるように補正されることから、画像中央部に主要部が位置することが多い一般的なケースに、より適したように対応することができる。

（変形例２）上記した実施形態では、最も主要度の高い領域評価値の画像領域を拡大表示後、その表示画像に対して、更に拡大表示する指示をユーザから受け付けていた。しかし、ユーザからの受け付けはこれに限らず、主要度の高い画像領域の順に拡大表示する指示をユーザから受け付け、分割した画像領域を主要度の高い順に拡大表示しても良い。これにより、最初に拡大表示した画像領域がユーザの所望する画像領域でなかった場合、ユーザは、目的とする画像領域に辿り着くまで主要度の高い順に次々と画像領域を表示することができる。

（変形例３）上記した実施形態では、人評価値、エッジ評価値及び明るさ評価値に所定の重み係数を乗算して積算することにより算出した。ここで、この重み係数を、例えばデジタルカメラの場合のように画像を撮像したときの人物モードや風景モード等の撮像モードが判別できる場合に、これらの撮像モードに応じて重み係数を規定しても良い。具体的には、上記した実施形態では、重み係数Ｗｐを１．０として、重み係数Ｗｅ及びＷｌを０．５の値としたが、ここで例えば人物モード以外の場合は、重み係数Ｗｐを「１／（画像全体において最大の人評価値）」として、重み係数Ｗｅ及びＷｌを０．５の値とする。撮像モードに応じた重み係数を規定することによって、例えば人物画像や風景画像に適した、より正確な主要部の抽出が可能になる。

（変形例４）上記した実施形態では、画像全体を均等に５つの画像領域Ａ〜Ｅの固定位置に分割したが、分割する画像領域の位置、個数及び大きさ等はこれに限定されない。例えば、画像領域の位置を固定にするのではなく可変にするとか、画像全体をもっと小さい画像領域で多くの個数に分割するとか、分割する各画像領域の大きさを均等ではなく画像領域によって大きさを変えるとかしても良い。図１５は、画像領域の位置を可変にした例を示す説明図である。同図に示すように、画像領域の位置は固定ではなく、同図に向かって左から右方向に画像領域が移動している。ここでは、領域評価部１４は、移動する各画像領域から主要度を示す領域評価値を算出する。画像領域の位置を可変にすることによって、画像領域が固定の場合に複数の画像領域にまたがる画像からも、その主要度を算出することができる。このため、画像の主要部が画像全体のどの位置にあっても的確に主要部となる画像領域の抽出が可能になる。

（変形例５）上記した実施形態では、明るさ評価値を算出するために、算出した明度信号の大きさを比較して最大値及び最小値を検出したが、別の方法によって検出しても良い。例えば、明度信号と画素出現頻度とのヒストグラムを作成して、そのヒストグラムを基に、最小明度から出現頻度を累積し、累積画素比率が１％程度になったときの明度信号を明度信号の最小値とする。また、最小明度から出現頻度を累積し、累積画素比率が９９％程度になったときの明度信号を明度信号の最大値とする。この検出方法によれば、画像領域内のノイズの影響を低く抑えることができる。

本発明に係る画像処理装置の構成を示すブロック図。 本実施形態による画像処理の動作を示すフローチャート。 各画像領域の領域評価値を算出する処理を示すフローチャート。 人評価値を算出する処理を示すフローチャート。 エッジ評価値を算出する処理を示すフローチャート。 明るさ評価値を算出する処理を示すフローチャート。 画像全体を複数の画像領域に分割した例を示す説明図。 エッジ画素比率とエッジ評価値との関係を表したグラフ。 領域評価値を算出する対象となるサンプル画像Ａ。 サンプル画像Ａから検出した特徴量と、それぞれの特徴量に基づいて算出した評価値を示す表。 領域評価値を算出する対象となるサンプル画像Ｂ。 サンプル画像Ｂから検出した特徴量と、それぞれの特徴量に基づいて算出した評価値を示す表。 第２実施形態による画像処理の動作を示すフローチャート。 第３実施形態による画像処理の動作を示すフローチャート。 画像領域の位置を可変にした例を示す説明図。

符号の説明

１０…画像取得部、１１…全画像表示部、１２…操作部、１３…領域分割部、１４…領域評価部、１５…領域選択部、１６…画像拡大表示部、１００…画像処理装置。

Claims (13)

1. 画像から特定の画像領域を抽出する画像処理装置であって、
   前記画像を取得する画像取得部と、
   前記取得した画像を複数の画像領域に分割する領域分割部と、
   前記分割した各画像領域からそれぞれの特徴を示す領域評価値を算出する領域評価部と、
   前記算出した領域評価値が最大となる画像領域を選択する領域選択部とを備えることを特徴とする画像処理装置。
2. 前記領域評価部は、前記各画像領域に含まれる人物の情報に基づいた人評価値と、前記各画像領域が有するエッジ画素の情報に基づいたエッジ評価値と、前記各画像領域が有する明るさに関する情報に基づいた明るさ評価値とのうち少なくとも１つの評価値によって領域評価値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記人評価値は、前記各画像領域に含まれる人物の数に関する情報と、当該人物が有する顔領域の面積に関する情報と、当該人物が有するエッジ強度に関する情報とのうち少なくとも１つの情報に基づいて算出されることを特徴とする請求項２に記載の画像処理装置。
4. 前記領域評価部は、前記取得した画像の中央部により近い位置にある画像領域の領域評価値がより大きくなるような係数を用いて領域評価値を算出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. ユーザからの操作を受け付ける操作部を更に備え、
   前記操作部からの指示に基づいて、前記領域分割部は前記領域選択部によって選択した画像領域を複数の画像領域に更に分割し、前記領域評価部は前記更に分割した各画像領域の領域評価値を算出し、前記領域選択部は前記算出した領域評価値が最大となる画像領域を選択することを繰り返すことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. ユーザからの操作を受け付ける操作部を更に備え、
   前記操作部からの指示に基づいて、前記領域選択部は前記算出した領域評価値が大きい順に画像領域を選択することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
7. 前記領域選択部によって選択した画像領域が最適であるか否かを判断する領域判断部を更に備え、
   前記領域判断部によって前記選択した画像領域が最適であると判断されるまで、前記領域分割部は前記選択した画像領域を複数の画像領域に更に分割し、前記領域評価部は前記更に分割した各画像領域の領域評価値を算出し、前記領域選択部は前記算出した領域評価値が最大となる画像領域を選択することを繰り返すことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
8. 前記領域判断部は、前記選択した画像領域に含まれる人物領域の面積又は当該人物が有する顔領域の面積が所定の条件を満たすときに最適であると判断することを特徴とする請求項７に記載の画像処理装置。
9. 前記領域判断部は、前記選択した画像領域を構成する画素の数量が所定の条件を満たすときに最適であると判断することを特徴とする請求項７に記載の画像処理装置。
10. 前記画像取得部によって複数画像を取得した場合に、前記取得した複数画像のそれぞれから連続して前記最適である画像領域を選択することを特徴とする請求項７から９のいずれか一項に記載の画像処理装置。
11. 画像から特定の画像領域を抽出する処理をコンピュータに実行させるためのプログラムであって、
    コンピュータを、
    前記画像を取得する画像取得部と、
    前記取得した画像を複数の画像領域に分割する領域分割部と、
    前記分割した各画像領域からそれぞれの特徴を示す領域評価値を算出する領域評価部と、
    前記算出した領域評価値が最大となる画像領域を選択する領域選択部として機能させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。
13. 画像から特定の画像領域を抽出する画像処理方法であって、
    前記画像を取得する画像取得工程と、
    前記取得した画像を複数の画像領域に分割する領域分割工程と、
    前記分割した各画像領域からそれぞれの特徴を示す領域評価値を算出する領域評価工程と、
    前記算出した領域評価値が最大となる画像領域を選択する領域選択工程とを備えることを特徴とする画像処理方法。
    

Images