JP2014127763A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】主要被写体が強調されたトリミング画像を生成できるようにする。
【解決手段】まず、画像から特徴的な領域を主要被写体領域として抽出し、トリミング領域の位置、主要被写体領域内の含有率、及びトリミングサイズをパラメータとして複数のトリミング候補領域を抽出する。次に、トリミング領域候補内の主要被写体領域及び背景領域における輝度差に基づいて評価値を算出し、評価値の最も高いトリミング領域候補をトリミング領域として選択し、トリミング画像を切り出す。
【選択図】図１

Description

本発明は、特に、画像からトリミング画像を生成するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、画像から特定領域を抽出し、抽出した領域に基づいて画像からトリミング画像を生成する方法が提案されている。例えば特許文献１には、画像から注目する被写体を抽出し、抽出した被写体の領域を含む複数のトリミング枠を抽出して、抽出した複数のトリミング枠に基づいて、画像から複数のトリミング画像を生成する手法が提案されている。また、特許文献２には、画像から主要被写体の位置を検出して、検出された主要被写体の位置が所定の位置になるようにトリミング領域を決定し、決定した領域についてトリミング処理を行って画像中からトリミング画像を生成する手法が提案されている。

特開２０１１−２１１６２９号公報 特開２０１０−１０３９７２号公報

しかしながら、上述の特許文献１及び２に記載された手法では、トリミング画像を生成する場合に、生成したトリミング画像における主要被写体と背景領域との間の特徴量の類似度を判定する手段がない。このため、主要被写体と背景領域との間の特徴量が類似していた場合に、画像内の主要被写体が強調されず、好適なトリミング画像を生成できない場合がある。

本発明は前述の問題点に鑑み、主要被写体が強調されたトリミング画像を生成できるようにすることを目的としている。

本発明に係る画像処理装置は、画像から被写体領域を検出する領域検出手段と、前記領域検出手段によって検出された被写体領域の少なくとも一部を含むトリミング領域候補を抽出する領域候補抽出手段と、前記領域候補抽出手段によって抽出されたトリミング領域候補における前記被写体領域と背景領域との間の輝度の差分値を第１の評価値として算出する領域評価手段と、前記領域評価手段によって算出された第１の評価値に基づいて前記トリミング領域候補の中からトリミング領域を選択し、トリミング画像として生成する画像生成手段とを有することを特徴とする。

本発明によれば、画像から主要被写体が強調されたより好適なトリミング画像を生成することができる。

本発明の実施形態に係るデジタルカメラにおけるトリミング処理を行うための機能構成例を示すブロック図である。 本発明の実施形態において、特徴的な領域を抽出する処理手順の一例を示すフローチャートである。 本発明の実施形態において、特徴的な領域の特徴評価値を算出する処理手順の一例を示すフローチャートである。 ヒストグラムの中でグルーピング処理を行う手順を説明するための図である。 トリミング領域の位置をパラメータとしてトリミング領域候補を抽出した例を示す図である。 主要被写体領域の含有率をパラメータとしてトリミング領域候補を抽出した例を示す図である。 トリミングサイズをパラメータとしてトリミング領域候補を抽出した例を示す図である。 特徴的な領域（主要被写体領域）と背景領域との関係を示す図である。 主要被写体含有率と対応する評価値の相関の一例を示す図である。 本発明の実施形態において、主要被写体領域及び背景領域における輝度差に基づいて評価値を算出する処理手順の一例を示すフローチャートである。

以下、本発明の好適な一実施形態について、添付図面を参照しながら説明する。本実施形態では、画像処理装置の一例としてデジタルカメラにおいて、撮影画像におけるトリミング領域を抽出し、前記トリミング領域に基づいてトリミング処理を行う場合について説明する。

＜撮像装置の構成＞
図１は、本実施形態に係るデジタルカメラ１００におけるトリミング処理を行うための機能構成例を示すブロック図である。
図１において、画像信号入力部１０１は、デジタル画像信号を入力する。例えばデジタルカメラ１００においては、レンズ等で構成される光学部（不図示）を介して入射される光を受け、ＣＣＤ部（不図示）で光量に応じた電荷を出力する。そして、Ａ／Ｄ変換部（不図示）でＣＣＤ部から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を実施したデジタル信号を入力する。

画像処理部１０２は、画像信号入力部１０１から入力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、デジタル画像信号をＹＵＶ画像信号に変換して出力する。特徴領域抽出部１０３は、画像から、複数画素で構成されたブロックの連結領域によって示された、１つの特徴的な領域を抽出する。例えば、画像を色毎にブロック分割して同一色の隣接ブロックを同一色グループにグルーピングし、特徴量に基づいて各グループ中のいずれかの領域グループを、特徴的な領域として抽出する。

トリミング領域候補抽出部１０４は、特徴領域抽出部１０３で抽出した特徴的な領域の少なくとも一部を含む枠をトリミング領域候補として抽出する。トリミング領域評価部１０５は、トリミング領域候補抽出部１０４で抽出されたトリミング領域候補について、特徴量に基づいた好適度を示す評価値を算出する。特徴量に基づく評価値を算出する方法としては、少なくともトリミング領域候補内の特徴的な領域及び背景領域における輝度差に基づいた評価値を算出する方法を含むものとする。このトリミング領域候補内の特徴的な領域及び背景領域における輝度差に基づいた評価値を算出する方法とは、例えば、算出したトリミング領域候補内の特徴的な領域及び背景領域における平均輝度値の差分値が大きい程、評価値を高くする方法がある。

トリミング領域抽出部１０６は、トリミング領域候補抽出部１０４で抽出されたトリミング領域候補の中から、トリミング領域評価部１０５によって算出された評価値を基にトリミング領域を決定し、トリミング画像を生成する。トリミング領域として抽出する領域は、例えば、トリミング領域評価部１０５で算出された評価値が最も高い領域とする。トリミング領域抽出結果出力部１０７は、トリミング領域抽出部１０６によるトリミング領域の抽出結果を出力する。

本実施形態では、以上の構成により、抽出したトリミング領域候補に対して輝度ヒストグラムに基づいて評価値を付与することにより、単調な画像になるトリミング枠に対しては好適度を示す評価値が低減する。これにより、より好適なトリミング領域を抽出することが可能となる。

＜特徴的な領域候補抽出＞
まず、特徴領域抽出部１０３による画像から特徴的な領域を抽出する処理について説明する。本実施形態では、一例として、画像を複数のブロックに分割し、特徴量が類似する隣接ブロックを同一グループにグルーピングして各グループを特徴的な領域候補領域として抽出する方法について説明する。

図２は、本実施形態において、領域検出手段である特徴領域抽出部１０３により、領域分割した各領域の特徴的な領域評価値を算出することによって特徴的な領域を抽出する処理手順の一例を示すフローチャートである。
（ステップＳ２０１）
まず、画像を複数のブロックに分割する。分割数は、例えば、画像を横方向に２０分割、縦方向に１５分割の、計３００分割としてもよい。

（ステップＳ２０２）
次に、分割した各ブロック内の画素における色相の平均値を算出し、ブロックの代表値とする。

（ステップＳ２０３）
次に、各ブロックの代表値を要素とした色相のヒストグラムを作成する。このとき、ヒストグラムの作成に用いるブロックは、彩度が閾値以上のブロックのみを用いる。これは、彩度の低いブロックは色相の値の信頼性が低いためである。

（ステップＳ２０４）
次に、ステップＳ２０３で作成したヒストグラムを用いて、同一色領域毎に各ブロックをグルーピングすることによって画像を領域分割する。まず、図４（ａ）に示すように、ヒストグラムの全区間を走査し、最も高い山HighestPeak1を見つける。次に、その山から、左右両側の谷方向に向かって走査し、ヒストグラムの頻度が第１の閾値以下となるか、その山からの区間の距離がTH＿HueRangeに達するまでの区間を同一領域の範囲とする。そして、ブロックの代表値がこの範囲に含まれるブロックを同一領域としてグルーピングする。また、この区間をグルーピング処理済みとして記録する。

次に、図４（ｂ）に示すように、グルーピング処理済みの区間を除いたヒストグラムの全区間を再び走査し、その中で最も高い山を見つけ、同様の操作を繰り返す。このとき、山から谷方向に向かって走査しているとき、ヒストグラムの頻度が第１の閾値以下となる区間にたどり着く前に、グルーピング処理済みの区間にたどり着いた場合、そこまでの区間を同一領域の範囲とする。これら一連の操作を、ヒストグラム中の全区間がグルーピング処理済みとされるまで繰り返す。この処理によって、同一色領域毎に各ブロックをグルーピングすることが可能となる。最後に、全ブロックを走査し、隣接していない同一色領域を別グループとするラベリング処理を行う。これによって、同一色領域となった、離れている別の物体を、別領域と認識することが可能となる。

（ステップＳ２０５）
次に、ステップＳ２０４で領域分割した領域のうち、画面端に接触している領域を背景領域と判定する。

（ステップＳ２０６）
次に、ステップＳ２０３で領域分割した領域の中から、ステップＳ２０５で背景と判定された領域を除外した、残りの１つ以上の領域を、特徴的な領域候補として抽出する。

＜特徴的な領域の特徴評価値算出＞
続いて、特徴領域抽出部１０３により特徴的な領域の特徴に応じた評価値を算出する処理について説明する。なお、本実施形態では、一例として、位置、面積及び形状によって特徴的な領域の特徴評価値を算出する方法について説明する。

図３は、本実施形態において特徴的な領域の特徴評価値を算出する処理手順の一例を示すフローチャートである。
（ステップＳ３０１）
まず、前述した色相のヒストグラムを用いた領域分割方法などによって抽出した特徴的な領域候補の位置及び面積の情報を取得する。

（ステップＳ３０２）
次に、ステップＳ３０１で取得した情報を用いて、位置及び面積による評価値を算出する。このとき、例えば、位置が画面中心よりであるほど位置による評価値が高く、面積の大きい領域ほど面積による評価値が高くなるようにする。

（ステップＳ３０３）
次に、ステップＳ３０１で取得した情報を用いて、形状による評価値を算出する。まず、領域の重心と、重心から最も遠い領域上の点との距離を算出し、この距離を最遠点距離とする。最遠点距離は、領域の外縁のいずれかのブロックを始点に、注目ブロックの四角と重心との距離を算出しながら、時計回りに領域の外縁のブロックを辿って一周し、もっとも長い距離を求めることにより算出される。

次に、偏平度を算出する。偏平度は、領域の重心から最遠点距離を半径に描いた円の面積と、ステップＳ３０１で取得した領域の面積との比によって求められる。即ち、（（（最遠点距離）²）＊π）／（領域の面積）を算出することにより求められる。この方法によると偏平度は、領域の形状が細長く偏平であるほど値が大きく、領域の形状が円に近づくほど値が小さくなる。最後に、偏平度を用いて形状による評価値を算出する。例えば、偏平度が高い領域ほど形状による評価値が低くなるようにしてもよい。

（ステップＳ３０４）
次に、ステップＳ３０３で求めた形状による評価値の補正係数を計算し、形状による評価値を補正する。上述した通り、サイズ比が小さいほど、分割領域と実際の形状とに誤差が生じる。この形状の誤差によって、ステップＳ３０３で求めた偏平度と、偏平度による評価値も、形状の誤差の度合いに応じた誤差を生じる。つまり、サイズ比が小さい領域ほど、本来の評価値よりも高い評価値が算出されている恐れがある。そこで、各候補領域について、サイズ比を計算し、サイズ比に応じて、ブロック領域の形状が与えた誤差を補正するための補正係数を算出する。例えば、サイズ比が小さい領域ほど、補正係数が小さくなるようにしてもよい。次に、補正係数をステップＳ３０３で求めた形状による評価値に掛ける。これによって、サイズ比が小さい領域の形状による評価値が低下することになり、特徴的な領域の形状の誤評価による誤検出を低減することが可能となる。

（ステップＳ３０５）
次に、ステップＳ３０２、及びステップＳ３０４で算出した位置、面積及び形状による評価値を加算し、特徴的な領域の特徴評価値を算出する。そして、算出した特徴的な領域の特徴評価値の最も高い領域を特徴的な領域として抽出し、以後、抽出した特徴的な領域を主要被写体領域と呼ぶものとする。例えば主被写体領域が人の顔であるような場合には、人の顔を拡大したトリミング画像を得ることができる。

＜トリミング領域候補抽出＞
次に、トリミング領域候補抽出部１０４により画像からトリミング領域候補を抽出する処理について説明する。本実施形態では、一例として、トリミング領域の位置、主要被写体領域内の含有率、及びトリミングサイズをパラメータとし、夫々のパラメータを組み合わせてトリミング領域候補を抽出する方法について説明する。

図５は、トリミング領域の位置をパラメータとしてトリミング領域候補５０１を抽出した例を示す図である。例えば、ステップＳ３０５で抽出した主要被写体領域５０２の重心から上方向に線分を引き、この線を０°と定義する。そして、これを基準に４５°刻みの線分を計８本引き、抽出するトリミング領域候補の中心座標が前記８本の線上のいずれかに存在するようにトリミング領域候補５０１を抽出する。

図６は、主要被写体領域の含有率をパラメータとしてトリミング領域候補６０１を抽出した例を示す図である。例えば、主要被写体領域全体の面積の何割が含まれているのかを示す含有率を、５割から１０割までの範囲内において１割刻みで変化させて抽出する。

図７は、トリミングサイズをパラメータとしてトリミング領域候補７０１を抽出した例を示す図である。例えば、所定のトリミングサイズのパターンを複数用意しておき、所定のトリミングサイズのいずれかで抽出する。

＜領域評価＞
続いて、トリミング領域評価部１０５により、抽出したトリミング領域候補の特徴量に基づいて評価値を算出する処理について説明する。本実施形態では、一例として、トリミング領域候補内の主要被写体領域及び背景領域における輝度差に基づいて評価値を算出する方法について説明する。

図１０は、トリミング領域評価部１０５により、トリミング領域候補内の主要被写体領域及び背景領域における輝度差に基づいて評価値を算出する処理手順の一例を示すフローチャートである。
（ステップＳ１００１）
まず、抽出したトリミング領域候補内の主要被写体領域における平均輝度値を算出する。

（ステップＳ１００２）
次に、抽出したトリミング領域候補内の、主要被写体領域を除く全領域（以下、背景領域）における平均輝度値を算出する。図８には、トリミング領域候補８０１内の特徴的な領域（主要被写体領域）８０２と背景領域８０３との関係を示している。

（ステップＳ１００３）
次に、ステップＳ１００１及びステップＳ１００２で算出したトリミング領域候補内の主要被写体領域及び背景領域における平均輝度値の差分値を算出する。

（ステップＳ１００４）
次に、ステップＳ１００３で算出した差分値に応じて、評価値を算出する。このとき、差分値が大きいほど高い評価値を算出する。算出した差分値が大きい画像は、主要被写体と背景領域との間のコントラストがあり、より主要被写体が強調された画像になりやすい。このため、差分値が大きいと、こういった画像が切り出されるトリミング処理を行いやすい。

（ステップＳ１００５）
次に、ステップＳ１００４で算出した評価値を、そのトリミング領域候補に付与する。

本実施形態では、主要被写体領域及び背景領域における輝度差に基づいて評価値（第１の評価値）を算出したが、さらにその他の評価値を算出して、これらの評価値の総和に基づいてトリミング領域を選択するようにしてもよい。

まず、主要被写体領域内における特徴的な領域の有無に基づいた第２の評価値を算出する方法について説明する。
まず、主要被写体領域内から、複数画素で構成されたブロックの連結領域によって示された、１つの特徴的な領域を抽出する。例えば、主要被写体領域を色毎にブロック分割して同一色の隣接ブロックを同一色グループにグルーピングする。グルーピング方法については、図２のステップＳ２０１〜ステップＳ２０４と同じ処理手順により行う。同一色グループの中から、主要被写体領域として検出された領域と同色のグループを除いた各同一色グループについて、領域面積の大きさ、主要被写体領域の重心からの距離に基づいて評価値を付与する。例えば、各同一色グループ領域の面積が大きいほど、また重心座標が主要被写体領域の重心座標から近いほど高い評価値を付与する。そして、評価値に基づいて各同一色グループ中のいずれか１つの領域グループを、特徴的な領域として抽出し、抽出したトリミング領域候補内の特徴的な領域の有無に基づいて評価値を算出する。例えば、抽出した特徴的な領域が含まれているトリミング領域候補は、高い評価値を付与し、特徴的な領域が含まれていないトリミング領域候補は評価値を付与しないようにする。

次に、主要被写体領域の含有率に基づいた第３の評価値を算出する方法について説明する。この方法では、抽出したトリミング領域候補に、抽出された主要被写体領域全体の何割が含まれているかを示す主要被写体含有率に基づいて評価値を算出する。例えば、図９に示す主要被写体含有率と対応する評価値の相関に基づき、含有率の低いトリミング領域候補には低い評価値を付与し、含有率８０％を最大として、以降は徐々に評価値を低く設定するようにする。この方法では、主要被写体が切り取られすぎず、且つ取り込まれすぎていないことにより、主要被写体が画角における主題を維持しつつ、且つ平凡でない画像が切り出されるトリミング処理を行いやすくする。

＜トリミング領域抽出＞
次に、トリミング領域抽出部１０６により、抽出されたトリミング領域候補の中から評価値に基づいてトリミング領域を選択し、トリミング画像の画像生成を行う方法について説明する。例えば、トリミング領域候補に付与されている第１の評価値、または第１の評価値〜第３の評価値の総和が最高値であるトリミング領域候補においてトリミング処理を行う。また、所定の閾値を設け、評価値の総和がこの閾値以上であるトリミング領域候補の中からランダムで１つのトリミング領域を選択し、トリミング処理を行ってもよい。

以上のように本実施形態によれば、トリミング領域候補内の主要被写体領域及び背景領域における輝度差に基づいて評価値を算出することによって、主要被写体が強調された画像が切り出されるトリミング処理を行うことが可能となる。

（その他の実施形態）
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像信号入力部
１０２ 画像処理部
１０３ 特徴領域抽出部
１０４ トリミング領域候補抽出部
１０５ トリミング領域評価部
１０６ トリミング領域抽出部
１０７ トリミング領域結果出力部

Claims (9)

1. 画像から被写体領域を検出する領域検出手段と、
   前記領域検出手段によって検出された被写体領域の少なくとも一部を含むトリミング領域候補を抽出する領域候補抽出手段と、
   前記領域候補抽出手段によって抽出されたトリミング領域候補における前記被写体領域と背景領域との間の輝度の差分値を第１の評価値として算出する領域評価手段と、
   前記領域評価手段によって算出された第１の評価値に基づいて前記トリミング領域候補の中からトリミング領域を選択し、トリミング画像として生成する画像生成手段とを有することを特徴とする画像処理装置。
2. 前記領域評価手段は、さらに前記被写体領域における特徴的な領域の有無に応じた第２の評価値と、前記トリミング領域候補における前記被写体領域の含有率に応じた第３の評価値とを算出し、
   前記画像生成手段は、前記第１の評価値、前記第２の評価値及び前記第３の評価値に基づいて前記トリミング領域候補の中からトリミング領域を選択し、トリミング画像として生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成手段は、前記第１の評価値、前記第２の評価値及び前記第３の評価値の総和が最も高いトリミング領域候補をトリミング領域として選択することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像生成手段は、前記第１の評価値、前記第２の評価値及び前記第３の評価値の総和が所定の閾値以上であるトリミング領域候補の中からランダムにトリミング領域を選択することを特徴とする請求項２に記載の画像処理装置。
5. 前記領域候補抽出手段は、前記被写体領域の含有率が所定の範囲内となるようにトリミング領域候補を抽出することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記領域検出手段は、前記画像における色相に基づいて被写体領域を検出することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記被写体領域は人の顔であることを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 画像から被写体領域を検出する領域検出工程と、
   前記領域検出工程において検出された被写体領域の少なくとも一部を含むトリミング領域候補を抽出する領域候補抽出工程と、
   前記領域候補抽出工程において抽出されたトリミング領域候補における前記被写体領域と背景領域との間の輝度の差分値を第１の評価値として算出する領域評価工程と、
   前記領域評価工程において算出された第１の評価値に基づいて前記トリミング領域候補の中からトリミング領域を選択し、トリミング画像として生成する画像生成工程とを有することを特徴とする画像処理方法。
9. 画像から被写体領域を検出する領域検出工程と、
   前記領域検出工程において検出された被写体領域の少なくとも一部を含むトリミング領域候補を抽出する領域候補抽出工程と、
   前記領域候補抽出工程において抽出されたトリミング領域候補における前記被写体領域と背景領域との間の輝度の差分値を第１の評価値として算出する領域評価工程と、
   前記領域評価工程において算出された第１の評価値に基づいて前記トリミング領域候補の中からトリミング領域を選択し、トリミング画像として生成する画像生成工程とをコンピュータに実行させることを特徴とするプログラム。

Images