JP2012133587A - 画像解析装置、画像解析方法及びプログラム - Google Patents

Abstract

【課題】画像の中から特定領域を適切に抽出できるようにする。
【解決手段】入力された画像を複数のブロックに分割し、前記分割されたブロックの色相および輝度の少なくともいずれかに基づいて、前記画像から特定領域の候補領域を抽出する。そして、前記抽出された候補領域の形状に基づいて、前記候補領域の評価値を算出し、前記算出された評価値に基づいて、前記候補領域の中から特定領域を抽出する。このとき、前記ブロックに対する前記候補領域のサイズの比率に応じて、前記評価値を補正するようにして、被写体領域の形状の誤評価を低減できるようにする。
【選択図】図１

Description

本発明は画像解析装置、画像解析方法及びプログラムに関し、特に、画像から特定領域を抽出するために用いて好適な技術に関する。

従来、撮影画像から特定の被写体を検出することが行われている。そこで、被写体が存在する領域を抽出する方法として、画像を複数の領域に分割し、分割領域の形状を評価することによって特定領域を選択して抽出する方法が種々提案されている。例えば特許文献１には、複数の領域に分割する方法として、画面内を複数のブロックに分割し、隣り合うブロックの動きベクトルの差の絶対値が所定値以内のブロックに同一の識別符号を付与することによって、移動物体毎に領域を分割する手法が提案されている。また、例えば、特許文献２には、特定領域を抽出する方法として、分割領域の形状に基づいて人物らしさを評価することによって、人物領域を特定する手法が提案されている。

特許第０４２１７８７６号公報 特開２００２−２９６４８９号公報

上述の特許文献１における手法のように、ブロック単位で領域を分割し、上述の特許文献２における手法のように、分割領域の形状に基づいて特定領域を抽出する場合、次のような問題がある。すなわち、連結ブロックで示された分割領域と、その分割領域に対応する被写体の実際の形状との誤差が大きくなると、分割領域の形状の正常に評価できなくなり、その結果、特定領域を抽出する精度が落ちる可能性がある。特に、特定領域が小さいと、相対的に領域の面積／１ブロックの面積（以降、これをサイズ比と呼ぶ。）が小さくなる。図６に示すように、サイズ比が小さくなるほど、分割領域と実際の形状との誤差は大きくなり、この誤差が大きくなるほど、形状の評価についても、本来の被写体の形状に対して誤った評価がされる可能性がある。

本発明は前述の問題点に鑑み、画像の中から特定領域を適切に抽出できるようにすることを目的としている。

本発明の画像解析装置は、入力された画像を複数のブロックに分割する分割手段と、前記分割手段によって分割されたブロックの色相および輝度の少なくともいずれかに基づいて、前記画像から特定領域の候補領域を抽出する候補領域抽出手段と、前記候補領域抽出手段により抽出された候補領域の形状に基づいて、前記候補領域の評価値を算出する算出手段と、前記算出手段によって算出された評価値に基づいて、前記候補領域の中から特定領域を抽出する特定領域抽出手段とを有し、前記算出手段は、前記ブロックに対する前記候補領域のサイズの比率に応じて、前記評価値を補正することを特徴とする。

本発明によれば、被写体領域の形状の誤評価を低減し、特定領域を適切に抽出することができる。

被写体領域を抽出する処理を行う機能構成例を示すブロック図である。 被写体候補領域を抽出する処理手順の一例を示すフローチャートである。 被写体の評価値を算出する処理手順の一例を示すフローチャートである。 色相のヒストグラム及び被写体のグループの一例を示す図である。 評価基準と評価値との関係の一例を示す図である。 サイズ比と評価値との関係の一例を示す図である。 サイズ比と形状評価値の補正係数との関係の一例を示す図である。 撮影画像及びその画像から被写体候補領域を抽出した結果を示す図である。 補正前後における被写体特徴評価値の算出結果の一例を示す図である。 異なるブロックサイズによる被写体候補領域の抽出結果を示す図である。

以下、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。本実施形態では、撮像装置の一例としてデジタルカメラにより、特定領域として撮影画像における主要な被写体領域を抽出する場合について説明する。

＜撮像装置の構成＞
図１は、本実施形態に係るデジタルカメラのうち、被写体領域を抽出する画像解析装置１００の機能構成例を示すブロック図である。
図１において、画像信号入力部１０１は、デジタル画像信号を入力する。例えば、デジタルカメラにおいては、レンズ等で構成される光学部（不図示）を介して入射される光を受け、ＣＣＤ部（不図示）で光量に応じた電荷を出力する。そして、Ａ／Ｄ変換部（不図示）でＣＣＤ部から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を実施したデジタル画像信号が入力される。

画像処理部１０２は、画像信号入力部１０１から入力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、デジタル画像信号をＹＵＶ画像信号に変換して出力する。被写体候補領域抽出部１０３は、画像（画面）内から、複数の画素で構成されたブロックの連結領域によって示される１つまたは複数の被写体候補領域を抽出する。被写体候補領域を抽出する方法としては、例えば、画像を複数のブロックに分割し、特徴量が類似する隣接ブロックを同一グループにグルーピングし、各グループを被写体候補領域として抽出する方法がある。被写体候補領域を抽出する方法の詳細については、図２を参照しながら後述する。

被写体特徴評価部１０４は、被写体候補領域抽出部１０３により抽出された被写体候補領域について、特徴量に基づいて被写体らしさの評価値を算出する。特徴量に基づく被写体らしさの評価値を算出する方法としては、少なくとも被写体候補領域の形状に基づいて算出する。この形状による評価値の算出方法とは、例えば、偏平な形状であるほど評価値が低くなるように評価値を算出する方法がある。このとき、ブロックに対する特定の被写体候補領域のサイズ比（被写体候補領域の面積／１ブロックの面積）に応じて、形状による評価値の算出方法を変更する。評価値の算出方法を変更する場合としては、例えば、サイズ比が小さくなるほど、形状による評価値を低くする方法がある。この評価値を算出する詳細な方法については、図３を参照しながら後述する。

被写体領域抽出部１０５は特定領域抽出手段として機能し、被写体候補領域抽出部１０３で抽出された被写体候補領域の中から、被写体特徴評価部１０４によって算出された被写体らしさの評価値を元に被写体領域を決定し、抽出する。このとき、被写体領域として決定する領域は、例えば、被写体特徴評価部１０４で算出された評価値が最も高い領域としてもよい。被写体領域抽出結果出力部１０６は、被写体領域抽出部１０５による被写体領域の抽出結果を出力する。

以上の構成により、ブロックに対する特定候補領域のサイズの比率に応じて、形状評価方法を変更することによって、被写体領域の形状の誤評価を低減し、適切に被写体領域を抽出できるようにしている。

＜被写体候補領域抽出＞
次に、画像から被写体候補領域の抽出を行う処理手順について説明する。本実施形態では、一例として、画像を複数のブロックに分割し、特徴量が類似する隣接ブロックを同一グループにグルーピングし、各グループを被写体候補領域として抽出する方法について説明する。

図２は、本実施形態において被写体候補領域抽出部１０３により被写体候補領域を抽出する処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、画像を複数のブロックに分割する。分割されるブロック数は、例えば、画像を横方向に２０分割、縦方向に１５分割して３００個とする。次に、ステップＳ２０２において、分割した各ブロック内の画素における色相の平均値を算出し、ブロックの代表値とする。

次に、ステップＳ２０３において、各ブロックの代表値を要素とした色相のヒストグラムを作成する。このとき、ヒストグラムを作成する際に用いるブロックは、彩度が閾値以上のブロックのみを用いる。これは、彩度の低いブロックは色相の値の信頼性が低いためである。

次に、ステップＳ２０４において、ステップＳ２０３で作成したヒストグラムを用いて、同一色の領域毎に各ブロックをグルーピングすることによって画像内を領域分割する。まず、図４（ａ）に示すように、ヒストグラムの全区間を走査し、最も高い山HighestPeak1を検出する。次に、その山の頂上から、左右両側の谷方向に向かって走査し、ヒストグラムの頻度が値TH＿Freq以下となるか、その山の区間の距離が幅TH＿HueRangeに達するまでの区間を同一領域の範囲とする。そして、図４（ｂ）に示すように、ブロックの代表値がこの範囲に含まれるブロックを同一領域としてグルーピングする。また、この区間の情報をグルーピング処理済み領域の情報として不図示のメモリ等に記録する。

次に、グルーピング処理済みの区間を除いたヒストグラムの全区間を再び走査し、その中で最も高い山を見つけ、同様の操作を繰り返す。このとき、山から谷方向に向かって走査しているとき、ヒストグラムの頻度が値TH＿Freq以下となる区間にたどり着く前に、グルーピング処理済みの区間にたどり着いた場合は、そこまでの区間を同一領域の範囲とする。これら一連の動作を、ヒストグラム中の全区間がグルーピング処理済みとされるまで繰り返す。この処理によって、同一色の領域毎に各ブロックをグルーピングすることが可能となる。また、最後に、図４（ｃ）に示すように、全ブロックを走査し、隣接していない同一色の領域を別グループとするラベリング処理も行う。これによって、同一色領域と判定されたが離れている別の物体を、別領域と認識することが可能となる。なお、ここでは色相の値を用いてグルーピングを行う例をあげて説明を行ったが、彩度の低いブロックについては、輝度の値を用いてグルーピングを行うようにしてもよい。あるいは、色相および輝度の両方を用いてグルーピングを行うことにより、より細かく領域の認識を行うようにしてもよい。

次に、ステップＳ２０５において、ステップＳ２０４で分割した領域の中から画面端に接触している領域を背景領域と判定する。そして、ステップＳ２０６において、ステップＳ２０４で分割した領域の中から、ステップＳ２０５で背景と判定された領域を除外した、残りの１つ以上の領域を、被写体候補領域として抽出する。

＜被写体特徴評価値算出＞
次に、被写体の特徴量に応じた被写体らしさの評価値を算出する方法について説明する。本実施形態では、一例として、位置、面積、及び形状によって被写体らしさの評価値（以下、被写体特徴評価値と称す）を算出する方法について説明する。

図３は、本実施形態において、被写体特徴評価部１０４により被写体特徴評価値を算出する処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、色相のヒストグラムを用いた領域分割方法などによって抽出した被写体候補領域の位置及び面積の情報を取得する。そして、ステップＳ３０２において、ステップＳ３０１で取得した情報を用いて、位置及び面積による評価値を算出する。

図５は、評価基準と評価値との関係の一例を示す図である。図５（ａ）及び図５（ｂ）に示すように、位置が画面中心に近いほど位置による評価値が高く、面積の大きい領域ほど面積による評価値が高くなる。

次に、ステップＳ３０３において、ステップＳ３０１で取得した情報を用いて、形状による評価値を算出する。具体的にはまず、領域の重心と、重心から最も遠い領域上の点との距離を算出する。以下、この算出した距離を最遠点距離と呼ぶ。最遠点距離は、領域の外縁のいずれかのブロックを始点に、注目ブロックの四角と重心との距離を算出しながら、時計回りに領域の外縁のブロックを辿って一周し、最も長い距離を求めることにより算出される。

次に、偏平度を算出する。偏平度は、領域の重心から前記最遠点距離を半径に描いた円の面積と、ステップＳ３０１で取得した領域の面積との比によって求められる。すなわち、
偏平度＝（（最遠点距離）＾２）＊π／領域の面積
で求められる。

この式によると、偏平度は領域の形状が細長く偏平であるほど値が大きく、領域の形状が円に近づくほど値が小さくなる。なお、偏平度の求め方はこれに限られるものではなく、他の方法であっても構わない。例えば、複数の方向において領域の重心から最も遠い領域上の点までの距離を算出し、算出した複数の距離のばらつきが大きいほど、偏平度が高いと判断するようにしてもよい。あるいは、重心を挟むように複数方向における領域の幅を求め、その最大値と最小値の比率が高いほど、偏平度が高いと判断するようにしてもよい。そして、この偏平度を用いて形状による評価値を算出する。図５（ｃ）は、偏平度を用いた形状による評価値の一例を示す図である。図５（ｃ）に示すように、偏平度が高い領域ほど形状による評価値が低くなる。

次に、ステップＳ３０４において、ステップＳ３０３で求めた形状による評価値の補正係数を計算し、形状による評価値を補正する。上述した通り、サイズ比が小さいほど、分割領域と実際の形状とに誤差が生じる。この形状の誤差によって、ステップＳ３０３で求めた偏平度と、偏平度による評価値とで、形状の誤差の度合いに応じた誤差を生じる。つまり、図６に示すように、サイズ比が小さい領域ほど、本来の評価値よりも高い評価値が算出されている恐れがある。そこで、各被写体候補領域について、サイズ比を計算し、サイズ比に応じて、ブロック領域の形状が与えた誤差を補正するための補正係数を算出する。

図７は、サイズ比と形状評価値の補正係数との関係の一例を示す図である。図７に示すように、サイズ比が小さい領域ほど、補正係数が小さくなるようにする。そして、図７に示す関係により算出された補正係数をステップＳ３０３で求めた形状による評価値に掛ける。これによって、サイズ比が小さい領域の形状による評価値が低下することになり、被写体領域の形状の誤評価により誤検出することを低減することが可能となる。

次に、ステップＳ３０５において、ステップＳ３０２、及びステップＳ３０４で算出した位置、面積、及び形状による評価値を加算し、被写体特徴評価値を算出する。

＜撮影画像の例＞
次に、本実施形態において撮影画像の一例を参照しながら被写体領域を抽出する処理について説明する。
図８（ａ）は、ボールを主被写体とした撮影画像の一例を示す図である。以下、この撮影画像を参照しながら前述した動作について説明する。
まず、ステップＳ２０１〜ステップＳ２０４を経て撮影画像を複数の領域に分割する。そして、ステップＳ２０５において、分割した領域の中から背景領域を判定し、ステップＳ２０６で背景領域を除いた領域を被写体候補領域として抽出する。図８（ｂ）には、図８（ａ）に示した撮影画像に対して被写体候補領域を抽出した結果を示している。

続いて、ステップＳ３０１〜ステップＳ３０２において、各被写体候補領域において、位置による評価値と面積による評価値とを算出する。次に、ステップＳ３０３において、各被写体候補領域における形状による評価値を算出する。この時点での各被写体候補領域の評価値は、図９（ａ）に示すような結果になる。ここで、前述したように、サイズ比が小さい程、分割領域と実際の形状との誤差は大きくなる。

図１０（ａ）は、サイズ比が小さくなるよう、より小さいブロックサイズで同一画像を領域分割し、被写体候補領域を抽出した結果を示す図である。また、図１０（ｂ）は、図１０（ａ）の場合と図８（ｂ）に示す場合との影領域の偏平度による評価値の結果を示す図である。図１０（ｂ）に示すように、図８（ｂ）に示す影領域は、実際の形状と比べて誤差が大きい領域形状で評価値を算出したため、形状の誤差の少ない図１０（ａ）の場合と比較して誤って高い評価値が算出されている。なお、図１０（ａ）に示すように、より小さいブロックサイズを用いると計算量が膨大となってしまうことから、本実施形態では、通常のブロックサイズを用いるものとする。

続いて、ステップＳ３０４において、形状による評価値の補正係数を計算し、形状による評価値を補正する。図９（ｂ）に、補正後における被写体特徴評価値の算出結果を示す。補正係数によって、被写体特徴評価値が補正され、その結果、影領域の評価値が減少し、主被写体であるボール領域が最も評価値の高い領域となる。これにより、被写体領域抽出部１０５は、被写体特徴評価値の最も高いボール領域を主被写体領域として抽出する。

以上説明したように本実施形態によれば、サイズ比に応じて補正係数を変更することによって、被写体の実際の形状に対して分割領域の形状に誤差がある場合でも、被写体領域の形状の誤評価を低減し、適切に被写体領域を抽出することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本実施形態では、特定領域を抽出する一例として、撮影画像における主要な被写体として静止物体の領域を抽出する場合について説明した。一方、抽出対象とする特定領域は、種々提案されている方法によって抽出される動物体、人物（例えは、顔や人体）、ペットなどの動物等としてもよい。

また、本実施形態では一例として、サイズ比に応じて形状による評価値を補正する方法を説明した。一方、サイズ比が所定値以下の場合、形状による評価値を無効とし、前に述べた、面積や重心などの位置による評価値など、形状以外による評価値のみを用いて被写体特徴評価値を算出してもよい。また、これらの評価値を算出する際に用いた具体的な評価式または数値は、撮影条件や、ピント、露出、ホワイトバランス等の撮像制御パラメータの設定によって決定してもよい。

また、形状による評価値については、偏平度から算出する例について説明したが、被写体候補領域の円形度が高いほど形状による評価値が高くなるように評価値を算出してもよい。ここで、円形度は一般的に、（４π＊（領域の面積））／（領域の周囲長）＾２により求めることができる。この場合、領域の形状が円形に近づき、凹凸が少なくなるほど、評価値が大きくなる。その結果、円形の被写体を検出しやすくすることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０３ 被写体候補領域抽出部
１０４ 被写体特徴評価部
１０５ 被写体領域抽出部

Claims (9)

1. 入力された画像を複数のブロックに分割する分割手段と、
   前記分割手段によって分割されたブロックの色相および輝度の少なくともいずれかに基づいて、前記画像から特定領域の候補領域を抽出する候補領域抽出手段と、
   前記候補領域抽出手段により抽出された候補領域の形状に基づいて、前記候補領域の評価値を算出する算出手段と、
   前記算出手段によって算出された評価値に基づいて、前記候補領域の中から特定領域を抽出する特定領域抽出手段とを有し、
   前記算出手段は、前記ブロックに対する前記候補領域のサイズの比率に応じて、前記評価値を補正することを特徴とする画像解析装置。
2. 前記算出手段は、前記ブロックに対する前記候補領域のサイズの比率が小さくなるほど、前記評価値を小さくする補正を行うことを特徴とする請求項１に記載の画像解析装置。
3. 前記算出手段は、前記候補領域の偏平度が高くなるほど大きい評価値を算出することを特徴とする請求項１又は２に記載の画像解析装置。
4. 前記算出手段は、前記候補領域の凹凸が少なくなるほど大きい評価値を算出することを特徴とする請求項１又は２に記載の画像解析装置。
5. 前記算出手段は、さらに前記候補領域の位置及び面積に基づいて前記候補領域の評価値を算出することを特徴とする請求項１〜４の何れか１項に記載の画像解析装置。
6. 前記算出手段は、前記ブロックに対する前記候補領域のサイズの比率が所定値よりも小さい場合、前記候補領域の位置及び面積のみに基づいて前記候補領域の評価値を算出することを特徴とする請求項５に記載の画像解析装置。
7. 前記候補領域抽出手段は、静止物体、動物体、人物、または動物を含む画像から候補領域を抽出することを特徴とする請求項１〜６の何れか１項に記載の画像解析装置。
8. 入力された画像を複数のブロックに分割する分割工程と、
   前記分割工程において分割されたブロックの色相および輝度の少なくともいずれかに基づいて、前記画像から特定領域の候補領域を抽出する候補領域抽出工程と、
   前記候補領域抽出工程において抽出された候補領域の形状に基づいて、前記候補領域の評価値を算出する算出工程と、
   前記算出工程において算出された評価値に基づいて、前記候補領域の中から特定領域を抽出する特定領域抽出工程とを有し、
   前記算出工程においては、前記ブロックに対する前記候補領域のサイズの比率に応じて、前記評価値を補正することを特徴とする画像解析方法。
9. 入力された画像を複数のブロックに分割する分割工程と、
   前記分割工程において分割されたブロックの色相および輝度の少なくともいずれかに基づいて、前記画像から特定領域の候補領域を抽出する候補領域抽出工程と、
   前記候補領域抽出工程において抽出された候補領域の形状に基づいて、前記候補領域の評価値を算出する算出工程と、
   前記算出工程において算出された評価値に基づいて、前記候補領域の中から特定領域を抽出する特定領域抽出工程とをコンピュータに実行させ、
   前記算出工程においては、前記ブロックに対する前記候補領域のサイズの比率に応じて、前記評価値を補正することを特徴とするプログラム。

Images