JP2012119993A - 画像処理装置及びその制御方法、及びプログラム - Google Patents

Abstract

【課題】所望の被写体が主被写体として判定されるまでに要する時間を短縮する。
【解決手段】連続して撮像された画像のそれぞれについて、当該画像を複数のブロックに分割し、各ブロックの信号値を基に画像の色成分に係るヒストグラムを生成する。そして、生成されたヒストグラムを複数の区間に分割し、画像の複数のブロックを、信号値が同一の区間に属し、かつ隣接しているブロックが１つの領域となるように、画像について領域を設定する。さらに領域のそれぞれについて評価値を算出し、最も高い評価値と当該評価値の次に高い評価値との差分を用いて算出された判定値が予め定められた閾値を超える場合に、最も高い評価値を有する領域の追尾を行うと判断する。
【選択図】図６

Description

本発明は、連続して撮像された画像における、主被写体領域を追尾する技術に関する。

デジタルカメラやデジタルビデオカメラ等の撮像装置には、所望の被写体に合焦し、当該被写体が適正露出となるような撮影を容易に行えるように、撮像画角内に捉えられている被写体のうち、主被写体を自動的に認識する機能を備えるものがある。

撮像画角内に捉えられている被写体は、撮像された画像内の色相や彩度等のヒストグラムから導出される分布を区間に分け、当該区間ごとに撮像された画像を分類することで得られるそれぞれの領域として認識することができる。

特許文献１には、撮像された画像について作成された複数の色成分のヒストグラムを山型の分布範囲にそれぞれ区分けし、同一の区間の組み合わせに属する領域に撮像された画像を分類することで、被写体を認識する技術が開示されている。

このように認識された被写体ごとに評価値を算出することで、当該評価値が最も高い被写体を主被写体として判定することができる。主被写体が決定された後は、主被写体領域の例えば色相分布や大きさ等の特徴量を用いて、以降に順次撮像された画像から特徴量と類似する領域を検出することで主被写体領域を追尾することができる。

特開２００７−１１０６３８号公報

しかしながら、認識された被写体のうちの最も評価値の高い被写体を主被写体として判定する方法では、所望の被写体が主被写体として決定できないことがある。例えば、ある画像において当該所望の被写体である物体と類似形状の物体が接近して複数存在するような場合、評価値が類似する領域が複数存在することになる。このとき、所望の被写体を含む複数の被写体の評価値の差は僅差であり、最も高い評価値を有する領域が主被写体として選択される場合に、所望の被写体ではない被写体が主被写体として判定される可能性があった。

また、さらに主被写体領域を追尾する技術を用いる場合、当該主被写体領域の追尾を終了すると判定されるまで主被写体として判定される被写体は変更されない。即ち、誤った被写体が主被写体として選択された場合、所望の被写体に主被写体の判定がなされるまで待たねばならず、撮影者は所望の撮影設定での撮影を行うまでに時間を要することになる。

本発明は、上述の問題点に鑑みてなされたものであり、所望の被写体が主被写体として判定されるまでに要する時間を短縮することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
連続して撮像された画像内の領域を追尾する画像処理装置であって、連続して撮像された画像を順次取得する入力手段と、入力手段により取得された画像を複数のブロックに分割するブロック分割手段と、ブロック分割手段により分割されたブロックの代表値に基づいて、画像の色成分に係るヒストグラムを生成する生成手段と、生成手段により生成されたヒストグラムを複数の区間に分割する区間分割手段と、複数のブロックのうち、代表値が同一の区間に属し、かつ隣接しているブロックを１つの領域として設定する設定手段と、設定手段により設定された領域のそれぞれについて評価値を算出する評価手段と、領域の評価値のうち、最も高い評価値と当該評価値の次に高い評価値との差分を用いて算出された判定値であって、当該差分が大きいほど値が増加する判定値が予め定められた閾値を超える場合は、最も高い評価値を有する領域の追尾を行うと判断する判断手段と、を備えることを特徴とする。

このような構成により本発明によれば、所望の被写体が主被写体として判定されるまでに要する時間を短縮することを可能とする。

本発明の実施形態に係るデジタルカメラの機能構成を示したブロック図 実施形態に係る領域設定部で行われる処理を説明するための図 実施形態に係る領域設定部で行われる処理を説明するための別の図 実施形態に係る領域の評価値を説明するための図 実施形態に係る主被写体領域の追尾処理を説明するための図 実施形態に係る主被写体追尾判定処理のフローチャート 実施形態に係る領域の安定度を決定するための図 実施形態に係る判定値を説明するための図

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、主被写体領域を認識して追尾することが可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、主被写体領域を認識することが可能な任意の機器に適用可能である。

図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作を制御する。制御部１０１は、例えばデジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータやユーザにより設定された撮影設定等を記憶する。ＲＡＭ１０３は、揮発性メモリであり、例えば各ブロックの動作において出力されたデータを一時的に格納する領域として用いられる記憶領域である。

なお、本実施形態ではデジタルカメラ１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４を介して撮像素子に結像された光学像を光電変換することにより、アナログ画像信号を後述するＡ／Ｄ変換部１０６に出力する。なお、撮像部１０５は光電変換を繰り返すことにより順次取得されたアナログ画像信号を、不図示の表示部に映像として表示することで電子ビューファインダを実現することができる。本実施形態では、当該順次取得されたアナログ画像信号に対して被写体の検出処理、または主被写体領域の追尾処理を行う。

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、得られたデジタル画像データを出力する。画像処理部１０７は、入力されたデジタル画像データに対し、所定の画像処理を適用するブロックである。本実施形態では、画像処理部１０７はＡ／Ｄ変換部１０６が出力したデジタル画像データに対して、ＲＧＢ空間からＨＬＳ空間への変換処理を行い、各画素の色相（Ｈ）、彩度（Ｓ）、輝度（Ｌ）値を取得する。

領域設定部１０８は、画像処理部１０７によりＨＬＳ変換が行われたデジタル画像データを図２（ａ）のように所定の大きさのブロックに分割（ブロック分割）し、当該ブロックのそれぞれについて例えばブロック内の画素の色相の平均値（代表値）を算出する。そして、全ブロックの色相から図２（ｂ）のような色相ヒストグラムを生成する。領域設定部１０８は、当該色相ヒストグラムにおいて、図２（ｃ）のように色差値が０になる点、または極小点に対する、当該極小点を挟む極大点の比率がいずれも所定の比率以上である極小点を境界として、異なる区間となるように色相を分割する（区間分割）。そして領域設定部１０８は、画像の各ブロックを、当該ブロックの代表値がどの区間に属するかを判断し、同一の区間に属し、かつ隣接しているブロックを１つの領域として設定する。具体的には、画像のブロックが図３（ａ）に示すように分類された場合、領域設定部１０８は図３（ｂ）のように同一の区間のブロックで構成される領域を設定する。

なお、本実施形態において、画像の色相についてヒストグラムを生成し、区間分割を行うものとして説明するが、本発明の実施はこれに限らない。例えば彩度や輝度等の他の色成分であってよく、本発明は、少なくとも１つの色成分について生成されたヒストグラムを用いて区間分割を行ってもよい。

主被写体判定部１０９は、領域設定部１０８により設定された画像の各領域に対して評価値を算出し、当該評価値が最も高い領域を主被写体として判定する。画像の各領域に対して算出される評価値は、例えば以下の項目のうち、少なくともいずれかを用いて算出される。
・領域の重心位置と画像の中心位置との距離
・領域の大きさ
・領域の外接矩形の縦横比（長辺／短辺）
・領域の周辺長
・領域の色情報
・領域の輝度情報

本実施形態では、領域の重心位置と画像の中心位置との距離、領域の大きさ、及び領域の外接矩形の縦横比について、実験的に求めた関係式（グラフ）から算出される値をそれぞれ積算して評価値として用いる。具体的には、領域の重心位置と画像の中心位置との距離については、図４（ａ）に示すように当該距離が短い位置にある領域ほど、重要度が高い被写体であるものとして距離に対する評価値Ｓ_ｄｉｓｔを高く設定する。領域の大きさは、図４（ｂ）に示す量に所定の大きさまでは領域が大きいほど評価値Ｓ_ｓｉｚｅを大きくし、所定の大きさ以上の領域については評価値が最大値となるように設定する。また、領域の外接矩形の縦横比は、被写体として想定する物体が認識される領域の外接矩形の形状を基準に設定される。例えばデジタルカメラ１００に近い位置で２人の人物を撮影する場合等、２人の人物の間に写る、当該２人の人物よりも後ろに存在していた被写体については、領域の外接矩形の形状が縦長や横長となる。このように主被写体として判定され難い物体については評価値を低くさせるために、図４（ｃ）の示されるように領域の外接矩形の縦横比が１に近いほど評価値Ｓ_{ａｓｐｅｃｔ}が高くなるように設定する。

なお、本実施形態では計算量を減らすために、制御部１０１は背景等の領域を評価値の算出対象から除外してもよい。具体的には制御部１０１は、画像の領域のうち、当該画像の上辺及び側辺の少なくともいずれかに接している領域は、背景または完全にフレームインしている被写体ではないと判断し、評価値の算出対象から除外する。

主被写体判定部１０９は、このように算出された主被写体になり得る各領域の評価値Ｓ（＝Ｓ_ｄｉｓｔ×Ｓ_ｓｉｚｅ×Ｓ_{ａｓｐｅｃｔ}）が高い順に領域に番号を付す。そして主被写体判定部１０９は、最も高い評価値Ｓ_１を有する領域を主被写体として判定する。

追尾部１１０は、主被写体判定部１０９により主被写体として判定された主被写体領域について、制御部１０１が追尾を行うと判断した場合に、当該主被写体領域の追尾処理を実行するブロックである。例えば追尾部１１０は、図５（ａ）のように主被写体として判定された領域について、当該領域のＲＧＢ信号、輝度信号、ブロック数、周辺長、及び外接矩形の縦横比を主被写体の特徴量として設定し、ＲＡＭ１０３に記憶する。そして追尾部１１０は、撮像部１０５により順次撮像されて得られた連続する画像に対し、ＲＡＭ１０３に記憶されている主被写体の特徴量を用いて、画像内のブロックのうち、当該特徴量と最も類似する領域を検出することにより、主被写体領域の追尾を実現する。このように、一度主被写体として判定された被写体については、当該主被写体の具体的な特徴量を用いて検出を行うため、例えば図５（ｂ）のように主被写体に別の被写体が重なった場合であっても、安定して検出を行うことができる。

なお、制御部１０１は、主被写体として判定された領域の追尾処理を実行すると判定した場合は、主被写体判定部１０９による画像内の主被写体の判定処理を実行せず、追尾部１１０による追尾処理のみを実行するものとする。また、制御部１０１は例えば追尾部１１０により検出された主被写体領域の位置が、図５（ｃ）に示すように撮像画角内の外周部に存在する場合は、主被写体が撮像画角から外れると判断し、再び画像内の主被写体の判定処理を実行すればよい。なお、画像内の主被写体の判定処理を新たに実行する判断はこれに限らず、例えば主被写体がフレームアウトした場合、主被写体の色もしくはサイズ変動が大きかった場合、追尾処理の開始から所定時間経過した場合等であってもよい。

操作入力部１１２は、例えばレリーズボタンやメニューボタン等のデジタルカメラ１００が備えるユーザインタフェースであり、ユーザが当該ユーザインタフェースを操作することにより入力された信号を解析し、操作内容を制御部１０１に伝送する。記録媒体１１１は、例えばデジタルカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１は、例えばユーザがレリーズボタンを操作することで撮影指示を行った場合に撮像部１０５で撮影された画像を記録する。

（主被写体追尾判定処理）
このような構成をもつ本実施形態のデジタルカメラ１００の主被写体追尾判定処理について、図６のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本主被写体追尾判定処理は、例えばデジタルカメラ１００が起動され、不図示の表示部への映像の表示であるスルー表示が始まった際に開始されるものとして説明する。

Ｓ６０１で、制御部１０１は、撮像部１０５により撮像され、画像処理部１０７によりＨＬＳ空間に変換された画像を領域設定部１０８に出力させ、当該画像を領域設定部１０８に所定の大きさのブロックに分割させる。

Ｓ６０２で、制御部１０１は、領域設定部１０８にＳ６０１で分割された複数のブロックの代表値に基づいて画像の色相ヒストグラムを生成させ、当該色相ヒストグラムの分布を複数の区間に分割させる。

Ｓ６０３で、制御部１０１は、Ｓ６０２で決定された色相ヒストグラムの区間に基づき、複数のブロックを、代表値が同一の区間に属し、かつ隣接しているブロックが１つの領域となるように、領域設定部１０８に画像内の被写体ごとの領域を設定させる。なお、本ステップで制御部１０１は、上述したように背景等の主被写体となり難い領域を、以下のステップにおける対象領域から除外する。また、制御部１０１は、このように領域設定部１０８により設定された画像内の主被写体となり得る領域について、当該領域の大きさ、位置、及び形状の情報を、被写体情報としてＲＡＭ１０３に記憶させる。

Ｓ６０４で、制御部１０１は、画像内の主被写体となり得る各領域について安定度Ａ_３を算出する（安定度算出）。具体的には制御部１０１は、現在処理中の画像の１つ前、即ち時系列順で１つ前に撮像された画像についての被写体情報がＲＡＭ１０３に記憶されているかを判断し、記憶されている場合は当該画像間の被写体情報の差分を算出する。そして、被写体情報である領域の大きさの差分、位置の差分、及び形状の差分の例えば積算値が所定の値以下である場合は安定していると判断し、ＲＡＭ１０３に記憶されている当該領域の安定カウントを上昇させる。安定度とは、時系列において同一であるとみなせる被写体が類似する状態で存在し続けているかを表す数値であり、例えば図７に示すように安定カウントが上昇するほど大きくなる。

Ｓ６０５で、制御部１０１は、領域設定部１０８で設定された各領域について、主被写体判定部１０９に評価値を算出させ、当該得られた評価値の高い順に領域に番号を付させる。このとき主被写体判定部１０９は、最も高い評価値Ｓ_１を有する領域を主被写体領域として決定する。

Ｓ６０６で、制御部１０１は、主被写体領域の評価値Ｓ_１と当該評価値の次に高い評価値Ｓ_２との差分を用いて、主被写体領域を追尾するか否かを判断する。具体的には制御部１０１は、以下の式により算出される判定値αが予め定められた閾値を超えるか否かにより、主被写体領域の追尾処理の実行有無を判断する。

α＝（Ｓ_１×Ａ_１＋（Ｓ_１−Ｓ_２）×Ａ_２）×Ａ_３１
なお、Ａ_１及びＡ_２は実験的に決定される互いに異なる係数であり、Ａ_３１は主被写体領域の安定度である。式から明らかなように、当該判定値αは、主被写体領域の評価値と次に高い評価値の差分が大きいほど増加し、さらに主被写体領域の安定度が高いほど増加する。例えば、図８（ａ）のように主被写体となり得る領域が１つであった場合は評価値の差分が大きいため、被写体８０１が追尾処理を実行すると判定されやすくなる。また図８（ｂ）及び（ｃ）のように主被写体となり得る領域が複数存在した場合であっても、被写体８０１と被写体８０２の評価値の差分が小さい図８（ｃ）の被写体８０１は追尾処理を実行すると判定され難くなる。

制御部１０１は、このように算出された判定値αが予め定められた閾値を超える場合は処理をＳ６０７に移し、閾値を超えない場合は処理を完了し、次に撮像された画像について本主被写体追尾判定処理を再び実行する。

Ｓ６０７で、制御部１０１は主被写体領域の特徴量を取得してＲＡＭ１０３に記憶させるとともに、追尾処理の実行フラグをＯＮにして処理を完了する。即ち、制御部１０１は次に撮像された画像については本主被写体追尾判定処理を実行せずに、追尾部１１０において追尾処理を実行して、主被写体の追尾を行う。

以上説明したように、本実施形態の画像処理装置は、撮影者にとって所望の被写体が主被写体として判定されるまでに要する時間を短縮することができる。具体的には画像処理装置は、連続して撮像された画像のそれぞれについて、当該画像を複数のブロックに分割し、各ブロックの信号値を基に画像の色成分に係るヒストグラムを生成する。そして、生成されたヒストグラムを複数の区間に分割し、画像の複数のブロックを、信号値が同一の区間に属し、かつ隣接しているブロックが１つの領域となるように、画像について領域を設定する。さらに領域のそれぞれについて評価値を算出し、最も高い評価値と当該評価値の次に高い評価値との差分を用いて算出された判定値が予め定められた閾値を超える場合に、最も高い評価値を有する領域の追尾を行うと判断する。

このようにすることで、所望の被写体と類似するが異なる被写体が主被写体として判定されて追尾処理に移行することを回避することができ、結果、所望の被写体が主被写体として判定されて追尾処理が実行されるまでに要する時間を短縮することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 連続して撮像された画像内の領域を追尾する画像処理装置であって、
   前記連続して撮像された画像を順次取得する入力手段と、
   前記入力手段により取得された画像を複数のブロックに分割するブロック分割手段と、
   前記ブロック分割手段により分割されたブロックの代表値に基づいて、前記画像の色成分に係るヒストグラムを生成する生成手段と、
   前記生成手段により生成されたヒストグラムを複数の区間に分割する区間分割手段と、
   前記複数のブロックのうち、前記代表値が同一の前記区間に属し、かつ隣接しているブロックを１つの領域として設定する設定手段と、
   前記設定手段により設定された領域のそれぞれについて評価値を算出する評価手段と、
   前記領域の前記評価値のうち、最も高い評価値と当該評価値の次に高い評価値との差分を用いて算出された判定値であって、当該差分が大きいほど値が増加する判定値が予め定められた閾値を超える場合は、前記最も高い評価値を有する領域の追尾を行うと判断する判断手段と、を備えることを特徴とする画像処理装置。
2. 前記連続して撮像された画像間において、同一の区間に属する領域の大きさ、位置、及び形状の少なくともいずれかの差分に基づいて安定度を算出する安定度算出手段をさらに備え、
   前記判定値は、前記評価値の差分、前記最も高い評価値、及び前記安定度を用いて算出されることを特徴とする請求項１に記載の画像処理装置。
3. 前記判定値は、前記評価値の差分及び前記最も高い評価値にそれぞれ異なる係数を乗じた値の和に、前記安定度を乗じた値であることを特徴とする請求項２に記載の画像処理装置。
4. 前記領域のそれぞれについて算出される評価値は、当該領域の、重心位置と前記画像の中心位置との距離、大きさ、外接矩形の縦横比、周辺長、色情報、及び輝度情報、の少なくともいずれかを用いて算出されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記ヒストグラムは、前記ブロックの色相、彩度、または輝度の少なくともいずれかのヒストグラムであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記区間分割手段は、前記ヒストグラムの極小点であって、当該極小点に対する、当該極小点を挟む極大点の比率がいずれも所定の比率以上である極小点、または前記ヒストグラムのうちの値が０となる点を境界として異なる区間となるように分割することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 連続して撮像された画像内の領域を追尾する画像処理装置の制御方法であって、
   入力手段が、前記連続して撮像された画像を順次取得する入力工程と、
   ブロック分割手段が、前記入力工程において取得された画像を複数のブロックに分割するブロック分割工程と、
   生成手段が、前記ブロック分割工程において分割されたブロックの代表値に基づいて、前記画像の色成分に係るヒストグラムを生成する生成工程と、
   区間分割手段が、前記生成工程において生成されたヒストグラムを複数の区間に分割する区間分割工程と、
   設定手段が、前記複数のブロックのうち、前記代表値が同一の前記区間に属し、かつ隣接しているブロックを１つの領域として設定する設定工程と、
   評価手段が、前記設定工程において設定された領域のそれぞれについて評価値を算出する評価工程と、
   判断手段が、前記領域の前記評価値のうち、最も高い評価値と当該評価値の次に高い評価値との差分を用いて算出された判定値であって、当該差分が大きいほど値が増加する判定値が予め定められた閾値を超える場合は、前記最も高い評価値を有する領域の追尾を行うと判断する判断工程と、を備えることを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images