JP2017192131A - 画像処理装置 - Google Patents

Abstract

【課題】 追尾対象とする被写体の切り替えを、容易且つ的確に行う。【解決手段】 本発明の画像処理装置は、画像に含まれる被写体の領域のいずれかを、画像における主要被写体の領域として設定する設定部と、画像に含まれる被写体の領域を評価する評価部と、評価部による被写体の領域の評価に基づいて、主要被写体の領域として設定された被写体の領域を画像に含まれる他の被写体の領域に切り替えることで、画像における主要被写体の領域を再設定する再設定部と、を備えたことを特徴とする。【選択図】 図５

Description

本発明は、画像処理装置に関する。

従来、被写体の動きに合わせて、焦点調節時に用いるフォーカスエリアを追従させる、所謂追尾に関して様々な技術が考案されている。この追尾に関する技術として、カメラに近づく、或いはカメラから離れる方向に移動する被写体の形状や大きさ等に応じて、ＡＦ測距枠を変化させる技術がある（特許文献１参照）。

特開２００９−６９７４８号公報

上述した特許文献１は、カメラに近づく又はカメラから離れる方向に移動する被写体に対して焦点調節を行う場合に効果的な技術である。しかしながら、被写体の動きはカメラに近づく又はカメラから離れる方向に移動するばかりではない。このため、追尾対象となる被写体が撮影範囲（画角）から外れてしまう場合や、他の被写体が入り込む場合など、画角内における被写体の変化に応じて、追尾対象となる被写体を切り替える技術については考慮されていない。

本発明は、上述した課題を鑑みて発明されたものであり、追尾対象とする被写体の切り替えを、容易且つ的確に行うことを目的とする。

本発明の画像処理装置は、画像に含まれる被写体の領域のいずれかを、前記画像における主要被写体の領域として設定する設定部と、前記画像に含まれる被写体の領域を評価する評価部と、前記評価部による前記被写体の領域の評価に基づいて、前記主要被写体の領域として設定された被写体の領域を前記画像に含まれる他の被写体の領域に切り替えることで、前記画像における前記主要被写体の領域を再設定する再設定部と、を備え、前記評価部は、少なくとも前記画像に含まれる被写体の領域の位置情報を用いて、前記主要被写体の領域として設定された被写体の領域が、前記画像に対して設定される第１の領域に含まれるか否かの評価、及び前記主要被写体の領域に設定される被写体領域を除いた他の被写体の領域が前記第１の領域とは異なる第２の領域に含まれているか否かの評価を行い、前記再設定部は、前記主要被写体の領域として設定された被写体の領域が前記第１の領域から外れ、且つ前記他の被写体の領域のうち、前記第２の領域に含まれる被写体の領域がある場合に、前記第２の領域に含まれる被写体の領域を前記主要被写体の領域として再設定する。

本発明によれば、追尾対象とする被写体の切り替えを、容易且つ的確に行うことができる。

撮像装置の構成における一形態を示す機能ブロック図である。 画像処理回路の一形態を示す機能ブロック図である。 スルー画像に対して設定される、マスク評価時の領域Ａ及び領域Ｂの一例を示す図である。 撮像時の処理の流れを示すフローチャートである。 撮像時の処理の流れを示すフローチャートである。 （ａ）は静止する被写体が画角の中央部分に位置する場合のスルー画像及びマスクの一形態を示す図、（ｂ）はマスクに対する評価値の変化の一例を示す図である。 （ａ）は静止する被写体が画角の周縁部分に位置する場合のスルー画像及びマスクの一形態を示す図、（ｂ）はマスクに対する評価値の変化を示す図である。 （ａ）は被写体が画角の中央部分に移動する場合のスルー画像及び抽出されるマスクの一形態を示す図、（ｂ）はマスクに対する評価値の変化を示す図である。 （ａ）は画角の中央部分に位置する被写体が画角外に向けて移動する場合のスルー画像及びマスクの一形態を示す図、（ｂ）はマスクに対する評価値の変化を示す図である。 （ａ）〜（ｃ）は、画角の中央部分に位置する被写体が画角外に移動し、他の被写体が画角の中央部分に向けて移動する場合のスルー画像及びマスクの一形態を示す図、（ｄ）は画角外に移動した被写体が再度画角内に移動した場合のスルー画像及びマスクの一形態を示す図である。 図１０（ａ）〜（ｃ）における各マスクの評価値の変化を示す図である。 （ａ）は、複数の被写体が画角に含まれる場合のスルー画像及びマスクの一形態を示す図、（ｂ）は、複数の被写体のうち、２つの被写体が移動した場合のスルー画像及びマスクの一形態を示す図である。 図１２における各マスクの評価値の変化を示す図である。

以下、撮像装置の一形態について、図１を用いて説明する。この撮像装置１０は、装置本体１１、レンズ鏡筒１２から構成される。ここで、レンズ鏡筒１２は、装置本体１１に一体であってもよいし、着脱できるものであってもよい。

装置本体１１は、撮像部２１、画像処理回路２２、表示部２３、バッファメモリ部２４、記憶部２５、ＣＰＵ２６、操作部２７及び通信部２８を備えている。撮像部２１、画像処理回路２２、表示部２３、バッファメモリ部２４、記憶部２５、ＣＰＵ２６、操作部２７及び通信部２８は、バスを介して電気的に接続される。なお、本発明の画像処理装置は、ＣＰＵ２６及び画像処理回路２２からなる。

撮像部２１は、撮像素子２９、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０を有している。撮像部２１は、設定された撮像条件（例えば露出値、シャッタ速度等）に従って、ＣＰＵ２６により、その動作が制御される。

撮像素子２９は、光電変換面を備え、レンズ鏡筒１２により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。ここで、撮像素子２９は、光電変換面の全領域において光学像を電気信号に変換してもよいし、光電変換面の一部領域において光学像を電気信号に変換するようにしてもよい。この撮像素子２９から出力される電気信号が画像データとなる。

Ａ／Ｄ変換部３０は、撮像素子２９から出力される画像データをデジタル化して、デジタル化した画像データをバッファメモリ部２４等に出力する。

画像処理回路２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像データに対する画像処理を行う。ここで、画像処理としては、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などが挙げられる。画像処理回路２２にて画像処理が施された画像データは、バッファメモリ部２４に一次記憶される他、通信部２８を介して記憶媒体３１に記憶される。

また、画像処理回路２２は、撮影指示が行われていない状態で撮像部２１にて連続して得られる画像データを用いて、主要被写体領域を設定する処理を実行する。ここで、撮影指示が行われていない状態で撮像部２１にて連続して得られる画像データを、スルー画像データと称する。なお、主要被写体領域を設定する処理については、後述する。

表示部２３は、例えば液晶ディスプレイが挙げられる。この表示部２３は制御部を有し、この制御部により表示部２３における画像の表示制御が行われる。ここで、表示部２３に表示される画像としては、撮像部２１により得られた画像データに基づく画像や、各種設定を行う際に表示する画像が挙げられる。バッファメモリ部２４は、撮像部２１によって生成された画像データや画像処理回路２２によって画像処理が施された画像データを一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。

ＣＰＵ２６は、画像処理回路２２や記憶部２５などから取得した情報や、操作部２７の操作状態などに基づいて、装置本体１１の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。

操作部２７は、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーから構成される。なお、表示部２３がタッチパネルを備えた表示部２３となる場合、タッチパネルも操作部２７として機能する。この操作部２７は、ユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。

通信部２８は、不揮発性メモリからなるメモリカード等、装置本体１１に対して着脱することができる記憶媒体３１と電気的に接続される。通信部２８は、装置本体１１に装着された記憶媒体３１にデータ（画像データ、領域の情報など）を書き込む、記憶媒体３１に記憶されたデータを消去する。また、通信部２８は、必要に応じて、記憶媒体３１に記憶されたデータの読み出しを行う。

レンズ鏡筒１２は、撮像光学系３５、レンズ駆動部３６、エンコーダ３７、鏡筒制御部３８を有している。撮像光学系３５はフォーカスレンズやズームレンズなどの複数のレンズを有している。この撮像光学系３５の各レンズは、レンズ駆動部３６により、その位置が光軸方向に移動するように制御される。撮像光学系３５は、装置本体１１に設けられた撮像素子２９の受光面（光電変換面）に取り込まれた光学像を導く。

レンズ駆動部３６は、例えば駆動モータや、ギヤ機構又はヘリコイド機構などの駆動機構を有し、撮像光学系３５の各レンズを光軸方向に移動させる。エンコーダ３７は、撮像光学系３５のズームレンズやフォーカスレンズが光軸方向に移動したときに、その移動に伴う位置や移動方向を検出し、鏡筒制御部３８に出力する。

鏡筒制御部３８は、装置本体１１のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部３６を制御する。ここで、駆動制御信号とは、撮像光学系３５の各レンズを光軸方向に移動させる制御信号である。鏡筒制御部３８は、駆動制御信号に応じて、レンズ駆動部３６に出力するパルス電圧のステップ数を制御する。また、鏡筒制御部３８は、撮像光学系の各レンズの移動量に応じた信号に基づいて、フォーカスレンズの位置（フォーカスポジション）を、装置本体１１のＣＰＵ２６に出力する。

次に、画像処理回路２２の構成について説明する。上述したように、画像処理回路２２は、画像処理条件に基づいて画像データに対する画像処理を実行する他に、スルー画像データを用いて、主要被写体領域を設定する処理を実行する。図２に示すように、画像処理回路２２は、検出部４１、判定部４２、追尾部４３、評価部４４及び設定部４５の機能を有している。

検出部４１は、撮像部２１にて取得されるスルー画像データを用いて、該スルー画像データに基づいた画像に含まれる被写体の領域を検出する。以下、スルー画像データに基づく画像をスルー画像と称する。ここで、被写体の領域を検出する処理としては、画像から得られる特徴量に基づいて被写体の領域を検出するための一手法であるマスク抽出処理が挙げられる。このマスク抽出処理を行うことで、検出部４１は、スルー画像に含まれる被写体の領域を検出する。検出部４１は、検出された被写体の領域をマスクとした上で、該マスクに係る情報（以下、マスク情報）を記憶部２５に記憶する。ここで、マスク情報としては、マスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、マスクの動き（移動方向、移動ベクトル）、マスクに該当する被写体までの距離の情報が含まれる。

判定部４２は、複数のスルー画像のそれぞれから得られるマスク情報を用いて、同一のマスクがｎ回（ｎフレーム）以上連続して検出されるか否かを判定する。この判定を行うことで、同一のマスクが安定しているか否かが判定される。

例えば、図示を省略した撮像光学系３５における光学ズーム倍率が一定の場合には、対象となるマスクと同色で、且つ同一サイズとなるマスクが、連続するｎフレーム以上のスルー画像データのそれぞれで検出されているか否かを判定する。この場合、被写体自体が動いていても、静止していてもよい。

また、撮像光学系３５における光学ズーム倍率を変更する場合や、撮像光学系３５における光学ズーム倍率が一定で被写体又は撮影者が撮像光学系３５の光軸方向に変化する場合もある。このような場合、連続して得られるスルー画像においては検出される被写体の領域の大きさが変化する。よって、対象となるマスクと同色となり、且つ光学ズーム倍率に合わせた拡大率又は縮小率でサイズが変化しているマスクが、連続するｎフレーム以上のスルー画像のそれぞれで検出されているか否かを判定すればよい。

なお、判定部４２においては、同一のマスクがｎ回（ｎフレーム）以上連続して検出されるか否かを判定するようにしているが、少なくとも２回（２フレーム）以上連続して検出される場合に、マスクが安定していると判定することができる。なお、マスクが安定しているか否かの判定として用いるスルー画像については、撮像部２１から出力される全てのスルー画像を対象としてもよいし、撮像部２１から出力されるスルー画像のうち、例えば３フレームおき等、所定フレーム間隔を空けて得られるスルー画像を対象のスルー画像として、対象となるスルー画像を用いて上記判定を行うことも可能である。

追尾部４３は、主要被写体領域が設定された以降に得られるスルー画像に対して、例えば主要被写体領域として設定されたマスクを用いたテンプレートマッチングの手法を用い、取得されるスルー画像に含まれる主要被写体領域の位置を特定する。この処理をスルー画像のそれぞれに対して行うことで、主要被写体を追尾することが可能となる。

評価部４４は、判定部４２において、ｎ回（ｎフレーム）以上連続して検出されるマスク（主要被写体領域として設定されるマスクも含む）に対する評価を実行する。ここで、評価部４４は、記憶部２５に記憶されたマスク情報を用いて、マスクに対する評価を行う。

設定部４５は、評価部４４における評価結果に基づいて主要被写体領域を設定する。ここで、主要被写体領域を設定する処理としては、主要被写体領域が設定されていないときに、新規に主要被写体領域を設定する場合の他に、主要被写体領域が設定されているときに、主要被写体領域となる被写体の領域を切り替える（再設定する）処理が含まれる。設定部４５は、主要被写体領域を設定したときに、該設定した情報を記憶部２５に書き込む。なお、この情報は、マスク情報に対応付けて記憶してもよいし、個別に記憶してもよい。

次に、評価部４４における評価について説明する。以下、評価部４４の評価において使用するマスク情報として、各マスクの位置情報を用いる場合について説明する。

評価部４４は、ｎ回（ｎフレーム）以上連続して検出されるマスクに対して評価値を求める。この評価値は、対象となるマスクの位置がスルー画像の中心から近いほど、評価値が高く、スルー画像の周縁部に近いほど、評価値が低くなる。対象となるマスクの評価値を求めた後、評価部４４は、対象となるマスクの評価値に対する評価を行う。この評価の結果を用いて、設定部４５は、主要被写体領域を設定する。

上述した評価は、各マスクに対して求められる評価値と、スルー画像ＴＩに対して設定される領域Ａ及び領域Ｂのそれぞれに対する値（後述する閾値Ｔａ及びＴｂ）とを比較することで実行される。

図３に示すように、領域Ａは、その横方向の長さＷ_１及び縦方向の長さＨ_１がスルー画像ＴＩの横方向の長さＷ_０及び縦方向の長さＨ_０のα（α＝０．５〜０．６）倍に設定される。この領域Ａは、対象となるマスクに該当する被写体が主要被写体であれば、画角の中央の領域に位置するという概念に基づき設定される領域である。よって、上述した閾値Ｔａは、領域Ａにマスクが含まれると評価できる該マスクの評価値の最小値となる。

また、領域Ｂは、その横方向の長さＷ_２及び縦方向の長さＨ_２がスルー画像の横方向の長さＷ_０及び縦方向の長さＨ_０のβ（β＝０．８〜０．９）倍に設定される。ここで、領域Ｂは必ずしも設定する必要はないが、撮像光学系３５におけるレンズ収差等、撮像光学系３５のレンズ性能を考慮して設定される。この領域Ｂは、主要被写体が画角から外れたか否かを評価する際に用いる領域となる。つまり、閾値Ｔｂは、領域Ｂにマスクが含まれると評価できる該マスクの評価値の最小値となる。

なお、閾値Ｔａや閾値Ｔｂの値は、マスクの形状や大きさ等によって変動するものであってもよいし、固定であってもよい。また、上述したα及びβの値は、上記に限定されるものではなく、適宜設定してよい。

本実施形態では、評価部４４の評価において使用するマスク情報として、各マスクの位置情報を用いる場合について説明するが、マスクの動き情報や、マスクに該当する被写体までの距離情報のいずれかを用いてもよい。例えばマスクの動き情報や距離情報を用いる場合には、上述した領域Ａに含まれる被写体のうち、評価の高いマスクを主要被写体として設定すればよい。さらに、マスク情報として記憶されるマスクの位置情報、マスクの動き情報又はマスクに該当する被写体までの距離情報の少なくとも２つの情報、或いはこれら全ての情報を用いて評価値を算出することも可能である。

次に、撮影時の処理の流れについて、図４及び図５のフローチャートを用いて説明する。なお、このフローチャートは、撮像装置が撮影を行うことが可能な動作モードとなる場合に実行される。

ステップＳ１０１は、スルー画像データを取得する処理である。ＣＰＵ２６は、撮像部２１を制御して、スルー画像データの取得を開始する。取得されたスルー画像データの画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像データは、所定の時間間隔で連続して取得される。

ステップＳ１０２は、画像処理である。ＣＰＵ２６は、画像処理回路２２に対して画像処理を行う指示を行う。この指示を受けて、画像処理回路２２は、バッファメモリ部２４に記憶されたスルー画像データを読み出す。そして、画像処理回路２２は、読み出したスルー画像データに対して、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などの画像処理を実行する。これら画像処理が実行された後、画像処理回路２２は、スルー画像データをバッファメモリ部２４に一時記憶する。

ステップＳ１０３は、スルー画像を表示する処理である。このステップＳ１０３の処理において、ＣＰＵ２６は、バッファメモリ部２４に一時記憶されたスルー画像データを読み出し、表示部２３に出力する。これを受けて、表示部２３は読み出したスルー画像データに基づく画像を表示する。これにより、スルー画像が表示される。

ステップＳ１０４は、マスク抽出処理である。ＣＰＵ２６は、画像処理回路２２に対して、主要被写体領域を設定する指示を行う。この指示を受けて、画像処理回路２２は、バッファメモリ部２４からスルー画像データを読み出す。そして、画像処理回路２２は、読み出したスルー画像データを用いてマスク抽出処理を行う。マスク抽出処理が実行されることで被写体の領域が検出され、検出された被写体の領域がマスクとして抽出される。

ステップＳ１０５は、マスクが抽出できたか否かを判定する処理である。ステップＳ１０４の処理により、被写体の領域が検出され、該被写体の領域がマスクとして抽出されている場合には、ＣＰＵ２６は、ステップＳ１０５の判定結果をＹｅｓとする。この場合、ステップＳ１０６に進む。一方、ステップＳ１０４の処理において被写体の領域が検出できないときにはマスクは抽出されないので、ＣＰＵ２６は、ステップＳ１０５の判定結果をＮｏとする。この場合、ステップＳ１１２に進む。

ステップＳ１０６は、マスク情報を記録する処理である。ＣＰＵ２６は、ステップＳ１０４により抽出したマスクに係る情報をマスク情報として記憶部２５等に記録する。

ステップＳ１０７は、ｎ回以上連続して抽出されたマスクがあるか否かを判定する処理である。このステップＳ１０７における判定は、ステップＳ１０４のマスク抽出処理により抽出されたマスクが安定しているか否かを判定するためのものである。よって、ｎ回以上連続して同一のマスクを抽出した場合、ＣＰＵ２６は抽出されたマスクが安定していると判定する。つまり、主要被写体領域を正しく検出していると判断することができる。この場合、ＣＰＵ２６は、ステップＳ１０７の判定結果をＹｅｓとし、ステップＳ１０８に進む。一方、ｎ回以上連続して同一のマスクを抽出していない場合は、ＣＰＵ２６は、ステップＳ１０４のマスク抽出処理により抽出されたマスクが安定していないと判定する。この場合、ＣＰＵ２６は、ステップＳ１０７の判定結果をＮｏとし、ステップＳ１１２に進む。ＣＰＵ２６は、ステップＳ１０７の判定結果を記憶部２５に記録する。

ステップＳ１０８は、抽出したマスクを評価する処理である。画像処理回路２２は、ｎ回（ｎフレーム）以上連続して抽出されたマスクを主要被写体領域の候補となるマスクとする。そして、画像処理回路２２は、主要被写体領域の候補となるマスクに対応したマスク情報を記憶部２５から読み出す。そして、画像処理回路２２は、読み出したマスク情報に基づき、対象となるマスクに対する評価値を求める。画像処理回路２２は、求めた評価値と、閾値Ｔａと比較することで、対象となるマスクを評価する。

ステップＳ１０９は、主要被写体領域を設定する処理である。画像処理回路２２は、ステップＳ１０８における評価結果を用いて、主要被写体領域を設定する。

ステップＳ１１０は、主要被写体領域に係る情報を記憶する処理である。画像処理回路２２は、主要被写体領域の情報を記憶部２５等に記録する。主要被写体領域の情報には、用いられたマスクに関するマスク情報、主要被写体領域の位置、主要被写体領域の大きさや形状などの情報が含まれる。

ステップＳ１１１は、主要被写体領域情報を表示する処理である。ＣＰＵ２６は、主要被写体領域の情報を表示部２３に出力する。表示部２３は、出力された主要被写体領域の情報に基づいた表示をスルー画像に重畳して表示する。主要被写体領域の情報に基づいた表示としては、例えば主要被写体領域であることを示す枠が挙げられる。なお、この枠は、主要被写体領域の形状に応じた枠であってもよいし、矩形や円形など所定の形状の枠であってもよい。このような表示を行うことにより、ユーザは、自動で検出される主要被写体領域の位置や形状がどのようなものであるかを、容易に把握することができる。

ステップＳ１１２は、撮影指示があるか否かを判定する処理である。操作部２７を用いた入力操作が行われた場合、ＣＰＵ２６には、操作部２７における入力操作に基づく信号が入力される。ＣＰＵ２６は、この入力される信号が撮影指示を示す信号であるか否かを判定する。入力される信号が撮影指示を示す信号であれば、ＣＰＵ２６は、ステップＳ１１２の判定結果をＹｅｓとする。この場合、ステップＳ１１３に進む。一方、入力される信号が撮影指示を示す信号でない場合には、ＣＰＵ２６は、ステップＳ１１２の判定結果をＮｏとする。この場合、ステップＳ１２０に進む。

ステップＳ１１３は、撮像処理である。例えばステップＳ１０９で主要被写体領域を設定した場合、ＣＰＵ２６は、設定した主要被写体領域の情報に基づいて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行うとともに、画像処理回路２２における各種画像処理の条件等を決定する。また、ステップＳ１１３で主要被写体領域を設定していない場合、ＣＰＵ２６は、例えば中央の領域など特定の領域を用いて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行うとともに、画像処理回路２２における各種画像処理の条件等を決定する。そして、ＣＰＵ２６は、上述した処理の結果に基づいて、撮像処理を実行する。

ステップＳ１１４は、画像を記録する処理である。ＣＰＵ２６は、ステップＳ１１３による撮像処理により取得された画像データを、通信部２８を介して記憶媒体３１に記録して一連の処理を終了する。

上述したステップＳ１１２の判定処理において、撮影指示がないと判定された場合には、ステップＳ１２０に進む。

ステップＳ１２０は、スルー画像データを取得する処理である。このステップＳ１２０の処理は、ステップＳ１０１と同一の処理である。

ステップＳ１２１は、画像処理である。このステップＳ１２１の処理は、ステップＳ１０２と同一の処理である。

ステップＳ１２２はスルー画像を表示する処理である。このステップＳ１２２の処理は、ステップＳ１０３と同一の処理である。

ステップＳ１２３は、主要被写体領域の設定があるか否かを判定する処理である。ＣＰＵ２６は、記憶部２５を参照する。そして、主要被写体領域の情報が記憶部２５に記憶されていれば、ＣＰＵ２６はステップＳ１２３の判定結果をＹｅｓとする。この場合、ステップＳ１２４及びステップＳ１２５の処理と、ステップＳ１２６からステップＳ１２８の処理とが同時並行にて実行される。

一方、主要被写体領域の情報が記憶部２５に記憶されていない場合、ＣＰＵ２６はステップＳ１２３の判定結果をＮｏとする。この場合、ステップＳ１０４に戻る。つまり、この場合には、主要被写体領域を設定するためのマスク抽出処理が再度実行される。

ステップＳ１２４は、追尾処理である。ＣＰＵ２６は、画像処理回路２２に対して追尾処理を指示する。これを受けて、画像処理回路２２は、バッファメモリ部２４からスルー画像データを読み出す。また、画像処理回路２２は、記憶部２５から主要被写体領域の情報を読み出す。そして、画像処理回路２２は、読み出した画像データ及び情報を用いて、例えばテンプレートマッチングなどの手法により、主要被写体領域を特定する。

ステップＳ１２５は、主要被写体領域の情報を更新する処理である。画像処理回路２２は、ステップＳ１２４により特定した主要被写体領域に係る情報を、新たな主要被写体領域の情報として記憶部２５に記憶する。ここで、ステップＳ１２４により新たに得られた主要被写体領域の情報は、先に記憶された主要被写体領域の情報と置き換えて記憶するものであってもよいし、ステップＳ１２４により新たに得られた主要被写体領域の情報を先に記憶された主要被写体領域の情報に書き加えるものであってもよい。

上述したように、ステップＳ１２４及びステップＳ１２５の処理と同時並行にて、ステップＳ１２６からステップＳ１２８の処理が実行される。

ステップＳ１２６は、マスク抽出処理である。なお、このステップＳ１２６の処理は、ステップＳ１０４の処理と同一の処理である。

ステップＳ１２７は、新たなマスクが抽出されたか否かを判定する処理である。ＣＰＵ２６は、記憶部２５に記憶されたマスク情報を読み出し、ステップＳ１２６におけるマスク抽出処理により得られたマスクのうち、新たに抽出したマスクがあるか否かを判定する。新たに抽出されたマスクがあるときには、ＣＰＵ２６は、ステップＳ１２８の判定結果をＹｅｓとする。この場合、ステップＳ１２８に進む。一方、新たに抽出されたマスクがないときには、ＣＰＵ２６は、ステップＳ１２８の判定結果をＮｏとする。この場合、ステップＳ１２９に進む。

ステップＳ１２８は、新たなマスク情報を記録する処理である。ＣＰＵ２６は、ステップＳ１２６にて取得された新たなマスクに係る情報を記憶部２５に記録する。

ステップＳ１２９は、主要被写体領域に設定されたマスクの他に、ｎ回以上連続して抽出されたマスクがあるか否かを判定する処理である。ｎ回以上連続して同一のマスクを抽出した場合、ＣＰＵ２６はステップＳ１２９の判定結果をＹｅｓとする。この場合、ステップＳ１３０に進む。一方、ｎ回以上連続して同一のマスクを抽出していない場合は、ＣＰＵ２６はステップＳ１２９の判定結果をＮｏとする。この場合、ステップＳ１３１に進む。

ステップＳ１３０は、主要被写体領域として設定されたマスクを含む、対象となるマスクを評価する処理である。画像処理回路２２は、記憶部２５から対象となるマスク情報を読み出す。そして、画像処理回路２２は、読み出したマスク情報を用いて、対象となるマスクのそれぞれに対する評価を行う。なお、ステップＳ１３０における評価においては、主要被写体領域として設定される被写体の領域に対応するマスクに対しては閾値Ｔｂを用いた評価を行う。また、その他の被写体の領域に対応するマスクに対しては閾値Ｔａを用いた評価を行う。

上述したステップＳ１２９の判定処理でＮｏとなる場合、ステップＳ１３１に進む。

ステップＳ１３１は、主要被写体領域として設定されたマスクに対する評価を行う処理である。画像処理回路２２は、記憶部２５に記憶された主要被写体領域の情報を読み出す。そして、画像処理回路２２は、読み出した主要被写体領域の情報を用いて、主要被写体領域となるマスクの評価を行う。この場合、画像処理回路２２は、閾値Ｔｂを用いて評価を行う。

ステップＳ１３２は、主要被写体領域の再設定を行うか否かを判定する処理である。画像処理回路２２は、ステップＳ１３０又はステップＳ１３１のいずれかにおいて実行されたマスクの評価結果を用いて、主要被写体領域を再設定するか否かを判定する。例えば、ステップＳ１３０において、主要被写体領域に設定されたマスク及び他のマスクに対する評価を行っている場合、主要被写体領域に設定されたマスクの評価結果と、他のマスクの評価結果とから、主要被写体領域として設定されたマスクの再設定を行うか否かを判定する。なお、この場合のマスクの再設定とは、マスクを切り替えることを指す。主要被写体領域として設定されたマスクの再設定を行う場合、画像処理回路２２は、ステップＳ１３２の判定結果をＹｅｓとする。この場合、ステップＳ１３３に進む。一方、主要被写体領域として設定されたマスクの再設定を行う必要がない場合には、画像処理回路２２は、ステップＳ１３２の判定結果をＮｏとする。この場合、ステップＳ１３５に進む。

一方、ステップＳ１３１において、主要被写体領域に設定されたマスクに対する評価を行っている場合、主要被写体領域に設定されたマスクの評価から、主要被写体領域として設定されたマスクの再設定を行うか否かを判定する。この場合の再設定は、主要被写体領域となるマスクの設定を解除することを指す。この場合も、主要被写体領域として設定されたマスクの再設定を行う場合、画像処理回路２２は、ステップＳ１３２の判定結果をＹｅｓとする。この場合、ステップＳ１３３に進む。一方、主要被写体領域として設定されたマスクの再設定を行う必要がない場合には、画像処理回路２２は、ステップＳ１３２の判定結果をＮｏとする。この場合、ステップＳ１３５に進む。

ステップＳ１３３は、主要被写体領域を再設定する処理である。画像処理回路２２は、主要被写体領域を再設定する。例えばステップＳ１３０において、主要被写体領域に設定されたマスク及び他のマスクに対して評価を行っている場合、画像処理回路２２は、主要被写体領域となるマスク設定を解除し、他のマスクに対して主要被写体領域を設定する。また、ステップＳ１３１において、主要被写体領域に設定されたマスクの評価を行っている場合、画像処理回路２２は、主要被写体領域となるマスク設定を解除する。

ステップＳ１３４は、主要被写体情報を更新する処理である。画像処理回路２２は、ステップＳ１３３により実行された主要被写体領域を再設定した結果に基づいて、記憶部２５に記録された主要被写体領域情報を更新する。

ステップＳ１３５は、主要被写体に設定されたマスクがあるか否かを判定する処理である。ＣＰＵ２６は、記憶部２５を参照する。記憶部２５に主要被写体領域情報があれば、ＣＰＵ２６は、ステップＳ１３５の判定結果をＹｅｓとする。この場合、ステップＳ１３６に進む。一方、記憶部２５に主要被写体領域情報がない場合、ＣＰＵ２６は、ステップＳ１３５の判定結果をＮｏとする。この場合、ステップＳ１１２に戻る。なお、記憶部２５に主要被写体領域情報がない場合としては、例えばステップＳ１３３における主要被写体領域の再設定において、主要被写体領域に対する設定が解除された場合が挙げられる。

ステップＳ１３６は、主要被写体情報を表示する処理である。このステップＳ１１１の処理と同一の処理である。このステップＳ１３６の処理が実行されると、ステップＳ１１２に戻る。

このようにして、主要被写体領域が設定されていない場合には、取得されたスルー画像データから求めた特徴量に基づいて検出された被写体の領域をマスクとして抽出する。この処理を複数のスルー画像データに対して行い、複数のスルー画像データから抽出されたマスクを比較する。この比較により、検出されたマスクが安定しているかが判定される。そして、マスクが安定していると判定された場合、そのマスクに対する評価を行い、評価が良いマスクに該当する被写体の領域を主要被写体領域として設定する。

一般に被写体を撮影する場合、被写体が画角の中央部分に位置するように撮像装置１０を構える。よって、図６（ａ）に示すように、撮像装置１０により得られるスルー画像ＴＩからは、中央部分（例えば領域Ａ）に位置する被写体の領域がマスク５１として抽出される。ここで、静止する被写体を撮影する場合、撮像装置１０の位置や向きが変化しない、又は撮像装置１０の撮像光学系３５における撮影倍率（光学ズーム倍率）を変更しない限りは、画角が固定される。よって、画角に対する被写体の位置は同一の位置となる。つまり、連続して得られる複数のスルー画像ＴＩからは、常に同一のマスク５１が検出され、したがって、マスク５１は安定していると判定される。また、マスク５１は領域Ａの内部に位置しているので、マスク５１に対する評価値Ｔは一定の値で、且つ閾値Ｔａを超過する（図６（ｂ）参照）。よって、このような場合には、マスク５１に該当する被写体の領域が主要被写体領域として設定される。

一方、構図によっては、静止する被写体を画角の中央部分ではなく、画角の周縁部に位置して撮影する場合もある。図７（ａ）に示すように、撮像装置１０により得られるスルー画像ＴＩからは、中央部分からずれた位置にある被写体の領域がマスク５２として抽出される。この場合、抽出されたマスク５２は、複数のスルー画像ＴＩのそれぞれから検出されることから、安定するマスクとして判定される。しかしながら、このマスク５２は、領域Ａから外れた位置にある。したがって、マスク５２に対する評価値Ｔは一定の値となるが、閾値Ｔａ以下となる（図７（ｂ）参照）。よって、マスク５２に該当する被写体の領域は、主要被写体領域として設定されることがない。

一方、移動する被写体が撮像装置１０における画角内に入り込む場合や、撮像装置１０における画角内から外れる場合もある。

まず、移動する被写体が画角内に入り込む場合について考慮する。図８（ａ）に示すように、移動する被写体を撮影する場合、複数のスルー画像ＴＩから検出される被写体の領域、言い換えれば抽出されるマスク５３は、図中Ｘ１方向に移動し、画角の中央部分に到達する。ここで、複数のスルー画像ＴＩから得られるマスク５３は、同一のマスクであるとして抽出されるので、マスク５３は安定していると判定される。

ここで、図８（ｂ）に示すように、マスク５３に対する評価値は、徐々に高くなる。そして、マスク５３がスルー画像ＴＩの中央部分に到達する、言い換えれば領域Ａに入り込むいと、その評価値Ｔは閾値Ｔａを超過する。よって、マスク５３がスルー画像ＴＩの中央部分（領域Ａ）に入り込む以降に、このマスク５３に該当する被写体の領域が主要被写体領域として設定される。

次に、画角の中央部分に位置する被写体が移動する場合もある。この場合、図９（ａ）に示すように、被写体が画角の中央部分に位置している場合には、複数のスルー画像ＴＩから、該被写体が検出され、被写体の領域がそれぞれマスク５４として検出される。ここで、マスクはスルー画像ＴＩの領域Ａに位置しているので、このマスク５４に対する評価値Ｔは、それぞれ一定の値となり、閾値Ｔａを超過する。よって、マスク５４に対応する被写体の領域が主要被写体領域として設定される。

その後、被写体が移動すると、複数のスルー画像ＴＩから抽出されるマスク５４の位置は、それぞれＸ２方向に変化する。上述したように、マスクに対する評価値は、スルー画像ＴＩの周辺部に近づくほど、その値が低くなる。よって、図９（ｂ）に示すように、Ｘ２方向に移動するマスク５４に対する評価値Ｔは、徐々に低くなる。よって、この評価値Ｔは、画角から外れたことを示す閾値Ｔｂ以下となる。この評価値Ｔが、閾値Ｔｂ以下となる場合に、マスク５４に該当する被写体の領域に対する主要被写体領域の設定が解除される。

例えば主要被写体領域が設定された後、撮影操作が実行されない場合には、引き続きスルー画像ＴＩが取得される。この場合も、スルー画像ＴＩから抽出されたマスクに対して、安定しているか否かの判定、及びマスクに対する評価が行われる。この過程で、新たにスルー画像ＴＩから抽出されたマスクがあれば、新たに抽出されたマスクのそれぞれに対して、安定しているか否かの判定、及びマスクに対する評価を行う。なお、主要被写体領域として設定される被写体の領域に基づくマスクに対しては、追尾処理が実行された後、追尾処理により検出されたマスクに対する評価が実行される。したがって、これら評価に基づき、必要に応じて、主要被写体領域の再設定が実行される。

例えば、画角の中心部分に位置している被写体が移動し、同時に、他の被写体が画角の中心部分に向けて移動する場合について説明する。この場合、図１０（ａ）に示すように、主要被写体領域に設定された被写体の領域に基づくマスク５５は、図中Ｘ３方向に移動する。これに併せて、他の被写体の領域に基づくマスク５６が、図中Ｘ３方向に移動する。よって、図１０（ｂ）に示すように、主要被写体領域に設定されるマスク５５は、スルー画像ＴＩから徐々に消えていき、他の被写体の領域に基づいたマスク５６が徐々にスルー画像ＴＩの中央部分に近づく。そして、図１０（ｃ）に示すように、他の被写体の領域に基づくマスク５６のみが、スルー画像ＴＩの内部に含まれることになる。

図１１は、マスク５５に対する評価値Ｔ１と、マスク５６に対する評価値Ｔ２とのそれぞれの評価値の変化を示すグラフである。なお、マスク５５に対する評価値Ｔ１を「○」で示し、マスク５６に対する評価値Ｔ２を図中「△」で示している。

図１１中「ｔ１」にて示す各マスクの評価値Ｔ１，Ｔ２が、図１０（ａ）に示すスルー画像ＴＩにおけるマスクの評価値である。つまり、図１０（ａ）に示すスルー画像ＴＩにおいては、マスク５５に対する評価値Ｔ１のみが求められる。ここで、マスク５５は、スルー画像ＴＩにおける領域Ａ内に位置することから、マスク５５に対する評価値Ｔ１は閾値Ｔａを超過している。よって、マスク５５に該当する被写体の領域が主要被写体領域として設定される。

図１１中「ｔ２」にて示す各マスクの評価値Ｔ１，Ｔ２が、図１０（ｂ）に示すスルー画像ＴＩにおけるマスクの評価値である。つまり、図１０（ｂ）に示すスルー画像ＴＩにおいては、マスク５５の他に、マスク５６も抽出されている。よって、これらマスクに対する評価値がそれぞれ求められる。この場合、マスク５５に対する評価値Ｔ１は、閾値Ｔｂ以下となり、また、マスク５６に対する評価値Ｔ２は、閾値Ｔａを超過している。この場合、主要被写体領域として、マスク５５に該当する被写体の領域の設定を解除する。同時に、マスク５６に該当する被写体の領域を主要被写体領域として設定する。よって、主要被写体領域として設定される被写体の領域が切り替えられる。

図１１中「ｔ３」にて示すマスクの評価値Ｔ１，Ｔ２が、図１０（ｃ）に示すスルー画像ＴＩにおけるマスクの評価値である。図１０（ｃ）に示すスルー画像ＴＩにおいては、マスク５６に対する評価値Ｔ２のみが求められる。ここで、マスク５６は、スルー画像ＴＩにおける領域Ａ内に位置することから、マスク５６に対する評価値Ｔ２は閾値Ｔａを超過している。よって、以降に得られるスルー画像ＴＩにおいて、マスク５６の評価値Ｔ２が閾値Ｔｂを越えていれば、マスク５６に該当する被写体の領域が、引き続き、主要被写体領域となる。このように、スルー画像ＴＩから検出される被写体が異なる被写体に入れ替わる場合であっても、主要被写体領域を容易に且つ的確に再設定することが可能となる。

ここで、図１０（ｄ）に示すように、スルー画像ＴＩ（画角）から検出されなくなった被写体の領域（図１０においてはマスク５５）が、所定時間経過後に得られるスルー画像ＴＩにより再度検出される場合がある。このような場合には、主要被写体領域として設定される被写体の領域を、評価値に関係なく変更する（切り替える）ようにしてもよいし、そのときに主要被写体領域として設定される被写体の領域と、再度検出された被写体の領域との両方の領域を主要被写体領域としてもよい。これら場合、主要被写体領域として設定された被写体の領域に基づくマスク情報を消去せずに、記憶部２５に保持しておけばよい。

また、スルー画像ＴＩから抽出される被写体の領域が複数検出される場合もある。このような場合には、評価値が閾値Ｔａを超過するマスクのうち、最も評価値の高いマスクに該当する被写体の領域が主要被写体領域として設定される。図１２（ａ）に示すように、スルー画像ＴＩからマスク５８，５９，６０が抽出される場合について説明する。このとき、図１２（ｂ）に示すように、マスク５８に該当する被写体は画角から外れる方向（図中Ｘ４方向に）に移動し、マスク５９に該当する被写体は図中Ｘ５方向に移動し、画角の中央部分で停止すると仮定する。また、マスク６０に該当する被写体は、静止していると仮定する。

図１３は、各マスク５８，５９，６０に対する評価値の変化を示すグラフである。ここで、図１３中「○」はマスク５８に対する評価値Ｔ３、「△」はマスク５９に対する評価値Ｔ４、「◇」はマスク６０に対する評価値Ｔ５をそれぞれ示す。

図１３に示すように、マスク５８に対する評価値Ｔ３は、時間経過とともに低下し、画角から外れることで評価値が算出されなくなる。また、マスク５９に対する評価値Ｔ４は、画角の中央部分に移動することで、その評価値Ｔ４が高くなる。一方、マスク６０は、静止している被写体に該当することから、その評価値Ｔ５は一定の値となる。

この場合、閾値Ｔａを超過する評価値となるマスク５８及びマスク５９において、マスク５８に対する評価値Ｔ３がマスク５９に対する評価値Ｔ４よりも高いことから、この場合、マスク５８に該当する被写体の領域が主要被写体領域として設定される。

上述したように、マスク５８は、該当する被写体が画角から外れる方向に移動しているので、マスク５８に対する評価値Ｔ３は低くなる。一方、マスク５９は、該当する被写体が画角の中央に向けて移動することから、マスク５９に対する評価値Ｔ４は高くなる。マスク５８に対する評価値Ｔ３が閾値Ｔｂ以下となるときには、マスク５９に対する評価値Ｔ５は閾値Ｔａを超過しているので、主要被写体領域に設定される被写体の領域が切り替わる。つまり、主要被写体領域に設定される被写体の領域が、マスク５８に該当する被写体の領域から、マスク５９に該当する被写体の領域に切り替わる。

このように、複数の被写体が画角内で移動する場合であっても、主要被写体領域の再設定を容易に、かつ的確に行うことが可能となる。

本実施形態においては、撮像光学系３５における光学ズーム倍率を一定にした場合について説明しているが、これに限定される必要はなく、撮像光学系３５における光学ズーム倍率を変更した場合であっても、本発明を適用することができる。つまり、光学ズーム倍率を変更した場合、画角が変化する。例えば、光学ズーム倍率を高くした場合には、画角に含まれる実際の撮影範囲が狭くなる。よって、意図する主要被写体領域に設定した被写体の領域が画角から外れる場合がある。この場合、ユーザが意図していなくとも、画角に含まれる他の被写体の領域が主要被写体領域として自動的に設定される。

一方、光学ズーム倍率を低くした場合には、画角に含まれる実際の撮影範囲が広くなることから、ユーザが意図する被写体だけでなく、他の被写体も画角に含まれる。この場合意図する被写体の領域を主要被写体領域として設定していても、他の被写体の領域に対する評価が高くなるときがある。このようなときには、主要被写体領域は、ユーザの意図する被写体の領域から、他の被写体の領域に再設定される。このように、スルー画像ＴＩにおける主要被写体領域切り替えを、容易に、且つ的確に行うことができる。なお、主要被写体領域の再設定により、ユーザが意図していない被写体の領域が主要被写体領域となる場合には、撮像装置における画角や向きなどを調整すればよい。

本実施形態では、安定していると判定されたマスクに対する評価を行うことで、主要被写体領域を設定している。しかしながら、これに限定される必要はない。例えば表示部として、タッチパネルを備えた表示部を備えた撮像装置の場合には、操作部としてタッチパネルが機能する。この場合、取得されるスルー画像ＴＩから被写体の検出を行い、その結果をスルー画像ＴＩに重畳させて表示する。この表示は、例えば検出された被写体の領域に対して枠などを用いて表示すればよい。そして、表示されるスルー画像ＴＩにユーザが意図する被写体がある場合に、該被写体の領域に対応する箇所へのタッチ操作をタッチパネルに対して実行する。このタッチパネルへのタッチ操作が行われたときに、その操作された位置にある被写体の領域を主要被写体領域として設定すればよい。

また、タッチパネルを備えていない表示部の場合には、重畳表示される枠のうち、選択候補の被写体の領域に対する枠を他の枠とは異なる表示にて表示する。そして、十字キーなどの操作により、選択候補となる被写体の領域に対する枠の表示を他の被写体の領域に切り替えながら表示する。そして、意図する被写体の領域に、選択候補の被写体の領域に対する枠を移動させたときに、選択を意図する操作を行うことで、主要被写体領域を設定することも可能である。

本実施形態では、撮像装置を例に取り上げているが、これに限定される必要はなく、例えばカメラ機能を備えた携帯電話機やスマートフォンなどの携帯型情報端末機や、カメラとコンピュータとからなるカメラシステムであっても、本発明を適用することが可能である。また、この他に、取得された画像データを入力することで、図４及び図５のフローチャートの処理を実行する画像処理装置であってもよい。この場合、ステップＳ１０１及びステップＳ１２０の処理は省略すればよい。

また、この他に、図４及び図５におけるフローチャートの処理をコンピュータに実行させることが可能な画像処理プログラムであってもよい。この場合、画像処理プログラムは、メモリカード、光学ディスク、磁気ディスクなど、コンピュータにより読み取ることが可能な記憶媒体に記憶されていることが好ましい。

１０…撮像装置、２１…撮像部、２２…画像処理回路、２３…表示部、２６…ＣＰＵ、４１…検出部、４２…判定部、４３…追尾部、４４…評価部、４５…設定部

Claims (1)

1. 画像に含まれる被写体の領域のいずれかを、前記画像における主要被写体の領域として設定する設定部と、
   前記画像に含まれる被写体の領域を評価する評価部と、
   前記評価部による前記被写体の領域の評価に基づいて、前記主要被写体の領域として設定された被写体の領域を前記画像に含まれる他の被写体の領域に切り替えることで、前記画像における前記主要被写体の領域を再設定する再設定部と、
   を備え、
   前記評価部は、少なくとも前記画像に含まれる被写体の領域の位置情報を用いて、前記主要被写体の領域として設定された被写体の領域が、前記画像に対して設定される第１の領域に含まれるか否かの評価、及び前記主要被写体の領域に設定される被写体領域を除いた他の被写体の領域が前記第１の領域とは異なる第２の領域に含まれているか否かの評価を行い、
   前記再設定部は、前記主要被写体の領域として設定された被写体の領域が前記第１の領域から外れ、且つ前記他の被写体の領域のうち、前記第２の領域に含まれる被写体の領域がある場合に、前記第２の領域に含まれる被写体の領域を前記主要被写体の領域として再設定する画像処理装置。

Images