JP2016091172A - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】本発明は、画像端まで視覚的顕著度を算出することができ、被写体を検出範囲を拡大することができる画像処理装置を提供する。【解決手段】画像の第１領域における第１の特徴量および画像の第２領域における第２の特徴量を算出し、第１の特徴量と第２の特徴量との比較結果に基づき、第１領域もしくは第２領域における視覚的顕著度を算出する。特徴量算出手段は、第１領域および第２領域を前記画像内の複数の位置に設定し、それぞれの位置で第１の特徴量と第２の特徴量を算出し、第２の領域の画像内の位置に応じて、第１領域と第２領域の相対位置を変化させる。【選択図】図２

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、注目領域検出における視覚的顕著度を算出する技術に関する。

従来の画像処理装置において、２つの領域の特徴量を比較することにより、画像内に存在する被写体を検出する技術が開示されている（特許文献１，２参照）。

特許文献１では、候補領域とその周辺領域の動きベクトルを比較することにより、被写体を検出している。特許文献２では、半径の小さい訓練データ抽出領域と半径の大きい検証データ抽出領域の特徴量の違いに基づき、視覚的に目立ち易い顕著な領域を検出している。つまり、訓練データ抽出領域とその周囲の領域である検証データ抽出領域の特徴量の違いが大きいほど、視覚的に顕著な度合い（以下、「視覚的顕著度」と称す）が高いと判定している。

特開２０１０−２１８３６１号公報 特開２０１２−１２３６３１号公報

しかしながら、２つの領域の特徴量を比較し被写体を検出する際に、周囲領域と、その中心位置に周囲領域よりも小さい内側領域を設定した場合、内側領域が画像端に接している位置では、周囲領域の一部が画像外にはみ出してしまう。そのため、周囲領域の特徴量を算出できず、被写体を検出できないといった課題がある。

前述の特許文献１，２では、内側領域の周囲に周辺領域を設定する例について記載されているが、該２領域の位置関係について具体的な言及はない。

本発明は、上記問題に鑑みて成されたものであり、画像端まで視覚的顕著度を算出することができ、被写体の検出範囲を拡大することができる画像処理装置およびその制御方法、並びにプログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、画像の第１領域における第１の特徴量および前記画像の第２領域における第２の特徴量を算出する特徴量算出手段と、前記第１の特徴量と前記第２の特徴量との比較結果に基づき、前記第１領域もしくは第２領域における視覚的顕著度を算出する視覚的顕著度算出手段とを備え、前記特徴量算出手段は、前記第１領域および前記第２領域を前記画像内の複数の位置に設定し、それぞれの位置で前記第１の特徴量と前記第２の特徴量を算出し、前記第２の領域の前記画像内の位置に応じて、前記第１領域と前記第２領域の相対位置を変化させることを特徴とする。

本発明によれば、特徴量を算出する領域の画像内位置に応じて、内側領域と周囲領域の相対位置関係を変化させる。これにより、画像端まで視覚的顕著度を算出することができ、被写体の検出範囲を拡大することができる。

本発明の第１の実施形態に係る画像処理装置の一例であるデジタルカメラの概略構成を示すブロック図である。 図１における注目領域検出部の構成例を示すブロック図である。 （ａ）注目領域を検出するための内側領域及び周囲領域の一例を示す図、（ｂ）検出した注目度合いである視覚的顕著度を示す図である。 注目領域検出部の動作処理を示すフローチャートである。 第１の実施形態における注目領域の検出方法を説明するための図である。 水平方向のサンプリングレートが輝度と色とで異なる場合のＹＵＶ４：２：２画像を１画素ずつ表記した図である。 本発明の第２の実施形態に係る画像処理装置の一例であるデジタルカメラの概略構成を示すブロック図である。 内側領域が周囲領域の常に中心に位置している場合の領域配置図である。 第２の実施形態における注目領域の検出方法を説明するための図である。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置の一例であるデジタルカメラの概略構成を示すブロック図である。

図１において、デジタルカメラ１００は、ズームレンズおよびフォーカスレンズを含むレンズ１０１、絞り機能を備えるシャッター１０２、光学像を電気信号に変換するＣＣＤセンサやＣＭＯＳセンサ等で構成される撮像部１０３を備える。また、デジタルカメラ１００は、撮像部１０３が出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換器１０４、ＡＦ制御のために光学像を電気信号に変換するＣＣＤセンサやＣＭＯＳセンサ等で構成されるＡＦセンサ１０５を備える。

また、デジタルカメラ１００は、ＡＦセンサ１０５が出力するアナログ信号をデジタル信号に変換するＡＦ用Ａ／Ｄ変換器１０６、Ａ／Ｄ変換器１０４から出力される画像データに対して、ホワイトバランス処理やガンマ補正処理等を行う画像処理部１０７を備える。

デジタルカメラ１００は、画像メモリ１０８、画像メモリ１０８を制御するメモリ制御部１０９、メモリ制御部１０９から入力されたデジタル信号をアナログ信号に変換するＤ／Ａ変換器１１０を備える。また、デジタルカメラ１００は、ＬＣＤ等の表示部１１１、画像データを圧縮符号化・復号化するコーデック部１１２を備える。

さらに、デジタルカメラ１００は、画像データを記憶するメモリカードやハードディスク等の記録媒体１１３、記録媒体１１３とのインタフェースである記録媒体Ｉ／Ｆ１１４、画像内の注目領域を検出する注目領域検出部１１５を備える。

また、デジタルカメラ１００は、自装置全体を制御するシステム制御部５０、各種のユーザからの操作指示を入力するための操作部１２０、電源スイッチ１２１、および電源部１２２を備える。

デジタルカメラ１００は、ＥＥＰＲＯＭ等の不揮発性メモリ１２３、各種制御に用いる時間や、内蔵された時計の時間を計測するシステムタイマ１２４を備える。さらに、デジタルカメラ１００は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２３から読みだしたプログラム等を展開するシステムメモリ１２５を備える。

次に、図１のデジタルカメラ１００における撮影時の基本的な動作について説明する。

撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換して画像処理部１０７に出力する。ＡＦセンサ１０５は、レンズ１０１及びシャッター１０２を介して入射した光を複数の対となるラインセンサで受光し、ＡＦ用Ａ／Ｄ変換器１０６へ出力する。ＡＦ用Ａ／Ｄ変換器１０６は、ＡＦセンサ１０５から出力されるアナログ信号をデジタル信号に変換し、システム制御部５０に出力する。システム制御部５０は、一対のラインセンサが出力した像信号に基づいて、被写体からの光束の分割方向における相対的位置ずれ量を検出し、いわゆる位相差ＡＦ制御を行う。

画像処理部１０７は、Ａ／Ｄ変換器１０４からの画像データまたはメモリ制御部１０９から読み出された画像データに対して、ホワイトバランス処理やガンマ補正処理などの各種画像処理を行う。画像処理部１０７から出力された画像データは、メモリ制御部１０９を介して画像メモリ１０８に書き込まれる。また、画像処理部１０７では、撮像部１０３が撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＡＥ（自動露出）処理、ＡＦ（オートフォーカス）処理などを行う。

画像メモリ１０８は、撮像部１０３から出力された画像データや、表示部１１１に表示するための画像データを格納する。Ｄ／Ａ変換器１１０は、画像メモリ１０８に格納されている画像表示用のデータをアナログ信号に変換して表示部１１１に供給する。表示部１１１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１０からのアナログ信号に応じた表示を行う。コーデック部１１２は、画像メモリ１０８に記憶された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき圧縮符号化する。

注目領域検出部１１５は、画像内の注目領域を検出し、注目領域情報をシステム制御部５０に出力する。システム制御部５０は、注目領域情報に基づき、所定処理を優先する領域を決定する。所定処理には、例えば、画像内に複数の被写体が存在する場合に、注目領域に属する被写体に合焦するようにＡＦ制御する処理が含まれる。また、画像内に複数の被写体が存在する場合に、注目領域に属する被写体が適正な明るさになるようにＡＥ制御する処理が含まれる。なお、注目領域検出部１１５の詳細については後述する。

システム制御部５０は、上記基本動作以外に、不揮発性メモリ１２３に記憶されたプログラムを実行することで、後述する各種処理を実現する。

次に、画像内の注目領域を検出する注目領域検出部１１５について図２および図３を参照して説明する。

図２は、図１における注目領域検出部１１５の構成例を示すブロック図である。

注目領域検出部１１５は、内側領域設定部２０１、周囲領域設定部２０２、内側領域特徴量算出部２０３、周囲領域特徴量算出部２０４、および視覚的顕著度算出部２０５を備える。これら各部の詳細な動作については後述する。

図３（ａ）は、画像内の注目領域を検出するための内側領域及び周囲領域の一例を示す図であり、図３（ｂ）は、検出した注目度合いである視覚的顕著度を示す図である。なお、図３（ｂ）は、白いほど視覚的顕著度が大きいことを示している。

注目領域検出部１１５は、システム制御部５０からの設定情報に基づき、内側領域ａ３０１及び周囲領域ｂ３０１を画像全体において移動させ、複数位置において内側領域ａ３０１の特徴量と周囲領域ｂ３０１の特徴量の比較を行う。その比較結果から内側領域ａ３０１の特徴量と周囲領域ｂ３０１の特徴量の違いが大きい場合は、目立ち易い領域と判定し、大きい視覚的顕著度を算出する。一方、内側領域ａ３０１の特徴量と周囲領域ｂ３０１の特徴量の違いが小さい場合は、目立ち難い領域と判定し、小さい視覚的顕著度を算出する。

図３（ａ）に示すように、背景にボールが存在し、内側領域がボール周辺に位置する場合は、内側領域ａ３０１の特徴量と周囲領域ｂ３０１の特徴量の違いが大きいため、視覚的顕著度は大きい値を示す。一方、内側領域がボール周辺以外に位置する場合は、内側領域ａ３０１の特徴量と周囲領域ｂ３０１の特徴量の違いが小さいため、視覚的顕著度は小さい値を示している。

以上のように、注目領域検出部１１５は、内側領域ａ３０１と周囲領域ｂ３０１を画像全体において移動させながら、内側領域位置における視覚的顕著度を算出する。

図３（ａ）に示すように、内側領域ａ３０１が周囲領域ｂ３０１の常に中心に存在する相対位置関係にあると、内側領域ａ３０１が画像端に接する位置の場合に周囲領域ｂ３０１の一部が画像外にはみ出てしまう。そのため、周囲領域ｂ３０１の一部の画素情報が欠落し、視覚的顕著度が算出できない。そこで、注目領域検出部１１５が注目領域を検出する。

図４は、図２に示す各部により実行される注目領域検出動作の流れを示すフローチャートである。図５は、図４に示す注目領域検出動作を説明するための図である。

ステップＳ４０１では、システム制御部５０は、内側領域初期位置及び内側領域移動量、周囲領域初期位置及び周囲領域移動量を決定する。図５では、内側領域初期位置としてａ５０１、内側領域移動量としてａ５１１、周囲領域初期位置としてｂ５０１、周囲領域移動量としてｂ５１１が位置決定された例を示している。ここで、システム制御部５０は、内側領域と周囲領域の相対位置関係を画像内位置に応じて変化させるために、内側領域移動量を周囲領域移動量よりも大きな移動量になるように決定する。移動量の詳細については後述する。

なお、本実施形態では、内側領域および周囲領域の初期位置を初期開始座標と初期終了座標として定義するが、これに限ったものではない。例えば、内側領域および周囲領域の初期位置を初期開始座標と領域サイズとして定義してもよい。

ステップＳ４０１で決定された内側領域初期位置及び内側領域移動量は、注目領域検出部１１５内の内側領域設定部２０１に送出され、周囲領域初期位置及び周囲領域移動量は、周囲領域設定部２０２に送出される。

次に、ステップＳ４０２では、内側領域設定部２０１は、内側領域初期位置及び内側領域移動量に基づき、内側領域を設定する。具体的には、次の式（１）〜式（４）に基づき、内側領域を示す矩形の左上座標（ｉｎｎｅｒ＿ｓｘ，ｉｎｎｅｒ＿ｓｙ）と右下座標（ｉｎｎｅｒ＿ｅｘ，ｉｎｎｅｒ＿ｅｙ）を算出する。

ｉｎｎｅｒ＿ｓｘ＝ｉｎｎｅｒ＿ｉｎｉｓｘ＋ｉｎｎｅｒ＿ｓｔｅｐｘ＊ｓｔｅｐ＿ｃｎｔｘ （１）
ｉｎｎｅｒ＿ｅｘ＝ｉｎｎｅｒ＿ｉｎｉｅｘ＋ｉｎｎｅｒ＿ｓｔｅｐｘ＊ｓｔｅｐ＿ｃｎｔｘ （２）
ｉｎｎｅｒ＿ｓｙ＝ｉｎｎｅｒ＿ｉｎｉｓｙ＋ｉｎｎｅｒ＿ｓｔｅｐｙ＊ｓｔｅｐ＿ｃｎｔｙ （３）
ｉｎｎｅｒ＿ｅｙ＝ｉｎｎｅｒ＿ｉｎｉｅｙ＋ｉｎｎｅｒ＿ｓｔｅｐｙ＊ｓｔｅｐ＿ｃｎｔｙ （４）
上記式（１）及び式（２）において、変数は以下の通りである。なお、水平初期開始座標、水平初期終了座標、および水平移動量は、システム制御部５０から入力される。また、水平移動回数は、画像右端において、内側領域が画像外ではみ出す直前に０に初期化される。

ｉｎｎｅｒ＿ｓｘ：内側領域の水平開始座標
ｉｎｎｅｒ＿ｅｘ：内側領域の水平終了座標
ｉｎｎｅｒ＿ｉｎｉｓｘ：内側領域の水平初期開始座標
ｉｎｎｅｒ＿ｉｎｉｅｘ：内側領域の水平初期終了座標
ｉｎｎｅｒ＿ｓｔｅｐｘ：内側領域水平移動量となる。

ｓｔｅｐ＿ｃｎｔｘ：水平移動回数
上記式（３）及び式（４）において、
ｉｎｎｅｒ＿ｓｙ：内側領域の垂直開始座標、
ｉｎｎｅｒ＿ｅｙ：内側領域の垂直終了座標、
ｉｎｎｅｒ＿ｉｎｉｓｙ：内側領域の垂直初期開始座標、
ｉｎｎｅｒ＿ｉｎｉｅｙ：内側領域の垂直初期終了座標、
ｉｎｎｅｒ＿ｓｔｅｐｙ：内側領域垂直移動量となる。なお、垂直初期開始座標、垂直初期終了座標、および垂直移動量は、システム制御部５０から入力される。

また、ｓｔｅｐ＿ｃｎｔｙ：垂直移動回数となる。なお、垂直移動回数は、画像下端において、内側領域が画像外ではみ出す直前に０に初期化される。

次に、内側領域を複数位置に設定する動作について図５を参照して説明する。

まず、内側領域を水平方向の複数位置に設定する場合について説明する。

図５における内側領域ａ５０１は、初期位置に属するため、式（１）、式（２）、式（３）及び式（４）に従い、ｓｔｅｐ＿ｃｎｔｘ＝０、ｓｔｅｐ＿ｃｎｔｙ＝０として算出される。

次に、図５における内側領域ａ５０２は、内側領域ａ５０１から水平方向に１回移動した領域なので、式（１）、式（２）、式（３）及び式（４）に従い、ｓｔｅｐ＿ｃｎｔｘ＝１、ｓｔｅｐ＿ｃｎｔｙ＝０として算出される。

同様に、図５における内側領域ａ５０３は、内側領域ａ５０１から水平方向に２回移動した領域なので、式（１）、式（２）、式（３）及び式（４）に従い、ｓｔｅｐ＿ｃｎｔｘ＝２、ｓｔｅｐ＿ｃｎｔｙ＝０として算出される。

次に、内側領域を垂直方向の複数位置に設定する場合について説明する。

図５における内側領域ａ５０４は、内側領域ａ５０１から垂直方向に１回移動した領域なので、式（１）、式（２）、式（３）及び式（４）に従い、ｓｔｅｐ＿ｃｎｔｘ＝０、ｓｔｅｐ＿ｃｎｔｙ＝１として算出される。

同様に、図５における内側領域ａ５０５は、内側領域ａ５０１から垂直方向に２回移動した領域なので、式（１）、式（２）、式（３）及び式（４）に従い、ｓｔｅｐ＿ｃｎｔｘ＝０、ｓｔｅｐ＿ｃｎｔｙ＝２として算出される。その他の内側領域も上記と同様の算出方法により設定される。

以上のように、内側領域設定部２０１は、内側領域を画像内の複数位置に設定する。

ステップＳ４０２で設定された内側領域は、内側領域設定部２０１から内側領域特徴量算出部２０３に送出される。

図４に戻り、ステップＳ４０３では、周囲領域設定部２０２は、周囲領域初期位置及び周囲領域移動量に基づき、周囲領域を設定する。具体的には、次の算出式に基づき、周囲領域を示す矩形の左上座標（ｓｕｒｒｏｕｎｄ＿ｓｘ，ｓｕｒｒｏｕｎｄ＿ｓｙ）と右下座標（ｓｕｒｒｏｕｎｄ＿ｅｘ，ｓｕｒｒｏｕｎｄ＿ｅｙ）が算出される。

ｓｕｒｒｏｕｎｄ＿ｓｘ＝ｓｕｒｒｏｕｎｄ＿ｉｎｉｓｘ＋ｓｕｒｒｏｕｎｄ＿ｓｔｅｐｘ＊ｓｔｅｐ＿ｃｎｔｘ （５）
ｓｕｒｒｏｕｎｄ＿ｅｘ＝ｓｕｒｒｏｕｎｄ＿ｉｎｉｅｘ＋ｓｕｒｒｏｕｎｄ＿ｓｔｅｐｘ＊ｓｔｅｐ＿ｃｎｔｘ （６）
ｓｕｒｒｏｕｎｄ＿ｓｙ＝ｓｕｒｒｏｕｎｄ＿ｉｎｉｓｙ＋ｓｕｒｒｏｕｎｄ＿ｓｔｅｐｙ＊ｓｔｅｐ＿ｃｎｔｙ （７）
ｓｕｒｒｏｕｎｄ＿ｅｙ＝ｓｕｒｒｏｕｎｄ＿ｉｎｉｅｙ＋ｓｕｒｒｏｕｎｄ＿ｓｔｅｐｙ＊ｓｔｅｐ＿ｃｎｔｙ （８）
式（５）及び式（６）において、変数は以下の通りである。なお、水平初期開始座標、水平初期終了座標、および水平移動量は、システム制御部５０から入力される。また、水平移動回数は、画像右端において、周囲領域が画像外ではみ出す直前に０に初期化される。

ｓｕｒｒｏｕｎｄ＿ｓｘ：周囲領域の水平開始座標
ｓｕｒｒｏｕｎｄ＿ｅｘ：周囲領域の水平終了座標
ｓｕｒｒｏｕｎｄ＿ｉｎｉｓｘ：周囲領域の水平初期開始座標
ｓｕｒｒｏｕｎｄ＿ｉｎｉｅｘ：周囲領域の水平初期終了座標
ｓｕｒｒｏｕｎｄ＿ｓｔｅｐｘ：周囲領域水平移動量
ｓｔｅｐ＿ｃｎｔｘ：水平移動回数
式（７）及び式（８）において、変数は以下の通りである。なお、垂直初期開始座標、垂直初期終了座標、および垂直移動量は、システム制御部５０から入力される。また、垂直移動回数は、画像下端において、周囲領域が画像外ではみ出す直前に０に初期化される。

ｓｕｒｒｏｕｎｄ＿ｓｙ：周囲領域の垂直開始座標
ｓｕｒｒｏｕｎｄ＿ｅｙ：周囲領域の垂直終了座標
ｓｕｒｒｏｕｎｄ＿ｉｎｉｓｙ：周囲領域の垂直初期開始座標
ｓｕｒｒｏｕｎｄ＿ｉｎｉｅｙ：周囲領域の垂直初期終了座標
ｓｕｒｒｏｕｎｄ＿ｓｔｅｐｙ：周囲領域垂直移動量
ｓｔｅｐ＿ｃｎｔｙ：垂直移動回数
次に、周囲領域を複数位置に設定する動作について図５を参照して説明する。

まず、周囲領域を水平方向の複数位置に設定する場合について説明する。

図５における周囲領域ｂ５０１は、初期位置に属するため、式（５）、式（６）、式（７）及び式（８）に従い、ｓｔｅｐ＿ｃｎｔｘ＝０、ｓｔｅｐ＿ｃｎｔｙ＝０として算出される。

次に、図５における周囲領域ｂ５０２は、周囲領域ｂ５０１から水平方向に１回移動した領域なので、式（５）、式（６）、式（７）及び式（８）に従い、ｓｔｅｐ＿ｃｎｔｘ＝１、ｓｔｅｐ＿ｃｎｔｙ＝０として算出される。

同様に、図５における周囲領域ｂ５０３は、周囲領域ｂ５０１から水平方向に２回移動した領域なので、式（５）、式（６）、式（７）及び式（８）に従い、ｓｔｅｐ＿ｃｎｔｘ＝２、ｓｔｅｐ＿ｃｎｔｙ＝０として算出される。

次に、周囲領域を垂直方向の複数位置に設定する場合について説明する。

図５における周囲領域ｂ５０４は、周囲領域ｂ５０１から垂直方向に１回移動した領域なので、式（５）、式（６）、式（７）及び式（８）に従い、ｓｔｅｐ＿ｃｎｔｘ＝０、ｓｔｅｐ＿ｃｎｔｙ＝１として算出される。

同様に、図５における周囲領域ｂ５０５は、周囲領域ｂ５０１から垂直方向に２回移動した領域なので、式（５）、式（６）、式（７）及び式（８）に従い、ｓｔｅｐ＿ｃｎｔｘ＝０、ｓｔｅｐ＿ｃｎｔｙ＝２として算出される。その他の周囲領域も上記同様の算出方法により設定される。

以上のように、周囲領域設定部２０２は、周囲領域を画像内の複数位置に設定する。

ステップＳ４０３で設定された周囲領域は、周囲領域設定部２０２から周囲領域特徴量算出部２０４に送出される。

図４に戻り、ステップＳ４０４では、内側領域特徴量算出部２０３は、ステップＳ４０２で内側領域設定部２０１が設定した複数位置の内側領域において、画像の特徴量を算出する。算出された内側領域特徴量は、内側領域特徴量算出部２０３から視覚的顕著度算出部２０５に送出される。

次に、ステップＳ４０５では、周囲領域特徴量算出部２０４は、ステップＳ４０３で周囲領域設定部２０２が設定した複数位置の周囲領域において、画像の特徴量を算出する。算出された周囲領域特徴量は、周囲領域特徴量算出部２０４から視覚的顕著度算出部２０５に送出される。

ここで、上述した内側領域特徴量算出部２０３及び周囲領域特徴量算出部２０４が算出する特徴量とは、領域内の明るさ、色、エッジ強度、明るさヒストグラム、色ヒストグラム及びエッジ強度ヒストグラムのうち少なくとも一つを含むものである。

次に、ステップＳ４０６では、視覚的顕著度算出部２０５は、内側領域特徴量と、その内側領域の周囲に位置する周囲領域特徴量の違いに基づき、視覚的顕著度を算出する。例えば、図５に示す内側領域ａ５０１の特徴量と周囲領域ｂ５０１の特徴量の違いに基づき、視覚的顕著度が算出される。特徴量の違いを算出する具体的な方法には、特徴量の差分絶対値を評価して視覚的顕著度を算出する方法がある。例えば、特徴量が明るさの場合は、内側領域の輝度平均値と周囲領域の輝度平均値の差分絶対値を視覚的顕著度とする。また、特徴量が明るさヒストグラムの場合は、内側領域の明るさヒストグラムと周囲領域の明るさヒストグラムのビン毎の差分絶対値を算出し、その積算値を視覚的顕著度とする。

図４のステップＳ４０７では、システム制御部５０は、画像全体の全ての探索領域を探索したか否か判定し、探索していない場合は、ステップＳ４０２以降の処理を繰り返す。一方、画像全体の全ての探索領域を探索した場合には、本処理を終了する。

次に、システム制御部５０が決定する初期位置及び移動量について図５を参照して詳しく説明する。

システム制御部５０は、内側領域及び周囲領域の初期位置が、図５に示すａ５０１及びｂ５０１のように、画像内の左上隅に接するように決定する。そして、システム制御部５０は、画像右上隅で、内側領域が周囲領域の右上に位置するように、水平方向の内側領域移動量ａ５１１と周囲領域移動量ｂ５１１を決定する。その際、水平方向の内側領域移動量ａ５１１は、周囲領域移動量ｂ５１１よりも大きな移動量になる。

垂直方向も同様に、システム制御部５０は、画像左下隅で、内側領域が周囲領域の左下に位置するように、垂直方向の内側領域移動量ａ５１１と周囲領域移動量ｂ５１１を決定する。その際、垂直方向の内側領域移動量ａ５１１は、周囲領域移動量ｂ５１１よりも大きな移動量になる。

このように、内側領域及び周囲領域の初期位置を決定し、決定した初期位置から所定の移動量を累積加算して内側領域と周囲領域の位置を決定することにより、画像中心では、内側領域は周囲領域の中心に位置するようになる。

以上のように、周囲領域と内側領域の相対位置を画像内位置に応じて変化させることにより、画像端まで視覚的顕著度を算出することが可能となる。

ところで、画像データの輝度サンプリングレートと色サンプリングレートが異なる場合は、低いサンプリングレートでサンプリングされた画素情報の境界に内側領域及び周辺領域が整合するように調整を行ってもよい。

水平方向のサンプリングレートが輝度と色とで異なる（ＹＵＶ４：２：２画像）場合について図６を参照して具体的に説明する。

図６は、ＹＵＶ４：２：２画像を１画素ずつ表記した図であり、内側領域設定部２０１又は周囲領域設定部２０２が算出する領域を６０１，６０２に示している。なお、垂直方向のサンプリングレートが異なる場合も同様の処理で領域を調整する。

内側領域設定部２０１は、式（１），（２）により算出した内側領域の水平開始座標と水平終了座標が、図６の領域６０１であった場合、サンプリングレートが低い色画素情報の境界に整合するように水平開始座標と水平終了座標を図６の領域６０２の様に調整する。

周囲領域設定部２０２も内側領域設定部２０１と同様の処理により、水平開始座標と水平終了座標を調整する。

なお、内側領域設定部２０１は、内側領域が周囲領域外にはみ出してしまう場合は、内側領域が周囲領域内に存在するように内側領域の位置を調整してもよい。同様に、周囲領域設定部２０２は、内側領域が周囲領域外にはみ出してしまう場合は、内側領域が周囲領域内に存在するように周囲領域の位置を調整してもよい。

上記第１の実施形態によれば、特徴量を算出する領域の画像内位置に応じて、内側領域と周囲領域の相対位置関係を変化させる。これにより、画像端まで視覚的顕著度を算出することができ、被写体の検出範囲を拡大することができる。

［第２の実施形態］
上記第１の実施形態では、図５に示す領域配置のように、内側領域と周囲領域の相対位置を画像内位置によって変化させた場合、画像端まで視覚的顕著度を算出することができる。

しかしながら、画像内位置によって、内側領域と特徴量の違いを算出する周囲領域の相対的位置関係に偏りが発生してしまうおそれがある。例えば、画像左側では、内側領域に対して、右側に偏った周囲領域との特徴量の違いを算出し、画像右側では、内側領域に対して、左側に偏った周囲領域との特徴量の違いを算出する。そのため、内側領域が周囲領域の常に中心に位置している場合の方が、適切に視覚的顕著度を算出することができる。ただし、この場合は画像端まで視覚的顕著度を算出することができない。

本発明の第２の実施形態では、上記のようなトレードオフを解決するために、画像端に被写体が存在するか否かを推定し、視覚的顕著度を算出するための領域配置を決定する。なお、上記第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。

図７は、本発明の第２の実施形態に係る画像処理装置の一例であるデジタルカメラの概略構成を示すブロック図である。

図７に示すデジタルカメラ７００は、図１に示すデジタルカメラ１００に対して、画像端被写体存在推定部７０１のみが追加されており、その他の構成要素は上記図１と同様である。

画像端被写体存在推定部７０１は、画像端に被写体が存在するか否かを推定し、存在すると推定した場合は、その位置をシステム制御部５０に出力する。そして、システム制御部５０は、画像端被写体存在推定部７０１による推定結果に基づき、内側領域及び周囲領域の初期位置及び移動量を算出し、注目領域検出部１１５に出力する。なお、注目領域検出部１１５の構成及び動作は上記第１の実施形態と同様のため、その説明は省略する。

次に、画像端被写体存在推定部７０１について図８及び図９を参照して詳しく説明する。

図８は、内側領域が周囲領域の常に中心に位置している場合の領域配置図である。つまり、図示例では、内側領域と周囲領域の相対位置が画像内位置によって変化しない。また、領域８００は、内側領域が周辺領域の常に中心に位置している場合の、内側領域が配置される領域を示している。つまり、注目領域検出部１１５は、領域８００の内側のみ視覚的顕著度を算出することができる。

画像端被写体存在推定部７０１は、領域８００よりも外側の画像端領域に被写体が存在するか否かを推定する。例えば、フレーム間の動きベクトル検出を行うことにより、前フレームの被写体が、現フレームの画像端領域に存在するか否かを推定する。また、画像端領域のフレーム間差分絶対値を評価することにより、画像端領域に被写体が存在するか否かを推定してもよい。これにより、新たな被写体がフレームインしたか否かを推定することができる。

画像端被写体存在推定部７０１が、領域８００よりも外側の画像端に被写体が存在しないと推定した場合、システム制御部５０は、図８のように内側領域が周囲領域の常に中心に位置するように初期位置と移動量を算出し、注目領域検出部１１５に出力する。

画像端被写体存在推定部７０１が、領域８００よりも外側の画像端に被写体が存在すると推定した場合、システム制御部５０は、図９のように画像端の被写体推定位置まで内側領域を設定できるように初期位置と移動量を算出し、注目領域検出部１１５に出力する。図９に示す領域９００が、画像端被写体存在推定部７０１が推定した画像端被写体の位置を示す。この場合、上記第１の実施形態のように、画像内位置に基づき、内側領域と周囲領域の相対位置が変化する。

なお、注目領域を検出する対象の探索領域よりも広い領域の画素情報が存在する場合は、システム制御部５０は、図８のように内側領域が周囲領域の常に中心に位置するように初期位置と移動量を算出し、注目領域検出部１１５に出力してもよい。例えば、電子ズーム時において、電子ズーム領域のみ注目領域の探索をする場合、電子ズーム領域の周囲に画素情報が存在するため、内側領域が周囲領域の常に中心に位置する領域配置にしてもよい。このように内側領域を周囲領域の常に中心に位置する領域配置にするのは、電子ズーム時に限ったものではない。手振れ補正分の余白画素情報が必要な電子防振時や記録画角よりも広い画角を表示部に表示するサラウンドビュー時でも同様である。

以上、本発明の好ましい実施形態について説明したが、本発明は上記実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

５０ システム制御部
１００ デジタルカメラ
１０３ 撮像部
１０７ 画像処理部
１１５ 注目領域検出部
２０１ 内側領域設定部
２０２ 周囲領域設定部
２０３ 内側領域特徴量算出部
２０４ 周囲領域特徴量算出部
２０５ 視覚的顕著度算出部

Claims (12)

1. 画像の第１領域における第１の特徴量および前記画像の第２領域における第２の特徴量を算出する特徴量算出手段と、
   前記第１の特徴量と前記第２の特徴量との比較結果に基づき、前記第１領域もしくは第２領域における視覚的顕著度を算出する視覚的顕著度算出手段とを備え、
   前記特徴量算出手段は、前記第１領域および前記第２領域を前記画像内の複数の位置に設定し、それぞれの位置で前記第１の特徴量と前記第２の特徴量を算出し、前記第２の領域の前記画像内の位置に応じて、前記第１領域と前記第２領域の相対位置を変化させることを特徴とする画像処理装置。
2. 前記第１領域及び前記第２領域の位置を決定する位置決定手段をさらに備え、
   前記位置決定手段は、初期位置及び移動量に基づき前記第１領域および前記第２領域の位置を決定することを特徴とする請求項１記載の画像処理装置。
3. 前記位置決定手段は、前記初期位置に移動量を累積加算することにより前記第１領域および前記第２領域の位置を決定することを特徴とする請求項２記載の画像処理装置。
4. 前記位置決定手段は、前記第１領域の移動量とは異なる前記第２領域の移動量に基づき、前記第１領域及び前記第２領域の位置を決定することにより、前記第１領域と前記第２領域の相対位置を変化させることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第１領域の移動量は、前記第２領域の移動量よりも大きくすることを特徴とする請求項４記載の画像処理装置。
6. 前記位置決定手段は、前記第２領域の内側に位置するよう前記第１領域の位置を補正することを特徴とする請求項２または３に記載の画像処理装置。
7. 前記位置決定手段は、前記第２領域の内側に位置するよう前記第２領域の位置を補正することを特徴とする請求項２または３に記載の画像処理装置。
8. 異なるサンプリングレートを持つ画像信号に基づき前記視覚的顕著度を算出する場合において、前記位置決定手段は、低いサンプリングレートでサンプリングされた画像信号の境界に前記第１領域および前記第２領域が整合するように当該領域の位置を調整することを特徴とする請求項２または３に記載の画像処理装置。
9. 前記画像の画像端に被写体が存在するか否か推定する推定手段をさらに備え、
   前記位置決定手段は、前記推定手段の推定結果に応じて、前記第１領域および前記第２領域の初期位置及び移動量を変更することを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
10. 前記位置決定手段は、前記推定手段により前記画像端に被写体が存在しないと推定された場合は、前記第１領域と前記第２領域の相対位置を変化させないことを特徴とする請求項９に記載の画像処理装置。
11. 画像の第１領域における第１の特徴量および前記画像の第２領域における第２の特徴量を算出する特徴量算出工程と、
    前記第１の特徴量と前記第２の特徴量との比較結果に基づき、前記第１領域もしくは第２領域における視覚的顕著度を算出する視覚的顕著度算出工程とを備え、
    前記特徴量算出工程は、前記第１領域および前記第２領域を前記画像内の複数の位置に設定し、それぞれの位置で前記第１の特徴量と前記第２の特徴量を算出し、前記第２の領域の前記画像内の位置に応じて、前記第１領域と前記第２領域の相対位置を変化させることを特徴とする画像処理装置の制御方法。
12. 請求項１１に記載の制御方法を画像処理装置に実行させるためのコンピュータに読み取り可能なプログラム。