JP2011053759A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】構図を考慮して画像から注目領域を検出する。
【解決手段】撮像装置１００であって、処理対象画像の端部側の少なくとも一の画素を指定する画素指定部５ａと、指定された少なくとも一の画素の周辺領域について、当該少なくとも一の画素と類似する画素を追跡する画素追跡部５ｄと、処理対象画像のうち、画素追跡部５ｄにより追跡された画素によって構成される領域以外の領域を注目領域と推定する注目領域検出部５ｆと、を備えている。
【選択図】図１

Description

本発明は、画像処理装置、この画像処理装置を用いた画像処理方法及びプログラムに関する。

従来より、画像処理の分野においては、画像から得られる複数の物理的特徴を示す特徴マップを生成し、これらを統合することにより、処理対象の画像から特定の領域を注目領域として検出する技術が知られている。
より具体的な手法として、例えば、Treismanの特徴統合理論は、複数の特徴マップを統合し、顕著性マップを得る。また、IttiやKochらの理論は、各特徴マップを各々の平均値との二乗誤差で正規化し、全ての特徴マップを線形結合により統合した後、Difference of Gaussianフィルタにより統合特徴マップを再帰的にフィルタリングし、最終的に得られるフィルタリング結果の局所的なピークを注目領域として抽出する（例えば、非特許文献１参照）。

また、上記の理論で用いられる複数の特徴マップとしては、高い明度や特定の色、強いコントラストなど、人間の視覚プロセスの初期段階において知覚的に顕著な物体を優先的に注目する性質を利用するのが一般的であるとされている。

Laurent Itti, Christof Koch, and Ernst Niebur、「A Model of Saliency-Based Visual Attention for Rapid Scene Analysis」、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、（米国）、IEEE Computer Society、1998年11月、第20巻、第11号、p.1254-1259

しかしながら、上記の理論による注目領域の検出方法の場合、処理対象画像における個々の画像領域の特徴を検出するには有効とされるものの、その処理対象画像が画像全体として持つ情報（例えば、構図等）を考慮して個々の画像領域の特徴を検出することについては考えられていなかった。

そこで、本発明の課題は、構図を考慮して画像から注目領域を検出することができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
画像を取得する取得手段と、この取得手段により取得された画像の端部側の少なくとも一の画素を指定する指定手段と、この指定手段により指定された前記少なくとも一の画素の周辺領域について、当該一の画素と類似する画素を追跡する追跡手段と、前記画像のうち、前記追跡手段により追跡された画素によって構成される領域以外の領域を注目領域と推定する推定手段と、を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記指定手段は、前記一の画素として、前記画像の四隅の少なくとも一隅の画素を指定し、前記追跡手段は、前記指定手段により指定された前記四隅の少なくとも一隅の画素の周辺領域について、当該一隅の画素の各々と類似する画素を追跡することを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記追跡手段は、前記指定手段により指定された前記一の画素の隣接画素を追跡範囲とするとともに、当該追跡範囲内で前記一の画素と類似する画素として追跡された画素の隣接画素を新たな追跡範囲として順次追跡することを特徴としている。

請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記追跡手段は、前記指定手段により指定された前記一の画素の画素値と当該一の画素の周辺の各画素の画素値との一致度が所定値以上であるか否かを判定する判定手段を備え、前記判定手段により一致度が所定値以上であると判定された画素を前記一の画素と類似する画素として追跡することを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理装置において、
前記取得手段により取得された画像の縮小画像を生成する画像縮小手段を更に備え、前記指定手段は、前記画像縮小手段により生成された前記縮小画像の端部側の少なくとも一の画素を指定することを特徴としている。

請求項６に記載の発明は、
画像処理装置を用いた画像処理方法であって、画像を取得する取得ステップと、この取得ステップにて取得された画像の端部側の少なくとも一の画素を指定する指定ステップと、この指定ステップにて指定された前記少なくとも一の画素の周辺領域について、当該一の画素と類似する画素を追跡する追跡ステップと、前記画像のうち、前記追跡ステップにて追跡された画素によって構成される領域以外の領域を注目領域と推定する推定ステップと、を実行することを特徴としている。

請求項７に記載の発明のプログラムは、
画像処理装置のコンピュータを、画像を取得する取得手段、この取得手段により取得された画像の端部側の少なくとも一の画素を指定する指定手段、この指定手段により指定された前記少なくとも一の画素の周辺領域について、当該一の画素と類似する画素を追跡する追跡手段、前記画像のうち、前記追跡手段により追跡された画素によって構成される領域以外の領域を注目領域と推定する推定手段、として機能させることを特徴としている。

本発明によれば、構図を考慮して、画像内でユーザの注目度の高い注目領域を検出することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による注目領域推定処理に係る動作の一例を示すフローチャートである。 注目領域推定処理を説明するための図である。 注目領域推定処理における追跡範囲を説明するための図である。 注目領域推定処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、処理対象画像の端部側の少なくとも一の画素を指定し、指定された少なくとも一の画素の周辺領域について、当該一の画素と類似する画素を追跡して、処理対象画像のうち、追跡された画素によって構成される領域以外の領域を注目領域Ａと推定する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、表示制御部６と、表示部７と、記録媒体８と、操作入力部９と、中央制御部１０とを備えている。

撮像部１は、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。

撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。
また、撮像制御部３は、撮像条件の調整制御として、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等を行う。

画像データ生成部３は、電子撮像部から転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶ色空間の画像データ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時記憶する。

画像処理部５は、撮像部１により撮像された画像Ｆ１を処理対象画像として取得する画像取得部（取得手段）５ａを具備している。
具体的には、画像取得部５ａは、例えば、ライブビュー画像や記録用画像の撮像の際に画像データ生成部３により生成された画像Ｆ１のＹＵＶデータを取得する。

また、画像処理部５は、画像取得部５ａにより取得された画像Ｆ１のＹＵＶデータに基づいて、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した縮小画像Ｆ２を生成する画像縮小部５ｂを具備している。
画像縮小部５ｂは、例えば、取得した画像Ｆ１のＹＵＶデータに対して所定のフィルタ（例えば、ガウシアンフィルタ）を用いたフィルタリング処理を施すことにより、水平（ｘ軸）及び垂直（ｙ軸）が所定画素（例えば、ｘ軸×ｙ軸：４０×３０画素等）からなる縮小画像Ｆ２を生成する。なお、図３（ａ）及び図３（ｂ）並びに図５（ａ）及び図５（ｂ）にあっては、ｘ軸×ｙ軸：５４×４０画素からなる縮小画像Ｆ２を例示しているが、一例であってこれに限られるものではない。
ここで、画像縮小部５ｂは、画像取得部５ａにより取得された画像Ｆ１の縮小画像Ｆ２を生成する画像縮小手段を構成している。

また、画像処理部５は、画像縮小部５ｂにより生成された縮小画像Ｆ２の端部側の少なくとも一の画素を指定する画素指定部５ｃを具備している。
画素指定部５ｃは、具体的には、縮小画像Ｆ２の四隅の各画素Pix（0,0）、Pix（x,0）、Pix（0,y）、Pix（x,y）を周辺画素Pix（i,j）として指定する（x，y；縮小画像Ｆ２の画素数に応じて規定される実数）。
なお、周辺画素Pix（i,j）として縮小画像Ｆ２の四隅の画素を指定したが、これに限られるものではなく、縮小画像Ｆ２の端部側の画素であれば如何なる位置の画素であっても良い。また、必ずしも縮小画像Ｆ２の四隅全ての画素を周辺画素Pix（i,j）として指定する必要はなく、少なくとも一隅の画素を周辺画素Pix（i,j）として指定すれば良い。
ここで、画素指定部５ｃは、画像取得部５ａにより取得された画像Ｆ１の端部側の少なくとも一の画素を指定する指定手段を構成している。

また、画像処理部５は、画素指定部５ｃにより指定された縮小画像Ｆ２の四隅の画素のうち、少なくとも一隅の画素（周辺画素Pix（i,j））の周辺領域について、当該周辺画素Pix（i,j）と類似する画素を追跡する画素追跡部５ｄを具備している。
即ち、画素追跡部５ｄは、画素指定部５ｃにより周辺画素Pix（i,j）として指定された一の画素の画素値と当該一の画素の周辺の画素の画素値との一致度が所定値以上であるか否かを判定する判定部（判定手段）５ｅを有している。ここで、画素値とは、例えば、ＲＧＢ色空間、ＨＳＶ色空間、ＹＵＶ色空間等の所定の色空間で表現される各画素の色情報（各成分の値）のことである。そして、画素追跡部５ｄは、判定部５ｅにより一致度が所定値以上であると判定された画素を、周辺画素Pix（i,j）と類似する画素として追跡する。

具体的には、画素追跡部５ｄは、画素指定部５ｃにより指定された周辺画素Pix（i,j）の８つの隣接画素Pix（i-1,j-1）、Pix（i,j-1）、Pix（i+1,j-1）、Pix（i-1,j）、Pix（i+1,j）、Pix（i-1,j+1）、Pix（i,j+1）、Pix（i+1,j+1）を追跡範囲とする（図４参照）。そして、画素追跡部５ｄは、当該追跡範囲の各画素を画素値の比較判定の対象画素とし、例えば、画素どうしのL2ノルム等を一致度として算出して画素値が近いか否かを判定部５ｅによって判定する。
例えば、図３（ｂ）に示すように、左上隅部の画素Pix（0,0）を周辺画素Pix（i,j）とした場合、画素追跡部５ｄは、隣接画素Pix（i+1,j）、Pix（i,j+1）、Pix（i+1,j+1）を比較判定の対象画素とする。続けて、画素追跡部５ｄは、ＹＵＶ色空間の画像データを所定の変換式に従ってＲＧＢ色空間の画像データに変換した後、下記式（１）に従って画素どうしの画素値を判定部５ｅにより比較判定する。そして、画素追跡部５ｄは、当該式（１）を満たす画素（画素値の一致度が所定値以上である画素）を周辺画素Pix（i,j）と類似する画素であると判断して追跡する。
なお、P_Rは、ＲＧＢ色空間で表現される各画素のＲ成分の値であり、P_Gは、ＲＧＢ色空間で表現される各画素のＧ成分の値であり、P_Bは、ＲＧＢ色空間で表現される各画素のＢ成分の値である。また、TH1は、現在の対象ピクセルと隣接ピクセルの色が近いか否かを判定するための閾値であり、追跡精度に応じて適宜任意に変更することができる。

このとき、周辺画素pix(i,j)と画素値が所定値以上離れている画素は、当該周辺画素pix(i,j)と色が余りにも離れており、画素追跡部５ｄによる追跡不可と想定されることから、予め周辺画素pix(i,j)と画素値が所定値以上離れている画素を下記式（２）に従って除外するのが望ましい。
なお、TH2は、周辺画素pix(i,j)と色が余りにも離れている画素を除外するための閾値であり、追跡精度に応じて適宜任意に変更することができる。

また、画素追跡部５ｄは、上記追跡範囲内で周辺画素pix(i,j)と類似する画素（画素値の一致度が所定値以上である画素）として追跡された追跡画素（例えば、隣接画素Pix（i+1,j））の周囲の８つの隣接画素を新追跡範囲とする。そして、画素追跡部５ｄは、当該新追跡範囲の各画素（Pix（i+1,j）の周辺画素）について、上記と同様にPix（i+1,j）との画素値が近いか否かを判定部５ｅによって判定する。
画素追跡部５ｄは、上記の処理を繰り返し実行することで、周辺画素pix(i,j)と類似する画素として追跡された追跡画素に基づいて新追跡範囲を順次設定し、順次画素を追跡していく（図５（ａ）及び図５（ｂ）参照）。

ここで、画素追跡部５ｄは、画素指定部５ｃにより指定された一の画素の周辺領域について、当該一の画素と類似する画素を追跡する追跡手段を構成している。

また、画像処理部５は、画素追跡部５ｄによる追跡結果に基づいて、縮小画像Ｆ２から注目領域Ａを推定して検出する注目領域検出部５ｆを具備している。
注目領域検出部５ｆは、具体的には、例えば、図５（ｂ）に示すように、縮小画像Ｆ２における、画素追跡部５ｄにより追跡された複数の画素（図５（ｂ）にあっては、マス目で表される画素）によって構成される領域以外の領域（例えば、図５（ｂ）にあっては、主としてバッファローの存する領域）を注目領域Ａと推定する。そして、注目領域検出部５ｆは、画像取得部５ａにより取得された画像Ｆ１に対応させるように、推定された注目領域Ａを水平（ｘ軸）及び垂直（ｙ軸）ともに画像縮小部５ｂによる縮小比率に対応する比率で拡大する。
つまり、画像内でより端部側に位置する画素によって構成される領域は、例えば、空や地面といった見切れた領域であり、ユーザの注目度の低い撮像対象である可能性が高い。そのため、処理対象画像における追跡された画素以外の領域をユーザの注目度の高い注目領域Ａと推定することができる。
ここで、注目領域検出部５ｆは、画像取得部５ａにより取得された画像Ｆ１のうち、画素追跡部５ｄにより追跡された画素によって構成される領域以外の領域を注目領域Ａと推定する推定手段を構成している。

表示制御部６は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部７に表示させる制御を行う。
具体的には、表示制御部６は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部７に出力する。

表示部７は、例えば、液晶表示装置であり、表示制御部６からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部７は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

記録媒体８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、ＣＰＵ（図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００により被写体を撮影する際に、画像処理部５によって実行される注目領域推定処理について、図２〜図５を参照して説明する。
図２は、注目領域推定処理に係る動作の一例を示すフローチャートである。

図２に示すように、画像取得部５ａは、例えば、撮像部１によりライブビュー画像や記録用画像を撮像することで画像データ生成部３により生成された画像Ｆ１のＹＵＶ色空間の画像データを取得する（ステップＳ１）。続けて、画像縮小部５ｂは、例えば、画像Ｆ１のＹＵＶデータに対して所定のフィルタ（例えば、ガウシアンフィルタ）を用いたフィルタリング処理を施すことにより、水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した縮小画像Ｆ２を生成する（ステップＳ２）。

次に、画素指定部５ｃは、画像縮小部５ｂにより生成された縮小画像Ｆ２の四隅の各画素Pix（0,0）、Pix（x,0）、Pix（0,y）、Pix（x,y）を周辺画素Pix（i,j）として指定する（ステップＳ３）なお。x，y；縮小画像Ｆ２の画素数に応じて規定される実数である。

続けて、画素追跡部５ｄは、画素指定部５ｃにより指定された周辺画素Pix（i,j）の８つの隣接画素Pix（i-1,j-1）、Pix（i,j-1）、Pix（i+1,j-1）、Pix（i-1,j）、Pix（i+1,j）、Pix（i-1,j+1）、Pix（i,j+1）、Pix（i+1,j+1）を追跡範囲として特定する（ステップＳ４）。
そして、画素追跡部５ｄは、当該追跡範囲の各画素を画素値の比較判定の対象画素とする。その後、画素追跡部５ｄは、ＹＵＶ色空間の画像データを所定の変換式に従ってＲＧＢ色空間の画像データに変換した後、縮小画像Ｆ２の四隅の各画素Pix（0,0）、Pix（x,0）、Pix（0,y）、Pix（x,y）について、比較判定の対象画素との画素値の一致度として、例えば、画素どうしのL2ノルム等を算出する（ステップＳ５）。続けて、画素追跡部５ｄの判定部５ｅは、下記式（１）及び（２）に従って画素どうしの画素値を比較判定することで、画素値の一致度が所定値以上であるか否かを判定する（ステップＳ６）。

ステップＳ６にて、画素値の一致度が所定値以上であると判定されると（ステップＳ６；ＹＥＳ）、即ち、上記各式を満たし、画素値の一致度が所定値以上であると判断されると、画素追跡部５ｄは、周辺画素pix(i,j)と類似する画素、即ち、画素値の一致度が所定値以上である全ての画素（例えば、隣接画素Pix（i+1,j））を追跡画素として、当該追跡画素の周囲の８つの隣接画素を新追跡範囲として特定する（ステップＳ７）。
そして、画素追跡部５ｄは、当該新追跡範囲の各画素を画素値の比較判定の対象画素として、上記と同様に、縮小画像Ｆ２の四隅の各画素Pix（0,0）、Pix（x,0）、Pix（0,y）、Pix（x,y）について、新追跡範囲内の比較判定の対象画素との画素値の一致度として、例えば、画素どうしのL2ノルム等を算出する（ステップＳ８）。続けて、画素追跡部５ｄの判定部５ｅは、上記式（１）及び（２）に従って画素どうしの画素値を比較判定することで、画素値の一致度が所定値以上であるか否かを判定する（ステップＳ９）。

ステップＳ９にて、画素値の一致度が所定値以上であると判定されると（ステップＳ６；ＹＥＳ）、即ち、上記各式を満たし、画素値の一致度が所定値以上であると判断されると、処理をステップＳ７に移行して、それ以降の処理を実行する。
ステップＳ７以降の処理は、ステップＳ９にて、新追跡範囲内の比較判定の対象画素について、対応する縮小画像Ｆ２の四隅の各画素Pix（0,0）、Pix（x,0）、Pix（0,y）、Pix（x,y）との画素値の一致度が所定値以上でない判定されるまで（ステップＳ９；ＮＯ）、繰り返し行われる。これにより、画素追跡部５ｄは、周辺画素pix(i,j)と類似する画素として追跡された追跡画素に基づいて新追跡範囲を順次設定していく（図５（ａ）及び図５（ｂ）参照）。

そして、ステップＳ９にて、新追跡範囲内の比較判定の対象画素について、画素値の一致度が所定値以上でない判定されると（ステップＳ９；ＮＯ）、注目領域検出部５ｆは、縮小画像Ｆ２における、四隅の各画素Pix（0,0）、Pix（x,0）、Pix（0,y）、Pix（x,y）との画素値の一致度が所定値以上の画素（図５（ｂ）にあっては、マス目で表される画素）によって構成される領域以外の領域を注目領域Ａと推定する（ステップＳ１０）。
その後、注目領域検出部５ｆは、画像取得部５ａにより取得された縮小前の画像Ｆ１に対応させるように、推定された注目領域Ａを水平（ｘ軸）及び垂直（ｙ軸）ともに画像縮小部５ｂによる縮小比率に対応する比率で拡大したものをメモリ４に出力して（ステップＳ１１）、注目領域推定処理を終了する。

なお、ステップＳ６にて、追跡範囲内の比較判定の対象画素について、画素値の一致度が所定値以上でない判定された場合にも（ステップＳ６；ＮＯ）、注目領域推定処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、処理対象画像の四隅の少なくとも一の画素の周辺領域について、当該少なくとも一の画素と類似する画素を追跡していくことで、構図（画角）内でより端部側に位置するユーザの注目度の低い撮像対象、即ち、例えば、見切れた領域を特定することができる。
そして、処理対象画像のうち、画素追跡部５ｄにより追跡された画素によって構成される領域以外の領域を注目領域Ａと推定する。つまり、処理対象画像において、追跡された画素によって構成される領域、即ち、構図内でより端部側に位置する画素によって構成される領域は、例えば、空や地面といった見きれた状態となるユーザの注目度の低い撮像対象である可能性が高くなっている。これにより、処理対象画像における追跡された画素以外の領域をユーザの注目度の高い注目領域Ａと推定することができ、被写体の構図を考慮して、処理対象画像内のユーザの注目度の高い注目領域（例えば、図５（ｂ）にあっては、主としてバッファローの存する領域）を検出することができる。

また、処理対象画像の四隅の少なくとも一の画素から当該画像Ｆ２における当該一の画素と類似する画素を追跡する。具体的には、処理対象画像の四隅の少なくとも一の画素の隣接画素を追跡範囲とするとともに、当該追跡範囲内で四隅の少なくとも一の画素と類似する画素として追跡された画素の隣接画素を新たな追跡範囲として順次追跡するので、構図内でよりユーザの注目度の高い領域（注目領域Ａ）を残しつつ、より端部側に位置する画素によって構成されるユーザの注目度の低い領域の特定を適正に行うことができ、処理対象画像からの注目領域Ａの検出精度を向上させることができる。

さらに、処理対象画像の四隅の少なくとも一の画素との画素値の一致度が所定値以上であると判定された画素を当該四隅の少なくとも一の画素と類似する画素として追跡するので、処理対象画像の四隅の画素と似たような色の画素を追跡することができ、構図内でより端部側に位置する画素によって構成されるユーザの注目度の低い領域の特定を適正に行うことができる。

また、画像取得部５ａにより取得された画像Ｆ１の縮小画像Ｆ２を生成して、この縮小画像Ｆ２を処理対象画像とすることができ、縮小画像Ｆ２の四隅の画素と類似する画素の追跡処理やユーザの注目度の高い注目領域Ａの推定処理の処理速度をより高速化することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、処理対象画像（縮小画像Ｆ２）の四隅の各画素の隣接画素を追跡範囲とするとともに、当該追跡範囲内で四隅の各画素と類似する画素として追跡された画素の隣接画素を新たな追跡範囲とするようにしたが、追跡範囲や新たな追跡範囲の設定方法はこれに限られるものではなく、処理対象画像（縮小画像Ｆ２）の四隅の各画素と類似する画素を追跡する方法であれば適宜任意に変更することができる。

また、上記実施形態にあっては、注目領域Ａの推定処理の対象画像として、画像取得部５ａにより取得された画像Ｆ１を縮小した縮小画像Ｆ２を用いたが、縮小画像Ｆ２を生成するか否かや、縮小の比率（程度）等は装置の能力に応じて適宜任意に変更することができる。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として撮像装置１００を例示したが、これに限られるものではい。例えば、処理対象画像の撮像は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された処理対象画像の画像データを取得して、注目領域Ａの検出を行う画像処理装置であっても良い。

加えて、上記実施形態にあっては、取得手段、指定手段、追跡手段、推定手段としての機能を、中央制御部１０の制御下にて、画像処理部５の画像取得部５ａ、画素指定部５ｃ、画素追跡部５ｄ、注目領域検出部５ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、指定処理ルーチン、追跡処理ルーチン、推定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、画像を取得する取得手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部１０のＣＰＵを、取得手段により取得された画像の端部側の少なくとも一の画素を指定する指定手段として機能させるようにしても良い。また、追跡処理ルーチンにより中央制御部１０のＣＰＵを、指定手段により指定された少なくとも一の画素の周辺領域について、当該一の画素と類似する画素を追跡する追跡手段として機能させるようにしても良い。また、推定処理ルーチンにより中央制御部１０のＣＰＵを、画像のうち、追跡手段により追跡された画素によって構成される領域以外の領域を注目領域Ａと推定する推定手段として機能させるようにしても良い。

１００ 撮像装置
５ 画像処理部
５ａ 画像取得部
５ｂ 画像縮小部
５ｃ 画素指定部
５ｄ 画素追跡部
５ｅ 判定部
５ｆ 注目領域推定部
１０ 中央制御部

Claims (7)

1. 画像を取得する取得手段と、
   この取得手段により取得された画像の端部側の少なくとも一の画素を指定する指定手段と、
   この指定手段により指定された前記少なくとも一の画素の周辺領域について、当該一の画素と類似する画素を追跡する追跡手段と、
   前記画像のうち、前記追跡手段により追跡された画素によって構成される領域以外の領域を注目領域と推定する推定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記指定手段は、前記一の画素として、前記画像の四隅の少なくとも一隅の画素を指定し、
   前記追跡手段は、前記指定手段により指定された前記四隅の少なくとも一隅の画素の周辺領域について、当該一隅の画素の各々と類似する画素を追跡することを特徴とする請求項１に記載の画像処理装置。
3. 前記追跡手段は、前記指定手段により指定された前記一の画素の隣接画素を追跡範囲とするとともに、当該追跡範囲内で前記一の画素と類似する画素として追跡された画素の隣接画素を新たな追跡範囲として順次追跡することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記追跡手段は、
   前記指定手段により指定された前記一の画素の画素値と当該一の画素の周辺の各画素の画素値との一致度が所定値以上であるか否かを判定する判定手段を備え、
   前記判定手段により一致度が所定値以上であると判定された画素を前記一の画素と類似する画素として追跡することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記取得手段により取得された画像の縮小画像を生成する画像縮小手段を更に備え、
   前記指定手段は、前記画像縮小手段により生成された前記縮小画像の端部側の少なくとも一の画素を指定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 画像処理装置を用いた画像処理方法であって、
   画像を取得する取得ステップと、
   この取得ステップにて取得された画像の端部側の少なくとも一の画素を指定する指定ステップと、
   この指定ステップにて指定された前記少なくとも一の画素の周辺領域について、当該一の画素と類似する画素を追跡する追跡ステップと、
   前記画像のうち、前記追跡ステップにて追跡された画素によって構成される領域以外の領域を注目領域と推定する推定ステップと、
   を実行することを特徴とする画像処理方法。
7. 画像処理装置のコンピュータを、
   画像を取得する取得手段、
   この取得手段により取得された画像の端部側の少なくとも一の画素を指定する指定手段、
   この指定手段により指定された前記少なくとも一の画素の周辺領域について、当該一の画素と類似する画素を追跡する追跡手段、
   前記画像のうち、前記追跡手段により追跡された画素によって構成される領域以外の領域を注目領域と推定する推定手段、
   として機能させることを特徴とするプログラム。