JP2013084098A - 画像解析装置、撮像装置、及び画像解析方法 - Google Patents

Abstract

【課題】ユーザが画像に抱く印象を的確に定量化すること。
【解決手段】本発明の画像解析装置は、画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、その画像の特徴量ヒストグラム（色ヒストグラム関数）を作成する作成手段（９０Ｄ）と、その画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手段（ヒストグラム関数作成部９０Ｄ）と、ユーザに対する前記画像の表示サイズと、画像における主要被写体領域の占有率との組み合わせに応じて、第１頻度に付与すべき重み（Ｇ_１）を設定する重み設定手段（９０Ｃ）とを備える。
【選択図】 図１

Description

本発明は、ディジタルカメラなどで生成した画像の特徴を定量化する技術に関する。

ディジタルカメラの普及に伴い個々のユーザの扱う画像の枚数が膨大化し、画像の蓄積先としてパーソナルコンピュータの他、サーバの選ばれる機会も増えている。

このように膨大な枚数の画像を管理するには、画像検索が有効である（特許文献１等を参照。）。特許文献１に記載された画像検索システムは、ユーザが任意のクエリ画像を入力すると、そのクエリ画像の特徴を定量化し、その特徴に類似する特徴を有した画像を画像データベースの中から検索するものである。

特開２０１１−２９６５号公報

しかしながら、この画像検索システムが検出した画像は、ユーザの所望した画像に必ずしも一致していなかった。

そこで本発明は、ユーザが画像に抱く印象を的確に定量化することのできる画像解析装置、撮像装置、及び画像解析方法を提供することを目的とする。

本発明の画像解析装置は、画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、前記画像の特徴量ヒストグラムを作成する作成手段と、前記画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手段と、ユーザに対する前記画像の表示サイズと、前記画像における前記主要被写体領域の占有率との組み合わせに応じて、前記第１頻度に付与すべき重みを設定する重み設定手段とを備える。

また、本発明の撮像装置は、被写体を撮像して画像を生成する撮像手段と、前記撮像手段が生成した画像を解析する本発明の画像解析装置とを備える。

また、本発明の画像解析方法は、画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、前記画像の特徴量ヒストグラムを作成する作成手順と、前記画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手順と、ユーザに対する前記画像の表示サイズと、前記画像における前記主要被写体領域の占有率との組み合わせに応じて、前記第１頻度に付与すべき重みを設定する重み設定手順とを含む。

本発明によれば、ユーザが画像に抱く印象を的確に定量化することのできる画像解析装置、撮像装置、及び画像解析方法が実現する。

ディジタルカメラ１０の構成図である。 登録モードにおける画像処理エンジン９０の動作フローチャートである。 色ヒストグラム関数の作成処理を説明する図である。 色ヒストグラム関数の作成処理を説明する別の図である。 検索モードにおける画像処理エンジン９０の動作フローチャートである。 クエリ画像を指定するときの表示画面の例である。 クエリ画像と検索結果との関係を示す表示画面の例である。

［実施形態］
以下、本発明の実施形態としてディジタルカメラを説明する。

図１は、ディジタルカメラ１０の構成図である。図１に示すとおりディジタルカメラ１０には、撮影レンズ２０、メカニカルシャッタ３０、撮像素子５０、タイミングジェネレータ（ＴＧ）７０、アナログフロントエンド（ＡＦＥ）８０、画像処理エンジン９０、モータドライバ１１０、バッファメモリ１３０、表示部１４０、操作部１５０、リムーバブルメモリ１６０などが備えられる。なお、図示省略したが、ディジタルカメラ１０には、メカニカルシャッタ３０が閉じている期間にディジタルカメラ１０の被写界を監視する装置（測光装置、測距装置など）も備えられる。

撮影レンズ２０は、被写体から射出した光束を結像し、撮像素子５０の有効画素領域上に被写体像を形成する。

メカニカルシャッタ３０は、撮影レンズ２０と撮像素子５０との間の光路上に配置されており、ＴＧ７０から供給される駆動信号に応じて、撮像素子５０に向かう光束の光路を開閉する。このメカニカルシャッタ３０は、撮像素子５０から一定以上離れた位置に配置されたレンズシャッタ、或いは、撮像素子５０の近傍に配置されたフォーカルプレーンシャッタなどである。

撮像素子５０は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどのカラー撮像素子であって、ＴＧ７０から供給される駆動信号に応じて信号の蓄積及び信号の読み出しを行う。

ＴＧ７０は、画像処理エンジン９０からの指示に応じて、撮像素子５０及びメカニカルシャッタ３０に対して駆動信号を供給すると共に、ＡＦＥ８０及び画像処理エンジン９０に対して同期信号を供給する。

また、ＴＧ７０は、撮像素子５０へ供給する駆動信号のパターンを切り替えることにより、撮像素子５０の１フレーム当たりの露光時間を切り替える。この露光時間は、画像処理エンジン９０が指定したＴｖ値（＝ユーザが入力したＴｖ値又は自動露出演算で算出されたＴｖ値）に応じた値に設定される。

ＡＦＥ８０は、撮像素子５０から出力されるアナログ信号に対してパイプライン処理を施す。ＡＦＥ８０には、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などが備えられており、ＣＤＳ回路は、撮像素子５０から出力されるアナログ信号のノイズ成分を相関二重サンプリングによって除去し、ゲイン回路は、ノイズ除去後のアナログ信号を増幅し、Ａ／Ｄ変換回路は、増幅後のアナログ信号をディジタル信号へと変換する。

なお、ＡＦＥ８０のゲイン（ゲイン回路の信号増幅率）は、画像処理エンジン９０が指定したＳｖ値（＝ユーザが入力したＳｖ値又は自動露出演算で算出されたＳｖ値）に応じた値に設定される。なお、ユーザが入力したＳｖ値とは、所謂「ＩＳＯ感度」のことである。

モータドライバ１１０は、画像処理エンジン９０からの指示に応じて、撮影レンズ２０の少なくとも一部を光軸方向へ駆動し、撮影レンズ２０のフォーカス位置を調整する。また、モータドライバ１１０は、画像処理エンジン９０が指定したＡｖ値（＝ユーザが入力したＡｖ値又は自動露出演算で算出されたＡｖ値）に応じて、撮影レンズ２０の絞り値を調整する。

バッファメモリ１３０は、ＡＦＥ８０から画像処理エンジン９０へと転送されたディジタル信号を蓄積する。撮像素子５０の１フレーム分の信号読み出し期間に亘ってこの蓄積が行われると、バッファメモリ１３０に１フレーム分のディジタル信号（１フレーム分の画像データ、以下、「画像」と称す。）が蓄積される。

表示部１４０は、画像処理エンジン９０からの指示に応じて、各種の画像を表示する。表示部１４０が表示する画像には、撮像素子５０が取得した画像、リムーバブルメモリ１６０に格納されていた画像、画像処理エンジン９０が作成したメニュー表示用の画像などがある。なお、表示部１４０は、画像を表示する際、画像の形式を表示に適した形式へと変換する。

操作部１５０は、レリーズボタン、メニューボタンなど、ユーザが操作可能な各種のスイッチを有している。ユーザは、この操作部１５０を介して各種の指示をディジタルカメラ１０へ入力することができる。例えば、ユーザは、詳細画像の取得時における測光エリアやフォーカスエリアをディジタルカメラ１０へ指定することができる。また、例えば、ユーザは、ディジタルカメラ１０のモードを、撮影モード、再生モード、登録モード、検索モードの間で切り換えることができる。

リムーバブルメモリ１６０は、ディジタルカメラ１０が取得した画像や、他のディジタルカメラが取得した画像などを長期に亘って記憶することが可能な不揮発性のメモリである。本実施形態では、このリムーバブルメモリ１６０に画像データベースが構築されているものと仮定する。

画像処理エンジン９０は、操作部１５０を介してユーザから入力された指示と、不図示のプログラムとに従い、ディジタルカメラ１０の各部を制御する。また、画像処理エンジン９０は、ＡＦＥ８０から送出されたディジタル信号に対して信号処理（暗電流補正など）を施したり、バッファメモリ１３０上の画像に対して所定の画像処理（ホワイトバランス調整、色補間、階調変換、色変換など）を施したりすることもできる。

また、画像処理エンジン９０は、ディジタルカメラ１０が登録モードに設定されているときに、ユーザから指定された画像を画像データベースに蓄積する。また、画像処理エンジン９０は、ディジタルカメラ１０が検索モードに設定されているときに、ユーザから指定された画像に類似した画像を、画像データベースから検索する。

なお、登録モード又は検索モードにおける画像処理エンジン９０は、必要に応じて、オブジェクト抽出部９０Ａ、顕著性評価部９０Ｂ、重み設定部９０Ｃ、ヒストグラム関数作成部９０Ｄ、画像比較部９０Ｅの何れかとして機能する。

図２は、登録モードにおける画像処理エンジン９０の動作フローチャートである。以下、図２の各ステップを順に説明する。

ステップＳ１０：画像処理エンジン９０は、画像データベースへ登録すべき画像（登録画像）をユーザに指定させる。例えば、画像処理エンジン９０は、リムーバブルメモリ１６０又はバッファメモリ１３０に蓄積された候補画像のリスト（又は候補画像のサイズ縮小版）を表示部１４０へ表示する。ユーザは、操作部１５０を操作することにより、候補画像の中の１つを登録画像として画像処理エンジン９０へ指定する（図３（Ａ）を参照）。なお、ここでは登録画像の指定がユーザによって行われる例を示したが、撮影モードで取得された直後の画像などが自動的に登録画像に設定されてもよい。

ステップＳ１１：画像処理エンジン９０は、登録画像を必要に応じてバッファメモリ１３０上に読み込み、その登録画像を互いに同型同大の複数の小領域（例えば、２００×２００個の小領域）に分割する（図３（Ｂ）を参照。）。なお、図では小領域の個数を実際よりも少なく描いた。

ステップＳ１２：画像処理エンジン９０のオブジェクト抽出部９０Ａは、登録画像に対してオブジェクト抽出処理を施し、登録画像上に存在する特定の被写体領域を検出する。この被写体領域は、人物の存在領域、撮影時のフォーカスエリアに位置するオブジェクトの存在領域、周辺と比較して合焦度の高いオブジェクトの存在領域などである。

続いて、画像処理エンジン９０は、登録画像上の小領域のうち被写体領域に対応する小領域の集合（例えば、被写体領域を所定割合以上で包含している小領域の集合）を見いだし、その小領域の集合を、主要被写体領域Ａ_１に設定する（図３（Ｃ）を参照。）。

ステップＳ１３：画像処理エンジン９０の顕著性評価部９０Ｂは、登録画像の顕著性マップを作成する。この作成時に着目する特徴量は、色、輝度、エッジの方向、エッジ量などである。よって、作成された顕著性マップにおいては、これらの特徴量が周辺画素と比較して顕著な画素ほど、大きな値が割り当てられることになる。

続いて、画像処理エンジン９０は、顕著性マップ上で予め決められた閾値よりも高い値を有した領域（高顕著性領域）を抽出すると、登録画像上で主要被写体領域Ａ_１以外の領域から、その高顕著性領域に対応する小領域の集合（例えば、高顕著性領域を５０％以上の割合で包含した小領域の集合）を見いだし、その小領域の集合を、特異領域Ａ_２に設定する（図３（Ｃ）を参照）。この特異領域Ａ_２は、所謂「うるさい絵柄」であって、登録画像の表示サイズが或る程度大きい場合には、著しく目立つ（周辺の領域に対して際立つ）が、登録画像の表示サイズが或る程度小さい場合には、殆ど目立たない（周辺の領域にとけ込む）。これによって、登録画像は、主要被写体領域Ａ_１と、特異領域Ａ_２と、それ以外の領域（非特異領域）Ａ_３とに領域分けされる。

ステップＳ１４：画像処理エンジン９０の重み設定部９０Ｃは、主要被写体領域Ａ_１に関する重みＧ_１と、特異領域Ａ_２に関する重みＧ_２と、非特異領域Ａ_３に関する重みＧ_３とを設定する。これらの重みＧ_１、Ｇ_２、Ｇ_３は、後述する色ヒストグラムに対する主要被写体領域Ａ_１、特異領域Ａ_２、非特異領域Ａ_３の寄与度比を規定するものである。

先ず、非特異領域Ａ_３に関する重みＧ_３は、図３（Ｄ）に示すとおり、基準値１に設定される。

一方、主要被写体領域Ａ_１に関する重みＧ_１は、登録画像における主要被写体領域Ａ_１の占有率ｒ_１が大きいほど大きく、また、表示サイズＳが大きいほど大きく設定される。このうち占有率ｒ_１は、主要被写体領域_１に属する小領域の個数によって一義的に決まるが、表示サイズＳは、ユーザが任意に設定することのできるものであり、現時点では未定（未知数）である。よって、重みＧ_１は表示サイズＳの関数Ｇ_１（Ｓ）＝α×ｒ_１×Ｓで表される（但し、αの値は、重みＧ_１が重みＧ_３より大きくなるように予め決められている。）。以下、重みＧ_１（Ｓ）を「重み関数Ｇ_１（Ｓ）」と称す。

また、特異領域Ａ_２に関する重みＧ_２は、登録画像における特異領域Ａ_２の占有率ｒ_２が大きいほど大きく、また、表示サイズＳが大きいほど大きく設定される。このうち占有率ｒ_２は、特異領域Ａ_２に属する小領域の個数によって一義的に決まり、表示サイズＳは、前記したとおり現時点では未知数である。よって、重みＧ_２は、表示サイズＳの関数Ｇ_２（Ｓ）＝β×ｒ_２×Ｓで表される（但し、βの値は、重みＧ_２が重みＧ_３より大きく、かつ重みＧ_１より小さくなるように予め決められている。）。以下、重みＧ_２（Ｓ）を「重み関数Ｇ_２（Ｓ）」と称す。

ステップＳ１５：画像処理エンジン９０のヒストグラム関数作成部９０Ｄは、以下の手順（ａ）〜（ｍ）により、登録画像の色ヒストグラム関数Ｈ（Ｓ）を作成する。ここでは、色ヒストグラム関数Ｈ（Ｓ）を作成に先立ち、主要被写体領域Ａ_１の色ヒストグラムＨ_１と、特異領域Ａ_１の色ヒストグラムＨ_２と、非特異領域Ａ_３の色ヒストグラムＨ_３とが個別に作成されるものとする。

（ａ）ヒストグラム関数作成部９０Ｄは、主要被写体領域Ａ_１内の１番目の小領域を着目領域に設定する。

（ｂ）ヒストグラム関数作成部９０Ｄは、着目領域の色の属するカテゴリカルカラーを判別し、それを着目カラーとする。ここで、カテゴリカルカラーは、赤、橙、黄、緑、青、紫、茶、ピンク、白、黒、灰からなる１１種類の色からなり、これら１１種類の色は、高次脳機能を有した動物（ヒト、サルなど）が確実に区別可能（ネーミング可能）な色である。これら１１種類のカテゴリカルカラーの組み合わせは、使用言語の異なる多様なヒト集団の間でも共通しており、１１種類のカテゴリカルカラーの境界値は、多数のヒトから実験的に得られた統計データに基づき予め決めることが可能である。

（ｃ）ヒストグラム関数作成部９０Ｄは、主要被写体領域Ａ_１の色ヒストグラムＨ_１のうち、現在の着目カラーに対応する頻度を、１だけ増加させる。

（ｄ）ヒストグラム関数作成部９０Ｄは、主要被写体領域Ａ_１内の全ての小領域の間で着目領域を移動させながら手順（ｂ）、（ｃ）を繰り返すことで、主要被写体領域Ａ_１の色ヒストグラムＨ_１を完成させる（図４（Ａ）参照）。

（ｅ）ヒストグラム関数作成部９０Ｄは、特異領域Ａ_２内の１番目の小領域を着目領域に設定する。

（ｆ）ヒストグラム関数作成部９０Ｄは、着目領域の色の属するカテゴリカルカラーを判別し、それを着目カラーとする。

（ｇ）ヒストグラム関数作成部Ｄは、特異領域Ａ_２の色ヒストグラムＨ_２のうち、現在の着目カラーに対応する頻度を、１だけ増加させる。

（ｈ）ヒストグラム関数作成部９０Ｄは、特異領域Ａ_２内の全ての小領域の間で着目領域を移動させながら手順（ｆ）、（ｇ）を繰り返すことで、特異領域Ａ_２の色ヒストグラムＨ_２を完成させる（図４（Ａ）参照）。

（ｉ）ヒストグラム関数作成部９０Ｄは、非特異領域Ａ_３内の１番目の小領域を着目領域に設定する。

（ｊ）ヒストグラム関数作成部９０Ｄは、着目領域の色の属するカテゴリカルカラーを判別し、それを着目カラーとする。

（ｋ）ヒストグラム関数作成部９０Ｄは、非特異領域Ａ_３の色ヒストグラムＨ_３のうち、現在の着目カラーに対応する頻度を、１だけインクリメントする。

（ｌ）ヒストグラム関数作成部９０Ｄは、その他の領域Ａ_３内の全ての小領域の間で着目領域を移動させながら手順（ｊ）、（ｋ）を繰り返すことで、非特異領域Ａ_３の色ヒストグラムＨ_３を完成させる（図４（Ａ）参照）。

（ｍ）ヒストグラム関数作成部９０Ｄは、色ヒストグラムＨ_１、色ヒストグラムＨ_２、色ヒストグラムＨ_３の各々に対して、先のステップで算出した重みＧ_１、Ｇ_２、重みＧ_３を個別に乗算してから、それらヒストグラムの和（線形和）をとることにより、登録画像のトータルの色ヒストグラムＨを算／出する（図４（Ｂ）参照。）。

ここで、重みＧ_１、Ｇ_２、Ｇ_３のうち、重みＧ_１、Ｇ_２は、表示サイズＳの関数Ｇ_１（Ｓ）、Ｇ_２（Ｓ）であるので、本ステップで作成される色ヒストグラムＨも、表示サイズＳの関数Ｈ（Ｓ）で表される。図４（Ｂ）では、色ヒストグラムＨの各カテゴリカルカラーの頻度が表示サイズＳの関数である様子を点線で表している。よって、以下では、表示サイズＳの関数である色ヒストグラムＨ（Ｓ）を、「色ヒストグラム関数Ｈ（Ｓ）」と称す。

ステップＳ１６：画像処理エンジン９０は、ステップＳ１５で作成した色ヒストグラム関数Ｈ（Ｓ）を登録画像のタグへ書き込むと共に、その登録画像に対して画像番号を付与してから、その登録画像を画像データベースへ登録し、フローを終了する。なお、この画像番号は、画像データベースに登録された複数の画像を互いに識別するための番号である。

図５は、検索モードにおける画像処理エンジン９０の動作フローチャートである。以下、図５の各ステップを順に説明する。

ステップＳ２１：画像処理エンジン９０は、画像データベースの検索クエリとして使用すべき画像をユーザに指定させる。例えば、画像処理エンジン９０は、リムーバブルメモリ１６０又はバッファメモリ１３０に蓄積された候補画像のリスト（又は候補画像のサイズ縮小版）を表示部１４０へ表示する。ユーザは、操作部１５０を操作することにより、表示中の候補画像の１つを画像処理エンジン９０へ指定する。なお、ユーザによって指定される画像は、画像データベースに登録された画像（すなわち色ヒストグラム関数Ｈ（Ｓ）が作成済みである画像）であってもよいが、ここでは未登録の画像（すなわち色ヒストグラム関数Ｈ（Ｓ）が未作成である画像）であると仮定する。

続いて、画像処理エンジン９０は、画像を表示部１４０に対して適当なサイズで表示する。この状態で、ユーザは、操作部１５０を操作することにより、画像の表示サイズを、図６（Ａ）、（Ｂ）に示すとおり任意に変更することができる。また、この状態で、ユーザは、操作部１５０を操作することにより、画像の表示域（トリミング域）を、図６（Ｃ）、（Ｄ）に示すとおり任意に変化させることもができる。

ユーザは、画像の表示サイズ及び表示域を所望の表示サイズ及び表示域に設定してから、操作部１５０を操作することにより、表示中の画像をクエリ画像として指定する。

画像処理エンジン９０は、ユーザによる指定が行われた時点で、或る画像の全体が表示されていたときには、その画像の全体をクエリ画像とし、ユーザによる指定が行われた時点で、或る画像の一部のみが表示されていたときには、その画像の表示部分をクエリ画像とする。

よって、図６（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の間では、表示中の画像は同一であるが、図６（Ａ）及び（Ｂ）と、図６（Ｃ）と、図６（Ｄ）との間では、画像の表示域が異なるので、互いに異なるクエリ画像が指定されることになる。

ステップＳ２２：画像処理エンジン９０は、指定されたクエリ画像を必要に応じてバッファメモリ１３０上に読み込み、そのクエリ画像の色ヒストグラム関数Ｈ（Ｓ）を作成する。色ヒストグラム関数Ｈ（Ｓ）の作成方法は、前述したステップＳ１１〜Ｓ１５と同様である。

ステップＳ２３：画像処理エンジン９０は、ユーザによる指定が行われた時点におけるクエリ画像の表示サイズＳを参照する。表示サイズＳは、表示部１４０の表示画面におけるクエリ画像の占有率であり、その占有率が高いほど大きな値を採る。

ステップＳ２４：画像処理エンジン９０は、ステップＳ２２で作成した色ヒストグラム関数Ｈ（Ｓ）に対してステップＳ２３で参照した表示サイズＳの値を当てはめることにより、クエリ画像の色ヒストグラムＨを完成させる。

ステップＳ２５：画像処理エンジン９０は、画像番号ｉを初期値１に設定する。

ステップＳ２６：画像処理エンジン９０は、画像データベースから、画像番号ｉを有した画像を参照画像とし、その参照画像のタグに書き込まれている色ヒストグラム関数Ｈ’（Ｓ）を読み出すと、その色ヒストグラム関数Ｈ’（Ｓ）に対してステップＳ２３で参照した表示サイズＳの値を当てはめることにより、その参照画像の色ヒストグラムＨ’を完成させる。

ステップＳ２７：画像処理エンジン９０の画像比較部９０Ｅは、参照画像とクエリ画像との間の類似度を、例えば以下の手順（ａ）〜（c）により算出する。

（ａ）参照画像の色ヒストグラムＨ’とクエリ画像の色ヒストグラムＨとの各々を、１１種類のカテゴリカルカラーで規定されるカラー空間（次数１１のカラー空間）へと写像する。

（ｂ）カラー空間における色ヒストグラムＨ’の写像先と、カラー空間における色ヒストグラムＨの写像先との間の距離（例えばユークリッド距離）を、参照画像とクエリ画像との間の類似度として算出する。この距離は、色ヒストグラムＨ’、Ｈの間の形状の類似度を表している。

（ｃ）現在の参照画像について算出した類似度を、現在の画像番号ｉに対応づけて記憶する。

ステップＳ２８：画像処理エンジン９０は、現在の画像番号ｉが最終値に達したか否かを判別し、達していなかった場合はステップＳ２９へ移行し、達していた場合にはステップＳ２１０へ移行する。なお、画像番号iの最終値は、画像データベースに登録された画像の総数である。

ステップＳ２９：画像処理エンジン９０は、画像番号ｉをインクリメントしてからステップＳ２６へ移行する。よって、画像データベースに登録された画像の各々について類似度が算出される。

ステップＳ２１０：画像処理エンジン９０は、画像データベースに登録された画像を、類似度の高い順に並べて表示部１４０へ表示する（図７（Ａ）〜（Ｄ）を参照。）。

なお、図７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の左側に比較的大きく表示された画像がクエリ画像であり、右側の上下方向に並べて表示された比較的小さな複数の画像が、類似度の高い順に並べられた複数の画像（検索結果）である。

図７（Ａ）、（Ｂ）を比較すると明らかなとおり、クエリ画像として同じ画像が表示されていたとしても、その表示サイズが異なれば、検索結果は異なる。また、図７（Ａ）、（Ｂ）と、図７（Ｃ）と、図７（Ｄ）とを比較すると明らかなとおり、クエリ画像として同じ画像が表示されていたとしても、その表示域が異なれば、検索結果は異なる。

なお、ユーザが操作部１５０を操作することにより、検索結果の中の１つの画像を選択すると、画像処理エンジン９０は、選択された画像をクエリ画像と同じサイズで表示部１４０へ表示する。この際、画像処理エンジン９０は、指定された画像を必要に応じてクエリ画像上に重畳表示させる。また、ユーザが操作部１５０を操作することにより、クエリ画像を選択すると、画像処理エンジン９０は、表示部１４０の表示内容を元の状態に戻す。

また、ユーザは、操作部１５０を操作することにより、クエリ画像として表示されている画像の表示サイズや、その画像の表示域を任意に変更することができる。表示サイズや表示域が変更されると、それに応じて検索結果も変更される（詳細は、以降のステップのとおり。）。

ステップＳ２１１：画像処理エンジン９０は、表示部１４０においてクエリ画像として表示されている画像の表示サイズが変更されたか否かを判別し、変更された場合はステップＳ２３へ移行し、変更されなかった場合はステップＳ２１２へ移行する。つまり、本実施形態では、表示サイズが変更されると、表示サイズＳの値が更新されるので、それによって検索結果も変化する。

ステップＳ２１２：画像処理エンジン９０は、表示部１４０においてクエリ画像として表示されている画像の表示域が変更されたか否かを判別し、変更された場合はクエリ画像が更新されたとみなしてステップＳ２２へ移行し、変更されなかった場合はステップＳ２１３へ移行する。つまり、本実施形態では、表示域が変更されると、クエリ画像が更新されるので、色ヒストグラム関数の作成が改めて行われ、それによって検索結果も変化する。

ステップＳ２１３：画像処理エンジン９０は、フローの終了指示が入力されたか否かを判別し、入力されなかった場合にはステップＳ２１１へ移行し、入力された場合にはフローを終了する。

以上、本実施形態の画像処理エンジン９０は、画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、その画像の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））を作成する作成手段（ヒストグラム関数作成部９０Ｄ）と、その画像上の主要被写体領域（Ａ_１）を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手段（ヒストグラム関数作成部９０Ｄ）と、ユーザに対する画像の表示サイズ（Ｓ）と、画像における主要被写体領域（Ａ_１）の占有率（ｒ_１）との組み合わせに応じて、第１頻度に付与すべき重み（Ｇ_１）を設定する重み設定手段（重み設定部９０Ｃ）とを備える。

一般に、ユーザに対する画像の絶対的な表示サイズ（Ｓ）が大きいときには、その表示サイズ（Ｓ）が小さいときよりも主要被写体領域（Ａ_１）が目立って見える（周辺の領域に対して際立つ）と考えられる。なぜなら、ヒトがものを見るときの分解能は有限だからである。

したがって、本実施形態の重み設定手段（重み設定部９０Ｃ）のように、主要被写体領域（Ａ_１）に関する第１頻度の重み（Ｇ_１）を、画像の表示サイズ（Ｓ）と、主要被写体領域（Ａ_１）の占有率（ｒ_１）との組み合わせに応じて設定すれば、特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））に対する主要被写体領域（Ａ_１）の寄与度を、適度に設定することができる。

よって、本実施形態の画像処理エンジン９０は、画像に対するユーザの印象を、画像の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））に対して的確に反映させることができる。

また、本実施形態の重み設定手段（重み設定部９０Ｃ）は、表示サイズ（Ｓ）が未定であるときには、第１頻度に付与すべき重み（Ｇ_１）を表示サイズ（Ｓ）の関数で表すので、本実施形態の画像処理エンジン９０は、表示サイズ（Ｓ）が確定したタイミングで、特徴量ヒストグラム（色ヒストグラム関数Ｈ）を即座に完成させることができる（ステップＳ２４、Ｓ２６）。

また、本実施形態の画像処理エンジン９０は、登録モードにおいて、画像データベースへ登録すべき登録画像の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））を上記のとおり作成するので（図２参照）、画像データベースには、特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））の作成済みの画像が蓄積されることになる。

よって、本実施形態の画像処理エンジン９０は、画像データベースに蓄積された画像の管理（分類、検索など）を、各々の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））により効率的に行うことができる。

さらに、本実施形態の画像処理エンジン９０は、検索モードにおいて、画像データベースの検索で使用されるクエリ画像の特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））を上記のとおり作成するので（ステップＳ２２）、クエリ画像に類似した画像を画像データベースから適切に検索することができる。

また、本実施形態の画像処理エンジン９０は、特徴量ヒストグラムとして、色ヒストグラムを作成するものであり、その色ヒストグラムの色区間を、１１種類のカテゴリカルカラーの境界に一致させているので（図４参照）、色ヒストグラムの区間種類及び区間数を、必要最小限にすることができ、効率的である。

また、本実施形態の重み付け手段（ヒストグラム関数作成部９０Ｄ）は、画像上の非主要被写体領域上で顕著性の高い特異領域（Ａ_２）を抽出元とする特徴量の頻度である第２頻度に対して重み付けをするものであり、重み設定手段（重み設定部９０Ｃ）は、ユーザに対する画像の表示サイズ（Ｓ）と、画像における特異領域（Ａ_２）の占有率（ｒ_２）との組み合わせに応じて、第２頻度に付与すべき重み（Ｇ_２）を設定する。

一般に、ユーザに対する画像の絶対的な表示サイズ（Ｓ）が大きいときには、その表示サイズ（Ｓ）が小さいときよりも特異領域（Ａ_２）が目立って見える（他の領域に対して際立つ）と考えられる。なぜなら、ヒトがものを見るときの分解能は有限だからである。

したがって、本実施形態の重み設定手段（重み設定部９０Ｃ）のように、特異領域（Ａ_２）に関する第２頻度の重み（Ｇ_２）を、画像の表示サイズ（Ｓ）と、特異領域（Ａ_２）の占有率（ｒ_２）との組み合わせに応じて設定すれば、特徴量ヒストグラム（色ヒストグラム関数Ｈ（Ｓ））に対する特異領域（Ａ_２）の寄与度を、適度に設定することができる。

よって、本実施形態の画像処理エンジン９０は、画像に対するユーザの印象を、画像の特徴量ヒストグラム（色ヒストグラムＨ）に対して的確に反映させることができる。

［実施形態への補足］
なお、上述した実施形態では、主要被写体領域をディジタルカメラが自動的に抽出したが、ユーザが指定してもよい。主要被写体領域の抽出方法としては、公知の何れの方法を適用してもよい。

また、上述した実施形態では、画像上で互いに異なる重みの設定される領域の数を３としたが、１又は４以上としてもよい。

また、上述した実施形態では、画像の印象を表す特徴量ヒストグラムとして色ヒストグラムを使用したが、画像がモノクロ画像である場合などは、画像の特徴量ヒストグラムとして輝度ヒストグラムを使用してもよい。或いは、他の特徴量ヒストグラム（エッジ量ヒストグラム、テクスチャーヒストグラムなど）を使用してもよい。特徴量ヒストグラムの種類は、画像を管理する目的に応じて選定されることが望ましい。

また、上述した実施形態では、画像の表示先を、ディジタルカメラ１０の内部モニタとしたが、ディジタルカメラ１０の外部モニタや、印刷用紙などとしてもよい。

また、上述した実施形態では、特徴量ヒストグラムを作成する際に参照される表示サイズＳとして、予め決められた表示先（ここではカメラの内部モニタ）における画像の表示サイズを使用したが、画像の表示先の種類と、その表示先における画像の表示サイズとの組み合わせによって決まる、絶対的な表示サイズを使用してもよい。

また、上述した実施形態では、画像解析機能を搭載したディジタルカメラ（撮像装置）を説明したが、本発明は、ディジタルフォトフレームなどの画像蓄積装置や、インターネットに接続された画像サーバ装置や、パーソナルコンピュータなどにも適用が可能である。

なお、本発明をパーソナルコンピュータへ適用する場合は、画像解析機能をプログラムとしてコンピュータへ搭載してもよい。また、コンピュータに対するプログラムのインストールは、インターネットなどの通信網や、記憶媒体などを介して行われてもよい。

また、本発明の適用先が何れの装置であったとしても、画像データベースの構築先は、装置の内部メモリであっても装置の外部メモリであっても構わない。例えば、本発明の適用先をパーソナルコンピュータとし、画像データベースの構築先を画像サーバ装置としてもよい。

１０…ディジタルカメラ、２０…撮影レンズ、３０…メカニカルシャッタ、５０…撮像素子、７０…タイミングジェネレータ（ＴＧ）、８０…アナログフロントエンド（ＡＦＥ）、９０…画像処理エンジン、１１０…モータドライバ、１３０…バッファメモリ、１４０…表示部、１５０…操作部、１６０…リムーバブルメモリ、９０Ａ…オブジェクト抽出部、９０Ｂ…顕著性評価部、９０Ｃ…重み設定部、９０Ｄ…ヒストグラム関数作成部、９０Ｅ…画像比較部

Claims (8)

1. 画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、前記画像の特徴量ヒストグラムを作成する作成手段と、
   前記画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手段と、
   ユーザに対する前記画像の表示サイズと、前記画像における前記主要被写体領域の占有率との組み合わせに応じて、前記第１頻度に付与すべき重みを設定する重み設定手段と、
   を備えたことを特徴とする画像解析装置。
2. 前記重み設定手段は、
   前記表示サイズが未定であるときには、前記第１頻度に付与すべき重みを前記表示サイズの関数で表す
   ことを特徴とする画像解析装置。
3. 請求項１又は請求項２に記載の画像解析装置において、
   前記特徴量ヒストグラムの作成元は、
   画像データベースへ登録すべき登録画像である
   ことを特徴とする画像解析装置。
4. 請求項３に記載の画像解析装置において、
   前記特徴量ヒストグラムの作成元は、
   画像データベースから画像を検索する際に使用されるクエリ画像である
   ことを特徴とする画像解析装置。
5. 請求項１〜請求項４の何れか一項に記載の画像解析装置において、
   前記特徴量ヒストグラムは、色ヒストグラムであって、
   前記色ヒストグラムの色区間は、予め決められた１１種類のカテゴリカルカラーに対応している
   ことを特徴とする画像解析装置。
6. 請求項１〜請求項５の何れか一項に記載の画像解析装置において、
   前記重み付け手段は、
   前記画像上の非主要被写体領域上で顕著性の高い特異領域を抽出元とする特徴量の頻度である第２頻度に対して重み付けをするものであり、
   前記重み設定手段は、
   前記ユーザに対する前記画像の表示サイズと、前記画像における前記特異領域の占有率との組み合わせに応じて、前記第２頻度に付与すべき重みを設定する
   ことを特徴とする画像解析装置。
7. 被写体を撮像して画像を生成する撮像手段と、
   前記撮像手段が生成した画像を解析する請求項１〜請求項６の何れか一項に記載の画像解析装置と、
   を備えたことを特徴とする撮像装置。
8. 画像に含まれる特徴量の頻度を、特徴量毎に計数することにより、前記画像の特徴量ヒストグラムを作成する作成手順と、
   前記画像上の主要被写体領域を抽出元とする特徴量の頻度である第１頻度に対して重み付けをする重み付け手順と、
   ユーザに対する前記画像の表示サイズと、前記画像における前記主要被写体領域の占有率との組み合わせに応じて、前記第１頻度に付与すべき重みを設定する重み設定手順と、
   を含むことを特徴とする画像解析方法。

Images