JP2009301121A - 印象判定処理方法、プログラム、及び、画像印象判定装置 - Google Patents

Abstract

【課題】画像の印象を与えている部分領域を特定して判定することができる、印象判定処理方法、プログラム、及び、画像印象判定装置を提供する。
【解決手段】複数の印象ラベルのうちのいずれか一つが設定された判定部１１は、複数回実行される学習処理の各々において、学習画像記憶部２１から読み出した学習画像を複数の部分領域に分割し、各部分領域における特徴量の各部分ベクトルから弱識別器を部分領域毎に構築し、これらの中から最も印象に寄与する部分領域の弱識別器を当該学習処理における弱識別器として選択して学習結果記憶部２２に記憶する。また、全ての学習処理において選択された弱識別器を線形結合した強識別器を構成する。そして、評価画像から特徴量を算出して強識別器に入力し、当該評価画像の印象の度合いを算出する。
【選択図】図５

Description

本発明は、印象判定処理方法、プログラム、及び、画像印象判定装置に関する。

画像の特徴量を算出し、この画像の印象を判定する方法としては、例えば、複数の画像間の特徴量の距離によって画像の属するグループの判定及び分類を行う方法が知られている（例えば、特許文献１参照）。この場合、画像全体から特徴量を算出して上記処理が行われる。
特許第３１４３５３２号公報

しかしながら、画像の印象は、画像全体よりも、画像の中の特定部分にあることが多い。例えば、白い壁の前に鮮やかな色の被写体がある画像の場合、その被写体の部分がこの画像の印象を与えていると考えられる。そのため、従来の方法では、画像のうち、特にその画像の印象を与えている部分を特定できず、正確な判定を行えないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、画像を複数の部分領域に分割し、その画像の印象を与えている部分領域、及び、その部分領域における特徴量の部分ベクトルを特定して判定することができる、印象判定処理方法、プログラム、及び、画像印象判定装置を提供することを目的とする。

前記課題を解決するために、本発明に係る印象判定処理方法は、印象判定処理部を有し、複数の印象ラベル、各々に印象ラベルの少なくとも１つが付加された複数の学習画像、これらの学習画像の各々の特徴量、及び、学習結果を記憶する記憶装置にアクセス可能なコンピュータにより実行され、印象ラベル毎に、学習画像に基づいて当該印象ラベルに対する印象度合いの判定及び当該判定のための学習を行う印象判定処理方法であって、印象判定処理部により、記憶装置から印象ラベル、学習画像及び当該学習画像の特徴量を読み出す学習画像読出処理と、所定の回数実行される学習の各々において、印象判定処理部により、学習画像の各々を、同一の位置及び数の部分領域に分割し、これらの部分領域毎に、学習画像の特徴量のうち、当該部分領域に対応する部分ベクトルを用いて、印象ラベルに対する印象を有するか否かの判定を行い、結果を数値として出力する弱識別器を構築し、さらに、全ての学習画像における当該部分領域に対応する部分ベクトルを弱識別器に入力して判定し、学習画像に付けられた印象ラベルと弱識別器の判定結果とが一致するか否かを検査して誤り率を算出し、当該誤り率が最も少ない部分領域の部分ベクトルに対応する弱識別器を当該学習における弱識別器として選択して、記憶装置に学習結果として記憶する弱識別器設定処理と、学習の各々において、印象判定処理部により、弱識別器設定処理で選択された弱識別器の誤り率から、全ての学習において設定された弱識別器を線形結合するための係数及び学習に用いられる学習用重みを算出する係数算出処理と、を有する。

このような印象判定処理方法において、学習毎に実行される弱識別器設定処理は、部分領域毎に、判定しようとする印象ラベルが付加された学習画像である陽性サンプル、及び、この陽性サンプル以外の陰性サンプルの特徴量の部分ベクトルから、陽性サンプル及び陰性サンプル毎に部分ベクトルの重み付き平均値を算出する処理と、学習画像の特徴量のうち、部分領域に対応する部分ベクトルと、陽性サンプル及び陰性サンプルの重み付き平均値の各々との距離を算出する処理と、この距離に基づいて、弱識別器を構築する処理と、学習画像の特徴量のうち、部分領域に対応する部分ベクトルを弱識別器に入力し、学習画像の各々に付された印象ラベルと弱識別器の結果とが一致するか否かを検査する処理と、一致しなかった学習画像の学習用重みの総和から当該部分領域の部分ベクトルに対応する弱識別器の誤り率を算出する処理と、を有することが好ましい。

また、このような印象判定処理方法は、印象判定処理部により、評価画像の特徴量を算出する特徴量算出処理と、印象ラベル毎に、印象判定処理部により、記憶装置から学習結果を読み出して、この学習で選択された弱識別器の各々に評価画像の特徴量のうち、当該弱識別器が対応する部分領域の部分ベクトルを入力して判定結果を取得し、判定結果及び係数から、評価画像の印象ラベルに対する印象度合いを算出する印象判定処理と、をさらに有することが好ましい。

このとき、印象判定処理は、学習毎の弱識別器の判定結果と重みとの積を算出し、全ての学習の積の総和として印象度合いを算出するように構成されることが好ましい。

また、このような印象判定処理方法において、特徴量は、画像における領域の色に関するものであることが好ましい。あるいは、特徴量は、画像における領域のエッジに関するものであることが好ましい。

なお、本発明に係る印象判定処理方法をコンピュータに実行させるためのプログラムを作成することができ、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してディジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

また、本発明に係る画像印象判定装置は、複数の印象ラベル、各々に前記印象ラベルの少なくとも１つが付加された複数の学習画像、前記学習画像の各々の特徴量、及び、学習結果を記憶する記憶装置と、評価画像を入力する入力装置と、評価画像の判定結果が出力される出力装置と、各々に印象ラベルが設定され、各々が上述の印象判定処理方法のいずれかを実行して評価画像の判定を行う複数の判定部、及び、この判定部による判定結果を出力装置に出力する判定結果出力部を有する処理装置と、を有して構成される。

本発明に係る印象判定処理方法、プログラム、及び、画像印象判定装置を以上のように構成すると、学習画像の中で、印象を与えている部分領域とその部分領域における特徴量の部分ベクトルとを学習によって特定して弱識別器を構築し、さらに、それらの情報を用いて強識別器を構築することができ、この強識別器により評価画像の判定を行うことができる。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１及び図２を用いて、画像印象判定装置１００の構成について説明する。この画像印象判定装置１００は、ＣＰＵやメインメモリ等を有する処理装置（コンピュータ）１と、ハードディスクやフラッシュメモリ等からなり、画像データ等が記憶される記憶装置２，５と、キーボードやマウス等からなり、ユーザからの指示を受け付ける入力装置３と、ディスプレイやプリンタ等からなり、判定結果等が出力される出力装置４とから構成される。処理装置１は、印象判定処理を行う印象判定処理部１０を有し、さらに、この印象判定処理部１０は、印象ラベル毎に設けられ、学習画像に基づく学習結果を用いて評価画像の評価を行う複数の判定部１１と、評価画像の判定においてどの判定部１１を使用するか（どの印象ラベルについて評価を行うか）を選択する選択部１２と、この選択部１２の制御を行う制御部１３と、判定部１１による判定結果を出力装置４に出力する判定結果出力部１４と、を有して構成される。なお、この印象判定処理部１０は、例えば、処理装置（コンピュータ）１で実行されるプログラムとして構成される。

この画像印象判定装置１００において、判定部１１の各々は、記憶装置２の学習画像記憶部２１に予め登録された学習画像及び印象ラベルに基づいて学習を行う学習処理部１１ａと、記憶装置２の学習結果記憶部２２に記憶された学習結果に基づいて、記憶装置５の評価画像記憶部５１に記憶された評価画像の評価を行う評価処理部１１ｂとを有して構成されている。それでは、この判定部１１における処理について、図３〜図８を用いて説明する。

［学習画像による学習］
学習処理部１１ａは、ＡｄａＢｏｏｓｔの手法により、複数の学習サンプル（学習画像）を用いて、図４に示す処理手順により評価画像の印象を判定するための１つの強識別器Ｈ（Ｘ）を構築するものである。この学習処理部１１ａは、学習を開始すると、学習画像記憶部２１に記憶されている複数の学習画像を読み込む（ステップＳ３００）。ここで、学習画像記憶部２１には、図３に示すように、学習画像を記憶する学習画像記憶テーブル２１１と、印象ラベルと学習画像との対応付けを行う印象ラベル記憶テーブル２１２とを有して構成されている。

学習画像記憶テーブル２１１は、学習画像を識別するための画像ＩＤが記憶される画像ＩＤフィールド２１１ａと、学習画像が格納されるファイルフィールド２１１ｂと、この学習画像の特徴量Ｘ（ｊ）が記憶される特徴量フィールド２１１ｃとから構成されている。図３（ａ）においては、７枚の画像が登録されている場合を示しており、ｊは、学習画像の番号を示す。なお、ファイルフィールド２１１ｂに学習画像を直接記憶させるのではなく、別の領域に学習画像本体を記憶し、この学習画像のファイル名（又はパス名）をこの領域に記憶するように構成することも可能である。

また、印象ラベル記憶テーブル２１２は、印象ラベルを識別するための印象ＩＤが記憶される印象ＩＤフィールド２１２ａと、印象ラベルが記憶される印象ラベルフィールド２１２ｂと、当該印象ラベルに対応付けられている学習画像の画像ＩＤが記憶される画像ＩＤフィールド２１２ｃと、から構成されている。この画像ＩＤフィールド２１２ｃには、複数の画像ＩＤを設定することが可能であり、例えば、印象ＩＤ＝”１”の”美しい”という印象ラベルには、画像ＩＤが”０００１”と”０００２”の２枚の学習画像が設定されている。

なお、画像の特徴量Ｘは、ＭＰＥＧ７で規格化されている、スケーラブルカラー（Scalable Color）やエッジヒストグラム（Edge Histogram）を用いたｎ次元のベクトルとして定義されており、本実施の形態においては、学習画像毎に予め決められた方法により計算されて特徴量フィールド２１１ｃに設定されている。

そして、学習処理部１１ａは、学習のステップ数ｔに初期値として”１”を設定し（ステップＳ３１０）、ステップ数ｔが、予め決められた回数（Ｔｍａｘ）を超えたか否かを判断し、Ｔｍａｘを超えるまで、ステップＳ３３０〜ステップＳ３５０を繰り返す（ステップＳ３２０）。この繰り返し処理において、ステップＳ３３０では、ステップＳ３００で読み込んだ学習画像を用いて、繰り返し処理毎の（ｔ回目の）学習における弱識別器ｈ（ｘ，ｔ）が構築される。弱識別器ｈ（ｘ，ｔ）の詳細な構築方法については後述するが、本実施の形態における学習処理部１１ａにおいては、学習画像を予め決められた部分領域に分割し、この部分領域における特徴量の部分ベクトル毎に学習を行い、当該部分領域の部分ベクトル毎の弱識別器ｈ_i,k（ｘ，ｔ）を構築し（ｉは部分領域の番号であり、ｋは当該部分領域に対応する特徴量の部分ベクトルの番号）、これらの部分領域における特徴量の部分ベクトルに対応する弱識別器の中から最も印象が強い部分領域の特徴量の部分ベクトルを選択し、この部分ベクトルに対応する弱識別器をこの学習処理（ｔ回目の学習処理）における弱識別器ｈ（ｘ，ｔ）として選択するように構成されている。そのため、ｘは、ｔ回目の学習において入力される画像の特徴量（ベクトル量）Ｘのうち、各弱識別器ｈ（ｘ，ｔ）が対応する部分領域における部分ベクトルを表している。

また、ステップＳ３４０では、ステップＳ３３０で構築された弱識別器ｈ（ｘ，ｔ）から、線形結合のためのｔ回目の学習ステップにおける係数α_tを算出し、さらに、次の学習ステップ（ｔ＋１回目）で用いる各学習画像の重みＤ_t+1（ｊ）を更新する。そして、ステップＳ３５０でステップ数ｔに１を加算する。

以上のようにして、Ｔｍａｘ回の学習をすることにより、Ｔｍａｘ個の部分領域（ｉ）と、この部分領域における部分ベクトル（ｋ）と、弱識別器ｈ（ｘ，ｔ）との組が決定され、ステップＳ３６０においてこれらの弱識別器ｈ（ｘ，ｔ）を線形結合することにより１つの強識別器Ｈ（Ｘ）が構築される。このステップＳ３６０において弱識別器ｈ（ｘ，ｔ）を線形結合するための係数α_tは、上述のようにステップＳ３４０で算出されるが、後述するように、ステップＳ３３０で選択された部分領域における部分ベクトルに対応する弱識別器ｈ（ｘ，ｔ）とその誤り率ε_tとを用いて、次式（１）として決定される。ここで、１枚の学習画像をｍ個の部分領域に分割したとすると、部分領域の組み合わせの集合はＧ＝｛ｇ１，ｇ２，．．．，ｇｍ｝と表され、ｊ枚目の学習画像の部分領域ｉに対応するｋ番目の部分ベクトルをｘ_i,j,kとすると、特徴量のベクトルＸは部分ベクトルの集合（Ｘ（ｊ）＝｛ｘ_1,j,1，ｘ_1,j,2，．．．，ｘ_1,j,k1，ｘ_2,j,1，ｘ_2,j,2，．．．，ｘ_2,j,k2，．．．，ｘ_m,j,1，ｘ_m,j,2，．．．，ｘ_m,j,km｝）として表される。なお、ｋ１，ｋ２，．．．，ｋｍは、それぞれの部分領域ｉにおける特徴量の部分ベクトルの数である。

この式（１）は、弱識別器ｈ（ｘ，ｔ）の信頼性を表しており、誤り率ε_tが低いほど係数α_tが大きくなり、対応する弱識別器ｈ（ｘ，ｔ）のステップＳ３６０での判断の影響が大きくなる。但し、誤り率ε_tが０．５を超えるときは、弱識別器ｈ（ｘ，ｔ）の判定を逆にすれば誤り率ε_tを小さくすることができるので、この場合は１から誤り率ε_tを引いた値を新たな誤り率ε_tとする。従って、誤り率ε_tの最悪値は０．５となる。

また、ｔ＋１回目の学習における学習画像の重みＤ_t+1（ｊ）は、全ての学習画像に対する重みを加算したときに１になる必要があるため、次式（２）に示す条件値Ｚ_tを満たすように、ｔ回目の学習における重みＤ_t（ｊ）から次式（３）により求められる。なお、この式（２）及び（３）において、Ｊｍａｘは学習画像の枚数を示し、ｘ_i,j,kは、弱識別器が選択された部分領域ｉに対応するｊ番目の画像のｋ番目の部分ベクトルを示し、ｙ_jは、ｊ番目の画像の印象ラベルの有無を表し、この学習を行っている判定部１１に割り当てられた印象ラベルを有する場合は１、有しない場合は−１となる。

以上より、ステップＳ３６０で構築される１つの強識別器Ｈ（Ｘ）は、次式（４）で表される。なお、この式（４）において、Ｘは強識別器Ｈで評価される画像の特徴量（ベクトル量）であり、ｘは、特徴量Ｘのうち、ｔ回目の学習において弱識別器ｈ（ｘ，ｔ）が選択された部分領域に対応する部分ベクトルである。

図６では、学習全体を通じて、一番選択された頻度の多かった部分領域が画像の印象に影響を与えている領域として特定される様子が示されており、Ｔｍａｘ回行った学習の結果は、学習全体を通じて出現頻度の高かった領域（丸印が付けられた領域）となる。

それでは、図５を用いて、弱識別器ｈ（ｘ，ｔ）を構築するための処理（ステップＳ３３０）の具体的構成について説明する。まず、学習画像を予め決められた複数の部分領域に分割する（ステップＳ３３０１）。例えば、図６に示すように、横６×縦４の２４の部分領域に分割する（この場合は、ｍ＝２４となる）。なお、ここでは、説明を簡単にするために、縦、横を均等に分割した場合について示しているが、部分領域の大きさは任意に設定することができる。また、これらの分割された部分領域を組み合わせたものを新たな部分領域としても良い。次に上記部分領域の各々における部分ベクトルの数をｋ＝｛ｋ１，ｋ２，．．．，ｋｍ｝とする（ステップＳ３３０２）。そして、部分領域のカウンタｉ及び部分ベクトルのカウンタｋに初期値として”１”を設定し（ステップＳ３３０３）、部分領域ｇ１から順に、部分領域ｇｍまで以下の処理を繰り返す（ステップＳ３３０４）。

まず、上述のステップＳ３００で学習画像記憶部２１から読み込んだすべての学習画像の、部分領域ｇｉにおける特徴量の部分ベクトルを抽出する（ステップＳ３３０５）。上述のように７枚の学習画像がある場合は、ｉ番目の部分領域の処理において抽出された部分ベクトルの集合は、｛ｘ_i,j,1，ｘ_i,j,2，．．．，ｘ_i,j,ki｝（ｊ＝１，２，．．．，７）となる。そして、ｋがｋｉより大きいか、すなわち、ｉ番目の部分領域に対応する全ての特徴量の部分ベクトルについて判定が終わったか否かを判断し（ステップＳ３３０６）、全ての判定が終わっている場合には、ｉに１を加算し（ステップＳ３３０７）、また、ｋに１を設定し（ステップＳ３３０８）、ステップＳ３３０４に戻る。一方、ステップＳ３３０６で全ての部分ベクトルについて判定が終わっていないと判断したときは、ｔ回目の学習において、学習画像の陽性サンプルの部分領域ｉの特徴量のｋ番目の部分ベクトルの重み付き平均値を次式（５）により算出し、学習画像の陰性サンプルの部分領域ｉの特徴量のｋ番目の部分ベクトルの重み付き平均値を次式（６）により算出する（ステップＳ３３０９）。ここで、陽性サンプルとは、判定部１１に設定された印象ラベルに割り当てられている学習画像のことを言い、上述のｙ_j＝１のサンプルであり、反対に陰性サンプルとは、当該印象ラベルに割り当てられていない学習画像のことを言い、上述のｙ_j＝−１のサンプルである。例えば、図３（ｂ）において、”美しい”という印象ラベルが設定された判定部１１の学習処理部１１ａでは、画像ＩＤが”０００１”と”０００２”の学習画像が陽性サンプルとなり、それ以外の学習画像が陰性サンプルとなる。なお、式（５），（６）において、〜付きのｘは、部分ベクトルの重み付きの平均値であり、添え字の上側の文字は、”Ｙｅｓ”が陽性サンプルに対するものであることを示し、”Ｎｏ”が陰性サンプルに対するものであることを示す。また、ｍ＜ｎである。

これらの式（５），（６）において、ｎ₁は陽性サンプルの枚数を示し、ｎ₂は陰性サンプルの枚数を示している。ここで、ｎ＝ｎ₁＋ｎ₂である。また、λ_jはｊ番目の学習画像に付加されている印象ラベル数の逆数である。例えば、図３（ｂ）において、画像ＩＤが”０００１”の学習画像には印象ラベルとして”美しい”と”落ち着いた”が付加されており、λ₁＝０．５となる。同様に、画像ＩＤが”０００２”の学習画像には”美しい”という印象ラベルだけが付加されているため、λ₂＝１．０となる。つまり、このλ_jは、ｊ番目の学習画像の印象に対する影響力を表しており、多くの印象ラベルが付加されている学習画像ほど、その学習画像の印象に与える影響力は小さくなる。また、Ｄ_t（ｊ）は、ｔ回目の学習における、ｊ番目のサンプルの重みである。ここで言う重みとは、各学習画像が平均的な特徴量の部分ベクトルである式（５）及び（６）に影響を与える割合のことであり、常に以下の式（７）の関係を満足するものとする。

なお、この陽性及び陰性サンプルの重みＤ_t（ｊ）は、学習ステップの回数とともに変化するが、初期値（ｔ＝１）のときの値は、それぞれ、次式（８），（９）により定義され、各学習サンプルの重みを同じとする。

次に、上述のステップＳ３３０９で算出された特徴量の部分ベクトルの平均値と、各学習画像の特徴量の部分ベクトルとのユークリッド距離を次式（１０），（１１）により算出する（ステップＳ３３１０）。式（１０）において、ｆ₁（ｘ）は、第ｉ番目の領域のｋ番目の部分ベクトルと陽性サンプルの特徴量のｋ番目の部分ベクトルの平均値とのユークリッド距離を示し、式（１１）において、ｆ₂（ｘ）は、第ｉ番目の領域のｋ番目の部分ベクトルと陰性サンプルの特徴量のｋ番目の部分ベクトルの平均値とのユークリッド距離を示している。ただし、距離計算は１ノルムなど別のノルムでも代用できる。また、特徴量の部分ベクトルの平均値の添え字のうち、最初のｔは、ｔ回目の学習ステップであることを示す。

そして、ステップＳ３３１０で算出された距離ｆ₁（ｘ），ｆ₂（ｘ）を用いて、第ｉ番目の部分領域のｋ番目の部分ベクトルにおいて印象が陽性か陰性かを判定する弱識別器ｈ_i,k（ｘ，ｔ）を次式（１２）により構築する（ステップＳ３３１１）。ここで、”１”が陽性で、”−１”が陰性を表す。すなわち、この式（１２）で表される弱識別器ｈ_i,k（ｘ，ｔ）は、評価画像の特徴量の部分ベクトルと学習画像より得られた部分ベクトルの重み付き平均値との距離が、陽性サンプルと近いときに陽性（１）と判断され、陽性及び陰性サンプルとの距離が等しいか若しくは陰性サンプルと近いときに陰性（−１）と判断するものである。

最後に、上述のステップＳ３３１１で構築された弱識別器ｈ_i,k（ｘ，ｔ）を用いて、すべての学習画像の第ｉ番目の部分領域に対するｋ番目の部分ベクトルの判定を行い、その判定結果と、印象ラベル記憶テーブル２１２に設定された状態（陽性サンプルか、陰性サンプルか）が一致するかを検査する（ステップＳ３３１２）。この検査の結果、すべての学習画像について、弱識別器による判定結果と設定状態とが一致するときはｋに１を加えた後（ステップＳ３３１５）、ステップＳ３３０６に戻り当該部分領域の次の部分ベクトルについて上記処理を繰り返す（ステップＳ３３１３）。一方、このステップＳ３３１３で何れかの学習画像において判定結果と設定状態とが一致しないときは、次式（１３）により、該当する弱識別器ｈ_i,k（ｘ，ｔ）（言い換えると、該当する部分領域ｉのｋ番目の部分ベクトル）に対応する誤り率ε_i,kを算出し（ステップＳ３３１４）、ｋに１を加えた後（ステップＳ３３１５）ステップＳ３３０６に戻る。

このようなステップＳ３３０９からＳ３３１２までの一連の処理を部分領域の組み合わせの集合Ｇの要素数だけ繰り返す。最終的に、ｉ個の部分領域において、最も誤り率ε_i,kが低かった弱識別器ｈ_i,k（ｘ，ｔ）を、ｔ回目の学習における弱識別器ｈ（ｘ，ｔ）として選択し、学習ステップｔと、この弱識別器ｈ（ｘ，ｔ）に関する部分領域の番号ｉ、部分ベクトルの番号ｋ、係数α_t及び選択された部分領域における特徴量のｋ番目の部分ベクトルの重み付き平均値とを学習結果記憶部２２の学習結果テーブル２２１に記憶する（ステップＳ３３１６）。なお、この学習結果テーブル２２１は、図７に示すように、学習回数フィールド２２１ａと、係数フィールド２２１ｂと、平均値フィールド２２１ｃと、部分領域フィールド２２１ｄと、部分ベクトルフィールド２２１ｅと、から構成されている。なお、弱識別器ｈ_i,k（ｘ，ｔ）が選択された部分領域ｉの部分ベクトルｋにおける誤り率ε_i,kが、ｔ回目の学習における誤り率ε_tとして選択される。

［評価画像の評価］
評価処理部１１ｂは、上述の学習結果に基づいて、式（４）により評価画像の評価を行うものである。具体的には、図８に示すように、まず、入力端末３より、評価を行う評価画像が指示されると当該評価画像を取得する（ステップＳ４００）。例えば、図１の構成の場合には、外部の記憶装置５の評価画像記憶部５１から取得する。そして、この評価画像の特徴量のベクトルＸを算出する（ステップＳ４１０）。次に、繰り返し回数ｔに初期値として”１”を設定し、この繰り返し回数ｔがＴｍａｘより大きくなるまで次の処理（ステップＳ４４０〜ステップＳ４６０）を繰り返す（ステップＳ４３０）。ステップＳ４４０では、学習結果記憶部２２の学習結果テーブル２２１からｔ回目の学習における部分領域ｉにおけるｋ番目の部分ベクトルの重み付き平均値を取得する。そして、ステップＳ４５０では、ステップＳ４１０で算出した評価画像の特徴量のベクトルＸのうち、部分領域ｉにおけるｋ番目の部分ベクトル（ｘ）と、ステップＳ４４０で取得した部分領域ｉのｋ番目の部分ベクトルの重み付き平均値とから、式（１０）〜（１２）により弱識別器ｈ（ｘ，ｔ）の値を求める（ステップＳ４５０）。そして、ステップＳ４６０ではｔに１を加算する。以上のようにして、Ｔｍａｘ個の弱識別器ｈ（ｘ，ｔ）の結果が出ると、最後に、学習結果テーブル２２１からＴｍａｘ個の重みα_tの値を読み出し（ステップＳ４７０）、式（４）により、強識別器Ｈ（Ｘ）の値を算出する（ステップＳ４８０）。

以上のような構成によると、評価処理部１１ｂは、評価画像が、この評価処理部１１ｂが設けられた判定部１１に設定されている印象ラベルに相当する印象を有するか否かを数値として算出することができる。上述のように弱識別器ｈ（ｘ，ｔ）は”１”か”−１”の値が出力されるため、強識別器Ｈ（Ｘ）の値が正の値であれば当該印象を有し、０より小さい値であれば当該印象を有しないと判断することができる。あるいは、所定の閾値を設定し、この閾値以上の値であれば当該印象を有し、閾値より小さければ当該印象を有しないと判断することもできる。すなわち、この判定部１１においては、強識別器Ｈ（Ｘ）の値は、印象を有する／有しない（”１”か”−１”か）ではなく、Ｔｍａｘ個の弱識別器と重みα_tとの積の総和（線形結合）であるため、印象の度合いを数値として表現することが可能である。そのため、複数の印象ラベルが設定された判定部１１の各々の演算結果（Ｈ（Ｘ））を比較して、どの印象が最も強いのかというような比較や、順位付けも行うことが可能である。

なお、このような画像印象判定装置１００において、判定結果出力部１４は、複数の印象ラベルのそれぞれに対応付けられた判定部１１からの判定結果（強識別器Ｈ（Ｘ）の値）から、最も大きな値を、その評価画像の印象（印象ラベル）として表示しても良いし、複数の印象ラベルの値の各々をグラフとして表示しても良い。また、制御部１３により選択部１２を操作して、評価画像を判定する判定部１１，すなわち、判定を行う印象ラベルを選択するように構成することも可能である。

それでは、以上のような印象判定処理部１０を用いた実施例として、登録された画像を印象ラベルにより検索することができる画像データベースについて図９を用いて説明する。この画像データベース６０は、上述の印象判定処理部１０と、画像データを記憶する画像データベース６１と、登録する画像データを入力する登録端末６２と、この登録端末６２から入力された画像データを画像データベース６１に登録する画像データ蓄積部６３と、キーワード（印象ラベル）に基づいて画像データベース６１から画像データを検索する画像データ検索部６４と、から構成される。画像データ蓄積部６３は、登録端末６２から登録する画像データを受信すると、印象判定処理部１０に判定画像として渡して判定を行い、その結果として当該画像が持つ印象を印象ラベルとして受け取る。なお、印象判定処理部１０には、予め印象ラベル及び学習画像が登録され、上述の方法によりこれらの学習画像を用いて学習が行われて学習結果が記憶されているものとする。また、この印象判定処理部１０から返される印象ラベルは、強判定器の結果が最も大きい印象ラベルのみであっても良いし、強判定器の結果が所定の閾値以上のものであっても良い。また、印象ラベルのみ画像データ蓄積部６３に返しても良いし、強判定器の値も合わせて返しても良い。そして、画像データ蓄積部６３は、画像データと印象ラベルとを対応付けて画像データベース６１に記憶する。

一方、画像データ検索部６４は、外部の検索端末７０から、検索のためのキーワードとしての印象ラベルを受信すると、その印象ラベルをキーにして画像データベース６１を検索し、当該印象ラベルを有する画像データを取得して検察端末７０に検索結果として返すように構成されている。なおこのときも、上述の印象判定処理部１０による判定結果（強識別器の値）も合わせて画像データベース６１に登録されている場合には、その値も一緒に検索端末７０に返しても良いし、キーワードに対して複数の画像データが抽出された場合には、判定結果（強識別器の値）でソートして（例えば、判定結果の大きい順、すなわち、その印象ラベルの持つ印象を強く持っている順）に並べて検索端末７０に返すように構成しても良い。

以上のような画像印象判定装置１００（印象判定処理部１０）によれば、学習画像の印象を与えている部分領域と特徴量の部分ベクトルを学習によって特定し、それらの情報を用いて識別器を構築することができる。また、この識別器を用いることにより、例えば、印象ラベルを指定するだけで、所望の画像を検索することができる。

画像印象判定装置の構成を示すブロック図である。 判定部の構成を示すブロック図である。 学習画像記憶部のデータ構造を示すデータ構造図であって、（ａ）は学習画像記憶テーブルの構造を示し、（ｂ）は印象ラベル記憶テーブルの構造を示す。 上記判定部のうち、学習処理部における処理を示すフローチャートである。 上記学習処理において、弱識別器を構築する処理の詳細を示すフローチャートである。 上述の学習処理部における処理において、印象に影響を与える部分領域が特定される過程を示す説明図である。 学習結果記憶部における学習結果テーブルのデータ構造を示すデータ構造図である。 上記判定部のうち、評価処理部における処理を示すフローチャートである。 印象判定処理部を有する画像データベースの構成を示すブロック図である。

符号の説明

１ 処理装置（コンピュータ） ２ 記憶装置 ３ 入力装置
４ 出力装置 １０ 印象判定処理部 １１ 判定部
１４ 判定結果処理部 １００ 画像印象判定装置

Claims (8)

1. 印象判定処理部を有し、複数の印象ラベル、各々に前記印象ラベルの少なくとも１つが付加された複数の学習画像、前記学習画像の各々の特徴量、及び、学習結果を記憶する記憶装置にアクセス可能なコンピュータにより実行され、前記印象ラベル毎に、前記学習画像に基づいて当該印象ラベルに対する印象度合いの判定及び当該判定のための学習を行う印象判定処理方法であって、
   前記印象判定処理部により、前記記憶装置から前記印象ラベル、前記学習画像及び当該学習画像の特徴量を読み出す学習画像読出処理と、
   所定の回数実行される前記学習の各々において、前記印象判定処理部により、前記学習画像の各々を、同一の位置及び数の部分領域に分割し、前記部分領域毎に、前記学習画像の前記特徴量のうち、当該部分領域に対応する部分ベクトルを用いて、前記印象ラベルに対する印象を有するか否かの判定を行い、結果を数値として出力する弱識別器を構築し、さらに、全ての前記学習画像における当該部分領域に対応する前記部分ベクトルを前記弱識別器に入力して判定し、前記学習画像に付けられた前記印象ラベルと前記弱識別器の判定結果とが一致するか否かを検査して誤り率を算出し、当該誤り率が最も少ない部分領域の部分ベクトルに対応する前記弱識別器を当該学習における弱識別器として選択して、前記記憶装置に前記学習結果として記憶する弱識別器設定処理と、
   前記学習の各々において、前記印象判定処理部により、前記弱識別器設定処理で選択された前記弱識別器の前記誤り率から、全ての学習において設定された前記弱識別器を線形結合するための係数及び前記学習に用いられる学習用重みを算出する係数算出処理と、
   を有する印象判定処理方法。
2. 前記学習毎に実行される前記弱識別器設定処理は、
   前記部分領域毎に、
   判定しようとする印象ラベルが付加された前記学習画像である陽性サンプル、及び、前記陽性サンプル以外の陰性サンプルの特徴量の部分ベクトルから、前記陽性サンプル及び前記陰性サンプル毎に前記部分ベクトルの重み付き平均値を算出する処理と、
   前記学習画像の前記特徴量のうち、前記部分領域に対応する前記部分ベクトルと、前記陽性サンプル及び前記陰性サンプルの重み付き平均値の各々との距離を算出する処理と、
   前記距離に基づいて、前記弱識別器を構築する処理と、
   前記学習画像の前記特徴量のうち、前記部分領域に対応する前記部分ベクトルを前記弱識別器に入力し、前記学習画像の各々に付された前記印象ラベルと前記弱識別器の結果とが一致するか否かを検査する処理と、
   一致しなかった前記学習画像の前記学習用重みの総和から当該部分領域の前記部分ベクトルに対応する前記弱識別器の誤り率を算出する処理と、
   を有する請求項１に記載の印象判定処理方法。
3. 前記印象判定処理部により、評価画像の特徴量を算出する特徴量算出処理と、
   前記印象ラベル毎に、前記印象判定処理部により、前記記憶装置から前記学習結果を読み出して、前記学習で選択された前記弱識別器の各々に前記評価画像の前記特徴量のうち、当該弱識別器が対応する部分領域の部分ベクトルを入力して判定結果を取得し、前記判定結果及び前記係数から、前記評価画像の前記印象ラベルに対する前記印象度合いを算出する印象判定処理と、
   をさらに有する請求項１または２に記載の印象判定処理方法。
4. 前記印象判定処理は、
   前記学習毎の前記弱識別器の判定結果と前記重みとの積を算出し、全ての学習の前記積の総和として前記印象度合いを算出するように構成された請求項３に記載の印象判定処理方法。
5. 前記特徴量は、前記画像における領域の色に関するものである請求項１〜４いずれか一項に記載の印象判定処理方法。
6. 前記特徴量は、前記画像における領域のエッジに関するものである請求項１〜４いずれか一項に記載の印象判定処理方法。
7. 請求項１〜６いずれか一項に記載の印象判定処理方法をコンピュータに実行させるためのプログラム。
8. 複数の印象ラベル、各々に前記印象ラベルの少なくとも１つが付加された複数の学習画像、前記学習画像の各々の特徴量、及び、学習結果を記憶する記憶装置と、
   評価画像を入力する入力装置と、
   前記評価画像の判定結果が出力される出力装置と、
   各々に印象ラベルが設定され、各々が請求項１〜７いずれか一項に記載の印象判定処理方法を実行して前記評価画像の判定を行う複数の判定部、及び、前記判定部による判定結果を前記出力装置に出力する判定結果出力部を有する処理装置と、を有する画像印象判定装置。

Images