JP2014228995A - 画像特徴学習装置、画像特徴学習方法及びプログラム - Google Patents
画像特徴学習装置、画像特徴学習方法及びプログラム Download PDFInfo
- Publication number
- JP2014228995A JP2014228995A JP2013106950A JP2013106950A JP2014228995A JP 2014228995 A JP2014228995 A JP 2014228995A JP 2013106950 A JP2013106950 A JP 2013106950A JP 2013106950 A JP2013106950 A JP 2013106950A JP 2014228995 A JP2014228995 A JP 2014228995A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- image
- feature
- probability
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】ノイズに対するロバスト性を確保しつつ、学習時の計算量を増加させることなく分類性能を改善することが可能な画像特徴学習装置を提供する。【解決手段】画像特徴学習装置は、入力画像から特徴ベクトルを抽出する特徴抽出手段と、特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング手段と、特徴ベクトルの集合を量子化ベクトルで量子化して入力画像ごとのヒストグラムを生成するヒストグラム生成手段と、入力画像の属性を示す属性情報に基づいて、ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習手段と、を備える。【選択図】図1
Description
本発明は、画像から抽出した特徴量を統計的に学習する技術分野に関する。
この種の技術が、例えば非特許文献1及び特許文献1に開示されている。非特許文献1には、学習画像を入力として特徴ベクトルを出力する特徴抽出手段と、特徴ベクトルを入力として量子化ベクトルを出力する量子化手段と、量子化ベクトル及び特徴ベクトルを入力としてヒストグラムを出力するヒストグラム生成手段と、ヒストグラム及び教師情報を入力として学習結果を出力するSVM(Support Vector Machine)手段とを用いて、画像をカテゴリごとに分類する技術が開示されている。特許文献1には、文書データを入力として確率分布を出力する確率分布算出手段と、確率分布を入出力する確率分布記憶手段と、確率分布を入力として確率分布モデルを出力する確率分布モデル算出手段と、確率分布モデル記憶手段の確率分布モデルを逐次更新を行う確率分布モデル更新手段と、確率分布モデルを入力としてクラスタを出力するクラスタ決定手段とを用いて、文書データをカテゴリごとに分類する技術が開示されている。
八木康史他、「コンピュータビジョン最先端ガイド3」、アドコムメディア社、2010年10月8日
非特許文献1に記載の技術では、学習手段として2クラス分類を行うSVM手段を用いているため、2クラスを超える分類を行うためにはSVM手段を多段に接続する必要があり、学習時に計算コストが増大する傾向にあった。また、最適な識別を行うためには、学習画像のヒストグラム(多次元ベクトル)に関する2次計画問題を解く必要があり、学習画像数の増加とともに計算量が大幅に増大する傾向にあった。更に、非特許文献1に記載の技術では、SVM手段の追加学習(オンライン学習)への対応が困難であった。つまり、学習画像が新たに追加された場合は、以前の学習画像を含めて再度学習を実施しなければならず、学習画像を追加しながら効率良く分類性能を改善していくことが困難であった。
他方で、特許文献1に記載の技術では、学習手段として教師情報を用いないため、ノイズに影響されやすかった。
本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、ノイズに対するロバスト性を確保しつつ、学習時の計算量を増加させることなく分類性能を改善することが可能な画像特徴学習装置、画像特徴学習方法及びプログラムを提供することを目的とする。
請求項に記載の発明では、画像特徴学習装置は、入力画像から特徴ベクトルを抽出する特徴抽出手段と、前記特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング手段と、前記特徴ベクトルの集合を前記量子化ベクトルで量子化して前記入力画像ごとのヒストグラムを生成するヒストグラム生成手段と、前記入力画像の属性を示す属性情報に基づいて、前記ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習手段と、を備えることを特徴とする。
また、請求項に記載の発明では、画像特徴学習装置によって実行される画像特徴学習方法は、入力画像から特徴ベクトルを抽出する特徴抽出工程と、前記特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング工程と、前記特徴ベクトルの集合を前記量子化ベクトルで量子化して前記入力画像ごとのヒストグラムを生成するヒストグラム生成工程と、前記入力画像の属性を示す属性情報に基づいて、前記ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習工程と、を備えることを特徴とする。
また、請求項に記載の発明では、コンピュータを有する画像特徴学習装置によって実行されるプログラムは、前記コンピュータを、前記特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング手段、前記特徴ベクトルの集合を前記量子化ベクトルで量子化して前記入力画像ごとのヒストグラムを生成するヒストグラム生成手段、前記入力画像の属性を示す属性情報に基づいて、前記ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習手段、として機能させることを特徴とする。
本発明の1つの観点では、画像特徴学習装置は、入力画像から特徴ベクトルを抽出する特徴抽出手段と、前記特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング手段と、前記特徴ベクトルの集合を前記量子化ベクトルで量子化して前記入力画像ごとのヒストグラムを生成するヒストグラム生成手段と、前記入力画像の属性を示す属性情報に基づいて、前記ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習手段と、を備える。
上記の画像特徴学習装置では、特徴抽出手段は、1枚以上の画像(入力画像)が入力され、入力画像ごとに特徴ベクトルの集合を抽出し、クラスタリング手段は、全ての入力画像について特徴抽出手段によって抽出された特徴ベクトルの集合から、1以上の量子化ベクトル(クラスタ)を抽出し、ヒストグラム生成手段は、入力画像ごとに特徴ベクトルの集合を量子化ベクトルで量子化して、量子化ベクトルの出現頻度を示すヒストグラムを生成する。そして、学習手段は、入力画像についての属性情報に基づいて、全入力画像に関するヒストグラムの集合を統計的に学習して学習結果を求める。この場合、学習手段は、属性情報を教師情報として用いて、同一カテゴリ(類似の入力画像)ごとの平均的な確率ベクトル(量子化ベクトルの出現確率を要素とするベクトル)又は確率密度関数(確率ベクトルの分布)を、学習結果として求める。上記の画像特徴学習装置によれば、ノイズに対するロバスト性を確保しつつ、学習時の計算量を増加させることなく分類性能を改善することが可能となる。
上記の画像特徴学習装置の一態様では、前記学習手段は、前記ヒストグラムの確率モデルを生成し、前記確率モデル及び前記属性情報に基づいて、前記確率ベクトル又は前記確率密度分布を求める。
この態様では、学習手段は、学習画像ごとに、ヒストグラムから量子化ベクトルの出現確率を示す確率モデル(量子化ベクトルを確率変数とする確率分布)を生成し、確率モデル及び属性情報に基づいて学習結果を求める。好適には、学習手段は、確率モデルの集合をクラスタリングすることで確率ベクトル又は確率密度分布を求める。これにより、学習時の計算量を削減しつつ、効率良く分類性能の改善することができる。
上記の画像特徴学習装置の他の一態様では、前記学習手段は、初期状態ではクラスタ数を1とし、ヒストグラム空間上でデータ密度が高い箇所に順次クラスタを割り当てていく分岐型競合学習を行う。
この態様によれば、k−means法など他のクラスタリング手段で問題となる劣悪な局所解への収束を防ぐことができ、計算量を大幅に増加させることなく分類性能を改善することが可能となる。
本発明の他の観点では、画像特徴学習装置によって実行される画像特徴学習方法は、入力画像から特徴ベクトルを抽出する特徴抽出工程と、前記特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング工程と、前記特徴ベクトルの集合を前記量子化ベクトルで量子化して前記入力画像ごとのヒストグラムを生成するヒストグラム生成工程と、前記入力画像の属性を示す属性情報に基づいて、前記ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習工程と、を備える。
本発明の更に他の観点では、コンピュータを有する画像特徴学習装置によって実行されるプログラムは、前記コンピュータを、前記特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング手段、前記特徴ベクトルの集合を前記量子化ベクトルで量子化して前記入力画像ごとのヒストグラムを生成するヒストグラム生成手段、前記入力画像の属性を示す属性情報に基づいて、前記ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習手段、として機能させる。
以下、図面を参照して本発明の好適な実施例について説明する。
1.第1実施例
まず、本発明の第1実施例について説明する。
まず、本発明の第1実施例について説明する。
1−1.全体構成
図1は、第1実施例に係る画像特徴学習装置10aの概略構成を示すブロック図である。図1に示すように、第1実施例に係る画像特徴学習装置10aは、主に、特徴抽出手段1と、クラスタリング手段2と、ヒストグラム生成手段3と、確率モデル生成手段4と、競合学習手段5aと、を備える。例えば、画像特徴学習装置10aは、パーソナルコンピュータ内のCPU(Central Processing Unit)によって実現される。
図1は、第1実施例に係る画像特徴学習装置10aの概略構成を示すブロック図である。図1に示すように、第1実施例に係る画像特徴学習装置10aは、主に、特徴抽出手段1と、クラスタリング手段2と、ヒストグラム生成手段3と、確率モデル生成手段4と、競合学習手段5aと、を備える。例えば、画像特徴学習装置10aは、パーソナルコンピュータ内のCPU(Central Processing Unit)によって実現される。
特徴抽出手段1は、学習画像が入力されて特徴ベクトルを出力する。具体的には、特徴抽出手段1は、学習画像ごとに特徴ベクトルの集合を抽出する。例えば、特徴抽出手段1は、SIFT法(Scale Invariant Feature Transform)やHOG法(Histograms Of Gradient)などを用いて、特徴ベクトルを抽出する。なお、学習画像は、任意の階調値で表現された画素からなる画像であり、本発明における「入力画像」の一例に相当する。特徴抽出手段1には、そのような学習画像が1枚以上入力される。また、特徴ベクトルは、多次元のベクトル構造をもつ情報である。
クラスタリング手段2は、特徴抽出手段1で抽出された特徴ベクトルが入力されて量子化ベクトルを出力する。具体的には、クラスタリング手段2は、全ての学習画像について特徴抽出手段1によって抽出された特徴ベクトルの集合から、1以上の量子化ベクトル(クラスタ)を抽出する。つまり、クラスタリング手段2は、特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出する。例えば、クラスタリング手段2は、k−means法(K平均法)などを用いて、量子化ベクトルを抽出する。なお、量子化ベクトルは、多次元のベクトル構造をもつ情報である。
ヒストグラム生成手段3は、特徴抽出手段1で抽出された特徴ベクトル及びクラスタリング手段2で抽出された量子化ベクトルが入力されてヒストグラムを出力する。具体的には、ヒストグラム生成手段3は、学習画像ごとに特徴ベクトルの集合を量子化ベクトルで量子化して、量子化ベクトルの出現頻度を示すヒストグラムを生成する。つまり、ヒストグラム生成手段3は、学習画像ごとのヒストグラムを生成する。例えば、ヒストグラム生成手段3は、幾何学距離基準やマハラビノス距離基準などを用いて、ヒストグラムを生成する。なお、ヒストグラムは、多次元のベクトル構造をもつ情報である。
確率モデル生成手段4は、ヒストグラム生成手段3で生成されたヒストグラムが入力されて確率モデルを出力する。具体的には、確率モデル生成手段4は、学習画像ごとに、ヒストグラムから量子化ベクトルの出現確率を示す確率モデルを生成する。例えば、確率モデル生成手段4は、正規化法やGMM法(Gaussian Mixture Model)などを用いて、確率モデルを生成する。なお、確率モデルは、量子化ベクトルを確率変数とする確率分布である。
競合学習手段5aは、確率モデル生成手段4で生成された確率モデルが入力されると共に、教師情報が入力されて、学習結果を出力する。具体的には、競合学習手段5aは、学習画像ごとの教師情報及び確率モデルに基づいて、全学習画像に関するヒストグラムの集合を統計的に学習して学習結果を求める。この場合、競合学習手段5aは、学習結果として、同一カテゴリ(類似の学習画像)ごとの平均的な確率ベクトル(量子化ベクトルの出現確率を要素とするベクトル)又は確率密度関数(確率ベクトルの分布)を求める。なお、教師情報は、対応する学習画像の属性(所属するカテゴリなど)を示す情報であり、本発明における「属性情報」の一例に相当する。教師情報は、画像特徴学習装置10aの外部から与えられるものである。例えば、教師情報は、予め生成されて所定の記憶手段に記憶されている。
なお、確率モデル生成手段4及び競合学習手段5aは、本発明における「学習手段」の一例に相当する。
1−2.競合学習手段の動作
次に、図2を参照して、上記した競合学習手段5aの具体的な動作について説明する。図2は、第1実施例に係る競合学習手段5aによって実行されるフローチャートを示している。
次に、図2を参照して、上記した競合学習手段5aの具体的な動作について説明する。図2は、第1実施例に係る競合学習手段5aによって実行されるフローチャートを示している。
まず、ステップS10では、競合学習手段5aは、教師情報に基づいて、各クラスタ(同種の画像の集合を意味する)に属する学習画像の確率モデルWkをランダムに1つずつ選択する。ここで、「k」は1〜Kまでの自然数の集合に属するクラスタ番号を示しており、「K」はクラスタ総数を示している。ステップS10の後、処理はステップS11に進む。
ここで、図3を参照して、ステップS10の処理の具体例について説明する。図3(a)は、クラスタ1「犬」の画像集合を模式的に示しており、図3(b)は、クラスタ2「人」の画像集合を模式的に示しており、図3(c)は、クラスタK「車」の画像集合を模式的に示しており、図3(d)は、量子化ベクトル(特徴量)の出現確率を示す確率モデルWの一例を示している。例えば、ステップS10では、競合学習手段5aは、「犬」といった教師情報に基づいて、クラスタ1「犬」の画像集合からランダムに1つの確率モデルW1を選択し、「人」といった教師情報に基づいて、クラスタ2「人」の画像集合からランダムに1つの確率モデルW2を選択するといった処理を、全てのクラスタのそれぞれに対して行う。
図2に戻って、ステップS11以降の処理を説明する。ステップS11では、競合学習手段5aは、各学習画像iの確率モデルPiと全クラスタの確率モデルWkとの類似度を評価し、最も近いクラスタ番号c(確率モデルWc)を確定する。ここで、「i」は1〜Nまでの自然数の集合に属する学習画像番号を示しており、「N」は全学習画像数を示している。また、確率モデルPiは、確率モデルW1、W2、…、WK以外の各学習画像の確率モデルである。例えば、競合学習手段5aは、幾何学的距離最小基準や、クロスエントロピー最小基準(Kullback−Leibler情報量、Jensen−Shannonダイバージェンス、skewダイバージェンスなど)を用いて、類似度の評価を行う。幾何学的距離最小基準を用いる場合には、競合学習手段5aは、ベクトルPiとベクトルWkとのL2ノルムを示す「(Pi−Wk)2」が最小となる確率モデルWkを、確率モデルWcとして決定する。ステップS11の後、処理はステップS12に進む。
ステップS12では、競合学習手段5aは、学習画像i(確率モデルPi)の教師情報と、ステップS11で確定した確率モデルWcの教師情報とが一致するか否かを判定する。確率モデルPiの教師情報と確率モデルWcの教師情報とが一致する場合(ステップS12:Yes)、競合学習手段5aは、学習画像iを正しく分類可能なサンプルとみなして、確率モデルPiで確率モデルWcを重み付き更新する(ステップS13)。例えば、競合学習手段5aは、学習率γ(0<γ<1)を用いて表された式(1)に従って、確率モデルWcを重み付き更新する。そして、処理はステップS14に進む。
Wc←(1−γ)Wc+γPi 式(1)
他方で、確率モデルPiの教師情報と確率モデルWcの教師情報とが一致しない場合(ステップS12:No)、処理はステップS14に進む。この場合には、競合学習手段5aは、学習画像iを正しく分類できないサンプル(ノイズ)とみなして、確率モデルWcを更新しない。
他方で、確率モデルPiの教師情報と確率モデルWcの教師情報とが一致しない場合(ステップS12:No)、処理はステップS14に進む。この場合には、競合学習手段5aは、学習画像iを正しく分類できないサンプル(ノイズ)とみなして、確率モデルWcを更新しない。
ステップS14では、競合学習手段5aは、全学習画像の評価が完了したか否かを判定する。全学習画像の評価が完了した場合(ステップS14:Yes)、処理は終了する。この場合、最後に得られた確率モデルWcが学習結果に相当するものとなる。他方で、全学習画像の評価が完了していない場合(ステップS14:No)、処理はステップS11に戻る。この場合には、競合学習手段5aは、ステップS11以降の処理を再度行う。こうして、競合学習手段5aは、全学習画像の評価が完了するまで、ステップS11〜S13の処理を繰り返し行う。
1−3.第1実施例の作用・効果
以下では、上記した第1実施例の作用・効果について説明する。ここでは、第1実施例と前述した非特許文献1及び特許文献1に記載の技術とを比較しながら、第1実施例の作用・効果について説明する。
以下では、上記した第1実施例の作用・効果について説明する。ここでは、第1実施例と前述した非特許文献1及び特許文献1に記載の技術とを比較しながら、第1実施例の作用・効果について説明する。
1−3−1.非特許文献1との対比
非特許文献1に記載の技術では、学習画像を入力として特徴ベクトルを出力する特徴抽出手段と、特徴ベクトルを入力として量子化ベクトルを出力する量子化手段と、量子化ベクトルおよび特徴ベクトルを入力としてヒストグラムを出力するヒストグラム生成手段と、ヒストグラムおよび教師情報を入力として学習結果を出力するSVM(Support Vector Machine)手段とを用いて、画像をカテゴリごとに分類する。SVM手段は、教師情報を利用してヒストグラムの分布を2つのカテゴリに分離する学習手段である。
非特許文献1に記載の技術では、学習画像を入力として特徴ベクトルを出力する特徴抽出手段と、特徴ベクトルを入力として量子化ベクトルを出力する量子化手段と、量子化ベクトルおよび特徴ベクトルを入力としてヒストグラムを出力するヒストグラム生成手段と、ヒストグラムおよび教師情報を入力として学習結果を出力するSVM(Support Vector Machine)手段とを用いて、画像をカテゴリごとに分類する。SVM手段は、教師情報を利用してヒストグラムの分布を2つのカテゴリに分離する学習手段である。
このような非特許文献1に記載の技術では、学習手段として2クラス分類を行うSVM手段を用いているため、2クラスを超える分類を行うためにはSVM手段を多段に接続する必要があり、学習時に計算コストが増大してしまう。また、最適な(最大マージンで)識別を行うためには、学習画像のヒストグラム(多次元ベクトル)に関する2次計画問題を解く必要があり、全学習画像数Nの増加とともに計算量が最悪Nの3乗のオーダーで急速に増大してしまう。これに対して、上記した第1実施例では、クラスタの確率モデルWkを学習画像の確率モデルPiで遂次重み付け更新していくため、学習時の計算量は全学習画像数Nとクラスタ総数数Kとの積のオーダーに収まる。
更に、非特許文献1に記載の技術では、SVM手段の追加学習(オンライン学習)への対応が困難である。つまり、学習画像が新たに追加された場合は、以前の学習画像を含めて再度学習を実施しなければならないため、学習画像を追加しながら効率良く分類性能を改善していくことが困難である。これに対して、上記した第1実施例では、追加された学習画像の確率モデルPiでクラスタの確率モデルWkを重み付け更新するだけで良く、学習画像を追加しながら効率良く分類性能の改善していくことが容易である。
1−3−2.特許文献1との対比
次に、特許文献1に記載の技術では、文書データを入力として確率分布を出力する確率分布算出手段と、確率分布を入出力する確率分布記憶手段と、確率分布を入力として確率分布モデルを出力する確率分布モデル算出手段と、確率分布モデル記憶手段の確率分布モデルを逐次更新を行う確率分布モデル更新手段と、確率分布モデルを入力としてクラスタを出力するクラスタ決定手段とを用いて、文書データをカテゴリごとに分類する。確率分布モデル更新手段は、教師情報を用いずに(無条件で)、以下の式(2)に従って確率分布モデルを更新する。
次に、特許文献1に記載の技術では、文書データを入力として確率分布を出力する確率分布算出手段と、確率分布を入出力する確率分布記憶手段と、確率分布を入力として確率分布モデルを出力する確率分布モデル算出手段と、確率分布モデル記憶手段の確率分布モデルを逐次更新を行う確率分布モデル更新手段と、確率分布モデルを入力としてクラスタを出力するクラスタ決定手段とを用いて、文書データをカテゴリごとに分類する。確率分布モデル更新手段は、教師情報を用いずに(無条件で)、以下の式(2)に従って確率分布モデルを更新する。
qm k=(1−γ)qm k+γpm 式(2)
式(2)において、「q」はクラスタの確率モデル(第1実施例で示した確率モデルWkに相当する)であり、「p」は文書データの確率モデル(第1実施例で示した確率モデルPiに相当する)、「m」は確率変数の要素(単語)であり、「k」はクラスタ番号であり、「γ」は学習率である。
式(2)において、「q」はクラスタの確率モデル(第1実施例で示した確率モデルWkに相当する)であり、「p」は文書データの確率モデル(第1実施例で示した確率モデルPiに相当する)、「m」は確率変数の要素(単語)であり、「k」はクラスタ番号であり、「γ」は学習率である。
このような特許文献1に記載の技術では、学習手段として教師情報を用いないため、ノイズに影響されやすい。つまり、学習画像(確率モデルPi)をクラスタ(確率モデルWk)に分類する際に、確率モデルPiと確率モデルWkとの類似性(幾何学的距離最小基準やクロスエントロピー最小基準)を評価した結果のみに基づいて行うので、たとえ類似と判定されたクラスタが学習画像の属性と異なっていても(判定が誤っていても)、式(2)に従って確率モデルPiで確率モデルWkを更新してしまうためである。この場合、判定を誤った確率モデルPiは確率モデルWkに対してノイズとなり、その影響度は学習率γに依存する。
これに対して、上記した第1実施例では、類似性の判定結果だけでなく、教師情報(学習画像の正しい属性を示す情報)を用いることにより、判定を誤った確率モデルPiで確率モデルWkを更新してしまうことを抑制している。そのため、ノイズに対するロバスト性を容易に確保することができる。
2.第2実施例
次に、本発明の第2実施例について説明する。なお、以下では、第1実施例と異なる構成について主に説明を行い、第1実施例と同様の構成については適宜説明を省略する。つまり、特に説明しない構成要素や動作や処理などについては、第1実施例と同様であるものとする。
次に、本発明の第2実施例について説明する。なお、以下では、第1実施例と異なる構成について主に説明を行い、第1実施例と同様の構成については適宜説明を省略する。つまり、特に説明しない構成要素や動作や処理などについては、第1実施例と同様であるものとする。
2−1.全体構成
図4は、第2実施例に係る画像特徴学習装置10bの概略構成を示すブロック図である。図4に示すように、第2実施例に係る画像特徴学習装置10bは、競合学習手段5aの代わりに、分岐型競合学習手段5bを有する点で、第1実施例に係る画像特徴学習装置10aと構成が異なる。例えば、画像特徴学習装置10bは、パーソナルコンピュータ内のCPUによって実現される。
図4は、第2実施例に係る画像特徴学習装置10bの概略構成を示すブロック図である。図4に示すように、第2実施例に係る画像特徴学習装置10bは、競合学習手段5aの代わりに、分岐型競合学習手段5bを有する点で、第1実施例に係る画像特徴学習装置10aと構成が異なる。例えば、画像特徴学習装置10bは、パーソナルコンピュータ内のCPUによって実現される。
分岐型競合学習手段5bは、確率モデル生成手段4で生成された確率モデルが入力されると共に、教師情報が入力されて、確率ベクトル又は確率密度関数を学習結果として出力する。この場合、分岐型競合学習手段5bは、競合学習手段5aと異なり、分岐型競合学習を行う。具体的には、分岐型競合学習手段5bは、学習画像の教師情報による既知のクラスタ総数を使用せずに、初期状態においてクラスタ総数Kを「1」とし、ヒストグラム空間上でデータ密度の高いところに順次クラスタを配置(分岐)させていく。そして、分岐型競合学習手段5bは、学習画像の教師情報で決まる既知のクラスタ数Kに達した後に、競合学習手段5aと同様の競合学習を行う。
2−2.分岐型競合学習手段の動作
次に、図5を参照して、上記した分岐型競合学習手段5bの具体的な動作について説明する。図5は、第2実施例に係る分岐型競合学習手段5bによって実行されるフローチャートを示している。
次に、図5を参照して、上記した分岐型競合学習手段5bの具体的な動作について説明する。図5は、第2実施例に係る分岐型競合学習手段5bによって実行されるフローチャートを示している。
まず、ステップS20では、分岐型競合学習手段5bは、初期状態として、学習画像i(確率モデルPi)をランダムに1つ選択して、これを1番目のクラスタ(確率モデルW1)とし、現在のクラスタ数uを「1」に設定すると共に(u=1)、確率モデルW1の勝数vcを「0」に設定する(v1=0)。そして、処理はステップS21に進む。
ステップS21では、分岐型競合学習手段5bは、学習画像i(確率モデルPi)をランダムに1つ選択し、その確率モデルPiと全クラスタの確率モデルWk(初期状態ではW1のみ)との類似度を評価し、最も近いクラスタ番号c(確率モデルWc)を確定する。類似度を評価する手法は、第1実施例で示したものと同様である。ステップS21の後、処理はステップS22に進む。
ステップS22では、分岐型競合学習手段5bは、学習画像i(確率モデルPi)の教師情報と、ステップS21で確定した確率モデルWcの教師情報とが一致するか否かを判定する。確率モデルPiの教師情報と確率モデルWcの教師情報とが一致する場合(ステップS22:Yes)、分岐型競合学習手段5bは、学習画像iを正しく分類可能なサンプルとみなして、確率モデルPiで確率モデルWcを重み付き更新する(ステップS23)。例えば、分岐型競合学習手段5bは、上記した式(1)に従って、確率モデルWcを重み付き更新する。そして、処理はステップS24に進む。他方で、確率モデルPiの教師情報と確率モデルWcの教師情報とが一致しない場合(ステップS22:No)、処理はステップS28に進む。この場合には、分岐型競合学習手段5bは、学習画像iを正しく分類できないサンプル(ノイズ)とみなして、確率モデルWcを更新しない。
ステップS24では、分岐型競合学習手段5bは、現在のクラスタ数uがクラスタ総数Kに到達したか否かを判定する。現在のクラスタ数uがクラスタ総数Kに到達していない場合(ステップS24:No)、処理はステップS25に進む。ステップS25では、分岐型競合学習手段5bは、クラスタcの勝数vcをインクリメントする(vc←vc+1)。そして、分岐型競合学習手段5bは、勝数vcが所定値Nvに到達したか否かを判定する(ステップS26)。勝数vcが所定値Nvに到達した場合(ステップS26:Yes)、分岐型競合学習手段5bは、現在のクラスタ数uをインクリメントし(u←u+1)、クラスタuの勝数vuとクラスタcの勝数vcとを0に初期化することで、クラスタを分岐する(ステップS27)。そして、処理はステップS28に進む。
他方で、現在のクラスタ数uがクラスタ総数Kに到達した場合(ステップS24:Yes)、及び、勝数vcが所定値Nvに到達していない場合(ステップS26:No)、処理はステップS28に進む。
ステップS28では、分岐型競合学習手段5bは、ステップS21〜S27の繰り返し実行回数を示す評価回数rをインクリメントする(r←r+1)。そして、分岐型競合学習手段5bは、評価回数rが所定値Nrに到達し、且つ、全学習画像のクラスタ番号が確定したか否かを判定する(ステップS29)。評価回数rが所定値Nrに到達していない場合、若しくは全学習画像のクラスタ番号が確定していない場合には(ステップS29:No)、処理はステップS21に戻る。この場合には、分岐型競合学習手段5bは、ステップS21以降の処理を再度行う。例えば、現在のクラスタ数uがクラスタ総数Kに到達している場合には(ステップS24:Yes)、分岐型競合学習手段5bは、残りの学習サンプルのクラスタ番号が確定するまで、ステップS21〜S23の処理を繰り返す。また、勝数vcが所定値Nvに到達していない場合には(ステップS26:No)、分岐型競合学習手段5bは、勝数vcが所定値Nvに到達するまで、ステップS21〜S25の処理を繰り返す。
他方で、評価回数rが所定値Nrに到達し、且つ、全学習画像のクラスタ番号が確定した場合(ステップS29:Yes)、処理は終了する。この場合、最後に得られた確率モデルWcが学習結果に相当するものとなる。
2−3.第2実施例の作用・効果
次に、上記した第2実施例の作用・効果について説明する。ここでは、第1実施例と異なる作用・効果のみを説明する。
次に、上記した第2実施例の作用・効果について説明する。ここでは、第1実施例と異なる作用・効果のみを説明する。
第2実施例では、分岐型競合学習手段5bは、学習画像の教師情報による既知のクラスタ総数を使用せずに、初期状態においてクラスタ総数Kを1とし、ヒストグラム空間上でデータ密度の高いところに順次クラスタを配置(分岐)させていき、学習画像の教師情報で決まる既知のクラスタ数Kに達した後は第1実施例と同様の競合学習を行う。これにより、k−means法など他のクラスタリング手段で問題となる劣悪な局所解への収束を防ぐことができ、計算量を大幅に増加させることなく分類性能を改善することが可能となる。
3.変形例
以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。
以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。
3−1.変形例1
上記した第1及び第2実施例では、式(1)を用いて確率モデルWcを重み付き更新していたが、変形例1では、式(1)の代わりに、以下の式(3)を用いて確率モデルWcを重み付き更新する。
上記した第1及び第2実施例では、式(1)を用いて確率モデルWcを重み付き更新していたが、変形例1では、式(1)の代わりに、以下の式(3)を用いて確率モデルWcを重み付き更新する。
Wc←(1−S・γ)Wc+S・Pi 式(3)
式(3)において、「S」は、学習画像(確率モデルPi)の教師情報(学習画像が属する正しいクラスタ番号)と、当該確率モデルPiと類似と判定され重み付け更新の対象となったクラスタ(確率モデルWc)のクラスタ番号cとが等しい場合に「1」に設定され、そうでない場合に「0」に設定される。つまり、「S」は、類似性が正しく判定された場合に「1」に設定され、類似性が正しく判定されなかった場合に「0」に設定される。
式(3)において、「S」は、学習画像(確率モデルPi)の教師情報(学習画像が属する正しいクラスタ番号)と、当該確率モデルPiと類似と判定され重み付け更新の対象となったクラスタ(確率モデルWc)のクラスタ番号cとが等しい場合に「1」に設定され、そうでない場合に「0」に設定される。つまり、「S」は、類似性が正しく判定された場合に「1」に設定され、類似性が正しく判定されなかった場合に「0」に設定される。
このような式(3)を第1実施例に係る競合学習手段5aに適用することで、図2に示したステップS12とステップS13とを統合することができ、処理を簡素化することができる。同様に、第2実施例に係る分岐型競合学習手段5bに式(3)を適用することで、図5に示したステップS22とステップS23とを統合することができ、処理を簡素化することができる。
3−2.変形例2
変形例2では、画像特徴学習装置は、主成分分析を行って次元数を削減したパラメータを用いる。以下では、変形例2の具体例(第1乃至第3の例)を提示する。
変形例2では、画像特徴学習装置は、主成分分析を行って次元数を削減したパラメータを用いる。以下では、変形例2の具体例(第1乃至第3の例)を提示する。
図6は、変形例2の第1の例に係る画像特徴学習装置10cの概略構成を示すブロック図である。図6に示すように、当該画像特徴学習装置10cは、特徴抽出手段1とクラスタリング手段2との間に主成分分析手段6cが設けられている点で、第1実施例に係る画像特徴学習装置10aと構成が異なる。主成分分析手段6cは、特徴抽出手段1で抽出された特徴ベクトルを主成分分析により変換して、異なる特徴ベクトル空間に写像した特徴ベクトルをクラスタリング手段2に出力する。この場合、主成分分析手段6cは、特徴抽出手段1で抽出された多次元の特徴ベクトル集合に対して主成分分析を行うことで、その次元数を削減する。
図7は、変形例2の第2の例に係る画像特徴学習装置10dの概略構成を示すブロック図である。図7に示すように、当該画像特徴学習装置10dは、ヒストグラム生成手段3と確率モデル生成手段4との間に主成分分析手段6dが設けられている点で、第1実施例に係る画像特徴学習装置10aと構成が異なる。主成分分析手段6dは、ヒストグラム生成手段3で生成されたヒストグラムを主成分分析により変換して、異なるヒストグラムベクトル空間に写像したヒストグラムを確率モデル生成手段4に出力する。この場合、主成分分析手段6dは、ヒストグラム生成手段3で生成された多次元のヒストグラム集合に対して主成分分析を行うことで、その次元数を削減する。
図8は、変形例2の第3の例に係る画像特徴学習装置10eの概略構成を示すブロック図である。図8に示すように、当該画像特徴学習装置10eは、確率モデル生成手段4と競合学習手段5aとの間に主成分分析手段6eが設けられている点で、第1実施例に係る画像特徴学習装置10aと構成が異なる。主成分分析手段6eは、確率モデル生成手段4で生成された確率モデルを主成分分析により変換して、異なる確率ベクトル空間に写像した確率モデルを競合学習手段5aに出力する。この場合、主成分分析手段6eは、確率モデル生成手段4で生成された多次元の確率モデル集合に対して主成分分析を行うことで、その次元数を削減する。
以上説明した変形例2によれば、主成分分析によって次元数を削減することで、当該主成分分析の以降の処理において、計算量や記憶容量を削減することができる。
なお、上記した変形例2の第1乃至第3の例に係る画像特徴学習装置10c、10d、10eでは、第1実施例に係る競合学習手段5aが適用されていたが、競合学習手段5aの代わりに、第2実施例に係る分岐型競合学習手段5bを適用しても良い。
3−3.変形例3
変形例3では、画像特徴学習装置は、特徴抽出手段1で抽出された特徴ベクトルから確率モデルを直接生成する。
変形例3では、画像特徴学習装置は、特徴抽出手段1で抽出された特徴ベクトルから確率モデルを直接生成する。
図9は、変形例3に係る画像特徴学習装置10fの概略構成を示すブロック図である。図9に示すように、変形例3に係る画像特徴学習装置10fは、クラスタリング手段2及びヒストグラム生成手段3を具備せずに、特徴抽出手段1、確率モデル生成手段4及び競合学習手段5aのみを具備する点で、第1実施例に係る画像特徴学習装置10aと構成が異なる。
変形例3に係る画像特徴学習装置10fでは、確率モデル生成手段4には、特徴抽出手段1で抽出された特徴ベクトルがそのまま入力される、つまりクラスタリング手段2及びヒストグラム生成手段3による処理が施されていない特徴ベクトルが入力される。この場合、確率モデル生成手段4は、特徴抽出手段1で抽出された特徴ベクトルから特徴ベクトルごとの確率モデルを生成し、競合学習手段5aは、そのように生成された確率モデルに基づいて学習結果を求める。
以上説明した変形例3によれば、画像特徴学習装置10fの構成を簡素化することができる。
なお、上記した変形例3に係る画像特徴学習装置10fでは、第1実施例に係る競合学習手段5aが適用されていたが、競合学習手段5aの代わりに、第2実施例に係る分岐型競合学習手段5bを適用しても良い。
4.適用例
本発明は、種々の画像認識技術(特に画像から特徴を抽出して分類する技術)に適用可能である。本発明をソフトウェアやハードウェアで実現することにより、例えば車載関連機器や、道路交通情報システム(ITS)や、医療診断や、オーディオビジュアルや、家電や、ゲームや、FAや、セキュリティや、ディジタルサイネージや、リモートセンシングや、バイオメトリクスや、トレーサビリティや、コンピュータシステムなどへの応用が可能である。
本発明は、種々の画像認識技術(特に画像から特徴を抽出して分類する技術)に適用可能である。本発明をソフトウェアやハードウェアで実現することにより、例えば車載関連機器や、道路交通情報システム(ITS)や、医療診断や、オーディオビジュアルや、家電や、ゲームや、FAや、セキュリティや、ディジタルサイネージや、リモートセンシングや、バイオメトリクスや、トレーサビリティや、コンピュータシステムなどへの応用が可能である。
1 特徴抽出手段
2 クラスタリング手段
3 ヒストグラム生成手段
4 確率モデル生成手段
5a 競合学習手段
5b 分岐型競合学習手段
10a、10b 画像特徴学習装置
2 クラスタリング手段
3 ヒストグラム生成手段
4 確率モデル生成手段
5a 競合学習手段
5b 分岐型競合学習手段
10a、10b 画像特徴学習装置
Claims (6)
- 入力画像から特徴ベクトルを抽出する特徴抽出手段と、
前記特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング手段と、
前記特徴ベクトルの集合を前記量子化ベクトルで量子化して前記入力画像ごとのヒストグラムを生成するヒストグラム生成手段と、
前記入力画像の属性を示す属性情報に基づいて、前記ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習手段と、
を備えることを特徴とする画像特徴学習装置。 - 前記学習手段は、前記ヒストグラムの確率モデルを生成し、前記確率モデル及び前記属性情報に基づいて、前記確率ベクトル又は前記確率密度分布を求めることを特徴とする請求項1に記載の画像特徴学習装置。
- 前記学習手段は、前記確率モデルの集合をクラスタリングすることで前記確率ベクトル又は前記確率密度分布を求めることを特徴とする請求項2に記載の画像特徴学習装置。
- 前記学習手段は、初期状態ではクラスタ数を1とし、ヒストグラム空間上でデータ密度が高い箇所に順次クラスタを割り当てていく分岐型競合学習を行うことを特徴とする請求項2又は3に記載の画像特徴学習装置。
- 画像特徴学習装置によって実行される画像特徴学習方法であって、
入力画像から特徴ベクトルを抽出する特徴抽出工程と、
前記特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング工程と、
前記特徴ベクトルの集合を前記量子化ベクトルで量子化して前記入力画像ごとのヒストグラムを生成するヒストグラム生成工程と、
前記入力画像の属性を示す属性情報に基づいて、前記ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習工程と、
を備えることを特徴とする画像特徴学習方法。 - コンピュータを有する画像特徴学習装置によって実行されるプログラムであって、
前記コンピュータを、
前記特徴ベクトルの集合をクラスタリングして量子化ベクトルを抽出するクラスタリング手段、
前記特徴ベクトルの集合を前記量子化ベクトルで量子化して前記入力画像ごとのヒストグラムを生成するヒストグラム生成手段、
前記入力画像の属性を示す属性情報に基づいて、前記ヒストグラムの集合を統計的に学習し、確率ベクトル又は確率密度分布を求める学習手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013106950A JP2014228995A (ja) | 2013-05-21 | 2013-05-21 | 画像特徴学習装置、画像特徴学習方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013106950A JP2014228995A (ja) | 2013-05-21 | 2013-05-21 | 画像特徴学習装置、画像特徴学習方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014228995A true JP2014228995A (ja) | 2014-12-08 |
Family
ID=52128807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013106950A Pending JP2014228995A (ja) | 2013-05-21 | 2013-05-21 | 画像特徴学習装置、画像特徴学習方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014228995A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019035364A1 (ja) * | 2017-08-16 | 2019-02-21 | ソニー株式会社 | プログラム、情報処理方法、および情報処理装置 |
JP6477943B1 (ja) * | 2018-02-27 | 2019-03-06 | オムロン株式会社 | メタデータ生成装置、メタデータ生成方法及びプログラム |
JP6485567B1 (ja) * | 2018-02-27 | 2019-03-20 | オムロン株式会社 | 適合性判定装置、適合性判定方法及びプログラム |
JP2019092694A (ja) * | 2017-11-21 | 2019-06-20 | 日本メナード化粧品株式会社 | キメ評価装置、キメ評価方法 |
JP2021047653A (ja) * | 2019-09-18 | 2021-03-25 | 富士ゼロックス株式会社 | 学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラム |
WO2022195690A1 (ja) * | 2021-03-15 | 2022-09-22 | 日本電信電話株式会社 | ログデータ解析装置、ログデータ解析方法及びプログラム |
-
2013
- 2013-05-21 JP JP2013106950A patent/JP2014228995A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7207309B2 (ja) | 2017-08-16 | 2023-01-18 | ソニーグループ株式会社 | プログラム、情報処理方法、および情報処理装置 |
JPWO2019035364A1 (ja) * | 2017-08-16 | 2020-09-03 | ソニー株式会社 | プログラム、情報処理方法、および情報処理装置 |
US11605002B2 (en) | 2017-08-16 | 2023-03-14 | Sony Corporation | Program, information processing method, and information processing apparatus |
WO2019035364A1 (ja) * | 2017-08-16 | 2019-02-21 | ソニー株式会社 | プログラム、情報処理方法、および情報処理装置 |
JP7061347B2 (ja) | 2017-11-21 | 2022-04-28 | 日本メナード化粧品株式会社 | キメ評価装置、キメ評価方法 |
JP2019092694A (ja) * | 2017-11-21 | 2019-06-20 | 日本メナード化粧品株式会社 | キメ評価装置、キメ評価方法 |
JP2019149670A (ja) * | 2018-02-27 | 2019-09-05 | オムロン株式会社 | メタデータ生成装置、メタデータ生成方法及びプログラム |
JP6477943B1 (ja) * | 2018-02-27 | 2019-03-06 | オムロン株式会社 | メタデータ生成装置、メタデータ生成方法及びプログラム |
WO2019167368A1 (ja) * | 2018-02-27 | 2019-09-06 | オムロン株式会社 | 適合性判定装置、適合性判定方法及びプログラム |
JP2019148974A (ja) * | 2018-02-27 | 2019-09-05 | オムロン株式会社 | 適合性判定装置、適合性判定方法及びプログラム |
WO2019167367A1 (ja) * | 2018-02-27 | 2019-09-06 | オムロン株式会社 | メタデータ生成装置、メタデータ生成方法及びプログラム |
JP6485567B1 (ja) * | 2018-02-27 | 2019-03-20 | オムロン株式会社 | 適合性判定装置、適合性判定方法及びプログラム |
JP2021047653A (ja) * | 2019-09-18 | 2021-03-25 | 富士ゼロックス株式会社 | 学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラム |
US11836581B2 (en) | 2019-09-18 | 2023-12-05 | Fujifilm Business Innovation Corp. | Learning model generation apparatus, image correction apparatus, and non-transitory computer readable medium for generating learning model based on classified image information |
JP7408973B2 (ja) | 2019-09-18 | 2024-01-09 | 富士フイルムビジネスイノベーション株式会社 | 学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラム |
WO2022195690A1 (ja) * | 2021-03-15 | 2022-09-22 | 日本電信電話株式会社 | ログデータ解析装置、ログデータ解析方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xiao et al. | Attentional factorization machines: Learning the weight of feature interactions via attention networks | |
US10474929B2 (en) | Cyclic generative adversarial network for unsupervised cross-domain image generation | |
US11023806B2 (en) | Learning apparatus, identifying apparatus, learning and identifying system, and recording medium | |
US10558885B2 (en) | Determination method and recording medium | |
US9633044B2 (en) | Apparatus and method for recognizing image, and method for generating morphable face images from original image | |
JP5214760B2 (ja) | 学習装置、方法及びプログラム | |
CN106897746B (zh) | 数据分类模型训练方法和装置 | |
CN108108662B (zh) | 深度神经网络识别模型及识别方法 | |
US9563822B2 (en) | Learning apparatus, density measuring apparatus, learning method, computer program product, and density measuring system | |
JP2019509551A (ja) | Nペア損失による距離計量学習の改善 | |
JP2014228995A (ja) | 画像特徴学習装置、画像特徴学習方法及びプログラム | |
CN107004115B (zh) | 用于人脸识别的方法和系统 | |
CN112949693B (zh) | 图像分类模型的训练方法、图像分类方法、装置和设备 | |
Xiang et al. | Towards interpretable skin lesion classification with deep learning models | |
US20160323281A1 (en) | Filtering Content In An Online System Based On Text And Image Signals Extracted From The Content | |
Romero et al. | Meta-parameter free unsupervised sparse feature learning | |
CN107403186B (zh) | 类估计设备和类估计方法 | |
CN116868206A (zh) | 跨域自适应学习 | |
US9058748B2 (en) | Classifying training method and apparatus using training samples selected at random and categories | |
US20130142420A1 (en) | Image recognition information attaching apparatus, image recognition information attaching method, and non-transitory computer readable medium | |
CN111046904A (zh) | 一种图像描述方法、图像描述装置及计算机存储介质 | |
CN113408282B (zh) | 主题模型训练和主题预测方法、装置、设备及存储介质 | |
CN114463552A (zh) | 迁移学习、行人重识别方法及相关设备 | |
Dong et al. | A supervised dictionary learning and discriminative weighting model for action recognition | |
Wang et al. | A modified sparse representation method for facial expression recognition |