JP2011210111A - 画像特徴量生成装置及び方法及びプログラム - Google Patents
画像特徴量生成装置及び方法及びプログラム Download PDFInfo
- Publication number
- JP2011210111A JP2011210111A JP2010078795A JP2010078795A JP2011210111A JP 2011210111 A JP2011210111 A JP 2011210111A JP 2010078795 A JP2010078795 A JP 2010078795A JP 2010078795 A JP2010078795 A JP 2010078795A JP 2011210111 A JP2011210111 A JP 2011210111A
- Authority
- JP
- Japan
- Prior art keywords
- local feature
- feature quantity
- histogram
- image
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【課題】 多様な観点の検索や分類を可能とし、クラスタリング時に局所特徴量間での値の大きさの調整を不要とし、適切な画像特徴量を生成する。
【解決手段】 本発明は、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段と、切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算手段と、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段に格納するクラスタリング手段と、局所特徴量をvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段と、作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段と、を有する。
【選択図】 図1
【解決手段】 本発明は、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段と、切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算手段と、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段に格納するクラスタリング手段と、局所特徴量をvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段と、作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段と、を有する。
【選択図】 図1
Description
本発明は、画像特徴量生成装置及び方法及びプログラムに係り、特に、画像分類及び画像検索に使用する画像特徴量生成装置及び方法及びプログラムに関する。
従来、画像の特徴量生成を行うには、「bag of visual words」と呼ばれる手法がある(例えば、非特許文献1参照)。この方法としては、図13(a)に示すように、入力された画像から複数の領域を切り出し(ステップ11)、個々の領域から局所特徴量と呼ばれる情報を計算し(ステップ12)、局所特徴量をクラスタリングして(ステップ13)visual words(クラスタ中心)を作成する(ステップ14)。
さらに、図13(b)に示すように、各画像の局所特徴量集合をvisual wordsに割り当て(ステップ23)、visual wordsのヒストグラムを画像特徴量とする(ステップ24)ものがある。
また、図14に示すように、多数の画像を用いてvisual wordsを作成しておき、新規の画像が入力されたときは、そのvisual wordsを利用する。
領域の切り出し、及び、局所特徴量について様々なバリエーションがあるが、sliding windowで領域の切り出しを行い、各領域の明度情報に2次元Haar wavelet変換を行って直流成分(平均値)を除いた各バンドのエネルギー、すなわち、係数の絶対値の総和を局所特徴量とし、k-means法でクラスタリングするなどの方法もある。
図15の画像集合から窓サイズW=8、ずらし幅△=4で領域を切り出し、Haar waveletエネルギーを計算すると、表1(図15の明暗分布特徴量)のような値が得られる。
クラスタ数K=2でクラスタリングすると、式(1)のvisual wordsが得られる。Visual wordsは行ベクトルとして表示してある。
この例では、ヒストグラムの第1要素が大きいと縦縞、第2要素が大きいと横縞といった分類ができる。
"A Bayesian Hierarchical Model for Learning Natural Scene Categories," L. Fei-Fei and P. Perona, Proc. Of IEEE Computer vision and Image Recognition, pp. 524-531 (2005).
上述した従来の画像の特徴量生成方法は、領域から1つの局所特徴量を取得することを前提としている。しかし、一般の画像を分類する際には、明暗の分布以外に、領域の平均色、色調の分布等様々な局所特徴量を利用する必要がある。「bag of visual words」で複数の局所特徴量を扱うには、複数の局所特徴量の要素を並べて結合したものを一つの局所特徴量として、クラスタリング、及び、ヒストグラム作成を行うことになる。
複数の局所特徴量を一つの局所特徴量に統合した場合、下記の問題がある。
1.クラスタ数を各局所特徴量のパターン数の積より多く用意しないと適切なvisual wordsが生成されない。
2.検索及び分類に一部の局所特徴量のパターンだけを指定したい場合でも全てのパターンを列挙する必要がある。
3.複数の局所特徴量間で要素の値の大きさを調整しないと適切なvisual wordsが生成されない。
領域の平均色と明暗の分布から局所特徴量を作成するときは、平均色のパターン数を、Kμ、明暗の分布のパターン数をKtextureとすると、これらを分類するためのクラスタ数Kは、
図16のような画像からvisual wordsを作成する場合、Kμ=3、Ktexture=4でK=12個のvisual wordが必要となる。図16では、(A)は赤、(B)は緑、(C)は青の画像例であり、左から細い縦縞、太い縦縞、細い横縞、太い横縞太が並んでいる。
さらに、「細かい縦縞」といった分類を行う場合は、「平均色が赤で細かい縦縞」、「平均色が緑で細かい縦縞」、及び、「平均色が青で細かい縦縞」で分類し、その和集合をとる必要がある。
また、図15のような画像から領域の平均色、明暗の分布を抽出して、要素の大きさを調整せずに、結合して局所特徴量を作成すると、表3(図15の画像例の局所特徴量)となる。
本発明は、上記の点に鑑みなされたもので、多様な観点の検索や分類を可能とし、クラスタリング時に局所特徴量間での値の大きさの調整を不要とし、適切な画像特徴量を生成することが可能な画像特徴量生成装置及び方法及びプログラムを提供することを目的とする。
図1は、本発明の原理構成図である。
本発明(請求項1)は、分類や検索に使用する画像特徴量を生成するための画像特徴量生成装置であって、
入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段20と、
領域取得手段20で切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段40に格納する局所特徴量計算手段30と、
局所特徴量記憶手段40から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段60に格納するクラスタリング手段50と、
局所特徴量記憶手段40の局所特徴量をクラスタ中心記憶手段60のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段70と、
ヒストグラム作成手段70で作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段80と、を有する。
入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段20と、
領域取得手段20で切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段40に格納する局所特徴量計算手段30と、
局所特徴量記憶手段40から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段60に格納するクラスタリング手段50と、
局所特徴量記憶手段40の局所特徴量をクラスタ中心記憶手段60のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段70と、
ヒストグラム作成手段70で作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段80と、を有する。
また、本発明(請求項2)は、請求項1の局所特徴量計算手段30において、
2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する手段を含む。
2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する手段を含む。
また、本発明(請求項3)は、請求項1のヒストグラム作成手段70において、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する手段を含む。
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する手段を含む。
また、本発明(請求項4)は、請求項3のヒストグラム作成手段70において、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する手段を含む。
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する手段を含む。
図2は、本発明の原理を説明するための図である。
本発明(請求項5)は、分類や検索に使用する画像特徴量を生成するための画像特徴量生成方法であって、
領域取得手段、局所特徴量計算手段、クラスタリング手段、ヒストグラム作成手段、画像特徴量出力手段、局所特徴量記憶手段、クラスタ中心記憶手段を有する装置において、
領域取得手段が、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得ステップ(ステップ1)と、
局所特徴量計算手段が、領域取得ステップで切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算ステップ(ステップ2)と、
クラスタリング手段が、局所特徴量記憶手段から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段に格納するクラスタリングステップ(ステップ3)と、
ヒストグラム作成手段が、局所特徴量記憶手段の局所特徴量をクラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成ステップ(ステップ4)と、
画像特徴量出力手段が、ヒストグラム作成ステップで作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力ステップ(ステップ5)と、を行う。
領域取得手段、局所特徴量計算手段、クラスタリング手段、ヒストグラム作成手段、画像特徴量出力手段、局所特徴量記憶手段、クラスタ中心記憶手段を有する装置において、
領域取得手段が、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得ステップ(ステップ1)と、
局所特徴量計算手段が、領域取得ステップで切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算ステップ(ステップ2)と、
クラスタリング手段が、局所特徴量記憶手段から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段に格納するクラスタリングステップ(ステップ3)と、
ヒストグラム作成手段が、局所特徴量記憶手段の局所特徴量をクラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成ステップ(ステップ4)と、
画像特徴量出力手段が、ヒストグラム作成ステップで作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力ステップ(ステップ5)と、を行う。
また、本発明(請求項6)は、請求項5の局所特徴量計算ステップにおいて、
2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する。
2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する。
また、本発明(請求項7)は、請求項5のヒストグラム作成ステップにおいて、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する。
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する。
また、本発明(請求項8)は、請求項7のヒストグラム作成ステップにおいて、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する。
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する。
本発明(請求項9)は、請求項1乃至4のいずれか1項に記載の画像特徴量生成装置を構成する各手段としてコンピュータを機能させるための画像特徴量生成プログラムである。
本発明によれば、局所特徴量検索手段により、画像の領域から平均色、明暗の分布、色調の分布など複数の局所特徴量を抽出するため、画像を分類するための多様な情報を画像から複数の情報を抽出することにより、多様な観点での検索や分類、例えば、画像を全体的な色合いで検索する、縦縞、横縞等の柄で画像を分類する、色のパターンで検索する等を可能にする。
また、本発明は、クラスタリング手段により、複数の局所特徴量を個別にクラスタリングするため、局所特徴量間での値の大きさの調整が必要ない。また、一括してクラスタリングする際は、個々の局所特徴量での分類数の積だけ必要であったクラスタ数が、個々の局所特徴量での分類数の和で済むため、計算量及び画像の特徴量の次元が個々の局所特徴量での分類数の積から個々の局所特徴量での分類数の和に減少する。
これにより、本発明は、以下の問題を解決できる。
1.クラスタ数を各局所特徴量のパターン数の積より多く用意しないと適切なvisual wordが生成されない。
2.検索や分類に一部の局所特徴量のパターンだけを指定したい場合でも全てのパターンを列挙する必要がある。
3.複数の局所特徴量間で要素の値の大きさを調整しないと適切なvisual wordsが生成されない。
以下図面と共に、本発明の実施の形態を説明する。
[第1の実施の形態]
図3は、本発明の第1の実施の形態における画像特徴量生成装置の構成を示す。
図3は、本発明の第1の実施の形態における画像特徴量生成装置の構成を示す。
同図に示す画像特徴量生成装置は、画像入力部10、領域取得部20、局所特徴量計算部30、局所特徴量蓄積部40、クラスタリング部50、visual words蓄積部60、ヒストグラム作成部70、画像特徴量出力部80から構成される。
図4は、本発明の第1の実施の形態におけるvisual words作成時のフローチャートである。
ステップ101) 画像入力部10は、ファイル、ネットワーク等から画像を入力する。
領域取得部20は、1つの画像から指定した大きさの領域を少なくとも1つ以上切り出す。
局所特徴量計算部30は、領域取得部20で切り出された複数の画像の領域から平均色、明暗の分布、色調の分布など複数の局所特徴量を抽出し、局所特徴量蓄積部40に格納する。図5に、本発明の第1の実施の形態における画像、領域及び局所特徴量の対応関係を示す。
クラスタリング部50は、局所特徴量蓄積部40から局所特徴量集合を取得してクラスタリングしてvisual wordsを作成し、visual words蓄積部60に格納する。
ヒストグラム作成部70は、局所特徴量蓄積部40から読み出した局所特徴量集合に、visual words蓄積部60に格納されているvisual wordsを割り当ててヒストグラムを作成し、画像特徴量出力部80に出力する。
画像特徴量出力部80は、ヒストグラム作成部70で作成されたヒストグラムを画像特徴量として出力する。
以下に、上記の各構成要素の動作について詳細に説明する。
<領域取得部20>
図6は、本発明の第1の実施の形態における画像の局所特徴量群計算ルーチンのフローチャートである。
図6は、本発明の第1の実施の形態における画像の局所特徴量群計算ルーチンのフローチャートである。
ステップ201) 領域取得部20は、入力された画像からsliding windowで矩形領域を切り出す。Sliding windowとは、図7に示すように、窓サイズWの正方形の領域をずらし幅△だけずらしながら切り出す方法である。
切り出される領域数は、
切り出した矩形領域は局所特徴量計算部30に渡される。
<局所特徴量計算部30>
ステップ202) 局所特徴量計算部30は、領域取得部20から取得した領域について、平均色、明暗分布、色調分布等の複数の局所特徴量を計算する。
ステップ202) 局所特徴量計算部30は、領域取得部20から取得した領域について、平均色、明暗分布、色調分布等の複数の局所特徴量を計算する。
まず、画像の色空間をRGBからL*a*b*に変換する。
計算式は、それぞれ以下のようになる。
局所特徴量蓄積部40は、上記の局所特徴量計算部30で計算された平均色、明暗分布、色調分布の局所特徴量を蓄積する。
<クラスタリング部50>
ステップ103) クラスタリング部50は、局所特徴量蓄積部40に蓄積された局所特徴量群、すなわち、複数の画像についての平均色、明暗分布、色長分布の局所特徴量をk-means法で各々クラスタリングする。
ステップ103) クラスタリング部50は、局所特徴量蓄積部40に蓄積された局所特徴量群、すなわち、複数の画像についての平均色、明暗分布、色長分布の局所特徴量をk-means法で各々クラスタリングする。
平均色Kμ、明暗分布Ktexture、色調分布Ktoneのクラスタ数及びクラスタリングの最大の反復回数Jは予め指定しておく。
また、Nは、データ数(領域数)、
以下において、
クラスタリング部50は、局所特徴量計算部30から局所特徴量を取得すると、まず、以下の初期化処理を行い、ランダムにクラスタ中心
全画像数i(i=1,…,N)について以下の処理を繰り返す。
ステップ104) visual words蓄積部60は、クラスタリング部50から出力された平均色、明暗分布、色調分布のvisual words(クラスタ中心)、cμ、ctexture、ctoneを蓄積する。
<ヒストグラム作成部70>
ヒストグラム作成部70は、画像から切り出された領域数Rとし、局所特徴量蓄積部40から局所特徴量群
ヒストグラム作成部70は、画像から切り出された領域数Rとし、局所特徴量蓄積部40から局所特徴量群
図9は、本発明の第1の実施の形態におけるヒストグラム作成時のフローチャートである。
図3の局所特徴量計算部30で局所特徴量群の計算が行われ、クラスタリング部50によりvisual wordsが求められると、ヒストグラム作成部70は、ヒストグラムhk(但し、k=1,…,K(・))を0に初期化し、r=1とし、以下のステップ301,302の処理を全領域数分r(r=1,…,R)回繰り返す。
ステップ301) データrのvisual wordを以下の式により割り当てる。
ステップ302) 以下によりヒストグラムを生成する。
特徴量出力部80は、平均色、明暗分布、色調分布のヒストグラムを結合して、画像の特徴量とする。
以下では図16に示す32×32のサイズの画像集合について処理を行う。
領域取得部20は、窓サイズW=8、ずらし幅△=4で領域を切り出し、局所特徴量計算部30に渡す。これにより、局所特徴量計算部30は、表5に示すような特徴量を求め、局所特徴量蓄積部40に格納する。
この例では、第1要素が大きい画像は『青』、第2要素が大きい画像は『緑』、第3画素が大きい画像は『赤』と分類できる。また、第4要素が大きい画像は細かい横縞、第5要素が大きい画像は荒い縦縞、第6要素が大きい画像は細かい縦縞、第7要素が大きい画像は荒い横縞と分類できる。
画像特徴量の次元はKμ+Ktexture=3+4=7となる。
このように、本実施の形態における画像特徴量は、複数の局所特徴量を結合して、visual wordsを作成した場合に比べ、少ない次元数で画像を分類できる。
[第2の実施の形態]
本実施の形態の画像特徴量生成装置の構成は第1の実施の形態の図3と同様であるが、ヒストグラム作成部70の動作が異なる。本実施の形態のヒストグラム作成部70は、局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成するものである。
本実施の形態の画像特徴量生成装置の構成は第1の実施の形態の図3と同様であるが、ヒストグラム作成部70の動作が異なる。本実施の形態のヒストグラム作成部70は、局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成するものである。
以下では、領域取得部20により画像から切り出された領域数R、局所特徴量蓄積部40に格納されている局所特徴量の種類をMとする。ヒストグラム作成部70は、図10に示すように、その局所特徴量群
図11は、本発明の第2の実施の形態におけるヒストグラム作成部の動作のフローチャートである。
ステップ401) ヒストグラムの初期化として、
ステップ402) 全領域数r(r=1,…,R)についてステップ403〜405を繰り返す。
ステップ403) 全局所特徴量の種類m(m=1,…,M)についてステップ404を繰り返す。
ステップ404) 領域rの局所特徴量mのvisual wordを以下により計算する。
ステップ406) ヒストグラムを以下の式により規格化する。
次に、上記のヒストグラム作成部70の処理を具体的に説明する。
クラスタリング部50において、下記のvisual wordsが作成され、visual words蓄積部60に格納されていたとする。
領域取得部20において、画像から6つの領域が切り出され、クラスタリング部50で各々表7のようにvisual wordsが割り当てられたとする。
画像特徴量出力部80は、6つの領域を集計し、規格化すると表8のヒストグラムが得られる。
本実施の形態では、ヒストグラム作成部70が、クラスタリング部50で各々の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成し、出現度数の低い組み合わせを削除することにより、画像特徴量の次元を削減する場合を説明する。
本実施の形態における画像特徴量生成装置の構成は、第1の実施の形態における図3の構成と同一であるが、ヒストグラム作成部70の処理が異なる。その他は第1の実施の形態と同様であるのでその説明を省略する。
ヒストグラム作成部70においてヒストグラムh1,…,hNから出現度数が所定の閾値T以下の要素を削除した新しいヒストグラムg1,…,gNを作成する。
図12は、本発明の第3の実施の形態におけるヒストグラム作成部の動作のフローチャートである。
ステップ501) ヒストグラム作成部70は、以下により出現度数の初期化を行う。
ステップ503) n番目のヒストグラムの出現度数Dkを全ての要素を計上する。
ステップ506) n番目のヒストグラムから出現度数が低いものを取り除く。
次に、上記のヒストグラム作成部70の処理を具体的に説明する。
ヒストグラム作成部70において、3個の画像から表9のヒストグラムが作成されたとする。また、出現度数の閾値T=1/3とする。
また、構築されたプログラムをハードディスクや、フレキシブルディスク、CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
10 画像入力部
20 領域取得手段、領域取得部
30 局所特徴量計算手段、局所特徴量計算部
40 局所特徴量記憶手段、局所特徴量記憶部
50 クラスタリング手段、クラスタリング部
60 クラスタ中心記憶手段、visual words蓄積部
70 ヒストグラム作成手段、ヒストグラム作成部
80 画像特徴量出力手段、画像特徴量出力部
20 領域取得手段、領域取得部
30 局所特徴量計算手段、局所特徴量計算部
40 局所特徴量記憶手段、局所特徴量記憶部
50 クラスタリング手段、クラスタリング部
60 クラスタ中心記憶手段、visual words蓄積部
70 ヒストグラム作成手段、ヒストグラム作成部
80 画像特徴量出力手段、画像特徴量出力部
Claims (9)
- 分類や検索に使用する画像特徴量を生成するための画像特徴量生成装置であって、
入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段と、
前記領域取得手段で切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算手段と、
前記局所特徴量記憶手段から前記局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段に格納するクラスタリング手段と、
前記局所特徴量記憶手段の前記局所特徴量を前記クラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段で作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段と、
を有することを特徴とする画像特徴量生成装置。 - 前記局所特徴量計算手段は、
2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する手段を含む
請求項1記載の画像特徴量生成装置。 - 前記ヒストグラム作成手段は、
前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する手段を含む
請求項1記載の画像特徴量生成装置。 - 前記ヒストグラム作成手段は、
前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する手段を含む
請求項3記載の画像特徴量生成装置。 - 分類や検索に使用する画像特徴量を生成するための画像特徴量生成方法であって、
領域取得手段、局所特徴量計算手段、クラスタリング手段、ヒストグラム作成手段、画像特徴量出力手段、局所特徴量記憶手段、クラスタ中心記憶手段を有する装置において、
前記領域取得手段が、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得ステップと、
前記局所特徴量計算手段が、前記領域取得ステップで切り出された各領域から複数の局所特徴量を計算し、前記局所特徴量記憶手段に格納する局所特徴量計算ステップと、
前記クラスタリング手段が、前記局所特徴量記憶手段から前記局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、前記クラスタ中心記憶手段に格納するクラスタリングステップと、
前記ヒストグラム作成手段が、前記局所特徴量記憶手段の前記局所特徴量を前記クラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成ステップと、
前記画像特徴量出力手段が、前記ヒストグラム作成ステップで作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力ステップと、
を行うことを特徴とする画像特徴量生成方法。 - 前記局所特徴量計算ステップにおいて、
2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する請求項5記載の画像特徴量生成方法。 - 前記ヒストグラム作成ステップにおいて、
前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する
請求項5記載の画像特徴量生成方法。 - 前記ヒストグラム作成ステップにおいて、
前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する
請求項7記載の画像特徴量生成方法。 - 請求項1乃至4のいずれか1項に記載の画像特徴量生成装置を構成する各手段としてコンピュータを機能させるための画像特徴量生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010078795A JP2011210111A (ja) | 2010-03-30 | 2010-03-30 | 画像特徴量生成装置及び方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010078795A JP2011210111A (ja) | 2010-03-30 | 2010-03-30 | 画像特徴量生成装置及び方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011210111A true JP2011210111A (ja) | 2011-10-20 |
Family
ID=44941078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010078795A Pending JP2011210111A (ja) | 2010-03-30 | 2010-03-30 | 画像特徴量生成装置及び方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011210111A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013105373A (ja) * | 2011-11-15 | 2013-05-30 | Yahoo Japan Corp | データ取得装置、方法及びプログラム |
WO2013088994A1 (ja) * | 2011-12-14 | 2013-06-20 | 日本電気株式会社 | 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム |
JP2015111339A (ja) * | 2013-12-06 | 2015-06-18 | 株式会社デンソーアイティーラボラトリ | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム |
JP6012814B1 (ja) * | 2015-05-22 | 2016-10-25 | 日本電信電話株式会社 | 逐次クラスタリング装置、方法、及びプログラム |
CN107169943A (zh) * | 2017-04-18 | 2017-09-15 | 腾讯科技(上海)有限公司 | 图像直方图信息统计方法及系统、电子设备 |
CN111563536A (zh) * | 2020-04-17 | 2020-08-21 | 福建帝视信息科技有限公司 | 一种基于机器学习的竹条颜色自适应分类方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009258953A (ja) * | 2008-04-16 | 2009-11-05 | Univ Of Electro-Communications | 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム |
-
2010
- 2010-03-30 JP JP2010078795A patent/JP2011210111A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009258953A (ja) * | 2008-04-16 | 2009-11-05 | Univ Of Electro-Communications | 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム |
Non-Patent Citations (3)
Title |
---|
上東 太一: "Multiple Kernel Learningを用いた食べ物画像の分類", 情報処理学会研究報告, vol. 第2009巻 第29号, JPN6012067804, 6 March 2009 (2009-03-06), JP, pages 83 - 90, ISSN: 0002419822 * |
宮崎 達也: "食事ログに向けた画像処理による料理の味推定", 第72回(平成22年)全国大会講演論文集(2) 人工知能と認知科学, JPN6012067801, 8 March 2010 (2010-03-08), JP, pages 2 - 665, ISSN: 0002419821 * |
福田 恵太: "画像セグメンテーションにおけるウェーブレット係数の局所テクスチャ特徴量を用いたGraphCuts", 電子情報通信学会技術研究報告, vol. 第107巻 第384号, JPN6012067806, 6 December 2007 (2007-12-06), JP, pages 19 - 24, ISSN: 0002419823 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013105373A (ja) * | 2011-11-15 | 2013-05-30 | Yahoo Japan Corp | データ取得装置、方法及びプログラム |
WO2013088994A1 (ja) * | 2011-12-14 | 2013-06-20 | 日本電気株式会社 | 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム |
US9355317B2 (en) | 2011-12-14 | 2016-05-31 | Nec Corporation | Video processing system, video processing method, video processing device for mobile terminal or server and control method and control program thereof |
JP2015111339A (ja) * | 2013-12-06 | 2015-06-18 | 株式会社デンソーアイティーラボラトリ | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム |
JP6012814B1 (ja) * | 2015-05-22 | 2016-10-25 | 日本電信電話株式会社 | 逐次クラスタリング装置、方法、及びプログラム |
CN107169943A (zh) * | 2017-04-18 | 2017-09-15 | 腾讯科技(上海)有限公司 | 图像直方图信息统计方法及系统、电子设备 |
CN111563536A (zh) * | 2020-04-17 | 2020-08-21 | 福建帝视信息科技有限公司 | 一种基于机器学习的竹条颜色自适应分类方法 |
CN111563536B (zh) * | 2020-04-17 | 2023-04-14 | 福建帝视信息科技有限公司 | 一种基于机器学习的竹条颜色自适应分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ugarriza et al. | Automatic image segmentation by dynamic region growth and multiresolution merging | |
Mirmehdi et al. | Segmentation of color textures | |
CN104504734B (zh) | 一种基于语义的图像颜色传输方法 | |
JP2004361987A (ja) | 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法 | |
US20100183225A1 (en) | Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof | |
US8995761B2 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
JP2011210111A (ja) | 画像特徴量生成装置及び方法及びプログラム | |
US20060257048A1 (en) | System and method for producing a page using frames of a video stream | |
CN103456013B (zh) | 一种表示超像素以及度量超像素之间相似性的方法 | |
US20160364877A1 (en) | Apparatus and method for extracting object of interest from image using image matting based on global contrast | |
US8942469B2 (en) | Method for classification of videos | |
Feixas et al. | Information theory tools for image processing | |
US8718401B2 (en) | Image processing device, method and program | |
JP2015011585A (ja) | 画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラム | |
CN106570183B (zh) | 一种彩色图像检索和分类方法 | |
KR20150112535A (ko) | 비디오 대표 이미지 관리 장치 및 방법 | |
JP2010067221A (ja) | 画像分類装置 | |
Höschl IV et al. | Robust histogram-based image retrieval | |
Kanjanawanishkul et al. | Novel fast color reduction algorithm for time-constrained applications | |
JP2007006129A (ja) | 代表画像抽出装置及びその方法 | |
WO2014034272A1 (ja) | データの調和解析方法およびデータ解析装置 | |
Kumar et al. | Automatic image segmentation using wavelets | |
Sirajuddeen et al. | Adaptive histogram equalization based on modified probability density function and expected value of image intensity | |
KR101191319B1 (ko) | 객체의 움직임 정보에 기반한 회화적 렌더링 장치 및 방법 | |
US8068657B2 (en) | Method of microcalcification detection in mammography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130528 |