JP2011210111A - 画像特徴量生成装置及び方法及びプログラム - Google Patents

画像特徴量生成装置及び方法及びプログラム Download PDF

Info

Publication number
JP2011210111A
JP2011210111A JP2010078795A JP2010078795A JP2011210111A JP 2011210111 A JP2011210111 A JP 2011210111A JP 2010078795 A JP2010078795 A JP 2010078795A JP 2010078795 A JP2010078795 A JP 2010078795A JP 2011210111 A JP2011210111 A JP 2011210111A
Authority
JP
Japan
Prior art keywords
local feature
feature quantity
histogram
image
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010078795A
Other languages
English (en)
Inventor
Seiichi Konya
精一 紺谷
Katsuyoshi Tanabe
勝義 田邊
Masashi Uchiyama
匡 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010078795A priority Critical patent/JP2011210111A/ja
Publication of JP2011210111A publication Critical patent/JP2011210111A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 多様な観点の検索や分類を可能とし、クラスタリング時に局所特徴量間での値の大きさの調整を不要とし、適切な画像特徴量を生成する。
【解決手段】 本発明は、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段と、切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算手段と、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段に格納するクラスタリング手段と、局所特徴量をvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段と、作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段と、を有する。
【選択図】 図1

Description

本発明は、画像特徴量生成装置及び方法及びプログラムに係り、特に、画像分類及び画像検索に使用する画像特徴量生成装置及び方法及びプログラムに関する。
従来、画像の特徴量生成を行うには、「bag of visual words」と呼ばれる手法がある(例えば、非特許文献1参照)。この方法としては、図13(a)に示すように、入力された画像から複数の領域を切り出し(ステップ11)、個々の領域から局所特徴量と呼ばれる情報を計算し(ステップ12)、局所特徴量をクラスタリングして(ステップ13)visual words(クラスタ中心)を作成する(ステップ14)。
さらに、図13(b)に示すように、各画像の局所特徴量集合をvisual wordsに割り当て(ステップ23)、visual wordsのヒストグラムを画像特徴量とする(ステップ24)ものがある。
また、図14に示すように、多数の画像を用いてvisual wordsを作成しておき、新規の画像が入力されたときは、そのvisual wordsを利用する。
領域の切り出し、及び、局所特徴量について様々なバリエーションがあるが、sliding windowで領域の切り出しを行い、各領域の明度情報に2次元Haar wavelet変換を行って直流成分(平均値)を除いた各バンドのエネルギー、すなわち、係数の絶対値の総和を局所特徴量とし、k-means法でクラスタリングするなどの方法もある。
図15の画像集合から窓サイズW=8、ずらし幅△=4で領域を切り出し、Haar waveletエネルギーを計算すると、表1(図15の明暗分布特徴量)のような値が得られる。
この例は一様な画像なので、同一画像の領域の局所特徴量はほぼ同一のものが得られるので、一つだけ表示して他は省略した。
クラスタ数K=2でクラスタリングすると、式(1)のvisual wordsが得られる。Visual wordsは行ベクトルとして表示してある。
画像の領域集合をこのvisual wordsに割り当て、その頻度でヒストグラムを作成すると表2(図15の画像例の明暗ヒストグラム)となる。
このヒストグラムが画像の特徴量となる。
この例では、ヒストグラムの第1要素が大きいと縦縞、第2要素が大きいと横縞といった分類ができる。
"A Bayesian Hierarchical Model for Learning Natural Scene Categories," L. Fei-Fei and P. Perona, Proc. Of IEEE Computer vision and Image Recognition, pp. 524-531 (2005).
上述した従来の画像の特徴量生成方法は、領域から1つの局所特徴量を取得することを前提としている。しかし、一般の画像を分類する際には、明暗の分布以外に、領域の平均色、色調の分布等様々な局所特徴量を利用する必要がある。「bag of visual words」で複数の局所特徴量を扱うには、複数の局所特徴量の要素を並べて結合したものを一つの局所特徴量として、クラスタリング、及び、ヒストグラム作成を行うことになる。
複数の局所特徴量を一つの局所特徴量に統合した場合、下記の問題がある。
1.クラスタ数を各局所特徴量のパターン数の積より多く用意しないと適切なvisual wordsが生成されない。
2.検索及び分類に一部の局所特徴量のパターンだけを指定したい場合でも全てのパターンを列挙する必要がある。
3.複数の局所特徴量間で要素の値の大きさを調整しないと適切なvisual wordsが生成されない。
領域の平均色と明暗の分布から局所特徴量を作成するときは、平均色のパターン数を、Kμ、明暗の分布のパターン数をKtextureとすると、これらを分類するためのクラスタ数Kは、
となる。
図16のような画像からvisual wordsを作成する場合、Kμ=3、Ktexture=4でK=12個のvisual wordが必要となる。図16では、(A)は赤、(B)は緑、(C)は青の画像例であり、左から細い縦縞、太い縦縞、細い横縞、太い横縞太が並んでいる。
さらに、「細かい縦縞」といった分類を行う場合は、「平均色が赤で細かい縦縞」、「平均色が緑で細かい縦縞」、及び、「平均色が青で細かい縦縞」で分類し、その和集合をとる必要がある。
また、図15のような画像から領域の平均色、明暗の分布を抽出して、要素の大きさを調整せずに、結合して局所特徴量を作成すると、表3(図15の画像例の局所特徴量)となる。
これをK=2でクラスタリングして、visual wordsを作成すると、式(3)となる。
このvisual wordsからヒストグラムを作成すると表4のようになる。
この例では、平均色(明度)の差が大きく、第1成分が大きい画像は明るい画像、第2成分が大きい画像は暗い画像に分類されてしまう。縦縞、横縞で分類するためには、要素の大きさを適切に調整する必要がある。
本発明は、上記の点に鑑みなされたもので、多様な観点の検索や分類を可能とし、クラスタリング時に局所特徴量間での値の大きさの調整を不要とし、適切な画像特徴量を生成することが可能な画像特徴量生成装置及び方法及びプログラムを提供することを目的とする。
図1は、本発明の原理構成図である。
本発明(請求項1)は、分類や検索に使用する画像特徴量を生成するための画像特徴量生成装置であって、
入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段20と、
領域取得手段20で切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段40に格納する局所特徴量計算手段30と、
局所特徴量記憶手段40から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段60に格納するクラスタリング手段50と、
局所特徴量記憶手段40の局所特徴量をクラスタ中心記憶手段60のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段70と、
ヒストグラム作成手段70で作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段80と、を有する。
また、本発明(請求項2)は、請求項1の局所特徴量計算手段30において、
2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する手段を含む。
また、本発明(請求項3)は、請求項1のヒストグラム作成手段70において、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する手段を含む。
また、本発明(請求項4)は、請求項3のヒストグラム作成手段70において、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する手段を含む。
図2は、本発明の原理を説明するための図である。
本発明(請求項5)は、分類や検索に使用する画像特徴量を生成するための画像特徴量生成方法であって、
領域取得手段、局所特徴量計算手段、クラスタリング手段、ヒストグラム作成手段、画像特徴量出力手段、局所特徴量記憶手段、クラスタ中心記憶手段を有する装置において、
領域取得手段が、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得ステップ(ステップ1)と、
局所特徴量計算手段が、領域取得ステップで切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算ステップ(ステップ2)と、
クラスタリング手段が、局所特徴量記憶手段から局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段に格納するクラスタリングステップ(ステップ3)と、
ヒストグラム作成手段が、局所特徴量記憶手段の局所特徴量をクラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成ステップ(ステップ4)と、
画像特徴量出力手段が、ヒストグラム作成ステップで作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力ステップ(ステップ5)と、を行う。
また、本発明(請求項6)は、請求項5の局所特徴量計算ステップにおいて、
2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する。
また、本発明(請求項7)は、請求項5のヒストグラム作成ステップにおいて、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する。
また、本発明(請求項8)は、請求項7のヒストグラム作成ステップにおいて、
クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する。
本発明(請求項9)は、請求項1乃至4のいずれか1項に記載の画像特徴量生成装置を構成する各手段としてコンピュータを機能させるための画像特徴量生成プログラムである。
本発明によれば、局所特徴量検索手段により、画像の領域から平均色、明暗の分布、色調の分布など複数の局所特徴量を抽出するため、画像を分類するための多様な情報を画像から複数の情報を抽出することにより、多様な観点での検索や分類、例えば、画像を全体的な色合いで検索する、縦縞、横縞等の柄で画像を分類する、色のパターンで検索する等を可能にする。
また、本発明は、クラスタリング手段により、複数の局所特徴量を個別にクラスタリングするため、局所特徴量間での値の大きさの調整が必要ない。また、一括してクラスタリングする際は、個々の局所特徴量での分類数の積だけ必要であったクラスタ数が、個々の局所特徴量での分類数の和で済むため、計算量及び画像の特徴量の次元が個々の局所特徴量での分類数の積から個々の局所特徴量での分類数の和に減少する。
これにより、本発明は、以下の問題を解決できる。
1.クラスタ数を各局所特徴量のパターン数の積より多く用意しないと適切なvisual wordが生成されない。
2.検索や分類に一部の局所特徴量のパターンだけを指定したい場合でも全てのパターンを列挙する必要がある。
3.複数の局所特徴量間で要素の値の大きさを調整しないと適切なvisual wordsが生成されない。
本発明の原理構成図である。 本発明の原理を説明するための図である。 本発明の第1の実施の形態における画像特徴量生成装置の構成図である。 本発明の第1の実施の形態におけるvisual words作成時のフローチャートである。 本発明の第1の実施の形態における画像、領域、及び局所特徴量の対応関係を示す図である。 本発明の第1の実施の形態における「画像の局所特徴量群計算」ルーチンのフローチャートである。 sliding windowを説明する図である。 2次元Haar waveletを説明する図である。 本発明の第1の実施の形態におけるヒストグラム作成時のフローチャートである。 本発明の第2の実施の形態のヒストグラムを説明するための図である。 本発明の第2の実施の形態におけるヒストグラム作成部の動作のフローチャートである。 本発明の第3の実施の形態におけるヒストグラム作成部の動作のフローチャートである。 従来の特徴量計算のフローチャートである。 従来の特徴量計算のデータの流れを説明するための図である。 従来の技術を適用する画像例である。 32×32サイズの画像例である。
以下図面と共に、本発明の実施の形態を説明する。
[第1の実施の形態]
図3は、本発明の第1の実施の形態における画像特徴量生成装置の構成を示す。
同図に示す画像特徴量生成装置は、画像入力部10、領域取得部20、局所特徴量計算部30、局所特徴量蓄積部40、クラスタリング部50、visual words蓄積部60、ヒストグラム作成部70、画像特徴量出力部80から構成される。
図4は、本発明の第1の実施の形態におけるvisual words作成時のフローチャートである。
ステップ101) 画像入力部10は、ファイル、ネットワーク等から画像を入力する。
領域取得部20は、1つの画像から指定した大きさの領域を少なくとも1つ以上切り出す。
局所特徴量計算部30は、領域取得部20で切り出された複数の画像の領域から平均色、明暗の分布、色調の分布など複数の局所特徴量を抽出し、局所特徴量蓄積部40に格納する。図5に、本発明の第1の実施の形態における画像、領域及び局所特徴量の対応関係を示す。
クラスタリング部50は、局所特徴量蓄積部40から局所特徴量集合を取得してクラスタリングしてvisual wordsを作成し、visual words蓄積部60に格納する。
ヒストグラム作成部70は、局所特徴量蓄積部40から読み出した局所特徴量集合に、visual words蓄積部60に格納されているvisual wordsを割り当ててヒストグラムを作成し、画像特徴量出力部80に出力する。
画像特徴量出力部80は、ヒストグラム作成部70で作成されたヒストグラムを画像特徴量として出力する。
以下に、上記の各構成要素の動作について詳細に説明する。
<領域取得部20>
図6は、本発明の第1の実施の形態における画像の局所特徴量群計算ルーチンのフローチャートである。
ステップ201) 領域取得部20は、入力された画像からsliding windowで矩形領域を切り出す。Sliding windowとは、図7に示すように、窓サイズWの正方形の領域をずらし幅△だけずらしながら切り出す方法である。
切り出される領域数は、
ここで、
は、x以下の最大の整数である。
切り出した矩形領域は局所特徴量計算部30に渡される。
<局所特徴量計算部30>
ステップ202) 局所特徴量計算部30は、領域取得部20から取得した領域について、平均色、明暗分布、色調分布等の複数の局所特徴量を計算する。
まず、画像の色空間をRGBからL*a*b*に変換する。
ここで、
また、
次に、L*a*b*の各データを2次元Haar wavelet変換する。2次元Haar wavelet変換は、図8に示すように、二次元データを低周波成分s、水平高周波成分h、垂直高周波成分v、対角高周波成分dに分離する。この手順を低周波成分sに対して再帰的に繰り返す。
計算式は、それぞれ以下のようになる。
ここで、
次に、2次元Haar waveletの各成分のエネルギー、即ち、係数の絶対値の総和を求める。
平均色の局所特徴量xμ、明暗分布の局所特徴量xtexture、色調分布の局所特徴量xtoneは下記のように計算され、局所特徴量蓄積部40に格納る。
<局所特徴量蓄積部40>
局所特徴量蓄積部40は、上記の局所特徴量計算部30で計算された平均色、明暗分布、色調分布の局所特徴量を蓄積する。
<クラスタリング部50>
ステップ103) クラスタリング部50は、局所特徴量蓄積部40に蓄積された局所特徴量群、すなわち、複数の画像についての平均色、明暗分布、色長分布の局所特徴量をk-means法で各々クラスタリングする。
平均色Kμ、明暗分布Ktexture、色調分布Ktoneのクラスタ数及びクラスタリングの最大の反復回数Jは予め指定しておく。
また、Nは、データ数(領域数)、
はi番目のデータ(局所特徴量)、
は、k番目のクラスタ中心、liはデータiが所属するクラスタ番号、(・)はμ、texture、toneのいずれかである。
以下において、
はユークリッド距離を示す。
クラスタリング部50は、局所特徴量計算部30から局所特徴量を取得すると、まず、以下の初期化処理を行い、ランダムにクラスタ中心
を設定すると共に、j=1とする。
全画像数i(i=1,…,N)について以下の処理を繰り返す。
得られた局所特徴量数(k=1,…,K(・))について、以下の式により、局所特徴量のクラスタリングを行い、各クラスタについてクラスタ中心を更新する。この処理をj>J(反復回数)となるまで繰り返す。
クラスタ中心が前回のものと変化がある場合は、クラスタ中心
でvisual words蓄積部60を更新する。
k-means法は、初期値のクラスタ中心によって結果が変わる可能性があるので、何度か繰り返し、下記の歪みが最も小さくなるものを選ぶ。
<visual words蓄積部60>
ステップ104) visual words蓄積部60は、クラスタリング部50から出力された平均色、明暗分布、色調分布のvisual words(クラスタ中心)、cμ、ctexture、ctoneを蓄積する。
<ヒストグラム作成部70>
ヒストグラム作成部70は、画像から切り出された領域数Rとし、局所特徴量蓄積部40から局所特徴量群
を取得し、これらにvisual words蓄積部60のvisual wordsを割り当て、ヒストグラムを作成する。
図9は、本発明の第1の実施の形態におけるヒストグラム作成時のフローチャートである。
図3の局所特徴量計算部30で局所特徴量群の計算が行われ、クラスタリング部50によりvisual wordsが求められると、ヒストグラム作成部70は、ヒストグラムhk(但し、k=1,…,K(・))を0に初期化し、r=1とし、以下のステップ301,302の処理を全領域数分r(r=1,…,R)回繰り返す。
ステップ301) データrのvisual wordを以下の式により割り当てる。
この処理を領域数k分(k=1,…,K)繰り返す。
ステップ302) 以下によりヒストグラムを生成する。
とする。次に、ヒストグラムを以下のように規格化し、ヒストグラムhiを出力する。
<特徴量出力部80>
特徴量出力部80は、平均色、明暗分布、色調分布のヒストグラムを結合して、画像の特徴量とする。
次に、上記の画像特徴量生成装置の具体的な動作を以下に示す。
以下では図16に示す32×32のサイズの画像集合について処理を行う。
領域取得部20は、窓サイズW=8、ずらし幅△=4で領域を切り出し、局所特徴量計算部30に渡す。これにより、局所特徴量計算部30は、表5に示すような特徴量を求め、局所特徴量蓄積部40に格納する。
次に、クラスタリング部50は、局所特徴量記憶部40から局所特徴量を取得して、平均色、明暗分布をクラスタリングして、visual wordsを求める(この例では、色調分布は分類に用いないので省略する)。
ヒストグラム作成部70は、各画像の局所特徴量をvisual wordsに割り当て、表6に示すようなヒストグラムを作成する。
画像特徴量出力部80は、hμとhtextureの要素を結合して画像の特徴量とし出力する。
この例では、第1要素が大きい画像は『青』、第2要素が大きい画像は『緑』、第3画素が大きい画像は『赤』と分類できる。また、第4要素が大きい画像は細かい横縞、第5要素が大きい画像は荒い縦縞、第6要素が大きい画像は細かい縦縞、第7要素が大きい画像は荒い横縞と分類できる。
画像特徴量の次元はKμ+Ktexture=3+4=7となる。
このように、本実施の形態における画像特徴量は、複数の局所特徴量を結合して、visual wordsを作成した場合に比べ、少ない次元数で画像を分類できる。
[第2の実施の形態]
本実施の形態の画像特徴量生成装置の構成は第1の実施の形態の図3と同様であるが、ヒストグラム作成部70の動作が異なる。本実施の形態のヒストグラム作成部70は、局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成するものである。
以下では、領域取得部20により画像から切り出された領域数R、局所特徴量蓄積部40に格納されている局所特徴量の種類をMとする。ヒストグラム作成部70は、図10に示すように、その局所特徴量群
からヒストグラムを作成する。
図11は、本発明の第2の実施の形態におけるヒストグラム作成部の動作のフローチャートである。
ステップ401) ヒストグラムの初期化として、
を行う。
ステップ402) 全領域数r(r=1,…,R)についてステップ403〜405を繰り返す。
ステップ403) 全局所特徴量の種類m(m=1,…,M)についてステップ404を繰り返す。
ステップ404) 領域rの局所特徴量mのvisual wordを以下により計算する。
ステップ405) ヒストグラムを以下のように加算する。
を行う。
ステップ406) ヒストグラムを以下の式により規格化する。
ステップ407) ヒストグラムを画像特徴量出力部80に出力する。
次に、上記のヒストグラム作成部70の処理を具体的に説明する。
クラスタリング部50において、下記のvisual wordsが作成され、visual words蓄積部60に格納されていたとする。
ここで、「・T」は転置を示す。
領域取得部20において、画像から6つの領域が切り出され、クラスタリング部50で各々表7のようにvisual wordsが割り当てられたとする。
ヒストグラム作成部70は、領域1のvisual wordsが(v1,w2)なので、ヒストグラムを加算(h1,2←h1,2+1)する。
画像特徴量出力部80は、6つの領域を集計し、規格化すると表8のヒストグラムが得られる。
[第3の実施の形態]
本実施の形態では、ヒストグラム作成部70が、クラスタリング部50で各々の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成し、出現度数の低い組み合わせを削除することにより、画像特徴量の次元を削減する場合を説明する。
本実施の形態における画像特徴量生成装置の構成は、第1の実施の形態における図3の構成と同一であるが、ヒストグラム作成部70の処理が異なる。その他は第1の実施の形態と同様であるのでその説明を省略する。
ヒストグラム作成部70においてヒストグラムh1,…,hNから出現度数が所定の閾値T以下の要素を削除した新しいヒストグラムg,…,gNを作成する。
図12は、本発明の第3の実施の形態におけるヒストグラム作成部の動作のフローチャートである。
ステップ501) ヒストグラム作成部70は、以下により出現度数の初期化を行う。
ステップ502) n(n=1,…,N)についてステップ503を繰り返す。
ステップ503) n番目のヒストグラムの出現度数Dkを全ての要素を計上する。
ステップ504) 出現度数が閾値Tより大きいヒストグラムをリストアップする。
ステップ505) n(n=1,…,N)についてステップ506を繰り返す。
ステップ506) n番目のヒストグラムから出現度数が低いものを取り除く。
ステップ507) 出現頻度の低いものが削除されたヒストグラムのリストgn(n=1,…,N)を出力する。
次に、上記のヒストグラム作成部70の処理を具体的に説明する。
ヒストグラム作成部70において、3個の画像から表9のヒストグラムが作成されたとする。また、出現度数の閾値T=1/3とする。
上記から各要素kの出現度数Dkを求めると、表10のようになる。
出現度数の閾値T=1/3以下の組み合わせは、(v1,w1),(v1,w3)であるので、これらを削除した表11のようなヒストグラムが得られる。
なお、上記の図3に示す画像特徴量生成装置の各構成要素の第1〜第3の実施の形態に示す動作をプログラムとして構築し、画像特徴量生成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
また、構築されたプログラムをハードディスクや、フレキシブルディスク、CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
10 画像入力部
20 領域取得手段、領域取得部
30 局所特徴量計算手段、局所特徴量計算部
40 局所特徴量記憶手段、局所特徴量記憶部
50 クラスタリング手段、クラスタリング部
60 クラスタ中心記憶手段、visual words蓄積部
70 ヒストグラム作成手段、ヒストグラム作成部
80 画像特徴量出力手段、画像特徴量出力部

Claims (9)

  1. 分類や検索に使用する画像特徴量を生成するための画像特徴量生成装置であって、
    入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得手段と、
    前記領域取得手段で切り出された各領域から複数の局所特徴量を計算し、局所特徴量記憶手段に格納する局所特徴量計算手段と、
    前記局所特徴量記憶手段から前記局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、クラスタ中心記憶手段に格納するクラスタリング手段と、
    前記局所特徴量記憶手段の前記局所特徴量を前記クラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成手段と、
    前記ヒストグラム作成手段で作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力手段と、
    を有することを特徴とする画像特徴量生成装置。
  2. 前記局所特徴量計算手段は、
    2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する手段を含む
    請求項1記載の画像特徴量生成装置。
  3. 前記ヒストグラム作成手段は、
    前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する手段を含む
    請求項1記載の画像特徴量生成装置。
  4. 前記ヒストグラム作成手段は、
    前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する手段を含む
    請求項3記載の画像特徴量生成装置。
  5. 分類や検索に使用する画像特徴量を生成するための画像特徴量生成方法であって、
    領域取得手段、局所特徴量計算手段、クラスタリング手段、ヒストグラム作成手段、画像特徴量出力手段、局所特徴量記憶手段、クラスタ中心記憶手段を有する装置において、
    前記領域取得手段が、入力された複数の画像から指定された大きさの複数の領域を切り出す領域取得ステップと、
    前記局所特徴量計算手段が、前記領域取得ステップで切り出された各領域から複数の局所特徴量を計算し、前記局所特徴量記憶手段に格納する局所特徴量計算ステップと、
    前記クラスタリング手段が、前記局所特徴量記憶手段から前記局所特徴量を読み出して、各局所特徴量毎にクラスタ中心(以下、「visual words」と記す)を生成し、前記クラスタ中心記憶手段に格納するクラスタリングステップと、
    前記ヒストグラム作成手段が、前記局所特徴量記憶手段の前記局所特徴量を前記クラスタ中心記憶手段のvisual wordsに割り当てて、ヒストグラムを作成するヒストグラム作成ステップと、
    前記画像特徴量出力手段が、前記ヒストグラム作成ステップで作成された複数のヒストグラムを結合して画像の特徴量を出力する画像特徴量出力ステップと、
    を行うことを特徴とする画像特徴量生成方法。
  6. 前記局所特徴量計算ステップにおいて、
    2次元Haar wavelet変換を用いて、平均色、明暗の分布、色調の分布を抽出する請求項5記載の画像特徴量生成方法。
  7. 前記ヒストグラム作成ステップにおいて、
    前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成する
    請求項5記載の画像特徴量生成方法。
  8. 前記ヒストグラム作成ステップにおいて、
    前記クラスタ中心記憶手段の局所特徴量毎に作成されたvisual wordsを用いて、複数の局所特徴量のvisual wordsの組み合わせに対する頻度からヒストグラムを作成して、出現頻度の低い組み合わせを削除して、画像特徴量の次元を削減する
    請求項7記載の画像特徴量生成方法。
  9. 請求項1乃至4のいずれか1項に記載の画像特徴量生成装置を構成する各手段としてコンピュータを機能させるための画像特徴量生成プログラム。
JP2010078795A 2010-03-30 2010-03-30 画像特徴量生成装置及び方法及びプログラム Pending JP2011210111A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010078795A JP2011210111A (ja) 2010-03-30 2010-03-30 画像特徴量生成装置及び方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010078795A JP2011210111A (ja) 2010-03-30 2010-03-30 画像特徴量生成装置及び方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2011210111A true JP2011210111A (ja) 2011-10-20

Family

ID=44941078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010078795A Pending JP2011210111A (ja) 2010-03-30 2010-03-30 画像特徴量生成装置及び方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2011210111A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105373A (ja) * 2011-11-15 2013-05-30 Yahoo Japan Corp データ取得装置、方法及びプログラム
WO2013088994A1 (ja) * 2011-12-14 2013-06-20 日本電気株式会社 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム
JP2015111339A (ja) * 2013-12-06 2015-06-18 株式会社デンソーアイティーラボラトリ 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
JP6012814B1 (ja) * 2015-05-22 2016-10-25 日本電信電話株式会社 逐次クラスタリング装置、方法、及びプログラム
CN107169943A (zh) * 2017-04-18 2017-09-15 腾讯科技(上海)有限公司 图像直方图信息统计方法及系统、电子设备
CN111563536A (zh) * 2020-04-17 2020-08-21 福建帝视信息科技有限公司 一种基于机器学习的竹条颜色自适应分类方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009258953A (ja) * 2008-04-16 2009-11-05 Univ Of Electro-Communications 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009258953A (ja) * 2008-04-16 2009-11-05 Univ Of Electro-Communications 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
上東 太一: "Multiple Kernel Learningを用いた食べ物画像の分類", 情報処理学会研究報告, vol. 第2009巻 第29号, JPN6012067804, 6 March 2009 (2009-03-06), JP, pages 83 - 90, ISSN: 0002419822 *
宮崎 達也: "食事ログに向けた画像処理による料理の味推定", 第72回(平成22年)全国大会講演論文集(2) 人工知能と認知科学, JPN6012067801, 8 March 2010 (2010-03-08), JP, pages 2 - 665, ISSN: 0002419821 *
福田 恵太: "画像セグメンテーションにおけるウェーブレット係数の局所テクスチャ特徴量を用いたGraphCuts", 電子情報通信学会技術研究報告, vol. 第107巻 第384号, JPN6012067806, 6 December 2007 (2007-12-06), JP, pages 19 - 24, ISSN: 0002419823 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105373A (ja) * 2011-11-15 2013-05-30 Yahoo Japan Corp データ取得装置、方法及びプログラム
WO2013088994A1 (ja) * 2011-12-14 2013-06-20 日本電気株式会社 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム
US9355317B2 (en) 2011-12-14 2016-05-31 Nec Corporation Video processing system, video processing method, video processing device for mobile terminal or server and control method and control program thereof
JP2015111339A (ja) * 2013-12-06 2015-06-18 株式会社デンソーアイティーラボラトリ 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
JP6012814B1 (ja) * 2015-05-22 2016-10-25 日本電信電話株式会社 逐次クラスタリング装置、方法、及びプログラム
CN107169943A (zh) * 2017-04-18 2017-09-15 腾讯科技(上海)有限公司 图像直方图信息统计方法及系统、电子设备
CN111563536A (zh) * 2020-04-17 2020-08-21 福建帝视信息科技有限公司 一种基于机器学习的竹条颜色自适应分类方法
CN111563536B (zh) * 2020-04-17 2023-04-14 福建帝视信息科技有限公司 一种基于机器学习的竹条颜色自适应分类方法

Similar Documents

Publication Publication Date Title
Ugarriza et al. Automatic image segmentation by dynamic region growth and multiresolution merging
Mirmehdi et al. Segmentation of color textures
CN104504734B (zh) 一种基于语义的图像颜色传输方法
JP2004361987A (ja) 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法
US20100183225A1 (en) Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof
US8995761B2 (en) Image processing apparatus, image processing method, and computer-readable medium
JP2011210111A (ja) 画像特徴量生成装置及び方法及びプログラム
US20060257048A1 (en) System and method for producing a page using frames of a video stream
CN103456013B (zh) 一种表示超像素以及度量超像素之间相似性的方法
US20160364877A1 (en) Apparatus and method for extracting object of interest from image using image matting based on global contrast
US8942469B2 (en) Method for classification of videos
Feixas et al. Information theory tools for image processing
US8718401B2 (en) Image processing device, method and program
JP2015011585A (ja) 画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラム
CN106570183B (zh) 一种彩色图像检索和分类方法
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
JP2010067221A (ja) 画像分類装置
Höschl IV et al. Robust histogram-based image retrieval
Kanjanawanishkul et al. Novel fast color reduction algorithm for time-constrained applications
JP2007006129A (ja) 代表画像抽出装置及びその方法
WO2014034272A1 (ja) データの調和解析方法およびデータ解析装置
Kumar et al. Automatic image segmentation using wavelets
Sirajuddeen et al. Adaptive histogram equalization based on modified probability density function and expected value of image intensity
KR101191319B1 (ko) 객체의 움직임 정보에 기반한 회화적 렌더링 장치 및 방법
US8068657B2 (en) Method of microcalcification detection in mammography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130528