JP2013246739A - 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム - Google Patents
高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム Download PDFInfo
- Publication number
- JP2013246739A JP2013246739A JP2012121454A JP2012121454A JP2013246739A JP 2013246739 A JP2013246739 A JP 2013246739A JP 2012121454 A JP2012121454 A JP 2012121454A JP 2012121454 A JP2012121454 A JP 2012121454A JP 2013246739 A JP2013246739 A JP 2013246739A
- Authority
- JP
- Japan
- Prior art keywords
- feature vectors
- content
- reference content
- feature
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】クエリコンテンツの各特徴ベクトルqiに類似した、リファレンスコンテンツの特徴ベクトルの集合Dを探索する類似ベクトル探索手段と、混合パラメータλを用いて、クエリコンテンツの各特徴ベクトルqiが、各リファレンスコンテンツから生成される確率λ・p(qi|Rj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・p(qi)との確率比に基づいて、リファレンスコンテンツ毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルqiについて実行し、上位のスコアを得たリファレンスコンテンツを検索結果とする投票手段とを有する。
【選択図】図1
Description
複数のリファレンスコンテンツRjから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶したリファレンス情報蓄積手段と、
リファレンス情報蓄積手段を用いて、クエリコンテンツの各特徴ベクトルqiについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Dを、少なくとも1つ以上探索する類似ベクトル探索手段と、
混合パラメータλを用いて、クエリコンテンツの各特徴ベクトルqiが、探索された各リファレンスコンテンツから生成される確率λ・p(qi|Rj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・p(qi)との確率比に基づいて、リファレンスコンテンツRj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルqiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツRjを、検索結果として出力する投票手段と
を有することを特徴とする。
(集合Dに含まれる当該リファレンスコンテンツRjの特徴ベクトルの数(nj)×
全リファレンスコンテンツの特徴ベクトルの数(|Rall|))/
(集合Dに含まれる全リファレンスコンテンツの特徴ベクトルの数(Ds)×
当該リファレンスコンテンツRjの特徴ベクトルの数(Rj))
ことも好ましい。
類似ベクトル探索手段は、探索されたリファレンスコンテンツの特徴ベクトルの集合を、クエリコンテンツの特徴ベクトルqiに対する平均的な類似度に応じて1つ以上の部分集合(クラスタ)Dに区分し、上位からの近傍数m(≧1)番目までの部分集合Dを順序付けし、
投票手段は、部分集合Dt(1≦t≦m)毎に各リファレンスコンテンツについてスコアを算出し、当該スコアが最大となる部分集合Dt’におけるスコアを投票に用いる
ことも好ましい。
投票手段は、上位からt番目までの特徴ベクトルの集合Dtについて、クエリコンテンツの特徴ベクトルqiに対するリファレンスコンテンツjのスコアsjは、以下の式によって算出される
sj=maxj log{λ/(1-λ)・(ntj・|Rall|)/(Σs=1 t|Ds(qi)|・|Rj|)+1)}
ntj: t番目までの部分集合Dtに含まれる
リファレンスコンテンツjの特徴ベクトルの数
Σs=1 t|Ds(qi)|: t番目までの部分集合Dtに含まれる
全リファレンスコンテンツjの特徴ベクトルの数
|Rall|: 全リファレンスコンテンツにおける全特徴ベクトルの数
|Rj|: 当該リファレンスコンテンツjにおける全特徴ベクトルの数
λ、1-λ: 混合パラメータ
ことも好ましい。
リファレンス情報蓄積手段は、各部分集合(クラスタ)D毎に、特徴ベクトルの平均的な代表ベクトルを更に対応付けて記憶しており、
類似ベクトル探索手段は、クエリコンテンツの各特徴ベクトルqiと、各部分集合Dの代表ベクトルとを比較して、部分集合Dを探索することも好ましい。
クエリコンテンツの各特徴ベクトルqiに類似する、リファレンスコンテンツの特徴ベクトルのうちk個の部分集合を探索する第1のステップと、
近傍数kの部分集合に含まれる、リファレンスコンテンツの特徴ベクトルの数Lを計数する第2のステップと
近傍数k個の部分集合に含まれるL個のリファレンスコンテンツの特徴ベクトルのうち、更にqiに類似した上位m(m≦L)個の特徴ベクトルを探索する第3のステップと
を有し、
第3のステップにおける特徴ベクトル数mは、第2のステップによって計数された特徴ベクトルの数Lに応じて更新され、
Dt(qi)(1≦t≦m)は、t番目の特徴ベクトルのみで構成されることも好ましい。
リファレンスコンテンツ及びクエリコンテンツから、特徴ベクトルを抽出する特徴ベクトル集合抽出手段を更に有し、
特徴ベクトル集合抽出手段は、異なる種類のアルゴリズム毎に、複数の特徴ベクトルを出力することができ、
投票手段は、クエリコンテンツ及びリファレンスコンテンツそれぞれについて、異なる種類の特徴ベクトル毎にスコアsを算出し、各リファレンスコンテンツについて異なる種類の特徴ベクトルのスコアsを重み付け和した値を、最終的なスコアとする
ことも好ましい。
クエリコンテンツ及びリファレンスコンテンツは、画像であって、
リファレンスコンテンツとしての画像には、同一の物体又は同一カテゴリに属する少なくとも1つのインスタンス(対象物、オブジェクト)が写っている
ことも好ましい。
複数のリファレンスコンテンツRjから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶したリファレンス情報蓄積手段と、
リファレンス情報蓄積手段を用いて、クエリコンテンツの各特徴ベクトルqiについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Dを、少なくとも1つ以上探索する類似ベクトル探索手段と、
混合パラメータλを用いて、クエリコンテンツの各特徴ベクトルqiが、探索された各リファレンスコンテンツから生成される確率λ・p(qi|Rj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・p(qi)との確率比に基づいて、リファレンスコンテンツRj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルqiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツRjを、検索結果として出力する投票手段と
してコンピュータを機能させることを特徴とする。
特徴ベクトル集合抽出部11は、1つのマルチメディアコンテンツから、特徴ベクトルの集合を抽出する。例えばマルチメディアコンテンツが画像である場合、その特徴ベクトルは、画像の局所特徴領域から抽出された局所特徴ベクトルである。
リファレンス情報生成部12は、リファレンスコンテンツの特徴ベクトルの集合Rjに対して、以下の処理を実行し、リファレンス情報蓄積部10へコードブックを出力する。
(S22)次に、クラスタ毎に、代表ベクトルを導出する(平均ベクトル又は中央値ベクトル)。この代表ベクトルは、"Visual Words"とも称される。
(S23)各代表ベクトルに、一意のIDn(=1〜N)を割り当てたコードブックを生成する。
代表ベクトルfn=argminn||f−fn||2
ここで、コードブックとは、代表ベクトルfn毎に、そのクラスタに属する1つ以上のリファレンスコンテンツID(識別子)を対応付けたものである。
リファレンス情報蓄積部10は、複数のリファレンスコンテンツRjから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶する。ここで、リファレンス情報蓄積部10は、リファレンス情報生成部12から出力されたコードブック(転置インデックス)を記憶するものであってもよい。コードブックは、複数のリファレンスコンテンツRjから抽出された特徴ベクトルを、類似度に応じて複数の集合(クラスタ)Dに区分したものであり、集合毎に、リファレンスコンテンツ識別子と、これら特徴ベクトルの平均的な代表ベクトルとを割り当てたものである。
類似ベクトル探索部13は、リファレンス情報蓄積部10を用いて、クエリコンテンツの各特徴ベクトルqiについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Dを、少なくとも1つ以上探索する。クエリコンテンツの特徴ベクトルqiと、リファレンスコンテンツの特徴ベクトルとの間の距離が短いほど、類似度が高いことを意味する。具体的には、最近傍探索(Approximate Nearest Neighbor)アルゴリズムの1つである直積量子化を用いた方法(例えば非特許文献5参照)やHamming Embeddingを用いた方法(例えば非特許文献2参照)、LSH(Locality-Sensitive Hashing)を用いることも好ましい。探索された1つ以上の特徴ベクトルの集合Dに基づくリファレンスコンテンツIDは、投票部14へ出力される。
投票部14は、リファレンスコンテンツRj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルqiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツRjを、検索結果として出力する。投票部14は、従来技術によればIDFによって投票していたのに対し、本発明によれば、以下に詳述する算出式によって投票される。
j’=argmaxjp(Rj|Q)
Q:クエリコンテンツの特徴ベクトルの集合
Rj:j番目のリファレンスコンテンツの特徴ベクトルの集合
p(Rj|Q):クエリコンテンツの特徴ベクトルの集合Qから、
リファレンスコンテンツの特徴ベクトルの集合Rjが生成される事後確率
argmaxj:右項の事後確率を最大とするjを導出することを意味する
j’=argmaxj p(Rj|Q)=argmaxj p(Q|Rj)p(Rj)
p(Q|Rj):リファレンスコンテンツの特徴ベクトルの集合Rjから、
クエリコンテンツの特徴ベクトルの集合Qが生成される尤度確率
p(Rj) :リファレンスコンテンツの特徴ベクトルの集合Rjが検索される
事前確率
(p(Rj)が高いほど、検索される確率が高いことを意味する)
j’=argmaxj p(Q|Rj)
j’=argmaxj Πi=1 n p(qi|Rj)
j’=argmaxj Πi=1 n p(qi|Rj)=argmaxj Σi=1 n logp(qi|Rj)
j’=argmaxj Σi=1 n logp(qi|Rj)
=argmaxj Σi=1 n log(λp(qi|Rj)+(1-λ)・p(qi))
=argmaxj Σi=1 n (log(λp(qi|Rj)+(1-λ)・p(qi))−log(1-λ)・p(qi))
=argmaxj Σi=1 n log{λ/(1-λ)・p(qi|Rj)/p(qi)+1}
i:クエリコンテンツの特徴ベクトルのID
λ:線形結合の混合パラメータ
p(qi):リファレンスコンテンツとは無関係な背景モデルから生成された確率
(クエリコンテンツにおける対象物と無関係な背景画像に基づく)
λp(qi|Rj)+(1-λ)・p(qi):
λにおけるp(qi|Rj)の確率と、(1-λ)におけるp(qi)の確率との和は、
全体の確率を意味する
−log(1-λ)・p(qi):
変形のため全体的なペナルティを引いても、順番は変わらない。
後述する式の変形のためのもの。
λ/(1-λ)・p(qi|Rj)/p(qi)+1:
"loga−logb=loga/b"に基づいて、式を変形したもの
sij=log{λ/(1-λ)・p(qi|Rj)/p(qi)+1}
i:クエリコンテンツの特徴ベクトルのID
j:リファンレンスコンテンツのID
qi:クエリコンテンツの特徴ベクトル
Rj:リファンレンスコンテンツ
sijとは、クエリコンテンツ特徴ベクトルqiが観測された際に、qiそれぞれが、リファンレンスコンテンツjが得られるスコアを意味する。即ち、qiが観測された時点で、それぞれが、リファレンスコンテンツjから生成された尤もらしさを意味する。
D(qi)に対応する特徴ベクトルが含まれるリファレンスコンテンツRjのみについて「sij」を算出する
それ以外のRjについては、p(qi|Rj)=0とする
このとき、sij=log(1)=0となるために、D(qi)に対応する特徴ベクトルが含まれないリファレンスコンテンツのスコアは増減しない。
D(qi)=D1(qi)∪D2(qi)∪・・・∪Dm(qi)
リファレンス情報蓄積部10は、コードブックに、多数のリファレンスコンテンツにおける複数の代表ベクトルが登録されている。そして、各代表ベクトルには、リファンレンスコンテンツのIDが紐付けられている。ここで、各代表ベクトルに紐付くリファンレンスコンテンツの特徴ベクトルの集合は、それらm個の中で、特徴ベクトルが互いにオーバラップしない。即ち、「互いに素」であると言える。
p(qi|Dt(qi)) > p(qi|Ds(qi))
即ち、t<sのとき、qiは、Ds(qi)よりもDt(qi)から生成された確率が高い。このD1(qi)・・・Dm(qi)それぞれについて、sijを以下のように算出する。
p(qi|Rj)=ntj/(|Rj|・Vt)
p(qi)=Σs=1 t|Ds(qi)|/(|Rall|・Vt)
ntj:D1(qi)・・・Dt(qi)に出現するRjの特徴ベクトルの数
Rall:リファレンスコンテンツ全ての特徴ベクトル集合
Vt:qiとr’tの距離を半径とする超球(3次元以上)の体積
(尚、2次元であれば面積、1次元であれば長さを表す)
r’t:Dt(qi)の中で最もqiから遠い特徴ベクトル
ここで、p(qi)は、|Rall|個(k近傍密度推定法におけるN)のうち、Σs=1 t|Ds(qi)|個(k近傍密度推定法におけるk)が落ちる確率を、体積Vtで割ったものであることを表す。
sij=log{λ/(1-λ)・ntj|Rall|/Σs=1 t(|Ds(qi)|・|Rj|)+1}
このスコアは、各画像について、最も大きなスコアのみが加算されることとする。
sj=maxj log{λ/(1-λ)・(ntj・|Rall|)/(Σs=1 tDs(qi)・|Rj|)+1)}
ntj: t番目までの部分集合Dtに含まれる
リファレンスコンテンツjの特徴ベクトルの数
Σs=1 tDs(qi): t番目までの部分集合Dtに含まれる
全リファレンスコンテンツjの特徴ベクトルの数
|Rall|: 全リファレンスコンテンツにおける全特徴ベクトルの数
|Rj|: 当該リファレンスコンテンツjにおける全特徴ベクトルの数
λ、1-λ: 混合パラメータ
以下では、本発明における類似ベクトル探索部13及び投票部14における具体的な処理内容について詳述する。
score1=score1+log{λ/(1-λ)・(3|Rall|/8|R1|)+1}
(8個の中で3個が、ID=1であることを意味)
リファレンスコンテンツID=4: n14=2個
score4=score4+log{λ/(1-λ)・(2|Rall|/8|R1|)+1}
(8個の中で2個が、ID=4であることを意味)
リファレンスコンテンツID=5: n15=1個
score5=score5+log{λ/(1-λ)・(1|Rall|/8|R1|)+1}
(8個の中で1個が、ID=5であることを意味)
リファレンスコンテンツID=6: n16=2個
score5=score5+log{λ/(1-λ)・(2|Rall|/8|R1|)+1}
(8個の中で2個が、ID=6であることを意味)
本発明によれば、投票部14は、部分集合Dt(1≦t≦m)毎に各リファレンスコンテンツについてスコアを算出し、当該スコアが最大となる部分集合Dt’におけるスコアを投票に用いる。
リファレンスコンテンツID=1: n11=2個
score1=score1+log{λ/(1-λ)・(2|Rall|/3|R1|)+1}
リファレンスコンテンツID=4: n14=1個
score4=score4+log{λ/(1-λ)・(1|Rall|/3|R4|)+1}
(第2の集合t=2、|D2(qi)|=3個、Σs=1 t|D2(qi)|=6個)
リファレンスコンテンツID=5: n15=1個
score5=score5+log{λ/(1-λ)・(1|Rall|/6|R5|)+1}
リファレンスコンテンツID=4: n14=1個
×score4=score4+log{λ/(1-λ)・(2|Rall|/6|R4|)+1}
★ここで、先のD1で得られたscore4と同じであるために、採用しない。
リファレンスコンテンツID=1: n11=1個
×score1=score1+log{λ/(1-λ)・(3|Rall|/6|R1|)+1}
★ここで、先のD1で得られたscore1よりも小さい(2/3>3/6)ために、
採用しない。
(第3の集合t=3、|D3(qi)|=2個、Σs=1 t|D3(qi)|=8個)
リファレンスコンテンツID=6: n16=2個
score6=score6+log{λ/(1-λ)・(2|Rall|/8|R6|)+1}
リファレンスコンテンツID=1: n11=1個
score1=score1+log{λ/(1-λ)・(1|Rall|/1|R1|)+1}
(第2の特徴ベクトルt=2、|D2(qi)|=1個、Σs=1 t|D2(qi)|=2個)
リファレンスコンテンツID=4: n24=1個
score4=score4+log{λ/(1-λ)・(1|Rall|/2|R1|)+1}
(第3の特徴ベクトルt=3、|D3(qi)|=1個、Σs=1 t|D3(qi)|=3個)
リファレンスコンテンツID=1: n31=1個
×score1=score1+log{λ/(1-λ)・(2|Rall|/3|R1|)+1}
★ここで、先のD1で得られたscore1よりも小さい(1/1>2/3)ために、
採用しない。
(第4の特徴ベクトルt=4、|D4(qi)|=1個、Σs=1 t|D4(qi)|=4個)
リファレンスコンテンツID=5: n45=1個
score5=score5+log{λ/(1-λ)・(1|Rall|/4|R1|)+1}
(第5の特徴ベクトルt=5、|D5(qi)|=1個、Σs=1 t|D5(qi)|=5個)
リファレンスコンテンツID=4: n54=1個
score4=score4+log{λ/(1-λ)・(2|Rall|/5|R1|)+1}
★ここで、先のD2で得られたscore4よりも小さい(1/2>2/5)ために、
採用しない。
(第6の特徴ベクトルt=6、|D6(qi)|=1個、Σs=1 t|D6(qi)|=6個)
リファレンスコンテンツID=1: n61=1個
score1=score1+log{λ/(1-λ)・(3|Rall|/6|R1|)+1}
★ここで、先のD1で得られたscore1よりも小さい(1/1>3/6)ために、
採用しない。
(第7の特徴ベクトルt=7、|D7(qi)|=1個、Σs=1 t|D7(qi)|=7個)
リファレンスコンテンツID=6: n76=1個
score6=score6+log{λ/(1-λ)・(1|Rall|/7|R1|)+1}
(第8の特徴ベクトルt=8、|D8(qi)|=1個、Σs=1 t|D8(qi)|=8個)
リファレンスコンテンツID=6: n86=1個
score6=score6+log{λ/(1-λ)・(2|Rall|/8|R1|)+1}
★ここで、先のD7で得られたscore6よりも大きい(1/7<2/8)ために、
先のD7で得られたscore6を採用しない。
(直積量子化を用いた方法やHamming Embeddingを用いた方法、LSH等のような、2段階のm近傍探索を利用する場合)
類似ベクトル探索部13は、近傍特徴ベクトル数mを固定値とすることなく、更新(可変)することも好ましい。この場合、類似ベクトル探索部13は、以下の2つのステップを有する(例えば非特許文献2及び5参照)。
10 リファレンス情報蓄積部
11 特徴ベクトル集合抽出部
12 リファレンス情報生成部
13 類似ベクトル探索部
14 投票部
Claims (12)
- 特徴ベクトルの集合で表されるリファレンスコンテンツの集合から、特徴ベクトルの集合で表されるクエリコンテンツに類似したリファレンスコンテンツを検索する検索装置であって、
複数のリファレンスコンテンツRjから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶したリファレンス情報蓄積手段と、
前記リファレンス情報蓄積手段を用いて、クエリコンテンツの各特徴ベクトルqiについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Dを、少なくとも1つ以上探索する類似ベクトル探索手段と、
混合パラメータλを用いて、前記クエリコンテンツの各特徴ベクトルqiが、探索された各リファレンスコンテンツから生成される確率λ・p(qi|Rj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・p(qi)との確率比に基づいて、リファレンスコンテンツRj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルqiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツRjを、検索結果として出力する投票手段と
を有することを特徴とする検索装置。 - 前記投票手段は、前記確率比を、探索されたリファレンスコンテンツの特徴ベクトルの集合Dに含まれる、全リファレンスコンテンツの特徴ベクトルの出現数(Ds)に対する、当該リファレンスコンテンツRjの特徴ベクトルの出現数(nj)との比(nj/Ds)に基づいて算出することを特徴とする請求項1に記載の検索装置。
- 前記投票手段は、前記確率比を、更に以下の式における比に基づいて算出する
(集合Dに含まれる当該リファレンスコンテンツRjの特徴ベクトルの数(nj)×
全リファレンスコンテンツの特徴ベクトルの数(|Rall|))/
(集合Dに含まれる全リファレンスコンテンツの特徴ベクトルの数(Ds)×
当該リファレンスコンテンツRjの特徴ベクトルの数(Rj))
ことを特徴とする請求項2に記載の検索装置。 - 前記類似ベクトル探索手段は、探索されたリファレンスコンテンツの特徴ベクトルの集合を、クエリコンテンツの特徴ベクトルqiに対する平均的な類似度に応じて1つ以上の部分集合(クラスタ)Dに区分し、上位からの近傍数m(≧1)番目までの部分集合Dを順序付けし、
前記投票手段は、部分集合Dt(1≦t≦m)毎に各リファレンスコンテンツについてスコアを算出し、当該スコアが最大となる部分集合Dt’におけるスコアを投票に用いる
ことを特徴とする請求項2又は3に記載の検索装置。 - 前記投票手段は、上位からt番目までの特徴ベクトルの集合Dtについて、クエリコンテンツの特徴ベクトルqiに対するリファレンスコンテンツjのスコアsjを、以下の式によって算出する
sj=maxj log{λ/(1-λ)・(ntj・|Rall|)/(Σs=1 t|Ds(qi)|・|Rj|)+1)}
ntj: t番目までの部分集合Dtに含まれる
リファレンスコンテンツjの特徴ベクトルの数
Σs=1 t|Ds(qi)|: t番目までの部分集合Dtに含まれる
全リファレンスコンテンツjの特徴ベクトルの数
|Rall|: 全リファレンスコンテンツにおける全特徴ベクトルの数
|Rj|: 当該リファレンスコンテンツjにおける全特徴ベクトルの数
λ、1-λ: 混合パラメータ
ことを特徴とする請求項4に記載の検索装置。 - 前記リファレンス情報蓄積手段は、各部分集合(クラスタ)D毎に、特徴ベクトルの平均的な代表ベクトルを更に対応付けて記憶しており、
前記類似ベクトル探索手段は、クエリコンテンツの各特徴ベクトルqiと、各部分集合Dの代表ベクトルとを比較して、部分集合Dを探索する
ことを特徴とする請求項4又は5に記載の検索装置。 - 前記類似ベクトル探索手段は、
クエリコンテンツの各特徴ベクトルqiに類似する、リファレンスコンテンツの特徴ベクトルのうちk個の部分集合を探索する第1のステップと、
近傍数kの部分集合に含まれる、リファレンスコンテンツの特徴ベクトルの数Lを計数する第2のステップと
近傍数k個の部分集合に含まれるL個のリファレンスコンテンツの特徴ベクトルのうち、更にqiに類似した上位m(m≦L)個の特徴ベクトルを探索する第3のステップと
を有し、
第3のステップにおける特徴ベクトル数mは、第2のステップによって計数された特徴ベクトルの数Lに応じて更新され、
前記Dt(qi)(1≦t≦m)は、t番目の特徴ベクトルのみで構成される
ことを特徴とする請求項4から6のいずれか1項に記載の検索装置。 - 第3のステップにおける特徴ベクトル数mは、第2のステップによって得られる特徴ベクトルの数Lを用いて、αL(α≦1)によって決定される
ことを特徴とする請求項7に記載の検索装置。 - 第3のステップにおける特徴ベクトル数mは、第2のステップによって得られる特徴ベクトルの数Lを用いて、Lα(α≦1)によって決定される
ことを特徴とする請求項7に記載の検索装置。 - リファレンスコンテンツ及びクエリコンテンツから、特徴ベクトルを抽出する特徴ベクトル集合抽出手段を更に有し、
前記特徴ベクトル集合抽出手段は、異なる種類のアルゴリズム毎に、複数の特徴ベクトルを出力することができ、
前記投票手段は、クエリコンテンツ及びリファレンスコンテンツそれぞれについて、異なる種類の特徴ベクトル毎にスコアsを算出し、各リファレンスコンテンツについて異なる種類の特徴ベクトルのスコアsを重み付け和した値を、最終的なスコアとする
ことを特徴とする請求項1から9のいずれか1項に記載の検索装置。 - 前記クエリコンテンツ及びリファレンスコンテンツは、画像であって、
前記リファレンスコンテンツとしての画像には、同一の物体又は同一カテゴリに属する少なくとも1つのインスタンス(対象物、オブジェクト)が写っている
ことを特徴とする請求項1から10のいずれか1項に記載の検索装置。 - 特徴ベクトルの集合で表されるリファレンスコンテンツの集合から、特徴ベクトルの集合で表されるクエリコンテンツに類似したリファレンスコンテンツを検索する装置に搭載されたコンピュータを機能させる検索プログラムであって、
複数のリファレンスコンテンツRjから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶したリファレンス情報蓄積手段と、
前記リファレンス情報蓄積手段を用いて、クエリコンテンツの各特徴ベクトルqiについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Dを、少なくとも1つ以上探索する類似ベクトル探索手段と、
混合パラメータλを用いて、前記クエリコンテンツの各特徴ベクトルqiが、探索された各リファレンスコンテンツから生成される確率λ・p(qi|Rj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・p(qi)との確率比に基づいて、リファレンスコンテンツRj毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルqiについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツRjを、検索結果として出力する投票手段と
してコンピュータを機能させることを特徴とする検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012121454A JP5833499B2 (ja) | 2012-05-29 | 2012-05-29 | 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012121454A JP5833499B2 (ja) | 2012-05-29 | 2012-05-29 | 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013246739A true JP2013246739A (ja) | 2013-12-09 |
JP5833499B2 JP5833499B2 (ja) | 2015-12-16 |
Family
ID=49846422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012121454A Active JP5833499B2 (ja) | 2012-05-29 | 2012-05-29 | 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5833499B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095594A (ja) * | 2014-11-12 | 2016-05-26 | 株式会社東芝 | 算出装置、方法及びプログラム |
JP2019523474A (ja) * | 2016-05-17 | 2019-08-22 | ケルクエスト | 材料被写体の拡張認証の方法 |
WO2020100289A1 (ja) | 2018-11-16 | 2020-05-22 | 富士通株式会社 | 類似度計算装置、類似度計算方法および類似度計算プログラム |
JP2022541832A (ja) * | 2019-07-23 | 2022-09-27 | ベイジン・ジンドン・ゼンシ・インフォメーション・テクノロジー・カンパニー・リミテッド | 画像を検索するための方法及び装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011257970A (ja) * | 2010-06-09 | 2011-12-22 | Kddi Corp | 高次元の特徴ベクトルの集合から類似した特徴ベクトルを検索する検索装置及びプログラム |
-
2012
- 2012-05-29 JP JP2012121454A patent/JP5833499B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011257970A (ja) * | 2010-06-09 | 2011-12-22 | Kddi Corp | 高次元の特徴ベクトルの集合から類似した特徴ベクトルを検索する検索装置及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095594A (ja) * | 2014-11-12 | 2016-05-26 | 株式会社東芝 | 算出装置、方法及びプログラム |
JP2019523474A (ja) * | 2016-05-17 | 2019-08-22 | ケルクエスト | 材料被写体の拡張認証の方法 |
JP7257631B2 (ja) | 2016-05-17 | 2023-04-14 | ケルクエスト | 材料被写体の拡張認証の方法 |
WO2020100289A1 (ja) | 2018-11-16 | 2020-05-22 | 富士通株式会社 | 類似度計算装置、類似度計算方法および類似度計算プログラム |
JPWO2020100289A1 (ja) * | 2018-11-16 | 2021-11-04 | 富士通株式会社 | 類似度計算装置、類似度計算方法および類似度計算プログラム |
JP2022541832A (ja) * | 2019-07-23 | 2022-09-27 | ベイジン・ジンドン・ゼンシ・インフォメーション・テクノロジー・カンパニー・リミテッド | 画像を検索するための方法及び装置 |
JP7504192B2 (ja) | 2019-07-23 | 2024-06-21 | ベイジン・ジンドン・ゼンシ・インフォメーション・テクノロジー・カンパニー・リミテッド | 画像を検索するための方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5833499B2 (ja) | 2015-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zheng et al. | SIFT meets CNN: A decade survey of instance retrieval | |
Zheng et al. | Coupled binary embedding for large-scale image retrieval | |
Wu et al. | Semi-supervised nonlinear hashing using bootstrap sequential projection learning | |
Zheng et al. | $\mathcal {L} _p $-Norm IDF for Scalable Image Retrieval | |
WO2013129580A1 (ja) | 近似最近傍探索装置、近似最近傍探索方法およびそのプログラム | |
Yang et al. | Dynamic match kernel with deep convolutional features for image retrieval | |
JP5598925B2 (ja) | 高次元の特徴ベクトルを高精度で検索する検索装置及びプログラム | |
Wang et al. | A unified learning framework for auto face annotation by mining web facial images | |
Zheng et al. | Seeing the big picture: Deep embedding with contextual evidences | |
Vieux et al. | Content based image retrieval using bag-of-regions | |
CN105760875B (zh) | 基于随机森林算法的判别二进制图像特征相似实现方法 | |
Dharani et al. | Content based image retrieval system using feature classification with modified KNN algorithm | |
Wang et al. | Beauty product image retrieval based on multi-feature fusion and feature aggregation | |
JP5833499B2 (ja) | 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム | |
Battiato et al. | Bags of phrases with codebooks alignment for near duplicate image detection | |
JP6017277B2 (ja) | 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 | |
Shekar et al. | An unification of inner distance shape context and local binary pattern for shape representation and classification | |
Li et al. | Near duplicate image detecting algorithm based on bag of visual word model | |
Liu et al. | Multiview Cross-Media Hashing with Semantic Consistency | |
Hua et al. | Cross-modal correlation learning with deep convolutional architecture | |
Selvam et al. | A new architecture for image retrieval optimization with HARP algorithm | |
Bueno et al. | Bayesian approach for near-duplicate image detection | |
Li et al. | A light-weight relevance feedback solution for large scale content-based video retrieval | |
Doulamis et al. | 3D modelling of cultural heritage objects from photos posted over the Twitter | |
Masoud | Enhancing automatic annotation for optimal image retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151021 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5833499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |