JP2001167118A - 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 - Google Patents
画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体Info
- Publication number
- JP2001167118A JP2001167118A JP35165799A JP35165799A JP2001167118A JP 2001167118 A JP2001167118 A JP 2001167118A JP 35165799 A JP35165799 A JP 35165799A JP 35165799 A JP35165799 A JP 35165799A JP 2001167118 A JP2001167118 A JP 2001167118A
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- group
- image feature
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/431—Frequency domain transformation; Autocorrelation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99936—Pattern matching access
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 検索性能を損なうことなくシステム構成を簡
易にし、かつ高速な画像検索装置を提供する。 【解決手段】 画像データベースに蓄積された画像デー
タから抽出される第１の画像特徴量群を変換して類似度
の算出に用いる第２の画像特徴量群を生成する計数変換
部１１と、問い合わせ画像の画像データから抽出される
第１の画像特徴量群を変換して類似度の算出に用いる第
２の画像特徴量群を生成する計数変換部１３と、計数変
換部１１にて生成された画像データごとの第２の画像特
徴量群と係数変換部１３にて変換された問い合わせ画像
に関する第２の画像特徴量とを比較して類似度を算出す
る類似度算出部１４とを備える。
易にし、かつ高速な画像検索装置を提供する。 【解決手段】 画像データベースに蓄積された画像デー
タから抽出される第１の画像特徴量群を変換して類似度
の算出に用いる第２の画像特徴量群を生成する計数変換
部１１と、問い合わせ画像の画像データから抽出される
第１の画像特徴量群を変換して類似度の算出に用いる第
２の画像特徴量群を生成する計数変換部１３と、計数変
換部１１にて生成された画像データごとの第２の画像特
徴量群と係数変換部１３にて変換された問い合わせ画像
に関する第２の画像特徴量とを比較して類似度を算出す
る類似度算出部１４とを備える。
Description
【０００１】
【発明が属する技術分野】本発明は、画像データベース
に蓄積された画像の中から問い合わせ画像に類似する画
像を検索する画像検索装置及び方法、並びに類似画像検
索プログラムを格納した記憶媒体に関する。
に蓄積された画像の中から問い合わせ画像に類似する画
像を検索する画像検索装置及び方法、並びに類似画像検
索プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】画像データを蓄積して管理する画像デー
タベースにおいて、蓄積されている画像データの中から
所定の画像（以下、問い合わせ画像と称す）と類似する
画像データを検索する画像検索が行われる場合がある。
この種の類似画像検索技術は従来から数多く提案されて
いる。
タベースにおいて、蓄積されている画像データの中から
所定の画像（以下、問い合わせ画像と称す）と類似する
画像データを検索する画像検索が行われる場合がある。
この種の類似画像検索技術は従来から数多く提案されて
いる。
【０００３】従来、この種の従来の類似画像検索技術
は、主として、色情報を画像特徴量として用いるもので
ある。また、その中のほとんどが色情報についてのヒス
トグラムを計算し、その類似性を用いた検索方法を採用
している。しかし、この手法には、画像の持つ色構造が
反映されないという欠点があった。
は、主として、色情報を画像特徴量として用いるもので
ある。また、その中のほとんどが色情報についてのヒス
トグラムを計算し、その類似性を用いた検索方法を採用
している。しかし、この手法には、画像の持つ色構造が
反映されないという欠点があった。
【０００４】そこで、画像の色構造を反映させた精度の
良い検索を行う類似画像検索技術が提案されている。こ
の種の従来技術として、例えば特開平８−２４９３４９
号公報に開示された技術がある。同公報に記載された画
像データベース装置は、画像を複数のブロックに分割
し、各ブロックについての代表色を画像特徴量として求
め、パターンマッチングを行う。これにより、色構造を
反映した精度よい検索を行うことができる。しかし、同
公報に開示された従来技術の場合、各ブロックについて
代表色を求めるため特徴量サイズが大きくなってしまう
ため、検索速度が遅くなってしまう。また、処理に必要
なハードウェアの規模が大きくなる。
良い検索を行う類似画像検索技術が提案されている。こ
の種の従来技術として、例えば特開平８−２４９３４９
号公報に開示された技術がある。同公報に記載された画
像データベース装置は、画像を複数のブロックに分割
し、各ブロックについての代表色を画像特徴量として求
め、パターンマッチングを行う。これにより、色構造を
反映した精度よい検索を行うことができる。しかし、同
公報に開示された従来技術の場合、各ブロックについて
代表色を求めるため特徴量サイズが大きくなってしまう
ため、検索速度が遅くなってしまう。また、処理に必要
なハードウェアの規模が大きくなる。
【０００５】さらに、この問題を解決すべく、画像を直
交変換することにより画像特徴量を効率的に表現する方
法が考えられる。図４は変換係数を利用した画像検索装
置の主要部分の構成を示すブロック図である。図４に示
すように、画像特徴量記憶部４１は、種々の画像データ
に対する変換係数（４０１）を記憶する。類似度算出部
４２は、問い合わせ画像データに対する変換係数（４０
３）と画像特徴量記憶部４１に蓄積された特徴量（４０
２）との類似度を算出し、その類似度（４０４）を算出
し出力する。画像を直交変換し、一部の係数を画像特徴
量として利用することにより、画像特徴量サイズを小さ
くできる。このため、検索処理を高速化することがで
き、またハードウェア規模を小さくできる。
交変換することにより画像特徴量を効率的に表現する方
法が考えられる。図４は変換係数を利用した画像検索装
置の主要部分の構成を示すブロック図である。図４に示
すように、画像特徴量記憶部４１は、種々の画像データ
に対する変換係数（４０１）を記憶する。類似度算出部
４２は、問い合わせ画像データに対する変換係数（４０
３）と画像特徴量記憶部４１に蓄積された特徴量（４０
２）との類似度を算出し、その類似度（４０４）を算出
し出力する。画像を直交変換し、一部の係数を画像特徴
量として利用することにより、画像特徴量サイズを小さ
くできる。このため、検索処理を高速化することがで
き、またハードウェア規模を小さくできる。
【０００６】さらにまた、検索精度を向上させるため、
変換係数を復号する方法が考えられる。図５は変換係数
の復号を行う画像検索装置の構成を示すブロック図であ
る。図５に示すように、画像検索装置は、画像特徴量記
憶部５１と、逆直交変換手段５２と、色空間変換手段５
３と類似度算出部５４とを備える。
変換係数を復号する方法が考えられる。図５は変換係数
の復号を行う画像検索装置の構成を示すブロック図であ
る。図５に示すように、画像検索装置は、画像特徴量記
憶部５１と、逆直交変換手段５２と、色空間変換手段５
３と類似度算出部５４とを備える。
【０００７】画像特徴量記憶部５１は、画像データの変
換係数（５０１）を画像特徴量として予め保存してお
く。逆直交変換手段５２は、画像特徴量記憶部５１に蓄
積された画像特徴量（５０２）を逆直交変換し、変換後
の画像データ（５０３）を出力する。色空間変換手段５
３は、逆直交変換手段５２から出力された画像データ
（５０４）の色空間を均等色色空間などに変換して画像
データ（５０４）を出力する。また、問い合わせ画像デ
ータ（５０５）は、色空間変換手段５５により色空間変
換された画像データ（５０６）として類似度算出部５４
に入力される。そして、類似度算出部５４は、入力した
画像データ（５０６）と色空間変換手段５３から取得し
た画像データ（５０４）との類似度（５０７）を算出し
出力する。
換係数（５０１）を画像特徴量として予め保存してお
く。逆直交変換手段５２は、画像特徴量記憶部５１に蓄
積された画像特徴量（５０２）を逆直交変換し、変換後
の画像データ（５０３）を出力する。色空間変換手段５
３は、逆直交変換手段５２から出力された画像データ
（５０４）の色空間を均等色色空間などに変換して画像
データ（５０４）を出力する。また、問い合わせ画像デ
ータ（５０５）は、色空間変換手段５５により色空間変
換された画像データ（５０６）として類似度算出部５４
に入力される。そして、類似度算出部５４は、入力した
画像データ（５０６）と色空間変換手段５３から取得し
た画像データ（５０４）との類似度（５０７）を算出し
出力する。
【０００８】
【発明が解決しようとする課題】しかしながら、上述し
た従来の類似画像検索技術には、次のような欠点があっ
た。
た従来の類似画像検索技術には、次のような欠点があっ
た。
【０００９】画像を直交変換することにより画像特徴量
を効率的に表現する従来技術は、検索処理を高速化で
き、またハードウェア規模を小さくできるが、必ずしも
視覚的に類似する画像を検出できない、または視覚的に
類似しない画像が検出される場合があるという欠点があ
った。これは、変換係数間の距離と画像間の視覚上の類
似度とが合わないため、十分な検索精度が得られないた
めである。
を効率的に表現する従来技術は、検索処理を高速化で
き、またハードウェア規模を小さくできるが、必ずしも
視覚的に類似する画像を検出できない、または視覚的に
類似しない画像が検出される場合があるという欠点があ
った。これは、変換係数間の距離と画像間の視覚上の類
似度とが合わないため、十分な検索精度が得られないた
めである。
【００１０】また、直交変換された係数を復号して画像
を再構築したうえで、ＨＳＶ等の色空間にマッピングし
た画像と、問い合わせ画像とをマッチングする従来技術
は、良好な検索精度を得られるが、非常に検索コストが
かかり、検索速度も低下するという欠点があった。これ
は、検索を行う際に、蓄積された画像の特徴量全てに対
して１つ１つ復号処理、色空間変換処理を行わなければ
ならないためである。
を再構築したうえで、ＨＳＶ等の色空間にマッピングし
た画像と、問い合わせ画像とをマッチングする従来技術
は、良好な検索精度を得られるが、非常に検索コストが
かかり、検索速度も低下するという欠点があった。これ
は、検索を行う際に、蓄積された画像の特徴量全てに対
して１つ１つ復号処理、色空間変換処理を行わなければ
ならないためである。
【００１１】本発明の目的は、上記従来の欠点を解決
し、検索性能を損なうことなくシステム構成を簡易にし
た画像検索装置及び方法、並びに類似画像検索プログラ
ムを格納した記憶媒体を提供することにある。
し、検索性能を損なうことなくシステム構成を簡易にし
た画像検索装置及び方法、並びに類似画像検索プログラ
ムを格納した記憶媒体を提供することにある。
【００１２】本発明のさらに他の目的は、簡単な計算で
検索できる高速な画像検索装置及び方法、並びに類似画
像検索プログラムを格納した記憶媒体を提供することに
ある。
検索できる高速な画像検索装置及び方法、並びに類似画
像検索プログラムを格納した記憶媒体を提供することに
ある。
【００１３】
【課題を解決するための手段】上記の目的を達成する本
発明は、画像データベースに蓄積された画像の中から所
定の問い合わせ画像に類似する画像を検索する画像検索
装置において、前記画像データベースに蓄積された画像
データから抽出される第１の画像特徴量群を変換して類
似度の算出に用いる第２の画像特徴量群を生成する第１
の計数変換手段と、前記問い合わせ画像の画像データか
ら抽出される第１の画像特徴量群を変換して類似度の算
出に用いる第２の画像特徴量群を生成する第２の計数変
換手段と、前記第１の計数変換手段にて生成された画像
データごとの前記第２の画像特徴量群と前記第２の係数
変換手段にて変換された前記第２の画像特徴量とを比較
して類似度を算出する類似度算出手段とを備えることを
特徴とする。
発明は、画像データベースに蓄積された画像の中から所
定の問い合わせ画像に類似する画像を検索する画像検索
装置において、前記画像データベースに蓄積された画像
データから抽出される第１の画像特徴量群を変換して類
似度の算出に用いる第２の画像特徴量群を生成する第１
の計数変換手段と、前記問い合わせ画像の画像データか
ら抽出される第１の画像特徴量群を変換して類似度の算
出に用いる第２の画像特徴量群を生成する第２の計数変
換手段と、前記第１の計数変換手段にて生成された画像
データごとの前記第２の画像特徴量群と前記第２の係数
変換手段にて変換された前記第２の画像特徴量とを比較
して類似度を算出する類似度算出手段とを備えることを
特徴とする。
【００１４】このような構成を採用し、係数変換手段を
設けることにより、検索性能を向上させ、また係数変換
で得られた第２の画像特徴量群をそのまま類似度の計算
に利用することにより、システム構成を簡易にし、高速
な検索を実現するという本発明の目的を達成することが
できる。
設けることにより、検索性能を向上させ、また係数変換
で得られた第２の画像特徴量群をそのまま類似度の計算
に利用することにより、システム構成を簡易にし、高速
な検索を実現するという本発明の目的を達成することが
できる。
【００１５】請求項２の本発明の画像検索装置は、前記
第１の計数変換手段にて生成された前記第２の画像特徴
量群を格納する画像特徴量記憶手段を更に備え、前記類
似度算出手段は、前記第２の計数変換手段から受け取っ
た前記問い合わせ画像の画像データに関する前記第２の
画像特徴量群と、前記画像特徴量記憶手段から読み出し
た前記画像データベースの画像データに関する前記第２
の画像特徴量群とを比較することを特徴とする。
第１の計数変換手段にて生成された前記第２の画像特徴
量群を格納する画像特徴量記憶手段を更に備え、前記類
似度算出手段は、前記第２の計数変換手段から受け取っ
た前記問い合わせ画像の画像データに関する前記第２の
画像特徴量群と、前記画像特徴量記憶手段から読み出し
た前記画像データベースの画像データに関する前記第２
の画像特徴量群とを比較することを特徴とする。
【００１６】請求項３の本発明の画像検索装置は、前記
第１、第２の計数変換手段は、前記画像データベースの
画像データに関する前記第２の画像特徴量群と前記問い
合わせ画像の画像データに関する前記第２の画像特徴量
群との間の距離が比較対象である画像間の視覚上の類似
度を近似するように画像特徴量の変換を行うことを特徴
とする。
第１、第２の計数変換手段は、前記画像データベースの
画像データに関する前記第２の画像特徴量群と前記問い
合わせ画像の画像データに関する前記第２の画像特徴量
群との間の距離が比較対象である画像間の視覚上の類似
度を近似するように画像特徴量の変換を行うことを特徴
とする。
【００１７】請求項４の本発明の画像検索装置は、前記
第１、第２の計数変換手段は、画像特徴量として画像デ
ータに対して所定の変換処理を行うことによって得られ
る変換係数を用いることを特徴とする。
第１、第２の計数変換手段は、画像特徴量として画像デ
ータに対して所定の変換処理を行うことによって得られ
る変換係数を用いることを特徴とする。
【００１８】請求項５の本発明の画像検索装置は、前記
第１、第２の計数変換手段は、画像特徴量として用いる
変換係数の種類に応じて選択された変換テーブルを用い
て計数の変換を行い、前記第１、第２の計数変換手段が
用いる前記変換テーブルは、区切る範囲の異なる複数の
変換テーブルを用いて試験的に類似画像の検索を行い、
該試験的検索における正解率の高い変換テーブルが選択
されることを特徴とする。
第１、第２の計数変換手段は、画像特徴量として用いる
変換係数の種類に応じて選択された変換テーブルを用い
て計数の変換を行い、前記第１、第２の計数変換手段が
用いる前記変換テーブルは、区切る範囲の異なる複数の
変換テーブルを用いて試験的に類似画像の検索を行い、
該試験的検索における正解率の高い変換テーブルが選択
されることを特徴とする。
【００１９】請求項６の本発明の画像検索装置は、前記
第１、第２の計数変換手段は、前記変換係数の振幅の小
さい部分に対して細かく量子化を行い、振幅の大きい部
分に対して粗く量子化を行うように係数変換を行うこと
を特徴とする。
第１、第２の計数変換手段は、前記変換係数の振幅の小
さい部分に対して細かく量子化を行い、振幅の大きい部
分に対して粗く量子化を行うように係数変換を行うこと
を特徴とする。
【００２０】請求項７の本発明の画像検索装置は、前記
第１、第２の計数変換手段は、画像データから得られる
複数の係数のうち、前記変換係数のパワーの小さい係数
に対して細かく量子化を行い、パワーの大きい係数に対
して粗く量子化を行うように係数変換を行うことを特徴
とする。
第１、第２の計数変換手段は、画像データから得られる
複数の係数のうち、前記変換係数のパワーの小さい係数
に対して細かく量子化を行い、パワーの大きい係数に対
して粗く量子化を行うように係数変換を行うことを特徴
とする。
【００２１】また上記の目的を達成する他の本発明は、
画像データベースに蓄積された画像の中から所定の問い
合わせ画像に類似する画像を検索する画像検索装置にお
いて、前記画像データベースに蓄積された画像データ及
び前記問い合わせ画像の画像データから抽出される第１
の画像特徴量群を変換して類似度の算出に用いる第２の
画像特徴量群を生成する計数変換手段と、前記計数変換
手段にて生成された前記第２の画像特徴量群を比較して
前記画像データベースに蓄積された画像と前記問い合わ
せ画像との類似度を算出する類似度算出手段とを備える
ことを特徴とする。
画像データベースに蓄積された画像の中から所定の問い
合わせ画像に類似する画像を検索する画像検索装置にお
いて、前記画像データベースに蓄積された画像データ及
び前記問い合わせ画像の画像データから抽出される第１
の画像特徴量群を変換して類似度の算出に用いる第２の
画像特徴量群を生成する計数変換手段と、前記計数変換
手段にて生成された前記第２の画像特徴量群を比較して
前記画像データベースに蓄積された画像と前記問い合わ
せ画像との類似度を算出する類似度算出手段とを備える
ことを特徴とする。
【００２２】また、上記の目的を達成する更に他の本発
明は、画像データベースに蓄積された画像の中から所定
の問い合わせ画像に類似する画像を検索する画像検索方
法において、前記画像データベースに蓄積された画像デ
ータから抽出される第１の画像特徴量群を変換して類似
度の算出に用いる第２の画像特徴量群を生成するステッ
プと、前記問い合わせ画像の画像データから抽出される
第１の画像特徴量群を変換して類似度の算出に用いる第
２の画像特徴量群を生成するステップと、前記画像デー
タベースに蓄積された画像データに関する前記第２の画
像特徴量群と前記問い合わせ画像の画像データに関する
前記第２の画像特徴量とを比較して類似度を算出するス
テップとを含むことを特徴とする。
明は、画像データベースに蓄積された画像の中から所定
の問い合わせ画像に類似する画像を検索する画像検索方
法において、前記画像データベースに蓄積された画像デ
ータから抽出される第１の画像特徴量群を変換して類似
度の算出に用いる第２の画像特徴量群を生成するステッ
プと、前記問い合わせ画像の画像データから抽出される
第１の画像特徴量群を変換して類似度の算出に用いる第
２の画像特徴量群を生成するステップと、前記画像デー
タベースに蓄積された画像データに関する前記第２の画
像特徴量群と前記問い合わせ画像の画像データに関する
前記第２の画像特徴量とを比較して類似度を算出するス
テップとを含むことを特徴とする。
【００２３】請求項１０の本発明の画像検索方法は、前
記第１の画像特徴量群を変換して前記第２の画像特徴量
群を生成する二つのステップにおいて、画像特徴量とし
て用いる変換係数の種類に応じて選択された変換テーブ
ルを用いて計数の変換を行い、かつ、係数の変換に用い
る前記変換テーブルは、区切る範囲の異なる複数の変換
テーブルを用いて試験的に類似画像の検索を行い、該試
験的検索における正解率の高い変換テーブルが選択され
ることを特徴とする。
記第１の画像特徴量群を変換して前記第２の画像特徴量
群を生成する二つのステップにおいて、画像特徴量とし
て用いる変換係数の種類に応じて選択された変換テーブ
ルを用いて計数の変換を行い、かつ、係数の変換に用い
る前記変換テーブルは、区切る範囲の異なる複数の変換
テーブルを用いて試験的に類似画像の検索を行い、該試
験的検索における正解率の高い変換テーブルが選択され
ることを特徴とする。
【００２４】また、上記の目的を達成する更に他の本発
明は、コンピュータを制御して画像データベースに蓄積
された画像の中から所定の問い合わせ画像に類似する画
像を検索させる類似画像検索プログラムを格納した記憶
媒体であって、前記類似画像検索プログラムが、前記画
像データベースに蓄積された画像データから抽出される
第１の画像特徴量群を変換して類似度の算出に用いる第
２の画像特徴量群を生成するステップと、前記問い合わ
せ画像の画像データから抽出される第１の画像特徴量群
を変換して類似度の算出に用いる第２の画像特徴量群を
生成するステップと、前記画像データベースに蓄積され
た画像データに関する前記第２の画像特徴量群と前記問
い合わせ画像の画像データに関する前記第２の画像特徴
量とを比較して類似度を算出するステップとを含むこと
を特徴とする。
明は、コンピュータを制御して画像データベースに蓄積
された画像の中から所定の問い合わせ画像に類似する画
像を検索させる類似画像検索プログラムを格納した記憶
媒体であって、前記類似画像検索プログラムが、前記画
像データベースに蓄積された画像データから抽出される
第１の画像特徴量群を変換して類似度の算出に用いる第
２の画像特徴量群を生成するステップと、前記問い合わ
せ画像の画像データから抽出される第１の画像特徴量群
を変換して類似度の算出に用いる第２の画像特徴量群を
生成するステップと、前記画像データベースに蓄積され
た画像データに関する前記第２の画像特徴量群と前記問
い合わせ画像の画像データに関する前記第２の画像特徴
量とを比較して類似度を算出するステップとを含むこと
を特徴とする。
【００２５】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。
施の形態について説明する。
【００２６】図１は、本発明の一実施の形態による画像
検索装置の構成を示すブロック図である。図１を参照す
ると、本実施の形態による画像検索装置は、画像特徴量
の変換を行う係数変換部１１、１３と、係数変換部１１
により変換された画像データの画像特徴量を蓄積する画
像特徴量記憶部１２と、係数変換部１３により変換され
た問い合わせ画像の画像特徴量と画像特徴量記憶部１２
に蓄積された画像データの画像特徴量とを比較して類似
度を算出する類似度算出部１４とを備える。
検索装置の構成を示すブロック図である。図１を参照す
ると、本実施の形態による画像検索装置は、画像特徴量
の変換を行う係数変換部１１、１３と、係数変換部１１
により変換された画像データの画像特徴量を蓄積する画
像特徴量記憶部１２と、係数変換部１３により変換され
た問い合わせ画像の画像特徴量と画像特徴量記憶部１２
に蓄積された画像データの画像特徴量とを比較して類似
度を算出する類似度算出部１４とを備える。
【００２７】なお、本実施の形態において、係数変換部
１１、１３と類似度算出部１４とは、例えばパーソナル
コンピュータやワークステーション、その他のコンピュ
ータシステムにおけるプログラム制御されたＣＰＵとＲ
ＡＭその他の内部メモリとで実現される。また、画像特
徴量記憶部１２は、例えば磁気ディスクその他の外部記
憶装置で実現される。画像データを外部記憶装置に格納
しておき、類似画像の検索を行うたびに問い合わせ画像
と比較する画像データの画像特徴量を取り出して変換す
るならば、画像特徴量記憶部１２を内部メモリで実現す
ることもできる。係数変換部１１、１３及び類似度算出
部１４の機能を実現するコンピュータプログラムは、磁
気ディスクや光ディスク、半導体メモリ、その他の一般
的な記憶媒体に格納して提供される。
１１、１３と類似度算出部１４とは、例えばパーソナル
コンピュータやワークステーション、その他のコンピュ
ータシステムにおけるプログラム制御されたＣＰＵとＲ
ＡＭその他の内部メモリとで実現される。また、画像特
徴量記憶部１２は、例えば磁気ディスクその他の外部記
憶装置で実現される。画像データを外部記憶装置に格納
しておき、類似画像の検索を行うたびに問い合わせ画像
と比較する画像データの画像特徴量を取り出して変換す
るならば、画像特徴量記憶部１２を内部メモリで実現す
ることもできる。係数変換部１１、１３及び類似度算出
部１４の機能を実現するコンピュータプログラムは、磁
気ディスクや光ディスク、半導体メモリ、その他の一般
的な記憶媒体に格納して提供される。
【００２８】係数変換部１１、１３は、画像データから
抽出される第１の画像特徴量群の各要素を、類似度算出
部１４による類似度の算出に用いる第２の画像特徴量群
の各要素に変換する。本実施の形態では、画像特徴量と
して変換係数を用いる。変換係数とは画像データに対し
て離散コサイン変換（ＤＣＴ）、ウェーブレット変換、
アダマール変換などの変換処理を行うことにより得られ
る係数である。画像特徴量の各係数に対して個別の変換
方法を適用して変換することも、複数の係数に対して共
通の変換方法を適用することも可能である。
抽出される第１の画像特徴量群の各要素を、類似度算出
部１４による類似度の算出に用いる第２の画像特徴量群
の各要素に変換する。本実施の形態では、画像特徴量と
して変換係数を用いる。変換係数とは画像データに対し
て離散コサイン変換（ＤＣＴ）、ウェーブレット変換、
アダマール変換などの変換処理を行うことにより得られ
る係数である。画像特徴量の各係数に対して個別の変換
方法を適用して変換することも、複数の係数に対して共
通の変換方法を適用することも可能である。
【００２９】なお、上述のように、係数変換部１１は、
画像データベースに蓄積されている画像データから第１
の画像特徴量（１０１）を抽出して変換し、変換後の第
２の画像特徴量（１０２）を画像特徴量記憶部１２に格
納する。また、係数変換部１３は、問い合わせ画像の画
像データから第１の画像特徴量（１０３）を抽出して変
換し、変換後の第２の画像特徴量（１０４）を類似度算
出部１４に送る。
画像データベースに蓄積されている画像データから第１
の画像特徴量（１０１）を抽出して変換し、変換後の第
２の画像特徴量（１０２）を画像特徴量記憶部１２に格
納する。また、係数変換部１３は、問い合わせ画像の画
像データから第１の画像特徴量（１０３）を抽出して変
換し、変換後の第２の画像特徴量（１０４）を類似度算
出部１４に送る。
【００３０】係数変換部１１、１３にて実行される変換
方法は、第２の画像特徴量群間の距離が画像間の視覚上
の類似度を近似するように係数の変換を行う。すなわ
ち、視覚的に類似する画像においては、両画像における
第２の画像特徴量群間の距離が小さくなり、反対に視覚
的に類似しない画像においては、両画像における第２の
画像特徴量群間の距離が大きくなるように係数の変換を
行う。変換の手法としては、このような結果を得られる
変換であれば、特にその種類は限定されないが、一例と
して変換テーブルを用いた手法を挙げることができる。
この変換テーブルの選択による係数変換の例については
後述する。
方法は、第２の画像特徴量群間の距離が画像間の視覚上
の類似度を近似するように係数の変換を行う。すなわ
ち、視覚的に類似する画像においては、両画像における
第２の画像特徴量群間の距離が小さくなり、反対に視覚
的に類似しない画像においては、両画像における第２の
画像特徴量群間の距離が大きくなるように係数の変換を
行う。変換の手法としては、このような結果を得られる
変換であれば、特にその種類は限定されないが、一例と
して変換テーブルを用いた手法を挙げることができる。
この変換テーブルの選択による係数変換の例については
後述する。
【００３１】なお、本実施の形態では、画像データベー
スに格納されている画像データから抽出された第１の画
像特徴量（１０１）を第２の画像特徴量（１０２）に変
換する計数変換部１１と、問い合わせ画像の画像データ
から抽出された第１の画像特徴量（１０３）を第２の画
像特徴量（１０４）に変換する計数変換部１３とを別個
に示しているが、実際の装置においてはこれらを同一の
処理手段として実現し、入力データが画像データベース
中の画像データであるか問い合わせ画像の画像データで
あるかを識別して生成された第２の画像特徴量の転送先
を決定するようにしても良い。
スに格納されている画像データから抽出された第１の画
像特徴量（１０１）を第２の画像特徴量（１０２）に変
換する計数変換部１１と、問い合わせ画像の画像データ
から抽出された第１の画像特徴量（１０３）を第２の画
像特徴量（１０４）に変換する計数変換部１３とを別個
に示しているが、実際の装置においてはこれらを同一の
処理手段として実現し、入力データが画像データベース
中の画像データであるか問い合わせ画像の画像データで
あるかを識別して生成された第２の画像特徴量の転送先
を決定するようにしても良い。
【００３２】画像特徴量記憶部１２は、係数変換部１１
により変換された、画像データベースに格納されている
画像データに関する第２の画像特徴量（１０２）を記憶
する。そして、類似度算出部１４からの要求に応じて、
記憶している第２の画像特徴量を類似度算出部１４に送
る（１０５）。
により変換された、画像データベースに格納されている
画像データに関する第２の画像特徴量（１０２）を記憶
する。そして、類似度算出部１４からの要求に応じて、
記憶している第２の画像特徴量を類似度算出部１４に送
る（１０５）。
【００３３】類似度算出部１４は、係数変換部１３から
受け取った問い合わせ画像に関する第２の画像特徴量
（１０４）と、画像特徴量記憶部１２から受け取った第
２の画像特徴量（１０５）とを比較して、類似度を算出
する。すなわち、二つの第２の画像特徴量（１０４）
（１０５）の間の距離を算出する。そして、画像特徴量
記憶部１２から受け取った第２の画像特徴量（１０５）
のうちで、類似度の高い、すなわち問い合わせ画像から
得られた第２の画像特徴量（１０４）との間の距離が近
いものを選択し、当該第２の画像特徴量（１０５）に対
応する画像データベース中の画像を問い合わせ画像の類
似画像として検出する（１０６）。なお、類似、非類似
の判定は、適当なしきい値を設定しておいて、二つの第
２の画像特徴量（１０４）（１０５）の間の距離が当該
しきい値よりも大きいか小さいかを判断することにより
判定することができる。
受け取った問い合わせ画像に関する第２の画像特徴量
（１０４）と、画像特徴量記憶部１２から受け取った第
２の画像特徴量（１０５）とを比較して、類似度を算出
する。すなわち、二つの第２の画像特徴量（１０４）
（１０５）の間の距離を算出する。そして、画像特徴量
記憶部１２から受け取った第２の画像特徴量（１０５）
のうちで、類似度の高い、すなわち問い合わせ画像から
得られた第２の画像特徴量（１０４）との間の距離が近
いものを選択し、当該第２の画像特徴量（１０５）に対
応する画像データベース中の画像を問い合わせ画像の類
似画像として検出する（１０６）。なお、類似、非類似
の判定は、適当なしきい値を設定しておいて、二つの第
２の画像特徴量（１０４）（１０５）の間の距離が当該
しきい値よりも大きいか小さいかを判断することにより
判定することができる。
【００３４】上記のように類似度算出部１４は、問い合
わせ画像から得られた第２の画像特徴量（１０４）と画
像特徴量記憶部１２に記憶されている第２の画像特徴量
（１０４）を用いて類似度計算を行う。したがって、類
似画像の検索の際に画像特徴量の復号処理を行う必要が
ない。このため、システム構成を簡易にすることができ
る。また、事前に蓄積されている第２の画像特徴量を直
接利用して類似度の計算を行うため、簡単な計算で検索
処理を行うことができる。
わせ画像から得られた第２の画像特徴量（１０４）と画
像特徴量記憶部１２に記憶されている第２の画像特徴量
（１０４）を用いて類似度計算を行う。したがって、類
似画像の検索の際に画像特徴量の復号処理を行う必要が
ない。このため、システム構成を簡易にすることができ
る。また、事前に蓄積されている第２の画像特徴量を直
接利用して類似度の計算を行うため、簡単な計算で検索
処理を行うことができる。
【００３５】次に、係数変換部１１、１３における画像
特徴量の変換処理に変換テーブルを用いる場合におい
て、変換処理に使用する変換テーブルを選択する方法に
ついて説明する。図２は変換テーブルの選択手順を説明
するフローチャートである。
特徴量の変換処理に変換テーブルを用いる場合におい
て、変換処理に使用する変換テーブルを選択する方法に
ついて説明する。図２は変換テーブルの選択手順を説明
するフローチャートである。
【００３６】図２を参照すると、まず、初期設定とし
て、画像データおよび画像データに対応する変換係数を
用意する。また、変換係数に対する変換テーブルを用意
する（ステップ２０１）。ここで、変換係数としては上
述のように種々の変換方法を用いることができ、これに
応じて変換テーブルの種類も選択されることとなる。ま
た、各変換係数の振幅の小さい部分に対して細かく範囲
を区切って値を割り当てる（量子化する）ように係数変
換を行うテーブルを用意し、振幅が大きい部分に対して
粗く範囲を区切って値を割り当てる（量子化する）よう
に係数変換を行うテーブルを用意する必要がある。さら
に、複数の変換係数に着目すれば、相対的にパワーの小
さい係数に対しては細かく範囲を区切って値を割り当て
る（量子化する）ように係数変換を行うテーブルを用意
し、パワーの大きい係数に対しては粗く範囲を区切って
値を割り当てる（量子化する）ように係数変換を行うテ
ーブルを用意する必要がある。そこで、少しずつ区切る
範囲の異なる複数のテーブルを用意する。さらに、変換
テーブルは、各係数毎に個別の基準で変換するテーブ
ル、複数の係数を同一の基準により変換するテーブルの
いずれを用いることも可能である。
て、画像データおよび画像データに対応する変換係数を
用意する。また、変換係数に対する変換テーブルを用意
する（ステップ２０１）。ここで、変換係数としては上
述のように種々の変換方法を用いることができ、これに
応じて変換テーブルの種類も選択されることとなる。ま
た、各変換係数の振幅の小さい部分に対して細かく範囲
を区切って値を割り当てる（量子化する）ように係数変
換を行うテーブルを用意し、振幅が大きい部分に対して
粗く範囲を区切って値を割り当てる（量子化する）よう
に係数変換を行うテーブルを用意する必要がある。さら
に、複数の変換係数に着目すれば、相対的にパワーの小
さい係数に対しては細かく範囲を区切って値を割り当て
る（量子化する）ように係数変換を行うテーブルを用意
し、パワーの大きい係数に対しては粗く範囲を区切って
値を割り当てる（量子化する）ように係数変換を行うテ
ーブルを用意する必要がある。そこで、少しずつ区切る
範囲の異なる複数のテーブルを用意する。さらに、変換
テーブルは、各係数毎に個別の基準で変換するテーブ
ル、複数の係数を同一の基準により変換するテーブルの
いずれを用いることも可能である。
【００３７】次に、問い合わせ画像と、画像データベー
スに蓄積されている画像であって問い合わせ画像に対し
て視覚的に類似している画像とを設定する（ステップ２
０２）。当該問い合わせ画像に対して視覚的に類似して
いる画像を正解画像と呼ぶ。ここで、検索精度を高める
ために、問い合わせ画像とそれに対応する正解画像とは
複数設定され、それぞれについて以下の処理が行われる
ものとする。なお、問い合わせ画像に対してどのような
画像が視覚的に類似しているかについては、最終的には
正解画像を選択するオペレータの主観による。
スに蓄積されている画像であって問い合わせ画像に対し
て視覚的に類似している画像とを設定する（ステップ２
０２）。当該問い合わせ画像に対して視覚的に類似して
いる画像を正解画像と呼ぶ。ここで、検索精度を高める
ために、問い合わせ画像とそれに対応する正解画像とは
複数設定され、それぞれについて以下の処理が行われる
ものとする。なお、問い合わせ画像に対してどのような
画像が視覚的に類似しているかについては、最終的には
正解画像を選択するオペレータの主観による。
【００３８】次に、係数変換部１１、１３が用意された
変換テーブルを読みこみ、かつ画像データの変換係数を
取得して、読み込んだ変換テーブルを用いて係数変換を
行う（ステップ２０３）。ここで、係数変換部１１は、
画像データベースに蓄積されている画像データごとに、
対応する変換係数を取得して変換を行い、係数変換部１
３は、問い合わせ画像の画像データに関して変換係数を
取得して変換を行う。また、係数変換部１１にて変換さ
れた係数は、画像特徴量記憶部１２に格納される。
変換テーブルを読みこみ、かつ画像データの変換係数を
取得して、読み込んだ変換テーブルを用いて係数変換を
行う（ステップ２０３）。ここで、係数変換部１１は、
画像データベースに蓄積されている画像データごとに、
対応する変換係数を取得して変換を行い、係数変換部１
３は、問い合わせ画像の画像データに関して変換係数を
取得して変換を行う。また、係数変換部１１にて変換さ
れた係数は、画像特徴量記憶部１２に格納される。
【００３９】次に、問い合わせ画像の変換後の係数（第
２の画像特徴量）と、画像特徴量記憶部１２に記憶され
た変換後の係数（第２の画像特徴量）とを比較して類似
度を算出する（ステップ２０４）。そして、画像データ
ベース中の各画像を、算出された類似度の高い順に並べ
替え（ステップ２０５）、さらに、正解画像が検出され
る順位の平均値を求める（ステップ２０６）。
２の画像特徴量）と、画像特徴量記憶部１２に記憶され
た変換後の係数（第２の画像特徴量）とを比較して類似
度を算出する（ステップ２０４）。そして、画像データ
ベース中の各画像を、算出された類似度の高い順に並べ
替え（ステップ２０５）、さらに、正解画像が検出され
る順位の平均値を求める（ステップ２０６）。
【００４０】全ての問い合わせ画像に対して、ステップ
２０４からステップ２０６の手順で、正解画像が検出さ
れる順位の平均値をそれぞれ求め（ステップ２０７）、
算出された全ての問い合わせ画像における平均順位の平
均値（以下、検出平均順位と呼ぶ）を求める（ステップ
２０８）。
２０４からステップ２０６の手順で、正解画像が検出さ
れる順位の平均値をそれぞれ求め（ステップ２０７）、
算出された全ての問い合わせ画像における平均順位の平
均値（以下、検出平均順位と呼ぶ）を求める（ステップ
２０８）。
【００４１】次に、ステップ２０８で求められた検索平
均順位と、変換テーブルとを係数変換部１１、１３に登
録する。既に他の変換テーブル及び検索平均順位が登録
されている場合は、新しく求められた検索平均順位と既
に登録されている検索平均順位とを比較する。そして、
新しく求められた検索平均順位の方が大きければ、登録
されている変換テーブル及び検索平均順位をそのまま維
持し、新しく求められた検索平均順位の方が小さけれ
ば、登録されている変換テーブル及び検索平均順位を、
当該新しい変換テーブル及び検索平均順位に置き換える
（ステップ２０９、２１０）。
均順位と、変換テーブルとを係数変換部１１、１３に登
録する。既に他の変換テーブル及び検索平均順位が登録
されている場合は、新しく求められた検索平均順位と既
に登録されている検索平均順位とを比較する。そして、
新しく求められた検索平均順位の方が大きければ、登録
されている変換テーブル及び検索平均順位をそのまま維
持し、新しく求められた検索平均順位の方が小さけれ
ば、登録されている変換テーブル及び検索平均順位を、
当該新しい変換テーブル及び検索平均順位に置き換える
（ステップ２０９、２１０）。
【００４２】用意されている複数の変換テーブルについ
て順次同様の処理を行い、当該変換テーブルにおける検
索平均順位を求める。そして、検索平均順位の値の小さ
い変換テーブル及び検索平均順位を残していく。用意さ
れている全てのテーブルについて検索平均順位を算出し
終えたならば、記憶されている変換テーブル、すなわち
最小の検索平均順位を得られる変換テーブルを、最適な
変換テーブルとして出力し、処理を終了する（ステップ
２１１）。
て順次同様の処理を行い、当該変換テーブルにおける検
索平均順位を求める。そして、検索平均順位の値の小さ
い変換テーブル及び検索平均順位を残していく。用意さ
れている全てのテーブルについて検索平均順位を算出し
終えたならば、記憶されている変換テーブル、すなわち
最小の検索平均順位を得られる変換テーブルを、最適な
変換テーブルとして出力し、処理を終了する（ステップ
２１１）。
【００４３】なお、以上の動作例では、正解画像が検索
される順位の平均値を評価値として用いているが、正解
画像が検索された場合の類似度の平均値を評価値とし
て、問い合わせ画像に対する類似度平均値の合計を最大
にするようなテーブルを選定してもよい。
される順位の平均値を評価値として用いているが、正解
画像が検索された場合の類似度の平均値を評価値とし
て、問い合わせ画像に対する類似度平均値の合計を最大
にするようなテーブルを選定してもよい。
【００４４】次に、実際に類似画像の検索を実施した結
果を示す。
果を示す。
【００４５】はじめに画像２０４５枚を含む画像データ
ベースを用いて実験を行うことにより係数変換テーブル
を作成する。２６種類の問い合わせ画像に対してオペレ
ータの主観的な評価により類似している画像（正解画
像）を予め選定しておく。また、変換された係数毎の２
乗誤差を重みづけ加算したものを画像間の距離とし、距
離が短い順番に並べ替えて、正解の順位の平均（検索平
均順位）を評価値とする。そして、複数の変換係数テー
ブル及び重みづけ係数を適用して評価を行い、最も検索
平均順位が低くなる変換係数テーブルを算出しておく。
ベースを用いて実験を行うことにより係数変換テーブル
を作成する。２６種類の問い合わせ画像に対してオペレ
ータの主観的な評価により類似している画像（正解画
像）を予め選定しておく。また、変換された係数毎の２
乗誤差を重みづけ加算したものを画像間の距離とし、距
離が短い順番に並べ替えて、正解の順位の平均（検索平
均順位）を評価値とする。そして、複数の変換係数テー
ブル及び重みづけ係数を適用して評価を行い、最も検索
平均順位が低くなる変換係数テーブルを算出しておく。
【００４６】画像特徴量の生成方法は、以下のように行
った。まず、静止画像を８×８ブロックに分割し、各ブ
ロックの平均色を算出し、固定サイズ（８画素×８画
素）の縮小画像を生成する。次に、縮小画像に対してＤ
ＣＴ変換を行い、得られる係数のうち輝度・色差信号の
低次係数列を抽出する。さらに、得られるＤＣＴ係数
を、変換テーブルを利用して変換し、画像特徴量とし
た。
った。まず、静止画像を８×８ブロックに分割し、各ブ
ロックの平均色を算出し、固定サイズ（８画素×８画
素）の縮小画像を生成する。次に、縮小画像に対してＤ
ＣＴ変換を行い、得られる係数のうち輝度・色差信号の
低次係数列を抽出する。さらに、得られるＤＣＴ係数
を、変換テーブルを利用して変換し、画像特徴量とし
た。
【００４７】画像５４６６枚を含む画像データベースを
用い、上記の条件で決定算出された最適なテーブルを利
用して類似画像の検索実験を行った。
用い、上記の条件で決定算出された最適なテーブルを利
用して類似画像の検索実験を行った。
【００４８】予め、５０種類の問い合わせ画像に対し
て、それぞれ主観評価により類似している画像を事前に
選定し、正解として定めておく。そして、問い合わせ画
像とデータベースに含まれる画像の特徴量間の重みつき
差分二乗和を近い順に並べ替えて、上位ｎ位以内に含ま
れる正解画像の数を検索正解率として評価する。なお、
検索正解率＝上位ｎ位以内に検出された正解数／全正解
数、また、ｎ＝事前に選定された正解画像数の４倍と定
義する。
て、それぞれ主観評価により類似している画像を事前に
選定し、正解として定めておく。そして、問い合わせ画
像とデータベースに含まれる画像の特徴量間の重みつき
差分二乗和を近い順に並べ替えて、上位ｎ位以内に含ま
れる正解画像の数を検索正解率として評価する。なお、
検索正解率＝上位ｎ位以内に検出された正解数／全正解
数、また、ｎ＝事前に選定された正解画像数の４倍と定
義する。
【００４９】図３は、同様の画像データベース及び問い
合わせ画像に対して、ＤＣＴ係数そのものを利用して類
似画像を検索する従来技術と、変換したＤＣＴ係数を利
用して類似画像を検索する本実施の形態と、ＤＣＴ変換
した後に画像を復号しパターンマッチングを行って類似
画像を検索する従来技術とを用いて、検索正解率を求め
た結果を示す図である。
合わせ画像に対して、ＤＣＴ係数そのものを利用して類
似画像を検索する従来技術と、変換したＤＣＴ係数を利
用して類似画像を検索する本実施の形態と、ＤＣＴ変換
した後に画像を復号しパターンマッチングを行って類似
画像を検索する従来技術とを用いて、検索正解率を求め
た結果を示す図である。
【００５０】図３を参照すると、変換テーブルを導入し
た本実施の形態の手法によれば、大幅に性能が向上して
いることがわかる。また、８×８の画像を復号してパタ
ーンマッチングを行う場合とほぼ同程度の性能が、遥か
に少ない係数の数により出ている。
た本実施の形態の手法によれば、大幅に性能が向上して
いることがわかる。また、８×８の画像を復号してパタ
ーンマッチングを行う場合とほぼ同程度の性能が、遥か
に少ない係数の数により出ている。
【００５１】以上、好ましい実施の形態をあげて本発明
を説明したが、本発明は必ずしも上記実施の形態に限定
されるものではない。本発明の要旨を逸脱しない範囲内
において種々の変形が可能であることは言うまでもな
い。
を説明したが、本発明は必ずしも上記実施の形態に限定
されるものではない。本発明の要旨を逸脱しない範囲内
において種々の変形が可能であることは言うまでもな
い。
【００５２】
【発明の効果】以上説明したように、本発明の画像検索
装置によれば、予め画像データから抽出される第１の画
像特徴量を変換して類似度の算出に用いる第２の画像特
徴量を取得しておき、当該第２の画像特徴量を直接利用
して類似度の計算を行うため、類似画像の検索の際に画
像特徴量の復号処理を行ってパターンマッチング処理を
行う必要がない。このため、簡単な計算で検索処理を行
うことができ、システム構成を簡易にすることができる
という効果がある。
装置によれば、予め画像データから抽出される第１の画
像特徴量を変換して類似度の算出に用いる第２の画像特
徴量を取得しておき、当該第２の画像特徴量を直接利用
して類似度の計算を行うため、類似画像の検索の際に画
像特徴量の復号処理を行ってパターンマッチング処理を
行う必要がない。このため、簡単な計算で検索処理を行
うことができ、システム構成を簡易にすることができる
という効果がある。
【００５３】また、第１の画像特徴量を第２の画像特徴
量に変換するに当たり、当該第２の画像特徴量群の間の
距離が、当該画像間の視覚上の類似度を近似するように
変換するため、検索性能を向上させることができるとい
う効果がある。
量に変換するに当たり、当該第２の画像特徴量群の間の
距離が、当該画像間の視覚上の類似度を近似するように
変換するため、検索性能を向上させることができるとい
う効果がある。
【００５４】したがって、本発明によれば、検索性能を
損なうことなくシステム構成を簡易にし、かつ高速な画
像検索を実現する画像検索装置を提供することができ
る。
損なうことなくシステム構成を簡易にし、かつ高速な画
像検索を実現する画像検索装置を提供することができ
る。
【図１】 本発明の一実施の形態による画像検索装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図２】 本実施の形態に用いられる変換テーブルの選
択手順を説明するフローチャートである。
択手順を説明するフローチャートである。
【図３】 ＤＣＴ係数そのものを利用する方法と、変換
したＤＣＴ係数を利用する方法と、画像復号を利用する
方法においての、同じ画像データベース及び問い合わせ
に対する画像検索正解率を示す図である。
したＤＣＴ係数を利用する方法と、画像復号を利用する
方法においての、同じ画像データベース及び問い合わせ
に対する画像検索正解率を示す図である。
【図４】 従来の画像検索装置の構成を示すブロック図
である。
である。
【図５】 従来の他の画像検索装置の構成を示すブロッ
ク図である。
ク図である。
１１、１３ 係数変換部 １２ 画像特徴量記憶部 １４ 類似度算出部 １０１、１０３ 第１の画像特徴量 １０２、１０４、１０５ 第２の画像特徴量 １０６ 検索結果
Claims (11)
- 【請求項１】 画像データベースに蓄積された画像の中
から所定の問い合わせ画像に類似する画像を検索する画
像検索装置において、 前記画像データベースに蓄積された画像データから抽出
される第１の画像特徴量群を変換して類似度の算出に用
いる第２の画像特徴量群を生成する第１の計数変換手段
と、 前記問い合わせ画像の画像データから抽出される第１の
画像特徴量群を変換して類似度の算出に用いる第２の画
像特徴量群を生成する第２の計数変換手段と、 前記第１の計数変換手段にて生成された画像データごと
の前記第２の画像特徴量群と前記第２の係数変換手段に
て変換された前記第２の画像特徴量とを比較して類似度
を算出する類似度算出手段とを備えることを特徴とする
画像検索装置。 - 【請求項２】 前記第１の計数変換手段にて生成された
前記第２の画像特徴量群を格納する画像特徴量記憶手段
を更に備え、 前記類似度算出手段は、前記第２の計数変換手段から受
け取った前記問い合わせ画像の画像データに関する前記
第２の画像特徴量群と、前記画像特徴量記憶手段から読
み出した前記画像データベースの画像データに関する前
記第２の画像特徴量群とを比較することを特徴とする請
求項１に記載の画像検索装置。 - 【請求項３】 前記第１、第２の計数変換手段は、前記
画像データベースの画像データに関する前記第２の画像
特徴量群と前記問い合わせ画像の画像データに関する前
記第２の画像特徴量群との間の距離が比較対象である画
像間の視覚上の類似度を近似するように画像特徴量の変
換を行うことを特徴とする請求項１に記載の画像検索装
置。 - 【請求項４】 前記第１、第２の計数変換手段は、画像
特徴量として画像データに対して所定の変換処理を行う
ことによって得られる変換係数を用いることを特徴とす
る請求項１に記載の画像検索装置。 - 【請求項５】 前記第１、第２の計数変換手段は、画像
特徴量として用いる変換係数の種類に応じて選択された
変換テーブルを用いて計数の変換を行い、 前記第１、第２の計数変換手段が用いる前記変換テーブ
ルは、区切る範囲の異なる複数の変換テーブルを用いて
試験的に類似画像の検索を行い、該試験的検索における
正解率の高い変換テーブルが選択されることを特徴とす
る請求項４に記載の画像検索装置。 - 【請求項６】 前記第１、第２の計数変換手段は、前記
変換係数の振幅の小さい部分に対して細かく量子化を行
い、振幅の大きい部分に対して粗く量子化を行うように
係数変換を行うことを特徴とする請求項４に記載の画像
検索装置。 - 【請求項７】 前記第１、第２の計数変換手段は、画像
データから得られる複数の係数のうち、前記変換係数の
パワーの小さい係数に対して細かく量子化を行い、パワ
ーの大きい係数に対して粗く量子化を行うように係数変
換を行うことを特徴とする請求項４または請求項６に記
載の画像検索装置。 - 【請求項８】 画像データベースに蓄積された画像の中
から所定の問い合わせ画像に類似する画像を検索する画
像検索装置において、 前記画像データベースに蓄積された画像データ及び前記
問い合わせ画像の画像データから抽出される第１の画像
特徴量群を変換して類似度の算出に用いる第２の画像特
徴量群を生成する計数変換手段と、 前記計数変換手段にて生成された前記第２の画像特徴量
群を比較して前記画像データベースに蓄積された画像と
前記問い合わせ画像との類似度を算出する類似度算出手
段とを備えることを特徴とする画像検索装置。 - 【請求項９】 画像データベースに蓄積された画像の中
から所定の問い合わせ画像に類似する画像を検索する画
像検索方法において、 前記画像データベースに蓄積された画像データから抽出
される第１の画像特徴量群を変換して類似度の算出に用
いる第２の画像特徴量群を生成するステップと、 前記問い合わせ画像の画像データから抽出される第１の
画像特徴量群を変換して類似度の算出に用いる第２の画
像特徴量群を生成するステップと、 前記画像データベースに蓄積された画像データに関する
前記第２の画像特徴量群と前記問い合わせ画像の画像デ
ータに関する前記第２の画像特徴量とを比較して類似度
を算出するステップとを含むことを特徴とする画像検索
方法。 - 【請求項１０】 前記第１の画像特徴量群を変換して前
記第２の画像特徴量群を生成する二つのステップにおい
て、画像特徴量として用いる変換係数の種類に応じて選
択された変換テーブルを用いて計数の変換を行い、 かつ、係数の変換に用いる前記変換テーブルは、区切る
範囲の異なる複数の変換テーブルを用いて試験的に類似
画像の検索を行い、該試験的検索における正解率の高い
変換テーブルが選択されることを特徴とする請求項９に
記載の画像検索方法。 - 【請求項１１】 コンピュータを制御して画像データベ
ースに蓄積された画像の中から所定の問い合わせ画像に
類似する画像を検索させる類似画像検索プログラムを格
納した記憶媒体であって、 前記類似画像検索プログラムが、 前記画像データベースに蓄積された画像データから抽出
される第１の画像特徴量群を変換して類似度の算出に用
いる第２の画像特徴量群を生成するステップと、 前記問い合わせ画像の画像データから抽出される第１の
画像特徴量群を変換して類似度の算出に用いる第２の画
像特徴量群を生成するステップと、 前記画像データベースに蓄積された画像データに関する
前記第２の画像特徴量群と前記問い合わせ画像の画像デ
ータに関する前記第２の画像特徴量とを比較して類似度
を算出するステップとを含むことを特徴とする記憶媒
体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35165799A JP3550681B2 (ja) | 1999-12-10 | 1999-12-10 | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 |
| US09/732,701 US7006714B2 (en) | 1999-12-10 | 2000-12-11 | Image retrieval device, image retrieval method and storage medium storing similar-image retrieval program |
| US11/302,367 US7664333B2 (en) | 1999-12-10 | 2005-12-14 | Image retrieval device, image retrieval method and storage medium storing similar-image retrieval program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35165799A JP3550681B2 (ja) | 1999-12-10 | 1999-12-10 | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003394514A Division JP2004164654A (ja) | 2003-11-25 | 2003-11-25 | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001167118A true JP2001167118A (ja) | 2001-06-22 |
| JP3550681B2 JP3550681B2 (ja) | 2004-08-04 |
Family
ID=18418747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35165799A Expired - Fee Related JP3550681B2 (ja) | 1999-12-10 | 1999-12-10 | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7006714B2 (ja) |
| JP (1) | JP3550681B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008210063A (ja) * | 2007-02-23 | 2008-09-11 | Hiroshima Univ | 画像特徴抽出装置、画像検索システム、映像特徴抽出装置、及び質問画像検索システム、ならびに、これらの方法、プログラム、コンピュータ読み取り可能な記録媒体 |
| JP2010224943A (ja) * | 2009-03-24 | 2010-10-07 | Nec Corp | 電子投票装置およびプログラム並びに電子投票方法 |
| US8599251B2 (en) | 2006-09-14 | 2013-12-03 | Olympus Imaging Corp. | Camera |
| EP2739030A2 (en) | 2012-11-28 | 2014-06-04 | Brother Kogyo Kabushiki Kaisha | Controller for imaging terminal |
| US8768064B2 (en) | 2008-09-01 | 2014-07-01 | Nec Corporation | Image feature extraction device |
| EP2770435A2 (en) | 2013-02-21 | 2014-08-27 | Brother Kogyo Kabushiki Kaisha | Computer program and control device to monitor the status of a printer |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3738631B2 (ja) * | 1999-09-27 | 2006-01-25 | 三菱電機株式会社 | 画像検索システムおよび画像検索方法 |
| US7624123B2 (en) * | 2004-02-26 | 2009-11-24 | Ati Technologies, Inc. | Image processing system and method |
| JP4515870B2 (ja) * | 2004-09-24 | 2010-08-04 | パナソニック株式会社 | 信号処理装置及び映像システム |
| GB2443469A (en) * | 2006-11-03 | 2008-05-07 | Messagelabs Ltd | Detection of image spam |
| US8290311B1 (en) * | 2007-01-11 | 2012-10-16 | Proofpoint, Inc. | Apparatus and method for detecting images within spam |
| US8290203B1 (en) * | 2007-01-11 | 2012-10-16 | Proofpoint, Inc. | Apparatus and method for detecting images within spam |
| FR2912237A1 (fr) * | 2007-02-07 | 2008-08-08 | Thomson Licensing Sas | Procede de traitement d'image |
| US8200025B2 (en) * | 2007-12-07 | 2012-06-12 | University Of Ottawa | Image classification and search |
| JP4518141B2 (ja) | 2007-12-17 | 2010-08-04 | 日本電気株式会社 | 画像照合方法及び画像照合装置並びに画像照合プログラム |
| US8208731B2 (en) | 2008-04-07 | 2012-06-26 | Microsoft Corporation | Image descriptor quantization |
| US8054170B1 (en) * | 2008-09-30 | 2011-11-08 | Adobe Systems Incorporated | Characterizing and representing images |
| US8385656B2 (en) * | 2008-10-23 | 2013-02-26 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and program |
| EP2333718B1 (en) * | 2009-01-29 | 2013-08-28 | Nec Corporation | Feature amount selecting device |
| US8013866B2 (en) * | 2009-03-17 | 2011-09-06 | Empire Technology Development Llc | Image display system, image display apparatus, image providing apparatus and method thereof |
| CN102193934B (zh) * | 2010-03-11 | 2013-05-29 | 株式会社理光 | 用于寻找图像集合中的代表性图像的系统和方法 |
| US9164131B2 (en) | 2010-05-13 | 2015-10-20 | Tektronix, Inc. | Signal recognition and triggering using computer vision techniques |
| US8428397B1 (en) * | 2010-08-26 | 2013-04-23 | Adobe Systems Incorporated | Systems and methods for large scale, high-dimensional searches |
| US8503777B2 (en) | 2010-12-16 | 2013-08-06 | Sony Corporation | Geometric feature based image description and fast image retrieval |
| US9036925B2 (en) | 2011-04-14 | 2015-05-19 | Qualcomm Incorporated | Robust feature matching for visual search |
| US8706711B2 (en) | 2011-06-22 | 2014-04-22 | Qualcomm Incorporated | Descriptor storage and searches of k-dimensional trees |
| ITTO20120602A1 (it) * | 2012-07-09 | 2014-01-10 | Sisvel Technology Srl | Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus. |
| CN104616035B (zh) * | 2015-03-12 | 2018-01-30 | 哈尔滨工业大学 | 基于图像全局特征及SURF算法的Visual Map快速匹配方法 |
| KR102477266B1 (ko) * | 2015-10-21 | 2022-12-13 | 삼성전자주식회사 | 전자 장치 및 멀티 포맷 디코더를 설계하는 방법 |
| US9858686B2 (en) | 2016-02-10 | 2018-01-02 | Google Llc | Dynamic color determination for user interface components of a video player |
| US10134154B2 (en) | 2016-12-30 | 2018-11-20 | Google Llc | Selective dynamic color management for user interface components of a media player |
| EP3506205A1 (en) * | 2017-12-27 | 2019-07-03 | Thomson Licensing | Method and apparatus for depth-map estimation |
| CN112163114B (zh) * | 2020-09-10 | 2024-03-22 | 华中科技大学 | 一种基于特征融合的图像检索方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2861638B2 (ja) | 1992-06-16 | 1999-02-24 | 松下電器産業株式会社 | 走行レーン検出装置 |
| JPH06213660A (ja) | 1993-01-19 | 1994-08-05 | Aisin Seiki Co Ltd | 像の近似直線の検出方法 |
| US5487116A (en) | 1993-05-25 | 1996-01-23 | Matsushita Electric Industrial Co., Ltd. | Vehicle recognition apparatus |
| KR960010196B1 (ko) * | 1993-06-04 | 1996-07-26 | 배순훈 | 인간의 시각특성을 이용한 디씨(dc) 변환계수 양자화기 |
| JP2671820B2 (ja) * | 1994-09-28 | 1997-11-05 | 日本電気株式会社 | 両方向予測方法及び両方向予測装置 |
| JP3024673B2 (ja) * | 1994-10-31 | 2000-03-21 | 日本電気株式会社 | データ圧縮方式 |
| JP3199976B2 (ja) | 1995-03-14 | 2001-08-20 | 正夫 坂内 | 画像データベース装置 |
| US5915038A (en) * | 1996-08-26 | 1999-06-22 | Philips Electronics North America Corporation | Using index keys extracted from JPEG-compressed images for image retrieval |
| KR100295225B1 (ko) * | 1997-07-31 | 2001-07-12 | 윤종용 | 컴퓨터에서 영상정보 검색장치 및 방법 |
| JPH11282855A (ja) * | 1998-03-26 | 1999-10-15 | Sony Corp | 画像検索方法及び画像検索装置 |
| US6192150B1 (en) * | 1998-11-16 | 2001-02-20 | National University Of Singapore | Invariant texture matching method for image retrieval |
| JP3738631B2 (ja) * | 1999-09-27 | 2006-01-25 | 三菱電機株式会社 | 画像検索システムおよび画像検索方法 |
| KR100355404B1 (ko) * | 1999-12-03 | 2002-10-11 | 삼성전자 주식회사 | 주파수 공간상에서의 가보 필터를 이용한 질감표현방법 및질감기반 영상 검색방법 |
-
1999
- 1999-12-10 JP JP35165799A patent/JP3550681B2/ja not_active Expired - Fee Related
-
2000
- 2000-12-11 US US09/732,701 patent/US7006714B2/en not_active Expired - Lifetime
-
2005
- 2005-12-14 US US11/302,367 patent/US7664333B2/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8599251B2 (en) | 2006-09-14 | 2013-12-03 | Olympus Imaging Corp. | Camera |
| JP2008210063A (ja) * | 2007-02-23 | 2008-09-11 | Hiroshima Univ | 画像特徴抽出装置、画像検索システム、映像特徴抽出装置、及び質問画像検索システム、ならびに、これらの方法、プログラム、コンピュータ読み取り可能な記録媒体 |
| US8768064B2 (en) | 2008-09-01 | 2014-07-01 | Nec Corporation | Image feature extraction device |
| JP2010224943A (ja) * | 2009-03-24 | 2010-10-07 | Nec Corp | 電子投票装置およびプログラム並びに電子投票方法 |
| EP2739030A2 (en) | 2012-11-28 | 2014-06-04 | Brother Kogyo Kabushiki Kaisha | Controller for imaging terminal |
| US9628644B2 (en) | 2012-11-28 | 2017-04-18 | Brother Kogyo Kabushiki Kaisha | Controller for imaging terminal |
| EP2770435A2 (en) | 2013-02-21 | 2014-08-27 | Brother Kogyo Kabushiki Kaisha | Computer program and control device to monitor the status of a printer |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3550681B2 (ja) | 2004-08-04 |
| US7664333B2 (en) | 2010-02-16 |
| US20010041008A1 (en) | 2001-11-15 |
| US20060093221A1 (en) | 2006-05-04 |
| US7006714B2 (en) | 2006-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3550681B2 (ja) | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 | |
| US7006689B2 (en) | Image search system and image search method thereof | |
| Distasi et al. | A range/domain approximation error-based approach for fractal image compression | |
| US6961736B1 (en) | Compact color feature vector representation | |
| US5870756A (en) | Interchangeable storage medium containing program for processing data files thereupon to match a data file format to a computer system | |
| US6163622A (en) | Image retrieval system | |
| US7376263B2 (en) | Content-based multimedia retrieval system and method thereof | |
| US7046865B2 (en) | Determination of similarity using weighting value depending on the type of characteristic | |
| JP3798719B2 (ja) | ブロック・レベル・サンプリングを使用してデータベースのクラスタ化係数を判定する装置および方法 | |
| KR20040028658A (ko) | 영상정보 검색을 위한 비선형 양자화 및 유사도 매칭 방법 | |
| JP4623920B2 (ja) | 類似度算出方法及び装置、並びにプログラム及び記録媒体 | |
| JP3701888B2 (ja) | 漸進的ヒストグラムを利用したマルチメディアの検索方法 | |
| JP2002117407A (ja) | 動画像検索方法及びその装置 | |
| US6928186B2 (en) | Semantic downscaling and cropping (SEDOC) of digital images | |
| JP4063486B2 (ja) | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 | |
| US7697753B2 (en) | Device for creating image feature from image having any shape | |
| Raoult et al. | Fast retrieval of weather analogues in a multi-petabytes archive using wavelet-based fingerprints | |
| JP2004518199A (ja) | コーディング | |
| JP2004164654A (ja) | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 | |
| KR100464224B1 (ko) | 화상처리방법 및 그 장치, 기억매체 | |
| US20040022445A1 (en) | Methods and apparatus for reduction of high dimensional data | |
| Li et al. | S-STIR: similarity search through iterative refinement | |
| Nugroho et al. | A Comparative Study On Image Compression in Cloud Computing | |
| Stojanovic et al. | Content-based image retrieving improved by pixel-based search | |
| KR20230050922A (ko) | 고속 질의 처리가 가능한 다차원 배열 압축 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040411 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |