JP2000132554A

JP2000132554A - 画像検索装置および画像検索方法

Info

Publication number: JP2000132554A
Application number: JP10300089A
Authority: JP
Inventors: Tatsuya Nomura; 竜也野村; Naoki Urano; 直樹浦野
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-10-21
Filing date: 1998-10-21
Publication date: 2000-05-12

Abstract

(57)【要約】【課題】使用者が検索したい画像の物理的特徴を意識
することなく、使用者の所望画像の類似度に関する曖昧
な感覚を反映した検索を可能とする。【解決手段】例／反例画像選択部５で、使用者が検索
したいと考える画像（例画像）と検索したくないと考え
る画像（反例画像）とを選択する。画像特徴量抽出部１
２で、例画像と反例画像とにウェーブレット変換を施
し、ウェーブレット変換係数のうち値の大きいものを画
像特徴量として抽出する。この画像特徴量に基づいて、
例画像に対しては肯定の応答を、反例画像に対しては否
定の応答を行うようにニューラルネットワーク１１に教
師信号を与え、画像検索フィルタ８を学習する。学習し
た画像検索フィルタ８により、画像データ記憶部２の画
像に対して肯定／否定の判別を行い、検索結果として検
索入出力部３に提示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像データ
から使用者の所望画像を検索する画像検索装置および画
像検索方法に関するものである。

【０００２】

【従来の技術】従来の画像データベース検索システムで
は、事前に各画像に付加したキーワードを用いて検索を
行っていた。しかし、この方式では、扱う画像が多くな
るにつれキーワードを各画像に付加する労力が大きくな
ると同時に、曖昧な内容の画像に明確なキーワードを付
加しなければならないという問題がある。また、検索時
においても、使用者が明確なキーワードをシステムに与
え、それを元に検索を行うため、使用者が所望する画像
に対して曖昧な知識しか持っていない場合は、検索が困
難であるという問題がある。

【０００３】これらの問題点を克服する方法として、事
前にキーワードを付加することなく、画像の内容におけ
る物理的情報そのものを元に検索する手法が提案されて
いる。

【０００４】例えば、Hirata and Kato,“Rough Sketch
-Based Image Information Retrieval",NEC Research a
nd Development,Vol.34,No.2,pp.263-273,1993（以下、
「文献１」と記す。）、M.Flickner,et.al.,“Query by
Image and Video Content:The QBIC System",Compute
r,Vol.28,No.9,pp.23-32,1995（以下、「文献２」と記
す。）、大河内他, “感性画像検索技術の開発−色彩と
形状を同時に考慮した類似画像検索について−", OMRON
TECHNICS,Vol.38,No.1,pp.56-60,1998 （以下、「文献
３」と記す。）には、各画像の色彩の分布、物体の形状
などの情報を画像の特徴量として抽出し、使用者が与え
る画像の特徴もしくは例画像との特徴量空間上での距離
に基づく類似度を計算することによって、検索を行う手
法が開示されている。

【０００５】さらに、C.E.Jacobs,et.al.,“Fast Multi
resolution Image Querying",Proc.SIGGRAPH'95,pp.277
-286,1995 （以下、「文献４」と記す。）では、画像に
対して２次元ウェーブレット変換を施して量子化した係
数を特徴量として、使用者が検索したいと考える画像
（例画像）との類似度を元に検索を行う手法が開示され
ている。

【０００６】また、検索時にキーワードを直接指定せ
ず、肯定例および否定例を提示することにより検索する
手法が提案されている。

【０００７】例えば、文字情報検索において、キーワー
ドを直接指定することなく、肯定例および否定例を提示
することで、各情報に対するフィルタリングを通して検
索を行い、検索結果を元に肯定例および否定例を更新す
る形で情報フィルタを学習する手法が、特開平５−２０
４９７５号公報に記載されている。

【０００８】また、画像検索においても、数値的検索属
性を直接指定することなく、例画像および反例画像およ
びを提示することで、検索に必要な画像特徴量の条件を
自動的に選定する手法が、特開平８−２４９３５３号公
報に記載されている。

【０００９】

【発明が解決しようとする課題】しかし、上記文献１〜
４に開示されている手法では、画像の物理的特徴量を直
接比較しているため、使用者が検索したい画像の色彩や
形状などの検索属性を数値で直接指定もしくはスケッチ
画像を描画することで指定するか、検索したい画像に類
似した画像を提示しなければならない。

【００１０】そのため、上記従来の手法では、使用者が
検索の際に用いる色彩や物体形状などの特徴を明確に意
識する必要があり、曖昧な嗜好に基づいて検索を行いた
い場合には、使用者に負担がかかり、満足な検索結果が
得られない可能性があるという問題がある。

【００１１】一方、特開平５−２０４９７５号公報に記
載の情報検索方法は、特許検索などの文字情報データベ
ースを対象としており、フィルタリングが各情報から得
られた文字組の間の一致度を元に行われるため、画像検
索へ直接的適用することは困難である。

【００１２】また、特開平８−２４９３５３号公報に記
載の画像検索方式では、上記文献１〜４と同様に、画像
特徴量の座標空間上での特徴量ベクトルの間の距離に基
づいて所望画像の探索が行われるため、検索を行う使用
者が感覚として持つ画像の類似度と特徴量空間上での画
像の物理的距離との間に必ずしも対応がなく、検索にお
いて使用者の感覚が直接反映されないという問題があ
る。

【００１３】本発明は、上記の問題点を解決するために
なされたもので、その目的は、使用者が検索したい画像
の物理的特徴を意識することなく、使用者の所望画像の
類似度に関する曖昧な感覚を反映した検索を可能とする
画像検索装置および画像検索方法を提供することにあ
る。

【００１４】

【課題を解決するための手段】請求項１の画像検索装置
は、上記の課題を解決するために、複数の画像を格納し
ている画像データ記憶部と、該画像データ記憶部に格納
されている各画像が所望の画像かどうかを判別する画像
検索フィルタと、該画像検索フィルタに対して検索対象
の画像に類似のサンプル画像である例画像および非類似
のサンプル画像である反例画像をそれぞれ設定する例／
反例画像選択部と、該画像検索フィルタが該画像データ
記憶部に格納されている各画像を判別できるように、該
例／反例画像選択部によって設定された該例画像および
該反例画像に基づいて該画像検索フィルタを学習させる
フィルタ学習部とを備えていることを特徴としている。

【００１５】上記の構成により、まず例／反例画像選択
部によって、画像検索フィルタに対して検索対象の画像
の例画像および反例画像が設定される。つぎにフィルタ
学習部によって、画像検索フィルタが例画像に対しては
肯定の応答を、反例画像に対しては否定の応答を行うよ
うに、画像検索フィルタが学習される。そして学習され
た画像検索フィルタによって、画像データ記憶部に記憶
されている各画像に対して、学習結果に基づいて肯定あ
るいは否定のいずれかの応答が発せられる。

【００１６】よって、例画像および反例画像に基づいて
使用者が所望する画像の画像特徴量の関係を学習するこ
とにより、使用者は検索を所望する画像の色彩、物体形
状などの厳密な物理的特徴を意識することなく、所望す
る画像の類似度に関する曖昧な感覚を反映しながら検索
することが可能となる。すなわち、使用者が曖昧な感覚
に基づいてサンプル画像である例画像および反例画像を
示すだけで、所望する画像を検索することができる。し
かも、使用者の所望画像の類似関係についての曖昧な感
覚を、フィルタ学習を通して検索に反映させることがで
きる。

【００１７】請求項２の画像検索装置は、上記の課題を
解決するために、請求項１の構成に加えて、上記のフィ
ルタ学習部および画像検索フィルタは、画像の２次元離
散ウェーブレット変換係数を演算することによって該画
像の画像特徴量を抽出する画像特徴量抽出部をともに備
え、かつ、該フィルタ学習部は、上記の例画像および反
例画像より該画像特徴量抽出部によって抽出された画像
特徴量に基づいて、該例画像に対しては肯定の出力を、
該反例画像に対しては否定の出力をするように、該画像
検索フィルタに設けられたニューラルネットワークを学
習させる特徴量学習部を備え、かつ、該画像検索フィル
タは、上記画像データ記憶部に格納されている各画像よ
り該画像特徴量抽出部によって抽出された画像特徴量に
基づいて、該画像を判別する画像フィルタリング部を備
えていることを特徴としている。

【００１８】上記の構成により、請求項１の構成による
作用に加えて、まず画像特徴量抽出部によって、例／反
例画像選択部で設定された例画像および反例画像に対し
てウェーブレット変換が施され、画像特徴量としてそれ
ぞれ抽出される。つぎに特徴量学習部によって、画像特
徴量抽出部で抽出された各画像特徴量に対して、例画像
ならば肯定の応答を、反例画像ならば否定の応答を対応
づける教師信号が画像検索フィルタに設けられたニュー
ラルネットワークに与えられ、ニューラルネットワーク
の学習が行われる。そして、画像特徴量抽出部によっ
て、画像データ記憶部に格納されている各画像の画像特
徴量が抽出された後、画像検索フィルタによって、画像
フィルタリング部におけるニューラルネットワークにお
いて各画像特徴量に対して肯定あるいは否定の応答が行
われる。

【００１９】よって、ウェーブレット変換を用いて、高
速かつ簡便に画像特徴量を抽出することが可能となる。
同時に、ニューラルネットワークを用いることで画像特
徴量の物理的距離に依存せず、使用者の所望画像の類似
関係についての曖昧な感覚を直接反映した画像検索が可
能となる。すなわち、使用者の曖昧な嗜好に基づいた画
像のフィルタリングが、高速かつ簡便に実現することが
できる。

【００２０】請求項３の画像検索装置は、上記の課題を
解決するために、請求項１または２の構成に加えて、上
記画像検索フィルタを複数備えていることを特徴として
いる。

【００２１】上記の構成により、請求項１または２の構
成による作用に加えて、別々に学習された複数の画像検
索フィルタを併用した検索や、複数の画像検索フィルタ
を同時に学習させることが可能となる。したがって、過
去の学習結果を再利用することができるともに、柔軟で
幅広い検索を行うことができる。

【００２２】請求項４の画像検索装置は、上記の課題を
解決するために、請求項１から３の何れかの構成に加え
て、上記例／反例画像選択部は、画像検索フィルタによ
って検索された画像を、上記の例画像あるいは反例画像
として設定することを特徴としている。

【００２３】上記の構成により、請求項１から３の何れ
かの構成による作用に加えて、検索結果において所望し
ない画像が得られた場合や、得られるべき画像が得られ
なかった場合に、例／反例画像選択部によって検索結果
の画像を例画像あるいは反例画像として改めて設定し
て、フィルタ学習部に画像検索フィルタを追加学習させ
ることが可能となる。したがって、検索対象を絞り込み
ながら検索することができるとともに、検索性能の向上
を図ることができる。

【００２４】請求項５の画像検索方法は、上記の課題を
解決するために、画像データ記憶部に格納されている各
画像が所望の画像かどうかを判別する画像検索フィルタ
に対して、検索対象の画像に類似のサンプル画像である
例画像および非類似のサンプル画像である反例画像をそ
れぞれ設定する例／反例画像選択処理と、該例画像およ
び該反例画像の画像特徴量を抽出する例／反例画像特徴
量抽出処理と、該画像検索フィルタが該画像データ記憶
部に格納されている各画像を判別できるように、該例画
像および該反例画像の画像特徴量に基づいて該画像検索
フィルタを学習させる特徴量学習処理と、該画像データ
記憶部に格納されている各画像の画像特徴量を抽出する
画像特徴量抽出処理と、該画像データ記憶部に格納され
ている各画像を該画像検索フィルタによって画像特徴量
に基づいて判別する画像フィルタリング処理とを含んで
いることを特徴としている。

【００２５】上記の構成により、まず例／反例画像選択
処理によって、画像検索フィルタに対して、例画像およ
び反例画像をそれぞれ設定する。つぎに例／反例画像特
徴量抽出処理によって、例画像および反例画像の画像特
徴量を抽出する。そして特徴量学習処理によって、画像
検索フィルタが画像データ記憶部に格納されている各画
像を判別できるように、例画像および反例画像の画像特
徴量に基づいて画像検索フィルタを学習させる。つづい
て画像特徴量抽出処理によって、画像データ記憶部に格
納されている各画像の画像特徴量を抽出した後、画像フ
ィルタリング処理によって、画像検索フィルタを用いて
画像データ記憶部に格納されている各画像を画像特徴量
に基づいて判別する。

【００２６】よって、例画像および反例画像に基づいて
使用者が所望する画像の画像特徴量の関係を学習するこ
とにより、使用者は検索を所望する画像の色彩、物体形
状などの厳密な物理的特徴を意識することなく、所望す
る画像の類似度に関する曖昧な感覚を反映しながら検索
することが可能となる。すなわち、使用者が曖昧な感覚
に基づいてサンプル画像である例画像および反例画像を
示すだけで、所望する画像を検索することができる。し
かも、使用者の所望画像の類似関係についての曖昧な感
覚を、フィルタ学習を通して検索に反映させることがで
きる。

【００２７】請求項６の記録媒体は、上記の課題を解決
するために、画像データ記憶部に格納されている各画像
が所望の画像かどうかを判別する画像検索フィルタに対
して、検索対象の画像に類似のサンプル画像である例画
像および非類似のサンプル画像である反例画像をそれぞ
れ設定する例／反例画像選択処理と、該例画像および該
反例画像の画像特徴量を抽出する例／反例画像特徴量抽
出処理と、該画像検索フィルタが該画像データ記憶部に
格納されている各画像を判別できるように、該例画像お
よび該反例画像の画像特徴量に基づいて該画像検索フィ
ルタを学習させる特徴量学習処理と、該画像データ記憶
部に格納されている各画像の画像特徴量を抽出する画像
特徴量抽出処理と、該画像データ記憶部に格納されてい
る各画像を該画像検索フィルタによって画像特徴量に基
づいて判別する画像フィルタリング処理とを、コンピュ
ータに実行させるためのプログラムを記録していること
を特徴としている。

【００２８】上記の構成により、上記請求項５と同様の
機能を実現することができる。

【００２９】

【発明の実施の形態】〔実施の形態１〕本発明の一実施
の形態について図１から図１１に基づいて説明すれば、
以下のとおりである。

【００３０】本実施の形態にかかる画像検索フィルタリ
ング装置（画像検索装置）１は、使用者が検索したいと
考える画像（例画像）と検索したくないと考える画像
（反例画像）とに対してウェーブレット変換を施し、ウ
ェーブレット変換係数のうち値の大きいものを画像特徴
量として抽出する。そして、抽出した各画像特徴量に基
づいて、例画像に対しては肯定の応答を、反例画像に対
しては否定の応答を行うように、それぞれ対応づける教
師信号をニューラルネットワークに与え、画像検索フィ
ルタを学習する。最後に、学習した画像検索フィルタに
より、画像データベースの各画像に対して肯定あるいは
否定の判別を行い、肯定された画像を検索結果として使
用者に提示する。

【００３１】図２の機能ブロック図に示すように、本実
施の形態にかかる画像検索フィルタリング装置１は、画
像データ記憶部２と、検索入出力部３と、処理部４とを
備えて構成されている。さらに、上記処理部４は、例／
反例画像選択部５と、フィルタ学習部７および画像検索
フィルタ８を含む画像検索フィルタリング部６とを備え
て構成されている。

【００３２】また、図３の物理ブロック図に示すよう
に、上記画像検索フィルタリング装置１は、図２の機能
ブロックを実現するために、ＣＰＵ（central processi
ng unit ）２１と、プログラムメモリ２２と、ＲＡＭ
（random access memory）２３と、キーボード２４と、
ポインティングデバイス２５と、ハードディスク２６お
よびハードディスクコントローラ２７と、ネットワーク
コントローラ２９と、表示装置３０と、表示制御部３１
と、ＶＲＡＭ（video random access memory）３２とを
備えて構成されている。そして、これらの構成部材はシ
ステムバス３３を介して通信可能に接続されている。

【００３３】上記画像データ記憶部２（図２）は、画像
データを記憶する。すなわち、ハードディスク２６がハ
ードディスクコントローラ２７の制御の下に、画像デー
タ記憶部２として画像データと各種データの記憶および
読み出しを行う。また、遠隔地データベース２８も、各
種通信ネットワークを介して、画像検索フィルタリング
装置１のインタフェースであるネットワークコントロー
ラ２９に接続されて、ネットワークコントローラ２９の
制御の下に、画像データと各種データの記憶および読み
出しを行う。

【００３４】上記検索入出力部３（図２）は、使用者か
らの検索入力を受けるとともに、検索結果を出力する。
すなわち、検索入出力部３には、入力手段として、キー
ボード２４、マウスなどのポインティングデバイス２５
が備えられている。また、検索入出力部３の出力手段で
あるＣＲＴや液晶などの表示装置３０は、表示制御部３
１の制御の下に、表示するイメージデータをＶＲＡＭ３
２に記憶することにより、使用者ヘのメッセージや検索
結果などを表示する。このように、表示装置３０、表示
制御部３１、ＶＲＡＭ３２、キーボード２４、ポインテ
ィングデバイス２５が、検索入出力部３として機能す
る。

【００３５】上記処理部４（図２）は、ＣＰＵ２１がプ
ログラムメモリ２２に格納されている各種制御プログラ
ムに従って、画像検索フィルタリング装置１の動作を制
御する。そして、ＣＰＵ２１は、ＲＡＭ２３を一時的に
各種データを記憶するワークメモリとして使用すること
により、各種制御プログラムを実行する。また、ハード
ディスク２６はハードディスクコントローラ２７の制御
の下に、各種データの記憶および読み出しを行う。つま
り、ハードディスク２６は、画像データ記憶部２に加え
て、処理部４としても機能する。

【００３６】したがって、処理部４に含まれる例／反例
画像選択部５および画像検索フィルタリング部６（フィ
ルタ学習部７、画像検索フィルタ８）の機能は、ＣＰＵ
２１およびＲＡＭ２３によって、プログラムメモリ２２
に格納されているそれぞれの制御プログラムが実行され
ることにより達成される。

【００３７】ここで、図１を参照しながら、上記処理部
４（図２）の機能ブロックの構成を具体的に説明する。
なお、上述したように処理部４は、例／反例画像選択部
５と、画像検索フィルタリング部６とを備えて構成され
ている。

【００３８】上記例／反例画像選択部５（図２）は、使
用者が所望する画像に対する例画像および反例画像を、
検索入出力部３を介して使用者に選定させることによっ
て決定する。

【００３９】上記画像検索フィルタリング部６は、フィ
ルタ学習部７と、画像検索フィルタ８とを備えて構成さ
れている。そして、上記フィルタ学習部７は、画像特徴
量抽出部１２と、ニューラルネットワーク１１を含む特
徴量学習部９とを備えて構成されている。一方、上記画
像検索フィルタ８は、画像特徴量抽出部１２と、ニュー
ラルネットワーク１１を含む画像フィルタリング部１０
とを備えて構成されている。すなわち、画像特徴量抽出
部１２およびニューラルネットワーク１１は、フィルタ
学習部７と画像検索フィルタ８とに共有されている。

【００４０】ここで、上記画像特徴量抽出部１２は、内
蔵するウェーブレット変換部１３において、入力された
画像データに対して２次元離散ウェーブレット変換を施
すことにより、画像特徴量を抽出する。また、上記ニュ
ーラルネットワーク１１は、フィルタ学習部７の特徴量
学習部９における例画像および反例画像の学習結果に基
づき、画像判別を行う。

【００４１】そして、上記フィルタ学習部７は、例／反
例画像選択部５から所望画像の例画像および反例画像の
情報を入力とし、これらに基づいて画像検索フィルタ８
を学習する。すなわち、特徴量学習部９において、例／
反例画像選択部５からの情報に基づき、ニューラルネッ
トワーク１１を学習する。

【００４２】上記画像検索フィルタ８は、画像データ記
憶部２から与えられる画像データが所望の画像データか
否かを判別する。すなわち、画像フィルタリング部１０
において、学習済みのニューラルネットワーク１１によ
って、画像判別を行う。

【００４３】つぎに、図４から図７を用いて、上記画像
検索フィルタリング装置１の動作の概略について説明す
る。なお、以下では、図４に示すフローチャートに従っ
て、説明を行う。また、画像特徴量の抽出、および画像
検索フィルタ８の学習については後述する。

【００４４】ステップＳ１（図４）では、使用者が例画
像および反例画像を選択するための候補となるサンプル
画像を表示する。すなわち、例／反例画像選択部５が、
画像データ記憶部２から例画像および反例画像の選択候
補となるサンプル画像を読み出し、検索入出力部３によ
りサンプル画像表示領域４１に読み出したサンプル画像
を表示する（図５）。

【００４５】ステップＳ２（例／反例画像選択処理）
（図４）では、使用者が検索の例画像および反例画像を
選択する。すなわち、使用者は検索入出力部３のキーボ
ード２４もしくはマウスなどのポインティングデバイス
２５を用いて、サンプル画像表示領域４１に表示されて
いるサンプル画像を選択し、学習例画像表示領域４２の
例画像領域４２ａあるいは反例画像領域４２ｂに配置す
る（図５）。つまり、使用者は、サンプル画像表示領域
４１に表示されたサンプル画像のうち、例画像とするサ
ンプル画像を学習例画像表示領域４２の例画像領域４２
ａへ配置するとともに、反例画像とするサンプル画像を
学習例画像表示領域４２の反例画像領域４２ｂへ配置す
る。なお、図５中では、学習例画像表示領域４２内で例
画像領域４２ａの外側領域が、反例画像領域４２ｂであ
る。

【００４６】ステップＳ３（図４）では、画像検索フィ
ルタ８を学習する。すなわち、例／反例画像選択部５
は、使用者によって選択された例画像および反例画像の
情報をフィルタ学習部７に送り、フィルタ学習部７はそ
れをもとに画像検索フィルタ８を学習する（図６）。

【００４７】ステップＳ４（図４）では、学習された画
像検索フィルタ８により画像データ記憶部２から所望の
画像を検索する。すなわち、学習が終了した画像検索フ
ィルタ８が、画像データ記憶部２から画像データを読み
出し、学習結果に応じて肯定／否定を判別する（図
６）。

【００４８】ステップＳ５（図４）では、ステップＳ４
で得られた画像検索の結果を表示する。すなわち、検索
入出力部３の表示装置３０において、肯定の判別を受け
た画像（肯定画像）が検索結果表示領域４３の肯定画像
表示領域４３ａに、否定の判別を受けた画像（否定画
像）が否定画像表示領域４３ｂに表示される（図６）。
なお、図６中では、検索結果表示領域４３内で肯定画像
表示領域４３ａの外側領域が、否定画像表示領域４３ｂ
である。

【００４９】ステップＳ６（図４）では、ステップＳ５
で表示された検索結果をもとに、使用者が追加学習を行
うか否かを決定する。ここで、追加学習が指示された場
合（ＹＥＳ）にはステップＳ７へ進み、指示されなかっ
た場合（ＮＯ）には検索処理を終了する。

【００５０】ステップＳ７（図４）では、ステップＳ６
で使用者が追加学習を指示した場合、ステップＳｌと同
様に、例画像および反例画像を選択するための選択候補
となるサンプル画像を表示すると同時に、ステップＳ４
で得られた検索結果を表示して、ステップＳ２へ進む。

【００５１】すなわち、図７に示すように、ステップＳ
ｌと同様に、例／反例画像選択部５が、画像データ記憶
部２から例画像および反例画像の選択候補となるサンプ
ル画像を読み出し、検索入出力部３によりサンプル画像
表示領域４１に読み出したサンプル画像を表示する。こ
れと同時に、ステップＳ５と同様に、ステップＳ４の検
索結果である肯定画像および否定画像を肯定画像表示領
域４３ａおよび否定画像表示領域４３ｂにそれぞれ配置
した検索結果表示領域４３を表示する。

【００５２】その後、ステップＳ２と同様に、使用者が
キーボード２４もしくはマウスなどのポインティングデ
バイス２５を用いて、サンプル画像表示領域４１および
検索結果表示領域４３に表示されている画像を選択し、
学習例画像表示領域４２の例画像領域４２ａあるいは反
例画像領域４２ｂに配置する。

【００５３】これにより、サンプル画像に検索結果を加
えて画像検索フィルタ８を学習することができる。すな
わち、検索結果をサンプル画像に加えて改めて例画像お
よび反例画像を設定し、画像検索フィルタ８を追加学習
することによって、より精度を高めた再検索を行うこと
ができる。

【００５４】つぎに、図８から図１１を用いて、上記画
像検索フィルタリング部６の処理内容について、具体的
に説明する。

【００５５】まず、図８を参照しながら、上記画像特徴
量抽出部１２の処理内容を説明する。

【００５６】画像特徴量抽出部１２には、様々な大きさ
の画像データが入力されるが、入力された画像データは
縦横を拡大・縮小して共通の大きさに一旦統一される。

【００５７】例えば、縦Ｎピクセル×横Ｍピクセルの画
像データＩが入力されると、まずＲ×Ｒピクセルの画像
にスケーリングされる。ここで、Ｒは２のべき乗の正の
整数２^D（Ｄ＞ｂ）である。

【００５８】つぎに、各ピクセルの色データは、三つの
色空間（例えば、ＲＧＢ空間、ＹＩＱ空間など）の画像
データに分解される。すなわち、各色空間に対してＲ×
Ｒピクセルの画像データ｛Ｉｍ（ｋ，ｘ，ｙ）：ｘ＝
１，…，Ｒ；ｙ＝１，…，Ｒ｝（ｋ＝１，２，３）が得
られる。ここで、各画像データＩｍ（ｋ，ｘ，ｙ）はい
ずれも実数値である。

【００５９】各色空間に分割された画像データＩｍ
（ｋ，ｘ，ｙ）に対して、以下の式で定義される２次元
離散ウェーブレット変換を適用し、ウェーブレット係数
を算出する。なお、この演算はウェーブレット変換部１
３において行われる。

【００６０】

【数１】

【００６１】ここで、上記の式（２）の関数は、Ｈａｒ
ｒ基底関数である。よって、式（１）は、２次元信号で
ある画像データＩｍ（ｋ，ｘ，ｙ）に対するＨａｒｒ基
底による２次元離散ウェーブレット変換を表わしてい
る。

【００６２】こうして得られた各色空間でのウェーブレ
ット係数｛Ｗ（ｋ，ｕ，ｖ）：ｕ，ｖ＝１，…，Ｒ｝
（ｋ＝１，２，３）のうち、絶対値の大きい順で上位Ｌ
個の係数とそのインデックスの集合（次式（３））を選
択する。

【００６３】

【数２】

【００６４】そして、以下の式（４）で表される３×３
×Ｌ次元実数値ベクトルを、画像の特徴量である画像特
徴量ベクトルＦとして、ニューラルネットワーク１１へ
出力する。

【００６５】

【数３】

【００６６】このように、各色空間で絶対値の上位Ｌ個
のウェーブレット係数を選択することにより、画像平面
上での色の平均値、および色変化の最も激しい領域の大
きさや位置、色の変化値を示す情報が得られる。したが
って、絶対値の上位Ｌ個のウェーブレット係数と対応す
るインデックスとからなるベクトルによって、画像に含
まれる物体のエッジの位置や大きさ、色に関する情報を
圧縮して表現することができる。

【００６７】つづいて、図９を参照しながら、上記の画
像フィルタリング部１０および特徴量学習部９の処理内
容を説明する。

【００６８】まず、画像フィルタリング部１０では、画
像特徴量抽出部１２において、上述した演算（式（１）
〜式（４））により、画像データに対してウェーブレッ
ト変換を施して抽出した画像特徴量ベクトルＦを、以下
の式（５）で定義される入力層（３×３×Ｌ次元）、中
間層（Ｓ次元）、出力層（２次元）の３層型ニューラル
ネットワーク１１によって処理する。

【００６９】

【数４】

【００７０】ここで、ＮＯ（ｉ，Ｆ）（ｉ＝１，２）は
ニューラルネットワーク１１の出力層の出力値、ＮＭｎ
（Ｆ）は中間層の出力値、実数ｗ（２，０，０）ｉｎ
（ｉ＝１，２；ｎ＝１，…，Ｓ）は出力層と中間層との
間の結合係数、実数ｗ（１，ｋ，ｐ）ｎｊ（ｋ，ｐ＝
１，２，３；ｎ＝１，…，Ｓ；ｊ＝１，…，Ｌ）は中間
層と入力層との間の結合係数である。また、ｂｉ（ｉ＝
１，２）およびｃｎ（ｎ＝１，…，Ｓ）は、それぞれ出
力層および中間層のバイアス項である。

【００７１】画像特徴量ベクトルＦに対応する画像が所
望の画像であるか否かは、ニューラルネットワーク１１
の出力層の出力値に基づいて、以下の条件式（６）に従
って判別される。

【００７２】

【数５】

【００７３】一方、上記特徴量学習部９では、まず、例
／反例画像選択部５から与えられる例画像の集合｛ＩＭ
ｉ：ｉ＝１，…，Ａ｝と反例画像の集合｛ＮＩＭｊ：ｊ
＝１，…，Ｂ｝とに対して、上述した演算（式（１）〜
式（４））により、画像特徴量抽出部１２を介して、例
画像の画像特徴量ベクトルの集合｛Ｆｄ：ｄ＝１，…，
Ａ｝と反例画像の画像特徴量ベクトルの集合｛Ｆｄ：ｄ
＝Ａ＋１，…，Ａ＋Ｂ｝とを得る。

【００７４】つぎに、上記の式（５）で定義されたニュ
ーラルネットワーク１１に対して、例画像の画像特徴量
ベクトルに対しては出力層において肯定の出力（１，
０）が、反例画像の画像特徴量ベクトルに対しては否定
の出力（０，１）が実現されるように、以下の誤差逆伝
搬学習則により結合係数ｗ（２，０，０）ｉｎ，ｗ
（１，ｋ，ｐ）ｎｊ、およびバイアス項ｂｉ、ｃｎを更
新する。

【００７５】

【数６】

【００７６】ここで、αは学習更新係数であり、正の実
数である。また、Ｔ（ｄ，ｉ）（ｄ＝１，…，Ａ＋Ｂ；
ｉ＝１，２）は、各画像特徴量ベクトルに対する教師信
号であり、例画像の画像特徴量ベクトルＦｄ（ｄ＝１，
…，Ａ）に対しては出力層において肯定の出力（１，
０）が、反例画像の画像特徴量ベクトルＦｄ（ｄ＝Ａ＋
１，…，Ａ＋Ｂ）に対しては否定の出力（０，１）が実
現されるように設定される。また、Ｅは画像特徴量ベク
トルに付するニューラルネットワーク１１の出力と教師
信号との自乗誤差であり、結合係数およびバイアス項の
更新は、この自乗誤差に対する最急降下法により行われ
る。そして、上記の式（７）の係数更新は、平均自乗誤
差Ｅ／（Ａ＋Ｂ）が規定の誤差許容値εを下回るか、規
定の最大更新回数Ｔに達するまで繰り返される。

【００７７】すなわち、上記の式（７）に示したよう
に、ニューラルネットワーク１１では、例画像に対して
は（１，０）を、反例画像に対しては（０，１）を教師
信号として与えることにより、例画像および反例画像が
ニューラルネットワーク１１の出力の範囲［１，０］×
［０，１］の両極にそれぞれ配置されるようになってい
る。

【００７８】つぎに、図１０のフローチャートを参照し
ながら、画像検索フィルタリング部６のフィルタ学習部
７の動作を説明する。なお、図１０の処理は、図４のス
テップＳ３に相当する。また、以下のステップＳ１３か
らＳ２０が、特徴量学習処理に相当する。

【００７９】ステップＳ１１では、例／反例画像選択部
５からフィルタ学習部７に、例画像の集合｛ＩＭｉ：ｉ
＝１，…，Ａ｝と反例画像の集合｛ＮＩＭｊ：ｊ＝１，
…，Ｂ｝とが与えられる。

【００８０】ステップＳ１２（例／反例画像特徴量抽出
処理）では、上述した演算（式（１）〜式（４））によ
り、画像特徴量抽出部１２において、例画像の画像特徴
量ベクトルの集合｛Ｆｄ：ｄ＝１，…，Ａ｝、および反
例画像の画像特徴量ベクトルの集合｛Ｆｄ：ｄ＝Ａ＋
１，…，Ａ＋Ｂ｝を生成する。

【００８１】ステップＳ１３では、各画像特徴量ベクト
ルに対して、ニューラルネットワーク１１に与える教師
信号｛Ｔ（ｄ，ｉ）：ｄ＝１，…，Ａ＋Ｂ；ｉ＝１，
２｝（式（７））を設定する。

【００８２】ステップＳ１４では、結合係数の更新回数
をカウントするカウンタｔを１に初期化する。

【００８３】ステップＳ１５では、各画像特徴量ベクト
ルに対して、ニューラルネットワーク１１の出力｛ＮＯ
（ｉ，Ｆｄ）：ｄ＝１，…，Ａ＋Ｂ；ｉ＝１，２｝（式
（５））を計算する。

【００８４】ステップＳ１６では、ニューラルネットワ
ーク１１の出力と教師信号との自乗誤差Ｅを計算する
（式（７））。

【００８５】ステップＳ１７では、平均自乗誤差Ｅ／
（Ａ＋Ｂ）と規定の誤差許容値εとを比較し、平均自乗
誤差Ｅ／（Ａ＋Ｂ）が誤差許容値εを下回る場合（ＹＥ
Ｓ）には処理を終了し、そうでない場合（ＮＯ）にはス
テップＳ１８へ進む。

【００８６】ステップＳ１８では、カウンタｔと規定の
最大更新回数Ｔとを比較し、結合係数の更新回数が最大
更新回数を上回る場合（ＹＥＳ）には処理を終了し、そ
うでない場合（ＮＯ）にはステップＳ１９へ進む。

【００８７】ステップＳ１９では、ニューラルネットワ
ーク１１の結合係数およびバイアス項｛ｗ（２，０，
０）ｉｎ，ｗ（１，ｋ，ｐ）ｎｊ，ｂｉ，ｃｎ：ｉ＝
１，２；ｎ＝１，…，Ｓ；ｋ，ｐ＝１，２，３；ｊ＝
１，…，Ｌ｝を、上記の式（７）に従って１回更新す
る。

【００８８】ステップＳ２０では、カウンタｔを１つイ
ンクリメントし、その後ステップＳ１５へ戻り、上述の
ステップを継続する。

【００８９】つぎに、図１１のフローチャートを参照し
ながら、画像検索フィルタリング部６の画像検索フィル
タ８の動作を説明する。なお、図１１の処理は、図４の
ステップＳ４に相当する。また、以下のステップＳ２３
からＳ２５が、画像フィルタリング処理に相当する。

【００９０】ステップＳ２１では、画像データ記憶部２
に未だ判別の判定を受けていない画像データが存在する
か否かが判断される。存在しない場合（ＮＯ）には処理
を終了し、そうでない場合（ＹＥＳ）にはステップＳ２
２へ進む。

【００９１】ステップＳ２２（画像特徴量抽出処理）で
は、上述した演算（式（１）〜式（４））により、画像
特徴量抽出部１２において、当該未判別画像の画像特徴
量ベクトルＦを生成する。

【００９２】ステップＳ２３では、当該の未判別画像の
画像特徴量ベクトルＦに対して、ニューラルネットワー
ク１１の出力ＮＯ（１，Ｆ）、ＮＯ（２，Ｆ）を計算す
る（式（５））。

【００９３】ステップＳ２４では、ニューラルネットワ
ーク１１の出力ＮＯ（１，Ｆ）とＮＯ（２，Ｆ）とを比
較し、ＮＯ（１，Ｆ）がＮＯ（２，Ｆ）を上回る場合
（ＹＥＳ）にはステップＳ２５へ進み、そうでない場合
（ＮＯ）にはステップＳ２６へ進む。

【００９４】ステップＳ２５では、当該の画像は画像検
索フィルタ８の肯定画像として判別される。その後、ス
テップＳ２１に戻り、上述の処理を継続する。一方、ス
テップＳ２６では、当該の画像は画像検索フィルタ８の
否定画像として判別される。その後、ステップＳ２１へ
戻り、上述の処理を継続する。

【００９５】なお、ステップＳ２４，Ｓ２５，Ｓ２６
は、上記の式（６）に示される画像の判別処理に相当す
る。

【００９６】〔実施の形態２〕本発明の他の実施の形態
について図１２から図１４に基づいて説明すれば、以下
のとおりである。なお、説明の便宜上、前記の実施の形
態１において示した部材と同一の機能を有する部材に
は、同一の符号を付し、その説明を省略する。

【００９７】本実施の形態にかかる画像検索フィルタリ
ング装置１は、図２において画像検索フィルタ８を複数
有する場合である。したがって、実施の形態１の画像検
索フィルタリング装置１とは、基本的に同じ機能ブロッ
ク（図１および図２）および物理ブロック（図３）で構
成されている。

【００９８】図１２から図１４を用いて、上記画像検索
フィルタリング装置１における複数の画像検索フィルタ
８を用いた検索処理について説明する。具体的には、新
たに２つの画像検索フィルタ８（以下では、８ａ，８
ｂ）を学習した後、学習済みの画像検索フィルタ８（以
下では、８ｃ）を追加して、３つの画像検索フィルタ８
（８ａ，８ｂ，８ｃ）用いて画像検索する場合について
説明する。なお、図１２に示すフローチャートに従っ
て、説明を行う。

【００９９】ステップＳ３１（図１２）では、使用者が
新たに画像検索フィルタ８を学習するか否かを決定す
る。ここで、新たな画像検索フィルタ８（８ａ，８ｂ）
の学習が指示された場合（ＹＥＳ）にはステップＳ３２
へ進み、指示されなかった場合（ＮＯ）にはステップＳ
３６へ進む。なお、複数の画像検索フィルタ８を新たに
学習して追加することが可能である。

【０１００】ステップＳ３２（図１２）では、使用者が
例画像および反例画像を選択するための選択候補となる
サンプル画像を表示する。すなわち、例／反例画像選択
部５が、画像データ記憶部２から例画像および反例画像
の選択候補となるサンプル画像を読み出し、検索入出力
部３によりサンプル画像表示領域４１に読み出したサン
プル画像を表示する（図１３）。

【０１０１】ステップＳ３３（例／反例画像選択処理）
（図１２）では、使用者が検索の例画像および反例画像
を、新たに学習する画像検索フィルタ８（第一画像検索
フィルタ８ａ，第二画像検索フィルタ８ｂ）に対して選
択する。すなわち、使用者は検索入出力部３のキーボー
ド２４もしくはマウスなどのポインティングデバイス２
５を用いて、サンプル画像表示領域４１に表示されてい
るサンプル画像を選択し、学習例画像表示領域５２内の
各領域に配置する（図１３）。

【０１０２】ここで、図１３には、学習例画像表示領域
５２内に、第一画像検索フィルタ８ａの例画像を配置す
る第一例画像領域５２ａと、第二画像検索フィルタ８ｂ
の例画像を配置する第二例画像領域５２ｂとが表示され
ている。このとき、使用者は、サンプル画像表示領域４
１に表示されているサンプル画像を選択し、それを第一
画像検索フィルタ８ａの例画像とする場合には第一例画
像領域５２ａの内側に、第二画像検索フィルタ８ｂの例
画像とする場合には第二例画像領域５２ｂの内側に配置
する。さらに、サンプル画像を、両方のフィルタの例画
像とする場合には第一例画像領域５２ａと第二例画像領
域５２ｂとの交わりの領域５２ｃに配置し、両方のフィ
ルタの反例画像とする場合には第一例画像領域５２ａお
よび第二例画像領域５２ｂの外側（反例画像領域５２
ｄ）に配置する。

【０１０３】ステップＳ３４（図１２）では、それぞれ
の画像検索フィルタ８（８ａ，８ｂ）を学習する。この
処理は実施の形態１において説明したフィルタ学習部７
によって行われる。すなわち、例／反例画像選択部５
は、使用者によって選択された例画像および反例画像の
情報をフィルタ学習部７に送り、フィルタ学習部７はそ
れをもとに画像検索フィルタ８（８ａ，８ｂ）を学習す
る（図６，図１０）。

【０１０４】このとき、フィルタ学習部７は第一画像検
索フィルタ８ａに対しては第一例画像領域５２ａの画像
のみを例画像とし、それ以外の画像はすべて反例画像と
して学習する。同様に、フィルタ学習部７は第二画像検
索フィルタ８ｂに対しては第二例画像領域５２ｂの画像
のみを例画像とし、それ以外の画像はすべて反例画像と
して学習する。

【０１０５】ステップＳ３５（図１２）では、使用者が
既に学習されている他の画像検索フィルタ８を検索のた
めに追加するか否かを決定する。ここで、学習済みの画
像検索フィルタ８の追加が指示された場合（ＹＥＳ）に
はステップＳ３６へ進み、指示されなかった場合（Ｎ
Ｏ）にはステップＳ３７へ進む。

【０１０６】ステップＳ３６（図１２）では、既に学習
されている画像検索フィルタ８（第三画像検索フィルタ
８ｃ）を検索のために選択する。ここで、学習済みの画
像検索フィルタ８を複数選択することができる。なお、
学習済みの画像検索フィルタ８は、画像データ記憶部２
（図２）に保存されている。

【０１０７】ステップＳ３７（図１２）では、新たに学
習された画像検索フィルタ８（８ａ，８ｂ）および学習
済みの画像検索フィルタ８（８ｃ）により、それぞれ画
像データ記憶部２から所望の画像を検索する。すなわ
ち、新たに学習された第一画像検索フィルタ８ａおよび
第二画像検索フィルタ８ｂと、追加された第三画像検索
フィルタ８ｃとは、それぞれ画像データ記憶部２から画
像データを読み出し、検索対象として肯定／否定を判別
する（図１４）。なお、この処理の内容は、実施の形態
１において説明したとおりである（図７，図１１）。

【０１０８】ステップＳ３８（図１２）では、ステップ
Ｓ３７で得られた画像検索の結果をまとめて表示する。
すなわち、検索入出力部３の表示装置３０において、第
一画像検索フィルタ８ａ，第二画像検索フィルタ８ｂ，
第三画像検索フィルタ８ｃによって肯定の判別を受けた
画像（肯定画像）が、検索結果表示領域５３の第一肯定
画像表示領域５３ａ，第二肯定画像表示領域５３ｂ，第
三肯定画像表示領域５３ｃにそれぞれ表示される（図１
４）。このとき、複数の画像検索フィルタ８によって肯
定された肯定画像は、対応する肯定画像表示領域の交わ
りの領域５３ｄに表示される。また、すべての画像検索
フィルタ８によって否定の判別を受けた画像（否定画
像）は、検索結果表示領域５３内ですべての肯定画像表
示領域５３ａ，５３ｂ，５３ｃの外側領域（否定画像表
示領域５３ｅ）に表示される。

【０１０９】以上のように、実施の形態１および２にか
かる画像検索フィルタリング装置は、複数の画像データ
を記憶している画像データ記憶部から所望の画像データ
を検索する装置であって、使用者が検索を所望する画像
のサンプルである例画像と、所望しない画像のサンプル
である反例画像とを選択する例／反例画像選択部と、画
像データ記憶部に記憶されている各画像が所望の画像か
どうかを判別する画像検索フィルタとを備え、さらに、
例／反例画像選択部によって選択された例画像および反
例画像に基づいて、所望の画像データを判別できるよう
に画像検索フィルタを学習させるフィルタ学習部と、使
用者に検索結果を提示するとともに、使用者が検索結果
に基づいて新たに例画像および反例画像を例／反例画像
選択部に入力する検索入出力部とを備えている。

【０１１０】これにより、まず使用者が検索入出力部を
通じて、例／反例画像選択部を用いて例画像および反例
画像を選択する。つぎに例／反例画像選択部から例画像
および反例画像がフィルタ学習部に入力される。フィル
タ学習部は画像検索フィルタが例画像に対しては肯定の
応答を、反例画像に対しては否定の応答を行うように、
画像検索フィルタを学習する。学習された画像検索フィ
ルタは、画像データ記憶部に記憶されている各画像に対
して、学習結果に基づいて肯定／否定のいずれかの応答
を発する。肯定された画像が検索結果として検索入出力
部を通じて使用者に提示される。

【０１１１】このような過程により、使用者は検索を所
望する画像の色彩、物体形状などの厳密な物理的特徴を
意識することなく、所望する画像を検索することができ
る。すなわち、使用者が曖昧な感覚に基づいてサンプル
画像である例画像および反例画像を示すだけで、所望画
像を検索することが可能となる。しかも、使用者の所望
画像の類似関係に対する曖昧な感覚が学習を通して検索
に反映される。

【０１１２】また、検索結果において所望しない画像が
得られた場合や、得られるべき画像が得られなかった場
合には、検索結果の画像を例画像あるいは反例画像とし
て例／反例画像選択部に再提示して、フィルタ学習部に
画像検索フィルタを追加学習させることができ、検索性
能の向上を図ることが可能となる。

【０１１３】また、上記画像検索フィルタリング装置
は、ウェーブレット変換により画像の特徴量を抽出する
画像特徴量抽出部と、画像特徴量抽出部によって抽出さ
れた画像特徴量を入力として、画像特徴量に基づいて画
像が所望の画像であるか否かを判定するニューラルネッ
トワークとを備え、さらに、ニューラルネットワークに
より上記画像検索フィルタを実現する画像フィルタリン
グ部と、上記例／反例画像選択部によって選択された例
画像および反例画像から画像特徴量抽出部によって抽出
された画像特徴量とニューラルネットワークの学習によ
り、上記フィルタ学習部を実現する特徴量学習部とを備
えている。

【０１１４】これにより、まず画像特徴量抽出部におい
て、例／反例画像選択部から入力された例画像および反
例画像に対してウェーブレット変換が施され、ウェーブ
レット変換係数のうち値の大きいものが画像特徴量とし
て抽出される。つぎに特徴量学習部において、画像特徴
量抽出部によって抽出された各画像特徴量に対して、例
画像ならば肯定の応答を、反例画像ならば否定の応答を
対応づける教師信号を画像フィルタリング部におけるニ
ューラルネットワークに与える。フィルタ学習部では、
特徴量学習部が教師信号に従ってニューラルネットワー
クの学習が行われる。その後、画像検索フィルタでは、
画像データ記憶部に記憶されている各画像に対して、画
像特徴量抽出部から特徴量が抽出され、画像フィルタリ
ング部におけるニューラルネットワークにおいて各画像
特徴量に対して肯定あるいは否定の応答が行われる。

【０１１５】このような過程により、ウェーブレット変
換を用いて、高速かつ簡便に画像の特徴量抽出が可能と
なると同時に、ニューラルネットワークを用いることで
画像特徴量の物理的距離に依存せず、使用者の所望画像
の類似関係に対する曖昧な感覚を直接反映した画像検索
が可能となる。すなわち、上記画像検索フィルタリング
装置１では、使用者の曖昧な嗜好に基づいた画像のフィ
ルタリングを、高速かつ簡便に実現することができる。

【０１１６】例えば、上記のニューラルネットワーク１
１は、サンプル画像の向きが不統一であっても、画像の
向きを考慮したフィルタリングを行うように学習が行わ
れる。すなわち、使用者がサンプル画像として向きが不
統一な画像を与えても、ニューラルネットワーク１１の
学習によって、画像の向きの不統一を吸収することがで
きる。そして、フィルタ学習部に画像検索フィルタを追
加学習させることにより、検索性能の向上を図ることが
できる。

【０１１７】さらに、実施の形態２にかかる上記画像検
索フィルタリング装置は、複数の画像検索フィルタの併
用して、画像検索を行う。

【０１１８】これにより、別々に学習された複数の画像
検索フィルタを併用したり、新たに複数の画像検索フィ
ルタを同時に学習することにより、過去の学習結果の再
利用が可能となるとともに、柔軟で幅広い検索が可能と
なる。

【０１１９】なお、第一例画像領域５２ａと第二例画像
領域５２ｂとの交わりの領域５２ｃ（図１３）に配置さ
れたサンプル画像を、ニューラルネットワーク１１に二
重に与えることによって、重み付けをして検索すること
も可能である。

【０１２０】最後に、上述した実施の形態１および２
は、本発明の範囲を限定するものではなく、本発明の範
囲内で種々の変更が可能である。例えば、以下のように
構成することができる。

【０１２１】本発明は、複数の機器（例えば、ホストコ
ンピュータ，インタフェース機器，スキャナ，プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、ワープロ装置、データベース
装置など）に適用してもよい。

【０１２２】また、本発明の目的は、上述した機能を実
現するソフトウェアであるプログラムコードをコンピュ
ータで読み取り可能に記録した記録媒体を、システムあ
るいは装置に供給し、そのシステムあるいは装置のコン
ピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納さ
れたプログラムコードを読出し実行することによって
も、達成可能である。この場合、記憶媒体から読出され
たプログラムコード自体が上述した機能を実現すること
になり、そのプログラムコードを記憶した記憶媒体は本
発明を構成することになる。なお、プログラムコードを
供給するための記憶媒体としては、例えば、フロッピデ
ィスク，ハードディスク，磁気テープ，光ディスク，光
磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＭＤなどのメ
ディア、および不揮発性のメモリカード，ＲＯＭ，ＲＡ
Ｍなどのメモリを用いることができる。

【０１２３】また、上述した機能は、コンピュータが読
出した上記プログラムコードを実行することによっても
実現されるだけでなく、そのプログラムコードの指示に
基づき、コンピュータ上で稼働しているＯＳなどが実際
の処理の一部または全部を行い、その処理によっても実
現される。

【０１２４】さらに、上述した機能は、上記記憶媒体か
ら読出された上記プログラムコードが、コンピュータに
内蔵された機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに書込まれた後、その
プログラムコードの指示に基づき、その機能拡張ボード
や機能拡張ユニットに備わるＣＰＵなどが実際の処理の
一部または全部を行い、その処理によっても実現され
る。

【０１２５】

【発明の効果】請求項１の発明の画像検索装置は、以上
のように、複数の画像を格納している画像データ記憶部
と、該画像データ記憶部に格納されている各画像が所望
の画像かどうかを判別する画像検索フィルタと、該画像
検索フィルタに対して検索対象の画像に類似のサンプル
画像である例画像および非類似のサンプル画像である反
例画像をそれぞれ設定する例／反例画像選択部と、該画
像検索フィルタが該画像データ記憶部に格納されている
各画像を判別できるように、該例／反例画像選択部によ
って設定された該例画像および該反例画像に基づいて該
画像検索フィルタを学習させるフィルタ学習部とを備え
ている構成である。

【０１２６】それゆえ、例画像および反例画像に基づい
て使用者が所望する画像の画像特徴量の関係を学習する
ことにより、使用者は検索を所望する画像の色彩、物体
形状などの厳密な物理的特徴を意識することなく、所望
する画像の類似度に関する曖昧な感覚を反映しながら検
索することが可能となるという効果を奏する。すなわ
ち、使用者が曖昧な感覚に基づいてサンプル画像である
例画像および反例画像を示すだけで、所望する画像を検
索することができるという効果を奏する。しかも、使用
者の所望画像の類似関係についての曖昧な感覚を、フィ
ルタ学習を通して検索に反映させることができるという
効果を奏する。

【０１２７】請求項２の発明の画像検索装置は、以上の
ように、請求項１の構成に加えて、上記のフィルタ学習
部および画像検索フィルタは、画像の２次元離散ウェー
ブレット変換係数を演算することによって該画像の画像
特徴量を抽出する画像特徴量抽出部をともに備え、か
つ、該フィルタ学習部は、上記の例画像および反例画像
より該画像特徴量抽出部によって抽出された画像特徴量
に基づいて、該例画像に対しては肯定の出力を、該反例
画像に対しては否定の出力をするように、該画像検索フ
ィルタに設けられたニューラルネットワークを学習させ
る特徴量学習部を備え、かつ、該画像検索フィルタは、
上記画像データ記憶部に格納されている各画像より該画
像特徴量抽出部によって抽出された画像特徴量に基づい
て、該画像を判別する画像フィルタリング部を備えてい
る構成である。

【０１２８】それゆえ、請求項１の構成による効果に加
えて、ウェーブレット変換を用いて、高速かつ簡便に画
像特徴量を抽出することが可能となるという効果を奏す
る。同時に、ニューラルネットワークを用いることで画
像特徴量の物理的距離に依存せず、使用者の所望画像の
類似関係についての曖昧な感覚を直接反映した画像検索
が可能となるという効果を奏する。すなわち、使用者の
曖昧な嗜好に基づいた画像のフィルタリングが、高速か
つ簡便に実現することができるという効果を奏する。

【０１２９】請求項３の発明の画像検索装置は、以上の
ように、請求項１または２の構成に加えて、上記画像検
索フィルタを複数備えている構成である。

【０１３０】それゆえ、請求項１または２の構成による
効果に加えて、別々に学習された複数の画像検索フィル
タを併用した検索や、複数の画像検索フィルタを同時に
学習させることが可能となるという効果を奏する。した
がって、過去の学習結果を再利用することができるとも
に、柔軟で幅広い検索を行うことができるという効果を
奏する。

【０１３１】請求項４の発明の画像検索装置は、以上の
ように、請求項１から３の何れかの構成に加えて、上記
例／反例画像選択部は、画像検索フィルタによって検索
された画像を、上記の例画像あるいは反例画像として設
定する構成である。

【０１３２】それゆえ、請求項１から３の何れかの構成
による効果に加えて、検索結果において所望しない画像
が得られた場合や、得られるべき画像が得られなかった
場合に、例／反例画像選択部によって検索結果の画像を
例画像あるいは反例画像として改めて設定して、フィル
タ学習部に画像検索フィルタを追加学習させることが可
能となるという効果を奏する。したがって、検索対象を
絞り込みながら検索することができるとともに、検索性
能の向上を図ることができるという効果を奏する。

【０１３３】請求項５の発明の画像検索方法は、以上の
ように、画像データ記憶部に格納されている各画像が所
望の画像かどうかを判別する画像検索フィルタに対し
て、検索対象の画像に類似のサンプル画像である例画像
および非類似のサンプル画像である反例画像をそれぞれ
設定する例／反例画像選択処理と、該例画像および該反
例画像の画像特徴量を抽出する例／反例画像特徴量抽出
処理と、該画像検索フィルタが該画像データ記憶部に格
納されている各画像を判別できるように、該例画像およ
び該反例画像の画像特徴量に基づいて該画像検索フィル
タを学習させる特徴量学習処理と、該画像データ記憶部
に格納されている各画像の画像特徴量を抽出する画像特
徴量抽出処理と、該画像データ記憶部に格納されている
各画像を該画像検索フィルタによって画像特徴量に基づ
いて判別する画像フィルタリング処理とを含んでいる構
成である。

【０１３４】それゆえ、例画像および反例画像に基づい
て使用者が所望する画像の画像特徴量の関係を学習する
ことにより、使用者は検索を所望する画像の色彩、物体
形状などの厳密な物理的特徴を意識することなく、所望
する画像の類似度に関する曖昧な感覚を反映しながら検
索することが可能となるという効果を奏する。すなわ
ち、使用者が曖昧な感覚に基づいてサンプル画像である
例画像および反例画像を示すだけで、所望する画像を検
索することができるという効果を奏する。しかも、使用
者の所望画像の類似関係についての曖昧な感覚を、フィ
ルタ学習を通して検索に反映させることができるという
効果を奏する。

【０１３５】請求項６の発明の記録媒体は、以上のよう
に、画像データ記憶部に格納されている各画像が所望の
画像かどうかを判別する画像検索フィルタに対して、検
索対象の画像に類似のサンプル画像である例画像および
非類似のサンプル画像である反例画像をそれぞれ設定す
る例／反例画像選択処理と、該例画像および該反例画像
の画像特徴量を抽出する例／反例画像特徴量抽出処理
と、該画像検索フィルタが該画像データ記憶部に格納さ
れている各画像を判別できるように、該例画像および該
反例画像の画像特徴量に基づいて該画像検索フィルタを
学習させる特徴量学習処理と、該画像データ記憶部に格
納されている各画像の画像特徴量を抽出する画像特徴量
抽出処理と、該画像データ記憶部に格納されている各画
像を該画像検索フィルタによって画像特徴量に基づいて
判別する画像フィルタリング処理とを、コンピュータに
実行させるためのプログラムを記録している構成であ
る。

【０１３６】それゆえ、上記請求項５と同様の効果を奏
することができる。

【図面の簡単な説明】

【図１】図２に示す画像検索フィルタリング装置の処理
部の構成の概略を示す機能ブロック図である。

【図２】本発明の一実施の形態にかかる画像検索フィル
タリング装置の構成の概略を示す機能ブロック図であ
る。

【図３】図２に示す画像検索フィルタリング装置の構成
の概略を示す物理ブロック図である。

【図４】図２に示す画像検索フィルタリング装置の画像
検索処理の概略を示すフローチャートである。

【図５】図２に示す画像検索フィルタリング装置の画像
検索処理のうち、例画像および反例画像の選択処理を示
す説明図である。

【図６】図２に示す画像検索フィルタリング装置の画像
検索処理のうち、検索処理および結果表示処理を示す説
明図である。

【図７】図２に示す画像検索フィルタリング装置の画像
検索処理のうち、追加学習処理を示す説明図である。

【図８】図２に示す画像検索フィルタリング装置の画像
検索処理において行われるウェーブレット変換および画
像特徴量ベクトルの抽出を示す説明図である。

【図９】図２に示す画像検索フィルタリング装置の画像
検索処理において行われる画像検索フィルタの学習を示
す説明図である。

【図１０】図２に示す画像検索フィルタリング装置の画
像検索処理において行われる画像検索フィルタのニュー
ラルネットワークの学習の手順を示すフローチャートで
ある。

【図１１】図２に示す画像検索フィルタリング装置の画
像検索処理において行われる画像検索フィルタのニュー
ラルネットワークによる検索の手順を示すフローチャー
トである。

【図１２】本発明の他の実施の形態にかかる画像検索フ
ィルタリング装置の画像検索処理の概略を示すフローチ
ャートである。

【図１３】図１２に示す画像検索フィルタリング装置の
画像検索処理のうち、例画像および反例画像の選択処理
を示す説明図である。

【図１４】図１２に示す画像検索フィルタリング装置の
画像検索処理のうち、検索処理および結果表示処理を示
す説明図である。

【符号の説明】

１画像検索フィルタリング装置（画像検索装置）２画像データ記憶部５例／反例画像選択部７フィルタ学習部８画像検索フィルタ９特徴量学習部１０画像フィルタリング部１１ニューラルネットワーク１２画像特徴量抽出部Ｓ２，Ｓ３３例／反例画像選択処理Ｓ１２例／反例画像特徴量抽出処理Ｓ１３〜Ｓ２０特徴量学習処理Ｓ２２画像特徴量抽出処理Ｓ２３〜Ｓ２５画像フィルタリング処理

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 15/70 ４６５Ｆターム(参考） 5B056 AA04 AA08 BB11 BB28 BB31 BB71 BB74 FF05 HH03 5B075 ND16 NK10 PQ02 PR06 QM07 QP00 QS03 QT04 UU40 5L096 AA02 EA24 FA26 GA55 HA08 HA11 JA09 JA11 KA04 KA09

Claims

【特許請求の範囲】

【請求項１】複数の画像を格納している画像データ記憶
部と、該画像データ記憶部に格納されている各画像が所望の画
像かどうかを判別する画像検索フィルタと、該画像検索フィルタに対して検索対象の画像に類似のサ
ンプル画像である例画像および非類似のサンプル画像で
ある反例画像をそれぞれ設定する例／反例画像選択部
と、該画像検索フィルタが該画像データ記憶部に格納されて
いる各画像を判別できるように、該例／反例画像選択部
によって設定された該例画像および該反例画像に基づい
て該画像検索フィルタを学習させるフィルタ学習部とを
備えていることを特徴とする画像検索装置。
【請求項２】上記のフィルタ学習部および画像検索フィ
ルタは、画像の２次元離散ウェーブレット変換係数を演
算することによって該画像の画像特徴量を抽出する画像
特徴量抽出部をともに備え、かつ、該フィルタ学習部は、上記の例画像および反例画
像より該画像特徴量抽出部によって抽出された画像特徴
量に基づいて、該例画像に対しては肯定の出力を、該反
例画像に対しては否定の出力をするように、該画像検索
フィルタに設けられたニューラルネットワークを学習さ
せる特徴量学習部を備え、かつ、該画像検索フィルタは、上記画像データ記憶部に
格納されている各画像より該画像特徴量抽出部によって
抽出された画像特徴量に基づいて、該画像を判別する画
像フィルタリング部を備えていることを特徴とする請求
項１記載の画像検索装置。
【請求項３】上記画像検索フィルタを複数備えているこ
とを特徴とする請求項１または２記載の画像検索装置。
【請求項４】上記例／反例画像選択部は、画像検索フィ
ルタによって検索された画像を、上記の例画像あるいは
反例画像として設定することを特徴とする請求項１から
３の何れかに記載の画像検索装置。
【請求項５】画像データ記憶部に格納されている各画像
が所望の画像かどうかを判別する画像検索フィルタに対
して、検索対象の画像に類似のサンプル画像である例画
像および非類似のサンプル画像である反例画像をそれぞ
れ設定する例／反例画像選択処理と、該例画像および該反例画像の画像特徴量を抽出する例／
反例画像特徴量抽出処理と、該画像検索フィルタが該画像データ記憶部に格納されて
いる各画像を判別できるように、該例画像および該反例
画像の画像特徴量に基づいて該画像検索フィルタを学習
させる特徴量学習処理と、該画像データ記憶部に格納されている各画像の画像特徴
量を抽出する画像特徴量抽出処理と、該画像データ記憶部に格納されている各画像を該画像検
索フィルタによって画像特徴量に基づいて判別する画像
フィルタリング処理とを含んでいることを特徴とする画
像検索方法。
【請求項６】画像データ記憶部に格納されている各画像
が所望の画像かどうかを判別する画像検索フィルタに対
して、検索対象の画像に類似のサンプル画像である例画
像および非類似のサンプル画像である反例画像をそれぞ
れ設定する例／反例画像選択処理と、該例画像および該反例画像の画像特徴量を抽出する例／
反例画像特徴量抽出処理と、該画像検索フィルタが該画像データ記憶部に格納されて
いる各画像を判別できるように、該例画像および該反例
画像の画像特徴量に基づいて該画像検索フィルタを学習
させる特徴量学習処理と、該画像データ記憶部に格納されている各画像の画像特徴
量を抽出する画像特徴量抽出処理と、該画像データ記憶部に格納されている各画像を該画像検
索フィルタによって画像特徴量に基づいて判別する画像
フィルタリング処理とを、コンピュータに実行させるた
めのプログラムを記録したコンピュータ読み取り可能な
記録媒体。