JP2000148795A - 画像検索装置及びその方法、コンピュ―タ可読メモリ - Google Patents

画像検索装置及びその方法、コンピュ―タ可読メモリ

Info

Publication number
JP2000148795A
JP2000148795A JP21426699A JP21426699A JP2000148795A JP 2000148795 A JP2000148795 A JP 2000148795A JP 21426699 A JP21426699 A JP 21426699A JP 21426699 A JP21426699 A JP 21426699A JP 2000148795 A JP2000148795 A JP 2000148795A
Authority
JP
Japan
Prior art keywords
image
display
image data
feature amount
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP21426699A
Other languages
English (en)
Other versions
JP2000148795A5 (ja
Inventor
Kunihiro Yamamoto
邦浩 山本
Kiyoshi Kusama
澄 草間
Kentaro Matsumoto
健太郎 松本
Miyuki Enokida
幸 榎田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP21426699A priority Critical patent/JP2000148795A/ja
Priority to US09/385,430 priority patent/US6731826B1/en
Priority to EP99306899A priority patent/EP0987638A3/en
Publication of JP2000148795A publication Critical patent/JP2000148795A/ja
Publication of JP2000148795A5 publication Critical patent/JP2000148795A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99936Pattern matching access

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 ユーザーの意図を迅速に反映し、効率の良い
画像検索を行うことができる画像検索装置及びその方
法、コンピュータ可読メモリを提供する。 【解決手段】 複数の画像データそれぞれと、それぞ
れの画像データの画像特徴量を対応づけてハードディス
ク装置106に記憶する。ユーザが描画する画像を検索
条件としてポインティングデバイス102aより入力す
る。CPU101は、入力された画像の画像特徴量を計
算する。そして、計算された画像特徴量と、画像データ
の画像特徴量に基づいて、画像類似度を計算する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の画像データ
を蓄積した画像データベースから所望の画像データを検
索する画像検索装置及びその方法、コンピュータ可読メ
モリに関するものである。
【0002】
【従来の技術】多数の画像データを蓄積したデータベー
スから、所望の画像データを検索する画像検索装置が種
々考案されている。これらの画像検索装置では、 ・ キーワードや撮影日時等の非画像情報を画像データ
に関連付け、それを基に検索を行なう方法 ・ 画像データ自体の画像特徴量(輝度・色差情報、画
像周波数、ヒストグラムなど)を基に検索を行なう方法 の2つに大別される。
【0003】後者において、ある画像データを提示し、
その画像データの画像特徴量を検索キーとして、画像デ
ータを検索する方法を特に類似画検索と呼ぶ。これは、
画像処理について特別な知識を持たないユーザーに対
し、直感的に分かりやすい検索インターフェースを提供
できるという利点がある。
【0004】
【発明が解決しようとする課題】しかしながら、ユーザ
ーの手元にキーとなる画像データが存在しない場合、例
えば、ユーザーの記憶に基づいて検索を行なったり、ユ
ーザーが独自に案した画像アイデアに基づいて検索を行
なう場合には、上記類似画検索のユーザーインターフェ
ースは非常に使用が困難であった。または、使用が不可
能であるという問題点があった。
【0005】また、ユーザーは何らかの方法でキーとな
る画像データを探してくる必要があり、例えば、上記キ
ーワードによる検索でキーとなる画像データを検索し、
これをキーとなる画像データとして類似画検索を行う手
順を踏まなければならず面倒な操作を強いられていた。
【0006】本発明は上記の問題点に鑑みてなされたも
のであり、ユーザーの意図を迅速に反映し、効率の良い
画像検索を行うことができる画像検索装置及びその方
法、コンピュータ可読メモリを提供することを目的とす
る。
【0007】
【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像検索装置は以下の構成を備える。
即ち、複数の画像データを蓄積した画像データベースか
ら所望の画像データを検索する画像検索装置であって、
前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて記憶する記憶手段と、入力
画面を用いて画像を入力する入力手段と、前記入力手段
で入力された画像の画像特徴量を計算する画像特徴量計
算手段と、前記画像特徴量計算手段で計算された画像特
徴量と、前記記憶手段に記憶された画像データの画像特
徴量に基づいて、画像類似度を計算する画像類似度計算
手段とを備える。
【0008】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索方法であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて記憶媒体に記憶する記憶工程と、入力画面に
入力された画像の画像特徴量を計算する画像特徴量計算
工程と、前記画像特徴量計算工程で計算された画像特徴
量と、前記記憶工程で記憶媒体に記憶された画像データ
の画像特徴量に基づいて、画像類似度を計算する画像類
似度計算工程とを備える。
【0009】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
複数の画像データを蓄積した画像データベースから所望
の画像データを検索する画像検索のプログラムコードが
格納されたコンピュータ可読メモリであって、前記複数
の画像データそれぞれと、それぞれの画像データの画像
特徴量を対応付けて記憶媒体に記憶する記憶工程のプロ
グラムコードと、前記入力画面に入力された画像の画像
特徴量を計算する画像特徴量計算工程のプログラムコー
ドと、前記画像特徴量計算工程で計算された画像特徴量
と、前記記憶工程で記憶媒体に記憶された画像データの
画像特徴量に基づいて、画像類似度を計算する画像類似
度計算工程のプログラムコードとを備える。
【0010】上記の目的を達成するための本発明による
画像検索装置は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索装置であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて記憶する記憶手段と、入力画面を用いて画像
を入力する入力手段と、前記入力手段で入力された画像
の画像特徴量を計算する画像特徴量計算手段と、前記画
像特徴量計算手段で計算された画像特徴量と、前記記憶
手段に記憶された画像データの画像特徴量に基づいて、
画像類似度を計算する画像類似度計算手段と前記画像類
似度計算手段で計算された画像類似度に基づいて、検索
結果とする画像データの一覧を表示する画像表示手段と
前記入力画面と前記画像表示手段が表示する表示画面を
表示装置の同一画面上に表示制御する表示制御手段とを
備える。
【0011】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索方法であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて記憶媒体に記憶する記憶工程と、入力画面に
入力された画像の画像特徴量を計算する画像特徴量計算
工程と、前記画像特徴量計算工程で計算された画像特徴
量と、前記記憶工程で記憶媒体に記憶された画像データ
の画像特徴量に基づいて、画像類似度を計算する画像類
似度計算工程と前記画像類似度計算工程で計算された画
像類似度に基づいて、検索結果とする画像データの一覧
を表示する画像表示工程と前記入力画面と前記画像表示
工程が表示する表示画面を表示装置の同一画面上に表示
制御する表示制御工程とを備える。
【0012】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
複数の画像データを蓄積した画像データベースから所望
の画像データを検索する画像検索のプログラムコードが
格納されたコンピュータ可読メモリであって、前記複数
の画像データそれぞれと、それぞれの画像データの画像
特徴量を対応付けて記憶媒体に記憶する記憶工程のプロ
グラムコードと、入力画面に入力された画像の画像特徴
量を計算する画像特徴量計算工程のプログラムコード
と、前記画像特徴量計算工程で計算された画像特徴量
と、前記記憶工程で記憶媒体に記憶された画像データの
画像特徴量に基づいて、画像類似度を計算する画像類似
度計算工程のプログラムコードと前記画像類似度計算工
程で計算された画像類似度に基づいて、検索結果とする
画像データの一覧を表示する画像表示工程のプログラム
コードと前記入力画面と前記画像表示工程が表示する表
示画面を表示装置の同一画面上に表示制御する表示制御
工程のプログラムコードとを備える。
【0013】上記の目的を達成するための本発明による
画像検索装置は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索装置であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて管理する管理手段と、入力画面を用いて第1
検索条件とする画像を入力する入力手段と、前記第1検
索条件とする画像の第1画像特徴量を計算する画像特徴
量計算手段と、前記第1画像特徴量と、前記管理手段に
管理された画像データの画像特徴量に基づいて、画像類
似度を計算する画像類似度計算手段と前記画像類似度計
算手段で計算された画像類似度に基づいて、検索結果と
する画像データの一覧を表示する画像表示手段と前記第
1検索条件を修正して再検索を行う場合に前記入力手段
より入力された第2検索条件とする画像の第2画像特徴
量と前記第1画像特徴量とに基づいて、前記画像類似度
計算手段乃び前記画像表示手段を実行するか否かを決定
する決定手段とを備える。
【0014】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索方法であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて記憶媒体に管理する管理工程と、入力画面に
入力された第1検索条件とする画像の第1画像特徴量を
計算する画像特徴量計算工程と、前記第1画像特徴量
と、前記管理工程で記憶媒体に管理された画像データの
画像特徴量に基づいて、画像類似度を計算する画像類似
度計算工程と前記画像類似度計算工程で計算された画像
類似度に基づいて、検索結果とする画像データの一覧を
表示する画像表示工程と前記第1検索条件を修正して再
検索を行う場合に前記入力画面に入力された第2検索条
件とする画像の第2画像特徴量と前記第1画像特徴量と
に基づいて、前記画像類似度計算工程乃び前記画像表示
工程を実行するか否かを決定する決定工程とを備える。
【0015】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
複数の画像データを蓄積した画像データベースから所望
の画像データを検索する画像検索のプログラムコードが
格納されたコンピュータ可読メモリであって、前記複数
の画像データそれぞれと、それぞれの画像データの画像
特徴量を対応付けて記憶媒体に管理する管理工程のプロ
グラムコードと、入力画面に入力された第1検索条件と
する画像の第1画像特徴量を計算する画像特徴量計算工
程のプログラムコードと、前記第1画像特徴量と、前記
管理工程で記憶媒体に管理された画像データの画像特徴
量に基づいて、画像類似度を計算する画像類似度計算工
程のプログラムコードと前記画像類似度計算工程で計算
された画像類似度に基づいて、検索結果とする画像デー
タの一覧を表示する画像表示工程のプログラムコードと
前記第1検索条件を修正して再検索を行う場合に前記入
力画面に入力された第2検索条件とする画像の第2画像
特徴量と前記第1画像特徴量とに基づいて、前記画像類
似度計算工程乃び前記画像表示工程を実行するか否かを
決定する決定工程のプログラムコードとを備える。
【0016】上記の目的を達成するための本発明による
画像検索装置は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索装置であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて記憶する記憶手段と、入力画面を用いて画像
を検索条件として入力する入力手段と、前記入力手段で
入力された画像の画像特徴量を計算する画像特徴量計算
手段と、前記画像特徴量計算手段で計算された画像特徴
量と、前記記憶手段に記憶された画像データの画像特徴
量に基づいて、画像類似度を計算する画像類似度計算手
段と前記画像類似度計算手段で計算された画像類似度に
基づいて、検索結果とする画像データの一覧を表示する
画像表示手段と前記画像表示手段による表示を中断する
中断手段とを備える。
【0017】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索方法であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて記憶媒体に記憶する記憶工程と、入力画面に
入力された画像の画像特徴量を計算する画像特徴量計算
工程と、前記画像特徴量計算工程で計算された画像特徴
量と、前記記憶工程で記憶媒体に記憶された画像データ
の画像特徴量に基づいて、画像類似度を計算する画像類
似度計算工程と前記画像類似度計算工程で計算された画
像類似度に基づいて、検索結果とする画像データの一覧
を表示する画像表示工程と前記画像表示工程による表示
を中断する中断工程とを備える。
【0018】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
複数の画像データを蓄積した画像データベースから所望
の画像データを検索する画像検索のプログラムコードが
格納されたコンピュータ可読メモリであって、前記複数
の画像データそれぞれと、それぞれの画像データの画像
特徴量を対応付けて記憶媒体に記憶する記憶工程のプロ
グラムコードと、入力画面に入力された画像の画像特徴
量を計算する画像特徴量計算工程のプログラムコード
と、前記画像特徴量計算工程で計算された画像特徴量
と、前記記憶工程で記憶媒体に記憶された画像データの
画像特徴量に基づいて、画像類似度を計算する画像類似
度計算工程のプログラムコードと前記画像類似度計算工
程で計算された画像類似度に基づいて、検索結果とする
画像データの一覧を表示する画像表示工程のプログラム
コードと前記画像表示工程による表示を中断する中断工
程のプログラムコードとを備える。
【0019】上記の目的を達成するための本発明による
画像検索装置は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索装置であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて記憶する記憶手段と、入力画面を用いて画像
を入力する入力手段と、前記入力手段で入力された画像
の画像特徴量を計算する画像特徴量計算手段と、前記画
像特徴量計算手段で計算された画像特徴量と、前記記憶
手段に記憶された画像データの画像特徴量に基づいて、
画像類似度を計算する画像類似度計算手段と前記画像類
似度計算手段で計算された画像類似度に基づいて、検索
結果とする画像データの一覧を表示する画像表示手段と
前記画像表示手段で一度表示された画像データをキャッ
シュするキャッシュ手段とを備える。
【0020】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索方法であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて第1記憶媒体に記憶する記憶工程と、入力画
面に入力された画像の画像特徴量を計算する画像特徴量
計算工程と、前記画像特徴量計算工程で計算された画像
特徴量と、前記記憶工程で第1記憶媒体に記憶された画
像データの画像特徴量に基づいて、画像類似度を計算す
る画像類似度計算工程と前記画像類似度計算工程で計算
された画像類似度に基づいて、検索結果とする画像デー
タの一覧を表示する画像表示工程と前記画像表示工程で
一度表示された画像データを第2記憶媒体にキャッシュ
するキャッシュ工程とを備える。
【0021】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
複数の画像データを蓄積した画像データベースから所望
の画像データを検索する画像検索のプログラムコードが
格納されたコンピュータ可読メモリであって、前記複数
の画像データそれぞれと、それぞれの画像データの画像
特徴量を対応付けて第1記憶媒体に記憶する記憶工程の
プログラムコードと、入力画面に入力された画像の画像
特徴量を計算する画像特徴量計算工程のプログラムコー
ドと、前記画像特徴量計算工程で計算された画像特徴量
と、前記記憶工程で第1記憶媒体に記憶された画像デー
タの画像特徴量に基づいて、画像類似度を計算する画像
類似度計算工程のプログラムコードと前記画像類似度計
算工程で計算された画像類似度に基づいて、検索結果と
する画像データの一覧を表示する画像表示工程のプログ
ラムコードと前記画像表示工程で一度表示された画像デ
ータを第2記憶媒体にキャッシュするキャッシュ工程の
プログラムコードとを備える。
【0022】上記の目的を達成するための本発明による
画像検索装置は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索装置であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて記憶する記憶手段と、画像を入力する入力手
段と、前記入力手段で入力された画像の画像特徴量を計
算する画像特徴量計算手段と、前記画像特徴量計算手段
で計算された画像特徴量と、前記記憶手段に記憶された
画像データの画像特徴量に基づいて、画像類似度を計算
する画像類似度計算手段と前記画像類似度計算手段で計
算された画像類似度に基づいて、検索結果とする画像デ
ータの一覧を表示する画像表示手段と前記画像表示手段
で表示対象の画像データが前回の表示で既に表示されて
いる画像データであるか否かを判定する判定手段と、前
記判定手段の判定結果に基づいて、前記画像表示手段に
よる表示を制御する制御手段とを備える。
【0023】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索方法であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて第1記憶媒体に記憶する記憶工程と、入力さ
れた画像の画像特徴量を計算する画像特徴量計算工程
と、前記画像特徴量計算工程で計算された画像特徴量
と、前記記憶工程で第1記憶媒体に記憶された画像デー
タの画像特徴量に基づいて、画像類似度を計算する画像
類似度計算工程と前記画像類似度計算工程で計算された
画像類似度に基づいて、検索結果とする画像データの一
覧を表示する画像表示工程と前記画像表示工程で表示対
象の画像データが前回の表示で既に表示されている画像
データであるか否かを判定する判定工程と、前記判定工
程の判定結果に基づいて、前記画像表示工程による表示
を制御する制御工程とを備える。
【0024】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
複数の画像データを蓄積した画像データベースから所望
の画像データを検索する画像検索のプログラムコードが
格納されたコンピュータ可読メモリであって、前記複数
の画像データそれぞれと、それぞれの画像データの画像
特徴量を対応付けて第1記憶媒体に記憶する記憶工程の
プログラムコードと、入力された画像の画像特徴量を計
算する画像特徴量計算工程のプログラムコードと、前記
画像特徴量計算工程で計算された画像特徴量と、前記記
憶工程で第1記憶媒体に記憶された画像データの画像特
徴量に基づいて、画像類似度を計算する画像類似度計算
工程のプログラムコードと前記画像類似度計算工程で計
算された画像類似度に基づいて、検索結果とする画像デ
ータの一覧を表示する画像表示工程のプログラムコード
と前記画像表示工程で表示対象の画像データが前回の表
示で既に表示されている画像データであるか否かを判定
する判定工程のプログラムコードと、前記判定工程の判
定結果に基づいて、前記画像表示工程による表示を制御
する制御工程のプログラムコードとを備える。
【0025】
【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。
【0026】図1は実施形態1の画像検索装置の構成を
示すブロック図である。
【0027】図1において、101はCPUであり、シ
ステム全体の制御を行なっている。102はキーボード
であり、102aはポインティングデバイスであり、マ
ウスとともにシステムにデータの入力や類似画像検索を
行うための検索条件となるイラストを描画するために使
用される。103は表示装置であり、CRTや液晶等で
構成され、検索条件とする画像を描画するためのユーザ
インタフェースや検索結果とする画像データを表示す
る。104はROM、105はRAMであり、システム
の記憶装置を構成し、システムが実行するプログラムや
システムが利用するデータを記憶する。106はハード
ディスク装置であり、107はフロッピーディスク装置
であり、システムのファイルシステムに使用される外部
記憶装置を構成している。また、ハードディスク装置1
06には、検索対象とする複数の画像データが記憶され
ている。108はプリンタであり、表示装置103に表
示されている画像等を記録媒体に記録する。
【0028】次に、実施形態1の画像検索装置で実行さ
れる処理の概要について、図2を用いて説明する。
【0029】図2は実施形態1の画像検索装置で実行さ
れる処理の概要を示すフローチャートである。
【0030】ステップS21で、ユーザーが表示装置1
03上に、ハードディスク装置106上に蓄積される検
索対象である所望の画像データに似せた検索条件とする
イラストを描画する。ステップS22で、描画されたイ
ラストの画像特徴量を計算する。ステップS23で、計
算された画像特徴量に基いて類似画像検索を実行する。
ステップS24で、検索された類似画像を表示装置10
3に表示する。
【0031】以下、上記ステップの各々で実行される処
理の詳細について説明して行く。 『ステップS21の説明』図3は本発明の実施形態1の
ステップS21における表示装置103に表示される操
作画面を示す図である。
【0032】31はユーザ描画領域、32は色指定スク
ロールバー、33はクリアボタン、34はアンドゥボタ
ン、35はペン太さ指定ラジオボタン、36はツールパ
レットボタン、37は検索実行ボタンである。ユーザー
は、ソフトウェアにより実現される上記描画ツールを用
いて、ユーザ描画領域31に検索対象の画像に似せた検
索条件とするイラストを描画することができる。イラス
トを描画時のソフトウェア動作の概略は以下の通りであ
る。
【0033】色指定スクロールバー32は、描画に用い
るペンの色を指定するためのものであり、上から順に
R、G、B値を指定する。クリアボタン33を押すとユ
ーザ描画領域31全体を白く塗りつぶす。アンドゥボタ
ン34を押すと直前の動作を取り消し、元の状態に戻
す。ペン太さ指定ラジオボタン35は、描画するときの
ペンの太さを指定する。ツールパレットボタン36にお
いて、左の「ペン」アイコンを選択すると、ユーザーは
ポインティングデバイス102aを用いて、描画領域3
1上に自由な曲線を描画できる。また、中央の「直線」
アイコンを選択すると、ポインティングデバイス102
aを用いて直線の始点と終点を指定することで、直線を
描画できる。また、左の「円」アイコンを選択すると、
円の中心と半径を指定することで、円を描画することが
できる。
【0034】上記描画ツールを使って、ユーザ描画領域
31にイラストを描画した後、検索実行ボタン37を押
すことで、ステップS21を終了し、ステップS22に
進む。 『ステップS22の説明』ステップS22では、ステッ
プS21で描画されたイラストの画像特徴量を計算す
る。
【0035】図4に示すように、本実施形態のユーザ描
画領域31の大きさは水平方向にW画素、垂直方向にH
画素で構成される。これを、水平方向に3分割、垂直方
向に2分割、計6分割し、左上から順に領域(0,
0)、領域(1,0)、・・・、領域(2,1)とす
る。これら各領域のR、G、B値の平均値を算出し、計
18個の数値をもって、描画されたイラストの画像特徴
量とする。
【0036】ここで、画像特徴量の計算処理について、
図5を用いて説明する。
【0037】図5は実施形態1の画像特徴量の計算処理
を示すフローチャートである。
【0038】まず、ステップS51で、変数kを値0で
初期化する。ステップS52で、変数jを値0で初期化
する。ステップS53で、変数iを値0で初期化する。
ステップS54で、配列dのk番目の要素d(k)に、
領域(i,j)のR値の平均値を代入する。また、d
(k+1)にG値の平均値、d(k+2)にB値の平均
値を代入する。尚、R、G、B値の平均値の算出方法の
詳細については、図6のフローチャートを用いて後述す
る。
【0039】ステップS55で、kを値3だけ増加させ
る。ステップS56で、iを値1だけ増加させる。ステ
ップS57で、iを値2と比較する。iが2より大きい
場合(ステップS57でYES)、ステップS58へ進
む。一方、2以下である場合(ステップS57でN
O)、ステップS54へ戻る。
【0040】ステップS58で、jを値1だけ増加させ
る。ステップS59で、jを値1と比較する。1より大
きい場合(ステップS59でYES)、処理を終了す
る。一方、1以下である場合(ステップS59でN
O)、ステップS53へ戻る。
【0041】上記処理を完了すると、18個の要素をも
つ配列d()に、描画されたイラストの画像特徴量が格
納される。尚、ここでは、画像特徴量を計算するため
に、描画されたイラスト(画像)を6個の等面積の矩形
領域に分割しているが、分割は矩形領域に限らずより複
雑な形状の領域でもよいし、分割数を増減しても良い。
分割数を増減したときは、画像特徴量の要素数は18個
でなく、それに応じて増減する。
【0042】次に、図5のステップS54におけるR、
G、B値の平均値の算出方法の詳細について、図6を用
いて説明する。
【0043】図6は実施形態1のR、G、B値の平均値
の算出方法の詳細を示すフローチャートである。
【0044】尚、描画されたイラストの画像データは、
R(X,Y)、G(X,Y)、B(X,Y)の3つの配
列に格納されているものとする。但し、0≦X<W、0
≦Y<Hであり、画像の左上隅を起点(0,0)とす
る。また、以下のフローでは、X0≦X<X1、Y0≦Y
<Y1の領域のR、G、B値の平均値を算出し、変数D
R、DG、DBにそれぞれR、G、B値の平均値を返
す。更に、ステップS22において、領域(i,j)に
相当する領域は、 X0=W*i/3 X1=W*(i+1)/3 Y0=H*j/2 Y1=H*(j+1)/2 に対応するので、定数X0、X1、Y0、Y1を上記のよう
に初期化してからフローチャートを実行する。
【0045】まず、ステップS61で、変数DR、D
G、DBを値0で初期化する。ステップS62で、変数
YをY0で初期化する。ステップS63で、変数XをX0
で初期化する。ステップS64で、変数DRにR(X,
Y)を加える。同様に、変数DGにG(X,Y)、変数
DBにB(X,Y)を加える。
【0046】ステップS65で、変数Xを値1だけ増加
させる。ステップS66で、変数XとX1を比較する。
等しい場合(ステップS66でYES)、ステップS6
7に進む。一方、等しくない場合(ステップS66でN
O)、ステップS64へ戻る。
【0047】ステップS67で、変数Yを値1だけ増加
させる。ステップS68で変数YとY1を比較する。等
しい場合(ステップS67でYES)、ステップS68
へ進む。一方、等しくない場合(ステップS67でN
O)、ステップS63へ戻る。
【0048】ステップS69で、変数DR、DG、DB
をそれぞれ(X1-X0)*(Y1-Y0)で除算する。これ
は、領域内の画素の数である。即ち、変数DR、DG、
DBは領域内の画素濃度の総和を画素数で割った平均濃
度となる。 『ステップS23の説明』ステップS23では、ステッ
プS22で計算した画像特徴量に基づいて、類似画像検
索を行なう。
【0049】ハードディスク装置106には、N枚の画
像データが蓄積されており、各々の画像特徴量が上述し
た処理によって事前に計算され格納されているとする。
画像データは、周知のJPEG、FlashPix等の
標準的なファイル形式で格納していもよいし、所謂RD
BMS(リレーショナルデータベースマネジメントシス
テム)の独自のファイル形式で格納してあってもよい。
画像特徴量は、N*18の大きさをもつ2次元配列D
(n,i)(但し、0≦n<N,0≦i<18)に格納
されているものとする。
【0050】このとき、描画されたイラスト(画像デー
タ)とハードディスク装置106に蓄積されている第n
番目の画像データとの画像間距離S(n)を以下の式で
定義する。
【数1】 この画像間距離S(n)が小さいほど、画像データの類
似度は高いと判定する。
【0051】まず、ハードディスク装置106に蓄積さ
れているN枚全ての画像データと、描画されたイラスト
(画像データ)の間の画像間距離S(n)(但し、0≦
n<N)を計算する。次に、画像間距離S(n)の小さ
いものから順にM個(0<M<N)を選び出すことで、
類似画像検索を行う。前半の画像間距離S(n)の計算
処理、後半のM個の画像データを選出する類似画像検索
処理について、それぞれ、図7、図8を用いて説明す
る。
【0052】図7は実施形態1の画像間距離S(n)の
計算処理を示すフローチャートである。
【0053】まず、ステップS71で、変数min、変
数nを値0で、Lを十分大きな値で初期化する。ステッ
プS72で、変数i、S(n)を値0で初期化する。ス
テップS73で、D(n,i)とd(i)の差分の二乗
をS(n)に加算する。ステップS74で、変数iを値
1だけ増加させる。
【0054】ステップS75で、変数iと値18を比較
する。等しい場合(ステップS75でYES)、ステッ
プS76へ進む。一方、等しくない場合(ステップS7
5でNO)、ステップS73へ戻る。
【0055】ステップS76で、変数nを値1だけ増加
させる。ステップS77で、変数nとNを比較する。等
しい場合(ステップS77でYES)、処理を終了す
る。一方、等しくない場合(ステップS77でNO)、
ステップS72へ戻る。
【0056】上記処理を完了すると、配列S(n)に、
描画されたイラスト(画像データ)と、ハードディスク
装置106に蓄積された全画像データとの間の画像間距
離S(n)が格納される。続いて、画像間距離S(n)
の小さなものから順にM個を選出し、その選出された画
像順に対応する番号を配列T()に格納する類似画像検
索処理の詳細について、図8を用いて説明する。
【0057】図8は実施形態1の類似画像検索処理の詳
細を示すフローチャートである。
【0058】まず、ステップS81で、変数jを値0で
初期化する。ステップS82で、変数iを値0で初期化
する。ステップS83で、変数minを値0で、Lを十
分大きな値で初期化する。ステップS84で、S(i)
とLを比較する。S(i)がL未満である場合(ステッ
プS84でYES)、ステップS85へ進む。一方、L
以上である場合(ステップS84でNO)、ステップS
86へ進む。
【0059】ステップS85で、変数minに値iを代
入し、LにS(i)を代入する。ステップS86で、変
数iを値1だけ増加させる。ステップS87でiとNを
比較する。等しい場合(ステップS87でYES)、ス
テップS88へ進む。一方、等しくない場合(ステップ
S87でNO)、ステップS84へ戻る。
【0060】ステップS88で、T(j)に値minを
代入する。ステップS89で、S(min)に十分大き
な値を代入する。ステップS810で、変数jを値1だ
け増加させる。ステップS811で変数jとMを比較す
る。等しい場合(ステップS811でYES)、処理を
終了する。一方、等しくない場合(ステップS811で
NO)、ステップS82へ戻る。
【0061】上記処理を完了すると、配列T(j)(但
し、0≦j<M)に、描画されたイラスト(画像デー
タ)との類似度の高いハードディスク装置106に蓄積
された画像データ順に画像番号が格納される。 『ステップS24の説明』図9は実施形態1のステップ
S24における表示装置103に表示される操作画面を
示す図である。
【0062】領域91は、描画されたイラストを縮小表
示した画像である。領域92a〜領域92hには、上記
処理により検索された類似画像を縮小表示した画像であ
る。領域92aには、もっとも類似度の高いT(0)に
対応する画像、領域92bにはT(1)に対応する画
像、・・・、と表示し、領域92hには、この中で最も
類似度の低い画像を表示する。
【0063】尚、縮小表示は、ハードディスク装置10
6に蓄積された画像データを、デコードし、画面上に縮
小して表示しても良い。また、標準的な画像フォーマッ
トであるFlashPixのように、アイコン用の低解
像度のアイコンデータを持っている場合は、そのアイコ
ンデータを用いて表示しても良い。
【0064】ボタン93を押すと、次候補、つまり、T
(8)〜T(15)に対応する画像データの縮小画像
を、領域92a〜領域92hに縮小表示する。これをT
(Mー1)に、達するまで繰り返すことができる。ボタ
ン94を押すと、ステップS24の処理を終了する。
【0065】以上説明したように、実施形態1によれ
ば、所望の画像データを検索するための検索条件とし
て、ユーザが描画した画像を用いることできるので、ユ
ーザーの意図を迅速に反映した画像検索を行うことがで
きる。 [実施形態2]実施形態1では、ユーザが描画したイラス
トに基づいて、類似画像検索を行なう構成を示した。こ
れに対し、実施形態2では、検索結果を参照しながら、
ユーザが描画したイラストを修正していくことで、所望
の画像データをより効率よく検索することを実現する。
【0066】図10は実施形態2で実行される処理の概
要を示すフローチャートである。
【0067】まず、ステップS101で、ユーザーが表
示装置103上に、ハードディスク装置106上に蓄積
される検索対象である所望の画像データに似せた検索条
件とするイラストを描画する。ステップS102で、描
画されたイラストの画像特徴量を計算する。ステップS
103で、計算された画像特徴量に基づいて類似画像検
索を実行する。ステップS104で、検索された類似画
像を表示装置103に表示する。
【0068】ステップS105で、ステップS104で
表示された類似画像の詳細画像を表示する。ステップS
106で、詳細表示処理を終了するか否かの判定を行
う。終了しない場合(ステップS106でNO)、ステ
ップS105に戻る。一方、終了する場合(ステップS
106でYES)、ステップS107に進み、検索作業
を終了するか否かを判定する。終了しない場合(ステッ
プS107でNO)、ステップS101に戻る。一方、
終了する場合(ステップS107でYES)、処理を終
了する。
【0069】以下、上記ステップの各々で実行される処
理の詳細について説明して行く。
【0070】ステップS101〜S103で実行される
処理は、上述した実施形態1の各々ステップS21〜ス
テップS23に対応し、各処理の詳細は実施形態1で説
明した通りである。
【0071】ステップS104における表示装置103
に表示される操作画面の構成は、図9に示した通りであ
り、実施形態1と同様の動作をする。但し、領域92a
〜領域92hに表示される各縮小画像を、ポインティン
グデバイス102aを用いて「選択」できるようにして
おく。
【0072】ステップS105では、上記ステップ10
4で選択した縮小画像の詳細画像を表示する。この時の
表示画面の構成について、図11を用いて説明する。
【0073】図11は実施形態2のステップS105に
おける表示装置103に表示される操作画面を示す図で
ある。
【0074】111は画像表示領域であり、選択された
縮小画像の詳細画像が表示される。縮小ボタン113、
拡大ボタン114の操作により、画像の一部分を拡大表
示したり、縮小表示するなどして、画像の確認を行うこ
とができる。112は文字表示領域であり、画像に関連
付けられた文字情報を表示する。例えば、撮影日時、著
作権情報等を表示する。ボタン115を押すと、詳細画
像の表示を終了し、ステップS106へ進む。
【0075】ステップS106では、再び、図9に示し
た操作画面に復帰する。ユーザは、他に表示したい縮小
画像の詳細画像があれば、適宜選択し、詳細画像を表示
するという上記操作を繰り返す。表示させたい縮小画像
の詳細画像がなければ、ボタン94を押すことでステッ
プS107に進む。
【0076】ステップS107では、ユーザが検索作業
を終了する否かの判定を行い、終了する場合は処理を終
了する。一方、終了しない場合はステップS101に戻
る。この場合、表示装置103の画面構成は、図3に示
したものに戻るが、ユーザ描画領域31には、入力中の
イラストを再び表示しておき、ユーザが直前まで描画し
ていたイラストの上に続けて描画ができるようにする。
このような構成にすることで、検索結果に応じて検索条
件とするイラストを徐々に修正しながら画像検索を繰り
返すことができる。その結果、最初に描画したイラスト
で所望の画像が検索されなくても、徐々に結果がよくな
るように再度イラストを修正しては検索を行なう作業を
繰り返すことで、最終的に所望の画像を検索することが
できる。
【0077】また、ボタン33を押せば、描画したイラ
ストはクリアされるので、いつでもユーザ描画領域31
を白紙の状態に戻し、一から描画し始めることもでき
る。
【0078】以上説明したように、実施形態2によれ
ば、実施形態1で得られる効果に加えて、所望の画像デ
ータを検索するための検索条件として入力した画像を、
適宜修正することができるので、よりユーザーの意図を
迅速に反映した画像検索を行うことができる。 [実施形態3]上述したステップS21、ステップS10
1では、一般的な画像描画ソフトの例として、図3の画
面構成を例示したが、これよりもっと高機能(もしくは
低機能)なものであってもよい。所謂、アプリケーショ
ン間通信の技術を用いて、他のソフトウェアにより描画
された画像を取り込めるようにしてもよい。
【0079】ステップS24、ステップS104では、
類似画像検索処理の処理結果である画像データに対応す
る縮小画像を二次元的に並べて表示する構成としたが、
横一直線(一次元)に並べるようにしても良いし、奥行
き方向の情報を加味した、三次元的な表示を行なっても
良い。例えば、類似度の高いものは手前に(大きく)表
示し、類似度の低いものほど遠くに(小さく)表示する
ようにすれば、より直感的にわかりやすい一覧表示を行
なうことができる。
【0080】また、ステップS21及びステップS2
4、あるいはステップS101及びステップS104を
統合し、描画するイラストの表示と類似画像検索処理の
処理結果の表示を同時に表示するような構成にしてもよ
い。特に、この構成を実施形態2で適用すれば、検索結
果を参照しながらイラストを修正していくことを同一画
面に表示でき、より一層処理効率を高めることができ
る。 [実施形態4]実施形態4の画像検索装置の構成は、実
施形態1の図1の画像検索装置と同じであるので、ここ
では、その詳細については省略する。
【0081】次に、実施形態4で実行される検索処理の
実行時に表示装置103に表示される操作画面につい
て、図12を用いて説明する。
【0082】図12は実施形態4の検索処理の実行時に
表示装置に表示される操作画面を示す図である。
【0083】21はユーザ描画領域、22はカーソル、
23は色指定スクロールバー、24はクリアボタン、2
5は検索実行ボタン、27は次候補表示ボタン、28は
処理終了ボタン、29はキャッシュクリアボタンであ
る。また、26a〜26hは、検索結果とする画像デー
タに対応するアイコン画像群を表示する領域である。
【0084】ユーザは、ソフトウェアにより実現される
上記描画ツールを用いて、ユーザ描画領域21に検索対
象の画像に似せた検索条件とするイラストを描画するこ
とができる。イラストを描画時のソフトウェア動作の概
略は以下の通りである。
【0085】色指定スクロールバー23は、描画に用い
るペンの色を指定するためのものであり、上から順に
R、G、B値を指定する。クリアボタン24を押すとユ
ーザ描画領域21全体を白く塗りつぶす。ユーザはポイ
ンティングデバイス102aを用いてカーソル22を動
かし、ユーザ描画領域21上に自由な曲線を描画するこ
とができる。また、処理終了ボタン28を押すと、操作
画面を閉じ、処理を終了する。キャッシュクリアボタン
29を押すと、キャッシュデータとしてRAM105等
にキャッシュされていたアイコン画像をクリアする。
【0086】次に、実施形態4の画像検索装置で実行さ
れる処理の概要について、図13を用いて説明する。
【0087】図13は実施形態4の画像検索装置で実行
される処理の概要を示すフローチャートである。
【0088】ステップS1001で、ユーザが表示装置
103上に、ハードディスク装置106上に蓄積される
検索対象である所望の画像データに似せた検索条件とす
るイラストを描画する。ステップS1002で、描画さ
れたイラストの画像特徴量を計算する。ステップS10
03で、計算された画像特徴量に基いて類似画像検索を
実行する。ステップS1004で、検索された類似画像
を表示装置103に表示する。
【0089】ステップS1005で、ステップS100
4で表示された類似画像の詳細画像を表示する。ステッ
プS1006で、詳細画像の表示を終了するか否かの判
定を行う。終了しない場合(ステップS1006でN
O)、ステップS1005に戻る。一方、終了する場合
(ステップS1006でYES)、ステップS1007
に進み、検索作業を終了するか否かを判定する。終了し
ない場合(ステップS1007でNO)、ステップS1
001に戻る。一方、終了する場合(ステップS100
7でYES)、処理を終了する。
【0090】以下、上記ステップの各々で実行される処
理の詳細について説明して行く。 『ステップS1001の説明』ステップS1001で
は、ユーザの操作によりユーザ描画領域21に検索条件
とするイラストを描画し、適当なタイミングで、次のス
テップS1002へ進む。この時の処理を、図14を用
いて説明する。このタイミングとは、システムが所定タ
イミングでマウス102aの動きを監視しに行くタイミ
ングであり、監視が行われる毎に、それまでに描画され
た画像の画像特徴量が算出されることになる。
【0091】図14は実施形態4のステップS1001
で実行される処理の詳細を示すフローチャートである。
【0092】尚、x0、y0は、直前のカーソル22の
位置を記憶しておく変数であり、x1、y1は、カーソ
ル22の現在位置が格納されている変数である。
【0093】まず、ステップS31で、ユーザによりマ
ウス102aが動かされたか否かを判定する。動いてい
ない場合(ステップS31でNO)、ステップS31に
戻る。即ち、ここでの処理は、マウス102aの動きを
監視するループを形成している。一方、動いている場合
(ステップS31でYES)、ステップS32に進む。
【0094】ステップS32で、マウス102aのマウ
スボタンが押下されているか否かを判定する。押下され
ていない場合(ステップS32でNO)、ステップS3
4に進み、現在のカーソル22の位置(x1,y1)を
(x0,y0)に代入して、ステップS31に戻る。こ
れにより、描画を行なわず、単にカーソル22を移動で
きる。
【0095】一方、押下されている場合(ステップS3
2でYES)、すなわち、ドラッグ中であれば、ステッ
プS33に進む。ここで、直前のカーソル22の位置
(x0,y0)と、現在のカーソル22の位置(x1,
y1)の間に、色指定スクロールバー23により決まる
色で、線を描画する。
【0096】続く、ステップS35で、現在のカーソル
22の位置(x1,y1)を(x0,y0)に代入し
て、ステップS1001を終了し、ステップS1002
に進む。
【0097】この処理は、ユーザから見ると、イラスト
に少し描画(ストローク)を加えるたびに、検索が自動
的に実行されるようにみえる。 『ステップS1002の説明』ステップS1002で
は、ステップS1001で描画されたイラストの画像特
徴量を計算する。尚、画像特徴量、画像特徴量の計算処
理、R、G、B値の平均値の算出方法については、実施
形態1の図4〜図6と同じなので、ここでは説明を省略
する。 『ステップS1003の説明』ステップS1003で
は、ステップS1002で計算した画像特徴量に基づい
て、類似画像検索を行なう。尚、類似画像検索処理につ
いては、実施形態1の図7、図8と同じなので、ここで
は説明を省略する。 『ステップS1004の説明』図12の操作画面に従っ
て、処理内容を説明する。
【0098】領域26a〜領域26hには、上記処理に
より検索された類似画像を縮小表示したアイコン画像が
表示される。領域26aには、もっとも類似度の高いT
(0)に対応する画像、領域26bにはT(1)に対応
する画像、・・・、と表示し、領域26hには、この中
で最も類似度の低い画像を表示する。
【0099】尚、縮小表示は、ハードディスク装置10
6に蓄積された画像データを、デコードし、画面上に縮
小して表示しても良い。また、標準的な画像フォーマッ
トであるFlashPixのように、アイコン用の低解
像度のアイコンデータを持っている場合は、そのアイコ
ンデータを用いて表示しても良い。
【0100】また、各アイコン画像は、ポインティング
デバイス102aを用いて「選択」できるようにしてお
く。ボタン27を押すと、次候補、つまり、T(8)〜
T(15)に対応する画像データのアイコン画像を、領
域26a〜領域26hに表示する。これをT(Mー1)
に、達するまで繰り返すことができる。 『ステップS1005〜1007の説明』ステップS1
005では、上記ステップ1004で選択したアイコン
画像の詳細画像を表示する。尚、この時の表示画面の構
成は、実施形態1の図11と同じなので、ここでは説明
を省略する。
【0101】ステップS1006では、再び、図12に
示した操作画面に復帰する。ユーザは、他に表示したい
アイコン画像の詳細画像があれば、適宜選択し、詳細画
像を表示するという上記操作を繰り返す。一方、表示さ
れたアイコン画像の中に所望の画像がなければ、再び、
ユーザ描画領域21にイラストを描画することで、ステ
ップS1007に進み、再びステップS1001に戻っ
てイラストを修正し、その修正されたイラストに基づい
て類似画像検索を繰り返す。そして、ステップS100
7で、処理終了ボタン28を押すと、処理を完了する。
【0102】以上説明したように、実施形態4によれ
ば、ユーザがポインティングデバイス102aを用いて
ユーザ描画領域21にイラスト(例えば、1ストロー
ク)を描画するたびに、その瞬間のイラストの状態に類
似した画像データに対応するアイコン画像が領域26a
〜26hに表示される。これは、イラストを描いている
間、絶え間なく続くので、所望の画像が現れるまでイラ
ストの描画を続けることで、類似画検索処理を効率的に
行うことができる。 [実施形態5]実施形態4では、イラストが1ストローク
描画される毎に検索処理が実行される構成、つまり、非
常に頻繁に類似画像検索処理が実行される構成であった
が、システムの性能に制約があったり、ユーザの好みに
応じて、検索の回数がより少ないほうが望ましい場合が
ある。その場合、ステップS1001の処理を変更する
ことで、異なる動作を実現できる。以下、これを実施形
態5として説明する。
【0103】ステップS1001では、ユーザの操作に
よりユーザ描画領域21に検索条件とするイラストを描
画し、適当なタイミングで、次のステップS1002へ
進む。この時の処理を、図15を用いて説明する。
【0104】図15は実施形態5のステップS1001
で実行される処理の詳細を示すフローチャートである。
【0105】尚、x0、y0は、直前のカーソル22の
位置を記憶しておく変数であり、x1、y1は、カーソ
ル22の現在位置が格納されている変数である。
【0106】まず、ステップS1201で、ユーザによ
りマウス102aが動かされたか否かを判定する。動い
ている場合(ステップS1201でYES)、ステップ
S1202に進む。一方、動いていない場合(ステップ
S1201でNO)、ステップS1206に進み、検索
実行ボタン25が押されたか否かを判定する。押された
場合(ステップS1206でYES)、ステップS10
01の処理を完了し、ステップS1002に進む。即
ち、検索処理を開始する。一方、押されていない場合
(ステップS1206でNO)、ステップS1201に
戻る。即ち、マウス102aの動きと、検索実行ボタン
25の状態を監視するループを形成している。
【0107】ステップS1201において、マウスが動
いている場合(ステップS1201でYES)、ステッ
プS1202に進み、マウス102aのマウスボタンが
押下されているか否かを判定する。押下されていない場
合(ステップS1202でNO)、ステップS1204
に進み、現在のカーソル22の位置(x1,y1)を
(x0,y0)に代入して、ステップS1201に戻
る。これにより、描画を行なわず、単にカーソル22を
移動できる。
【0108】一方、押下されている場合(ステップS1
202でYES)、すなわち、ドラッグ中であれば、ス
テップS1203に進む。ここで、直前のカーソル22
の位置(x0,y0)と、現在のカーソル22の位置
(x1,y1)の間に、色指定スクロールバー23によ
り決まる色で、線を描画する。
【0109】続く、ステップS1205で、現在のカー
ソル22の位置(x1,y1)を(x0,y0)に代入
して、ステップS1001を終了し、ステップS100
2に進む。
【0110】以上説明したように、実施形態5によれ
ば、検索実行ボタン25の押下に応じて、類似画像検索
処理を実行することができるので、ユーザの好みに応じ
て類似画像検索処理を実行させることができる。例え
ば、ユーザがある程度イラストを描画した後で、類似画
像検索処理を実行させることができる。 [実施形態6]ステップS1001における他の処理例
を、実施形態6として説明する。
【0111】図16は実施形態6のステップS1001
で実行される処理の詳細を示すフローチャートである。
【0112】尚、x0、y0は、直前のカーソル22の
位置を記憶しておく変数であり、x1、y1は、カーソ
ル22の現在位置が格納されている変数である。
【0113】まず、ステップS1301で、変数t0に
現在時刻を代入する。ステップS1302で、ユーザに
よりマウス102aが動かされたか否かを判定する。動
いていない場合(ステップS1302でNO)、ステッ
プS1302に戻る。即ち、ここでの処理は、マウス1
02aの動きを監視するループを形成している。一方、
動いている場合(ステップS1302でYES)、ステ
ップS1303に進む。
【0114】ステップS1303で、マウス102aの
マウスボタンが押下されているか否かを判定する。押下
されていない場合(ステップS1303でNO)、ステ
ップS1305に進み、現在のカーソル22の位置(x
1,y1)を(x0,y0)に代入する。これにより、
描画を行なわず、単にカーソル22を移動できる。
【0115】一方、押下されている場合(ステップS1
303でYES)、即ち、ドラッグ中であれば、ステッ
プS1304に進む。ここで、直前のカーソル22の位
置(x0,y0)と、現在のカーソル22の位置(x
1,y1)の間に、色指定スクロールバー23により決
まる色で、線を描画する。そして、ステップS1305
で、現在のカーソル22の位置(x1,y1)を(x
0,y0)に代入して、ステップS1306に進む。
【0116】ステップS1306で、現在時刻と変数t
0の差分をとり、定数Tと比較する。差分が定数Tより
も大きい場合(ステップS1306でYES)、即ち、
ステップS1001の開始から時間T以上が経過してい
る場合は、処理を終了し、続くステップS1002へ進
む。一方、差分が定数T以下である場合(ステップS1
306でNO)、ステップS1302に戻る。
【0117】以上説明したように、実施形態6では、ユ
ーザがイラストを描画中、適当な間隔毎に類似画像検索
処理を実行させることができる。そして、上述した定数
Tを大きくとれば、類似画像検索処理の実行頻度を低
く、低くとれば類似画像検索処理の実行頻度を高くする
ことができる。また、この定数Tは、ユーザにより設定
できるようにしても良い。システムの負荷に応じて定数
Tを適応的に変化するようにしても良い。 [実施形態7]上述した実施形態5、6以外にも、ステッ
プS1001の構成を変えれば検索実行のタイミングを
様々に設定することができる。例えば、ユーザの操作に
よらず、一定時間間隔毎に検索を実行するようにしても
よい。また、実施形態4のように、ユーザによる検索条
件とするイラストの描画の変更をきっかけに検索を実行
する場合、変更回数を計数し、ある一定回数以上変更を
加える毎に検索を実行するようにしてもよい。以上、各
種説明した構成を組み合わせることで、より高度なタイ
ミング設定も可能であることは言うまでもない。
【0118】また、ステップS1004では、類似画像
検索処理の処理結果である画像データに対応する縮小画
像を二次元的に並べて表示する構成としたが、横一直線
(一次元)に並べるようにしても良いし、奥行き方向の
情報を加味した、三次元的な表示を行なっても良い。例
えば、類似度の高いものは手前に(大きく)表示し、類
似度の低いものほど遠くに(小さく)表示するようにす
れば、より直感的にわかりやすい一覧表示を行なうこと
ができる。 [実施形態8]実施形態8の画像検索装置の構成は、実施
形態1の図1の画像検索装置と同じであるので、ここで
は、その詳細については省略する。
【0119】次に、実施形態8の画像検索装置で実行さ
れる処理の概要について、図17を用いて説明する。
【0120】図17は実施形態8の画像検索装置で実行
される処理の概要を示すフローチャートである。
【0121】ステップS151で、ユーザが表示部10
3上に、ハードディスク装置106上に蓄積される検索
対象である所望の画像データに似せた検索条件とするイ
ラストを描画する。ステップS152で、描画されたイ
ラストの画像特徴量を計算する。ステップS153で、
類似画像検索を実行するか否かを判定する。実行しない
場合(ステップS153でNO)、ステップS151に
戻る。一方、実行する場合(ステップS153でYE
S)、ステップS154に進む。
【0122】ステップS154で、計算された画像特徴
量に基いて類似画像検索を実行する。ステップS155
で、計算された画像特徴量をRAM105に記憶する。
ここで記憶された画像特徴量、即ち、直前の類似画像検
索処理を実行した際の画像特徴量は、再度、ステップS
153を実行するときの判断のために用いられる。ステ
ップS156で、検索された類似画像を表示部103に
表示する。
【0123】ステップS157で、検索作業を終了する
か否かを判定する。終了しない場合(ステップS157
でNO)、ステップS151に戻る。一方、終了する場
合(ステップS157でYES)、処理を終了する。
【0124】以下、上記ステップの各々で実行される処
理の詳細について説明して行く。 『ステップS151の説明』ステップS151では、ユ
ーザの操作によりユーザ描画領域21に検索条件とする
イラストを描画し、適当なタイミングで、次のステップ
S152へ進む。尚、この時の処理は、実施形態4の図
14と同じなので、ここでは説明を省略する。 『ステップS152の説明』ステップS152では、ス
テップS151で描画されたイラストの画像特徴量を計
算する。尚、画像特徴量、画像特徴量の計算処理、R、
G、B値の平均値の算出方法については、実施形態1の
図4〜図6と同じなので、ここでは説明を省略する。 『ステップS153の説明』ステップS153では、直
前に類似画像検索を実行した時の検索条件としたイラス
トの画像特徴量e()と、ステップS152で計算した
画像特徴量d()とを比較することで、続く、検索結果
とする画像データを表示するか否かを決定する。画像特
徴量e()については、後述するステップS155で説
明する。
【0125】ステップS153で実行される処理の詳細
について、図18を用いて説明する。
【0126】図18は実施形態8のステップS153で
実行される処理の詳細を示すフローチャートである。
【0127】まず、ステップS161で、変数i、Vを
値0で初期化する。ステップS162で、画像特徴量e
(i)とd(i)の差分の二乗を変数Vに加算する。ス
テップS163で、変数iを値1だけ増加させる。ステ
ップS164で、変数iと値18を比較する。等しくな
い場合(ステップS164でNO)、ステップS162
に戻る。一方、等しい場合(ステップS164でYE
S)、ステップS165へ進む。
【0128】ステップS165で、変数Vと定数V0と
を比較する。変数Vが定数V0より大きい場合(ステッ
プS165でYES)、検索を実行することに決定す
る。一方、変数Vが定数V0以下である場合(ステップ
S165でNO)、検索を実行せず、ステップS151
に戻ることに決定する。
【0129】上記処理により、直前に類似画像検索を行
ったときの検索条件とするイラストの画像特徴量と、そ
の検索条件を修正したイラストの画像特徴量とを比較し
て、その修正前後のイラストにある程度以上の変更が加
えられたことを判別する。そして、その判別結果に基づ
いて、検索処理を自動的に実行することができる。
【0130】尚、定数V0が小さい(0に近い)ほど、
検索が頻繁に行なわれるようになる。また、定数V0の
値は、予め決めておいても良いし、ユーザーの好みによ
り設定できるようにしても良いし、更には、システムの
負荷に応じて適応的に変更されるようにしても良い。 『ステップS154の説明』ステップS154では、ス
テップS152で計算した画像特徴量に基づいて、類似
画像検索を行なう。尚、類似画像検索処理については、
実施形態1の図7、図8と同じなので、ここでは説明を
省略する。但し、実施形態8では、図7のステップS7
1における変数mi及びL初期化は行わない。 『ステップS155の説明』ステップS155では、画
像特徴量d(i)(但し、0≦i<18)の各要素を、
同じ大きさをもつ配列e(i)にコピーする。即ち、e
(i)には、直前に類似画像検索を実行したときのイラ
ストの画像特徴量が格納される。この値は、既に説明し
たステップS153において、検索を実行するか否かの
判断のために用いられることになる。 『ステップS156の説明』この処理内容は、実施形態
4のステップS1004と同じなので、ここでは、説明
を省略する。 『ステップS157の説明』ステップS157では、処
理終了ボタン28が押下されたか否かの判定を行い、押
下された場合は、処理を完了する。一方、押下されない
場合、ステップS151に戻り、ユーザはイラストの描
画を継続することができる。
【0131】以上説明したように、実施形態8によれ
ば、類似画像検索処理を実行した後、再度、検索条件で
あるイラストを修正して検索を実行する際に、直前の類
似画像検索処理における検索条件とするイラストの画像
特徴量と、修正後のイラストの画像特徴量を比較し、そ
の差に基づいて、再度、類似画像検索処理を実行するの
で、効率的な類似画像検索処理を実行することができ
る。
【0132】実施形態8では、d()とe()の距離V
が定数V0を超えるとき、検索を実行するようにした
が、他の構成でもよい。例えば、d(i)とe(i)
(但し、0≦i<18)のいずれかの要素が異なってい
るときは、検索を実行するようにしてもよい。これは定
数V0=0としたときと同じことであるが、より簡単に
実装できるという利点がある。
【0133】また、図12の検索実行ボタン25を押下
したときは、ステップS153の判定をスキップして、
無条件にステップS154に進むようにしてもよい。こ
のようにすれば、イラストの変更が微少であって検索が
自動実行されないときでも、手動により強制的に検索を
実行することができる。
【0134】ステップS156では、類似画像検索処理
の処理結果である画像データに対応する縮小画像を二次
元的に並べて表示する構成としたが、横一直線(一次
元)に並べるようにしても良いし、奥行き方向の情報を
加味した、三次元的な表示を行なっても良い。例えば、
類似度の高いものは手前に(大きく)表示し、類似度の
低いものほど遠くに(小さく)表示するようにすれば、
より直感的にわかりやすい一覧表示を行なうことができ
る。 [実施形態9]実施形態9の画像検索装置の構成は、実施
形態1の図1の画像検索装置と同じであるので、ここで
は、その詳細については省略する。
【0135】次に、実施形態9の画像検索装置で実行さ
れる処理の概要について、図19を用いて説明する。
【0136】図19は実施形態9の画像検索装置で実行
される処理の概要を示すフローチャートである。
【0137】ステップS141で、ユーザが表示部10
3上に、ハードディスク装置106上に蓄積される検索
対象である所望の画像データに似せた検索条件とするイ
ラストを描画する。ステップS142で、描画されたイ
ラストの画像特徴量を計算する。ステップS143で、
計算された画像特徴量に基いて類似画像検索を実行す
る。ステップS144で、変数iを値0で初期化する。
【0138】ステップS145で、第i番目の類似画像
を表示部103に表示する。ステップS146で、ユー
ザによる描画イベントが発生したか否かを判定する。ポ
インティングデバイス102aの操作等による描画イベ
ントが発生した場合(ステップS146でNO)、ステ
ップS144〜ステップS148の処理を中断し、ステ
ップS141に戻る。一方、描画イベントが発生しない
場合(ステップS146でNO)、ステップ147に進
み、変数iに値1を加える。
【0139】ステップS148で、変数iと値8を比較
する。等しい場合(ステップS148でYES)、ステ
ップS149へ進み。等しくない場合(ステップS14
8でNO)、ステップS145へ戻る。ここで、値8
は、図12で説明した表示画面におけるアイコン画像の
数を示している。
【0140】ステップS149で、検索作業を終了する
か否かを判定する。終了しない場合(ステップS149
でNO)、ステップS141に戻る。一方、終了する場
合(ステップS149でYES)、処理を終了する。
【0141】上記処理により、検索結果である画像を一
覧表示しつつ、ユーザが任意のタイミングで検索条件と
するイラストを修正しようとすると、自動的に一覧表示
を中断し、すぐにイラストの修正の処理を開始する。
【0142】以下、上記ステップの各々で実行される処
理の詳細について説明して行く。 『ステップS141の説明』ステップS141では、ユ
ーザの操作によりユーザ描画領域21に検索条件とする
イラストを描画し、適当なタイミングで、次のステップ
S142へ進む。尚、この時の処理は、実施形態4の図
14と同じなので、ここでは説明を省略する。 『ステップS142の説明』ステップS142では、ス
テップS141で描画されたイラストの画像特徴量を計
算する。尚、画像特徴量、画像特徴量の計算処理、R、
G、B値の平均値の算出方法については、実施形態1の
図4〜図6と同じなので、ここでは説明を省略する。 『ステップS143の説明』ステップS143では、ス
テップS142で計算した画像特徴量に基づいて、類似
画像検索を行なう。尚、類似画像検索処理については、
実施形態1の図7、図8と同じなので、ここでは説明を
省略する。 『ステップS144〜ステップS148の説明』図12
の操作画面に従って、処理内容を説明する。
【0143】領域26a〜領域26hには、上記処理に
より検索された類似画像の内、第i番目の類似画像及び
それに続く7つの類似画像を縮小表示したアイコン画像
が表示される。
【0144】尚、縮小表示は、ハードディスク装置10
6に蓄積された画像データを、デコードし、画面上に縮
小して表示しても良い。また、標準的な画像フォーマッ
トであるFlashPixのように、アイコン用の低解
像度のアイコンデータを持っている場合は、そのアイコ
ンデータを用いて表示しても良い。
【0145】また、各アイコン画像は、ポインティング
デバイス102aを用いて「選択」できるようにしてお
く。次候補表示ボタン27を押すと、次候補、つまり、
T(8)〜T(15)に対応する画像データのアイコン
画像を、領域26a〜領域26hに表示する。これをT
(Mー1)に、達するまで繰り返すことができる。
【0146】また、既に説明したように、この類似画像
の一覧表示は、ユーザーによる描画イベントによりいつ
でも中断され、ステップS141の処理に戻ることがで
きる。 『ステップS149の説明』ステップS149では、処
理終了ボタン28が押下されたか否かの判定を行い、押
下された場合は、処理を完了する。一方、押下されない
場合、ステップS141に戻り、ユーザはイラストの描
画を継続することができる。
【0147】以上説明したように、実施形態9によれ
ば、検索結果の表示の実行中であっても、イラストの修
正開始することができ、類似画像検索処理を実行するの
で、効率的な類似画像検索処理を実行することができ
る。
【0148】実施形態9では、類似画像の一覧表示を中
断できるようにしたが、ステップS142の画像特徴量
計算や、ステップS143の類似画像検索を中断できる
ようにしてもよい。
【0149】また、図12の操作画面中に、中断ボタン
を設け、明示的に検索/表示処理を中断できるようにし
てもよい。
【0150】また、描画イベントが発生するたびに、表
示の中断を行うようにしたが、中断の頻度が高すぎて好
ましくない場合がある。このときは、描画イベントの数
を計数し、適当な定数P回以上の描画イベントを検知し
たときに、はじめて表示中断を行うようにしてもよい。
また、定数Pを、ユーザの好みやシステムの負荷に応じ
て変更できるようにしてもよい。
【0151】ステップS145では、類似画像検索処理
の処理結果である画像データに対応する縮小画像を二次
元的に並べて表示する構成としたが、横一直線(一次
元)に並べるようにしても良いし、奥行き方向の情報を
加味した、三次元的な表示を行なっても良い。例えば、
類似度の高いものは手前に(大きく)表示し、類似度の
低いものほど遠くに(小さく)表示するようにすれば、
より直感的にわかりやすい一覧表示を行なうことができ
る。 [実施形態10]実施形態10の画像検索装置の構成は、
実施形態1の図1の画像検索装置と同じであるので、こ
こでは、その詳細については省略する。
【0152】次に、実施形態10の画像検索装置で実行
される処理の概要について、図20を用いて説明する。
【0153】図20は実施形態10の画像検索装置で実
行される処理の概要を示すフローチャートである。
【0154】ステップS111で、ユーザが表示部10
3上に、ハードディスク装置106上に蓄積される検索
対象である所望の画像データに似せた検索条件とするイ
ラストを描画する。ステップS112で、描画されたイ
ラストの画像特徴量を計算する。ステップS113で、
計算された画像特徴量に基いて類似画像検索を実行す
る。ステップS114で、検索された類似画像(アイコ
ン画像)を表示部103に表示する。
【0155】ステップS115で、キャッシュクリアボ
タン29が押下されたか否かを判定する。押下された場
合(ステップS115でYES)、ステップS116へ
進み、キャッシュデータとしてRAM105にキャッシ
ュされたアイコン画像をクリアする。一方、押下されて
いない場合(ステップS115でNO)、ステップS1
17へ進む。
【0156】ステップS117で、検索作業を終了する
か否かを判定する。終了しない場合(ステップS117
でNO)、ステップS111に戻る。一方、終了する場
合(ステップS117でYES)、処理を終了する。
【0157】以下、上記ステップの各々で実行される処
理の詳細について説明して行く。 『ステップS111の説明』ステップS111では、ユ
ーザの操作によりユーザ描画領域21に検索条件とする
イラストを描画し、適当なタイミングで、次のステップ
S112へ進む。尚、この時の処理は、実施形態4の図
14と同じなので、ここでは説明を省略する。 『ステップS112の説明』ステップS112では、ス
テップS111で描画されたイラストの画像特徴量を計
算する。尚、画像特徴量、画像特徴量の計算処理、R、
G、B値の平均値の算出方法については、実施形態1の
図4〜図6と同じなので、ここでは説明を省略する。 『ステップS113の説明』ステップS113では、ス
テップS112で計算した画像特徴量に基づいて、類似
画像検索を行なう。尚、類似画像検索処理については、
実施形態1の図7、図8と同じなので、ここでは説明を
省略する。 『ステップS114の説明』図12の操作画面に従っ
て、処理内容を説明する。
【0158】領域26a〜領域26hには、上記処理に
より検索された類似画像を縮小表示したアイコン画像が
表示される。領域26aには、もっとも類似度の高いT
(0)に対応する画像、領域26bにはT(1)に対応
する画像、・・・、と表示し、領域26hには、この中
で最も類似度の低い画像を表示する。
【0159】尚、縮小表示は、ハードディスク装置10
6に蓄積された圧縮された画像データをデコードし、画
面上に縮小して表示しても良い。また、標準的な画像フ
ォーマットであるFlashPixのように、アイコン
用の低解像度のアイコンデータを持っている場合は、そ
のアイコンデータを用いて表示しても良い。
【0160】また、各アイコン画像は、ポインティング
デバイス102aを用いて「選択」できるようにしてお
く。ボタン27を押すと、次候補、つまり、T(8)〜
T(15)に対応する画像データのアイコン画像を、領
域26a〜領域26hに表示する。これをT(Mー1)
に、達するまで繰り返すことができる。
【0161】また、一度、検索結果として表示したアイ
コン画像は、RAM105またはハードディスク装置1
06に、キャッシュデータとして記憶しておく。そし
て、再度、必要になった場合には、単にこのキャッシュ
されたアイコン画像を読み出すことで、高速に検索結果
とするアイコン画像を表示することができる。
【0162】この検索結果とするアイコン画像を一覧表
示する類似画像一覧表示処理の詳細について、図21を
用いて説明する。
【0163】図21は実施形態10の類似画像一覧表示
処理の詳細を示すフローチャートである。
【0164】まず、ステップS121で、変数iを値0
で初期化する。ステップS122で、第i番目のアイコ
ン画像がキャッシュされているか否かを判定する。キャ
ッシュされている場合(ステップS122でYES)、
ステップS123へ進み、第i番目のアイコン画像を対
応する領域26に表示する。一方、キャッシュされてい
ない場合(ステップS122でNO)、ステップS12
4へ進み、変数iを値1だけ増加させる。
【0165】ステップS125で、変数iを値8と比較
する。ここで、値8は検索結果として一覧表示されるア
イコン画像の数である。等しくない場合(ステップS1
25でNO)、ステップS122へ戻る。一方、等しい
場合(ステップS125でYES)、ステップS126
へ進む。
【0166】ここまでの処理で、検索された画像データ
のうち、キャッシュされているアイコン画像が先に表示
される。このように、高速に表示できる画像データから
順番に表示すると、ユーザにはシステムが高速に動作し
ているようにみえる。
【0167】ステップS126で、変数iに値0を代入
する。ステップS127で、第i番目のアイコン画像が
キャッシュされているか否かを判定する。キャッシュさ
れている場合(ステップS127でYES)、ステップ
S1210へ進む。一方、キャッシュされていない場合
(ステップS127でNO)、ステップS128へ進
む。
【0168】ステップS128で、第i番目のアイコン
画像に対応する圧縮された画像データをハードディスク
装置106から読み出し、デコードしキャッシュする。
ステップS129で、第i番目のアイコン画像を対応す
る領域26に表示する。
【0169】ステップS1210で、変数iを値1だけ
増加させる。ステップS1211で、変数iと値8を比
較する。等しくない場合(ステップS1211でN
O)、ステップS127へ戻る。一方、等しい場合(ス
テップS1211でYES)、処理を終了する。 『ステップS115の説明』ステップS115では、ユ
ーザによりキャッシュクリアボタン29が押下されたか
否かの判定を行い、押下された場合、ステップS116
へ進む。一方、押下されていない場合、ステップS11
7へ進む。
【0170】尚、キャッシュデータでRAM105がい
っぱいになると、ユーザにとっては、メモリ容量が十分
であるときは高速に動作していたのが、急に動作が鈍く
なったように感じる。従って、そのようなときにキャッ
シュクリアボタン29を押すと、空きメモリ容量が増
え、再び高速に動作するようになる。 『ステップS116の説明』ステップS116では、R
AM105上にキャッシュされていたキャッシュデータ
を削除する。この場合、ユーザの判断によりキャッシュ
クリアが指示されたのであるから、単にRAM105上
にキャッシュされている全キャッシュデータを削除すれ
ばよい。 『ステップS117の説明』ステップS117では、処
理終了ボタン28が押下されたか否かの判定を行い、押
下された場合は、処理を完了する。一方、押下されない
場合、ステップS111に戻り、ユーザはイラストの描
画を継続することができる。
【0171】以上説明したように、実施形態10によれ
ば、検索結果として表示したアイコン画像をキャッシュ
しているので、次回以降に検索結果として表示する場合
の表示を高速化することができ、効率的な類似画像検索
処理を実行することができる。 [実施形態11]実施形態10では、ユーザの判断により
キャッシュクリアの処理を実行するようにしたが、自動
的に実行するようにしてもよい。つまり、ステップS1
15の判定をスキップし、常に、ステップS116を実
行する。この場合は、より高度なキャッシュクリアの処
理が必要となる。以下、これを実施形態11として説明
する。
【0172】図22は実施形態11のステップS116
の詳細を示すフローチャートである。
【0173】まず、ステップS131で、変数iに値0
を代入する。ステップS132で、頻度ヒストグラムH
(N)の第T(i)番目の要素に値1を加える。ここ
で、T(i)は、ステップS113で算出された第i位
の画像であり、ステップS114において表示に用いら
れている。つまり、頻度ヒストグラムH(N)には、ア
イコン画像の使用頻度が計数される。
【0174】ステップS133で、変数iに値1を加え
る。ステップS134で、変数iを値8と比較する。こ
こで、値8は検索結果として一覧表示されるアイコン画
像の数である。等しくない場合(ステップS134でN
O)、ステップS132へ戻る。一方、等しい場合(ス
テップS134でYES)、ステップS135へ進む。
【0175】ステップS135で、RAM105の空き
容量をチェックする。空き容量が十分多い場合(ステッ
プS135でNO)、つまり、キャッシュをクリアする
必要がないので、処理を終了する。一方、空き容量が足
りない場合(ステップS135でYES)、ステップS
136に進む。
【0176】ステップS136で、頻度ヒストグラムH
(N)を使用頻度の高い順にソートし、ソートの結果を
配列S(N)にいれる。このソートにおけるソートアル
ゴリズムは、周知のクイックソート等を使う。配列S
(0)に、最も使用頻度の高い、従って、最もH()の
大きな画像のIDが入り、S(1)、S(2)、・・
・、とだんだんに使用頻度が低くなっていく。
【0177】ステップS137で、変数jに定数Pを代
入する。定数Pは経験的に決めた値で、ハードディスク
装置106に蓄積された画像データの枚数Nの1/10
〜1/100程度とする。実施形態2では、使用頻度の
高い上位P枚のアイコン画像は、キャッシュに残し、そ
れよりも使用頻度の低いアイコン画像をキャッシュから
削除する。
【0178】ステップS138で、画像番号がS(j)
であるアイコン画像がキャッシュされているか否かを判
定する。キャッシュされている場合(ステップS138
でYES)、ステップS139に進み、キャッシュから
削除する。一方、キャッシュされていない場合(ステッ
プS138でNO)、ステップS1310に進む。
【0179】ステップS1310で、変数jに値1を加
える。ステップS1311で、変数jと値Nを比較す
る。等しくない場合(ステップS1311でNO)、ス
テップS138に戻る。一方、等しい場合(ステップS
1311でYES)、処理を終了する。
【0180】以上説明したように、実施形態11によれ
ば、実施形態10で得られる効果に加えて、ユーザの判
断によらずにキャッシュクリアを自動的に実行すること
ができる。
【0181】実施形態11では、キャッシュクリアを手
動あるいは自動で実行するようにしたが、RAM105
が十分大きい場合には、必ずしもキャッシュクリアを実
行する必要はなく、省略しても構わない。
【0182】また、アイコン画像をキャッシュする際、
ハードディスク装置106から対応する画像データをデ
コードしたあとにキャッシュするようにしたが、単にハ
ードディスク装置106から圧縮された状態での画像デ
ータをキャッシュするようにしても良い。
【0183】実施形態11では、キャッシュクリアがユ
ーザに予測できないタイミングで実行され、しかもキャ
ッシュクリアの処理中は描画を続けることができない。
これが問題になる場合は、キャッシュクリアの処理を、
図20に示したフローチャートから分離し、並列実行さ
せることでレスポンスを改善できる。
【0184】また、実施形態11に示したキャッシュク
リアの処理は、一例を示しただけであって、用途に応じ
て各種提案されているアルゴリズムを用いても良い。
【0185】また、実施形態10及び実施形態11を組
み合わせて、自動的にキャッシュをクリアし、なおかつ
ユーザの判断でキャッシュクリアをできるようにしても
良い。
【0186】ステップS114では、類似画像検索処理
の処理結果である画像データに対応する縮小画像を二次
元的に並べて表示する構成としたが、横一直線(一次
元)に並べるようにしても良いし、奥行き方向の情報を
加味した、三次元的な表示を行なっても良い。例えば、
類似度の高いものは手前に(大きく)表示し、類似度の
低いものほど遠くに(小さく)表示するようにすれば、
より直感的にわかりやすい一覧表示を行なうことができ
る。 [実施形態12]実施形態12は実施形態8の図17のス
テップS156の類似画像一覧表示処理の変形例であ
る。以下、実施形態8のステップS156の処理の詳細
について、図23を用いて説明する。 『ステップS156の説明』図12の操作画面に従っ
て、処理内容を説明する。
【0187】領域26a〜領域26hには、上記処理に
より検索された類似画像を縮小表示したアイコン画像が
表示される。領域26aには、もっとも類似度の高いT
(0)に対応する画像、領域26bにはT(1)に対応
する画像、・・・、と表示し、領域26hには、この中
で最も類似度の低い画像を表示する。
【0188】尚、縮小表示は、ハードディスク装置10
6に蓄積された圧縮された画像データをデコードし、画
面上に縮小して表示しても良い。また、標準的な画像フ
ォーマットであるFlashPixのように、アイコン
用の低解像度のアイコンデータを持っている場合は、そ
のアイコンデータを用いて表示しても良い。
【0189】また、領域26a〜領域26hに、表示し
たアイコン画像のIDを対応する配列U(n)(0≦n
<8)に記憶しておき、次回にステップS164を実行
するとき、同じ領域に前回の処理で表示したアイコン画
像を表示する場合には、処理が無駄になるので、その領
域に対するアイコン画像の表示はスキップする。
【0190】また、一度、検索結果として表示したアイ
コン画像は、RAM105またはハードディスク装置1
06に、キャッシュデータとして記憶しておく。そし
て、再度、必要になった場合には、単にこのキャッシュ
されたアイコン画像を読み出すことで、高速に検索結果
とするアイコン画像を表示することができる。
【0191】また、この類似画像一覧表示処理は、ユー
ザによる描画イベントによりいつでも中断され、ステッ
プS151に戻ることができる。
【0192】以下、類似画像一覧表示処理の詳細につい
て、図23を用いて説明する。
【0193】図23は実施形態12の類似画像一覧表示
処理の詳細を示すフローチャートである。
【0194】まず、ステップS141で、変数iを値0
で初期化する。ステップS142で、T(i)とU
(i)が比較する。T(i)とU(i)が等しい場合
(ステップS142でNO)、ステップS146に進
み、変数iを値1だけ増加させる。一方、T(i)とU
(i)が等しくない場合(ステップS142でYE
S)、ステップS143に進む。次に、ステップS14
3で、第i番目のアイコン画像がキャッシュされている
か否かを判定する。キャッシュされている場合(ステッ
プS143でYES)、ステップS144へ進み、第i
番目のアイコン画像を対応する領域26に表示する。そ
して、ステップS145で、U(i)にT(i)を代入
する。一方、ステップS143において、第i番目のア
イコン画像がキャッシュされていない場合(ステップS
143でNO)、ステップS146へ進み、変数iを値
1だけ増加させる。
【0195】ステップS147で、変数iを値8と比較
する。ここで、値8は検索結果として一覧表示されるア
イコン画像の数である。等しくない場合(ステップS1
47でNO)、ステップS142へ戻る。一方、等しい
場合(ステップS147でYES)、ステップS148
へ進む。
【0196】ここまでの処理で、検索された画像データ
のうち、キャッシュされているアイコン画像が先に表示
される。このように、高速に表示できる画像データから
順番に表示すると、ユーザにはシステムが高速に動作し
ているようにみえる。また、すでに表示されたアイコン
画像を、再度、表示する場合には、そのアイコン画像の
表示はスキップし、処理の無駄を省く処理の負荷を軽減
する。
【0197】ステップS148で、変数iに値0を代入
する。
【0198】ステップS149で、ポインティングデバ
イスによる描画イベントが発生したか否かを判定する。
発生した場合(ステップS149でYES)、つまり、
ユーザの操作によりユーザ描画領域21にイラストが新
たに書き加えられた場合、処理を終了する。この場合、
ステップS151に戻り、変更されたイラストに基づい
て、再度、類似画像検索処理を実行する。この処理によ
り、ユーザは、類似画像一覧表示処理の表示完了を待た
ずに、イラストを描画し続けることができ、処理速度が
大幅に向上する。
【0199】一方、ステップS149において、描画イ
ベントが発生していない場合(ステップS149でN
O)、ステップS1410に進む。ステップS1410
で、T(i)とU(i)を比較する。T(i)とU
(i)が等しい場合(ステップS1410でNO)、ス
テップS1413に進み、変数iを値1だけ増加させ
る。一方、T(i)とU(i)が等しくない場合(ステ
ップS1410でYES)、ステップS1411に進
む。
【0200】ステップS1411で、第i番目のアイコ
ン画像に対応する圧縮された画像データをハードディス
ク装置106から読み出しデコードして、キャッシュす
る。また、あおのアイコン画像を対応する領域26に表
示する。次に、ステップS1412で、U(i)にT
(i)を代入する。次に、変数iを値1だけ増加させ
る。
【0201】次に、テップS1414で、変数iを値8
と比較する。等しくない場合(ステップS1414でN
O)、ステップS149へ戻る。一方、等しい場合(ス
テップS1414でYES)、処理を終了する。
【0202】尚、上記実施形態1〜12では、ポインテ
ィングデバイス102aとしてマウスを用いるようにし
ているがこれに限らず、例えば、ペンによる入力ができ
るペンタブレットを用いれば、操作者によるイラストの
描画がより効率良く行なえる。また、表示部103と一
体になって、ユーザが画面表示を見ながら画面に直接イ
ラストを描画できるようにしたタッチスクリーンを用い
れば、さらに直感的な描画が行なえる。その他、コンピ
ュータシステムに情報入力を行なえるものであれば、ど
のようなポインティングデバイスを用いてもよい。
【0203】尚、本発明は、複数の機器(例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など)から構成されるシステムに適用しても、一つの機
器からなる装置(例えば、複写機、ファクシミリ装置な
ど)に適用してもよい。
【0204】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0205】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【0206】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD−ROM、CD
−R、磁気テープ、不揮発性のメモリカード、ROMな
どを用いることができる。
【0207】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0208】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
CPUなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。
【0209】
【発明の効果】以上説明したように、本発明によれば、
ユーザーの意図を迅速に反映し、効率の良い画像検索を
行うことができる画像検索装置及びその方法、コンピュ
ータ可読メモリを提供できる。
【図面の簡単な説明】
【図1】実施形態1の画像検索装置の構成を示すブロッ
ク図である。
【図2】実施形態1の画像検索装置で実行される処理の
概要を示すフローチャートである。
【図3】実施形態1のステップS21における表示装置
103に表示される操作画面を示す図である。
【図4】実施形態1の画像特徴量を抽出するための画像
の分割を説明するための図である。
【図5】実施形態1の画像特徴量の計算処理を示すフロ
ーチャートである。
【図6】実施形態1のR、G、B値の平均値の算出方法
の詳細を示すフローチャートである。
【図7】実施形態1の画像間距離S(n)の計算処理を
示すフローチャートである。
【図8】実施形態1の類似画像検索処理の詳細を示すフ
ローチャートである。
【図9】実施形態1のステップS24における表示装置
103に表示される操作画面を示す図である。
【図10】実施形態2で実行される処理の概要を示すフ
ローチャートである。
【図11】実施形態2のステップS105における表示
装置103に表示される操作画面を示す図である。
【図12】実施形態4の検索処理の実行時に表示装置に
表示される操作画面を示す図である。
【図13】実施形態4の画像検索装置で実行される処理
の概要を示すフローチャートである。
【図14】実施形態4のステップS1001で実行され
る処理の詳細を示すフローチャートである。
【図15】実施形態5のステップS1001で実行され
る処理の詳細を示すフローチャートである。
【図16】実施形態6のステップS1001で実行され
る処理の詳細を示すフローチャートである。
【図17】実施形態8の画像検索装置で実行される処理
の概要を示すフローチャートである。
【図18】実施形態8のステップS153で実行される
処理の詳細を示すフローチャートである。
【図19】実施形態9の画像検索装置で実行される処理
の概要を示すフローチャートである。
【図20】実施形態10の画像検索装置で実行される処
理の概要を示すフローチャートである。
【図21】実施形態10の類似画像一覧表示処理の詳細
を示すフローチャートである。
【図22】実施形態11のステップS116の詳細を示
すフローチャートである。
【図23】実施形態12の類似画像一覧表示処理の詳細
を示すフローチャートである。
【符号の説明】
101 CPU 102 キーボード 102a ポインティングデバイス 103 表示部 104 ROM 105 RAM 106 ハードディスク装置 107 フロッピーディスク装置 108 プリンタ
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 特願平10−244583 (32)優先日 平成10年8月31日(1998.8.31) (33)優先権主張国 日本(JP) (31)優先権主張番号 特願平10−244585 (32)優先日 平成10年8月31日(1998.8.31) (33)優先権主張国 日本(JP) (72)発明者 松本 健太郎 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 榎田 幸 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内

Claims (102)

    【特許請求の範囲】
  1. 【請求項1】 複数の画像データを蓄積した画像データ
    ベースから所望の画像データを検索する画像検索装置で
    あって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶する記憶手段と、 入力画面を用いて画像を入力する入力手段と、 前記入力手段で入力された画像の画像特徴量を計算する
    画像特徴量計算手段と、 前記画像特徴量計算手段で計算された画像特徴量と、前
    記記憶手段に記憶された画像データの画像特徴量に基づ
    いて、画像類似度を計算する画像類似度計算手段とを備
    えることを特徴とする画像検索装置。
  2. 【請求項2】 前記画像類似度計算手段で計算された画
    像類似度に基づいて、検索結果とする画像データの一覧
    を表示する画像表示手段とを更に備えることを特徴とす
    る請求項1に記載の画像検索装置。
  3. 【請求項3】 前記画像表示手段は、検索結果とする画
    像データに対応付けられた縮小画像を表示することを特
    徴とする請求項2に記載の画像検索装置。
  4. 【請求項4】 前記画像表示手段は、前記縮小画像の各
    々に関連付けられた詳細画像を表示する表示制御手段を
    備え、 前記表示制御手段は、前記縮小画像のうち、1個または
    複数個の縮小画像が選択されると、選択された縮小画像
    に関連付けられた詳細画像を表示することを特徴とする
    請求項3に記載の画像検索装置。
  5. 【請求項5】 前記入力画面と前記画像表示手段が表示
    する表示画面が、表示装置上に同時に表示されることを
    特徴とする請求項2に記載の画像検索装置。
  6. 【請求項6】 前記入力画面と前記画像表示手段が表示
    する表示画面が、指示に応じて表示装置上に交互に表示
    されることを特徴とする請求項2に記載の画像検索装
    置。
  7. 【請求項7】 前記入力手段は、ポインティングデバイ
    スであることを特徴とする請求項1に記載の画像検索装
    置。
  8. 【請求項8】 前記ポインティングデバイスは、マウス
    であることを特徴とする請求項7に記載の画像検索装
    置。
  9. 【請求項9】 前記ポインティングデバイスは、タッチ
    スクリーンであることを特徴とする請求項7に記載の画
    像検索装置。
  10. 【請求項10】 前記ポインティングデバイスは、ペン
    タブレットであることを特徴とする請求項7に記載の画
    像検索装置。
  11. 【請求項11】 前記画像表示手段は、前記検索結果と
    する画像データを一次元的に並べて表示することを特徴
    とする請求項2に記載の画像検索装置。
  12. 【請求項12】 前記画像表示手段は、前記検索結果と
    する画像データを二次元的に並べて表示することを特徴
    とする請求項2に記載の画像検索装置。
  13. 【請求項13】 前記画像表示手段は、前記検索結果と
    する画像データを三次元的に並べて表示することを特徴
    とする請求項2に記載の画像検索装置。
  14. 【請求項14】 前記画像表示手段は、前記検索結果と
    する画像データを前記画像類似度の高い順に表示するこ
    とを特徴とする請求項2に記載の画像検索装置。
  15. 【請求項15】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索方法
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶媒体に記憶する記憶工
    程と、 入力画面に入力された画像の画像特徴量を計算する画像
    特徴量計算工程と、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で記憶媒体に記憶された画像データの画像特
    徴量に基づいて、画像類似度を計算する画像類似度計算
    工程とを備えることを特徴とする画像検索方法。
  16. 【請求項16】 前記画像類似度計算工程で計算された
    画像類似度に基づいて、検索結果とする画像データの一
    覧を表示する画像表示工程とを更に備えることを特徴と
    する請求項15に記載の画像検索方法。
  17. 【請求項17】 前記画像表示工程は、検索結果とする
    画像データに対応付けられた縮小画像を表示することを
    特徴とする請求項16に記載の画像検索方法。
  18. 【請求項18】 前記画像表示工程は、前記縮小画像の
    各々に関連付けられた詳細画像を表示する表示制御工程
    を備え、 前記表示制御工程は、前記縮小画像のうち、1個または
    複数個の縮小画像が選択されると、選択された縮小画像
    に関連付けられた詳細画像を表示することを特徴とする
    請求項17に記載の画像検索方法。
  19. 【請求項19】 前記入力画面に入力された画像と前記
    画像表示工程で表示する検索結果とする画像データの一
    覧が、表示装置上に同時に表示されることを特徴とする
    請求項16に記載の画像検索方法。
  20. 【請求項20】 前記入力画面に入力された画像と前記
    画像表示工程で表示する検索結果とする画像データの一
    覧が、指示に応じて表示装置上に交互に表示されること
    を特徴とする請求項16に記載の画像検索方法。
  21. 【請求項21】 ポインティングデバイスによって画像
    を前記入力画面に入力することを特徴とする請求項15
    に記載の画像検索方法。
  22. 【請求項22】 前記ポインティングデバイスは、マウ
    スであることを特徴とする請求項21に記載の画像検索
    方法。
  23. 【請求項23】 前記ポインティングデバイスは、タッ
    チスクリーンであることを特徴とする請求項21に記載
    の画像検索方法。
  24. 【請求項24】 前記ポインティングデバイスは、ペン
    タブレットであることを特徴とする請求項21に記載の
    画像検索方法。
  25. 【請求項25】 前記画像表示工程は、前記検索結果と
    する画像データを一次元的に並べて表示することを特徴
    とする請求項16に記載の画像検索方法。
  26. 【請求項26】 前記画像表示工程は、前記検索結果と
    する画像データを二次元的に並べて表示することを特徴
    とする請求項16に記載の画像検索方法。
  27. 【請求項27】 前記画像表示手段は、前記検索結果と
    する画像データを三次元的に並べて表示することを特徴
    とする請求項16に記載の画像検索方法。
  28. 【請求項28】 前記画像表示手段は、前記検索結果と
    する画像データを前記画像類似度の高い順に表示するこ
    とを特徴とする請求項16に記載の画像検索方法。
  29. 【請求項29】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索のプ
    ログラムコードが格納されたコンピュータ可読メモリで
    あって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶媒体に記憶する記憶工
    程のプログラムコードと、 入力画面に入力された画像の画像特徴量を計算する画像
    特徴量計算工程のプログラムコードと、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で記憶媒体に記憶された画像データの画像特
    徴量に基づいて、画像類似度を計算する画像類似度計算
    工程のプログラムコードとを備えることを特徴とするコ
    ンピュータ可読メモリ。
  30. 【請求項30】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索装置
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶する記憶手段と、 入力画面を用いて画像を入力する入力手段と、 前記入力手段で入力された画像の画像特徴量を計算する
    画像特徴量計算手段と、 前記画像特徴量計算手段で計算された画像特徴量と、前
    記記憶手段に記憶された画像データの画像特徴量に基づ
    いて、画像類似度を計算する画像類似度計算手段と前記
    画像類似度計算手段で計算された画像類似度に基づい
    て、検索結果とする画像データの一覧を表示する画像表
    示手段と前記入力画面と前記画像表示手段が表示する表
    示画面を表示装置の同一画面上に表示制御する表示制御
    手段とを備えることを特徴とする画像検索装置。
  31. 【請求項31】 前記画像特徴量計算手段は、前記入力
    手段によって画像の変更が加えれる毎に、描画された画
    像の画像特徴量を計算することを特徴とする請求項30
    に記載の画像検索装置。
  32. 【請求項32】 前記入力手段で入力された画像を検索
    条件とする検索の開始を指示する指示手段を更に備え、 前記画像特徴量計算手段は、前記指示手段による指示が
    あった場合に、前記入力手段で入力された画像の画像特
    徴量を計算することを特徴とする請求項30に記載の画
    像検索装置。
  33. 【請求項33】 前記画像特徴量計算手段は、前記入力
    手段による画像の入力の開始時間を管理する管理手段
    と、 前記入力手段より画像を構成するストロークが入力され
    る毎に、前記開始時間からの経過時間を算出する算出手
    段とを備え、 前記算出手段で算出された経過時間に基づいて、前記入
    力手段で入力された画像の画像特徴量を計算することを
    特徴とする請求項30に記載の画像検索装置。
  34. 【請求項34】 前記画像特徴量計算手段は、所定時間
    間隔毎に前記入力手段で入力された画像の画像特徴量を
    計算することを特徴とする請求項30に記載の画像検索
    装置。
  35. 【請求項35】 前記画像特徴量計算手段は、当該画像
    検索装置の負荷を監視する監視手段を備え、 前記監視手段の監視結果に応じて、前記入力手段で入力
    された画像の画像特徴量を計算することを特徴とする請
    求項30に記載の画像検索装置。
  36. 【請求項36】 前記画像特徴量計算手段は、前記入力
    手段から画像を構成するストロークが入力された回数に
    応じて、直前までに前記入力手段により入力された画像
    の画像特徴量を計算することを特徴とする請求項30に
    記載の画像検索装置。
  37. 【請求項37】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索方法
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶媒体に記憶する記憶工
    程と、 入力画面に入力された画像の画像特徴量を計算する画像
    特徴量計算工程と、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で記憶媒体に記憶された画像データの画像特
    徴量に基づいて、画像類似度を計算する画像類似度計算
    工程と前記画像類似度計算工程で計算された画像類似度
    に基づいて、検索結果とする画像データの一覧を表示す
    る画像表示工程と前記入力画面と前記画像表示工程が表
    示する表示画面を表示装置の同一画面上に表示制御する
    表示制御工程とを備えることを特徴とする画像検索方
    法。
  38. 【請求項38】 前記画像特徴量計算工程は、前記入力
    画面に入力された画像の変更が加えれる毎に、描画され
    た画像の画像特徴量を計算することを特徴とする請求項
    37に記載の画像検索方法。
  39. 【請求項39】 前記入力画面に入力された画像を検索
    条件とする検索の開始を指示する指示工程を更に備え、 前記画像特徴量計算工程は、前記指示工程による指示が
    あった場合に、前記入力工程で入力された画像の画像特
    徴量を計算することを特徴とする請求項37に記載の画
    像検索方法。
  40. 【請求項40】 前記画像特徴量計算工程は、前記入力
    画面に対する画像の入力の開始時間を記憶媒体に管理す
    る管理工程と、 前記入力画面に画像を構成するストロークが入力される
    毎に、前記開始時間からの経過時間を算出する算出工程
    とを備え、 前記算出工程で算出された経過時間に基づいて、前記入
    力画面に入力された画像の画像特徴量を計算することを
    特徴とする請求項37に記載の画像検索方法。
  41. 【請求項41】 前記画像特徴量計算工程は、所定時間
    間隔毎に前記入力画面に入力された画像の画像特徴量を
    計算することを特徴とする請求項37に記載の画像検索
    方法。
  42. 【請求項42】 前記画像特徴量計算工程は、当該画像
    検索装置の負荷を監視する監視工程を備え、 前記監視工程の監視結果に応じて、前記入力画面に入力
    された画像の画像特徴量を計算することを特徴とする請
    求項37に記載の画像検索方法。
  43. 【請求項43】 前記画像特徴量計算工程は、前記入力
    画面に画像を構成するストロークが入力された回数に応
    じて、直前までに該入力画面に入力された画像の画像特
    徴量を計算することを特徴とする請求項37に記載の画
    像検索方法。
  44. 【請求項44】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索のプ
    ログラムコードが格納されたコンピュータ可読メモリで
    あって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶媒体に記憶する記憶工
    程のプログラムコードと、 入力画面に入力された画像の画像特徴量を計算する画像
    特徴量計算工程のプログラムコードと、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で記憶媒体に記憶された画像データの画像特
    徴量に基づいて、画像類似度を計算する画像類似度計算
    工程のプログラムコードと前記画像類似度計算工程で計
    算された画像類似度に基づいて、検索結果とする画像デ
    ータの一覧を表示する画像表示工程のプログラムコード
    と前記入力画面と前記画像表示工程が表示する表示画面
    を表示装置の同一画面上に表示制御する表示制御工程の
    プログラムコードとを備えることを特徴とするコンピュ
    ータ可読メモリ。
  45. 【請求項45】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索装置
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて管理する管理手段と、 入力画面を用いて第1検索条件とする画像を入力する入
    力手段と、 前記第1検索条件とする画像の第1画像特徴量を計算す
    る画像特徴量計算手段と、 前記第1画像特徴量と、前記管理手段に管理された画像
    データの画像特徴量に基づいて、画像類似度を計算する
    画像類似度計算手段と前記画像類似度計算手段で計算さ
    れた画像類似度に基づいて、検索結果とする画像データ
    の一覧を表示する画像表示手段と前記第1検索条件を修
    正して再検索を行う場合に前記入力手段より入力された
    第2検索条件とする画像の第2画像特徴量と前記第1画
    像特徴量とに基づいて、前記画像類似度計算手段乃び前
    記画像表示手段を実行するか否かを決定する決定手段と
    を備えることを特徴とする画像検索装置。
  46. 【請求項46】 前記決定手段は、前記第1画像特徴量
    を記憶する記憶手段を備え、 前記記憶手段は、前記第2検索条件とする画像が入力さ
    れる直前の第1検索条件とする画像の第1画像特徴量を
    記憶することを特徴とする請求項45に記載の画像検索
    装置。
  47. 【請求項47】 前記決定手段は、前記第2画像特徴量
    と前記第1画像特徴量が同一の場合、前記画像類似度計
    算手段乃び前記画像表示手段の実行をしないことを特徴
    とする請求項45に記載の画像検索装置。
  48. 【請求項48】 前記決定手段は、前記第2画像特徴量
    と前記第1画像特徴量の間の画像間距離を計算し、前記
    画像間距離が所定以下の場合、前記画像類似度計算手段
    乃び前記画像表示手段の実行をしないことを特徴とする
    請求項45に記載の画像検索装置。
  49. 【請求項49】 前記入力画面と前記画像表示手段が表
    示する表示画面を表示部の同一画面上に表示制御する表
    示制御手段とを更に備えることを特徴とする請求項45
    に記載の画像検索装置。
  50. 【請求項50】 前記入力手段で入力された画像を検索
    条件とする検索の開始を指示する指示手段を更に備え、 前記指示手段による指示があった場合、前記決定手段
    は、前記画像類似度計算手段乃び前記画像表示手段を実
    行することを特徴とする請求項45に記載の画像検索装
    置。
  51. 【請求項51】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索方法
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶媒体に管理する管理工
    程と、 入力画面に入力された第1検索条件とする画像の第1画
    像特徴量を計算する画像特徴量計算工程と、 前記第1画像特徴量と、前記管理工程で記憶媒体に管理
    された画像データの画像特徴量に基づいて、画像類似度
    を計算する画像類似度計算工程と前記画像類似度計算工
    程で計算された画像類似度に基づいて、検索結果とする
    画像データの一覧を表示する画像表示工程と前記第1検
    索条件を修正して再検索を行う場合に前記入力画面に入
    力された第2検索条件とする画像の第2画像特徴量と前
    記第1画像特徴量とに基づいて、前記画像類似度計算工
    程乃び前記画像表示工程を実行するか否かを決定する決
    定工程とを備えることを特徴とする画像検索方法。
  52. 【請求項52】 前記決定工程は、前記第2検索条件と
    する画像が入力される直前の第1検索条件とする画像の
    第1画像特徴量と、前記第2画像特徴量を比較すること
    を特徴とする請求項51に記載の画像検索方法。
  53. 【請求項53】 前記決定工程は、前記第2画像特徴量
    と前記第1画像特徴量が同一の場合、前記画像類似度計
    算工程乃び前記画像表示工程の実行をしないことを特徴
    とする請求項51に記載の画像検索方法。
  54. 【請求項54】 前記決定工程は、前記第2画像特徴量
    と前記第1画像特徴量の間の画像間距離を計算し、前記
    画像間距離が所定以下の場合、前記画像類似度計算工程
    乃び前記画像表示工程の実行をしないことを特徴とする
    請求項51に記載の画像検索方法。
  55. 【請求項55】 前記入力画面と前記画像表示工程が表
    示する表示画面を表示部の同一画面上に表示制御する表
    示制御工程とを更に備えることを特徴とする請求項51
    に記載の画像検索方法。
  56. 【請求項56】 前記入力画面に入力された画像を検索
    条件とする検索の開始を指示する指示工程を更に備え、 前記指示工程による指示があった場合、前記決定工程
    は、前記画像類似度計算工程乃び前記画像表示工程を実
    行することを特徴とする請求項51に記載の画像検索方
    法。
  57. 【請求項57】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索のプ
    ログラムコードが格納されたコンピュータ可読メモリで
    あって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶媒体に管理する管理工
    程のプログラムコードと、 入力画面に入力された第1検索条件とする画像の第1画
    像特徴量を計算する画像特徴量計算工程のプログラムコ
    ードと、 前記第1画像特徴量と、前記管理工程で記憶媒体に管理
    された画像データの画像特徴量に基づいて、画像類似度
    を計算する画像類似度計算工程のプログラムコードと前
    記画像類似度計算工程で計算された画像類似度に基づい
    て、検索結果とする画像データの一覧を表示する画像表
    示工程のプログラムコードと前記第1検索条件を修正し
    て再検索を行う場合に前記入力画面に入力された第2検
    索条件とする画像の第2画像特徴量と前記第1画像特徴
    量とに基づいて、前記画像類似度計算工程乃び前記画像
    表示工程を実行するか否かを決定する決定工程のプログ
    ラムコードとを備えることを特徴とするコンピュータ可
    読メモリ。
  58. 【請求項58】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索装置
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶する記憶手段と、 入力画面を用いて画像を入力する入力手段と、 前記入力手段で入力された画像の画像特徴量を計算する
    画像特徴量計算手段と、 前記画像特徴量計算手段で計算された画像特徴量と、前
    記記憶手段に記憶された画像データの画像特徴量に基づ
    いて、画像類似度を計算する画像類似度計算手段と前記
    画像類似度計算手段で計算された画像類似度に基づい
    て、検索結果とする画像データの一覧を表示する画像表
    示手段と前記画像表示手段による表示を中断する中断手
    段とを備えることを特徴とする画像検索装置。
  59. 【請求項59】 前記中断手段は、前記入力手段の入力
    を監視する監視手段を備え、 前記監視手段の監視の結果、前記ユーザが描画した画像
    に変更を加える画像が前記入力手段によって入力された
    場合に、前記画像表示手段による表示を中断することを
    特徴とする請求項58に記載の画像検索装置。
  60. 【請求項60】 前記中断手段は、前記ユーザが描画し
    た画像に変更を加える画像の変更量が所定量を越える場
    合、前記画像表示手段による表示を中断することを特徴
    とする請求項58に記載の画像検索装置。
  61. 【請求項61】 前記中断手段は、前記画像表示手段に
    よる表示の中断を指示することを特徴とする請求項58
    に記載の画像検索装置。
  62. 【請求項62】 前記中断手段は、前記画像類似度計算
    手段による計算の中断を指示することを特徴とする請求
    項58に記載の画像検索装置。
  63. 【請求項63】 前記画像特徴量計算手段は、前記入力
    手段によって画像の変更が加えれる毎に、描画された画
    像の画像特徴量を計算することを特徴とする請求項58
    に記載の画像検索装置。
  64. 【請求項64】 前記入力画面と前記画像表示手段が表
    示する表示画面の表示部の同一画面上に表示制御する表
    示制御手段とを更に備えることを特徴とする請求項58
    に記載の画像検索装置。
  65. 【請求項65】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索方法
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶媒体に記憶する記憶工
    程と、 入力画面に入力された画像の画像特徴量を計算する画像
    特徴量計算工程と、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で記憶媒体に記憶された画像データの画像特
    徴量に基づいて、画像類似度を計算する画像類似度計算
    工程と前記画像類似度計算工程で計算された画像類似度
    に基づいて、検索結果とする画像データの一覧を表示す
    る画像表示工程と前記画像表示工程による表示を中断す
    る中断工程とを備えることを特徴とする画像検索方法。
  66. 【請求項66】 前記中断工程は、前記入力画面に対す
    る入力を監視する監視工程を備え、 前記監視工程の監視の結果、前記ユーザが描画した画像
    に変更を加える画像が前記入力画面に入力された場合
    に、前記画像表示工程による表示を中断することを特徴
    とする請求項65に記載の画像検索方法。
  67. 【請求項67】 前記中断工程は、前記ユーザが描画し
    た画像に変更を加える画像の変更量が所定量を越える場
    合、前記画像表示工程による表示を中断することを特徴
    とする請求項65に記載の画像検索方法。
  68. 【請求項68】 前記中断工程は、前記画像表示工程に
    よる表示の中断を指示することを特徴とする請求項65
    に記載の画像検索方法。
  69. 【請求項69】 前記中断工程は、前記画像類似度計算
    工程による計算の中断を指示することを特徴とする請求
    項65に記載の画像検索方法。
  70. 【請求項70】 前記画像特徴量計算工程は、前記入力
    画面に入力された画像の変更が加えれる毎に、描画され
    た画像の画像特徴量を計算することを特徴とする請求項
    65に記載の画像検索方法。
  71. 【請求項71】 前記入力画面と前記画像表示工程が表
    示する表示画面を表示部の同一画面上に表示制御する表
    示制御工程とを更に備えることを特徴とする請求項65
    に記載の画像検索方法。
  72. 【請求項72】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索のプ
    ログラムコードが格納されたコンピュータ可読メモリで
    あって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶媒体に記憶する記憶工
    程のプログラムコードと、 入力画面に入力された画像の画像特徴量を計算する画像
    特徴量計算工程のプログラムコードと、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で記憶媒体に記憶された画像データの画像特
    徴量に基づいて、画像類似度を計算する画像類似度計算
    工程のプログラムコードと前記画像類似度計算工程で計
    算された画像類似度に基づいて、検索結果とする画像デ
    ータの一覧を表示する画像表示工程のプログラムコード
    と前記画像表示工程による表示を中断する中断工程のプ
    ログラムコードとを備えることを特徴とするコンピュー
    タ可読メモリ。
  73. 【請求項73】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索装置
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶する記憶手段と、 入力画面を用いて画像を入力する入力手段と、 前記入力手段で入力された画像の画像特徴量を計算する
    画像特徴量計算手段と、 前記画像特徴量計算手段で計算された画像特徴量と、前
    記記憶手段に記憶された画像データの画像特徴量に基づ
    いて、画像類似度を計算する画像類似度計算手段と前記
    画像類似度計算手段で計算された画像類似度に基づい
    て、検索結果とする画像データの一覧を表示する画像表
    示手段と前記画像表示手段で一度表示された画像データ
    をキャッシュするキャッシュ手段とを備えることを特徴
    とする画像検索装置。
  74. 【請求項74】 前記キャッシュ手段でキャッシュされ
    た画像データを削除する削除手段とを更に備えることを
    特徴とする請求項73に記載の画像検索装置。
  75. 【請求項75】 前記削除手段による削除の実行を指示
    する指示手段とを更に備えることを特徴とする請求項7
    4に記載の画像検索装置。
  76. 【請求項76】 前記削除手段は、前記キャッシュ手段
    の空き容量を監視する監視手段を備え、 前記監視手段の監視結果に基づいて、前記キャッシュ手
    段にキャッシュされた画像データを削除することを特徴
    とする請求項74に記載の画像検索装置。
  77. 【請求項77】 前記削除手段は、前記キャッシュ手段
    にキャッシュされた画像データの前記画像表示手段で表
    示された際の使用頻度を計数する計数手段を備え、 前記計数手段が計数する使用頻度に基づいて、前記キャ
    ッシュ手段にキャッシュされた画像データを削除するこ
    とを特徴とする請求項74に記載の画像検索装置。
  78. 【請求項78】 前記削除手段は、前記キャッシュ手段
    にキャッシュされた画像データ全てを一括して削除する
    ことを特徴とする請求項74に記載の画像検索装置。
  79. 【請求項79】 前記削除手段による削除処理と前記入
    力手段による入力処理が並列処理されることを特徴とす
    る請求項74に記載の画像検索装置。
  80. 【請求項80】 前記入力画面と前記画像表示手段が表
    示する表示画面を表示部の同一画面上に表示制御する表
    示制御手段とを更に備えることを特徴とする請求項73
    に記載の画像検索装置。
  81. 【請求項81】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索方法
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて第1記憶媒体に記憶する記
    憶工程と、 入力画面に入力された画像の画像特徴量を計算する画像
    特徴量計算工程と、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で第1記憶媒体に記憶された画像データの画
    像特徴量に基づいて、画像類似度を計算する画像類似度
    計算工程と前記画像類似度計算工程で計算された画像類
    似度に基づいて、検索結果とする画像データの一覧を表
    示する画像表示工程と前記画像表示工程で一度表示され
    た画像データを第2記憶媒体にキャッシュするキャッシ
    ュ工程とを備えることを特徴とする画像検索方法。
  82. 【請求項82】 前記キャッシュ工程で第2記憶媒体に
    キャッシュされた画像データを削除する削除工程とを更
    に備えることを特徴とする請求項81に記載の画像検索
    方法。
  83. 【請求項83】 前記削除工程による削除の実行を指示
    する指示工程とを更に備えることを特徴とする請求項8
    2に記載の画像検索方法。
  84. 【請求項84】 前記削除工程は、前記キャッシュ工程
    で用いられる第2記憶媒体の空き容量を監視する監視工
    程を備え、 前記監視工程の監視結果に基づいて、前記キャッシュさ
    れた画像データを削除することを特徴とする請求項82
    に記載の画像検索方法。
  85. 【請求項85】 前記削除工程は、前記キャッシュ工程
    で第2記憶媒体にキャッシュされた画像データの前記画
    像表示工程で表示された際の使用頻度を計数する計数工
    程を備え、 前記計数工程が計数する使用頻度に基づいて、前記キャ
    ッシュ工程で第2記憶媒体にキャッシュされた画像デー
    タを削除することを特徴とする請求項82に記載の画像
    検索方法。
  86. 【請求項86】 前記削除工程は、前記キャッシュ工程
    で第2記憶媒体にキャッシュされた画像データ全てを一
    括して削除することを特徴とする請求項82に記載の画
    像検索方法。
  87. 【請求項87】 前記削除工程による削除処理と前記入
    力画面による入力処理が並列処理されることを特徴とす
    る請求項82に記載の画像検索方法。
  88. 【請求項88】 前記入力画面と前記画像表示工程が表
    示する表示画面を表示部の同一画面上に表示制御する表
    示制御工程とを更に備えることを特徴とする請求項81
    に記載の画像検索方法。
  89. 【請求項89】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索のプ
    ログラムコードが格納されたコンピュータ可読メモリで
    あって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて第1記憶媒体に記憶する記
    憶工程のプログラムコードと、 入力画面に入力された画像の画像特徴量を計算する画像
    特徴量計算工程のプログラムコードと、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で第1記憶媒体に記憶された画像データの画
    像特徴量に基づいて、画像類似度を計算する画像類似度
    計算工程のプログラムコードと前記画像類似度計算工程
    で計算された画像類似度に基づいて、検索結果とする画
    像データの一覧を表示する画像表示工程のプログラムコ
    ードと前記画像表示工程で一度表示された画像データを
    第2記憶媒体にキャッシュするキャッシュ工程のプログ
    ラムコードとを備えることを特徴とするコンピュータ可
    読メモリ。
  90. 【請求項90】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索装置
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて記憶する記憶手段と、 画像を入力する入力手段と、 前記入力手段で入力された画像の画像特徴量を計算する
    画像特徴量計算手段と、 前記画像特徴量計算手段で計算された画像特徴量と、前
    記記憶手段に記憶された画像データの画像特徴量に基づ
    いて、画像類似度を計算する画像類似度計算手段と前記
    画像類似度計算手段で計算された画像類似度に基づい
    て、検索結果とする画像データの一覧を表示する画像表
    示手段と前記画像表示手段で表示対象の画像データが前
    回の表示で既に表示されている画像データであるか否か
    を判定する判定手段と、 前記判定手段の判定結果に基づいて、前記画像表示手段
    による表示を制御する制御手段とを備えることを特徴と
    する画像検索装置。
  91. 【請求項91】 前記制御手段は、前記判定手段の判定
    の結果、前記表示対象の画像データが前回の表示で既に
    表示されている画像データである場合、該画像データの
    表示に対する処理をスキップすることを特徴とする請求
    項90に記載の画像検索装置。
  92. 【請求項92】 前記判定手段は、前記画像表示手段で
    表示された画像データを示すID情報と、該画像データ
    の表示位置を示す位置情報を対応づけて管理する管理手
    段を備え、 前記管理手段で管理される管理内容を参照して、前記表
    示対象の表示対象の画像データが前回の表示で既に表示
    されている画像データであるか否かを判定することを特
    徴とする請求項90に記載の画像検索装置。
  93. 【請求項93】 前記画像表示手段は、前記表示対象の
    画像データをキャッシュするキャッシュ手段とを備え、 前記制御手段は、前記判定手段の判定の結果、前記表示
    対象の画像データが前回の表示で既に表示されている画
    像データでなく、かつ該表示対象の画像データが前記キ
    ャッシュ手段にキャッシュされている場合、その画像デ
    ータを用いて前記画像表示手段による表示を制御するこ
    とを特徴とする請求項90に記載の画像検索装置。
  94. 【請求項94】 前記制御手段は、前記入力手段による
    入力の有無を監視する監視手段を備え、 前記監視手段の監視結果に基づいて、前記画像表示手段
    による表示を中断することを特徴とする請求項90に記
    載の画像検索装置。
  95. 【請求項95】 前記判定手段は、前記の表示時に同一
    の位置に画像を表示したか否かを判定することを特徴と
    する請求項90に記載の画像検索装置。
  96. 【請求項96】 複数の画像データを蓄積した画像デー
    タベースから所望の画像データを検索する画像検索方法
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて第1記憶媒体に記憶する記
    憶工程と、 入力された画像の画像特徴量を計算する画像特徴量計算
    工程と、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で第1記憶媒体に記憶された画像データの画
    像特徴量に基づいて、画像類似度を計算する画像類似度
    計算工程と前記画像類似度計算工程で計算された画像類
    似度に基づいて、検索結果とする画像データの一覧を表
    示する画像表示工程と前記画像表示工程で表示対象の画
    像データが前回の表示で既に表示されている画像データ
    であるか否かを判定する判定工程と、 前記判定工程の判定結果に基づいて、前記画像表示工程
    による表示を制御する制御工程とを備えることを特徴と
    する画像検索方法。
  97. 【請求項97】 前記制御工程は、前記判定工程の判定
    の結果、前記表示対象の画像データが前回の表示で既に
    表示されている画像データである場合、該画像データの
    表示に対する処理をスキップすることを特徴とする請求
    項96に記載の画像検索方法。
  98. 【請求項98】 前記判定工程は、前記画像表示工程で
    表示された画像データを示すID情報と、該画像データ
    の表示位置を示す位置情報を対応づけて第2記憶媒体に
    管理する管理工程を備え、 前記管理工程で第2記憶媒体に管理される管理内容を参
    照して、前記表示対象の表示対象の画像データが前回の
    表示で既に表示されている画像データであるか否かを判
    定することを特徴とする請求項96に記載の画像検索方
    法。
  99. 【請求項99】 前記画像表示工程は、前記表示対象の
    画像データを第3記憶媒体にキャッシュするキャッシュ
    工程とを備え、 前記制御工程は、前記判定工程の判定の結果、前記表示
    対象の画像データが前回の表示で既に表示されている画
    像データでなく、かつ該表示対象の画像データが前記キ
    ャッシュ工程で第3記憶媒体にキャッシュされている場
    合、その画像データを用いて前記画像表示工程による表
    示を制御することを特徴とする請求項96に記載の画像
    検索方法。
  100. 【請求項100】 前記制御工程は、画像の入力の有無
    を監視する監視工程を備え、 前記監視工程の監視結果に基づいて、前記画像表示工程
    による表示を中断することを特徴とする請求項96に記
    載の画像検索方法。
  101. 【請求項101】 前記判定工程は、前回の表示時に同
    一の位置に画像を表示したか否かを判定することを特徴
    とする請求項96に記載の画像検索方法。
  102. 【請求項102】 複数の画像データを蓄積した画像デ
    ータベースから所望の画像データを検索する画像検索の
    プログラムコードが格納されたコンピュータ可読メモリ
    であって、 前記複数の画像データそれぞれと、それぞれの画像デー
    タの画像特徴量を対応付けて第1記憶媒体に記憶する記
    憶工程のプログラムコードと、 入力された画像の画像特徴量を計算する画像特徴量計算
    工程のプログラムコードと、 前記画像特徴量計算工程で計算された画像特徴量と、前
    記記憶工程で第1記憶媒体に記憶された画像データの画
    像特徴量に基づいて、画像類似度を計算する画像類似度
    計算工程のプログラムコードと前記画像類似度計算工程
    で計算された画像類似度に基づいて、検索結果とする画
    像データの一覧を表示する画像表示工程のプログラムコ
    ードと前記画像表示工程で表示対象の画像データが前回
    の表示で既に表示されている画像データであるか否かを
    判定する判定工程のプログラムコードと、 前記判定工程の判定結果に基づいて、前記画像表示工程
    による表示を制御する制御工程のプログラムコードとを
    備えることを特徴とするコンピュータ可読メモリ。
JP21426699A 1998-08-31 1999-07-28 画像検索装置及びその方法、コンピュ―タ可読メモリ Pending JP2000148795A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP21426699A JP2000148795A (ja) 1998-08-31 1999-07-28 画像検索装置及びその方法、コンピュ―タ可読メモリ
US09/385,430 US6731826B1 (en) 1998-08-31 1999-08-30 Image search apparatus and method, and computer readable memory
EP99306899A EP0987638A3 (en) 1998-08-31 1999-08-31 Image search apparatus and method, and computer readable memory

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP24458398 1998-08-31
JP24458298 1998-08-31
JP24457998 1998-08-31
JP10-244579 1998-08-31
JP10-244582 1998-08-31
JP10-244583 1998-08-31
JP10-244580 1998-08-31
JP24458098 1998-08-31
JP10-244585 1998-08-31
JP24458598 1998-08-31
JP21426699A JP2000148795A (ja) 1998-08-31 1999-07-28 画像検索装置及びその方法、コンピュ―タ可読メモリ

Publications (2)

Publication Number Publication Date
JP2000148795A true JP2000148795A (ja) 2000-05-30
JP2000148795A5 JP2000148795A5 (ja) 2007-08-23

Family

ID=27553895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21426699A Pending JP2000148795A (ja) 1998-08-31 1999-07-28 画像検索装置及びその方法、コンピュ―タ可読メモリ

Country Status (3)

Country Link
US (1) US6731826B1 (ja)
EP (1) EP0987638A3 (ja)
JP (1) JP2000148795A (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006510123A (ja) * 2002-11-18 2006-03-23 アメリカ オンライン インコーポレーテッド キャラクタ・ストリームに関連するホスト・ベースのインテリジェントな結果
JP2007166357A (ja) * 2005-12-15 2007-06-28 Sony Corp 画像記録装置および方法、プログラム、並びに記録媒体
JP2007193467A (ja) * 2006-01-18 2007-08-02 Dainippon Printing Co Ltd イメージ素材検索システム
JP2009238082A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像受付方法および装置
JP2010218372A (ja) * 2009-03-18 2010-09-30 Olympus Corp サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
US7962504B1 (en) 2005-05-26 2011-06-14 Aol Inc. Sourcing terms into a search engine
US8001199B2 (en) 2002-11-18 2011-08-16 Aol Inc. Reconfiguring an electronic message to effect an enhanced notification
US8107690B2 (en) 2007-04-16 2012-01-31 Fujitsu Limited Similarity analyzing device, image display device, image display program storage medium, and image display method
US8180161B2 (en) 2007-12-03 2012-05-15 National University Corporation Hokkaido University Image classification device and image classification program
US8701014B1 (en) 2002-11-18 2014-04-15 Facebook, Inc. Account linking
US8775538B2 (en) 2003-09-05 2014-07-08 Facebook, Inc. Methods for capturing electronic messages based on capture rules relating to online contexts of users
US8874672B2 (en) 2003-03-26 2014-10-28 Facebook, Inc. Identifying and using identities deemed to be known to a user
US8965964B1 (en) 2002-11-18 2015-02-24 Facebook, Inc. Managing forwarded electronic messages
KR20150093045A (ko) * 2014-02-06 2015-08-17 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150095132A (ko) * 2014-02-12 2015-08-20 에스케이플래닛 주식회사 스케치를 통한 상품 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150100332A (ko) * 2014-02-25 2015-09-02 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150101109A (ko) * 2014-02-26 2015-09-03 에스케이플래닛 주식회사 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
US9203879B2 (en) 2000-03-17 2015-12-01 Facebook, Inc. Offline alerts mechanism
US9203647B2 (en) 2002-11-18 2015-12-01 Facebook, Inc. Dynamic online and geographic location of a user
US9246975B2 (en) 2000-03-17 2016-01-26 Facebook, Inc. State change alerts mechanism
US9319356B2 (en) 2002-11-18 2016-04-19 Facebook, Inc. Message delivery control settings
US9647872B2 (en) 2002-11-18 2017-05-09 Facebook, Inc. Dynamic identification of other users to an online user
US9667585B2 (en) 2002-11-18 2017-05-30 Facebook, Inc. Central people lists accessible by multiple applications
US10187334B2 (en) 2003-11-26 2019-01-22 Facebook, Inc. User-defined electronic message preferences

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801830B1 (en) * 1999-12-30 2010-09-21 At&T Intellectual Property I, L.P. System and method for marketing, managing, and maintaining intellectual property
US7941468B2 (en) * 1999-12-30 2011-05-10 At&T Intellectual Property I, L.P. Infringer finder
US7389239B1 (en) * 1999-12-30 2008-06-17 At&T Delaware Intellectual Property, Inc. System and method for managing intellectual property
US7127405B1 (en) * 1999-12-30 2006-10-24 Bellsouth Intellectual Property Corp. System and method for selecting and protecting intellectual property assets
US7346518B1 (en) * 1999-12-30 2008-03-18 At&T Bls Intellectual Property, Inc. System and method for determining the marketability of intellectual property assets
JP2003091727A (ja) * 2001-09-17 2003-03-28 Canon Inc 画像処理装置及びその方法、プログラム
JP2004030122A (ja) * 2002-06-25 2004-01-29 Fujitsu Ltd 図面検索支援装置および図面検索方法
JP2004048229A (ja) * 2002-07-10 2004-02-12 Toshiba Corp 電子機器およびデジタルスチルカメラおよび表示制御方法
GB2399983A (en) * 2003-03-24 2004-09-29 Canon Kk Picture storage and retrieval system for telecommunication system
JP4700452B2 (ja) * 2005-09-16 2011-06-15 株式会社リコー 情報管理装置、情報管理方法、情報管理プログラムおよび記録媒体
US20070098257A1 (en) * 2005-10-31 2007-05-03 Shesha Shah Method and mechanism for analyzing the color of a digital image
US7831111B2 (en) * 2005-10-31 2010-11-09 Yahoo! Inc. Method and mechanism for retrieving images
JP4921202B2 (ja) * 2006-03-15 2012-04-25 キヤノン株式会社 ジョブ履歴管理システム、その制御方法、プログラム及び記憶媒体
US9129252B2 (en) * 2006-03-31 2015-09-08 At&T Intellectual Property I, L.P. Potential realization system with electronic communication processing for conditional resource incrementation
US8884972B2 (en) * 2006-05-25 2014-11-11 Qualcomm Incorporated Graphics processor with arithmetic and elementary function units
US8126858B1 (en) 2008-01-23 2012-02-28 A9.Com, Inc. System and method for delivering content to a communication device in a content delivery system
JP2010176346A (ja) * 2009-01-29 2010-08-12 Sony Corp 撮像装置および検索方法、並びにプログラム
JP5629435B2 (ja) 2009-06-30 2014-11-19 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP5576754B2 (ja) 2010-09-29 2014-08-20 キヤノン株式会社 放射線撮像装置
US8990199B1 (en) 2010-09-30 2015-03-24 Amazon Technologies, Inc. Content search with category-aware visual similarity
US8463036B1 (en) * 2010-09-30 2013-06-11 A9.Com, Inc. Shape-based search of a collection of content
US8422782B1 (en) 2010-09-30 2013-04-16 A9.Com, Inc. Contour detection and image classification
US8827710B2 (en) * 2011-05-19 2014-09-09 Microsoft Corporation Realtime user guidance for freehand drawing
US9880990B2 (en) 2013-03-14 2018-01-30 Microsoft Technology Licensing, Llc Leveraging previous instances of handwriting for handwriting beautification and other applications
JP7490483B2 (ja) 2020-07-22 2024-05-27 キヤノン株式会社 システム、情報処理方法、物品の製造方法、プログラム及び記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5038298A (en) 1986-03-14 1991-08-06 Canon Kabushiki Kaisha Image output apparatus connectable to mutually different external data processing apparatus
US5157773A (en) 1986-03-14 1992-10-20 Canon Kabushiki Kaisha Image data output apparatus
US5060280A (en) 1986-09-30 1991-10-22 Canon Kabushiki Kaisha Masking control for image processing systems
US5444550A (en) 1989-04-28 1995-08-22 Canon Kabushiki Kaisha Image processing apparatus
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JPH0773190A (ja) * 1993-04-29 1995-03-17 Matsushita Electric Ind Co Ltd ペンベースコンピューターシステム用絵文字ネーミング
US5586198A (en) * 1993-08-24 1996-12-17 Lakritz; David Method and apparatus for identifying characters in ideographic alphabet
JP3340532B2 (ja) * 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
US5623681A (en) * 1993-11-19 1997-04-22 Waverley Holdings, Inc. Method and apparatus for synchronizing, displaying and manipulating text and image documents
US5873076A (en) * 1995-09-15 1999-02-16 Infonautics Corporation Architecture for processing search queries, retrieving documents identified thereby, and method for using same
US5913205A (en) * 1996-03-29 1999-06-15 Virage, Inc. Query optimization for visual information retrieval system
US6324536B1 (en) * 1997-07-22 2001-11-27 International Business Machines Corporation Method and system for providing interactive electronic catalog for product and constraint information of equality and inequality search
EP1025517A1 (en) * 1997-10-27 2000-08-09 Massachusetts Institute Of Technology Image search and retrieval system
US5999664A (en) * 1997-11-14 1999-12-07 Xerox Corporation System for searching a corpus of document images by user specified document layout components
US6415282B1 (en) * 1998-04-22 2002-07-02 Nec Usa, Inc. Method and apparatus for query refinement

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736209B2 (en) 2000-03-17 2017-08-15 Facebook, Inc. State change alerts mechanism
US9246975B2 (en) 2000-03-17 2016-01-26 Facebook, Inc. State change alerts mechanism
US9203879B2 (en) 2000-03-17 2015-12-01 Facebook, Inc. Offline alerts mechanism
US8954530B2 (en) 2002-11-18 2015-02-10 Facebook, Inc. Intelligent results related to a character stream
US8001199B2 (en) 2002-11-18 2011-08-16 Aol Inc. Reconfiguring an electronic message to effect an enhanced notification
US8954534B2 (en) 2002-11-18 2015-02-10 Facebook, Inc. Host-based intelligent results related to a character stream
US8954531B2 (en) 2002-11-18 2015-02-10 Facebook, Inc. Intelligent messaging label results related to a character stream
US8005919B2 (en) 2002-11-18 2011-08-23 Aol Inc. Host-based intelligent results related to a character stream
US9774560B2 (en) 2002-11-18 2017-09-26 Facebook, Inc. People lists
US9769104B2 (en) 2002-11-18 2017-09-19 Facebook, Inc. Methods and system for delivering multiple notifications
US10033669B2 (en) 2002-11-18 2018-07-24 Facebook, Inc. Managing electronic messages sent to reply telephone numbers
US8452849B2 (en) 2002-11-18 2013-05-28 Facebook, Inc. Host-based intelligent results related to a character stream
US8701014B1 (en) 2002-11-18 2014-04-15 Facebook, Inc. Account linking
US8775560B2 (en) 2002-11-18 2014-07-08 Facebook, Inc. Host-based intelligent results related to a character stream
US9729489B2 (en) 2002-11-18 2017-08-08 Facebook, Inc. Systems and methods for notification management and delivery
US8819176B2 (en) 2002-11-18 2014-08-26 Facebook, Inc. Intelligent map results related to a character stream
JP2006510123A (ja) * 2002-11-18 2006-03-23 アメリカ オンライン インコーポレーテッド キャラクタ・ストリームに関連するホスト・ベースのインテリジェントな結果
US9667585B2 (en) 2002-11-18 2017-05-30 Facebook, Inc. Central people lists accessible by multiple applications
US9319356B2 (en) 2002-11-18 2016-04-19 Facebook, Inc. Message delivery control settings
US9852126B2 (en) 2002-11-18 2017-12-26 Facebook, Inc. Host-based intelligent results related to a character stream
US8965964B1 (en) 2002-11-18 2015-02-24 Facebook, Inc. Managing forwarded electronic messages
US9894018B2 (en) 2002-11-18 2018-02-13 Facebook, Inc. Electronic messaging using reply telephone numbers
US9647872B2 (en) 2002-11-18 2017-05-09 Facebook, Inc. Dynamic identification of other users to an online user
US9047364B2 (en) 2002-11-18 2015-06-02 Facebook, Inc. Intelligent client capability-based results related to a character stream
US9053173B2 (en) 2002-11-18 2015-06-09 Facebook, Inc. Intelligent results related to a portion of a search query
US9053174B2 (en) 2002-11-18 2015-06-09 Facebook, Inc. Intelligent vendor results related to a character stream
US9053175B2 (en) 2002-11-18 2015-06-09 Facebook, Inc. Intelligent results using a spelling correction agent
US9621376B2 (en) 2002-11-18 2017-04-11 Facebook, Inc. Dynamic location of a subordinate user
US9075868B2 (en) 2002-11-18 2015-07-07 Facebook, Inc. Intelligent results based on database queries
US9075867B2 (en) 2002-11-18 2015-07-07 Facebook, Inc. Intelligent results using an assistant
US9571440B2 (en) 2002-11-18 2017-02-14 Facebook, Inc. Notification archive
US9571439B2 (en) 2002-11-18 2017-02-14 Facebook, Inc. Systems and methods for notification delivery
US9560000B2 (en) 2002-11-18 2017-01-31 Facebook, Inc. Reconfiguring an electronic message to effect an enhanced notification
US9356890B2 (en) 2002-11-18 2016-05-31 Facebook, Inc. Enhanced buddy list using mobile device identifiers
US9171064B2 (en) 2002-11-18 2015-10-27 Facebook, Inc. Intelligent community based results related to a character stream
US10389661B2 (en) 2002-11-18 2019-08-20 Facebook, Inc. Managing electronic messages sent to mobile devices associated with electronic messaging accounts
US9203647B2 (en) 2002-11-18 2015-12-01 Facebook, Inc. Dynamic online and geographic location of a user
US10778635B2 (en) 2002-11-18 2020-09-15 Facebook, Inc. People lists
US9313046B2 (en) 2002-11-18 2016-04-12 Facebook, Inc. Presenting dynamic location of a user
US8874672B2 (en) 2003-03-26 2014-10-28 Facebook, Inc. Identifying and using identities deemed to be known to a user
US9531826B2 (en) 2003-03-26 2016-12-27 Facebook, Inc. Managing electronic messages based on inference scores
US9736255B2 (en) 2003-03-26 2017-08-15 Facebook, Inc. Methods of providing access to messages based on degrees of separation
US8775538B2 (en) 2003-09-05 2014-07-08 Facebook, Inc. Methods for capturing electronic messages based on capture rules relating to online contexts of users
US10102504B2 (en) 2003-09-05 2018-10-16 Facebook, Inc. Methods for controlling display of electronic messages captured based on community rankings
US9070118B2 (en) 2003-09-05 2015-06-30 Facebook, Inc. Methods for capturing electronic messages based on capture rules relating to user actions regarding received electronic messages
US10187334B2 (en) 2003-11-26 2019-01-22 Facebook, Inc. User-defined electronic message preferences
US8996560B2 (en) 2005-05-26 2015-03-31 Facebook, Inc. Search engine utilizing user navigated documents
US9753972B2 (en) 2005-05-26 2017-09-05 Facebook, Inc. Searching based on user interest
US8874606B2 (en) 2005-05-26 2014-10-28 Facebook, Inc. Sourcing terms into a search engine
US7962504B1 (en) 2005-05-26 2011-06-14 Aol Inc. Sourcing terms into a search engine
JP2007166357A (ja) * 2005-12-15 2007-06-28 Sony Corp 画像記録装置および方法、プログラム、並びに記録媒体
JP2007193467A (ja) * 2006-01-18 2007-08-02 Dainippon Printing Co Ltd イメージ素材検索システム
US8107690B2 (en) 2007-04-16 2012-01-31 Fujitsu Limited Similarity analyzing device, image display device, image display program storage medium, and image display method
US8300901B2 (en) 2007-04-16 2012-10-30 Fujitsu Limited Similarity analyzing device, image display device, image display program storage medium, and image display method
US8180161B2 (en) 2007-12-03 2012-05-15 National University Corporation Hokkaido University Image classification device and image classification program
JP2009238082A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像受付方法および装置
JP2010218372A (ja) * 2009-03-18 2010-09-30 Olympus Corp サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
KR102159331B1 (ko) 2014-02-06 2020-09-23 십일번가 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150093045A (ko) * 2014-02-06 2015-08-17 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150095132A (ko) * 2014-02-12 2015-08-20 에스케이플래닛 주식회사 스케치를 통한 상품 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102213856B1 (ko) 2014-02-12 2021-02-08 에스케이플래닛 주식회사 스케치를 통한 상품 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150100332A (ko) * 2014-02-25 2015-09-02 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102213861B1 (ko) * 2014-02-25 2021-02-08 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150101109A (ko) * 2014-02-26 2015-09-03 에스케이플래닛 주식회사 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102207514B1 (ko) 2014-02-26 2021-01-26 십일번가 주식회사 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체

Also Published As

Publication number Publication date
EP0987638A2 (en) 2000-03-22
US6731826B1 (en) 2004-05-04
EP0987638A3 (en) 2004-01-14

Similar Documents

Publication Publication Date Title
JP2000148795A (ja) 画像検索装置及びその方法、コンピュ―タ可読メモリ
US7610274B2 (en) Method, apparatus, and program for retrieving data
US6335746B1 (en) Information processing method and apparatus for displaying a list of a plurality of image data files and a list of search results
EP0536077B1 (en) Method and system for enhancing interactive query of a database
JPS59183458A (ja) 画像検索方式
JP2007226536A (ja) 画像検索装置、画像検索方法、および、画像検索用プログラム
CN102779153A (zh) 信息处理设备和信息处理方法
US7308119B2 (en) Image retrieval apparatus and method, and image display apparatus and method thereof
JPH11328209A (ja) 画像検索装置及び方法
JP4697913B2 (ja) データ検索装置及び方法
US6704466B1 (en) Image search system, image search apparatus, control method thereof, and computer readable memory
JPH1011343A (ja) 情報処理装置及び方法
US7194453B2 (en) Image retrieval method and apparatus
JP2011039944A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2000148794A (ja) 画像検索装置及びその方法、コンピュ―タ可読メモリ
EP1074953A2 (en) Image retrieval apparatus and method
JP2000076270A (ja) 画像検索システム及びその制御方法、画像検索装置及びその制御方法、コンピュータ可読メモリ
JP2001134765A (ja) 画像検索方法及び装置
US7706577B1 (en) Exporting extracted faces
JP2004272314A (ja) 画像表示装置、画像表示方法、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体
JP2008234078A (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理プログラムを記録した記録媒体
JP2003091727A (ja) 画像処理装置及びその方法、プログラム
JP2000076268A (ja) 画像検索装置及びその方法、コンピュータ可読メモリ
JP2004240751A (ja) 画像検索装置
JP4692784B2 (ja) 画像記述システムにおける特徴量選択プログラム、特徴量選択方法および装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20041201

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20041201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080307