JP2000076270A - Picture retrieval system, its control method, picture retrieval device, its control method and computer readable memory - Google Patents

Picture retrieval system, its control method, picture retrieval device, its control method and computer readable memory

Info

Publication number
JP2000076270A
JP2000076270A JP24458798A JP24458798A JP2000076270A JP 2000076270 A JP2000076270 A JP 2000076270A JP 24458798 A JP24458798 A JP 24458798A JP 24458798 A JP24458798 A JP 24458798A JP 2000076270 A JP2000076270 A JP 2000076270A
Authority
JP
Japan
Prior art keywords
image
search
image data
feature amount
external device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP24458798A
Other languages
Japanese (ja)
Inventor
Kunihiro Yamamoto
邦浩 山本
Kiyoshi Kusama
澄 草間
Kentaro Matsumoto
健太郎 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP24458798A priority Critical patent/JP2000076270A/en
Priority to US09/384,968 priority patent/US6704466B1/en
Publication of JP2000076270A publication Critical patent/JP2000076270A/en
Withdrawn legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a picture retrieval system which can unitarily manage a picture data base that a user uses and efficiently and safely retrieve a similar picture in an environment used by plural users. SOLUTION: A client computer 1a inputs a picture which a user draws from a pointing device 12a as a retrieval condition. The picture feature quantity of the inputted picture is transmitted to a server computer 11. Picture data being a retrieval result are received from the server computer 11 and received picture data are displayed on a display part 103. The server computer 11 correspondingly stores picture data and the picture feature quantity of picture data in a self-hard disk device 106. Picture similarity is calculated based on picture feature quantity received from the client computer 1a and the picture feature quantity of picture data stored in the hard disk device 106. Retrieved picture data are transmitted to the client computer 1a based on calculated picture similarity.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】複数の画像データを蓄積した
画像データベースから所望の画像データを検索する画像
検索システム及びその制御方法、画像検索装置及びその
制御方法、コンピュータ可読メモリに関するものであ
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image retrieval system for retrieving desired image data from an image database storing a plurality of image data, a control method thereof, an image retrieval apparatus and a control method thereof, and a computer readable memory.

【0002】[0002]

【従来の技術】多数の画像データを蓄積したデータベー
スから、所望の画像データを検索する画像検索装置が種
々考案されている。これらの画像検索装置では、 ・ キーワードや撮影日時等の非画像情報を画像データ
に関連付け、それを基に検索を行なう方法 ・ 画像データ自体の画像特徴量(輝度・色差情報、画
像周波数、ヒストグラムなど)を基に検索を行なう方法 の2つに大別される。
2. Description of the Related Art Various image retrieval apparatuses have been devised for retrieving desired image data from a database storing a large number of image data. In these image search apparatuses, a method of associating non-image information such as a keyword and a photographing date with image data and performing a search based on the image data is used. )), And can be roughly divided into two methods.

【0003】後者において、ある画像データを提示し、
その画像データの画像特徴量を検索キーとして、画像デ
ータを検索する方法を特に類似画検索と呼ぶ。これは、
画像処理について特別な知識を持たないユーザに対し、
直感的に分かりやすい検索インターフェースを提供でき
るという利点がある。
In the latter, certain image data is presented,
A method of searching for image data using the image feature amount of the image data as a search key is particularly called similar image search. this is,
For users who do not have special knowledge about image processing,
There is an advantage that an intuitive search interface can be provided.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、上記従
来の画像検索装置において、複数のユーザが使用する環
境では、同一の画像データベースを各ユーザが有してい
る。そのため、画像データベースに管理されている画像
データを追加・削除する等の編集を各ユーザで行うと、
各ユーザが行った修正の内容を随時他の各ユーザの画像
データベースに反映させていかなければならず、場合に
よっては管理されている画像データの一貫性を損なう可
能性があった。また、検索エンジンを修正する場合は、
各ユーザが使用する画像検索装置に搭載される検索エン
ジン全てを修正する必要があった。また、検索効率を向
上させるために、高性能な画像検索装置を用意する必要
があった。また、各ユーザの画像検索装置に検索エンジ
ンの実体が搭載されるので、その検索エンジンに対する
リバースエンジニアリングが行われる可能性があり、セ
キュリティ上問題があった。
However, in the above-described conventional image retrieval apparatus, in an environment where a plurality of users use the same image database, each user has the same image database. Therefore, if each user performs editing such as adding / deleting image data managed in the image database,
The contents of the correction made by each user must be reflected in the image database of each other user as needed, and in some cases, the consistency of the managed image data may be lost. Also, when modifying a search engine,
It is necessary to correct all search engines installed in the image search device used by each user. Also, in order to improve the search efficiency, it is necessary to prepare a high-performance image search device. Further, since the actual search engine is mounted on the image search device of each user, there is a possibility that reverse engineering may be performed on the search engine, resulting in a security problem.

【0005】本発明は上記の問題点に鑑みてなされたも
のであり、複数のユーザによって使用される環境におい
て、ユーザが使用する画像データベースを一元管理で
き、効率よく安全に類似画像検索を実行することができ
る画像検索システム及びその制御方法、画像検索装置及
びその制御方法、コンピュータ可読メモリを提供するこ
とを目的とする。
[0005] The present invention has been made in view of the above problems, and in an environment used by a plurality of users, an image database used by the users can be centrally managed, and a similar image search can be efficiently and safely executed. It is an object of the present invention to provide an image search system and a control method thereof, an image search device and a control method thereof, and a computer-readable memory capable of performing the same.

【0006】[0006]

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像検索システムは以下の構成を備え
る。即ち、ネットワークを介して相互に接続されたクラ
イアントコンピュータとサーバコンピュータ間で、複数
の画像データを蓄積した画像データベースから所望の画
像データを検索する画像検索システムであって、前記ク
ライアントコンピュータは、ユーザが描画する画像を検
索条件として入力する入力手段と、前記入力手段で入力
された画像の画像特徴量を計算する画像特徴量計算手段
と、前記画像特徴量計算手段で計算された画像特徴量を
前記サーバコンピュータへ送信する第1送信手段と、前
記サーバコンピュータより検索結果を受信する第1受信
手段とを備え、前記サーバコンピュータは、前記複数の
画像データそれぞれと、それぞれの画像データの画像特
徴量を対応付けて記憶する記憶手段と、前記クライアン
トコンピュータより前記画像特徴量計算手段で計算され
た画像特徴量を受信する第2受信手段と前記第2受信手
段で受信した画像特徴量と、前記記憶手段に記憶された
画像データの画像特徴量に基づいて、画像類似度を計算
する画像類似度計算手段と前記画像類似度計算手段で計
算された画像類似度に基づいて、画像データを検索する
検索手段と、前記検索手段による検索結果を前記クライ
アントコンピュータへ送信する第2送信手段とを備え
る。
An image retrieval system according to the present invention for achieving the above object has the following arrangement. That is, an image search system that searches for desired image data from an image database that stores a plurality of image data between a client computer and a server computer that are interconnected via a network, wherein the client computer has a user An input unit for inputting an image to be drawn as a search condition, an image feature amount calculating unit for calculating an image feature amount of the image input by the input unit, and an image feature amount calculated by the image feature amount calculating unit. A first transmitting unit for transmitting to the server computer; and a first receiving unit for receiving a search result from the server computer, wherein the server computer transmits each of the plurality of image data and an image feature amount of each of the image data. Storage means for storing in association with the client computer; A second receiving unit that receives the image feature amount calculated by the image feature amount calculating unit; an image feature amount received by the second receiving unit; and an image feature amount of the image data stored in the storage unit. Image similarity calculating means for calculating image similarity, a search means for searching for image data based on the image similarity calculated by the image similarity calculating means, and a search result by the searching means transmitted to the client computer And a second transmitting unit that performs the operation.

【0007】また、好ましくは、前記第2送信手段は、
前記検索手段による検索結果を前記クライアントコンピ
ュータへ送信し、必要に応じて該検索結果に対応する画
像データを送信する。
Preferably, the second transmitting means includes:
A search result by the search means is transmitted to the client computer, and image data corresponding to the search result is transmitted as necessary.

【0008】また、好ましくは、前記クライアントコン
ピュータは、前記複数の画像データに対応するアイコン
画像を記憶する。
Preferably, the client computer stores an icon image corresponding to the plurality of image data.

【0009】また、好ましくは、前記第1受信手段で受
信した検索結果とする画像データの一覧を表示する画像
表示手段とを更に備える。また、好ましくは、前記画像
表示手段において、一度表示に用いた画像データを前記
クライアントコンピュータ内でキャッシュする。
Preferably, the apparatus further comprises image display means for displaying a list of image data as search results received by the first receiving means. Preferably, the image display means caches the image data once used for display in the client computer.

【0010】また、好ましくは、前記入力手段と前記画
像表示手段を前記クライアントコンピュータの表示部の
同一画面上に表示制御する表示制御手段とを更に備え
る。
[0010] Preferably, the apparatus further comprises display control means for controlling the display of the input means and the image display means on the same screen of a display unit of the client computer.

【0011】上記の目的を達成するための本発明による
画像検索システムの制御方法は以下の構成を備える。即
ち、ネットワークを介して相互に接続されたクライアン
トコンピュータとサーバコンピュータ間で、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索システムの制御方法であって、前
記複数の画像データそれぞれと、それぞれの画像データ
の画像特徴量を対応付けて前記サーバコンピュータで管
理する管理工程と、ユーザが描画する画像を検索条件と
して入力する入力工程と、前記入力工程で入力された画
像の画像特徴量を計算する画像特徴量計算工程と、前記
画像特徴量計算工程で計算された画像特徴量と、前記管
理工程で前記サーバコンピュータで管理されている画像
データの画像特徴量に基づいて、画像類似度を計算する
画像類似度計算工程と前記画像類似度計算工程で計算さ
れた画像類似度に基づいて、検索結果を前記クライアン
トコンピュータに送信する送信工程とを備える。
A control method for an image search system according to the present invention for achieving the above object has the following configuration. That is, a method for controlling an image retrieval system for retrieving desired image data from an image database storing a plurality of image data between a client computer and a server computer mutually connected via a network, A management step of managing each of the data and the image feature amounts of the respective image data in association with the server computer, an inputting step of inputting an image to be drawn by the user as a search condition, and an inputting step of inputting the image input in the inputting step. An image feature amount calculating step of calculating an image feature amount, an image feature amount calculated in the image feature amount calculating step, and an image feature amount of image data managed by the server computer in the managing step. Image similarity calculating step of calculating image similarity and image similarity calculated in the image similarity calculating step Based on, and a transmission step of transmitting the search result to the client computer.

【0012】上記の目的を達成するための本発明による
画像検索装置は以下の構成を備える。即ち、外部装置と
ネットワークを介して接続され、複数の画像データを蓄
積した画像データベースから所望の画像データを検索す
る画像検索装置であって、前記複数の画像データそれぞ
れと、それぞれの画像データの画像特徴量を対応付けて
前記外部装置で管理する管理手段と、ユーザが描画する
画像を検索条件として入力する入力手段と、前記入力手
段で入力された画像の画像特徴量を計算する画像特徴量
計算手段と、前記画像特徴量計算手段で計算された画像
特徴量を前記外部装置へ送信する送信手段と、前記外部
装置より検索結果とする画像データを受信する受信手段
とを備える。
An image retrieval apparatus according to the present invention for achieving the above object has the following arrangement. That is, an image search device connected to an external device via a network and searching for desired image data from an image database storing a plurality of image data, wherein each of the plurality of image data and an image of each image data Management means for associating feature amounts with the external device, input means for inputting an image to be drawn by a user as search conditions, and image feature amount calculation for calculating image feature amounts of the image input by the input means Means, transmitting means for transmitting the image feature value calculated by the image feature value calculating means to the external device, and receiving means for receiving image data as a search result from the external device.

【0013】また、好ましくは、前記外部装置は、当該
画像検索装置より受信した前記画像特徴量計算手段で計
算された画像特徴量と、前記管理手段で前記外部装置に
管理された画像データの画像特徴量に基づいて、画像類
似度を計算する画像類似度計算手段と前記画像類似度計
算手段で計算された画像類似度に基づいて、画像データ
を検索して当該画像検索装置へ送信する検索手段とを備
える。
Preferably, the external device includes an image feature amount received by the image search device and calculated by the image feature amount calculation means, and an image of image data managed by the external device by the management means. Image similarity calculating means for calculating an image similarity based on the feature amount, and a search means for searching for image data based on the image similarity calculated by the image similarity calculating means and transmitting the image data to the image searching apparatus And

【0014】また、好ましくは、前記外部装置より、前
記検索手段による検索結果を受信し、必要に応じて該検
索結果に対応する画像データを受信する。
[0014] Preferably, a search result by the search means is received from the external device, and image data corresponding to the search result is received as necessary.

【0015】また、好ましくは、前記複数の画像データ
に対応するアイコン画像を記憶する。
[0015] Preferably, an icon image corresponding to the plurality of image data is stored.

【0016】また、好ましくは、前記受信手段で受信し
た検索結果とする画像データの一覧を表示する画像表示
手段とを更に備える。また、好ましくは、前記画像表示
手段において、一度表示に用いた画像データをキャッシ
ュする。
Preferably, the apparatus further comprises image display means for displaying a list of image data as search results received by the receiving means. Preferably, the image display means caches image data once used for display.

【0017】また、好ましくは、前記入力手段と前記画
像表示手段を表示部の同一画面上に表示制御する表示制
御手段とを更に備える。
Preferably, the apparatus further comprises display control means for controlling the display of the input means and the image display means on the same screen of a display unit.

【0018】上記の目的を達成するための本発明による
画像検索装置は以下の構成を備える。即ち、外部装置と
ネットワークを介して接続され、複数の画像データを蓄
積した画像データベースから所望の画像データを検索す
る画像検索装置であって、前記複数の画像データそれぞ
れと、それぞれの画像データの画像特徴量を対応付けて
記憶する記憶手段と、前記外部装置より、検索条件とし
て入力されたユーザが描画した画像の画像特徴量を受信
する受信手段と、前記受信手段で受信した画像特徴量
と、前記記憶手段に記憶された画像データの画像特徴量
に基づいて、画像類似度を計算する画像類似度計算手段
と前記画像類似度計算手段で計算された画像類似度に基
づいて、画像データを検索する検索手段と、前記検索手
段による検索結果を前記外部装置へ送信する送信手段と
を備える。
An image retrieval apparatus according to the present invention for achieving the above object has the following arrangement. That is, an image search device connected to an external device via a network and searching for desired image data from an image database storing a plurality of image data, wherein each of the plurality of image data and an image of each image data A storage unit that stores the feature amounts in association with each other, a receiving unit that receives, from the external device, an image feature amount of an image drawn by a user input as a search condition, and an image feature amount received by the receiving unit. Image similarity calculation means for calculating image similarity based on the image feature amount of the image data stored in the storage means, and image data retrieval based on the image similarity calculated by the image similarity calculation means And a transmitting unit for transmitting a search result by the searching unit to the external device.

【0019】また、好ましくは、前記外部装置は、ユー
ザが描画する画像を検索条件として入力する入力手段
と、前記入力手段で入力された画像の画像特徴量を計算
して、当該画像検索装置へ送信する画像特徴量計算手段
と、当該画像検索装置より検索結果とする画像データを
受信する受信手段とを備える。
Preferably, the external device calculates an input means for inputting an image to be drawn by the user as a search condition, and calculates an image feature amount of the image input by the input means, and sends the image to the image search device. The image processing apparatus includes an image feature amount calculating unit that transmits the image data and a receiving unit that receives image data serving as a search result from the image search device.

【0020】また、好ましくは、前記外部装置は、前記
受信手段で受信した検索結果とする画像データの一覧を
表示する画像表示手段とを更に備える。また、好ましく
は、前記検索手段による検索結果を前記外部装置へ送信
し、必要に応じて該検索結果に対応する画像データを送
信する。
Preferably, the external device further includes image display means for displaying a list of image data as search results received by the receiving means. Preferably, a search result by the search unit is transmitted to the external device, and image data corresponding to the search result is transmitted as needed.

【0021】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、外部装置と
ネットワークを介して接続され、複数の画像データを蓄
積した画像データベースから所望の画像データを検索す
る画像検索装置の制御方法であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて前記外部装置で管理する管理工程と、ユーザ
が描画する画像を検索条件として入力する入力工程と、
前記入力工程で入力された画像の画像特徴量を計算する
画像特徴量計算工程と、前記画像特徴量計算工程で計算
された画像特徴量を前記外部装置へ送信する送信工程
と、前記外部装置より検索結果とする画像データを受信
する受信工程とを備える。
An image retrieval method according to the present invention for achieving the above object has the following arrangement. That is, a control method of an image search device connected to an external device via a network and searching for desired image data from an image database storing a plurality of image data, wherein each of the plurality of image data and each image A management step of managing the image feature amount of data in association with the external device, and an input step of inputting an image to be drawn by the user as a search condition;
An image feature amount calculation step of calculating an image feature amount of the image input in the input step; a transmission step of transmitting the image feature amount calculated in the image feature amount calculation step to the external device; A receiving step of receiving image data as a search result.

【0022】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、外部装置と
ネットワークを介して接続され、複数の画像データを蓄
積した画像データベースから所望の画像データを検索す
る画像検索装置の制御方法であって、前記複数の画像デ
ータそれぞれと、それぞれの画像データの画像特徴量を
対応付けて記憶媒体に記憶する記憶工程と、前記外部装
置より、検索条件として入力されたユーザが描画した画
像の画像特徴量を受信する受信工程と、前記受信工程で
受信した画像特徴量と、前記記憶工程で記憶媒体に記憶
された画像データの画像特徴量に基づいて、画像類似度
を計算する画像類似度計算工程と前記画像類似度計算工
程で計算された画像類似度に基づいて、画像データを検
索する検索工程と、前記検索工程による検索結果を前記
外部装置へ送信する送信工程とを備える。
An image search method according to the present invention for achieving the above object has the following configuration. That is, a control method of an image search device connected to an external device via a network and searching for desired image data from an image database storing a plurality of image data, wherein each of the plurality of image data and each image A storage step of storing image feature amounts of data in a storage medium in association with each other, a receiving step of receiving, from the external device, an image feature amount of an image drawn by a user input as a search condition, Image similarity calculating step of calculating an image similarity based on the calculated image feature amount and the image feature amount of the image data stored in the storage medium in the storage step, and the image similarity calculated in the image similarity calculating step. A search step of searching image data based on the degree; and a transmission step of transmitting a search result of the search step to the external device.

【0023】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
ネットワークを介して相互に接続されたクライアントコ
ンピュータとサーバコンピュータ間で、複数の画像デー
タを蓄積した画像データベースから所望の画像データを
検索する画像検索システムの制御のプログラムコードが
格納されたコンピュータ可読メモリであって、前記複数
の画像データそれぞれと、それぞれの画像データの画像
特徴量を対応付けて前記サーバコンピュータで管理する
管理工程のプログラムコードと、ユーザが描画する画像
を検索条件として入力する入力工程のプログラムコード
と、前記入力工程で入力された画像の画像特徴量を計算
する画像特徴量計算工程のプログラムコードと、前記画
像特徴量計算工程で計算された画像特徴量と、前記管理
工程で前記サーバコンピュータで管理された画像データ
の画像特徴量に基づいて、画像類似度を計算する画像類
似度計算工程のプログラムコードと前記画像類似度計算
工程で計算された画像類似度に基づいて、検索結果とす
る画像データの一覧を前記クライアントコンピュータに
送信する送信工程のプログラムコードとを備える。
A computer readable memory according to the present invention for achieving the above object has the following configuration. That is,
A computer-readable memory storing a program code for controlling an image search system for searching for desired image data from an image database storing a plurality of image data between a client computer and a server computer interconnected via a network. A program code for a management step of managing each of the plurality of pieces of image data and the image feature amount of each piece of image data by the server computer, and an input step of inputting an image to be drawn by a user as a search condition. A program code, a program code of an image feature amount calculation step of calculating an image feature amount of the image input in the input step, an image feature amount calculated in the image feature amount calculation step, and the server in the management step. Based on image features of image data managed by a computer Transmitting a list of image data to be a search result to the client computer based on the program code of the image similarity calculation step for calculating the image similarity and the image similarity calculated in the image similarity calculation step. Process code.

【0024】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
外部装置とネットワークを介して接続され、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索装置の制御制御のプログラムコー
ドが格納されたコンピュータ可読メモリであって、前記
複数の画像データそれぞれと、それぞれの画像データの
画像特徴量を対応付けて前記外部装置で管理する管理工
程のプログラムコードと、ユーザが描画する画像を検索
条件として入力する入力工程のプログラムコードと、前
記入力工程で入力された画像の画像特徴量を計算する画
像特徴量計算工程のプログラムコードと、前記画像特徴
量計算工程で計算された画像特徴量を前記外部装置へ送
信する送信工程のプログラムコードと、前記外部装置よ
り検索結果を受信する受信工程のプログラムコードとを
備える。
A computer readable memory according to the present invention for achieving the above object has the following configuration. That is,
A computer-readable memory that is connected to an external device via a network and that stores a program code for control and control of an image search device that searches for desired image data from an image database storing a plurality of image data; A program code for a management step of managing the image data with the external device in association with the image feature amounts of the respective image data, a program code of an input step of inputting an image to be drawn by a user as a search condition, and A program code of an image feature amount calculation step of calculating an image feature amount of the image input in the step, and a program code of a transmission step of transmitting the image feature amount calculated in the image feature amount calculation step to the external device, And a program code for a receiving step of receiving a search result from the external device.

【0025】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
外部装置とネットワークを介して接続され、複数の画像
データを蓄積した画像データベースから所望の画像デー
タを検索する画像検索装置の制御のプログラムコードが
格納されたコンピュータ可読メモリであって、前記複数
の画像データそれぞれと、それぞれの画像データの画像
特徴量を対応付けて記憶媒体に記憶する記憶工程のプロ
グラムコードと、前記外部装置より、検索条件として入
力されたユーザが描画した画像の画像特徴量を受信する
受信工程のプログラムコードと、前記受信工程で受信し
た画像特徴量と、前記記憶工程で記憶媒体に記憶された
画像データの画像特徴量に基づいて、画像類似度を計算
する画像類似度計算工程のプログラムコードと前記画像
類似度計算工程で計算された画像類似度に基づいて、画
像データを検索する検索工程のプログラムコードと、前
記検索工程による検索結果を前記外部装置へ送信する送
信工程のプログラムコードとを備える。
A computer readable memory according to the present invention for achieving the above object has the following configuration. That is,
A computer-readable memory that is connected to an external device via a network and stores a program code for controlling an image search device that searches for desired image data from an image database storing a plurality of image data, Receiving the data, the program code of the storage step of storing the image feature amounts of the respective image data in the storage medium in association with each other, and the image feature amount of the image drawn by the user input as the search condition from the external device Image similarity calculating step of calculating an image similarity based on the program code of the receiving step to be performed, the image feature amount received in the receiving step, and the image feature amount of the image data stored in the storage medium in the storing step Image data is searched for based on the program similarity and the image similarity calculated in the image similarity calculating step. Comprising a program code for a search process and a program code of a transmission step of transmitting the search result by the search process to the external device.

【0026】[0026]

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below in detail with reference to the drawings.

【0027】図1は本発明の実施形態の画像検索システ
ムの構成を示すブロック図である。図1において、1a
〜1dはクライアントコンピュータであり、11はサー
バコンピュータであり、ネットワーク12により相互に
接続され、互いに通信を行うことができる。クライアン
トコンピュータ1a〜1dそれぞれとサーバコンピュー
タ11は、ハード的には同様の構成をとっている。ここ
では、代表としてクライアントコンピュータ1aの構成
について説明する。
FIG. 1 is a block diagram showing the configuration of the image search system according to the embodiment of the present invention. In FIG. 1, 1a
1 to 1d are client computers, 11 is a server computer, mutually connected by a network 12, and can communicate with each other. The client computers 1a to 1d and the server computer 11 have the same hardware configuration. Here, the configuration of the client computer 1a will be described as a representative.

【0028】また、図1では、4台のクライアントコン
ピュータ1a〜1dを示しているが、一般に任意の数の
クライアントコンピュータがネットワーク12に接続さ
れる。サーバコンピュータ11も1台に限定されず、任
意の数のサーバコンピュータがネットワーク12に接続
される。例えば、画像データベース毎に異なるサーバコ
ンピュータを用いたり、地理的に離れている等の理由に
より、同内容の画像データベースを複数のサーバコンピ
ュータが提供する構成もあり得る。ネットワーク12の
構成は公知であるので、その詳細は省略するが、ネット
ワーク12がLAN(ローカルエリアネットワーク)で
あれば所謂イントラネット、WAN(ワイドエリアネッ
トワーク)であれば所謂インターネット上で、本実施形
態を適用することができる。
Although FIG. 1 shows four client computers 1 a to 1 d, an arbitrary number of client computers are generally connected to the network 12. The number of server computers 11 is not limited to one, and an arbitrary number of server computers are connected to the network 12. For example, there may be a configuration in which a plurality of server computers provide an image database of the same content because different server computers are used for each image database, or geographically separated. Since the configuration of the network 12 is publicly known, details thereof will be omitted. However, the present embodiment is applied to a so-called intranet if the network 12 is a LAN (local area network), and to the so-called Internet if the network 12 is a WAN (wide area network). Can be applied.

【0029】クライアントコンピュータ1aにおいて、
101はCPUであり、システム全体の制御を行なって
いる。102はキーボードであり、102aはポインテ
ィングデバイスであり、マウスとともにシステムにデー
タの入力や類似画像検索を行うための検索条件となるイ
ラストを描画するために使用される。103は表示部で
あり、CRTや液晶等で構成され、検索条件とする画像
を描画するためのユーザインタフェースと検索結果とす
る画像データ等を表示する。104はROM、105は
RAMであり、システムの記憶装置を構成し、システム
が実行するプログラムやシステムが利用するデータを記
憶する。106はハードディスク装置であり、107は
フロッピーディスク装置であり、システムのファイルシ
ステムに使用される外部記憶装置を構成している。ま
た、ハードディスク装置106には、検索対象とする複
数の画像データとして、後述するプロセスBによって管
理される画像データベース、後述するプロセスCによっ
て管理される画像データベースが記憶されている。10
8はプリンタであり、表示部103に表示されている画
像等を記録媒体に記録する。109はネットワーク接続
装置であり、ネットワーク12に接続する。
In the client computer 1a,
A CPU 101 controls the entire system. Reference numeral 102 denotes a keyboard, and reference numeral 102a denotes a pointing device, which is used together with a mouse to draw an illustration serving as a search condition for inputting data into the system or performing a similar image search. A display unit 103 includes a CRT, a liquid crystal, and the like, and displays a user interface for drawing an image serving as a search condition, image data serving as a search result, and the like. A ROM 104 and a RAM 105 constitute a storage device of the system and store programs executed by the system and data used by the system. Reference numeral 106 denotes a hard disk drive, and 107 denotes a floppy disk drive, which constitutes an external storage device used for a file system of the system. The hard disk device 106 stores an image database managed by a process B described later and an image database managed by a process C described later as a plurality of image data to be searched. 10
Reference numeral 8 denotes a printer that records an image or the like displayed on the display unit 103 on a recording medium. A network connection device 109 connects to the network 12.

【0030】次に、実施形態で実行される検索処理の実
行時にクライアントコンピュータの表示部103に表示
される操作画面について、図2を用いて説明する。
Next, an operation screen displayed on the display unit 103 of the client computer when executing the search processing executed in the embodiment will be described with reference to FIG.

【0031】図2は本発明の実施形態の検索処理の実行
時にクライアントコンピュータの表示部に表示される操
作画面を示す図である。
FIG. 2 is a diagram showing an operation screen displayed on the display unit of the client computer when executing the search processing according to the embodiment of the present invention.

【0032】21はユーザ描画領域、22はカーソル、
23は色指定スクロールバー、24はクリアボタン、2
5は検索実行ボタン、27は次候補表示ボタン、28は
処理終了ボタンである。また、26a〜26hは、検索
結果とする画像データに対応するアイコン画像群であ
る。
21 is a user drawing area, 22 is a cursor,
23 is a color designation scroll bar, 24 is a clear button, 2
5 is a search execution button, 27 is a next candidate display button, and 28 is a processing end button. 26a to 26h are icon image groups corresponding to image data as search results.

【0033】ユーザは、ソフトウェアにより実現される
上記描画ツールを用いて、ユーザ描画領域21に検索対
象の画像に似せた検索条件とするイラストを描画するこ
とができる。イラストを描画時のソフトウェア動作の概
略は以下の通りである。
The user can use the above-mentioned drawing tool realized by software to draw an illustration in the user drawing area 21 as a search condition that resembles an image to be searched. The outline of the software operation at the time of drawing an illustration is as follows.

【0034】色指定スクロールバー23は、描画に用い
るペンの色を指定するためのものであり、上から順に
R、G、B値を指定する。クリアボタン24を押すとユ
ーザ描画領域21全体を白く塗りつぶす。ユーザはポイ
ンティングデバイス102aを用いてカーソル22を動
かし、ユーザ描画領域21上に自由な曲線を描画するこ
とができる。また、処理終了ボタン28を押すと、操作
画面を閉じ、処理を終了する。
The color designation scroll bar 23 is used to designate a pen color used for drawing, and designates R, G, and B values in order from the top. When the clear button 24 is pressed, the entire user drawing area 21 is painted white. The user can draw a free curve on the user drawing area 21 by moving the cursor 22 using the pointing device 102a. When the processing end button 28 is pressed, the operation screen is closed and the processing ends.

【0035】次に、本実施形態の画像検索装置で実行さ
れる処理の概要について、図3を用いて説明する。
Next, an outline of the processing executed by the image search apparatus of the present embodiment will be described with reference to FIG.

【0036】図3は本発明の実施形態の画像検索装置で
実行される処理の概要を示すフローチャートである。
FIG. 3 is a flowchart showing an outline of the processing executed by the image retrieval apparatus according to the embodiment of the present invention.

【0037】以下説明するサーバプロセスはサーバコン
ピュータ11上で、クライアントプロセスはクライアン
トコンピュータ1a〜1d上のいずれかで実行される。
The server process described below is executed on the server computer 11, and the client process is executed on any of the client computers 1a to 1d.

【0038】まず、図3(a)を用いてクライアントプ
ロセスで実行される処理について説明する。
First, the processing executed in the client process will be described with reference to FIG.

【0039】ステップS171で、ユーザが表示部10
3上に、ハードディスク装置106上に蓄積される検索
対象である所望の画像データに似せた検索条件とするイ
ラストを描画する。ステップS172で、描画されたイ
ラストの画像特徴量を計算する。ステップS173で、
コンピュータ間通信を行い、計算された画像特徴量をサ
ーバプロセスに渡す。ステップS174で、サーバプロ
セスからコンピュータ間通信によって検索結果とする類
似画像を受信したか否かを判定する。受信しない場合
(ステップS174でNO)、ステップS174に戻
る。即ち、コンピュータ間通信を監視するループを形成
する。一方、受信した場合(ステップS174でYE
S)、ステップS175に進み、受信した類似画像を検
索結果として表示する。
In step S171, the user operates the display unit 10
An illustration is drawn on 3 as a search condition that resembles desired image data to be searched and stored on the hard disk device 106. In step S172, the image feature amount of the drawn illustration is calculated. In step S173,
The communication between the computers is performed, and the calculated image feature amount is passed to the server process. In step S174, it is determined whether or not a similar image as a search result has been received from the server process through inter-computer communication. If not received (NO in step S174), the process returns to step S174. That is, a loop for monitoring communication between computers is formed. On the other hand, when it is received (YE in step S174)
S), the process proceeds to step S175, and the received similar image is displayed as a search result.

【0040】ステップS176で、検索作業を終了する
か否かを判定する。終了しない場合(ステップS176
でNO)、ステップS171に戻る。一方、終了する場
合(ステップS176でYES)、処理を終了する。。
In step S176, it is determined whether or not to end the search operation. When not ending (step S176)
NO), and returns to step S171. On the other hand, if the processing is to be ended (YES in step S176), the processing ends. .

【0041】次に、図3(b)を用いてサーバプロセス
で実行される処理について説明する。
Next, the processing executed by the server process will be described with reference to FIG.

【0042】ステップS177で、クライアントプロセ
スからのコンピュータ間通信(画像特徴量)を受信した
か否かを判定する。受信していない場合(ステップS1
77でNO)、ステップS177に戻る。即ち、コンピ
ュータ間通信を監視するループを形成する。一方、受信
した場合(ステップS177でYES)、ステップS1
78に進む。
In step S177, it is determined whether or not the inter-computer communication (image feature amount) from the client process has been received. If not received (step S1
(NO at 77), returning to step S177. That is, a loop for monitoring communication between computers is formed. On the other hand, if it has been received (YES in step S177), step S1
Proceed to 78.

【0043】ステップS178で、受信した画像特徴量
に基いて類似画像検索を実行する。ステップS179
で、検索された類似画像をコンピュータ間通信によって
クライアントプロセスに送信する。
In step S178, a similar image search is executed based on the received image feature amount. Step S179
Transmits the searched similar image to the client process through inter-computer communication.

【0044】上記処理により、クライアントコンピュー
タ上で検索条件とするイラストの描画を行い、サーバコ
ンピュータ上で検索条件に基づいて類似画像検索を行
い、その結果をクライアントコンピュータ上で表示する
ことができる。
By the above processing, an illustration as a search condition is drawn on the client computer, a similar image search is performed on the server computer based on the search condition, and the result can be displayed on the client computer.

【0045】以下、上記ステップの各々で実行される処
理の詳細について説明して行く。 『ステップS171の説明』ステップS171では、ユ
ーザの操作によりユーザ描画領域21に検索条件とする
イラストを描画し、適当なタイミングで、次のステップ
S172へ進む。この時の処理を、図4を用いて説明す
る。このタイミングとは、システムが所定タイミングで
マウス102aの動きを監視しに行くタイミングであ
り、監視が行われる毎に、それまでに描画された画像の
画像特徴量が算出されることになる。
Hereinafter, the details of the processing executed in each of the above steps will be described. [Explanation of Step S171] In step S171, an illustration as a search condition is drawn in the user drawing area 21 by a user operation, and the process proceeds to the next step S172 at an appropriate timing. The processing at this time will be described with reference to FIG. This timing is a timing at which the system monitors the movement of the mouse 102a at a predetermined timing. Every time the monitoring is performed, the image feature amount of the image drawn so far is calculated.

【0046】図4は本発明の実施形態のステップS17
1で実行される処理の詳細を示すフローチャートであ
る。
FIG. 4 shows step S17 of the embodiment of the present invention.
3 is a flowchart showing details of a process executed in Step 1.

【0047】尚、x0、y0は、直前のカーソル22の
位置を記憶しておく変数であり、x1、y1は、カーソ
ル22の現在位置が格納されている変数である。
Note that x0 and y0 are variables for storing the position of the cursor 22 immediately before, and x1 and y1 are variables for storing the current position of the cursor 22.

【0048】まず、ステップS31で、ユーザによりマ
ウス102aが動かされたか否かを判定する。動いてい
ない場合(ステップS31でNO)、ステップS31に
戻る。即ち、ここでの処理は、マウス102aの動きを
監視するループを形成している。一方、動いている場合
(ステップS31でYES)、ステップS32に進む。
First, in step S31, it is determined whether or not the mouse 102a has been moved by the user. If not moving (NO in step S31), the process returns to step S31. That is, the processing here forms a loop for monitoring the movement of the mouse 102a. On the other hand, if it is moving (YES in step S31), the process proceeds to step S32.

【0049】ステップS32で、マウス102aのマウ
スボタンが押下されているか否かを判定する。押下され
ていない場合(ステップS32でNO)、ステップS3
4に進み、現在のカーソル22の位置(x1,y1)を
(x0,y0)に代入して、ステップS31に戻る。こ
れにより、描画を行なわず、単にカーソル22を移動で
きる。
In step S32, it is determined whether or not the mouse button of the mouse 102a has been pressed. If not pressed (NO in step S32), step S3
The process proceeds to step S4, where the current position (x1, y1) of the cursor 22 is substituted for (x0, y0), and the process returns to step S31. Thereby, the cursor 22 can be simply moved without performing drawing.

【0050】一方、押下されている場合(ステップS3
2でYES)、すなわち、ドラッグ中であれば、ステッ
プS33に進む。ここで、直前のカーソル22の位置
(x0,y0)と、現在のカーソル22の位置(x1,
y1)の間に、色指定スクロールバー23により決まる
色で、直線を描画する。
On the other hand, when the button is pressed (step S3
If YES in step 2), that is, if dragging is in progress, the process proceeds to step S33. Here, the position (x0, y0) of the previous cursor 22 and the current position (x1,
During y1), a straight line is drawn with the color determined by the color designation scroll bar 23.

【0051】続く、ステップS35で、現在のカーソル
22の位置(x1,y1)を(x0,y0)に代入し
て、ステップS171を終了し、ステップS172に進
む。
In the following step S35, the current position (x1, y1) of the cursor 22 is substituted for (x0, y0), and the step S171 ends, and the flow advances to the step S172.

【0052】この処理は、ユーザから見ると、イラスト
に少し描画(ストローク)を加えるたびに、検索が自動
的に実行されるようにみえる。 『ステップS172の説明』ステップS172では、ス
テップS171で描画されたイラストの画像特徴量を計
算する。
From the user's point of view, it seems that the search is automatically executed every time a little drawing (stroke) is added to the illustration. [Description of Step S172] In step S172, the image feature amount of the illustration drawn in step S171 is calculated.

【0053】図5に示すように、本実施形態のユーザ描
画領域21の大きさは水平方向にW画素、垂直方向にH
画素で構成される。これを、水平方向に3分割、垂直方
向に2分割、計6分割し、左上から順に領域(0,
0)、領域(1,0)、・・・、領域(2,1)とす
る。これら各領域のR、G、B値の平均値を算出し、計
18個の数値をもって、描画されたイラストの画像特徴
量とする。
As shown in FIG. 5, the size of the user drawing area 21 of this embodiment is W pixels in the horizontal direction and H in the vertical direction.
It is composed of pixels. This is divided into three parts in the horizontal direction and two parts in the vertical direction, for a total of six parts, and the regions (0,
0), region (1, 0),..., Region (2, 1). The average value of the R, G, and B values of each of these areas is calculated, and a total of 18 numerical values are used as the image feature amount of the drawn illustration.

【0054】ここで、画像特徴量の計算処理について、
図6を用いて説明する。
Here, regarding the calculation processing of the image feature amount,
This will be described with reference to FIG.

【0055】図6は本発明の実施形態の画像特徴量の計
算処理を示すフローチャートである。
FIG. 6 is a flowchart showing the calculation process of the image feature amount according to the embodiment of the present invention.

【0056】まず、ステップS51で、変数kを値0で
初期化する。ステップS52で、変数jを値0で初期化
する。ステップS53で、変数iを値0で初期化する。
ステップS54で、配列dのk番目の要素d(k)に、
領域(i,j)のR値の平均値を代入する。また、d
(k+1)にG値の平均値、d(k+2)にB値の平均
値を代入する。尚、R、G、B値の平均値の算出方法の
詳細については、図7のフローチャートを用いて後述す
る。
First, in step S51, a variable k is initialized with a value 0. In step S52, a variable j is initialized with a value 0. In step S53, a variable i is initialized with a value of 0.
In step S54, the k-th element d (k) of the array d is
The average value of the R values in the area (i, j) is substituted. Also, d
The average value of the G value is substituted for (k + 1), and the average value of the B value is substituted for d (k + 2). The details of the method of calculating the average of the R, G, and B values will be described later with reference to the flowchart of FIG.

【0057】ステップS55で、変数kを値3だけ増加
させる。ステップS56で、変数iを値1だけ増加させ
る。ステップS57で、変数iを値2と比較する。変数
iが2より大きい場合(ステップS57でYES)、ス
テップS58へ進む。一方、2以下である場合(ステッ
プS57でNO)、ステップS54へ戻る。
In step S55, the variable k is increased by the value 3. In step S56, the variable i is increased by the value 1. In step S57, the variable i is compared with the value 2. If the variable i is larger than 2 (YES in step S57), the process proceeds to step S58. On the other hand, if it is 2 or less (NO in step S57), the process returns to step S54.

【0058】ステップS58で、変数jを値1だけ増加
させる。ステップS59で、変数jを値1と比較する。
1より大きい場合(ステップS59でYES)、処理を
終了する。一方、1以下である場合(ステップS59で
NO)、ステップS53へ戻る。
In step S58, the variable j is increased by the value 1. In step S59, the variable j is compared with the value 1.
If it is larger than 1 (YES in step S59), the process ends. On the other hand, if it is 1 or less (NO in step S59), the process returns to step S53.

【0059】上記処理を完了すると、18個の要素をも
つ配列d()に、描画されたイラストの画像特徴量が格
納される。尚、ここでは、画像特徴量を計算するため
に、描画されたイラスト(画像)を6個の等面積の矩形
領域に分割しているが、分割は矩形領域に限らずより複
雑な形状の領域でもよいし、分割数を増減しても良い。
分割数を増減したときは、画像特徴量の要素数は18個
でなく、それに応じて増減する。
When the above processing is completed, the image feature amount of the drawn illustration is stored in the array d () having 18 elements. Here, in order to calculate the image feature amount, the drawn illustration (image) is divided into six rectangular areas having the same area. However, the division is not limited to the rectangular area but may be performed in a more complicated area. Alternatively, the number of divisions may be increased or decreased.
When the number of divisions is increased or decreased, the number of elements of the image feature amount is not 18 but increases or decreases accordingly.

【0060】次に、図6のステップS54におけるR、
G、B値の平均値の算出方法の詳細について、図7を用
いて説明する。
Next, in step S54 of FIG.
Details of the method of calculating the average value of the G and B values will be described with reference to FIG.

【0061】図7は本発明の実施形態のR、G、B値の
平均値の算出方法の詳細を示すフローチャートである。
FIG. 7 is a flowchart showing the details of the method of calculating the average of the R, G, and B values according to the embodiment of the present invention.

【0062】尚、描画されたイラストの画像データは、
R(X,Y)、G(X,Y)、B(X,Y)の3つの配
列に格納されているものとする。但し、0≦X<W、0
≦Y<Hであり、画像の左上隅を起点(0,0)とす
る。また、以下のフローでは、X0≦X<X1、Y0≦Y
<Y1の領域のR、G、B値の平均値を算出し、変数D
R、DG、DBにそれぞれR、G、B値の平均値を返
す。更に、ステップS1002において、領域(i,
j)に相当する領域は、 X0=W*i/3 X1=W*(i+1)/3 Y0=H*j/2 Y1=H*(j+1)/2 に対応するので、定数X0、X1、Y0、Y1を上記のよう
に初期化してからフローチャートを実行する。
The image data of the drawn illustration is
It is assumed that they are stored in three arrays of R (X, Y), G (X, Y), and B (X, Y). Where 0 ≦ X <W, 0
.Ltoreq.Y <H, and the upper left corner of the image is defined as a starting point (0, 0). In the following flow, X0 ≦ X <X1, Y0 ≦ Y
<Calculate the average of the R, G, and B values in the area of Y1, and calculate the variable D
The average value of the R, G, and B values is returned to R, DG, and DB, respectively. Further, in step S1002, the area (i,
Since the area corresponding to j) corresponds to X0 = W * i / 3 X1 = W * (i + 1) / 3 Y0 = H * j / 2 Y1 = H * (j + 1) / 2, the constants X0, X1, The flowchart is executed after initializing Y0 and Y1 as described above.

【0063】まず、ステップS61で、変数DR、D
G、DBを値0で初期化する。ステップS62で、変数
YをY0で初期化する。ステップS63で、変数XをX0
で初期化する。ステップS64で、変数DRにR(X,
Y)を加える。同様に、変数DGにG(X,Y)、変数
DBにB(X,Y)を加える。
First, in steps S61, the variables DR, D
G and DB are initialized with the value 0. In step S62, a variable Y is initialized to Y0. In step S63, the variable X is set to X0
Initialize with In step S64, R (X,
Y) is added. Similarly, G (X, Y) is added to the variable DG, and B (X, Y) is added to the variable DB.

【0064】ステップS65で、変数Xを値1だけ増加
させる。ステップS66で、変数XとX1を比較する。
等しい場合(ステップS66でYES)、ステップS6
7に進む。一方、等しくない場合(ステップS66でN
O)、ステップS64へ戻る。
In step S65, the variable X is incremented by one. In step S66, the variables X and X1 are compared.
If equal (YES in step S66), step S6
Go to 7. On the other hand, if they are not equal (N in step S66)
O), and return to step S64.

【0065】ステップS67で、変数Yを値1だけ増加
させる。ステップS68で変数YとY1を比較する。等
しい場合(ステップS68でYES)、ステップS69
へ進む。一方、等しくない場合(ステップS68でN
O)、ステップS63へ戻る。ステップS69で、変数
DR、DG、DBをそれぞれ(X1-X0)*(Y1-Y0)
で除算する。これは、領域内の画素の数である。即ち、
変数DR、DG、DBは領域内の画素濃度の総和を画素
数で割った平均濃度となる。 『ステップS173の説明』ステップS173では、コ
ンピュータ間通信を行い、クライアントプロセスのステ
ップS172で計算した画像特徴量d()をサーバプロ
セスに送信する。この処理は、検索条件であるイラスト
そのものを送信するのではなく、その画像特徴量のみを
送信するので、ネットワーク12上を流れるデータ量を
著しく削減でき、ネットワーク12の負荷を抑えること
ができる。 『ステップS174の説明』ステップS174では、サ
ーバプロセスからのコンピュータ間通信があるか否かを
監視するループを形成している。サーバプロセスから検
索結果として後述する配列T()に対応する類似画像を
受信すると、ステップS175に進む。 『ステップS175の説明』図2の操作画面に従って、
処理内容を説明する。
In step S67, the variable Y is increased by the value 1. In step S68, the variables Y and Y1 are compared. If they are equal (YES in step S68), step S69
Proceed to. On the other hand, if they are not equal (N in step S68)
O), and return to step S63. In step S69, the variables DR, DG, and DB are respectively set to (X1-X0) * (Y1-Y0)
Divide by. This is the number of pixels in the area. That is,
The variables DR, DG, and DB are average densities obtained by dividing the sum of pixel densities in the area by the number of pixels. [Description of Step S173] In step S173, communication between computers is performed, and the image feature amount d () calculated in step S172 of the client process is transmitted to the server process. In this processing, not the illustration itself, which is the search condition, is transmitted, but only the image feature amount. Therefore, the amount of data flowing on the network 12 can be significantly reduced, and the load on the network 12 can be suppressed. "Explanation of Step S174" In step S174, a loop for monitoring whether or not there is communication between computers from the server process is formed. When a similar image corresponding to an array T () described later is received as a search result from the server process, the process proceeds to step S175. “Explanation of Step S175” According to the operation screen of FIG.
The processing will be described.

【0066】領域26a〜領域26hには、上記処理に
より検索された類似画像を縮小表示したアイコン画像が
表示される。領域26aには、もっとも類似度の高いT
(0)に対応する画像、領域26bにはT(1)に対応
する画像、・・・、と表示し、領域26hには、この中
で最も類似度の低い画像を表示する。
In the areas 26a to 26h, icon images obtained by reducing and displaying similar images searched by the above processing are displayed. In the area 26a, the highest similarity T
The image corresponding to (0), the image corresponding to T (1),... Are displayed in the area 26b, and the image having the lowest similarity is displayed in the area 26h.

【0067】アイコン画像に対応する画像データは、サ
ーバコンピュータ11のハードディスク装置106に記
憶されているので、必要に応じてサーバコンピュータ1
1とクライアントコンピュータとの間で画像データの送
信を行う。連続して検索を繰り返す時は、同一の画像デ
ータを何度も表示することになるので、必要に応じてク
ライアントコンピュータに画像データをキャッシュする
ようにしても良い。
Since the image data corresponding to the icon image is stored in the hard disk device 106 of the server computer 11, the server computer 1
1 and the client computer. When the search is repeated continuously, the same image data is displayed many times. Therefore, the image data may be cached in the client computer as needed.

【0068】尚、縮小表示は、サーバコンピュータ11
のハードディスク装置106に蓄積された画像データ
を、デコードし、画面上に縮小して表示しても良い。ま
た、標準的な画像フォーマットであるFlashPix
のように、アイコン用の低解像度のアイコンデータを持
っている場合は、そのアイコンデータを用いて表示して
も良い。
The reduced display is performed by the server computer 11.
The image data stored in the hard disk device 106 may be decoded and reduced and displayed on a screen. Also, FlashPix which is a standard image format
In the case where there is low-resolution icon data for an icon as described above, the display may be performed using the icon data.

【0069】また、各アイコン画像は、ポインティング
デバイス102aを用いて「選択」できるようにしてお
く。次候補表示ボタン27を押すと、次候補、つまり、
T(8)〜T(15)に対応する画像データのアイコン
画像を、領域26a〜領域26hに表示する。これをT
(Mー1)に、達するまで繰り返すことができる。 『ステップS176の説明』ステップS176では、処
理終了ボタン28が押下されたか否かの判定を行い、押
下された場合は、処理を終了する。一方、押下されない
場合、ステップS171に戻り、ユーザはイラストの描
画を継続することができる。 『ステップS177の説明』ステップS177では、ク
ライアントプロセスから通信があるか否かを監視するル
ープを形成している。クライアントプロセスから画像特
徴量d()を受信すると、ステップS178に進む。 『ステップS178の説明』ステップS178では、受
信した画像特徴量に基づいて、類似画像検索を行なう。
Each icon image can be "selected" using the pointing device 102a. When the next candidate display button 27 is pressed, the next candidate, that is,
The icon images of the image data corresponding to T (8) to T (15) are displayed in the areas 26a to 26h. This is T
It can be repeated until (M-1) is reached. [Explanation of Step S176] In step S176, it is determined whether or not the processing end button 28 has been pressed. If the processing end button 28 has been pressed, the processing ends. On the other hand, if the button is not pressed, the process returns to step S171, and the user can continue drawing the illustration. [Explanation of Step S177] In step S177, a loop for monitoring whether or not there is communication from the client process is formed. Upon receiving the image feature value d () from the client process, the process proceeds to step S178. [Description of Step S178] In step S178, a similar image search is performed based on the received image feature amount.

【0070】ハードディスク装置106には、N枚の画
像データが蓄積されており、各々の画像特徴量が上述し
た処理によって事前に計算され格納されているとする。
画像データは、周知のJPEG、FlashPix等の
標準的なファイル形式で格納していもよいし、所謂RD
BMS(リレーショナルデータベースマネジメントシス
テム)の独自のファイル形式で格納してあってもよい。
画像特徴量は、N*18の大きさをもつ2次元配列D
(n,i)(但し、0≦n<N,0≦i<18)に格納
されているものとする。
It is assumed that N pieces of image data are stored in the hard disk device 106, and each image feature amount is calculated and stored in advance by the above-described processing.
The image data may be stored in a standard file format such as a well-known JPEG, FlashPix, etc.
It may be stored in a BMS (relational database management system) original file format.
The image feature amount is a two-dimensional array D having a size of N * 18.
(N, i) (where 0 ≦ n <N, 0 ≦ i <18).

【0071】このとき、描画されたイラスト(画像デー
タ)とハードディスク装置106に蓄積されている第n
番目の画像データとの画像間距離S(n)を以下の式で
定義する。
At this time, the drawn illustration (image data) and the n-th
The distance S (n) between the image and the second image data is defined by the following equation.

【0072】[0072]

【数1】 (Equation 1)

【0073】この画像間距離S(n)が小さいほど、画
像データの類似度は高いと判定する。
It is determined that the smaller the inter-image distance S (n), the higher the similarity of the image data.

【0074】まず、ハードディスク装置106に蓄積さ
れているN枚全ての画像データと、描画されたイラスト
(画像データ)の間の画像間距離S(n)(但し、0≦
n<N)を計算する。次に、画像間距離S(n)の小さ
いものから順にM個(0<M<N)を選び出すことで、
類似画像検索を行う。前半の画像間距離S(n)の計算
処理、後半のM個の画像データを選出する類似画像検索
処理について、それぞれ、図8、図9を用いて説明す
る。
First, a distance S (n) between images between all N image data stored in the hard disk device 106 and a drawn illustration (image data) (where 0 ≦
n <N). Next, by selecting M pieces (0 <M <N) in ascending order of the image-to-image distance S (n),
A similar image search is performed. The calculation process of the first-half inter-image distance S (n) and the similar image search process of selecting the second half M image data will be described with reference to FIGS. 8 and 9, respectively.

【0075】図8は本発明の実施形態の画像間距離S
(n)の計算処理を示すフローチャートである。
FIG. 8 shows an image distance S according to the embodiment of the present invention.
It is a flowchart which shows the calculation process of (n).

【0076】まず、ステップS71で、変数nを値0で
初期化する。ステップS72で、変数i、S(n)を値
0で初期化する。ステップS73で、D(n,i)とd
(i)の差分の二乗をS(n)に加算する。ステップS
74で、変数iを値1だけ増加させる。
First, in step S71, a variable n is initialized with a value of 0. In step S72, variables i and S (n) are initialized with a value of 0. In step S73, D (n, i) and d
The square of the difference of (i) is added to S (n). Step S
At 74, the variable i is increased by one.

【0077】ステップS75で、変数iと値18を比較
する。等しい場合(ステップS75でYES)、ステッ
プS76へ進む。一方、等しくない場合(ステップS7
5でNO)、ステップS73へ戻る。
In step S75, the variable i is compared with the value 18. If they are equal (YES in step S75), the flow advances to step S76. On the other hand, if they are not equal (step S7
(NO at 5), and returns to step S73.

【0078】ステップS76で、変数nを値1だけ増加
させる。ステップS77で、変数nとNを比較する。等
しい場合(ステップS77でYES)、処理を終了す
る。一方、等しくない場合(ステップS77でNO)、
ステップS72へ戻る。
In step S76, the variable n is incremented by one. In step S77, the variables n and N are compared. If they are equal (YES in step S77), the process ends. On the other hand, if they are not equal (NO in step S77),
It returns to step S72.

【0079】上記処理を完了すると、配列S(n)に、
描画されたイラスト(画像データ)と、ハードディスク
装置106に蓄積された全画像データとの間の画像間距
離S(n)が格納される。続いて、画像間距離S(n)
の小さなものから順にM個を選出し、その選出された画
像順に対応する番号を配列T()に格納する類似画像検
索処理の詳細について、図9を用いて説明する。
When the above processing is completed, the array S (n) is
The image distance S (n) between the drawn illustration (image data) and all the image data stored in the hard disk device 106 is stored. Subsequently, the image distance S (n)
The details of the similar image search process of selecting M images in order from the smallest image and storing the numbers corresponding to the selected images in the array T () will be described with reference to FIG. 9.

【0080】図9は本発明の実施形態の類似画像検索処
理の詳細を示すフローチャートである。
FIG. 9 is a flowchart showing details of the similar image search processing according to the embodiment of the present invention.

【0081】まず、ステップS81で、変数jを値0で
初期化する。ステップS82で、変数iを値0で初期化
する。ステップS83で、変数minを値0で、Lを十
分大きな値で初期化する。ステップS84で、S(i)
とLを比較する。S(i)がL未満である場合(ステッ
プS84でYES)、ステップS85へ進む。一方、L
以上である場合(ステップS84でNO)、ステップS
86へ進む。
First, in step S81, a variable j is initialized with a value of 0. In step S82, a variable i is initialized with a value of 0. In step S83, the variable min is initialized to a value of 0, and L is initialized to a sufficiently large value. In step S84, S (i)
And L. If S (i) is less than L (YES in step S84), the process proceeds to step S85. On the other hand, L
If this is the case (NO in step S84), step S
Proceed to 86.

【0082】ステップS85で、変数minに値iを代
入し、LにS(i)を代入する。ステップS86で、変
数iを値1だけ増加させる。ステップS87でiとNを
比較する。等しい場合(ステップS87でYES)、ス
テップS88へ進む。一方、等しくない場合(ステップ
S87でNO)、ステップS84へ戻る。
In step S85, the value i is substituted for the variable min, and S (i) is substituted for L. In step S86, the variable i is increased by the value 1. In step S87, i and N are compared. If they are equal (YES in step S87), the flow advances to step S88. On the other hand, if not equal (NO in step S87), the process returns to step S84.

【0083】ステップS88で、T(j)に値minを
代入する。ステップS89で、S(min)に十分大き
な値を代入する。ステップS810で、変数jを値1だ
け増加させる。ステップS811で変数jとMを比較す
る。等しい場合(ステップS811でYES)、処理を
終了する。一方、等しくない場合(ステップS811で
NO)、ステップS82へ戻る。
In step S88, the value min is substituted for T (j). In step S89, a sufficiently large value is substituted for S (min). In step S810, the variable j is increased by the value 1. In step S811, the variable j and M are compared. If they are equal (YES in step S811), the process ends. On the other hand, if they are not equal (NO in step S811), the process returns to step S82.

【0084】上記処理を完了すると、配列T(j)(但
し、0≦j<M)に、描画されたイラスト(画像デー
タ)との類似度の高いハードディスク装置106に蓄積
された画像データ順に画像番号が格納される。 『ステップS179の説明』ステップS179では、コ
ンピュータ間通信を行い、検索結果として配列T()に
対応する類似画像をクライアントプロセスに送信した
後、ステップS177に戻り、コンピュータ間通信を待
機する。
When the above processing is completed, the image data is stored in the array T (j) (where 0 ≦ j <M) in the order of the image data stored in the hard disk device 106 having a high similarity to the drawn illustration (image data). The number is stored. [Description of Step S179] In step S179, communication between computers is performed, and a similar image corresponding to the array T () is transmitted to the client process as a search result. Then, the process returns to step S177 to wait for communication between computers.

【0085】尚、図3では、クライアントプロセスが1
つである場合を示しているが、複数のクライアント各々
でクライアントプロセスを実行可能なので、ステップS
179では、全てのクライアントコンピュータからの通
信要求を監視できる必要がある。そのため、サーバクラ
イアント11では、複数のサーバプロセスを並列に実行
し、同時に複数のクライアントコンピュータからの要求
に答えられるように構成される。
In FIG. 3, the client process is 1
However, since the client process can be executed by each of a plurality of clients, step S
In 179, it is necessary to be able to monitor communication requests from all client computers. Therefore, the server client 11 is configured to execute a plurality of server processes in parallel and simultaneously respond to requests from a plurality of client computers.

【0086】以上説明したように、本実施形態によれ
ば、システム内で管理される画像データベースに対し、
クライアント/サーバ型の類似画像検索システムを構築
することができる。このため、画像データベースを一元
管理することができる。また、類似画像検索処理を実行
するためのアルゴリズムの変更や不具合の修正は、サー
バコンピュータ11上で管理されるアルゴリズムのみを
修正すれば、システム全体にその修正内容を反映するこ
とができる。また、クライアントコンピュータ自身の性
能が低い場合でも、主要な処理はサーバコンピュータが
実行するので、高性能な類似画像検索システムを実現す
ることができる。また、クライアントコンピュータ側に
は、類似画像検索処理を実行するためのアルゴリズム自
体を解析することができないので、セキュリティ上安全
な類似画像検索システムを実現することができる。
As described above, according to the present embodiment, the image database managed in the system is
A client / server type similar image search system can be constructed. Therefore, the image database can be centrally managed. In addition, when the algorithm for executing the similar image search process is changed or the defect is corrected, only the algorithm managed on the server computer 11 is corrected, so that the contents of the correction can be reflected in the entire system. Further, even when the performance of the client computer itself is low, the main processing is executed by the server computer, so that a high-performance similar image search system can be realized. Further, since the client computer cannot analyze the algorithm itself for executing the similar image search process, it is possible to realize a similar image search system that is safe in terms of security.

【0087】また、現在実行させている類似画像検索処
理と並行して、ユーザが検索条件とするイラストを新た
に描画することができるので、類似画検索処理を効率的
に行うことができる。
Further, since the user can newly draw an illustration as a search condition in parallel with the similar image search process currently being executed, the similar image search process can be efficiently performed.

【0088】上記実施形態では、クライアントコンピュ
ータ側が検索結果として表示するアイコン画像を、サー
バコンピュータ側に蓄積しているが、必要に応じてアイ
コン画像をクライアントコンピュータ側に持たせるよう
にしても良い。この場合、アイコン画像に対応する画像
データは、サーバコンピュータ側に蓄積しておき、必要
に応じてクライアントコンピュータ側にその画像データ
を送信する。つまり、クライアントコンピュータ側で
は、アイコン画像だけを蓄積しておけば良いので、例え
ば、アイコン画像を蓄積しておくための外部記憶装置の
記憶容量を節約することができる。この構成をとった場
合、サーバコンピュータ側における類似画像検索結果と
して、アイコン画像ではなくアイコン画像よりデータ量
の少ない画像IDにより検索された画像をクライアント
コンピュータに通知可能になる。この画像IDを用いて
クライアントコンピュータでは、対応するアイコン画像
を検索表示できる。この場合、検索結果の通知の高速化
が可能となり、クライアントコンピュータにおいて検索
済画像の一層の高速表示が可能となる。また、アイコン
画像を蓄積する外部記憶装置として、例えば、CDーR
OM等のリムーバルメディアを利用すれば、類似画像検
索を実行するときだけ、そのリムーバルメディアをクラ
イアントコンピュータに搭載させればよいので、クライ
アントコンピュータで用いられる外部記憶装置の記憶容
量を節約することができる。
In the above embodiment, the icon images displayed by the client computer as search results are stored in the server computer. However, the icon images may be stored in the client computer as needed. In this case, the image data corresponding to the icon image is stored in the server computer, and the image data is transmitted to the client computer as needed. That is, on the client computer side, only the icon images need to be stored, so that, for example, the storage capacity of the external storage device for storing the icon images can be saved. With this configuration, it is possible to notify the client computer of an image searched by an image ID having a smaller data amount than the icon image instead of the icon image as a similar image search result on the server computer side. Using this image ID, the client computer can search and display the corresponding icon image. In this case, the notification of the search result can be performed at a higher speed, and the client computer can display the searched image at a higher speed. As an external storage device for storing icon images, for example, a CD-R
If a removable medium such as an OM is used, the removable medium may be mounted on the client computer only when a similar image search is performed, so that the storage capacity of an external storage device used in the client computer can be saved. .

【0089】また、ポインティングデバイス102aと
してマウスを用いるようにしているがこれに限らず、例
えば、ペンによる入力ができるペンタブレットを用いれ
ば、操作者によるイラストの描画がより効率良く行なえ
る。また、表示部103と一体になって、ユーザが画面
表示を見ながら画面に直接イラストを描画できるように
したタッチスクリーンを用いれば、さらに直感的な描画
が行なえる。その他、コンピュータシステムに情報入力
を行なえるものであれば、どのようなポインティングデ
バイスを用いてもよい。
Further, a mouse is used as the pointing device 102a. However, the present invention is not limited to this. For example, if a pen tablet that allows input with a pen is used, an operator can more efficiently draw an illustration. Further, if a touch screen integrated with the display unit 103 so that a user can draw an illustration directly on the screen while watching the screen display is used, more intuitive drawing can be performed. In addition, any pointing device that can input information to the computer system may be used.

【0090】また、ステップS175では、類似画像検
索処理の処理結果である画像データに対応する縮小画像
を二次元的に並べて表示する構成としたが、横一直線
(一次元)に並べるようにしても良いし、奥行き方向の
情報を加味した、三次元的な表示を行なっても良い。例
えば、類似度の高いものは手前に(大きく)表示し、類
似度の低いものほど遠くに(小さく)表示するようにす
れば、より直感的にわかりやすい一覧表示を行なうこと
ができる。
In step S175, the reduced images corresponding to the image data as the processing result of the similar image search processing are arranged two-dimensionally and displayed. However, they may be arranged in a horizontal straight line (one-dimensional). Alternatively, a three-dimensional display may be performed in consideration of information in the depth direction. For example, a list with a higher similarity is displayed in front (larger), and a lower similarity is displayed in a distance (small), so that a more intuitive list display can be performed.

【0091】尚、本発明は、複数の機器(例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など)から構成されるシステムに適用しても、一つの機
器からなる装置(例えば、複写機、ファクシミリ装置な
ど)に適用してもよい。
The present invention can be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), but can be applied to a single device (for example, a copying machine, a facsimile machine). Etc.).

【0092】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
Further, an object of the present invention is to provide a storage medium storing a program code of software for realizing the functions of the above-described embodiments to a system or an apparatus, and a computer (or CPU) of the system or apparatus.
And MPU) read and execute the program code stored in the storage medium.

【0093】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
In this case, the program code itself read from the storage medium implements the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.

【0094】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD−ROM、CD
−R、磁気テープ、不揮発性のメモリカード、ROMな
どを用いることができる。
Examples of a storage medium for supplying the program code include a floppy disk, hard disk, optical disk, magneto-optical disk, CD-ROM, and CD.
-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

【0095】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
When the computer executes the readout program code, not only the functions of the above-described embodiment are realized, but also the OS (Operating System) running on the computer based on the instruction of the program code. ) May perform some or all of the actual processing, and the processing may realize the functions of the above-described embodiments.

【0096】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
CPUなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。
Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, based on the instruction of the program code, It goes without saying that the CPU included in the function expansion board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.

【0097】[0097]

【発明の効果】以上説明したように、本発明によれば、
複数のユーザによって使用される環境において、ユーザ
が使用する画像データベースを一元管理でき、効率のよ
く安全に類似画像検索を実行することができる画像検索
システム及びその制御方法、画像検索装置及びその制御
方法、コンピュータ可読メモリを提供できる。
As described above, according to the present invention,
In an environment used by a plurality of users, an image database used by the users can be centrally managed, and an image search system, a control method thereof, an image search apparatus and a control method thereof capable of executing a similar image search efficiently and safely , A computer readable memory can be provided.

【0098】[0098]

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施形態の画像検索システムの構成を
示すブロック図である。
FIG. 1 is a block diagram illustrating a configuration of an image search system according to an embodiment of the present invention.

【図2】本発明の実施形態の検索処理の実行時にクライ
アントコンピュータの表示部に表示される操作画面を示
す図である。
FIG. 2 is a diagram illustrating an operation screen displayed on a display unit of a client computer when a search process according to the embodiment of the present invention is executed.

【図3】本発明の実施形態の画像検索装置で実行される
処理の概要を示すフローチャートである。
FIG. 3 is a flowchart illustrating an outline of a process executed by the image search device according to the embodiment of the present invention.

【図4】本発明の実施形態のステップS171で実行さ
れる処理の詳細を示すフローチャートである。
FIG. 4 is a flowchart showing details of processing executed in step S171 according to the embodiment of the present invention.

【図5】本発明の実施形態の画像特徴量を抽出するため
の画像の分割を説明するための図である。
FIG. 5 is a diagram for explaining division of an image for extracting an image feature amount according to the embodiment of the present invention.

【図6】本発明の実施形態の画像特徴量の計算処理を示
すフローチャートである。
FIG. 6 is a flowchart illustrating calculation processing of an image feature amount according to the embodiment of this invention.

【図7】本発明の実施形態のR、G、B値の平均値の算
出方法の詳細を示すフローチャートである。
FIG. 7 is a flowchart illustrating details of a method for calculating average values of R, G, and B values according to the embodiment of the present invention.

【図8】本発明の実施形態の画像間距離S(n)の計算
処理を示すフローチャートである。
FIG. 8 is a flowchart illustrating a calculation process of an inter-image distance S (n) according to the embodiment of the present invention.

【図9】本発明の実施形態の類似画像検索処理の詳細を
示すフローチャートである。
FIG. 9 is a flowchart illustrating details of a similar image search process according to the embodiment of this invention.

【符号の説明】[Explanation of symbols]

101 CPU 102 キーボード 102a ポインティングデバイス 103 表示部 104 ROM 105 RAM 106 ハードディスク装置 107 フロッピーディスク装置 108 プリンタ 109 ネットワーク接続装置 1a〜1d クライアントコンピュータ 11 サーバコンピュータ 12 ネットワーク Reference Signs List 101 CPU 102 Keyboard 102a Pointing device 103 Display unit 104 ROM 105 RAM 106 Hard disk device 107 Floppy disk device 108 Printer 109 Network connection device 1a to 1d Client computer 11 Server computer 12 Network

フロントページの続き (72)発明者 松本 健太郎 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 Fターム(参考) 5B050 CA07 CA08 DA09 EA18 FA02 FA12 FA14 GA08 5B075 KK34 KK40 ND08 NK07 PP03 PP12 PP30 PQ02 PQ46 UU40Continued on the front page (72) Inventor Kentaro Matsumoto 3-30-2 Shimomaruko, Ota-ku, Tokyo F-term in Canon Inc. (reference) 5B050 CA07 CA08 DA09 EA18 FA02 FA12 FA14 GA08 5B075 KK34 KK40 ND08 NK07 PP03 PP12 PP30 PQ02 PQ46 UU40

Claims (37)

【特許請求の範囲】[Claims] 【請求項1】 ネットワークを介して相互に接続された
クライアントコンピュータとサーバコンピュータ間で、
複数の画像データを蓄積した画像データベースから所望
の画像データを検索する画像検索システムであって、 前記クライアントコンピュータは、 ユーザが描画する画像を検索条件として入力する入力手
段と、 前記入力手段で入力された画像の画像特徴量を計算する
画像特徴量計算手段と、 前記画像特徴量計算手段で計算された画像特徴量を前記
サーバコンピュータへ送信する第1送信手段と、 前記サーバコンピュータより検索結果を受信する第1受
信手段とを備え、 前記サーバコンピュータは、 前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて記憶する記憶手段と、 前記クライアントコンピュータより前記画像特徴量計算
手段で計算された画像特徴量を受信する第2受信手段と
前記第2受信手段で受信した画像特徴量と、前記記憶手
段に記憶された画像データの画像特徴量に基づいて、画
像類似度を計算する画像類似度計算手段と前記画像類似
度計算手段で計算された画像類似度に基づいて、画像デ
ータを検索する検索手段と、 前記検索手段による検索結果を前記クライアントコンピ
ュータへ送信する第2送信手段とを備えることを特徴と
する画像検索システム。
1. A method according to claim 1, wherein the client computer and the server computer are interconnected via a network.
An image retrieval system for retrieving desired image data from an image database storing a plurality of image data, wherein the client computer comprises: an input unit for inputting an image to be drawn by a user as a search condition; Image feature value calculating means for calculating the image feature value of the image obtained; first transmitting means for transmitting the image feature value calculated by the image feature value calculating means to the server computer; receiving a search result from the server computer A server for storing the plurality of pieces of image data and an image feature amount of each of the plurality of pieces of image data in association with each other; A second receiving means for receiving the image feature amount calculated in Image similarity calculating means for calculating an image similarity based on the calculated image feature quantity and the image feature quantity of the image data stored in the storage means, and an image similarity calculated by the image similarity calculating means. An image search system, comprising: a search unit that searches for image data; and a second transmission unit that transmits a search result obtained by the search unit to the client computer.
【請求項2】 前記第2送信手段は、前記検索手段によ
る検索結果を前記クライアントコンピュータへ送信し、
必要に応じて該検索結果に対応する画像データを送信す
ることを特徴とする請求項1に記載の画像検索システ
ム。
2. The method according to claim 1, wherein the second transmitting unit transmits a search result by the searching unit to the client computer,
2. The image search system according to claim 1, wherein image data corresponding to the search result is transmitted as needed.
【請求項3】 前記クライアントコンピュータもしくは
前記サーバコンピュータは、前記複数の画像データに対
応するアイコン画像を記憶することを特徴とする請求項
1に記載の画像検索システム。
3. The image retrieval system according to claim 1, wherein the client computer or the server computer stores an icon image corresponding to the plurality of image data.
【請求項4】 前記クライアントコンピュータは、前記
第1受信手段で受信した検索結果とする画像データを表
示する画像表示手段とを更に備えることを特徴とする請
求項1に記載の画像検索システム。
4. The image search system according to claim 1, wherein the client computer further comprises an image display unit that displays image data as a search result received by the first reception unit.
【請求項5】 前記画像表示手段において、一度表示に
用いた画像データを前記クライアントコンピュータ内で
キャッシュすることを特徴とする請求項4に記載の画像
検索システム。
5. The image retrieval system according to claim 4, wherein said image display means caches image data used for display once in said client computer.
【請求項6】 前記入力手段と前記画像表示手段を前記
クライアントコンピュータの表示部の同一画面上に表示
制御する表示制御手段とを更に備えることを特徴とする
請求項1に記載の画像検索システム。
6. The image search system according to claim 1, further comprising display control means for controlling display of said input means and said image display means on the same screen of a display unit of said client computer.
【請求項7】 ネットワークを介して相互に接続された
クライアントコンピュータとサーバコンピュータ間で、
複数の画像データを蓄積した画像データベースから所望
の画像データを検索する画像検索システムの制御方法で
あって、 前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて前記サーバコンピュータで
管理する管理工程と、 ユーザが描画する画像を検索条件として入力する入力工
程と、 前記入力工程で入力された画像の画像特徴量を計算する
画像特徴量計算工程と、 前記画像特徴量計算工程で計算された画像特徴量と、前
記管理工程で前記サーバコンピュータで管理されている
画像データの画像特徴量に基づいて、画像類似度を計算
する画像類似度計算工程と前記画像類似度計算工程で計
算された画像類似度に基づいて、検索結果を前記クライ
アントコンピュータに送信する送信工程とを備えること
を特徴とする画像検索システムの制御方法。
7. A client computer and a server computer mutually connected via a network,
A control method of an image search system for searching for desired image data from an image database storing a plurality of image data, wherein the server computer associates each of the plurality of image data with an image feature amount of each image data. An input step of inputting an image to be drawn by the user as a search condition; an image characteristic amount calculating step of calculating an image characteristic amount of the image input in the input step; and the image characteristic amount calculating step. In the image similarity calculation step of calculating the image similarity based on the image feature amount calculated in the above and the image feature amount of the image data managed by the server computer in the management step, and the image similarity calculation step Transmitting a search result to the client computer based on the calculated image similarity. Control method of an image search system.
【請求項8】 前記サーバコンピュータは、前記検索結
果を前記クライアントコンピュータへ送信し、必要に応
じて該検索結果に対応する画像データを送信することを
特徴とする請求項7に記載の画像検索システムの制御方
法。
8. The image search system according to claim 7, wherein the server computer transmits the search result to the client computer, and transmits image data corresponding to the search result as needed. Control method.
【請求項9】 前記クライアントコンピュータもしくは
サーバコンピュータは、前記複数の画像データに対応す
るアイコン画像を記憶することを特徴とする請求項7に
記載の画像検索システムの制御方法。
9. The method according to claim 7, wherein the client computer or the server computer stores an icon image corresponding to the plurality of image data.
【請求項10】 前記送信工程で送信された検索結果と
する画像データの一覧を表示する画像表示工程とを更に
備えることを特徴とする請求項7に記載の画像検索シス
テムの制御方法。
10. The control method according to claim 7, further comprising an image display step of displaying a list of image data as search results transmitted in the transmission step.
【請求項11】 前記画像表示工程において、一度表示
に用いた画像データを前記クライアントコンピュータ内
でキャッシュすることを特徴とする請求項7に記載の画
像検索システムの制御方法。
11. The control method according to claim 7, wherein in the image display step, image data once used for display is cached in the client computer.
【請求項12】 前記入力工程が表示する入力画面と前
記画像表示工程が表示する画像表示画面を前記クライア
ントコンピュータの表示部の同一画面上に表示制御する
表示制御工程とを更に備えることを特徴とする請求項6
に記載の画像検索システムの制御方法。
12. The method according to claim 1, further comprising a display control step of controlling display of the input screen displayed by the input step and an image display screen displayed by the image display step on the same screen of a display unit of the client computer. Claim 6
3. The control method of the image search system according to 1.
【請求項13】 外部装置とネットワークを介して接続
され、複数の画像データを蓄積した画像データベースか
ら所望の画像データを検索する画像検索装置であって、 前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて前記外部装置で管理する管
理手段と、 ユーザが描画する画像を検索条件として入力する入力手
段と、 前記入力手段で入力された画像の画像特徴量を計算する
画像特徴量計算手段と、 前記画像特徴量計算手段で計算された画像特徴量を前記
外部装置へ送信する送信手段と、 前記外部装置より検索結果を受信する受信手段とを備え
ることを特徴とする画像検索装置。
13. An image search device connected to an external device via a network and searching for desired image data from an image database storing a plurality of image data, wherein each of the plurality of image data and each image Management means for associating image feature amounts of data with the external device, input means for inputting an image to be drawn by a user as search conditions, and image for calculating image feature amounts of the image input by the input means An image, comprising: a feature amount calculating unit; a transmitting unit configured to transmit the image feature amount calculated by the image feature amount calculating unit to the external device; and a receiving unit configured to receive a search result from the external device. Search device.
【請求項14】 前記外部装置は、 当該画像検索装置より受信した前記画像特徴量計算手段
で計算された画像特徴量と、前記管理手段で前記外部装
置に管理された画像データの画像特徴量に基づいて、画
像類似度を計算する画像類似度計算手段と前記画像類似
度計算手段で計算された画像類似度に基づいて、画像デ
ータを検索して当該画像検索装置へ送信する検索手段と
を備えることを特徴とする請求項13に記載の画像検索
装置。
14. The image processing apparatus according to claim 1, wherein the external device calculates an image feature amount received by the image search device and calculated by the image feature amount calculation unit and an image feature amount of image data managed by the external device by the management unit. Image similarity calculating means for calculating image similarity based on the image similarity calculated by the image similarity calculating means, and searching means for searching for image data and transmitting the image data to the image searching apparatus. The image search device according to claim 13, wherein:
【請求項15】 前記外部装置より、前記検索手段によ
る検索結果を受信し、必要に応じて該検索結果に対応す
る画像データを受信することを特徴とする請求項13に
記載の画像検索装置。
15. The image search device according to claim 13, wherein a search result by the search unit is received from the external device, and image data corresponding to the search result is received as necessary.
【請求項16】 前記複数の画像データに対応するアイ
コン画像を記憶することを特徴とする請求項13に記載
の画像検索装置。
16. The apparatus according to claim 13, wherein an icon image corresponding to the plurality of image data is stored.
【請求項17】 前記受信手段で受信した検索結果とす
る画像データの一覧を表示する画像表示手段とを更に備
えることを特徴とする請求項13に記載の画像検索装
置。
17. The image search apparatus according to claim 13, further comprising: an image display unit that displays a list of image data as search results received by said reception unit.
【請求項18】 前記画像表示手段において、一度表示
に用いた画像データをキャッシュすることを特徴とする
請求項17に記載の画像検索装置。
18. The apparatus according to claim 17, wherein said image display means caches image data once used for display.
【請求項19】 前記入力手段と前記画像表示手段を表
示部の同一画面上に表示制御する表示制御手段とを更に
備えることを特徴とする請求項11に記載の画像検索装
置。
19. The image retrieval apparatus according to claim 11, further comprising display control means for controlling display of said input means and said image display means on the same screen of a display unit.
【請求項20】 外部装置とネットワークを介して接続
され、複数の画像データを蓄積した画像データベースか
ら所望の画像データを検索する画像検索装置であって、 前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて記憶する記憶手段と、 前記外部装置より、検索条件として入力されたユーザが
描画した画像の画像特徴量を受信する受信手段と、 前記受信手段で受信した画像特徴量と、前記記憶手段に
記憶された画像データの画像特徴量に基づいて、画像類
似度を計算する画像類似度計算手段と前記画像類似度計
算手段で計算された画像類似度に基づいて、画像データ
を検索する検索手段と、 前記検索手段による検索結果を前記外部装置へ送信する
送信手段とを備えることを特徴とする画像検索装置。
20. An image search device connected to an external device via a network and searching for desired image data from an image database storing a plurality of image data, wherein each of the plurality of image data and each image Storage means for storing image feature values of data in association with each other; receiving means for receiving, from the external device, image feature quantities of images drawn by a user input as search conditions; image features received by the receiving means Image similarity calculating means for calculating an image similarity based on the amount and the image feature amount of the image data stored in the storage means, and an image similarity calculated by the image similarity calculating means. An image search apparatus comprising: a search unit that searches for data; and a transmission unit that transmits a search result obtained by the search unit to the external device.
【請求項21】 前記外部装置は、 ユーザが描画する画像を検索条件として入力する入力手
段と、 前記入力手段で入力された画像の画像特徴量を計算し
て、当該画像検索装置へ送信する画像特徴量計算手段
と、 当該画像検索装置より検索結果を受信する受信手段とを
備えることを特徴とする請求項20に記載の画像検索装
置。
21. An external device, comprising: input means for inputting an image to be drawn by a user as a search condition; calculating an image feature amount of the image input by the input means; and transmitting the image to the image search device. 21. The image search device according to claim 20, further comprising: a feature amount calculation unit; and a reception unit that receives a search result from the image search device.
【請求項22】 前記外部装置は前記受信手段で受信し
た検索結果とする画像データの一覧を表示する画像表示
手段とを更に備えることを特徴とする請求項21に記載
の画像検索装置。
22. The image search device according to claim 21, wherein said external device further comprises an image display means for displaying a list of image data as search results received by said reception means.
【請求項23】 前記検索手段による検索結果を前記外
部装置へ送信し、必要に応じて該検索結果に対応する画
像データを送信することを特徴とする請求項20に記載
の画像検索装置。
23. The image search device according to claim 20, wherein a search result by the search means is transmitted to the external device, and image data corresponding to the search result is transmitted as necessary.
【請求項24】 外部装置とネットワークを介して接続
され、複数の画像データを蓄積した画像データベースか
ら所望の画像データを検索する画像検索装置の制御方法
であって、 前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて前記外部装置で管理する管
理工程と、 ユーザが描画する画像を検索条件として入力する入力工
程と、 前記入力工程で入力された画像の画像特徴量を計算する
画像特徴量計算工程と、 前記画像特徴量計算工程で計算された画像特徴量を前記
外部装置へ送信する送信工程と、 前記外部装置より検索結果を受信する受信工程とを備え
ることを特徴とする画像検索装置の制御方法。
24. A control method of an image search device connected to an external device via a network and searching for desired image data from an image database storing a plurality of image data, wherein: A management step of managing the image data of each image data in association with the external device, an input step of inputting an image to be drawn by the user as a search condition, and an image data of the image input in the input step. An image feature amount calculating step of calculating; a transmitting step of transmitting the image feature amount calculated in the image feature amount calculating step to the external device; and a receiving step of receiving a search result from the external device. A control method of the image search device.
【請求項25】 前記外部装置は、 前記画像検索装置より受信した前記画像特徴量計算工程
で計算された画像特徴量と、前記管理工程で前記外部装
置に管理されている画像データの画像特徴量に基づい
て、画像類似度を計算する画像類似度計算工程と前記画
像類似度計算工程で計算された画像類似度に基づいて、
画像データを検索して前記画像検索装置へ送信する検索
工程とを備えることを特徴とする請求項24に記載の画
像検索装置の制御方法。
25. The external device, comprising: an image feature amount received from the image search device, calculated in the image feature amount calculation step; and an image feature amount of image data managed by the external device in the management step. Based on, based on the image similarity calculated in the image similarity calculating step of calculating the image similarity and the image similarity calculated in the image similarity calculating step,
The method according to claim 24, further comprising: a search step of searching for image data and transmitting the image data to the image search device.
【請求項26】 前記外部装置より、前記検索工程によ
る検索結果を受信し、必要に応じて該検索結果に対応す
る画像データを受信することを特徴とする請求項24に
記載の画像検索装置の制御方法。
26. The image search device according to claim 24, wherein the search result in the search step is received from the external device, and image data corresponding to the search result is received as necessary. Control method.
【請求項27】 前記複数の画像データに対応するアイ
コン画像を記憶媒体に記憶することを特徴とする請求項
24に記載の画像検索装置の制御方法。
27. The method according to claim 24, wherein an icon image corresponding to the plurality of image data is stored in a storage medium.
【請求項28】 前記受信工程で受信した検索結果とす
る画像データの一覧を表示する画像表示工程とを更に備
えることを特徴とする請求項24に記載の画像検索装置
の制御方法。
28. The control method according to claim 24, further comprising an image display step of displaying a list of image data as search results received in the receiving step.
【請求項29】 前記画像表示工程において、一度表示
に用いた画像データを記憶媒体にキャッシュすることを
特徴とする請求項28に記載の画像検索装置の制御方
法。
29. The method according to claim 28, wherein in the image display step, the image data once used for display is cached in a storage medium.
【請求項30】 前記入力工程が表示する入力画面と前
記画像表示工程が表示する画像表示画面を表示部の同一
画面上に表示制御する表示制御工程とを更に備えること
を特徴とする請求項28に記載の画像検索装置の制御方
法。
30. The apparatus according to claim 28, further comprising a display control step of controlling display of an input screen displayed by said input step and an image display screen displayed by said image display step on the same screen of a display unit. 3. The method for controlling an image search device according to claim 1.
【請求項31】 外部装置とネットワークを介して接続
され、複数の画像データを蓄積した画像データベースか
ら所望の画像データを検索する画像検索装置の制御方法
であって、 前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて記憶媒体に記憶する記憶工
程と、 前記外部装置より、検索条件として入力されたユーザが
描画した画像の画像特徴量を受信する受信工程と、 前記受信工程で受信した画像特徴量と、前記記憶工程で
記憶媒体に記憶された画像データの画像特徴量に基づい
て、画像類似度を計算する画像類似度計算工程と前記画
像類似度計算工程で計算された画像類似度に基づいて、
画像データを検索する検索工程と、 前記検索工程による検索結果を前記外部装置へ送信する
送信工程とを備えることを特徴とする画像検索装置の制
御方法。
31. A method for controlling an image search device connected to an external device via a network and searching for desired image data from an image database storing a plurality of image data, the image search device comprising: A storage step of storing image feature amounts of respective image data in a storage medium in association with each other; a receiving step of receiving, from the external device, an image feature amount of an image drawn by a user input as a search condition; The image similarity calculation step of calculating the image similarity based on the image feature amount received in the step and the image feature amount of the image data stored in the storage medium in the storage step and the image similarity calculation step. Based on the image similarity
A control method for an image search device, comprising: a search step of searching for image data; and a transmission step of transmitting a search result of the search step to the external device.
【請求項32】 前記外部装置は、 ユーザが描画する画像を検索条件として入力する入力工
程と、 前記入力工程で入力された画像の画像特徴量を計算し
て、前記画像検索装置へ送信する画像特徴量計算工程
と、 前記画像検索装置より検索結果とする画像データを受信
する受信工程とを備えることを特徴とする請求項31に
記載の画像検索装置の制御方法。
32. The external device, comprising: an input step of inputting an image to be drawn by a user as a search condition; an image feature amount of the image input in the input step; and an image to be transmitted to the image search apparatus. The method according to claim 31, further comprising: a feature amount calculating step; and a receiving step of receiving image data as a search result from the image searching apparatus.
【請求項33】 前記外部装置は、 前記受信工程で受信した検索結果とする画像データの一
覧を表示する画像表示工程とを更に備えることを特徴と
する請求項32に記載の画像検索装置の制御方法。
33. The control of the image search device according to claim 32, wherein the external device further comprises: an image display step of displaying a list of image data as search results received in the reception step. Method.
【請求項34】 前記検索工程による検索結果を前記外
部装置へ送信し、必要に応じて該検索結果に対応する画
像データを送信することを特徴とする請求項31に記載
の画像検索装置の制御方法。
34. The control of the image search device according to claim 31, wherein a search result in the search step is transmitted to the external device, and image data corresponding to the search result is transmitted as needed. Method.
【請求項35】 ネットワークを介して相互に接続され
たクライアントコンピュータとサーバコンピュータ間
で、複数の画像データを蓄積した画像データベースから
所望の画像データを検索する画像検索システムの制御の
プログラムコードが格納されたコンピュータ可読メモリ
であって、 前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて前記サーバコンピュータで
管理する管理工程のプログラムコードと、 ユーザが描画する画像を検索条件として入力する入力工
程のプログラムコードと、 前記入力工程で入力された画像の画像特徴量を計算する
画像特徴量計算工程のプログラムコードと、 前記画像特徴量計算工程で計算された画像特徴量と、前
記管理工程で前記サーバコンピュータで管理された画像
データの画像特徴量に基づいて、画像類似度を計算する
画像類似度計算工程のプログラムコードと前記画像類似
度計算工程で計算された画像類似度に基づいて、検索結
果を前記クライアントコンピュータに送信する送信工程
のプログラムコードとを備えることを特徴とするコンピ
ュータ可読メモリ。
35. A program code for controlling an image retrieval system for retrieving desired image data from an image database storing a plurality of image data between a client computer and a server computer mutually connected via a network. A computer-readable memory, wherein the plurality of image data, a program code of a management process that is managed by the server computer in association with an image feature amount of each image data, and an image drawn by a user as a search condition A program code of an input step of inputting, a program code of an image feature amount calculating step of calculating an image feature amount of the image input in the input step, and an image feature amount calculated in the image feature amount calculating step; Image data managed by the server computer in the management process And transmitting a search result to the client computer based on a program code of an image similarity calculation step of calculating an image similarity based on the image feature amount of the image and the image similarity calculated in the image similarity calculation step. A computer readable memory comprising program code for a process.
【請求項36】 外部装置とネットワークを介して接続
され、複数の画像データを蓄積した画像データベースか
ら所望の画像データを検索する画像検索装置の制御制御
のプログラムコードが格納されたコンピュータ可読メモ
リであって、 前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて前記外部装置で管理する管
理工程のプログラムコードと、 ユーザが描画する画像を検索条件として入力する入力工
程のプログラムコードと、 前記入力工程で入力された画像の画像特徴量を計算する
画像特徴量計算工程のプログラムコードと、 前記画像特徴量計算工程で計算された画像特徴量を前記
外部装置へ送信する送信工程のプログラムコードと、 前記外部装置より検索結果を受信する受信工程のプログ
ラムコードとを備えることを特徴とするコンピュータ可
読メモリ。
36. A computer-readable memory which is connected to an external device via a network and stores a program code for control and control of an image search device for searching for desired image data from an image database storing a plurality of image data. A program code for a management process for managing the plurality of image data with the external device in association with the image feature amounts of the respective image data, and a program for an input process for inputting an image to be drawn by a user as a search condition Code, a program code of an image feature amount calculation step of calculating an image feature amount of the image input in the input step, and a transmission step of transmitting the image feature amount calculated in the image feature amount calculation step to the external device And a program code of a receiving step of receiving a search result from the external device A computer-readable memory, characterized in that it comprises.
【請求項37】 外部装置とネットワークを介して接続
され、複数の画像データを蓄積した画像データベースか
ら所望の画像データを検索する画像検索装置の制御のプ
ログラムコードが格納されたコンピュータ可読メモリで
あって、 前記複数の画像データそれぞれと、それぞれの画像デー
タの画像特徴量を対応付けて記憶媒体に記憶する記憶工
程のプログラムコードと、 前記外部装置より、検索条件として入力されたユーザが
描画した画像の画像特徴量を受信する受信工程のプログ
ラムコードと、 前記受信工程で受信した画像特徴量と、前記記憶工程で
記憶媒体に記憶された画像データの画像特徴量に基づい
て、画像類似度を計算する画像類似度計算工程のプログ
ラムコードと前記画像類似度計算工程で計算された画像
類似度に基づいて、画像データを検索する検索工程のプ
ログラムコードと、 前記検索工程による検索結果を前記外部装置へ送信する
送信工程のプログラムコードとを備えることを特徴とす
るコンピュータ可読メモリ。
37. A computer readable memory which is connected to an external device via a network and stores a program code for controlling an image search device for searching desired image data from an image database storing a plurality of image data. A program code of a storage step of storing each of the plurality of image data and an image feature amount of each of the image data in a storage medium in association with each other; and a user-drawn image input as a search condition from the external device. Calculating an image similarity based on a program code of a receiving step of receiving the image feature amount; an image feature amount received in the receiving step; and an image feature amount of image data stored in a storage medium in the storage step. Based on the program code of the image similarity calculation step and the image similarity calculated in the image similarity calculation step, an image A computer readable memory comprising: a program code of a search step for searching for image data; and a program code of a transmission step of transmitting a search result of the search step to the external device.
JP24458798A 1998-08-31 1998-08-31 Picture retrieval system, its control method, picture retrieval device, its control method and computer readable memory Withdrawn JP2000076270A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP24458798A JP2000076270A (en) 1998-08-31 1998-08-31 Picture retrieval system, its control method, picture retrieval device, its control method and computer readable memory
US09/384,968 US6704466B1 (en) 1998-08-31 1999-08-30 Image search system, image search apparatus, control method thereof, and computer readable memory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24458798A JP2000076270A (en) 1998-08-31 1998-08-31 Picture retrieval system, its control method, picture retrieval device, its control method and computer readable memory

Publications (1)

Publication Number Publication Date
JP2000076270A true JP2000076270A (en) 2000-03-14

Family

ID=17120949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24458798A Withdrawn JP2000076270A (en) 1998-08-31 1998-08-31 Picture retrieval system, its control method, picture retrieval device, its control method and computer readable memory

Country Status (1)

Country Link
JP (1) JP2000076270A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146382B2 (en) 2001-04-20 2006-12-05 Canon Kabushiki Kaisha Image processing apparatus and its method and server apparatus
JP2009251763A (en) * 2008-04-02 2009-10-29 Nec Corp Image retrieval system, image retrieval method, and program for image retrieval device
US8515682B2 (en) 2005-03-03 2013-08-20 Washington University Method and apparatus for performing similarity searching
US8549024B2 (en) 2000-04-07 2013-10-01 Ip Reservoir, Llc Method and apparatus for adjustable data matching
US8620881B2 (en) 2003-05-23 2013-12-31 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US8880501B2 (en) 2006-11-13 2014-11-04 Ip Reservoir, Llc Method and system for high performance integration, processing and searching of structured and unstructured data using coprocessors
US9323794B2 (en) 2006-11-13 2016-04-26 Ip Reservoir, Llc Method and system for high performance pattern indexing
US10572824B2 (en) 2003-05-23 2020-02-25 Ip Reservoir, Llc System and method for low latency multi-functional pipeline with correlation logic and selectively activated/deactivated pipelined data processing engines
US10846624B2 (en) 2016-12-22 2020-11-24 Ip Reservoir, Llc Method and apparatus for hardware-accelerated machine learning

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8549024B2 (en) 2000-04-07 2013-10-01 Ip Reservoir, Llc Method and apparatus for adjustable data matching
US9020928B2 (en) 2000-04-07 2015-04-28 Ip Reservoir, Llc Method and apparatus for processing streaming data using programmable logic
US7146382B2 (en) 2001-04-20 2006-12-05 Canon Kabushiki Kaisha Image processing apparatus and its method and server apparatus
US10719334B2 (en) 2003-05-23 2020-07-21 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US9898312B2 (en) 2003-05-23 2018-02-20 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US8751452B2 (en) 2003-05-23 2014-06-10 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US8768888B2 (en) 2003-05-23 2014-07-01 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US11275594B2 (en) 2003-05-23 2022-03-15 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US10572824B2 (en) 2003-05-23 2020-02-25 Ip Reservoir, Llc System and method for low latency multi-functional pipeline with correlation logic and selectively activated/deactivated pipelined data processing engines
US9176775B2 (en) 2003-05-23 2015-11-03 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US10346181B2 (en) 2003-05-23 2019-07-09 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US10929152B2 (en) 2003-05-23 2021-02-23 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US8620881B2 (en) 2003-05-23 2013-12-31 Ip Reservoir, Llc Intelligent data storage and processing using FPGA devices
US10580518B2 (en) 2005-03-03 2020-03-03 Washington University Method and apparatus for performing similarity searching
US9547680B2 (en) 2005-03-03 2017-01-17 Washington University Method and apparatus for performing similarity searching
US10957423B2 (en) 2005-03-03 2021-03-23 Washington University Method and apparatus for performing similarity searching
US8515682B2 (en) 2005-03-03 2013-08-20 Washington University Method and apparatus for performing similarity searching
US10191974B2 (en) 2006-11-13 2019-01-29 Ip Reservoir, Llc Method and system for high performance integration, processing and searching of structured and unstructured data
US9396222B2 (en) 2006-11-13 2016-07-19 Ip Reservoir, Llc Method and system for high performance integration, processing and searching of structured and unstructured data using coprocessors
US9323794B2 (en) 2006-11-13 2016-04-26 Ip Reservoir, Llc Method and system for high performance pattern indexing
US8880501B2 (en) 2006-11-13 2014-11-04 Ip Reservoir, Llc Method and system for high performance integration, processing and searching of structured and unstructured data using coprocessors
US11449538B2 (en) 2006-11-13 2022-09-20 Ip Reservoir, Llc Method and system for high performance integration, processing and searching of structured and unstructured data
JP2009251763A (en) * 2008-04-02 2009-10-29 Nec Corp Image retrieval system, image retrieval method, and program for image retrieval device
US10846624B2 (en) 2016-12-22 2020-11-24 Ip Reservoir, Llc Method and apparatus for hardware-accelerated machine learning
US11416778B2 (en) 2016-12-22 2022-08-16 Ip Reservoir, Llc Method and apparatus for hardware-accelerated machine learning

Similar Documents

Publication Publication Date Title
US7127127B2 (en) System and method for adaptive video fast forward using scene generative models
Aggarwal et al. An image retrieval system with automatic query modification
US7929808B2 (en) Systems and methods for generating digital images having image meta-data combined with the image data
US20050116966A1 (en) Web imaging serving technology
US6606623B1 (en) Method and apparatus for content-based image retrieval with learning function
US6704466B1 (en) Image search system, image search apparatus, control method thereof, and computer readable memory
US7003140B2 (en) System and method of searching for image data in a storage medium
JP2002288219A (en) Information search system and method
EP1143351A2 (en) Multimedia information structuring and application generating method and apparatus
US6718075B1 (en) Image search method and apparatus
US7146382B2 (en) Image processing apparatus and its method and server apparatus
JP2000311246A (en) Similar image display method and recording medium storing similar image display processing program
JP2000076270A (en) Picture retrieval system, its control method, picture retrieval device, its control method and computer readable memory
JPH11312248A (en) Image retrieval device and its method
JP2000148794A (en) Device and method for image retrieval and computer- readable memory
EP1074953A2 (en) Image retrieval apparatus and method
US20080111814A1 (en) Geometric tagging
JP2001282846A (en) Image retrieval method and device
JP2000076268A (en) Device and method for retrieving image, and computer readable memory
JP2001134765A (en) Method and device for retrieving image
JP2003091727A (en) Image processor, image processing method and program
JP2002133412A (en) Image region retrieving method, system, its program and computer-readable recording medium
JP2000132554A (en) Image retrieval device and method
JP2000076269A (en) Picture retrieval device/method and computer readable memory
JP2002304628A (en) System and method for information retrieval and storage medium

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20051101