JP2001052175A - Image retrieving device - Google Patents

Image retrieving device

Info

Publication number
JP2001052175A
JP2001052175A JP22431099A JP22431099A JP2001052175A JP 2001052175 A JP2001052175 A JP 2001052175A JP 22431099 A JP22431099 A JP 22431099A JP 22431099 A JP22431099 A JP 22431099A JP 2001052175 A JP2001052175 A JP 2001052175A
Authority
JP
Japan
Prior art keywords
image
vector
image data
feature vector
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP22431099A
Other languages
Japanese (ja)
Inventor
Takeshi Hashimoto
武 橋本
Original Assignee
Olympus Optical Co Ltd
オリンパス光学工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd, オリンパス光学工業株式会社 filed Critical Olympus Optical Co Ltd
Priority to JP22431099A priority Critical patent/JP2001052175A/en
Publication of JP2001052175A publication Critical patent/JP2001052175A/en
Withdrawn legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image retrieving device for retrieving an image similar to an object image out of a reference image data base storing plural pieces of reference image data. SOLUTION: This image retrieving device is provided with a feature vector extracting means 2 for generating a feature vector by extracting plural feature amounts from acquired object image data or reference image data, a reference vector group processing means 3 for generating a reference vector group by preparing a reference vector by merging the feature vector extracted by the feature vector extracting means 2 and the address information of this reference image for each piece of reference image data in respect to the said acquired plural pieces of reference image data, a similarity degree calculating means 5 for calculating the degree of similarity between the feature vector extracted from the said acquired object image data by the said feature vector extracting means and the feature vector of the reference image data selected from the said reference vector group, a similarity degree discriminating means 6 for comparing the said the calculated degree of similarity with the prescribed reference, and a means for extracting the address information of the image judged similar from the said reference vector group.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【0001】[0001]
【発明の属する技術分野】本発明は画像検索装置に係
り、特に、入力された画像情報と類似の画像情報を多数
の画像データの中から検索する画像検索装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image retrieval apparatus, and more particularly to an image retrieval apparatus for retrieving image information similar to input image information from a large number of image data.
【0002】[0002]
【従来の技術】近時、インターネットやディジタルカメ
ラの普及に伴ない、類似画像の検索に対するニーズが高
まっており、現在、IBMのQBIC(query b
y image content)に代表されるソフト
ウェアが商品化され使用され始めている。
2. Description of the Related Art Recently, with the spread of the Internet and digital cameras, the need for searching for similar images has been increasing. Currently, IBM's QBIC (query b)
Software represented by y image content) has been commercialized and started to be used.
【0003】一般的な画像の特徴量としては、色、テク
スチャー、構造的特徴、時間的特徴等が上げられる。
[0003] Typical image features include color, texture, structural features, temporal features, and the like.
【0004】テクスチャーに関しては、濃度ヒストグラ
ム、同時生起行列、差分統計量等の計算により、またエ
ッジや線、輪郭等の構造的特徴に関しては、ラプラシア
ンフィルターのコンボルーションやハフ変換等により、
さらに色に関しては、RGB空間やHSV空間、あるい
はスペクトルへの変換等により、時間的特徴に関しては
オプティカルフローの計算やウェーブレットへの変換に
より、それぞれ、特徴量が求められている。
The texture is calculated by calculating a density histogram, a co-occurrence matrix, a difference statistic, and the like. The structural features such as edges, lines, and contours are calculated by convolution and Hough transform of a Laplacian filter.
Further, for color, a feature amount is obtained by conversion to an RGB space, an HSV space, or a spectrum, and for a temporal feature, a feature amount is obtained by calculation of an optical flow or conversion to a wavelet.
【0005】これら特徴量への変換(特徴量の抽出)
は、特に、2次元の画像が対象となっている場合には膨
大な時間がかかり、通常のコンピュータによるシリアル
な計算では実用的でなく、光学的な方法や専用プロセッ
サ等の並列的に処理できる方法が従来から試みられてい
る。
Conversion to these features (extraction of features)
Takes an enormous amount of time, especially when a two-dimensional image is targeted, and is not practical for serial calculations by a normal computer, and can be processed in parallel by an optical method or a dedicated processor. Methods have been attempted in the past.
【0006】前述の2次元画像の特徴抽出を光学系によ
り高速に行う装置の従来例としては、例えば、本発明と
同一の出願人による特開平9−185713号公報や特
開平9−258287号公報に開示されているものが挙
げられる。
As a conventional example of a device for extracting features of a two-dimensional image at high speed by an optical system, for example, Japanese Patent Application Laid-Open Nos. 9-185713 and 9-258287 by the same applicant as the present invention. Which are disclosed in US Pat.
【0007】これらは多重光学系を用い2次元画像の特
徴抽出を高速に行う装置等と、それらを用いた認識装置
に関するものである。
[0007] These documents relate to a device for extracting features of a two-dimensional image at high speed using a multiplex optical system, and a recognition device using them.
【0008】また、これらの他にも、多重化されたジョ
イントトランスフォーム相関器により相関値を並列同時
に抽出し後段のニューラルネットワークで認識を行う特
開平4−355732号公報による方法や、複数の空間
周波数フィルタリングにより特徴抽出を並列同時に行う
特開平1−227123号公報、特開平3−14862
3号公報、特開平3−144814号公報等による方法
もある。
In addition to these methods, a method disclosed in Japanese Patent Laid-Open No. 4-355732, in which correlation values are simultaneously extracted in parallel by a multiplexed joint transform correlator and recognized by a neural network at the subsequent stage, JP-A-1-227123 and JP-A-3-14862 in which feature extraction is performed simultaneously in parallel by frequency filtering.
3 and JP-A-3-144814.
【0009】[0009]
【発明が解決しようとする課題】しかし、従来例に挙げ
た特開平9−185713号公報や特開平9−2582
87号公報、あるいは特開平4−355732号公報に
よる方法は、あくまでも多重化光学系により同時に複数
の特徴を抽出した上で、後段の処理により認識や分類を
行う装置を開示したものであって、検索を行うための構
成や方法を開示してはいない。
However, Japanese Patent Application Laid-Open Nos. 9-185713 and 9-25882 cited in the prior art.
No. 87, or the method disclosed in Japanese Patent Application Laid-Open No. 4-355732 discloses a device that extracts a plurality of features at the same time by a multiplexing optical system and performs recognition and classification by subsequent processing. It does not disclose the configuration or method for performing the search.
【0010】また、特開平1−227123号公報、特
開平3−148623号公報、特開平3−144814
号公報による方法も、複数の空間周波数フィルタリング
処理を並列同時に行う光学系のみを開示したものであっ
て、それらを用いて検索を行う構成や方法を開示してい
ない。
Further, Japanese Patent Application Laid-Open Nos. 1-2227123, 3-148623 and 3-144814.
The method disclosed in Japanese Patent Application Laid-Open Publication No. H11-163873 only discloses an optical system that performs a plurality of spatial frequency filtering processes in parallel and simultaneously, and does not disclose a configuration or a method for performing a search using them.
【0011】本発明は、上記の事情に鑑みてなされたも
ので、入力された画像情報に類似の画像情報を高速かつ
高精度に検索することを可能とした画像検索装置を提供
することを目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and has as its object to provide an image retrieval apparatus capable of retrieving image information similar to input image information at high speed and with high accuracy. And
【0012】[0012]
【課題を解決するための手段】本発明によると、上記課
題を解決するために、(1) 対象画像に類似する画像
を、複数の参照画像データが格納された参照画像データ
ベースより検索する画像検索装置であり、上記対象画像
データを獲得する対象画像データ獲得手段と、上記参照
画像データベースより、参照画像データとそのアドレス
情報を獲得する参照画像データ獲得手段と、上記対象画
像データまたは上記参照画像データより、複数の特徴量
を抽出して特徴べクトルを生成する特徴ベクトル抽出手
段と、上記参照画像データ獲得手段によって獲得された
複数の参照画像データに対して、各参照画像データ毎に
上記特徴ベクトル抽出手段で抽出された特徴べクトルと
この参照画像のアドレス情報を統合して参照ベクトルを
つくり、参照べクトル群を生成する参照ベクトル群処理
手段と、上記対象画像データ獲得手段によって獲得され
た対象画像データより上記特徴ベクトル抽出手段で抽出
された特徴べクトルと、上記参照ベクトル群より選択さ
れた参照画像データの特徴べクトルとの類似度を計算す
る類似度計算手段と、上記類似度計算手段で計算された
類似度を所定の基準と比較する類似度判定手段と、上記
類似度判定手段で類似していると判断された画像のアド
レス情報を、上記参照ベクトル群より取り出す手段と、
を具備することを特徴とする画像検索装置が提供され
る。
According to the present invention, in order to solve the above-described problems, (1) an image search for searching an image similar to a target image from a reference image database storing a plurality of reference image data. A target image data obtaining means for obtaining the target image data; a reference image data obtaining means for obtaining reference image data and address information thereof from the reference image database; and the target image data or the reference image data. A feature vector extracting unit that extracts a plurality of feature amounts to generate a feature vector; and a plurality of reference image data acquired by the reference image data acquiring unit. The reference vector is created by integrating the feature vector extracted by the extraction means and the address information of this reference image. A reference vector group processing unit for generating a vector group, a feature vector extracted by the feature vector extraction unit from the target image data acquired by the target image data acquisition unit, and a reference image selected from the reference vector group. A similarity calculating means for calculating the similarity between the feature vector of the data, a similarity determining means for comparing the similarity calculated by the similarity calculating means with a predetermined reference, and a similarity determining means for calculating the similarity by the similarity determining means. Means for extracting address information of an image determined to be present from the reference vector group,
An image retrieval apparatus characterized by comprising:
【0013】また、本発明によると、上記課題を解決す
るために、(2) 対象画像に類似する画像を、複数の
参照画像データが格納された参照画像データベースより
検索する画像検索装置であり、上記対象画像データを獲
得する対象画像データ獲得手段と、上記参照画像データ
ベースより、参照画像データとそのアドレス情報を獲得
する参照画像データ獲得手段と、上記対象画像データま
たは上記参照画像データより、複数の特徴量を抽出して
特徴べクトルを生成する特徴べクトル抽出手段と、上記
特徴ベクトルを分類する特徴べクトル分類手段と、上記
参照画像データ獲得手段によって獲得された複数の参照
画像データに対して、各参照画像データ毎に上記特徴ベ
クトル分類手段の分類結果に基づくラベル情報とこの参
照画像のアドレス情報を統合して参照ベクトルをつく
り、参照ベクトル群を生成する参照ベクトル群処理手段
と、上記対象画像データ獲得手段によって獲得された対
象画像データの上記分類手段の分類結果に基づくラベル
情報と、同じラベル情報をもつ参照画像データのアドレ
ス情報を上記参照べクトル群より取り出す手段と、を具
備することを特徴とする画像検索装置が提供される。
According to the present invention, in order to solve the above-mentioned problems, there is provided (2) an image search device for searching an image similar to a target image from a reference image database storing a plurality of reference image data, A target image data obtaining unit that obtains the target image data; a reference image data obtaining unit that obtains reference image data and its address information from the reference image database; and a plurality of target image data or the reference image data. A feature vector extracting unit that extracts a feature amount to generate a feature vector; a feature vector classifying unit that classifies the feature vector; and a plurality of reference image data acquired by the reference image data acquiring unit. Label information based on the classification result of the feature vector classifying means and address information of this reference image for each reference image data. And a reference vector group processing unit that generates a reference vector group by integrating the information, and the same label information based on the classification result of the classification unit of the target image data acquired by the target image data acquisition unit. Means for extracting address information of reference image data having label information from the above-mentioned reference vector group.
【0014】また、本発明によると、上記課題を解決す
るために、(3) 上記特徴べクトル抽出手段は、上記
対象画像データまたは上記参照画像データを画像表示す
る画像表示手段と、上記画像表示手段で表示された画像
を多重化する画像データ多重化手段と、上記画像データ
多重化手段で多重化された画像を、各々フーリェ変換す
る多重フーリェ変換手段と、上記多重フーリェ変換手段
でフーリェ変換された各画像を逆フーリェ変換する多重
逆フーリェ変換手段と、上記画像データ多重化手段で多
重化された画像に作用する、特徴量を抽出するためのフ
ィルタアレイと、上記フィルタアレイの出力を検出する
ディテクタアレイと、を具備することを特徴とする
(1)または(2)記載の画像検索装置が提供される。
According to the present invention, in order to solve the above problems, (3) the characteristic vector extracting means includes: an image display means for displaying the target image data or the reference image data; Image data multiplexing means for multiplexing the images displayed by the means, multiplexed Fourier transform means for respectively Fourier-transforming the images multiplexed by the image data multiplexing means, and Fourier-transformed by the multiplexed Fourier transform means. Multiplex inverse Fourier transform means for performing inverse Fourier transform on each of the images obtained, a filter array for extracting a feature value acting on the image multiplexed by the image data multiplexing means, and detecting an output of the filter array. And a detector array. The image retrieval apparatus according to (1) or (2) is provided.
【0015】これらの解決手段において、参照画像デー
タのアドレス情報とは、参照画像データベース中よりそ
の参照画像を検索してそれを取り出すのに必要な情報の
意味である。
In these solutions, the address information of the reference image data means information necessary for searching for the reference image from the reference image database and extracting it.
【0016】即ち、参照画像の物理アドレスや論理アド
レス、デ一タ構造において参照画像データヘ至るバスま
たはそのバスを特定する名称等が該当する。
That is, the physical address and the logical address of the reference image, the bus to the reference image data in the data structure, the name specifying the bus, and the like correspond to the data.
【0017】また、画像が類似しているという判断は、
画像データより抽出した複数の特徴量という判定基準に
基づいている。
Further, the judgment that the images are similar is as follows.
This is based on a criterion of a plurality of feature amounts extracted from image data.
【0018】このため、抽出する特徴量を他の特徴量に
変更すれば、異なった画像が類似と判断される。
For this reason, if the feature quantity to be extracted is changed to another feature quantity, different images are determined to be similar.
【0019】また、ラベル情報とは、特徴ベクトルを分
類した結果に応じた情報である。
The label information is information corresponding to the result of classifying the feature vectors.
【0020】[0020]
【発明の実施の形態】以下図面を参照して本発明の実施
の形態について説明する。
Embodiments of the present invention will be described below with reference to the drawings.
【0021】[第1の実施形態]図1は、本発明による
画像検索装置の第1の実施形態の概念的な構成を示すブ
ロック図である。
[First Embodiment] FIG. 1 is a block diagram showing a conceptual configuration of a first embodiment of an image retrieval apparatus according to the present invention.
【0022】図1に示すように、本発明の第1の実施形
態による画像検索装置は、参照画像データ獲得手段1
と、特徴ベクトル抽出手段2と、参照べクトル群処理手
段3と、対象画像データ獲得手段4と、類似度計算手段
5と、類似度判定手段6とにより構成されている。
As shown in FIG. 1, the image retrieval apparatus according to the first embodiment of the present invention comprises a reference image data acquiring means 1.
, A feature vector extracting unit 2, a reference vector group processing unit 3, a target image data acquiring unit 4, a similarity calculating unit 5, and a similarity determining unit 6.
【0023】そして、図1による画像検索装置では、参
照べクトル群を生成する過程と対象画像を検索する過程
を実行し、データベース(DB)7上から対象画像に類
似の参照画像を選択し出力する場合の一形態を示してい
る。
The image search apparatus shown in FIG. 1 executes a process of generating a reference vector group and a process of searching for a target image, and selects and outputs a reference image similar to the target image from a database (DB) 7. FIG.
【0024】具体的には、まず参照ベクトル群生成過程
において、DB7上の参照画像のデータ及びそのデータ
の格納されているアドレス情報を、参照画像データ獲得
手段1によって装置内に取り込む。
More specifically, first, in the reference vector group generation process, the reference image data acquiring means 1 fetches the reference image data on the DB 7 and the address information where the data is stored into the apparatus.
【0025】取り込まれた参照画像のデータは、特徴べ
クトル抽出手段2によってその特徴ベクトルが抽出さ
れ、この抽出された特徴ベクトルのデータが参照べクト
ル群処理手段3に送られる。
The data of the taken-in reference image is extracted by the characteristic vector extracting means 2, and the extracted characteristic vector data is sent to the reference vector group processing means 3.
【0026】参照ベクトル群処理手段3では、この参照
画像の特徴ベクトルと参照画像データ獲得手段1によっ
て取り込まれたアドレス情報とを統合した参照ベクトル
を生成する。
The reference vector group processing means 3 generates a reference vector in which the feature vector of the reference image and the address information fetched by the reference image data obtaining means 1 are integrated.
【0027】以上の処理をDB7上の所定の参照画像デ
ータについて行うことにより、参照べクトルの集合つま
り参照ベクトル群を参照ベクトル群処理手段3でテーブ
ル化して格納する。
By performing the above processing on predetermined reference image data in the DB 7, a set of reference vectors, that is, a reference vector group, is stored in a table by the reference vector group processing means 3 and stored.
【0028】次に、対象画像検索過程において、類似画
像を検索すべき対象画像のデータを対象画像獲得手段4
により装置内に取り込む。
Next, in a target image search process, data of a target image for which a similar image is to be searched is stored in the target image obtaining means 4.
To be taken into the device.
【0029】取り込まれた対象画像のデータは、特徴ベ
クトル抽出手段2によってその特徴ベクトルが抽出さ
れ、この抽出された特徴べクトルのデータが類似度計算
手段5に送られる。
The feature vector of the captured target image data is extracted by the feature vector extracting means 2, and the extracted feature vector data is sent to the similarity calculating means 5.
【0030】類似度計算手段5では、この対象画像の特
徴べクトルと、参照ベクトル群処理手段3で格納されて
いる参照ベクトル群から適宜選択された参照ベクトル中
の特徴クトルとの類似度を計算し、その結果を類似度判
定手段6に送る。
The similarity calculating means 5 calculates the similarity between the characteristic vector of the target image and the characteristic vector in the reference vector appropriately selected from the reference vector group stored in the reference vector group processing means 3. Then, the result is sent to the similarity determination means 6.
【0031】類似度判定手段6では、所定の判定基準を
満たしたかどうかの判定がなされ、その判定結果が参照
ベクトル群処理手段3に送られる。
The similarity determination means 6 determines whether or not a predetermined determination criterion is satisfied, and sends the determination result to the reference vector group processing means 3.
【0032】参照ベクトル群処理手段3では、判定基準
を満たした参照ベクトル中の参照画像に関するアドレス
をDB7に送る。
The reference vector group processing means 3 sends the address relating to the reference image in the reference vector satisfying the criterion to the DB 7.
【0033】この類似度計算からアドレスをDB7に送
るまでの一連の処理は、必要に応じて参照べクトル群処
理手段3中で選択される参照べクトルを変更して繰り返
される。
A series of processing from the calculation of the similarity to the transmission of the address to the DB 7 is repeated by changing the reference vector selected in the reference vector group processing means 3 as necessary.
【0034】参照べクトル群処理手段3からDB7に送
られたアドレスを持つ参照画像のデータ(及び必要があ
ればそのアドレス)は順次外部の装置に類似画像として
出力される。
The data of the reference image having the address sent from the reference vector group processing means 3 to the DB 7 (and the address if necessary) are sequentially output to an external device as a similar image.
【0035】以下に、本実施形態に好適な実施例を説明
する。
Hereinafter, a preferred example of the present embodiment will be described.
【0036】(実施例1)図2は、本実施例1の概略的
な構成を示すブロック図である。
(First Embodiment) FIG. 2 is a block diagram showing a schematic configuration of the first embodiment.
【0037】本実施例1は、特徴ベクトル抽出手段2と
して、概ね、従来例に示した特開平9−185713号
公報に記載されている第1実施例の構成を用いており、
それ以外の構成部分は図示していない装置全体を制御す
るコンピュータのハードウェア及びソフトウェアで構成
されている。
In the first embodiment, the feature vector extracting means 2 generally uses the configuration of the first embodiment described in Japanese Patent Application Laid-Open No. 9-185713 described in the prior art.
The other components are configured by hardware and software of a computer that controls the entire device (not shown).
【0038】まず、特徴ベクトル抽出手段2の部分を説
明する。
First, the part of the feature vector extracting means 2 will be described.
【0039】この特徴ベクトル抽出手段2は、供給され
た参照画像もしくは対象画像のデータを表示するための
電気アドレス型で透過読み出しタイプの空間光変調器2
0aと、このデータを読み出す光束20bからなる画像
入力表示手段20と、読み出された画像データを抽出す
るフィルタの数と同一な多重度分だけ複製するため、そ
の前側焦点位置に空間光変調器20aの読み出し面が一
致するように配置されたレンズ21aと、その後ろ側焦
点位置に空間光変調器22aの書き込み面が一致しさら
にレンズ21aの光軸と各レンズの光軸が平行になるよ
うに配置されたレンズアレイ21bとからなる画像デー
タ多重化手段21と、その複製された画像データを書き
込むための光アドレス型で反射読み出しタイプの空間光
変調器22aと、略平行なコヒーレント光束22bと、
この光束22bを空間光変調器22aの読み出し面にほ
ぼ垂直に入射させ、多重複製され空間光変調器22aに
書き込まれているデータを読み出すための偏光ビームス
プリッタ22cと、空間光変調器22aの読み出し面に
前側焦点位置を一致させ各光軸が系の光軸と平行になる
ように配置され、レンズアレイ21bと同一個数のレン
ズで構成されているフーリェ変換レンズアレイ22dか
らなる多重フーリェ変換手段22と、このフーリェ変換
レンズアレイ22dの後ろ側焦点位置にこのフーリェ変
換レンズアレイと同一個数で一対一に対応するよう配置
され、多重複製された特徴抽出すべき画像データに複数
の異なったフィルタリングを施すためのフィルタアレイ
23と、このフィルタアレイ23と同一個数で一対一に
対応するようにその後ろ側に密着もしくは近接配置され
るディテクタアレイ24とで構成する。
The feature vector extracting means 2 is an electric address type transmissive reading type spatial light modulator 2 for displaying the data of the supplied reference image or target image.
0a and an image input / display means 20 comprising a light beam 20b for reading out the data, and a spatial light modulator at its front focal position in order to duplicate the same multiplicity as the number of filters for extracting the read out image data. The lens 21a arranged so that the reading surface of the lens 20a coincides with the writing surface of the spatial light modulator 22a at the rear focal point so that the optical axis of the lens 21a is parallel to the optical axis of each lens. Multiplexed image data multiplexing means 21 comprising a lens array 21b disposed at a position, an optical address type reflection-read type spatial light modulator 22a for writing the duplicated image data, and a substantially parallel coherent light beam 22b. ,
The light beam 22b is made to enter the readout surface of the spatial light modulator 22a almost perpendicularly, and a polarization beam splitter 22c for reading out data that has been multiplex-replicated and written in the spatial light modulator 22a, and a readout of the spatial light modulator 22a. Multiple Fourier transform means 22 comprising a Fourier transform lens array 22d arranged so that the front focal position coincides with the surface and each optical axis is parallel to the optical axis of the system, and composed of the same number of lenses as the lens array 21b. And the same number of the Fourier transform lens arrays as the one-to-one correspondence at the rear focal position of the Fourier transform lens array 22d, and performing a plurality of different filterings on the multiplex-replicated image data to be extracted. And the same number of filter arrays 23 so as to correspond one to one. Composed of the detector array 24 to be in close contact or close proximity behind.
【0040】なお、上述の空間光変調器はいずれも液晶
製のものを、ディテクタアレイは個々のディテクタに1
2bitのAD変換器が付いたシリコン製のフォトディ
テクタアレイを用いている。
The above spatial light modulators are all made of liquid crystal, and the detector array is one for each detector.
A silicon photodetector array with a 2-bit AD converter is used.
【0041】また、このフィルタアレイ23を構成する
各フィルタとしては種々のものが使用できるが、本実施
例1では一例として空間周波数フィルタを用いている。
Various filters can be used as filters constituting the filter array 23. In the first embodiment, a spatial frequency filter is used as an example.
【0042】実際に用いたフィルタは、45度毎の4方
向それぞれに4つの異なる周波数領域をバンドパスする
計16種類の空間周波数フィルタが用いられる。
As the filters actually used, a total of 16 types of spatial frequency filters which band-pass four different frequency regions in each of four directions at every 45 degrees are used.
【0043】以上の構成により、本実施例1の特徴べク
トル抽出手段2では、画像入力表示手段20を介して入
力される参照画像取得手段1で得られた参照画像データ
もしくは対象画像データ取得手段4で得られた対象画像
データは、画像データ多重化手段21により多重化さ
れ、多重フーリェ変換手段22によりそれぞれフーリェ
変換された後に、フィルタアレイ23によりそれぞれ異
なった空間周波数フィルタによる特徴量の抽出が行わ
れ、ディテクタアレイ24でそれぞれの特徴量に応じた
ディジタルデータヘ変換され、参照ベクトル群処理手段
3もしくは類似度計算手段5に出力される。
With the above configuration, the characteristic vector extracting means 2 of the first embodiment provides the reference image data obtained by the reference image obtaining means 1 inputted through the image input display means 20 or the target image data obtaining means. The target image data obtained in step 4 is multiplexed by the image data multiplexing means 21 and subjected to Fourier transform by the multiplexed Fourier transforming means 22, respectively. Then, the data is converted by the detector array 24 into digital data corresponding to each characteristic amount, and is output to the reference vector group processing means 3 or the similarity calculation means 5.
【0044】この特徴べクトル抽出手段2以外の手段
は、前述したようにに、図示していない装置全体を制御
するコンピュータのハードウェア及びソフトウェアで構
成しているが、それらの各手段については次に説明す
る。
As described above, the means other than the characteristic vector extracting means 2 are constituted by the hardware and software of a computer for controlling the entire apparatus (not shown). Will be described.
【0045】まず、参照画像データ獲得手段1は、外部
のデータベースサーバ(DB)7に記録されている参照
画像のデータとそのアドレス情報を、イーサーネットを
介してこのDB7に接続されている前述のコンピュータ
の所定のメモリ上に順次入力して記録する機能を有す
る。
First, the reference image data acquiring means 1 converts the reference image data recorded in the external database server (DB) 7 and its address information into the above-mentioned data connected to the DB 7 via Ethernet. It has a function of sequentially inputting and recording on a predetermined memory of a computer.
【0046】また、特徴べクトル抽出手段2及び参照ベ
クトル群処理手段3の求めに応じて、参照画像のデータ
及び当該参照画像のアドレスをそれぞれの手段に所定の
形式で供給する機能を有する。
Further, it has a function of supplying the data of the reference image and the address of the reference image in a predetermined format to the respective means in response to the request of the characteristic vector extracting means 2 and the reference vector group processing means 3.
【0047】また、対象画像データ獲得手段4は、対象
べクトル検索過程において、処理すべき対象画像のデー
タを種々のモダリティからインターフェイスを介して前
述のコンピュータ内に入力し、所定のメモリ上に記録
し、特徴ベクトル抽出手段2及び表示器(Displa
y)8その他の外部装置の求めに応じて所定の形式で供
給する機能を有する。
In the target vector search process, the target image data obtaining means 4 inputs data of the target image to be processed from various modalities into the above-mentioned computer via an interface and records the data on a predetermined memory. And a feature vector extracting means 2 and a display (Display)
y) 8 It has a function of supplying in a predetermined format in response to a request from another external device.
【0048】また、参照べクトル群処理手段3は、参照
べクトル群生成過程においては、特徴べクトル抽出手段
2により抽出された参照画像の特徴ベクトルを入力し、
参照画像獲得手段1より送られた参照画像のアドレス情
報と統合して所定形式の参照べクトルを生成し、前述の
コンピュータ内の所定のメモリ上に格納する機能を持
つ。
Further, the reference vector group processing means 3 inputs the feature vector of the reference image extracted by the feature vector extracting means 2 during the reference vector group generation process,
It has a function of generating a reference vector in a predetermined format by integrating it with the address information of the reference image sent from the reference image acquisition means 1 and storing it in a predetermined memory in the computer.
【0049】この機能をDB7上の所定の参照画像デー
タすべてについて繰り返し同様に行うことにより、参照
べクトルの集合つまり参照ベクトル群を生成する。
This function is repeatedly performed for all the predetermined reference image data on the DB 7 to generate a set of reference vectors, that is, a reference vector group.
【0050】本実施例1の参照べクトル群は、参照画像
の特徴べクトルとして16種類の特徴量がそれそれ12
ビット、またDB7上のアドレスを16ビットとしたの
で図3に示すようなテーブル形式となる。
In the reference vector group according to the first embodiment, 16 kinds of feature amounts are used as feature vectors of the reference image.
Since the bits and the address on the DB 7 are 16 bits, a table format as shown in FIG. 3 is obtained.
【0051】一方、対象画像検索過程においては、格納
されている参照ベクトル群から1つの参照ベクトルを適
宜選択し、その特徴ベクトルに関するデータを類似度計
算手段5に送る機能、さらには類似度判定手段6から送
られてきた判定結果をもとに、類似画像と判定された場
合はそのアドレスをDB7に送つて、Display8
その他に画像データを出力するように要請する機能を持
つ。
On the other hand, in the target image search process, a function of appropriately selecting one reference vector from the stored reference vector group and transmitting data relating to the feature vector to the similarity calculating means 5, and further, a similarity determining means If the image is determined to be a similar image based on the determination result sent from Display6, the address is sent to DB7, and Display8 is displayed.
In addition, it has a function of requesting output of image data.
【0052】類似度計算手段5は、対象べクトル検索過
程において、特徴べクトル抽出手段2より送られてくる
対象画像の特徴べクトルを
The similarity calculating means 5 calculates the characteristic vector of the target image sent from the characteristic vector extracting means 2 in the target vector search process.
【0053】[0053]
【数1】 (Equation 1)
【0054】とし、参照べクトル群処理手段3から送ら
れてくる参照画像の特徴べクトルを
The characteristic vector of the reference image sent from the reference vector group processing means 3 is
【0055】[0055]
【数2】 (Equation 2)
【0056】としたときに、そのユークリッド距離Then, the Euclidean distance
【0057】[0057]
【数3】 (Equation 3)
【0058】を計算し、その値を類似度として類似度判
定手段6に出力する機能を持つ。
Has a function of calculating the similarity and outputting the value as similarity to the similarity determination means 6.
【0059】さらに、類似度判定手段6では、所定の閾
値が設定されており、対象べクトル検索過程において、
類似度として類似度計算手段5から送られてきた値がこ
の閾値以下の場合に、参照ベクトル群処理手段に類似画
像である旨の信号を出力する機能を持つ。
Further, a predetermined threshold value is set in the similarity determination means 6, and in the target vector search process,
When the value sent from the similarity calculating means 5 as the similarity is equal to or less than the threshold value, a function of outputting a signal indicating that the image is similar to the reference vector group processing means is provided.
【0060】以上の構成により、本実施例1の画像検索
装置の処理は、以下のようになされる。
With the above configuration, the processing of the image retrieval apparatus according to the first embodiment is performed as follows.
【0061】まず、参照ベクトル群を生成する過程にお
いて、DB7上の参照画像のデータ及びそのデータの格
納されているアドレス情報を、参照画像データ獲得手段
1によって装置内に取り込む。
First, in the process of generating the reference vector group, the reference image data acquisition means 1 fetches the reference image data on the DB 7 and the address information where the data is stored into the apparatus.
【0062】取り込まれた参照画像のデータは、多重複
製光学系と多重フーリェ変換光学系をベースにし、2次
元画像の並列特徴抽出が可能な特徴べクトル抽出手段2
によってその特徴べクトルが高速に抽出され、この抽出
された特徴べクトルのデータが参照べクトル群処理手段
3に送られる。
The captured reference image data is based on a multiple replication optical system and a multiple Fourier transform optical system, and is used as a feature vector extracting means 2 capable of extracting parallel features of a two-dimensional image.
The feature vector is extracted at high speed, and the data of the extracted feature vector is sent to the reference vector group processing means 3.
【0063】参照ベクトル群処理手段3では、この参照
画像の特徴ベクトルと参照画像データ獲得手段1によっ
て取り込まれたアドレス情報とを統合した参照ベクトル
を生成する。
The reference vector group processing means 3 generates a reference vector in which the feature vector of the reference image and the address information fetched by the reference image data obtaining means 1 are integrated.
【0064】以上の処理をDB7上の所定の参照画像デ
ータについて行うことにより、参照ベクトルの集合つま
り参照べクトル群を生成し、所定のメモリ上に格納す
る。
By performing the above processing on predetermined reference image data in the DB 7, a set of reference vectors, that is, a reference vector group is generated and stored in a predetermined memory.
【0065】次に、対象画像を検索する過程において、
類似画像を検索すべき対象画像のデータを対象画像獲得
手段4により装置内に取り込む。
Next, in the process of searching for the target image,
Data of a target image for which a similar image is to be searched is taken into the apparatus by the target image acquisition means 4.
【0066】取り込まれた対象画像のデータは、特徴べ
クトル抽出手段2によつて同様にその特徴ベクトルが高
速に抽出され、この抽出された特徴ベクトルのデータが
類似度計算手段5に送られる。
The feature vector extracting means 2 similarly extracts the feature vector of the captured target image data at high speed, and sends the extracted feature vector data to the similarity calculating means 5.
【0067】類似度計算手段5では、この対象画像の特
徴ベクトルと、参照ベクトル群処理手段3に格納されて
いる参照べクトル群から適宜選択された参照べクトル中
の特徴べクトルとの類似度を、ベクトルどうしのユーク
リッド距離により計算し、その結果を類似度判定手段6
に送る。
The similarity calculating means 5 calculates the similarity between the feature vector of the target image and a feature vector in a reference vector appropriately selected from the reference vector group stored in the reference vector group processing means 3. Is calculated by the Euclidean distance between the vectors, and the result is calculated by the similarity determination means 6.
Send to
【0068】類似度判定手段6では、予め設置されてい
る閾値を基準にして、類似画像かどうかの判定がなさ
れ、その結果が参照べクトル群処理手段3に送られる。
The similarity determination means 6 determines whether or not the image is a similar image based on a preset threshold value, and sends the result to the reference vector group processing means 3.
【0069】参照べクトル群処理手段3では、現在処理
中の参照画像が判定基準を満たした場合、参照べクトル
中のアドレスをDB7に送る。
When the reference image currently being processed satisfies the judgment criterion, the reference vector group processing means 3 sends the address in the reference vector to the DB 7.
【0070】この類似度計算からアドレスをDBに送る
までの一連の処理は、必要に応じて(例えば、設定した
数だけ類似画像が選ばれるまで)参照べクトル群処理手
段3中で選択される参照ベクトルを変更して繰り返され
る。
A series of processes from the calculation of the similarity to the transmission of the address to the DB are selected in the reference vector group processing means 3 as necessary (for example, until a set number of similar images are selected). Repeat with changing reference vector.
【0071】なお、図2中には、出力先の一例としてD
isplay8を例示してある。
In FIG. 2, D is an example of an output destination.
display8 is illustrated.
【0072】参照べクトル群処理手段3からDB7に送
られたアドレスを持つ参照画像のデータは順次Disp
lay8に送られ、類似画像として対象画像と共に表示
される。
The data of the reference image having the address sent from the reference vector group processing means 3 to the DB 7 is sequentially displayed on the Disp.
It is sent to the layer 8 and displayed as a similar image together with the target image.
【0073】以上説明したように、本実施例1の画像検
索装置を用いれば、従来非常に時間のかかつていた2次
元画像の特徴抽出が特徴ベクトル抽出手段2により並列
同時に高速に求められるようになったと共に、類似画像
の検索時に参照し類似度を計算する参照画像を、生の画
像ではなく、予め特徴べクトル抽出手段2により抽出
し、参照べクトル群処理手段3により生成し別途テーブ
ル化したデータ量の少ない特徴べクトルにより行うよう
にしたので、非常に高速に類似画像の検索が可能とな
る。
As described above, by using the image retrieval apparatus of the first embodiment, the feature extraction of the two-dimensional image, which was conventionally very time-consuming, can be performed by the feature vector extracting means 2 in parallel and at high speed. In addition, a reference image to be referred to at the time of searching for a similar image and to calculate the similarity is not a raw image but is extracted in advance by the characteristic vector extracting means 2, generated by the reference vector group processing means 3 and separately tabulated. Since the search is performed using a feature vector having a small amount of data, a similar image can be searched very quickly.
【0074】本実施例1の類似度計算手段5による類似
度の計算は、特徴量毎にMSBからLSBまでビット毎
に空間展開し、2次元にコーディングしてXOR演算や
内積演算等の光学的手法で行うことももちろん可能であ
る。
The calculation of the similarity by the similarity calculating means 5 of the first embodiment is performed by spatially expanding each bit from the MSB to the LSB for each feature amount, coding two-dimensionally, and performing an optical operation such as an XOR operation or an inner product operation. Of course, it is also possible to perform the method.
【0075】(実施例2)図4の(a)は、実施例2の
概略的な構成を示すブロック図である。
(Embodiment 2) FIG. 4A is a block diagram showing a schematic configuration of Embodiment 2.
【0076】本実施形態のもう一つの実施例2として、
特徴ベクトル抽出手段2を、特開平9−258287号
公報に記載されている第2実施形態とほぼ同様に構成
し、他は実施例1と同様に構成した場合を図4の(a)
を用いて説明する。
As another example 2 of this embodiment,
FIG. 4A shows a case in which the feature vector extracting means 2 is configured substantially in the same manner as in the second embodiment described in Japanese Patent Laid-Open No. 9-258287, and is otherwise configured in the same manner as in Example 1.
This will be described with reference to FIG.
【0077】より具体的には、画像入力表示手段20
は、電気アドレス型で透過型の空間光変調器20aとし
てここでは液晶製の空間光変調器と略平行なコヒーレン
ト光束20bで構成する。
More specifically, the image input / display means 20
Is constituted by a coherent light beam 20b which is substantially parallel to a spatial light modulator made of liquid crystal as a transmission type spatial light modulator 20a.
【0078】画像多重化手段21は、各レンズの光軸が
平行になるように配置されている後述のフィルタアレイ
と同一配列のレンズアレイ21bと、レンズアレイ21
bから出射する光束を全て入射し出射することが可能な
瞳径を持つ大口径レンズ21aとで構成され、レンズア
レイ21bの後側焦平面の位置と大口径レンズ前側焦平
面を一致させるように、さらに大口径レンズ21aの後
側焦平面が空間光変調器20aの読み出し面と一致する
ように配置してある。
The image multiplexing means 21 includes a lens array 21b having the same arrangement as a later-described filter array arranged so that the optical axes of the lenses are parallel to each other, and a lens array 21.
b and a large-aperture lens 21a having a pupil diameter capable of entering and exiting all the light beams emitted from the lens array 21b so that the position of the rear focal plane of the lens array 21b and the front focal plane of the large-aperture lens coincide with each other. Further, the rear focal plane of the large-diameter lens 21a is arranged so as to coincide with the readout surface of the spatial light modulator 20a.
【0079】この画像多重化手段21の構成により、略
平行なコヒーレント光束20bは、レンズアレイ21b
に入射し、レンズアレイ21bを構成する各レンズから
出射し、その後側焦平面の個々のレンズに対応した位置
に集光し、さらに発散光となり、大口径レンズ21aに
入射する。
With the configuration of the image multiplexing means 21, the substantially parallel coherent light beam 20b is
And exits from each lens constituting the lens array 21b, is condensed at a position corresponding to each lens on the rear focal plane, further becomes divergent light, and enters the large-diameter lens 21a.
【0080】さらに、この大口径レンズ21aに入射し
た光束がその前側焦点位置からの発散光となるために、
大口径レンズ21aから出射する光束は大口径レンズ2
1aの光軸対して様々な角度をなす略平行な光束とな
る。
Further, since the light beam incident on the large-aperture lens 21a becomes divergent light from the front focal position,
The light beam emitted from the large-diameter lens 21a is the large-diameter lens 2
The light beams become substantially parallel light beams at various angles with respect to the optical axis 1a.
【0081】この様々な角度をなす略平行な光束は大口
径レンズ21aの後側焦平面近傍でほぼ同一領域に入射
する。
The substantially parallel light beams having various angles are incident on substantially the same area near the rear focal plane of the large-aperture lens 21a.
【0082】従って、大口径レンズ21aの後側焦平面
近傍に配置された空間光変調器20aに対象画像データ
もしくは参照画像データを入力表示し、この様々な角度
をなす略平行な光束で読み出せば、空間光変調器21a
を通過したこれらの光束は、それぞれの方向に当該画像
データの情報を乗せて伝搬されるようになる。
Accordingly, the target image data or the reference image data is input to and displayed on the spatial light modulator 20a disposed near the rear focal plane of the large-aperture lens 21a, and can be read out with the substantially parallel light beams forming various angles. For example, the spatial light modulator 21a
Are transmitted with the information of the image data in each direction.
【0083】多重フーリェ変換手段22は、この複数方
向に読み出された対象画像データもしくは参照画像デー
タの情報を持つ光束を、全て入射可能な瞳径を持ったフ
ーリェ変換レンズで構成され、その前側焦平面が空間光
変調器20aの読み出し面に一致し、光軸が大口径レン
ズ21aに一致するように配される。
The multiplex Fourier transform means 22 is constituted by a Fourier transform lens having a pupil diameter capable of entering the light beam having the information of the target image data or the reference image data read in a plurality of directions. The focal plane is aligned with the readout surface of the spatial light modulator 20a, and the optical axis is aligned with the large-diameter lens 21a.
【0084】上記画像データ多重化手段21によって多
重に読み出された画像データ情報をもつ複数の光束は、
フーリェ変換レンズに入射し、このレンズの後側焦平面
の対応した位置に、画像データのフーリェ像を形成す
る。
A plurality of luminous fluxes having image data information multiplexed by the image data multiplexing means 21 are:
The light enters the Fourier transform lens and forms a Fourier image of image data at a position corresponding to the rear focal plane of the lens.
【0085】フィルタアレイ23は、多重フーリェ変換
手段22によって得られる複数のフーリェ変換像に対し
て同一個数で一対一に対応するように配置した特徴抽出
用のフィルタで構成し、多重化された画像データに複数
の異なったフィルタリングを施すものである。
The filter array 23 is composed of feature extracting filters arranged so as to correspond one by one to a plurality of Fourier transformed images obtained by the multiplexed Fourier transforming means 22. The data is subjected to a plurality of different filterings.
【0086】このフィルタアレイ23を構成する各フィ
ルタとしては種々のものが使用できるが、本実施例2で
は一例としてGaborフィルタGを用いている。
Various filters can be used as the filters constituting the filter array 23. In the second embodiment, the Gabor filter G is used as an example.
【0087】このGaborフィルタとは、画像中から
方向性のある空間周波数構造を抽出するものであり、広
義にはwaveletフィルタと同一と考えられる。
The Gabor filter is for extracting a directional spatial frequency structure from an image, and is considered to be the same as the wavelet filter in a broad sense.
【0088】その実空間での記述式は例えば、The description formula in the real space is, for example,
【0089】[0089]
【数4】 (Equation 4)
【0090】であり、その実部を取った物をフーリェ変
換すると、周波数空間での記述式は
Then, when the Fourier transform is performed on the object whose real part has been removed, the descriptive expression in the frequency space becomes
【0091】[0091]
【数5】 (Equation 5)
【0092】である。Is as follows.
【0093】(1)式及び(2)式で、x,yは実空間
での座標系、u及びvはフーリェ面(周波数面)での座
標系、u0 及びv0 は振動成分の周波数、σはGaus
sian型の包絡線をそれぞれ規定する変数もしくは定
数である。
In the equations (1) and (2), x and y are coordinate systems in a real space, u and v are coordinate systems in a Fourier plane (frequency plane), and u 0 and v 0 are frequencies of vibration components. , Σ is Gauss
It is a variable or a constant that defines the sian type envelope.
【0094】実際に用いたフィルタは16種類で、方向
については45度毎の4方向、空間周波数については4
つの周波数領域を設定している。
There are 16 types of filters actually used. The direction is 4 directions every 45 degrees, and the spatial frequency is 4 directions.
Two frequency domains are set.
【0095】また、Gaussian型の包絡線部分
は、その値の半値幅を目安に2値に近似した上で、EB
描画により製作して用いている。
The Gaussian-type envelope portion is approximated to a binary value by using the half width of the value as a guide, and then the EB
It is manufactured and used by drawing.
【0096】つまり、多重度は16多重である。That is, the multiplicity is 16 multiplexes.
【0097】さらに、多重逆フーリェ変換手段25は、
フィルタアレイ23と同一配列のフーリェ変換レンズか
らなる逆フーリェ変換レンズアレイで構成されることに
より、上記のGaborフィルタリングのかけられた情
報をそれぞれ逆フーリェ変換する作用を持つ。
Further, the multiple inverse Fourier transform means 25
The inverse Fourier transform lens array composed of the same array of Fourier transform lenses as the filter array 23 has an operation of performing an inverse Fourier transform on each of the Gabor-filtered information.
【0098】つまり、これらの情報はそれぞれの逆フー
リェ変換レンズの後ろ側焦平面上にGaborフィルタ
により特徴抽出された画像を形成する。
That is, these pieces of information form an image whose features are extracted by the Gabor filter on the back focal plane of each inverse Fourier transform lens.
【0099】この特徴抽出画像は、ディテクタアレイ2
4により検出される。
[0099] This feature extraction image is stored in the detector array 2
4 is detected.
【0100】本実施例2の場合には、特に、特徴抽出さ
れた画像の位置に関する情報を含めて画像検索に用いる
ため、図4の(b)中に詳細に示したように4×4=1
6種類得られる特徴抽出画像のそれぞれを、さらに5×
5=25の領域に分けて検出する図示のようなディテク
タアレイを製作して用いている。
In the case of the second embodiment, in particular, since the information including the information on the position of the feature-extracted image is used for the image search, as shown in detail in FIG. 1
Each of the feature extraction images obtained from the six types is further divided into 5 ×
A detector array as shown in the figure, which detects and divides into 5 = 25 areas, is manufactured and used.
【0101】なお、ディテクタで検知された強度情報
は、付属のAD変換器によりディジタルデータに変換さ
れて、参照ベクトル群処理手段3もしくは類似度計算手
段5へ転送される。
The intensity information detected by the detector is converted into digital data by an attached AD converter and transferred to the reference vector group processing means 3 or the similarity calculation means 5.
【0102】以上の構成により、本実施例2の特徴べク
トル抽出手段2では、画像入力表示手段20を介して入
力される参照画像取得手段1で得られた対象画像データ
もしくは対象画像データ取得手段4で得られた参照画像
データは、画像入力表示手段20によって入力され、画
像データ多重化手段21により多重化され、多重フーリ
ェ変換手段22によりそれぞれフーリェ変換された後
に、フィルタアレイ23によりそれそれ異なつたGab
orフィルタによるフィルタリングが行われ、さらに多
重逆フーリェ変換手段25によりそれぞれ特徴抽出画像
に変換された後に、ディテクタアレイ24で、それぞれ
の特徴抽出画像の位置毎の特徴量に応じたディジタルデ
ータヘ変換され、参照ベクトル群処理手段3もしくは類
似度計算手段5に出力される。
With the above configuration, the characteristic vector extracting means 2 of the second embodiment can obtain the target image data obtained by the reference image obtaining means 1 inputted through the image input display means 20 or the target image data obtaining means. The reference image data obtained in step 4 is input by the image input / display unit 20, multiplexed by the image data multiplexing unit 21, and subjected to Fourier transform by the multiplexed Fourier transform unit 22, respectively. Gab
After being filtered by an or filter and further converted into a feature extraction image by multiple inverse Fourier transform means 25, the data is converted into digital data according to a feature amount for each position of each feature extraction image by a detector array 24, It is output to the reference vector group processing means 3 or the similarity calculation means 5.
【0103】本実施例2のその他の部分については、実
施例1と同様に構成したので、処理も同様に行われる。
Since the other parts of the second embodiment are configured in the same manner as in the first embodiment, the processing is performed in the same manner.
【0104】なお、自明なこととして、抽出された特徴
べクトルの成分数だけは400と増えている。
It is obvious that the number of extracted feature vector components is increased to 400.
【0105】従って、本実施例2によれば、高速に特徴
抽出した画像の特徴ベクトルを用いて、対象画像のおお
まかな位置情報も考慮に入れた類似画像の高速検索が可
能となる。
Therefore, according to the second embodiment, it is possible to perform a high-speed search for a similar image in consideration of rough position information of a target image by using a feature vector of an image whose features are extracted at a high speed.
【0106】(実施例3)本実施例3は、実施例1の類
似度計算手段5を、類似度の計算において各特徴量の寄
与を調節するための類似度計算係数を導入した類似度算
出手段及び、当該係数を装置使用者(ユーザ)の判断に
基づいて調節するための類似度算出係数調整手段で構成
し、装置使用者(ユーザ)の判断を考慮した類似画像の
検索の最適化(カスタマイズ化)を可能とするものであ
る。
(Embodiment 3) In the third embodiment, the similarity calculation means 5 of the first embodiment uses the similarity calculation coefficient for introducing the similarity calculation coefficient for adjusting the contribution of each feature in the calculation of the similarity. Means and a similarity calculation coefficient adjusting means for adjusting the coefficient based on the judgment of the apparatus user (user), and optimizing the search for similar images in consideration of the judgment of the apparatus user (user) ( Customization).
【0107】具体的には、図5に示すように、本実施例
3の類似度計算手段5では、類似度算出手段において特
徴べクトル抽出手段2より送られてくる対象画像の特徴
ベクトルを
Specifically, as shown in FIG. 5, the similarity calculating means 5 of the third embodiment uses the characteristic vector of the target image sent from the characteristic vector extracting means 2 in the similarity calculating means.
【0108】[0108]
【数6】 とし、参照ベクトル群処理手段3から送られてくる参照
画像の特徴ベクトルを
(Equation 6) And the feature vector of the reference image sent from the reference vector group processing means 3
【0109】[0109]
【数7】 (Equation 7)
【0110】としたときに、その二つのベクトル間の類
似度の計算に、各特徴量の寄与を調節するための類似度
計算係数
When calculating the similarity between the two vectors, the similarity calculation coefficient for adjusting the contribution of each feature amount
【0111】[0111]
【数8】 (Equation 8)
【0112】をあらたに導入し、類似度を次式Is newly introduced, and the similarity is calculated by the following equation.
【0113】[0113]
【数9】 (Equation 9)
【0114】より算出する。This is calculated from:
【0115】本実施例3の画像検索装置では、実施例1
と同様の参照べクトル群生成過程が終了した後に、あら
たに検索カスタマイズ化過程を設ける。
In the image retrieval device of the third embodiment, the first embodiment
After the reference vector group generation process similar to the above is completed, a search customization process is newly provided.
【0116】この検索カスタマイズ化過程においては、
ますカスタマイズ化する画像を対象画像データ獲得手段
4で獲得し、実施例1の対象画像検索過程と同様な流れ
で類似画像を検索する。
In the search customizing process,
Images to be further customized are obtained by the target image data obtaining means 4, and similar images are searched for in the same flow as the target image search process of the first embodiment.
【0117】この検索結果はDisplay8上に表示
されるが、ユーザが表示された類似画像に対して類似/
非類似の判断を下した結果が、その画像のアドレスと共
に類似度算出係数調節手段5bに入力される。
The search result is displayed on the display 8, and the user can select a similar / represented image from the displayed similar image.
The result of the dissimilarity determination is input to the similarity calculation coefficient adjusting means 5b together with the address of the image.
【0118】また、この類似度算出係数調節手段5bで
は、判定が下されたカスタマイズ用類似画像の特徴ベク
トルに関するデータの送信を参照べクトル群処理手段3
に要求すると共に、カスタマイズ用対象画像の特徴ベク
トルに関するデータの送信を特徴ベクトル抽出手段2に
要求し、さらに、類似度算出手段5aに現在の類似度算
出係数を送信するように要求する。
The similarity calculation coefficient adjusting means 5b refers to the transmission of data related to the feature vector of the determined similarity image for customization by referring to the vector group processing means 3b.
And requests the feature vector extraction means 2 to transmit data relating to the feature vector of the customizing target image, and further requests the similarity calculation means 5a to transmit the current similarity calculation coefficient.
【0119】そして、類似度算出係数調節手段5bに
は、それらのデータがそれぞれの手段2、3、5aより
送られてくる。
Then, those data are sent to the similarity calculation coefficient adjusting means 5b from the respective means 2, 3, 5a.
【0120】この類似度算出係数調節手段5bでは、そ
れらのデータがそろったで以下に説明する調節が行われ
て、類似度算出係数
In the similarity calculation coefficient adjusting means 5b, the adjustment described below is performed after the data are collected, and the similarity calculation coefficient
【0121】[0121]
【数10】 (Equation 10)
【0122】が決定される。Is determined.
【0123】本実施例3の類似度算出係数調節手段5b
では、カスタマイズ用参照画像の一つが選択され、その
特徴べクトルとカスタマイズ用対象画像の特徴ベクトル
間で、ベクトルの成分ごとの差が計算され、その差の最
大の成分に関する類似度算出係数とその差の最小の成分
に関する類似度算出係数が、類似/非類似の判断結果に
よって以下の表1のように調節される。
The similarity calculation coefficient adjusting means 5b of the third embodiment
In, one of the reference images for customization is selected, the difference between the feature vector of the feature vector and the feature vector of the target image for customization is calculated for each component of the vector, and the similarity calculation coefficient for the largest component of the difference and the similarity calculation coefficient are calculated. The similarity calculation coefficient for the minimum component of the difference is adjusted according to the similarity / dissimilarity determination result as shown in Table 1 below.
【0124】[0124]
【表1】 [Table 1]
【0125】ただし、Imax [ai |xi −ri |]は
ベクトル間の差の最大の成分を示し、Imin [ai |x
i −ri |]はベクトル間の差の最小の成分を示し、そ
の成分に関する係数ai を表1に基づいて調整する。
[0125] However, Imax [a i | x i -r i |] denotes the largest component of the difference between vectors, Imin [a i | x
i -r i |] denotes the smallest component of the difference between vectors, the coefficients a i for that component is adjusted based on Table 1.
【0126】また、sは1以下の正の実数、tは1以上
の正の実数なので、sのかかつている係数は係数を小さ
く、一方、tのかかっている係数は係数を大きくするこ
とになる。
Further, since s is a positive real number of 1 or less and t is a positive real number of 1 or more, a coefficient having a larger s has a smaller coefficient, while a coefficient having a t has a larger coefficient. .
【0127】この係数はさらに、This coefficient is
【0128】[0128]
【数11】 [Equation 11]
【0129】となるように正規化され、類似度算出手段
5aに送られる。
The result is normalized so as to be obtained and sent to the similarity calculating means 5a.
【0130】類似度算出手段5aでは、上述のようにし
て類似度算出係数調節手段5bで調節されたあらたな類
似度算出係数にもとづいてカスタマイズ用対象画像とカ
スタマイズ用参照画像すべての類似度が計算され、類似
度判定手段6に送られる。
The similarity calculating means 5a calculates the similarity of all of the customizing target image and the customizing reference image based on the new similarity calculating coefficient adjusted by the similarity calculating coefficient adjusting means 5b as described above. And sent to the similarity determination means 6.
【0131】そして、この類似度判定手段6での判定結
果が類似度算出係数調節手段5bに送られる。
The result of the determination by the similarity determining means 6 is sent to the similarity calculating coefficient adjusting means 5b.
【0132】この類似度算出係数調節手段5bでは、類
似度判定手段6での判定結果をもとに係数の調整の効果
が飽和するまで、別のカスタマイズ用参照画像を選択し
て上述の処理が繰り返される。
The similarity calculation coefficient adjusting means 5b selects another reference image for customization based on the judgment result of the similarity judgment means 6 until the effect of the coefficient adjustment is saturated, and performs the above processing. Repeated.
【0133】なお、s及びtについては、処理が進むに
したがって1に近づけると収束性が良い。
It should be noted that s and t have good convergence when approaching 1 as the processing proceeds.
【0134】この一連の操作を終了後、画像検索過程を
行い、再び類似画像を参照画像より選択し、もし気に入
らなければ再び同様の処理を繰り返せば良い。
After this series of operations is completed, an image search process is performed, and a similar image is selected again from the reference image. If the user does not like this, the same process may be repeated again.
【0135】以上が本実施例3の検索カスタマイズ化過
程の説明であるが、本実施例3のその他の部分について
は、実施例1と同様に構成されているので、本実施例3
によれば、実施例1の効果に加えて、ユーザの判断を考
慮した検索の最適化(カスタマイズ化)が可能となる。
The above is the description of the search customizing process of the third embodiment. Since other parts of the third embodiment are configured in the same manner as the first embodiment, the third embodiment is different from the third embodiment.
According to this, in addition to the effects of the first embodiment, it is possible to optimize the search (customization) in consideration of the user's judgment.
【0136】なお、本実施例3の係数の調整方法として
は、ニューラルネットワーク等種々の最適化方法が適応
できる。
As the method for adjusting the coefficients in the third embodiment, various optimization methods such as a neural network can be applied.
【0137】また、最適化によらずに、使用者が対象画
像検索過程で選択された類似画像の結果を判断してトラ
イ・アンド・エラーで係数を入力するようにしてももち
ろん良い。
[0137] Instead of the optimization, the user may determine the result of the similar image selected in the process of searching the target image and input the coefficient by trial and error.
【0138】さらに、幾つかの代表的な係数の組み合わ
せをあらかじめ用意しておき、それらの検索結果の中か
らユーザーが一番近いと判断した係数の組み合わせを初
期値として使用したり、他にもいろいろの変形が考えら
れる。
Further, some typical combinations of coefficients are prepared in advance, and a combination of coefficients determined by the user to be the closest among the search results is used as an initial value. Various deformations are possible.
【0139】[第2の実施形態]図6は、本発明による
画像検索装置の第2の実施形態の概念的な構成を示すブ
ロック図である。
[Second Embodiment] FIG. 6 is a block diagram showing a conceptual configuration of a second embodiment of the image search device according to the present invention.
【0140】図6に示すように、第2の実施形態による
画像検索装置は、参照画像データ獲得手段1と、特徴ベ
クトル抽出手段2と、参照ベクトル群処理手段3と、対
象画像データ獲得手段4と、特徴ベクトル分類手段9と
により構成されている。
As shown in FIG. 6, the image retrieval apparatus according to the second embodiment comprises a reference image data acquisition unit 1, a feature vector extraction unit 2, a reference vector group processing unit 3, and a target image data acquisition unit 4. And feature vector classification means 9.
【0141】そして、図6による画像検索装置では、参
照べクトル群を生成する過程と対象画像を検索する過程
を実行し、対象画像に類似のデータベース(DB)7上
から参照画像を選択して出力する場合の一形態を示して
いる。
The image retrieval apparatus shown in FIG. 6 executes a process of generating a reference vector group and a process of searching for a target image, and selects a reference image from a database (DB) 7 similar to the target image. An example of the case of outputting is shown.
【0142】第1の実施形態との違いは、参照ベクトル
群生成過程において、参照ベクトル群として、参照画像
の特徴ベクトルとアドレス以外に、特徴ベクトル分類手
段9での分類により付与したラベルも含めてテーブル化
する点と、画像検索過程において、参照ベクトルとの直
接比較ではなく特徴ベクトル分類手段9による対象画像
の特徴ベクトルの分類結果により、該当ラベルを持つ参
照画像を類似画像として間接的に選択する点である。
The difference from the first embodiment is that, in the reference vector group generation process, the reference vector group includes not only the feature vector and the address of the reference image but also the label assigned by the classification by the characteristic vector classification means 9. The reference image having the corresponding label is indirectly selected as a similar image based on the point to be tabulated and the result of classifying the feature vector of the target image by the feature vector classifying means 9 instead of the direct comparison with the reference vector in the image search process. Is a point.
【0143】具体的には、まず参照ベクトル群生成過程
においては、DB7上の参照画像のデータ及びそのデー
タの格納されているアドレス情報を、参照画像データ獲
得手段1によって装置内に取り込む。
Specifically, in the reference vector group generation process, the reference image data acquisition means 1 fetches the reference image data on the DB 7 and the address information where the data is stored into the apparatus.
【0144】取り込まれた参照画像のデータは、特徴ベ
クトル抽出手段2によってその特徴ベクトルが抽出さ
れ、この抽出された特徴ベクトルのデータが参照ベクト
ル群処理手段3に送られる。
The data of the taken-in reference image is extracted by the feature vector extracting means 2, and the extracted feature vector data is sent to the reference vector group processing means 3.
【0145】この特徴ベクトルは、さらに特徴ベクトル
分類手段9に順次送られて、ここで類似度に応じて分類
が行われる。
The feature vectors are sequentially sent to the feature vector classifying means 9 where classification is performed according to the similarity.
【0146】そして、この特徴ベクトル分類手段9での
分類結果が参照ベクトル群処理手段3に送り返される。
The result of classification by the feature vector classifying means 9 is sent back to the reference vector group processing means 3.
【0147】この参照ベクトル群処理手段3では、その
送り返された分類結果に応じたラベルと参照画像の特徴
ベクトルと参照画像データ獲得手段1によって取り込ま
れたアドレス情報とを統合した参照ベクトルを順次生成
し参照ベクトル群として格納する。
The reference vector group processing means 3 sequentially generates a reference vector obtained by integrating the label according to the returned classification result, the feature vector of the reference image, and the address information fetched by the reference image data obtaining means 1. And store it as a reference vector group.
【0148】次に、対象画像検索過程において、類似画
像を検索すべき対象画像のデータを対象画像獲得手段4
により装置内に取り込む。
Next, in the target image search process, the data of the target image for which a similar image is to be searched for
To be taken into the device.
【0149】取り込まれた対象画像のデータは、特徴ベ
クトル抽出手段2によつてその特徴ベクトルが抽出さ
れ、この抽出された特徴べクトルのデータが特徴ベクト
ル分類手段9に送られる。
The feature vector of the captured target image data is extracted by the feature vector extraction means 2, and the extracted feature vector data is sent to the feature vector classification means 9.
【0150】この特徴ベクトル分類手段9では、この対
象画像の特徴ベクトルを分類し、その分類結果を参照べ
クトル群処理手段3に送る。
The feature vector classifying means 9 classifies the feature vector of the target image, and sends the classification result to the reference vector group processing means 3.
【0151】この参照べクトル群処理手段3では、その
分類結果に応じたラベルと同一のラベルを持つ参照画像
を選択し、そのアドレスをDB7に送る。
The reference vector group processing means 3 selects a reference image having the same label as the label corresponding to the classification result, and sends its address to the DB 7.
【0152】この参照べクトル群処理手段3からDB7
に送られたアドレスを持つ参照画像のデータ(及び必要
があればそのアドレス)は順次外部機器に出力される。
The reference vector group processing means 3 to DB 7
The data (and, if necessary, the address) of the reference image having the address sent to the external device are sequentially output to the external device.
【0153】以下に、本第2の実施の形態に好適な実施
例を説明する。
An example suitable for the second embodiment will be described below.
【0154】(実施例4)図7は、本実施例4の概略的
な構成を示すブロック図である。
(Fourth Embodiment) FIG. 7 is a block diagram showing a schematic configuration of the fourth embodiment.
【0155】本実施例4は、図7に示すように、特徴べ
クトル抽出手段2の部分は従来技術に挙げた特開平9−
185713号公報に記載されている第4実施例の該当
部分の構成を、また特徴べクトル分類手段9は同様に特
開平9一258287号公報に記載されている第7実施
例の該当部分の構成を概略用いており、それ以外の構成
部分は図示していない装置全体を制御するコンピュータ
のハードウェア及びソフトウェアで構成されている。
In the fourth embodiment, as shown in FIG. 7, the feature vector extracting means 2 is similar to that disclosed in Japanese Unexamined Patent Publication No.
The configuration of the corresponding part of the fourth embodiment described in Japanese Patent Application Laid-Open No. 185713/185, and the feature vector classifying means 9 is the same as the configuration of the corresponding part of the seventh embodiment described in Japanese Patent Application Laid-Open No. Hei 9-1258287. The other components are configured by computer hardware and software for controlling the entire device (not shown).
【0156】まず、特徴ベクトル抽出手段2の部分を説
明する。
First, the part of the feature vector extracting means 2 will be described.
【0157】この特徴べクトル抽出手段2は、本発明の
実施例1の特徴抽出機能に色の特徴を抽出する機能を付
加したものであり、フィルタアレイの部分以外は実施例
1と同様の構成と作用を持つ。
The feature vector extracting means 2 is obtained by adding a function of extracting color features to the feature extracting function of the first embodiment of the present invention, and has the same configuration as that of the first embodiment except for the filter array. Has an effect.
【0158】色検出用のフィルタアレイ23aは2×2
の4種類の色フィルタからなり、空間光変調器22aの
直前に配置し、この各フィルタを通過したそれぞれの色
を有する4つの領域に対して、それぞれ実施例1と同様
な16種類の空間周波数フィルタからなるフィルタアレ
イ23bを作用させ、4つの色毎に16種類の計64種
類の特徴が抽出されるようになっている。
The filter array 23a for color detection is 2 × 2
Are disposed immediately before the spatial light modulator 22a, and 16 regions of the same spatial frequency as in the first embodiment are respectively applied to four regions having respective colors that have passed through the respective filters. A filter array 23b composed of filters is operated to extract a total of 64 features of 16 types for each of the four colors.
【0159】従って、レンズアレイ21b及び22d、
ディテクタアレイ24、フィルタアレイ23bは、いず
れも8×8の64多重構成になっている。
Therefore, the lens arrays 21b and 22d,
Each of the detector array 24 and the filter array 23b has an 8 × 8 64 multiplex configuration.
【0160】本実施例4の特徴べクトル分類手段9で
は、前述のように特開平9−258287号公報に記載
されている第7実施例で構成している2次元展開型の内
積演算光学系を有する類似性マッチング手段とほぼ同様
の構成で、ニューラルネットワーク(NN)を用いて分
類を行うようにしている。
In the feature vector classifying means 9 of the fourth embodiment, the two-dimensional expansion type inner product operation optical system constructed in the seventh embodiment described in JP-A-9-258287 as described above is used. The classification is performed using a neural network (NN) with substantially the same configuration as the similarity matching means having.
【0161】以下に、まず本実施例4で用いた自己組織
化特徴マップについて説明する。
First, the self-organizing feature map used in the fourth embodiment will be described.
【0162】この自己組織化特徴マップ(以下、SOM
と表記する)は、2次元に並ぶ素子群の層(以下、マッ
プ層と表記する)とデータを入力する入力層とから構成
されている。
The self-organizing feature map (hereinafter referred to as SOM)
) Is composed of a two-dimensionally arranged element group layer (hereinafter, referred to as a map layer) and an input layer for inputting data.
【0163】ここで、入力層はマップ層の全ての素子と
結合しており、入力データをマップ層の全ての素子に与
えることができる。
Here, the input layer is connected to all elements of the map layer, and input data can be given to all elements of the map layer.
【0164】なお、入力データは、スカラーでもべクト
ルでもかまわないが、ここではべクトル
The input data may be either a scalar or a vector.
【0165】[0165]
【数12】 (Equation 12)
【0166】とおくものとする。It is assumed that:
【0167】マップ層の素子i(iはマップ上の順番と
し、全素子数をk個とする。)は全て重みべクトル
The elements i in the map layer (where i is the order on the map and the total number of elements is k) are all weight vectors.
【0168】[0168]
【数13】 (Equation 13)
【0169】を持つことにする。[0169] Let's have
【0170】SOMのアルゴリズムは、入力ベクトルThe SOM algorithm is based on the input vector
【0171】[0171]
【数14】 [Equation 14]
【0172】と各素子の重みべクトルAnd the weight vector of each element
【0173】[0173]
【数15】 (Equation 15)
【0174】との類似性から更新すべき重みベクトルを
決定する<類似性マッチング>と、その重みべクトル
<Similarity matching> that determines a weight vector to be updated based on the similarity with
【0175】[0175]
【数16】 (Equation 16)
【0176】を入力ベクトルThe input vector
【0177】[0177]
【数17】 の方に近付ける<更新>とに分けられる。[Equation 17] <Update> to get closer to.
【0178】そして、両者の作用を繰り返すことによ
り、入力ベクトル
By repeating the operation of both, the input vector is obtained.
【0179】[0179]
【数18】 (Equation 18)
【0180】の分布を反映する重みベクトルWeight vector reflecting the distribution of
【0181】[0181]
【数19】 [Equation 19]
【0182】を自動的に生成するものである。Is generated automatically.
【0183】<類似性マッチング>と<更新>の具体的
な表式を以下に示す。
Specific expressions of <similarity matching> and <update> are shown below.
【0184】<類似性マッチング><Similarity matching>
【0185】[0185]
【数20】 (Equation 20)
【0186】<更新><Update>
【0187】[0187]
【数21】 (Equation 21)
【0188】ここで、Here,
【0189】[0189]
【数22】 (Equation 22)
【0190】Cはその距離が最も小さかった素子(勝利
素子)、Ncはその勝利素子Cのマップ層での近傍、α
(t)は正の定数、tは時刻を示す。
C is the element having the shortest distance (victory element), Nc is the neighborhood of the winning element C on the map layer, α
(T) is a positive constant, and t indicates time.
【0191】更新を繰り返しながら、Ncとα(t)の
大きさを徐々に小さくする。
While the updating is repeated, the magnitudes of Nc and α (t) are gradually reduced.
【0192】また、α(t)は勝利素子Cから離れるに
従い、小さくなるように選ぶこともできる。
Further, α (t) can be selected so as to become smaller as the distance from the winning element C increases.
【0193】また、類似性マッチングの部分は以下のよ
うに内積を用いてもよい。
The similarity matching part may use an inner product as follows.
【0194】[0194]
【数23】 (Equation 23)
【0195】なお、本実施例4では、SOMの素子数を
64に設定している。
In the fourth embodiment, the number of SOM elements is set to 64.
【0196】この場合、Cは内積値が最も大きかった素
子(勝利素子)となる。
In this case, C is the element having the largest inner product value (winning element).
【0197】参照べクトル群生成過程においては、参照
画像の特徴べクトルを入力ベクトルとして入力し、
(5)式に基づいて類似性マッチングにより勝利素子を
決定し、その勝利素子について(4)式に基づいて重み
べクトルを更新する処理を重みべクトルが安定するまで
順次繰り返せば、参照べクトルを64通りに分類するの
に最適な重みべクトルが自動的に生成される。
In the reference vector group generation process, the characteristic vector of the reference image is input as an input vector,
A winning element is determined by similarity matching based on the equation (5), and the process of updating the weight vector for the winning element based on the equation (4) is sequentially repeated until the weight vector is stabilized. Is automatically generated to classify the data into 64 types.
【0198】上記SOMを実行して特徴べクトルの分類
を行う特徴べクトル分類手段9は、より具体的には、対
象画像もしくは参照画像の特徴べクトル
The feature vector classifying means 9 for performing the above-described SOM to classify the feature vector is more specifically a feature vector of the target image or the reference image.
【0199】[0199]
【数24】 (Equation 24)
【0200】を参照べクトル群処理手段3もしくは特徴
べクトル抽出手段2より入力し、べクトルの各成分の値
に比例して発光する8×8で総計64個(i=64)の
2次元に配列されたLEDからなるLEDアレイ70
と、分類のために設定された前述のSOMの重みベクト
Is input from the reference vector group processing means 3 or the characteristic vector extraction means 2 and emits light in proportion to the value of each component of the vector, for a total of 64 2 × 8 (i = 64) two-dimensional Array 70 composed of LEDs arranged in a matrix
And the above-mentioned SOM weight vector set for classification
【0201】[0201]
【数25】 (Equation 25)
【0202】の値を、8×8のLED毎に、8×8で総
計64個(k=64)の2次元の領域に展開して透過率
の値として与えるための電気アドレス型で液晶製の空間
光変調器71と、この特徴べクトル
An electric address type liquid crystal display device for developing the value of 8 × 8 into a total of 64 (k = 64) two-dimensional areas of 8 × 8 for each 8 × 8 LED and giving the value as a transmittance value. Spatial light modulator 71 and its characteristic vector
【0203】[0203]
【数26】 (Equation 26)
【0204】と重みべクトルAnd the weight vector
【0205】[0205]
【数27】 [Equation 27]
【0206】の内積値Inner product value of
【0207】[0207]
【数28】 [Equation 28]
【0208】を、各LEDの強度と空間光変調器71の
各部分の透過率の積和された強度値として素子毎に算出
するため、それぞれの前側焦点面が空間光変調器71の
読み出し面と一致しさらにそれぞれの光軸が平行になる
ように配置されたレンズアレイ72aとその後側焦点面
が所定面と一致しさらにその光軸がレンズアレイの各レ
ンズの光軸と平行になるように配置されたレンズ72b
からなるレンズ系72と、算出された内積値に比例する
強度値を素子毎に検出するために当該所定面に配置され
た8×8で総計64個(k=64)の2次元配列のAD
変換器付きのディテクタアレイ73と、ディテクタアレ
イ73からの内積請のディジタル出力を入力し最大の内
積値の素子を類似度の最も大きい勝利素子としてその番
号を参照ベクトル群処理手段3及び重みベクトル更新手
段75に出力する勝利ベクトル決定手段74と、この勝
利素子の番号と参照画像の特徴べクトルの情報から、
(4)式の更新則にのっとって重みべクトルを更新し空
間光変調器71に表示する重みベクトル更新手段75と
で構成する。
Is calculated for each element as a product-sum intensity value of the intensity of each LED and the transmittance of each part of the spatial light modulator 71, so that each front focal plane is a read surface of the spatial light modulator 71. And the lens array 72a arranged so that the respective optical axes are parallel to each other and the rear focal plane coincides with a predetermined plane so that the optical axis is parallel to the optical axis of each lens of the lens array. Arranged lens 72b
And a total of 64 (k = 64) two-dimensional arrays of 8 × 8 (k = 64) arranged on the predetermined surface in order to detect an intensity value proportional to the calculated inner product value for each element.
A detector array 73 with a converter and a digital output of an inner product contract from the detector array 73 are input, and the element having the largest inner product value is regarded as the winning element having the highest similarity, and the number thereof is referred to as the reference vector group processing means 3 and the weight vector updating. From the victory vector determining means 74 output to the means 75 and the information of the feature vector of the reference image and the number of the winning element,
A weight vector updating means 75 for updating the weight vector according to the updating rule of the equation (4) and displaying the updated weight vector on the spatial light modulator 71 is provided.
【0209】なお、勝利ベクトル決定手段74と重みべ
クトル更新手段75は、図示していないコンピュータ内
のソフトウェアで実現している。
The victory vector determining means 74 and the weight vector updating means 75 are realized by software in a computer (not shown).
【0210】参照ベクトル群処理手段3は、参照べクト
ル群生成過程においては、特徴べクトル抽出手段2によ
り抽出された参照画像の特徴ベクトルをすべて入力保管
し、重みべクトルの更新が終了するまでこれを一つづつ
ランダムに特徴ベクトル分類手段7の求めに応じて当該
手段に送り、重みベクトルの更新が終了した時点でこの
重みベクトルを固定し、今一度すべての参照画像の特徴
ベクトルを順に特徴べクトル分類手段9に送り、そこか
ら返される分類結果である勝利素子の番号をラペルとし
て受け取り、当該参照画像の特徴べクトルと参照画像獲
得手段1より送られた参照画像のアドレス情報と統合し
て所定の形式の参照ベクトルを生成し、コンピュータ内
の所定のメモリ上に参照べクトル群として格納する機能
を有している。
In the reference vector group generation process, the reference vector group processing means 3 inputs and stores all the characteristic vectors of the reference image extracted by the characteristic vector extracting means 2 and keeps updating the weight vector until the updating of the weight vector is completed. The weight vectors are sent one by one to the means according to the request of the feature vector classifying means 7 at random, and when the updating of the weight vectors is completed, the weight vectors are fixed. It is sent to the vector classifying means 9 and receives the number of the winning element as a classification result returned from the vector classifying means 9 as a lapel, and integrates the characteristic vector of the reference image with the address information of the reference image sent from the reference image acquiring means 1. To generate a reference vector in a predetermined format and store it as a reference vector group on a predetermined memory in the computer.
【0211】本実施例4の参照べクトル群は、参照画像
の特徴べクトルとして16種類の特徴量がそれぞれ12
ビット、ラベルを8ビット、DB上のアドレスを16ビ
ットとしたので図8に示すテーブル形式のようになる。
In the reference vector group according to the fourth embodiment, each of the 16 types of feature vectors is 12 as the feature vector of the reference image.
Since the bits and labels are 8 bits and the address on the DB is 16 bits, the table format is as shown in FIG.
【0212】一方、対象画像検索過程においては、対象
画像データについて特徴ベクトル分類手段9より送られ
てくる勝利素子の番号のラベルを持つ参照ベクトルを適
宜選択し、そのアドレスをDB7に送つて、Displ
ay8等に画像データを出力するように要請する機能を
持つ。
On the other hand, in the target image search process, a reference vector having a label of the winning element number sent from the feature vector classifying means 9 for the target image data is appropriately selected, its address is sent to the DB 7, and the Disp.
It has a function of requesting output of image data to ay8 or the like.
【0213】その他の手段については、実施例1と同一
構成としている。
The other means have the same configuration as in the first embodiment.
【0214】以上の構成により、本実施例4による画像
検索装置の処理は以下のようになされる。
With the above configuration, the processing of the image retrieval device according to the fourth embodiment is performed as follows.
【0215】まず、参照べクトル群生成過程において、
DB7上の参照画像のデータ及びそのデータの格納され
ているアドレス情報を、参照画像データ獲得手段1によ
って装置内に取り込む。
First, in the process of generating a reference vector group,
The data of the reference image on the DB 7 and the address information where the data is stored are taken into the apparatus by the reference image data acquisition means 1.
【0216】取り込まれた参照画像のデータは、多重複
製光学系と多重フーリェ変換光学系をベースにし、2次
元画像の並列特徴抽出が可能な特徴べクトル抽出手段2
によつて、色毎の空間周波数に関する特徴ベクトルが高
速に抽出され、この抽出された特徴べクトルのデータが
参照べクトル群処理手段3に送られる。
The captured reference image data is based on a multi-replicating optical system and a multi-Fourier transform optical system, and is used as a feature vector extracting means 2 capable of extracting a parallel feature of a two-dimensional image.
Thus, the feature vector relating to the spatial frequency for each color is extracted at high speed, and the data of the extracted feature vector is sent to the reference vector group processing means 3.
【0217】参照べクトル群処理手段3では、特徴ベク
トル抽出手段2により抽出された参照画像の特徴べクト
ルをすべて入力して一時保管する。
In the reference vector group processing means 3, all the characteristic vectors of the reference image extracted by the characteristic vector extracting means 2 are inputted and temporarily stored.
【0218】この保管された参照画像の特徴ベクトル
は、一つづつランダムに特徴べクトル分類手段9の求め
に応じて当該手段に送られる。
The stored feature vectors of the reference image are sent to the feature vector classifying means 9 at random, one by one, according to the request.
【0219】特徴ベクトル分類手段9では、前述の如く
この入力された参照画像の特徴べクトルと重みベクトル
の内積が計算され最大の内積値を持つ素子が勝利素子と
して判断され、その情報をもとに重みベクトル更新手段
75で重みベクトルの更新が前述の如く行われる。
The feature vector classifying means 9 calculates the inner product of the feature vector of the input reference image and the weight vector as described above, determines the element having the largest inner product value as the winning element, and uses the information as the winning element. The weight vector is updated by the weight vector updating means 75 as described above.
【0220】更新が終了すると、特徴べクトル分類手段
9の重みベクトルは固定され、今一度すべての参照画像
の特徴べクトルが順に特徴べクトル分類手段9に送ら
れ、そこから返される分類結果である勝利素子の番号を
ラベルとして受け取り、前述の如くコンピュータ内の所
定のメモリ上に参照べクトル群として参照画像の特徴ベ
クトルとアドレス情報と共に格納する。
When the updating is completed, the weight vector of the feature vector classifying means 9 is fixed, and the feature vectors of all the reference images are once again sent to the feature vector classifying means 9 once again. The number of a certain winning element is received as a label, and stored as a reference vector group together with the feature vector of the reference image and the address information on a predetermined memory in the computer as described above.
【0221】次に、対象画像検索過程において、類似画
像を検索すべき対象画像のデータを対象画像獲得手段4
により装置内に取り込む。
Next, in the target image search process, the data of the target image for which a similar image is to be searched for
To be taken into the device.
【0222】取り込まれた対象画像のデータは、特徴べ
クトル抽出手段2によってその特徴ベクトルが抽出さ
れ、この抽出された特徴べクトルデータが特徴ベクトル
分類手段9に送られる。
The data of the captured target image is extracted by the feature vector extracting means 2, and the extracted feature vector data is sent to the feature vector classifying means 9.
【0223】この特徴べクトル分類手段9では、前述の
如く特徴べクトルと固定した重みべクトルとの内積が計
算され、勝利素子が決定され、その番号が参照べクトル
群処理手段3に返される。
The characteristic vector classifying means 9 calculates the inner product of the characteristic vector and the fixed weight vector as described above, determines a winning element, and returns the winning element to the reference vector group processing means 3. .
【0224】この参照べクトル群処理手段3では、この
番号に対応したラベルの付いている参照べクトル中の参
照画像のアドレスをDB7に送る。
The reference vector group processing means 3 sends the address of the reference image in the reference vector having a label corresponding to this number to the DB 7.
【0225】このDB7に送られたアドレスは、必要数
(例えば、ユーザが設定した数)だけ送られる。
The required number of addresses sent to the DB 7 (for example, the number set by the user) is sent.
【0226】DB7では、この送られたアドレスの参照
画像のデータ(及び必要が有ればそのアドレス情報と共
に)を類似画像として、例えば、Display8に出
力する。
The DB 7 outputs the data of the reference image of the transmitted address (and the address information if necessary) as a similar image to, for example, the Display 8.
【0227】以上説明したように、本実施例4の画像検
索装置を用いれば、実施例1の効果に加え、ニューラル
ネットワークを用いた特徴べクトル分類手段の導入によ
り、より細かな規準で類似画像を判断できるようにな
り、類似画像をより正確に検索できるようになる。
As described above, if the image retrieval apparatus of the fourth embodiment is used, in addition to the effect of the first embodiment, similar image can be obtained on a finer criterion by introducing feature vector classification means using a neural network. Can be determined, and a similar image can be searched more accurately.
【0228】また、分類結果のラベルとDB上の参照ベ
クトルのアドレスを関連付けてテーブル化した参照べク
トル群を予め生成し、検索過程において検索対象の画像
に付与されたラベルと同一のラベルを持つ参照画像のア
ドレスをこの参照ベクトル群から選択するだけで類似画
像の検索ができるようになるので、参照画像との逐次比
較による場合に比ベて高速に類似画像を検索することが
できる。
In addition, a reference vector group tabulated in association with the label of the classification result and the address of the reference vector on the DB is generated in advance, and has the same label as the label given to the image to be searched in the search process. Similar images can be searched for simply by selecting the address of the reference image from this reference vector group, so that similar images can be searched faster than by successive comparison with the reference image.
【0229】(第5実施例)本実施例5は、上述した実
施例4の特徴べクトル分類手段9中にカスタマイズ用特
徴ベクトル管理手段を設け、装置使用者(ユーザ)の判
断を考慮した類似画像の検索の最適化(カスタマイズ
化)を可能とするものである。
(Fifth Embodiment) In the fifth embodiment, a feature vector managing means for customization is provided in the feature vector classifying means 9 of the fourth embodiment described above, and the similarity considering the judgment of the apparatus user (user) is taken into consideration. This enables optimization (customization) of image retrieval.
【0230】本実施例5では、このカスタマイズ化のた
めに教師付き学習のニューラルネツトワークの一つであ
るLearning Vector Quantize
r(以下、LVQと表記する)を用いるようにしている
ので、このLVQについてはじめに説明する。
In the fifth embodiment, for this customization, one of the neural networks for supervised learning, Learning Vector Quantize, is used.
Since r (hereinafter, referred to as LVQ) is used, this LVQ will be described first.
【0231】このLVQも上述したSOMと同様に<類
似性マッチング>と<更新>の過程を持ち、<類似性マ
ッチング>はSOM同様(5)式に準じて行い、
This LVQ also has the steps of <similarity matching> and <update> similarly to the above-described SOM, and <similarity matching> is performed according to the equation (5) similarly to the SOM.
【0232】[0232]
【数29】 (Equation 29)
【0233】の内積演算結果のうち、演算結果が最大の
素子C1と2番目に大きい素子C2を勝利素子として求
めた上で、以下の(6)式のような更新を次の表2に示
した条件に従って行う。
Among the inner product operation results of the above, the element C1 having the largest operation result and the element C2 having the second largest operation result are obtained as the winning elements, and the update as shown in the following equation (6) is shown in Table 2 below. In accordance with the conditions set forth above.
【0234】[0234]
【数30】 [Equation 30]
【0235】ただし、Ciはi番目の勝利素子、tは時
刻、si (t)はその学習係数をそれぞれ示す。
Here, Ci indicates the ith winning element, t indicates time, and s i (t) indicates its learning coefficient.
【0236】[0236]
【表2】 [Table 2]
【0237】また、表2中でα(t)は正の定数、εは
1以下の正の定数を示し、*印の付いた係数は、以下の
条件がさらに満足された時のみ表2中の値での更新が行
われ、それ以外の場合は0となる。
In Table 2, α (t) is a positive constant, ε is a positive constant of 1 or less, and the coefficients marked with * are those in Table 2 only when the following conditions are further satisfied. Is updated, and otherwise becomes 0.
【0238】[0238]
【数31】 (Equation 31)
【0239】ここで、di は入力ベクトルHere, d i is the input vector
【0240】[0240]
【数32】 (Equation 32)
【0241】とi番目に近い重みベクトルAnd the i-th closest weight vector
【0242】[0242]
【数33】 [Equation 33]
【0243】との内積値であり、θはある閾値に設定す
る。
And θ is set to a certain threshold value.
【0244】次に、本実施例5の画像検索装置により、
このLVQを用いてカスタマイズ化を行う過程を説明す
る。
Next, the image retrieval apparatus of the fifth embodiment uses
The process of customizing using this LVQ will be described.
【0245】本実施例5の装置では、具体的には、図9
に示すように、実施例4と同様の参照ベクトル群生成過
程が終了した後に、あらたに検索カスタマイズ化過程を
設ける。
In the apparatus of the fifth embodiment, specifically, FIG.
As shown in (5), after the reference vector group generation process similar to that of the fourth embodiment is completed, a search customization process is newly provided.
【0246】この検索カスタマイズ化過程においては、
まず、カスタマイズ化する画像を対象画像データ獲得手
段4で獲得し、実施例4の対象画像検索過程と同様な流
れで類似画像を検索する。
In the search customizing process,
First, an image to be customized is obtained by the target image data obtaining means 4, and a similar image is searched for in the same flow as the target image search process of the fourth embodiment.
【0247】この検索結果はDisplay8上に表示
されるが、ユーザが表示された類似画像に対して類似/
非類似の判断を下した結果が、その画像のアドレスと共
に特徴べクトル分類手段9中のカスタマイズ用参照ベク
トル管理手段76に入力される。
The search result is displayed on the display 8, but the user can select a similar /
The result of the dissimilarity determination is input to the customizing reference vector management means 76 in the feature vector classification means 9 together with the address of the image.
【0248】このカスタマイズ用参照べクトル管理手段
76では、判定が下されたカスタマイズ用類似画像の特
徴べクトルに関するデータの送信を参照べクトル群処理
手段3に要求すると共に、カスタマイズ用対象画像の特
徴べクトルに関するデータの送信を特徴ベクトル抽出手
段2に要求し、それらのデータがそれぞれの手段2、3
より送られてくると、カスタマイズ用の特徴ベクトルと
して判定結果と共に保管される(対象画像の特徴べクト
ルは類似画像の一つとする)。
The customizing reference vector management means 76 requests the reference vector group processing means 3 to transmit data relating to the characteristic vector of the determined similarity image for customization, and the characteristic of the customizing target image. A request is made to the feature vector extraction means 2 to transmit data on the vector, and the data is transmitted to the respective means 2, 3
Then, it is stored together with the determination result as a feature vector for customization (the feature vector of the target image is one of similar images).
【0249】次に、保管されたカスタマイズ用特徴べク
トルのうちの任意の1つが選択され、そのデータ及び判
定結果がそれぞれLEDアレイ70及び重みベクトル更
新手段75に送られ、重みベクトルを表示した空間光変
調器71、レンズ系72及びディテクタアレイ73によ
り前実施例4と同様に内積値が計算され、勝利べクトル
決定手段74により勝利素子が決定され、その番号が重
みべクトル更新手段75に送られ、前実施例4と同様に
重みべクトルの更新が、前述の如く(6)式とその条件
を示した表2に従って行われる。
Next, any one of the stored customizing feature vectors is selected, the data and the determination result are sent to the LED array 70 and the weight vector updating means 75, respectively, and the space in which the weight vector is displayed is displayed. The inner product value is calculated by the optical modulator 71, the lens system 72, and the detector array 73 in the same manner as in the fourth embodiment, the victory element is determined by the victory vector determining means 74, and the number is transmitted to the weight vector updating means 75. As in the fourth embodiment, the weight vector is updated according to Equation (6) and Table 2 showing the conditions as described above.
【0250】この操作をカスタマイズ用特徴べクトルを
任意に選択しながら更新する重みベクトルが安定するま
で繰り返せば、ユーザの判定を考慮した画像分類用の重
みベクトルが生成される。
If this operation is repeated until the weight vector to be updated is stabilized while arbitrarily selecting the feature vector for customization, a weight vector for image classification in consideration of the judgment of the user is generated.
【0251】更新が終了すると、特徴ベクトル分類手段
9の重みベクトルは固定され、今一度すべての参照画像
の特徴べクトルが参照ベクトル群処理手段3より順に特
徴べクトル分類手段9に送られ、そこから返される分類
結果である内積値が最大の勝利素子の番号をラベルとし
て受け取り、前実施例4と同様に、コンピュータ内の所
定のメモリ上にあらたな参照べクトル群として参照画像
の特徴ベクトルとアドレス情報と共に格納される。
When the updating is completed, the weight vectors of the feature vector classifying means 9 are fixed, and the feature vectors of all the reference images are sent once again from the reference vector group processing means 3 to the feature vector classifying means 9. As a label, the number of the winning element having the largest inner product value as the classification result returned from is received as a label, and a feature vector of a reference image and a new reference vector group are stored on a predetermined memory in the computer in the same manner as in the fourth embodiment. Stored together with address information.
【0252】この一連の操作を終了後、画像検索過程を
行い、再び類似画像を参照画像より選択し、もし気に入
らなければ再び同様の処理を繰り返しても良い。
After this series of operations is completed, an image retrieval process is performed, a similar image is selected again from the reference image, and the same processing may be repeated again if the user does not like it.
【0253】以上が本実施例5による検索カスタマイズ
化過程の説明である。
The preceding is an explanation of the search customizing process according to the fifth embodiment.
【0254】本実施例5のその他の部分については、実
施例4と同様に構成している。
The other parts of the fifth embodiment are configured in the same manner as the fourth embodiment.
【0255】したがって、本実施例5によれば、前実施
例4の効果に加えて、ユーザの判断を考慮した検索の最
適化(カスタマイズ化)が可能となる。
Therefore, according to the fifth embodiment, in addition to the effects of the fourth embodiment, it is possible to optimize (customize) the search in consideration of the user's judgment.
【0256】なお、このカスタマイズ化にあたっては、
類似した素子同士を統合化することも可能であり、その
場合は素子の番号をラベルとして付与するのではなく、
統合化した素子同士に同じラベルが付与されるようにし
て、参照ベクトル群を生成すれば良い。
In this customization,
It is also possible to integrate similar elements, in which case, rather than assigning element numbers as labels,
The reference vector group may be generated such that the same label is assigned to the integrated elements.
【0257】また、カスタマイズ化にあたっては、幾つ
かの代表的な重みベクトルの組み合わせをあらかじめ用
意しておき、それらを用いた検索の結果の中からユーザ
ーが一番近いと判断した重みベクトルを初期値としてカ
スタマイズ化をする等、他にもいろいろの変形が与えら
れる。
For customization, some typical combinations of weight vectors are prepared in advance, and the weight vector determined to be closest to the user from the results of the search using them is initialized to the initial value. Various other modifications are provided, such as customization as.
【0258】以上の各実施例では、空間光変調器のドラ
イバやコントローラ、偏光子、検光子等、構成上必要で
あつても実施上当業者が容易に加えることが可能なもの
については、説明の煩雑さを避けるためにあえて省略し
てある。
In each of the embodiments described above, those which can be easily added by a person skilled in the art even if necessary in configuration, such as a driver and controller of a spatial light modulator, a polarizer, and an analyzer, will be described. Omitted to avoid complications.
【0259】以上が本発明の実施形態及び実施例の説明
であるが、実施形態及びその具体的説明である実施例に
は様々な変形例が考えられる。
The above is a description of the embodiments and examples of the present invention, but various modifications are conceivable for the embodiments and examples which are specific descriptions thereof.
【0260】特に、特徴ベクトル抽出手段、類似度計算
手段及び特徴ベクトル分類手段は、先行技術に挙げた他
発明の構成を利用して画像検索装置を構成しても良い。
In particular, the feature vector extracting means, the similarity calculating means, and the feature vector classifying means may constitute the image retrieval apparatus by utilizing the configuration of another invention described in the prior art.
【0261】また、特に、特徴ベクトル抽出手段で用い
た特徴抽出用のフィルタについては、本発明の説明にお
いては、空間周波数構造を抽出するフィルタとしての空
間周波数フィルタやGaborフイルタと、色空間での
特徴量を抽出する色フィルタ、あるいはそれらの組合せ
の場合を示したが、画像の特徴抽出の行えるフィルタ
(例えば、morphologicalフィルタ、Mo
ment抽出フィルタ等)ならどんなものでも適応可能
であり、色々な変形が考えられる。
In particular, in the description of the present invention, the filter for extracting a feature used in the feature vector extracting means is a spatial frequency filter or a Gabor filter as a filter for extracting a spatial frequency structure. Although the case of a color filter for extracting a feature amount or a combination thereof is shown, a filter (for example, a morphological filter, a Mo
(ment extraction filter etc.) can be applied, and various deformations can be considered.
【0262】また、特徴抽出の手段は単一の構成ではな
くとも良く、複数の特徴抽出を行う構成により得られた
特徴量を組み合わせて(例えば、画像処理ソフトウェア
で抽出した計測データや形態情報等)特徴べクトルとし
てももちろん良い。
The means for extracting features may not be a single configuration, but may be a combination of feature amounts obtained by a configuration for performing a plurality of feature extractions (for example, measurement data, morphological information, etc. extracted by image processing software). ) Of course it can be used as a characteristic vector.
【0263】さらに、フィルタを固定でなく、空間光変
調器等を用いることにより可変にして用いても良い。
Further, instead of using a fixed filter, the filter may be variably used by using a spatial light modulator or the like.
【0264】また、参照べクトル群処理手段の参照ベク
トル群は、コンピュータ内で格納する例を挙げたが、他
の部分、例えば、参照画像が格納されているデータベー
ス(DB)中に構成しても良い。
The reference vector group of the reference vector group processing means has been described as being stored in the computer. However, the reference vector group is configured in another part, for example, a database (DB) storing reference images. Is also good.
【0265】その場合、通常のデータベースの属性とし
てデータと共に記録しても良いし、さらにラベルの共通
のもの毎にクラスタ化しても良い。
In this case, it may be recorded together with data as an attribute of a normal database, or may be clustered for each common label.
【0266】また、このクラスタ化の場合のデータベー
スとしては、光学的な角度多重ホログラムを用いても良
い(例えば、”Electrical fixing
of1000 angle−multiplexed
holograms inSBN:75”,Jian
Ma et.al.,Optics Letters,
Vol.22,No.14,July 15 199
7,pp1116−1118参照)。
As a database in the case of this clustering, an optical angle multiplexed hologram may be used (for example, “Electrical fixing”).
of1000 angle-multiplexed
holograms in SBN: 75 ", Jian
Ma et. al. , Optics Letters,
Vol. 22, no. 14, July 15 199
7, pp1116-1118).
【0267】その場合、データべース上にラベル毎に一
定角度で参照画像を記録しておき、検索時に選択された
ラベルに対応した角度で読み出せば、より高速に類似画
像を出力できる。
In this case, a similar image can be output at a higher speed by recording a reference image at a fixed angle for each label on the database and reading the reference image at an angle corresponding to the label selected at the time of retrieval.
【0268】もちろん、波長多重や時間多重の場合も同
様の効果がある。
Of course, the same effect can be obtained in the case of wavelength multiplexing or time multiplexing.
【0269】さらに、本発明の実施例では、コンピュー
タ上のソフトウェアで多くの手段を実現しているが、ユ
ーザのニ−ズに合わせ、電気回路やフィールド・プログ
ラマブル・ゲート・アレイ等を用いたハードウェア化に
より高速化したり、ディジタル・シグナル・プロセッサ
等の高速ボードを用いて高速化したりしてももちろん良
いし、扱うデータ量の増加等により並列化による高速化
が有利になれば、光による処理や並列プロセッサによる
処理に変更しても良い。
Further, in the embodiments of the present invention, many means are realized by software on a computer. However, according to the needs of the user, hardware using an electric circuit, a field programmable gate array, or the like is used. It is of course possible to increase the speed by hardware, or to increase the speed by using a high-speed board such as a digital signal processor. Alternatively, the processing may be changed to processing by a parallel processor.
【0270】そして、上述したような実施の形態で示し
た本明細書には、特許請求の範囲に示した請求項1乃至
3以外にも、以下に付記1乃至付記11として示すよう
な発明が含まれている。
[0270] In the present specification described in the above embodiments, in addition to claims 1 to 3 described in the claims, the inventions shown below as supplementary notes 1 to 11 are provided. include.
【0271】(付記1) 上記特徴ベクトル抽出手段
は、上記対象画像データまたは上記参照画像データを画
像表示する画像表示手段と、 上記画像表示手段で表示
された画像を多重化する画像データ多重化手段と、上記
画像データ多重化手段で多重化された画像を、各々フー
リェ変換する多重フーリェ変換手段と、多重化された画
像に作用する、特徴量を抽出するためのフィルタアレイ
と、上記フィルタアレイの出力を検出するディテクタア
レイとを具備することを特徴とする請求項1または2記
載の画像検索装置。
(Supplementary Note 1) The feature vector extraction means includes an image display means for displaying the target image data or the reference image data as an image, and an image data multiplexing means for multiplexing the images displayed by the image display means. And a multiplexed Fourier transform unit for performing a Fourier transform on each of the images multiplexed by the image data multiplexing unit, a filter array for extracting a feature amount acting on the multiplexed image, and a filter array for the filter array. 3. The image retrieval apparatus according to claim 1, further comprising a detector array for detecting an output.
【0272】(付記2) 上記類似度計算手段は、各特
徴量の寄与度を調節可能に構成されていることを特徴と
する請求項1記載の画像検索装置。
(Supplementary note 2) The image retrieval apparatus according to claim 1, wherein the similarity calculating means is configured to be able to adjust the contribution of each feature amount.
【0273】(付記3) 上記特徴ベクトル分類手段
は、ニューラルネットを含むことを特徴とする請求項2
記載の画像検索装置。
(Appendix 3) The feature vector classification means includes a neural network.
The image search device according to the above.
【0274】(付記4) 上記特徴ベクトル分類手段に
含まれるニューラルネットは、教師付き学習を行なうよ
うに構成されていることを特徴とする付記3記載の画像
検索装置。
(Supplementary Note 4) The image retrieval apparatus according to Supplementary Note 3, wherein the neural network included in the feature vector classifying means is configured to perform supervised learning.
【0275】(付記5) 類似画像として選択される候
補である参照画像データ及びそのデータが格納されてい
るデータべース上のアドレス情報を獲得するための参照
画像データ獲得手段と、検索対象となる対象画像データ
を獲得する対象画像獲得手段と、前記参照画像もしくは
対象画像の画像データを取り込み、当該画像中の複数の
特徴量を抽出して、特徴べクトルを生成するための特徴
べクトル抽出手段と、前記参照画像の特徴べクトルと参
照画像のアドレス情報とを統合した参照べクトル群を生
成格納し、さらに類似画像と判定された参照画像のアド
レスを出力する参照べクトル群処理手段と、前記対象画
像の特徴べクトルと参照べク卜ル群処理手段中に格納さ
れている参照べクトル群から適宜選択された参照べクト
ル中の特徴べクトルとの類似度を計算する類似度計算手
段と、計算された類似度が所定の判定基準を満たしたか
どうかの判定をする類似度判定手段と、を具備すること
を特徴とする画像検索装置。
(Supplementary Note 5) Reference image data acquisition means for acquiring reference image data which is a candidate to be selected as a similar image and address information on a database where the data is stored; A target image obtaining means for obtaining target image data, and a feature vector extraction for taking in the image data of the reference image or the target image, extracting a plurality of feature amounts in the image, and generating a feature vector Means for generating and storing a reference vector group integrating the feature vector of the reference image and the address information of the reference image, and further outputting a reference vector group processing means for outputting an address of the reference image determined to be a similar image; A feature vector in the reference vector appropriately selected from the feature vector of the target image and the reference vector group stored in the reference vector group processing means. And a similarity determination unit configured to determine whether the calculated similarity satisfies a predetermined determination criterion.
【0276】(付記6) 類似画像として選択される候
補である参照画像データ及びそのデータが格納されてい
るデータべース上のアドレス情報を獲得するための参照
画像データ獲得手段と、検索対象となる対象画像データ
を獲得する対象画像獲得手段と、前記参照画像もしくは
対象画像の画像データを取り込み、当該画像中の複数の
特徴量を抽出して、それぞれの特徴べクトルを生成する
ための特徴べクトル抽出手段と、前記参照画像と対象画
像の特徴べクトルの分類を行う特徴べクトル分類手段
と、前記参照画像の特徴べクトルと参照画像のアドレス
情報と分類されたラベルを統合した参照べクトル群を生
成格納し、さらに対象画像のラべルと同一ラベルの参照
画像のアドレスを出力する参照べクトル群処理手段と、
を具備することを特徴とする画像検索装置。
(Supplementary Note 6) Reference image data acquisition means for acquiring reference image data which is a candidate to be selected as a similar image and address information on a database in which the data is stored; A target image acquiring means for acquiring target image data, and a feature base for taking in the image data of the reference image or the target image, extracting a plurality of feature amounts in the image, and generating respective feature vectors. Vector extraction means, feature vector classification means for classifying feature vectors of the reference image and the target image, and a reference vector obtained by integrating the feature vectors of the reference image, the address information of the reference image, and the classified labels. A reference vector group processing means for generating and storing a group, and further outputting an address of a reference image having the same label as a label of the target image;
An image search device comprising:
【0277】(付記7) 前記特徴ベクトル抽出手段
は、処理すべき参照画像データと対象画像データを系内
に入力するための画像入力表示手段と、この画像入力表
示手段によって入力された画像データを多重化するため
の画像データ多重化手段と、この画像データ多重化手段
によって多重化された画像データからその多重度分だけ
並列的にフーリェ変換を行う多重フーリェ変換手段と、
この多重フーリェ変換手段によりフーリェ変換されたそ
れぞれの画像から抽出すべき特徴量を抽出するためのフ
イルタアレイと、このフイルタアレイによって抽出され
たそれぞれの特徴量を検出するためのディテクタアレイ
と、を具備することを特徴とする付記5または6記載の
画像検索装置。
(Supplementary Note 7) The feature vector extracting means includes: an image input display means for inputting reference image data to be processed and target image data into the system; and an image input means provided by the image input display means. Image data multiplexing means for multiplexing, multiplexed Fourier transform means for performing Fourier transform in parallel from the image data multiplexed by the image data multiplexing means by the degree of multiplexing,
A filter array for extracting a feature to be extracted from each image Fourier-transformed by the multiplex Fourier transform means, and a detector array for detecting each feature extracted by the filter array are provided. 7. The image retrieval device according to claim 5, wherein
【0278】(付記8) 前記特徴ベクトル抽出手段
は、処理すべき参照画像データと対象画像データを系内
に入力するための画像入力表示手段と、この画像入力表
示手段によって入力された画像データを多重化するため
の画像データ多重化手段と、この画像データ多重化手段
によって多重化された画像データからその多重度分だけ
並列的にフーリェ変換を行う多重フーリェ変換手段と、
この多重フーリェ変換手段によりフーリェ変換された画
像をその多重度分だけ並列的に逆フーリェ変換するため
の多重度分のレンズからなる多重逆フーリェ変換手段
と、この多重逆フーリェ変換手段によってその多重度分
だけ並列的に逆フーリェ変換されたそれぞれの画像から
抽出すべき特徴量を抽出するためのフィルターアレイ
と、このフイルタアレイによって抽出されたそれぞれの
特徴を検出するためのディテクタアレイとで構成するこ
とを特徴とする、付記5または6記載の画像検索装置。
(Supplementary Note 8) The feature vector extracting means includes an image input / display means for inputting reference image data to be processed and target image data into the system, and an image data input by the image input / display means. Image data multiplexing means for multiplexing, multiplexed Fourier transform means for performing Fourier transform in parallel from the image data multiplexed by the image data multiplexing means by the degree of multiplexing,
Multiple inverse Fourier transform means comprising lenses of multiple degrees for inversely Fourier transforming the image Fourier transformed in parallel by the multiple Fourier transform means by the multiple degree, and the multiplicity by the multiple inverse Fourier transform means. A filter array for extracting a feature to be extracted from each image subjected to inverse Fourier transform in parallel by an amount, and a detector array for detecting each feature extracted by the filter array. 7. The image search device according to claim 5, wherein
【0279】(付記9) 前記類似度計算手段は、類似
度の計算において各特徴量の寄与を調節するための類似
度計算係数を導入した類似度算出手段と、当該係数を装
置使用者の判断に基づいて調節するための類似度算出係
数調整手段と、を具備することを特徴とする付記5記載
の画像検索装置。 (付記10) 前記特徴ベクトル分
類手段は、ニューラルネットワークを用いて構成するこ
とを特徴とする付記6記載の画像検索装置。
(Supplementary Note 9) The similarity calculation means includes a similarity calculation means for introducing a similarity calculation coefficient for adjusting the contribution of each feature in the calculation of the similarity, and the similarity calculation means determines the coefficient by the apparatus user. The image retrieval apparatus according to claim 5, further comprising: a similarity calculation coefficient adjusting means for adjusting based on the information. (Supplementary Note 10) The image retrieval apparatus according to Supplementary Note 6, wherein the feature vector classifying unit is configured using a neural network.
【0280】(付記11) 前記特徴ベクトル分類手段
に用いられるニューラルネットワークの重みベクトル
を、カスタマイズ用特徴ベクトル管理手段を設け、装置
使用者の判断に基づいた教師付き学習により行うように
したことを特徴とする付記6記載の画像検索装置。
(Supplementary Note 11) A feature vector managing means for customizing the neural network used for the feature vector classifying means is provided by supervised learning based on the judgment of the apparatus user. 6. The image search device according to claim 6, wherein
【0281】[0281]
【発明の効果】以上詳細に説明したように、本発明の画
像検索装置は、従来非常に時間のかかっていた2次元画
像の特徴抽出が、多重光学系を用いた特徴ベクトル抽出
手段により並列同時に高速に求められるようになったの
で、また類似画像の検索時に参照し類似度を計算する参
照画像を、生の画像ではなく、予め、特徴べクトル抽出
手段により抽出し、参照ベクトル群処理手段により生成
し別途テーブル化したデータ量の少ない特徴べクトルに
より行うようにしたので、入力された画像情報に類似の
画像情報を高速かつ高精度に検索する画像検索装置を提
供することが可能となる。
As described above in detail, in the image retrieval apparatus of the present invention, feature extraction of a two-dimensional image, which has conventionally taken a very long time, can be performed simultaneously in parallel by feature vector extracting means using a multiplex optical system. Since it can be obtained at high speed, a reference image for calculating similarity by referring to a similar image when searching is not a raw image, but is extracted in advance by a feature vector extracting unit, and a reference vector group processing unit Since the processing is performed using a feature vector having a small amount of data generated and separately tabulated, it is possible to provide an image search device that searches for image information similar to input image information at high speed and with high accuracy.
【0282】また、本発明の別の画像検索装置は、さら
に上記効果に加え、ニューラルネットワークを用いた特
徴ベクトル分類手段の導入により、より細かな規準で類
似画像を判断できるようになり、類似画像をより正確に
検索することができる。
Further, in addition to the above-described effects, another image retrieval apparatus of the present invention can determine a similar image based on finer criteria by introducing a feature vector classifying means using a neural network. Can be searched more accurately.
【0283】また、本発明の画像検索装置は、分類結果
のラベルとデータべース(DB)上の参照べクトルのア
ドレスを関連付けてテーブル化した参照ベクトル群を、
予め、生成し、検索過程において検索対象の画像に付与
されたラベルと同一のラベルを持つ参照画像のアドレス
をこの参照べクトル群から選択するだけで類似画像の検
索ができるようになつたため、参照画像との逐次比較に
よる場合に比べてより高速に類似画像を検索することが
できる。
Further, the image retrieval apparatus of the present invention provides a reference vector group in which the labels of the classification results are associated with the addresses of the reference vectors on the database (DB) and are tabulated to form a table.
A similar image can be searched by simply selecting an address of a reference image having the same label as the label assigned to the image to be searched in the search process in advance from the reference vector group. Similar images can be searched faster than in the case of successive comparison with images.
【0284】この場合、本発明の画像検索装置は、特徴
べクトル同士を比較して類似度を判断するのではなく、
予め、特徴ベクトルを分類して、その分類結果をラベル
情報として持っていることにより、より高速に類似画像
を検索することができるようになる。
In this case, the image retrieval apparatus of the present invention does not judge the similarity by comparing the characteristic vectors,
By classifying feature vectors in advance and having the classification result as label information, it becomes possible to search for similar images more quickly.
【0285】また、本発明の画像検索装置では、カスタ
マイズ用の手段を導入したので、さらにユーザの判断を
考慮した検索の最適化が可能となる。
Further, in the image search device of the present invention, a means for customization is introduced, so that the search can be further optimized in consideration of the judgment of the user.
【図面の簡単な説明】[Brief description of the drawings]
【図1】図1は、本発明による画像検索装置の第1の実
施形態の概念的な構成を示すブロック図である。
FIG. 1 is a block diagram showing a conceptual configuration of a first embodiment of an image search device according to the present invention.
【図2】図2は、実施例1の概略的な構成を示すブロッ
ク図である。
FIG. 2 is a block diagram illustrating a schematic configuration according to the first embodiment;
【図3】図3は、実施例1の参照べクトル群をテーブル
形式として示す図である。
FIG. 3 is a diagram illustrating a reference vector group according to the first embodiment in a table format;
【図4】図4の(a)は実施例2の概略的な構成を示す
ブロック図であり、図4の(b)は図4の(a)中のデ
ィテクタアレイを詳細に示す図である。
4A is a block diagram illustrating a schematic configuration of a second embodiment, and FIG. 4B is a diagram illustrating a detector array in FIG. 4A in detail; .
【図5】図5は、実施例3の概略的な構成を示すブロッ
ク図である。
FIG. 5 is a block diagram illustrating a schematic configuration of a third embodiment;
【図6】図6は、本発明による画像検索装置の第2の実
施形態の概念的な構成を示すブロック図である。
FIG. 6 is a block diagram showing a conceptual configuration of a second embodiment of the image search device according to the present invention.
【図7】図7は、実施例4の概略的な構成を示すブロッ
ク図である。
FIG. 7 is a block diagram illustrating a schematic configuration according to a fourth embodiment;
【図8】図8は、実施例4の参照べクトル群をテーブル
形式として示す図である。
FIG. 8 is a diagram illustrating a reference vector group according to a fourth embodiment in a table format;
【図9】図9は、実施例5の概略的な構成を示すブロッ
ク図である。
FIG. 9 is a block diagram illustrating a schematic configuration of a fifth embodiment;
【符号の説明】[Explanation of symbols]
1…参照画像データ獲得手段、 2…特徴ベクトル抽出手段、 3…参照べクトル群処理手段、 4…対象画像データ獲得手段、 5…類似度計算手段、 6…類似度判定手段、 7…データベース(DB)、 8…表示器(Display)、 9…特徴ベクトル分類手段、 20a…空間光変調器、 20b…光束、 20…画像入力表示手段、 21a…レンズ、 22a…空間光変調器、 21b…レンズアレイ、 21…画像データ多重化手段、 22b…コヒーレント光束、 22c…偏光ビームスプリッタ、 22d…フーリェ変換レンズアレイ、 22…多重フーリェ変換手段、 23、23a、23b…フィルタアレイ、 24…ディテクタアレイ、 5b…類似度算出係数調節手段、 5a…類似度算出手段、 71…空間光変調器、 72a…レンズアレイ、 72b…レンズ、 72…レンズ系、 73…ディテクタアレイ、 74…勝利ベクトル決定手段、 75…重みベクトル更新手段、 76…カスタマイズ用参照ベクトル管理手段。 DESCRIPTION OF SYMBOLS 1 ... Reference image data acquisition means, 2 ... Feature vector extraction means, 3 ... Reference vector group processing means, 4 ... Target image data acquisition means, 5 ... Similarity calculation means, 6 ... Similarity determination means, 7 ... Database ( DB), 8 Display (display), 9 Feature vector classification means, 20a Spatial light modulator, 20b Light flux, 20 Image input display means, 21a Lens, 22a Spatial light modulator, 21b Lens Array 21: image data multiplexing means 22b: coherent light beam 22c: polarization beam splitter 22d: Fourier transform lens array 22, 22: multiple Fourier transform means 23, 23a, 23b: filter array, 24: detector array, 5b ... Similarity calculation coefficient adjusting means 5a ... Similarity calculation means 71 ... Spatial light modulator 72a ... Lens array A, 72b: lens, 72: lens system, 73: detector array, 74: victory vector determining means, 75: weight vector updating means, 76: reference vector management means for customization.
─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成11年9月8日(1999.9.8)[Submission date] September 8, 1999 (1999.9.8)
【手続補正1】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0120[Correction target item name] 0120
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【0120】この類似度算出係数調節手段5bでは、そ
れらのデータがそろったところで以下に説明する調節が
行われて、類似度算出係数
In the similarity calculation coefficient adjusting means 5b, the adjustment described below is performed when the data is completed, and the similarity calculation coefficient
【手続補正2】[Procedure amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0210[Correction target item name]
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【0210】参照ベクトル群処理手段3は、参照べクト
ル群生成過程においては、特徴べクトル抽出手段2によ
り抽出された参照画像の特徴ベクトルをすべて入力保管
し、重みべクトルの更新が終了するまでこれを一つづつ
ランダムに特徴ベクトル分類手段の求めに応じて当該
手段に送り、重みベクトルの更新が終了した時点でこの
重みベクトルを固定し、今一度すべての参照画像の特徴
ベクトルを順に特徴べクトル分類手段9に送り、そこか
ら返される分類結果である勝利素子の番号をラルとし
て受け取り、当該参照画像の特徴べクトルと参照画像獲
得手段1より送られた参照画像のアドレス情報と統合し
て所定の形式の参照ベクトルを生成し、コンピュータ内
の所定のメモリ上に参照べクトル群として格納する機能
を有している。
In the reference vector group generation process, the reference vector group processing means 3 inputs and stores all the characteristic vectors of the reference image extracted by the characteristic vector extracting means 2 and keeps updating the weight vector until the updating of the weight vector is completed. These are sent one by one to the means according to the request of the feature vector classifying means 9 at random, and when the updating of the weight vectors is completed, the weight vectors are fixed. base feed the vector classifying means 9 receives a number of winning element is the classification results returned therefrom as La bell, and the address information of the reference image sent from the reference image acquisition unit 1, wherein base vector of the reference image It has a function of generating a reference vector of a predetermined format by integrating and storing it as a reference vector group on a predetermined memory in the computer.
【手続補正3】[Procedure amendment 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0211[Correction target item name] 0211
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【0211】本実施例4の参照べクトル群は、参照画像
の特徴べクトルとして64種類の特徴量がそれぞれ12
ビット、ラベルを8ビット、DB上のアドレスを16ビ
ットとしたので図8に示すテーブル形式のようになる。
In the reference vector group according to the fourth embodiment, 64 kinds of feature amounts are 12 as feature vectors of the reference image, respectively.
Since the bits and labels are 8 bits and the address on the DB is 16 bits, the table format is as shown in FIG.
【手続補正4】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0279[Correction target item name] 0279
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【0279】(付記9) 前記類似度計算手段は、類似
度の計算において各特徴量の寄与を調節するための類似
度計算係数を導入した類似度算出手段と、当該係数を装
置使用者の判断に基づいて調節するための類似度算出係
数調整手段と、を具備することを特徴とする付記5記載
の画像検索装置。(付記10) 前 記特徴ベクトル分類手段は、ニューラ
ルネットワークを用いて構成することを特徴とする付記
6記載の画像検索装置。
(Supplementary Note 9) The similarity calculation means includes a similarity calculation means for introducing a similarity calculation coefficient for adjusting the contribution of each feature in the calculation of the similarity, and the similarity calculation means determines the coefficient by the apparatus user. The image retrieval apparatus according to claim 5, further comprising: a similarity calculation coefficient adjusting means for adjusting based on the information. (Supplementary Note 10) before Symbol feature vector classifying means, the image retrieval apparatus according to Supplementary Note 6, wherein the configuring using a neural network.
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2K002 AA01 AB10 CA14 5B075 ND06 NK06 NR12 PQ02 PR06 QM08 5L096 DA02 FA23 GA34 GA49 GA55 JA03 JA11 KA09 9A001 BB03 EE02 EE05 FF03 GG03 HH06 HH23 HH27 JJ25 JJ27 KK42 KK56  ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 2K002 AA01 AB10 CA14 5B075 ND06 NK06 NR12 PQ02 PR06 QM08 5L096 DA02 FA23 GA34 GA49 GA55 JA03 JA11 KA09 9A001 BB03 EE02 EE05 FF03 GG03 HH06 HH23 HH27 JJ25 KK27

Claims (3)

    【特許請求の範囲】[Claims]
  1. 【請求項1】 対象画像に類似する画像を、複数の参照
    画像データが格納された参照画像データベースより検索
    する画像検索装置であり、 上記対象画像データを獲得する対象画像データ獲得手段
    と、 上記参照画像データベースより、参照画像データとその
    アドレス情報を獲得する参照画像データ獲得手段と、 上記対象画像データまたは上記参照画像データより、複
    数の特徴量を抽出して特徴べクトルを生成する特徴ベク
    トル抽出手段と、 上記参照画像データ獲得手段によって獲得された複数の
    参照画像データに対して、各参照画像データ毎に上記特
    徴ベクトル抽出手段で抽出された特徴べクトルとこの参
    照画像のアドレス情報を統合して参照ベクトルをつく
    り、参照べクトル群を生成する参照ベクトル群処理手段
    と、 上記対象画像データ獲得手段によって獲得された対象画
    像データより上記特徴ベクトル抽出手段で抽出された特
    徴べクトルと、上記参照ベクトル群より選択された参照
    画像データの特徴べクトルとの類似度を計算する類似度
    計算手段と、 上記類似度計算手段で計算された類似度を所定の基準と
    比較する類似度判定手段と、 上記類似度判定手段で類似していると判断された画像の
    アドレス情報を、上記参照ベクトル群より取り出す手段
    と、 を具備することを特徴とする画像検索装置。
    1. An image retrieval apparatus for retrieving an image similar to a target image from a reference image database storing a plurality of reference image data, the target image data obtaining means for obtaining the target image data, and the reference Reference image data acquisition means for acquiring reference image data and its address information from an image database; Feature vector extraction means for extracting a plurality of feature amounts from the target image data or the reference image data to generate a feature vector And integrating the feature vector extracted by the feature vector extracting unit and the address information of the reference image for each of the plurality of reference image data acquired by the reference image data acquiring unit. A reference vector group processing means for generating a reference vector and generating a reference vector group; A feature vector extracted by the feature vector extracting means from the target image data obtained by the means, and a similarity calculating means for calculating a similarity between the feature vector of the reference image data selected from the reference vector group; A similarity determining unit that compares the similarity calculated by the similarity calculating unit with a predetermined reference; and address information of an image determined to be similar by the similarity determining unit, based on the reference vector group. An image retrieval device, comprising: a retrieval unit.
  2. 【請求項2】 対象画像に類似する画像を、複数の参照
    画像データが格納された参照画像データベースより検索
    する画像検索装置であり、 上記対象画像データを獲得する対象画像データ獲得手段
    と、 上記参照画像データベースより、参照画像データとその
    アドレス情報を獲得する参照画像データ獲得手段と、 上記対象画像データまたは上記参照画像データより、複
    数の特徴量を抽出して特徴べクトルを生成する特徴べク
    トル抽出手段と、 上記特徴ベクトルを分類する特徴べクトル分類手段と、 上記参照画像データ獲得手段によって獲得された複数の
    参照画像データに対して、各参照画像データ毎に上記特
    徴ベクトル分類手段の分類結果に基づくラベル情報とこ
    の参照画像のアドレス情報を統合して参照ベクトルをつ
    くり、参照ベクトル群を生成する参照ベクトル群処理手
    段と、 上記対象画像データ獲得手段によって獲得された対象画
    像データの上記分類手段の分類結果に基づくラベル情報
    と、同じラベル情報をもつ参照画像データのアドレス情
    報を上記参照べクトル群より取り出す手段と、 を具備することを特徴とする画像検索装置。
    2. An image retrieval apparatus for retrieving an image similar to a target image from a reference image database storing a plurality of reference image data, the target image data acquiring means for acquiring the target image data, Reference image data acquisition means for acquiring reference image data and its address information from an image database; and feature vector extraction for generating a feature vector by extracting a plurality of feature amounts from the target image data or the reference image data Means, a feature vector classifying means for classifying the feature vector, and a plurality of reference image data obtained by the reference image data obtaining means, for each reference image data, a classification result of the feature vector classifying means. A reference vector is created by integrating the label information based on The reference vector group processing means to generate, the label information based on the classification result of the classification means of the target image data acquired by the target image data acquisition means, and the address information of the reference image data having the same label information are referred to by the above reference. An image retrieval apparatus, comprising: means for extracting from a vector group.
  3. 【請求項3】 上記特徴べクトル抽出手段は、 上記対象画像データまたは上記参照画像データを画像表
    示する画像表示手段と、 上記画像表示手段で表示された画像を多重化する画像デ
    ータ多重化手段と、 上記画像データ多重化手段で多重化された画像を、各々
    フーリェ変換する多重フーリェ変換手段と、 上記多重フーリェ変換手段でフーリェ変換された各画像
    を逆フーリェ変換する多重逆フーリェ変換手段と、 上記画像データ多重化手段で多重化された画像に作用す
    る、特徴量を抽出するためのフィルタアレイと、 上記フィルタアレイの出力を検出するデイテクタアレイ
    と、 を具備することを特徴とする請求項1または2記載の画
    像検索装置。
    3. An image display means for displaying the target image data or the reference image data as an image, and an image data multiplexing means for multiplexing an image displayed by the image display means. A multiplexed Fourier transform unit for Fourier-transforming the images multiplexed by the image data multiplexing unit; 2. The image processing apparatus according to claim 1, further comprising: a filter array that operates on the image multiplexed by the image data multiplexing unit and extracts a characteristic amount; and a detector array that detects an output of the filter array. Or the image search device according to 2.
JP22431099A 1999-08-06 1999-08-06 Image retrieving device Withdrawn JP2001052175A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22431099A JP2001052175A (en) 1999-08-06 1999-08-06 Image retrieving device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22431099A JP2001052175A (en) 1999-08-06 1999-08-06 Image retrieving device

Publications (1)

Publication Number Publication Date
JP2001052175A true JP2001052175A (en) 2001-02-23

Family

ID=16811766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22431099A Withdrawn JP2001052175A (en) 1999-08-06 1999-08-06 Image retrieving device

Country Status (1)

Country Link
JP (1) JP2001052175A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271923A (en) * 2002-03-15 2003-09-26 Sony Corp Recorder and recording method, and robot device
JP2004192156A (en) * 2002-12-09 2004-07-08 Olympus Corp Image retrieval program, storage medium storing the program, image retrieval system and image retrieval method
EP1482428A2 (en) * 2003-05-30 2004-12-01 Seiko Epson Corporation Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
US7136542B2 (en) 2002-01-30 2006-11-14 Fuji Photo Film Co., Ltd. Image retrieval method
JP2010271152A (en) * 2009-05-21 2010-12-02 Kyushu Institute Of Technology Shape estimating system, photographing device, shape estimation method, program and recording medium
JP2015142902A (en) * 2013-12-26 2015-08-06 住友電気工業株式会社 Regeneration filtration module, regeneration device of used alkaline degreasing liquid and regeneration method of used alkaline degreasing liquid

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136542B2 (en) 2002-01-30 2006-11-14 Fuji Photo Film Co., Ltd. Image retrieval method
JP2003271923A (en) * 2002-03-15 2003-09-26 Sony Corp Recorder and recording method, and robot device
US7216112B2 (en) 2002-03-15 2007-05-08 Sony Corporation Memory system, memory method, and robotic apparatus
JP2004192156A (en) * 2002-12-09 2004-07-08 Olympus Corp Image retrieval program, storage medium storing the program, image retrieval system and image retrieval method
EP1482428A2 (en) * 2003-05-30 2004-12-01 Seiko Epson Corporation Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
EP1482428A3 (en) * 2003-05-30 2006-01-11 Seiko Epson Corporation Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
CN100357944C (en) * 2003-05-30 2007-12-26 精工爱普生株式会社 Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
US7440638B2 (en) 2003-05-30 2008-10-21 Seiko Epson Corporation Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
JP2010271152A (en) * 2009-05-21 2010-12-02 Kyushu Institute Of Technology Shape estimating system, photographing device, shape estimation method, program and recording medium
JP2015142902A (en) * 2013-12-26 2015-08-06 住友電気工業株式会社 Regeneration filtration module, regeneration device of used alkaline degreasing liquid and regeneration method of used alkaline degreasing liquid

Similar Documents

Publication Publication Date Title
Liu et al. Learning to propagate labels: Transductive propagation network for few-shot learning
Schlegl et al. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery
US20170351952A1 (en) Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
Chang et al. Unsupervised transfer learning via multi-scale convolutional sparse coding for biomedical applications
Hong et al. Graph convolutional networks for hyperspectral image classification
CN107679250B (en) Multi-task layered image retrieval method based on deep self-coding convolutional neural network
Zeng et al. Traffic sign recognition using kernel extreme learning machines with deep perceptual features
CN106096561B (en) Infrared pedestrian detection method based on image block deep learning features
US10691952B2 (en) Adapting to appearance variations when tracking a target object in video sequence
US9424277B2 (en) Methods and apparatus for automated true object-based image analysis and retrieval
KR20190072569A (en) Diagnostic systems and methods for in-depth learning models configured for semiconductor applications
US10510146B2 (en) Neural network for image processing
Pękalska et al. Prototype selection for dissimilarity-based classifiers
Li et al. Semantic integration in heterogeneous databases using neural networks
CA2786727C (en) Joint embedding for item association
Phillips Matching pursuit filters applied to face identification
CN109690749B (en) Convolutional neural network based mode selection and defect classification for image fusion
US7929775B2 (en) System and method for recognition in 2D images using 3D class models
US9213885B1 (en) Object recognizer and detector for two-dimensional images using Bayesian network based classifier
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
Yao et al. Deep semantic-preserving and ranking-based hashing for image retrieval.
US6778705B2 (en) Classification of objects through model ensembles
CA2717612C (en) Fingerprint representation using gradient histograms
Galleguillos et al. Context based object categorization: A critical survey
US7366352B2 (en) Method and apparatus for performing fast closest match in pattern recognition

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20061107