JPH09114853A - Image retrieval method and image retrieval device - Google Patents
Image retrieval method and image retrieval deviceInfo
- Publication number
- JPH09114853A JPH09114853A JP7272762A JP27276295A JPH09114853A JP H09114853 A JPH09114853 A JP H09114853A JP 7272762 A JP7272762 A JP 7272762A JP 27276295 A JP27276295 A JP 27276295A JP H09114853 A JPH09114853 A JP H09114853A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- search
- word
- affective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、候補画像のなか
から希望画像に類似する画像を選択し、それをどのよう
に修正すれば希望画像により近づくかを指定することに
よって選択精度を向上した画像検索方法および画像検索
装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention selects an image similar to a desired image from among candidate images, and designates how to modify the image to bring it closer to the desired image. The present invention relates to a search method and an image search device.
【０００２】[0002]
【従来の技術】服地，カーテン地などの生地や壁紙，刺
しゅうなどの図柄デザインにあたっては、既存の図柄見
本のなかから所望のデザインに近いものを選びだし、そ
れに適宜改変を加えることによって新たな図柄を創作す
ることがデザイナの間でしばしば行われている。このよ
うなデザイン作業をより良く効率的に行うためには、所
望のデザインに近い図柄を精度よく且つ速やかに検索す
る必要がある。しかし、図柄見本の数は数千ないし数万
と膨大なものであるため、人手で行う検索作業では精度
や速度に限界があった。2. Description of the Related Art In designing fabrics such as clothes and curtains, wallpaper, embroidery, etc., a new design is created by selecting a design that is close to the desired design from existing design samples and making appropriate modifications. Is often done among designers. In order to perform such design work better and efficiently, it is necessary to accurately and promptly search for a design close to a desired design. However, since the number of pattern samples is enormous, thousands or tens of thousands, there is a limit in accuracy and speed in the manual search operation.
【０００３】そこで、このような図柄見本検索作業を機
械化するために、コンピュータ技術を利用した画像検索
装置が種々提案されている。かかる画像検索装置にあっ
ては、上述の図柄見本のそれぞれは、イメージスキャナ
等を介して画像データに変換されて光ディスク等の大容
量記憶媒体に格納される。同時に、各画像データに対し
て濃度値の変換、ノイズの消去、ぼけの復元、輪郭の検
出強調、連結部分の抽出等の様々な画像処理が加えられ
たのち、その画像処理結果に基づいて種々の特徴抽出演
算が行われ、線の太さ、コントラスト、直線比率、直交
成分比率、黒領域比率、左右対象度、空間密度、境界線
画素数、ホール数、曲線度、色数、色分布、境界線画素
分布、色分布などの様々な画像の特徴量（物理的特徴
量）が求められる。いま、仮にｋ個の図柄見本ｙ1 ，ｙ
2 ，ｙ3 ，…，ｙk のｎ種類の物理的特徴量をｘ1 ，ｘ
2 ，ｘ3 ，…，ｘn とおけば、各図柄見本ｙ1 ，ｙ2 ，
ｙ3，…，ｙk の特徴は、それぞれｎ次元のベクトル
（ｘ11，ｘ21，ｘ31，…，ｘn1），（ｘ12，ｘ22，
ｘ12，…，ｘn2），…，（ｘ1k，ｘ2k，ｘ3k，…，
ｘnk）で表される。したがって、所望のデザイン画像ｙ
p から上述したｎ個の物理的特徴量を抽出して（ｘ1p，
ｘ2p，ｘ3p，…，ｘnp）の如く表し、これと上述した各
図柄見本ｙ1 ，ｙ2 ，ｙ3 ，…，ｙk に対応するベクト
ルとの距離を求め、それらの中で最も距離の近いものを
選択すれば、所望のデザインに最も類似する図柄見本を
機械的に検索することができる。Therefore, in order to mechanize such a pattern sample search operation, various image search apparatuses using computer technology have been proposed. In such an image retrieval device, each of the above-mentioned symbol samples is converted into image data through an image scanner or the like and stored in a large-capacity storage medium such as an optical disc. At the same time, various image processing such as density value conversion, noise elimination, blur restoration, contour detection enhancement, and connected portion extraction is added to each image data, and then various image processing is performed based on the image processing result. Feature extraction calculation is performed, and line thickness, contrast, linear ratio, orthogonal component ratio, black area ratio, left / right symmetry, spatial density, boundary line pixel count, hole count, curvilinearity, color count, color distribution, boundary Various image feature amounts (physical feature amounts) such as line pixel distribution and color distribution are obtained. Now, let's assume that k pattern samples y 1 , y
2 , y 3 , ..., Y k of n types of physical feature quantities are x 1 , x
2 , x 3 , ..., x n , each symbol sample y 1 , y 2 ,
Features of y 3 , ..., Y k are n-dimensional vectors (x 11 , x 21 , x 31 , ..., X n1 ), (x 12 , x 22 ,
x 12 , ..., x n2 ), ..., (x 1k , x 2k , x 3k , ...,
x nk ). Therefore, the desired design image y
extracts n pieces of the physical feature amount described above from p (x 1p,
x 2p, x 3p, ..., expressed as x np), which each have the aforementioned symbol sample y 1, y 2, y 3 , ..., determine the distance between the vector corresponding to y k, most among them By selecting the ones that are close in distance, it is possible to mechanically search for the design sample most similar to the desired design.
【０００４】しかしながら、この画像検索装置で利用さ
れている物理的特徴量は、与えられた画像データを画像
処理した結果に対して所定の特徴抽出演算を適用するこ
とにより機械的かつ一義的に抽出される利点を有する反
面、その表現は、例えば、線の太さ、コントラスト、直
線比率、直交成分比率、黒領域比率、左右対象度、空間
密度、境界線画素数、ホール数、曲線度、色数、色分
布、境界線画素分布、色分布などであり、デザイナが発
想する図柄の特徴すなわちデザインコンセプトを表現す
るためには必ずしも適当なものではない。However, the physical feature quantity used in this image retrieval apparatus is mechanically and uniquely extracted by applying a predetermined feature extraction operation to the result of image processing of given image data. On the other hand, the expression has, for example, line thickness, contrast, linear ratio, orthogonal component ratio, black area ratio, right / left symmetry, spatial density, number of boundary pixels, number of holes, degree of curve, number of colors. , A color distribution, a boundary pixel distribution, a color distribution, etc., and they are not necessarily suitable for expressing the design feature, that is, the design concept that the designer has in mind.
【０００５】そこで、特開平５−６４３７号公報、情報
ＣＧ・ＣＡＤ研究会１９９４年８月，Ｖｏｌ．９４，Ｎ
ｏ．７２，ｐ４３〜４８「デザイン画の感性特徴と画像
特徴」などにこれを改良する画像の特徴抽出方法などが
提案された。これは、シャープ／ソフト、モダン／クラ
シック、シンプル／デコラティブ、写実的／抽象的、暖
かい／冷たい、男性的／女性的、安定さ／不安定さ、対
照的／非対象的，単純さ／複雑さなどのように、デザイ
ナが図柄の特徴を表現するときに用いる指標、すなわち
感性語を用いて画像データの特徴を抽出し、この指標を
用いて所望の画像データを検索するものである。Therefore, JP-A-5-6437, Information CG / CAD Study Group, August 1994, Vol. 94, N
o. 72, p. 43-48 "Sensitivity features and image features of design image" and the like, and image feature extraction methods for improving this have been proposed. This is sharp / soft, modern / classic, simple / decorative, photorealistic / abstract, warm / cold, masculine / feminine, stability / instability, contrasting / asymmetric, simplicity / complexity. As described above, the index used when the designer expresses the feature of the design, that is, the feature of the image data is extracted using the sensitivity word, and the desired image data is searched using this index.
【０００６】このため、上記シャープ／ソフト、モダン
／クラシック、シンプル／デコラティブ、写実的／抽象
的、暖かい／冷たい，男性的／女性的，安定さ／不安定
さ，対照的／非対象的，単純さ／複雑さなどの指標を感
性的特徴量として定量化し、これら感性的特徴量と上述
した物理的特徴量との絶対値的な相関関係を統計的な手
法を用いて求める。すなわち、ある画像データの物理的
特徴量をｘ1 ，ｘ2 ，ｘ3 ，…，ｘn とし、その感性的
特徴量をｗ1 ，ｗ2 ，…，ｗm とすると、各物理的特徴
量ｘ1 ，ｘ2 ，…，ｘn は、それぞれｍ次元のベクトル
（ａ11・ｗ1 ，ａ12・ｗ2 ，ａ13・ｗ3 ，…，ａ1m・ｗ
m ），（ａ21・ｗ1 ，ａ22・ｗ2 ，ａ23・ｗ3 ，…，ａ
2m・ｗm ），（ａ31・ｗ1 ，ａ32・ｗ2 ，ａ33・ｗ3 ，
…，ａ3m・ｗm ），…，（ａm1・ｗ1 ，ａm2・ｗ2 ，ａ
m3・ｗ3 ，…，ａnm・ｗm ）と表される。このベクトル
の決定に用いられている係数群（ａ11，ａ12，ａ13，
…，ａ1m），（ａ21，ａ22，ａ23，…，ａ2m），
（ａ31，ａ32，ａ33，…，ａ3m），…，（ａn1，ａn2，
ａn3，…，ａnm）、すなわち、物理的特徴量を感性的特
徴量に変換する重み付け係数群をデザイナに対するアン
ケート調査等を通じた統計的手法で求め、この重み付け
係数群を用いて、各図柄見本ｙ1 ，ｙ2 ，ｙ3 ，…，ｙ
k の物理的特徴量を感性的特徴量に変換しておく。そし
て、所望のデザインコンセプトを表現するｍ個の感性的
特徴量（ｗ1p，ｗ2p，ｗ3p，…，ｗnp）を抽出し、この
ベクトルと各図柄見本ｙ1 ，ｙ2 ，ｙ3 ，…，ｙk の感
性的特徴量を表現するベクトルとの距離を求め、それら
の中で最も距離の近いものを選択する。これにより感性
的指標（いわゆる感性語）で表現されたデザインコンセ
プトに最も類似する図柄見本を機械的に検索することが
できるものである。Therefore, the above sharp / soft, modern / classical, simple / decorative, photorealistic / abstract, warm / cold, masculine / feminine, stability / unstable, contrasting / asymmetrical, simple An index such as size / complexity is quantified as an affective feature amount, and an absolute value correlation between these affective feature amounts and the above-described physical feature amounts is obtained using a statistical method. That is, the physical feature amount of an image data x 1, x 2, x 3 , ..., and x n, its sensitivity feature amount w 1, w 2, ..., when a w m, the physical feature values x 1 , x 2 , ..., X n are m-dimensional vectors (a 11 · w 1 , a 12 · w 2 , a 13 · w 3 , ···, a 1m · w, respectively).
m ), (a 21 · w 1 , a 22 · w 2 , a 23 · w 3 , ..., a
2 m · w m ), (a 31 · w 1 , a 32 · w 2 , a 33 · w 3 ,
…, A 3m · w m ),…, (a m1 · w 1 , a m2 · w 2 , a
m3 · w 3 , ..., A nm · w m ). Coefficient groups (a 11 , a 12 , a 13 ,
..., a 1m), (a 21, a 22, a 23, ..., a 2m),
(A 31 , a 32 , a 33 , ..., a 3m ), ..., (a n1 , a n2 ,
a n3 , ..., a nm ), that is, a weighting coefficient group for converting a physical feature quantity into a sensual feature quantity is obtained by a statistical method through a questionnaire survey for designers, and using this weighting coefficient group, each pattern Samples y 1 , y 2 , y 3 , ..., y
The physical feature quantity of k is converted into an affective feature quantity. Then, m pieces of affective feature quantities (w 1p , w 2p , w 3p , ..., W np ) expressing a desired design concept are extracted, and this vector and each pattern sample y 1 , y 2 , y 3 , The distance to the vector expressing the kansei feature amount of y k is obtained, and the one having the shortest distance among them is selected. As a result, it is possible to mechanically search for a design sample most similar to the design concept expressed by a sensitivity index (so-called sensitivity word).
【０００７】そして、この種の画像検索装置にあって
は、検索を容易にするため、種々の候補画像のなかから
希望するデザインに最も近い画像を選択することによっ
て、希望のデザインの画像を検索する方法が提案されて
いる。すなわち、類似しているとして選択された候補画
像の特徴量に基づいて、登録画像を検索し、選択された
候補画像に類似するものを複数選出することにより、選
出された登録画像のなかに希望のデザインのものが含ま
れるようにするものである。検索の方法は、選択された
候補画像の特徴量と各登録画像の特徴量との距離を比較
し、この距離が小さいものを新たな候補とするものであ
る。In the image search apparatus of this type, in order to facilitate the search, the image having the desired design is searched by selecting the image closest to the desired design from various candidate images. The method of doing is proposed. That is, based on the feature amount of the candidate image selected as being similar, the registered image is searched, and a plurality of similar images to the selected candidate image are selected, so that the desired registered image is selected. It is intended to be included in the design of. As a search method, the distance between the feature amount of the selected candidate image and the feature amount of each registered image is compared, and the one having the smaller distance is set as a new candidate.
【０００８】なお、上記装置において、図柄見本の特徴
を物理的特徴量で記憶しておき、検索のために与えられ
た感性的特徴量（デザインコンセプト）を物理的特徴量
に変換して検索するようにしてもよい。In the above apparatus, the characteristics of the pattern sample are stored as physical characteristic quantities, and the sensible characteristic quantities (design concept) given for retrieval are converted into physical characteristic quantities for retrieval. You may do it.
【０００９】[0009]
【発明が解決しようとする課題】しかしながら、上記提
示された候補画像のなかに所望のデザインの画像（希望
画像）が必ずしも存在するとは限らず、ある程度類似し
ていても前記希望画像とは相違し、ある程度修正すれば
より希望画像に近づくと思われるものがある場合があ
る。このような場合、上記従来の方式では、その類似し
ているが相違する点もある候補画像をそのまま基準にし
て画像の検索を行うため、検索者が本来検索している画
像とは異なる画像を検索してしまう欠点があった。However, an image of a desired design (desired image) does not always exist among the presented candidate images, and even if they are similar to each other, they are different from the desired image. , There may be some things that seem closer to the desired image with some correction. In such a case, in the above-mentioned conventional method, since the image search is performed with the candidate image that is similar but also different as it is as a reference, an image different from the image originally searched by the searcher is selected. There was a drawback of searching.
【００１０】また、上記物理的特徴量から感性的特徴量
への変換は、アンケート調査等を通じた統計的手法で求
められるが、具体的デザインから感受する感性的特徴
は、個々人ごとに異なるものである。たとえば、２つの
画像のうちどちらがモダンであるかという相対的評価は
ある程度信頼できるが、モダンな印象を与えるデザイン
であってもそれがどの程度モダンであるか（たとえば、
モダン度０．８など）の絶対的評価は極めて困難であ
り、このような感性的特徴量の絶対的評価に基づく検索
では信頼性が低かった。Further, the conversion from the above-mentioned physical feature amount to the affective feature amount is obtained by a statistical method through a questionnaire survey or the like. However, the affective feature which is perceived from a concrete design is different for each individual. is there. For example, the relative assessment of which of the two images is modern is somewhat reliable, but how modern it is, even for designs that give it a modern look (eg,
Absolute evaluation of modern degree 0.8 etc.) is extremely difficult, and reliability is low in a search based on such absolute evaluation of affective features.
【００１１】この発明は、上述の問題点に鑑みて成され
たものであり、希望画像に類似するとして選択された類
似画像をどのように修正すればより希望画像に近づくか
を感性語を用いて入力し、前記類似画像の特徴量を該感
性語に基づいて修正することによってより精度の高い検
索を行うことのできる画像検索方法および画像検索装置
を提供することを目的とする。The present invention has been made in view of the above problems, and uses sensitivity words to determine how to modify a similar image selected to be similar to a desired image to bring it closer to the desired image. It is an object of the present invention to provide an image search method and an image search apparatus capable of performing a more accurate search by inputting the input as described above and correcting the feature amount of the similar image based on the sensitivity word.
【００１２】[0012]
【課題を解決するための手段】この出願の請求項１の発
明は、複数の登録画像を特徴量とともに記憶する手段
と、複数の候補画像を表示する手段と、該複数の候補画
像のなかから希望画像に類似する類似画像を指定する手
段と、該類似画像と希望画像との相違を表現する感性語
を入力する感性語入力手段と、該感性語および前記類似
画像の特徴量に基づいて検索特徴量を算出する検索特徴
量算出手段と、前記登録画像のなかから該検索特徴量に
近い特徴量を有する画像を選出する画像選出手段とを備
えたことを特徴とする。The invention according to claim 1 of the present application comprises: a means for storing a plurality of registered images together with a feature amount; a means for displaying a plurality of candidate images; and a plurality of the candidate images. Means for designating a similar image similar to the desired image, sensitivity word inputting means for inputting a sensitivity word expressing the difference between the similar image and the desired image, and retrieval based on the sensitivity word and the feature amount of the similar image It is characterized by comprising a search feature amount calculating means for calculating a feature amount and an image selecting means for selecting an image having a feature amount close to the search feature amount from the registered images.
【００１３】この出願の請求項２の発明は、前記検索特
徴量算出手段に前記感性語と特徴量との対応関係を記憶
する感性語記憶手段を備えたことを特徴とする。The invention according to claim 2 of this application is characterized in that the retrieval feature quantity calculating means is provided with a sensitivity word storage means for storing a correspondence relationship between the sensitivity word and the feature quantity.
【００１４】この出願の請求項３の発明は、前記画像検
索手段に、複数の画像を選出し該複数の画像を表示する
手段を設けたことを特徴とする。The invention of claim 3 of this application is characterized in that the image retrieval means is provided with means for selecting a plurality of images and displaying the plurality of images.
【００１５】この出願の請求項４の発明は、前記感性語
入力手段を複数の感性語を入力する手段とし、前記検索
特徴量算出手段を該複数の感性語および前記類似画像の
特徴量に基づいて検索特徴量を算出する手段としたこと
を特徴とする。According to a fourth aspect of the present application, the affective word input means is means for inputting a plurality of affective words, and the search feature amount calculating means is based on the plurality of affective words and the feature amounts of the similar images. It is characterized in that it is used as a means for calculating a search feature amount.
【００１６】この出願の請求項５の発明は、前記検索特
徴量算出手段に、入力された感性語を他の１または複数
の感性語に変換し、該変換された感性語および前記類似
画像の特徴量に基づいて検索特徴量を算出する手段を設
けたことを特徴とする。According to the invention of claim 5 of this application, the retrieved characteristic amount calculating means converts the inputted affective word into one or more other affective words, and the converted affective word and the similar image are A feature is that a means for calculating a search feature amount based on the feature amount is provided.
【００１７】この出願の請求項６の発明は、複数の登録
画像を特徴量とともに記憶する手段と、複数の候補画像
を表示する手段と、該複数の候補画像のなかから希望画
像に類似する類似画像を指定する手段と、該類似画像と
希望画像との相違を表現する感性語を入力する感性語入
力手段と、前記感性語と特徴量との対応関係を記憶する
感性語記憶手段と、前記入力された感性語に対応する特
徴量を前記感性語記憶手段から読み出し該読み出された
特徴量および前記類似画像の特徴量に基づいて検索特徴
量を算出する検索特徴量算出手段と、前記登録画像のな
かから該検索特徴量に近い特徴量を有する画像を複数選
出し、該複数の画像を表示する画像選出手段と、表示さ
れた複数の画像のうち前記候補画像よりも希望画像に近
づいたものおよび／または前記候補画像よりも希望画像
から遠のいたものを選択する類否選択手段と、該類否選
択手段で選択された画像の特徴量に基づいて前記入力さ
れた感性語と特徴量との対応関係を修正する感性語修正
手段とを備えたことを特徴とする。According to the invention of claim 6 of this application, a means for storing a plurality of registered images together with a feature amount, a means for displaying a plurality of candidate images, and a similarity similar to a desired image from the plurality of candidate images. A unit for designating an image, a sensitivity word input unit for inputting a sensitivity word expressing a difference between the similar image and a desired image, a sensitivity word storage unit for storing a correspondence relationship between the sensitivity word and a feature amount, Search feature quantity calculating means for reading a feature quantity corresponding to the input affective word from the affective word storage means and calculating a search feature quantity based on the read feature quantity and the feature quantity of the similar image; A plurality of images having a feature amount close to the search feature amount are selected from among the images, and an image selecting unit that displays the plurality of images, and the desired image of the plurality of displayed images are closer to the desired image. Things and Alternatively, a similarity selection unit for selecting an image farther from the desired image than the candidate image, and a correspondence relationship between the inputted affective word and the feature amount based on the feature amount of the image selected by the similarity selection unit. And a sensitivity word correcting means for correcting.
【００１８】この出願の請求項７の発明は、複数の登録
画像を特徴量とともに記憶するステップと、複数の候補
画像を表示するステップと、該複数の候補画像のなかか
ら希望画像に類似する類似画像を指定するステップと、
該類似画像と希望画像との相違を表現する感性語を入力
する感性語入力ステップと、該感性語および前記類似画
像の特徴量に基づいて検索特徴量を算出する検索特徴量
算出ステップと、前記登録画像のなかから該検索特徴量
に近い特徴量を有する画像を選出する画像選出ステップ
とを備えたことを特徴とする。According to the invention of claim 7 of this application, a step of storing a plurality of registered images together with a feature amount, a step of displaying a plurality of candidate images, and a similarity similar to a desired image from the plurality of candidate images. A step to specify the image,
An affective word input step of inputting an affective word expressing a difference between the similar image and a desired image; a search feature amount calculating step of calculating a search feature amount based on the affective word and the feature amount of the similar image; An image selecting step of selecting an image having a feature amount close to the search feature amount from the registered images.
【００１９】この出願の請求項８の発明は、前記検索特
徴量算出ステップは、前記感性語と特徴量との対応関係
に基づいて検索特徴量を算出するステップとしたことを
特徴とする。The invention of claim 8 of this application is characterized in that the search feature quantity calculating step is a step of calculating a search feature quantity based on a correspondence relationship between the affective word and the feature quantity.
【００２０】この出願の請求項９の発明は、前記画像選
出ステップを、複数の画像を選出し、該複数の画像を表
示するステップで構成したことを特徴とする。The invention according to claim 9 of this application is characterized in that the image selecting step comprises a step of selecting a plurality of images and displaying the plurality of images.
【００２１】この出願の請求項１０の発明は、前記感性
語入力ステップを、複数の感性語を入力するステップと
し、検索特徴量算出ステップを、該複数の感性語および
前記類似画像の特徴量に基づいて検索特徴量を算出する
ステップとしたことを特徴とする。According to a tenth aspect of the present invention, the sensitivity word input step is a step of inputting a plurality of sensitivity words, and the search feature amount calculation step is a step of determining the feature values of the plurality of sensitivity words and the similar image. It is characterized in that the step of calculating the search feature amount is based on the step.
【００２２】この出願の請求項１１の発明は、前記検索
特徴量算出ステップを、入力された感性語を他の１また
は複数の感性語に変換し、該変換された感性語および前
記類似画像の特徴量に基づいて検索特徴量を算出するス
テップとしたことを特徴とする。According to the eleventh aspect of the present invention, in the search feature amount calculating step, the inputted affective word is converted into one or more other affective words, and the converted affective word and the similar image are converted. It is characterized in that the step of calculating the search feature amount based on the feature amount is performed.
【００２３】この出願の請求項１２の発明は、複数の登
録画像を特徴量とともに記憶するステップと、複数の候
補画像を表示するステップと、該複数の候補画像のなか
から希望画像に類似する類似画像を指定するステップ
と、該類似画像と希望画像との相違を表現する感性語を
入力する感性語入力ステップと、前記感性語と特徴量と
の対応関係を記憶する感性語記憶ステップと、前記入力
された感性語に対応する特徴量を前記感性語記憶ステッ
プから読み出し該読み出された特徴量および前記類似画
像の特徴量に基づいて検索特徴量を算出する検索特徴量
算出ステップと、前記登録画像のなかから該検索特徴量
に近い特徴量を有する画像を複数選出し該複数の画像を
表示する画像選出ステップと、表示された複数の画像の
うち前記候補画像よりも希望画像に近づいたものおよび
／または前記候補画像よりも希望画像から遠のいたもの
を選択する類否選択ステップと、該類否選択ステップで
選択された画像の特徴量に基づいて前記入力された感性
語と特徴量との対応関係を修正する感性語修正ステップ
とを備えたことを特徴とする。According to a twelfth aspect of the present invention, a step of storing a plurality of registered images together with a feature amount, a step of displaying a plurality of candidate images, and a similarity similar to a desired image from the plurality of candidate images. An image specifying step, an affective word inputting step of inputting an affective word expressing a difference between the similar image and a desired image, an affective word storing step of storing a correspondence relationship between the affective word and a feature amount, A search feature quantity calculating step of reading a feature quantity corresponding to the input affective word from the affective word storing step and calculating a search feature quantity based on the read feature quantity and the feature quantity of the similar image; An image selecting step of selecting a plurality of images having a feature amount close to the search feature amount from among the images and displaying the plurality of images, and selecting the candidate image from the plurality of displayed images. Also based on the feature amount of the image selected in the similarity selection step and the similarity selection step of selecting an image closer to the desired image and / or an image farther from the desired image than the candidate image. A sensitivity word correction step of correcting the correspondence between the sensitivity word and the feature amount is provided.
【００２４】[0024]
【発明の実施の態様】以下に、この発明の好適な実施態
様を添付図面を参照して詳細に説明する。この実施態様
の画像検索装置のハードウェア構成を図１に示す。同図
に示すように、この画像検索装置は、中央処理装置１，
表示部２，操作部３，プリンタ４，画像記憶部５および
イメージスキャナ６を備えたパーソナルコンピュータシ
ステムで構成されている。BEST MODE FOR CARRYING OUT THE INVENTION Preferred embodiments of the present invention will be described in detail below with reference to the accompanying drawings. The hardware configuration of the image search apparatus of this embodiment is shown in FIG. As shown in the figure, this image retrieval device is composed of a central processing unit 1,
The personal computer system includes a display unit 2, an operation unit 3, a printer 4, an image storage unit 5, and an image scanner 6.
【００２５】中央処理装置１は、よく知られているよう
に、ＭＰＵ，ＲＡＭ，ＲＯＭ等を主体として構成されて
おり、システムバス７を介して上述のシステム要素２〜
８を統括制御するものである。As is well known, the central processing unit 1 is mainly composed of an MPU, a RAM, a ROM and the like, and the above-mentioned system elements 2 through 2 are connected via a system bus 7.
8 is to be totally controlled.
【００２６】表示部２は、ＣＲＴ表示器、ＬＣＤ等で構
成されており、この表示部２の表示画面上には、図２を
参照して後に説明するように、一定個数（この例では９
個）の候補画像がカラー表示される。The display unit 2 is composed of a CRT display, an LCD, etc., and on the display screen of the display unit 2, as will be described later with reference to FIG.
Individual) candidate images are displayed in color.
【００２７】操作部３は、キーボード、マウスなどで構
成されており、本装置に対する各種の指示入力は、この
操作部３を用いて行われる。The operation unit 3 is composed of a keyboard, a mouse, etc., and various instruction inputs to this apparatus are performed using this operation unit 3.
【００２８】プリンタ４は、レーザカラープリンタ等の
高精度プリンタで構成されており、検索された画像をハ
ードコピーするために用いられる。The printer 4 is composed of a high precision printer such as a laser color printer and is used for making a hard copy of the retrieved image.
【００２９】画像記憶部５は、追記型光ディスク、書換
型光ディスクなどの大容量記憶装置で構成されており、
この画像記憶部５には、図５を参照して後に詳細に説明
するように、検索対象となる多数の画像がデータ化さ
れ、その物理的特徴量とともに記憶される。また、この
画像記憶部５には、感性語を物理的特徴量に変換するた
めの感性シフトルールや後述する高次感性語を低次感性
語に変換するための感性語辞書などの記憶エリアが設け
られている。The image storage unit 5 is composed of a large-capacity storage device such as a write-once type optical disc or a rewritable type optical disc.
As will be described later in detail with reference to FIG. 5, a large number of images to be searched are converted into data and stored in the image storage unit 5 together with their physical feature amounts. In addition, the image storage unit 5 has a storage area such as a sensitivity shift rule for converting a sensitivity word into a physical feature amount and a sensitivity word dictionary for converting a higher-order sensitivity word to be described later into a lower-order sensitivity word. It is provided.
【００３０】イメージスキャナ６は、カラー表示された
任意の図柄見本８を画像データに変換するためのもので
あり、このイメージスキャナ６は、画像登録処理のため
などに使用される。The image scanner 6 is for converting an arbitrary pattern sample 8 displayed in color into image data, and the image scanner 6 is used for image registration processing and the like.
【００３１】図２（Ａ）は、前記画像検索装置の表示部
および操作部の一部を示す図である。この例では、表示
部２はＣＲＴ表示装置で構成されている。ＣＲＴ表示装
置の画面９のほぼ中央には正方形状のウィンドウ１０が
設けられ、このウィンドウ１０内には９枚の候補画像Ｇ
１〜Ｇ９が表示される。画面９内には、矢印で示される
カーソル１４が表示されている。このカーソル１４はマ
ウス１５の操作で画面９内の任意の位置に移動可能にさ
れており、このカーソル１４を候補画像Ｇ１〜Ｇ９のい
ずれかの位置に移動させ、その状態でマウス１５の左側
スイッチ１５ａをクリックすることにより類似指定操作
が行われる。類似指定操作とは、当該候補画像が検索し
ている画像に類似した画像であると指定する操作であ
る。また、ウィンドウ１０の右側縁部には上下方向に移
動可能なスクロールバー１１が表示されている。このス
クロールバー１１はカーソル１４の操作により上下に移
動させることができ、それに伴いウィンドウ１０内に表
示される９枚の候補画像を適宜スクロールして別の候補
画像をウィンドウ１０内に表示させることも可能になっ
ている。上述の類似指定操作が行われると、類似指定さ
れた候補画像には図中丸印で示される類似マーク１２が
表示される。同図の例は候補画像Ｇ１に類似マーク１２
が表示された状態を示している。FIG. 2A is a diagram showing a part of the display section and the operation section of the image retrieval apparatus. In this example, the display unit 2 is composed of a CRT display device. A square window 10 is provided in the center of the screen 9 of the CRT display device, and nine candidate images G are provided in the window 10.
1 to G9 are displayed. In the screen 9, a cursor 14 indicated by an arrow is displayed. The cursor 14 can be moved to any position on the screen 9 by operating the mouse 15. The cursor 14 is moved to any position of the candidate images G1 to G9, and in that state, the left switch of the mouse 15 is moved. A similar designation operation is performed by clicking 15a. The similar designation operation is an operation that designates that the candidate image is an image similar to the image being searched. In addition, a scroll bar 11 that can move in the vertical direction is displayed on the right edge of the window 10. The scroll bar 11 can be moved up and down by operating the cursor 14, and accordingly, nine candidate images displayed in the window 10 can be scrolled as appropriate to display another candidate image in the window 10. It is possible. When the above-mentioned similar designation operation is performed, the similar mark 12 indicated by a circle in the figure is displayed on the candidate image for which the similar designation is made. In the example of the figure, the similar mark 12 is added to the candidate image G1.
Is displayed.
【００３２】なお、カーソル１４を候補画像Ｇ１〜Ｇ９
のいずれかの位置に移動させ、その状態でマウス１５の
右側スイッチ１５ｂをクリックすることにより非類似指
定操作が行われる。非類似指定操作とは、当該候補画像
が検索している画像に全く類似しない画像であると指定
する操作である。非類似指定された候補画像には図１５
に示すように×印の非類似マークが表示される。The cursor 14 is moved to the candidate images G1 to G9.
By moving the mouse to any one of the positions and clicking the right switch 15b of the mouse 15 in that state, the dissimilarity designation operation is performed. The dissimilarity designation operation is an operation that designates that the candidate image is an image that is not at all similar to the image being searched. The candidate image designated as dissimilar is shown in FIG.
As shown in, the dissimilar mark X is displayed.
【００３３】また、画面右側には、感性語プルダウンメ
ニュー１６および程度プルダウンメニュー１７が設けら
れている。これらは上記操作で類似選択された候補画像
をどのように修正すればより希望画像に近づくかを指示
・入力するためのメニューである。感性語プルダウンメ
ニュー１６をマウス１５の操作でオンすると、同図
（Ｂ）に示すように、複数種類の感性語を表示したメニ
ューが表示される。表示される感性語は、「シャープ
に」，「ソフトに」，「モダンに」，「クラシック
に」，「シンプルに」，「デコラティブに」，「写実的
に」，「抽象的に」などの感性的指標を表現した言葉で
ある。カーソル１４で所望の感性語の表示位置を指定す
れば、その指定された言葉が選択され、同時に、感性語
プルダウンメニューの表示欄１６に選択された感性語が
表示される。また、程度プルダウンメニュー１７をマウ
ス１５の操作でオンすると、同図（Ｃ）に示すように、
上記選択された感性語の感じにどの程度修正するかの程
度を示す言葉が複数表示される。表示される言葉は、
「ほんの少し」，「少し」，「やや多く」，「多く」，
「非常に多く」などである。カーソル１４で所望の程度
を表現する言葉の表示位置を指定すれば、その指定され
た言葉が選択され、同時に、程度プルダウンメニューの
表示欄１７に選択された程度を表現する言葉が表示され
る。このように感性度と程度を選択することにより、
「少しソフトに」や「やや多く写実的に」などの修正指
示が行われることになる。A sensitivity word pull-down menu 16 and a degree pull-down menu 17 are provided on the right side of the screen. These are menus for instructing and inputting how to modify the candidate image that has been similarly selected by the above operation to get closer to the desired image. When the affective word pull-down menu 16 is turned on by operating the mouse 15, a menu displaying a plurality of kinds of affective words is displayed as shown in FIG. Sensitive words displayed include "sharp", "soft", "modern", "classical", "simple", "decorative", "realistic" and "abstract". It is a word that expresses the sensitivity index. When the display position of a desired affective word is specified by the cursor 14, the specified word is selected, and at the same time, the selected affective word is displayed in the display field 16 of the affective word pull-down menu. When the degree pull-down menu 17 is turned on by operating the mouse 15, as shown in FIG.
A plurality of words indicating the degree to which the feeling of the selected affective word is corrected is displayed. The displayed words are
"Just a little", "a little", "somewhat", "a lot",
For example, "very many". When the display position of the word expressing the desired degree is designated by the cursor 14, the designated word is selected, and at the same time, the word expressing the selected degree is displayed in the display field 17 of the degree pull-down menu. By selecting the sensitivity and degree in this way,
Correction instructions such as "a little soft" and "somewhat realistic" will be given.
【００３４】次に、図３のフローチャートを参照して画
像登録処理、すなわち、多数（たとえば１０００枚）の
画像または図柄見本を登録する場合について説明する。
まず、画像または図柄見本をイメージスキャナ８などに
より画像データとして取り込み（ｓ１０１）、この画像
データから物理的特徴量を抽出する（ｓ１０２，ｓ１０
３）。この処理は中央処理装置１が自動的に実行する。
まず、画像データに対して、濃度値の変換、ノイズの除
去、ぼけの復元、輪郭の検出強調、連結部分の抽出等の
様々な画像処理を施し（ｓ１０２）、この画像処理結果
に基づいて種々の特徴抽出演算を行う（ｓ１０３）。こ
の特徴量は、図４に示すように、線の太さ０．５０，コ
ントラスト０．６５、直線比率０．１等の定量化された
物理的特徴量である。物理的特徴量は、上記画像処理に
基づく解析によって物理的に定量化される特徴量であ
り、登録者や検索者の主観が介入する余地のない客観的
なものである。このようにして、特徴量を抽出したの
ち、スキャナで読み取られた画像データと対応づけて画
像記憶部５に記憶される（ｓ１０４）。１０００枚の画
像に対して上記処理を行うことにより、画像記憶部５に
画像データベースを構成する。Next, an image registration process, that is, a case of registering a large number (for example, 1000 sheets) of images or pattern samples will be described with reference to the flowchart of FIG.
First, an image or a pattern sample is captured as image data by the image scanner 8 or the like (s101), and a physical feature amount is extracted from this image data (s102, s10).
3). This processing is automatically executed by the central processing unit 1.
First, various image processing such as density value conversion, noise removal, blur restoration, contour detection enhancement, and connection portion extraction is performed on the image data (s102), and various image processing is performed based on the image processing result. The feature extraction calculation is performed (s103). As shown in FIG. 4, this feature amount is a quantified physical feature amount such as a line thickness of 0.50, a contrast of 0.65, and a linear ratio of 0.1. The physical feature amount is a feature amount that is physically quantified by the analysis based on the image processing described above, and is an objective feature that does not allow the subjectivity of the registrant or the searcher to intervene. In this way, after the characteristic amount is extracted, it is stored in the image storage unit 5 in association with the image data read by the scanner (s104). An image database is configured in the image storage unit 5 by performing the above processing on 1000 images.
【００３５】このようにして作成された画像データベー
スの一例を図５に示す。同図に示されるように、この例
では、各画像データには画像Ｎｏ．が付されており、ま
た物理的特徴量としては、線の太さ，コントラスト，直
線比率，直交成分比率，黒領域比率，左右対象度，空間
密度などが採用されている。なお、これは、あくまでも
説明のために簡素化して一例を示したに過ぎず、その他
必要に応じて、境界線画素数，ホール数，曲線度，色
数，色分布，境界線画素分布，針数（刺しゅう模様の場
合）などのように任意の特徴スケールを採用することが
できる。なお、これらの特徴量は、実数で記憶してもよ
く、正規化した値で記憶してもよい。FIG. 5 shows an example of the image database created in this way. As shown in the figure, in this example, the image No. Further, as the physical feature amount, line thickness, contrast, linear ratio, orthogonal component ratio, black area ratio, right / left symmetry degree, spatial density and the like are adopted. It should be noted that this is merely an example for simplification for the sake of explanation, and if necessary, the number of boundary line pixels, the number of holes, the curve degree, the number of colors, the color distribution, the boundary line pixel distribution, the number of needles, etc. Any feature scale can be employed (such as for embroidered patterns). Note that these feature quantities may be stored as real numbers or as normalized values.
【００３６】また、図６および図７に感性語を物理的特
徴量に変換するための感性シフトルールの例を示す。感
性シフトルールは、図６のように、感性語に相関する物
理的特徴量を示すのみのものであってもよく、また、図
７のように、感性語に相関する物理的特徴量の相関の程
度を定量的に示すものであってもよい。6 and 7 show examples of the affective shift rule for converting the affective word into the physical feature amount. The affective shift rule may only show the physical feature amount that correlates to the affective word, as shown in FIG. 6, or the correlation of the physical feature amount that correlates to the affective word, as shown in FIG. 7. The degree may be quantitatively shown.
【００３７】図６に示す感性シフトルールは以下のよう
なものである。The sensitivity shift rule shown in FIG. 6 is as follows.
【００３８】高次感性語「シャープに」は、コントラス
トを高く、線を細く、直線割合を多く、直交成分を多く
の低次感性語に変換できる。The high-order sensitivity word “sharp” can convert high-contrast, thin lines, large proportion of straight lines, and orthogonal components into many low-order sensitivity words.
【００３９】高次感性語「ソフトに」は、コントラスト
を低く、直線割合を少なく、直交成分を少なくの低次感
性語に変換できる。The high-order sensitivity word "softly" can be converted into a low-order sensitivity word having a low contrast, a small straight line ratio, and a small number of orthogonal components.
【００４０】高次感性語「モダンに」は、黒領域を少な
く、コントラストを高くの低次感性語に変換できる。The high-order sensitivity word "modernally" can be converted into a low-order sensitivity word having a small black area and a high contrast.
【００４１】高次感性語「クラシックに」は、左右対称
性を多く、中の空間を密にの低次感性語に変換できる。The high-order affective word "classical" has a lot of left-right symmetry and can convert the space inside into a dense low-order affective word.
【００４２】高次感性語「シンプルに」は、黒領域を少
なく、複雑度を低くの低次感性語に変換できる。The high-order affective word "simple" can be converted into a low-order affective word having a small black area and low complexity.
【００４３】高次感性語「デコラティブに」は、黒領域
を多く、中の空間を密に、複雑度を高くの低次感性語に
変換できる。The high-order affective word "decoratively" can be converted into a low-order affective word having many black regions, dense inner spaces, and high complexity.
【００４４】高次感性語「写実的に」は、中の空間を密
に、直接割合を少なく、複雑度を高くの低次感性語に変
換できる。The high-order affective word "realistically" can be converted into a low-order affective word having a high degree of complexity and a high degree of complexity, with a dense space inside.
【００４５】高次感性語「抽象的に」は、左右対称性を
高く、中の空間を疎に、直線割合を多く、角度分布をそ
ろえて、複雑度を低くの低次感性語に変換できる。The high-order affective word "abstractly" can be converted into a low-order affective word having a high degree of left-right symmetry, a sparse inner space, a large proportion of straight lines, and a uniform angular distribution, and a low complexity. .
【００４６】なお、本実施態様では全ての感性シフトル
ールは図７のように相関を定量的に示すものであるとす
る。図７において、たとえば、感性語「シャープに」に
対応する感性シフトルールは、物理的特徴量である「線
の太さ」を２ポイント減少させ、「コントラスト」を３
ポイント増加させ、「直線比率」を４ポイント増加さ
せ、さらに、「直交成分比率」を１ポイント増加させる
ルールとなっている。同図において矢印の長さがそのポ
イント数を表している。そして、この増加または減少の
方式は、加算的なシフトであっても乗算的なシフトであ
ってもよい。加算的なシフトとは、類似画像の対応する
特徴量をこの感性シフトルールが指定する分だけ加算し
て修正することであり、乗算的であるとは、類似画像の
対応する特徴量にこの感性シフトルールが指定する分を
乗算することによって修正するである。加算的にシフト
する場合には、図７に示す感性シフトルールの縦線の位
置は０であり、乗算的にシフトする場合には前記縦線の
位置は１である。また、程度が上述したように「ほんの
少し」，「少し」，「やや多く」，「多く」，「非常に
多く」の５段階の場合には、中央の「やや多く」の場合
には、感性シフトルールをそのまま用い、「ほんの少
し」，「少し」の場合には、その程度に応じて感性シフ
トルールのシフト量を減少させ、「多く」，「非常に多
く」の場合にはその程度に応じて感性シフトルールのシ
フト量を増加させるようにする。図６に示すような種々
の感性語に対応する感性シフトルールは画像記憶部５の
対応する記憶エリアに記憶されている。In this embodiment, all the sensitivity shift rules are supposed to quantitatively show the correlation as shown in FIG. In FIG. 7, for example, the sensitivity shift rule corresponding to the sensitivity word “sharply” reduces the physical feature quantity “line thickness” by 2 points and the “contrast” to 3 points.
The rule is to increase the points, increase the "linear ratio" by 4 points, and further increase the "orthogonal component ratio" by 1 point. In the figure, the length of the arrow indicates the number of points. The method of increasing or decreasing may be additive shift or multiplicative shift. The additive shift means that the corresponding feature amount of the similar image is added and corrected by an amount designated by the sensitivity shift rule, and the additive shift means that the corresponding feature amount of the similar image has the sensitivity. The modification is by multiplying by the amount specified by the shift rule. The position of the vertical line in the sensitivity shift rule shown in FIG. 7 is 0 when the shift is additive, and the position of the vertical line is 1 when the shift is multiplicative. In addition, as described above, in the case of five levels of “slightly”, “slightly”, “somewhat”, “many”, and “very many”, in the case of “somewhat” in the center, The sensitivity shift rule is used as it is, and the shift amount of the sensitivity shift rule is reduced according to the degree in the case of "only a little" or "a little", and the degree is reduced in the case of "a lot" or "very many". The amount of shift of the sensitivity shift rule is increased accordingly. Sensitivity shift rules corresponding to various sensitivity words as shown in FIG. 6 are stored in corresponding storage areas of the image storage unit 5.
【００４７】次に、図８のフローチャートおよび図９の
説明図を参照して同画像検索装置の動作を説明する。図
９は図８の動作すなわち感性シフトルールによって候補
画像の座標値をシフトして検索する方式を模式的に示し
た図である。Next, the operation of the image retrieval apparatus will be described with reference to the flowchart of FIG. 8 and the explanatory view of FIG. FIG. 9 is a diagram schematically showing the operation of FIG. 8, that is, the method of shifting and searching the coordinate values of the candidate image according to the sensitivity shift rule.
【００４８】同８において、検索動作がスタートする
と、表示部２を構成するＣＲＴ表示装置の画面上には、
互いに特徴の異なる９個の候補画像が表示される（ｓ
１）。この画面は図２に示したようなものである。検索
者はこの候補画像の画面を見ながらマウス１５を操作し
てて類似画像を選択する（ｓ２）。なお、表示されてい
る候補画像に所望のものがない場合には、図２で説明し
たスクロールバー１１にカーソル１４を移動させてマウ
ス１５のボタンをクリックすると、新たな９個の候補画
像がウィンドウ１０に表示される。この画面表示でマウ
ス１５を操作してカーソル１４を移動させ、候補画像Ｇ
１〜Ｇ９のいずれかの位置でマウススイッチをクリック
することにより類似指定操作が行われる。この類似指定
操作が行われると、類似指定された候補画像（類似画
像）には図中丸印で示される類似マーク１２が表示され
る。この類似指定操作により、図９の特徴量空間（複数
の特徴量のそれぞれを座標軸とする多次元空間）におけ
る基準となる座標値（基準座標）が定まる。すなわち、
基準座標は類似画像の特徴量の値で表現される座標であ
る。なお、図９は上記特徴量空間を３次元的に表現して
いるが実際には更に多くの座標軸を有する多次元空間で
ある。In the same 8, when the search operation is started, the screen of the CRT display device constituting the display unit 2 is
Nine candidate images with different characteristics are displayed (s
1). This screen is as shown in FIG. The searcher operates the mouse 15 while viewing the screen of the candidate image to select a similar image (s2). If there is no desired candidate image displayed, move the cursor 14 to the scroll bar 11 described with reference to FIG. 2 and click the button of the mouse 15 to display new nine candidate images as windows. It is displayed on 10. In this screen display, the mouse 15 is operated to move the cursor 14, and the candidate image G
The similarity designation operation is performed by clicking the mouse switch at any of the positions 1 to G9. When this similar designation operation is performed, a similar mark 12 indicated by a circle in the drawing is displayed on the candidate image (similar image) designated as similar. By this similar designation operation, the coordinate value (reference coordinate) serving as a reference in the feature amount space (multidimensional space having coordinate axes of each of the plurality of feature amounts) in FIG. 9 is determined. That is,
The reference coordinates are coordinates represented by the value of the feature amount of the similar image. Note that FIG. 9 represents the feature amount space three-dimensionally, but is actually a multidimensional space having more coordinate axes.
【００４９】その後、感性語プルダウンメニュー１６を
操作して感性語の選択が行われる（ｓ４）。続いて、程
度プルダウンメニュー１７を操作して程度の選択が行わ
れる（ｓ５）。ｓ４の動作で選択された感性語に対応す
る感性シフトルールを読み出し（ｓ６）、ｓ５の動作で
選択された程度に基づいてその感性シフトルールで指定
されている各物理的特徴量の実際のシフト量を計算する
（ｓ７）。このシフト量を候補画像の特徴量に加算また
は乗算することによって検索座標を算出する（ｓ８）。
この検索座標から空間的距離の小さい登録画像を次の候
補画像として１または複数選択して（ｓ９）、ｓ１に戻
る。一方、類似画像を選択したのち検索終了スイッチが
オンされた場合にはｓ３からｓ１０に進み、選択された
画像を印刷して（ｓ１０）動作を終える。Then, the affective word pull-down menu 16 is operated to select the affective word (s4). Subsequently, the degree is selected by operating the degree pull-down menu 17 (s5). The affective shift rule corresponding to the affective word selected in the operation of s4 is read (s6), and the actual shift of each physical feature amount specified by the affective shift rule is read based on the degree selected in the operation of s5. Calculate the amount (s7). The search coordinates are calculated by adding or multiplying the shift amount to the feature amount of the candidate image (s8).
One or more registered images having a small spatial distance from the search coordinates are selected as the next candidate image (s9), and the process returns to s1. On the other hand, if the search end switch is turned on after selecting the similar image, the process proceeds from s3 to s10, and the selected image is printed (s10) to end the operation.
【００５０】以上が感性シフトルールを用いて画像検索
を行う装置および方法であるが、ここで、図１０および
図１１を参照して感性シフトルールの決定方法を説明す
る。感性シフトルールは、複数の被験者に対するアンケ
ートによって決定される。アンケートは、物理的特徴量
が互いに類似している５０程度のサンプル画像を用いて
行われる。物理的特徴量が類似しているものを用いるの
は各物理的特徴量の微妙な相違を際立たせるためであ
る。アンケートの手法は、「ソフト−シャープ」、「ク
ラシック−モダン」、「デコラティブ−シンプル」、
「静的−動的」、「写実的−抽象的」などの相反する２
つの感性語を両端にした軸（感性軸）を形成し、上記サ
ンプル画像がその感性軸の感性語の特徴をどの程度有し
ているかにより、そのサンプル画像を軸上に配置してゆ
くものである。ただし、この感性軸は中央値（ソフトで
もシャープでもない点）を除いて０．３や１．０などの
絶対的な数値的指標を持たず上記５０程度のサンプル画
像の特徴を比較して相対的に配置してゆくようにする。
たとえば、「の画像はの画像よりもシンプルだ。」
とか「の画像のシンプルさはの画像との画像の間
である。」などの相対的な配列的で回答が行われる。各
サンプル画像の感性軸上の位置は、アンケート終了後に
正規化して取り込まれる。The above is the apparatus and method for performing the image search using the sensitivity shift rule. Here, the method for determining the sensitivity shift rule will be described with reference to FIGS. 10 and 11. The affective shift rule is determined by a questionnaire for a plurality of subjects. The questionnaire is performed using about 50 sample images whose physical feature amounts are similar to each other. The use of similar physical features is to highlight the subtle differences between the physical features. The survey methods are "soft-sharp", "classic-modern", "decorative-simple",
Conflicting 2 such as "static-dynamic", "realistic-abstract"
By forming an axis (sensitivity axis) with two sensitivity words at both ends, and arranging the sample image on the axis depending on how much the above-mentioned sample image has the characteristics of the sensitivity word of the sensitivity axis. is there. However, this sensitivity axis does not have an absolute numerical index such as 0.3 or 1.0 except for the median value (which is neither soft nor sharp), and the characteristics of the above 50 sample images are compared and compared. So that they can be arranged in a desired manner.
For example, "the image is simpler than the image."
Answers are given in a relative array such as "The simplicity of the image of" is between the image of and ". The position on the sensitivity axis of each sample image is normalized and taken in after the questionnaire is completed.
【００５１】このアンケートは図１０に示すようにパー
ソナルコンピュータ等のモニタを用いて行われ、画面に
は２つの感性軸が直交する平面が表示され、回答者は平
面上にサンプル画像を置くことによって２つの感性軸に
対する回答をすることができる。図示の例では横軸「ソ
フト−シャープ」、縦軸「モダン−クラシック」の軸が
表示されているが、画面右側のボタンを操作することに
より、縦軸，横軸とも自由に切り換えることができる。
上記５０程度のサンプル画像を全ての感性軸について配
置することによってアンケートの回答が終了する。な
お、上記５０程度のサンプル画像は順次表示され、それ
をマウスで操作されるカーソルで所定位置へ移動させる
ことによりその位置に配置することができる。This questionnaire is conducted by using a monitor such as a personal computer as shown in FIG. 10. A plane in which two sensitivity axes are orthogonal to each other is displayed on the screen, and the respondent puts a sample image on the plane. Answers can be given to the two sensitivity axes. In the illustrated example, the horizontal axis is "soft-sharp" and the vertical axis is "modern-classic", but the vertical axis and horizontal axis can be switched freely by operating the buttons on the right side of the screen. .
Answering the questionnaire is completed by arranging the above-mentioned about 50 sample images for all the sensitivity axes. The sample images of about 50 are sequentially displayed and can be arranged at that position by moving them to a predetermined position with a cursor operated by a mouse.
【００５２】このようなアンケートを多数の被験者に対
して実施し、各サンプル画像の配置によって感性語と物
理的特徴量の相関を検査する。図１１にアンケートに基
づく相関の一例を示す。この図は、シャープ−ソフト軸
と物理的特徴量である線の太さとの相関を示している。
この図によれば、線が細いほどシャープな印象を与える
という相関を読み取ることができる。同図の直線の傾き
が相関の程度を表している。この相関の程度が、図７に
示した感性シフトルールの矢印の向きと大きさである。
このように１つ（または１対）の感性語に対する全ての
物理的特徴量の相関を検査し、有意と思われるものを図
６，図７のように１つの感性語毎にグループ化してその
感性語に対応する感性シフトルールとして記憶する。Such a questionnaire is carried out for a large number of subjects, and the correlation between the affective words and the physical features is examined by the arrangement of each sample image. FIG. 11 shows an example of the correlation based on the questionnaire. This figure shows the correlation between the sharp-soft axis and the thickness of the line which is the physical feature amount.
According to this figure, it is possible to read the correlation that the thinner the line, the sharper the impression. The slope of the straight line in the figure represents the degree of correlation. The degree of this correlation is the direction and size of the arrow of the sensitivity shift rule shown in FIG.
In this way, the correlation of all physical feature quantities for one (or one pair) affective word is examined, and those which are considered to be significant are grouped for each affective word as shown in FIG. 6 and FIG. It is stored as a sensitivity shift rule corresponding to the sensitivity word.
【００５３】つぎに、図１２〜図１４を参照して高次感
性語を用いた画像検索について説明する。高次感性語と
は、たとえば都会的、田舎的、男性的、女性的、カジュ
アル、エレガント、キュート、スポーティなどのよう
に、抽象性が高くイメージ的で直接物理的特徴量に変換
しにくい感性的特徴を表現した言葉である。これに対し
て上記実施態様で用いたシャープ、ソフト、シンプル、
‥などの感性語は線の太さやコントラストなどの物理的
特徴量との相関がある程度明確であり、物理的特徴量に
変換しやすいため、これらの感性語を上記高次感性語に
対して低次感性語という。そして、ここでは前記画像記
憶部５に高次感性語を低次感性語に変換するための高次
感性語辞書を設ける。図１３に高次感性語辞書の例を示
す。Next, referring to FIGS. 12 to 14, the image search using the high-order affective words will be described. Higher-sensitive words are, for example, urban, rural, masculine, feminine, casual, elegant, cute, sporty, etc. that have a high degree of abstraction and are not easily converted into physical features directly. It is a word that expresses the characteristics. On the other hand, sharp, soft, simple, used in the above embodiment,
Sensitivity words such as ... have a certain degree of correlation with physical features such as line thickness and contrast, and are easily converted into physical features, so these sensitivity words are lower than the higher-order sensitivity words above. It is called the next sensitivity word. Further, here, the image storage unit 5 is provided with a high-order affective word dictionary for converting a high-order affective word into a low-order affective word. FIG. 13 shows an example of a high-order affective word dictionary.
【００５４】図１２において検索者が類似画像を選択し
たのち、この類似画像をもう少し都会的にしたものを選
出してほしいと指示すると画像検索装置は高次感性語辞
書を参照して「都会的な」を「モダン」、「冷たい」、
「シンプル」の低次感性語に変換し、これら「モダ
ン」、「冷たい」、「シンプル」の低次感性語に基づい
て感性シフトルールを適用する。すなわち、類似画像か
ら「少しモダンに、少し冷たく、且つ、少しシンプル
に」なるようにその特徴量をシフトし、シフトされた特
徴量から空間的距離の少ない画像を選出する。In FIG. 12, when the searcher selects a similar image and then instructs to select a similar image that is a little more urbanized, the image retrieval apparatus refers to the higher-order sensitivity word dictionary and reads "urban Na is "modern", "cold",
It is converted into a "simple" low-order affective word, and the sensitivity shift rule is applied based on these "modern", "cold", and "simple" low-order affective words. That is, the feature amount is shifted from the similar image so as to be “a little modern, a little cold, and a little simple”, and an image with a small spatial distance is selected from the shifted feature amount.
【００５５】図１４はこの高次感性語を用いた検索動作
を示すフローチャートである。検索動作がスタートする
と、表示部２のＣＲＴ表示装置の画面上には、互いに特
徴の異なる９個の候補画像が表示される（ｓ２１）。検
索者はこの候補画像の画面を見ながらマウス１５を操作
してて類似画像を選択する（ｓ２２）。なお、表示され
ている候補画像に所望のものがない場合には、スクロー
ルバー１１にカーソル１４を移動させてマウス１５のボ
タンをクリックすると、新たな９個の候補画像がウィン
ドウ１０に表示される。この画面表示でマウス１５を操
作してカーソル１４を移動させ、候補画像Ｇ１〜Ｇ９の
いずれかの位置でマウススイッチをクリックすることに
より類似指定操作が行われる。この類似指定操作が行わ
れると、類似指定された候補画像（類似画像）には図中
丸印で示される類似マーク１２が表示される。FIG. 14 is a flow chart showing the search operation using this higher-order sensitivity word. When the search operation is started, nine candidate images having different characteristics are displayed on the screen of the CRT display device of the display unit 2 (s21). The searcher operates the mouse 15 while watching the screen of the candidate image to select a similar image (s22). If there is no desired candidate image displayed, move the cursor 14 to the scroll bar 11 and click the button of the mouse 15 to display nine new candidate images in the window 10. . In this screen display, the mouse 15 is operated to move the cursor 14, and the mouse switch is clicked at any position of the candidate images G1 to G9 to perform a similar designation operation. When this similar designation operation is performed, a similar mark 12 indicated by a circle in the drawing is displayed on the candidate image (similar image) designated as similar.
【００５６】その後、感性語プルダウンメニュー１６を
操作して高次感性語の選択が行われる（ｓ２４）。続い
て、程度プルダウンメニュー１７を操作して程度の選択
が行われる（ｓ２５）。ｓ２４で選択された高次感性語
を高次感性語辞書に基づいて１または複数の低次感性語
に変換する（ｓ２６）。この低次感性語に対応する感性
シフトルールを読み出し（ｓ２７）、ｓ２５の動作で選
択された程度に基づいてその感性シフトルールで指定さ
れている各物理的特徴量の実際のシフト量を計算する
（ｓ２８）。高次感性語から変換された全ての低次感性
語について上記処理が終了すれば（ｓ２９）、これら複
数の感性シフトルールによるシフト量を合計し（ｓ３
０）、この合計されたシフト量で候補画像の特徴量をシ
フトして検索座標を計算する（ｓ３１）。この検索座標
から空間的距離の小さい登録画像を次の候補画像として
１または複数選択して（ｓ３２）、ｓ２１に戻る。一
方、類似画像を選択したのち検索終了スイッチがオンさ
れた場合にはｓ２３からｓ４０に進み、選択された画像
を印刷して動作を終える。Thereafter, the affective word pull-down menu 16 is operated to select a higher-order affective word (s24). Then, the degree pull-down menu 17 is operated to select the degree (s25). The high-order affective word selected in s24 is converted into one or more low-order affective words based on the high-order affective word dictionary (s26). The affective shift rule corresponding to the low-order affective word is read (s27), and the actual shift amount of each physical feature amount designated by the affective shift rule is calculated based on the degree selected in the operation of s25. (S28). When the above process is completed for all low-order affective words converted from the high-order affective words (s29), the shift amounts by the plurality of affective shift rules are summed (s3).
0), the feature amount of the candidate image is shifted by this total shift amount, and the search coordinates are calculated (s31). One or more registered images having a small spatial distance from the search coordinates are selected as the next candidate image (s32), and the process returns to s21. On the other hand, if the search end switch is turned on after selecting a similar image, the process proceeds from s23 to s40, prints the selected image, and ends the operation.
【００５７】なお、この動作において、高次感性語が複
数入力された場合には、そのそれぞれについてｓ２４〜
ｓ２９の動作を実行し、それらによって求められたシフ
ト量をｓ３０で総計すればよい。また、高次感性語と低
次感性語が混用された場合でも、低次感性語については
直接感性シフトルールを読み出し、高次感性語について
は高次感性語辞書で低次感性語に変換したのち、対応す
る感性シフトルールを読み出し、それらに基づくシフト
量をｓ３０で合計すればよい。さらに、低次感性語が複
数入力された場合も同様である。In this operation, when a plurality of higher-order sensitivity words are input, s24-
It suffices to execute the operation of s29 and add up the shift amounts obtained by them in s30. Even when high-order affective words and low-order affective words were mixed, the direct affective shift rules were read for low-order affective words and converted to low-order affective words for high-order affective words using the high-order affective word dictionary. After that, the corresponding sensitivity shift rules are read out, and the shift amounts based on them are summed in s30. The same applies when a plurality of low-order affective words are input.
【００５８】次に、図１５，図１６を参照して、上記検
索によって選出された新たな候補画像を評価することに
よって感性シフトルールを修正する方法を説明する。上
述したように、感性シフトルールは多数の被験者に対す
るアンケート調査に基づいて求められるものであるが、
これを利用する検索者の感性がこのアンケート結果に馴
染まない場合がある。このような場合、検索結果を評価
することで感性シフトルールを検索者の感性に合うよう
に修正することができる。Next, with reference to FIGS. 15 and 16, a method of correcting the sensitivity shift rule by evaluating a new candidate image selected by the above search will be described. As described above, the sensitivity shift rule is obtained based on a questionnaire survey on a large number of subjects,
The sensitivity of the searcher who uses this may not be familiar with this questionnaire result. In such a case, the sensitivity shift rule can be modified to match the sensitivity of the searcher by evaluating the search result.
【００５９】図１５を参照してその手順について説明す
る。希望画像に類似する類似画像を選択したのち、感性
語（この場合は高次感性語でも低次感性語でもよい）を
入力することによって前記類似画像の座標から検索座標
をシフトする。同図の例では、高次感性語であるもう少
し「都会的な」が指示され、これに基づいて低次感性語
であるもう少し「モダン＆冷たく＆シンプルに」が指示
されている。この低次感性語に基づいて感性シフトルー
ルを読み出し、類似画像の物理的特徴量を修正する。修
正された特徴量を検索座標として、新たな候補画像を選
出して表示する。そして、検索者が検索結果を評価す
る。この検索結果の評価は、類似画像よりも希望画像に
近づいていると思われるものを類似選択し（○が付され
る）、類似画像より希望画像から遠ざかっている思われ
るものを非類似選択する（×が付される）。この類似選
択，非類似選択された画像の特徴量に基づいて上記感性
シフトルールを修正する。The procedure will be described with reference to FIG. After selecting a similar image similar to the desired image, the search coordinates are shifted from the coordinates of the similar image by inputting an affective word (in this case, either a high-order affective word or a low-order affective word). In the example of the figure, the higher-order sensitivity word is instructed a little more "urban", and based on this, the lower-order sensitivity word is instructed a little more "modern & cold &simple". The affective shift rule is read out based on this low-order affective word, and the physical feature amount of the similar image is corrected. A new candidate image is selected and displayed using the corrected feature amount as search coordinates. Then, the searcher evaluates the search result. In the evaluation of this search result, those similar to those that are closer to the desired image than similar images are selected similarly (marked with a circle), and those that are considered to be further away from the desired image than similar images are dissimilarly selected. (X is attached). The affective shift rule is modified based on the feature amount of the image selected by the similarity selection or the dissimilar selection.
【００６０】この修正の方式を図１６を用いて説明す
る。この図では説明を簡略化するため、「シャープに」
に対応する感性シフトルールを適用した場合について説
明する。「シャープに」に対応する感性シフトルール
は、同図（Ａ）に示すように、線の太さを少し細くし、
コントラストをやや強くし、直線比率を高め、直交成分
を少し多くする。というものである。そしてこれに基づ
いて類似画像の特徴量をシフトした結果、新たに選出さ
れた候補画像のなかから、同図（Ｂ），（Ｃ）に示す特
徴量を有する画像が類似選択され、同図（Ｄ）に示す特
徴量を有する画像が非類似選択されたとする。これらの
画像の特徴量を比較すると、線の太さ（細さ）およびコ
ントラストは、類似選択された画像および非類似選択さ
れた画像において正しい相関を示しているが、直接比率
や直交成分はこれらの画像において殆ど相関を示してい
ない。そこで、これに基づき「シャープに」の感性シフ
トルールを同図（Ａ）のものから、線の太さ（細さ）お
よびコントラストのシフト量を大きくし、直線比率およ
び直交成分のシフト量を小さくし同図（Ｅ）のように変
更する。これによって、検索者の意図に合うように感性
シフトルールを修正するとができる。This correction method will be described with reference to FIG. In this figure, for the sake of simplicity, "sharp"
The case where the sensitivity shift rule corresponding to is applied will be described. The sensitivity shift rule corresponding to "sharp" is that the thickness of the line is slightly thin, as shown in FIG.
The contrast is made slightly stronger, the linear ratio is increased, and the orthogonal component is slightly increased. That is. As a result of shifting the feature amount of the similar image based on this, from among the newly selected candidate images, the images having the feature amounts shown in FIGS. It is assumed that the image having the feature amount shown in D) is dissimilarly selected. Comparing the features of these images, the line thickness (thinness) and contrast show correct correlation in the images selected in the similar manner and the images selected in the dissimilar manner. The image shows almost no correlation. Therefore, based on this, the sensitivity shift rule of "sharp" is increased from that of FIG. 9A, the shift amount of the line thickness (thinness) and the contrast is increased, and the shift amount of the linear ratio and the orthogonal component is decreased. Then, change as shown in FIG. With this, the sensitivity shift rule can be modified to suit the searcher's intention.
【００６１】なお、この修正は、実際の検索処理におい
て行ってもよく、また、検索を主目的にせず、感性シフ
トルールの修正のために検索処理を実行し、その中で上
記処理をするようにしてもよい。Note that this correction may be performed in the actual search process, and the search process is executed for the purpose of correcting the sensitivity shift rule without performing the search as the main purpose, and the above process is performed in that process. You may
【００６２】[0062]
【発明の効果】請求項１または請求項７の発明によれ
ば、類似画像をどのように修正すれば希望画像により近
づくかを感性語で入力し、その感性語と類似画像の特徴
量に基づいて検索特徴量を算出して画像の検索を行うこ
とにより、感性語を絶対値的数値として入力して画像を
検索する必要がないため、手間が掛からず極めて精度よ
く希望画像を検索することができる。According to the first or seventh aspect of the present invention, a sensitivity word is input as to how a similar image should be modified to get closer to a desired image, and based on the sensitivity word and the feature amount of the similar image. Since it is not necessary to search the image by inputting the sensitivity word as an absolute numerical value by calculating the search feature amount and searching for the image, it is possible to search for the desired image with extremely high accuracy and without any trouble. it can.
【００６３】請求項２または請求項８の発明によれば、
感性語と特徴量との対応関係を記憶し、これとに基づい
て入力された感性語で検索特徴量を算出するため、たと
えば、感性的特徴量と物理的特徴量との相対的変換が可
能になり、検索の精度を向上することができる。According to the invention of claim 2 or claim 8,
The correspondence between emotional words and feature quantities is stored, and the search feature quantity is calculated based on the input affective words based on this, so for example, relative conversion between emotional feature quantities and physical feature quantities is possible. Therefore, the accuracy of the search can be improved.
【００６４】請求項３または請求項９の発明によれば、
複数の画像を選出して表示するため、このなかから最適
なものを再度選択することができる。According to the invention of claim 3 or claim 9,
Since a plurality of images are selected and displayed, the optimum one can be selected again from these.
【００６５】請求項４または請求項１０の発明によれ
ば、複数の感性語を用いて検索特徴量を算出し、この検
索特徴量で画像を選出することができるため、複数の感
性語によってより正確に希望画像を表現することかで
き、検索の精度を向上することができる。According to the invention of claim 4 or claim 10, since it is possible to calculate the search feature quantity using a plurality of affective words and select an image with this search feature quantity, it is possible to use a plurality of affective words. The desired image can be accurately expressed, and the accuracy of the search can be improved.
【００６６】請求項５または請求項１１の発明によれ
ば、入力された感性語を他の感性語に変換し、その感性
語を用いて検索特徴量を算出するため、極めて抽象的で
イメージ的な語彙であっても、これを直接物理的特徴量
と関連づけられる感性語に変換し、この感性語を用いて
検索特徴量の算出をすることができるため、直接検索特
徴量の算出に用いることに適さない感性語を用いてイメ
ージの入力をすることができ、所望の画像を検索し易く
なる利点がある。According to the fifth or eleventh aspect of the invention, the inputted affective word is converted into another affective word and the search feature amount is calculated using the affective word, which is extremely abstract and image-wise. Even if it is a vocabulary, it can be directly converted into a sensitivity word that is associated with a physical feature quantity, and the search feature quantity can be calculated using this sensitivity word. An image can be input using a sensitivity word that is not suitable for, and there is an advantage that a desired image can be easily searched.
【００６７】請求項６または請求項１２の発明によれ
ば、入力された感性語を用いて算出された検索特徴量で
複数の画像を選出し、選出された画像のなかから、希望
画像により類似するものとそうでないものを再度選択す
ることにより、類似する画像の選出に寄与した特徴量と
そうでないものを選出するために寄与した特徴量とを判
別することができ、より類似するものを選出するために
寄与した特徴量の重みを大きくし、そうでないものを選
出するために寄与した特徴量の重みを小さくすることに
よって、前記感性語と特徴量との対応関係をより正確に
なるように修正することができる。According to the sixth or twelfth aspect of the present invention, a plurality of images are selected by the search feature amount calculated using the input sensitivity word, and the desired image is more similar to the selected image. By selecting again those that do and those that do not, it is possible to distinguish between the features that contributed to the selection of similar images and the features that contributed to select those that do not, and select more similar ones. By increasing the weight of the feature amount that contributed in order to reduce the weight of the feature amount that contributed to select the other one, the correspondence relationship between the affective word and the feature amount can be made more accurate. Can be modified.
【図１】この発明の実施態様である画像検索装置のブロ
ック図FIG. 1 is a block diagram of an image search device according to an embodiment of the present invention.
【図２】同画像検索装置の表示部および操作部の一部を
示す図FIG. 2 is a diagram showing a part of a display unit and an operation unit of the image search apparatus.
【図３】同画像検索装置の画像登録動作を示すフローチ
ャートFIG. 3 is a flowchart showing an image registration operation of the image search apparatus.
【図４】画像登録動作によって抽出された物理的特徴量
の例を示す図FIG. 4 is a diagram showing an example of a physical feature amount extracted by an image registration operation.
【図５】同画像検索装置の画像記憶部に記憶される画像
データベースの構成を示す図FIG. 5 is a diagram showing a configuration of an image database stored in an image storage unit of the image search apparatus.
【図６】感性シフトルールの例を示す図FIG. 6 is a diagram showing an example of a sensitivity shift rule.
【図７】感性シフトルールの例を定量的に示す図FIG. 7 is a diagram quantitatively showing an example of a sensitivity shift rule.
【図８】同画像検索装置の画像検索動作を示すフローチ
ャートFIG. 8 is a flowchart showing an image search operation of the image search apparatus.
【図９】感性シフトルールによる検索座標の修正を模式
的に示す図FIG. 9 is a diagram schematically showing correction of search coordinates by a sensitivity shift rule.
【図１０】感性シフトルール作成のためのアンケート画
面を示す図FIG. 10 is a diagram showing a questionnaire screen for creating a sensitivity shift rule.
【図１１】感性語と物理的特徴量との相関例を示す図FIG. 11 is a diagram showing an example of a correlation between a sensitivity word and a physical feature amount.
【図１２】高次感性語を用いた画像検索の原理を説明す
る図FIG. 12 is a diagram illustrating the principle of image retrieval using higher-order affective words.
【図１３】高次感性語辞書の例を示す図FIG. 13 is a diagram showing an example of a high-order affective word dictionary.
【図１４】前記画像検索装置の高次感性語を用いた画像
検索動作を示すフローチャートFIG. 14 is a flowchart showing an image search operation using a higher-order affective word of the image search device.
【図１５】感性シフトルールを修正方法を説明する図FIG. 15 is a diagram illustrating a method of correcting a sensitivity shift rule.
【図１６】感性シフトルールの修正方法を説明する図FIG. 16 is a diagram illustrating a method of correcting a sensitivity shift rule.
１−中央処理装置 ２−表示部 ３−操作部 ４−プリンタ ５−画像記憶部 ６−イメージスキャナ ９−画面 １０−ウィンドウ １１−スクロールバー １２−類似マーク １４−カーソル １５−マウス 1-Central Processing Unit 2-Display Unit 3-Operation Unit 4-Printer 5-Image Storage Unit 6-Image Scanner 9-Screen 10-Window 11-Scroll Bar 12-Similar Mark 14-Cursor 15-Mouse
Claims (12)
る手段と、 複数の候補画像を表示する手段と、 該複数の候補画像のなかから希望画像に類似する類似画
像を指定する手段と、 該類似画像と希望画像との相違を表現する感性語を入力
する感性語入力手段と、 該感性語および前記類似画像の特徴量に基づいて検索特
徴量を算出する検索特徴量算出手段と、 前記登録画像のなかから、該検索特徴量に近い特徴量を
有する画像を選出する画像選出手段と、 を備えたことを特徴とする画像検索装置。1. A means for storing a plurality of registered images together with a feature amount, a means for displaying a plurality of candidate images, a means for designating a similar image similar to a desired image from the plurality of candidate images, An affective word input means for inputting an affective word expressing a difference between the similar image and the desired image; a search feature amount calculating means for calculating a search feature amount based on the affective word and the feature amount of the similar image; An image search device comprising: an image selection unit that selects an image having a feature amount close to the search feature amount from among the images.
と特徴量との対応関係を記憶する感性語記憶手段を備え
た請求項１に記載の画像検索装置。2. The image search device according to claim 1, wherein the search feature amount calculation unit includes a sensitivity word storage unit that stores a correspondence relationship between the sensitivity word and the feature amount.
し、該複数の画像を表示する手段を含む請求項１に記載
の画像検索装置。3. The image search device according to claim 1, wherein the image selection means includes means for selecting a plurality of images and displaying the plurality of images.
入力する手段であり、前記検索特徴量算出手段は、該複
数の感性語および前記類似画像の特徴量に基づいて検索
特徴量を算出する手段である請求項１に記載の画像検索
装置。4. The affective word input means is means for inputting a plurality of affective words, and the search feature amount calculating means calculates a search feature amount based on the feature values of the plurality of affective words and the similar image. The image search device according to claim 1, which is a means for calculating.
感性語を他の１または複数の感性語に変換し、該変換さ
れた感性語および前記類似画像の特徴量に基づいて検索
特徴量を算出する手段を含む請求項１に記載の画像検索
装置。5. The search feature amount calculation means converts the input affective word into another one or a plurality of affective words, and the search feature amount based on the converted affective word and the feature amount of the similar image. The image search apparatus according to claim 1, further comprising means for calculating.
る手段と、 複数の候補画像を表示する手段と、 該複数の候補画像のなかから希望画像に類似する類似画
像を指定する手段と、 該類似画像と希望画像との相違を表現する感性語を入力
する感性語入力手段と、 前記感性語と特徴量との対応関係を記憶する感性語記憶
手段と、 前記入力された感性語に対応する特徴量を前記感性語記
憶手段から読み出し、該読み出された特徴量および前記
類似画像の特徴量に基づいて検索特徴量を算出する検索
特徴量算出手段と、 前記登録画像のなかから、該検索特徴量に近い特徴量を
有する画像を複数選出し、該複数の画像を表示する画像
選出手段と、 表示された複数の画像のうち、前記候補画像よりも希望
画像に近づいたもの、および／または、前記候補画像よ
りも希望画像から遠のいたものを選択する類否選択手段
と、 該類否選択手段で選択された画像の特徴量に基づいて前
記入力された感性語と特徴量との対応関係を修正する感
性語修正手段と、 を備えたことを特徴とする画像検索装置。6. A means for storing a plurality of registered images together with a feature amount, a means for displaying a plurality of candidate images, a means for designating a similar image similar to a desired image from the plurality of candidate images, An affective word input means for inputting an affective word expressing a difference between a similar image and a desired image, an affective word storage means for storing a correspondence between the affective word and a feature amount, and an affective word corresponding to the input affective word. A search feature amount calculation unit that reads a feature amount from the sensitivity word storage unit and calculates a search feature amount based on the read feature amount and the feature amount of the similar image; and the search from the registered images. Image selecting means for selecting a plurality of images having a feature amount close to the feature amount and displaying the plurality of images; and a plurality of displayed images that are closer to the desired image than the candidate image, and / or , The above Similarity selection means for selecting an image farther from the desired image than the complementary image, and correcting the correspondence between the inputted affective word and the feature quantity based on the feature quantity of the image selected by the similarity selection means An image retrieval apparatus comprising: a sensitivity word correcting unit that:
るステップと、 複数の候補画像を表示するステップと、 該複数の候補画像のなかから希望画像に類似する類似画
像を指定するステップと、 該類似画像と希望画像との相違を表現する感性語を入力
する感性語入力ステップと、 該感性語および前記類似画像の特徴量に基づいて検索特
徴量を算出する検索特徴量算出ステップと、 前記登録画像のなかから、該検索特徴量に近い特徴量を
有する画像を選出する画像選出ステップと、 を備えたことを特徴とする画像検索方法。7. A step of storing a plurality of registered images together with a feature amount, a step of displaying a plurality of candidate images, a step of designating a similar image similar to a desired image from the plurality of candidate images, An affective word input step of inputting an affective word expressing a difference between the similar image and the desired image; a search feature amount calculating step of calculating a search feature amount based on the affective word and the feature amount of the similar image; And an image selecting step of selecting an image having a feature value close to the search feature value from among the images.
性語と特徴量との対応関係に基づいて検索特徴量を算出
するステップである請求項７に記載の画像検索方法。8. The image search method according to claim 7, wherein the search feature amount calculation step is a step of calculating a search feature amount based on a correspondence relationship between the affective word and the feature amount.
選出し、該複数の画像を表示するステップを含む請求項
７に記載の画像検索方法。9. The image search method according to claim 7, wherein the image selection step includes a step of selecting a plurality of images and displaying the plurality of images.
性語を入力するステップであり、前記検索特徴量算出ス
テップは、該複数の感性語および前記類似画像の特徴量
に基づいて検索特徴量を算出するステップである請求項
７に記載の画像検索方法。10. The affective word input step is a step of inputting a plurality of affective words, and the search feature amount calculating step calculates a search feature amount based on the plurality of affective words and the feature amount of the similar image. The image search method according to claim 7, which is a step of calculating.
された感性語を他の１または複数の感性語に変換し、該
変換された感性語および前記類似画像の特徴量に基づい
て検索特徴量を算出するステップを含む請求項７に記載
の画像検索方法。11. The search feature quantity calculating step converts the inputted affective word into one or more other affective words, and the search feature quantity based on the converted affective word and the feature quantity of the similar image. The image search method according to claim 7, further comprising the step of:
するステップと、 複数の候補画像を表示するステップと、 該複数の候補画像のなかから希望画像に類似する類似画
像を指定するステップと、 該類似画像と希望画像との相違を表現する感性語を入力
する感性語入力ステップと、 前記感性語と特徴量との対応関係を記憶する感性語記憶
ステップと、 前記入力された感性語に対応する特徴量を前記感性語記
憶ステップから読み出し、該読み出された特徴量および
前記類似画像の特徴量に基づいて検索特徴量を算出する
検索特徴量算出ステップと、 前記登録画像のなかから、該検索特徴量に近い特徴量を
有する画像を複数選出し、該複数の画像を表示する画像
選出ステップと、 表示された複数の画像のうち、前記候補画像よりも希望
画像に近づいたもの、および／または、前記候補画像よ
りも希望画像から遠のいたものを選択する類否選択ステ
ップと、 該類否選択ステップで選択された画像の特徴量に基づい
て前記入力された感性語と特徴量との対応関係を修正す
る感性語修正ステップと、 を備えたことを特徴とする画像検索方法。12. A step of storing a plurality of registered images together with a feature amount, a step of displaying a plurality of candidate images, a step of designating a similar image similar to a desired image from the plurality of candidate images, A sensitivity word input step of inputting a sensitivity word expressing a difference between the similar image and the desired image; a sensitivity word storage step of storing a correspondence relationship between the sensitivity word and a feature amount; and a sensitivity word corresponding to the input sensitivity word. A search feature quantity calculating step of reading a feature quantity from the sensitivity word storage step and calculating a search feature quantity based on the read feature quantity and the feature quantity of the similar image; An image selection step of selecting a plurality of images having a feature amount close to the feature amount and displaying the plurality of images, and selecting a desired image from the plurality of displayed images, rather than the candidate image. Based on the feature quantity of the image selected in the similarity selection step, and a selection from the candidate image farther from the desired image than the candidate image, and the inputted sensitivity word based on the feature amount of the image selected in the similarity selection step. An image retrieval method comprising: a sensitivity word correction step of correcting a correspondence relationship between a feature amount and a feature amount.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7272762A JPH09114853A (en) | 1995-10-20 | 1995-10-20 | Image retrieval method and image retrieval device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7272762A JPH09114853A (en) | 1995-10-20 | 1995-10-20 | Image retrieval method and image retrieval device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09114853A true JPH09114853A (en) | 1997-05-02 |
Family
ID=17518397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7272762A Pending JPH09114853A (en) | 1995-10-20 | 1995-10-20 | Image retrieval method and image retrieval device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09114853A (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175535A (en) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | Method and device for retrieving image and retrieval service utilizing the same |
| JP2000242648A (en) * | 1999-02-18 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Space display method and device for retrieval image and storage medium stored with program of the method |
| JP2001155026A (en) * | 1999-11-26 | 2001-06-08 | Olympus Optical Co Ltd | Three-dimensional image database device and three- dimensional image database construction method |
| JP2002117059A (en) * | 2000-10-06 | 2002-04-19 | Sony Communication Network Corp | Retrieving device |
| US6647153B1 (en) | 1999-03-01 | 2003-11-11 | Fuji Photo Film Co., Ltd. | Method, apparatus, and recording medium for image composition |
| US6850341B1 (en) | 1999-02-19 | 2005-02-01 | Fuji Photo Film Co., Ltd. | Method, system and recording medium for image processing |
| JP2006155156A (en) * | 2004-11-29 | 2006-06-15 | Sanyo Electric Co Ltd | Database retrieval device |
| US7127452B1 (en) | 1999-08-31 | 2006-10-24 | Canon Kabushiki Kaisha | Image search apparatus, image search method and storage medium |
| JP2009093563A (en) * | 2007-10-11 | 2009-04-30 | Fuji Xerox Co Ltd | Similar image search apparatus and similar image search program |
| JP2010511242A (en) * | 2006-11-29 | 2010-04-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Sample-based filter |
| JP2011044124A (en) * | 2009-07-23 | 2011-03-03 | Ricoh Co Ltd | Image processor, image processing method, program, and recording medium |
| JP2012032886A (en) * | 2010-07-28 | 2012-02-16 | Fujitsu Ltd | Search device, search program and search method |
| JP2017129902A (en) * | 2016-01-18 | 2017-07-27 | 日本電信電話株式会社 | Book search apparatus, method, and program |
| US10216818B2 (en) | 2014-02-28 | 2019-02-26 | Fujifilm Corporation | Product search apparatus, method, and system |
| US10229177B2 (en) | 2014-02-28 | 2019-03-12 | Fujifilm Corporation | Product search apparatus, method, and system |
-
1995
- 1995-10-20 JP JP7272762A patent/JPH09114853A/en active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175535A (en) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | Method and device for retrieving image and retrieval service utilizing the same |
| JP2000242648A (en) * | 1999-02-18 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Space display method and device for retrieval image and storage medium stored with program of the method |
| US7170638B2 (en) | 1999-02-19 | 2007-01-30 | Fuji Photo Film Co., Ltd. | Method, system and recording medium for image processing |
| US6850341B1 (en) | 1999-02-19 | 2005-02-01 | Fuji Photo Film Co., Ltd. | Method, system and recording medium for image processing |
| US6647153B1 (en) | 1999-03-01 | 2003-11-11 | Fuji Photo Film Co., Ltd. | Method, apparatus, and recording medium for image composition |
| US7127452B1 (en) | 1999-08-31 | 2006-10-24 | Canon Kabushiki Kaisha | Image search apparatus, image search method and storage medium |
| JP2001155026A (en) * | 1999-11-26 | 2001-06-08 | Olympus Optical Co Ltd | Three-dimensional image database device and three- dimensional image database construction method |
| JP2002117059A (en) * | 2000-10-06 | 2002-04-19 | Sony Communication Network Corp | Retrieving device |
| JP4512251B2 (en) * | 2000-10-06 | 2010-07-28 | ソネットエンタテインメント株式会社 | Search device |
| JP2006155156A (en) * | 2004-11-29 | 2006-06-15 | Sanyo Electric Co Ltd | Database retrieval device |
| JP2010511242A (en) * | 2006-11-29 | 2010-04-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Sample-based filter |
| JP2009093563A (en) * | 2007-10-11 | 2009-04-30 | Fuji Xerox Co Ltd | Similar image search apparatus and similar image search program |
| JP2011044124A (en) * | 2009-07-23 | 2011-03-03 | Ricoh Co Ltd | Image processor, image processing method, program, and recording medium |
| JP2012032886A (en) * | 2010-07-28 | 2012-02-16 | Fujitsu Ltd | Search device, search program and search method |
| US10216818B2 (en) | 2014-02-28 | 2019-02-26 | Fujifilm Corporation | Product search apparatus, method, and system |
| US10229177B2 (en) | 2014-02-28 | 2019-03-12 | Fujifilm Corporation | Product search apparatus, method, and system |
| JP2017129902A (en) * | 2016-01-18 | 2017-07-27 | 日本電信電話株式会社 | Book search apparatus, method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chatzimparmpas et al. | t-visne: Interactive assessment and interpretation of t-sne projections | |
| Stahnke et al. | Probing projections: Interaction techniques for interpreting arrangements and errors of dimensionality reductions | |
| JPH09101970A (en) | Method and device for retrieving image | |
| Pontius Jr et al. | A generalized cross‐tabulation matrix to compare soft‐classified maps at multiple resolutions | |
| Ingram et al. | Dimstiller: Workflows for dimensional analysis and reduction | |
| Bernard et al. | A survey and task-based quality assessment of static 2D colormaps | |
| JPH09114853A (en) | Image retrieval method and image retrieval device | |
| Saket et al. | Evaluating interactive graphical encodings for data visualization | |
| WO1999062015A1 (en) | System and method for data visualization | |
| US20060195419A1 (en) | Device and method for supporting material name setting, and computer product | |
| CN109656662B (en) | Visual arrangement method of parallel coordinate axes based on clustering correlation | |
| JPH08249352A (en) | Method and device for image retrieval | |
| CN113345052B (en) | Classification data multi-view visualization coloring method and system based on similarity significance | |
| JP5413143B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP3284528B2 (en) | Image search method and apparatus | |
| JP5077011B2 (en) | Display control apparatus, display control method, and display control program | |
| JP4802825B2 (en) | Design production support device and design production support program | |
| Barvir et al. | Graphic map load measuring tool–development and verification | |
| US20230152941A1 (en) | Place-Based Semantic Similarity Platform | |
| JPH08249353A (en) | Method and device for image retrieval | |
| JP4710766B2 (en) | Design production support device and design production support program | |
| Terry | Set-based user interaction | |
| CN113487082B (en) | Method for measuring and optimally configuring annotation complexity of virtual experiment teaching resources | |
| JP3647075B2 (en) | Image search method and apparatus | |
| US20240020075A1 (en) | Information processing apparatus, control method therefor, and storage medium |