JP2003242162A - Feature point extracting method, image searching method, feature point extracting apparatus, image searching system, and program - Google Patents
Feature point extracting method, image searching method, feature point extracting apparatus, image searching system, and programInfo
- Publication number
- JP2003242162A JP2003242162A JP2002039554A JP2002039554A JP2003242162A JP 2003242162 A JP2003242162 A JP 2003242162A JP 2002039554 A JP2002039554 A JP 2002039554A JP 2002039554 A JP2002039554 A JP 2002039554A JP 2003242162 A JP2003242162 A JP 2003242162A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- point information
- adjustment processing
- adjusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は画像検索技術に関
し、特に、画像検索を行う際に使用する特徴点情報を抽
出する技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image retrieval technique, and more particularly to a technique for extracting feature point information used when performing an image retrieval.
【０００２】[0002]
【従来の技術】画像検索技術としては、従来から種々の
ものが知られている。例えば、図７（ａ）に示すよう
に、画像の蓄積時に、画像名、作成者、作成日等からな
る付加情報を蓄積画像に付加しておき、検索時に、付加
情報と同様の項目を有するキー情報を用いて検索を行う
方法が知られている。しかし、この方法は、検索画像そ
のもののイメージから類似の画像を検索したい場合には
利用できないという問題がある。2. Description of the Related Art Various image retrieval techniques have been known. For example, as shown in FIG. 7A, additional information including an image name, a creator, a creation date, etc. is added to the stored image when the image is stored, and an item similar to the additional information is included in the search. A method of performing a search using key information is known. However, this method has a problem that it cannot be used when a similar image is searched for from the image of the search image itself.
【０００３】このような問題点を解決する従来の技術と
しては、例えば、図７（ｂ）に示す方法が知られてい
る。この方法は、画像の蓄積時に、画像の局所的な特徴
（例えば、色相や輝度）の類似性と画素の連結性に基づ
いて、画像を一様な特徴を持つ複数の部分領域に分割
し、各分割領域の色相、輝度の平均値や、各分割領域の
形状、位置等を求め、それらを特徴量として蓄積画像に
付加しておく。そして、検索時には、検索画像に対して
上記した特徴量の算出処理を行い、算出した特徴量をキ
ー情報にして検索を行う。また、これ以外にも、画像の
蓄積時に、特徴点を抽出して蓄積画像に付加しておき、
検索時には、検索画像の特徴点を抽出し、それをキー情
報として検索を行う方法も知られている（例えば、特開
平９−１７１５１４号公報）。As a conventional technique for solving such a problem, for example, a method shown in FIG. 7B is known. This method divides an image into a plurality of partial regions having uniform features based on the similarity of local features of the image (for example, hue and luminance) and the connectivity of pixels when the images are accumulated, The average value of the hue and brightness of each divided area, the shape and position of each divided area, and the like are added to the accumulated image as feature amounts. Then, at the time of search, the above-described feature amount calculation processing is performed on the search image, and the search is performed using the calculated feature amount as key information. In addition to this, when storing images, feature points are extracted and added to the stored images,
At the time of search, there is also known a method of extracting feature points of a search image and performing a search using the feature points as key information (for example, Japanese Patent Laid-Open No. 9-171514).
【０００４】[0004]
【発明が解決しようとする課題】図７（ｂ）に示した従
来技術や、特開平９−１７１５１４号公報に記載されて
いる従来技術によれば、検索画像そのもののイメージか
ら類似の画像を検索することが可能になる。しかしなが
ら、これらの技術には、次のような問題点がある。即
ち、経年変化等により劣化（色落ち等）した検索画像
や、元々不鮮明な検索画像等の低品質の検索画像を用い
て検索を行った場合、検索画像から得られる特徴量、特
徴点は、画像データベースに登録されている劣化前の画
像や鮮明な画像の特徴量、特徴点とは異なるもの（特徴
量、特徴点数が少なくなってしまう）になってしまうた
め、希望する画像を検索できない確率が高くなってしま
うという問題点がある。According to the conventional technique shown in FIG. 7B and the conventional technique disclosed in Japanese Patent Laid-Open No. 9-171514, a similar image is searched from the image of the search image itself. It becomes possible to do. However, these techniques have the following problems. That is, when a search is performed using a low-quality search image such as a search image that has deteriorated due to aging (color fading, etc.) or a search image that is originally unclear, the feature amounts and feature points obtained from the search image are Probability that the desired image cannot be searched because it will be different from the feature amount and feature points of the image before deterioration and clear image registered in the image database (the feature amount and the number of feature points will decrease). There is a problem that the cost becomes high.
【０００５】そこで、本発明の目的は、低品質の検索画
像を用いても希望する画像を検索できる確率を高くする
ことにある。Therefore, an object of the present invention is to increase the probability that a desired image can be searched even if a low quality search image is used.
【０００６】[0006]
【課題を解決するための手段】本発明の特徴点抽出装置
は、上記目的を達成するため、画像入力手段から入力さ
れた画像に対して、複数の異なる処理内容の画像調整処
理を行うことにより、複数の調整済み画像を生成し、各
調整済み画像毎に特徴点情報を抽出し、各調整済み画像
の特徴点情報を累積して累積特徴点情報を生成する累積
特徴点抽出手段を備えている。ここで、異なる処理内容
の画像調整処理としては、例えば、コントラストの調整
処理、明度の調整処理、彩度の調整処理、色相の調整処
理等がある。In order to achieve the above object, the feature point extraction device of the present invention performs image adjustment processing of a plurality of different processing contents on an image input from image input means. A plurality of adjusted images are generated, feature point information is extracted for each adjusted image, feature point information of each adjusted image is accumulated, and cumulative feature point extraction means is provided to generate cumulative feature point information. There is. Here, examples of the image adjustment processing having different processing contents include contrast adjustment processing, lightness adjustment processing, saturation adjustment processing, and hue adjustment processing.
【０００７】この構成では、入力画像に対して複数の異
なる処理内容の画像調整処理を行うことにより得た、複
数の調整済み画像それぞれから特徴点情報を抽出し、そ
れらを累積して累積特徴点情報を生成するようにしてい
るので、入力画像そのものから特徴点情報を抽出する場
合に比べ、遥かに多くの特徴点の情報を含む累積特徴点
情報を得ることができる。従って、入力された画像が低
品質のものであっても、多くの特徴点の情報を含む累積
特徴点情報を得ることができる。その結果、本発明の特
徴点抽出装置により生成される累積特徴点情報を用いて
検索を行うようにすれば、検索画像が低品質なものであ
っても、希望する画像を検索できる確率が高くなる。With this configuration, feature point information is extracted from each of a plurality of adjusted images obtained by performing image adjustment processing of a plurality of different processing contents on an input image, and the feature point information is accumulated and accumulated feature points are accumulated. Since the information is generated, the accumulated feature point information including much more feature point information can be obtained as compared with the case where the feature point information is extracted from the input image itself. Therefore, even if the input image is of low quality, it is possible to obtain accumulated feature point information including many feature point information. As a result, if the search is performed using the accumulated feature point information generated by the feature point extraction device of the present invention, even if the search image is of low quality, there is a high probability that the desired image can be searched. Become.
【０００８】[0008]
【発明の実施の形態】次に本発明の実施の形態について
図面を参照して詳細に説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, embodiments of the present invention will be described in detail with reference to the drawings.
【０００９】図１は、本発明にかかる画像検索システム
の実施の形態の構成例を示すブロック図である。同図を
参照すると、本実施の形態の画像検索システムは、特徴
点抽出装置１００と、特徴点検索装置２００と、画像デ
ータベース（画像ＤＢ）３００と、ＣＲＴ、液晶ディス
プレイ等の画像表示装置４００とから構成されている。FIG. 1 is a block diagram showing a configuration example of an embodiment of an image search system according to the present invention. Referring to FIG. 1, the image search system according to the present embodiment includes a feature point extraction device 100, a feature point search device 200, an image database (image DB) 300, an image display device 400 such as a CRT and a liquid crystal display. It consists of
【００１０】特徴点抽出装置１００は、検索画像入力手
段１１０と、累積特徴点抽出手段１２０と、記録媒体１
３０とから構成されている。The feature point extraction device 100 includes a search image input means 110, a cumulative feature point extraction means 120, and a recording medium 1.
It is composed of 30 and.
【００１１】検索画像入力手段１１０は、フラットベッ
ドスキャナー、デジタルカメラ等から構成されるもので
あり、検索画像１０をシステムに入力する機能を備えて
いる。The search image input means 110 is composed of a flatbed scanner, a digital camera, etc., and has a function of inputting the search image 10 into the system.
【００１２】累積特徴点抽出手段１２０は、例えば、コ
ンピュータから構成されるものであり、検索画像１０に
対して処理内容が異なる複数の画像調整処理を行い、複
数の調整済み検索画像を生成する機能や、各調整済み検
索画像毎に特徴点情報を抽出する機能や、各調整済み検
索画像の特徴点情報を累積し、累積特徴点情報を生成す
る機能を有している。The cumulative feature point extraction means 120 is composed of, for example, a computer, and has a function of performing a plurality of image adjustment processes with different processing contents on the search image 10 and generating a plurality of adjusted search images. It also has a function of extracting feature point information for each adjusted search image, and a function of accumulating feature point information of each adjusted search image and generating cumulative feature point information.
【００１３】このような機能を有する累積特徴点抽出手
段１２０は、指示累積手段１２１と、画像調整処理手段
１２２と、境界線抽出手段１２３と、特徴点抽出手段１
２４とを備えている。The cumulative feature point extracting means 120 having such a function has an instruction accumulating means 121, an image adjustment processing means 122, a boundary line extracting means 123, and a feature point extracting means 1.
24 and.
【００１４】指示累積手段１２１は、検索画像入力手段
１１０から検索画像１０が入力された時、上記検索画像
１０と、ユーザによって予め設定されているｎ個の画像
調整パラメータ２０−１〜２０−ｎの内の第１番目の画
像調整パラメータ２０−１とを画像調整処理手段１２２
に対して出力する機能や、特徴点抽出手段１２４から第
ｉ番目（１≦ｉ≦ｎ）の画像調整パラメータ２０−ｉに
対応する第ｉ番目の特徴点情報３０−ｉが送られてきた
時、上記特徴点情報３０−ｉをそれまでに送られてきて
いる特徴点情報３０−１〜３０−（ｉ−１）の累積結果
に累積すると共に、検索画像１０と第（ｉ＋１）番目の
画像調整パラメータ２０−（ｉ＋１）とを画像調整処理
手段１２２に対して出力する機能や、特徴点情報３０−
１〜３０−ｎの累積結果（累積特徴点情報４０）を特徴
点検索装置２００に対して出力する機能を有する。The instruction accumulating unit 121, when the search image 10 is input from the search image input unit 110, the search image 10 and n image adjustment parameters 20-1 to 20-n preset by the user. The first image adjustment parameter 20-1 of the
When the i-th feature point information 30-i corresponding to the i-th (1 ≦ i ≦ n) image adjustment parameter 20-i is sent from the feature point extracting means 124. , The above-mentioned feature point information 30-i is accumulated in the accumulation result of the feature point information 30-1 to 30- (i-1) which has been sent so far, and the search image 10 and the (i + 1) th image The function of outputting the adjustment parameter 20- (i + 1) and the image adjustment processing unit 122, and the feature point information 30-
It has a function of outputting a cumulative result (cumulative feature point information 40) of 1 to 30-n to the feature point search device 200.
【００１５】ここで、画像調整パラメータは、画像調整
処理の種類と、その調整度合いとを含むものである。画
像調整処理の種類としては、図２に示すような、明度調
整や、色相調整や、無調整がある。また、これ以外にも
コントラスト調整、彩度調整などがある。Here, the image adjustment parameters include the type of image adjustment processing and the degree of adjustment. The types of image adjustment processing include brightness adjustment, hue adjustment, and no adjustment, as shown in FIG. In addition to this, there are contrast adjustment and saturation adjustment.
【００１６】画像調整処理手段１２２は、指示累積手段
１２１から送られてきた画像調整パラメータ２０−ｉに
基づいて、検索画像１０に対して画像調整処理を行い、
調整済み検索画像を生成する機能を有している。なお、
画像調整パラメータ２０−ｉによって無調整が指示され
ている場合には、指示累積手段１２１から入力された検
索画像１０をそのまま出力する。The image adjustment processing means 122 performs image adjustment processing on the search image 10 based on the image adjustment parameter 20-i sent from the instruction accumulating means 121,
It has a function of generating an adjusted search image. In addition,
When no adjustment is instructed by the image adjustment parameter 20-i, the search image 10 input from the instruction accumulating unit 121 is output as it is.
【００１７】このような機能を有する画像調整処理手段
１２２は、例えば、図３に示すように、コントラスト調
整手段１２２１と、明度調整手段１２２２と、彩度調整
手段１２２３と、色相調整手段１２２４とから構成され
ている。The image adjustment processing means 122 having such a function comprises, for example, as shown in FIG. 3, a contrast adjusting means 1221, a lightness adjusting means 1222, a saturation adjusting means 1223, and a hue adjusting means 1224. It is configured.
【００１８】コントラスト調整手段１２２１は、指示累
積手段１２１から送られてくる画像調整パラメータ２０
−ｉによって示される画像調整処理の種類が「コントラ
スト調整」の場合、画像調整パラメータ２０−ｉによっ
て示される調整度合いで、検索画像１０に対してコント
ラスト調整を行い、コントラスト調整の済んだ調整済み
検索画像を生成する機能を有する。The contrast adjusting means 1221 is used for the image adjusting parameter 20 sent from the instruction accumulating means 121.
When the type of image adjustment processing indicated by -i is "contrast adjustment", contrast adjustment is performed on the search image 10 with the adjustment degree indicated by the image adjustment parameter 20-i, and the adjusted adjustment-completed search is performed. It has the function of generating images.
【００１９】明度調整手段１２２２は、指示累積手段１
２１から送られてくる画像調整パラメータ２０−ｉによ
って示される画像調整処理の種類が「明度調整」の場
合、画像調整パラメータ２０−ｉによって示される調整
度合いで、検索画像１０に対して明度調整処理を行い、
明度調整の済んだ調整済み検索画像を生成する機能を有
している。The brightness adjusting means 1222 is the instruction accumulating means 1
When the type of the image adjustment processing indicated by the image adjustment parameter 20-i sent from the display unit 21 is “lightness adjustment”, the lightness adjustment processing is performed on the search image 10 at the adjustment degree indicated by the image adjustment parameter 20-i. And then
It has a function of generating an adjusted search image whose brightness has been adjusted.
【００２０】彩度調整手段１２２３は、指示累積手段１
２１から送られてくる画像調整パラメータ２０−ｉによ
って示される画像調整処理の種類が「彩度調整」の場
合、画像調整パラメータ２０−ｉによって示される調整
度合いで、検索画像１０に対して彩度調整処理を行い、
彩度調整の済んだ調整済み検索画像を生成する機能を有
している。The saturation adjusting means 1223 is the instruction accumulating means 1
When the type of the image adjustment processing indicated by the image adjustment parameter 20-i sent from the image display device 21 is “saturation adjustment”, the saturation of the search image 10 is adjusted with the adjustment degree indicated by the image adjustment parameter 20-i. Perform the adjustment process,
It has a function of generating an adjusted search image whose saturation has been adjusted.
【００２１】色相調整手段１２２４は、指示累積手段１
２１から送られてくる画像調整パラメータ２０−ｉによ
って示される画像調整処理の種類が「色相調整」である
場合、画像調整パラメータ２０−ｉによって示される調
整度合いで、検索画像１０に対して色相調整処理を行
い、色相調整の済んだ調整済み検索画像を生成する機能
を有する。The hue adjusting means 1224 is the instruction accumulating means 1
When the type of the image adjustment processing indicated by the image adjustment parameter 20-i sent from the display unit 21 is “hue adjustment”, the hue adjustment is performed on the search image 10 with the adjustment degree indicated by the image adjustment parameter 20-i. It has a function of performing processing and generating an adjusted search image for which hue adjustment has been completed.
【００２２】境界線抽出手段１２３は、画像調整処理手
段１２２から出力された調整済み検索画像中の値が急変
している点を、境界線を構成するエッジ点として抽出
し、エッジ点の集合（境界線）からなる境界線画像を生
成し、特徴点抽出手段１２４に出力する機能を有する。The boundary line extracting means 123 extracts a point in the adjusted search image output from the image adjusting processing means 122, where the value suddenly changes, as an edge point forming a boundary line, and a set of edge points ( It has a function of generating a boundary line image composed of (boundary line) and outputting it to the feature point extraction means 124.
【００２３】特徴点抽出手段１２４は、境界線抽出手段
１２３から入力された境界線画像を構成する線の分岐
点、端点等の画像の特徴を表す特徴点を抽出し、それら
の位置（座標値）を含む特徴点情報３０−ｉを生成する
機能を有する。The feature point extracting means 124 extracts feature points representing image features such as branch points and end points of the lines forming the boundary line image input from the boundary line extracting means 123, and their positions (coordinate values). ) Is included in the feature point information 30-i.
【００２４】累積特徴点抽出手段１２０に接続されてい
る記録媒体１３０は、ディスク、半導体メモリ、その他
の記録媒体であり、コンピュータからなる累積特徴点抽
出手段１２０を特徴点抽出装置１００の一部として機能
させるためのプログラムが記録されている。このプログ
ラムは、累積特徴点抽出手段１２０によって読み取ら
れ、その動作を制御することで、累積特徴点抽出手段１
２０上に、指示累積手段１２１、画像調整処理手段１２
２、境界線抽出手段１２３、特徴点抽出手段１２４を実
現する。The recording medium 130 connected to the cumulative feature point extracting means 120 is a disk, a semiconductor memory, or another recording medium, and the cumulative feature point extracting means 120 composed of a computer is used as a part of the feature point extracting apparatus 100. The program for operating is recorded. This program is read by the cumulative feature point extraction means 120, and the cumulative feature point extraction means 1 is controlled by controlling its operation.
20, the instruction accumulating means 121, the image adjustment processing means 12
2. The boundary line extracting means 123 and the feature point extracting means 124 are realized.
【００２５】画像データベース３００には、複数枚の被
検索画像が登録されている。各被検索画像には、登録時
に、特徴点情報が付加されている。この特徴点情報は、
被検索画像をそのまま用いて抽出した特徴点情報で構わ
ない。A plurality of searched images are registered in the image database 300. Feature point information is added to each searched image at the time of registration. This feature point information is
Feature point information extracted by using the searched image as it is may be used.
【００２６】特徴点検索装置２００は、入力された累積
特徴点情報４０を検索キーにして画像データベース３０
０を検索する機能や、検索結果情報５０及び検索結果画
像６０を画像表示装置４００に出力する機能を有する。
特徴点検索装置２００は、検索結果情報５０として検索
条件に該当した画像の件数、画像の付加情報、各特徴の
一致した度合いを表す点数、該当した画像が複数あった
場合はそれぞれの点数とそれに応じた順位等を出力す
る。The feature point search device 200 uses the input cumulative feature point information 40 as a search key and the image database 30.
It has a function of searching for 0 and a function of outputting the search result information 50 and the search result image 60 to the image display device 400.
The feature point search device 200 uses, as the search result information 50, the number of images corresponding to the search condition, additional information of the image, a score indicating the degree of matching of each feature, and if there are a plurality of corresponding images, each score and the corresponding score. It outputs the corresponding rank, etc.
【００２７】[0027]
【実施の形態の動作】次に、本実施の形態の動作につい
て詳細に説明する。なお、以降の説明では、図１におけ
る検索画像入力装置１００は、フラットベッドスキャナ
ーであるとする。また、指示累積手段１２１には、画像
調整処理の種類「明度調整」とその調整度合いを含む第
１番目の画像調整パラメータ２０−１と、画像調整処理
の種類「色相調整」とその調整度合いを含む第２番目の
画像調整パラメータ２０−２とが予め設定されていると
する。Next, the operation of this embodiment will be described in detail. In the following description, the search image input device 100 in FIG. 1 is assumed to be a flatbed scanner. Further, the instruction accumulating unit 121 stores the first image adjustment parameter 20-1 including the image adjustment processing type “brightness adjustment” and its adjustment degree, the image adjustment processing type “hue adjustment” and its adjustment degree. It is assumed that the included second image adjustment parameter 20-2 is set in advance.
【００２８】ユーザは、検索画像入力手段１１０を用い
て検索画像１０を入力する。The user inputs the search image 10 using the search image input means 110.
【００２９】累積特徴点抽出手段１２０内の指示累積手
段１２１は、検索画像１０が入力されると、図４の流れ
図に示すように、入力された検索画像１０と、第１番目
の画像調整パラメータ２０−１とを画像調整処理手段１
２２に渡す（ステップＳ４１、Ｓ４２）。ここで、第１
番目の画像調整パラメータ２０−１は、前述したよう
に、画像調整処理の種類「明度調整」とその調整度合い
とを含んでいる。When the retrieval image 10 is inputted, the instruction accumulating means 121 in the accumulated feature point extracting means 120 receives the inputted retrieval image 10 and the first image adjustment parameter as shown in the flowchart of FIG. 20-1 and image adjustment processing means 1
22 (steps S41 and S42). Where the first
The th image adjustment parameter 20-1 includes the type of image adjustment processing “brightness adjustment” and its adjustment degree, as described above.
【００３０】画像調整処理手段１２２は、画像調整処理
の種類「明度調整」を含む第１番目の画像調整パラメー
タ２０−１及び検索画像１０が渡されると、明度調整手
段１２２２を使用して検索画像１０に対する明度調整処
理を行い、図２に示すような、調整済み検索画像２１を
生成し、境界線抽出手段１２３に渡す（ステップＳ４
３）。The image adjustment processing means 122 receives the first image adjustment parameter 20-1 including the image adjustment processing type “brightness adjustment” and the search image 10 and then uses the brightness adjustment means 1222 to retrieve the search image. The brightness adjustment processing for 10 is performed to generate an adjusted search image 21 as shown in FIG.
3).
【００３１】境界線抽出手段１２３は、調整済み検索画
像２１に対して境界線抽出処理を行い、図２に示すよう
な境界線画像２２を生成し、特徴点抽出手段１２４に渡
す（ステップＳ４４）。The boundary line extraction means 123 performs boundary line extraction processing on the adjusted search image 21 to generate a boundary line image 22 as shown in FIG. 2 and passes it to the feature point extraction means 124 (step S44). .
【００３２】特徴点抽出手段１２４は、境界線抽出手段
１２３から渡された境界線画像２２に対して特徴点抽出
処理を行い、抽出した特徴点の座標値を含む、第１番目
の特徴点情報３０−１を生成し、指示累積手段１２１に
渡す（ステップＳ４５）。今、例えば、境界線画像２２
の点ａ，ｂ，ｃ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋが特徴点
として抽出され、それらの座標値を含む特徴点情報３０
−１が指示累積手段１２１に渡されたとする。The feature point extraction means 124 performs feature point extraction processing on the boundary line image 22 passed from the boundary line extraction means 123, and first feature point information including coordinate values of the extracted feature points. 30-1 is generated and passed to the instruction accumulating means 121 (step S45). Now, for example, the boundary image 22
Points a, b, c, e, f, g, h, i, j, k are extracted as feature points, and feature point information 30 including their coordinate values is extracted.
It is assumed that -1 is passed to the instruction accumulating means 121.
【００３３】指示累積手段１２１は、特徴点ａ，ｂ，
ｃ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋの座標値を含む第１番
目の特徴点情報３０−１が渡されると、それが最初の特
徴点情報であるので、特徴点３０−１を累積特徴点情報
４０として内部に保持する（ステップＳ４６）。The instruction accumulating means 121 uses the characteristic points a, b,
When the first feature point information 30-1 including the coordinate values of c, e, f, g, h, i, j, and k is passed, since it is the first feature point information, the feature point 30- 1 is internally stored as the accumulated feature point information 40 (step S46).
【００３４】その後、指示累積手段１２１は、設定され
ている全ての画像調整パラメータ２０−１、２０−２を
処理したか否かを調べる（ステップＳ４７）。この場
合、第１番目の画像調整パラメータ２０−１しか処理し
ていないので、ステップＳ４７の判断結果は、ＮＯとな
る。After that, the instruction accumulating means 121 checks whether or not all the set image adjustment parameters 20-1 and 20-2 have been processed (step S47). In this case, since only the first image adjustment parameter 20-1 is processed, the determination result of step S47 is NO.
【００３５】ステップＳ４７の判断結果がＮＯとなる
と、指示累積手段１２１は、検索画像入力手段１１０か
ら入力された検索画像１０と、予め設定されている第２
番目の画像調整パラメータ２０−２とを画像調整処理手
段１２２に渡す（ステップＳ４８、Ｓ４２）。ここで、
第２番目の画像調整パラメータ２０−２は、前述したよ
うに、画像調整処理の種類「色相調整」とその調整度合
いとを含むものである。If the decision result in the step S47 is NO, the instruction accumulating means 121 and the search image 10 inputted from the search image input means 110 and the preset second image.
The second image adjustment parameter 20-2 is passed to the image adjustment processing means 122 (steps S48 and S42). here,
As described above, the second image adjustment parameter 20-2 includes the type “hue adjustment” of the image adjustment process and the adjustment degree thereof.
【００３６】画像調整処理手段１２２は、画像調整処理
の種類「色相調整」を含む第２番目の画像調整パラメー
タ２０−２及び検索画像１０が渡されると、色相調整手
段１２２４を使用して検索画像１０に対して色相調整処
理を行い、図２に示すような調整済み検索画像２３を生
成し、境界線抽出手段１２３に渡す（ステップＳ４
３）。When the second image adjustment parameter 20-2 including the type of image adjustment processing "hue adjustment" and the search image 10 are passed, the image adjustment processing means 122 uses the hue adjustment means 1224 to retrieve the search image. Hue adjustment processing is performed on 10 to generate an adjusted search image 23 as shown in FIG.
3).
【００３７】境界線抽出手段１２３は、調整済み検索画
像２３に対して境界線抽出処理を行い、図２に示すよう
な境界線画像２４を生成し、特徴点抽出手段１２４に渡
す（ステップＳ４５）。The boundary line extraction means 123 performs boundary line extraction processing on the adjusted search image 23 to generate a boundary line image 24 as shown in FIG. 2 and passes it to the feature point extraction means 124 (step S45). .
【００３８】特徴点抽出手段１２４は、境界線画像２４
中の特徴点を抽出し、各特徴点の座標値を含む、第２番
目の特徴点情報３０−２を生成し、指示累積手段１２１
に渡す（ステップＳ４５）。今、例えば、境界線画像２
４中の点ａ，ｂ，ｃ，ｄ，ｅ，ｉ，ｋが特徴点として抽
出され、それらの座標値を含む第２番目の特徴点情報３
０−２が指示累積手段１２１に渡されたとする。The feature point extracting means 124 detects the boundary line image 24.
The second feature point information 30-2 including the coordinate values of the respective feature points is extracted, and the instruction accumulating means 121 is extracted.
(Step S45). Now, for example, the boundary image 2
The points a, b, c, d, e, i, and k in 4 are extracted as feature points, and second feature point information 3 including their coordinate values is extracted.
It is assumed that 0-2 is passed to the instruction accumulating means 121.
【００３９】指示累積手段１２１は、第２番目の特徴点
情報３０−２が渡されると、内部に保持している累積特
徴点情報４０（第１番目の特徴点情報３０−１の内容と
同一内容）に、重複する情報を除いて第２番目の特徴点
情報３０−２の内容を追加する（ステップＳ４６）。When the second feature point information 30-2 is passed to the instruction accumulating means 121, the accumulated feature point information 40 (the same as the content of the first feature point information 30-1) held therein is received. The content of the second feature point information 30-2 is added to (contents) except for duplicate information (step S46).
【００４０】この例の場合、累積特徴点情報４０には、
特徴点ａ，ｂ，ｃ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋの座標
値が含まれ、第２番目の特徴点情報３０−２には、特徴
点ａ，ｂ，ｃ，ｄ，ｅ，ｉ，ｋの座標値が含まれている
ので、重複する特徴点ａ，ｂ，ｃ，ｅ，ｉ，ｋの座標値
を除いた、特徴点ｄの座標値が累積特徴点情報４０に追
加されることになる。この結果、累積特徴点情報４０
は、図５に示す特徴点ａ〜ｋの座標値を含むものとな
る。In the case of this example, the accumulated feature point information 40 includes
The coordinate values of the characteristic points a, b, c, e, f, g, h, i, j, k are included, and the second characteristic point information 30-2 includes the characteristic points a, b, c, d. , E, i, k coordinate values are included, the coordinate value of the feature point d is the cumulative feature point information 40 except the coordinate values of the overlapping feature points a, b, c, e, i, k. Will be added to. As a result, the accumulated feature point information 40
Includes the coordinate values of the characteristic points a to k shown in FIG.
【００４１】指示累積手段１２１は、第２番目の特徴点
情報３０−２を累積特徴点情報４０に累積すると、予め
設定されている画像調整パラメータ２０−１、２０−２
の中に、未処理の画像調整パラメータが存在するか否か
を調べる（ステップＳ４７）。この例の場合、未処理の
画像調整パラメータは存在しないので、ステップＳ４７
の判断結果は、ＹＥＳとなる。When the second feature point information 30-2 is accumulated in the accumulated feature point information 40, the instruction accumulating means 121 accumulates preset image adjustment parameters 20-1 and 20-2.
It is checked whether or not there is an unprocessed image adjustment parameter (step S47). In the case of this example, since there are no unprocessed image adjustment parameters, step S47.
The result of the determination is YES.
【００４２】指示累積手段１２１は、ステップＳ４７の
判断結果がＹＥＳとなると、保持している累積特徴点情
報４０（特徴点ａ〜ｋの座標値を含んでいる）を特徴点
検索装置２００に対して出力し（ステップＳ４９）、そ
の後、処理終了となる。When the determination result of step S47 is YES, the instruction accumulating means 121 sends the accumulated characteristic point information 40 (including the coordinate values of characteristic points a to k) to the characteristic point searching device 200. And outputs (step S49), and then the process ends.
【００４３】特徴点検索装置２００は、特徴点抽出装置
１００から累積特徴点情報４０が送られてくると、それ
を検索キーにして画像データベース３００を検索し、類
似の特徴点情報を持つ複数の画像情報を抽出する（図
６、ステップＳ６１）。When the feature point extracting device 100 receives the accumulated feature point information 40 from the feature point extracting device 100, the feature point searching device 200 searches the image database 300 using the accumulated feature point information 40 as a search key, and stores a plurality of similar feature point information. Image information is extracted (FIG. 6, step S61).
【００４４】その後、特徴点検索装置２００は、検索条
件に該当した画像の件数、画像の名称、作成日時等の付
加情報、各画像の特徴が一致した度合いを表す点数とそ
れに応じた順位を含む検索結果情報５０を、検索結果画
像６０と共に画像表示装置４００に送出する（ステップ
Ｓ６２）。Thereafter, the feature point search device 200 includes the number of images that meet the search conditions, additional information such as the image name and the creation date and time, the score indicating the degree of matching of the features of each image, and the order corresponding thereto. The search result information 50 is sent to the image display device 400 together with the search result image 60 (step S62).
【００４５】図２の境界線画像２５は、検索画像１０に
対して画像調整処理を行わなかった時に得られる境界線
画像を示している。この境界線画像２５からは僅か５個
の特徴点ａ，ｂ，ｃ，ｉ，ｋしか抽出することができな
いが、本実施の形態によれば、１１個の特徴点ａ〜ｋを
抽出することが可能になる。このように、本実施の形態
によれば、検索画像１０が低品質のものであっても、多
くの特徴点を抽出することが可能になる。その結果、本
実施の形態で求めた累積特徴点情報４０を用いて検索処
理を行うことにより、ユーザが希望する画像が検索され
る確率を高いものにすることができる。The boundary image 25 shown in FIG. 2 is a boundary image obtained when the image adjustment processing is not performed on the search image 10. Although only 5 feature points a, b, c, i, k can be extracted from the boundary image 25, according to the present embodiment, 11 feature points a to k must be extracted. Will be possible. As described above, according to the present embodiment, it is possible to extract many feature points even if the search image 10 has low quality. As a result, by performing the search process using the accumulated feature point information 40 obtained in the present embodiment, it is possible to increase the probability that the image desired by the user will be searched.
【００４６】なお、上述した説明では、指示累積手段１
２１に、「明度調整」を指示する画像調整パラメータ
と、「色相調整」を指示する画像調整パラメータとを設
定した場合について説明したが、指示累積手段１２１に
設定しておく画像調整パラメータは、これに限られるも
のではなく、「コントラスト調整」を指示する画像調整
パラメータや、「彩度調整」を指示する画像調整パラメ
ータや、「調整なし」を指示する画像調整パラメータを
設定しても良い。また、指示する画像調整処理の種類が
同一で、指示する調整度合いが異なる画像調整パラメー
タを複数設定するようにしても良い。In the above description, the instruction accumulating means 1
The case where the image adjustment parameter for instructing “brightness adjustment” and the image adjustment parameter for instructing “hue adjustment” are set in 21 has been described, but the image adjustment parameter set in the instruction accumulating unit 121 is However, the image adjustment parameter for instructing “contrast adjustment”, the image adjustment parameter for “saturation adjustment”, and the image adjustment parameter for “no adjustment” may be set. Further, it is possible to set a plurality of image adjustment parameters having the same type of instructed image adjustment processing but different instructed adjustment degrees.
【００４７】[0047]
【発明の効果】以上説明したように、本発明の特徴点抽
出装置は、入力画像に対して複数の異なる処理内容の画
像調整処理を行うことにより得た、複数の調整済み画像
それぞれから特徴点情報を抽出し、それらを累積して累
積特徴点情報を生成するようにしているので、入力画像
そのものから特徴点情報を抽出する場合に比べ、遥かに
多くの特徴点の情報を含む累積特徴点情報を得ることが
できる。従って、入力された画像が低品質のものであっ
ても、多くの特徴点の情報を含む累積特徴点情報を得る
ことができる。その結果、本発明の特徴点抽出装置によ
り生成される累積特徴点情報を用いて検索を行うように
すれば、検索画像が低品質なものであっても、ユーザが
希望する画像を検索できる確率が高くなる。As described above, the feature point extracting apparatus of the present invention is characterized by performing feature adjustment from each of a plurality of adjusted images obtained by performing image adjustment processing of a plurality of different processing contents on an input image. Since the information is extracted and accumulated to generate the accumulated feature point information, the accumulated feature points including much more feature point information than when extracting the feature point information from the input image itself. You can get information. Therefore, even if the input image is of low quality, it is possible to obtain accumulated feature point information including many feature point information. As a result, if the search is performed using the accumulated feature point information generated by the feature point extraction device of the present invention, the probability that the user can search for the desired image even if the search image has low quality Becomes higher.
【００４８】また、本発明の画像検索システムは、検索
画像の累積特徴点情報を用いて検索を行っているので、
検索画像が低品質の場合であっても、ユーザが希望する
画像を検索できる確率が高くなる。Further, since the image retrieval system of the present invention conducts retrieval using the accumulated feature point information of retrieval images,
Even if the search image is of low quality, the probability that the user can search for the desired image is high.
【図１】本発明の実施の形態のブロック図である。FIG. 1 is a block diagram of an embodiment of the present invention.
【図２】画像調整処理を説明するための図である。FIG. 2 is a diagram for explaining image adjustment processing.
【図３】画像調整処理手段１２２の構成例を示すブロッ
ク図である。FIG. 3 is a block diagram showing a configuration example of image adjustment processing means 122.
【図４】累積特徴点抽出手段１２０の処理例を示す流れ
図である。FIG. 4 is a flowchart showing a processing example of a cumulative feature point extraction means 120.
【図５】累積特徴点情報４０を説明するための図であ
る。5 is a diagram for explaining cumulative feature point information 40. FIG.
【図６】特徴点検索装置２００の処理例を示す流れ図で
ある。6 is a flowchart showing a processing example of the feature point search device 200. FIG.
【図７】従来の技術を説明するための図である。FIG. 7 is a diagram for explaining a conventional technique.
【符号の説明】 １００…特徴点抽出装置 １１０…検索画像入力手段 １２０…累積特徴点抽出手段 １２１…指示累積手段 １２２…画像調整処理手段 １２３…境界線抽出手段 １２４…特徴点抽出手段 １３０…記録媒体 ２００…特徴点検索装置 ３００…画像データベース ４００…画像表示装置 １０…検索画像 ２０−ｉ…画像調整パラメータ ３０−ｉ…特徴点情報 ４０…累積特徴点情報[Explanation of symbols] 100 ... Feature point extraction device 110 ... Search image input means 120 ... Cumulative feature point extraction means 121 ... Instruction accumulating means 122 ... Image adjustment processing means 123 ... Boundary line extraction means 124 ... Feature point extraction means 130 ... Recording medium 200 ... Feature point search device 300 ... Image database 400 ... Image display device 10 ... Search image 20-i ... Image adjustment parameter 30-i ... Feature point information 40 ... Cumulative feature point information
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 DA02 DA04 EA05 EA06 EA09 EA14 EA18 FA05 GA08 5B057 CE11 CE16 CE17 DA11 DB02 DB06 DB09 DC05 DC16 DC33 DC36 5B075 ND06 NK07 NR02 5L096 AA02 AA06 EA12 EA27 FA06 FA09 GA41 HA09 JA11 ─────────────────────────────────────────────────── ─── Continued front page F-term (reference) 5B050 DA02 DA04 EA05 EA06 EA09 EA14 EA18 FA05 GA08 5B057 CE11 CE16 CE17 DA11 DB02 DB06 DB09 DC05 DC16 DC33 DC36 5B075 ND06 NK07 NR02 5L096 AA02 AA06 EA12 EA27 FA06 FA09 GA41 HA09 JA11
Claims (8)
処理内容の画像調整処理を行うことにより、複数の調整
済み画像を生成し、 各調整済み画像毎に特徴点情報を抽出し、 各調整済み画像の特徴点情報を累積して累積特徴点情報
を生成することを特徴とする特徴点抽出方法。1. A plurality of adjusted images are generated by performing image adjustment processing of a plurality of different processing contents on an input image, and feature point information is extracted for each adjusted image. A feature point extraction method characterized by accumulating feature point information of adjusted images to generate cumulative feature point information.
て、 前記画像調整処理は、コントラストの調整処理、明度の
調整処理、彩度の調整処理、或いは色相の調整処理を含
むことを特徴とする特徴点抽出方法。2. The feature point extraction method according to claim 1, wherein the image adjustment processing includes contrast adjustment processing, lightness adjustment processing, saturation adjustment processing, or hue adjustment processing. Feature point extraction method.
処理内容の画像調整処理を行うことにより、複数の調整
済み画像を生成し、 各調整済み画像毎に特徴点情報を抽出し、 各調整済み画像の特徴点情報を累積して累積特徴点情報
を生成し、 累積特徴点情報と、画像データベースに登録されている
画像に付加されている特徴点情報とに基づいて画像検索
を行うことを特徴とする画像検索方法。3. A plurality of adjusted images are generated by performing image adjustment processing of a plurality of different processing contents on the input image, and feature point information is extracted for each adjusted image. Accumulating the feature point information of the adjusted images to generate cumulative feature point information, and performing an image search based on the cumulative feature point information and the feature point information added to the image registered in the image database. Image retrieval method characterized by.
なる処理内容の画像調整処理を行うことにより、複数の
調整済み画像を生成し、各調整済み画像毎に特徴点情報
を抽出し、各調整済み画像の特徴点情報を累積して累積
特徴点情報を生成する累積特徴点抽出手段とを備えたこ
とを特徴とする特徴点抽出装置。4. An image input unit for inputting an image, and a plurality of adjusted images are generated by performing image adjustment processing of a plurality of different processing contents on the image input from the image input unit, A feature point extraction device comprising: cumulative feature point extraction means for extracting feature point information for each adjusted image and accumulating feature point information of each adjusted image to generate cumulative feature point information. .
て、 前記累積特徴点抽出手段が、 前記入力された画像に対して、複数の異なる処理内容の
画像調整処理を行い、複数の調整済み画像を生成する画
像調整処理手段と、 該画像調整処理手段で生成された各調整済み画像それぞ
れに対して境界線抽出処理を行い、複数の境界線画像を
生成する境界線抽出手段と、 該境界線抽出手段で生成された各境界線画像それぞれの
特徴点情報を抽出する特徴点抽出手段と、 該特徴点抽出手段で抽出された、各境界線画像の特徴点
情報を累積し、累積特徴点情報を生成する指示累積手段
とを備えたことを特徴とする特徴点抽出装置。5. The feature point extraction device according to claim 4, wherein the cumulative feature point extraction means performs image adjustment processing of a plurality of different processing contents on the input image to obtain a plurality of adjusted images. An image adjustment processing unit for generating a boundary line, a boundary line extraction unit for performing a boundary line extraction process on each adjusted image generated by the image adjustment processing unit, and generating a plurality of boundary line images; Feature point extracting means for extracting feature point information of each boundary line image generated by the extracting means, and feature point information of each boundary line image extracted by the feature point extracting means is accumulated to obtain accumulated feature point information. And an instruction accumulating means for generating the.
において、 前記画像調整処理は、コントラストの調整処理、明度の
調整処理、彩度の調整処理、或いは色相の調整処理を含
むことを特徴とする特徴点抽出装置。6. The feature point extraction device according to claim 4, wherein the image adjustment processing includes contrast adjustment processing, lightness adjustment processing, saturation adjustment processing, or hue adjustment processing. A feature point extraction device.
報と、画像データベースに登録されている画像情報に付
加されている特徴点情報とに基づいて画像検索を行う特
徴点検索装置とを備えたことを特徴とする画像検索シス
テム。7. The feature point extraction device according to claim 4, the accumulated feature point information generated by the feature point extraction device according to claim 4, and the feature points added to the image information registered in the image database. An image search system comprising: a feature point search device that searches for an image based on information.
る処理内容の画像調整処理を行うことにより、複数の調
整済み画像を生成し、各調整済み画像毎に特徴点情報を
抽出し、各調整済み画像の特徴点情報を累積して累積特
徴点情報を生成する累積特徴点抽出手段として機能させ
るためのプログラム。8. A computer generates a plurality of adjusted images by performing image adjustment processing of a plurality of different processing contents on an image input from an image input means, and a characteristic is set for each adjusted image. A program for extracting point information and accumulating the characteristic point information of each adjusted image to generate cumulative characteristic point information, which functions as a cumulative characteristic point extracting unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002039554A JP2003242162A (en) | 2002-02-18 | 2002-02-18 | Feature point extracting method, image searching method, feature point extracting apparatus, image searching system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002039554A JP2003242162A (en) | 2002-02-18 | 2002-02-18 | Feature point extracting method, image searching method, feature point extracting apparatus, image searching system, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003242162A true JP2003242162A (en) | 2003-08-29 |
Family
ID=27780538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002039554A Pending JP2003242162A (en) | 2002-02-18 | 2002-02-18 | Feature point extracting method, image searching method, feature point extracting apparatus, image searching system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003242162A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009536499A (en) * | 2006-05-05 | 2009-10-08 | トムソン ライセンシング | System and method for reconstructing a three-dimensional object from a two-dimensional image |
| US8433157B2 (en) | 2006-05-04 | 2013-04-30 | Thomson Licensing | System and method for three-dimensional object reconstruction from two-dimensional images |
| JP2014095667A (en) * | 2012-11-12 | 2014-05-22 | Mitsubishi Electric Corp | Target type discrimination device and target type discrimination method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH056437A (en) * | 1991-06-27 | 1993-01-14 | Matsushita Electric Ind Co Ltd | Image feature extracting/collating device and image retrieving device |
| JPH0773195A (en) * | 1993-09-02 | 1995-03-17 | Canon Inc | Picture retrieving method and its device |
| JPH09171514A (en) * | 1995-12-21 | 1997-06-30 | Nec Corp | Graphic retrieval device |
-
2002
- 2002-02-18 JP JP2002039554A patent/JP2003242162A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH056437A (en) * | 1991-06-27 | 1993-01-14 | Matsushita Electric Ind Co Ltd | Image feature extracting/collating device and image retrieving device |
| JPH0773195A (en) * | 1993-09-02 | 1995-03-17 | Canon Inc | Picture retrieving method and its device |
| JPH09171514A (en) * | 1995-12-21 | 1997-06-30 | Nec Corp | Graphic retrieval device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8433157B2 (en) | 2006-05-04 | 2013-04-30 | Thomson Licensing | System and method for three-dimensional object reconstruction from two-dimensional images |
| JP2009536499A (en) * | 2006-05-05 | 2009-10-08 | トムソン ライセンシング | System and method for reconstructing a three-dimensional object from a two-dimensional image |
| JP2014095667A (en) * | 2012-11-12 | 2014-05-22 | Mitsubishi Electric Corp | Target type discrimination device and target type discrimination method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7602999B2 (en) | Image searching device, image forming device, image searching method, image searching program, and computer-readable storage medium | |
| JP4445131B2 (en) | Histogram characterization method for video content | |
| US20040218838A1 (en) | Image processing apparatus and method therefor | |
| EP2023288A1 (en) | Object recognition device, object recognition program, and image search service providing method | |
| JP4214568B2 (en) | Image data sequential display device, image data sequential display method, and recording medium | |
| JPH09293082A (en) | Device for retrieving picture and its method | |
| EP1574991A1 (en) | Similar image extraction device, similar image extraction method, and similar image extraction program | |
| JPH06152970A (en) | Picture compressing method and picture processor | |
| JP2003150617A (en) | Image processor and program | |
| JP5366676B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2006217046A (en) | Video index image generator and generation program | |
| JP2004021430A (en) | Image searching device, image searching method, and image searching program | |
| KR101986361B1 (en) | System and method for extracting feature value of digital video, and system and method for determining similarity of digital video using the feture value | |
| JP2005039359A (en) | Image reproducing device and program | |
| JP2003242162A (en) | Feature point extracting method, image searching method, feature point extracting apparatus, image searching system, and program | |
| JPH08263522A (en) | Image retrieving method | |
| JP4055976B2 (en) | Document image processing method, document image processing apparatus, and recording medium | |
| JPH05282375A (en) | Method and system for retrieving image | |
| JP2005352727A (en) | Portrait retrieving device | |
| JPH11238077A (en) | Image retrieval device and method and medium recording image retrieval program | |
| JP2002236921A (en) | Document image recognition method, document image recognition device and recording medium | |
| JP4205517B2 (en) | Image classification apparatus and program including depth information | |
| KR100263536B1 (en) | A new method of image data retrieval using color feature vector | |
| JP2002133414A (en) | Image processing method and its device and recording medium | |
| JPH10134144A (en) | Recognition method for drawing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060509 |