JP2007148871A - Image retrieval system, image retrieval method, image registration system and image registration method - Google Patents

Image retrieval system, image retrieval method, image registration system and image registration method Download PDF

Info

Publication number
JP2007148871A
JP2007148871A JP2005343525A JP2005343525A JP2007148871A JP 2007148871 A JP2007148871 A JP 2007148871A JP 2005343525 A JP2005343525 A JP 2005343525A JP 2005343525 A JP2005343525 A JP 2005343525A JP 2007148871 A JP2007148871 A JP 2007148871A
Authority
JP
Japan
Prior art keywords
image
type
feature amount
search
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005343525A
Other languages
Japanese (ja)
Inventor
Koji Fujiwara
浩次 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2005343525A priority Critical patent/JP2007148871A/en
Publication of JP2007148871A publication Critical patent/JP2007148871A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image retrieval system and an image retrieval method, wherein a proper characteristic quantity and dictionary data for retrieval are selected according to the kinds of a retrieval source image and a retrieval destination image and a combination thereof even if the proper characteristic quantity for the retrieval differs by the kind of the image to perform the high-accuracy and efficient retrieval, and to provide an image registration system and an image registration method for registering the dictionary data. <P>SOLUTION: Even if the proper characteristic quantity for the retrieval differs by the kind of the image, the dictionary data wherein one kind of the image is registered to one characteristic quantity thereamong, and the dictionary data wherein all kinds of the images are registered to the other characteristic quantities are prepared, and the characteristic quantity for the retrieval and the dictionary data corresponding thereto are changed over according to the kind of the retrieval source image to perform the highly-accurate and efficient retrieval. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出する画像検索システム、画像検索方法、及び検索される画像を辞書データに登録する画像登録システム、画像登録方法に関する。   The present invention provides an image search system, an image search method, and an image to be searched by searching dictionary data based on a feature amount of an input image and extracting an image having a similar feature amount from stored image data. The present invention relates to an image registration system and an image registration method for registering in dictionary data.

近年は、デジタル化、ネットワーク化の進展により、様々な情報が電子的に扱われるようになってきた。オフィスなどでも文書の電子化が進み、大量の文書がデジタルの電子ファイルとして管理されている。電子的に文書を取り扱うことにより、紙文書では考えられなかった大量のデータの迅速な処理、作成、表示印刷、移動や検索などが可能となっている。   In recent years, various information has been handled electronically with the progress of digitalization and networking. Documents are being digitized in offices and the like, and a large number of documents are managed as digital electronic files. By handling documents electronically, it is possible to quickly process, create, display and print, move and search large amounts of data that could not be considered in paper documents.

しかしながら、紙文書に代表されるアナログの媒体も捨てがたいものがあり、会議などの資料としてその手軽さ、見やすさからプリントアウトされた紙文書が配られたりするのは今もよくあることである。   However, some analog media such as paper documents are difficult to throw away, and it is still common for paper documents printed out for the convenience and ease of viewing to be distributed as materials for meetings. is there.

こういった事情から、デジタルの電子データと紙文書などのアナログデータとを両立させ、互いに連繋しながらシームレスに活用できることが望まれている。   Under these circumstances, it is desired that digital electronic data and analog data such as paper documents can be compatible and can be used seamlessly while being linked to each other.

現状では両者の変換法として、電子データを紙媒体にプリントアウトする、あるいは紙文書をスキャンして電子的に画像データ化する、などが行われている。しかしここで、一旦アナログデータにすると、デジタルデータとは異なり、変化するという特性があることに注目しなければならない。例えば、コピーして作成した文書は元の文書から変化しているし、それをコピーすればまた変化する。スキャンして再度デジタル化しても元の電子データとは異なっている。   Currently, as a conversion method between the two, electronic data is printed out on a paper medium, or a paper document is scanned and converted into image data electronically. However, it should be noted here that once analog data is used, it has a characteristic of changing unlike digital data. For example, a document created by copying has changed from the original document, and changes if it is copied. Even if scanned and digitized again, it is different from the original electronic data.

こういった状況に対して、アナログの紙文書から、それに対応するデジタルの電子データを、管理された大量の電子データの中から電子的に検索できるような技術が求められてきた。そうすれば、常に一貫したデジタルデータを元にして各種処理を行うことが可能になる。   Under such circumstances, there has been a demand for a technique capable of electronically searching a digital electronic data corresponding to an analog paper document from a large amount of managed electronic data. By doing so, it becomes possible to always perform various processes based on consistent digital data.

検索の手段としては、識別コードやメタデータを付与して、それをキーに検索する方法なども開発されたが、紙文書の場合その印刷内容の中にコードなどを埋め込まねばならないという制約がある。文書中のテキストなどのキーワードで検索する方法もあるが、テキストだけでは不十分であり、図主体の文書などでは不適当である。   As a means of search, a method of assigning an identification code and metadata and searching using it as a key has been developed. However, in the case of a paper document, there is a restriction that the code must be embedded in the print contents. . There is a method of searching with a keyword such as text in a document, but text alone is insufficient, and it is inappropriate for a figure-based document.

よく用いられるのは、文書を画像として比較して、その類似度により検索するという手法である。文書の画像データから画像としての特徴量を求め、その特徴量を検索のキーとして検索する。つまり、検索元の画像の特徴量と検索先の各画像の特徴量を比較して類似度合いを算出し、類似度合いの大きい画像を抽出してくるのである。   A technique often used is to compare documents as images and search based on their similarity. A feature amount as an image is obtained from the image data of the document, and the feature amount is searched as a search key. That is, the degree of similarity is calculated by comparing the feature amount of the search source image and the feature amount of each image of the search destination, and an image having a high degree of similarity is extracted.

こういった検索の具体的な用途として考えられる例としては、オフィスでの事務書類の作成、管理、編集、コピー、配信、記録、といった電子データと紙媒体と両方を用いるようなケースである。例えば、配布された紙の文書を再プリントしたい、そのとき通常なら、MFPに持っていき複写すればよい、しかし様々な理由からそのまま複写しにくい場合もある。例えば、元々はカラー文書であったものをモノクロでプリントしていた、しかし、今度は元のカラー文書が必要だといったケースも想定される。こういった場合、MFPに持っていき、複写する代わりに検索複写を選択すれば、自動的に管理された登録文書の中から元のカラー文書のデジタルデータを検索し、プリントアウトする、といった形態が考えられる。   An example of a specific application of such a search is a case where both electronic data such as creation, management, editing, copying, distribution, and recording of office documents in an office and a paper medium are used. For example, if you want to reprint a distributed paper document, you can usually copy it to the MFP and copy it, but it may be difficult to copy as it is for various reasons. For example, a case where an original color document is printed in monochrome, but an original color document is necessary this time is also assumed. In such a case, the digital data of the original color document is automatically searched from the registered document managed and taken out if the search copy is selected instead of copying to the MFP. Can be considered.

しかしながら、上記のモノクロのアナログ画像からカラーのデジタル画像を検索する場合のように、画像データとしての特徴量を用いて、類似画像(アナログなので少し変化している)としての元の画像を検索するに当たって、画像の種類が異なってきているような場合も想定しなければならない。   However, as in the case of searching for a color digital image from the above-described monochrome analog image, the original image as a similar image (analogue is slightly changed) is searched using the feature amount as image data. In this case, it must be assumed that the types of images are different.

検索にカラーの特徴量を用いれば、モノクロの特徴量より情報量が多く、検索精度が向上するだろうが、モノクロ画像に対しては、有効でない余計な情報を用いていることになり、非効率である。モノクロ特徴量を用いれば、効率的に検索できるが、カラー画像に対しては、色情報を使用していないので検索の精度を落とすことになる。   If color features are used in the search, the amount of information will be greater than monochrome features and the search accuracy will improve. However, for monochrome images, extra information that is not valid is used. Efficiency. If the monochrome feature amount is used, the search can be performed efficiently. However, since color information is not used for a color image, the search accuracy is lowered.

カラー画像とモノクロ画像の例を挙げたが、要は画像の性質、種類により、適切な検索法は異なってくるということである。しかしながら、画像の種類を予め限定できず、複数の種類が混在している場合がむしろ一般的であることから、複数の検索法を使い分けるような技術も提案されてきている(例えば、特許文献1、2、及び3参照)。   Although examples of color images and monochrome images have been given, the point is that the appropriate search method varies depending on the nature and type of the image. However, since the types of images cannot be limited in advance and a plurality of types are mixed in general, a technique for properly using a plurality of search methods has been proposed (for example, Patent Document 1). 2 and 3).

特許文献1では、カラー画像とモノクロ画像に対して、検索元の画像の種類を検知して、カラー画像であればカラー特徴量を検索に用い、モノクロ画像であればモノクロ特徴量を検索に用いるように、切り換えて処理する技術が提示されている。   In Patent Document 1, for color images and monochrome images, the type of search source image is detected, and if a color image is used, the color feature amount is used for the search. If it is a monochrome image, the monochrome feature amount is used for the search. Thus, a technique for switching and processing has been proposed.

特許文献2では、検索元の画像によりカラー特徴量とモノクロ特徴量のどちらを重視するかの重み付けを決定して、常に重み付きで両方を検索に用いる技術を提示している。   Japanese Patent Application Laid-Open No. 2004-228561 presents a technique of determining weighting for emphasizing either a color feature value or a monochrome feature value based on a search source image, and always using both in a search with a weight.

特許文献3では、カラーとモノクロではなく、検索元の文書に適用できるマクロ機能を検索するために、例えば用途別、言語別など複数の分類木を用意し、どの分類木を辿っても該当するマクロ機能へ辿れるような技術が提示されている。つまり複数の検索法からユーザが任意に選べるようになっている。   In Patent Document 3, in order to search for a macro function that can be applied to a search source document instead of color and monochrome, a plurality of classification trees, for example, by use and language, are prepared, and any classification tree is traced. Technologies that can be traced to the macro function are presented. In other words, the user can arbitrarily select from a plurality of search methods.

画像の種類を第1種の画像、第2種の画像と称し、それぞれに適した検索のための特徴量を第1の特徴量、第2の特徴量として、上記技術を当てはめてみると、以下のように総括できる。   When the above technique is applied with the types of images referred to as the first type image and the second type image as the feature amounts for the search suitable for each as the first feature amount and the second feature amount, It can be summarized as follows.

特許文献1の技術は、検索元の画像が第1種の画像であれば、第1の特徴量を用いて検索し、検索元の画像が第2種の画像であれば、第2の特徴量を用いて検索するタイプ。   The technique of Patent Document 1 searches using the first feature amount if the search source image is the first type image, and uses the second feature if the search source image is the second type image. The type to search using quantity.

特許文献2の技術は、第1の特徴量、第2の特徴量両方を検索に用いるが、検索元の画像に応じてその重み付けを換えるタイプ。   The technique of Patent Literature 2 uses both the first feature value and the second feature value for the search, but changes the weight according to the search source image.

特許文献3の技術は、検索元の画像にかかわらず、第1の特徴量、第2の特徴量を任意に選んで検索することができるタイプ。
特開2004−334336号公報 特開2001−143080号公報 特開平9−223134号公報
The technology of Patent Document 3 is a type that can be searched by arbitrarily selecting the first feature amount and the second feature amount regardless of the search source image.
JP 2004-334336 A JP 2001-143080 A JP-A-9-223134

上記特許文献1に示された技術によれば、第1種の画像に対しても第2種の画像に対しても、それぞれ適切な検索が可能であるが、検索先の画像の種類が検索元の画像の種類と同じであるとは限らない。従って、場合によっては非効率になったり、検索精度がよくなかったりする。また第1の特徴量と第2の特徴量と、両方を予め求めておくか、そのつどどちらかを算出するといった手間が必要である。   According to the technique disclosed in Patent Document 1, an appropriate search can be performed for both the first type image and the second type image, but the type of the search destination image is searched. It is not always the same as the original image type. Therefore, in some cases, it becomes inefficient and search accuracy is not good. Further, it is necessary to obtain both the first feature value and the second feature value in advance, or to calculate one of them each time.

特許文献2に示された技術によれば、検索元の画像に応じて重み付けすることで検索の精度がよくなる。しかしながら、検索元の画像に対して、常に第1の特徴量と第2の特徴量と両方の特徴量を算出しなければならない。また検索先の各画像に対しても、両方を予め求めておくなどの対処が必要である。重み付きながら常に両方を用いるので効率が悪い。   According to the technique disclosed in Patent Document 2, the accuracy of the search is improved by weighting according to the search source image. However, both the first feature amount and the second feature amount must always be calculated for the search source image. Also, it is necessary to take measures such as obtaining both images for each search destination. Since both are always used with weight, it is inefficient.

特許文献3に示された技術によれば、ユーザが任意に検索方法を選ぶことができ、どちらを選択しても基本的には同じ検索が可能という長所がある。しかしながら、これは複数の検索方法の設定によっては、検索精度や効率が著しくアンバランスになる場合もある。例えばカラーとモノクロの場合のように、第1の特徴量と第2の特徴量の情報量が著しく異なり、一方に他方が包含されるようなケースで適用するのは、現実的ではない。   According to the technique disclosed in Patent Document 3, the user can arbitrarily select a search method, and there is an advantage that the same search is basically possible regardless of which method is selected. However, depending on the setting of a plurality of search methods, the search accuracy and efficiency may be significantly unbalanced. For example, as in the case of color and monochrome, it is not practical to apply in a case where the information amount of the first feature amount and the second feature amount are significantly different and one of the other is included.

本発明の目的は、上記のような課題を解決し、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出するに当たって、画像の種類によって検索のための適切な特徴量が異なっても、検索元の入力画像と検索先の記憶された画像の種類とその組み合わせに応じて、検索のための適切な特徴量と辞書データとが選定され、精度が高く、かつ効率的な検索を行うことができる画像検索システム、画像検索方法、及びその適切な辞書データが形成されるよう、検索先の画像を適切な特徴量と関連づけて登録する画像登録システム、画像登録方法を提供することである。   An object of the present invention is to solve the above-described problems, search dictionary data based on the feature amount of an input image, and extract an image having a similar feature amount from stored image data. Even if the appropriate feature amount for the search differs depending on the type of the image, the appropriate feature amount and the dictionary data for the search are determined according to the input image of the search source and the type of the stored image of the search destination and the combination thereof. The image search system, the image search method, and the appropriate dictionary data are associated with the appropriate feature quantity so that the image search system, the image search method, and the appropriate dictionary data can be formed. An image registration system and an image registration method for registration are provided.

本発明は上記課題を解決するため、以下のような特徴を有するものである。   The present invention has the following features in order to solve the above problems.

1. 取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索システムであって、前記入力画像から第1の特徴量を抽出する第1の特徴量抽出手段と、前記入力画像から第2の特徴量を抽出する第2の特徴量抽出手段と、前記入力画像が第1種の画像であるか第2種の画像であるかを検知する画像検知手段と、前記第1の特徴量を検索キーとして、前記第1種の画像が登録された第1種の画像用辞書データと、前記第2の特徴量を検索キーとして、前記第1種の画像と前記第2種の画像とが登録された第2種の画像用辞書データと、前記画像検知手段による前記入力画像の検知結果が前記第1種の画像である場合に、前記入力画像の前記第1の特徴量に基づいて、前記第1種の画像用辞書データを検索し、対応する出力画像候補を抽出する第1種の画像検索手段と、前記画像検知手段による前記入力画像の検知結果が前記第2種の画像である場合に、前記入力画像の前記第2の特徴量に基づいて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する第2種の画像検索手段と、を有する、ことを特徴とする画像検索システム。   1. An image search system that calculates an image feature amount for an acquired input image, searches predetermined dictionary data based on the feature amount, and extracts an output image corresponding to the input image and the feature amount. , First feature quantity extraction means for extracting a first feature quantity from the input image, second feature quantity extraction means for extracting a second feature quantity from the input image, and the input image is of the first type. Image detecting means for detecting whether the image is a first type image or a second type image, and the first type image dictionary data in which the first type image is registered using the first feature amount as a search key And using the second feature amount as a search key, the second type image dictionary data in which the first type image and the second type image are registered, and the input image by the image detection means If the detection result is the first type image, the input image Based on the first feature amount, the first type image dictionary data is searched, and a corresponding output image candidate is extracted, and the detection result of the input image by the image detection unit Is the second type of image, the second type image dictionary data is searched based on the second feature amount of the input image, and the corresponding output image candidate is extracted. And an image search means.

2. 前記第2の特徴量抽出手段が抽出する前記第2の特徴量の次元数は、前記第1の特徴量抽出手段が抽出する前記第1の特徴量の次元数よりも小さい、ことを特徴とする1に記載の画像検索システム。   2. The number of dimensions of the second feature value extracted by the second feature value extraction unit is smaller than the number of dimensions of the first feature value extracted by the first feature value extraction unit. 2. The image search system according to 1.

3. 前記画像検知手段は、前記第1の特徴量に基づき、前記入力画像が前記第1種の画像であるか前記第2種の画像であるかを判別する画像判別手段を有する、ことを特徴とする1または2に記載の画像検索システム。   3. The image detection means includes image discrimination means for discriminating whether the input image is the first type image or the second type image based on the first feature amount. The image search system according to 1 or 2.

4. 前記入力画像が、その画像中に第1種の画像領域と第2種の画像領域を有する場合、前記画像判別手段は、前記入力画像において前記第1種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第1種の画像であるか前記第2種の画像であるかを判別し、前記第2種の画像検索手段は、前記画像判別手段が前記入力画像を前記第2種の画像であると判別した場合、前記入力画像の前記第2の特徴量のうち、その画像中の前記第1種の画像領域を除いた部分に対応する前記第2の特徴量に基づいて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする3に記載の画像検索システム。   4). In the case where the input image has a first type image region and a second type image region in the image, the image discriminating unit is configured such that the first type image region in the input image is the entire image region. It is determined whether the input image is the first-type image or the second-type image according to a ratio of occupying, and the second-type image search unit is configured such that the image determination unit uses the input image. Is determined to be the second type image, the second feature corresponding to a portion of the image excluding the first type image region in the second feature amount of the input image. 4. The image search system according to 3, wherein the second type of image dictionary data is searched based on the amount, and corresponding output image candidates are extracted.

5. 前記第1種の画像用辞書データまたは前記第2種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、ことを特徴とする1乃至4の何れか1項に記載の画像検索システム。   5. The image data of the image registered in the first type image dictionary data or the second type image dictionary data is distributed and stored in devices connected via a network. 5. The image search system according to any one of 1 to 4.

6. 前記第1種の画像検索手段は、前記入力画像の前記第1の特徴量に基づき、第1種の画像検索用インデックスを用いて、前記第1種の画像用辞書データを検索し、対応する出力画像候補を抽出し、前記第2種の画像検索手段は、前記入力画像の前記第2の特徴量に基づき、第2種の画像検索用インデックスを用いて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする1乃至5の何れか1項に記載の画像検索システム。   6). The first type image search means searches the first type image dictionary data using the first type image search index based on the first feature amount of the input image, and corresponds to the first type image dictionary data. An output image candidate is extracted, and the second type image search means uses the second type image search index based on the second feature amount of the input image, and uses the second type image search index. 6. The image search system according to any one of 1 to 5, wherein data is searched and a corresponding output image candidate is extracted.

7. 前記第1種の画像はカラー画像であり、前記第1の特徴量は、カラー特徴量であり、前記第2種の画像はモノクロ画像であり、前記第2の特徴量は、モノクロ特徴量である、ことを特徴とする1乃至6の何れか1項に記載の画像検索システム。   7). The first type image is a color image, the first feature amount is a color feature amount, the second type image is a monochrome image, and the second feature amount is a monochrome feature amount. The image search system according to any one of 1 to 6, characterized in that:

8 1乃至5の何れか1項に記載の画像検索システムで用いられる辞書データへの画像登録システムであって、前記第1の特徴量抽出手段と、前記第2の特徴量抽出手段と、前記画像検知手段と、前記第1種の画像用辞書データと、前記第2種の画像用辞書データと、前記画像検知手段による前記入力画像の検知結果が前記第1種の画像である場合に、前記第1種の画像用辞書データに、前記第1の特徴量と関連づけて前記入力画像を登録する第1種の画像登録手段と、前記画像検知手段による前記入力画像の検知結果に関わらず、前記第2種の画像用辞書データに、前記第2の特徴量と関連づけて前記入力画像を登録する第2種の画像登録手段と、を有する、ことを特徴とする画像登録システム。   8 An image registration system for dictionary data used in the image search system according to any one of 1 to 5, wherein the first feature amount extraction means, the second feature amount extraction means, When the detection result of the input image by the image detection means, the first type image dictionary data, the second type image dictionary data, and the image detection means is the first type image, Regardless of the detection result of the input image by the first type image registration means for registering the input image in association with the first feature amount in the first type image dictionary data, and the detection result of the input image by the image detection means, An image registration system comprising: second type image registration means for registering the input image in association with the second feature amount in the second type image dictionary data.

9. 前記第1種の画像登録手段は、前記第1種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第1の特徴量に基づき第1種の画像検索用インデックスを更新し、前記第2種の画像登録手段は、前記第2種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第2の特徴量に基づき第2種の画像検索用インデックスを更新する、ことを特徴とする8に記載の画像登録システム。   9. The first type of image registration means registers the input image in the first type of image dictionary data, and sets a first type of image search index based on the first feature amount of the input image. The second type image registration means updates the second type image search unit based on the second feature amount of the input image and registers the input image in the second type image dictionary data. 9. The image registration system according to 8, wherein the image index is updated.

10. 前記第1種の画像はカラー画像であり、前記第1の特徴量は、カラー特徴量であり、前記第2種の画像はモノクロ画像であり、前記第2の特徴量は、モノクロ特徴量である、ことを特徴とする8または9に記載の画像登録システム。   10. The first type image is a color image, the first feature amount is a color feature amount, the second type image is a monochrome image, and the second feature amount is a monochrome feature amount. 10. The image registration system according to 8 or 9, wherein the image registration system is provided.

11. 取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索方法であって、前記入力画像から第1の特徴量を抽出する第1の特徴量抽出工程と、前記入力画像から第2の特徴量を抽出する第2の特徴量抽出工程と、前記入力画像が第1種の画像であるか第2種の画像であるかを検知する画像検知工程と、前記画像検知工程における前記入力画像の検知結果が前記第1種の画像である場合に、前記入力画像の前記第1の特徴量に基づいて、前記第1種の画像が登録された第1種の画像用辞書データを検索し、対応する出力画像候補を抽出する第1種の画像検索工程と、前記画像検知工程における前記入力画像の検知結果が前記第2種の画像である場合に、前記入力画像の前記第2の特徴量に基づいて、前記第1種の画像と前記第2種の画像とが登録された第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する第2種の画像検索工程と、を備える、ことを特徴とする画像検索方法。   11. An image search method that calculates an image feature amount for an acquired input image, searches predetermined dictionary data based on the feature amount, and extracts an output image corresponding to the input image and the feature amount. A first feature quantity extracting step for extracting a first feature quantity from the input image; a second feature quantity extracting step for extracting a second feature quantity from the input image; and An image detection step for detecting whether the image is a second type image or a second type image, and the detection result of the input image in the image detection step is the first type image. A first-type image search step of searching for first-type image dictionary data in which the first-type image is registered based on one feature amount, and extracting corresponding output image candidates; and the image detection The detection result of the input image in the process is the second type In the case of an image, the second type image dictionary data in which the first type image and the second type image are registered is searched based on the second feature amount of the input image; And a second type image search step of extracting corresponding output image candidates.

12. 前記第2の特徴量抽出工程において抽出される前記第2の特徴量の次元数は、前記第1の特徴量抽出工程において抽出される前記第1の特徴量の次元数よりも小さい、ことを特徴とする11に記載の画像検索方法。   12 The number of dimensions of the second feature value extracted in the second feature value extraction step is smaller than the number of dimensions of the first feature value extracted in the first feature value extraction step. 12. The image search method according to 11, which is characterized.

13. 前記画像検知工程は、前記第1の特徴量に基づき、前記入力画像が前記第1種の画像であるか前記第2種の画像であるかを判別する画像判別工程を有する、ことを特徴とする11または12に記載の画像検索方法。   13. The image detection step includes an image determination step of determining whether the input image is the first type image or the second type image based on the first feature amount. The image search method according to 11 or 12,

14. 前記入力画像が、その画像中に第1種の画像領域と第2種の画像領域を有する場合、前記画像判別工程では、前記入力画像において前記第1種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第1種の画像であるか前記第2種の画像であるかを判別し、前記第2種の画像検索工程では、前記画像判別工程において前記入力画像が前記第2種の画像であると判別された場合、前記入力画像の前記第2の特徴量のうち、その画像中の前記第1種の画像領域を除いた部分に対応する前記第2の特徴量に基づいて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする13に記載の画像検索方法。   14 When the input image has a first type image region and a second type image region in the image, in the image discrimination step, the first type image region in the input image is the entire image region. It is determined whether the input image is the first type image or the second type image in accordance with the proportion occupied, and in the second type image search step, the input image is determined in the image determination step. Is determined to be the second type of image, the second feature amount of the input image corresponding to a portion of the image excluding the first type of image region. 14. The image search method according to 13, wherein the second type of image dictionary data is searched based on a feature amount, and a corresponding output image candidate is extracted.

15. 前記第1種の画像用辞書データまたは前記第2種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、ことを特徴とする11乃至14の何れか1項に記載の画像検索方法。   15. The image data of the image registered in the first type image dictionary data or the second type image dictionary data is distributed and stored in devices connected via a network. The image search method according to any one of 11 to 14.

16. 前記第1種の画像検索工程では、前記入力画像の前記第1の特徴量に基づき、第1種の画像検索用インデックスを用いて、前記第1種の画像用辞書データを検索し、対応する出力画像候補を抽出し、前記第2種の画像検索工程では、前記入力画像の前記第2の特徴量に基づき、第2種の画像検索用インデックスを用いて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする11乃至15の何れか1項に記載の画像検索方法。   16. In the first type image search step, the first type image dictionary data is searched using the first type image search index based on the first feature amount of the input image, and corresponding Output image candidates are extracted, and the second type image search step uses the second type image search index based on the second feature amount of the input image and uses the second type image search index. 16. The image search method according to any one of 11 to 15, wherein data is searched and a corresponding output image candidate is extracted.

17. 前記第1種の画像はカラー画像であり、前記第1の特徴量は、カラー特徴量であり、前記第2種の画像はモノクロ画像であり、前記第2の特徴量は、モノクロ特徴量である、ことを特徴とする11乃至16の何れか1項に記載の画像検索方法。   17. The first type image is a color image, the first feature amount is a color feature amount, the second type image is a monochrome image, and the second feature amount is a monochrome feature amount. The image search method according to any one of 11 to 16, characterized in that:

18. 11乃至15の何れか1項に記載の画像検索方法において用いられる辞書データへの画像登録方法であって、前記第1の特徴量抽出工程と、前記第2の特徴量抽出工程と、前記画像検知工程と、前記画像検知工程における前記入力画像の検知結果が前記第1種の画像である場合に、前記第1種の画像用辞書データに、前記第1の特徴量と関連づけて前記入力画像を登録する第1種の画像登録工程と、前記画像検知工程における前記入力画像の検知結果に関わらず、前記第2種の画像用辞書データに、前記第2の特徴量と関連づけて前記入力画像を登録する第2種の画像登録工程と、を備える、ことを特徴とする画像登録方法。   18. An image registration method to dictionary data used in the image search method according to any one of 11 to 15, wherein the first feature quantity extraction step, the second feature quantity extraction step, and the image When the detection result of the input image in the detection step and the image detection step is the first type image, the input image is associated with the first feature amount in the first type image dictionary data. Regardless of the detection result of the input image in the first type image registration step and the image detection step, the input image is associated with the second feature amount in the second type image dictionary data. And a second type of image registration step for registering the image.

19. 前記第1種の画像登録工程では、前記第1種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第1の特徴量に基づき第1種の画像検索用インデックスを更新し、前記第2種の画像登録工程では、前記第2種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第2の特徴量に基づき第2種の画像検索用インデックスを更新する、ことを特徴とする18に記載の画像登録方法。   19. In the first type image registration step, the input image is registered in the first type image dictionary data, and a first type image search index is set based on the first feature amount of the input image. In the second type image registration step, the input image is registered in the second type image dictionary data, and the second type image search is performed based on the second feature amount of the input image. 19. The image registration method according to 18, wherein the image index is updated.

20. 前記第1種の画像はカラー画像であり、前記第1の特徴量は、カラー特徴量であり、前記第2種の画像はモノクロ画像であり、前記第2の特徴量は、モノクロ特徴量である、ことを特徴とする18または19に記載の画像登録方法。   20. The first type image is a color image, the first feature amount is a color feature amount, the second type image is a monochrome image, and the second feature amount is a monochrome feature amount. 20. The image registration method according to 18 or 19, wherein the image registration method is provided.

本発明によれば、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出するに当たって、画像の種類によって検索のための適切な特徴量が異なっても、それらのうち1つの特徴量に対して1種類の画像を登録した辞書データと、他の特徴量に対してすべての種類の画像を登録した辞書データとを用意し、検索元の入力画像の種類に応じて、検索する特徴量とそれに対応する辞書データを切り換えることで、精度が高く、かつ効率的な検索を行うことができる。   According to the present invention, when searching for dictionary data based on the feature amount of the input image and extracting an image having a similar feature amount from the stored image data, an appropriate value for the search is obtained depending on the type of image. Even if the feature amount is different, dictionary data in which one type of image is registered for one of the feature amounts and dictionary data in which all types of images are registered for other feature amounts are prepared. By switching the feature quantity to be searched and the corresponding dictionary data in accordance with the type of input image of the search source, a highly accurate and efficient search can be performed.

以下、図面を参照して本発明の実施形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(システムの全体構成及び動作)
図1は本実施形態に係る画像検索システム及び画像登録システムの構成例を示すブロック図である。図1を用いて、本実施形態に係る画像検索システム及び画像登録システムの概略構成を説明する。
(Overall system configuration and operation)
FIG. 1 is a block diagram illustrating a configuration example of an image search system and an image registration system according to the present embodiment. A schematic configuration of an image search system and an image registration system according to the present embodiment will be described with reference to FIG.

図1において、1は本実施形態に係る画像検索システム及び画像登録システムである。1は画像検索システム及び画像登録システムの両者を包含しており、以後、本実施形態の説明において画像検索システム1と呼称する場合は、画像登録システムも含むものとする。もちろん画像検索システムと画像登録システムとは、別の構成を有する別個のシステムであってもかまわない。   In FIG. 1, reference numeral 1 denotes an image search system and an image registration system according to this embodiment. Reference numeral 1 includes both an image search system and an image registration system. Hereinafter, the image search system 1 in the description of the present embodiment includes the image registration system. Of course, the image search system and the image registration system may be separate systems having different configurations.

画像検索システム1は、画像に対する検索や登録処理を行う単独のシステムであってもよいし、複写機やファックス、MFP(多機能型プリンタ)などの画像形成装置、あるいは他の画像処理装置などに接続、あるいは内蔵されたものであってもよい。その場合は画像入出力に関わる機能部分などで、システムの構成要素が画像形成装置などの構成要素と兼用されたものであってもよい。以後、本実施形態の説明においては、MFPに本画像検索システム1が内蔵されている例を想定して説明する。   The image search system 1 may be a single system that performs image search and registration processing, or is used in an image forming apparatus such as a copying machine, a fax machine, or an MFP (multifunction printer), or another image processing apparatus. It may be connected or built-in. In that case, the system components may be shared with the components such as the image forming apparatus in the functional part related to image input / output. Hereinafter, in the description of the present embodiment, an example in which the image search system 1 is built in an MFP will be described.

画像検索システム1は、以下の10から17の符号を付した構成要素を有する。   The image search system 1 includes components having the following reference numerals 10 to 17.

10はデータ処理部であり、画像検索と画像登録の処理を行う。データ処理部10の内部構成については後述する。   A data processing unit 10 performs image search and image registration processing. The internal configuration of the data processing unit 10 will be described later.

11は操作部であり、画像検索と画像登録の処理時にユーザの操作入力を受け付ける。例えば操作部11は、検索処理の指示、画像の種類の指定、出力候補画像からの出力画像選択などの操作を受け付ける。   Reference numeral 11 denotes an operation unit that accepts user operation input during image search and image registration processing. For example, the operation unit 11 accepts operations such as search processing instructions, image type designation, and output image selection from output candidate images.

12は表示部であり、画像検索と画像登録の処理時にユーザに提示すべき情報を表示する。例えば表示部12は、検索の処理内容に関する情報、検索結果の情報(出力候補画像)などの表示を行う。   A display unit 12 displays information to be presented to the user during the image search and image registration processing. For example, the display unit 12 displays information related to search processing contents, search result information (output candidate images), and the like.

13は画像読み取り部であり、スキャナ機能などを利用して検索や登録の対象である画像の入力を行う。例えば画像読み取り部13は、文書画像などを複写する際に読み取った文書画像を、登録処理のために複写とは別にデータ処理部10へ送り込む。   An image reading unit 13 inputs an image to be searched or registered using a scanner function or the like. For example, the image reading unit 13 sends a document image read when copying a document image or the like to the data processing unit 10 separately from copying for registration processing.

14はプリント部であり、登録処理した画像、あるいは検索された出力画像などのプリント出力を行う。例えばプリント部14は、複写の入力画像に対応してデータ処理部10から検索された出力画像を受け取り、複写の出力としてプリントアウトする。   A print unit 14 prints out a registered image or a searched output image. For example, the print unit 14 receives the output image retrieved from the data processing unit 10 corresponding to the copy input image, and prints it out as a copy output.

17は記憶部であり、登録処理した画像データを記憶する、またその画像データ検索のための辞書データを記憶する。例えば、記憶部17は、複写に際して画像データと辞書データを逐一記憶する。あるいは複写に際して記憶部17から辞書データにより画像データを検索する。   Reference numeral 17 denotes a storage unit that stores the registered image data and dictionary data for searching the image data. For example, the storage unit 17 stores image data and dictionary data one by one when copying. Alternatively, image data is retrieved from the storage unit 17 using dictionary data during copying.

15は画像入力に関わる通信部であり、16は画像出力に関わる通信部である。通信部15及び16は、いずれもネットワーク2などを経由して、外部から画像を受信する、あるいは送信するなどの形態で、データ処理部10での検索や登録処理の対象となる画像データを入力あるいは出力する。   Reference numeral 15 denotes a communication unit related to image input, and reference numeral 16 denotes a communication unit related to image output. Each of the communication units 15 and 16 inputs image data to be searched or registered in the data processing unit 10 in a form such as receiving or transmitting an image from the outside via the network 2 or the like. Or output.

3、4、5は、いずれもネットワーク2を経由して画像検索システム1と接続された外部の装置あるいはシステムであり、例えば、管理用のサーバや外部記憶装置が想定される。しかしながら、それらが画像検索システム1の登録画像データの記憶や、登録検索の情報(辞書データ)の記憶や管理を行っている場合には、画像検索システム1に包含されるシステムの構成要素と見なすのが適当である。   Reference numerals 3, 4, and 5 are external devices or systems connected to the image search system 1 via the network 2. For example, a management server or an external storage device is assumed. However, if they store registered image data of the image search system 1 and store and manage registration search information (dictionary data), they are regarded as components of the system included in the image search system 1. Is appropriate.

図2を参照して、MFPに内蔵されるシステムとして、画像検索システムの動作を説明する。図2(a)はMFPによる文書画像の複写時に画像登録する場合の、図2(b)はMFPによる文書画像の複写時に画像検索する場合の、それぞれ動作を示す図である。   With reference to FIG. 2, the operation of the image search system as a system built in the MFP will be described. 2A is a diagram showing an operation when an image is registered when a document image is copied by the MFP, and FIG. 2B is a diagram showing an operation when an image is searched when the document image is copied by the MFP.

MFPによる文書画像の複写時に画像登録する図2(a)の場合には、画像読み取り部13で入力された原文書画像A41は、通常の処理として複写処理されるが、それとは別にデータ処理部10へ送られ、画像データ(原文書画像A)として登録処理が行われる。データ処理部10での登録処理の詳細は後述する。原文書画像Aの画像データは記憶部17に記憶され、合わせて記憶部17の辞書データに登録される。登録済みの原文書画像A41は通常の複写処理により、複写された文書(複写文書画像A’42)としてプリント部14でプリントアウトされる。   In the case of FIG. 2A in which an image is registered when a document image is copied by the MFP, the original document image A41 input by the image reading unit 13 is copied as a normal process. 10 and registration processing is performed as image data (original document image A). Details of the registration processing in the data processing unit 10 will be described later. The image data of the original document image A is stored in the storage unit 17 and registered in the dictionary data of the storage unit 17 together. The registered original document image A41 is printed out by the printing unit 14 as a copied document (copy document image A'42) by a normal copying process.

また、MFPによる文書画像の複写時に画像検索する図2(b)の場合には、画像読み取り部13で入力された画像(複写文書画像A”43)はデータ処理部10へ送られ、その画像データ(複写文書画像A”)に基づき、出力すべき画像の検索処理が行われる。データ処理部10での検索処理の詳細は後述する。記憶部17の辞書データが参照され、記憶部17に記憶された画像データから複写文書画像A”に対応する出力画像候補が抽出され、表示部12に表示される。ユーザが出力画像候補から出力画像を選択すると、選択された画像(原文書画像A44)が複写の出力としてプリント部14からプリントアウトされる。   In the case of FIG. 2B in which an image search is performed when a document image is copied by the MFP, the image (copy document image A ″ 43) input by the image reading unit 13 is sent to the data processing unit 10 and the image is read. Based on the data (copy document image A ″), search processing for an image to be output is performed. Details of the search processing in the data processing unit 10 will be described later. The dictionary data in the storage unit 17 is referred to, and output image candidates corresponding to the copy document image A ″ are extracted from the image data stored in the storage unit 17 and displayed on the display unit 12. The user outputs from the output image candidates. When an image is selected, the selected image (original document image A44) is printed out from the printing unit 14 as a copy output.

上記のような登録及び検索の動作によって、例えば、原稿となる文書の複写時に登録を行っておくことにより、次回その複写文書またはその再複写文書あるいは修正文書などを用いて再複写処理を行おうとする際に、検索処理により元の画像データを参照して、元画像データによる文書複写をすることが可能になる。   By performing the registration and search operations as described above, for example, by performing registration at the time of copying a document to be a manuscript, the next time the re-copying process is performed using the copied document, the re-copyed document or the corrected document In this case, it is possible to copy the document using the original image data by referring to the original image data by the search process.

(データ処理部10の内部構成)
図3は、図1におけるデータ処理部10の内部構成例を示すブロック図である。図3を用いて、画像検索システム1におけるデータ処理部10内部の概略構成を説明する。
(Internal configuration of data processing unit 10)
FIG. 3 is a block diagram illustrating an internal configuration example of the data processing unit 10 in FIG. A schematic configuration inside the data processing unit 10 in the image search system 1 will be described with reference to FIG.

図3において、10はデータ処理部であり、17は記憶部である。データ処理部10は21乃至27の符号を付した構成要素を有する。   In FIG. 3, 10 is a data processing unit, and 17 is a storage unit. The data processing unit 10 has constituent elements denoted by reference numerals 21 to 27.

21は前処理部であり、入力画像に対して幾何学的な補正処理、シェーディング処理など、一般的な入力画像の補正処理を行う。   A pre-processing unit 21 performs general input image correction processing such as geometric correction processing and shading processing on the input image.

22は画像検知部であり、画像検知手段として機能する。画像検知部22は、後で述べる画像の特徴量抽出やそれに基づく検索、登録に必要な画像の種類の分類を行う。分類される画像の種類は、後述する第1種の画像と第2種の画像である。   An image detection unit 22 functions as an image detection unit. The image detection unit 22 classifies image types necessary for image feature extraction, search, and registration, which will be described later. The types of images to be classified are a first type image and a second type image described later.

この画像の種類の分類については、画像の種類の情報自体を検知する場合(例えば、ユーザが指定する、MFP本体から検知結果を受け取るなど)と、入力画像自体から判別する場合とがある。後者の場合、画像判別部23がその判別処理を行う。画像判別部23は、例えば後で述べる第1の特徴量を用いて入力画像の種類を判別する、すなわち画像判別手段として機能する。   The classification of the image type may be performed when the image type information itself is detected (for example, when the user designates a detection result from the MFP main body) or when the image type is determined from the input image itself. In the latter case, the image determination unit 23 performs the determination process. The image discriminating unit 23 discriminates the type of the input image using, for example, a first feature amount described later, that is, functions as an image discriminating unit.

24aは第1の特徴量抽出部であり、第1の特徴量抽出手段として機能する。第1の特徴量抽出部24aは、入力画像から第1の特徴量を抽出する。第1の特徴量は画像検知部22で分類された第1種の画像に対して画像の類似度を算出するのに適した画像の特徴量である。   Reference numeral 24a denotes a first feature quantity extraction unit, which functions as a first feature quantity extraction unit. The first feature quantity extraction unit 24a extracts a first feature quantity from the input image. The first feature amount is an image feature amount suitable for calculating the image similarity with respect to the first type of image classified by the image detection unit 22.

また24bは第2の特徴量抽出部であり、第2の特徴量抽出手段として機能する。第2の特徴量抽出部24bは、入力画像から第2の特徴量を抽出する。第2の特徴量は画像検知部22で分類された第2種の画像に対して画像の類似度を算出するのに適した画像の特徴量である。   Reference numeral 24b denotes a second feature quantity extraction unit, which functions as a second feature quantity extraction unit. The second feature amount extraction unit 24b extracts a second feature amount from the input image. The second feature amount is an image feature amount suitable for calculating the image similarity with respect to the second type of image classified by the image detection unit 22.

また逆にこれらの特徴量から画像の種類を判別することもできる。例えば、前述の画像判別部23は、この第1の特徴量を用いて入力画像の種類を第1種であると見なすべきかどうかを判別する。   Conversely, the type of image can be determined from these feature amounts. For example, the image determination unit 23 described above determines whether or not the type of the input image should be regarded as the first type using the first feature amount.

25aは第1種の画像登録部であり、第1種の画像登録手段として機能する。第1種の画像登録部25aは、画像検知部22で第1種の画像と分類された入力画像を第1の特徴量抽出部24aで抽出された第1の特徴量と関連づけて、後述の第1種の画像用辞書データ31a(記憶部17に保存されている)に登録する。   Reference numeral 25a denotes a first type image registration unit which functions as a first type image registration unit. The first type image registration unit 25a associates the input image classified as the first type image by the image detection unit 22 with the first feature amount extracted by the first feature amount extraction unit 24a, and will be described later. The data is registered in the first type image dictionary data 31a (stored in the storage unit 17).

また25bは第2種の画像登録部であり、第2種の画像登録手段として機能する。第2種の画像登録部25bは、画像検知部22での分類結果に関わらず、入力画像を第2の特徴量抽出部24bで抽出された第2の特徴量と関連づけて、後述の第2種の画像用辞書データ31b(記憶部17に保存されている)に登録する。   Reference numeral 25b denotes a second type image registration unit that functions as a second type image registration unit. The second type image registration unit 25b associates the input image with the second feature amount extracted by the second feature amount extraction unit 24b, regardless of the classification result in the image detection unit 22, and the second type described later. It is registered in the seed image dictionary data 31b (stored in the storage unit 17).

26aは第1種の画像検索部であり、第1種の画像検索手段として機能する。第1種の画像検索部25aは、画像検知部22で第1種の画像と分類された入力画像に対して、第1の特徴量抽出部24aで抽出された第1の特徴量に基づき、後述の第1種の画像用辞書データ(記憶部17に保存されている)を検索し、出力画像候補を抽出する。   Reference numeral 26a denotes a first type of image search unit that functions as a first type of image search means. The first type image search unit 25a is based on the first feature amount extracted by the first feature amount extraction unit 24a for the input image classified as the first type image by the image detection unit 22. A first-type image dictionary data (stored in the storage unit 17) described later is searched to extract output image candidates.

また26bは第2種の画像検索部であり、第2種の画像検索手段として機能する。第2種の画像検索部25bは、画像検知部22で第2種の画像と分類された入力画像に対して、第2の特徴量抽出部24bで抽出された第2の特徴量に基づき、後述の第2種の画像用辞書データ(記憶部17に保存されている)を検索し、出力画像候補を抽出する。   Reference numeral 26b denotes a second type of image search unit that functions as a second type of image search means. The second type image search unit 25b is based on the second feature amount extracted by the second feature amount extraction unit 24b with respect to the input image classified as the second type image by the image detection unit 22. Second type image dictionary data (stored in the storage unit 17) to be described later is searched, and output image candidates are extracted.

27は出力画像作成部であり、上記出力画像候補から出力画像が選択されると記憶部17の蓄積画像データ32を参照して引き出される画像データを受け取り、データ処理部10より出力するために出力画像を作成する。   An output image creation unit 27 receives image data extracted by referring to the stored image data 32 in the storage unit 17 when an output image is selected from the output image candidates, and outputs it for output from the data processing unit 10. Create an image.

以上がデータ処理部10の構成要素である。画像の登録処理及び検索処理の詳細については、後で図5及び図6を用いてそのフローを説明する。   The above are the components of the data processing unit 10. Details of the image registration process and search process will be described later with reference to FIGS.

記憶部17は、画像の登録と検索に関わる記憶データとして、31a、31bの辞書データ、32の蓄積画像データを有している。   The storage unit 17 has 31a and 31b dictionary data and 32 stored image data as storage data related to image registration and search.

31aは第1種の画像用辞書データであり、画像検知部22で第1種の画像と分類された入力画像が、第1の特徴量抽出部24aで抽出された第1の特徴量と関連づけて登録されており、画像検知部22で第1種の画像と分類された入力画像に対して、第1の特徴量抽出部24aで抽出された第1の特徴量に基づき、検索がかかる。   Reference numeral 31a denotes first type image dictionary data, and the input image classified as the first type image by the image detection unit 22 is associated with the first feature amount extracted by the first feature amount extraction unit 24a. The input image registered by the image detection unit 22 and classified as the first type of image is searched based on the first feature amount extracted by the first feature amount extraction unit 24a.

また31bは第2種の画像用辞書データであり、画像検知部22での分類結果に関わらず、入力画像が第2の特徴量抽出部24bで抽出された第2の特徴量と関連づけて登録されており、画像検知部22で第2種の画像と分類された入力画像に対して、第2の特徴量抽出部24bで抽出された第2の特徴量に基づき、検索がかかる。   Reference numeral 31b denotes the second type of dictionary data for the image, and the input image is registered in association with the second feature quantity extracted by the second feature quantity extraction unit 24b regardless of the classification result by the image detection unit 22. Thus, the input image classified as the second type image by the image detection unit 22 is searched based on the second feature amount extracted by the second feature amount extraction unit 24b.

32は蓄積画像データであり、入力画像の辞書データ31aまたは31bへの登録に合わせて、入力画像の画像データが保存される。また入力画像に対する検索時には、検索された辞書データ登録情報に基づき、蓄積画像データ32から該当する画像データが出力画像候補として抽出される。   Reference numeral 32 denotes accumulated image data, and the image data of the input image is stored in accordance with the registration of the input image in the dictionary data 31a or 31b. When searching for an input image, corresponding image data is extracted from the stored image data 32 as an output image candidate based on the searched dictionary data registration information.

(データ処理部10の動作)
上記したデータ処理部10の各部の機能において特徴的な部分は、画像検知部22での第1種または第2種の画像への分類結果に対して、後の画像登録の動作と、従って辞書データの登録内容が、第1種と第2種の画像に関して対称的でないことである。
(Operation of the data processing unit 10)
The characteristic part in the function of each part of the data processing unit 10 described above is the operation of the subsequent image registration with respect to the classification result to the first type or second type image in the image detection unit 22, and thus the dictionary. The registered contents of the data are not symmetrical with respect to the first type and second type images.

実際に、入力画像が第1種の画像の場合と第2種の画像の場合とで、画像登録時または画像検索時の処理がどう異なるかを表1に示した。   Table 1 shows how the processing at the time of image registration or image search differs depending on whether the input image is the first type image or the second type image.

Figure 2007148871
Figure 2007148871

表1に示すように、入力画像が第1種の画像の場合、第1の特徴量と関連づけて第1種の画像用辞書データに登録するとともに、第2の特徴量と関連づけて第2種の画像用辞書データにも登録している。すなわち第1種の画像である入力画像に対しては、両方の辞書データに登録される。   As shown in Table 1, when the input image is the first type image, the input image is registered in the first type image dictionary data in association with the first feature amount, and the second type in association with the second feature amount. It is also registered in the image dictionary data. That is, the input image which is the first type image is registered in both dictionary data.

入力画像が第2種の画像の場合は、第2の特徴量と関連づけて第2種の画像用辞書データにだけ登録している。   When the input image is the second type image, it is registered only in the second type image dictionary data in association with the second feature amount.

検索時には、第1種の入力画像に対しては、第1の特徴量に基づき、第1種の画像用辞書データのみを検索する。もちろん、第2の特徴量に基づき、第2種の画像用辞書データをも検索することが可能であるが、両方に同じ画像が登録されており、同じ第1種の出力画像が抽出されるのみであり、その必要性がない。   At the time of search, only the first type of image dictionary data is searched for the first type of input image based on the first feature amount. Of course, it is possible to search for the second type image dictionary data based on the second feature amount, but the same image is registered in both, and the same first type output image is extracted. Only and there is no need for it.

第2種の入力画像に対しては、その第2の特徴量に基づき、第2種の画像用辞書データのみを検索する。これは第1種の画像用辞書データの方には登録されていないからである。しかし、第2種の画像用辞書データから抽出される出力画像は、第2種の画像とは限らず、第1種の画像の場合もある。これは第2種の画像用辞書データには第1種の画像も第2の特徴量と関連づけて登録されているからであり、第2種の入力画像に対して、その第2の特徴量に基づいて第1種の出力画像が抽出されることがある。   For the second type input image, only the second type image dictionary data is searched based on the second feature amount. This is because it is not registered in the first type image dictionary data. However, the output image extracted from the second-type image dictionary data is not limited to the second-type image, and may be the first-type image. This is because the first type image is registered in the second type image dictionary data in association with the second feature amount, and the second feature amount is obtained for the second type input image. The first type of output image may be extracted based on the above.

データ処理部10における、こういったデータ処理の特徴がどのような効果に関連しているかを図4を用いて説明する。   The effect of such data processing characteristics in the data processing unit 10 will be described with reference to FIG.

図4は、画像の種類がカラー画像とモノクロ画像の場合を想定しており、図4(a)はMFPによるカラー画像のモノクロでのプリント時に画像登録する場合の動作を示し、図4(b)はMFPによるモノクロ画像の入力に対して元のカラー画像を検索し、カラープリントする場合の動作を示す。   FIG. 4 assumes a case where the image type is a color image and a monochrome image, and FIG. 4A shows an operation for registering an image when a color image is printed in monochrome by the MFP, and FIG. ) Shows an operation in the case of searching for an original color image in response to a monochrome image input by the MFP and performing color printing.

すなわち、図4においては、第1種の画像はカラー画像であり、第1の特徴量はカラー特徴量であり、さらに第2種の画像はモノクロ画像であり、第2の特徴量はモノクロ特徴量である場合を想定している。   That is, in FIG. 4, the first type image is a color image, the first feature value is a color feature value, the second type image is a monochrome image, and the second feature value is a monochrome feature. The case of quantity is assumed.

図4(a)においてカラー画像Aが、例えば通信部15などからプリント用の画像データとして入力される。これは一方でモノクロ画像A’としてモノクロでプリントアウトされる。しかしもう一方では、カラー画像Aとして記憶部17の蓄積画像データ54に追加記憶されるとともに、辞書データ53a及び53bに登録される。   In FIG. 4A, a color image A is input as image data for printing from the communication unit 15, for example. On the other hand, it is printed out in monochrome as a monochrome image A '. However, on the other hand, it is additionally stored in the accumulated image data 54 of the storage unit 17 as a color image A and registered in the dictionary data 53a and 53b.

登録の手順として、まず画像検知部51でカラー画像であることが検知される。カラー画像はカラー用辞書データ53aとモノクロ用辞書データ53bの両方に登録される。従って、カラー特徴量抽出52aとモノクロ特徴量抽出52bと両方が行われ、それぞれの特徴量を関連づけて、カラー画像Aはカラー用辞書データ53aとモノクロ用辞書データ53bのそれぞれに登録される。すなわちモノクロ用辞書データ53bにもモノクロ特徴量と関連づけたカラー画像Aが登録されている。
図4(b)においてはモノクロ画像A’が、例えば画像読み取り部13などにより画像入力される。これに対して出力すべき画像としてオリジナルの画像の存在が検索される。すなわち、モノクロ画像A’のオリジナルがカラーであればそのカラー画像を出力するという処理動作である。
As a registration procedure, first, the image detection unit 51 detects a color image. The color image is registered in both the color dictionary data 53a and the monochrome dictionary data 53b. Accordingly, both the color feature amount extraction 52a and the monochrome feature amount extraction 52b are performed, and the color image A is registered in the color dictionary data 53a and the monochrome dictionary data 53b in association with the respective feature amounts. That is, the color image A associated with the monochrome feature amount is also registered in the monochrome dictionary data 53b.
In FIG. 4B, a monochrome image A ′ is input by the image reading unit 13, for example. On the other hand, the presence of the original image is searched as an image to be output. That is, if the original of the monochrome image A ′ is a color, the color image is output.

検索の手順としては、まず画像検知部51でモノクロ画像であることが検知される。従って、モノクロ画像A’に対してモノクロ特徴量抽出52bのみが行われ、そのモノクロ特徴量に基づいてモノクロ用辞書データ53bが検索される。しかしモノクロ用辞書データ53bには、オリジナルがモノクロ画像であってもカラー画像であっても登録されているはずである。従ってこの場合、オリジナルのカラー画像Aが抽出され、記憶部17の蓄積画像データ54からカラー画像Aの画像データが引き出され、カラー画像Aとしてカラーでプリントアウトされる。   As a search procedure, first, the image detection unit 51 detects that the image is a monochrome image. Therefore, only the monochrome feature amount extraction 52b is performed on the monochrome image A ', and the monochrome dictionary data 53b is searched based on the monochrome feature amount. However, the monochrome dictionary data 53b should be registered regardless of whether the original is a monochrome image or a color image. Therefore, in this case, the original color image A is extracted, the image data of the color image A is extracted from the accumulated image data 54 of the storage unit 17, and the color image A is printed out in color.

データ処理部10でこのような処理を行うことにより、カラーの原文書をモノクロでプリントした紙文書から、元のカラー文書データを検索し、利用することができる。   By performing such processing in the data processing unit 10, original color document data can be retrieved from a paper document obtained by printing a color original document in monochrome and used.

一方ではモノクロ画像に対して検索をかける必要があるものの、単純にモノクロ特徴量のみを利用して検索するのでは、一方でカラー画像の有する強力な検索特徴、つまりカラー情報を利用できない。モノクロ画像とカラー画像に対して、検索のキーとしてのモノクロ特徴量とカラー特徴量を使い分けることが検索処理を効率的にするが、場合によっては、上記のようにモノクロ特徴量でカラー画像を検索するといった処理を組み込むことが検索の自由度と価値を上げることがある。本実施形態はそういう場合にも適切な動作を行い、検索効果を上げることができる。   On the one hand, it is necessary to perform a search on a monochrome image. However, if a search is performed using only the monochrome feature amount, the powerful search feature of the color image, that is, color information cannot be used. For monochrome images and color images, the use of monochrome features and color features as search keys makes the search process efficient, but in some cases, color images are searched using monochrome features as described above. Incorporating such a process may increase the freedom and value of search. Even in such a case, the present embodiment can perform an appropriate operation and increase the search effect.

すなわち、カラー画像とモノクロ画像の場合でいうなら、カラーの特徴量をキーとするカラー用の辞書データにはカラーの原文書のみを登録し、モノクロの特徴量をキーとするモノクロ用辞書データにはすべての原文書を登録しておき、所定の検索処理をかけると、モノクロ文書に対しては、原文書がカラーであっても自動的にモノクロ用辞書データからカラーの原文書を検索することができ、一方カラー文書に対しては、カラー文書のみ検索し、不必要なモノクロ文書の検索を行うこともなく、高精度で、且つ高速な検索を行うことができる。   That is, in the case of a color image and a monochrome image, only the color original document is registered in the color dictionary data using the color feature amount as a key, and the monochrome dictionary data using the monochrome feature amount as a key is registered. If all original documents are registered and a predetermined search process is applied, even if the original document is in color, the original document in color is automatically searched from the monochrome dictionary data. On the other hand, for a color document, only a color document is searched, and an unnecessary monochrome document is not searched, and a high-precision and high-speed search can be performed.

第1種の画像、第2種の画像は、このようにカラー画像、モノクロ画像に限定されるものではない。本発明の実施形態にふさわしいのは、第1種の画像に対して適切な特徴量である第1の特徴量が、第2種の画像に対して適切な特徴量である第2の特徴量を包含するような場合である。このような場合、第1の特徴量の次元数は、第2の特徴量の次元数よりも大きくなる。   The first type image and the second type image are not limited to color images and monochrome images as described above. Suitable for the embodiment of the present invention is a second feature quantity in which the first feature quantity that is appropriate for the first type of image is the feature quantity appropriate for the second type of image. Is included. In such a case, the number of dimensions of the first feature value is larger than the number of dimensions of the second feature value.

例えば、カラー特徴量の情報量はモノクロ特徴量の情報を含んでいるが、その逆は言えない。カラー画像をモノクロ画像に変換することは通常容易に行われるが、その逆は原則的にない。このような場合、カラー画像をモノクロ画像から検索することに意味があり、その逆は通常ない。つまり、非対称な関係である。   For example, the information amount of the color feature amount includes the information of the monochrome feature amount, but the reverse is not true. Converting a color image to a monochrome image is usually easy, but not vice versa. In such a case, it is meaningful to search for a color image from a monochrome image, and the reverse is not usually the case. That is, it is an asymmetric relationship.

例えば、第1種の画像が複数ページからなる画像、第2種の画像がその中の単独ページからなる画像としてもよい。このような場合第1の特徴量は、情報量として第2の特徴量を包含することになるだろう。単独のページからそれを含む複数のページを検索することはあっても、その逆は意味がない。   For example, the first type image may be an image composed of a plurality of pages, and the second type image may be an image composed of a single page. In such a case, the first feature amount will include the second feature amount as the information amount. Searching for multiple pages from a single page, but not vice versa.

このような場合、第2種の画像に対しては、原画像が第1種の画像であっても自動的に第2種の画像用辞書データから第1種の画像である原画像を検索することができ、一方、第1種の画像に対しては、第1種の画像のみ検索し、不必要な第2種の画像の検索を行うこともなく、高精度で、且つ高速な検索を行うことができる。   In such a case, for the second type image, even if the original image is the first type image, the original image that is the first type image is automatically searched from the second type image dictionary data. On the other hand, for the first type of image, only the first type of image is searched, and an unnecessary second type of image is not searched. It can be performed.

(画像登録処理のフロー)
図5を用いてデータ処理部10における画像登録の処理の流れを説明する。また適時図3も参照する。図5は本実施形態に係る画像登録方法のフローチャートである。
(Image registration process flow)
The flow of image registration processing in the data processing unit 10 will be described with reference to FIG. Also refer to FIG. 3 as appropriate. FIG. 5 is a flowchart of the image registration method according to this embodiment.

図5のステップS11では、まず登録するための入力画像が取得される。これは図1における画像読み取り部13あるいは通信部(画像入力部)15などにより取得される。   In step S11 of FIG. 5, first, an input image for registration is acquired. This is acquired by the image reading unit 13 or the communication unit (image input unit) 15 in FIG.

取得された入力画像はデータ処理部10に送られ、ステップS12で前処理が施される。前処理は、図3の前処理部21で行われ、入力画像の幾何学的な位置、方向、大きさなどの補正であったり、読み取りにより発生する色、輝度ムラなどを補正するシェーディング補正であったりする。   The acquired input image is sent to the data processing unit 10 and preprocessed in step S12. The pre-processing is performed by the pre-processing unit 21 in FIG. 3, and is correction of the geometric position, direction, size, etc. of the input image, or shading correction for correcting color, luminance unevenness, etc. generated by reading. There is.

次いでステップS13では、前処理された入力画像が、入力日時その他のメタデータとともに所定のフォーマットで記憶部17の蓄積画像データ32に保存される。また画像の参照用として、入力画像には画像ID番号が付される。画像ID番号によって辞書データの登録内容(特徴量など)と蓄積画像データ32の画像データとは連結している。   Next, in step S13, the preprocessed input image is saved in the accumulated image data 32 of the storage unit 17 in a predetermined format together with the input date and time and other metadata. Also, for reference of an image, an image ID number is assigned to the input image. The registered contents (features, etc.) of the dictionary data and the image data of the stored image data 32 are linked by the image ID number.

ステップS14は第1の特徴量抽出工程であり、入力画像に対する第1の特徴量が第1の特徴量抽出部24aで抽出される。次のステップで入力画像が第1種の画像かどうかを第1の特徴量を用いて判別するためにこういう手順としている。操作部11からのユーザの指定により、あるいは本システムが内蔵されている画像形成装置(MFP)などからの情報により、画像の種類を検知する場合は、その検知後に必要に応じて特徴量を抽出してもよい。   Step S14 is a first feature quantity extraction step, in which the first feature quantity for the input image is extracted by the first feature quantity extraction unit 24a. This procedure is used in the next step to determine whether the input image is the first type image using the first feature amount. When the type of image is detected by the user's designation from the operation unit 11 or information from an image forming apparatus (MFP) in which this system is built in, feature values are extracted as necessary after the detection. May be.

ここで第1の特徴量はカラー特徴量であるとして、その具体例を説明する。   Here, a specific example will be described assuming that the first feature amount is a color feature amount.

カラー画像は二次元に配列する画素の集合から構成され、各画素はそれぞれ複数の色成分値を有する。各色成分値は、通常三次元の色空間で規定される。一般に使用される色空間は各種あるが、ここではLab色空間におけるヒストグラムを用いた特徴量、すなわちブロックLabヒストグラムについて述べる。   A color image is composed of a set of two-dimensionally arranged pixels, and each pixel has a plurality of color component values. Each color component value is usually defined in a three-dimensional color space. There are various color spaces that are generally used. Here, a feature amount using a histogram in the Lab color space, that is, a block Lab histogram will be described.

L、a、bの三つの色成分で表されるLab空間を任意のK個のビンに区分する。各画素はその色成分により何れかのビンに該当する。一方でカラー画像全体をI×Jの矩形ブロックに区分けする。その各矩形ブロックごとに、そのブロックを構成する各画素の色成分の該当するビンを求め、K個のビンに対する該当画素の個数、すなわち頻度を求め、各ブロックごとにヒストグラムを作成する。つまり、各ブロックごとに横軸がK個のビン、縦軸が頻度(画素数)のヒストグラムができる。このヒストグラムは独立したK個の値で表され、K次元の空間内の点として記述できる。このヒストグラムをそのブロックの特徴量とすると次元数Kの特徴量となる。   The Lab space represented by the three color components L, a, and b is divided into arbitrary K bins. Each pixel corresponds to one of the bins depending on its color component. On the other hand, the entire color image is divided into I × J rectangular blocks. For each rectangular block, the corresponding bin of the color component of each pixel constituting the block is obtained, the number of corresponding pixels for the K bins, that is, the frequency is obtained, and a histogram is created for each block. That is, for each block, a histogram with a horizontal axis of K bins and a vertical axis of frequency (the number of pixels) is generated. This histogram is represented by independent K values and can be described as a point in a K-dimensional space. If this histogram is used as the feature amount of the block, it becomes a feature amount of dimension number K.

入力画像に対しては、ヒストグラムの総数が矩形ブロックの数、すなわちI×J個であるので、I×J個のヒストグラムをこの入力画像のカラー特徴量とすると、次元数はC=I×J×Kとなる。   For the input image, the total number of histograms is the number of rectangular blocks, that is, I × J. Therefore, if I × J histograms are the color feature amounts of the input image, the number of dimensions is C = I × J. XK.

後のステップで抽出する第2の特徴量についても、モノクロ特徴量であるとして、同様の具体例、すなわちブロック輝度ヒストグラムを説明する。   A similar specific example, that is, a block luminance histogram, will be described assuming that the second feature amount extracted in a later step is also a monochrome feature amount.

モノクロ画像はカラー画像と同様に二次元に配列する画素の集合から構成されるが、各画素はそれぞれ複数の色成分値ではなく単独の輝度値を有する。各画素の輝度値は、1次元の値であり、モノクロ画像に対して先のLab色空間を適用してもL成分値のみの実質1次元の値となる。一方カラー画像に対しては、その3次元の色成分値から1次元の輝度値を算出することができる。つまりカラー画像をモノクロ画像に変換する処理を色成分から輝度値への変換という形で数値的に表現できるのである。例えば紙文書などでは、カラー文書画像からモノクロ文書画像への変換がかなりの頻度で行われることを考えると、前述のようにカラー画像をモノクロ特徴量と関連づけておくことが有効であることが多い。   A monochrome image is composed of a set of pixels arranged two-dimensionally like a color image, but each pixel has a single luminance value instead of a plurality of color component values. The luminance value of each pixel is a one-dimensional value, and even if the previous Lab color space is applied to a monochrome image, it becomes a substantially one-dimensional value of only the L component value. On the other hand, for a color image, a one-dimensional luminance value can be calculated from the three-dimensional color component value. That is, the process of converting a color image into a monochrome image can be expressed numerically in the form of conversion from a color component to a luminance value. For example, in the case of paper documents, considering that conversion from a color document image to a monochrome document image is performed with a considerable frequency, it is often effective to associate a color image with a monochrome feature amount as described above. .

輝度値で表される1次元のスケールを任意のL個のビンに区分する。各画素はその輝度値により何れかのビンに該当する。一方でカラー特徴量の場合と同様、全体をI×Jの矩形ブロックに区分けする。その各矩形ブロックごとに、やはりカラー特徴量と同様に、そのブロックを構成する各画素の輝度値の該当するビンを求め、L個のビンに対する該当画素の頻度(個数)から、各ブロックごとに横軸がL個のビン、縦軸が頻度(画素数)のヒストグラムを作成する。このヒストグラムは次元数Lの特徴量であり、入力画像に対しては、ヒストグラムの総数が矩形ブロックの数(I×J個)であるので、それをこの入力画像のモノクロ特徴量とすると、その次元数はM=I×J×Lとなる。   A one-dimensional scale represented by a luminance value is divided into arbitrary L bins. Each pixel corresponds to one of the bins depending on its luminance value. On the other hand, as in the case of the color feature amount, the whole is divided into I × J rectangular blocks. For each rectangular block, similarly to the color feature amount, the corresponding bin of the luminance value of each pixel constituting the block is obtained, and the frequency (number) of the corresponding pixel for the L bins is determined for each block. A histogram is created in which the horizontal axis is L bins and the vertical axis is frequency (number of pixels). This histogram is a feature quantity of dimension L, and for the input image, the total number of histograms is the number of rectangular blocks (I × J). The number of dimensions is M = I × J × L.

通常L≪Kのため、モノクロ特徴量の次元数M=I×J×Lは、カラー特徴量の次元数C=I×J×Kよりもずっと低い次元数となる。しかしながらMでさえも、一般には非常に高い次元となる。   Usually, L << K, the dimension number M = I × J × L of the monochrome feature amount is much lower than the dimension number C = I × J × K of the color feature amount. However, even M is generally a very high dimension.

図5に戻り、画像登録処理の説明を続ける。   Returning to FIG. 5, the description of the image registration process will be continued.

ステップS14で入力画像に対して第1の特徴量を抽出すると、次のステップS15ではその第1の特徴量に基づいて入力画像が第1種の画像であるか第2種の画像であるかの判別を行う。ステップS15は画像検知工程である。   When the first feature amount is extracted from the input image in step S14, whether the input image is the first type image or the second type image based on the first feature amount in the next step S15. To determine. Step S15 is an image detection process.

判別処理は画像検知部22で行われる。但し、画像の種類に関する情報が、操作部11によるユーザの指定から、あるいは本システムが内蔵された画像形成装置本体から、得られるのではなく、入力画像自体から判別する場合には、画像検知部22内の画像判別部23で判別処理が行われる。従ってステップS15の画像検知工程には画像判別工程も含まれる。   The determination process is performed by the image detection unit 22. However, when the information regarding the type of image is not obtained from the user's designation by the operation unit 11 or from the image forming apparatus main body in which the present system is incorporated, but is determined from the input image itself, the image detection unit Discrimination processing is performed by the image discriminating unit 23 in 22. Accordingly, the image detection process in step S15 includes an image discrimination process.

例えば、カラー画像(第1種の画像とする)とモノクロ画像(第2種の画像とする)の例で判別処理を説明すると、前述のようにカラー画像のカラー特徴量は3次元の色空間に基づいた特徴量となるが、モノクロ画像のカラー特徴量は実質1次元のL成分のみに基づいた特徴量となる。これにより特徴量に生じてくる差異を利用してカラー画像とモノクロ画像の判別ができる。例えば、カラー特徴量であるブロックLabヒストグラムの、ab成分に該当するビンの値が0であればモノクロ画像、そうでなければカラー画像と判別できる。   For example, the discrimination processing will be described using an example of a color image (first type image) and a monochrome image (second type image). As described above, the color feature amount of a color image is a three-dimensional color space. However, the color feature amount of a monochrome image is a feature amount based only on a substantially one-dimensional L component. As a result, it is possible to distinguish between a color image and a monochrome image using a difference generated in the feature amount. For example, if the bin value corresponding to the ab component of the block Lab histogram, which is a color feature amount, is 0, it can be determined as a monochrome image, otherwise it can be determined as a color image.

ステップS15で、入力画像が第1種の画像であると判別された場合(ステップS15:YES)は、次のステップS16を実行する。入力画像が第2種の画像であると判別された場合(ステップS15:NO)は、次のステップS16を省略し、ステップS17を実行する。   If it is determined in step S15 that the input image is the first type image (step S15: YES), the next step S16 is executed. When it is determined that the input image is the second type image (step S15: NO), the next step S16 is omitted, and step S17 is executed.

ステップS16は第1種の画像登録工程である。入力画像が第1種の画像であるので、入力画像を保存した画像ID番号と第1の特徴量とを関連づけて、記憶部17の第1種の画像用辞書データ31aに登録する。登録処理は第1種の画像登録部25aで行われる。   Step S16 is a first type image registration process. Since the input image is the first type image, the image ID number storing the input image and the first feature amount are associated with each other and registered in the first type image dictionary data 31a of the storage unit 17. The registration process is performed by the first type image registration unit 25a.

ステップS17は第2の特徴量抽出工程であり、入力画像が第1種の画像であるか第2種の画像であるかに関わらず、入力画像に対する第2の特徴量が第2の特徴量抽出部24bで抽出される。第2の特徴量がモノクロ特徴量である場合の特徴量の具体例については既に説明した。   Step S17 is a second feature amount extraction step, and the second feature amount for the input image is the second feature amount regardless of whether the input image is the first type image or the second type image. Extracted by the extraction unit 24b. A specific example of the feature amount when the second feature amount is a monochrome feature amount has already been described.

ステップS18は第2種の画像登録工程である。入力画像が第1種の画像であるか第2種の画像であるかに関わらず、入力画像を保存した画像ID番号と第2の特徴量とを関連づけて、記憶部17の第2種の画像用辞書データ31bに登録する。登録処理は第2種の画像登録部25bで行われる。   Step S18 is a second type image registration process. Regardless of whether the input image is the first type image or the second type image, the image ID number storing the input image is associated with the second feature amount, and the second type of the storage unit 17 is associated. Register in the image dictionary data 31b. The registration process is performed by the second type image registration unit 25b.

例えば、カラー画像(第1種の画像)とモノクロ画像(第2種の画像)の例でステップS16とステップS18の画像登録処理を説明する。   For example, the image registration processing in step S16 and step S18 will be described using an example of a color image (first type image) and a monochrome image (second type image).

前述のように入力画像がカラー画像の場合、C(=I×J×K)次元のカラー特徴量が抽出され、入力画像に付与された画像ID番号と関連づけてカラー画像用辞書データに登録される。また入力画像がカラー画像であってもモノクロ画像であっても、M(=I×J×L)次元のモノクロ特徴量が抽出され、入力画像に付与された画像ID番号と関連づけてモノクロ画像用辞書データに登録される。   As described above, when the input image is a color image, C (= I × J × K) -dimensional color feature values are extracted and registered in the color image dictionary data in association with the image ID number assigned to the input image. The Whether the input image is a color image or a monochrome image, a monochrome feature amount of M (= I × J × L) dimensions is extracted and associated with the image ID number assigned to the input image. Registered in dictionary data.

表2にカラー画像用辞書データ及びモノクロ画像用辞書データのデータ構造例を示す。   Table 2 shows data structure examples of color image dictionary data and monochrome image dictionary data.

Figure 2007148871
Figure 2007148871

カラー画像用辞書にはカラー画像のみが登録され、各画像のID番号(表では1からN)に対して、C次元のカラー特徴量(表では1からC)が連繋して記憶される。モノクロ画像用辞書にはカラー画像及びモノクロ画像が登録され、各画像のID番号(表では1からN)に対して、M次元のカラー特徴量(表では1からM)が連繋して記憶される。   Only a color image is registered in the color image dictionary, and a C-dimensional color feature amount (1 to C in the table) is linked and stored with the ID number (1 to N in the table) of each image. Color images and monochrome images are registered in the monochrome image dictionary, and M-dimensional color feature values (1 to M in the table) are linked and stored for each image ID number (1 to N in the table). The

画像ID番号については、特徴量に基づき検索した画像(のID番号)から画像データを参照するためのものであり、画像データを参照可能であれば、表2とは異なる任意のID番号付与方法が可能である。また、特徴量はそれを元に画像検索するためのものであり、検索の目的に応じて記憶する特徴量の構成を変えてもよい。   The image ID number is for referring to the image data from the image (ID number) searched based on the feature amount, and any ID number assigning method different from Table 2 as long as the image data can be referred to Is possible. The feature amount is used for image retrieval based on the feature amount, and the configuration of the feature amount stored may be changed according to the purpose of the search.

また上記以外に、検索に役立てるためあるいはそれ以外の目的で、各画像に付随する任意のメタデータを合わせて記憶させていてもよい。また、後述するように検索をより効率化するために、検索用のインデックスを付与し、記憶させていてもよい。   In addition to the above, any metadata accompanying each image may be stored together for the purpose of searching or for other purposes. Further, as will be described later, in order to make the search more efficient, a search index may be added and stored.

上記辞書データを用いた検索処理の具体例については後述する。   A specific example of the search process using the dictionary data will be described later.

以上データ処理部10における画像登録方法の説明を終える。   This is the end of the description of the image registration method in the data processing unit 10.

(画像検索処理のフロー)
図6を用いてデータ処理部10における画像検索の処理の流れを説明する。また適時図3も参照する。図6は本実施形態に係る画像検索方法のフローチャートである。
(Image search processing flow)
The flow of image search processing in the data processing unit 10 will be described with reference to FIG. Also refer to FIG. 3 as appropriate. FIG. 6 is a flowchart of the image search method according to this embodiment.

図6のステップS21では、まず操作部11からのユーザの指示などで検索が開始されると、検索の基準となる入力画像が取得される。これは図1における画像読み取り部13あるいは通信部(画像入力部)15などにより取得される。   In step S21 of FIG. 6, when a search is first started by a user instruction from the operation unit 11, an input image serving as a reference for the search is acquired. This is acquired by the image reading unit 13 or the communication unit (image input unit) 15 in FIG.

取得された入力画像はデータ処理部10に送られ、ステップS22で前処理が施される。前処理は、図3の前処理部21で行われ、入力画像の幾何学的な位置、方向、大きさなどの補正であったり、読み取りにより発生する色、輝度ムラなどを補正するシェーディング補正であったりする。   The acquired input image is sent to the data processing unit 10 and preprocessed in step S22. The pre-processing is performed by the pre-processing unit 21 in FIG. 3, and is correction of the geometric position, direction, size, etc. of the input image, or shading correction for correcting color, luminance unevenness, etc. generated by reading. There is.

ステップS23は第1の特徴量抽出工程であり、入力画像に対する第1の特徴量が第1の特徴量抽出部24aで抽出される。次のステップで入力画像が第1種の画像かどうかを第1の特徴量を用いて判別するためにこういう手順としている。操作部11からのユーザの指定により、あるいは本システムが内蔵されている画像形成装置(MFP)などからの情報により、画像の種類を検知する場合は、その検知後に必要に応じて特徴量を抽出してもよい。   Step S23 is a first feature quantity extraction step, in which the first feature quantity for the input image is extracted by the first feature quantity extraction unit 24a. This procedure is used in the next step to determine whether the input image is the first type image using the first feature amount. When the type of image is detected by the user's designation from the operation unit 11 or information from an image forming apparatus (MFP) in which the present system is built in, feature values are extracted as necessary after the detection. May be.

第1の特徴量がカラー特徴量であるとしたときの、特徴量の具体例は画像登録処理のフローで既に述べたとおりである。   A specific example of the feature amount when the first feature amount is a color feature amount is as already described in the flow of the image registration process.

入力画像に対する第1の特徴量が抽出されると、次のステップS24ではその第1の特徴量に基づいて入力画像が第1種の画像であるか第2種の画像であるかの判別を行う。ステップS24は画像検知工程である。   When the first feature amount for the input image is extracted, in the next step S24, it is determined whether the input image is the first type image or the second type image based on the first feature amount. Do. Step S24 is an image detection process.

判別処理は画像検知部22で行われる。但し、画像の種類に関する情報が、操作部11によるユーザの指定から、あるいは本システムが内蔵された画像形成装置本体から、得られるのではなく、入力画像自体から判別する場合には、画像検知部22内の画像判別部23で判別処理が行われる。従ってステップS24の画像検知工程には画像判別工程も含まれる。   The determination process is performed by the image detection unit 22. However, when the information regarding the type of image is not obtained from the user's designation by the operation unit 11 or from the image forming apparatus main body in which the present system is incorporated, but is determined from the input image itself, the image detection unit Discrimination processing is performed by the image discriminating unit 23 in 22. Accordingly, the image detection process in step S24 includes an image discrimination process.

判別処理については、画像登録処理の場合と同様である。   The discrimination process is the same as in the image registration process.

以上の各ステップについては、画像登録処理の場合と同様であるが、次のステップからは各工程の内容が異なってくる。   The above steps are the same as those in the case of the image registration process, but the contents of each process are different from the next step.

ステップS24で、入力画像が第1種の画像であると判別された場合(ステップS24:YES)は、次のステップS25を実行する。入力画像が第2種の画像であると判別された場合(ステップS24:NO)は、ステップS26を実行する。   If it is determined in step S24 that the input image is the first type image (step S24: YES), the next step S25 is executed. When it is determined that the input image is the second type image (step S24: NO), step S26 is executed.

ステップS25は第1種の画像検索工程である。入力画像が第1種の画像であるので、抽出された第1の特徴量に基づいて記憶部17の第1種の画像用辞書データ31aを検索する。第1の特徴量に基づく類似度の高い出力画像候補を抽出し、その画像ID番号をもとに同じく記憶部17の蓄積画像データ32から該当する画像データを参照してくる。従って出力画像候補は第1種の画像である。検索処理は第1種の画像検索部25aで行われる。ステップS25で出力画像候補が抽出されるとステップS28に進む。   Step S25 is a first type image search process. Since the input image is the first type image, the first type image dictionary data 31a in the storage unit 17 is searched based on the extracted first feature amount. An output image candidate having a high similarity based on the first feature amount is extracted, and corresponding image data is referred to from the accumulated image data 32 of the storage unit 17 based on the image ID number. Therefore, the output image candidate is the first type image. The search process is performed by the first type image search unit 25a. When an output image candidate is extracted in step S25, the process proceeds to step S28.

一方、入力画像が第2種の画像の場合に実行されるステップS26は、第2の特徴量抽出工程であり、第2種の画像である入力画像に対する第2の特徴量が第2の特徴量抽出部24bで抽出される。第2の特徴量がモノクロ特徴量である場合の特徴量の具体例についても既に説明した。   On the other hand, step S26 executed when the input image is the second type image is a second feature amount extraction step, and the second feature amount with respect to the input image which is the second type image is the second feature. Extracted by the quantity extraction unit 24b. A specific example of the feature amount when the second feature amount is a monochrome feature amount has already been described.

次のステップS27は第2種の画像検索工程である。入力画像が第2種の画像であるので、抽出された第2の特徴量に基づいて記憶部17の第2種の画像用辞書データ31bを検索する。第2の特徴量に基づく類似度の高い出力画像候補を抽出し、その画像ID番号をもとに同じく記憶部17の蓄積画像データ32から該当する画像データを参照してくる。従って出力画像候補は第1種の画像または第2種の画像の何れかである。検索処理は第2種の画像検索部25aで行われる。   The next step S27 is a second type image search process. Since the input image is the second type image, the second type image dictionary data 31b in the storage unit 17 is searched based on the extracted second feature amount. An output image candidate having a high similarity based on the second feature amount is extracted, and the corresponding image data is referred to from the stored image data 32 of the storage unit 17 based on the image ID number. Therefore, the output image candidate is either the first type image or the second type image. The search process is performed by the second type image search unit 25a.

例えば、カラー画像(第1種の画像)とモノクロ画像(第2種の画像)の例でステップS25とステップS27の画像検索処理を説明する。   For example, the image search processing in step S25 and step S27 will be described with an example of a color image (first type image) and a monochrome image (second type image).

前述の表2のように、カラー画像用辞書データにはカラー画像のみが登録され、カラー画像の画像ID番号と関連づけてC(=I×J×K)次元のカラー特徴量が登録されている。またモノクロ画像用辞書データにはカラー画像及びモノクロ画像が登録され、カラー画像及びモノクロ画像の画像ID番号と関連づけてM(=I×J×L)次元のモノクロ特徴量が登録されている。   As shown in Table 2 above, only a color image is registered in the color image dictionary data, and a C (= I × J × K) -dimensional color feature quantity is registered in association with the image ID number of the color image. . In the monochrome image dictionary data, a color image and a monochrome image are registered, and an M (= I × J × L) -dimensional monochrome feature amount is registered in association with the image ID number of the color image and the monochrome image.

検索の基準となる入力画像がカラー画像であった場合、カラー特徴量に基づいてカラー画像用辞書データを検索する。入力画像のカラー特徴量と、カラー画像用辞書データに登録されているそれぞれの画像のカラー特徴量とを、カラー特徴量のC次元空間で比較し、C次元空間内で定義された距離を算出する。その距離を類似度(ゼロに近いほど類似している)とし、カラー画像用辞書データに登録されている画像について逐次その距離を求め、類似度の高い(距離の小さい)カラー特徴量に該当する画像ID番号を出力画像候補として抽出する。   When the input image serving as a search reference is a color image, the color image dictionary data is searched based on the color feature amount. The color feature amount of the input image and the color feature amount of each image registered in the color image dictionary data are compared in the C-dimensional space of the color feature amount, and the distance defined in the C-dimensional space is calculated. To do. The distance is regarded as a similarity (similar to zero), the distance is sequentially obtained for images registered in the color image dictionary data, and it corresponds to a color feature having a high similarity (small distance). The image ID number is extracted as an output image candidate.

また検索の基準となる入力画像がモノクロ画像であった場合も同様に、モノクロ特徴量に基づいてモノクロ画像用辞書データを検索する。入力画像のモノクロ特徴量と、モノクロ画像用辞書データに登録されているそれぞれの画像のモノクロ特徴量とを、モノクロ特徴量のM次元空間で比較し、M次元空間内で定義された距離を算出する。その距離を類似度(ゼロに近いほど類似している)とし、モノクロ画像用辞書データに登録されている画像について逐次その距離を求め、類似度の高い(距離の小さい)モノクロ特徴量に該当する画像ID番号を出力画像候補として抽出する。   Similarly, when the input image serving as a search reference is a monochrome image, the monochrome image dictionary data is searched based on the monochrome feature amount. The monochrome feature value of the input image and the monochrome feature value of each image registered in the monochrome image dictionary data are compared in the M-dimensional space of the monochrome feature value, and the distance defined in the M-dimensional space is calculated. To do. The distance is regarded as the similarity (the closer to zero, the more similar), the distance is sequentially obtained for the images registered in the monochrome image dictionary data, and it corresponds to a monochrome feature amount having a high similarity (small distance). The image ID number is extracted as an output image candidate.

ここで、入力画像がカラー画像であった場合、カラー特徴量に基づいて、カラー画像だけが登録されているカラー画像用辞書データを検索するので、出力画像候補はすべてカラー画像である。一方、入力画像がモノクロ画像であった場合、モノクロ特徴量に基づいて、カラー画像及びモノクロ画像の両方が登録されたモノクロ画像用辞書データを検索するので、出力画像候補はカラー画像またはモノクロ画像の何れかとなる。   Here, when the input image is a color image, color image dictionary data in which only the color image is registered is searched based on the color feature amount, and therefore all the output image candidates are color images. On the other hand, when the input image is a monochrome image, the monochrome image dictionary data in which both the color image and the monochrome image are registered is searched based on the monochrome feature amount. Therefore, the output image candidate is a color image or a monochrome image. Either.

検索処理は一般に、上記のCやMで記した高次元の特徴量に対して、上記のような類似度合いを算出していかねばならないので、精度を落とさず効率をいかに上げるかが重要である。本システムのような画像検索方法によれば、モノクロ文書に対しては、原文書がカラーであっても自動的にモノクロ用辞書データからカラーの原文書を検索することができ、一方カラー文書に対しては、カラー文書のみ検索し、不必要なモノクロ文書の検索を行うこともなく、高精度で、且つ高速な検索を行うことができる。   In general, the search processing has to calculate the degree of similarity as described above for the high-dimensional features described in C and M above, so it is important how to increase the efficiency without reducing the accuracy. . According to the image retrieval method of this system, for a monochrome document, even if the original document is in color, the original document in color can be automatically retrieved from the monochrome dictionary data. On the other hand, it is possible to perform a high-precision and high-speed search without searching for only a color document and searching for an unnecessary monochrome document.

また本システムにおいて、さらに検索効率を上げるためには、各辞書データに検索用のインデックスを付与することが望ましい。これについては後述する。   In this system, it is desirable to add a search index to each dictionary data in order to further improve the search efficiency. This will be described later.

ところで、上記のような本システムでのカラー文書画像(第1種の画像とする)とモノクロ文書画像(第2種の画像とする)の扱いが検索に不都合を生ずる場合もある。   By the way, the handling of the color document image (referred to as the first type image) and the monochrome document image (referred to as the second type image) in the present system as described above may cause inconvenience in the search.

例えば、カラー特徴量を用いたカラー画像とモノクロ画像の判別処理について、カラー特徴量は3次元の色空間に基づいた特徴量となるが、モノクロ画像のカラー特徴量は実質1次元のL成分のみに基づいた特徴量となり、これにより特徴量に生じてくる差異を利用してカラー画像とモノクロ画像の判別ができると述べた。   For example, for color image / monochrome image discrimination processing using color feature amounts, the color feature amount is a feature amount based on a three-dimensional color space, but the color feature amount of a monochrome image is substantially only a one-dimensional L component. It has been described that a color image and a monochrome image can be discriminated by using the difference generated in the feature amount.

しかし、モノクロ画像であっても一部分がカラー画像になっているという場合もある。例えば、モノクロの文書画像の一部に赤ペンでの追記があるといった場合であるが、このような場合は、その文書画像が本来モノクロであることを考慮すれば、モノクロ画像としてモノクロ特徴量を検索に用いた方がより適切な検索が可能になる。   However, there are cases where even a monochrome image is partially a color image. For example, there is a case where a part of a monochrome document image is additionally written with a red pen. In such a case, considering that the document image is originally monochrome, a monochrome feature amount is set as a monochrome image. A more appropriate search is possible when used for search.

本システムでの画像登録時には、登録する入力画像がカラー画像と判別されると、カラー特徴量とモノクロ特徴量を両方抽出し、カラー画像用の辞書データとモノクロ画像用の辞書データと両方に登録される。つまり、それが検索対象のオリジナルであり、カラー画像からもモノクロ画像からも検索可能となっている。   When registering an image with this system, if the input image to be registered is determined to be a color image, both the color feature amount and the monochrome feature amount are extracted and registered in both the color image dictionary data and the monochrome image dictionary data. Is done. That is, it is the original to be searched, and can be searched from a color image or a monochrome image.

しかし、本システムでの画像検索時には、検索の基準となる入力画像がカラー画像と判別されると、カラー特徴量だけを抽出し、カラー画像用の辞書データだけを検索することになり、従って原画像がモノクロ画像であった場合には、その原画像はカラー画像用の辞書データには登録されていないため、検索されなくなってしまう。   However, at the time of image search in this system, if the input image that is the reference for the search is determined to be a color image, only the color feature amount is extracted and only the dictionary data for the color image is searched. If the image is a monochrome image, the original image is not registered in the color image dictionary data, and therefore cannot be searched.

このような不都合を防ぐために、例えば以下のような対処を行った方がよい。   In order to prevent such inconvenience, for example, the following measures should be taken.

画像判別部23における入力画像の判別処理時に、画像の区分けされた領域ごとに判別を行い、第1種の画像と判別される領域と第2種の画像と判別される領域と、両方が入力画像に含まれる場合は、入力画像の全体領域に対する第1種の画像と判別される領域の占める割合を算出し、その割合が所定のしきい値以上の場合に入力画像を第1種の画像と判別し、そうでない場合には第2種の画像と判別する。   During the discrimination process of the input image in the image discrimination unit 23, discrimination is performed for each segmented area of the image, and both the area discriminated as the first type image and the area discriminated as the second type image are input. If included in the image, the ratio of the area determined to be the first type image to the entire area of the input image is calculated, and if the ratio is equal to or greater than a predetermined threshold, the input image is the first type image Otherwise, it is determined as the second type image.

上記に従えば、入力画像が第2種の画像と判別されても、第1種の画像に相当する領域を有する場合があることになる。第2種の画像検索部26bにおける検索処理時には、この画像から抽出した第2の特徴量を用いて第2種の画像用辞書データを検索することになるが、その際、検索の精度を上げるため、第1種の画像に相当する領域の特徴量は検索に使用しない。すなわち、その画像中の第1種の画像領域を除いた部分に対応する第2の特徴量に基づいて、第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する。   According to the above, even if the input image is determined to be the second type image, there may be a region corresponding to the first type image. During the search processing in the second type image search unit 26b, the second type image dictionary data is searched using the second feature amount extracted from this image. At this time, the search accuracy is increased. Therefore, the feature amount of the area corresponding to the first type image is not used for the search. That is, based on the second feature amount corresponding to the portion excluding the first type image area in the image, the second type image dictionary data is searched, and the corresponding output image candidate is extracted.

このような対処により、モノクロの原文書に対して、カラーの付加した文書からも適切に検索をかけて、出力画像としてモノクロの原文書を抽出することが可能となる。   With such a countermeasure, it is possible to appropriately retrieve a monochrome original document from a color-added document and extract a monochrome original document as an output image.

図6に戻り、次のステップS28では、抽出された出力画像候補について表示部12に表示するためデータ処理部10より出力する。表示部12に表示されるのは一般にサムネイルと称される縮小された簡略化画像である。   Returning to FIG. 6, in the next step S <b> 28, the extracted output image candidate is output from the data processing unit 10 for display on the display unit 12. What is displayed on the display unit 12 is a reduced simplified image generally called a thumbnail.

図7に表示部12に表示される状態の例を示す。図7では、左の61に検索の基準となる入力画像のサムネイルが表示され、右側に検索して抽出された六つの出力画像候補のサムネイルが類似度合いの順に表示されている。例えば、62が最も類似した出力画像候補であり、63が六つのうちで最も類似していない出力画像候補である。   FIG. 7 shows an example of a state displayed on the display unit 12. In FIG. 7, thumbnails of input images serving as search criteria are displayed on the left 61, and thumbnails of six output image candidates extracted by searching on the right are displayed in order of similarity. For example, 62 is the most similar output image candidate, and 63 is the least similar output image candidate among the six.

ユーザはこの表示に基づき、最適な出力画像を選択し、操作部11を通じてデータ処理部10に指定入力する。データ処理部10は出力画像の指定を受け、該当するID番号の画像データを記憶部17の蓄積画像データ32を参照して引き出し、出力画像作成部27に渡す。   Based on this display, the user selects an optimal output image and inputs it to the data processing unit 10 through the operation unit 11. The data processing unit 10 receives the designation of the output image, extracts the image data of the corresponding ID number with reference to the stored image data 32 of the storage unit 17, and passes it to the output image creation unit 27.

次のステップS29では、出力画像作成部27は、蓄積画像データ32からの画像データを受け取り、データ処理部10より出力するために出力画像を作成する。   In the next step S 29, the output image creation unit 27 receives the image data from the accumulated image data 32 and creates an output image for output from the data processing unit 10.

以上で、データ処理部10における画像検索方法の説明を終える。   This is the end of the description of the image search method in the data processing unit 10.

(検索用インデックスを用いた検索処理)
本実施形態によれば、第1種の画像と第2種の画像とで辞書データを切り分けて検索し、且つその登録内容を工夫することにより、精度よく且つ効率よく検索できるようにしている。しかし、さらなる効率化のため、あるいは他の目的であっても様々な変更が可能である。
(Search processing using search index)
According to the present embodiment, the dictionary data is divided and searched for the first type image and the second type image, and the registration contents are devised, thereby enabling accurate and efficient search. However, various modifications are possible for further efficiency or for other purposes.

例えば、検索用のインデックスを用いることでさらに検索を効率化することができる。検索用のインデックスの付け方は、様々な公知の方法を適用することが可能であるが、ここではk−D木を使用した検索用インデックスを説明する。   For example, the search can be made more efficient by using a search index. Various known methods can be applied to the search indexing method. Here, a search index using a k-D tree will be described.

いわゆる木構造を形成するように分類しておき、検索時には木の幹から枝分かれしながら辿っていくことで最小の手数で枝先端まで達するという考え方に基づいている。   It is based on the idea that it is classified so as to form a so-called tree structure and reaches the tip of the branch with minimum effort by branching from the trunk of the tree when searching.

分類木の構成方法を以下に手順で示すと、
(1−1)サンプルとしてN個の画像があればN個の特徴量があり、N個の特徴量は高次元の特徴量空間中にサンプル点として分布している。この特徴量空間中に任意の特徴軸を選択し、その軸に垂直な超平面を考える。特徴量空間内でN個の特徴量のサンプル点がその超平面で等分されるよう超平面の位置を決めて、特徴量空間を2分割する。
(1−2)2分された特徴量空間のそれぞれについて、また別の特徴軸を用いて、1と同様にして空間をさらに2分割する。
(1−3)以下、分割された各特徴量空間ごとに、特徴軸を変更しながら分割を続け、最終的に分割された各特徴量空間に特徴量のサンプル点が1つだけになるまで特徴量空間を分割する。
The following shows the procedure for constructing a classification tree:
(1-1) If there are N images as samples, there are N feature amounts, and the N feature amounts are distributed as sample points in a high-dimensional feature amount space. An arbitrary feature axis is selected in the feature amount space, and a hyperplane perpendicular to the axis is considered. The hyperplane position is determined so that N feature point sample points are equally divided by the hyperplane in the feature quantity space, and the feature quantity space is divided into two.
(1-2) For each of the divided feature amount spaces, the space is further divided into two in the same manner as 1 by using another feature axis.
(1-3) Hereinafter, for each divided feature amount space, the division is continued while changing the feature axis, and finally until each feature amount space thus divided has only one feature point sample point. Divide the feature space.

図8には、2次元の特徴量空間の場合に、空間60が分割されている状態を例示した。全体の領域が上下に2分割され、さらに各々の領域が左右に2分割され、また上下に2分割され、2分割を3回続けることで8個の特徴量のサンプル点66が8個の分割された領域67に各一つずつ入るように分割されている。このそれぞれの分割空間(すなわち各サンプル点)への到達経路を示すよう検索用インデックスを付与する。   FIG. 8 illustrates a state where the space 60 is divided in the case of a two-dimensional feature amount space. The entire area is divided vertically into two parts, each area is divided into two parts left and right, and vertically divided into two parts. By repeating the two divisions three times, eight feature point sample points 66 are divided into eight parts. The area 67 is divided so as to enter one by one. A search index is assigned so as to indicate a route to reach each of the divided spaces (that is, each sample point).

新しく特徴量のサンプル点が追加登録されるときは、枝の先端部で木構造を修正することになる。それに従って該当する部分の検索用インデックスも更新処理を行う。   When a new feature point sample point is additionally registered, the tree structure is corrected at the tip of the branch. Accordingly, the search index of the corresponding part is also updated.

上記分類木による検索方法を以下に手順で示すと、
(2−1)検索のキーとなる特徴量が与えられると、その特徴量もこの分割された特徴量空間の何れかに特徴点(質問点と呼ぶ)として位置することになる。上記の分割は2分木となっているので、2分木を辿ってこの特徴点の属する分割空間を特定していく動作は、すなわちこの特徴点の属する分割空間の検索用インデックスを求める動作である。求めたインデックスに従いその分割空間に属するサンプル点を検出する。
(2−2)質問点を中心とし、検出されたサンプル点を表面に含む超球を考え、超球と交わる分割空間を求める。
(2−3)1で検出されたサンプル点、及び2で検出された分割空間中のサンプル点の中で最も質問点までの距離が近いものを、それぞれ距離計算を行って比較することにより求める。
The search method using the above classification tree is shown in the following procedure.
(2-1) When a feature quantity serving as a search key is given, the feature quantity is also located as a feature point (called a question point) in any of the divided feature quantity spaces. Since the above-mentioned division is a binary tree, the operation of tracing the binary tree to specify the division space to which this feature point belongs is the operation for obtaining the search index of the division space to which this feature point belongs. is there. Sample points belonging to the divided space are detected according to the obtained index.
(2-2) A supersphere centering on the question point and including the detected sample point on the surface is considered, and a divided space intersecting with the supersphere is obtained.
(2-3) The sample points detected in 1 and the sample points in the divided space detected in 2 that have the shortest distance to the question point are obtained by calculating the distance and comparing them. .

上記のように、予め木構造の検索用インデックスを付与しておけば、特徴量空間での距離計算は近傍のサンプル点だけでよく、後はキーとなる特徴量の点、つまり質問点がどの分割空間に属するかを木構造を辿って特定する動作だけである。   As described above, if a tree-structured search index is assigned in advance, the distance calculation in the feature space only needs to be performed at nearby sample points, and then the key feature point, that is, the question point It is only the operation of specifying whether it belongs to the divided space by tracing the tree structure.

本実施形態の検索システムにおいては、第1種の画像用辞書データと第2種の画像用辞書データとが切り分けて用意されているので、検索用インデックスもそれに対応して、第1種の画像検索用インデックスと第2種の画像検索用インデックスとを切り分けて用意することになる。   In the search system of the present embodiment, the first type of image dictionary data and the second type of image dictionary data are prepared separately, so that the search index corresponds to the first type of image data. The search index and the second type image search index are prepared separately.

なお、検索用インデックスを切り分けることにより、辞書データについても、第1種の画像用と第2種の画像用を別々の記憶データとするのではなく、一つの記憶データの中に両者を含めておくことが可能である。記憶されている個々の画像データの登録内容が、第1種の画像用辞書データに該当するのか第2種の画像用辞書データに該当するのか、その切り分けは、検索時に検索用インデックスを切り換えることで行うことにすれば、同一の記憶データの中から両者を切り分けて検索することも可能である。   It should be noted that by separating the search index, the dictionary data is not separately stored for the first type of image and for the second type of image, but is included in one stored data. It is possible to leave. Whether the registered content of each stored image data corresponds to the first type image dictionary data or the second type image dictionary data is determined by switching the search index at the time of search. If this is done, it is also possible to search by separating both from the same stored data.

以上のように、本実施形態によれば、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出するに当たって、画像の種類によって検索のための適切な特徴量が異なっても、それらのうち1つの特徴量に対して1種類の画像を登録した辞書データと、他の特徴量に対してすべての種類の画像を登録した辞書データとを用意し、検索元の入力画像の種類に応じて、検索する特徴量とそれに対応する辞書データを切り換えることで、精度が高く、かつ効率的な検索を行うことができる。   As described above, according to the present embodiment, the dictionary data is searched based on the feature amount of the input image, and the image having the similar feature amount is extracted from the stored image data. Even if the appropriate feature amount for the search is different, dictionary data in which one type of image is registered for one of the feature amounts, and a dictionary in which all types of images are registered for other feature amounts By preparing data and switching between the feature quantity to be searched and the corresponding dictionary data according to the type of input image of the search source, a highly accurate and efficient search can be performed.

なお本発明の実施形態は、上記の実施形態に限定されるものではなく、本発明の趣旨に則る限り、様々な変更された形態もその範囲に含まれるものである。   The embodiment of the present invention is not limited to the above-described embodiment, and various modified forms are also included in the scope thereof as long as the gist of the present invention is met.

本実施形態に係る画像検索システム及び画像登録システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the image search system and image registration system which concern on this embodiment. MFPに内蔵されるシステムとして、(a)はMFPによる文書画像の複写時に画像登録する場合の、(b)はMFPによる文書画像の複写時に画像検索する場合の、それぞれ画像検索システム1の動作を説明する図である。As a system built in the MFP, (a) shows the operation of the image search system 1 when registering an image when copying a document image by the MFP, and (b) shows the operation of the image search system 1 when searching for an image when copying a document image by the MFP. It is a figure explaining. 図1におけるデータ処理部10の内部構成例を示すブロック図である。It is a block diagram which shows the example of an internal structure of the data processing part 10 in FIG. (a)はMFPによるカラー画像のモノクロでのプリント時に画像登録する場合の、(b)はMFPによるモノクロ画像の入力に対して元のカラー画像を検索し、カラープリントする場合の、それぞれ動作を示す図である。(A) shows a case where an image is registered when a color image is printed in monochrome by the MFP, and (b) shows a case where an original color image is searched for color input by the MFP and a color print is performed. FIG. 本実施形態に係る画像登録方法の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the image registration method which concerns on this embodiment. 本実施形態に係る画像検索方法の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the image search method which concerns on this embodiment. 表示部12に出力画像候補が表示される状態の例を示す図である。It is a figure which shows the example of the state by which an output image candidate is displayed on the display part. 検索のため2分木を構成し、2次元の特徴量空間が分割されている状態を例示した図である。It is the figure which constituted the binary tree for search, and illustrated the state where the two-dimensional feature-value space is divided | segmented.

符号の説明Explanation of symbols

1 画像検索システム(及び画像登録システム)
2 ネットワーク
3、4、5 外部装置
10 データ処理部
11 操作部
12 表示部
13 画像読み取り部
14 プリント部
15 通信部(画像入力部)
16 通信部(画像出力部)
17 記憶部
21 前処理部
22 画像検知部
23 画像判別部
24a 第1の特徴量抽出部
24b 第2の特徴量抽出部
25a 第1種の画像登録部
25b 第2種の画像登録部
26a 第1種の画像検索部
26b 第2種の画像検索部
27 出力画像作成部
31a 第1種の画像用辞書データ
31b 第2種の画像用辞書データ
32 蓄積画像データ
41 原文書画像A
42 複写文書画像A’
43 複写文書画像A”
44 複写文書画像A’
45 カラー画像A
46 モノクロ画像A’
47 モノクロ画像A’
48 カラー画像A
1 Image search system (and image registration system)
2 Network 3, 4, 5 External device 10 Data processing unit 11 Operation unit 12 Display unit 13 Image reading unit 14 Print unit 15 Communication unit (image input unit)
16 Communication unit (image output unit)
17 storage unit 21 preprocessing unit 22 image detection unit 23 image discrimination unit 24a first feature quantity extraction unit 24b second feature quantity extraction unit 25a first type image registration unit 25b second type image registration unit 26a first Type image search unit 26b Second type image search unit 27 Output image creation unit 31a First type image dictionary data 31b Second type image dictionary data 32 Accumulated image data 41 Original document image A
42 Copy Document Image A '
43 Copy Document Image A "
44 Copy document image A '
45 Color image A
46 Monochrome image A '
47 Monochrome image A '
48 Color image A

Claims (20)

取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索システムであって、
前記入力画像から第1の特徴量を抽出する第1の特徴量抽出手段と、
前記入力画像から第2の特徴量を抽出する第2の特徴量抽出手段と、
前記入力画像が第1種の画像であるか第2種の画像であるかを検知する画像検知手段と、
前記第1の特徴量を検索キーとして、前記第1種の画像が登録された第1種の画像用辞書データと、
前記第2の特徴量を検索キーとして、前記第1種の画像と前記第2種の画像とが登録された第2種の画像用辞書データと、
前記画像検知手段による前記入力画像の検知結果が前記第1種の画像である場合に、前記入力画像の前記第1の特徴量に基づいて、前記第1種の画像用辞書データを検索し、対応する出力画像候補を抽出する第1種の画像検索手段と、
前記画像検知手段による前記入力画像の検知結果が前記第2種の画像である場合に、前記入力画像の前記第2の特徴量に基づいて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する第2種の画像検索手段と、を有する、
ことを特徴とする画像検索システム。
An image search system that calculates an image feature amount for an acquired input image, searches predetermined dictionary data based on the feature amount, and extracts an output image corresponding to the input image and the feature amount. ,
First feature amount extraction means for extracting a first feature amount from the input image;
Second feature quantity extraction means for extracting a second feature quantity from the input image;
Image detection means for detecting whether the input image is a first type image or a second type image;
First type image dictionary data in which the first type image is registered using the first feature amount as a search key;
Second type image dictionary data in which the first type image and the second type image are registered using the second feature amount as a search key;
When the detection result of the input image by the image detecting means is the first type image, the first type image dictionary data is searched based on the first feature amount of the input image, A first type of image search means for extracting corresponding output image candidates;
When the detection result of the input image by the image detecting means is the second type image, the second type image dictionary data is searched based on the second feature amount of the input image, A second type of image search means for extracting a corresponding output image candidate,
An image search system characterized by that.
前記第2の特徴量抽出手段が抽出する前記第2の特徴量の次元数は、
前記第1の特徴量抽出手段が抽出する前記第1の特徴量の次元数よりも小さい、
ことを特徴とする請求項1に記載の画像検索システム。
The number of dimensions of the second feature quantity extracted by the second feature quantity extraction unit is:
Smaller than the number of dimensions of the first feature quantity extracted by the first feature quantity extraction means;
The image search system according to claim 1.
前記画像検知手段は、
前記第1の特徴量に基づき、前記入力画像が前記第1種の画像であるか前記第2種の画像であるかを判別する画像判別手段を有する、
ことを特徴とする請求項1または2に記載の画像検索システム。
The image detecting means includes
Image determining means for determining whether the input image is the first type image or the second type image based on the first feature amount;
The image search system according to claim 1, wherein the image search system is an image search system.
前記入力画像が、その画像中に第1種の画像領域と第2種の画像領域を有する場合、
前記画像判別手段は、
前記入力画像において前記第1種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第1種の画像であるか前記第2種の画像であるかを判別し、
前記第2種の画像検索手段は、
前記画像判別手段が前記入力画像を前記第2種の画像であると判別した場合、前記入力画像の前記第2の特徴量のうち、その画像中の前記第1種の画像領域を除いた部分に対応する前記第2の特徴量に基づいて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項3に記載の画像検索システム。
When the input image has a first type image region and a second type image region in the image,
The image discrimination means includes
According to the ratio of the first type image area to the entire image area in the input image, it is determined whether the input image is the first type image or the second type image,
The second type image search means is:
When the image discriminating unit discriminates that the input image is the second type image, a portion of the input image excluding the first type image region from the second feature amount. The second type image dictionary data is searched based on the second feature amount corresponding to, and a corresponding output image candidate is extracted.
The image search system according to claim 3.
前記第1種の画像用辞書データまたは前記第2種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、
ことを特徴とする請求項1乃至4の何れか1項に記載の画像検索システム。
The image data of the image registered in the first type image dictionary data or the second type image dictionary data is distributed and stored in devices connected via a network.
The image search system according to claim 1, wherein the image search system is an image search system.
前記第1種の画像検索手段は、
前記入力画像の前記第1の特徴量に基づき、第1種の画像検索用インデックスを用いて、前記第1種の画像用辞書データを検索し、対応する出力画像候補を抽出し、
前記第2種の画像検索手段は、
前記入力画像の前記第2の特徴量に基づき、第2種の画像検索用インデックスを用いて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項1乃至5の何れか1項に記載の画像検索システム。
The first type of image search means is:
Based on the first feature quantity of the input image, using the first type image search index, search the first type image dictionary data, and extract corresponding output image candidates;
The second type image search means is:
Based on the second feature amount of the input image, using the second type image search index, search the second type image dictionary data, and extract a corresponding output image candidate;
The image search system according to claim 1, wherein the image search system is an image search system.
前記第1種の画像はカラー画像であり、
前記第1の特徴量は、カラー特徴量であり、
前記第2種の画像はモノクロ画像であり、
前記第2の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項1乃至6の何れか1項に記載の画像検索システム。
The first type image is a color image;
The first feature amount is a color feature amount,
The second type of image is a monochrome image;
The second feature amount is a monochrome feature amount.
The image search system according to claim 1, wherein the image search system is an image search system.
請求項1乃至5の何れか1項に記載の画像検索システムで用いられる辞書データへの画像登録システムであって、
前記第1の特徴量抽出手段と、
前記第2の特徴量抽出手段と、
前記画像検知手段と、
前記第1種の画像用辞書データと、
前記第2種の画像用辞書データと、
前記画像検知手段による前記入力画像の検知結果が前記第1種の画像である場合に、前記第1種の画像用辞書データに、前記第1の特徴量と関連づけて前記入力画像を登録する第1種の画像登録手段と、
前記画像検知手段による前記入力画像の検知結果に関わらず、前記第2種の画像用辞書データに、前記第2の特徴量と関連づけて前記入力画像を登録する第2種の画像登録手段と、を有する、
ことを特徴とする画像登録システム。
An image registration system to dictionary data used in the image search system according to any one of claims 1 to 5,
The first feature quantity extraction means;
The second feature amount extraction means;
The image detection means;
The first type of image dictionary data;
The second type of dictionary data for images;
When the detection result of the input image by the image detection means is the first type image, the input image is registered in the first type image dictionary data in association with the first feature amount. One type of image registration means;
Regardless of the detection result of the input image by the image detection means, second type image registration means for registering the input image in association with the second feature amount in the second type image dictionary data; Having
An image registration system characterized by that.
前記第1種の画像登録手段は、
前記第1種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第1の特徴量に基づき第1種の画像検索用インデックスを更新し、
前記第2種の画像登録手段は、
前記第2種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第2の特徴量に基づき第2種の画像検索用インデックスを更新する、
ことを特徴とする請求項8に記載の画像登録システム。
The first type of image registration means includes:
The input image is registered in the first type image dictionary data, and the first type image search index is updated based on the first feature amount of the input image.
The second type of image registration means includes:
The input image is registered in the second type image dictionary data, and the second type image search index is updated based on the second feature amount of the input image.
The image registration system according to claim 8.
前記第1種の画像はカラー画像であり、
前記第1の特徴量は、カラー特徴量であり、
前記第2種の画像はモノクロ画像であり、
前記第2の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項8または9に記載の画像登録システム。
The first type image is a color image;
The first feature amount is a color feature amount,
The second type of image is a monochrome image;
The second feature amount is a monochrome feature amount.
The image registration system according to claim 8 or 9, wherein
取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索方法であって、
前記入力画像から第1の特徴量を抽出する第1の特徴量抽出工程と、
前記入力画像から第2の特徴量を抽出する第2の特徴量抽出工程と、
前記入力画像が第1種の画像であるか第2種の画像であるかを検知する画像検知工程と、
前記画像検知工程における前記入力画像の検知結果が前記第1種の画像である場合に、前記入力画像の前記第1の特徴量に基づいて、前記第1種の画像が登録された第1種の画像用辞書データを検索し、対応する出力画像候補を抽出する第1種の画像検索工程と、
前記画像検知工程における前記入力画像の検知結果が前記第2種の画像である場合に、前記入力画像の前記第2の特徴量に基づいて、前記第1種の画像と前記第2種の画像とが登録された第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する第2種の画像検索工程と、を備える、
ことを特徴とする画像検索方法。
An image search method that calculates an image feature amount for an acquired input image, searches predetermined dictionary data based on the feature amount, and extracts an output image corresponding to the input image and the feature amount. ,
A first feature amount extraction step of extracting a first feature amount from the input image;
A second feature amount extracting step of extracting a second feature amount from the input image;
An image detection step of detecting whether the input image is a first type image or a second type image;
When the detection result of the input image in the image detection step is the first type image, the first type in which the first type image is registered based on the first feature amount of the input image. A first type of image search step for searching the image dictionary data for the image and extracting corresponding output image candidates;
When the detection result of the input image in the image detection step is the second type image, the first type image and the second type image based on the second feature amount of the input image. And a second type image search step of searching for the second type image dictionary data registered with and extracting a corresponding output image candidate.
An image search method characterized by that.
前記第2の特徴量抽出工程において抽出される前記第2の特徴量の次元数は、
前記第1の特徴量抽出工程において抽出される前記第1の特徴量の次元数よりも小さい、
ことを特徴とする請求項11に記載の画像検索方法。
The number of dimensions of the second feature value extracted in the second feature value extraction step is:
Smaller than the number of dimensions of the first feature quantity extracted in the first feature quantity extraction step;
The image search method according to claim 11, wherein:
前記画像検知工程は、
前記第1の特徴量に基づき、前記入力画像が前記第1種の画像であるか前記第2種の画像であるかを判別する画像判別工程を有する、
ことを特徴とする請求項11または12に記載の画像検索方法。
The image detection step includes
An image determination step of determining whether the input image is the first type image or the second type image based on the first feature amount;
The image search method according to claim 11 or 12, characterized in that:
前記入力画像が、その画像中に第1種の画像領域と第2種の画像領域を有する場合、
前記画像判別工程では、
前記入力画像において前記第1種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第1種の画像であるか前記第2種の画像であるかを判別し、
前記第2種の画像検索工程では、
前記画像判別工程において前記入力画像が前記第2種の画像であると判別された場合、前記入力画像の前記第2の特徴量のうち、その画像中の前記第1種の画像領域を除いた部分に対応する前記第2の特徴量に基づいて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項13に記載の画像検索方法。
When the input image has a first type image region and a second type image region in the image,
In the image discrimination step,
According to the ratio of the first type image area to the entire image area in the input image, it is determined whether the input image is the first type image or the second type image,
In the second type image search step,
When the input image is determined to be the second type image in the image determination step, the first type image region in the image is excluded from the second feature amount of the input image. Based on the second feature amount corresponding to the part, the second type image dictionary data is searched, and a corresponding output image candidate is extracted.
The image search method according to claim 13.
前記第1種の画像用辞書データまたは前記第2種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、
ことを特徴とする請求項11乃至14の何れか1項に記載の画像検索方法。
The image data of the image registered in the first type image dictionary data or the second type image dictionary data is distributed and stored in devices connected via a network.
The image search method according to claim 11, wherein the image search method is an image search method.
前記第1種の画像検索工程では、
前記入力画像の前記第1の特徴量に基づき、第1種の画像検索用インデックスを用いて、前記第1種の画像用辞書データを検索し、対応する出力画像候補を抽出し、
前記第2種の画像検索工程では、
前記入力画像の前記第2の特徴量に基づき、第2種の画像検索用インデックスを用いて、前記第2種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項11乃至15の何れか1項に記載の画像検索方法。
In the first type image search step,
Based on the first feature quantity of the input image, using the first type image search index, search the first type image dictionary data, and extract corresponding output image candidates;
In the second type image search step,
Based on the second feature amount of the input image, using the second type image search index, search the second type image dictionary data, and extract a corresponding output image candidate;
The image search method according to claim 11, wherein the image search method is an image search method.
前記第1種の画像はカラー画像であり、
前記第1の特徴量は、カラー特徴量であり、
前記第2種の画像はモノクロ画像であり、
前記第2の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項11乃至16の何れか1項に記載の画像検索方法。
The first type image is a color image;
The first feature amount is a color feature amount,
The second type of image is a monochrome image;
The second feature amount is a monochrome feature amount.
The image search method according to claim 11, wherein the image search method is an image search method.
請求項11乃至15の何れか1項に記載の画像検索方法において用いられる辞書データへの画像登録方法であって、
前記第1の特徴量抽出工程と、
前記第2の特徴量抽出工程と、
前記画像検知工程と、
前記画像検知工程における前記入力画像の検知結果が前記第1種の画像である場合に、前記第1種の画像用辞書データに、前記第1の特徴量と関連づけて前記入力画像を登録する第1種の画像登録工程と、
前記画像検知工程における前記入力画像の検知結果に関わらず、前記第2種の画像用辞書データに、前記第2の特徴量と関連づけて前記入力画像を登録する第2種の画像登録工程と、を備える、
ことを特徴とする画像登録方法。
An image registration method to dictionary data used in the image search method according to any one of claims 11 to 15,
The first feature amount extraction step;
The second feature amount extraction step;
The image detection step;
When the detection result of the input image in the image detection step is the first type image, the input image is registered in the first type image dictionary data in association with the first feature amount. One kind of image registration process;
Regardless of the detection result of the input image in the image detection step, a second type image registration step of registering the input image in association with the second feature quantity in the second type image dictionary data; Comprising
An image registration method characterized by that.
前記第1種の画像登録工程では、
前記第1種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第1の特徴量に基づき第1種の画像検索用インデックスを更新し、
前記第2種の画像登録工程では、
前記第2種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第2の特徴量に基づき第2種の画像検索用インデックスを更新する、
ことを特徴とする請求項18に記載の画像登録方法。
In the first type of image registration process,
The input image is registered in the first type image dictionary data, and the first type image search index is updated based on the first feature amount of the input image.
In the second type image registration step,
The input image is registered in the second type image dictionary data, and the second type image search index is updated based on the second feature amount of the input image.
The image registration method according to claim 18.
前記第1種の画像はカラー画像であり、
前記第1の特徴量は、カラー特徴量であり、
前記第2種の画像はモノクロ画像であり、
前記第2の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項18または19に記載の画像登録方法。
The first type image is a color image;
The first feature amount is a color feature amount,
The second type of image is a monochrome image;
The second feature amount is a monochrome feature amount.
The image registration method according to claim 18, wherein the image registration method is an image registration method.
JP2005343525A 2005-11-29 2005-11-29 Image retrieval system, image retrieval method, image registration system and image registration method Pending JP2007148871A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005343525A JP2007148871A (en) 2005-11-29 2005-11-29 Image retrieval system, image retrieval method, image registration system and image registration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005343525A JP2007148871A (en) 2005-11-29 2005-11-29 Image retrieval system, image retrieval method, image registration system and image registration method

Publications (1)

Publication Number Publication Date
JP2007148871A true JP2007148871A (en) 2007-06-14

Family

ID=38210208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005343525A Pending JP2007148871A (en) 2005-11-29 2005-11-29 Image retrieval system, image retrieval method, image registration system and image registration method

Country Status (1)

Country Link
JP (1) JP2007148871A (en)

Similar Documents

Publication Publication Date Title
JP4181892B2 (en) Image processing method
US7593961B2 (en) Information processing apparatus for retrieving image data similar to an entered image
JP4251629B2 (en) Image processing system, information processing apparatus, control method, computer program, and computer-readable storage medium
JP4350414B2 (en) Information processing apparatus, information processing method, storage medium, and program
US8339619B2 (en) System and image processing method and apparatus for re-using and re-editing images
US20040234169A1 (en) Image processing apparatus, control method therefor, and program
JP4785655B2 (en) Document processing apparatus and document processing method
JP2004334339A (en) Information processor, information processing method, and storage medium, and program
JP4227432B2 (en) Image processing method
JP4338189B2 (en) Image processing system and image processing method
JP4261988B2 (en) Image processing apparatus and method
JP2006025129A (en) System and method for image processing
JP2021033325A (en) Image processing device, control method thereof and program
US8181108B2 (en) Device for editing metadata of divided object
JP2007041709A (en) Document processing system, control method of document processing system, document processing device, computer program and computer readable storage medium
CN100501728C (en) Image processing method, system, program, program storage medium and information processing apparatus
US8451461B2 (en) Information processor, information processing system, and computer readable medium
JP2005208977A (en) Document filing device and method
JP2007148871A (en) Image retrieval system, image retrieval method, image registration system and image registration method
JP2005149097A (en) Image processing system and image processing method
JP2006134042A (en) Image processing system
JP4823049B2 (en) Document image retrieval apparatus and program
Hong et al. Information Extraction and Analysis on Certificates and Medical Receipts
JPS60156172A (en) Retrieval system of picture file
JP2004280691A (en) Document filing device