JP2011008522A - Printer, apparatus and method for processing image, and computer program - Google Patents

Printer, apparatus and method for processing image, and computer program Download PDF

Info

Publication number
JP2011008522A
JP2011008522A JP2009151194A JP2009151194A JP2011008522A JP 2011008522 A JP2011008522 A JP 2011008522A JP 2009151194 A JP2009151194 A JP 2009151194A JP 2009151194 A JP2009151194 A JP 2009151194A JP 2011008522 A JP2011008522 A JP 2011008522A
Authority
JP
Japan
Prior art keywords
image
target
query
distance
pivot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009151194A
Other languages
Japanese (ja)
Inventor
Edmond James Daly
ジェイムズ ダーリー エドモンド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2009151194A priority Critical patent/JP2011008522A/en
Publication of JP2011008522A publication Critical patent/JP2011008522A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To efficiently and appropriately perform image retrieval by setting up an appropriate threshold according to a query image.SOLUTION: An image processing apparatus is equipped with: a pivot image selection part which selects a pivot image; a first distance calculation part which calculates a target-pivot distance showing a degree of similarity of a target image and a pivot image; a second distance calculation part which calculates a query-pivot distance showing a degree of similarity of a query image and the pivot image; a threshold setting part (S220) which sets up a threshold based on the query-pivot distance; an approximation distance calculation part (S230) which calculates a query-target approximation distance as a lower bound value of the query-target distance based on the target-pivot distance; a retrieval target setting part (S240) which excludes a target image with a query-target approximation distance larger than the threshold; a third distance calculation part which calculates the query-target distance about the target image which is not excluded; and an image retrieval part which detects the target image similar to the query image based on the query-target distance.

Description

本発明は、複数のターゲット画像の中からクエリー画像に類似する画像を検出する画像検索を行う画像処理に関する。   The present invention relates to image processing for performing an image search for detecting an image similar to a query image from a plurality of target images.

画像検索の対象としての複数のターゲット画像の中から、所定の特徴について画像検索の基準としてのクエリー画像に類似する画像を検出する画像検索を行う画像処理が知られている。画像検索には、例えば、上記所定の特徴についての2つの画像間の類似度を表す特徴量距離(特徴量距離が小さいほど2つの画像はより類似している)が用いられる。   Image processing for performing image search for detecting an image similar to a query image as a reference for image search for a predetermined feature from a plurality of target images as image search targets is known. For the image search, for example, a feature amount distance representing the degree of similarity between the two images with respect to the predetermined feature (the smaller the feature amount distance, the more similar the two images are) is used.

画像検索のアルゴリズムとして、Linear Approximating and Eliminating Search Algorithm(以下、略して「LAESA」とも呼ぶ)と呼ばれるアルゴリズムが知られている(例えば非特許文献1参照)。LAESAは、ピボットベースの検索アルゴリズムである。すなわち、LAESAでは、画像検索処理中における特徴量距離計算量を低減するために、事前処理として、各ターゲット画像とターゲット画像から選択された複数の画像(ピボット画像と呼ばれる)との間の特徴量距離(ターゲット−ピボット距離)の算出が行われる。画像検索の際には、予め算出されたターゲット−ピボット距離に基づき、クエリー画像とターゲット画像との間の特徴量距離(クエリー−ターゲット距離)の下界値としてのクエリー−ターゲット近似距離が算出される。クエリー−ターゲット近似距離の算出は、三角不等式を利用して行われるため、計算負荷が非常に小さい。LAESAでは、算出されたクエリー−ターゲット近似距離が所定の閾値(以下、「クエリー範囲」とも呼ぶ)より大きいターゲット画像は、実際のクエリー−ターゲット距離が算出されることなく画像検索の対象から除外される。クエリー−ターゲット近似距離を用いた除外判定によって除外されずに残ったターゲット画像については、実際のクエリー−ターゲット距離が算出され、クエリー−ターゲット距離の小さいターゲット画像がクエリー画像に類似する画像として検出される。   As an image search algorithm, an algorithm called Linear Approximating and Eliminating Search Algorithm (hereinafter also referred to as “LAESA” for short) is known (for example, see Non-Patent Document 1). LAESA is a pivot-based search algorithm. That is, in LAESA, feature amounts between each target image and a plurality of images selected from the target images (referred to as pivot images) are pre-processed to reduce the feature amount distance calculation amount during the image search process. A distance (target-pivot distance) is calculated. In the image search, a query-target approximate distance as a lower bound value of a feature amount distance (query-target distance) between the query image and the target image is calculated based on a target-pivot distance calculated in advance. . Since the calculation of the query-target approximate distance is performed using a triangle inequality, the calculation load is very small. In LAESA, target images whose calculated query-target approximate distance is larger than a predetermined threshold (hereinafter also referred to as “query range”) are excluded from image search targets without calculating the actual query-target distance. The For target images that remain without being excluded by the exclusion determination using the query-target approximate distance, the actual query-target distance is calculated, and a target image having a small query-target distance is detected as an image similar to the query image. The

M aria Luisa Mico, Jose Oncina著「A new version of the Nearest-Neighbour Approximating and Eliminating Search Algorithm (AESA) with linear preprocessing time and memory requirements」(Pattern Recognition Letters vol.15,p.9-p.7 1994年1月)Maria Luisa Mico, Jose Oncina, “A new version of the Nearest-Neighbour Approximating and Eliminating Search Algorithm (AESA) with linear preprocessing time and memory requirements” (Pattern Recognition Letters vol.15, p.9-p.7 1994 January)

従来、LAESAのような検索アルゴリズムにおいて、除外判定の閾値(クエリー範囲)は、予め設定され、画像検索を通じて固定的に使用されていた。そのため、LAESAのような検索アルゴリズムを用いた画像検索を有効に実行することができない場合があった。例えば、設定された閾値が大きすぎると、実際のクエリー−ターゲット距離の算出対象となるターゲット画像の数が増大し、画像検索に要する時間が増大する恐れがある。一方、設定された閾値が小さすぎると、実際にはクエリー画像との類似度の高いターゲット画像が除外される可能性があり、最終的な画像検索結果が不適切なものとなる恐れがある。   Conventionally, in a search algorithm such as LAESA, a threshold value (query range) for exclusion determination is set in advance and used fixedly through image search. For this reason, image search using a search algorithm such as LAESA may not be executed effectively. For example, if the set threshold value is too large, the number of target images that are actual query-target distance calculation targets may increase, and the time required for image search may increase. On the other hand, if the set threshold value is too small, a target image having a high degree of similarity with the query image may actually be excluded, and the final image search result may be inappropriate.

なお、このような課題は、LAESAに限らず、ターゲット−ピボット距離に基づきクエリー−ターゲット距離の下界値としてのクエリー−ターゲット近似距離を算出し、クエリー−ターゲット近似距離が所定の閾値より大きいターゲット画像を実際のクエリー−ターゲット距離の算出対象から除外する検索アルゴリズムに共通の課題であった。   Such a problem is not limited to LAESA, but a query-target approximate distance as a lower bound value of the query-target distance is calculated based on the target-pivot distance, and the target image in which the query-target approximate distance is larger than a predetermined threshold value. This is a problem common to a search algorithm that excludes from the calculation target of the actual query-target distance.

本発明は、上記の課題を解決するためになされたものであり、ターゲット−ピボット距離に基づきクエリー−ターゲット近似距離を算出し、クエリー−ターゲット近似距離が所定の閾値より大きいターゲット画像を実際のクエリー−ターゲット距離の算出対象から除外する検索アルゴリズムを用いて、画像検索を効率的にかつ適切に実行することを可能とする技術を提供することを目的とする。   The present invention has been made to solve the above-described problems, and calculates a query-target approximate distance based on a target-pivot distance, and selects a target image whose query-target approximate distance is larger than a predetermined threshold as an actual query. An object of the present invention is to provide a technique that enables an image search to be executed efficiently and appropriately using a search algorithm that excludes the target distance from the calculation target.

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。   In order to solve at least a part of the above problems, the present invention can be realized as the following forms or application examples.

[適用例1]画像検索を行う画像処理装置であって、
複数のターゲット画像の内の一部の画像をピボット画像として選択するピボット画像選択部と、
各前記ターゲット画像と各前記ピボット画像との間における所定の特徴についての類似度を表すターゲット−ピボット距離を算出する第1の距離算出部と、
クエリー画像と各前記ピボット画像との間における前記所定の特徴についての類似度を表すクエリー−ピボット距離を算出する第2の距離算出部と、
前記クエリー−ピボット距離に基づき閾値を設定する閾値設定部と、
前記ターゲット−ピボット距離に基づき、前記クエリー画像と各前記ターゲット画像との間における前記所定の特徴についての類似度を表すクエリー−ターゲット距離の下界値としてのクエリー−ターゲット近似距離を算出する近似距離算出部と、
前記クエリー−ターゲット近似距離が前記閾値より大きい前記ターゲット画像を前記画像検索の対象から除外する検索対象設定部と、
前記画像検索の対象から除外されていない前記ターゲット画像について、前記クエリー−ターゲット距離を算出する第3の距離算出部と、
前記クエリー−ターゲット距離に基づき、前記所定の特徴に関して前記クエリー画像に類似する前記ターゲット画像を検出する画像検索部と、を備える、画像処理装置。
Application Example 1 An image processing apparatus that performs an image search,
A pivot image selection unit for selecting a part of the plurality of target images as a pivot image;
A first distance calculation unit that calculates a target-pivot distance representing a similarity degree for a predetermined feature between each target image and each pivot image;
A second distance calculating unit that calculates a query-pivot distance that represents a degree of similarity for the predetermined feature between a query image and each pivot image;
A threshold setting unit for setting a threshold based on the query-pivot distance;
Approximate distance calculation that calculates a query-target approximate distance as a lower bound value of the query-target distance that represents the similarity of the predetermined feature between the query image and each target image based on the target-pivot distance And
A search target setting unit that excludes the target image whose query-target approximate distance is larger than the threshold from the target of the image search;
A third distance calculating unit that calculates the query-target distance for the target image that is not excluded from the image search target;
An image search unit that detects the target image similar to the query image with respect to the predetermined feature based on the query-target distance.

この画像処理装置では、クエリー−ターゲット近似距離に基づくターゲット画像の除外判定の閾値がクエリー−ピボット距離に基づき設定されるため、クエリー画像に応じた適切な閾値を設定することができ、画像検索を効率的にかつ適切に実行することができる。   In this image processing apparatus, since the threshold value for target image exclusion determination based on the query-target approximate distance is set based on the query-pivot distance, an appropriate threshold value can be set according to the query image, and image search can be performed. It can be executed efficiently and appropriately.

[適用例2]適用例1に記載の画像処理装置であって、
前記閾値設定部は、前記クエリー−ピボット距離の所定の統計値を算出し、前記統計値を前記閾値として設定する、画像処理装置。
[Application Example 2] The image processing apparatus according to Application Example 1,
The threshold value setting unit calculates a predetermined statistical value of the query-pivot distance, and sets the statistical value as the threshold value.

この画像処理装置では、クエリー−ピボット距離の所定の統計値はクエリー−ターゲット距離についての所定の統計値の推定値に相当すると考えられるため、クエリー画像の内容に関わらず、ターゲット画像全体の内の適切な数のターゲット画像が除外され、適切な数のターゲット画像がクエリー−ターゲット距離の算出対象となるような閾値を設定することができ、画像検索を効率的にかつ適切に実行することができる。   In this image processing apparatus, the predetermined statistic value of the query-pivot distance is considered to correspond to the estimated value of the predetermined statistic value for the query-target distance. A threshold value can be set so that an appropriate number of target images are excluded and an appropriate number of target images are included in the query-target distance calculation target, so that an image search can be performed efficiently and appropriately. .

[適用例3]適用例2に記載の画像処理装置であって、
前記所定の統計値は、平均値である、画像処理装置。
[Application Example 3] The image processing apparatus according to Application Example 2,
The image processing apparatus, wherein the predetermined statistical value is an average value.

[適用例4]適用例2に記載の画像処理装置であって、
前記所定の統計値は、q分位数(0<q<1)である、画像処理装置。
Application Example 4 The image processing apparatus according to Application Example 2,
The image processing apparatus, wherein the predetermined statistical value is a q quantile (0 <q <1).

[適用例5]適用例2ないし適用例4のいずれかに記載の画像処理装置であって、さらに、
前記クエリー−ピボット距離を他の前記画像処理装置に送信する送信部と、
前記他の画像処理装置において算出された複数の前記画像処理装置から送信された前記クエリー−ピボット距離についての前記所定の統計値を受信する受信部と、を備え、
前記閾値設定部は、受信された前記所定の統計値を前記閾値として設定する、画像処理装置。
Application Example 5 The image processing apparatus according to any one of Application Examples 2 to 4, further comprising:
A transmission unit for transmitting the query-pivot distance to the other image processing device;
A receiving unit that receives the predetermined statistic about the query-pivot distance transmitted from the plurality of image processing devices calculated in the other image processing device;
The threshold value setting unit is an image processing device that sets the received predetermined statistical value as the threshold value.

この画像処理装置では、複数の画像処理装置により複数の互いに独立したターゲット画像群を対象に画像検索が並行して実行される場合にも、同一の閾値を設定することができ、並行して実行される画像検索の一貫性を担保することができる。   In this image processing apparatus, the same threshold can be set even when image search is executed in parallel for a plurality of independent target image groups by a plurality of image processing apparatuses. The consistency of image search can be ensured.

[適用例6]適用例2ないし適用例4のいずれかに記載の画像処理装置であって、さらに、
前記所定の統計値を他の前記画像処理装置に送信する送信部と、
前記他の画像処理装置において算出された複数の前記画像処理装置から送信された前記所定の統計値についての所定の二次統計値を受信する受信部と、を備え、
前記閾値設定部は、受信された前記所定の二次統計値を前記閾値として設定する、画像処理装置。
Application Example 6 The image processing apparatus according to any one of Application Examples 2 to 4, further comprising:
A transmission unit for transmitting the predetermined statistical value to the other image processing device;
A receiving unit that receives a predetermined secondary statistical value for the predetermined statistical value transmitted from the plurality of image processing devices calculated in the other image processing device;
The threshold value setting unit is an image processing device that sets the received predetermined secondary statistical value as the threshold value.

この画像処理装置では、複数の画像処理装置により複数の互いに独立したターゲット画像群を対象に画像検索が並行して実行される場合にも、同一の閾値を設定することができ、並行して実行される画像検索の一貫性を担保することができると共に、画像処理装置間の通信負荷を低減することができる。   In this image processing apparatus, the same threshold can be set even when image search is executed in parallel for a plurality of independent target image groups by a plurality of image processing apparatuses. As a result, the consistency of the image search performed can be ensured, and the communication load between the image processing apparatuses can be reduced.

[適用例7]適用例1ないし適用例6のいずれかに記載の画像処理装置であって、さらに、
画像検索により検出された検出画像の中から印刷すべき検出画像を設定する印刷画像設定部と、
印刷すべき検出画像の印刷を行う印刷部と、を備える、画像処理装置。
Application Example 7 The image processing apparatus according to any one of Application Examples 1 to 6, further comprising:
A print image setting unit for setting a detection image to be printed from detection images detected by image search;
An image processing apparatus comprising: a printing unit that prints a detection image to be printed.

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像検索方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。   It should be noted that the present invention can be realized in various modes. For example, an image processing method and apparatus, an image search method and apparatus, a printing method and apparatus, and a computer for realizing the functions of these methods or apparatuses The present invention can be realized in the form of a program, a recording medium recording the computer program, a data signal including the computer program and embodied in a carrier wave, and the like.

本発明の実施例における画像処理装置としてのプリンター100の構成を概略的に示す説明図である。1 is an explanatory diagram schematically illustrating a configuration of a printer 100 as an image processing apparatus according to an embodiment of the present invention. 実施例における画像検索・印刷処理の流れを示すフローチャートである。6 is a flowchart illustrating a flow of image search / print processing according to the embodiment. 初期ウィンドウW1の一例を示す説明図である。It is explanatory drawing which shows an example of the initial window W1. 画像検索実行処理の流れを示すフローチャートである。It is a flowchart which shows the flow of an image search execution process. 検索結果ウィンドウW2の一例を示す説明図である。It is explanatory drawing which shows an example of search result window W2.

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.実施例:
A−1.画像処理装置の構成:
A−2.画像検索・印刷処理:
B.変形例:
Next, embodiments of the present invention will be described in the following order based on examples.
A. Example:
A-1. Configuration of image processing device:
A-2. Image search / print processing:
B. Variation:

A.実施例:
A−1.画像処理装置の構成:
図1は、本発明の実施例における画像処理装置としてのプリンター100の構成を概略的に示す説明図である。本実施例のプリンター100は、メモリーカードMC等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター100は、プリンター100の各部を制御するCPU110と、ROMやRAMによって構成された内部メモリー120と、ボタンやタッチパネルにより構成された操作部140と、液晶ディスプレイにより構成された表示部150と、プリンターエンジン160と、カードインターフェース(カードI/F)170と、を備えている。プリンター100は、さらに、他の機器(例えばデジタルスチルカメラやパーソナルコンピューター)との通信を行うためのインターフェースを備えているとしてもよい。プリンター100の各構成要素は、バスを介して互いに接続されている。
A. Example:
A-1. Configuration of image processing device:
FIG. 1 is an explanatory diagram schematically showing the configuration of a printer 100 as an image processing apparatus according to an embodiment of the present invention. The printer 100 of this embodiment is an ink jet color printer that supports so-called direct printing, in which an image is printed based on image data acquired from a memory card MC or the like. The printer 100 includes a CPU 110 that controls each unit of the printer 100, an internal memory 120 configured by a ROM and a RAM, an operation unit 140 configured by buttons and a touch panel, a display unit 150 configured by a liquid crystal display, and a printer. An engine 160 and a card interface (card I / F) 170 are provided. The printer 100 may further include an interface for communicating with another device (for example, a digital still camera or a personal computer). Each component of the printer 100 is connected to each other via a bus.

プリンターエンジン160は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース170は、カードスロット172に挿入されたメモリーカードMCとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードMCに画像データを含む画像ファイルが格納されている。   The printer engine 160 is a printing mechanism that performs printing based on print data. The card interface 170 is an interface for exchanging data with the memory card MC inserted into the card slot 172. In this embodiment, an image file including image data is stored in the memory card MC.

内部メモリー120には、画像処理部200と、表示処理部310と、印刷処理部320と、が格納されている。画像処理部200は、所定のオペレーティングシステムの下で、画像検索・印刷処理を実行するためのコンピュータープログラムである。本実施例の画像検索・印刷処理は、複数のターゲット画像の中から所定の特徴についてクエリー画像に類似する画像を検出し、検出された画像の印刷を行う処理である。画像検索・印刷処理については、後に詳述する。   The internal memory 120 stores an image processing unit 200, a display processing unit 310, and a print processing unit 320. The image processing unit 200 is a computer program for executing image search / print processing under a predetermined operating system. The image search / print processing of this embodiment is processing for detecting an image similar to the query image for a predetermined feature from a plurality of target images and printing the detected image. The image search / print process will be described in detail later.

画像処理部200は、モジュールとして、画像検索部210と、印刷画像設定部220と、を含んでいる。画像検索部210は、ピボット画像選択部211と、距離算出部212と、閾値設定部213と、近似距離算出部214と、検索対象設定部215と、を含んでいる。これら各部の機能については、後述の画像検索・印刷処理の説明において詳述する。なお、距離算出部212は、本発明における第1、第2および第3の距離算出部に相当する。   The image processing unit 200 includes an image search unit 210 and a print image setting unit 220 as modules. The image search unit 210 includes a pivot image selection unit 211, a distance calculation unit 212, a threshold setting unit 213, an approximate distance calculation unit 214, and a search target setting unit 215. The functions of these units will be described in detail in the description of image search / print processing described later. The distance calculation unit 212 corresponds to the first, second, and third distance calculation units in the present invention.

表示処理部310は、表示部150を制御して、表示部150上に処理メニューやメッセージを含むウィンドウ画面、画像等を表示させるディスプレイドライバである。印刷処理部320は、画像データから印刷データを生成し、プリンターエンジン160を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。CPU110は、内部メモリー120から、これらのプログラム(画像処理部200、表示処理部310、印刷処理部320)を読み出して実行することにより、これら各部の機能を実現する。   The display processing unit 310 is a display driver that controls the display unit 150 to display a window screen including a processing menu and a message, an image, and the like on the display unit 150. The print processing unit 320 is a computer program for generating print data from image data, controlling the printer engine 160, and printing an image based on the print data. The CPU 110 reads out and executes these programs (the image processing unit 200, the display processing unit 310, and the print processing unit 320) from the internal memory 120, thereby realizing the functions of these units.

A−2.画像検索・印刷処理:
図2は、実施例における画像検索・印刷処理の流れを示すフローチャートである。本実施例の画像検索・印刷処理は、画像検索の対象となる複数のターゲット画像の中から、画像の所定の特徴について、画像検索における基準としてのクエリー画像に類似する画像を検出し、検出された画像の印刷を行う処理である。より具体的には、上記所定の特徴についてのクエリー画像とターゲット画像との類似度を表す特徴量距離が算出され、特徴量距離が最大特徴量距離以下のターゲット画像が検出される。なお、特徴量距離が小さいほど2つの画像はより類似していることとなる。本実施例では、上記所定の特徴として、Haarウェーブレットをベースとして用いた画像のウェーブレット分解により算出されるウェーブレット係数が用いられる。ターゲット画像は任意に設定可能であるが、本実施例では、メモリーカードMCの所定の領域に格納された画像(画像ファイルに含まれる画像データ)がターゲット画像として設定される。
A-2. Image search / print processing:
FIG. 2 is a flowchart illustrating a flow of image search / print processing in the embodiment. The image search / print processing of this embodiment detects and detects an image similar to a query image as a reference in image search for a predetermined feature of the image from a plurality of target images to be subjected to image search. This is a process for printing a printed image. More specifically, a feature amount distance representing the similarity between the query image for the predetermined feature and the target image is calculated, and a target image whose feature amount distance is equal to or less than the maximum feature amount distance is detected. Note that the smaller the feature distance, the more similar the two images. In the present embodiment, as the predetermined feature, a wavelet coefficient calculated by wavelet decomposition of an image using a Haar wavelet as a base is used. Although the target image can be set arbitrarily, in this embodiment, an image (image data included in the image file) stored in a predetermined area of the memory card MC is set as the target image.

また、本実施例の画像検索では、以下に説明するように、クエリー画像とターゲット画像との間の特徴量距離(クエリー−ターゲット距離)の算出回数を減らして処理の高速化を図るLAESAアルゴリズムが採用される。LAESAを利用した画像検索については、Maria Luisa Mico, Jose Oncina著「A new version of the Nearest-Neighbour Approximating and Eliminating Search Algorithm (AESA) with linear preprocessing time and memory requirements」(Pattern Recognition Letters vol.15,p.9-p.7 1994年1月)や、Edgar Chavez, J.L. Marroquin, Ricardo Baeza-Yates,著「Spaghettis: An Array Based Algorithm for Similarity Queries in Metric Spaces」(spire,pp.38, String Processing and Information Retrieval Symposium & International Workshop on Groupware, 1999)に記載されているので、本明細書ではLAESAについての詳細な説明を省略するものとする。   In the image search of this embodiment, as described below, a LAESA algorithm that reduces the number of times of calculation of the feature amount distance (query-target distance) between the query image and the target image to speed up the processing is used. Adopted. For image retrieval using LAESA, “A new version of the Nearest-Neighbour Approximating and Eliminating Search Algorithm (AESA) with linear preprocessing time and memory requirements” by Maria Luisa Mico, Jose Oncina (Pattern Recognition Letters vol.15, p 9-p.7 January 1994) and Edgar Chavez, JL Marroquin, Ricardo Baeza-Yates, “Spaghettis: An Array Based Algorithm for Similarity Queries in Metric Spaces” (spire, pp. 38, String Processing and Information Retrieval Symposium & International Workshop on Groupware, 1999), detailed description of LAESA will be omitted in this specification.

操作部140(図1)を介したユーザーからの指示に応じて、画像処理部200は、画像検索・印刷処理(図2)を開始する。画像検索・印刷処理が開始されると、画像処理部200は、表示処理部310を制御して、表示部150に初期ウィンドウW1を表示させる(ステップS110)。図3は、初期ウィンドウW1の一例を示す説明図である。本実施例では、画像検索の基準としてのクエリー画像が描画により設定される。従って、初期ウィンドウW1には、描画のための各種ユーザーインターフェースが含まれている。すなわち、初期ウィンドウW1には、複数の色の異なるカラーボタンを含むカラーパレットボタンBu11と、複数の径の異なる筆ボタンを含む筆径指定ボタンBu12と、カラーパレットボタンBu11や筆径指定ボタンBu12を利用したユーザーの描画操作に応じて描画像DIを表示する描画像表示領域Ar10と、描画像表示領域Ar10の表示をクリアするクリアボタンBu13と、描画像表示領域Ar10に表示される描画像DIを1描画操作前の描画像DIに変更する戻るボタンBu14と、描画像表示領域Ar10に表示される描画像DIを1描画操作後の描画像DIに変更する進むボタンBu15と、描画像表示領域Ar10に表示された画像をクエリー画像として設定するOKボタン16と、が含まれている。   In response to an instruction from the user via the operation unit 140 (FIG. 1), the image processing unit 200 starts an image search / print process (FIG. 2). When the image search / printing process is started, the image processing unit 200 controls the display processing unit 310 to display the initial window W1 on the display unit 150 (step S110). FIG. 3 is an explanatory diagram showing an example of the initial window W1. In this embodiment, a query image as a reference for image search is set by drawing. Accordingly, the initial window W1 includes various user interfaces for drawing. That is, the initial window W1 includes a color palette button Bu11 including a plurality of color buttons having different colors, a brush diameter specifying button Bu12 including a plurality of brush buttons having different diameters, and a color palette button Bu11 and a brush diameter specifying button Bu12. The drawing image display area Ar10 that displays the drawing image DI according to the user's drawing operation used, the clear button Bu13 that clears the display of the drawing image display area Ar10, and the drawing image DI that is displayed in the drawing image display area Ar10. A return button Bu14 for changing to a drawing image DI before one drawing operation, a button Bu15 for changing the drawing image DI displayed in the drawing image display area Ar10 to a drawing image DI after one drawing operation, and a drawing image display area Ar10 And an OK button 16 for setting the image displayed on the screen as a query image.

ステップS120(図2)では、事前処理が実行される。事前処理では、まずピボット画像選択部211(図1)が、複数のターゲット画像から一部の画像をランダムに選択し、選択された画像をピボット画像として設定する。次に、距離算出部212が、所定の特徴についての各ターゲット画像と各ピボット画像との間の類似度を表す特徴量距離(ターゲット−ピボット距離)を算出する。算出されたターゲット−ピボット距離は、内部メモリー120の所定の領域に格納される。事前処理は、ターゲット画像(ピボット画像を含む)のみを用いて実行可能であり(いわゆるオフラインで実行可能であり)、クエリー画像を必要としないため、クエリー画像設定処理(後述のステップS130)の前に実行されることが可能である。従って、事前処理は、画像検索・印刷処理の開始前に実行されるとしてもよい。   In step S120 (FIG. 2), pre-processing is executed. In the pre-processing, first, the pivot image selection unit 211 (FIG. 1) randomly selects some images from a plurality of target images, and sets the selected images as pivot images. Next, the distance calculation unit 212 calculates a feature amount distance (target-pivot distance) that represents the degree of similarity between each target image and each pivot image for a predetermined feature. The calculated target-pivot distance is stored in a predetermined area of the internal memory 120. The pre-processing can be executed using only the target image (including the pivot image) (can be executed off-line), and does not require a query image, so before the query image setting processing (step S130 described later). Can be executed. Accordingly, the pre-processing may be executed before the start of the image search / print processing.

ステップS130(図2)では、画像検索部210(図1)が、クエリー画像を設定する。ユーザーは、操作部140を介して、初期ウィンドウW1(図3)に含まれる各インターフェースを選択・操作することにより、描画像表示領域Ar10に所望の画像を描くことができる。描画像表示領域Ar10に画像が描かれた後、ユーザーによりOKボタンBu16が選択されると、画像検索部210は、描画像表示領域Ar10に表示された描画像をクエリー画像として設定する。   In step S130 (FIG. 2), the image search unit 210 (FIG. 1) sets a query image. The user can draw a desired image in the drawing image display area Ar10 by selecting and operating each interface included in the initial window W1 (FIG. 3) via the operation unit 140. After the image is drawn in the drawing image display area Ar10, when the user selects the OK button Bu16, the image search unit 210 sets the drawing image displayed in the drawing image display area Ar10 as a query image.

クエリー画像の設定(図2のステップS130)が完了すると、画像検索が実行される(ステップS140)。図4は、画像検索実行処理の流れを示すフローチャートである。画像検索実行処理のステップS210では、距離算出部212が、所定の特徴についてのクエリー画像と各ピボット画像との間の類似度を表す特徴量距離(クエリー−ピボット距離)を算出する。   When the query image setting (step S130 in FIG. 2) is completed, an image search is executed (step S140). FIG. 4 is a flowchart showing the flow of the image search execution process. In step S210 of the image search execution process, the distance calculation unit 212 calculates a feature amount distance (query-pivot distance) that represents the degree of similarity between the query image for each predetermined feature and each pivot image.

ステップS220(図4)では、閾値設定部213(図1)が、算出されたクエリー−ピボット距離に基づき、閾値(以下、「クエリー範囲R」とも呼ぶ)を設定する。クエリー範囲Rは、後述のクエリー−ターゲット近似距離に基づくターゲット画像除外判定に用いられる閾値である。クエリー範囲Rは、算出されたクエリー−ピボット距離についての所定の統計値に設定される。本実施例では、所定の統計値として平均値が採用される。従って、クエリー範囲Rは、クエリー−ピボット距離の平均値となる。   In step S220 (FIG. 4), the threshold setting unit 213 (FIG. 1) sets a threshold (hereinafter also referred to as “query range R”) based on the calculated query-pivot distance. The query range R is a threshold value used for target image exclusion determination based on a query-target approximate distance described later. The query range R is set to a predetermined statistical value for the calculated query-pivot distance. In this embodiment, an average value is adopted as the predetermined statistical value. Therefore, the query range R is an average value of the query-pivot distance.

クエリー範囲Rがこのように設定されると、クエリー範囲Rは、クエリー画像に直接依存するものとなる。すなわち、クエリー範囲Rは、クエリー画像に応じた値となる。また、ピボット画像はターゲット画像の中からランダムに選択された画像であるため、算出される統計値はターゲット画像全体についての統計値の推定値となる。すなわち、算出されるクエリー−ピボット距離についての統計値は、クエリー−ターゲット距離についての統計値の推定値であるといえる。   When the query range R is set in this way, the query range R directly depends on the query image. That is, the query range R has a value corresponding to the query image. Further, since the pivot image is an image selected at random from the target images, the calculated statistical value is an estimated value of the statistical value for the entire target image. That is, it can be said that the calculated statistical value for the query-pivot distance is an estimated value of the statistical value for the query-target distance.

ステップS230(図4)では、近似距離算出部214(図1)が、事前処理(図2のステップS120)で算出されたターゲット−ピボット距離に基づき、クエリー画像とターゲット画像との間の特徴量距離(クエリー−ターゲット距離)の下界値としてのクエリー−ターゲット近似距離を算出する。クエリー−ターゲット近似距離の算出は、三角不等式を利用して行われるため、計算負荷が非常に小さい。   In step S230 (FIG. 4), the approximate distance calculation unit 214 (FIG. 1) calculates the feature amount between the query image and the target image based on the target-pivot distance calculated in the preprocessing (step S120 in FIG. 2). A query-target approximate distance as a lower bound value of the distance (query-target distance) is calculated. Since the calculation of the query-target approximate distance is performed using a triangle inequality, the calculation load is very small.

ステップS240(図4)では、検索対象設定部215(図1)が、算出されたクエリー−ターゲット近似距離に基づくターゲット画像除外判定を行う。具体的には、検索対象設定部215は、クエリー−ターゲット近似距離がクエリー範囲Rより大きいターゲット画像を、後述のクエリー−ターゲット距離算出処理(ステップS250)の対象から除外する。クエリー−ターゲット近似距離はクエリー−ターゲット距離の下界値であるため、クエリー−ターゲット近似距離がクエリー範囲Rより大きい場合には、実際のクエリー−ターゲット距離もクエリー範囲Rより大きいこととなる。そのため、クエリー−ターゲット近似距離がクエリー範囲Rより大きいターゲット画像は、実際のクエリー−ターゲット距離を算出することなく、画像検索(ステップS260)の対象から除外するものとしている。   In step S240 (FIG. 4), the search target setting unit 215 (FIG. 1) performs target image exclusion determination based on the calculated query-target approximate distance. Specifically, the search target setting unit 215 excludes a target image whose query-target approximate distance is larger than the query range R from a target of a query-target distance calculation process (step S250) described later. Since the query-target approximate distance is a lower bound value of the query-target distance, when the query-target approximate distance is larger than the query range R, the actual query-target distance is also larger than the query range R. Therefore, a target image having a query-target approximate distance larger than the query range R is excluded from the object of image search (step S260) without calculating the actual query-target distance.

ステップS250(図4)では、距離算出部212(図1)が、除外判定(ステップS240)において除外されずに残ったターゲット画像を対象に、実際のクエリー−ターゲット距離の算出を行う。ステップS260では、画像検索部210が、算出されたクエリー−ターゲット距離が予め設定された最大特徴量距離以下であるターゲット画像を検出する画像検索を行う。なお、予め最大検出画像数が設定されている場合であって、検出画像数が最大検出画像数を超えた場合には、超えた数の画像がクエリー−ターゲット距離の大きい方から順に除外される。また、最大特徴量距離が設定されておらず、最大検出画像数のみが設定されている場合には、最大検出画像数の画像がクエリー−ターゲット距離の小さい方から順に検出される。   In step S250 (FIG. 4), the distance calculation unit 212 (FIG. 1) calculates an actual query-target distance for the target images that remain without being excluded in the exclusion determination (step S240). In step S260, the image search unit 210 performs an image search for detecting a target image whose calculated query-target distance is equal to or less than a preset maximum feature amount distance. Note that when the maximum number of detected images is set in advance and the number of detected images exceeds the maximum number of detected images, the exceeding number of images is excluded in order from the larger query-target distance. . If the maximum feature amount distance is not set and only the maximum number of detected images is set, images with the maximum number of detected images are detected in order from the smallest query-target distance.

画像検索実行処理(図4)が完了すると、画像処理部200(図1)は、表示処理部310を制御して、表示部150に検索結果ウィンドウW2を表示させる(ステップS150)。図5は、検索結果ウィンドウW2の一例を示す説明図である。検索結果ウィンドウW2は、画像検索において検出されたターゲット画像(検出画像DeI)を一覧表示するためのウィンドウである。すなわち、図5に示すように、検索結果ウィンドウW2には、クエリー画像表示エリアAr61に加えて、検出画像表示エリアAr62が含まれている。検出画像表示エリアAr62には、検出画像DeIがクエリー画像との類似度を表すランク順(特徴量距離の小さい順)に並べて表示される。   When the image search execution process (FIG. 4) is completed, the image processing unit 200 (FIG. 1) controls the display processing unit 310 to display the search result window W2 on the display unit 150 (step S150). FIG. 5 is an explanatory diagram showing an example of the search result window W2. The search result window W2 is a window for displaying a list of target images (detected images DeI) detected in the image search. That is, as shown in FIG. 5, the search result window W2 includes a detection image display area Ar62 in addition to the query image display area Ar61. In the detection image display area Ar62, the detection images DeI are displayed side by side in a rank order (in ascending order of feature amount distance) indicating the similarity to the query image.

検索結果ウィンドウW2(図5)には、印刷指定エリアAr63が含まれている。ユーザーは、検索結果ウィンドウW2において、例えば検出画像DeIのアイコンを印刷指定エリアAr63にドラッグアンドドロップして、印刷指定エリアAr63に検出画像DeIのアイコンICを表示させることにより、印刷すべき検出画像DeIを指定することができる(図2のステップS160)。図5の例では、2つの検出画像DeIが印刷すべき画像に指定されている。印刷指定エリアAr63には、印刷実行ボタンBu64と印刷指定解除ボタンBu65とが含まれている。ユーザーは、印刷指定エリアAr63に表示された画像のアイコンICを選択すると共に印刷指定解除ボタンBu65を選択することにより(または画像のアイコンICを印刷指定解除ボタンBu65上にドラッグアンドドロップすることにより)、当該画像の印刷指定を解除することができる。また、ユーザーは、印刷実行ボタンBu64を選択することにより、印刷指定エリアAr63に表示されたアイコンICに対応する検出画像DeIの印刷実行開始を指示することができる。印刷実行開始が指示されると、印刷処理部320(図1)は、指定された検出画像DeIの画像データに基づき印刷データを生成し、プリンターエンジン160を制御して、検出画像DeIの印刷を実行する(図2のステップS170)。   The search result window W2 (FIG. 5) includes a print designation area Ar63. In the search result window W2, for example, the user drags and drops the icon of the detection image DeI to the print designation area Ar63 to display the icon IC of the detection image DeI in the print designation area Ar63, thereby detecting the detection image DeI to be printed. Can be designated (step S160 in FIG. 2). In the example of FIG. 5, two detection images DeI are designated as images to be printed. The print designation area Ar63 includes a print execution button Bu64 and a print designation release button Bu65. The user selects the icon IC of the image displayed in the print designation area Ar63 and selects the print designation release button Bu65 (or drags and drops the image icon IC onto the print designation release button Bu65). The print designation of the image can be canceled. In addition, the user can instruct the print execution start of the detected image DeI corresponding to the icon IC displayed in the print designation area Ar63 by selecting the print execution button Bu64. When an instruction to start printing is given, the print processing unit 320 (FIG. 1) generates print data based on the image data of the designated detection image DeI, and controls the printer engine 160 to print the detection image DeI. This is executed (step S170 in FIG. 2).

以上説明したように、本実施例のプリンター100による画像検索・印刷処理では、事前処理として、複数のターゲット画像からのピボット画像の選択とターゲット−ピボット距離の算出が行われる。また、画像検索実行処理において、クエリー−ピボット距離に基づきクエリー範囲Rが設定され、設定されたクエリー範囲Rを用いてクエリー−ターゲット近似距離に基づくターゲット画像除外判定が行われ、除外されなかったターゲット画像のみを対象に実際のクエリー−ターゲット距離が算出され、算出された実際のクエリー−ターゲット距離に基づき、クエリー画像に類似する画像が検出される。ここで、本実施例では、クエリー範囲Rがクエリー−ピボット距離についての所定の統計値(平均値)に設定されるため、クエリー範囲Rはクエリー画像に直接依存するものとなると共に、統計値(平均値)としてのクエリー範囲Rはターゲット画像全体についての統計値の推定値となる。従って、本実施例では、クエリー範囲Rを、クエリー画像の内容に関わらず、ターゲット画像全体の内の適切な数のターゲット画像が除外され、適切な数のターゲット画像が実際のクエリー−ターゲット距離の算出対象となるように、設定することが可能である。従って、本実施例では、ターゲット−ピボット距離に基づきクエリー−ターゲット近似距離を算出し、クエリー−ターゲット近似距離が所定の閾値より大きいターゲット画像を実際のクエリー−ターゲット距離の算出対象から除外する検索アルゴリズムを用いて、画像検索を効率的にかつ適切に実行することができる。   As described above, in the image search / print processing by the printer 100 according to the present embodiment, selection of a pivot image from a plurality of target images and calculation of a target-pivot distance are performed as pre-processing. Further, in the image search execution process, the query range R is set based on the query-pivot distance, and target image exclusion determination based on the query-target approximate distance is performed using the set query range R, and the target that is not excluded An actual query-target distance is calculated for only the image, and an image similar to the query image is detected based on the calculated actual query-target distance. In this embodiment, since the query range R is set to a predetermined statistical value (average value) for the query-pivot distance, the query range R directly depends on the query image, and the statistical value ( The query range R as an average value is an estimated value of the statistical value for the entire target image. Therefore, in this embodiment, the query range R is excluded from the appropriate number of target images in the entire target image regardless of the contents of the query image, and the appropriate number of target images is set to the actual query-target distance. It can be set to be a calculation target. Therefore, in this embodiment, the query-target approximate distance is calculated based on the target-pivot distance, and a search algorithm for excluding target images whose query-target approximate distance is larger than a predetermined threshold from the actual query-target distance calculation target. Can be used to efficiently and appropriately perform image retrieval.

B.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
B. Variation:
The present invention is not limited to the above-described examples and embodiments, and can be implemented in various modes without departing from the gist thereof. For example, the following modifications are possible.

B1.変形例1:
上記実施例では、メモリーカードMCに格納された画像をターゲット画像として画像検索が実行されるとしているが、画像検索におけるターゲット画像は任意に設定可能である。例えば、内部メモリー120(図1)の所定の領域に格納された画像がターゲット画像として設定されるとしてもよいし、プリンター100とケーブルやネットワークを介して接続された他の機器の有する記憶領域に格納された画像がターゲット画像として設定されるとしてもよい。ターゲット画像の格納場所がいずれであっても、事前処理(図2のステップS120)はターゲット画像のみを用いて実行可能である(オフラインで実行可能である)。
B1. Modification 1:
In the above embodiment, the image search is executed using the image stored in the memory card MC as the target image. However, the target image in the image search can be arbitrarily set. For example, an image stored in a predetermined area of the internal memory 120 (FIG. 1) may be set as a target image, or in a storage area of another device connected to the printer 100 via a cable or a network. The stored image may be set as the target image. Regardless of the storage location of the target image, the pre-processing (step S120 in FIG. 2) can be performed using only the target image (can be performed offline).

また、画像検索は、1つまたは複数の画像処理装置によって複数の互いに独立したターゲット画像群を対象に並行して実行されるとしてもよい。この場合には、並行して実行される画像検索の一貫性を担保するために、クエリー範囲Rが同じ値に設定されることが好ましい。そのため、それぞれの画像検索を行う処理部においてクエリー−ピボット距離が算出されると、算出されたクエリー−ピボット距離が例えばネットワークを介して1つの処理部(マスター)に集約され、マスターにおいてすべてのクエリー−ピボット距離についての統計値(例えば平均値)がクエリー範囲Rとして算出され、算出されたクエリー範囲Rが各処理部に送信される。各処理部は、送信されたクエリー範囲Rを用いて画像検索を実行する。このようにすれば、統計値(平均値)としてのクエリー範囲Rはすべてのターゲット画像群全体についての統計値の推定値となる。   Further, the image search may be executed in parallel on a plurality of mutually independent target image groups by one or a plurality of image processing apparatuses. In this case, it is preferable that the query range R is set to the same value in order to ensure the consistency of the image search executed in parallel. Therefore, when the query-pivot distance is calculated in each processing unit that performs image search, the calculated query-pivot distance is aggregated into one processing unit (master) via, for example, the network, and all queries are performed in the master. -A statistical value (for example, average value) about the pivot distance is calculated as the query range R, and the calculated query range R is transmitted to each processing unit. Each processing unit executes an image search using the transmitted query range R. In this way, the query range R as a statistical value (average value) is an estimated value of the statistical value for all the target image groups as a whole.

また、それぞれの画像検索を行う処理部において、クエリー−ピボット距離の算出と算出されたクエリー−ピボット距離についての統計値(例えば平均値)の算出とが行われ、各処理部において算出された統計値が例えばネットワークを介して1つの処理部(マスター)に集約され、マスターにおいてすべての統計値についての二次統計値(例えば平均値)がクエリー範囲Rとして算出され、算出されたクエリー範囲Rが各処理部に送信され、各処理部は送信されたクエリー範囲Rを用いて画像検索を実行するとしてもよい。このようにすれば、集約の際に各処理部からマスターに送信されるデータは1つの統計値のみとなり、通信負荷が低減される。   Further, in each processing unit that performs image search, calculation of the query-pivot distance and calculation of a statistical value (for example, average value) for the calculated query-pivot distance are performed, and the statistical value calculated in each processing unit. The values are aggregated to one processing unit (master) via a network, for example, and secondary statistical values (for example, average values) for all statistical values are calculated as a query range R in the master, and the calculated query range R is It may be transmitted to each processing unit, and each processing unit may execute an image search using the transmitted query range R. In this way, the data transmitted from each processing unit to the master during aggregation is only one statistical value, and the communication load is reduced.

B2.変形例2:
上記実施例では、クエリー範囲Rの設定に用いられるクエリー−ピボット距離についての所定の統計値は平均値であるとしているが、平均値以外の統計値が用いられてもよい。例えば、統計値としてq分位数(分布をq:1−qに分割する点(0<q<1))が用いられてもよい。また、統計値としてq分位数が用いられる場合に、許容される処理時間に応じてqの値が設定されるとしてもよい。例えば、許容される処理時間が短い場合は長い場合と比較して、qの値がより小さい値に設定されてもよい。
B2. Modification 2:
In the above embodiment, the predetermined statistical value for the query-pivot distance used for setting the query range R is an average value, but a statistical value other than the average value may be used. For example, a q quantile (a point that divides the distribution into q: 1-q (0 <q <1)) may be used as a statistical value. Further, when the q quantile is used as the statistical value, the value of q may be set according to the allowable processing time. For example, when the allowable processing time is short, the value of q may be set to a smaller value than when it is long.

B3.変形例3:
上記実施例では、画像間の類似度の対象となる画像の所定の特徴は、Haarウェーブレットをベースとして用いた画像のウェーブレット分解により算出されるウェーブレット係数であるとしているが、画像の所定の特徴は、例えば所定の色空間で表現された画像の色の分布を表すカラーヒストグラムといった他の特徴であってもよい。
B3. Modification 3:
In the above embodiment, the predetermined feature of the image that is the target of the similarity between the images is the wavelet coefficient calculated by the wavelet decomposition of the image using the Haar wavelet as a base, but the predetermined feature of the image is Other features such as a color histogram representing the color distribution of an image expressed in a predetermined color space may be used.

B4.変形例4:
上記実施例では、画像検索の基準としてのクエリー画像が描画により設定されるとしているが、クエリー画像はファイル指定や色の選択といった他の方法により設定されるとしてもよい。
B4. Modification 4:
In the above embodiment, the query image as a reference for image search is set by drawing. However, the query image may be set by other methods such as file designation and color selection.

B5.変形例5: B5. Modification 5:

上記実施例における初期ウィンドウW1や検索結果ウィンドウW2の内容やレイアウトは、あくまで一例であり、種々変形が可能である。また、上記実施例における画像処理装置としてのプリンター100の構成はあくまで一例であり、プリンター100の構成は種々変更可能である。また、上記実施例では、画像処理装置としてのプリンター100による画像検索・印刷処理を説明したが、処理の一部または全部がサーバーやパーソナルコンピューター、デジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター100はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。   The contents and layout of the initial window W1 and the search result window W2 in the above embodiment are merely examples, and various modifications can be made. Further, the configuration of the printer 100 as the image processing apparatus in the above embodiment is merely an example, and the configuration of the printer 100 can be variously changed. In the above-described embodiments, the image search / print processing by the printer 100 as the image processing apparatus has been described. However, part or all of the processing may be another type of server, personal computer, digital still camera, digital video camera, or the like. It may be executed by the image processing apparatus. The printer 100 is not limited to an ink jet printer, and may be another type of printer such as a laser printer or a sublimation printer.

上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。   In the above embodiment, a part of the configuration realized by hardware may be replaced with software, and conversely, a part of the configuration realized by software may be replaced by hardware.

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。   In addition, when part or all of the functions of the present invention are realized by software, the software (computer program) can be provided in a form stored in a computer-readable recording medium. In the present invention, the “computer-readable recording medium” is not limited to a portable recording medium such as a flexible disk or a CD-ROM, but an internal storage device in a computer such as various RAMs and ROMs, a hard disk, etc. It also includes an external storage device fixed to the computer.

100…プリンター
110…CPU
120…内部メモリー
140…操作部
150…表示部
160…プリンターエンジン
170…カードインターフェース
172…カードスロット
200…画像処理部
210…画像検索部
211…ピボット画像選択部
212…距離算出部
213…閾値設定部
214…近似距離算出部
215…検索対象設定部
220…印刷画像設定部
310…表示処理部
320…印刷処理部
100 ... Printer 110 ... CPU
DESCRIPTION OF SYMBOLS 120 ... Internal memory 140 ... Operation part 150 ... Display part 160 ... Printer engine 170 ... Card interface 172 ... Card slot 200 ... Image processing part 210 ... Image search part 211 ... Pivot image selection part 212 ... Distance calculation part 213 ... Threshold setting part 214 ... Approximate distance calculation unit 215 ... Search target setting unit 220 ... Print image setting unit 310 ... Display processing unit 320 ... Print processing unit

Claims (10)

画像検索を行う画像処理装置であって、
複数のターゲット画像の内の一部の画像をピボット画像として選択するピボット画像選択部と、
各前記ターゲット画像と各前記ピボット画像との間における所定の特徴についての類似度を表すターゲット−ピボット距離を算出する第1の距離算出部と、
クエリー画像と各前記ピボット画像との間における前記所定の特徴についての類似度を表すクエリー−ピボット距離を算出する第2の距離算出部と、
前記クエリー−ピボット距離に基づき閾値を設定する閾値設定部と、
前記ターゲット−ピボット距離に基づき、前記クエリー画像と各前記ターゲット画像との間における前記所定の特徴についての類似度を表すクエリー−ターゲット距離の下界値としてのクエリー−ターゲット近似距離を算出する近似距離算出部と、
前記クエリー−ターゲット近似距離が前記閾値より大きい前記ターゲット画像を前記画像検索の対象から除外する検索対象設定部と、
前記画像検索の対象から除外されていない前記ターゲット画像について、前記クエリー−ターゲット距離を算出する第3の距離算出部と、
前記クエリー−ターゲット距離に基づき、前記所定の特徴に関して前記クエリー画像に類似する前記ターゲット画像を検出する画像検索部と、を備える、画像処理装置。
An image processing apparatus for performing image search,
A pivot image selection unit for selecting a part of the plurality of target images as a pivot image;
A first distance calculation unit that calculates a target-pivot distance representing a similarity degree for a predetermined feature between each target image and each pivot image;
A second distance calculating unit that calculates a query-pivot distance that represents a degree of similarity for the predetermined feature between a query image and each pivot image;
A threshold setting unit for setting a threshold based on the query-pivot distance;
Approximate distance calculation that calculates a query-target approximate distance as a lower bound value of the query-target distance that represents the similarity of the predetermined feature between the query image and each target image based on the target-pivot distance And
A search target setting unit that excludes the target image whose query-target approximate distance is larger than the threshold from the target of the image search;
A third distance calculating unit that calculates the query-target distance for the target image that is not excluded from the image search target;
An image search unit that detects the target image similar to the query image with respect to the predetermined feature based on the query-target distance.
請求項1に記載の画像処理装置であって、
前記閾値設定部は、前記クエリー−ピボット距離の所定の統計値を算出し、前記統計値を前記閾値として設定する、画像処理装置。
The image processing apparatus according to claim 1,
The threshold value setting unit calculates a predetermined statistical value of the query-pivot distance, and sets the statistical value as the threshold value.
請求項2に記載の画像処理装置であって、
前記所定の統計値は、平均値である、画像処理装置。
The image processing apparatus according to claim 2,
The image processing apparatus, wherein the predetermined statistical value is an average value.
請求項2に記載の画像処理装置であって、
前記所定の統計値は、q分位数(0<q<1)である、画像処理装置。
The image processing apparatus according to claim 2,
The image processing apparatus, wherein the predetermined statistical value is a q quantile (0 <q <1).
請求項2ないし請求項4のいずれかに記載の画像処理装置であって、さらに、
前記クエリー−ピボット距離を他の前記画像処理装置に送信する送信部と、
前記他の画像処理装置において算出された複数の前記画像処理装置から送信された前記クエリー−ピボット距離についての前記所定の統計値を受信する受信部と、を備え、
前記閾値設定部は、受信された前記所定の統計値を前記閾値として設定する、画像処理装置。
The image processing apparatus according to any one of claims 2 to 4, further comprising:
A transmission unit for transmitting the query-pivot distance to the other image processing device;
A receiving unit that receives the predetermined statistic about the query-pivot distance transmitted from the plurality of image processing devices calculated in the other image processing device;
The threshold value setting unit is an image processing device that sets the received predetermined statistical value as the threshold value.
請求項2ないし請求項4のいずれかに記載の画像処理装置であって、さらに、
前記所定の統計値を他の前記画像処理装置に送信する送信部と、
前記他の画像処理装置において算出された複数の前記画像処理装置から送信された前記所定の統計値についての所定の二次統計値を受信する受信部と、を備え、
前記閾値設定部は、受信された前記所定の二次統計値を前記閾値として設定する、画像処理装置。
The image processing apparatus according to any one of claims 2 to 4, further comprising:
A transmission unit for transmitting the predetermined statistical value to the other image processing device;
A receiving unit that receives a predetermined secondary statistical value for the predetermined statistical value transmitted from the plurality of image processing devices calculated in the other image processing device;
The threshold value setting unit is an image processing device that sets the received predetermined secondary statistical value as the threshold value.
請求項1ないし請求項6のいずれかに記載の画像処理装置であって、さらに、
画像検索により検出された検出画像の中から印刷すべき検出画像を設定する印刷画像設定部と、
印刷すべき検出画像の印刷を行う印刷部と、を備える、画像処理装置。
The image processing apparatus according to any one of claims 1 to 6, further comprising:
A print image setting unit for setting a detection image to be printed from detection images detected by image search;
An image processing apparatus comprising: a printing unit that prints a detection image to be printed.
画像検索を行う画像処理方法であって、
(a)複数のターゲット画像の内の一部の画像をピボット画像として選択する工程と、
(b)各前記ターゲット画像と各前記ピボット画像との間における所定の特徴についての類似度を表すターゲット−ピボット距離を算出する工程と、
(c)クエリー画像と各前記ピボット画像との間における前記所定の特徴についての類似度を表すクエリー−ピボット距離を算出する工程と、
(d)前記クエリー−ピボット距離に基づき閾値を設定する工程と、
(e)前記ターゲット−ピボット距離に基づき、前記クエリー画像と各前記ターゲット画像との間における前記所定の特徴についての類似度を表すクエリー−ターゲット距離の下界値としてのクエリー−ターゲット近似距離を算出する工程と、
(f)前記クエリー−ターゲット近似距離が前記閾値より大きい前記ターゲット画像を前記画像検索の対象から除外する工程と、
(g)前記画像検索の対象から除外されていない前記ターゲット画像について、前記クエリー−ターゲット距離を算出する工程と、
(h)前記クエリー−ターゲット距離に基づき、前記所定の特徴に関して前記クエリー画像に類似する前記ターゲット画像を検出する工程と、を備える、画像処理方法。
An image processing method for performing image search,
(A) selecting a part of the plurality of target images as a pivot image;
(B) calculating a target-pivot distance representing a similarity degree for a predetermined feature between each of the target images and each of the pivot images;
(C) calculating a query-pivot distance representing a similarity degree for the predetermined feature between a query image and each of the pivot images;
(D) setting a threshold based on the query-pivot distance;
(E) Based on the target-pivot distance, a query-target approximate distance is calculated as a lower bound value of the query-target distance representing the degree of similarity of the predetermined feature between the query image and each target image. Process,
(F) excluding the target image whose query-target approximation distance is greater than the threshold from the image search target;
(G) calculating the query-target distance for the target images not excluded from the image search target;
(H) detecting the target image similar to the query image with respect to the predetermined feature based on the query-target distance.
画像検索を行う画像処理のためのコンピュータープログラムであって、
複数のターゲット画像の内の一部の画像をピボット画像として選択するピボット画像選択機能と、
各前記ターゲット画像と各前記ピボット画像との間における所定の特徴についての類似度を表すターゲット−ピボット距離を算出する第1の距離算出機能と、
クエリー画像と各前記ピボット画像との間における前記所定の特徴についての類似度を表すクエリー−ピボット距離を算出する第2の距離算出機能と、
前記クエリー−ピボット距離に基づき閾値を設定する閾値設定機能と、
前記ターゲット−ピボット距離に基づき、前記クエリー画像と各前記ターゲット画像との間における前記所定の特徴についての類似度を表すクエリー−ターゲット距離の下界値としてのクエリー−ターゲット近似距離を算出する近似距離算出機能と、
前記クエリー−ターゲット近似距離が前記閾値より大きい前記ターゲット画像を前記画像検索の対象から除外する検索対象設定機能と、
前記画像検索の対象から除外されていない前記ターゲット画像について、前記クエリー−ターゲット距離を算出する第3の距離算出機能と、
前記クエリー−ターゲット距離に基づき、前記所定の特徴に関して前記クエリー画像に類似する前記ターゲット画像を検出する画像検索機能と、を、コンピューターに実現させる、コンピュータープログラム。
A computer program for image processing that performs image search,
Pivot image selection function to select a part of multiple target images as a pivot image,
A first distance calculation function for calculating a target-pivot distance representing a degree of similarity for a predetermined feature between each target image and each pivot image;
A second distance calculation function for calculating a query-pivot distance that represents a similarity degree of the predetermined feature between a query image and each of the pivot images;
A threshold setting function for setting a threshold based on the query-pivot distance;
Approximate distance calculation that calculates a query-target approximate distance as a lower bound value of the query-target distance that represents the similarity of the predetermined feature between the query image and each target image based on the target-pivot distance Function and
A search target setting function for excluding the target image whose query-target approximation distance is larger than the threshold from the target of the image search;
A third distance calculating function for calculating the query-target distance for the target image that is not excluded from the image search target;
A computer program for causing a computer to realize an image search function for detecting the target image similar to the query image with respect to the predetermined feature based on the query-target distance.
印刷装置であって、
複数のターゲット画像の内の一部の画像をピボット画像として選択するピボット画像選択部と、
各前記ターゲット画像と各前記ピボット画像との間における所定の特徴についての類似度を表すターゲット−ピボット距離を算出する第1の距離算出部と、
クエリー画像と各前記ピボット画像との間における前記所定の特徴についての類似度を表すクエリー−ピボット距離を算出する第2の距離算出部と、
前記クエリー−ピボット距離に基づき閾値を設定する閾値設定部と、
前記ターゲット−ピボット距離に基づき、前記クエリー画像と各前記ターゲット画像との間における前記所定の特徴についての類似度を表すクエリー−ターゲット距離の下界値としてのクエリー−ターゲット近似距離を算出する近似距離算出部と、
前記クエリー−ターゲット近似距離が前記閾値より大きい前記ターゲット画像を前記画像検索の対象から除外する検索対象設定部と、
前記画像検索の対象から除外されていない前記ターゲット画像について、前記クエリー−ターゲット距離を算出する第3の距離算出部と、
前記クエリー−ターゲット距離に基づき、前記所定の特徴に関して前記クエリー画像に類似する前記ターゲット画像を検出する画像検索部と、
画像検索により検出された検出画像の中から印刷すべき検出画像を設定する印刷画像設定部と、
印刷すべき検出画像の印刷を行う印刷部と、を備える、印刷装置。
A printing device,
A pivot image selection unit for selecting a part of the plurality of target images as a pivot image;
A first distance calculation unit that calculates a target-pivot distance representing a similarity degree for a predetermined feature between each target image and each pivot image;
A second distance calculating unit that calculates a query-pivot distance that represents a degree of similarity for the predetermined feature between a query image and each pivot image;
A threshold setting unit for setting a threshold based on the query-pivot distance;
Approximate distance calculation that calculates a query-target approximate distance as a lower bound value of the query-target distance that represents the similarity of the predetermined feature between the query image and each target image based on the target-pivot distance And
A search target setting unit that excludes the target image whose query-target approximate distance is larger than the threshold from the target of the image search;
A third distance calculating unit that calculates the query-target distance for the target image that is not excluded from the image search target;
An image search unit for detecting the target image similar to the query image with respect to the predetermined feature based on the query-target distance;
A print image setting unit for setting a detection image to be printed from detection images detected by image search;
A printing unit that prints a detection image to be printed.
JP2009151194A 2009-06-25 2009-06-25 Printer, apparatus and method for processing image, and computer program Pending JP2011008522A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009151194A JP2011008522A (en) 2009-06-25 2009-06-25 Printer, apparatus and method for processing image, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009151194A JP2011008522A (en) 2009-06-25 2009-06-25 Printer, apparatus and method for processing image, and computer program

Publications (1)

Publication Number Publication Date
JP2011008522A true JP2011008522A (en) 2011-01-13

Family

ID=43565103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009151194A Pending JP2011008522A (en) 2009-06-25 2009-06-25 Printer, apparatus and method for processing image, and computer program

Country Status (1)

Country Link
JP (1) JP2011008522A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545122A (en) * 2022-11-28 2022-12-30 中国银联股份有限公司 Object matching method, device, equipment, system, medium and program product

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545122A (en) * 2022-11-28 2022-12-30 中国银联股份有限公司 Object matching method, device, equipment, system, medium and program product

Similar Documents

Publication Publication Date Title
WO2008063622A1 (en) Methods and systems rendering a print job
JP2010250657A (en) Printing apparatus, image processing apparatus, image processing method and computer program
JP2010250658A (en) Printing apparatus, image processing apparatus, image processing method, and computer program
EP3021567B1 (en) Image processing apparatus, method for performing specific process, computer-readable storage medium for computer program
US20160078643A1 (en) Information processing apparatus, information processing method, and program
US8711384B2 (en) Image forming apparatus, control method and computer-readable medium for stopping a print job during printing by a printer
US20120324352A1 (en) Client server system and client device of client server system
JP5590960B2 (en) Image forming apparatus, image forming method, and program
JP2011008522A (en) Printer, apparatus and method for processing image, and computer program
US20100231931A1 (en) Image forming apparatus and image forming method
US8384956B2 (en) Image processing apparatus generating an image processing flow for each segmented block of image data and corresponding, image processing method, and storage medium storing program instructing a computer to execute the method
US9800755B2 (en) Printer and non-transitory computer-readable recording medium for printing page images representing multiple pages represented by file stored in server
US8819692B2 (en) Job executing system, job executing device and computer-readable medium
US20210011672A1 (en) Control device, control method of control device, and storage medium
US10846038B2 (en) Image processing system, and method with one or more processing devices
US9165225B2 (en) Program and information processing apparatus
JP5936363B2 (en) Image processing apparatus and image processing method
US9936083B2 (en) Image output system
JP6627742B2 (en) Information processing device and program
JP2011081713A (en) Information processing apparatus, control method, program, and recording medium
JP2011008521A (en) Printer, apparatus and method for processing image and computer program
US11216230B2 (en) Job transmission device, job processing device, program, and job transmission method performed by job transmission device
US11704082B2 (en) Print server generating image data after image processing in accordance with print sheet orientation of paper feed source
JP2010287991A (en) Printer, and system equipped with printer and server
JP5805424B2 (en) Document reader