JP2009200923A - Image processing apparatus and program - Google Patents

Image processing apparatus and program Download PDF

Info

Publication number
JP2009200923A
JP2009200923A JP2008041569A JP2008041569A JP2009200923A JP 2009200923 A JP2009200923 A JP 2009200923A JP 2008041569 A JP2008041569 A JP 2008041569A JP 2008041569 A JP2008041569 A JP 2008041569A JP 2009200923 A JP2009200923 A JP 2009200923A
Authority
JP
Japan
Prior art keywords
image
reduced
reduction
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008041569A
Other languages
Japanese (ja)
Other versions
JP4911065B2 (en
Inventor
Toshiya Koyama
俊哉 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2008041569A priority Critical patent/JP4911065B2/en
Publication of JP2009200923A publication Critical patent/JP2009200923A/en
Application granted granted Critical
Publication of JP4911065B2 publication Critical patent/JP4911065B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus and a program for relatively reducing a processing load in extracting a region of a corrected portion from a first image scanned from a document and from a second image scanned from a corrected document of the document. <P>SOLUTION: The image processing apparatus includes: a reduction unit 62 for reducing, in a predetermined reduction scale, a first image scanned from a document and a second image scanned from a corrected document obtained by correcting the document; a differential image generation unit 64 for generating a differential image between the reduced first image and the reduced second image; a merged region determination unit 66 for determining a merged region, that is a region in the differential image, meeting predetermined conditions for significant pixel distribution; and a corrected portion extraction unit 68 for extracting a region of a corrected portion based on comparison of an image in a region corresponding to the merged region in the first image and an image in a region corresponding to the merged region in the second image. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像処理装置、及びプログラムに関する。   The present invention relates to an image processing apparatus and a program.

原稿からスキャンされた原稿画像と、前記原稿の修正原稿からスキャンされた修正原稿画像と、に基づいて、修正部分の領域を抽出する技術がある。例えば、下記特許文献1では、原稿画像と修正原稿画像との差分を生成し、該差分に基づいて、原稿画像と修正原稿画像を詳細に比較する領域を特定する。そして、特定した領域における原稿画像と、該領域における修正原稿画像と、を詳細に比較することにより、修正部分の領域を抽出している。
特開2007−241356号公報
There is a technique for extracting a region of a corrected portion based on a document image scanned from a document and a modified document image scanned from the modified document of the document. For example, in Patent Document 1 below, a difference between a document image and a corrected document image is generated, and an area in which the document image and the corrected document image are compared in detail is specified based on the difference. Then, the area of the corrected portion is extracted by comparing the original image in the specified area with the corrected original image in the area in detail.
JP 2007-241356 A

しかしながら、上記従来の技術では、原稿画像と修正原稿画像のサイズによっては、原稿画像と修正原稿との差分の生成にかかる処理負荷が大きくなり、結果的に、修正部分の領域の抽出に時間がかかる場合があった。   However, in the above-described conventional technique, depending on the sizes of the original image and the corrected original image, the processing load for generating the difference between the original image and the corrected original increases, and as a result, it takes time to extract the area of the corrected portion. There was such a case.

本発明は、上記課題に鑑みてなされたものであって、その目的は、原稿からスキャンされた第1画像と、前記原稿の修正原稿からスキャンされた第2画像とから修正部分の領域を抽出する際の処理負荷を軽減することができる画像処理装置及びプログラムを提供することである。   The present invention has been made in view of the above problems, and an object of the present invention is to extract a region of a corrected portion from a first image scanned from a document and a second image scanned from the modified document of the document. It is an object to provide an image processing apparatus and a program that can reduce the processing load at the time.

請求項1の発明は、原稿からスキャンされた第1画像と、前記原稿に修正がなされた修正原稿からスキャンされた第2画像と、を所定縮小率で縮小する縮小手段と、縮小第1画像と縮小第2画像との差分画像を生成する差分画像生成手段と、前記差分画像中の領域であって、有意な画素の分布に関する所定条件を満足する領域を判定する領域判定手段と、前記第1画像における前記判定された領域の対応領域の画像と、前記第2画像における前記判定された領域の対応領域の画像と、を比較し、比較結果に基づいて修正部分の領域を抽出する修正部分抽出手段と、を含むことを特徴とする画像処理装置である。   According to a first aspect of the present invention, there is provided a reduction means for reducing the first image scanned from the original and the second image scanned from the corrected original corrected on the original at a predetermined reduction ratio, and the reduced first image. A difference image generation means for generating a difference image between the first image and the reduced second image; an area determination means for determining an area in the difference image that satisfies a predetermined condition regarding a significant pixel distribution; A corrected portion that compares the image of the corresponding region of the determined region in one image with the image of the corresponding region of the determined region in the second image, and extracts the region of the corrected portion based on the comparison result And an extracting unit.

請求項2の発明は、請求項1の発明において、有意な画素に基づいて、前記縮小第1画像と、前記縮小第2画像の特徴点を抽出する特徴抽出手段と、前記抽出された特徴点に基づいて、前記縮小第1画像と前記縮小第2画像との位置ズレを補正する補正パラメータを算出する算出手段とをさらに含み、前記差分画像生成手段は、前記補正パラメータに従って、前記縮小第1画像と前記縮小第2画像との位置ズレを補正した上で前記差分画像を生成することを特徴とする。   According to a second aspect of the present invention, in the first aspect of the invention, the reduced first image, feature extraction means for extracting feature points of the reduced second image based on significant pixels, and the extracted feature points And calculating means for calculating a correction parameter for correcting a positional deviation between the reduced first image and the reduced second image, and the difference image generating means is configured to calculate the reduced first image according to the correction parameter. The difference image is generated after correcting a positional deviation between the image and the reduced second image.

請求項3の発明は、請求項2の発明において、前記第1画像又は前記第2画像、の一部又は全部を占める検査領域の領域画像を、縮小条件を変えながら前記所定縮小率で縮小する仮縮小手段と、有意な画素に基づいて、前記領域画像と、縮小領域画像と、を比較する比較手段と、前記比較手段による比較の結果に基づいて、1つの縮小条件を選択する選択手段と、をさらに含み、前記縮小手段は、前記選択された縮小条件で前記第1画像と、前記第2画像と、を縮小することを特徴とする。   According to a third aspect of the present invention, in the second aspect of the invention, the region image of the inspection region that occupies a part or all of the first image or the second image is reduced at the predetermined reduction rate while changing a reduction condition. A temporary reduction means, a comparison means for comparing the area image and the reduced area image based on significant pixels, and a selection means for selecting one reduction condition based on a result of comparison by the comparison means; , And the reduction means reduces the first image and the second image under the selected reduction condition.

請求項4の発明は、請求項3の発明において、前記比較手段は、前記領域画像の有意な画素の数と、前記縮小領域画像の有意な画素の数と、の比に応じた数値を算出し、前記選択手段は、前記数値が目標値に最も近い値になったときの縮小条件を選択することを特徴とする。   According to a fourth aspect of the present invention, in the third aspect of the invention, the comparison unit calculates a numerical value corresponding to a ratio between the number of significant pixels of the region image and the number of significant pixels of the reduced region image. The selection means selects a reduction condition when the numerical value becomes a value closest to a target value.

請求項5の発明は、請求項3の発明において、前記比較手段は、有意な画素に基づいて、前記領域画像及び前記縮小領域画像の特徴点を抽出する手段と、前記領域画像の特徴点のうち前記縮小領域画像にも存在する特徴点の個数を計数する手段と、を含み、前記選択手段は、前記個数が最多になったときの縮小条件を選択することを特徴とする。   According to a fifth aspect of the present invention, in the third aspect of the invention, the comparison means extracts a feature point of the region image and the reduced region image based on significant pixels, and a feature point of the region image. And a means for counting the number of feature points also present in the reduced area image, wherein the selection means selects a reduction condition when the number is the largest.

請求項6の発明は、請求項2の発明において、前記第1画像又は前記第2画像、の一部又は全部を占める検査領域の領域画像を、縮小条件を変えながら前記所定縮小率で縮小する仮縮小手段と、縮小領域画像を、縮小前のサイズに拡大する拡大手段と、有意な画素に基づいて、前記拡大された縮小領域画像と、前記領域画像と、を比較する比較手段と、前記比較手段による比較の結果に基づいて、1つの縮小条件を選択する選択手段と、をさらに含み、前記縮小手段は、前記選択された縮小条件で前記第1画像と、前記第2画像と、を縮小することを特徴とする。   According to a sixth aspect of the present invention, in the second aspect of the present invention, the region image of the inspection region occupying part or all of the first image or the second image is reduced at the predetermined reduction rate while changing a reduction condition. Temporary reduction means, enlargement means for enlarging the reduced area image to a size before reduction, comparison means for comparing the enlarged reduced area image with the area image based on significant pixels, Selecting means for selecting one reduction condition based on the result of the comparison by the comparison means, wherein the reduction means includes the first image and the second image under the selected reduction condition. It is characterized by reducing.

請求項7の発明は、請求項6の発明において、前記比較手段は、位置が対応する画素同士で論理演算を行うことにより、前記拡大された縮小領域画像と、前記領域画像と、の一致度に応じた数値を算出し、前記選択手段は、前記数値がピーク値になったときの縮小条件を選択することを特徴とする。   According to a seventh aspect of the invention, in the sixth aspect of the invention, the comparing means performs a logical operation between the pixels corresponding to the positions, whereby the degree of coincidence between the enlarged reduced area image and the area image. The selection means calculates a reduction condition when the numerical value becomes a peak value.

請求項8の発明は、請求項2乃至7のいずれかの発明において、前記修正部分抽出手段は、前記補正パラメータに基づいて、前記第1画像における前記対応領域の画像と、前記第2画像における前記対応領域の画像と、の位置合わせを行った上で、前記第1画像における前記対応領域の画像と、前記第2画像における前記対応領域の画像とを比較することを特徴とする。   According to an eighth aspect of the present invention, in the invention according to any one of the second to seventh aspects, the correction portion extraction unit is configured to determine the image of the corresponding region in the first image and the second image based on the correction parameter. After the alignment with the image of the corresponding area, the image of the corresponding area in the first image and the image of the corresponding area in the second image are compared.

請求項9の発明は、請求項3乃至8のいずれかの発明において、前記縮小条件は、画像縮小の方式であることを特徴とする。   According to a ninth aspect of the present invention, in any one of the third to eighth aspects, the reduction condition is an image reduction method.

請求項10の発明は、請求項3乃至8のいずれかの発明において、前記縮小手段は、前記第1画像と、前記第2画像と、をOR縮小し、前記仮縮小手段は、前記領域画像をOR縮小し、前記縮小条件は、OR縮小の閾値画素数であることを特徴とする。   According to a tenth aspect of the present invention, in the invention according to any one of the third to eighth aspects, the reduction means performs OR reduction of the first image and the second image, and the temporary reduction means includes the region image. , And the reduction condition is a threshold pixel number for OR reduction.

請求項11の発明は、原稿からスキャンされた第1画像と、前記原稿に修正がなされた修正原稿からスキャンされた第2画像と、を所定縮小率で縮小する縮小手段、縮小第1画像と縮小第2画像との差分画像を生成する差分画像生成手段、前記差分画像中の領域であって、有意な画素の分布に関する所定条件を満足する領域を判定する領域判定手段、前記第1画像における前記判定された領域の対応領域の画像と、前記第2画像における前記判定された領域の対応領域の画像と、を比較し、比較結果に基づいて修正部分の領域を抽出する修正部分抽出手段としてコンピュータを機能させるプログラムである。   According to an eleventh aspect of the present invention, there is provided a reduction means for reducing a first image scanned from a document and a second image scanned from a modified document in which the document has been corrected, a reduced first image, and a reduced first image. A difference image generating means for generating a difference image with the reduced second image, an area determination means for determining an area in the difference image that satisfies a predetermined condition regarding a significant pixel distribution, As a corrected portion extracting means for comparing the image of the corresponding region of the determined region with the image of the corresponding region of the determined region in the second image, and extracting the region of the corrected portion based on the comparison result A program that causes a computer to function.

請求項1,11の発明では、縮小第1画像と縮小第2画像との差分画像に基づいて第1画像と第2画像とを比較する領域(対応領域)を特定する。従って、例えば、第1画像と第2画像との差分画像に基づいて対応領域を特定する場合よりも、対応領域を特定する処理負荷が比較的少なくなる。その結果、請求項1,11の発明によれば、修正部分の抽出の際の処理負荷を比較的軽減することができる。   In the first and eleventh aspects of the invention, an area (corresponding area) for comparing the first image and the second image is specified based on the difference image between the reduced first image and the reduced second image. Therefore, for example, the processing load for specifying the corresponding region is relatively less than when the corresponding region is specified based on the difference image between the first image and the second image. As a result, according to the inventions of claims 1 and 11, it is possible to relatively reduce the processing load when extracting the corrected portion.

請求項2の発明では、例えば、縮小第1画像と縮小第2画像との位置ズレを補正された上で対応領域が特定される。そのため、対応領域の特定の精度が向上するので、修正部分の抽出精度の向上を図ることができる。   In the invention of claim 2, for example, the corresponding region is specified after correcting the positional deviation between the reduced first image and the reduced second image. As a result, the accuracy of specifying the corresponding area is improved, so that the extraction accuracy of the corrected portion can be improved.

請求項3の発明では、第1画像又は第2画像の全部又は一部を占める検査領域の領域画像を、縮小条件を変えながら縮小し、有意な画素に基づいて、縮小前後の画像を比較する。これにより、請求項3の発明では、例えば、補正パラメータの算出に必要な特徴が縮小後も維持されるか否かが判定される。そして、請求項3の発明では、比較の結果に基づいて1の縮小条件を選択し、その縮小条件で第1画像及び第2画像を縮小する。これにより、請求項3の発明では、例えば、補正パラメータの算出に必要な特徴が縮小後もなるべく維持される縮小条件で第1画像及び第2画像が縮小されやすくなる。そのため、請求項3の発明によれば、位置ズレの補正の精度が向上するので、対応領域の抽出精度も向上する。その結果、修正部分の抽出精度が向上する可能性が高くなる。   In the invention of claim 3, the area image of the inspection area occupying all or part of the first image or the second image is reduced while changing the reduction condition, and the images before and after the reduction are compared based on significant pixels. . Thereby, in the invention of claim 3, for example, it is determined whether or not the feature necessary for calculating the correction parameter is maintained after the reduction. In the third aspect of the invention, one reduction condition is selected based on the comparison result, and the first image and the second image are reduced under the reduction condition. Thus, in the invention of claim 3, for example, the first image and the second image are easily reduced under a reduction condition in which the features necessary for calculating the correction parameter are maintained as much as possible after the reduction. Therefore, according to the third aspect of the invention, since the accuracy of correcting the positional deviation is improved, the extraction accuracy of the corresponding region is also improved. As a result, there is a high possibility that the correction accuracy of the corrected portion is improved.

請求項4の発明では、例えば、領域画像の有意な画素の数と、縮小領域画像の有意な画素の数と、の比が目標値に最も近くなるときの縮小条件で、第1画像と第2画像とを縮小する。従って、請求項4の発明によれば、補正パラメータの算出に必要な特徴が縮小後に最も維持される縮小条件で第1画像と第2画像とを縮小することができる。従って、位置ズレの補正の精度が向上するので、対応領域の抽出精度も向上し、その結果、修正部分の抽出精度が向上する可能性が高くなる。   In the invention of claim 4, for example, the first image and the first image are reduced under the reduction condition when the ratio of the number of significant pixels in the region image and the number of significant pixels in the reduced region image is closest to the target value. Reduce two images. Therefore, according to the fourth aspect of the present invention, the first image and the second image can be reduced under a reduction condition in which the feature necessary for calculating the correction parameter is most maintained after reduction. Therefore, since the accuracy of correction of the positional deviation is improved, the extraction accuracy of the corresponding region is also improved, and as a result, the possibility of improving the extraction accuracy of the corrected portion is increased.

請求項5の発明によれば、補正パラメータの算出に必要な特徴が縮小後に最も維持される縮小条件で第1画像と第2画像とを縮小することができる。従って、位置ズレの補正の精度が向上するので、対応領域の抽出精度も向上し、その結果、修正部分の抽出精度が向上する可能性が高くなる。   According to the invention of claim 5, it is possible to reduce the first image and the second image under a reduction condition in which the features necessary for calculating the correction parameter are most maintained after the reduction. Therefore, since the accuracy of correction of the positional deviation is improved, the extraction accuracy of the corresponding region is also improved, and as a result, the possibility of improving the extraction accuracy of the corrected portion is increased.

請求項6の発明によれば、本構成を有しない場合に比べて、補正パラメータの算出に必要な特徴が縮小後もなるべく維持される縮小条件で第1画像及び第2画像が縮小されやすくなる。そのため、位置ズレの補正の精度が向上するので、対応領域の抽出精度も向上し、その結果、修正部分の抽出精度が向上する可能性が高くなる。   According to the sixth aspect of the present invention, the first image and the second image can be easily reduced under the reduction condition that maintains the characteristics necessary for calculating the correction parameter as much as possible even after the reduction, as compared with the case without this configuration. . For this reason, the accuracy of correcting the positional deviation is improved, so that the extraction accuracy of the corresponding region is also improved. As a result, there is a high possibility that the extraction accuracy of the corrected portion is improved.

請求項7の発明によれば、例えば、補正パラメータの算出に必要な特徴が縮小後に最も維持される縮小条件で第1画像と第2画像とを縮小することができる。そのため、位置ズレの補正の精度が向上するので、対応領域の抽出精度も向上し、その結果、修正部分の抽出精度が向上する可能性が高くなる。   According to the seventh aspect of the present invention, for example, the first image and the second image can be reduced under a reduction condition in which the feature necessary for calculating the correction parameter is most maintained after reduction. For this reason, the accuracy of correcting the positional deviation is improved, so that the extraction accuracy of the corresponding region is also improved. As a result, there is a high possibility that the extraction accuracy of the corrected portion is improved.

請求項8の発明によれば、本構成を有しない場合に比べて、修正部分の抽出精度の向上を図ることができる。   According to the eighth aspect of the present invention, it is possible to improve the extraction accuracy of the corrected portion compared to the case where the present configuration is not provided.

請求項9の発明によれば、高精度に修正部分の領域を抽出することができる縮小方式を割り出すことができる。   According to the ninth aspect of the present invention, it is possible to determine a reduction method that can extract the region of the corrected portion with high accuracy.

請求項10の発明によれば、第1画像と第2画像とをOR縮小して修正部分の領域を抽出する場合において、高精度に修正部分の領域を抽出することができるOR縮小の閾値画素数を割り出すことができる。   According to the tenth aspect of the present invention, in the case of extracting the region of the corrected portion by OR reduction of the first image and the second image, the threshold pixel of the OR reduction that can extract the region of the corrected portion with high accuracy You can figure out the number.

本発明の実施形態について図面を参照しながら説明する。図1は、本発明に係る画像処理装置2のハードウェア構成図の一例である。同図に示すように、画像処理装置2は、中央処理部40と、主記憶部42と、補助記憶部44と、操作部46と、ディスプレイ48と、を含む。各部は、データバス50を介して、相互に通信可能である。なお、画像処理装置2は、図示しないネットワークインターフェイス、プリンタ、スキャナ等も含む。   Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an example of a hardware configuration diagram of an image processing apparatus 2 according to the present invention. As shown in the figure, the image processing apparatus 2 includes a central processing unit 40, a main storage unit 42, an auxiliary storage unit 44, an operation unit 46, and a display 48. Each unit can communicate with each other via the data bus 50. The image processing apparatus 2 includes a network interface, a printer, a scanner, and the like (not shown).

中央処理部40は、CPUやMPU等である。中央処理部40は、主記憶部42に予め格納されているプログラムに従って動作し、各部を制御する。また、中央処理部40は、主記憶部42に格納される情報を用いて演算し、主記憶部42に出力する。なお、上記プログラムは、主記憶部42に格納されるものに限らず、CD−ROMやDVD−ROM等の情報記憶媒体に格納されるものであってもよいし、ネットワークから供給されるものであってもよい。   The central processing unit 40 is a CPU, MPU, or the like. The central processing unit 40 operates according to a program stored in advance in the main storage unit 42 and controls each unit. In addition, the central processing unit 40 calculates using information stored in the main storage unit 42 and outputs it to the main storage unit 42. The program is not limited to the one stored in the main storage unit 42 but may be stored in an information storage medium such as a CD-ROM or DVD-ROM, or supplied from a network. There may be.

主記憶部42は、RAMやROM等のメモリ素子である。主記憶部42は、上記プログラムを格納する。また、主記憶部42は、各部から入力される情報を格納する。   The main storage unit 42 is a memory element such as a RAM or a ROM. The main storage unit 42 stores the program. Further, the main storage unit 42 stores information input from each unit.

補助記憶部44は、ハードディスク等の記憶媒体である。補助記憶部44は、中央処理部40からの制御信号に従い、主記憶部42に格納される情報を記憶する。本実施の形態では、補助記憶部44は、紙文書からスキャンされた第1画像と、この紙文書に追記やホワイトアウト等の修正がなされた修正文書からスキャンされた第2画像と、を記憶している。第1画像及び第2画像は、例えば、図示しないスキャナによりスキャンされた画像である。   The auxiliary storage unit 44 is a storage medium such as a hard disk. The auxiliary storage unit 44 stores information stored in the main storage unit 42 in accordance with a control signal from the central processing unit 40. In the present embodiment, the auxiliary storage unit 44 stores a first image scanned from a paper document and a second image scanned from a corrected document in which correction such as additional writing or whiteout is made on the paper document. is doing. The first image and the second image are images scanned by a scanner (not shown), for example.

操作部46は、キーボードやマウス等である。操作部46は、利用者の操作情報を主記憶部42に出力する。ディスプレイ48は、中央処理部40からの制御信号に従い、主記憶部42に格納される情報を表示する。   The operation unit 46 is a keyboard, a mouse, or the like. The operation unit 46 outputs user operation information to the main storage unit 42. The display 48 displays information stored in the main storage unit 42 in accordance with a control signal from the central processing unit 40.

本実施形態では、画像処理装置2は、第1画像と、第2画像と、に基づいて、修正部分の領域を抽出し、出力する。図2は、第1画像と、第2画像とに基づいて、修正部分の領域を抽出する様子を示す図である。図2(a)は、第1画像の一例である。図2(b)は、第2画像の一例である。斜線された箇所は、修正部分を示している。図2(c)は、修正部分の領域が抽出された様子を示す図である。   In the present embodiment, the image processing device 2 extracts and outputs the region of the correction portion based on the first image and the second image. FIG. 2 is a diagram illustrating a state in which the region of the correction portion is extracted based on the first image and the second image. FIG. 2A is an example of the first image. FIG. 2B is an example of the second image. A hatched portion indicates a corrected portion. FIG. 2C is a diagram illustrating a state where the region of the correction portion is extracted.

画像処理装置2では、修正部分の領域を抽出する際の処理負荷が比較的軽減されるよう図られている。以下、修正部分の領域の抽出を比較的少ない処理負荷で行う技術について説明する。   In the image processing apparatus 2, the processing load when extracting the region of the corrected portion is intended to be relatively reduced. Hereinafter, a technique for extracting the region of the corrected portion with a relatively small processing load will be described.

図3は、中央処理部40が上記プログラムに従って動作することにより、画像処理装置2にて実現される機能のブロック図である。ここでは、本発明に関連する機能を中心として示す。同図に示すように、画像処理装置2では、縮小条件決定部60と、縮小部62と、差分画像生成部64と、統合領域判定部66と、修正部分抽出部68と、を含む。縮小条件決定部60は、仮縮小部60aと、仮比較部60bと、選択部60cと、を含む。修正部分抽出部68は、位置ズレ補正部68aと、画像分割部68bと、差分抽出部68cと、を含む。   FIG. 3 is a block diagram of functions realized in the image processing apparatus 2 when the central processing unit 40 operates according to the program. Here, the functions related to the present invention are mainly shown. As shown in the figure, the image processing apparatus 2 includes a reduction condition determination unit 60, a reduction unit 62, a difference image generation unit 64, an integrated region determination unit 66, and a corrected portion extraction unit 68. The reduction condition determination unit 60 includes a temporary reduction unit 60a, a temporary comparison unit 60b, and a selection unit 60c. The corrected portion extraction unit 68 includes a position deviation correction unit 68a, an image division unit 68b, and a difference extraction unit 68c.

縮小条件決定部60は、中央処理部40を中心として実現される。縮小条件決定部60は、縮小部62が、第1画像と第2画像とを所定縮小率で縮小する際の縮小条件を決定する。ここでは、縮小条件とは、例えば、間引法、ニアレストネイバ法、等の公知の画像縮小方式である。   The reduction condition determination unit 60 is realized with the central processing unit 40 as the center. The reduction condition determination unit 60 determines a reduction condition when the reduction unit 62 reduces the first image and the second image at a predetermined reduction rate. Here, the reduction condition is a known image reduction method such as a thinning method, a nearest neighbor method, or the like.

仮縮小部60aは、第1画像の一部又は全部を占める所定の検査領域の領域画像を、縮小条件を変えながら所定縮小率で縮小する。こうして、仮縮小部60aは、各縮小条件について、縮小領域画像を生成する。なお、領域画像は、第1画像ではなく、第2画像の一部又は全部を占める所定領域の画像であってもよい。   The temporary reduction unit 60a reduces an area image of a predetermined inspection area that occupies a part or all of the first image at a predetermined reduction ratio while changing a reduction condition. In this way, the temporary reduction unit 60a generates a reduced area image for each reduction condition. Note that the region image may be an image of a predetermined region that occupies a part or all of the second image instead of the first image.

仮比較部60bは、有意な画素に基づいて、領域画像と、各縮小領域画像と、を比較する。本実施形態では、仮比較部60bは、領域画像の有意な画素の数と、縮小領域画像の有意な画素の数と、の比に応じた数値を算出する。例えば、仮比較部60bは、各縮小条件について、領域画像の有意な画素の数に対する、縮小領域画像の有意な画素の数の割合Rを算出する。なお、有意な画素とは、領域画像と、各縮小領域画像と、を二値化した場合に画素値が「1」となる画素(以下、ON画素と呼ぶ)である。   The temporary comparison unit 60b compares the area image with each reduced area image based on significant pixels. In the present embodiment, the temporary comparison unit 60b calculates a numerical value corresponding to the ratio between the number of significant pixels in the region image and the number of significant pixels in the reduced region image. For example, the temporary comparison unit 60b calculates a ratio R of the number of significant pixels of the reduced area image to the number of significant pixels of the area image for each reduction condition. A significant pixel is a pixel having a pixel value “1” when the region image and each reduced region image are binarized (hereinafter referred to as an ON pixel).

選択部60cは、仮比較部60bによる比較の結果に基づいて、1つの縮小条件を選択する。本実施形態では、選択部60cは、縮小条件のうち、割合Rが、目標値Rtg(例えば、Rtg=0.5)に最も近い値になったときの縮小条件を選択する。   The selection unit 60c selects one reduction condition based on the comparison result by the temporary comparison unit 60b. In the present embodiment, the selection unit 60c selects a reduction condition when the ratio R becomes a value closest to the target value Rtg (for example, Rtg = 0.5) among the reduction conditions.

縮小部62は、中央処理部40を中心として実現される。縮小部62は、第1画像と、第2画像と、を上記所定縮小率で縮小する。この際、縮小部62は、選択部60cにより選択された縮小条件で、第1画像と、第2画像と、を縮小する。こうして、縮小部62は、縮小第1画像と、縮小第2画像と、を生成する。   The reduction unit 62 is realized with the central processing unit 40 as the center. The reduction unit 62 reduces the first image and the second image at the predetermined reduction rate. At this time, the reduction unit 62 reduces the first image and the second image under the reduction condition selected by the selection unit 60c. Thus, the reduction unit 62 generates a reduced first image and a reduced second image.

差分画像生成部64は、中央処理部40を中心として実現される。差分画像生成部64は、縮小第1画像と、縮小第2画像との差分画像を生成する。本実施形態では、縮小第1画像の二値画像に対して、公知の特徴点抽出処理を実行し、縮小第1画像の特徴点を抽出する。同様に、縮小第2画像の二値画像に対して特徴点抽出処理を実行し、縮小第2画像の特徴点を抽出する。そして、縮小第1画像と、縮小第2画像との間で、対応する特徴点の位置を比較して、縮小第1画像と縮小第2画像との位置ズレを補正する補正パラメータを算出する。ここでは、縮小第1画像を基準として縮小第2画像をアフィン変換するための補正係数群を算出する。そして、算出した補正係数群に従って縮小第1画像と縮小第2画像との位置ズレを補正した上で縮小第1画像と縮小第2画像との差分画像を生成する。すなわち、算出した補正係数群に従って縮小第2画像をアフィン変換してから縮小第1画像と縮小第2画像との差分画像を生成する。ここでは、縮小第1画像の二値画像と、縮小第2画像の二値画像と、の差分画像を生成する。この際、縮小第1画像、またはアフィン変換後の縮小第2画像のON画素を膨張した上で差分画像を生成するようにしてもよい。   The difference image generation unit 64 is realized with the central processing unit 40 as the center. The difference image generation unit 64 generates a difference image between the reduced first image and the reduced second image. In the present embodiment, a known feature point extraction process is executed on the binary image of the reduced first image to extract the feature points of the reduced first image. Similarly, feature point extraction processing is executed on the binary image of the reduced second image to extract feature points of the reduced second image. Then, the position of the corresponding feature point is compared between the reduced first image and the reduced second image, and a correction parameter for correcting the positional deviation between the reduced first image and the reduced second image is calculated. Here, a correction coefficient group for affine transformation of the reduced second image is calculated using the reduced first image as a reference. Then, after correcting the positional deviation between the reduced first image and the reduced second image according to the calculated correction coefficient group, a difference image between the reduced first image and the reduced second image is generated. That is, after the reduced second image is affine transformed according to the calculated correction coefficient group, a difference image between the reduced first image and the reduced second image is generated. Here, a difference image between the binary image of the reduced first image and the binary image of the reduced second image is generated. At this time, the differential image may be generated after expanding the ON pixels of the reduced first image or the reduced second image after the affine transformation.

統合領域判定部66は、中央処理部40を中心として実現される。統合領域判定部66は、差分画像中の領域であって、有意な画素の分布に関する所定条件を満足する領域(以下、統合領域と呼ぶ)を判定する。例えば、統合領域判定部66は、次の(1)〜(4)のいずれかの処理を行って統合領域を判定する。なお、有意な画素とは、差分画像中の抽出画素(例えば、画素値の絶対値が1である画素)である。   The integrated region determination unit 66 is realized with the central processing unit 40 as the center. The integrated region determination unit 66 determines a region (hereinafter referred to as an integrated region) that is a region in the difference image and satisfies a predetermined condition regarding significant pixel distribution. For example, the integrated region determination unit 66 determines the integrated region by performing any one of the following processes (1) to (4). Note that a significant pixel is an extracted pixel in the difference image (for example, a pixel whose absolute value is 1).

(1)抽出画素(例えば、画素値の絶対値が1である画素)同士のユークリッド距離を求め、ユークリッド距離が所定閾値以下であれば、その画素同士を同一領域とみなして統合領域とする。
(2)抽出画素を中心とした所定サイズの矩形を作成し、矩形同士が重なる場合に、その画素同士を同一領域とみなして統合領域とする。
(3)抽出画素の連結画素群ごとに外接矩形を求め、その外接矩形を所定サイズだけ拡張する。そして、拡張した外接矩形同士が重なる場合に、その連結画素群同士を同一領域と見なして統合領域とする。
(4)縮小第1画像、またはアフィン変換後の縮小第2画像に対してラベリング処理を行う。そして、抽出画素が属しているラベルを判断し、同一ラベルに属している抽出画素は同一領域と見なして統合領域とする。
(1) The Euclidean distance between extracted pixels (for example, a pixel whose absolute value is 1) is obtained, and if the Euclidean distance is equal to or less than a predetermined threshold, the pixels are regarded as the same area and set as an integrated area.
(2) A rectangle having a predetermined size centered on the extracted pixel is created, and when the rectangles overlap each other, the pixels are regarded as the same region and set as an integrated region.
(3) A circumscribed rectangle is obtained for each connected pixel group of extracted pixels, and the circumscribed rectangle is expanded by a predetermined size. Then, when the extended circumscribed rectangles overlap, the connected pixel groups are regarded as the same region and set as an integrated region.
(4) A labeling process is performed on the reduced first image or the reduced second image after the affine transformation. Then, the label to which the extracted pixel belongs is determined, and the extracted pixel belonging to the same label is regarded as the same region and is defined as an integrated region.

修正部分抽出部68は、中央処理部40を中心として実現される。修正部分抽出部68は、第1画像における統合領域の対応領域の画像と、第2画像における統合領域の対応領域の画像と、を比較し、比較結果に基づいて修正部分の領域を抽出する。以下、修正部分抽出部68に含まれる、位置ズレ補正部68aと、画像分割部68bと、差分抽出部68cと、について説明する。   The corrected portion extraction unit 68 is realized with the central processing unit 40 as the center. The corrected portion extraction unit 68 compares the image of the corresponding region of the integrated region in the first image with the image of the corresponding region of the integrated region in the second image, and extracts the region of the corrected portion based on the comparison result. Hereinafter, the positional deviation correction unit 68a, the image division unit 68b, and the difference extraction unit 68c included in the corrected portion extraction unit 68 will be described.

位置ズレ補正部68aは、第1画像と第2画像との位置ズレを補正し、第1画像と第2画像との位置合わせを行う。本実施形態では、上記縮小率と、差分画像生成部64が算出した補正係数群と、に基づいて第2画像をアフィン変換することにより、第1画像を基準として、第1画像と第2画像との位置合わせを実行する。   The positional deviation correction unit 68a corrects the positional deviation between the first image and the second image, and aligns the first image and the second image. In the present embodiment, the second image is affine transformed based on the reduction ratio and the correction coefficient group calculated by the difference image generation unit 64, whereby the first image and the second image are based on the first image. Perform alignment with.

画像分割部68bは、第1画像から統合領域に対応する領域の画像(第1分割画像)を分割し、第2画像から統合領域に対応する領域の画像(第2分割画像)を分割する。例えば、画像分割部68bは、差分画像を上記所定縮小率の逆数で拡大し、差分画像の拡大によって拡大した統合領域(すなわち、対応領域)の座標範囲を算出する。そして、位置合わせが行われた第1画像と第2画像とから、それぞれ、算出した座標範囲の画像(第1分割画像、第2分割画像)を分割する。   The image dividing unit 68b divides an image of the region corresponding to the integrated region (first divided image) from the first image, and divides an image of the region corresponding to the integrated region (second divided image) from the second image. For example, the image dividing unit 68b enlarges the difference image by the reciprocal of the predetermined reduction ratio, and calculates the coordinate range of the integrated area (that is, the corresponding area) enlarged by enlargement of the difference image. Then, the image of the calculated coordinate range (first divided image and second divided image) is divided from the first image and the second image that have been aligned.

差分抽出部68cは、第1分割画像と、第2分割画像と、を比較し、比較結果に基づいて修正部分の領域を抽出する。具体的には、第1分割画像の二値画像と、第2分割画像の二値画像と、の差分を生成し、差分によって抽出された画素の領域を修正部分の領域として抽出する。   The difference extraction unit 68c compares the first divided image and the second divided image, and extracts a correction portion region based on the comparison result. Specifically, a difference between the binary image of the first divided image and the binary image of the second divided image is generated, and a pixel area extracted based on the difference is extracted as a corrected portion area.

なお、修正部分抽出部68は、位置合わせ前の縮小第1画像における統合領域の座標範囲を算出しておいた上で、縮小第1画像を元のサイズに拡大し、拡大した座標範囲の画像(第1分割画像)を第1画像から分割するようにしてもよい。同様に、位置合わせ前の縮小第2画像における統合領域の座標範囲を算出しておいた上で、縮小第2画像を元のサイズに拡大し、拡大した座標範囲の画像(第2分割画像)を第2画像から分割するようにしてもよい。そして、上記縮小率と、差分画像生成部64が算出した補正係数群と、に基づいて第2分割画像をアフィン変換することにより、第1分割画像を基準として、第1分割画像と第2分割画像との位置合わせを実行してから、第1分割画像の二値画像と、第2分割画像の二値画像と、の差分を生成してもよい。   The corrected portion extraction unit 68 calculates the coordinate range of the integrated region in the reduced first image before alignment, enlarges the reduced first image to the original size, and expands the image of the enlarged coordinate range. (First divided image) may be divided from the first image. Similarly, after calculating the coordinate range of the integrated region in the reduced second image before alignment, the reduced second image is enlarged to the original size, and the image of the enlarged coordinate range (second divided image) May be divided from the second image. Then, the second divided image is affine transformed based on the reduction ratio and the correction coefficient group calculated by the difference image generation unit 64, whereby the first divided image and the second divided image are based on the first divided image. After performing the alignment with the image, a difference between the binary image of the first divided image and the binary image of the second divided image may be generated.

次に、画像処理装置2において実行される処理について図4及び図5を参照しながら説明する。図4及び図5は、画像処理装置2において実行される処理の一例を示すフローチャート図である。   Next, processing executed in the image processing apparatus 2 will be described with reference to FIGS. 4 and 5. 4 and 5 are flowcharts illustrating an example of processing executed in the image processing apparatus 2.

中央処理部40は、第1画像における検査領域の領域画像を、縮小条件を変えながら所定縮小率で縮小する(S101)。こうして、中央処理部40は、各縮小条件について、縮小領域画像を生成する。   The central processing unit 40 reduces the area image of the inspection area in the first image at a predetermined reduction rate while changing the reduction condition (S101). In this way, the central processing unit 40 generates a reduced area image for each reduction condition.

そして、中央処理部40は、各縮小条件について、領域画像のON画素の数に対する、縮小領域画像のON画素の数の割合Rを算出する(S102)。そして、中央処理部40は、縮小条件のうち、割合Rが目標値Rtgに最も近い値になったときの縮小条件を選択する(S103)。   Then, the central processing unit 40 calculates a ratio R of the number of ON pixels in the reduced area image to the number of ON pixels in the area image for each reduction condition (S102). Then, the central processing unit 40 selects a reduction condition when the ratio R becomes a value closest to the target value Rtg among the reduction conditions (S103).

そして、中央処理部40は、S103のステップで選択した縮小条件で、第1画像と、第2画像と、を所定縮小率で縮小する(S104)。こうして、中央処理部40は、縮小第1画像と、縮小第2画像と、を生成する。   Then, the central processing unit 40 reduces the first image and the second image at a predetermined reduction rate under the reduction condition selected in step S103 (S104). In this way, the central processing unit 40 generates a reduced first image and a reduced second image.

そして、中央処理部40は、縮小第1画像の二値画像に対して、公知の特徴点抽出処理を実行し、縮小第1画像の特徴点を抽出する。同様に、縮小第2画像の二値画像に対して特徴点抽出処理を実行し、縮小第2画像の特徴点を抽出する(S105)。   Then, the central processing unit 40 performs a known feature point extraction process on the binary image of the reduced first image, and extracts the feature points of the reduced first image. Similarly, feature point extraction processing is executed on the binary image of the reduced second image to extract feature points of the reduced second image (S105).

そして、中央処理部40は、縮小第1画像と、縮小第2画像との間で、対応する特徴点の位置を比較して、縮小第1画像を基準として縮小第2画像をアフィン変換するための補正係数群を算出する(S106)。そして、中央処理部40は、算出した補正係数群に従って縮小第1画像と縮小第2画像との位置ズレを補正する(S107)。すなわち、算出した補正係数群に従って縮小第2画像をアフィン変換する。   Then, the central processing unit 40 compares the positions of corresponding feature points between the reduced first image and the reduced second image, and affine-transforms the reduced second image with reference to the reduced first image. The correction coefficient group is calculated (S106). Then, the central processing unit 40 corrects the positional deviation between the reduced first image and the reduced second image according to the calculated correction coefficient group (S107). That is, the reduced second image is affine transformed according to the calculated correction coefficient group.

そして、中央処理部40は、縮小第1画像の二値画像とアフィン変換された縮小第2画像の二値画像との差分画像を生成する(S108)。この際、縮小第1画像、またはアフィン変換後の縮小第2画像のON画素を所定サイズだけ膨張した上で差分画像を生成するようにしてもよい。   Then, the central processing unit 40 generates a difference image between the binary image of the reduced first image and the binary image of the reduced second image subjected to affine transformation (S108). At this time, the differential image may be generated after the ON pixels of the reduced first image or the reduced second image after the affine transformation are expanded by a predetermined size.

そして、中央処理部40は、差分画像中の統合領域を判定する(S109)。例えば、中央処理部40は、差分画像において、抽出画素を中心とした所定サイズの矩形を作成し、矩形同士が重なる場合に、その画素同士を同一領域とみなして統合領域とする。   Then, the central processing unit 40 determines an integrated area in the difference image (S109). For example, in the difference image, the central processing unit 40 creates a rectangle of a predetermined size centered on the extracted pixel, and when the rectangles overlap each other, the central processing unit 40 regards the pixels as the same region and sets it as an integrated region.

そして、中央処理部40は、上記所定縮小率と、S106のステップで算出した補正係数群と、に基づいて、第1画像と第2画像との位置ズレを補正する(S110)。すなわち、上記所定縮小率と、S106のステップで算出した補正係数群と、に基づいて第2画像をアフィン変換する。   Then, the central processing unit 40 corrects the positional deviation between the first image and the second image based on the predetermined reduction ratio and the correction coefficient group calculated in step S106 (S110). That is, the second image is affine transformed based on the predetermined reduction ratio and the correction coefficient group calculated in step S106.

そして、中央処理部40は、S109のステップで判定した統合領域のうちから1つの統合領域(以下、注目統合領域と呼ぶ)を選択し、差分画像を上記所定縮小率の逆数で拡大したときの注目統合領域の座標範囲を算出する(S111)。そして、中央処理部40は、位置ズレが補正された第1画像と第2画像とから、それぞれ、S111のステップで算出した座標範囲の画像(第1分割画像、第2分割画像)を分割する(S112)。そして、第1分割画像の二値画像と、第2分割画像の二値画像と、の差分を生成し、差分によって抽出された画素の領域を修正部分の領域として抽出する(S113)。   Then, the central processing unit 40 selects one integrated region (hereinafter referred to as a focused integrated region) from the integrated regions determined in step S109, and enlarges the difference image by the reciprocal of the predetermined reduction ratio. The coordinate range of the attention integration area is calculated (S111). Then, the central processing unit 40 divides the images (first divided image and second divided image) in the coordinate range calculated in step S111 from the first image and the second image in which the positional deviation is corrected, respectively. (S112). Then, a difference between the binary image of the first divided image and the binary image of the second divided image is generated, and the pixel area extracted based on the difference is extracted as the correction portion area (S113).

なお、中央処理部40は、第2分割画像よりも大きいサイズで第1分割画像を分割しておくようにしてもよい。こうした上で、第1分割画像内において第2分割画像を移動させながら第1分割画像の二値画像のON画素と第2分割画像の二値画像のON画素との一致数を算出し、当該一致数が最大となる第1分割画像内の位置に第2分割画像を移動させた状態で差分を生成するようにしてもよい。   The central processing unit 40 may divide the first divided image with a size larger than that of the second divided image. On this basis, the number of coincidence between the ON pixel of the binary image of the first divided image and the ON pixel of the binary image of the second divided image is calculated while moving the second divided image in the first divided image. You may make it produce | generate a difference in the state which moved the 2nd division image to the position in the 1st division image where the number of matches becomes the maximum.

そして、中央処理部40は、S109のステップで判定されたすべての統合領域についてS111乃至S113のステップを実行したか否かを判断する(S114)。そして、S111乃至S113のステップを実行していない統合領域がある場合には(S114のN)、中央処理部40は、新たな注目統合領域についてS111乃至S113のステップを実行する。   Then, the central processing unit 40 determines whether or not the steps of S111 to S113 have been executed for all the integrated areas determined in the step of S109 (S114). If there is an integrated area where the steps of S111 to S113 are not executed (N of S114), the central processing unit 40 executes the steps of S111 to S113 for the new target integrated area.

一方、すべての統合領域についてS111乃至S113のステップを実行した場合には(S114のY)、例えば、修正部分の領域を所定色で塗り潰した第1画像(合成画像)を生成し、ディスプレイ48に表示する(S115)。   On the other hand, when the steps S111 to S113 are executed for all the integrated regions (Y in S114), for example, a first image (composite image) in which the region of the corrected portion is filled with a predetermined color is generated and displayed on the display 48. It is displayed (S115).

以上のように、画像処理装置2では、第1画像の縮小画像(縮小第1画像)と、第2画像の縮小画像(縮小第2画像)と、の差分画像に基づいて、第1画像と、第2画像と、の差分を生成する領域(すなわち、第1分割画像と、第2分割画像)を特定する。従って、第1画像と第2画像との差分に基づいて第1分割画像と第2分割画像とを特定するよりも処理負荷が軽減される。従って、画像処理装置2では、修正部分の領域を抽出する際の処理負荷が比較的軽減されるようになる。   As described above, in the image processing apparatus 2, the first image and the reduced image (reduced first image) of the first image and the reduced image (reduced second image) of the second image are based on the difference image. A region (that is, a first divided image and a second divided image) for generating a difference from the second image is specified. Therefore, the processing load is reduced as compared with specifying the first divided image and the second divided image based on the difference between the first image and the second image. Therefore, in the image processing apparatus 2, the processing load when extracting the region of the corrected portion is relatively reduced.

また、画像処理装置2では、縮小第1画像と、縮小第2画像と、の位置ズレが補正された状態で差分画像を生成する。そのため、第1画像と、第2画像と、の差分を生成すべき領域(すなわち、第1分割画像と、第2分割画像)が適切に特定される可能性が高くなる。その結果、修正部分の領域の抽出精度の向上を図ることができる。   Further, the image processing apparatus 2 generates a difference image in a state where the positional deviation between the reduced first image and the reduced second image is corrected. Therefore, there is a high possibility that a region (that is, the first divided image and the second divided image) where a difference between the first image and the second image is to be generated is appropriately specified. As a result, it is possible to improve the extraction accuracy of the corrected portion region.

また、画像処理装置2では、第1画像と、第2画像と、を実際に縮小する前に、第1画像又は第2画像の一部又は全部を占める検査領域の画像(すなわち、領域画像)を、縮小条件を変えながら縮小することにより、縮小前後のON画素の比が目標値に最も近くなる縮小条件を割り出すようにしている。そのため、目標値を適切に設定しておくことにより、第1画像及び第2画像を縮小しても、第1画像及び第2画像の特徴点が縮小第1画像及び縮小第2画像においてもなるべく維持されるように図ることができる。従って、縮小第1画像と、縮小第2画像と、の位置ズレの補正の精度が向上し、その結果、修正部分の抽出精度が向上するようになる。なお、結果的に、第1画像と第2画像との位置ズレの補正の精度も向上するようになるので、この点からも、修正部分の抽出精度が向上するようになる。   Further, in the image processing apparatus 2, before actually reducing the first image and the second image, the image of the examination region that occupies a part or all of the first image or the second image (that is, the region image). Is reduced while changing the reduction condition, so that a reduction condition in which the ratio of ON pixels before and after reduction is closest to the target value is determined. Therefore, by appropriately setting the target value, even if the first image and the second image are reduced, the feature points of the first image and the second image are as small as possible in the reduced first image and the reduced second image. Can be maintained. Therefore, the accuracy of correcting the positional deviation between the reduced first image and the reduced second image is improved, and as a result, the extraction accuracy of the corrected portion is improved. As a result, the accuracy of correcting the positional deviation between the first image and the second image is also improved. From this point as well, the extraction accuracy of the corrected portion is improved.

なお、本発明は、上記実施形態だけに限らない。   The present invention is not limited to the above embodiment.

例えば、上記実施形態では、第1画像及び第2画像の特徴点が縮小第1画像及び縮小第2画像においてもなるべく維持される縮小条件を、領域画像の縮小前後のON画素数の比を算出することによって特定するようにしているが、他の方法で縮小条件を特定するようにしてもよい。以下、縮小条件を特定する他の方法を2つ説明する。   For example, in the above embodiment, the ratio of the number of ON pixels before and after the reduction of the area image is calculated under the reduction condition in which the feature points of the first image and the second image are maintained as much as possible in the reduced first image and the reduced second image. However, the reduction condition may be specified by another method. Two other methods for specifying the reduction condition will be described below.

例えば、第1の方法では、中央処理部40は、S102のステップにおいて、領域画像の二値画像及び縮小領域画像の二値画像に対して上記特徴点抽出処理を実行することにより領域画像及び縮小領域画像の特徴点を抽出するようにした上で、各縮小条件について、領域画像の特徴点のうち縮小領域画像にも存在する特徴点の個数を計数する。そして、S103のステップにおいて、S102のステップで計数した個数が最多になったときの縮小条件を選択する。   For example, in the first method, the central processing unit 40 executes the feature point extraction processing on the binary image of the region image and the binary image of the reduced region image in step S102, thereby reducing the region image and the reduced image. After extracting the feature points of the region image, the number of feature points that are also present in the reduced region image among the feature points of the region image is counted for each reduction condition. In step S103, a reduction condition is selected when the number counted in step S102 is the largest.

また、例えば、第2の方法では、中央処理部40は、S102のステップにおいて、縮小領域画像を縮小前のサイズに拡大し、当該拡大した縮小領域画像の二値画像と、領域画像の二値画像と、の間で画素間演算を行うことにおり、両二値画像の一致度に応じた数値を算出する。例えば、中央処理部40は、位置が対応する画素同士で排他的論理和を算出し、排他的論理和が「真」(すなわち、一方の画素だけがON画素である)となる画素の個数を計数する。そして、中央処理部40は、S103のステップにおいて、計数した個数が最小となったときの縮小条件を選択する。また、例えば、中央処理部40は、位置が対応する画素同士で排他的論理和と論理積とを算出し、論理積が「真」(すなわち、双方の画素がON画素である)となる画素の個数に対する、排他的論理和が「真」となる画素の個数の割合を算出する。そして、中央処理部40は、S103のステップにおいて、算出した割合が最小となったときの縮小条件を選択する。また、例えば、中央処理部40は、位置が対応する画素同士で論理和と論理積とを算出し、論理積が「真」となる画素の個数と、論理和が「真」(すなわち、少なくとも一方の画素がON画素である)となる画素の個数と、を計数する。そして、領域画像のON画素の個数から論理和が「真」の画素の個数を引いた差と、領域画像のON画素の個数から論理積が「真」の画素の個数を引いた差と、の積を算出する。そして、中央処理部40は、S103のステップにおいて、算出した積が最小となったときの縮小条件を選択する。また、例えば、中央処理部40は、位置が対応する画素同士で論理和と論理積とを算出し、論理積が「真」となる画素の個数と、論理和がとなる画素の個数と、の和を算出する。そして、中央処理部40は、S103のステップにおいて、算出した和が最大となったときの縮小条件を選択する。   Further, for example, in the second method, the central processing unit 40 enlarges the reduced area image to the size before reduction in step S102, and the binary image of the enlarged reduced area image and the binary image of the area image. An inter-pixel calculation is performed between the images and a numerical value corresponding to the degree of coincidence between the two binary images is calculated. For example, the central processing unit 40 calculates an exclusive OR between pixels corresponding to positions, and determines the number of pixels for which the exclusive OR is “true” (that is, only one pixel is an ON pixel). Count. Then, the central processing unit 40 selects a reduction condition when the counted number becomes the minimum in step S103. Further, for example, the central processing unit 40 calculates an exclusive OR and a logical product between pixels corresponding to positions, and a pixel in which the logical product is “true” (that is, both pixels are ON pixels). The ratio of the number of pixels for which the exclusive OR is “true” is calculated. Then, the central processing unit 40 selects a reduction condition when the calculated ratio is minimized in step S103. Further, for example, the central processing unit 40 calculates a logical sum and a logical product between pixels corresponding to positions, and the number of pixels in which the logical product is “true” and the logical sum is “true” (that is, at least The number of pixels in which one pixel is an ON pixel) is counted. A difference obtained by subtracting the number of pixels whose logical sum is “true” from the number of ON pixels in the region image; a difference obtained by subtracting the number of pixels where the logical product is “true” from the number of ON pixels in the region image; The product of is calculated. Then, the central processing unit 40 selects a reduction condition when the calculated product is minimized in step S103. Further, for example, the central processing unit 40 calculates a logical sum and logical product between pixels corresponding to positions, the number of pixels for which the logical product is “true”, the number of pixels for which the logical sum is obtained, The sum of is calculated. Then, the central processing unit 40 selects a reduction condition when the calculated sum becomes maximum in step S103.

また、上記実施形態では、S104のステップで行われる画像縮小の方式が複数の画像縮小方式から選択されるが、S104のステップで行われる画像縮小の方式は所定の画像縮小方式であってもよい。例えば、S104のステップで行われる画像縮小の方式は、OR縮小であってもよい。以下、S104のステップで第1画像及び第2画像が所定縮小率でOR縮小される場合の態様について説明する。   In the above embodiment, the image reduction method performed in step S104 is selected from a plurality of image reduction methods. However, the image reduction method performed in step S104 may be a predetermined image reduction method. . For example, the image reduction method performed in step S104 may be OR reduction. Hereinafter, an aspect in which the first image and the second image are OR-reduced at a predetermined reduction rate in step S104 will be described.

この態様では、中央処理部40は、予め第1画像と第2画像とを二値化しておき、S101のステップにおいて、縮小条件たる閾値画素数を変えながら領域画像を所定縮小率でOR縮小する。そして、S104のステップにおいて、S103のステップで選択した縮小条件(すなわち、閾値画素数)で、第1画像と、第2画像と、を上記所定縮小率でOR縮小する。こうすれば、第1画像と第2画像とをOR縮小して修正部分の領域を抽出する場合においても、処理負荷の軽減はもちろん、修正部分の領域の抽出精度が向上するようになる。   In this aspect, the central processing unit 40 binarizes the first image and the second image in advance, and OR reduces the region image at a predetermined reduction rate while changing the threshold pixel number as a reduction condition in step S101. . In step S104, the first image and the second image are OR-reduced at the predetermined reduction rate under the reduction condition (that is, the threshold pixel number) selected in step S103. In this way, even when the first image and the second image are OR-reduced to extract the correction portion area, the processing load is reduced and the extraction accuracy of the correction portion area is improved.

本発明の実施形態に係る画像処理装置のハードウェア構成の一例を表す図である。It is a figure showing an example of the hardware constitutions of the image processing apparatus which concerns on embodiment of this invention. 第1画像と、第2画像とに基づいて、修正部分の領域を抽出する様子を示す図である。It is a figure which shows a mode that the area | region of a correction part is extracted based on a 1st image and a 2nd image. 本発明の実施形態に係る画像処理装置で実現される機能のブロック図である。It is a block diagram of the function implement | achieved with the image processing apparatus which concerns on embodiment of this invention. 本発明に実施形態に係る画像処理装置で実行される処理の一例を示すフローチャート図である。It is a flowchart figure which shows an example of the process performed with the image processing apparatus concerning embodiment of this invention. 本発明に実施形態に係る画像処理装置で実行される処理の一例を示すフローチャート図である。It is a flowchart figure which shows an example of the process performed with the image processing apparatus concerning embodiment of this invention.

符号の説明Explanation of symbols

2 画像処理装置、40 中央処理部、42 主記憶部、44 補助記憶部、46 操作部、48 ディスプレイ、50 データバス、60 縮小条件決定部、60a 仮縮小部、60b 仮比較部、60c 選択部、62 縮小部、64 差分画像生成部、66 統合領域判定部、68 修正部分抽出部、68a 位置ズレ補正部、68b 画像分割部、68c 差分抽出部。   2 image processing apparatus, 40 central processing unit, 42 main storage unit, 44 auxiliary storage unit, 46 operation unit, 48 display, 50 data bus, 60 reduction condition determination unit, 60a temporary reduction unit, 60b temporary comparison unit, 60c selection unit 62 reduction part, 64 difference image generation part, 66 integrated area determination part, 68 correction part extraction part, 68a position shift correction part, 68b image division part, 68c difference extraction part.

Claims (11)

原稿からスキャンされた第1画像と、前記原稿に修正がなされた修正原稿からスキャンされた第2画像と、を所定縮小率で縮小する縮小手段と、
縮小第1画像と縮小第2画像との差分画像を生成する差分画像生成手段と、
前記差分画像中の領域であって、有意な画素の分布に関する所定条件を満足する領域を判定する領域判定手段と、
前記第1画像における前記判定された領域の対応領域の画像と、前記第2画像における前記判定された領域の対応領域の画像と、を比較し、比較結果に基づいて修正部分の領域を抽出する修正部分抽出手段と、
を含むことを特徴とする画像処理装置。
Reduction means for reducing the first image scanned from the original and the second image scanned from the corrected original corrected on the original at a predetermined reduction rate;
Difference image generation means for generating a difference image between the reduced first image and the reduced second image;
A region determination means for determining a region in the difference image that satisfies a predetermined condition regarding the distribution of significant pixels;
The image of the corresponding area of the determined area in the first image is compared with the image of the corresponding area of the determined area in the second image, and the correction area is extracted based on the comparison result. Correction portion extraction means;
An image processing apparatus comprising:
有意な画素に基づいて、前記縮小第1画像と、前記縮小第2画像の特徴点を抽出する特徴抽出手段と、
前記抽出された特徴点に基づいて、前記縮小第1画像と前記縮小第2画像との位置ズレを補正する補正パラメータを算出する算出手段とをさらに含み、
前記差分画像生成手段は、前記補正パラメータに従って、前記縮小第1画像と前記縮小第2画像との位置ズレを補正した上で前記差分画像を生成すること、
を特徴とする請求項1に記載の画像処理装置。
Feature extraction means for extracting feature points of the reduced first image and the reduced second image based on significant pixels;
Calculation means for calculating a correction parameter for correcting a positional deviation between the reduced first image and the reduced second image based on the extracted feature points;
The difference image generation means generates the difference image after correcting a positional shift between the reduced first image and the reduced second image according to the correction parameter;
The image processing apparatus according to claim 1.
前記第1画像又は前記第2画像、の一部又は全部を占める検査領域の領域画像を、縮小条件を変えながら前記所定縮小率で縮小する仮縮小手段と、
有意な画素に基づいて、前記領域画像と、縮小領域画像と、を比較する比較手段と、
前記比較手段による比較の結果に基づいて、1つの縮小条件を選択する選択手段と、をさらに含み、
前記縮小手段は、前記選択された縮小条件で前記第1画像と、前記第2画像と、を縮小すること、
を特徴とする請求項2に記載の画像処理装置。
A temporary reduction means for reducing an area image of an inspection area occupying a part or all of the first image or the second image at the predetermined reduction rate while changing a reduction condition;
Comparison means for comparing the region image with the reduced region image based on significant pixels;
Selecting means for selecting one reduction condition based on the result of the comparison by the comparison means;
The reduction means reduces the first image and the second image under the selected reduction condition;
The image processing apparatus according to claim 2.
前記比較手段は、前記領域画像の有意な画素の数と、前記縮小領域画像の有意な画素の数と、の比に応じた数値を算出し、
前記選択手段は、前記数値が目標値に最も近い値になったときの縮小条件を選択すること、
を特徴とする請求項3に記載の画像処理装置。
The comparing means calculates a numerical value corresponding to a ratio between the number of significant pixels of the region image and the number of significant pixels of the reduced region image;
The selection means selects a reduction condition when the numerical value is closest to a target value;
The image processing apparatus according to claim 3.
前記比較手段は、有意な画素に基づいて、前記領域画像及び前記縮小領域画像の特徴点を抽出する手段と、前記領域画像の特徴点のうち前記縮小領域画像にも存在する特徴点の個数を計数する手段と、を含み
前記選択手段は、前記個数が最多になったときの縮小条件を選択すること、
を特徴とする請求項3に記載の画像処理装置。
The comparing means extracts the feature points of the region image and the reduced region image based on significant pixels, and calculates the number of feature points that are also present in the reduced region image among the feature points of the region image. Means for counting, and the selecting means selects a reduction condition when the number is the largest,
The image processing apparatus according to claim 3.
前記第1画像又は前記第2画像、の一部又は全部を占める検査領域の領域画像を、縮小条件を変えながら前記所定縮小率で縮小する仮縮小手段と、
縮小領域画像を、縮小前のサイズに拡大する拡大手段と、
有意な画素に基づいて、前記拡大された縮小領域画像と、前記領域画像と、を比較する比較手段と、
前記比較手段による比較の結果に基づいて、1つの縮小条件を選択する選択手段と、をさらに含み、
前記縮小手段は、前記選択された縮小条件で前記第1画像と、前記第2画像と、を縮小すること、
を特徴とする請求項2に記載の画像処理装置。
A temporary reduction means for reducing an area image of an inspection area occupying a part or all of the first image or the second image at the predetermined reduction rate while changing a reduction condition;
Enlarging means for enlarging the reduced area image to the size before reduction,
Comparison means for comparing the enlarged reduced area image with the area image based on significant pixels;
Selecting means for selecting one reduction condition based on the result of the comparison by the comparison means;
The reduction means reduces the first image and the second image under the selected reduction condition;
The image processing apparatus according to claim 2.
前記比較手段は、位置が対応する画素同士で論理演算を行うことにより、前記拡大された縮小領域画像と、前記領域画像と、の一致度に応じた数値を算出し、
前記選択手段は、前記数値がピーク値になったときの縮小条件を選択すること、
を特徴とする請求項6に記載の画像処理装置。
The comparison means calculates a numerical value corresponding to the degree of coincidence between the enlarged reduced area image and the area image by performing a logical operation between pixels corresponding to positions,
The selection means selects a reduction condition when the numerical value reaches a peak value;
The image processing apparatus according to claim 6.
前記修正部分抽出手段は、前記補正パラメータに基づいて、前記第1画像における前記対応領域の画像と、前記第2画像における前記対応領域の画像と、の位置合わせを行った上で、前記第1画像における前記対応領域の画像と、前記第2画像における前記対応領域の画像とを比較すること、
を特徴とする請求項2乃至7のいずれかに記載の画像処理装置。
The correction portion extraction means aligns the image of the corresponding area in the first image and the image of the corresponding area in the second image based on the correction parameter, and then performs the first adjustment. Comparing the image of the corresponding area in the image with the image of the corresponding area in the second image;
The image processing apparatus according to claim 2, wherein the image processing apparatus is an image processing apparatus.
前記縮小条件は、画像縮小の方式であること、
を特徴とする請求項3乃至8のいずれかに記載の画像処理装置。
The reduction condition is an image reduction method,
An image processing apparatus according to claim 3, wherein:
前記縮小手段は、前記第1画像と、前記第2画像と、をOR縮小し、
前記仮縮小手段は、前記領域画像をOR縮小し、
前記縮小条件は、OR縮小の閾値画素数であること、
を特徴とする請求項3乃至8のいずれかに記載の画像処理装置。
The reduction means OR-reduces the first image and the second image,
The temporary reduction means OR reduces the area image,
The reduction condition is a threshold pixel number for OR reduction,
An image processing apparatus according to claim 3, wherein:
原稿からスキャンされた第1画像と、前記原稿に修正がなされた修正原稿からスキャンされた第2画像と、を所定縮小率で縮小する縮小手段、
縮小第1画像と縮小第2画像との差分画像を生成する差分画像生成手段、
前記差分画像中の領域であって、有意な画素の分布に関する所定条件を満足する領域を判定する領域判定手段、
前記第1画像における前記判定された領域の対応領域の画像と、前記第2画像における前記判定された領域の対応領域の画像と、を比較し、比較結果に基づいて修正部分の領域を抽出する修正部分抽出手段、
としてコンピュータを機能させるプログラム。
Reduction means for reducing the first image scanned from the original and the second image scanned from the corrected original corrected on the original at a predetermined reduction ratio;
Difference image generation means for generating a difference image between the reduced first image and the reduced second image;
An area determination means for determining an area in the difference image that satisfies a predetermined condition regarding a significant pixel distribution;
The image of the corresponding area of the determined area in the first image is compared with the image of the corresponding area of the determined area in the second image, and the correction area is extracted based on the comparison result. Correction part extraction means,
As a program that allows the computer to function.
JP2008041569A 2008-02-22 2008-02-22 Image processing apparatus and program Expired - Fee Related JP4911065B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008041569A JP4911065B2 (en) 2008-02-22 2008-02-22 Image processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008041569A JP4911065B2 (en) 2008-02-22 2008-02-22 Image processing apparatus and program

Publications (2)

Publication Number Publication Date
JP2009200923A true JP2009200923A (en) 2009-09-03
JP4911065B2 JP4911065B2 (en) 2012-04-04

Family

ID=41143929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008041569A Expired - Fee Related JP4911065B2 (en) 2008-02-22 2008-02-22 Image processing apparatus and program

Country Status (1)

Country Link
JP (1) JP4911065B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154486A (en) * 2019-03-19 2020-09-24 株式会社明電舎 Change point detection device, change point detection method and change point detection program

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125283A (en) * 1997-07-04 1999-01-29 Fuji Xerox Co Ltd Document picture processor
JP2001169098A (en) * 1999-09-27 2001-06-22 Seiko Epson Corp Medium recording output picture data correction program, output picture data correction method, output picture data correction device, medium recording picture data reduction program, picture data reduction method, picture data reduction device, medium recording picture data correction program and method and device for correcting picture data
JP2001229372A (en) * 2000-02-17 2001-08-24 Sony Corp Image interporation processor and image interpolation processing method
JP2002094772A (en) * 2000-09-14 2002-03-29 Konica Corp Radiographic image processing method and radiographic image processor
JP2004078357A (en) * 2002-08-12 2004-03-11 Noritsu Koki Co Ltd Image processing method, image processing program and recording medium with image processing program recorded thereon
JP2006086822A (en) * 2004-09-16 2006-03-30 Sanyo Electric Co Ltd Electronic watermark embedding apparatus and method thereof, and electronic watermark extracting apparatus and method thereof
JP2006202184A (en) * 2005-01-24 2006-08-03 Konica Minolta Holdings Inc Detection device, detection method and detection program
WO2006090735A1 (en) * 2005-02-23 2006-08-31 Aisin Seiki Kabushiki Kaisha Object recognizing apparatus and object recognizing method using epipolar geometry
JP2006293602A (en) * 2005-04-08 2006-10-26 Konica Minolta Photo Imaging Inc Image processing method and image processor
JP2006333112A (en) * 2005-05-26 2006-12-07 Ricoh Co Ltd Image processing apparatus and image forming apparatus
JP2007006058A (en) * 2005-06-23 2007-01-11 Fuji Xerox Co Ltd Image processing apparatus, image processing method and computer program
JP2007075150A (en) * 2005-09-09 2007-03-29 Canon Inc Image data processing apparatus and method
JP2007088686A (en) * 2005-09-21 2007-04-05 Fuji Xerox Co Ltd Image processing apparatus, image processing method and program thereof
JP2007221294A (en) * 2006-02-15 2007-08-30 Fuji Xerox Co Ltd Image processing apparatus, image processing method and computer program
JP2007233900A (en) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd Information processor, information processing method, and computer program
JP2007241356A (en) * 2006-03-06 2007-09-20 Fuji Xerox Co Ltd Image processor and image processing program
JP2007335920A (en) * 2006-06-12 2007-12-27 Fuji Xerox Co Ltd Image processing apparatus and image processing program

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125283A (en) * 1997-07-04 1999-01-29 Fuji Xerox Co Ltd Document picture processor
JP2001169098A (en) * 1999-09-27 2001-06-22 Seiko Epson Corp Medium recording output picture data correction program, output picture data correction method, output picture data correction device, medium recording picture data reduction program, picture data reduction method, picture data reduction device, medium recording picture data correction program and method and device for correcting picture data
JP2001229372A (en) * 2000-02-17 2001-08-24 Sony Corp Image interporation processor and image interpolation processing method
JP2002094772A (en) * 2000-09-14 2002-03-29 Konica Corp Radiographic image processing method and radiographic image processor
JP2004078357A (en) * 2002-08-12 2004-03-11 Noritsu Koki Co Ltd Image processing method, image processing program and recording medium with image processing program recorded thereon
JP2006086822A (en) * 2004-09-16 2006-03-30 Sanyo Electric Co Ltd Electronic watermark embedding apparatus and method thereof, and electronic watermark extracting apparatus and method thereof
JP2006202184A (en) * 2005-01-24 2006-08-03 Konica Minolta Holdings Inc Detection device, detection method and detection program
WO2006090735A1 (en) * 2005-02-23 2006-08-31 Aisin Seiki Kabushiki Kaisha Object recognizing apparatus and object recognizing method using epipolar geometry
JP2006293602A (en) * 2005-04-08 2006-10-26 Konica Minolta Photo Imaging Inc Image processing method and image processor
JP2006333112A (en) * 2005-05-26 2006-12-07 Ricoh Co Ltd Image processing apparatus and image forming apparatus
JP2007006058A (en) * 2005-06-23 2007-01-11 Fuji Xerox Co Ltd Image processing apparatus, image processing method and computer program
JP2007075150A (en) * 2005-09-09 2007-03-29 Canon Inc Image data processing apparatus and method
JP2007088686A (en) * 2005-09-21 2007-04-05 Fuji Xerox Co Ltd Image processing apparatus, image processing method and program thereof
JP2007221294A (en) * 2006-02-15 2007-08-30 Fuji Xerox Co Ltd Image processing apparatus, image processing method and computer program
JP2007233900A (en) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd Information processor, information processing method, and computer program
JP2007241356A (en) * 2006-03-06 2007-09-20 Fuji Xerox Co Ltd Image processor and image processing program
JP2007335920A (en) * 2006-06-12 2007-12-27 Fuji Xerox Co Ltd Image processing apparatus and image processing program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154486A (en) * 2019-03-19 2020-09-24 株式会社明電舎 Change point detection device, change point detection method and change point detection program
JP7230608B2 (en) 2019-03-19 2023-03-01 株式会社明電舎 Change point detection device, change point detection method, and change point detection program

Also Published As

Publication number Publication date
JP4911065B2 (en) 2012-04-04

Similar Documents

Publication Publication Date Title
US20070109302A1 (en) Link relationship display apparatus, and control method and program for the link relationship display apparatus
US8873886B2 (en) Apparatus and method for displaying a region of an image in an enlarged manner, and program therefor
JP5653141B2 (en) Image processing method, image processing apparatus, and program
JP5914732B2 (en) Image verification method, image verification apparatus, and program
JP2014207299A (en) Electron beam lithography apparatus, device for creating graphic data for lithography, electron beam lithography method, method for creating graphic data for lithography, and program
JP2010205174A (en) Image processing apparatus and image forming apparatus
JP5764527B2 (en) Image verification method, image verification apparatus, and program
JP4565396B2 (en) Image processing apparatus and image processing program
JP5200786B2 (en) Difference extraction apparatus and difference extraction program
JP4911065B2 (en) Image processing apparatus and program
JP4873554B2 (en) Image distribution apparatus and image distribution method
JP4756436B2 (en) Pattern recognition apparatus, pattern recognition method, and pattern recognition program
JP5761353B2 (en) Ridge direction extraction device, ridge direction extraction method, ridge direction extraction program
JP2009032273A (en) Classifier
JP4910635B2 (en) Image processing apparatus and image processing program
WO2021260765A1 (en) Dimension measuring device, semiconductor manufacturing device, and semiconductor device manufacturing system
CN110705568B (en) Optimization method for image feature point extraction
US9159118B2 (en) Image processing apparatus, image processing system, and non-transitory computer-readable medium
JP2010199983A (en) Image processor, image reader and image forming apparatus
JP5109548B2 (en) Image processing apparatus and program
JP6055952B1 (en) Image inspection apparatus, image inspection method, and program
JP2000124281A (en) Pattern search method and apparatus
JP5499727B2 (en) Image processing apparatus, image processing method, image processing program, and seal manufacturing system
JP2009093595A (en) Image forming apparatus and program
JP4872715B2 (en) Image processing apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120102

R150 Certificate of patent or registration of utility model

Ref document number: 4911065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees