JP2000357227A - Image data collation method, image data collation device and storage medium stored with image data collation program - Google Patents

Image data collation method, image data collation device and storage medium stored with image data collation program

Info

Publication number
JP2000357227A
JP2000357227A JP11166768A JP16676899A JP2000357227A JP 2000357227 A JP2000357227 A JP 2000357227A JP 11166768 A JP11166768 A JP 11166768A JP 16676899 A JP16676899 A JP 16676899A JP 2000357227 A JP2000357227 A JP 2000357227A
Authority
JP
Japan
Prior art keywords
area
image
image data
maximum correlation
positional relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11166768A
Other languages
Japanese (ja)
Other versions
JP3567259B2 (en
Inventor
Katsuhiko Sato
勝彦 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP16676899A priority Critical patent/JP3567259B2/en
Priority to EP99125650A priority patent/EP1017008B1/en
Priority to DE69935705T priority patent/DE69935705T2/en
Priority to US09/468,633 priority patent/US6707934B1/en
Priority to AT99125650T priority patent/ATE358854T1/en
Priority to TW089113234A priority patent/TW522344B/en
Publication of JP2000357227A publication Critical patent/JP2000357227A/en
Application granted granted Critical
Publication of JP3567259B2 publication Critical patent/JP3567259B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To maintain a certain collation precision even in the case of collating image data which is not necessarily satisfactory as a collation object. SOLUTION: A definition part 3 defines a first area and a second area having a prescribed positional relation to this first area as first image data 1a. A first determination part 4 determines an area, which has a maximum collation with the first area, as second image data 1b. A redefinition part 5 redefines the second area on a first image on the basis of the positional relation on a second image of the first maximum collation area, and a second determination part 6 determines an area which has the maximum collation with the second area redefined on the second image. A discrimination part 7 discriminates the degree of similarity between both images on the basis of the difference between the mutual positional relation between the first area and the second redefined area and that between the first and second maximum collation areas or the difference between the positional relation between second areas and that between second maximum collation areas.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像データを照合
する技術に関し、特に、照合の対象としては必ずしも良
好ではない画像のデータの照合を行なっても一定の照合
精度を維持できるようにする技術に関し、例えば指紋画
像データの照合等に適するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for collating image data, and more particularly to a technique for maintaining a constant collation accuracy even when collating image data which is not always good as a collation target. Is suitable for, for example, collation of fingerprint image data.

【0002】[0002]

【従来の技術】データベース等に予め登録されている被
験者の指紋の画像のデータ(以下、「登録指紋データ」
という)と、イメージセンサ等により今回取得した被験
者の指紋の画像のデータ(以下、「照合指紋データ」と
いう)とを照合して、被験者の個人確認を行なう指紋照
合装置というものがある。
2. Description of the Related Art Fingerprint image data (hereinafter referred to as "registered fingerprint data") registered in a database or the like in advance.
There is a fingerprint collation device that collates the fingerprint image data of the subject acquired this time with an image sensor or the like (hereinafter, referred to as “verification fingerprint data”) to confirm the individual of the subject.

【0003】従来の指紋照合装置で行われている指紋照
合の方法の一例を、図9に示すフローチャートに従って
説明すると、その手順は以下のようになる。まず、S1
001において、イメージセンサ等を用いて、照合指紋
データを、濃淡についての多階調画像のデータ(以下、
「多階調照合指紋データ」という)として取得する。
An example of a fingerprint collation method performed by a conventional fingerprint collation apparatus will be described with reference to a flowchart shown in FIG. First, S1
In step 001, the collation fingerprint data is converted into multi-tone image data (hereinafter, referred to as “shading”) using an image sensor or the like.
(Referred to as “multi-tone verification fingerprint data”).

【0004】続いて、S1002において、多階調照合
指紋データから、内挿等のデータの二次処理を何ら行な
わずに単純に2値化した画像データ(以下、「2値化照
合指紋データ」という)を得る。
In step S1002, the image data obtained by simply binarizing the multi-tone collation fingerprint data without performing any secondary processing such as interpolation is referred to as "binary collation fingerprint data". Get).

【0005】その後、S1003において、2値化照合
指紋データから、指紋を構成している皺の分岐点や端点
などの特徴点(これらの特徴点は、特徴図形、あるいは
マヌーシャなどと呼ばれている)を抽出し、照合指紋デ
ータの画像上におけるこれらの特徴図形の位置を示す位
置情報を取得する。
[0005] Thereafter, in S1003, based on the binarized collation fingerprint data, characteristic points such as branch points and end points of wrinkles constituting the fingerprint (these characteristic points are called characteristic figures or manushas). ) Is extracted, and position information indicating the positions of these characteristic figures on the image of the verification fingerprint data is obtained.

【0006】そして、S1004において、前ステップ
で取得した位置情報と登録指紋データの画像上における
特徴図形の位置情報とを比較することにより、登録指紋
データと照合指紋データの同一性を評価する。
In step S1004, the identity of the registered fingerprint data and the collation fingerprint data is evaluated by comparing the positional information acquired in the previous step with the positional information of the characteristic figure on the image of the registered fingerprint data.

【0007】従来の指紋照合装置には、上記した手順に
よって指紋照合を行なうものがあった。また、本願出願
人は特願平10−372205号を本願に先行して出願
しており、該先願に添付の明細書には前述したものとは
異なる指紋照合の方法の一例が記載されている。この方
法は、十分に鮮明ではない指紋の画像データであっても
一定の照合精度が維持できるというものであり、その手
順について図10及び図11を用いて簡単に説明する。
[0007] Some conventional fingerprint matching devices perform fingerprint matching according to the above-described procedure. The applicant of the present application has filed Japanese Patent Application No. 10-372205 prior to the present application, and the specification attached to the earlier application describes an example of a fingerprint collation method different from that described above. I have. This method can maintain a constant collation accuracy even with fingerprint image data that is not sufficiently clear. The procedure will be briefly described with reference to FIGS.

【0008】図10に示すフローチャートにおいて、ま
ず、S2001では、登録指紋データ(このデータを以
下「Aデータ」と称することとする)が示す多階調画像
内に矩形領域AI (i=1〜N、但しNは2以上の整
数)を定義して配置する。図11(a)に示すAデータ
の例では、N=5の場合における矩形領域Ai の定義例
を示している。
In the flow chart shown in FIG. 10, first, in S2001, a rectangular area A I (i = 1 to 1) in a multi-tone image indicated by registered fingerprint data (this data is hereinafter referred to as “A data”). N, where N is an integer of 2 or more). In the example of A data shown in FIG. 11 (a), shows an example of defining the rectangular area A i in the case of N = 5.

【0009】S2002では、照合指紋データ(このデ
ータを以下「Bデータ」と称することとする)が示す多
階調画像内について矩形領域Ai と同一の形状・大きさ
の矩形領域を走査させ、その矩形領域とAI との間の相
関係数を逐次算出する。相関係数の計算は下記の算出法
を用いる。
[0009] In S2002, the collation fingerprint data (this data hereinafter will be referred to as "B data") to scan a rectangular area of the rectangular region A i the same shape and size and for the in multi-tone image shown, The correlation coefficient between the rectangular area and A I is sequentially calculated. The calculation of the correlation coefficient uses the following calculation method.

【0010】矩形領域Aと矩形領域Bのそれぞれに含ま
れる画素をそれぞれ、A(i,j)、B(m,n)と
し、矩形領域Aと矩形領域Bのそれぞれに含まれる画素
の総数を等しくする。この両領域内の各画素についての
濃淡を示す多階調値である信号強度をそれぞれXij、Y
mnとし、これらの信号強度を一般化してZpqと表したと
き、その矩形領域に含まれる画素についての信号強度の
平均値を示す下記の式
The pixels included in each of the rectangular area A and the rectangular area B are assumed to be A (i, j) and B (m, n), respectively, and the total number of the pixels included in each of the rectangular area A and the rectangular area B is defined as Equal. The signal intensities, which are multi-tone values indicating shading of each pixel in both regions, are represented by X ij and Y
mn , and when these signal intensities are generalized and expressed as Z pq , the following equation showing the average value of the signal intensities of the pixels included in the rectangular area

【0011】[0011]

【数1】 (Equation 1)

【0012】及び、その矩形領域に含まれる画素につい
ての信号強度の2乗平均値を示す下記の式
And the following equation indicating the root mean square of the signal intensity for the pixels included in the rectangular area:

【0013】[0013]

【数2】 (Equation 2)

【0014】(Nはその矩形領域に含まれる画素の総
数、Σはその矩形領域に含まれる画素の全てについての
総和をそれぞれ示す)で定義される<Z>、<Z2 >に
よって示される次式
[0014] (N is the total number of pixels included in the rectangular area, sigma, respectively showing the sum of all of the pixels included in the rectangular area) defined by the <Z>, the following indicated by <Z 2> formula

【0015】[0015]

【数3】 (Equation 3)

【0016】の値を計算することにより、矩形領域Aと
矩形領域Bとの間の相関係数CABを算出する。S200
3では、Bデータが示す画像内で、前ステップで算出し
た矩形領域A i との相関係数が最大となる矩形領域を特
定し、矩形領域Bi とする。
By calculating the value of the rectangular area A,
Correlation coefficient C with rectangular area BABIs calculated. S200
At 3, in the image indicated by the B data,
Rectangular area A iThe rectangular area where the correlation coefficient with
And rectangular area BiAnd

【0017】S2004では、Aデータが示す画像内に
定義した全ての矩形領域Ai に対応する矩形領域Bi
Bデータが示す画像内で取得したか否かを判定し、判定
結果がYesあればS2005に進み、NoであればS
2002へ戻って未取得のB i を求める処理を行なう。
図11(b)示すBデータの例では、同図(a)に示し
た矩形領域Ai の定義例に対応する5つの矩形領域Bi
が取得された状態を示している。
In step S2004, the image indicated by the A data
All defined rectangular areas AiRectangular area B corresponding toiTo
Judge whether or not it was acquired in the image indicated by the B data, and judge
If the result is Yes, the process proceeds to S2005; if No, S is performed.
Return to 2002 and get B iIs performed.
In the example of the B data shown in FIG.
Rectangular area AiRectangular areas B corresponding to the definition example ofi
Indicates a state in which is acquired.

【0018】S2005では、Aデータが示す画像内に
おける矩形領域Ai の配置の分布とBデータが示す画像
内における矩形領域Bi の配置の分布とを比較すること
により、Aデータ(登録指紋データ)とBデータ(照合
指紋データ)の同一性を評価する。
[0018] In S2005, by comparing the distribution of the arrangement of the rectangular region B i in the image indicated by the distribution and B data of the arrangement of the rectangular area A i in the image represented by A data, A data (registered fingerprint data ) And B data (verification fingerprint data) are evaluated for identity.

【0019】前述した先願の明細書に記載されている方
法は、上記した手順によって指紋照合を行なうものであ
った。
The method described in the specification of the above-mentioned prior application performs fingerprint collation by the above-described procedure.

【0020】[0020]

【発明が解決しようとする課題】図12は、従来技術の
抱える問題点を説明する図であり、同図(a)、(b)
はそれぞれ同一人の登録指紋データ(Aデータ)及び照
合指紋データ(Bデータ)の画像の例を示している。
FIGS. 12 (a) and 12 (b) are diagrams for explaining the problems of the prior art.
Shows examples of images of registered fingerprint data (A data) and collation fingerprint data (B data) of the same person.

【0021】同図に示すAデータに対してのBデータの
ように、照合指紋データの取得作業が不適切であったこ
と等に起因し、照合指紋データが登録指紋データに対し
て一方(同図では右方)に大きく偏って取得されてしま
った場合を想定する。前述した先願の方法では、Aデー
タ内に定義して配置した同図(a)に示す矩形領域A i
に対してBデータ内での相関係数が最大となる矩形領域
i が例えば同図(b)に示すように特定される。この
場合、同図からも明らかなように、同一人の指紋の画像
であるにも関わらず、Aデータが示す画像内における矩
形領域Ai の配置の分布とBデータが示す画像内におけ
る矩形領域Bi の配置の分布とが大きく異なってしま
う。そのため、前述した先願の方法を実施しても、両指
紋画像は同一人のものではないと誤判定してしまう可能
性が高く、照合誤りの率として0.1%程度が一般的に
要求される指紋照合の精度を大きく悪化させる一因とな
っていた。
The A data shown in FIG.
As described above, the acquisition of collation fingerprint data was
And the like, the matching fingerprint data is
And it is obtained with a large bias toward one side (right side in the figure).
It is assumed that In the method of the earlier application described above,
Rectangular area A shown in FIG. i
Area where the correlation coefficient in B data is maximum
BiAre specified, for example, as shown in FIG. this
In this case, as is clear from the figure, the fingerprint image of the same person
Despite the fact that
Shape area AiDistribution in the image and in the image indicated by the B data
Rectangular area BiAnd the distribution of the arrangement
U. Therefore, even if the method of the earlier application is performed,
It is possible to mistakenly determine that the crest image is not the same person
The probability of matching errors is generally about 0.1%.
This is one of the factors that greatly reduces the required fingerprint matching accuracy.
I was

【0022】以上の問題を鑑み、照合の対象としては必
ずしも良好ではない画像データの照合を行なっても、一
定の照合精度を維持できるようにすることが本発明が解
決しようとする課題である。
In view of the above problems, it is an object of the present invention to maintain a certain collation accuracy even when collation of image data which is not necessarily a good collation target is performed.

【0023】[0023]

【課題を解決するための手段】本発明は、第1の画像を
構成する画像データと第2の画像を構成する画像データ
とを照合して両者の画像の類似の程度を判定するとき
に、第1の領域と、該第1の領域との間に所定の位置関
係を有する1以上の第2の領域と、を前記第1の画像上
に定義し、前記第2の画像上に、前記第1の領域と最大
の相関関係を有する領域である第1最大相関領域を決定
し、前記第1最大相関領域の前記第2の画像上における
位置関係に基づいて、前記第2の領域を前記第1の画像
上で再定義し、前記第2の画像上に、再定義した前記第
2の領域と最大の相関関係を有する領域である第2最大
相関領域を決定し、前記第1の領域と再定義した前記第
2の領域との相互間の位置関係と、前記第1最大相関領
域と前記第2最大相関領域との相互間の位置関係との相
違、もしくは、再定義した該第2の領域相互間の位置関
係と該第2最大相関領域相互間の位置関係との相違、に
基づいて前記類似の程度を判定する、ことで前述した課
題を解決する。
SUMMARY OF THE INVENTION According to the present invention, when the image data constituting the first image and the image data constituting the second image are collated to determine the degree of similarity between the two images, A first region and one or more second regions having a predetermined positional relationship between the first region and the first region are defined on the first image, and the first region and the second region are defined on the second image. A first maximum correlation area, which is an area having a maximum correlation with the first area, is determined, and the second area is determined based on a positional relationship of the first maximum correlation area on the second image. Redefining on the first image, determining, on the second image, a second maximum correlation area, which is an area having a maximum correlation with the redefined second area, A positional relationship between the second region redefined and the first maximum correlation region and the second maximum phase. The degree of the similarity based on the difference between the positional relationship between the second regions and the redefined positional relationship between the second regions and the positional relationship between the second maximum correlation regions. Thus, the above-described problem is solved.

【0024】図1は、本発明の原理構成を示す図であ
る。同図は、第1の画像データ1aと第2の画像データ
1bとを照合して両者の構成する画像の類似の程度を判
定し、その結果を判定結果2として出力するものであ
る。
FIG. 1 is a diagram showing the principle configuration of the present invention. In the figure, the first image data 1a and the second image data 1b are collated to determine the degree of similarity of the images constituting the two, and the result is output as the determination result 2.

【0025】第1の画像データ1aは、例えば、データ
ベース等に予め登録されている画像データであり、前述
した指紋照合装置の例に当てはめれば、例えば登録指紋
データに相当するものである。
The first image data 1a is, for example, image data registered in advance in a database or the like, and corresponds to, for example, registered fingerprint data when applied to the above-described example of the fingerprint matching device.

【0026】第2の画像データ1bは、例えば、イメー
ジセンサなどを用いて取得する画像データであり、前述
した指紋照合装置の例に当てはめれば、例えば照合指紋
データに相当するものである。
The second image data 1b is, for example, image data obtained using an image sensor or the like, and corresponds to, for example, collation fingerprint data when applied to the above-described fingerprint collation apparatus.

【0027】なお、この第1及び第2の画像データ(1
a、1b)と登録指紋データ及び照合指紋データとの関
係は、入れ替えてもよい。定義部3は、第1の画像デー
タ1aで構成される第1の画像上に、第1の領域と、そ
の第1の領域との間で所定の位置関係を有する1以上の
第2の領域とを定義するものである。これらの領域の定
義は任意であり、各領域が同一でなければ、例えば領域
間で重なり合う部分を含んでいてもよい。
The first and second image data (1
The relationship between a, 1b) and the registered fingerprint data and the verification fingerprint data may be interchanged. The definition unit 3 includes, on a first image composed of the first image data 1a, a first area and one or more second areas having a predetermined positional relationship between the first area and the first area. Is defined. The definition of these regions is arbitrary, and if each region is not the same, for example, it may include a portion overlapping between the regions.

【0028】第1決定部4は、第2の画像データ1bで
構成される第2の画像上に、定義部3で定義された第1
の領域と最大の相関関係を有する領域である第1最大相
関領域を決定するものである。
The first deciding unit 4 places the first image defined by the definition unit 3 on the second image composed of the second image data 1b.
Is determined as the first maximum correlation area which is the area having the maximum correlation with the area.

【0029】再定義部5は、第1決定部4で決定された
第1最大相関領域の第2の画像上における位置関係に基
づいて、定義部3で定義された第2の領域を第1の画像
上で再定義するものである。再定義部5による再定義
は、例えば第1最大相関領域の第2の画像上における位
置関係と第1の領域の第1の画像上における位置関係と
の違いに基づいて決定する。
The redefinition unit 5 determines the second area defined by the definition unit 3 based on the positional relationship on the second image of the first maximum correlation area determined by the first determination unit 4. Is redefined on the image. The redefinition by the redefinition unit 5 is determined based on, for example, a difference between the positional relationship of the first maximum correlation area on the second image and the positional relationship of the first area on the first image.

【0030】第2決定部6は、第2の画像データ1bで
構成される第2の画像上に、再定義部5により再定義さ
れた第2の領域と最大の相関関係を有する領域である第
2最大相関領域を決定するものである。
The second determining section 6 is an area having the maximum correlation with the second area redefined by the redefining section 5 on the second image composed of the second image data 1b. The second maximum correlation area is determined.

【0031】判定部7は、定義部3で定義した第1の領
域と再定義部5で再定義した第2の領域との相互間の位
置関係と、第1決定部4で決定した第1最大相関領域と
第2決定部6で決定した第2最大相関領域との相互間の
位置関係との相違、もしくは、再定義部5で再定義した
第2の領域相互間の位置関係と第2決定部6で決定した
第2最大相関領域相互間の位置関係との相違、に基づい
て、第1の画像データ1aと第2の画像データ1bとの
両者の画像の類似の程度を判定し、判定結果2を出力す
るものである。
The determination unit 7 determines the positional relationship between the first area defined by the definition unit 3 and the second area redefined by the redefinition unit 5 and the first area determined by the first determination unit 4. The difference between the positional relationship between the maximum correlation area and the second maximum correlation area determined by the second determination unit 6 or the positional relationship between the second areas redefined by the redefinition unit 5 and the second Determining the degree of similarity between the images of the first image data 1a and the second image data 1b based on the difference between the second maximum correlation areas and the positional relationship determined by the determination unit 6; It outputs the determination result 2.

【0032】図1に示す構成によれば、判定部7による
第1の画像データ1aと第2の画像データ1bとの類似
の程度の判定において、定義部3で定義された第1の領
域の第1の画像上における位置関係と、第1決定部4で
決定された、第1の領域と最大の相関関係を有する領域
である第1最大相関領域の第2の画像上における位置関
係と、の違いを反映させて判定を行なうことができる。
このことを前述の指紋照合装置の例に当てはめれば、照
合指紋データの画像が登録指紋データの画像に対して一
方に大きく偏って取得された場合であっても、そのよう
な偏りがデータ間に存在していることを前提として指紋
照合を行なうことができる。再定義部5と第2決定部6
は、このような不適切な画像データに対して判定部7に
より行われる照合判定を予め補償するために設けられる
ものである。以上の構成により、画像照合の照合精度の
低下が軽減され、一定の照合精度を維持することが可能
となる。
According to the configuration shown in FIG. 1, when the determination section 7 determines the degree of similarity between the first image data 1a and the second image data 1b, the first area defined by the definition section 3 is determined. A positional relationship on the first image, and a positional relationship on the second image of a first maximum correlation area, which is an area having a maximum correlation with the first area, determined by the first determination unit 4; The determination can be made by reflecting the difference.
If this is applied to the above-described example of the fingerprint collation device, even when the image of the collation fingerprint data is largely deviated to one side with respect to the image of the registered fingerprint data, such an imbalance occurs between the data. The fingerprint collation can be performed on the assumption that the fingerprint exists. Redefinition unit 5 and second determination unit 6
Is provided to compensate in advance for the collation judgment performed by the judgment unit 7 on such inappropriate image data. With the above configuration, a decrease in the matching accuracy of the image matching is reduced, and a constant matching accuracy can be maintained.

【0033】なお、第2の領域の再定義では、第1最大
相関領域の第2の画像上における位置関係が所定の関係
を満たす場合には、第2の領域の元の定義をそのまま用
いるようにすると、第2の領域の再定義のための処理に
要する時間が不要となり、画像照合に要する時間が短縮
できる。また、第2の領域を定義する際に複数の領域を
定義した場合には、第2の領域の再定義では、第1最大
相関領域の第2の画像上における位置関係が所定の関係
を満たす場合に、複数定義されている第2の領域の一部
について元の定義をそのまま用いるようにしても、第2
の領域の再定義のための処理に要する時間が短縮され、
画像照合に要する時間が短縮できる。
In the redefinition of the second area, if the positional relation of the first maximum correlation area on the second image satisfies a predetermined relation, the original definition of the second area is used as it is. Accordingly, the time required for the process for redefining the second area is not required, and the time required for image matching can be reduced. When a plurality of regions are defined when defining the second region, the positional relationship of the first maximum correlation region on the second image satisfies a predetermined relationship in the redefinition of the second region. In this case, even if the original definition is used as it is for a part of the plurality of defined second regions,
Reduces the time required to redefine the region
The time required for image matching can be reduced.

【0034】[0034]

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。なお、ここでは、指紋照合装置に
おいて本発明を実施する形態について説明する。
Embodiments of the present invention will be described below with reference to the drawings. Here, an embodiment of the present invention in a fingerprint matching device will be described.

【0035】図2は、本発明を実施する指紋照合装置の
構成を示す図である。この装置は、CPU11、記憶装
置12、RAM13、イメージ読み取り装置14、表示
部15、入力部16、より構成され、バス17を介して
相互に接続されている。
FIG. 2 is a diagram showing a configuration of a fingerprint collating apparatus embodying the present invention. This device includes a CPU 11, a storage device 12, a RAM 13, an image reading device 14, a display unit 15, and an input unit 16, and is interconnected via a bus 17.

【0036】CPU11は、記憶装置12に格納されて
いる制御プログラムに従って、RAM13をワークエリ
アとして使用しながら、この指紋照合装置(以下、「本
装置」という)全体の動作を制御する中央演算処理装置
である。CPU11は、制御プログラムを実行すること
により、後述の指紋照合処理を行なう。
The CPU 11 uses the RAM 13 as a work area in accordance with a control program stored in the storage device 12, and controls the overall operation of the fingerprint collation device (hereinafter, referred to as "this device"). It is. The CPU 11 performs a fingerprint collation process described later by executing the control program.

【0037】記憶装置12は、ROMやハードディスク
装置等で構成し、本装置の電源投入直後にCPU11に
より読み出される前述の制御プログラムを予め格納して
いる他に、図1に示した第1の画像データ1aに相当す
る被験者の登録指紋を予め格納している。
The storage device 12 is constituted by a ROM, a hard disk device, or the like. The storage device 12 stores the above-described control program read out by the CPU 11 immediately after the power of the device is turned on, and also stores the first image shown in FIG. The registered fingerprint of the subject corresponding to the data 1a is stored in advance.

【0038】RAM13は、前述の制御プログラムを実
行する際にCPU11が使用するワークメモリである。
イメージ読み取り装置14は、図1に示した第2の画像
データ1bに相当する被験者の照合指紋を取得するため
の装置であり、例えば、イメージスキャナ装置やCCD
(電荷結合素子)などのイメージセンサである。
The RAM 13 is a work memory used by the CPU 11 when executing the above-described control program.
The image reading device 14 is a device for acquiring a verification fingerprint of a subject corresponding to the second image data 1b shown in FIG.
(Charge-coupled device).

【0039】表示部15は、図1に示した判定結果2に
相当する照合の判定結果を表示する、例えばCRTや液
晶などといったディスプレイ装置である。入力部16
は、本装置の使用者が照合指紋の取得指示や後述の指紋
照合処理の開始をCPU11に指示するための、例えば
キーボード装置などの入力装置である。
The display unit 15 is a display device, such as a CRT or a liquid crystal, for displaying a collation judgment result corresponding to the judgment result 2 shown in FIG. Input unit 16
Is an input device such as a keyboard device for the user of the present apparatus to instruct the CPU 11 to obtain a verification fingerprint or to start a fingerprint verification process described later.

【0040】なお、本装置の構成は標準的なコンピュー
タが備えている構成と大差なく、従って、このような標
準的なコンピュータで本装置の機能を実現することも可
能である。そのためには、例えば、後述する指紋照合処
理に相当する処理をコンピュータに行なわせる指紋照合
処理プログラムを記憶した記憶媒体から、その指紋照合
処理プログラムをその記憶媒体に応じたコンピュータの
有する読取装置で読み取らせて例えば主記憶に一時記憶
させ、そしてそのコンピュータに備えられている中央処
理装置に実行させればよい。
The configuration of the present apparatus is not much different from the configuration provided in a standard computer. Therefore, it is possible to realize the functions of the present apparatus with such a standard computer. For this purpose, for example, the fingerprint collation processing program is read from a storage medium storing a fingerprint collation processing program for causing a computer to perform processing equivalent to the fingerprint collation processing described later, using a reading device of the computer corresponding to the storage medium. Then, for example, it may be temporarily stored in a main memory, and then executed by a central processing unit provided in the computer.

【0041】図3に指紋照合処理プログラムを記憶する
コンピュータ読み取り可能な記憶媒体の例を示す。同図
に示すように、記憶媒体としては、例えば、コンピュー
タ21に内蔵若しくは外付けの付属装置として備えられ
るROMやハードディスク装置などの記憶装置22、フ
ロッピー(登録商標)ディスク、MO(光磁気ディス
ク)、CD−ROM、DVD−ROMなどといった携帯
可能な記憶媒体23、あるいは、コンピュータ21とネ
ットワーク24を介して接続されるコンピュータである
プログラムサーバ25に付属する記憶装置26、等が利
用できる。
FIG. 3 shows an example of a computer-readable storage medium for storing a fingerprint collation processing program. As shown in the figure, as the storage medium, for example, a storage device 22 such as a ROM or a hard disk device provided as an internal or external accessory device in the computer 21, a floppy (registered trademark) disk, an MO (magneto-optical disk) , A portable storage medium 23 such as a CD-ROM, a DVD-ROM, or a storage device 26 attached to a program server 25 which is a computer connected to the computer 21 via a network 24.

【0042】次に、図2に示したCPU11が行なう制
御について説明する。図4は、CPU11が前述の制御
プログラムを実行することにより実現される本装置全体
の制御処理のうち、本発明に特に関係する指紋照合処理
の処理内容を示すフローチャートである。図5及び図6
は、指紋照合処理の説明に用いる指紋画像の例である。
図5及び図6はいずれも図12に示したものと同一の指
紋画像であり、(a−i )〜(a−iv)は記憶装置12
に予め格納されている被験者の登録指紋データ(Aデー
タ)を示し、(b−i )〜(b−iv)はイメージ読み取
り装置14により取得された被験者の照合指紋データ
(Bデータ)を示している。また、両図の各画像は、い
ずれも多階調画像である。
Next, control performed by CPU 11 shown in FIG. 2 will be described. FIG. 4 is a flowchart showing the details of fingerprint collation processing, which is particularly related to the present invention, in the control processing of the entire apparatus realized by the CPU 11 executing the above-described control program. 5 and 6
Is an example of a fingerprint image used for explaining the fingerprint collation processing.
5 and 6 are the same fingerprint images as those shown in FIG. 12, and (a-i) to (a-iv) indicate the storage device 12.
Shows the registered fingerprint data (A data) of the subject, which is stored in advance, and (bi) to (b-iv) show the verification fingerprint data (B data) of the subject obtained by the image reading device 14. I have. Each image in both figures is a multi-tone image.

【0043】以下、CPU11により行われる指紋照合
処理を、図4に沿って、図5及び図6を参照しながら、
説明する。指紋照合処理の開始指示が入力部16になさ
れると、まずS101において、図5の(a−i )に示
すように、矩形領域のひとつであるメインテンプレート
mtをAデータの画像に定義する。このメインテンプレ
ートmtの大きさは、要求される指紋照合の照合精度が
得られる限り任意でよい。ここで定義したメインテンプ
レートmtのAデータの画像上における位置を特定する
座標、ここでは長方形であるメインテンプレートmtの
重心の座標を(x0 ,y0 )とする。
Hereinafter, the fingerprint collation processing performed by the CPU 11 will be described with reference to FIGS. 4 and 5 and FIG.
explain. When an instruction to start the fingerprint collation processing is given to the input unit 16, first, in S101, as shown in (a-i) of FIG. 5, a main template mt, which is one of the rectangular areas, is defined in the A data image. The size of the main template mt may be arbitrarily set as long as required collation accuracy of fingerprint collation is obtained. The coordinates specifying the position of the A data of the main template mt defined on the image, that is, the coordinates of the center of gravity of the rectangular main template mt in this case are (x 0 , y 0 ).

【0044】続いてS102において、図5の(a−i
)に示すように、Aデータの画像にメインプレートm
tとは異なる複数の矩形領域であるサブテンプレートs
i (i≧1)を定義する。図5の(a−i )に示す例
においてはi=4とし、メインテンプレートmtを囲む
ように4つの長方形であるサブテンプレートst1 〜s
4 を同図に示す位置関係で定義している。このサブテ
ンプレートsti の大きさも、要求される指紋照合の照
合精度が得られる限り任意でよい。ここで定義したサブ
テンプレートsti のAデータの画像上における位置を
特定する座標、ここでは長方形であるサブテンプレート
sti の重心の座標を(xi ,yi )とする。
Subsequently, in S102, (a-i) in FIG.
), The main plate m
Sub template s which is a plurality of rectangular areas different from t
Define t i (i ≧ 1). And i = 4 in the example shown in (a-i) in FIG. 5, the sub-template st 1 ~s a four rectangle around the main template mt
The t 4 are defined in the positional relationship shown in FIG. The size of the sub-template st i also be any as long as the collation precision of a fingerprint collation required is obtained. Here the sub-template defined st i coordinates specifying the position on the image of the A data, here, the center of gravity coordinates of the sub-template st i is rectangular and (x i, y i).

【0045】次に、S103において、メインテンプレ
ートmtと同一の形状・大きさの矩形領域をBデータの
画像上に設定し、その矩形領域をその画像上で走査させ
つつ、その矩形領域とメインテンプレートmtとの間の
相関係数を逐次算出する。相関係数の算出法としては、
ここでは前述した先願に示されていた指紋照合方法にお
いて用いられていたものをそのまま使用するが、他の相
関係数の算出法を採用してもよい。
Next, in S103, a rectangular area having the same shape and size as the main template mt is set on the B data image, and the rectangular area is scanned on the image while the rectangular area and the main template mt are scanned. mt is sequentially calculated. As a method of calculating the correlation coefficient,
Here, the method used in the fingerprint collation method shown in the above-mentioned prior application is used as it is, but another calculation method of the correlation coefficient may be adopted.

【0046】S104では、相関係数を逐次算出した結
果、メインテンプレートmtとの間の相関係数が最大と
なった前述の矩形領域を求め、領域MTとする。この領
域MTのBデータの画像上における位置を特定する座標
であって、メインテンプレートmtにおいての座標(x
0 ,y0 )に対応する領域MTの座標を(X0 ,Y0
とする。
In S104, as a result of sequentially calculating the correlation coefficient, the above-described rectangular area in which the correlation coefficient with the main template mt is maximized is determined as an area MT. Coordinates for specifying the position of the area B on the image of the B data, which are coordinates (x
0 , y 0 ), the coordinates of the area MT corresponding to (X 0 , Y 0 )
And

【0047】続いて、S105において、領域MTがB
データの画像上に設定される有効領域Eに属するか否
か、具体的には領域MTの位置を特定する座標(X0
0 )が有効領域Eを示す範囲Ex,y に含まれるか否か
を判定する。この判定結果がYesならばS107に進
み、NoならばS106に進む。
Subsequently, in S105, the area MT is
Whether or not the data belongs to an effective area E set on the image of the data, specifically, coordinates (X 0 ,
It is determined whether or not (Y 0 ) is included in the range Ex, y indicating the effective area E. If the determination result is Yes, the process proceeds to S107, and if No, the process proceeds to S106.

【0048】ここで、有効領域Eとは、Bデータの画像
上において、領域MTと、サブテンプレートsti との
間の相関係数が最大であって、且つ、サブテンプレート
st i と同一の形状・大きさである矩形領域と、の間で
のBデータの画像上での相対的な配置関係が、Aデータ
の画像上でのメインテンプレートmtとサブテンプレー
トsti との相対的な配置関係を保持している場合にお
ける、領域MTが存在し得るBデータの画像上での範囲
を示すものである。本実施の形態においては次式により
示される範囲Ex,y をBデータの画像上に設定する。
Here, the effective area E is an image of B data.
In the above, the region MT and the sub template stiWith
The maximum correlation coefficient between the sub-templates
st iBetween a rectangular area of the same shape and size as
The relative arrangement relationship of the B data on the image is the A data
Template mt and sub template on the image of
To stiIf you maintain the relative placement relationship with
Of the B data on the image where the area MT may exist
It is shown. In the present embodiment,
Range E shownx, yIs set on the image of the B data.

【0049】[0049]

【数4】 (Equation 4)

【0050】図5の(b−i )は、同図の(a−i )に
示すようにAデータの画像上にメインテンプレートmt
とサブテンプレートsti とを定義した場合に、Bデー
タの画像上に有効領域Eの範囲Ex,y が設定された様子
を示している。なお、上式において、Wi 、Hi はサブ
テンプレートsti の幅(x方向の長さ)、高さ(y方
向の長さ)を各々示しており、WIDTH、HEIGH
Tは、同一の大きさであるAデータ及びBデータそれぞ
れの画像の幅(x方向の長さ)、高さ(y方向の長さ)
を示している。また、xi Search、yi Sear
chは、同一人の指紋画像において、AデータとBデー
タとの取得作業のばらつき等の原因により、Aデータ上
のサブテンプレートstI に対応するBデータ上の矩形
領域がズレて存在する可能性を有する範囲であり、画像
データの画素の単位で4〜6画素程度に相当する値を例
えば用いる。また、Max[p,q]は、pとqとのう
ちの大きい方(等しい場合にはそのどちらか)の値を得
る関数である。
FIG. 5 (b-i) shows the main template mt on the A data image as shown in FIG. 5 (a-i).
This shows a case where the range Ex, y of the effective area E is set on the image of the B data when the sub-template and the sub template st i are defined. In the above equation, W i and H i represent the width (length in the x direction) and the height (length in the y direction) of the sub template st i , respectively, and WIDTH and HEIGH.
T is the width (length in the x direction) and height (length in the y direction) of the image of each of the A data and the B data having the same size.
Is shown. In addition, x i Search, y i Sear
ch may have a rectangular area on the B data corresponding to the sub-template st I on the A data shifted due to a variation in the operation of obtaining the A data and the B data in the fingerprint image of the same person. And a value corresponding to about 4 to 6 pixels in pixel units of the image data is used, for example. Max [p, q] is a function for obtaining the larger value of p and q (if equal, either of them).

【0051】上式を更に説明する。図7は、有効領域E
の設定手法を説明する図である。同図は、前述の式のう
ちのαx 、βx を説明するものであり、Aデータの上側
部分のみを示している。なお、ここでは、説明を簡単に
するために、サブテンプレートst3 及びst4 は考え
ないようにする。
The above equation will be further explained. FIG. 7 shows the effective area E
It is a figure explaining the setting technique of. This figure explains α x and β x in the above equation, and shows only the upper part of the A data. Here, in order to simplify the explanation, the sub-templates st 3 and st 4 are not considered.

【0052】前述の式と図7とを参照すれば、αx =L
1 、βx =WIDTH−L2 であることは容易に理解で
きる。x方向における有効領域Eの範囲を前述の式によ
り求まるαx 、βx の値で設定することにより、サブテ
ンプレートst1 及びst2がx方向に広がって配置す
るように定義されていた場合には有効領域Eの範囲、す
なわち前述した位置関係を保持する場合における領域M
Tの存在し得る範囲が狭まり、サブテンプレートst1
及びst2 がx方向に狭い間隔で配置するように定義さ
れていた場合には有効領域Eの範囲が広がる。
Referring to the above equation and FIG. 7, α x = L
1 , it can be easily understood that β x = WIDTH−L 2 . By setting the range of the effective area E in the x direction by the values of α x and β x obtained by the above formula, when the sub-templates st 1 and st 2 are defined so as to extend in the x direction, Is the range of the effective area E, that is, the area M when the above-described positional relationship is maintained.
The range in which T can exist is reduced, and the sub-template st 1
And the range of the effective region E is widened if the st 2 was defined to be closely spaced in the x-direction.

【0053】図4の説明に戻る。前述したS105にお
いて、領域MTが有効領域Eに属さないと判定された場
合、つまり、図5の(a−ii)と(b−ii)との関係の
ように、Aデータの画像上のメインテンプレートmtに
対応するBデータの画像上の領域MTが有効領域Eの範
囲Ex,y を外れてしまっている場合には、S106にお
いて、サブテンプレートsti の配置位置を補正してA
データの画像上に再配置する。サブテンプレートsti
の再配置は図8に示す手順で行なう。
Returning to the description of FIG. In the above-described S105, when it is determined that the area MT does not belong to the effective area E, that is, as in the relationship between (a-ii) and (b-ii) in FIG. If the region MT on the image of the B data corresponding to the template mt is gone out of the range E x, y of the effective region E, in S106, by correcting the position of the sub-template st i a
Rearrange the data on the image. Sub template st i
Are performed according to the procedure shown in FIG.

【0054】図8は、サブテンプレート再配置処理の処
理内容を示すフローチャートである。この処理は、座標
(xi ,yi )で位置が特定されているサブテンプレー
トsti を座標(xri ,yri )で特定される位置に
再配置する処理である。
FIG. 8 is a flowchart showing the contents of the sub-template relocation processing. This process is a process of rearranging the position specified coordinates (x i, y i) the sub-template st i that is located in are identified by the coordinates (xr i, yr i).

【0055】同図について説明する。まず、x方向に関
し、領域MTが有効領域Eの範囲に位置しているか否か
を判定する(S201及びS203)。
Referring to FIG. First, it is determined whether or not the area MT is located within the range of the effective area E in the x direction (S201 and S203).

【0056】判定の結果、領域MTの位置を特定するx
座標X0 が有効領域Eのx方向の範囲を示すαx よりも
小さければ、再配置後のサブテンプレートsti の配置
位置を特定するx座標をxri =xi +(αx −X0
とし (S202)、S206に進む。また、X0 が有
効領域Eのx方向の範囲を示すβx よりも大きければ、
再配置後のサブテンプレートsti の配置位置を特定す
るx座標をxri =x i −(X0 −βx )とし(S20
4)、S206に進む。
As a result of the determination, x for specifying the position of the area MT
Coordinate X0Represents the range of the effective area E in the x direction.xthan
If smaller, sub template st after rearrangementiArrangement
Xr is the x coordinate that specifies the positioni= Xi+ (Αx-X0)
Then (S202), the process proceeds to S206. Also, X0Has
Β indicating the range of the effective area E in the x directionxIf it is larger than
Sub template st after rearrangementiThe location of the
Xri= X i− (X0−βx) And (S20
4), proceed to S206.

【0057】ここで、上記した両者のいずれにも当ては
まらない場合、すなわち、X0 の値がαx 以上であって
βx 以下であるならば、xri =xi 、すなわち、その
ままの値とし(S205)、S206に進む。
Here, if neither of the above cases applies, that is, if the value of X 0 is greater than or equal to α x and less than or equal to β x , xr i = x i , that is, the value as it is (S205), proceed to S206.

【0058】続いて、領域MTが有効領域Eの範囲に位
置しているか否かをy方向に関して同様に判定する(S
206及びS208)。この判定の結果により行なう処
理も、前述したx方向に関して行なった処理と同様であ
り、領域MTの位置を特定するy座標Y0 が有効領域E
のy方向の範囲を示すαy よりも小さければ、再配置後
のサブテンプレートsti の配置位置を特定するy座標
をyri =yi +(αy −Y0 )とし(S207)、Y
0 が有効領域Eのy方向の範囲を示すβy よりも大きけ
れば、y ri =y i −(Y0 −β y )とする(S20
9)。また、これらの両者のいずれにも当てはまらない
場合、すなわち、Y0 の値がαy 以上であってβy 以下
であるならば、yri =yi、すなわち、そのままの値
とする(S210)。
Subsequently, the area MT falls within the range of the effective area E.
Is determined in the same manner in the y direction (S
206 and S208). Processing to be performed based on the result of this determination
The processing is the same as the processing performed in the x direction described above.
The y coordinate Y specifying the position of the area MT0Is effective area E
Α indicating the range in the y direction ofyIf less than, after relocation
Sub template stiY-coordinate that specifies the layout position of
Is yri= Yi+ (Αy-Y0) (S207), and Y
0Represents the range of the effective area E in the y direction.yLarger than
Then y ri= Yi− (Y0−β y(S20)
9). Also not applicable to either of these
Case, ie, Y0Is αyAnd βyLess than
Then yri= Yi, That is, the raw value
(S210).

【0059】以上の手順により、Aデータの画像上に定
義していた全てのサブテンプレートsti の再配置を行
なう。図6の(a−iii )は、Bデータの画像上の領域
MTが図5の(b−ii)に示すように有効領域Eの範囲
x,y を外れてしまっていた場合に、図5の(a−i )
に示すように定義されていたサブテンプレートst1
st4 の再配置を行なった結果を示している。また、図
6の(b−iii )は、図6の(a−iii )におけるメイ
ンテンプレートmtに対応する領域MTを示すものであ
り、メインテンプレートmtの位置の移動は行なってい
ないので、その位置は図5の(b−ii)における位置か
ら移動していない。
According to the above procedure, all sub-templates st i defined on the A data image are rearranged. (A-iii) of FIG. 6 shows a case where the area MT on the image of the B data is out of the range Ex, y of the effective area E as shown in (b-ii) of FIG. 5 (a-i)
Sub-template st 1 had been defined as shown in ~
It shows the result of performing relocation st 4. 6 (b-iii) shows the area MT corresponding to the main template mt in (a-iii) of FIG. 6. Since the position of the main template mt has not been moved, its position is not changed. Does not move from the position in (b-ii) of FIG.

【0060】図4の説明に再び戻る。S105の判定処
理の結果がYes、すなわちサブテンプレートsti
再配置が不要であったとき、あるいはS106の処理に
よりサブテンプレートsti の再配置を行なった後に
は、S107において、サブテンプレートsti と同一
の形状・大きさの矩形領域をBデータの画像上に設定
し、その矩形領域をその画像上で走査させつつ、その矩
形領域とサブテンプレートsti との間の相関係数を逐
次算出する。相関係数の算出法は、ここでは前述したS
103で用いたものを用いるが、他の相関係数の算出法
を採用してもよい。
Returning to the description of FIG. S105 of the determination process results Yes, i.e., when was unnecessary relocation of the sub-template st i, or after performing the rearrangement of the sub-template st i by the processing of S106, in S107, the sub-template st i A rectangular area having the same shape and size is set on the image of the B data, and the rectangular area is scanned on the image, and the correlation coefficient between the rectangular area and the sub template st i is sequentially calculated. . Here, the method of calculating the correlation coefficient is S
Although the method used in step 103 is used, another method of calculating the correlation coefficient may be employed.

【0061】そして、S108において、相関係数を逐
次算出した結果、サブテンプレートsti との間の相関
係数が最大となった前述の矩形領域を求め、領域STi
とする。
Then, in S108, as a result of sequentially calculating the correlation coefficient, the above-described rectangular area having the maximum correlation coefficient with the sub-template st i is obtained, and the area ST i is calculated.
And

【0062】続いて、S109において、全てのサブテ
ンプレートsti に対して領域ST i を検出し終えたか
否かを判定し、判定結果がYesならばS110に進
む。一方、判定結果がNoならばS107へ戻り、前述
した領域STi を求めるための処理を繰り返す。図6の
(a−iv)及び(b−iv)は、図6の(a−iii )に示
すように再配置されたサブテンプレートst1 〜st4
の全てについて、対応する領域ST1 〜ST4 を取得し
た結果を、メインテンプレートmt及びその対応する領
域MTと共に示したものである。
Subsequently, in S109, all sub-texts
Plate stiRegion ST iHas been detected
No, and if the determination result is Yes, proceed to S110.
No. On the other hand, if the determination result is No, the process returns to S107, and
Area STiIs repeated. In FIG.
(A-iv) and (b-iv) are shown in (a-iii) of FIG.
Sub template st rearranged as follows1~ StFour
, The corresponding area ST1~ STFourGet
Of the main template mt and its corresponding
This is shown together with the area MT.

【0063】そして、S110において、Aデータが示
す画像内におけるメインテンプレートmt及びサブテン
プレートsti の配置の分布と、Bデータが示す画像内
における領域MT及び領域STi の配置の分布とを比較
することにより、Aデータ(登録指紋データ)とBデー
タ(照合指紋データ)の同一性を評価する。このステッ
プで実行される同一性の評価は、従来技術として説明し
た図10のS2005で行われる処理と実質的には同様
である。なお、同一性の評価においては、メインテンプ
レートmt及び領域MTを評価対象から除外し、サブテ
ンプレートst i の配置の分布と領域STi の配置の分
布との比較のみにより評価を行なうことも可能である。
Then, in S110, the A data is displayed.
Main template mt and sub template
Plate stiDistribution in the image shown in the B data
MT and ST atiCompare with the distribution of the arrangement
A data (registered fingerprint data) and B data
Data (verification fingerprint data). This step
The identity assessment performed by the group is described as prior art.
Substantially the same as the processing performed in S2005 of FIG.
It is. In the evaluation of identity, the main template
Excluding the rate mt and the area MT from the evaluation target,
Plate st iDistribution and area STiMinutes of placement
It is also possible to make an evaluation only by comparison with a cloth.

【0064】以上までに説明した指紋照合処理をCPU
11が実行することによって、本装置で指紋の照合が行
われる。なお、上述した本発明の実施の形態において
は、メインテンプレートmt、サブテンプレートs
i 、領域MT、領域STi をいずれも矩形領域として
いたが、これらの領域の形状は矩形に限らず、任意でよ
い。また、メインテンプレートmtと領域MT、及びサ
ブテンプレートsti と領域STi の大きさ・形状は同
一であることが望ましいが、多少の違いがあったとして
も、要求される指紋照合の照合精度が得られる限り許容
できる。
The fingerprint collation processing described above is executed by the CPU.
11 executes the fingerprint collation in this apparatus. In the embodiment of the present invention described above, the main template mt and the sub template s
Although the t i , the area MT, and the area ST i are all rectangular areas, the shapes of these areas are not limited to rectangles and may be arbitrary. The main template mt and region MT, and it is desirable size and shape of the sub-template st i and the region ST i is the same, even if some differences, the required collation precision of a fingerprint collation is Acceptable as long as it is obtained.

【0065】また、予め定義するメインテンプレートm
tとサブテンプレートsti との配置の関係は、上述し
た本発明の実施の形態においては、図6の(a−i )に
示すようにメインテンプレートmtとサブテンプレート
sti とが接するような位置関係で定義していたが、メ
インテンプレートmtとサブテンプレートsti とが部
分的に重なっているような位置関係の定義、あるいは全
く離れている位置関係の定義を行なうこともできる。
A main template m defined in advance
In the embodiment of the present invention described above, the relationship between the arrangement of t and the sub-templates st i is such that the main template mt and the sub-templates st i are in contact with each other as shown in FIG. had been defined by the relationship, it is also possible to carry out the definition of the positional relationship between the main template mt and sub-template st i is that the definition of the positional relationship as partially overlap, or no away.

【0066】更に、領域MTが有効領域Eに属さないと
判定された場合に実行される、図8に処理内容を示した
サブテンプレート再配置処理では、サブテンプレートs
iの各々について同一距離だけ移動させて再配置を行
なったが、領域MTが有効領域EのBデータの画像上で
の上下左右どちらの方向に外れたかを考慮し、その方向
に応じてサブテンプレートsti 各々の再配置位置まで
の移動距離に違いを持たせるようにしてもよい。このこ
とを図5の(a−i )に示すように定義されていたサブ
テンプレートst1 〜st4 の各々について、再配置後
の位置を特定する座標(xri ,yri )を求める場合
を例にして具体的に説明する。
Further, in the sub-template rearrangement process shown in FIG. 8 which is executed when it is determined that the region MT does not belong to the valid region E, the sub-template s
Although the rearrangement was performed by moving the same distance for each of the t i , the direction of the area MT deviated in the upper, lower, left, or right direction on the image of the B data of the effective area E was taken into consideration. The moving distance to the rearrangement position of each template st i may be made different. For each of the sub-template st 1 ~st 4 of this fact has been defined as shown in (a-i) in FIG. 5, coordinates specifying the position after relocation (xr i, yr i) a case of obtaining the This will be specifically described by way of example.

【0067】まず、x座標について、領域MTの位置を
特定するx座標X0 と、有効領域Eのx方向の範囲を示
す前述したαx 及びβx との関係により、X0 <αx
場合には xri =xi +(αx −X0 ) [i=2,3] xri =xi +(αx −X0 )×u [i=1,4] 但し、uは0≦u<1の定数 αx ≦X0 ≦βx の場合には xri =xi βx <X0 の場合には xri =xi −(X0 −βx ) [i=1,4] xri =xi −(X0 −βx )×u [i=2,3] 但し、uは0≦u<1の定数としてxri を求める。
First, regarding the x coordinate, X 0x is obtained by the relationship between the x coordinate X 0 specifying the position of the area MT and the above α x and β x indicating the range of the effective area E in the x direction. xr If i = x i + (α x -X 0) [i = 2,3] xr i = x i + (α x -X 0) × u [i = 1,4] However, u is 0 ≦ u <1 constant α x ≦ X 0 ≦ β xr i = x i β x in case of x <xr i = x i in the case of X 0 - (X 0 -β x ) [i = 1, 4] xr i = x i - (X 0 -β x) × u [i = 2,3] However, u finds the xr i as a constant in the 0 ≦ u <1.

【0068】次に、y座標について、領域MTの位置を
特定するy座標Y0 と、有効領域Eのy方向の範囲を示
す前述したαy 及びβy との関係により、Y0 <αy
場合には yri =yi +(αy −Y0 ) [i=1,2] yri =yi +(αy −Y0 )×v [i=3,4] 但し、vは0≦v<1の定数 αy ≦Y0 ≦βy の場合には yri =yi βy <Y0 の場合には yri =yi −(Y0 −βy ) [i=3,4] yri =yi −(Y0 −βy )×v [i=1,2] 但し、vは0≦v<1の定数として、yri を求める。
Next, regarding the y coordinate, Y 0y by the relationship between the y coordinate Y 0 specifying the position of the area MT and the aforementioned α y and β y indicating the range of the effective area E in the y direction. In the case of yr i = y i + (α y -Y 0 ) [i = 1,2] yr i = y i + (α y -Y 0 ) × v [i = 3,4] where v is 0 ≦ v <1 constant α yY 0 ≦ β in the case of y is yr i = y i β y <in the case of Y 0 yr i = y i - (Y 0 -β y) [i = 3 , 4] yr i = y i − (Y 0 −β y ) × v [i = 1,2] where v is a constant satisfying 0 ≦ v <1, and yr i is obtained.

【0069】なお、上式に従ってサブテンプレートの再
配置を行なう場合において、特にu=v=0として再配
置を行なうのであれば、たとえ領域MTが有効領域Eに
属していなくても、両領域の位置関係によっては一部の
サブテンプレートについて再配置をせずに当初定義され
た配置のままで指紋照合が行なえるようになり、このよ
うな場合にはサブテンプレートの再配置処理に要する時
間が短縮され、その結果、指紋照合処理の処理時間を短
縮することができる。
When sub-templates are rearranged in accordance with the above equation, especially if the rearrangement is performed with u = v = 0, even if the area MT does not belong to the effective area E, both sub-templates are relocated. Depending on the positional relationship, fingerprint matching can be performed with the originally defined layout without rearranging some sub-templates, in which case the time required for sub-template relocation processing is reduced As a result, the processing time of the fingerprint matching processing can be reduced.

【0070】[0070]

【発明の効果】本発明は、以上詳細に説明したように、
画像の照合判定において、照合対象である2つの画像デ
ータ間で最大の相関関係を有する領域の、画像上の位置
関係の違いを反映させた照合判定を行なうので、照合の
対象としては必ずしも良好ではない、画像が偏って取得
されているような画像データの照合を行なっても、画像
照合の照合精度の低下が軽減され、一定の照合精度を維
持することが可能となる効果を奏する。
According to the present invention, as described in detail above,
In the collation determination of the image, since the collation determination reflecting the difference in the positional relationship on the image in the region having the largest correlation between the two image data to be collated is performed, the collation determination is not always good. Even if the image data is collated such that the image is acquired unevenly, the reduction in the collation accuracy of the image collation is reduced, and an effect that a constant collation accuracy can be maintained is obtained.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の原理構成を示す図である。FIG. 1 is a diagram showing a principle configuration of the present invention.

【図2】本発明を実施する指紋照合装置の構成を示す図
である。
FIG. 2 is a diagram illustrating a configuration of a fingerprint matching device that implements the present invention.

【図3】指紋照合処理プログラムを記憶するコンピュー
タ読み取り可能な記憶媒体の例を示す図である。
FIG. 3 is a diagram illustrating an example of a computer-readable storage medium that stores a fingerprint collation processing program.

【図4】指紋照合処理の処理内容を示すフローチャート
である。
FIG. 4 is a flowchart showing the details of a fingerprint collation process;

【図5】指紋照合装置の説明に用いる指紋の画像の例
(その1)である。
FIG. 5 is an example (No. 1) of a fingerprint image used for explaining the fingerprint collation device.

【図6】指紋照合装置の説明に用いる指紋の画像の例
(その2)である。
FIG. 6 is an example (No. 2) of a fingerprint image used for explaining the fingerprint collation device.

【図7】有効領域Eの設定手法を説明する図である。FIG. 7 is a diagram illustrating a method for setting an effective area E.

【図8】サブテンプレート再配置処理の処理内容を示す
フローチャートである。
FIG. 8 is a flowchart showing processing contents of a sub-template relocation processing.

【図9】従来の指紋照合の方法の一例の手順を示すフロ
ーチャートである。
FIG. 9 is a flowchart showing a procedure of an example of a conventional fingerprint matching method.

【図10】先願明細書に記載の指紋照合の方法の手順を
示すフローチャートである。
FIG. 10 is a flowchart showing a procedure of a fingerprint collation method described in the specification of the prior application.

【図11】先願明細書に記載の指紋照合の方法を説明す
る図である。
FIG. 11 is a diagram illustrating a fingerprint collation method described in the specification of the prior application.

【図12】従来技術の抱える問題点を説明する図であ
る。
FIG. 12 is a diagram illustrating a problem of the related art.

【符号の説明】 1a 第1の画像データ 1b 第2の画像データ 2 判定結果 3 定義部 4 第1決定部 5 再定義部 6 第2決定部 7 判定部 11 CPU 12 記憶装置 13 RAM 14 イメージ読み取り装置 15 表示部 16 入力部 17 バス 21 コンピュータ 22 記憶装置 23 携帯可能記憶媒体 24 ネットワーク 25 プログラムサーバ 26 記憶装置[Description of Signs] 1a First image data 1b Second image data 2 Determination result 3 Definition unit 4 First determination unit 5 Redefinition unit 6 Second determination unit 7 Determination unit 11 CPU 12 Storage device 13 RAM 14 Image reading Device 15 Display unit 16 Input unit 17 Bus 21 Computer 22 Storage device 23 Portable storage medium 24 Network 25 Program server 26 Storage device

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 第1の画像を構成する画像データと第2
の画像を構成する画像データとを照合して両者の画像の
類似の程度を判定する画像データ照合方法であって、 第1の領域と、該第1の領域との間に所定の位置関係を
有する1以上の第2の領域と、を前記第1の画像上に定
義し、 前記第2の画像上に、前記第1の領域と最大の相関関係
を有する領域である第1最大相関領域を決定し、 前記第1最大相関領域の前記第2の画像上における位置
関係に基づいて、前記第2の領域を前記第1の画像上で
再定義し、 前記第2の画像上に、再定義した前記第2の領域と最大
の相関関係を有する領域である第2最大相関領域を決定
し、 前記第1の領域と再定義した前記第2の領域との相互間
の位置関係と、前記第1最大相関領域と前記第2最大相
関領域との相互間の位置関係との相違、もしくは、再定
義した該第2の領域相互間の位置関係と該第2最大相関
領域相互間の位置関係との相違、に基づいて前記類似の
程度を判定する、 ことを特徴とする画像データ照合方法。
1. An image data forming a first image and a second image data
An image data collating method for collating image data composing an image of the image data and determining a degree of similarity between the two images, wherein a predetermined positional relationship between a first region and the first region is determined. One or more second regions having the first maximum correlation region, which is a region having a maximum correlation with the first region, on the second image. Determining, redefining the second area on the first image based on the positional relationship of the first maximum correlation area on the second image, redefining the second area on the second image Determining a second maximum correlation area, which is an area having a maximum correlation with the second area, and a positional relationship between the first area and the redefined second area; A difference in the positional relationship between the first maximum correlation area and the second maximum correlation area, or redetermination Image data verification method comprising determining, in that the degree of the similarity on the basis of the positional relationship between the second region mutual differences between the positional relationship between the second maximum correlation regions mutually, the.
【請求項2】 前記第2の領域の再定義の仕方を、前記
第1最大相関領域の前記第2の画像上における位置関係
と前記第1の領域の前記第1の画像上における位置関係
との相違に基づいて決定することを特徴とする請求項1
に記載の画像データ照合方法。
2. A method of redefining the second region is defined by a positional relationship of the first maximum correlation region on the second image and a positional relationship of the first region on the first image. 2. The method according to claim 1, wherein the determination is made based on a difference between
Image data collation method described in 1.
【請求項3】 前記第2の領域の再定義では、前記第1
最大相関領域の前記第2の画像上における位置関係が所
定の関係を満たす場合には、該第2の領域の元の定義を
そのまま用いることを特徴とする請求項1に記載の画像
データ照合方法。
3. The method according to claim 2, wherein the redefinition of the second area includes the first area.
2. The image data matching method according to claim 1, wherein when the positional relationship of the maximum correlation area on the second image satisfies a predetermined relationship, the original definition of the second area is used as it is. .
【請求項4】 前記第2の領域の定義では、複数の領域
を定義し、 前記第2の領域の再定義では、前記第1最大相関領域の
前記第2の画像上における位置関係が所定の関係を満た
す場合には、複数定義されている該第2の領域の一部に
ついて元の定義をそのまま用いる、 ことを特徴とする請求項1に記載の画像データ照合方
法。
4. In the definition of the second area, a plurality of areas are defined, and in the redefinition of the second area, a positional relationship of the first maximum correlation area on the second image is predetermined. The image data matching method according to claim 1, wherein when the relationship is satisfied, the original definition is used as it is for a part of the plurality of defined second regions.
【請求項5】 第1の画像を構成する画像データと第2
の画像を構成する画像データとを照合して両者の画像の
類似の程度を判定する画像データ照合方法であって、 前記第1の画像上に第1の領域を定義し、 前記第2の画像上に、前記第1の領域と最大の相関関係
を有する領域である第1最大相関領域を決定し、 前記類似の程度を、前記第1の領域の前記第1の画像上
における位置関係と前記第1最大相関領域の前記第2の
画像上における位置関係との違いを反映させて判定す
る、 ことを特徴とする画像データ照合方法。
5. An image data forming a first image and a second image data
An image data collation method for collating image data composing an image of the first image and determining a degree of similarity between the two images, wherein a first region is defined on the first image, and the second image Determining a first maximum correlation area which is an area having a maximum correlation with the first area, and determining the degree of similarity with a positional relationship of the first area on the first image; The image data matching method, wherein the determination is made by reflecting a difference between the first maximum correlation area and the positional relationship on the second image.
【請求項6】 前記第1及び第2の画像は指紋の画像で
あることを特徴とする請求項1から5までのいずれか1
に記載の画像データ照合方法。
6. The method according to claim 1, wherein the first and second images are fingerprint images.
Image data collation method described in 1.
【請求項7】 第1の画像を構成する画像データと第2
の画像を構成する画像データとを照合して両者の画像の
類似の程度を判定する画像データ照合装置であって、 第1の領域と、該第1の領域との間に所定の位置関係を
有する1以上の第2の領域と、を前記第1の画像上に定
義する定義手段と、 前記第2の画像上に、前記第1の領域と最大の相関関係
を有する領域である第1最大相関領域を決定する第1決
定手段と、 前記第1最大相関領域の前記第2の画像上における位置
関係に基づいて、前記第2の領域を前記第1の画像上で
再定義する再定義手段と、 前記第2の画像上に、再定義した前記第2の領域と最大
の相関関係を有する領域である第2最大相関領域を決定
する第2決定手段と、 前記第1の領域と再定義した前記第2の領域との相互間
の位置関係と、前記第1最大相関領域と前記第2最大相
関領域との相互間の位置関係との相違、もしくは、再定
義した該第2の領域相互間の位置関係と該第2最大相関
領域相互間の位置関係との相違、に基づいて前記類似の
程度を判定する判定手段と、 を有することを特徴とする画像データ照合装置。
7. An image processing system comprising: image data forming a first image;
An image data collation device that collates image data constituting the images of the two images to determine the degree of similarity between the two images, wherein a predetermined positional relationship between a first region and the first region is determined. Defining means for defining, on the first image, one or more second regions, and a first maximum, which is an area having a maximum correlation with the first area, on the second image. First determining means for determining a correlation area; and redefining means for redefining the second area on the first image based on a positional relationship of the first maximum correlation area on the second image. And second determining means for determining, on the second image, a second maximum correlation area which is an area having a maximum correlation with the redefined second area; and redefining the first area. The positional relationship between the second region and the first maximum correlation region and the second region. The similarity is determined based on a difference between a positional relationship with a maximum correlation area or a redefined difference between a positional relation between the second areas and the second maximum correlation area. An image data collating apparatus comprising: a determination unit configured to determine a degree of the image data.
【請求項8】 第1の画像を構成する画像データと第2
の画像を構成する画像データとを照合して両者の画像の
類似の程度を判定する画像データ照合装置であって、 前記第1の画像上に第1の領域を定義する定義手段と、 前記第2の画像上に、前記第1の領域と最大の相関関係
を有する領域である第1最大相関領域を決定する第1決
定手段と、 前記類似の程度を、前記第1の領域の前記第1の画像上
における位置関係と前記第1最大相関領域の前記第2の
画像上における位置関係との違いを反映させて判定する
照合判定手段と、 を有することを特徴とする画像データ照合装置。
8. An image processing system comprising: image data constituting a first image;
An image data collation device that collates image data constituting the image of the first and second images to determine the degree of similarity between the two images, wherein a definition unit that defines a first area on the first image, A first determining unit that determines a first maximum correlation area, which is an area having a maximum correlation with the first area, on the second image; and determining the degree of similarity with the first area of the first area. An image data collating device, comprising: a collation judging unit which makes a decision by reflecting a difference between a positional relationship on the image and a positional relationship of the first maximum correlation area on the second image.
【請求項9】 第1の画像を構成する画像データと第2
の画像を構成する画像データとを照合して両者の画像の
類似の程度を判定する制御をコンピュータに行なわせる
画像データ照合プログラムを記憶した、該コンピュータ
で読み取り可能な記憶媒体であって、 第1の領域と、該第1の領域との間に所定の位置関係を
有する1以上の第2の領域と、を前記第1の画像上に定
義する制御と、 前記第2の画像上に、前記第1の領域と最大の相関関係
を有する領域である第1最大相関領域を決定する制御
と、 前記第1最大相関領域の前記第2の画像上における位置
関係に基づいて、前記第2の領域を前記第1の画像上で
再定義する制御と、 前記第2の画像上に、再定義した前記第2の領域と最大
の相関関係を有する領域である第2最大相関領域を決定
する制御と、 前記第1の領域と再定義した前記第2の領域との相互間
の位置関係と、前記第1最大相関領域と前記第2最大相
関領域との相互間の位置関係との相違、もしくは、再定
義した該第2の領域相互間の位置関係と該第2最大相関
領域相互間の位置関係との相違、に基づいて前記類似の
程度を判定する制御と、 をコンピュータに実行させる画像データ照合プログラム
を記憶した記憶媒体。
9. The image data forming a first image and a second image data
A computer-readable storage medium storing an image data collation program for causing a computer to perform control to determine the degree of similarity between the two images by collating with image data constituting the image of the first image. And a control for defining, on the first image, an area and one or more second areas having a predetermined positional relationship with the first area; and, on the second image, Control for determining a first maximum correlation area that is an area having a maximum correlation with the first area; and a second area based on a positional relationship of the first maximum correlation area on the second image. Control on the first image, and control on the second image to determine a second maximum correlation area, which is an area having a maximum correlation with the redefined second area. The second area redefined as the first area Between the first region and the second region of maximum correlation, or the re-defined position of the second region. A storage medium storing an image data collation program for causing a computer to execute the control of determining the degree of similarity based on the difference between the second maximum correlation area and the positional relationship between the second maximum correlation areas.
【請求項10】 第1の画像を構成する画像データと第
2の画像を構成する画像データとを照合して両者の画像
の類似の程度を判定する制御をコンピュータに行なわせ
る画像データ照合プログラムを記憶した、該コンピュー
タで読み取り可能な記憶媒体であって、 前記第1の画像上に第1の領域を定義する制御と、 前記第2の画像上に、前記第1の領域と最大の相関関係
を有する領域である第1最大相関領域を決定する制御
と、 前記類似の程度を、前記第1の領域の前記第1の画像上
における位置関係と前記第1最大相関領域の前記第2の
画像上における位置関係との違いを反映させて判定する
制御と、 をコンピュータに実行させる画像データ照合プログラム
を記憶した記憶媒体。
10. An image data collation program for causing a computer to perform a control of collating image data constituting a first image with image data constituting a second image to determine the degree of similarity between the two images. A computer-readable storage medium storing: a control for defining a first area on the first image; and a maximum correlation with the first area on the second image. And determining the degree of similarity, the positional relationship of the first area on the first image, and the second image of the first maximum correlation area. And a storage medium storing an image data collation program for causing a computer to execute the control by making a determination by reflecting the difference from the above positional relationship.
JP16676899A 1998-12-28 1999-06-14 Image data collation method, image data collation device, and storage medium storing image data collation program Expired - Fee Related JP3567259B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP16676899A JP3567259B2 (en) 1999-06-14 1999-06-14 Image data collation method, image data collation device, and storage medium storing image data collation program
EP99125650A EP1017008B1 (en) 1998-12-28 1999-12-22 Apparatus and method for collating image
DE69935705T DE69935705T2 (en) 1998-12-28 1999-12-22 Device and method for image comparison
US09/468,633 US6707934B1 (en) 1998-12-28 1999-12-22 Apparatus and method for collating image
AT99125650T ATE358854T1 (en) 1998-12-28 1999-12-22 DEVICE AND METHOD FOR IMAGE COMPARISON
TW089113234A TW522344B (en) 1998-12-28 2000-07-04 Apparatus and method for collating image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16676899A JP3567259B2 (en) 1999-06-14 1999-06-14 Image data collation method, image data collation device, and storage medium storing image data collation program

Publications (2)

Publication Number Publication Date
JP2000357227A true JP2000357227A (en) 2000-12-26
JP3567259B2 JP3567259B2 (en) 2004-09-22

Family

ID=15837347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16676899A Expired - Fee Related JP3567259B2 (en) 1998-12-28 1999-06-14 Image data collation method, image data collation device, and storage medium storing image data collation program

Country Status (1)

Country Link
JP (1) JP3567259B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119733A (en) * 2004-10-19 2006-05-11 Casio Comput Co Ltd Image collation apparatus, image collation method, and image collation program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119733A (en) * 2004-10-19 2006-05-11 Casio Comput Co Ltd Image collation apparatus, image collation method, and image collation program
JP4501627B2 (en) * 2004-10-19 2010-07-14 カシオ計算機株式会社 Image collation device, image collation method, and image collation program

Also Published As

Publication number Publication date
JP3567259B2 (en) 2004-09-22

Similar Documents

Publication Publication Date Title
JP2776295B2 (en) Image index generation method and image index generation device
CN111914834B (en) Image recognition method, device, computer equipment and storage medium
US7970185B2 (en) Apparatus and methods for capturing a fingerprint
US6674902B1 (en) Image processing apparatus image processing method, and storage medium
US20030035098A1 (en) Pose estimation method and apparatus
US6707934B1 (en) Apparatus and method for collating image
JPH05181411A (en) Map information collation and update system
JP2006099602A (en) Image construction method, fingerprint image construction apparatus and program
KR19990074775A (en) Fingerprint Feature Extraction Method
JP2000357227A (en) Image data collation method, image data collation device and storage medium stored with image data collation program
JP2003162719A (en) Detection of pattern in digital image
JP4943228B2 (en) Image matching processing method
JPH08287258A (en) Color image recognition device
JP3718967B2 (en) Image feature amount extraction apparatus and method, and recording medium on which image feature amount extraction program is recorded
JP4088386B2 (en) How to update map information
US6671422B1 (en) Apparatus and method for detecting rough position of two-dimensional code
JP3444160B2 (en) Moving object detection method
JP3386733B2 (en) Image data collation method, image data collation device, and storage medium storing image data collation program
KR100533209B1 (en) Method for detecting image
JP3674418B2 (en) Image data collation device, image data collation method, and storage medium storing image data collation processing program
JP2003216952A (en) Method and device for collation of image data and program therefor
US20020159654A1 (en) Method for processing an image of a concrete construction
JPH06282652A (en) Picture contour extraction device
JP3199009B2 (en) Image storage / management apparatus and image index generation method
KR100443142B1 (en) Apparatus and method for collating image

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040524

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080625

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees