JP2007006139A - Verification device, verification method and program - Google Patents

Verification device, verification method and program Download PDF

Info

Publication number
JP2007006139A
JP2007006139A JP2005183892A JP2005183892A JP2007006139A JP 2007006139 A JP2007006139 A JP 2007006139A JP 2005183892 A JP2005183892 A JP 2005183892A JP 2005183892 A JP2005183892 A JP 2005183892A JP 2007006139 A JP2007006139 A JP 2007006139A
Authority
JP
Japan
Prior art keywords
pattern
information
feature
certificate
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005183892A
Other languages
Japanese (ja)
Other versions
JP4518266B2 (en
Inventor
Hiroshi Abe
博 阿部
Jun Hirai
純 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005183892A priority Critical patent/JP4518266B2/en
Publication of JP2007006139A publication Critical patent/JP2007006139A/en
Application granted granted Critical
Publication of JP4518266B2 publication Critical patent/JP4518266B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a verification device, a verification method and program for improving reliability of photographic paper. <P>SOLUTION: The verification device is provided with an imaging means for imaging a photographing layer printed on a photographing paper where prescribed content is printed, and a patterned layer on an inner face of the photographing paper; an extracting means for extracting characteristics of the photographing layer taken by the imaging means as first characteristic information, and the characteristic of the patterned layer as second characteristic information; and collating means for collating the first characteristic information and the second characteristic information with the information registered as references for recognizing the photographing paper. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、検証装置、検証方法及びプログラムに関し、紙に付された内容を識別する場合に適用して好適なものである。   The present invention relates to a verification apparatus, a verification method, and a program, and is suitable for application when identifying contents attached to paper.

従来、紙は各種内容の印画対象として用いられ、当該内容(以下、これを印画内容と呼ぶ)が印画された印画紙は、例えば貨幣等の商品交換媒体、証明書等の内容証明媒体又は個人の著作物等の情報記憶媒体などの各種媒体として機能するため高い価値を有していることが多い。   Conventionally, paper has been used as an object for printing various contents, and photographic paper on which the contents (hereinafter referred to as “print contents”) are printed is, for example, a commodity exchange medium such as money, a content certification medium such as a certificate, or an individual. It often has high value because it functions as various media such as information storage media such as copyrighted works.

このため、紙媒体に関する変造を防止する各種対処策が提案されており、当該対処策の1つとして、紙の指定領域から紙固有の紋様に基づく紋様情報を例えばバーコードとして当該紙に付しておき、当該バーコードが付された紙の指定領域から取得した紋様情報と、そのバーコードにおける紋様情報との照合結果に基づいて、その紙が原本であるか複製されたものであるかを識別するようにした識別装置が本出願人により提案されている(例えば特許文献1参照)。   For this reason, various countermeasures for preventing tampering with paper media have been proposed. As one of the countermeasures, pattern information based on a pattern specific to the paper from a specified area of the paper is attached to the paper as a barcode, for example. Whether the paper is the original or a copy based on the result of matching between the pattern information acquired from the designated area of the paper with the barcode and the pattern information in the barcode. An identification device adapted for identification has been proposed by the present applicant (see, for example, Patent Document 1).

すなわち、バーコードが付された紙の印画内容を複製すると、その複製紙にはバーコードも複製されるが、その複製紙から取得した紋様情報は、バーコードから得られるオリジナルの紙の紋様情報とは異なるため、識別装置ではその紙が複製されたものであると識別できることとなる。
PCT/JP2005/001176
That is, when the print content of a paper with a barcode attached is duplicated, the barcode is also duplicated on the duplicate paper, but the pattern information obtained from the duplicate paper is the original paper pattern information obtained from the barcode. Therefore, the identification device can identify that the paper is a duplicate.
PCT / JP2005 / 001176

ところがかかる識別装置においては、紙自体を識別するものであるため、例えば写真等の個人情報を印画内容として紙に印画された免許書の写真部分を他の写真にすりかえた場合等の成りすましを検出できず、この結果、印画紙の信頼性を損なうという問題があった。   However, since such an identification device identifies paper itself, for example, impersonation is detected when the photo part of a license printed on paper with personal information such as a photo as a print content is replaced with another photo. As a result, there is a problem that the reliability of the photographic paper is impaired.

本発明は以上の点を考慮してなされたもので、印画紙の信頼性を向上し得る検証装置、検証方法及びプログラムを提案しようとするものである。   The present invention has been made in consideration of the above points, and an object of the present invention is to propose a verification apparatus, a verification method, and a program capable of improving the reliability of photographic paper.

かかる課題を解決するため本発明は、検証装置であって、所定の印画内容が印画された印画紙の表面に印画された印画層と、上記印画紙の内面に有する紋様層とを撮像する撮像手段と、上記撮像手段により撮像された上記印画層の特徴を第1の特徴情報として抽出すると共に、上記紋様層の特徴を第2の特徴情報として抽出する抽出手段と、上記第1の特徴情報及び上記第2の特徴情報を、上記印画紙を識別するための基準として登録された情報と照合する照合手段とを設けるようにした。   In order to solve such a problem, the present invention is a verification apparatus that images a printing layer printed on the surface of a photographic paper on which a predetermined printing content is printed, and a pattern layer on the inner surface of the photographic paper. Means for extracting the feature of the print layer imaged by the imaging means as first feature information, and extracting the feature of the pattern layer as second feature information, and the first feature information And collation means for collating the second feature information with information registered as a reference for identifying the photographic paper.

従って、この検証装置では、印画内容及び印画紙の原紙の性質的変化を検出することができるため、発行時における印画紙に印画された印画内容を別の印画内容に置き換えること、また印画紙を別の紙に複製すること等、多種多様の変造を検出することができる。   Therefore, since this verification apparatus can detect the print content and the property change of the base paper of the photographic paper, the print content printed on the photographic paper at the time of issuance can be replaced with another print content. A wide variety of alterations can be detected, such as copying to another paper.

また本発明は、検証方法であって、所定の印画内容が印画された印画紙の表面に印画された印画層と、上記印画紙の内面に有する紋様層とを撮像する第1のステップと、撮像された上記印画層の特徴を第1の特徴情報として抽出すると共に、上記紋様層の特徴を第2の特徴情報として抽出する第2のステップと、上記第1の特徴情報及び上記第2の特徴情報を、上記印画紙を識別するための基準として登録された情報と照合する第3のステップとを設けるようにした。   Further, the present invention is a verification method, the first step of imaging a print layer printed on the surface of a photographic paper on which a predetermined print content is printed, and a pattern layer on the inner surface of the photographic paper, A second step of extracting the imaged features of the print layer as first feature information and extracting the features of the pattern layer as second feature information; the first feature information and the second feature information; A third step of collating the characteristic information with information registered as a reference for identifying the photographic paper is provided.

従って、この検証方法では、印画内容及び印画紙の原紙の性質的変化を検出することができるため、発行時における印画紙に印画された印画内容を別の印画内容に置き換えること、また印画紙を別の紙に複製すること等、多種多様の変造を検出することができる。   Therefore, since this verification method can detect the print contents and the property changes of the photographic paper base paper, the print contents printed on the photographic paper at the time of issuance can be replaced with other print contents. A wide variety of alterations can be detected, such as copying to another paper.

さらに本発明は、プログラムであって、コンピュータに対して、所定の印画内容が印画された印画紙の表面に印画された印画層と、上記印画紙の内面に有する紋様層とを撮像すること、撮像された上記印画層の特徴を第1の特徴情報として抽出すると共に、上記紋様層の特徴を第2の特徴情報として抽出すること、上記第1の特徴情報及び上記第2の特徴情報を、上記印画紙を識別するための基準として登録された情報と照合することを実行させるようにした。   Further, the present invention is a program, which images a printing layer printed on the surface of a photographic paper on which a predetermined printing content is printed, and a pattern layer on the inner surface of the photographic paper, Extracting the imaged features of the print layer as first feature information, extracting the features of the pattern layer as second feature information, the first feature information and the second feature information, The information registered as a reference for identifying the photographic paper is collated.

従って、このプログラムでは、印画内容及び印画紙の原紙の性質的変化を検出することができるため、発行時における印画紙に印画された印画内容を別の印画内容に置き換えること、また印画紙を別の紙に複製すること等、多種多様の変造を検出することができる。   Therefore, this program can detect changes in the print contents and the photographic paper base paper, so that the print contents printed on the print paper at the time of issuance can be replaced with other print contents, and the print paper can be separated. A wide variety of alterations can be detected, such as copying on paper.

以上のように本発明によれば、印画紙の表面に印画された印画層と、その印画紙の内面に有する紋様層とを撮像し、当該撮像された印画層及び紋様層の特徴をそれぞれ第1の特徴情報及び第2の特徴情報として抽出し、当該第1の特徴情報及び第2の特徴情報を、印画紙を識別するための基準として登録された情報と照合するようにしたことにより、印画内容及び印画紙の原紙の性質的変化を検出することができるため、多種多様の変造を検出することができ、かくして印画紙の信頼性を向上し得る検証装置、検証方法及びプログラムを実現できる。   As described above, according to the present invention, the image layer printed on the surface of the photographic paper and the pattern layer on the inner surface of the photographic paper are imaged, and the characteristics of the imaged print layer and the pattern layer are respectively described. By extracting the first feature information and the second feature information as the first feature information and the second feature information, the first feature information and the second feature information are collated with information registered as a reference for identifying the photographic paper. Since it is possible to detect the photographic contents and the property changes of the photographic paper base, it is possible to detect a wide variety of alterations, thus realizing a verification device, a verification method, and a program that can improve the reliability of the photographic paper. .

以下図面について本発明の一実施の形態を詳述する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

(1)本実施の形態による識別装置の構成
図1において、1は本実施の形態による識別システムの全体構成を示し、証明書WRTを発行する発行装置2と、当該発行装置2で発行された証明書WRTを検証する検証装置3とによって構成される。
(1) Configuration of Identification Device According to this Embodiment In FIG. 1, reference numeral 1 denotes the overall configuration of an identification system according to this embodiment, which is issued by an issuing device 2 that issues a certificate WRT and issued by the issuing device 2 And a verification device 3 that verifies the certificate WRT.

この実施の形態の場合、発行装置2は、例えば個人を特定する文字(以下、これを個人特定文字と呼ぶ)PR及び写真PT等の個人情報を、予め証明用として選定された紙(以下、これを原紙と呼ぶ)STに印画し、証明書WRTを作成する。   In the case of this embodiment, the issuing device 2 uses personal information such as characters (hereinafter referred to as personal identification characters) PR and photographs PT, for example, for identifying individuals as paper (hereinafter referred to as certification). This is called a base paper) and printed on ST to create a certificate WRT.

この際、発行装置2は、写真PT及び原紙ST自体の識別子として、当該写真PTの特徴を表す情報(以下、これを写真特徴データと呼ぶ)と、原紙STにおける繊維の複雑な絡み合いによりその内部に構成された固有の模様(以下、これを紋様と呼ぶ)の特徴を表す情報(以下、これを紋様特徴データと呼ぶ)を生成するとともに、写真PT及び原紙STを含む証明書WRT全体の識別子として、当該証明書WRTの特徴を表す情報(以下、これを証明書特徴データと呼ぶ)を生成し、これらを2次元バーコード(以下、これを識別コードと呼ぶ)DSとして証明書WRTに印画することにより登録するようになされている。   At this time, the issuing device 2 uses information representing the characteristics of the photograph PT (hereinafter referred to as photograph feature data) as an identifier of the photograph PT and the base paper ST itself, and a complicated entanglement of fibers in the base paper ST. Generating the information (hereinafter referred to as pattern feature data) representing the characteristic of the unique pattern (hereinafter referred to as pattern) configured in the above, and the identifier of the entire certificate WRT including the photograph PT and the base paper ST As a result, information representing the characteristics of the certificate WRT (hereinafter referred to as certificate characteristic data) is generated and printed on the certificate WRT as a two-dimensional barcode (hereinafter referred to as an identification code) DS. It is made to register by doing.

一方、検証装置3は、証明書WRTに付された識別コードDSに基づいて、この証明書WRTにおける変造の有無を検出するようになされている。   On the other hand, the verification device 3 detects the presence or absence of alteration in the certificate WRT based on the identification code DS attached to the certificate WRT.

(2)発行装置の構成
この発行装置2は、図2に示すように、当該発行装置2全体の制御を司る制御部11に対して、操作部12と、表示部13と、所定の記憶媒体に記憶されたデータ又は電子カメラにより撮像されたデータを入力するための入力インターフェース14と、原紙STにおける紋様を取得する紋様取得部15と、各種データ処理を施すデータ処理部16と、原紙STを証明書WRTとして発行する証明書発行部17と、紙の白色度及び拡散反射率を測定する物性測定器18とがそれぞれ接続されることにより構成される。
(2) Configuration of issuing device As shown in FIG. 2, the issuing device 2 has an operation unit 12, a display unit 13, and a predetermined storage medium for a control unit 11 that controls the entire issuing device 2. An input interface 14 for inputting data stored in the image or data captured by an electronic camera, a pattern acquisition unit 15 for acquiring a pattern on the base paper ST, a data processing unit 16 for performing various data processing, and the base paper ST. A certificate issuing unit 17 that is issued as a certificate WRT and a physical property measuring device 18 that measures the whiteness and diffuse reflectance of paper are connected to each other.

この制御部11は、CPU(Central Processing Unit)と、プログラムや設定情報等の各種情報が格納されたROM(Read Only Memory)と、ワークメモリとしてのRAM(Random Access Memory)とを有しており、ユーザ操作に応じて操作部12から証明書発行命令が与えられと、例えば氏名、生年月日及び住所等の個人特定文字の入力画面を表示部13に表示する。   The control unit 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory) storing various information such as programs and setting information, and a RAM (Random Access Memory) as a work memory. When a certificate issuance command is given from the operation unit 12 in response to a user operation, an input screen for personally specified characters such as name, date of birth, and address is displayed on the display unit 13.

そして制御部11は、かかる操作部12から個人特定文字を表す個人特定文字データD1が与えられると、この個人特定文字データD1を証明書発行部17に送出すると共に、ROMに格納されたプログラム及び設定情報等に基づいて、入力インターフェース14、紋様取得部15、データ処理部16、証明書発行部17及び物性測定器18を適宜制御して証明書発行処理を実行する。   Then, when the personal identification character data D1 representing the personal identification character is given from the operation unit 12, the control unit 11 sends the personal identification character data D1 to the certificate issuing unit 17, and stores the program stored in the ROM and Based on the setting information and the like, the certificate issuing process is executed by appropriately controlling the input interface 14, the pattern obtaining unit 15, the data processing unit 16, the certificate issuing unit 17, and the physical property measuring device 18.

この場合、入力インターフェース14は、例えばメモリスティック(ソニー登録商標)に記憶された個人特定文字に対応する写真PTのデータ(以下、これを写真データと呼ぶ)D2を読み出し、これをデータ処理部16及び証明書発行部17に送出する。   In this case, the input interface 14 reads, for example, data of the photo PT (hereinafter referred to as photo data) D2 corresponding to the personally specified character stored in the memory stick (Sony registered trademark), and this is read out by the data processing unit 16. And sent to the certificate issuing unit 17.

一方、紋様取得部15は、原稿台に載置された原紙STに光を照射し、当該原紙STを透過することにより得られる紋様投影光を光学系を介して固体撮像素子に結像する。そして紋様取得部15は、この固体撮像素子から出力される紋様画像信号に対してA/D(Analog/Digital)変換処理等の各種処理を施し、この結果得られる紋様画像データD3をデータ処理部16に送出する。   On the other hand, the pattern acquisition unit 15 irradiates the base paper ST placed on the document table with light, and forms pattern projection light obtained by passing through the base paper ST on the solid-state image sensor via the optical system. Then, the pattern acquisition unit 15 performs various processes such as A / D (Analog / Digital) conversion processing on the pattern image signal output from the solid-state imaging device, and the pattern image data D3 obtained as a result thereof is a data processing unit. 16 to send.

そして紋様取得部15は、原稿台に載置された原紙STを、送り機構により証明書発行部17における印画位置にセットするようになされている。   The pattern obtaining unit 15 sets the base paper ST placed on the document table at the print position in the certificate issuing unit 17 by the feeding mechanism.

データ処理部16は、入力インターフェース14から供給される写真データD2における画素ごとの輝度値の分布のパターン(以下、これを輝度分布パターンと呼ぶ)として、例えば輝度分布の尖度、平均値、歪度、分散値またはこれらの組み合わせを検出し、当該検出結果を写真特徴データD4として証明書発行部17に送出する。   The data processing unit 16 uses, for example, the kurtosis, the average value, and the distortion of the luminance distribution as a luminance value distribution pattern for each pixel in the photographic data D2 supplied from the input interface 14 (hereinafter referred to as a luminance distribution pattern). The degree, the variance value, or a combination thereof is detected, and the detection result is sent to the certificate issuing unit 17 as the photograph feature data D4.

またデータ処理部16は、紋様取得部14から供給される紋様画像データD2に対して、所定の紋様抽出処理を施すことにより、紋様のパターン(以下、これを紋様パターンと呼ぶ)を抽出する。この紋様パターンは、例えば後述する紋様抽出処理により抽出される。そしてデータ処理部16は、この紋様パターンを紋様特徴データD5として生成し、これを証明書発行部17に送出する。   In addition, the data processing unit 16 performs a predetermined pattern extraction process on the pattern image data D2 supplied from the pattern acquisition unit 14, thereby extracting a pattern (hereinafter referred to as a pattern pattern). This pattern pattern is extracted by, for example, a pattern extraction process described later. Then, the data processing unit 16 generates this pattern pattern as pattern feature data D5 and sends it to the certificate issuing unit 17.

証明書発行部17は、データ処理部16から供給される紋様特徴データD5及び写真特徴データD4を内部メモリ(図示せず)に一時的に記憶保持する。また証明書発行部17は、制御部11から供給される個人特定文字データD1と、入力インターフェース部14から供給される写真データD2とに基づいて、所定の印画位置にセットされた原紙STの紙面の所定位置に、当該個人特定文字PR及び写真PT(図1)をそれぞれ印画し、この印画結果として作成される証明書WRT(図1)を、送り機構により物性測定器18における測定位置にセットする。   The certificate issuing unit 17 temporarily stores and holds the pattern feature data D5 and the photograph feature data D4 supplied from the data processing unit 16 in an internal memory (not shown). Further, the certificate issuing unit 17 is based on the personal identification character data D1 supplied from the control unit 11 and the photograph data D2 supplied from the input interface unit 14, and the paper surface of the base paper ST set at a predetermined printing position. The personal identification character PR and the photograph PT (FIG. 1) are respectively printed at predetermined positions, and the certificate WRT (FIG. 1) created as a result of the printing is set at the measurement position in the physical property measuring instrument 18 by the feeding mechanism. To do.

物性測定器18は、測定位置にセットされた証明書WRTにおける所定の領域の白色度及び拡散反射率を測定し、当該測定した白色度及び拡散反射率を証明書特徴データD6として証明書発行部17に送出する。この後、物性測定器18は、測定位置にセットされた証明書WRTを、送り機構により証明書発行部17における印画位置に再度セットする。   The physical property measuring device 18 measures the whiteness and diffuse reflectance of a predetermined area in the certificate WRT set at the measurement position, and uses the measured whiteness and diffuse reflectance as certificate feature data D6 to issue a certificate issuing unit. 17 to send. Thereafter, the physical property measuring device 18 sets the certificate WRT set at the measurement position again at the print position in the certificate issuing unit 17 by the feeding mechanism.

証明書発行部17は、かかる物性測定器18から証明書特徴データD6を受けると、内部メモリ(図示せず)に一時的に記憶保持した紋様特徴データD5及び写真特徴データD4を読み出し、当該写真特徴データD4及び証明書特徴データD6を紋様特徴データD5における所定の埋込位置に埋め込む電子透かし処理を施す。   Upon receiving the certificate feature data D6 from the physical property measuring instrument 18, the certificate issuing unit 17 reads the pattern feature data D5 and the photograph feature data D4 temporarily stored in an internal memory (not shown), and the photograph A digital watermarking process for embedding the feature data D4 and the certificate feature data D6 at a predetermined embedding position in the pattern feature data D5 is performed.

そして証明書発行部17は、この電子透かし処理により写真特徴データD4及び証明書特徴データD6が埋め込まれた紋様特徴データ(以下、これを特徴データと呼ぶ)に対して、2次元バーコード変換処理を施すことにより識別コードデータを生成し、この識別コードデータに基づく識別コードDS(図1)を、印画位置にセットされた証明書WRTの紙面の所定位置に印画する。   Then, the certificate issuing unit 17 performs two-dimensional barcode conversion processing on the pattern feature data in which the photograph feature data D4 and the certificate feature data D6 are embedded by the digital watermark processing (hereinafter referred to as feature data). To generate identification code data, and an identification code DS (FIG. 1) based on the identification code data is printed at a predetermined position on the paper surface of the certificate WRT set at the printing position.

このようにして制御部11は、証明書発行処理を実行することにより、原紙ST(図1)に個人特定文字PR及び写真PTを印画した証明書WRTを作成するとともに、当該証明書WRTに識別コードDSを付すことができるようになされている。   In this way, the control unit 11 executes the certificate issuance process, thereby creating a certificate WRT in which the personal specific character PR and the photograph PT are printed on the base paper ST (FIG. 1) and identifying the certificate WRT. The code DS can be attached.

(3)紋様抽出処理の具体的な処理
ここで、かかるデータ処理部16による紋様抽出処理例を詳細に説明する。紋様抽出処理は、その内容を機能的に分類すると、図3に示すように、紋様画像から低域周波数成分の紋様画像(以下、これを低域紋様画像と呼ぶ)を抽出する低域周波数成分抽出部16Aと、当該低域紋様画像を低輝度成分の画像(以下、これを黒成分紋様画像と呼ぶ)及び高輝度成分の画像(以下、これを白成分紋様画像と呼ぶ)に分離する画像分離部16Bと、当該黒成分紋様画像及び白成分紋様画像に有する紋様を複数の領域に区割りする領域区割部16Cと、当該各領域それぞれの特徴量を紋様パターンとして抽出する紋様パターン抽出部16Dとに分けることができる。
(3) Specific Processing of Pattern Extraction Processing Here, an example of pattern extraction processing by the data processing unit 16 will be described in detail. In the pattern extraction process, when the contents are functionally classified, as shown in FIG. 3, a low-frequency component that extracts a low-frequency component pattern image (hereinafter referred to as a low-frequency pattern image) from the pattern image. An image that separates the low-frequency pattern image into an image with a low luminance component (hereinafter referred to as a black component pattern image) and an image with a high luminance component (hereinafter referred to as a white component pattern image). A separation unit 16B, a region division unit 16C that divides the pattern included in the black component pattern image and the white component pattern image into a plurality of regions, and a pattern pattern extraction unit 16D that extracts the feature amount of each region as a pattern pattern And can be divided into

(3−1)低域周波数成分抽出処理
低域周波数成分抽出部16Aは、例えば図4に示すように、原紙ST(図1)の紋様画像IM1(図4(A))から低域成分紋様画像IM2(図4(B))を抽出する。
(3-1) Low-frequency component extraction process The low-frequency component extractor 16A, for example, as shown in FIG. 4, generates a low-frequency component pattern from the pattern image IM1 (FIG. 4A) of the base paper ST (FIG. 4). An image IM2 (FIG. 4B) is extracted.

具体的に低域周波数成分抽出部16Aは、紋様取得部14から供給される紋様画像データD2の紋様画像のうち、内部メモリに記憶された領域位置情報に基づく位置の紋様画像を切り出し、当該切り出した紋様画像IM1のデータに対してフーリエ変換処理を施すことにより周波数成分のデータを生成する。   Specifically, the low frequency component extraction unit 16A cuts out a pattern image at a position based on the region position information stored in the internal memory from the pattern image of the pattern image data D2 supplied from the pattern acquisition unit 14, and extracts the pattern image. The frequency component data is generated by subjecting the data of the pattern image IM1 to Fourier transform processing.

そして低域周波数成分抽出部16Aは、この周波数成分のデータに対して、所定閾値以上の高周波成分のデータ値を「0」とした後に逆フーリエ変換処理を施すことにより低域成分紋様画像IM2のデータ(以下、これを低域紋様画像データと呼ぶ)D11を生成し、これを画像分離部16Bに送出する。   Then, the low-frequency component extraction unit 16A performs an inverse Fourier transform process on the data of the frequency component after setting the data value of the high-frequency component equal to or greater than a predetermined threshold to “0”, thereby generating the low-frequency component pattern image IM2. Data (hereinafter referred to as low-band pattern image data) D11 is generated and sent to the image separation unit 16B.

このようにして低域周波数成分抽出部16Aは、低域成分紋様画像IM2を抽出することにより、例えば紋様取得部14での固体撮像素子のノイズ等、一般に画像の高周波成分に含まれる各種ノイズ成分を除去することができるようになされている。   In this way, the low frequency component extraction unit 16A extracts the low frequency component pattern image IM2, and thus various noise components generally included in the high frequency components of the image, such as noise of the solid-state image sensor in the pattern acquisition unit 14, for example. Has been made so that it can be removed.

この結果、低域周波数成分抽出部16Aは、各種ノイズ成分に起因する紋様パターン抽出部16Dでの紋様パターン(特徴量)の抽出精度の低下を回避させることができることとなる。   As a result, the low frequency component extraction unit 16A can avoid a decrease in pattern pattern (feature amount) extraction accuracy in the pattern pattern extraction unit 16D due to various noise components.

(3−2)画像分離処理
画像分離部16Bは、例えば図5に示すように、低域成分紋様画像IM2(図5(A))を、白成分紋様画像WIM(図5(B))と、黒成分紋様画像BIM(図5(C))とに分離する。
(3-2) Image Separation Processing As shown in FIG. 5, for example, the image separation unit 16B converts the low-frequency component pattern image IM2 (FIG. 5A) into a white component pattern image WIM (FIG. 5B). The black component pattern image BIM (FIG. 5C) is separated.

具体的に画像分離部16Bは、低域周波数成分抽出部16Aから供給される低域紋様画像データD11の低域成分紋様画像IM2の輝度値を画素ごとに順次検出し、当該検出結果が所定の高輝度閾値(以下、これを白閾値と呼ぶ)以下の輝度値でなる画素(以下、これを白画素と呼ぶ)以外の画素を最も低い輝度レベルに変換するようにして白成分紋様画像WIM(図5(B))を抽出し、これを白成分紋様画像データD12として領域区割部16Cに送出する。   Specifically, the image separation unit 16B sequentially detects the luminance value of the low frequency component pattern image IM2 of the low frequency pattern image data D11 supplied from the low frequency component extraction unit 16A for each pixel, and the detection result is a predetermined value. A white component pattern image WIM (in which a pixel other than a pixel having a luminance value equal to or lower than a high luminance threshold (hereinafter referred to as a white threshold) (hereinafter referred to as a white pixel) is converted to the lowest luminance level. 5B) is extracted, and is sent to the area dividing unit 16C as white component pattern image data D12.

また画像分離部16Bは、低域成分紋様画像IM2における各画素の輝度値の検出結果が所定の低輝度閾値(以下、これを黒閾値と呼ぶ)以上となる輝度値を有する画素(以下、これを黒画素と呼ぶ)以外の画素を最も高い輝度レベルに変換するようにして黒成分紋様画像BIM(図5(C))を抽出し、これを黒成分紋様画像データD13として領域区割部16Cに送出するようになされている。   The image separation unit 16B also detects a pixel (hereinafter referred to as a pixel) having a luminance value at which the luminance value detection result of each pixel in the low-frequency component pattern image IM2 is equal to or higher than a predetermined low luminance threshold (hereinafter referred to as a black threshold). The black component pattern image BIM (FIG. 5C) is extracted by converting the pixels other than (referred to as black pixels) to the highest luminance level, and this is extracted as the black component pattern image data D13 and the area dividing unit 16C. To be sent to.

このようにして画像分離部16Bは、低域成分紋様画像IM2を白成分紋様画像WIM(図5(B))と黒成分紋様画像BIM(図5(C))とに分離することにより、紋様の複雑さの程度を低減することができるようになされている。   In this way, the image separation unit 16B separates the low-frequency component pattern image IM2 into the white component pattern image WIM (FIG. 5B) and the black component pattern image BIM (FIG. 5C), thereby providing a pattern. The degree of complexity can be reduced.

この結果、画像分離部16Bは、複雑さの程度が大きいことに起因する紋様パターン抽出部16Dでの紋様パターン(特徴量)の抽出精度の低下を回避させることができることとなる。   As a result, the image separation unit 16B can avoid a decrease in the pattern pattern (feature amount) extraction accuracy in the pattern pattern extraction unit 16D due to the high degree of complexity.

(3−3)領域区割処理
領域区割部16Cは、図5に示したように、白成分紋様画像WIM(図5(B))に有する紋様を、隣接する白画素の集合を単位とする領域(以下、これを白ダマと呼ぶ)に区割りすると共に、黒成分紋様画像BIM(図5(C))に有する紋様を、隣接する黒画素の集合を単位とする領域(以下、これを黒ダマと呼ぶ)に区割りする。
(3-3) Area division processing As shown in FIG. 5, the area division unit 16C uses the pattern of the white component pattern image WIM (FIG. 5B) as a unit of a set of adjacent white pixels. Area (hereinafter referred to as a white dama) to be divided, and a pattern having a black component pattern image BIM (FIG. 5C) in units of a set of adjacent black pixels (hereinafter referred to as this). It is divided into black dama).

具体的に領域区割部16Cは、画像分離部16Bから供給される白成分紋様画像データD12の白成分紋様画像WIM(図5(B))から全ての白画素を検出した後、図6(A)に示すように、任意の注目画素APに隣接する上下左右方向の4画素及び斜め方向の4画素の計8画素(以下、これを8近傍画素と呼ぶ)の白画素を順次連結していく。   Specifically, the area dividing unit 16C detects all white pixels from the white component pattern image WIM (FIG. 5B) of the white component pattern image data D12 supplied from the image separation unit 16B, and then detects the white pixels shown in FIG. As shown in A), a total of 8 pixels (hereinafter referred to as 8 neighboring pixels) of 4 pixels vertically and horizontally adjacent to an arbitrary pixel of interest AP and 4 pixels diagonally are connected sequentially. Go.

そして領域区割部16Cは、例えば図6(B)に示すように、8近傍画素に白画素が検出されなくなった時点で、これまで連結した白画素群に識別情報を対応付けて白ダマWD、WD……、及びWDを形成する。この結果、例えば図7(A)に示すように、白成分紋様画像WIM(図5(B))に有する紋様は複数の白ダマWD(WD〜WD)に区割りされることになる。 Then, for example, as shown in FIG. 6B, the area dividing unit 16C associates the identification information with the white pixel group that has been connected so far when the white pixel is no longer detected in the 8 neighboring pixels, and the white dama WD. 1 , WD 2 ..., And WD n . As a result, as shown in FIG. 7A, for example, the pattern included in the white component pattern image WIM (FIG. 5B) is divided into a plurality of white damascene WDs (WD 1 to WD n ).

次いで領域区割部16Cは、図7(B)に示すように、各白ダマWDから予め規定された連結数以下となるダマ(以下、これを小ダマと呼ぶ)を除去し、当該除去した結果得られた白ダマWD(WD〜WD)をデータ(以下、これを白ダマデータと呼ぶ)D14として紋様パターン抽出部16Dに送出する。 Next, as shown in FIG. 7B, the area dividing unit 16C removes a dama that is equal to or less than a predetermined number of connections from each white dama WD (hereinafter referred to as a small dama), and removes the dama. The obtained white dama WD (WD 1 to WD n ) is sent to the pattern pattern extraction unit 16D as data (hereinafter referred to as white dama data) D14.

また領域区割部16Cは、画像分離部16Bから供給される黒成分紋様画像データD13の黒成分紋様画像BIM(図5(C))についても白成分紋様画像WIM(図5(B))と同様にして複数の黒ダマBD(BD〜BD)を形成した後に小ダマを除去し、当該除去した結果得られた黒ダマBD(BD〜BD)をデータ(以下、これを黒ダマデータと呼ぶ)D15として紋様パターン抽出部16Dに送出するようになされている。 Further, the area division unit 16C also sets the black component pattern image BIM (FIG. 5C) of the black component pattern image data D13 supplied from the image separation unit 16B as the white component pattern image WIM (FIG. 5B). Similarly, after forming a plurality of black dams BD (BD 1 to BD n ), the small dams are removed, and the black dams BD (BD 1 to BD n ) obtained as a result of the removal are used as data (hereinafter referred to as black). The data is sent to the pattern pattern extraction unit 16D as D15).

このようにして領域区割部16Cは、白成分紋様画像WIM(図5(B))に有する紋様を複数の白ダマWD(WD〜WD)に区割りすると共に、黒成分紋様画像BIM(図5(C))に有する紋様を複数の黒ダマBD(BD〜BD)に区割りすることにより、当該紋様を細分化することができるようになされている。 In this way, the area dividing unit 16C divides the pattern included in the white component pattern image WIM (FIG. 5B) into a plurality of white damascene WDs (WD 1 to WD n ) and the black component pattern image BIM ( By dividing the pattern shown in FIG. 5C into a plurality of black dams BD (BD 1 to BD n ), the pattern can be subdivided.

この結果、領域区割部16Cは、紋様パターン抽出部16Dでの紋様パターン(特徴量)の抽出精度の低下を回避させることができることとなる。   As a result, the area dividing unit 16C can avoid a decrease in pattern pattern (feature amount) extraction accuracy in the pattern pattern extracting unit 16D.

(3−4)紋様パターン抽出処理
紋様パターン抽出部16Dは、各白ダマWD(WD〜WD)及び各黒ダマBD(BD〜BD)における形状を表す特徴量を紋様パターンとして抽出する。
(3-4) Pattern Pattern Extraction Processing The pattern pattern extraction unit 16D extracts feature amounts representing shapes in the white dama WD (WD 1 to WD n ) and the black dama BD (BD 1 to BD n ) as a pattern pattern. To do.

実際上、紋様パターン抽出部16Dにおいては、白ダマWD及び黒ダマBDそれぞれをそのまま紋様パターンとするには、当該白ダマWD及び黒ダマBDの形状が複雑であるため困難となることから、当該白ダマWD及び黒ダマBDそれぞれを例えば矩形に近似させる。   In practice, in the pattern pattern extraction unit 16D, it is difficult to make the white dama WD and the black dama BD as they are as they are because the shapes of the white dama WD and the black dama BD are complicated. Each of the white dama WD and the black dama BD is approximated to a rectangle, for example.

すなわち紋様パターン抽出部16Dは、図8に示すように、領域区割部16Cから供給される白ダマデータD14の白ダマWD(WD〜WD)それぞれについて、当該白ダマにおける中心座標(x,y)、長辺l、短辺w及び長辺lと水平軸とのなす角度θを特徴量として算出する。 That is, as shown in FIG. 8, the pattern pattern extraction unit 16D, for each white dama WD (WD 1 to WD n ) of the white dama data D14 supplied from the area division unit 16C, the center coordinates (x c ) in the white dama , y c ), the long side l, the short side w, and the angle θ between the long side l and the horizontal axis are calculated as feature quantities.

同様に紋様パターン抽出部16Dは、領域区割部16Cから供給される黒ダマデータD15の黒ダマBD(BD〜BD)それぞれについても白ダマWD(WD〜WD)と同様に特徴量を算出する。 Similarly, the pattern pattern extraction unit 16D also features the black dama data BD (BD 1 to BD n ) of the black dama data D15 supplied from the area division unit 16C in the same manner as the white dama WD (WD 1 to WD n ). Is calculated.

そして紋様パターン抽出部16Dは、白ダマWD(WD〜WD)及び黒ダマBD(BD〜BD)それぞれの特徴量(以下、これを紋様特徴量と呼ぶ)を紋様特徴データD5として証明書発行部17(図2)に送出するようになされている。 Then, the pattern pattern extraction unit 16D uses, as the pattern feature data D5, the feature amounts of the white dama WD (WD 1 to WD n ) and the black dama BD (BD 1 to BD n ) (hereinafter referred to as pattern feature amounts). The certificate is issued to the certificate issuing unit 17 (FIG. 2).

このようにしてデータ処理部16は紋様抽出処理を実行し、紋様画像IM1(図4(A))に有する紋様の特徴的なパターンを形状値として特定することができるようになされている。   In this way, the data processing unit 16 executes the pattern extraction process, and can specify the characteristic pattern of the pattern included in the pattern image IM1 (FIG. 4A) as the shape value.

(4)検証装置の構成
次に、検証装置3の構成を説明する。この検証装置3は、図9に示すように、当該検証装置3全体の制御を司る制御部31に対して、操作部32と、紙の白色度及び拡散反射率を測定する物性測定器33と、証明書WRTを撮像する証明書撮像部34と、当該撮像された識別コードDSから特徴データ(紋様特徴データD5に対して写真特徴データD4が埋め込まれたデータ)を復元する復元処理部35と、当該撮像された写真PT及び紋様の特徴を抽出する特徴抽出部36と、当該抽出された特徴を合成する合成部37がそれぞれ接続されることにより構成される。
(4) Configuration of Verification Device Next, the configuration of the verification device 3 will be described. As shown in FIG. 9, the verification device 3 has an operation unit 32 and a physical property measuring device 33 that measures the whiteness and diffuse reflectance of the paper with respect to the control unit 31 that controls the verification device 3 as a whole. A certificate imaging unit 34 that images the certificate WRT, and a restoration processing unit 35 that restores feature data (data in which the photographic feature data D4 is embedded in the pattern feature data D5) from the captured identification code DS. The feature extraction unit 36 that extracts the photographed photograph PT and pattern features and the synthesis unit 37 that synthesizes the extracted features are connected to each other.

この制御部31は、CPUと、プログラムや設定情報等の各種情報が格納されたROMと、ワークメモリとしてのRAMとを有しており、ユーザ操作に応じて操作部32から検証命令が与えられと、当該プログラム及び設定情報等に基づいて、物性測定器33、証明書撮像部34、復元処理部35、特徴抽出部36及び合成部37を適宜制御して検証処理を実行する。   The control unit 31 includes a CPU, a ROM that stores various information such as programs and setting information, and a RAM as a work memory. A verification command is given from the operation unit 32 in response to a user operation. Based on the program and setting information, the physical property measuring device 33, the certificate imaging unit 34, the restoration processing unit 35, the feature extraction unit 36, and the synthesis unit 37 are appropriately controlled to execute verification processing.

この場合、物性測定器33は、測定位置にセットされた証明書WRTにおける所定の領域の白色度及び拡散反射率を測定し、当該測定した白色度及び拡散反射率を証明書特徴データD21として合成部37に送出する。この後、物性測定器33は、測定位置にセットされた証明書WRTを、送り機構により証明書撮像部34における撮像位置にセットする。   In this case, the physical property measuring device 33 measures the whiteness and diffuse reflectance of a predetermined area in the certificate WRT set at the measurement position, and synthesizes the measured whiteness and diffuse reflectance as the certificate feature data D21. To the unit 37. Thereafter, the physical property measuring device 33 sets the certificate WRT set at the measurement position at the imaging position in the certificate imaging unit 34 by the feeding mechanism.

証明書撮像部34は、撮像位置にセットされた証明書WRTにおける表面層と、内部層とを撮像する。   The certificate imaging unit 34 images the surface layer and the inner layer in the certificate WRT set at the imaging position.

具体的に証明書撮像部34は、例えば図10に示すように、互いに異なる位置に設けられた透過用としての第1の光源(以下、これを透過用光源と呼ぶ)34Aと、反射用としての第2の光源(以下、これを反射用光源と呼ぶ)34Bとを有し、原稿台(図示せず)にされた証明書WRTに対して透過用光源34Aから光を照射し、当該証明書WRTを透過することにより得られる紋様投影光を光学系を介して固体撮像素子34Cに結像する。そして証明書撮像部34は、この固体撮像素子34Cから得られる紋様画像信号に対してA/D(Analog/Digital)変換処理等の各種処理を施し、この結果得られた紋様画像データD22を特徴抽出部36に送出する。   Specifically, for example, as shown in FIG. 10, the certificate imaging unit 34 includes a first light source 34A for transmission (hereinafter referred to as a light source for transmission) provided at different positions, and a reflection light source 34A. A second light source (hereinafter referred to as a reflection light source) 34B, and irradiates light from a transmission light source 34A to a certificate WRT placed on a document table (not shown). The pattern projection light obtained by passing through the book WRT is imaged on the solid-state imaging device 34C via the optical system. The certificate imaging unit 34 performs various processes such as an A / D (Analog / Digital) conversion process on the pattern image signal obtained from the solid-state image sensor 34C, and features the pattern image data D22 obtained as a result. The data is sent to the extraction unit 36.

一方、証明書撮像部34は、原稿台に載置された証明書WRTに対して反射用光源34Bから光を照射し、当該証明書WRTの表面の個人特定文字PR、写真PT及び識別コードDSを反射することにより得られる表層反射光を光学系を介して固体撮像素子34Cに結像する。そして証明書撮像部34は、この固体撮像素子34Cから得られる表層画像信号に対してA/D変換処理等を施し、この結果得られた表層画像データD23をデータ復元処理部35に送出する。   On the other hand, the certificate imaging unit 34 irradiates the certificate WRT placed on the document table with light from the reflection light source 34B, and the personal specific characters PR, the photograph PT, and the identification code DS on the surface of the certificate WRT. Is reflected on the solid-state image sensor 34C via an optical system. Then, the certificate imaging unit 34 performs A / D conversion processing or the like on the surface layer image signal obtained from the solid-state imaging device 34C, and sends the surface layer image data D23 obtained as a result to the data restoration processing unit 35.

復元処理部35(図10)は、表層画像データD23のうち、写真PTのデータと、識別コードDSのデータとをそれぞれ切り出し、当該切り出した写真PTのデータを写真データD24として特徴抽出部36に送出する。   The restoration processing unit 35 (FIG. 10) cuts out the data of the photo PT and the data of the identification code DS from the surface layer image data D23, and uses the cut out photo PT data as photo data D24 to the feature extraction unit 36. Send it out.

また復元処理部35は、識別コードDSのデータに対して、2次元バーコード復元処理を施すことにより特徴データ(紋様特徴データD5(図2)に写真特徴データD4(図2)及び証明書特徴データD6(図2)が埋め込まれたデータ)D25を生成し、これを制御部31に送出する。   Further, the restoration processing unit 35 performs feature data (pattern feature data D5 (FIG. 2), photo feature data D4 (FIG. 2), and certificate feature) by performing two-dimensional barcode restoration processing on the data of the identification code DS. Data D6 (data in which data D6 (FIG. 2) is embedded) D25 is generated and sent to the control unit 31.

特徴抽出部36は、証明書撮像部34から供給される紋様画像データD22に対して、データ処理部16(図2)における紋様抽出処理と同一の処理を施すことにより、当該紋様の特徴を表す紋様特徴データD26を生成し、これを合成部37に送出する。   The feature extraction unit 36 performs the same process as the pattern extraction process in the data processing unit 16 (FIG. 2) on the pattern image data D22 supplied from the certificate imaging unit 34, thereby expressing the feature of the pattern. The pattern feature data D26 is generated and sent to the synthesis unit 37.

また特徴抽出部36は、復元処理部35から供給される写真データD24に基づいて、データ処理部16(図2)と同様に、当該写真データD24における輝度分布パターンを写真特徴データD27として生成し、これを合成部37に送出する。   The feature extraction unit 36 generates a luminance distribution pattern in the photographic data D24 as photographic feature data D27 based on the photographic data D24 supplied from the restoration processing unit 35, similarly to the data processing unit 16 (FIG. 2). This is sent to the synthesis unit 37.

そして合成部37は、かかる写真特徴データD27と、物性測定器33から供給される証明書特徴データD21とを、証明書発行部17と同様にして紋様特徴データD26における所定の埋込位置に埋め込み、当該写真特徴データD27及び証明書特徴データD21が埋め込まれた紋様特徴データD26を、特徴データD25に対する比較対象のデータ(以下、これを比較特徴データと呼ぶ)D28として生成し、これを制御部31に送出する。   Then, the synthesizer 37 embeds the photograph feature data D27 and the certificate feature data D21 supplied from the physical property measuring device 33 in a predetermined embedding position in the pattern feature data D26 in the same manner as the certificate issuer 17. The pattern feature data D26 in which the photograph feature data D27 and the certificate feature data D21 are embedded is generated as data to be compared with the feature data D25 (hereinafter referred to as comparison feature data) D28, and this is generated as a control unit. 31.

このようにして制御部31は、物性測定器33、証明書撮像部34、復元処理部35及び特徴抽出部36を制御することによって、復元処理部35から特徴データD25を受けると共に、合成部37から比較特徴データD28を受けると、これらを照合する。   In this way, the control unit 31 controls the physical property measuring device 33, the certificate imaging unit 34, the restoration processing unit 35, and the feature extraction unit 36, thereby receiving the feature data D25 from the restoration processing unit 35 and the combining unit 37. When the comparison feature data D28 is received from these, they are collated.

ここで、この照合結果として、所定の合致度よりも低い値が得られた場合、このことは、発行時の写真PTを別の写真に置き換える、あるいは、発行時の証明書WRTを複製する等して証明書WRTが変造されていることを意味する。   Here, when a value lower than the predetermined matching degree is obtained as a result of this collation, this means that the photo PT at the time of issuance is replaced with another photo, or the certificate WRT at the time of issuance is duplicated. This means that the certificate WRT has been altered.

従って、制御部31は、かかる照合結果が所定の合致度以上の値として得られた場合には、証明書WRTが変造されていないものと判定し、これに対して、照合結果が所定の合致度未満の値として得られた場合には、証明書WRTが変造されたものと判定する。   Therefore, the control unit 31 determines that the certificate WRT has not been tampered with when the collation result is obtained as a value equal to or greater than the predetermined matching degree, and the collation result is a predetermined match. If it is obtained as a value less than the degree, it is determined that the certificate WRT has been altered.

このようにして検証装置3は、証明書WRTの識別コードDSに基づいて、この証明書WRTにおける変造の有無を検出することができるようになされている。   In this way, the verification device 3 can detect the presence / absence of alteration in the certificate WRT based on the identification code DS of the certificate WRT.

(5)動作及び効果
以上の構成において、この検証装置3は、証明書WRT(図1)における表面に印画された写真PT(図10)と、当該証明書WRTに内面に有する紋様とをそれぞれ撮像し、当該撮像された写真PTのデータにおける輝度分布パターンを表す写真特徴データD27(図9)を生成すると共に、当該撮像された紋様のデータにおける紋様パターンを表す紋様特徴データD26(図9)を生成する。
(5) Operation and Effect In the above configuration, the verification device 3 includes the photograph PT (FIG. 10) printed on the surface of the certificate WRT (FIG. 1) and the pattern on the inner surface of the certificate WRT. Photograph feature data D27 (FIG. 9) representing a luminance distribution pattern in the photographed photograph PT data is generated, and pattern feature data D26 (FIG. 9) representing a pattern pattern in the photographed pattern data. Is generated.

そして検証装置3は、これら2つの特徴データD26、D27を、証明書WRTを識別するためにその証明書WRTに予め付された識別コードDSから得られる情報と照合する。   Then, the verification device 3 collates these two feature data D26 and D27 with information obtained from the identification code DS added in advance to the certificate WRT in order to identify the certificate WRT.

従って、この検証装置3では、写真PT及び証明書WRTの原紙ST(図1)の性質的変化を検出することができるため、発行時における証明書WRTの写真PTを別の写真に置き換えること、また証明書WRTを別の紙に複製すること等、多種多様の変造を検出することができる。   Therefore, since this verification apparatus 3 can detect the property change of the base paper ST (FIG. 1) of the photograph PT and the certificate WRT, the photograph PT of the certificate WRT at the time of issuance is replaced with another photograph. It is also possible to detect a wide variety of alterations such as copying the certificate WRT to another paper.

また、この実施の形態における検証装置3は、かかる2つの特徴データD26、D27を比較特徴データD28として合成しており、具体的には、紋様特徴データD26における所定の埋込位置に写真特徴データD27を埋め込むことによって比較特徴データD28を生成する。   Further, the verification device 3 in this embodiment combines the two feature data D26 and D27 as the comparison feature data D28. Specifically, the photographic feature data is placed at a predetermined embedding position in the pattern feature data D26. Comparison feature data D28 is generated by embedding D27.

従って、この検証装置3では、紋様特徴データD26及び写真特徴データD27の合成によりデータ変化が強調されるため、例えば証明書WRTの写真PTが双子の一方であり、当該写真PTを双子の他方に置き換える等のように、当該置き換えても写真特徴データD27に変化として表れることのない巧妙な変造であったとしても、これを検出することができる。   Therefore, in the verification device 3, since the data change is emphasized by combining the pattern feature data D26 and the photograph feature data D27, for example, the photograph PT of the certificate WRT is one of the twins, and the photograph PT is the other of the twins. Even if it is a clever alteration that does not appear as a change in the photographic feature data D27 even if the replacement is performed, such as a replacement, this can be detected.

さらに、この実施の形態における検証装置3は、証明書WRTにおける白色度及び拡散反射率を表す物性データD21(図9)を生成し、これを写真特徴データD27とともに紋様特徴データD26における所定の埋込位置に埋め込む。   Further, the verification device 3 in this embodiment generates physical property data D21 (FIG. 9) representing the whiteness and diffuse reflectance in the certificate WRT, and this is combined with the predetermined feature embedding in the pattern feature data D26 together with the photographic feature data D27. Embed in the position.

従って、この検証装置3では、写真PT及び紙自体の性質的変化のみならず、これらが印画された証明書WRT全体としての性質的変化についても検出することができるため、より一段と変造を検出することができる。   Therefore, the verification device 3 can detect not only the property change of the photograph PT and the paper itself, but also the property change of the certificate WRT as a whole on which the photo PT is printed. be able to.

以上の構成によれば、証明書WRTにおける表面に印画された写真PTにおける写真特徴データD27(図9)と、当該証明書WRTに内面に有する紋様における紋様特徴データD26とを生成し、これらを、当該証明書WRTを識別するためにその証明書WRTに予め付された識別コードDSから得られる情報と照合するようにしたことにより、写真PT及び証明書WRTの原紙ST(図1)の性質的変化を検出することができるため、多種多様の変造を検出することができ、かくして証明書WRTの信頼性を向上することができる。   According to the above configuration, the photograph feature data D27 (FIG. 9) in the photograph PT printed on the surface of the certificate WRT and the pattern feature data D26 in the pattern on the inner surface of the certificate WRT are generated, and these are generated. In order to identify the certificate WRT, the property of the base paper ST (FIG. 1) of the photograph PT and the certificate WRT is obtained by collating with the information obtained from the identification code DS added in advance to the certificate WRT. Therefore, a wide variety of alterations can be detected, and thus the reliability of the certificate WRT can be improved.

(6)他の実施の形態
上述の実施の形態においては、所定の印画内容が印画された印画紙として、写真PT及び個人特定文字PRが原紙STに印画された証明書WRTを適用するようにした場合について述べたが、本発明はこれに限らず、貨幣、免許書、イベントのチケット、絵画又は小切手等を適用することができる。要は、商品交換媒体、内容証明媒体又は情報記憶媒体などの各種媒体として用いられる種々の印画紙を幅広く適用することができる。
(6) Other Embodiments In the above-described embodiment, the certificate WRT in which the photograph PT and the personal identification character PR are printed on the base paper ST is applied as the photographic paper on which the predetermined printing content is printed. However, the present invention is not limited to this, and money, a license, an event ticket, a picture, a check, or the like can be applied. In short, various photographic papers used as various media such as merchandise exchange media, content certification media, or information storage media can be widely applied.

また上述の実施の形態においては、原紙STに写真PTを単に印画するようにした場合について述べたが、本発明はこれに限らず、当該原紙STに印画された写真PTを、可視光を反射する染料で隠蔽するようにしても良い。   In the above-described embodiment, the case where the photograph PT is simply printed on the base paper ST has been described. However, the present invention is not limited to this, and the photograph PT printed on the base paper ST reflects the visible light. It may be concealed with a dye.

具体的には、例えば図11(A)に示すように、証明書WRTに印画した写真PT上に、さらに所定の染料Dy1、Dy2を印画する。この場合、この証明書WRTは、室内等の通常の状態では、染料Dy1、Dy2が可視光を反射するため、図11(B)に示すように、当該原紙ST上に印画されている写真PTが視認できないこととなる。一方、検証装置3の証明書撮像部34(図9)は、図11(C)に示すように、反射用光源34B(図10)から赤外光を照射するようにすれば、写真PT上に染料Dy1、Dy2が印画されている場合であっても、当該写真PTを撮像することができる。   Specifically, for example, as shown in FIG. 11A, predetermined dyes Dy1 and Dy2 are further printed on the photograph PT printed on the certificate WRT. In this case, since the dyes Dy1 and Dy2 reflect visible light in a normal state such as a room, the certificate WRT is a photograph PT printed on the base paper ST as shown in FIG. 11B. Will not be visible. On the other hand, the certificate image pickup unit 34 (FIG. 9) of the verification apparatus 3 can be used on the photograph PT by irradiating infrared light from the reflection light source 34B (FIG. 10) as shown in FIG. 11C. Even if the dyes Dy1 and Dy2 are printed on the photo PT, the photograph PT can be taken.

このように、可視光を反射する染料で写真PTを隠蔽するようにすれば、この写真PTを張り替えるといった証明書WRTの変造を未然に防止することができるため、より一段と成りすましを防止することができる。   In this way, if the photo PT is concealed with a dye that reflects visible light, it is possible to prevent alteration of the certificate WRT, such as replacing the photo PT, thus further preventing impersonation. Can do.

さらに上述の実施の形態においては、印画紙の表面に印画された印画層と、当該印画紙の内面に有する紋様層とを撮像する撮像手段として、図10に示したように、反射用光源34Bから証明書WRTの表面の個人特定文字PR、写真PT及び識別コードDSを反射することにより得られる表層反射光を表層画像データD23として撮像すると共に、透過用光源34Aから証明書WRTを透過することにより得られる紋様投影光を紋様画像データD22として撮像するようにした場合について述べたが、本発明はこれに限らず、当該紋様層を2層に分けて撮像するようにしても良い。   Furthermore, in the above-described embodiment, as shown in FIG. 10, as the imaging means for imaging the printing layer printed on the surface of the printing paper and the pattern layer on the inner surface of the printing paper, the reflection light source 34B The surface layer reflected light obtained by reflecting the personal identification character PR, photograph PT and identification code DS on the surface of the certificate WRT is imaged as surface layer image data D23, and the certificate WRT is transmitted from the transmission light source 34A. However, the present invention is not limited to this, and the pattern layer may be divided into two layers for imaging.

具体的には、透過用光源34Aに代えて、互いに到達深度の異なる波長の光を照射する第1の光源と、第2の光源とを設け、当該第1の光源から第1の到達深度で反射する紋様投影光と、第2の光源から第2の到達深度で反射する紋様投影光とをそれぞれデータとして撮像する。そしてこのデータからそれぞれ紋様パターンを抽出し、これを照合対象にすれば、より一段と成りすましを防止することができる。   Specifically, instead of the transmission light source 34A, a first light source and a second light source that irradiate light having wavelengths with different reach depths are provided, and the first light source has a first reach depth. The reflected pattern projection light and the pattern projection light reflected from the second light source at the second arrival depth are respectively imaged as data. If a pattern pattern is extracted from each data and used as a collation target, spoofing can be further prevented.

さらに上述の実施の形態においては、印画紙の物性を測定する物性測定手段として、白色度及び拡散反射率を測定する物性測定器33を適用するようにした場合について述べたが、本発明はこれに限らず、例えば重量、平滑度、透気度、厚さ、色、坪量、引帳特性若しくは摩擦又はこれらの組み合わせ等のこの他種々の物性を測定する物性測定器を適用することができる。   Further, in the above-described embodiment, the case where the physical property measuring device 33 for measuring the whiteness and the diffuse reflectance is applied as the physical property measuring means for measuring the physical property of the photographic paper has been described. For example, a physical property measuring instrument that measures various other physical properties such as weight, smoothness, air permeability, thickness, color, basis weight, drawing property or friction, or a combination thereof can be applied. .

さらに上述の実施の形態においては、印画層の特徴として、輝度分布の尖度、平均値、歪度、分散値又はこれらの組み合わせを抽出するようにした場合について述べたが、この他種々の統計学的要素を抽出するようにしても良く、また輝度分布に代えて、例えば色差分布やパワースペクトラム分布等の統計学的要素を抽出するようにしても良い。   Further, in the above-described embodiment, the case where the kurtosis, average value, skewness, variance value, or combination thereof of the luminance distribution is extracted as the characteristics of the print layer has been described. Statistical elements such as color difference distribution and power spectrum distribution may be extracted instead of the luminance distribution.

さらに上述の実施の形態においては、紋様層の特徴として、低域周波数成分処理、画像分離処理、領域区割処理及び紋様パターン抽出処理を順次施すことにより抽出するようにした場合について述べたが、本発明はこれに限らず、当該処理を適宜取捨選択することができ、また新たな処理を加えるようにしても良い。   Furthermore, in the above-described embodiment, as a feature of the pattern layer, a case where extraction is performed by sequentially performing low frequency component processing, image separation processing, area division processing, and pattern pattern extraction processing has been described. The present invention is not limited to this, and the processing can be appropriately selected and a new processing may be added.

またかかる画像分離処理、領域区割処理及び紋様パターン抽出処理に代えて、低域周波数成分処理結果として得られる紋様画像の全画素のうち、極小点及び極大点を除く残りの画素について、最も近い距離に存在する極小点及び極大点に属するものとしてそれぞれ割り振るようにして、当該紋様画像を複数の領域に分割するボロノイ分割処理を施すことにより紋様層の特徴を抽出するようにしても良い。なお、このボロノイ分割処理の詳細については、PCT/JP2005/001176を参照されたい。   Also, instead of such image separation processing, region division processing, and pattern pattern extraction processing, the remaining pixels other than the minimum and maximum points are closest among all the pixels of the pattern image obtained as a result of the low frequency component processing. The features of the pattern layer may be extracted by performing a Voronoi division process that divides the pattern image into a plurality of regions by assigning them as belonging to the minimum point and the maximum point existing in the distance. For details of this Voronoi division processing, refer to PCT / JP2005 / 001176.

さらに上述の実施の形態においては、第1の特徴情報及び上記第2の特徴情報を合成する合成手段として、紋様特徴データD26における所定の埋込位置に写真特徴データD27(及び証明書特徴データD21)を電子透かし手法により埋め込むようにした場合について述べたが、本発明はこれに限らず、例えば紋様特徴データD26の先頭部分に写真特徴データD27(及び証明書特徴データD21)を付加するようにしても良い。また本発明では、例えば紋様特徴データD26と写真特徴データD27(及び証明書特徴データD21)とを所定間隔で切り出し、当該切り出した紋様特徴データD26と写真特徴データD27(及び証明書特徴データD21)とを交互につなげるようにしても良い。要は、ある定められたルールに従って、紋様特徴データD26及び写真特徴データD27を合成することができれば良い。   Further, in the above-described embodiment, as the synthesizer for synthesizing the first feature information and the second feature information, the photographic feature data D27 (and the certificate feature data D21) at a predetermined embedding position in the pattern feature data D26. However, the present invention is not limited to this. For example, the photograph feature data D27 (and certificate feature data D21) is added to the head portion of the pattern feature data D26. May be. In the present invention, for example, the pattern feature data D26 and the photograph feature data D27 (and the certificate feature data D21) are cut out at a predetermined interval, and the cut out pattern feature data D26 and the photograph feature data D27 (and the certificate feature data D21) are extracted. And may be connected alternately. In short, it is only necessary that the pattern feature data D26 and the photographic feature data D27 can be synthesized according to a predetermined rule.

さらに上述の実施の形態においては、第1の特徴情報及び第2の特徴情報と照合される情報(紋様特徴データD5、写真特徴データD4及び証明書特徴データD6)を識別コードDSとして証明書WRT(図1)に印画して登録するようにした場合について述べたが、本発明はこれに限らず、当該情報に応じた穴や点字を証明書WRTに設けるようにしても良く、又は当該情報を直接証明書WRTに記述するようにしても良い。   Further, in the above-described embodiment, the certificate WRT uses the information (pattern feature data D5, photo feature data D4, and certificate feature data D6) collated with the first feature information and the second feature information as an identification code DS. Although the case of printing and registering (FIG. 1) has been described, the present invention is not limited to this, and a hole or Braille corresponding to the information may be provided in the certificate WRT, or the information May be directly described in the certificate WRT.

また、かかる登録対象として、上述の実施の形態では、証明書WRTに印画して登録するようにした場合について述べたが、本発明はこれに限らず、EEPROM(Electrically Erasable Programmable Read-Only Memory)又はHDD(Hard Disk Drive)等の記憶媒体に記憶することにより登録するようにしても良い。   Further, in the above-described embodiment, the case where the certificate WRT is printed and registered as the registration target has been described. However, the present invention is not limited to this, and an EEPROM (Electrically Erasable Programmable Read-Only Memory). Or you may make it register by memorize | storing in storage media, such as HDD (Hard Disk Drive).

本発明は、紙を例えば貨幣等の商品交換媒体、証明書等の内容証明媒体又は個人の著作物等の情報記憶媒体などの各種媒体として使用する場合に利用可能である。   The present invention can be used when paper is used as various media such as commodity exchange media such as money, content certification media such as certificates, or information storage media such as personal works.

本実施の形態による識別システムの全体構成を示す略線図である。It is a basic diagram which shows the whole structure of the identification system by this Embodiment. 発行装置の構成を示すブロック図である。It is a block diagram which shows the structure of an issuing apparatus. 紋様抽出の処理を示す機能ブロック図である。It is a functional block diagram which shows the pattern extraction process. 低域周波数成分の抽出の説明に供する略線図である。It is a basic diagram with which it uses for description of extraction of a low frequency component. 画像の分離の説明に供する略線図である。It is an approximate line figure used for explanation of separation of an image. 白ダマ(黒ダマ)の区割りの説明に供する略線図である。It is an approximate line figure used for explanation of the division of white dama (black dama). 小ダマの除去の説明に供する略線図である。It is a basic diagram with which it uses for description of the removal of small lumps. 特徴量の算出の説明に供する略線図である。It is an approximate line figure used for explanation of calculation of a feature-value. 検証装置の構成を示すブロック図である。It is a block diagram which shows the structure of a verification apparatus. 表面層及び内層の撮像の説明に供する略線図である。It is a basic diagram with which it uses for description of imaging of a surface layer and an inner layer. 写真の隠蔽の説明に供する略線図である。It is a basic diagram used for description of concealment of a photograph.

符号の説明Explanation of symbols

1……識別システム、2……発行装置、3……検証装置、11、31……制御部、12、32……操作部、13……表示部、14……入力インターフェース、15……紋様取得部、16……データ処理部、17……証明書発行部、18、33……物性測定器、34……証明書撮像部、35……復元処理部、36……特徴抽出部、37……合成部、D1……個人特定文字データ、D2、D24……写真データ、D3、D22……紋様画像データ、D4、D27……写真特徴データ、D5、D26……紋様特徴データ、D6、D21……証明書特徴データ、D23……表層画像データ、D25……特徴データ、D28……比較特徴データ、PR……個人特定文字、PT……写真、ST……原紙、WRT……証明書、DS……識別コード。
DESCRIPTION OF SYMBOLS 1 ... Identification system, 2 ... Issuing device, 3 ... Verification device, 11, 31 ... Control part, 12, 32 ... Operation part, 13 ... Display part, 14 ... Input interface, 15 ... Pattern Acquiring unit, 16 ... Data processing unit, 17 ... Certificate issuing unit, 18, 33 ... Physical property measuring device, 34 ... Certificate imaging unit, 35 ... Restoration processing unit, 36 ... Feature extraction unit, 37 ...... Compositing unit, D1 ... Personal character data, D2, D24 ... Photo data, D3, D22 ... Pattern image data, D4, D27 ... Photo feature data, D5, D26 ... Pattern feature data, D6, D21 …… Certificate feature data, D23 …… Surface image data, D25 …… Feature data, D28 …… Comparison feature data, PR …… Personal character, PT …… Photo, ST …… Base paper, WRT …… Certificate , DS …… Identification code.

Claims (8)

所定の印画内容が印画された印画紙の表面に印画された印画層と、上記印画紙の内面に有する紋様層とを撮像する撮像手段と、
上記撮像手段により撮像された上記印画層の特徴を第1の特徴情報として抽出すると共に、上記撮像手段により撮像された上記紋様層の特徴を第2の特徴情報として抽出する抽出手段と、
上記第1の特徴情報及び上記第2の特徴情報を、上記印画紙を識別するための基準として登録された情報と照合する照合手段と
を具えることを特徴とする検証装置。
Imaging means for imaging a print layer printed on the surface of the photographic paper on which predetermined print content is printed, and a pattern layer on the inner surface of the photographic paper;
Extraction means for extracting the features of the print layer imaged by the imaging means as first feature information, and extracting the features of the pattern layer imaged by the imaging means as second feature information;
A verification apparatus comprising: a verification unit that collates the first characteristic information and the second characteristic information with information registered as a reference for identifying the photographic paper.
上記第1の特徴情報及び上記第2の特徴情報を合成する合成手段
を具え、
上記照合手段は、
上記合成手段により合成された合成情報を、上記印画紙を識別するための基準として登録された情報と照合する
ことを特徴とする請求項1に記載の検証装置。
A synthesis means for synthesizing the first feature information and the second feature information;
The verification means is
The verification apparatus according to claim 1, wherein the combined information combined by the combining unit is collated with information registered as a reference for identifying the photographic paper.
上記印画紙の物性を測定する物性測定手段を具え、
上記照合手段は、
上記第1の特徴情報、上記第2の特徴情報及び上記物性を表す物性情報を、上記印画紙を識別するための基準として登録された情報と照合する
ことを特徴とする請求項1に記載の検証装置。
Comprising physical property measuring means for measuring physical properties of the photographic paper,
The verification means is
The first characteristic information, the second characteristic information, and the physical property information representing the physical properties are collated with information registered as a reference for identifying the photographic paper. Verification device.
上記撮像手段は、
上記印画紙の内面に有する紋様層として、互いに異なる第1の紋様層及び第2の紋様層を撮像する
ことを特徴とする請求項1に記載の検証装置。
The imaging means is
The verification apparatus according to claim 1, wherein a first pattern layer and a second pattern layer that are different from each other are imaged as the pattern layer on the inner surface of the photographic paper.
上記第1の特徴情報及び上記第2の特徴情報と照合される上記情報は、上記印画紙に登録された
ことを特徴とする請求項1に記載の検証装置。
The verification apparatus according to claim 1, wherein the information collated with the first feature information and the second feature information is registered in the photographic paper.
上記印画層は、可視光を反射する染料で隠蔽された
ことを特徴とする請求項1に記載の検証装置。
The verification apparatus according to claim 1, wherein the print layer is concealed with a dye that reflects visible light.
所定の印画内容が印画された印画紙の表面に印画された印画層と、上記印画紙の内面に有する紋様層とを撮像する第1のステップと、
撮像された上記印画層の特徴を第1の特徴情報として抽出すると共に、撮像された上記紋様層の特徴を第2の特徴情報として抽出する第2のステップと、
上記第1の特徴情報及び上記第2の特徴情報を、上記印画紙を識別するための基準として登録された情報と照合する第3のステップと
を具えることを特徴とする検証方法。
A first step of imaging a print layer printed on the surface of a photographic paper on which a predetermined print content is printed, and a pattern layer on the inner surface of the photographic paper;
Extracting a feature of the imaged print layer as first feature information and extracting a feature of the imaged pattern layer as second feature information;
A verification method comprising: a third step of collating the first feature information and the second feature information with information registered as a reference for identifying the photographic paper.
コンピュータに対して、
所定の印画内容が印画された印画紙の表面に印画された印画層と、上記印画紙の内面に有する紋様層とを撮像すること、
撮像された上記印画層の特徴を第1の特徴情報として抽出すると共に、撮像された上記紋様層の特徴を第2の特徴情報として抽出すること、
上記第1の特徴情報及び上記第2の特徴情報を、上記印画紙を識別するための基準として登録された情報と照合すること
を実行させることを特徴とするプログラム。
Against the computer,
Imaging a print layer printed on the surface of a photographic paper on which a predetermined print content is printed, and a pattern layer on the inner surface of the photographic paper;
Extracting the imaged feature of the print layer as first feature information and extracting the imaged feature of the pattern layer as second feature information;
A program for causing the first feature information and the second feature information to be collated with information registered as a reference for identifying the photographic paper.
JP2005183892A 2005-06-23 2005-06-23 Verification device, verification method, and program Expired - Fee Related JP4518266B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005183892A JP4518266B2 (en) 2005-06-23 2005-06-23 Verification device, verification method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005183892A JP4518266B2 (en) 2005-06-23 2005-06-23 Verification device, verification method, and program

Publications (2)

Publication Number Publication Date
JP2007006139A true JP2007006139A (en) 2007-01-11
JP4518266B2 JP4518266B2 (en) 2010-08-04

Family

ID=37691311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005183892A Expired - Fee Related JP4518266B2 (en) 2005-06-23 2005-06-23 Verification device, verification method, and program

Country Status (1)

Country Link
JP (1) JP4518266B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200800A (en) * 2008-02-21 2009-09-03 Fuji Xerox Co Ltd Image processor and image processing program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244434A (en) * 2001-12-13 2003-08-29 Omron Corp Document authenticity discriminating apparatus and method therefor
JP2004112644A (en) * 2002-09-20 2004-04-08 Fuji Xerox Co Ltd Original-registering device, original-confirming device, and mark for collating original
JP2005010581A (en) * 2003-06-20 2005-01-13 Fuji Xerox Co Ltd Method and device for confirming article

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244434A (en) * 2001-12-13 2003-08-29 Omron Corp Document authenticity discriminating apparatus and method therefor
JP2004112644A (en) * 2002-09-20 2004-04-08 Fuji Xerox Co Ltd Original-registering device, original-confirming device, and mark for collating original
JP2005010581A (en) * 2003-06-20 2005-01-13 Fuji Xerox Co Ltd Method and device for confirming article

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200800A (en) * 2008-02-21 2009-09-03 Fuji Xerox Co Ltd Image processor and image processing program

Also Published As

Publication number Publication date
JP4518266B2 (en) 2010-08-04

Similar Documents

Publication Publication Date Title
US8068636B2 (en) Digital watermarking methods, programs and apparatus
JP5004747B2 (en) Security mark formation system, security mark formation method, security mark detection method, and security mark detection system
JP4004528B2 (en) Digital image processing method and system
JP6669407B2 (en) Secret Secure Document Registration System
CN108369749A (en) The method that device to being used to form augmented reality environment is controlled
KR20180103835A (en) A method for authenticating and / or verifying the integrity of a subject
JP2006338330A (en) Device and method for identifying slip of paper
JP7168194B2 (en) Counterfeit determination method, program, recording medium, and forgery determination device
JP4518266B2 (en) Verification device, verification method, and program
TWI326854B (en) Verification method for determining areas within an image corresponding to monetary banknote
JP2005178367A (en) Personal authentication medium issuing device, personal authentication medium issuing method, printed matter, genuineness determining device, and genuineness determining method for printed matter
US9105110B2 (en) Method of simulating an imaging effect on a digital image using a computing device
JP4446186B2 (en) Relevance assurance device and method, program, and relevance verification device
JP7435173B2 (en) Program, authenticity determination method, and authenticity determination device
JP4958868B2 (en) Document feature extraction apparatus and method
JP6321377B2 (en) Identification code authenticity determination device, authenticity determination method, and authenticity determination program
KR101905416B1 (en) System and method for management of electronic fingerprint for preventing forgery or alteration of art pieces, method for detecting forgery or alteration of art pieces and computer program for the same
JP7279341B2 (en) Identification system, identification device, data acquisition system and data acquisition device
WO2023281654A1 (en) Image processing device, image processing method, and recording medium
JP2008148110A (en) Image processor and control method thereof
JP2009260886A (en) Document creation support system and document verification system
JP2006011846A (en) Two-dimensional code and two-dimensional code-related information verification system and information verification method
JP2006340216A (en) Apparatus, method and program for generating information
JP2014120929A (en) Method of inspecting forgery preventing medium and forgery preventing medium
JP2022093819A (en) Fingerprint processing device, fingerprint processing method, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100511

LAPS Cancellation because of no payment of annual fees