JP2007286890A - Fingerprint input device and method - Google Patents
Fingerprint input device and method Download PDFInfo
- Publication number
- JP2007286890A JP2007286890A JP2006113388A JP2006113388A JP2007286890A JP 2007286890 A JP2007286890 A JP 2007286890A JP 2006113388 A JP2006113388 A JP 2006113388A JP 2006113388 A JP2006113388 A JP 2006113388A JP 2007286890 A JP2007286890 A JP 2007286890A
- Authority
- JP
- Japan
- Prior art keywords
- average value
- fingerprint
- fingerprint input
- input device
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Input (AREA)
Abstract
Description
本発明は、個人認証などに用いる指紋画像を入力する装置に関し、特に、スイープ型の指紋センサにより取得した画像を処理する技術に関する。 The present invention relates to an apparatus for inputting a fingerprint image used for personal authentication, and more particularly to a technique for processing an image acquired by a sweep type fingerprint sensor.
従来、指紋を読み取るセンサの一種にスイープ型センサが知られている。スイープ型センサは、一般に、手指の幅より若干広い幅の矩形のセンサ面を持ち、そのセンサ面上を滑る指の指紋を複数のラインで読み取るものである。読み取られる指紋は、読み取りタイミングごとにスライス画像で入力され、それら複数のスライス画像の組み合わせにより、1つの指紋の全体画像が形成される。 Conventionally, a sweep type sensor is known as a kind of sensor for reading a fingerprint. In general, a sweep type sensor has a rectangular sensor surface slightly wider than the width of a finger, and reads a fingerprint of a finger sliding on the sensor surface with a plurality of lines. A fingerprint to be read is input as a slice image at each reading timing, and a whole image of one fingerprint is formed by a combination of the plurality of slice images.
上記のようなスイープ型センサにより入力した指紋画像の構成処理に関し、例えば、後述の特許文献1に記載の技術がある。特許文献1には、読み取りの前後関係にある指紋画像に基づきスイープ速度を求め、速度変動があった画像部分のゆがみを補正するという技術が記載されている。
上記特許文献1に記載されているような従来の技術では、現在のスライス画像と直前のスライス画像との重なり部分が存在することを前提として、指紋画像の構成処理が行われる。しかしながら、この手法では、次のような問題点がある。
In the conventional technique described in
従来、指紋のスライス画像が順次入力されると、図6に示すように、入力の前後関係にある画像間の画素値の誤差を計算し、誤差が最も小さい位置が両画像の重ね合わせ位置として決定される。 Conventionally, when fingerprint slice images are sequentially input, as shown in FIG. 6, the error of pixel values between images in the context of input is calculated, and the position where the error is the smallest is the overlapping position of both images. It is determined.
ところが、センサの読み取り周期より速く指がスイープされた場合は、読み取り処理が間に合わず、指紋全体をくまなく読み取ることが困難となる。その結果、図7に示すように、連続して入力されたスライス画像間には重なり領域が得られず、画像上に指紋部分の欠落が生じる。 However, if the finger is swept faster than the reading period of the sensor, the reading process will not be in time, making it difficult to read the entire fingerprint. As a result, as shown in FIG. 7, an overlapping region is not obtained between slice images input continuously, and a fingerprint portion is lost on the image.
このような状況にあっても、従来の技術では、入力された指紋画像を強制的に重ね合わせて出力することから、図8に示すような異常な指紋画像が出力されるおそれがある。異常な指紋画像により個人認証が行われると、たとえ正当な被験者であっても、認証に失敗するという事態が起こる。 Even in such a situation, the conventional technique forcibly superimposes and outputs the input fingerprint images, so that an abnormal fingerprint image as shown in FIG. 8 may be output. When personal authentication is performed using an abnormal fingerprint image, even if the subject is a valid subject, authentication may fail.
本発明は、上記課題に鑑みてなされたものであり、スイープ型指紋センサにより入力されたスライス画像から異常な指紋画像が構成されることを防止する技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for preventing an abnormal fingerprint image from being configured from a slice image input by a sweep type fingerprint sensor.
本発明に係る指紋入力装置は、移動する指から指紋を逐次読み取るセンサを具備する指紋入力装置であって、前記センサにより読み取られた指紋の部分画像を読み取り順序に関連付けて記憶デバイスへ格納する手段と、読み取り順序が連続する一対の部分画像ごとに相互に対応する画素間の差分の平均値を求める手段と、求めた平均値の履歴に基づき指の移動速度の適否を判定する手段と、前記判定の結果を出力デバイスにより出力する手段とを備えることを特徴とする。 The fingerprint input device according to the present invention is a fingerprint input device including a sensor for sequentially reading fingerprints from a moving finger, and stores the partial images of the fingerprints read by the sensors in a storage device in association with the reading order. A means for obtaining an average value of differences between pixels corresponding to each other for each pair of partial images in which the reading order is continuous, a means for judging suitability of finger movement speed based on a history of the obtained average values, Means for outputting a result of the determination by an output device.
本発明によれば、センサに対する指の移動速度が不適切であることを被験者へ直ちにフィードバックすることができる。また、入力された指紋の有効性を指紋の照合処理に先立ち検証できるため、不適切なスライス画像を照合に用いるという無駄な処理を防ぐことができる。これにより、装置の処理が効率化されると共に、被験者を長時間待たせることを回避できる。 According to the present invention, it can be immediately fed back to the subject that the moving speed of the finger with respect to the sensor is inappropriate. Further, since the validity of the input fingerprint can be verified prior to the fingerprint collation processing, useless processing of using an inappropriate slice image for collation can be prevented. Thereby, the processing of the apparatus is made efficient and it is possible to avoid waiting for the subject for a long time.
図1に、本発明の実施形態の構成を示す。本実施形態の指紋入力装置100は、従来知られたスイープ型のライン指紋センサ101を備える。ライン指紋センサ101の読み取り形式は、光学検知式、静電容量式、あるいは感圧式等の何れであってもよい。このライン指紋センサ101から指紋を入力するには、図2に示すように、指紋201がセンサ面(101)に接触した状態の指202を、センサ面(101)の長手方向に直交する方向、すなわち図示のスイープ方向203に滑らせる。
FIG. 1 shows the configuration of an embodiment of the present invention. The
指紋入力装置100は、図1に示すように、ライン指紋センサ101が読み取った指紋のスライス画像を処理するためのCPU(Central Processing Unit)及びプログラムを含むコンピュータ102と、LCD(Liquid Crystal Display)あるいはCRT(Cathode Ray Tube)のような表示装置103と、RAM(Random Access Memory)及びROM(Read Only Memory)などを含む記憶装置104とを備える。
As shown in FIG. 1, the
コンピュータ102には、CPUが実行するプログラムとして、スライス画像記憶領域操作モジュール102A、画素差平均値計算モジュール102B、スイープ速度判定モジュール102C、及び、結果表示モジュール102Dがインストールされている。これらのプログラムによる作用は後に説明する。
A slice image storage
記憶装置104には、入力された最新のスライス画像を記憶する現在スライス画像記憶領域104_1と、その直前に入力されていたスライス画像を記憶する直前スライス画像記憶領域104_2と、最新及びその直前のスライス画像に関する後述の画素差平均値を記憶する画素差平均値記憶領域104_3とが設けられている。
The
図3に示すフローチャートを参照して、指紋入力装置100の動作について説明する。ライン指紋センサ101に指が置かれてスイープが開始されると、コンピュータ102のスライス画像記憶領域操作モジュール102Aが、ライン指紋センサ101から取得したスライス画像1つ分のデータを直前スライス画像記憶領域104_2へ格納する(ステップS1)。
The operation of the
スライス画像記憶領域操作モジュール102Aは、続いて、ライン指紋センサ101から新たなスライス画像データを取得すると、それを現在スライス画像記憶領域104_1へ格納する(ステップS2)。この時点で、入力が開始されてから最初のスライス画像とその次のスライス画像とが記憶されたことになる。
Subsequently, when the slice image storage
画素差平均値計算モジュール102Bは、直前スライス画像記憶領域104_2のスライス画像と、現在スライス画像記憶領域104_1のスライス画像との重なり領域Uを認識する。この重なり領域Uは、公知の手法により判断し認識する。そして、この重なり領域Uに関し、重なり合う画素の組み合わせを認識し、各組み合わせにおける画素値νの差分を計算する。さらに、算出した差分を重なり領域Uで平均化することにより平均値Aを求める(ステップS3)。 The pixel difference average value calculation module 102B recognizes an overlapping area U between the slice image in the immediately previous slice image storage area 104_2 and the slice image in the current slice image storage area 104_1. This overlapping region U is determined and recognized by a known method. Then, with respect to this overlapping region U, the combination of overlapping pixels is recognized, and the difference of the pixel value ν in each combination is calculated. Further, an average value A is obtained by averaging the calculated differences in the overlapping region U (step S3).
図4を参照して、平均値Aの算出について具体的に説明する。現在スライス画像S(t) (S:スライス画像、t:時間)と直前スライス画像S(t-1)との重なり領域Uに、図示のようなN個(「1」〜「N」)の画素の組み合わせが存在する場合、「1」〜「N」のそれぞれについて画素値νの差分を計算する。 The calculation of the average value A will be specifically described with reference to FIG. In the overlapping area U of the current slice image S (t) (S: slice image, t: time) and the previous slice image S (t-1), N (“1” to “N”) as shown in the figure. When there is a combination of pixels, the difference between the pixel values ν is calculated for each of “1” to “N”.
例えば、画素「1」の場合であれば、現在スライス画像S(t)における「1」の画素値ν(t)と、直前スライス画像S(t-1)の「1」の画素値ν(t-1)との差分を求める。この要領にて「1」〜「N」の全てについて差分を求めた後、重なり領域Uにおける各差分の平均値Aを計算する。したがって、平均値Aは、次の[数1]により求めることができる。 For example, in the case of the pixel “1”, the pixel value ν (t) of “1” in the current slice image S (t) and the pixel value ν (“1” of the previous slice image S (t−1). Find the difference from t-1). After obtaining the differences for all of “1” to “N” in this manner, the average value A of the differences in the overlapping region U is calculated. Therefore, the average value A can be obtained by the following [Equation 1].
画素差平均値計算モジュール102Bは、求めた平均値Aを記憶装置104の画素差平均値記憶領域104_3へ格納する(ステップS4)。また、後続のスライス画像の処理に備えて、現在スライス画像記憶領域104_1にあるスライス画像を直前スライス画像記憶領域104_2へ移動させる(ステップS5)。 The pixel difference average value calculation module 102B stores the obtained average value A in the pixel difference average value storage area 104_3 of the storage device 104 (step S4). Further, in preparation for processing of the subsequent slice image, the slice image currently in the slice image storage area 104_1 is moved to the immediately preceding slice image storage area 104_2 (step S5).
スイープ速度判定モジュール102Cは、画素差平均値記憶領域104_3に格納された平均値Aの履歴に基づいて、ライン指紋センサ101での指のスイープ速度の適否を判定する。その判定にあたり、まず、スイープ速度の判定に関し予め設定された基準値εと、前述の平均値Aとを比較する(ステップS6)。そして、平均値Aが基準値εを超えるという比較結果(A>ε)が連続的に出ているか否かを判定する(ステップS7)。
The sweep
上記判定の閾値としての連続回数は、3回や5回等、判定に関し求められる精度に応じて予め設定しておく。また、平均値Aと比較する基準値εとしては、例えば、図5に示すような値を適用することができる。図示のグラフは、重なり領域Uの有無と平均値Aとの関連を度数分布により表したものである。このグラフを利用し、重なり領域に関する2つの度数分布の交点にあたる平均値を基準値εとして採用する。 The number of continuous times as the threshold value for the determination is set in advance according to the accuracy required for determination, such as 3 times or 5 times. Further, as the reference value ε to be compared with the average value A, for example, a value as shown in FIG. 5 can be applied. The illustrated graph represents the relationship between the presence or absence of the overlapping region U and the average value A by a frequency distribution. Using this graph, the average value corresponding to the intersection of the two frequency distributions regarding the overlapping region is adopted as the reference value ε.
上記判定の結果、平均値Aが基準値εを超えない、あるいは、超えているが連続していない場合は(ステップS7:No)、スイープ速度が適正であると判断する(ステップS8)。なお、ここでは、スライス画像の入力初期であり、平均値Aの履歴数は1つである。よって、現段階ではスイープ速度に問題がないと判断される。 As a result of the above determination, if the average value A does not exceed the reference value ε or exceeds the reference value ε but is not continuous (step S7: No), it is determined that the sweep speed is appropriate (step S8). Here, it is the initial stage of input of the slice image, and the history number of the average value A is one. Therefore, it is determined that there is no problem in the sweep speed at this stage.
以降、新たなスライス画像が入力されるごとに、それを現在スライス画像記憶領域104_1へ格納し(ステップS2)、上記手順に従って平均値Aを算出し基準値εと比較する(ステップS3〜S6)。その過程で平均値Aが基準値εを連続的に上回ることなくスライス画像の入力が終了した場合は(ステップS9:Yes)、指紋の入力が終始正常に行われたものとして処理を終了する。正常に入力されたスライス画像は、後の指紋照合処理に使用される。 Thereafter, each time a new slice image is input, it is stored in the current slice image storage area 104_1 (step S2), and the average value A is calculated according to the above procedure and compared with the reference value ε (steps S3 to S6). . In the process, when the input of the slice image is completed without the average value A continuously exceeding the reference value ε (step S9: Yes), the process is terminated assuming that the input of the fingerprint is normally performed all the time. The slice image input normally is used for the subsequent fingerprint collation process.
一方、平均値Aが基準値εを連続的に上回ることを検知したときは(ステップS7:Yes)、結果表示モジュール102Dが起動し、スイープ速度が不適切、すなわち速すぎる旨の警告画面を表示装置103へ表示する(ステップS10)。警告の内容としては、スイープ速度を緩めつつ再入力することを被験者に促す内容とし、例えば、「入力エラー:指の移動が速すぎます。ゆっくりと再入力してください。」等を表示する。そして、その時点で指紋の入力処理を中断し、今回入力されたスライス画像を無効化する。
On the other hand, when it is detected that the average value A continuously exceeds the reference value ε (step S7: Yes), the
以上説明した実施形態によれば、ライン指紋センサ101に対する指のスイープ速度が不適切であり且つ再入力すべきことを被験者へ直ちにフィードバックすることができる。また、入力された指紋の有効性を指紋の照合処理に先立ち検証できるため、不適切なスライス画像を照合に用いるという無駄な処理を防ぐことができる。これにより、装置の処理が効率化されると共に、被験者を長時間待たせることを回避できる。
According to the embodiment described above, it is possible to immediately feed back to the subject that the sweep speed of the finger with respect to the
なお、上記実施形態では、平均値Aの算出に関し、2つの画素値の差分の絶対値を平均化するという演算式([数1])を提示したが、これに替えて、次の[数2]に示すような二乗誤差値を平均化するという演算でもよい。二乗誤差値は負の値とならないため、判定条件を簡素化することができる。 In the above-described embodiment, an arithmetic expression ([Equation 1]) that averages the absolute value of the difference between two pixel values has been presented for calculating the average value A. 2] may be used to average the square error values. Since the square error value does not become a negative value, the determination condition can be simplified.
また、上記実施形態では、平均値Aの算出に重なり領域の全画素を用いたが、平均化の対象を重なり領域の一部の画素としてもよい。これにより、計算時間を短縮することができる。 In the above embodiment, all the pixels in the overlapping area are used for calculating the average value A, but the averaging target may be a part of the pixels in the overlapping area. Thereby, calculation time can be shortened.
さらにまた、上記実施形態では、スイープ速度に関する警告を画面により通知したが、これに替えて、例えば、スピーカによる音声ガイダンスにて警告する、あるいは画面表示と音声ガイダンスとを併用するという形態でもよい。 Furthermore, in the above embodiment, a warning about the sweep speed is notified on the screen, but instead, for example, a warning may be given by voice guidance using a speaker, or a screen display and voice guidance may be used in combination.
100 指紋入力装置
101 ライン指紋センサ
102 コンピュータ
102A スライス画像記憶領域操作モジュール
102B 画素差平均値計算モジュール
102C スイープ速度判定モジュール
102D 結果表示モジュール
103 表示装置
104 記憶装置
104_1 現在スライス画像記憶領域
104_2 直前スライス画像記憶領域
104_3 画素差平均値記憶領域
100 fingerprint input device
101 line fingerprint sensor
102 computer
102A slice image storage area operation module
102B pixel difference average value calculation module
102C sweep speed judgment module
102D result display module
103 Display device
104 Storage device
104_1 Current slice image storage area
104_2 Previous slice image storage area
104_3 Pixel difference average value storage area
Claims (9)
前記センサにより読み取られた指紋の部分画像を読み取り順序に関連付けて記憶デバイスへ格納する手段と、
読み取り順序が連続する一対の部分画像ごとに相互に対応する画素間の差分の平均値を求める手段と、
求めた平均値の履歴に基づき指の移動速度の適否を判定する手段と、
前記判定の結果を出力デバイスにより出力する手段とを備えることを特徴とする指紋入力装置。 A fingerprint input device including a sensor for sequentially reading fingerprints from a moving finger,
Means for storing a partial image of a fingerprint read by the sensor in a storage device in association with a reading order;
Means for obtaining an average value of differences between pixels corresponding to each other for each pair of partial images in which the reading order is continuous;
Means for determining the suitability of the moving speed of the finger based on the obtained average value history;
And a means for outputting the result of the determination by an output device.
前記センサにより読み取られた指紋の部分画像を読み取り順序に関連付けて記憶デバイスへ格納するステップと、
読み取り順序が連続する一対の部分画像ごとに相互に対応する画素間の差分の平均値を求めるステップと、
求めた平均値の履歴に基づき指の移動速度の適否を判定するステップと、
前記判定の結果を出力デバイスにより出力するステップとを実行することを特徴とする指紋入力方法。 A fingerprint input device having a sensor for sequentially reading fingerprints from a moving finger,
Storing a partial image of a fingerprint read by the sensor in a storage device in association with a reading order;
Obtaining an average value of differences between pixels corresponding to each other for each pair of partial images in which the reading order is continuous;
Determining whether or not the finger moving speed is appropriate based on the obtained average value history;
And a step of outputting the result of the determination by an output device.
当該一対の部分画像の相互に対応する領域において画素間の差分の絶対値を平均化する演算を行うことを特徴とする請求項6記載の指紋入力方法。 In the step of obtaining the average value by the fingerprint input device,
The fingerprint input method according to claim 6, wherein an operation of averaging absolute values of differences between pixels in a region corresponding to the pair of partial images is performed.
当該一対の部分画像の相互に対応する領域において画素間の差分の二乗値を平均化する演算を行うことを特徴とする請求項6記載の指紋入力方法。 In the step of obtaining the average value by the fingerprint input device,
The fingerprint input method according to claim 6, wherein a calculation is performed to average a square value of a difference between pixels in regions corresponding to each other of the pair of partial images.
前記平均値の履歴が連続的に基準値を超えることを示すとき指の移動速度が不適であると判定することを特徴とする請求項6乃至8のいずれか1項に記載の指紋入力方法。
In the step in which the fingerprint input device determines whether or not a finger moving speed is appropriate,
The fingerprint input method according to claim 6, wherein when the average value history indicates that the average value continuously exceeds the reference value, it is determined that the finger moving speed is inappropriate.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006113388A JP4328782B2 (en) | 2006-04-17 | 2006-04-17 | Fingerprint input device and fingerprint input method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006113388A JP4328782B2 (en) | 2006-04-17 | 2006-04-17 | Fingerprint input device and fingerprint input method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007286890A true JP2007286890A (en) | 2007-11-01 |
JP4328782B2 JP4328782B2 (en) | 2009-09-09 |
Family
ID=38758604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006113388A Active JP4328782B2 (en) | 2006-04-17 | 2006-04-17 | Fingerprint input device and fingerprint input method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4328782B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079666A (en) * | 2008-09-26 | 2010-04-08 | Oki Semiconductor Co Ltd | Fingerprint authentication navigator and operation method for the same |
JP2010198614A (en) * | 2009-02-17 | 2010-09-09 | Validity Sensors Inc | Illuminated fingerprint sensor and method |
-
2006
- 2006-04-17 JP JP2006113388A patent/JP4328782B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079666A (en) * | 2008-09-26 | 2010-04-08 | Oki Semiconductor Co Ltd | Fingerprint authentication navigator and operation method for the same |
JP2010198614A (en) * | 2009-02-17 | 2010-09-09 | Validity Sensors Inc | Illuminated fingerprint sensor and method |
Also Published As
Publication number | Publication date |
---|---|
JP4328782B2 (en) | 2009-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107615050B (en) | Detection device and detection method | |
US20150193698A1 (en) | Data processing device | |
EP2849031B1 (en) | Information processing apparatus and information processing method | |
JP5454737B2 (en) | Wrinkle detection device, wrinkle detection method and program | |
US10482308B2 (en) | Method of recognizing fingerprint and electronic device including the same | |
KR102575147B1 (en) | Apparatus and Method for notifying correction of posture | |
US11036336B2 (en) | Display input device and image forming apparatus | |
JP5440162B2 (en) | White spot detection device, image forming apparatus, and white spot detection program | |
JP4114959B2 (en) | Image processing method and apparatus | |
JP4328782B2 (en) | Fingerprint input device and fingerprint input method | |
US20180268212A1 (en) | Information processing apparatus, information processing system, and non-transitory computer readable medium | |
JP4680639B2 (en) | Image processing apparatus and processing method thereof | |
EP1897751A2 (en) | Driving assist system for a vehicle | |
JP2010258603A (en) | Communication terminal and method of adjusting display size | |
JP5983781B2 (en) | Image resolution recognition apparatus, image resolution recognition method, and image resolution recognition program | |
JP2021051175A (en) | Image display device | |
CN112766023A (en) | Target object posture determining method, device, medium and equipment | |
US9229608B2 (en) | Character display apparatus, character display method, and computer readable medium | |
CN114697743B (en) | Electronic device and image processing method thereof | |
US10922864B2 (en) | Image processing device, image processing method and program, for object detection in an image | |
JP6171165B2 (en) | Driver's license reading device and driver's license reading method | |
JP4163651B2 (en) | Red-eye correction work support apparatus and program | |
JP2957878B2 (en) | Image processing device | |
CN114782400B (en) | Method, device, equipment, medium and program product for detecting slag point of metal material | |
CN111579211B (en) | Display screen detection method, detection device and computer storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090529 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090615 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4328782 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |