JP2015127966A - Blood vessel image photographing device and personal authentication device - Google Patents
Blood vessel image photographing device and personal authentication device Download PDFInfo
- Publication number
- JP2015127966A JP2015127966A JP2015022799A JP2015022799A JP2015127966A JP 2015127966 A JP2015127966 A JP 2015127966A JP 2015022799 A JP2015022799 A JP 2015022799A JP 2015022799 A JP2015022799 A JP 2015022799A JP 2015127966 A JP2015127966 A JP 2015127966A
- Authority
- JP
- Japan
- Prior art keywords
- image
- finger
- authentication
- blood vessel
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004204 blood vessel Anatomy 0.000 title claims description 31
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 abstract description 34
- 210000003462 vein Anatomy 0.000 abstract description 25
- 238000012423 maintenance Methods 0.000 abstract description 4
- 208000015181 infectious disease Diseases 0.000 abstract description 3
- 238000010186 staining Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 61
- 238000004364 calculation method Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001954 sterilising effect Effects 0.000 description 3
- 238000004659 sterilization and disinfection Methods 0.000 description 3
- 241000894006 Bacteria Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000645 desinfectant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000011941 photocatalyst Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- OGIDPMRJRNCKJF-UHFFFAOYSA-N titanium oxide Inorganic materials [Ti]=O OGIDPMRJRNCKJF-UHFFFAOYSA-N 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Input (AREA)
Abstract
Description
本発明は、生体、特に指の静脈パターンを利用して個人を認証するための技術に関する。 The present invention relates to a technique for authenticating an individual using a vein pattern of a living body, particularly a finger.
現在の個人認証技術は、指紋認証に代表される。しかし、犯罪捜査において犯行現場での指紋の採取が行われるように、他人の指紋の入手は簡単であり、偽造が可能であるという問題が存在する。このため、近年、指紋認証以外の個人認証技術が発達してきている。例えば、特開平7−21373号公報には、指の血管パターンを利用して個人認証を行う技術が開示されており、特開平10−295674号公報には、手の甲の静脈パターンを利用した個人認証技術が開示されている。これらの技術は、指または手の甲に光を照射し、照射した光の反射光ないし透過光を撮像して、撮像された画像から血管パターンを抽出し、予め登録しておいた血管パターンと撮像された血管パターンのマッチングをとることにより個人認証を行うという技術である。 The current personal authentication technology is represented by fingerprint authentication. However, there is a problem that fingerprints of others are easy to obtain and can be counterfeited so that fingerprints can be collected at crime scenes in criminal investigations. For this reason, in recent years, personal authentication techniques other than fingerprint authentication have been developed. For example, Japanese Patent Application Laid-Open No. 7-21373 discloses a technique for performing personal authentication using a blood vessel pattern of a finger, and Japanese Patent Application Laid-Open No. 10-295673 discloses personal authentication using a vein pattern on the back of the hand. Technology is disclosed. These technologies irradiate the back of the finger or the hand, capture the reflected or transmitted light of the irradiated light, extract the blood vessel pattern from the captured image, and image the pre-registered blood vessel pattern. This is a technique of performing personal authentication by matching the blood vessel pattern.
指の静脈パターンを利用した個人認証装置を実現する上で、いくつかの課題がある。 There are several problems in realizing a personal authentication device using a finger vein pattern.
一つは、撮像の再現性である。従来の個人認証装置では、ピン、握り棒など、撮像箇所を固定するための治具を備えているが、平面内での指の回転、移動、あるいは指の長さ方向を中心軸とする回転などによる撮像箇所のずれはどうしても起きる。したがって、登録された静脈パターンと認証時に得られる静脈パターンを完全に一致させるのは困難であり、その結果、認証率が低下するという問題がある。特に、完全非接触の装置の場合、指を何かに固定して撮像を行うことができないため登録時と認証時での静脈パターンのずれが甚だしく、認証率の低下は大きくなる。もう一つは、光源の問題である。従来の個人認証装置においては、光源から照射される光量の調整機能を備えたものはなかった。したがって、撮像された画像の輪郭がぼける、シャープでない、コントラストが弱いなど、画質が低いという問題があり、それに対処するための補正処理が必要なことから画像演算が複雑化、ひいては認証率の低下を招くことにつながっていた。 One is the reproducibility of imaging. Conventional personal authentication devices are equipped with jigs for fixing the imaging location, such as pins and grip rods, but the fingers rotate or move in a plane or rotate around the finger length direction. The deviation of the imaging location due to such a situation occurs inevitably. Therefore, it is difficult to completely match the registered vein pattern and the vein pattern obtained at the time of authentication, and as a result, there is a problem that the authentication rate is lowered. In particular, in the case of a completely non-contact device, since it is impossible to perform imaging with a finger fixed to something, the deviation of the vein pattern at the time of registration and at the time of authentication is significant, and the reduction of the authentication rate becomes large. The other is the problem of the light source. None of the conventional personal authentication devices have a function of adjusting the amount of light emitted from the light source. Therefore, there is a problem that the image quality is low, such as the outline of the captured image is blurred, not sharp, or the contrast is weak, and correction processing is necessary to deal with it, so the image calculation becomes complicated, and consequently the authentication rate decreases Led to inviting.
本願発明においては、以下の手段により、上記の課題を解決する。 In this invention, said subject is solved by the following means.
血管画像撮影装置において、提示領域に提示された指に光を照射する複数の光源と、指の血管を含む画像を撮像できる撮像部とを有し、前記複数の光源は、前記提示領域に提示される指の長手方向、短手方向に沿うように夫々配置され、前記長手方向に配置される光源の数よりも、前記短手方向に配置される光源の数が少ないことを特徴とする。 In the blood vessel image capturing device, the blood vessel imaging apparatus includes a plurality of light sources that irradiate light on the finger presented in the presentation area, and an imaging unit that can capture an image including a blood vessel of the finger. The number of light sources arranged in the short direction is smaller than the number of light sources arranged in the longitudinal direction.
本発明によれば、信頼性・安全性が高く、使い勝手の良い個人認証を実現することができる。すなわち、心理的抵抗感が低く、偽造が困難で、認証精度の高い個人認証を、装置の汚れによる感染や取得データの誤りを防ぐための維持管理作業を不要あるいは最小限としながら実現することができ、本発明の社会的意義はきわめて大きい。 According to the present invention, it is possible to realize personal authentication that is highly reliable and safe and easy to use. In other words, it is possible to realize personal authentication with low psychological resistance, difficulty in counterfeiting, and high authentication accuracy while eliminating or minimizing maintenance work to prevent infection due to device contamination and errors in acquired data. The social significance of the present invention is extremely great.
図1は個人認証装置の基本構成例である。図2には、本発明の個人認証装置の実施例を示す。装置は、指に光を照射するための光源部101,指を撮像するための撮像装置103、撮像された画像データを処理するための演算装置104などからなる。光源には、時間応答性が良く制御しやすいため、LED(発光ダイオード)等の半導体光源が良く用いられる。撮像装置としては、CCDカメラを用いた。演算装置104としては、簡便にパーソナルコンピュータを用い、画像は、画像キャプチャボード等のインターフェースを介して、コンピュータに取り込んだ。演算装置104は取得画像に対して認証の演算を行う。201は光源からの光を通すウィンドウである。指の周辺から光源光が漏れると、画像演算の際に好ましくないので、これを防ぐための自動開閉シャッターをウィンドウに設けても良い。また、ウィンドウとは別に、光源と指の間に自動開閉シャッターを設け留こともできる。202は指の撮像箇所を固定するためのピンであるが、ピンはあっても無くても良い。ピンが無い場合、装置は完全非接触となる。指の透過光により形成される静脈パターン画像は、撮像装置103によって撮像した。
FIG. 1 is a basic configuration example of a personal authentication device. FIG. 2 shows an embodiment of the personal authentication device of the present invention. The apparatus includes a
なお、個人認証用の静脈パターンとしては、指の手の甲側の静脈パターンを用いるよりも、手の平側の静脈パターンを用いる方が好ましい。手の甲側の血管パターンは常に身体の外側にさらされており、盗用される危険性があるからである。本実施例では、指の静脈パターンは全て手の平側の静脈パターンを撮像している。 As the vein pattern for personal authentication, it is preferable to use the vein pattern on the palm side rather than the vein pattern on the back side of the finger. This is because the blood vessel pattern on the back side of the hand is always exposed to the outside of the body and there is a risk of being stolen. In this embodiment, all finger vein patterns are taken from the palm side vein pattern.
図3の3(a)は、図1の光源部101に指をかざしたところを正面から見た図である。3(b)は、光源を構成する発光素子301、位置決め用ピン205、指302、撮像素子303の位置関係を指の先端側から見た図である。304は透過光である。
FIG. 3A is a view of the
光源を構成する発光素子は、図4に示すように指の形状に合わせて複数個配列して用いる。光源は、近赤外波長域の高輝度発光LEDを用いることが多いが、レーザーを用いても良い。401、402、405、406は種々の形状の光源の正面図を示す。401は従来用いられてきたモールドタイプの近赤外発光ダイオード(近赤外LED)を線状に複数配列して構成した光源形状である。401の形状の光源では、発光部の外縁が丸いため、複数個並べたときに明るさのむらが生じる。そこで、402では、モールドタイプLEDの外縁部を切り落として複数配列して光源とした。407、408は、それぞれ外縁部を切り落としたLEDの正面図、断面図である。407の斜線部が切り落とされる部分を示す。403は、402の断面図であり、407,408に示した形状のLEDを複数並べた光源である。これにより、光源の光のむらをなくすと共に、実装密度を上げ、光源強度を上げることが可能となる。405は、チップタイプのLEDを面状に複数配列して光源とした例である。いずれの場合においても、LEDを複数配列し、置かれた指の位置を撮像装置によってモニタされた画像を元に検出し、点灯する光源の選択を行うことによって、指の太さ、長さに応じた光源を形成することが可能である。
As shown in FIG. 4, a plurality of light-emitting elements constituting the light source are arranged and used in accordance with the shape of the finger. As the light source, a high-intensity light emitting LED in the near infrared wavelength region is often used, but a laser may be used. 401, 402, 405, 406 show front views of light sources of various shapes.
図6には、指画像の撮像までの手順を示す。光源は常時微弱光を点灯しておく(601)。指が微弱光にかざされたかどうかを検出し(602)、指がある場合は、指の位置を検出(603)する。指の存在と位置の検出は、モニタ画像の画素値情報を元に行う。検出した指の位置情報を元に、発光させる光源を構成する素子の決定を行う(604)。さらに、モニタしている画像の画素値情報を取得し(605)、光源からの照射光量の最適化を行う。 FIG. 6 shows a procedure up to imaging of a finger image. The light source always turns on weak light (601). It is detected whether or not the finger is held by the weak light (602). If there is a finger, the position of the finger is detected (603). The presence and position of the finger are detected based on the pixel value information of the monitor image. Based on the detected position information of the finger, the elements constituting the light source to emit light are determined (604). Furthermore, pixel value information of the image being monitored is acquired (605), and the amount of light emitted from the light source is optimized.
照射光量の最適化は以下の手順で行う。撮像の対象がヒトの手足の指である場合、光の透過度が最も高いのは関節部分である。そこで、画像データにおける指の長軸方向での輝度のプロファイルから、関節部分を検出し、その輝度のピーク値を関節部分の輝度値(B)とする。この値と設定した輝度の基準値(A)との比較を行なう。A−B<0であれば、光源にフィードバックをかけ、光源への入力電流を下げる。A−B>0であれば、光源への入力電流を上げる。A−B=0となった段階で、光源光量の調節を終了し、画像の取り込みと演算処理を実行する。この処理を発光素子毎に行うえば、発光部の面積も最適化することができる。この場合、発光素子としては、特にチップタイプの小型LEDを面状に配列した図4の405のような構成の発光部が適しており、極端な指の太さ、長さの違いに対応した照明を行う際に有効である。 The irradiation light quantity is optimized according to the following procedure. When the imaging target is a finger of a human limb, the joint portion has the highest light transmittance. Therefore, the joint portion is detected from the luminance profile in the long axis direction of the finger in the image data, and the peak value of the luminance is set as the luminance value (B) of the joint portion. This value is compared with the set luminance reference value (A). If A−B <0, feedback is applied to the light source to reduce the input current to the light source. If A−B> 0, the input current to the light source is increased. At the stage where A−B = 0, the adjustment of the light source quantity is terminated, and the image capture and calculation processing are executed. If this process is performed for each light emitting element, the area of the light emitting portion can also be optimized. In this case, as the light emitting element, a light emitting portion having a configuration like 405 in FIG. 4 in which chip-type small LEDs are arranged in a plane shape is suitable, and it corresponds to extreme differences in finger thickness and length. This is effective when performing illumination.
上に示した方法は、光源出力を調節することにより光源光量を最適化する方法であるが、光源の照射時間を調節することにより光源光量を最適化しても良い。 The method shown above is a method for optimizing the light source light amount by adjusting the light source output, but the light source light amount may be optimized by adjusting the irradiation time of the light source.
照射光量の最適化を行う際に、関節部分の特定が必要となるが、そのための手順の例2つを次に述べる。ひとつは、透過光によって撮像した指の血管パターン画像のプロファイルにより、相対的に画像の輝度値の高い部分を検出し、指の関節部分を特定するものである。次に、関節部分の光源の強度で、例えば、8ビットのダイナミックレンジに対して輝度値が255に達している画素がないように光源光量にフィードバックをかける。もうひとつの手順は、取得画像において、指の長軸方向に空間的ローパスフィルタをかけた画像を評価し、関節部分を照明している光源の光量を調節するものである。以上の手順により、空間的な強度分布を持つ光源を構成することができる。 When optimizing the irradiation light amount, it is necessary to specify the joint portion. Two examples of procedures for that purpose will be described below. One is to detect a portion having a relatively high luminance value of the image based on the profile of the blood vessel pattern image of the finger imaged by transmitted light and identify the joint portion of the finger. Next, the light amount of the light source is fed back so that there is no pixel whose luminance value reaches 255 with respect to the intensity of the light source at the joint portion, for example, with respect to the dynamic range of 8 bits. Another procedure is to evaluate an image obtained by applying a spatial low-pass filter in the long axis direction of the finger in the acquired image, and adjust the light amount of the light source illuminating the joint portion. By the above procedure, a light source having a spatial intensity distribution can be configured.
以上述べた照射光量を自動調整する構成は、コントラストの良い血管画像を取得するのに適している。光量を調節することにより血管画像の画質が飛躍的に向上するので、取得画像の画像間演算による個人認証を円滑に行なうことが可能となる。 The configuration for automatically adjusting the irradiation light amount described above is suitable for acquiring a blood vessel image with good contrast. Since the image quality of the blood vessel image is dramatically improved by adjusting the amount of light, it is possible to smoothly perform personal authentication by the inter-image calculation of the acquired image.
認証の演算は、あらかじめ登録しておいた本人の指の血管画像をテンプレートとし、認証の際に撮像した指の血管パターン画像と、テンプレートの間でその類似度を評価する相関演算により行う。相関演算処理としては、2次元配列を構成する要素の一致の程度に対して演算出力値が単調増加であるような演算、最も典型的には、2次元コンボリューション演算(式1)により行う。 The calculation of authentication is performed by a correlation calculation that evaluates the similarity between the blood vessel pattern image of the finger captured at the time of authentication and the template using the blood vessel image of the person's finger registered in advance. The correlation calculation processing is performed by a calculation in which the calculation output value monotonically increases with respect to the degree of coincidence of elements constituting the two-dimensional array, most typically by a two-dimensional convolution calculation (Equation 1).
登録する指は、1本から5本を用いることができ、セキュリティの高さに応じて、照合する指の本数を増やし、場合によっては、指以外の血管画像も併せて用いることも可能である。 One to five fingers can be registered, the number of fingers to be collated is increased according to the level of security, and blood vessel images other than fingers can be used in some cases. .
図10は検出した指の画像に基づいて個人認証を行う手順を説明するためのブロック図である。個人認証処理は、本人登録処理と認証処理の2つに大別される。本人登録処理は、本人登録時に入力する登録用画像に基づいて、登録画像データベース100を予め作成する処理であり、ブロック1000〜1001がこれに相当する。また認証処理は、認証用に入力された画像と登録画像の相関演算に基づき承認または拒否を決定する処理であり、ブロック1002〜1005がこれに相当する。
FIG. 10 is a block diagram for explaining a procedure for performing personal authentication based on the detected finger image. The personal authentication process is roughly divided into two processes: a personal registration process and an authentication process. The personal registration process is a process of creating the registered
本人登録処理では、画像検出手段から本人の登録用画像が入力される(ブロック1000)と同時に、後述する登録画像作成処理を行って血管走行を強調した画像を作成して(ブロック1001)登録する。一方、認証処理では、個人情報入力手段によって本人IDが入力される(ブロック1002)と同時に、前記本人IDに基づいて対応する本人の登録画像が登録画像データベースから選択される(ブロック1003)。また画像検出手段から被認証者の認証用画像が入力される(ブロック1004)と同時に、登録画像作成処理と同様の後述する認証画像作成処理を行って血管走行を強調した画像が作成され(ブロック1005)、登録画像との間で相互相関演算が実行される。 In the personal registration process, the registration image of the personal person is input from the image detection means (block 1000), and at the same time, a registered image creation process (to be described later) is performed to create an image that emphasizes blood vessel running (block 1001) and register it. . On the other hand, in the authentication process, a personal ID is input by the personal information input means (block 1002), and at the same time, a corresponding registered image of the user is selected from the registered image database based on the personal ID (block 1003). Also, at the same time as the authentication image of the person to be authenticated is input from the image detection means (block 1004), an authentication image creation process, which will be described later, similar to the registered image creation process is performed to create an image that emphasizes blood vessel travel (block). 1005), the cross-correlation calculation is executed with the registered image.
続いてこの相関演算結果を評価し、本人かどうかの認証結果を出力する。前述のように、相関演算として最も典型的には、2次元コンボリューション演算を用いる。この場合、指が像面内で並行移動しても、2次元コンボリューション演算結果として得られる分布も同様に並行移動するだけで、その大きさや形状は変化しないので、これらにより2画像間の類似度を評価すれば、像面内の並行移動に関する補正が自動的に行われることになる。加えて、この相関演算は、2データ間のコンボリューション演算が、両者のフーリエ変換の積をさらに逆フーリエ変換することと等価であることを利用し、2次元高速フーリエ変換(Fast Fourier Transform、以下FFTとする)を用いて高速化することができる。 Subsequently, the correlation calculation result is evaluated, and an authentication result indicating whether or not the user is the user is output. As described above, the two-dimensional convolution calculation is most typically used as the correlation calculation. In this case, even if the finger moves in parallel in the image plane, the distribution obtained as a result of the two-dimensional convolution operation also moves in the same way, and the size and shape do not change. If the degree is evaluated, correction relating to parallel movement in the image plane is automatically performed. In addition, this correlation calculation utilizes the fact that the convolution calculation between two data is equivalent to the inverse Fourier transform of the product of the two Fourier transforms, and the two-dimensional fast Fourier transform (hereinafter referred to as “Fast Fourier Transform”). FFT).
図11は、FFTを用いて相関演算の高速化を図った場合の画像演算手順を説明するブロック図である。入力された登録用画像または認証用画像は、それぞれ、輪郭抽出・回転処理(ブロック1101)によって、指の輪郭の抽出し、輪郭された輪郭をもとに、指の傾きが一定となるように回転処理を行う。この処理により、指の物理的位置決めが不十分であっても、像面内の回転に関しては、それが補正され、画像空間上で位置決めされる。これと前記の2次元相関演算の特長により、像面内の移動に関しては、並行移動も回転もともに補正され、画像空間上で位置決めされることになる。 FIG. 11 is a block diagram illustrating an image calculation procedure when the correlation calculation is speeded up using FFT. The input registration image or authentication image is extracted by a contour extraction / rotation process (block 1101) so that the finger tilt is constant based on the contour contour. Perform rotation processing. With this process, even if the physical positioning of the finger is insufficient, the rotation in the image plane is corrected and positioned in the image space. Due to this and the feature of the two-dimensional correlation calculation, the movement in the image plane is corrected in both parallel movement and rotation and positioned in the image space.
輪郭抽出・回転処理された登録用画像または認証用画像は、それぞれ、血管走行を強調した画像に変換(ブロック1102)されたのち、2次元FFT演算処理(ブロック1103)された結果が、前者では登録される。後者では、ID入力に基づいて選択された登録画像との間で積算演算が実行(ブロック1104)される。その結果は、引き続き2次元高速逆フーリエ変換(Inverse FFT、以下IFFTとする)(ブロック1105)され、登録画像と認証画像の相互相関分布が求まる。上記のように、登録画像作成処理(ブロック1001)および認証画像作成処理(ブロック1006)では、1101から1103の処理に対応する同一の画像処理が行われる。 The registration image or authentication image that has undergone contour extraction / rotation processing is converted into an image that emphasizes blood vessel running (block 1102), and the result of two-dimensional FFT calculation processing (block 1103) is be registered. In the latter, an integration operation is performed with the registered image selected based on the ID input (block 1104). The result is subsequently subjected to a two-dimensional fast inverse Fourier transform (inverse FFT, hereinafter referred to as IFFT) (block 1105) to obtain a cross-correlation distribution between the registered image and the authentication image. As described above, in the registered image creation processing (block 1001) and the authentication image creation processing (block 1006), the same image processing corresponding to the processing from 1101 to 1103 is performed.
図12は、血管強調処理手順の一例を、詳しく説明するためのブロック図である。図12において、12(a)〜12(c)は、処理手順毎に得られる指画像の概略図を示したものである。 FIG. 12 is a block diagram for explaining in detail an example of the blood vessel enhancement processing procedure. In FIG. 12, 12 (a) to 12 (c) are schematic views of finger images obtained for each processing procedure.
入力画像は、大きく指部120、エッジ部121、周辺部122に分割できる。また、一般的に、画像中には様々なノイズ123も同時に含まれており、これを除去する必要がある。図12において、ブロック(1201)〜(1203)は、指の輪郭を抽出する処理手順、ブロック(1204)〜(1206)は指の静脈パターン以外のバックグラウンド(バックトレンド)に相当する画像を抽出する処理手順、ブロック(1207)〜(1211)は、元の画像(1200)からバックトレンドを差し引いて、必要な静脈パターンのみを抽出する処理手順を示している。
The input image can be roughly divided into a
撮像された指画像が入力されると(ブロック1200)、まず高周波遮断フィルタによってノイズ123等の細かな構造が除去され(ブロック1201)、指輪郭等の比較的大きな構造のみが強調される。続いて方向微分処理が行われ(ブロック1202)、エッジ強調画像12(b)を得る。画像12(b)に示されるように、エッジ強調画像では指のエッジ部121が強調されて大きな画素値を持つため、前記画素値に基づいてエッジ検出処理を行い、エッジ部121の位置情報のみを検出する(ブロック1203)。続いて前記検出されたエッジの位置情報に基づき、元画像12(a)中から指部120のみを切り出した画像12(c)を得る(ブロック1204)。
When the captured finger image is input (block 1200), first, a fine structure such as
なお画像12(c)においては、指の外側における画素値の平均値を指の内部における画素値の平均値と合わせる。この演算を行わないと、指のを行うことで強調された指の輪郭成分が演算に大きく寄与し、静脈パターンによる認証の演算が行われない。 In the image 12 (c), the average value of the pixel values outside the finger is matched with the average value of the pixel values inside the finger. If this calculation is not performed, the finger contour component emphasized by performing the finger greatly contributes to the calculation, and the authentication calculation based on the vein pattern is not performed.
指の内部における画素値の平均値を0にシフトさせる場合、画像12(c)における、周辺部122に画素値0が挿入される。続いて画像12(c)中の周辺部122の値を、エッジ部121の値で上下方向に外挿した画像12(d)を作成した後(ブロック1205)、高周波遮断フィルタによって画像の大まかな構造、すなわちバックトレンドのみを抽出する(ブロック1206)。ここでブロック1205において外挿処理を行う理由は、ブロック1206の高周波遮断フィルタ処理によってエッジ部121付近の画素値が不本意に強調されるのを防ぐためである。
When the average value of the pixel values inside the finger is shifted to 0, the
続いて元画像12(a)と前記バックトレンド画像の差分画像を作成した後(ブロック1208)、前記検出されたエッジ位置に基づき、前記差分画像の切り出し画像12(e)を得る。前記差分は低周波遮断フィルタ処理に相当し、これにより筋肉、骨等の透過光や散乱光によって発生するバックトレンド構造が除去されるため、12(e)に示されるような血管構造のみが強調された画像を得ることができる。 Subsequently, after creating a difference image between the original image 12 (a) and the back trend image (block 1208), a cutout image 12 (e) of the difference image is obtained based on the detected edge position. The difference corresponds to a low-frequency cutoff filter process, which removes the back-trend structure generated by transmitted light and scattered light from muscles, bones, etc., so that only the blood vessel structure as shown in 12 (e) is emphasized. Images can be obtained.
最後に前記検出されたエッジ位置から求められる指の傾きに応じて、その傾きが一定値、典型的には0となるように画像回転処理を行った画像12(f)を作成し(ブロック1209)、これを登録画像または認証画像として出力する(ブロック1210)。 Finally, according to the finger inclination obtained from the detected edge position, an image 12 (f) that has been subjected to image rotation processing so that the inclination becomes a constant value, typically 0, is created (block 1209). This is output as a registered image or an authentication image (block 1210).
図15には、図12の手順で認証画像を得た後の認証手順を示すブロック図である。登録画像と認証画像との間の相互相関演算の結果は、下記(式2)によって正規化され(ブロック1503)、その後に分布中の最大値Mが抽出される(ブロック1504)。 FIG. 15 is a block diagram showing an authentication procedure after obtaining an authentication image by the procedure of FIG. The result of the cross-correlation calculation between the registered image and the authentication image is normalized by the following (Equation 2) (block 1503), and then the maximum value M in the distribution is extracted (block 1504).
ただし、 Cab(x,y)は登録画像と認証画像の相互相関分布。ブロック1209の出力、Caa(x,y)およびCbb(x、y)は登録画像および 登録画像および認証画像の2乗積分値を意味する。
However, Cab (x, y) is a cross-correlation distribution between the registered image and the authentication image. The output of
算出された登録画像と認証画像の最大相互相関値Mの値が、閾値Moより大きい場合は被認証者が登録者本人であると見なされ、承認が行われる(ブロック1009)。またMの値が閾値Moより小さい場合は本人ではないと見なされ、承認が拒否される(ブロック1010)。閾値Moの値は、サンプル画像を入力して統計的処理を行うことにより予め適正値を求めておく。上記のように、指内部における画素平均値を0にシフトさせた場合、Moの値は0.45〜0.55程度であるが、これに限定されるものではない。 If the calculated maximum cross-correlation value M between the registered image and the authentication image is greater than the threshold Mo, the person to be authenticated is considered to be the registrant and approval is performed (block 1009). On the other hand, if the value of M is smaller than the threshold value Mo, it is assumed that the person is not the person and the approval is rejected (block 1010). As the value of the threshold Mo, an appropriate value is obtained in advance by inputting a sample image and performing statistical processing. As described above, when the pixel average value inside the finger is shifted to 0, the value of Mo is about 0.45 to 0.55, but is not limited thereto.
本人であることが確認されない場合には、予め設定した数回の規定回数以内で、指画像撮像等の情報を再入力することによる再認証を行う。例えば、本人であることが確認された場合には、管理されている情報や区域へのアクセスの許可を行うが、本人であることが確認されない場合には、数回の規定回数以内で、再認証を行い、最終的に本人であることの確認ができなかった場合には、管理されている情報や区域へのアクセスを拒否する。 If the person is not confirmed, re-authentication is performed by re-inputting information such as finger image capturing within a predetermined number of preset times. For example, if it is confirmed that the person is an authorized person, access to the managed information or area is permitted. If the person is not confirmed, the user can re-apply within a specified number of times. If authentication is performed and it is not possible to confirm the identity of the person in the end, access to the managed information or area is denied.
登録画像データベースから本人の登録画像を選択するために本人IDを入力する個人情報入力手段は、キーボード以外の非接触方式で行うことが望ましい。これは、音声による名前やパスワード等の個人情報あるいは本人しか知らないキーワード等の入力や、非接触式ICカード等に搭載された個人情報を用いて行うことができる。このような入力手段を用いれば、非接触的特長を生かした個人認証システムを構築的することができる。この処理は、認証装置内のCPUにより独立して行うか、あるいはコンピュータ等の機器を通じてオンラインシステムと連動させて行うこともできる。 It is desirable that the personal information input means for inputting the person ID for selecting the person's registered image from the registered image database is performed by a non-contact method other than the keyboard. This can be done by inputting personal information such as names and passwords by voice or keywords that only the person knows, or using personal information mounted on a non-contact IC card or the like. By using such an input means, it is possible to construct a personal authentication system that makes use of non-contact features. This processing can be performed independently by the CPU in the authentication apparatus, or can be performed in conjunction with an online system through a device such as a computer.
認証用の登録画像は、認証用サーバに接続された固定媒体や、半導体メモリを組み込んだ媒体や、フレキシブルディスクに代表される可搬性媒体に保存されたものを利用する。本方式により、現行の銀行ATMにおけるキーボード入力の操作を省くことができ、接触性の問題と装置のメンテナンスの煩わしさを解消することができる。電子政府における個人情報へのアクセスや、オンライン商取引における認証においても、上記利点から本方式の利用が適している。 As the registered image for authentication, a fixed medium connected to the authentication server, a medium incorporating a semiconductor memory, or a portable medium represented by a flexible disk is used. With this method, the keyboard input operation in the current bank ATM can be omitted, and the problem of contactability and the troublesome maintenance of the apparatus can be eliminated. The use of this method is also suitable for access to personal information in electronic government and authentication in online commerce because of the above advantages.
実施例1においては、指の撮像を一つのCCDカメラを用いて行っていたが、認証時または撮像時の指の撮像を複数のCCDカメラを用いて行う方法も、認証率を高める方法として有効である。 In the first embodiment, a finger is imaged using one CCD camera. However, a method of imaging a finger using a plurality of CCD cameras at the time of authentication or imaging is also effective as a method for increasing the authentication rate. It is.
図5には、複数のCCDカメラを用いた場合の、光源301、指302、CCDカメラ(303−1〜303−5)の配置を示した。複数のCCDカメラを用いて、指の静脈パターンを異なる方向から複数パターン撮像し、登録済みの静脈パターンと最も近いパターンを選択して認証を行う。または、登録用静脈パターンを複数パターン撮像し、登録用の静脈パターンを3次元データとして保存しておき、認証用の静脈パターンと最も近いパターンを選び出して認証を行う。この方法は、指の長さ方向を中心軸とする指の回転が起きた場合の認証率の低下を防ぐのに特に有効であり、完全非接触の装置を実現する上で有効である。
FIG. 5 shows an arrangement of the
撮像される画像は静止画だけではなく動画像であってもよい。動画での3次元データを取得し登録する場合には、図3の光源LED(301)、指(302)撮像素子(303)の構成において、指を回転させて動画の撮像する。または、図5に示したように、複数のCCDカメラを用いて、複数点における撮像を行ってもよい。認証は、図3に示す構成の撮像部によって撮像した2次元画像か、図5に示すような構成の撮像部を用いて3次元的に撮像した画像によって行う。 The captured image may be a moving image as well as a still image. When acquiring and registering three-dimensional data in a moving image, the moving image is picked up by rotating the finger in the configuration of the light source LED (301) and the finger (302) imaging element (303) in FIG. Alternatively, as shown in FIG. 5, imaging at a plurality of points may be performed using a plurality of CCD cameras. The authentication is performed using a two-dimensional image captured by the imaging unit configured as illustrated in FIG. 3 or an image captured three-dimensionally using the imaging unit configured as illustrated in FIG.
撮像された画像は、演算装置に取り込み、画像演算を行って、認証を行うが、登録用の静脈パターンと認証用の静脈パターンとで、最も近いものを選択して認証を行うため、認証率が高くなる、ないし画像演算にかかる負担が減るという利点がある。 The captured image is loaded into a computing device, and image computation is performed to perform authentication. However, the authentication vein ratio is selected by selecting the closest registration vein pattern and authentication vein pattern. There is an advantage that the load on image calculation is reduced.
図13は、血管パターンの強調処理(図11のブロック1101〜1103に相当)の一つの例を、さらに詳しく説明するためのブロック図である。指画像が入力されると(ブロック1000または1004)、エッジ検出処理(ブロック1300)によって、指の輪郭の位置を検出する。ここで検出されたエッジ位置を元に、指の傾きが一定値、典型的には0となるように画像回転処理(ブロック1301)を行う。得られた画像に対し、血管パターン強調処理(ブロック1302)を行う。
FIG. 13 is a block diagram for explaining in more detail one example of the blood vessel pattern enhancement processing (corresponding to
血管パターン強調処理は、例えば、図13(a)に示すような指の長軸方向に対して高周波遮断的、指の短軸方向に対して低周波遮断的に設計されたフィルタを用いて行う。フィルタ処理は、実空間におけるコンボシューション演算(式1)、もしくは、周波数空間における積算演算いずれにおいても行うことができる。血管パターン強調処理画像に対し、先のエッジ検出処理(ブロック1300)によって検出した指の輪郭位置を元に、図12の例と同様、指の外側における画素値の平均値を指の内部における画素値の平均値と合わせ(ブロック1303)る。指の内部における画素値の平均値を0にシフトさせる場合、輪郭の外側の画素値を0する。 The blood vessel pattern enhancement processing is performed using, for example, a filter designed to cut off the high frequency with respect to the long axis direction of the finger and to cut off the low frequency with respect to the short axis direction of the finger as shown in FIG. . Filter processing can be performed in either the convolution calculation in the real space (Equation 1) or the integration calculation in the frequency space. For the blood vessel pattern enhancement processing image, based on the contour position of the finger detected by the previous edge detection processing (block 1300), as in the example of FIG. 12, the average value of the pixel values outside the finger is calculated as the pixel inside the finger. The average value is combined (block 1303). When the average value of the pixel values inside the finger is shifted to 0, the pixel values outside the contour are set to 0.
得られた画像について2次元FFT演算を行った(ブロック1103)後で、同一画像における積算演算(ブロック1304)を行い、2次元IFFT演算(ブロック1305)を行う。その結果に対し、評価関数処理(ブロック1306)を行う。指の血管は、主に、指の短軸方向より長軸方向に走行していることを反映し、血管パターンの違いは、2次元コンボリューション演算結果における指の短軸方向でのピーク形状に特によく反映される。そこで、評価関数処理としては、例えば、13(b)で表現されるような指の短軸方向のみの要素で構成されるカーネルを用い、実空間でのコンボリューション演算もしくは、周波数空間における積算演算による処理を行なう。 After the two-dimensional FFT operation is performed on the obtained image (block 1103), an integration operation (block 1304) on the same image is performed, and a two-dimensional IFFT operation (block 1305) is performed. Evaluation function processing (block 1306) is performed on the result. The blood vessel of the finger mainly reflects that it travels in the long axis direction rather than the short axis direction of the finger, and the difference in blood vessel pattern is the peak shape in the short axis direction of the finger in the two-dimensional convolution calculation result. Especially well reflected. Therefore, as the evaluation function processing, for example, a kernel composed of elements only in the minor axis direction of the finger as represented by 13 (b) is used, and convolution calculation in real space or integration calculation in frequency space is performed. The process by is performed.
入力画像が、m行n列のマトリックス、カーネルがp行1列のマトリックスであれば、評価関数処理の結果は(m+p−1)行n列である。この結果のマトリックスにおける最大値Mxを登録画像、認証画像対して算出し、それぞれ、M1、M2とする。M1は、登録データベース(100)に格納する。 If the input image is an m × n matrix and the kernel is a p × 1 matrix, the result of the evaluation function process is (m + p−1) × n columns. The maximum value Mx in the matrix of the result is calculated for the registered image and the authentication image, and is set as M1 and M2, respectively. M1 is stored in the registration database (100).
図14は、図13の手順で画像処理を行なった場合におけるブロック1007以降の認証の手順を示すブロック図である。登録画像と認証画像との間の相互相関演算の結果に対し、評価関数処理(ブロック1403)を行い、そこで算出される最大値Mに対して、上記のM1、M2に基づき、下記(式3)による正規化演算(ブロック1404)を行う。
FIG. 14 is a block diagram showing an authentication procedure after
算出された登録画像と認証画像の相互相関指数MXの値が、閾値Mxoより大きい場合
は被認証者が登録者本人であると見なされ、承認が行われる(ブロック1009)。また
Mxの値が閾値Mxoより小さい場合は登録者本人ではないと見なされ、承認が拒否される(ブロック1010)。閾値Mxoの値は、サンプル画像を入力して統計的処理を行うことにより予め適正値を求めておく。上記のように、指内部における画素平均値を0にシフトさせた場合、Mxoの値は0.3〜0.4程度であるが、これに限定されるものではない。
If the calculated cross-correlation index MX between the registered image and the authentication image is greater than the threshold value Mxo, the person to be authenticated is regarded as the registrant himself and approval is performed (block 1009). If the value of Mx is smaller than the threshold value Mxo, it is assumed that the user is not the registrant, and approval is rejected (block 1010). As the value of the threshold value Mxo, an appropriate value is obtained in advance by inputting a sample image and performing statistical processing. As described above, when the pixel average value inside the finger is shifted to 0, the value of Mxo is about 0.3 to 0.4, but is not limited thereto.
完全非接触方式は、一般にコスト・処理時間・小型化等の点で必ずしも有利ではないので、指の位置決めに必要な最小限度、上記の非接触的特長が維持される範囲内で、指、手等の撮像箇所を治具に接触させて固定する装置も実用的意義が大きい。ここで、ヒトの手に存在する細菌は手の甲側が、手の平側より圧倒的に少ない。したがって、撮像箇所を最小限度固定治具に接触させる装置であっても、手の平側は接触させない方が望ましい。ここでは、その例について説明する。 In general, the completely non-contact method is not necessarily advantageous in terms of cost, processing time, downsizing, etc., so that the minimum necessary for finger positioning and the above non-contact features are maintained. An apparatus for fixing an imaging location such as a contact with a jig is also of great practical significance. Here, the bacteria present in human hands are overwhelmingly less on the back side of the hand than on the palm side. Therefore, it is desirable that the palm side of the device should not be brought into contact with the apparatus even if the imaging location is brought into contact with the fixing jig at the minimum. Here, an example will be described.
図7には、図3におけるピンに替わりにエアの噴出しを利用した指の位置決めの方法を示す。噴出し口(図7(700)、図8(800))より圧縮されたエアを噴出させる。802は、エアコンプレッサーと制御系であり、801は、圧縮エアの流入口である。図8において、手のひら部分の噴出し口から噴出されるエアは、手のひらが装置に触れないようにするためのものである。認証時には、図7(700)から噴出するエアが指に強く当たらないような位置に手が自然に置かれる。
FIG. 7 shows a finger positioning method using air ejection instead of the pins in FIG. The compressed air is ejected from the ejection port (FIG. 7 (700), FIG. 8 (800)).
装置からの手のひらの位置までの高さが適当かどうかは、高さ方向の位置を検出するための光センサー等を設置することで測定し、画像取り込みを制御、あるいは高さが不適当な場合には被認証者にそれを知らせる手段を制御する。上記の通り、手の平を物体に接触することがないため、不特定多数の人間が装置を使用することによって生じる細菌等の感染の危険性を低くすることができる。手の平側を接触させない本方式は、手の平側を接触させる方式に比べ、優れた方式であると言える。 Whether the height from the device to the palm position is appropriate is measured by installing an optical sensor to detect the position in the height direction, image capture is controlled, or the height is inappropriate Controls the means to inform the person to be authenticated. As described above, since the palm does not come into contact with the object, it is possible to reduce the risk of infection such as bacteria caused by an unspecified number of people using the device. This method, in which the palm side is not contacted, can be said to be an excellent method compared to the method in which the palm side is contacted.
また、手の平側を接触させる装置であっても、認証の際に、手の平を載せるシート(900)を使った面から巻き取る、あるいは、紫外線光源(901)消毒液(902)で殺菌を行うこと等により、清潔に利用することが可能であるという本発明の特長を生かした認証装置を実現できる。充分な殺菌を行うためには、手を載せるシート(900)として、酸化チタン等の光触媒をコーティングしたシートを用いて、紫外線を照射する。このような殺菌装置を組み入れることで、装置の清潔さが維持可能となる。 In addition, even if the device contacts the palm side, it is necessary to wind up from the surface using the sheet (900) on which the palm is placed or to sterilize with an ultraviolet light source (901) disinfectant (902) at the time of authentication. Thus, it is possible to realize an authentication device that takes advantage of the feature of the present invention that it can be used cleanly. In order to perform sufficient sterilization, a sheet coated with a photocatalyst such as titanium oxide is used as a sheet (900) on which a hand is placed, and is irradiated with ultraviolet rays. By incorporating such a sterilizer, the cleanliness of the device can be maintained.
300…手、903…認証装置ケース、904…殺菌用ボックス、905…紫外光あるいは、消毒液放出器。 300 ... hand, 903 ... authentication device case, 904 ... sterilization box, 905 ... ultraviolet light or disinfectant dispenser.
Claims (3)
手が提示される提示面と、
前記提示された手における複数の指を撮像する撮像部と、
前記複数の指の夫々に対応する、照射用光源を前記複数の光源の中から夫々選択し、前記照射用光源の夫々の光量を制御する光量制御部を有することを特徴とする血管画像撮影装置。 A plurality of light sources arranged in a grid,
A presentation surface on which the hand is presented;
An imaging unit for imaging a plurality of fingers in the presented hand;
A blood vessel image photographing apparatus comprising: a light amount control unit that selects an irradiation light source corresponding to each of the plurality of fingers from the plurality of light sources, and controls a light amount of each of the irradiation light sources. .
複数の撮像部と、
前記複数の光源夫々の光量を制御する光量制御部と、
を備え、
前記複数の撮像部は、提示された指の血管パターンを含む画像を撮影する事を特徴とする血管画像撮影装置。 Multiple light sources;
A plurality of imaging units;
A light amount control unit for controlling the light amount of each of the plurality of light sources;
With
The blood vessel image capturing device, wherein the plurality of image capturing units capture an image including a presented blood vessel pattern of a finger.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022799A JP5924431B2 (en) | 2015-02-09 | 2015-02-09 | Blood vessel imaging device and personal authentication device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022799A JP5924431B2 (en) | 2015-02-09 | 2015-02-09 | Blood vessel imaging device and personal authentication device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014059447A Division JP5780332B2 (en) | 2014-03-24 | 2014-03-24 | Blood vessel imaging device and personal authentication device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016010247A Division JP6298838B2 (en) | 2016-01-22 | 2016-01-22 | Personal authentication device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015127966A true JP2015127966A (en) | 2015-07-09 |
JP5924431B2 JP5924431B2 (en) | 2016-05-25 |
Family
ID=53837904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015022799A Expired - Lifetime JP5924431B2 (en) | 2015-02-09 | 2015-02-09 | Blood vessel imaging device and personal authentication device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5924431B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04199376A (en) * | 1990-11-29 | 1992-07-20 | Fujitsu Ltd | Finger print image input device |
JPH0721373A (en) * | 1993-06-17 | 1995-01-24 | Asahi Optical Co Ltd | Individual identifying device |
WO1999000053A1 (en) * | 1997-06-27 | 1999-01-07 | Toa Medical Electronics Co., Ltd. | Living body inspecting apparatus and noninvasive blood analyzer using the same |
JPH11203452A (en) * | 1998-01-19 | 1999-07-30 | Hitachi Ltd | Personal feature pattern detector and personal identification device using the detector |
-
2015
- 2015-02-09 JP JP2015022799A patent/JP5924431B2/en not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04199376A (en) * | 1990-11-29 | 1992-07-20 | Fujitsu Ltd | Finger print image input device |
JPH0721373A (en) * | 1993-06-17 | 1995-01-24 | Asahi Optical Co Ltd | Individual identifying device |
WO1999000053A1 (en) * | 1997-06-27 | 1999-01-07 | Toa Medical Electronics Co., Ltd. | Living body inspecting apparatus and noninvasive blood analyzer using the same |
JPH11203452A (en) * | 1998-01-19 | 1999-07-30 | Hitachi Ltd | Personal feature pattern detector and personal identification device using the detector |
Also Published As
Publication number | Publication date |
---|---|
JP5924431B2 (en) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002092616A (en) | Individual authentication device | |
EP3213245B1 (en) | Systems and methods for spoof detection in iris based biometric systems | |
US9118839B2 (en) | Personal identification system | |
JP4547899B2 (en) | Personal authentication device | |
JP6298838B2 (en) | Personal authentication device | |
JP5923524B2 (en) | Biometric authentication device, blood vessel imaging device, and method | |
JP5733296B2 (en) | Blood vessel imaging device and personal authentication device | |
JP5299528B2 (en) | Blood vessel imaging device and personal authentication device | |
JP5188517B2 (en) | Personal authentication device | |
JP6606688B2 (en) | Personal authentication device | |
JP4649833B2 (en) | Personal authentication device and blood vessel image extraction device | |
JP5924431B2 (en) | Blood vessel imaging device and personal authentication device | |
JP4089533B2 (en) | Personal authentication device and blood vessel pattern extraction method | |
JP5780332B2 (en) | Blood vessel imaging device and personal authentication device | |
JP2004164651A (en) | Individual authentication device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160404 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5924431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
EXPY | Cancellation because of completion of term |