JP2006146343A - Iris information sensor and iris identifying device - Google Patents

Iris information sensor and iris identifying device Download PDF

Info

Publication number
JP2006146343A
JP2006146343A JP2004332123A JP2004332123A JP2006146343A JP 2006146343 A JP2006146343 A JP 2006146343A JP 2004332123 A JP2004332123 A JP 2004332123A JP 2004332123 A JP2004332123 A JP 2004332123A JP 2006146343 A JP2006146343 A JP 2006146343A
Authority
JP
Japan
Prior art keywords
iris
pixels
image
pixel
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004332123A
Other languages
Japanese (ja)
Other versions
JP2006146343A5 (en
JP4553691B2 (en
Inventor
Haruo Ito
春雄 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Media Technology Corp
Original Assignee
Media Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Media Technology Corp filed Critical Media Technology Corp
Priority to JP2004332123A priority Critical patent/JP4553691B2/en
Publication of JP2006146343A publication Critical patent/JP2006146343A/en
Publication of JP2006146343A5 publication Critical patent/JP2006146343A5/ja
Application granted granted Critical
Publication of JP4553691B2 publication Critical patent/JP4553691B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To extract a feature of the iris of an eye with a simple structure to improve iris identification accuracy in an iris information sensor in which pixels are arranged in a polar coordinate state. <P>SOLUTION: Around an imaging sensor part having a photoelectric conversion pixel group arranged in a polar coordinate state, the iris information sensor comprises a read voltage holding part for temporarily storing image signals by one cycle of pixels sequentially at every radius position of the pixel group; a weighting moving average circuit sequentially weighting-averaging to output signals corresponding to image signals from a prescribed number of pixels consecutively in a circumferential direction among image signals stored in the holding part; and a comparator comparing an output from the average circuit with a signal corresponding to an image signal from a prescribed single pixel among the prescribed number of pixels consecutive in the circumferential direction among the image signals stored in the holding part. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、アイリス情報センサおよびアイリス識別装置に関し、特に極座標状に画素を配置したエリアセンサ、すなわち極座標センサ、において、目のアイリス情報の特徴抽出に新規な構成の加重移動平均回路などを使用することにより簡単な構成でアイリス識別精度を向上させる技術に関する。   The present invention relates to an iris information sensor and an iris discriminating apparatus, and in particular, in an area sensor in which pixels are arranged in polar coordinates, that is, a polar coordinate sensor, a weighted moving average circuit having a novel configuration is used for feature extraction of eye iris information. The present invention relates to a technique for improving iris identification accuracy with a simple configuration.

本願出願人は先に目のアイリスパターンを用いて個人識別などを行なうためのアイリス情報取得装置およびアイリス識別装置などに使用するため、極座標状に光電変換画素を配置した極座標センサを用いることを提案している。   The applicant of the present application previously proposed to use a polar coordinate sensor in which photoelectric conversion pixels are arranged in polar coordinates for use in an iris information acquisition device and an iris identification device for performing personal identification using the iris pattern of the eye. is doing.

この極座標センサは、極座標状に配列された光電変換画素群からなる撮像センサと、前記撮像センサ上に結像されたアイリス画像の中心と前記撮像センサの極座標の極との間の誤差の方向と大きさとを求めるための中心位置誤差検出手段とを一体化して1つの基板上に形成したものである。   The polar coordinate sensor includes an imaging sensor including photoelectric conversion pixel groups arranged in a polar coordinate pattern, and an error direction between a center of an iris image formed on the imaging sensor and a polar coordinate pole of the imaging sensor. The center position error detecting means for obtaining the size is integrated and formed on one substrate.

このようなアイリス情報センサでは、各個人の目のアイリスに特有のアイリスパターンの特徴抽出を行ないアイリスコードを取得する。このアイリスコードは、予め登録されたアイリスコードとの比較を行なうことによって個人認証などを行なうことができる。   In such an iris information sensor, the iris pattern characteristic extraction specific to the iris of each individual's eye is performed to obtain an iris code. This iris code can be personally authenticated by comparing with an iris code registered in advance.

目のアイリスのパターンに基づき特徴抽出を行なうためには、例えば前記極座標センサの撮像信号すなわち画素出力信号をバンドパスフィルタに入力し、バンドパスフィルタによって画素出力信号の変化点、すなわちアイリスパターンのθ方向の変化を抽出する。そして、この抽出された信号を所定のしきい値と比較してアイリスコードを生成する。あるいは、アイリスパターンの特徴抽出を、例えば、連続するN個の画素の出力の平均値を取得し、この平均値と注目画素の出力とを比較することによりバンドパスフィルタおよび比較器を含む構成と同等の機能を達成することができ、この方法は移動平均比較法と称することができる。   In order to perform feature extraction based on the iris pattern of the eye, for example, the imaging signal of the polar coordinate sensor, that is, the pixel output signal is input to the bandpass filter, and the change point of the pixel output signal by the bandpass filter, that is, θ of the iris pattern Extract changes in direction. Then, the extracted signal is compared with a predetermined threshold value to generate an iris code. Alternatively, the feature extraction of the iris pattern may include, for example, a configuration including a band pass filter and a comparator by obtaining an average value of outputs of consecutive N pixels and comparing the average value with the output of the target pixel. Equivalent functions can be achieved and this method can be referred to as a moving average comparison method.

このようなアイリス情報の特徴抽出を移動平均比較法で行なう場合には、FIRフィルタが必要とされる。図5は、従来のFIRフィルタを用いて特徴抽出を行なう回路の構成例を示す。   When performing such feature extraction of iris information by the moving average comparison method, an FIR filter is required. FIG. 5 shows a configuration example of a circuit that performs feature extraction using a conventional FIR filter.

図5の構成は、撮像センサの出力すなわち画素出力(Sout)をデジタル信号に変換するA/D変換器42と、直列に接続された遅延素子(Z−1)41a,41b,41c,・・・,41hと、デジタル化された画素出力(Sout)並びに各遅延素子41a,41b,41c,・・・,41hの出力にそれぞれ所定の重み付けを行なう増幅器(または減衰器)43a,43b,43c,・・・,43iと、これらの増幅器43a,43b,43c,・・・,43iの出力を加算する加算器49とを備えた直線位相FIRフィルタを具備する。図5の回路はまた、例えば遅延素子41a,41b,41c,・・・,41hのいずれかの出力、すなわち注目画素出力(SDout)、を受けて利得調整を行なう増幅器45と、該増幅器45の出力が一方の入力に印加され他方の入力に前記加算器49の出力を受ける比較器47を備えている。 5 includes an A / D converter 42 that converts an output of the image sensor, that is, a pixel output (Sout) into a digital signal, and delay elements (Z −1 ) 41a, 41b, 41c,. .., 41h, and digitized pixel outputs (Sout) and amplifiers (or attenuators) 43a, 43b, 43c, which perform predetermined weighting on the outputs of the delay elements 41a, 41b, 41c,. .., 43i and a linear phase FIR filter provided with an adder 49 for adding the outputs of the amplifiers 43a, 43b, 43c,. 5 also includes, for example, an amplifier 45 that performs gain adjustment in response to an output of any one of the delay elements 41a, 41b, 41c,..., 41h, that is, a target pixel output (SDout), A comparator 47 is provided which receives the output of the adder 49 at the other input and the output applied to one input.

図5の構成では、極座標センサからの画素出力(Sout)がA/D変換器42によってデジタル化された後遅延素子41a,41b,41c,・・・,41hによって順次遅延され、かつ画素出力(Sout)およびこれらの遅延素子の出力に重み付けを行なった後加算器49において加算が行なわれる。これによって、画素出力(Sout)の加重移動平均出力が加算器49から得られる。そして、加算器49の出力と注目画素出力(SDout)に増幅器45により重み付けをした信号とが比較器47において比較され、特徴コード(Cout)が得られる。この場合、FIRフィルタのタップ数に応じて各増幅器43a,43b,43c,・・・,43i,45のゲインを適切に設定し、フィルタ特性や比較時のレベルを調整する必要がある。
特開2000−36036号公報
In the configuration of FIG. 5, the pixel output (Sout) from the polar sensor is digitized by the A / D converter 42 and then sequentially delayed by the delay elements 41a, 41b, 41c,. Sout) and the outputs of these delay elements are weighted and then added in an adder 49. As a result, a weighted moving average output of the pixel output (Sout) is obtained from the adder 49. Then, the comparator 47 compares the output of the adder 49 and the signal weighted by the amplifier 45 to the target pixel output (SDout) to obtain a feature code (Cout). In this case, it is necessary to appropriately set the gains of the amplifiers 43a, 43b, 43c,..., 43i, 45 according to the number of taps of the FIR filter, and to adjust the filter characteristics and the level at the time of comparison.
JP 2000-36036 A

このような従来のFIRフィルタを使用した特徴抽出構造では、画素出力をデジタル処理するため、複雑な遅延素子などを用いる必要があり、回路構成が複雑になると共に集積回路チップ上の占有面積が増大し、かつ消費電力も増大する。   In such a feature extraction structure using the conventional FIR filter, since the pixel output is digitally processed, it is necessary to use a complicated delay element, etc., which complicates the circuit configuration and increases the occupied area on the integrated circuit chip. In addition, power consumption increases.

また、後に説明するように、本発明において複数の加重移動平均回路を使用して、複数の周波数帯における特徴を同時にコード化し出力することによって識別精度を向上させる構成を採用した場合には、回路構成がさらに複雑になり、ハードウェア量も増大する。したがって、集積回路上の回路の占有面積も増大し消費電力も増大する。   Further, as will be described later, in the present invention, when a configuration that uses a plurality of weighted moving average circuits and simultaneously encodes and outputs features in a plurality of frequency bands to improve the identification accuracy, the circuit The configuration becomes more complicated and the amount of hardware increases. Therefore, the area occupied by the circuit on the integrated circuit increases and the power consumption also increases.

したがって、本発明の目的は、このような従来技術における問題点に鑑み、極座標状に配列された光電変換画素群を備えるアイリス情報センサにおいて、極めて簡単な回路構成により加重移動平均比較法による目のアイリス情報の特徴抽出を可能にし、装置構成の簡略化、集積回路上の占有面積の低減および消費電力の低減などが達成できるようにすることにある。   Accordingly, an object of the present invention is to provide an iris information sensor including photoelectric conversion pixel groups arranged in polar coordinates in view of such problems in the prior art, and an eye based on a weighted moving average comparison method with a very simple circuit configuration. It is intended to enable feature extraction of iris information, and to achieve simplification of the device configuration, reduction of the occupied area on the integrated circuit, reduction of power consumption, and the like.

本発明の他の目的は、極座標状に配列された光電変換画素群を備えたアイリス情報センサにおいて、簡単な回路構成によって、複数の周波数帯域を用いて目のアイリス情報の特徴抽出を行ないかつ同時にコード化できるようにすることによって、アイリス情報を用いた個人識別の精度を大幅に向上させることにある。   Another object of the present invention is to perform feature extraction of eye iris information using a plurality of frequency bands and at the same time, with a simple circuit configuration, in an iris information sensor having photoelectric conversion pixel groups arranged in polar coordinates. By enabling encoding, the accuracy of personal identification using iris information is greatly improved.

本発明の一態様によれば、極座標状に配列された光電変換画素群を備え、目のアイリス領域からの画像光を、前記画素群上に結像されたアイリス画像の中心と前記極座標の極とが一致するように前記光電変換画素群上に結像させてアイリス画像信号を読出す撮像センサ部と、前記撮像センサ部の周囲に配置され、前記光電変換画素群の各半径位置ごとに順次一周分の画素の画像信号を一時記憶するための読出し電位保持部と、前記読出し電位保持部に記憶された画像信号の内、円周方向に連続した所定数の画素からの画像信号に対応する信号を順次加重平均して出力する加重移動平均回路と、前記加重移動平均回路の出力と、前記読出し電位保持部に記憶された画像信号の内前記円周方向に連続した所定数の画素の内の所定の1つの画素からの画像信号に対応する信号とを比較する比較器と、を具備することを特徴とするアイリス情報センサが提供される。   According to one aspect of the present invention, a photoelectric conversion pixel group arranged in a polar coordinate form is provided, and image light from an iris region of an eye is converted to a center of an iris image formed on the pixel group and a polar coordinate pole. And an imaging sensor unit that forms an image on the photoelectric conversion pixel group so as to match and reads an iris image signal, and is arranged around the imaging sensor unit, and sequentially for each radial position of the photoelectric conversion pixel group Corresponds to image signals from a predetermined number of pixels continuous in the circumferential direction out of the image signals stored in the read potential holding unit and the read potential holding unit for temporarily storing image signals of pixels for one round A weighted moving average circuit that sequentially weights and outputs signals; an output of the weighted moving average circuit; and a predetermined number of pixels that are continuous in the circumferential direction among the image signals stored in the read potential holding unit From a given pixel Iris information sensor, characterized by comprising a comparator for comparing the signal corresponding to the image signal.

この場合、前記加重移動平均回路は、前記読出し電位保持部に記憶された画像信号の内、それぞれ一端が前記円周方向に連続した所定数の画素からの画像信号に対応する信号の1つを受け、他端が一緒に接続されて加重平均出力を供給する出力端を構成する複数の抵抗器を具備するものとすることができる。   In this case, the weighted moving average circuit outputs one of the signals corresponding to the image signals from a predetermined number of pixels each having one end continuous in the circumferential direction among the image signals stored in the read potential holding unit. A plurality of resistors may be provided that constitute an output end that is connected together and has the other end connected together to provide a weighted average output.

さらに、前記撮像センサ部の周囲に配置され、前記読出し電位保持部に記憶された一周分の画素の画像信号の内、前記円周方向に連続した所定数の画素からの画像信号に対応する信号が供給される複数の読出しラインと、前記読出し電位保持部の各画素に対応する画像信号の出力と前記読出しラインとの間に接続されたスイッチ回路と、前記スイッチ回路を動作させて前記読出し電位保持部に記憶された一周分の画素の画像信号の内、円周方向に連続した所定数ずつの画素を順次選択し、選択した所定数の画素からの画像信号に対応する信号をそれぞれ対応する読出しラインに供給する円周方向シフタと、を具備し、前記円周方向に連続した所定数の画素からの画像信号に対応する信号を前記読出しラインからそれぞれ前記加重移動平均回路の複数の入力に供給すると好都合である。   Further, a signal corresponding to an image signal from a predetermined number of pixels that are arranged around the imaging sensor unit and is continuous in the circumferential direction among the image signals of one round of pixels stored in the readout potential holding unit. Read lines, a switch circuit connected between an output of an image signal corresponding to each pixel of the read potential holding unit and the read line, and operating the switch circuit to read the read potential Of the image signals for one round of pixels stored in the holding unit, a predetermined number of pixels consecutive in the circumferential direction are sequentially selected, and signals corresponding to the image signals from the selected predetermined number of pixels are respectively corresponded. A circumferential shifter for supplying to the readout line, and a signal corresponding to an image signal from a predetermined number of pixels continuous in the circumferential direction from the readout line, respectively. It is convenient to supply to the plurality of input.

前記所定の1つの画素は前記円周方向に連続した所定数の画素の内の中心位置の画素であってもよい。   The predetermined one pixel may be a pixel at a central position among a predetermined number of pixels continuous in the circumferential direction.

また、前記読出し電位保持部は、少なくとも一周分の数の画素の信号電荷を蓄積する数のキャパシタを備えるものとすることができる。   In addition, the read potential holding unit may include at least a number of capacitors that accumulate signal charges of the number of pixels corresponding to one round.

より具体的には、前記読出し電位保持部は、少なくとも一周分の数の画素の各々に対応して画素のリセット直後の信号電荷を蓄積する第一のキャパシタおよび画素のリセット後にアイリス画像を撮像して得た信号電荷を蓄積する第二のキャパシタを具備すると好都合である。   More specifically, the read potential holding unit captures an iris image after resetting the first capacitor that accumulates signal charge immediately after resetting the pixel corresponding to each of at least one round of pixels and the pixel. It is advantageous to provide a second capacitor for storing the signal charge obtained in this way.

本発明の他の態様によれば、前記加重移動平均回路と前記比較器とをそれぞれ複数備え、該複数の加重移動平均回路は互いに異なる数の入力を有し、前記円周方向に連続した所定数の画素からの画像信号に対応する信号の内互いに異なる数の信号を受けて加重平均を行うことにより、複数の周波数帯における特徴を同時にコード化して出力することを特徴とするアイリス情報センサが提供される。   According to another aspect of the present invention, each of the plurality of weighted moving average circuits and the plurality of comparators is provided, and the plurality of weighted moving average circuits have a different number of inputs from each other, and are continuously predetermined in the circumferential direction. An iris information sensor characterized by receiving and encoding a different number of signals corresponding to image signals from a number of pixels, and simultaneously encoding and outputting features in a plurality of frequency bands. Provided.

本発明のさらに別の態様によれば上記構成のアイリス情報センサを使用して複数の周波数帯における特徴を同時にコード化して出力するとともに、出力された複数の周波数帯における特徴コードを複数の予め登録した特徴コードと比較することによりアイリス識別を行うことを特徴とするアイリス識別装置が提供される。   According to still another aspect of the present invention, the iris information sensor configured as described above is used to simultaneously encode and output features in a plurality of frequency bands, and a plurality of pre-registered feature codes in the plurality of frequency bands that have been output. An iris identification device is provided that performs iris identification by comparing with the feature code.

本発明によれば、極座標状に配列された光電変換画素群を備えた極座標センサの周囲に設けられた読出し電位保持部によって光電変換画素群の各半径毎に全周分の画素の画像信号を順次一時記憶し、この画像信号を使用して簡単な回路構成によって加重移動平均を得ることができる。したがって、従来のように複雑な遅延素子を用いることなくFIRフィルタと同様の処理を行なうことができ、アイリス情報センサの特徴抽出部分などの構成を大幅に簡略化することができる。これによって、アイリス情報センサの装置構成を簡略化し、集積回路チップ上の占有面積を低減し、かつ消費電力も低減することが可能になる。   According to the present invention, the image signal of the pixels for the entire circumference is obtained for each radius of the photoelectric conversion pixel group by the readout potential holding unit provided around the polar coordinate sensor including the photoelectric conversion pixel group arranged in the polar coordinate form. Temporary storage is sequentially performed, and a weighted moving average can be obtained with a simple circuit configuration using the image signal. Therefore, the same processing as that of the FIR filter can be performed without using a complicated delay element as in the prior art, and the configuration of the feature extraction portion of the iris information sensor can be greatly simplified. This simplifies the device configuration of the iris information sensor, reduces the occupied area on the integrated circuit chip, and reduces power consumption.

さらに、加重移動平均を上述のような簡単な回路構成で行なうことができるから、複数の加重移動平均回路を用意し、複数の周波数帯における特徴を同時にコード化し出力する構成が容易に実現でき、これによってアイリス情報を使用した個人識別などの精度を大幅に向上させることが可能になる。   Furthermore, since the weighted moving average can be performed with a simple circuit configuration as described above, a plurality of weighted moving average circuits are prepared, and a configuration for simultaneously encoding and outputting features in a plurality of frequency bands can be easily realized. This can greatly improve the accuracy of personal identification using iris information.

以下、図面を参照して本発明の好ましい実施形態につき説明する。
図1は、本発明の一実施形態に係わるアイリス情報センサ10を使用したアイリス認識システムすなわちアイリス情報取得装置の全体構成を示す。同図において、このアイリス認識システムは、まず2つの広角カメラ1a,1bおよびズームカメラ7を具備する。広角カメラ1a,1bは、認識対象の人の目の画像を各CCD2a,2bによって撮像し、撮像した信号のノイズをCDS回路3a,3bによって低減して得た画像信号をアイリス獲得コントローラ6に送出する。なお、広角カメラ1a,1bは、制御部4a,4bが生成する同期制御信号をもとに、CCD2a,2bを駆動制御するCCDドライバ5a,5bを制御するとともに、CDS回路3a,3bの処理動作を制御している。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows an overall configuration of an iris recognition system using an iris information sensor 10 according to an embodiment of the present invention, that is, an iris information acquisition apparatus. In the figure, this iris recognition system first includes two wide-angle cameras 1a and 1b and a zoom camera 7. The wide-angle cameras 1a and 1b pick up images of the eyes of the person to be recognized by the CCDs 2a and 2b, and send image signals obtained by reducing noise of the picked-up signals to the iris acquisition controller 6 by the CDS circuits 3a and 3b. To do. The wide-angle cameras 1a and 1b control the CCD drivers 5a and 5b that drive and control the CCDs 2a and 2b based on the synchronization control signals generated by the control units 4a and 4b, and the processing operations of the CDS circuits 3a and 3b. Is controlling.

図1のシステムはまたアイリス獲得コントローラ6を具備する。アイリス獲得コントローラ6は、広角カメラ1a,1bから入力された画像信号をもとに、認識対象の人の目の3次元位置を特定し、この特定した結果を示す信号またはデータをズームカメラ7に出力する。   The system of FIG. 1 also includes an iris acquisition controller 6. The iris acquisition controller 6 specifies the three-dimensional position of the eye of the person to be recognized based on the image signals input from the wide-angle cameras 1a and 1b, and sends a signal or data indicating the specified result to the zoom camera 7. Output.

ズームカメラ7は、この3次元位置をもとに、ステアリングモータ7bを駆動制御してミラー8cを動かし、ズームカメラ7の撮像方向を人の目の方向に向ける。また、ズームカメラ7は、ズームレンズ光学系8を駆動するズーム/フォーカスモータ7aを制御して人の目の3次元位置に合焦させるとともに、撮像対象のアイリス画像がアイリス情報センサ10、の撮像領域に一致するようにズーム量を調整する制御を行う。ズームカメラ7内のアイリス取得部9は、センサ10が撮像したアイリス画像とセンサとの位置誤差およびフォーカス誤差情報をアイリス獲得コントローラ6に送出する。   Based on this three-dimensional position, the zoom camera 7 drives and controls the steering motor 7b to move the mirror 8c so that the imaging direction of the zoom camera 7 is directed toward the human eye. The zoom camera 7 controls the zoom / focus motor 7a that drives the zoom lens optical system 8 to focus on the three-dimensional position of the human eye, and the iris image to be imaged is captured by the iris information sensor 10. Control is performed to adjust the zoom amount so as to match the region. The iris acquisition unit 9 in the zoom camera 7 sends the position error and focus error information between the iris image captured by the sensor 10 and the sensor to the iris acquisition controller 6.

アイリス獲得コントローラ6は、上述したアイリス部の情報が得られるまで上述したカメラ系各部をサーボコントロールする。アイリス部の情報が得られると、この情報、すなわちアイリスコード、を内臓あるいは図示しないホストコンピュータが保持している予め登録されたアイリスコードと照合し、あるいはホストコンピュータに照合させる。なお、ホストコンピュータがカメラ系各部の制御を行なってもよいし、アイリス取得部9の各誤差信号によりセンサ部自身で制御を行なってもよい。   The iris acquisition controller 6 servo-controls each part of the camera system described above until information on the iris part is obtained. When the information of the iris part is obtained, this information, that is, the iris code, is collated with a built-in or pre-registered iris code held by a host computer (not shown) or is collated with the host computer. The host computer may control each part of the camera system, or the sensor part itself may control by each error signal of the iris acquisition part 9.

なお、図1の構成においては、撮像対象のアイリス画像がセンサ10の撮像領域に一致するように撮像画像の大きさを調整するズームレンズ光学系8を備えている。しかしながら、本発明はこのようなズームレンズ光学系8を使用せず、例えば単焦点のレンズを使用してもよいことは明らかである。例えば、カメラの前面の所定位置にのぞき穴などを設け、被識別対象者にこののぞき穴からカメラのレンズ部を見るよう指示する構成、いわゆるのぞき込み方式、などでは、カメラと目との間の距離をほぼ所定値に設定することができる。したがって、このような場合はズームレンズを使用しなくとも撮像対象のアイリス画像をセンサ10の撮像領域にほぼ一致させることができる。また、この場合はカメラに対する目の位置もほぼ所定の位置関係に規制されるので、図1における広角カメラ1a,1bなどを使用しない構成も可能である。   Note that the configuration of FIG. 1 includes a zoom lens optical system 8 that adjusts the size of the captured image so that the iris image to be captured matches the imaging region of the sensor 10. However, it is obvious that the present invention does not use such a zoom lens optical system 8 and may use, for example, a single focus lens. For example, in a configuration in which a peephole is provided at a predetermined position on the front surface of the camera and the identification target person is instructed to view the lens portion of the camera from this peephole, a so-called peeping method, the distance between the camera and the eyes Can be set to a predetermined value. Therefore, in such a case, the iris image to be imaged can be made substantially coincident with the imaging area of the sensor 10 without using a zoom lens. In this case, the position of the eyes with respect to the camera is also regulated to a predetermined positional relationship, so that a configuration in which the wide-angle cameras 1a and 1b in FIG. 1 are not used is possible.

また、図1の構成においては、ミラー8cを動かしてズームカメラ7の撮像方向を目の方向に向けている。ただし、本発明はミラーの代わりに、VAP(可変頂角プリズム)や撮像レンズあるいはその一部を光軸に直角方向にシフトさせることによって目の位置合わせを行なうこともできる。   In the configuration of FIG. 1, the mirror 8c is moved so that the imaging direction of the zoom camera 7 is directed toward the eyes. However, in the present invention, instead of the mirror, the eye can be aligned by shifting a VAP (variable vertical prism), an imaging lens or a part thereof in a direction perpendicular to the optical axis.

ここで、アイリス獲得コントローラ6がアイリス取得部から受けるアイリス部の情報は、アイリス取得部9によって2値化されたアイリスコードとなっている。このアイリス取得部9の詳細構成について図2を参照して説明する。   Here, the iris information received by the iris acquisition controller 6 from the iris acquisition unit is an iris code binarized by the iris acquisition unit 9. The detailed configuration of the iris acquisition unit 9 will be described with reference to FIG.

図2は、図1に示すアイリス情報取得装置におけるアイリス取得部9の概略の構成を示す。同図のアイリス取得部9は、極座標状に配列された複数の光電変換画素からなる極座標センサ部10aを備えたアイリス情報センサ10を備えている。極座標センサ部10aの各光電変換画素は、フォトダイオードで構成してもよく、CCD撮像素子によって構成してもよく、あるいはMOS型の撮像素子その他の光電変換素子で構成してもよい。また、極座標センサ部10aの中心エリア10bにはアイリス画像の中心と極座標センサ部の極座標の極との位置誤差を検出するための位置検出部10cが配置されている。位置誤差検出部10cは、例えば、前記極座標の極を中心として4分割されたフォトダイオードによって構成することができる。   FIG. 2 shows a schematic configuration of the iris acquisition unit 9 in the iris information acquisition apparatus shown in FIG. The iris acquisition unit 9 shown in the figure includes an iris information sensor 10 including a polar coordinate sensor unit 10a including a plurality of photoelectric conversion pixels arranged in a polar coordinate shape. Each photoelectric conversion pixel of the polar coordinate sensor unit 10a may be constituted by a photodiode, a CCD image pickup element, or a MOS type image pickup element or other photoelectric conversion elements. Further, a position detection unit 10c for detecting a position error between the center of the iris image and the polar coordinate pole of the polar coordinate sensor unit is disposed in the central area 10b of the polar coordinate sensor unit 10a. The position error detection unit 10c can be constituted by, for example, a photodiode divided into four with the polar coordinate pole as the center.

図2の装置は、また、センサ10の光軸上に設けられ人間の目を可視光で照明する照明用のLED(発光ダイオード)13を有する。なお、LED13の発光面はセンサ10の受光面と光学的に位置をずらすことにより、LED13が人間の目を的確に照明できるように構成すると好都合である。なお、照明手段としてはLED13の他に、EL(電界発光)素子その他任意のものが使用できる。   The apparatus of FIG. 2 also has an LED (light emitting diode) 13 for illumination that is provided on the optical axis of the sensor 10 and illuminates the human eye with visible light. It is advantageous that the light emitting surface of the LED 13 is optically shifted from the light receiving surface of the sensor 10 so that the LED 13 can accurately illuminate human eyes. As the illumination means, in addition to the LED 13, an EL (electroluminescence) element and other arbitrary ones can be used.

図2の装置は、さらに、アイリス内径検出回路11を有する。アイリス内径検出回路11は、撮像したアイリス画像における半径方向の瞳とアイリスとの境界をレベル変化によって検出し、すなわちエッジ検出を行ない、その結果からアイリス画像の内径を求める。この場合、図2には図示されていないが、極座標センサ部10aのアイリス画像撮像用の、例えば8つのリング帯を形成する、有効画素部分のさらに内周部および外周部にはそれぞれ1周分のエッジ検出用の画素がリング状に配置されている。アイリス内径検出回路11は内周部のエッジ検出用の画素と該画素より外側に配置された画素との間の検出信号のレベル変化によって瞳とアイリスとの境界の検出を行なう。具体的には、例えば、検出信号のレベル変化は各画素出力を1周分平均した値の差によって求めることができる。   The apparatus of FIG. 2 further includes an iris inner diameter detection circuit 11. The iris inner diameter detection circuit 11 detects the boundary between the pupil and the iris in the radial direction in the captured iris image by level change, that is, performs edge detection, and obtains the inner diameter of the iris image from the result. In this case, although not shown in FIG. 2, for the iris image capturing of the polar sensor unit 10 a, for example, eight ring bands are formed. The edge detection pixels are arranged in a ring shape. The iris inner diameter detection circuit 11 detects the boundary between the pupil and the iris by changing the level of the detection signal between the edge detection pixel at the inner periphery and the pixel arranged outside the pixel. Specifically, for example, the level change of the detection signal can be obtained by a difference in values obtained by averaging each pixel output for one round.

図2の装置は、さらにアイリス外径検出回路12を有し、該アイリス外径検出回路12も同様に、撮像したアイリス画像におけるアイリスの外周縁をレベル変化によって検出し、すなわちエッジ検出を行ない、その外径を求める。すなわち、上記アイリス内径検出回路と同様に、アイリス外径検出回路12は上述の極座標センサ部10aの外周部のエッジ検出用の画素と該画素より内側に配置された画素との間の検出信号のレベル変化によってエッジ検出を行なうことができる。   The apparatus of FIG. 2 further includes an iris outer diameter detection circuit 12, and the iris outer diameter detection circuit 12 similarly detects the outer periphery of the iris in the picked-up iris image by level change, that is, performs edge detection. Find the outer diameter. That is, similarly to the iris inner diameter detection circuit, the iris outer diameter detection circuit 12 outputs a detection signal between the pixel for edge detection on the outer peripheral portion of the polar coordinate sensor unit 10a and a pixel arranged inside the pixel. Edge detection can be performed by changing the level.

また、アイリス外径検出回路12は、ズーム誤差信号をアイリス獲得コントローラ6に出力する。なお、アイリス内径検出回路11は、前述のようにアイリスの内径を検出するが、この検出した内径とセンサ10の内周縁とのずれ、すなわち瞳径誤差信号を生成し、アイリス獲得コントローラ6に送出する。   The iris outer diameter detection circuit 12 outputs a zoom error signal to the iris acquisition controller 6. The iris inner diameter detection circuit 11 detects the inner diameter of the iris as described above, but generates a deviation between the detected inner diameter and the inner peripheral edge of the sensor 10, that is, a pupil diameter error signal, and sends it to the iris acquisition controller 6. To do.

アイリス獲得コントローラ6は、この瞳径誤差信号がなくなるようにLED13の明るさを制御する。すなわち、瞳径が極座標センサ部10aの内周縁よりも大きい場合には、LED13の明るさを増し、瞳径が極座標センサ部10aの内周縁よりも小さい場合にはLED13の明るさを減じる制御を行なう。具体的には、例えば、内周側のエッジ検出用の画素の出力と該画素の外側の有効画素の出力との差が最大になるようLED13の明るさを制御するサーボ動作を行なう。   The iris acquisition controller 6 controls the brightness of the LED 13 so that this pupil diameter error signal disappears. That is, when the pupil diameter is larger than the inner peripheral edge of the polar coordinate sensor unit 10a, the brightness of the LED 13 is increased, and when the pupil diameter is smaller than the inner peripheral edge of the polar coordinate sensor unit 10a, the brightness of the LED 13 is decreased. Do. Specifically, for example, a servo operation is performed to control the brightness of the LED 13 so that the difference between the output of the edge detection pixel on the inner peripheral side and the output of the effective pixel outside the pixel is maximized.

これにより、瞳径は、常に極座標センサ部10aの内周縁に一致し、また、ステアリング誤差信号、ズーム誤差信号などによって、極座標センサ部10aの外周縁はアイリスの外径に一致するため、撮像対象のアイリス部は、極座標センサ部10a上の画素配列パターンに常に一致して撮像されることになる。   As a result, the pupil diameter always matches the inner periphery of the polar sensor unit 10a, and the outer periphery of the polar sensor unit 10a matches the outer diameter of the iris by a steering error signal, a zoom error signal, etc. The iris part is always imaged in accordance with the pixel arrangement pattern on the polar coordinate sensor part 10a.

したがって、極座標センサ部10aの各画素の半径方向幅を必要な分解能例えば8等分に分割しておけばよく、このような極座標センサ部10aを有するセンサ10からの撮像信号を用いてそのままアイリスコードを生成することができる。   Therefore, the radial width of each pixel in the polar coordinate sensor unit 10a may be divided into a necessary resolution, for example, eight equal parts, and the iris code is directly used by using the imaging signal from the sensor 10 having such a polar coordinate sensor unit 10a. Can be generated.

センサ10からの撮像信号はハイパスフィルタ14に送られる。ハイパスフィルタ14によって撮像信号の高域成分レベルを取り出し、フォーカス制御信号として出力する。上述のようなステアリング誤差信号、ズーム誤差信号、およびフォーカス制御信号は、それぞれ前述のアイリス獲得コントローラ6に送られる。アイリス獲得コントローラ6は、上述したようにズームカメラ内のステアリングモータ7bおよびズーム/フォーカスモータ7aを制御することによって撮像対象のアイリスを極座標センサ部10aの中心に一致させると共に、アイリスの外径を極座標センサ部10aの外周縁に一致させ、かつ合焦処理を行なわせる。   The imaging signal from the sensor 10 is sent to the high pass filter 14. The high-pass filter 14 extracts the high-frequency component level of the imaging signal and outputs it as a focus control signal. The steering error signal, zoom error signal, and focus control signal as described above are sent to the iris acquisition controller 6 described above. As described above, the iris acquisition controller 6 controls the steering motor 7b and the zoom / focus motor 7a in the zoom camera so that the iris to be imaged coincides with the center of the polar coordinate sensor unit 10a, and the outer diameter of the iris is set to polar coordinates. It is made to correspond to the outer periphery of the sensor part 10a, and a focusing process is performed.

タイミングジェネレータ18は、センサ10のドライバ19を駆動させ、各リング毎にθ方向(回転方向)に画素信号を出力させる走査を行なう。前述のフィードバック処理による微調整を行なうことによって適正な撮像が可能な状態になると、各画素からの読出し出力信号は、後に詳細に説明するように、読出し電位保持部を介して加重移動平均回路15に送られる。加重移動平均回路15は、送られた画素出力信号の変化点、すなわちアイリスパターンのθ方向の変化を抽出する。さらに、2値化回路16は、抽出された信号に対して、内在するコンパレータによって2値化処理を行なったアイリスコードを生成する。そして、このアイリスコードはラッチ回路17を介してアイリス獲得コントローラ6に送られる。アイリス獲得コントローラ6は、上述したように各リング帯のアイリスコードと、ホストコンピュータに予め登録されたアイリスコードとの比較を行ない、個人認証を行なう。なお、アイリスコードはセキュリティ確保のために暗号化または符号化して各回路装置間を伝送することが好ましい。   The timing generator 18 drives the driver 19 of the sensor 10 to perform scanning for outputting a pixel signal in the θ direction (rotation direction) for each ring. When the fine adjustment by the feedback process is performed and proper imaging is possible, the read output signal from each pixel is output to the weighted moving average circuit 15 via the read potential holding unit as will be described in detail later. Sent to. The weighted moving average circuit 15 extracts a change point of the transmitted pixel output signal, that is, a change in the θ direction of the iris pattern. Further, the binarization circuit 16 generates an iris code obtained by performing binarization processing on the extracted signal by an inherent comparator. The iris code is sent to the iris acquisition controller 6 via the latch circuit 17. As described above, the iris acquisition controller 6 compares the iris code of each ring band with the iris code registered in advance in the host computer to perform personal authentication. Note that the iris code is preferably encrypted or encoded for security and transmitted between the circuit devices.

なお、上述の方法によれば、センサ10として半径方向の画素数が多いものを使用して各リング帯に分割する必要がなく、しかもアイリスの中心が決定されているので、アイリス画像を予め登録しておくことにより、非常に簡単なパターンマッチングによって認証処理を行なうことができる。すなわち、アイリスの内径と外径とが既知であるので、アイリスの中心で回転することのみによってパターンマッチングを行なうことができ、比較速度を格段に向上させることができる。   According to the above-described method, the sensor 10 having a large number of pixels in the radial direction does not need to be divided into each ring band, and the iris center is determined, so that an iris image is registered in advance. By doing so, the authentication process can be performed by very simple pattern matching. That is, since the inner diameter and outer diameter of the iris are known, pattern matching can be performed only by rotating at the center of the iris, and the comparison speed can be significantly improved.

図3は図2のアイリス情報センサ10の出力から加重移動平均回路15および2値化回路16に至る部分の詳細な構成例を示す。図3の回路部分は、図示しない極座標センサ部10aの各画素からの読出し信号Soutn+1,Soutn,Soutn−1,・・・などを受ける読出し電位保持部31と、円周方向シフタ33と、スイッチ回路35と、加重平均回路37と、比較器39などによって構成される。   FIG. 3 shows a detailed configuration example of a part from the output of the iris information sensor 10 of FIG. 2 to the weighted moving average circuit 15 and the binarization circuit 16. 3 includes a read potential holding unit 31 that receives read signals Soutn + 1, Soutn, Soutn-1,... From each pixel of the polar sensor unit 10a (not shown), a circumferential shifter 33, and a switch circuit. 35, a weighted average circuit 37, a comparator 39, and the like.

極座標センサ部10aは、例えばフォトダイオード(PD)などの光電変換画素を極座標状に配列したものである。光電変換画素は、例えば、極座標の極から所定半径の中心エリアを除き、該中心エリアの周囲に8つの半径位置(リング帯)に沿って円周方向に配置されたものが使用される。各リング帯における円周方向の画素の数は等しく、例えば256とされる。   The polar coordinate sensor unit 10a is configured by arranging photoelectric conversion pixels such as photodiodes (PD) in a polar coordinate form. As the photoelectric conversion pixels, for example, pixels that are arranged in the circumferential direction along eight radial positions (ring bands) around the central area excluding the central area having a predetermined radius from the polar coordinate pole are used. The number of pixels in the circumferential direction in each ring band is equal, for example, 256.

図3の読出し電位保持部31に入力される各画素からの読出し信号Soutnなどは、上記極座標センサ部10aの円周方向の1つの画素からの読出し信号に対応する。   The readout signal Soutn from each pixel input to the readout potential holding unit 31 in FIG. 3 corresponds to the readout signal from one pixel in the circumferential direction of the polar coordinate sensor unit 10a.

なお、読出し電位保持部31は、例えば、上述の極座標センサ部10aの外周部に配置される。また、円周方向シフタ33は、例えば、読出し電位保持部31のさらに外周部に配置される。   The read potential holding unit 31 is disposed, for example, on the outer periphery of the polar coordinate sensor unit 10a described above. In addition, the circumferential shifter 33 is disposed, for example, on the outer periphery of the read potential holding unit 31.

さらに、円周方向シフタ33のさらに外周部には、所定数の読出しラインSiGout−4,・・・,SiGout,・・・,SiGout+4がそれぞれ同心円上に配置される。この読出しラインの数は、加重平均回路37の入力数に対応しており、図3では9本となっている。したがって、加重平均回路37の入力数も9個すなわち9タップ、の例が示されている。なお、読出しラインの数および加重平均回路37の入力数は9個に限られるものではなく、より多いまたはより少ない数とすることができる。また、これらの数は本実施例のように奇数であってもよく、あるいは偶数であってもよい。   Further, a predetermined number of read lines SiGout-4,..., SiGout,..., SiGout + 4 are arranged on the outer circumference of the circumferential shifter 33 on concentric circles. The number of read lines corresponds to the number of inputs of the weighted average circuit 37 and is nine in FIG. Therefore, an example in which the number of inputs of the weighted average circuit 37 is nine, that is, nine taps is shown. Note that the number of read lines and the number of inputs to the weighted average circuit 37 are not limited to nine, and may be larger or smaller. Further, these numbers may be odd numbers or even numbers as in the present embodiment.

読出し電位保持部31は、このような円周方向の各々の1つの画素からの信号に対応して、負荷トランジスタと、スライストランジスタ(STr)と、ホールドトランジスタ(HTr)と、2つのキャパシタCl,Chとを有し、これらは図示の如く接続されている。   In response to the signal from each one pixel in the circumferential direction, the read potential holding unit 31 includes a load transistor, a slice transistor (STr), a hold transistor (HTr), and two capacitors Cl, These are connected as shown in the figure.

極座標センサ部10aから、各半径位置、すなわちリング帯、毎に1周分の画素からの読出し信号(・・・,Soutn−1,Soutn,Soutn+1,・・・)が読出し電位保持部31に送られ、同時に記憶される。なお、負荷トランジスタは、各画素の負荷回路を構成するものである。   A readout signal (..., Soutn-1, Soutn, Soutn + 1,...) From the pixels for one round is sent to the readout potential holding unit 31 from each polar position, that is, the ring band, from the polar coordinate sensor unit 10a. And memorized at the same time. The load transistor constitutes a load circuit for each pixel.

次に、読出し電位保持部の動作を概略的に説明する。説明を簡単にするために、スライストランジスタSTrの電源電圧を2ボルト、ホールドトランジスタHTrの電源電圧を2.5ボルトとし、各キャパシタClおよびChの容量が同じ値であるとする。   Next, the operation of the read potential holding unit will be schematically described. In order to simplify the description, it is assumed that the power supply voltage of the slice transistor STr is 2 volts, the power supply voltage of the hold transistor HTr is 2.5 volts, and the capacitances of the capacitors Cl and Ch have the same value.

(1)まず、ラインXferに2.5ボルトの電位を与えた状態で、スライスライン(Slice)およびホールドライン(Hold)に正の電圧、例えば3.3ボルト、を加えて、スライスおよびホールド両トランジスタをオンとする。これによって、キャパシタCl,Chをそれぞれ充電する(それぞれ、−0.5ボルトおよび+2.5ボルト)。   (1) First, with a potential of 2.5 volts applied to the line Xfer, a positive voltage, for example, 3.3 volts, is applied to the slice line (Slice) and hold line (Hold). Turn on the transistor. This charges the capacitors Cl and Ch (-0.5 volts and +2.5 volts, respectively).

(2)次に、Xferラインに、負電圧方向のパルス、例えば2.5ボルトから0ボルトに至るパルス、を加え、画素に蓄積された光電位(Vs)をサンプリングする。これによって、キャパシタChの電荷が電位Vsに応じた量だけキャパシタClに移動する。   (2) Next, a pulse in the negative voltage direction, for example, a pulse from 2.5 volts to 0 volts, is applied to the Xfer line, and the photopotential (Vs) accumulated in the pixel is sampled. As a result, the charge of the capacitor Ch moves to the capacitor Cl by an amount corresponding to the potential Vs.

(3)ホールドトランジスタHTrをオンとしてキャパシタChだけ再度充電する。同時に、画素にリセット(RS)をかけ、光電荷を消去する。   (3) The hold transistor HTr is turned on and only the capacitor Ch is charged again. At the same time, the pixel is reset (RS) to erase the photocharge.

(4)再び、Xferラインに負のパルスを加え、画素の初期電位(Vn)をサンプリングする。これによって、前記(2)で述べたのと同じように、キャパシタChの電荷がキャパシタClに移動するが、既にキャパシタClにはVsの電荷がたまっているので、Vn−Vsに比例した電荷がキャパシタChからキャパシタClに移動する。   (4) Apply a negative pulse to the Xfer line again to sample the initial potential (Vn) of the pixel. As a result, as described in the above (2), the charge of the capacitor Ch moves to the capacitor Cl. However, since the charge of Vs has already accumulated in the capacitor Cl, the charge proportional to Vn−Vs is increased. It moves from the capacitor Ch to the capacitor Cl.

(5)以上の動作から、読出し電位保持部31の出力(Voutn)には、ホールドトランジスタ(HTr)の電源電圧である2.5ボルトをオフセットとして次式で与えられるノイズキャンセルされた電位が出力される。

[数1]
Vout=(オフセット電位)−(Vn−Vs)・Cl/Ch

すなわち、読出し電位保持部31は、2つの容量ClおよびChなどを使用することにより、各画素のノイズ、すなわち初期電位、を打ち消した画素出力を提供する。
(5) From the above operation, the noise-cancelled potential given by the following equation is output to the output (Voutn) of the read potential holding unit 31 with the power supply voltage of the hold transistor (HTr) being 2.5 volts as an offset. Is done.

[Equation 1]
Vout = (offset potential) − (Vn−Vs) · Cl / Ch

That is, the read potential holding unit 31 provides a pixel output in which noise of each pixel, that is, the initial potential, is canceled by using two capacitors Cl and Ch.

このようにして、読出し電位保持部31は、極座標センサ部10aの1つのリング帯からの1周分の画素の読出し電位を保持し、次に述べるスイッチ回路35などに提供する。   In this way, the read potential holding unit 31 holds the read potential of the pixels for one round from one ring band of the polar coordinate sensor unit 10a and provides it to the switch circuit 35 described below.

スイッチ回路35は、円周方向シフタ33から提供される選択信号・・・,Seln+6,・・・,Seln,・・・,Seln−5,・・・によって選択的にオンとされ、読出し電位保持部の複数画素の出力信号Voutnなどを読出しラインSiGoutなどに順次並列に入力する。   The switch circuit 35 is selectively turned on by a selection signal..., Seln + 6,..., Seln,. The output signals Voutn and the like of a plurality of pixels are sequentially input in parallel to the readout line SiGout and the like.

なお、円周方向シフタ33は、例えば複数組のインバータと伝送ゲート回路を順次円周方向に直列接続して形成され、スレイブクロック信号(SCL)およびマスタクロック信号(MCL)によって、例えば“1”に対応する信号を順次円周方向に沿ってシフトする。これによって、各選択信号・・・,Seln+6,・・・,Seln,・・・,Seln−5,・・・などが順次アクティブにされる。すなわち、これらの選択信号の内1つだけが順次アクティブになる。   The circumferential shifter 33 is formed by, for example, sequentially connecting a plurality of sets of inverters and transmission gate circuits in series in the circumferential direction. For example, “1” is generated by the slave clock signal (SCL) and the master clock signal (MCL). The signals corresponding to are sequentially shifted along the circumferential direction. Accordingly, the selection signals..., Seln + 6,..., Seln,. That is, only one of these selection signals is sequentially activated.

例えば、選択信号Selnがアクティブ(すなわち、“1”)になると、例えば読出し電位保持部31の出力Voutnがスイッチ回路35の出力b0に転送され、読出し電位保持部31の出力Voutn−1がスイッチ回路31の出力b−1に提供され、読出し電位保持部31の出力Voutn+1がスイッチ回路35の出力b+1に提供される。このようにして、9本の読出しラインには、読出し電位保持部31から連続する9個の画素の出力が一度に転送され、各読出しラインから9個の出力b+4,b+3,・・・,b0,・・・,b−4を介して加重平均回路37に転送される。   For example, when the selection signal Seln becomes active (that is, “1”), for example, the output Voutn of the read potential holding unit 31 is transferred to the output b0 of the switch circuit 35 and the output Voutn−1 of the read potential holding unit 31 is switched to the switch circuit. 31, and the output Voutn + 1 of the read potential holding unit 31 is provided to the output b + 1 of the switch circuit 35. In this way, the output of nine pixels from the read potential holding unit 31 is transferred to nine read lines at a time, and nine outputs b + 4, b + 3,..., B0 from each read line. ,..., B-4, and transferred to the weighted average circuit 37.

円周方向シフタ33でデータ“1”が1ビットシフトされると、スイッチ回路35の9個の出力には、前の9個の画素から1ビットシフトした9個の画素からの読出し信号が転送される。このようにして、1周分の画素につき9個の画素からの読出し信号が順次転送される。1周分の画素の読出しが終わると、次のリング帯の読出しが行なわれる。   When the data “1” is shifted by 1 bit by the circumferential shifter 33, read signals from 9 pixels shifted by 1 bit from the previous 9 pixels are transferred to the 9 outputs of the switch circuit 35. Is done. In this way, readout signals from nine pixels are sequentially transferred per one round of pixels. When the reading of pixels for one round is completed, the next ring band is read.

加重平均回路37は、上述の、例えば9本の読出しラインからの出力信号を受け、それぞれバッファアンプを介して重み付け用の抵抗R4,R3,・・・,R0,・・・,R4で重み付けした後加算し加重平均出力を生成する。この加重平均出力は比較器39の一方の入力に提供される。比較器39の他方の入力には注目画素、例えばスイッチ回路35の出力b0からの信号をバッファアンプおよび重み付け用抵抗Rを介して入力される。なお、注目画素は、通常9個の読出しラインの内の中心画素の信号を使うが、これらの9個の信号の内の他のものを使用してもよい。また、これら9個の信号以外のものを使用してもよい。   The weighted average circuit 37 receives the output signals from, for example, the nine readout lines described above, and weights them with the weighting resistors R4, R3,..., R0,. Post-add to produce a weighted average output. This weighted average output is provided to one input of the comparator 39. The other input of the comparator 39 receives a signal from the pixel of interest, for example, the output b0 of the switch circuit 35, through a buffer amplifier and a weighting resistor R. Note that the pixel of interest normally uses the signal of the central pixel in the nine readout lines, but other ones of these nine signals may be used. Further, signals other than these nine signals may be used.

すなわち、図3の構成では、読出し電位保持部31に全周分の読み取り電位が記憶されているので、各読出しライン、例えばSiGout、の両端に前と後ろのデータが既に存在する。したがって、それらのデータを上述のように単に加重抵抗R4,R3,・・・,R0,・・・,R4を介して加算するだけで、各抵抗値に反比例した加重平均値が自動的に得られる。したがって、この加重平均値を比較器39の一方の入力に供給し、他方の入力に中心データを入れるだけでアイリス画像の特徴抽出および2値化が行なわれる。これによって、比較器39から特徴コード、すなわちアイリスコードが出力できる。これによって、複雑な遅延素子を用いることなく、FIRフィルタと同様の処理を行なうことができる。   That is, in the configuration of FIG. 3, since the read potential for the entire circumference is stored in the read potential holding unit 31, the front and rear data already exist at both ends of each read line, for example, SiGout. Therefore, by simply adding these data through the weighted resistors R4, R3,..., R0,. It is done. Therefore, the feature extraction and the binarization of the iris image are performed by supplying this weighted average value to one input of the comparator 39 and inputting the center data to the other input. As a result, a feature code, that is, an iris code can be output from the comparator 39. As a result, the same processing as the FIR filter can be performed without using a complicated delay element.

このような構成において、タップ数(k)と抽出周波数(ft:空間角周波数)との関係は、例えば全ての重みが等しい場合には、単なる平均値フィルタとなり、次式で示されるようになる。

[数2]
ft=m・fs/k

ただし、fsはサンプリング周波数であり、mは整数であり、ft<fs/2である。
In such a configuration, the relationship between the number of taps (k) and the extraction frequency (ft: spatial angular frequency) is, for example, a simple average filter when all weights are equal, and is expressed by the following equation: .

[Equation 2]
ft = m · fs / k

However, fs is a sampling frequency, m is an integer, and ft <fs / 2.

サンプリング周波数fsは円周方向の画素数をnとすれば次のようになる。

[数3]
fs=2πn [rad/sec]
The sampling frequency fs is as follows if the number of pixels in the circumferential direction is n.

[Equation 3]
fs = 2πn [rad / sec]

したがって、fsの値を数式2に代入すると、抽出周波数ftは次式で表わされる。

[数4]
ft=m・2πn/k

すなわち、抽出周波数ftは円周方向の画素数(n)のタップ数(k)分の1を基本周波数とし、その整数倍の高調波成分となる。
Therefore, when the value of fs is substituted into Equation 2, the extraction frequency ft is expressed by the following equation.

[Equation 4]
ft = m · 2πn / k

That is, the extraction frequency ft is a harmonic component that is an integral multiple of 1 / t the number of taps (k) of the number of pixels (n) in the circumferential direction.

図4は、等加重平均フィルタ、すなわち単純平均フィルタ、の特性例を示す。同図において、横軸は周波数(f)を示し、縦軸は利得(Gain)を示している。したがって、このような等加重平均フィルタの出力と中心レベルを比較すると、すなわち両者の差を求めると、図4の特徴抽出フィルタ特性例で示されるような、その周波数成分を特に抽出したハイパス・フィルタ特性が得られる。   FIG. 4 shows an example of characteristics of an equal weighted average filter, that is, a simple average filter. In the figure, the horizontal axis represents frequency (f) and the vertical axis represents gain (Gain). Therefore, when the output of such an equal weighted average filter and the center level are compared, that is, the difference between the two is obtained, a high-pass filter that particularly extracts the frequency component as shown in the feature extraction filter characteristic example of FIG. Characteristics are obtained.

上述のようなアイリス情報の特徴抽出に加重移動平均比較法を用いると、FIRフィルタと同様の処理が行なわれ、アイリス画像の特徴抽出および2値化を行なってアイリスコードを得ることができる。   When the weighted moving average comparison method is used for the feature extraction of the iris information as described above, the same processing as that of the FIR filter is performed, and the iris code can be obtained by extracting and binarizing the feature of the iris image.

この場合、タップ数を変え加重の比率を調整することで、抽出する周波数帯域を種々の周波数特性に変更することができる。したがって、本発明の別の実施形態として、図3に示されるような加重平均回路37および比較器39の組み合わせを複数種類設けた構成が可能である。   In this case, the frequency band to be extracted can be changed to various frequency characteristics by changing the number of taps and adjusting the weight ratio. Therefore, as another embodiment of the present invention, a configuration in which a plurality of combinations of the weighted average circuit 37 and the comparator 39 as shown in FIG. 3 is provided is possible.

例えば、図3に示す構成では、9本の読出しラインSiGout−4,・・・,SiGout,・・・,SiGout+4が設けられ、これらの読出しラインに対して加重平均回路37は9個の入力数を有するもの、すなわち9タップとされている。   For example, in the configuration shown in FIG. 3, nine readout lines SiGout-4,..., SiGout,..., SiGout + 4 are provided, and the weighted average circuit 37 has nine inputs for these readout lines. That is, it has 9 taps.

したがって、一例として、前記読出しラインは9本としておき、前記9タップの加重平均回路37の他に、前記9本の読出しラインの内の例えば7本の読出しラインからの信号を入力する7タップの加重平均回路と、9本の読出しラインの内の例えば3本の読出しラインからの信号を入力する3タップの加重平均回路などを設ける。なお、加重移動平均回路は、図3から明らかなように、抵抗をつなぎ合わせ比較器に入れるだけの簡単な構成であるから、このように複数の加重平均回路などを設けても回路構成はそれ程複雑にはならない。   Therefore, as an example, the number of the readout lines is set to 9, and in addition to the 9-tap weighted averaging circuit 37, 7-tap signals for inputting signals from, for example, 7 of the 9 readout lines are input. A weighted average circuit and, for example, a 3-tap weighted average circuit for inputting signals from three of the nine readout lines are provided. As is apparent from FIG. 3, the weighted moving average circuit has a simple configuration in which resistors are connected and put into a comparator. Therefore, even if a plurality of weighted average circuits are provided in this way, the circuit configuration is not much. Not complicated.

これによって、複数の周波数帯における特徴情報を同時にコード化し出力することができる。そして、比較対象のアイリスコードも予め同じ数だけ記憶しておき、両者を比較するようにすれば、特徴コード量は増えるがアイリスの識別精度を大幅に向上させることができる。例えば、タップ数が多い加重移動平均回路はアイリス画像のピントが多少ずれても特徴抽出データに急激な変動はなく、これに対しタップ数の少ない加重移動平均回路はアイリス画像のピントに敏感に反応し変化する。したがって、種々のタップ数の加重移動平均回路を組み合わせてアイリス識別を行なうことにより、種々の条件でアイリス識別を高精度で行なうことができる。   Thus, feature information in a plurality of frequency bands can be coded and output simultaneously. If the same number of iris codes to be compared are stored in advance and compared, the feature code amount increases, but the iris identification accuracy can be greatly improved. For example, a weighted moving average circuit with a large number of taps does not have a sudden change in feature extraction data even if the iris image is slightly out of focus, whereas a weighted moving average circuit with a small number of taps is sensitive to the focus of the iris image. Change. Therefore, iris identification can be performed with high accuracy under various conditions by combining the weighted moving average circuits having various tap numbers.

本発明はATMのような高い信頼性と高い利便性とを備えて個人識別を高精度で行なう必要がある装置に適用可能であり、そのような装置におけるアイリス情報取得装置およびアイリス識別装置などの識別精度を装置構成を複雑化することなく向上させることができる。   The present invention can be applied to an apparatus such as an ATM that has high reliability and high convenience and needs to perform personal identification with high accuracy, such as an iris information acquisition apparatus and an iris identification apparatus in such an apparatus. Identification accuracy can be improved without complicating the apparatus configuration.

本発明の一実施形態に係わるアイリス情報センサを用いたアイリス情報取得装置の概略の構成を示すブロック図である。It is a block diagram which shows the structure of the outline of the iris information acquisition apparatus using the iris information sensor concerning one Embodiment of this invention. 図1のアイリス情報取得装置におけるアイリス取得部の概略の構成を示すブロック図である。It is a block diagram which shows the structure of the outline of the iris acquisition part in the iris information acquisition apparatus of FIG. 本発明の一実施形態に係わるアイリス情報センサのデータ読出し部分の概略の構成を示す部分的回路図である。It is a partial circuit diagram which shows the structure of the outline of the data reading part of the iris information sensor concerning one Embodiment of this invention. 図3のアイリス情報センサの移動加重平均回路の特性などを説明するためのグラフである。It is a graph for demonstrating the characteristic of the movement weighted average circuit of the iris information sensor of FIG. 従来のFIRフィルタを用いた特徴抽出回路の構成を示すブロック図である。It is a block diagram which shows the structure of the feature extraction circuit using the conventional FIR filter.

符号の説明Explanation of symbols

1a,1b 広角カメラ
6 アイリス獲得コントローラ
7 ズームカメラ
7a ズーム/フォーカスモータ
7b ステアリングモータ
8 ズームレンズ光学系
10 アイリス情報センサ
10a 極座標センサ部
10b 中心エリア
10c 位置誤差検出用PDセンサ
11 アイリス内径検出回路
12 アイリス外径検出回路
13 発光ダイオード
14 ハイパスフィルタ
15 加重移動平均回路
16 2値化回路
17 ラッチ回路
18 タイミングジェネレータ
19 ドライバ
31 読出し電位保持部
33 円周方向シフタ
35 スイッチ回路
37 加重平均回路
39 比較器
1a, 1b Wide-angle camera 6 Iris acquisition controller 7 Zoom camera 7a Zoom / focus motor 7b Steering motor 8 Zoom lens optical system 10 Iris information sensor 10a Polar coordinate sensor unit 10b Central area 10c Position error detection PD sensor 11 Iris inner diameter detection circuit 12 Iris Outer diameter detection circuit 13 Light emitting diode 14 High-pass filter 15 Weighted moving average circuit 16 Binarization circuit 17 Latch circuit 18 Timing generator 19 Driver 31 Read potential holding unit 33 Circumferential shifter 35 Switch circuit 37 Weighted average circuit 39 Comparator

Claims (8)

極座標状に配列された光電変換画素群を備え、目のアイリス領域からの画像光を、前記画素群上に結像されたアイリス画像の中心と前記極座標の極とが一致するように前記光電変換画素群上に結像させてアイリス画像信号を読出す撮像センサ部と、
前記撮像センサ部の周囲に配置され、前記光電変換画素群の各半径位置ごとに順次一周分の画素の画像信号を一時記憶するための読出し電位保持部と、
前記読出し電位保持部に記憶された画像信号の内、円周方向に連続した所定数の画素からの画像信号に対応する信号を順次加重平均して出力する加重移動平均回路と、
前記加重移動平均回路の出力と、前記読出し電位保持部に記憶された画像信号の内前記円周方向に連続した所定数の画素の内の所定の1つの画素からの画像信号に対応する信号とを比較する比較器と、
を具備することを特徴とするアイリス情報センサ。
A photoelectric conversion pixel group arranged in a polar coordinate, and the photoelectric conversion of image light from an iris region of an eye so that a center of an iris image formed on the pixel group and a pole of the polar coordinate coincide with each other An imaging sensor unit that forms an image on a pixel group and reads an iris image signal; and
A readout potential holding unit that is arranged around the imaging sensor unit and temporarily stores image signals of pixels for one round sequentially for each radial position of the photoelectric conversion pixel group;
A weighted moving average circuit that sequentially weights and outputs signals corresponding to image signals from a predetermined number of pixels continuous in the circumferential direction among the image signals stored in the read potential holding unit;
An output of the weighted moving average circuit, and a signal corresponding to an image signal from a predetermined one of a predetermined number of pixels continuous in the circumferential direction of the image signal stored in the read potential holding unit; A comparator for comparing
An iris information sensor comprising:
前記加重移動平均回路は、前記読出し電位保持部に記憶された画像信号の内、それぞれ一端が前記円周方向に連続した所定数の画素からの画像信号に対応する信号の1つを受け、他端が一緒に接続されて加重平均出力を供給する出力端を構成する複数の抵抗器を具備することを特徴とする請求項1に記載のアイリス情報センサ。   The weighted moving average circuit receives one of signals corresponding to image signals from a predetermined number of pixels each having one end continuous in the circumferential direction among the image signals stored in the read potential holding unit, The iris information sensor according to claim 1, further comprising a plurality of resistors that are connected together to form an output terminal that supplies a weighted average output. さらに、
前記撮像センサ部の周囲に配置され、前記読出し電位保持部に記憶された一周分の画素の画像信号の内、前記円周方向に連続した所定数の画素からの画像信号に対応する信号が供給される複数の読出しラインと、
前記読出し電位保持部の各画素に対応する画像信号の出力と前記読出しラインとの間に接続されたスイッチ回路と、
前記スイッチ回路を動作させて前記読出し電位保持部に記憶された一周分の画素の画像信号の内、円周方向に連続した所定数ずつの画素を順次選択し、選択した所定数の画素からの画像信号に対応する信号をそれぞれ対応する読出しラインに供給する円周方向シフタと、
を具備し、前記円周方向に連続した所定数の画素からの画像信号に対応する信号を前記読出しラインからそれぞれ前記加重移動平均回路の複数の入力に供給することを特徴とする請求項2に記載のアイリス情報センサ。
further,
A signal corresponding to an image signal from a predetermined number of pixels continuous in the circumferential direction is supplied from among the image signals for one round of pixels arranged around the imaging sensor unit and stored in the readout potential holding unit. A plurality of read lines, and
A switch circuit connected between an output of an image signal corresponding to each pixel of the readout potential holding unit and the readout line;
The switch circuit is operated to sequentially select a predetermined number of pixels continuously in the circumferential direction from the image signals of the pixels for one rotation stored in the read potential holding unit, and from the selected predetermined number of pixels. A circumferential shifter for supplying a signal corresponding to an image signal to a corresponding readout line;
3. A signal corresponding to an image signal from a predetermined number of pixels continuous in the circumferential direction is supplied from the readout line to a plurality of inputs of the weighted moving average circuit, respectively. The described iris information sensor.
前記所定の1つの画素は前記円周方向に連続した所定数の画素の内の中心位置の画素であることを特徴とする請求項1に記載のアイリス情報センサ。   2. The iris information sensor according to claim 1, wherein the predetermined one pixel is a pixel at a center position among a predetermined number of pixels continuous in the circumferential direction. 前記読出し電位保持部は、少なくとも一周分の数の画素の信号電荷を蓄積する数のキャパシタを備えることを特徴とする請求項1に記載のアイリス情報センサ。   2. The iris information sensor according to claim 1, wherein the read potential holding unit includes a capacitor of a number that accumulates signal charges of pixels of at least one round. 前記読出し電位保持部は、少なくとも一周分の数の画素の各々に対応して画素のリセット直後の信号電荷を蓄積する第一のキャパシタおよび画素のリセット後にアイリス画像を撮像して得た信号電荷を蓄積する第二のキャパシタを具備することを特徴とする請求項5に記載のアイリス情報センサ。   The read potential holding unit corresponds to each of at least one round of pixels, a first capacitor that accumulates signal charges immediately after pixel reset, and signal charges obtained by imaging an iris image after pixel reset The iris information sensor according to claim 5, further comprising a second capacitor for storage. 前記加重移動平均回路と前記比較器とをそれぞれ複数備え、該複数の加重移動平均回路は互いに異なる数の入力を有し、前記円周方向に連続した所定数の画素からの画像信号に対応する信号の内互いに異なる数の信号を受けて加重平均を行うことにより、複数の周波数帯における特徴を同時にコード化して出力することを特徴とする請求項1に記載のアイリス情報センサ。   A plurality of weighted moving average circuits and a plurality of comparators are provided, the plurality of weighted moving average circuits having different numbers of inputs and corresponding to image signals from a predetermined number of pixels continuous in the circumferential direction. The iris information sensor according to claim 1, wherein features in a plurality of frequency bands are simultaneously encoded and output by performing weighted averaging by receiving a different number of signals among the signals. 請求項7に記載のアイリス情報センサを使用して複数の周波数帯における特徴を同時にコード化して出力するとともに、出力された複数の周波数帯における特徴コードを複数の予め登録した特徴コードと比較することによりアイリス識別を行うことを特徴とするアイリス識別装置。
Using the iris information sensor according to claim 7 to simultaneously encode and output features in a plurality of frequency bands, and compare the output feature codes in the plurality of frequency bands with a plurality of pre-registered feature codes. An iris identification device characterized by performing iris identification by
JP2004332123A 2004-11-16 2004-11-16 Iris information sensor and iris identification device Expired - Fee Related JP4553691B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004332123A JP4553691B2 (en) 2004-11-16 2004-11-16 Iris information sensor and iris identification device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004332123A JP4553691B2 (en) 2004-11-16 2004-11-16 Iris information sensor and iris identification device

Publications (3)

Publication Number Publication Date
JP2006146343A true JP2006146343A (en) 2006-06-08
JP2006146343A5 JP2006146343A5 (en) 2008-01-10
JP4553691B2 JP4553691B2 (en) 2010-09-29

Family

ID=36625978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004332123A Expired - Fee Related JP4553691B2 (en) 2004-11-16 2004-11-16 Iris information sensor and iris identification device

Country Status (1)

Country Link
JP (1) JP4553691B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013033506A (en) * 2012-10-31 2013-02-14 Nec Corp Biometric authentication device, biometric authentication method, and program
US9070016B2 (en) 2009-01-22 2015-06-30 Nec Corporation Biometric authentication apparatus, biometric authentication method and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61108218A (en) * 1984-10-31 1986-05-26 Sony Corp Signal generator
JP2000036036A (en) * 1998-07-17 2000-02-02 Media Technology:Kk Iris information acquirement device and iris identification device
JP2003149160A (en) * 2001-11-13 2003-05-21 Nec Corp Appearance inspection method and appearance inspection system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61108218A (en) * 1984-10-31 1986-05-26 Sony Corp Signal generator
JP2000036036A (en) * 1998-07-17 2000-02-02 Media Technology:Kk Iris information acquirement device and iris identification device
JP2003149160A (en) * 2001-11-13 2003-05-21 Nec Corp Appearance inspection method and appearance inspection system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070016B2 (en) 2009-01-22 2015-06-30 Nec Corporation Biometric authentication apparatus, biometric authentication method and recording medium
JP2013033506A (en) * 2012-10-31 2013-02-14 Nec Corp Biometric authentication device, biometric authentication method, and program

Also Published As

Publication number Publication date
JP4553691B2 (en) 2010-09-29

Similar Documents

Publication Publication Date Title
JP3610234B2 (en) Iris information acquisition device and iris identification device
CN108462844B (en) Method and apparatus for pixel binning and readout
US11368644B2 (en) Solid-state imaging element, imaging apparatus, and control method of solid-state imaging element with improved reading speed of pixel signals
RU2616768C2 (en) Image capturing device and method
CN103842880B (en) Imaging device and focusing controlling method
JP2022079626A (en) Imaging device and imaging apparatus
JP2008516299A (en) Imaging apparatus and image modification processing method
US10277848B2 (en) Solid-state imaging device, method of driving the same, and electronic apparatus
US20170054922A1 (en) Infrared imager readout electronics
JP2007122237A (en) Forgery-deciding imaging device and individual identification device
JP5673002B2 (en) Focal position information detection apparatus, microscope apparatus, and focal position information detection method
US11750951B2 (en) Solid-state imaging element, imaging apparatus, and control method of solid-state imaging element with improved reading speed of pixel signals
US9800813B2 (en) Solid-state imaging device, driving method thereof, and imaging apparatus
JP5454348B2 (en) Imaging apparatus and image processing apparatus
CN103986863B (en) The focus method of capture apparatus and the capture apparatus using the focus method
WO2018025658A1 (en) Image capture element, drive method, and electronic device
TWI390972B (en) The autofocus method in the high noise environment and its application of the digital acquisition device of the method
JP4553691B2 (en) Iris information sensor and iris identification device
JP4634140B2 (en) Iris identification device
CN114424522A (en) Image processing device, electronic apparatus, image processing method, and program
US8947568B2 (en) Solid-state imaging device
JP2015148676A (en) Imaging apparatus and method of controlling imaging apparatus
JP2007249950A (en) Image acquisition device and image acquisition method
JP2668160B2 (en) Auto focus device
JP2019103030A (en) Imaging device, control method thereof, and control program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071115

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20071228

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100713

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4553691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees