JP2009009403A - Biometrics device and living body detection method - Google Patents

Biometrics device and living body detection method Download PDF

Info

Publication number
JP2009009403A
JP2009009403A JP2007170825A JP2007170825A JP2009009403A JP 2009009403 A JP2009009403 A JP 2009009403A JP 2007170825 A JP2007170825 A JP 2007170825A JP 2007170825 A JP2007170825 A JP 2007170825A JP 2009009403 A JP2009009403 A JP 2009009403A
Authority
JP
Japan
Prior art keywords
image
light
subject
biometric authentication
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007170825A
Other languages
Japanese (ja)
Inventor
Kazuyuki Shigeta
和之 繁田
Takeshi Oya
武 大屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007170825A priority Critical patent/JP2009009403A/en
Publication of JP2009009403A publication Critical patent/JP2009009403A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a biometrics device having simple sensor structure and having a living body detection method which hardly depends on the surface states of fingers and individual differences in the surfaces of fingers. <P>SOLUTION: The biometrics device acquires an image for biometrics by utilizing an illumination means and scattered light in an object which is generated by the illumination means and has a comparison means for acquiring scattered light distribution information data in the subject at different wavelengths and comparing respective scattered light distribution information data and a living body detection means for executing living body detection on the basis of the comparison result. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、生体認証用の画像取得装置及びそれを用いた生体認証装置、特に、照明手段を有し、被写体内部の散乱光を利用した生体認証装置に関する。生体認証装置は、指紋認証、掌紋認証装置等として応用される。   The present invention relates to an image acquisition apparatus for biometric authentication and a biometric authentication apparatus using the same, and more particularly to a biometric authentication apparatus that has illumination means and uses scattered light inside a subject. The biometric authentication device is applied as a fingerprint authentication, a palmprint authentication device or the like.

近年、個人情報や機密情報に対するセキュリティを確保するため、指紋認証装置などの生体認証システムが注目され、事務機器や携帯機器への需要も高まっている。こうした指紋や静脈、顔、虹彩、掌紋などを用いた生体認証システムは、画像取得装置において生体の画像を取得して、この取得した画像から特徴抽出を行い、その情報を基に登録済みのデータと照合を行い、本人であることを認証する。   In recent years, in order to ensure security for personal information and confidential information, biometric authentication systems such as fingerprint authentication devices have attracted attention, and demand for office devices and portable devices is also increasing. Such a biometric authentication system using fingerprints, veins, faces, irises, palm prints, etc., acquires an image of a living body in an image acquisition device, performs feature extraction from the acquired image, and has registered data based on that information And authenticate the identity.

ここで、生体認証システムに用いられる画像取得装置の検出方式としては、CCDやCMOSセンサなどの撮像素子を用いた光学方式や、静電容量方式、圧力検知方式、感熱方式、電界検出方式などがある。光学方式のなかには、反射光学式と散乱光方式が知られている。生体の部分の例として指をあげると、プリズムの上に指を置き、撮像面から光を入射して指表面の反射光を撮影するのが反射光学式である。一方、撮像素子上に設けたプレート状の光学部材に指を置き、撮像面以外の領域から指を照明し、指の内部を散乱して指内部から指表面に出射する光をプレート状の光学部材を介して撮像素子で受光する方式が指内部の散乱光方式である。撮像素子上に設けたプレート状の光学部材に接した指紋の隆線部(凸部)からの光は、プレートを介して撮像素子に達する量が多い。一方、プレート形状をした光学部材に接しない指紋の隆線部以外(凹部)からの光は、指表面とプレートの間の空間で散乱するためプレートを介して撮像素子に入射する量が少ない。このコントラスト差を利用することで、指紋画像を取得する。生体内部(被写体内部)の散乱光を用いた光学方式は、プリズムを用いた反射光学式と比較して生体表面の状態(乾燥や湿潤)に左右されにくい点から、良好な生体認証結果を得られる画像取得方式として知られている。   Here, as a detection method of the image acquisition device used in the biometric authentication system, there are an optical method using an imaging element such as a CCD or a CMOS sensor, a capacitance method, a pressure detection method, a thermal method, an electric field detection method, and the like. is there. Among optical methods, a reflection optical method and a scattered light method are known. Taking a finger as an example of a living body part, a reflective optical system is a method in which a finger is placed on a prism and light is incident from an imaging surface to capture reflected light on the finger surface. On the other hand, a finger is placed on a plate-shaped optical member provided on the image sensor, the finger is illuminated from a region other than the imaging surface, and the light emitted from the inside of the finger to the finger surface is scattered from the inside of the finger. A method of receiving light with an image sensor through a member is a scattered light method inside a finger. The amount of light from the ridge (convex portion) of the fingerprint that is in contact with the plate-like optical member provided on the image pickup device reaches the image pickup device through the plate. On the other hand, light from portions other than the ridge portion (concave portion) of the fingerprint that does not contact the plate-shaped optical member is scattered in the space between the finger surface and the plate, so that the amount of light incident on the image sensor through the plate is small. By using this contrast difference, a fingerprint image is acquired. The optical system that uses scattered light inside the living body (inside the subject) is less susceptible to the state of the living body surface (dry or wet) than the reflective optical system that uses a prism. Known as an image acquisition method.

こうした生体認証装置においては認証能力以外に、本来認証すべき生体以外の物、偽生体等を検出する機能が求められている。偽生体とは、例えば指紋認証の場合は、樹脂やプラスチックなどで作られた偽指や写真などで作成された偽指紋画像、あるいは残留した指紋をフィルムに転写した物などがあげられる。   In such a biometric authentication apparatus, in addition to the authentication capability, a function for detecting an object other than a living body to be originally authenticated, a fake living body, and the like is required. For example, in the case of fingerprint authentication, the fake living body includes a fake finger image made of a resin or plastic, a fake fingerprint image created with a photograph, or a product obtained by transferring a residual fingerprint to a film.

特許文献1には、偽生体を識別する機能を有した認証装置の一例が開示されている。ここでは、赤外感度を有するブロックと、赤外感度を有しないブロックを持つ光学イメージセンサを用いて、得られた画像をフーリエ変換等を行い鮮明さの違いにより生体と偽生体を識別する方法が開示されている。   Patent Document 1 discloses an example of an authentication device having a function of identifying a fake living body. Here, using an optical image sensor having a block having infrared sensitivity and a block having no infrared sensitivity, the obtained image is subjected to Fourier transform or the like, and a living body and a pseudo living body are discriminated by a difference in clarity. Is disclosed.

また、特許文献2では、ヘモグロビンの吸光係数を利用する構成が開示されている。検査面に接触された指に、プローブ光と参照光とを出射する。指の内部を透過した透過プローブ光を受光し、透過プローブ光の光強度に応じた電気信号と、参照光が指の内部を透過した透過参照光を受光し、透過参照光の光強度に応じた電気信号とを出力する。出力された両電気信号により透過プローブ光の光強度と透過参照光の光強度との透過光強度比を求め、透過光強度比から指が生体であるか否かを識別する。
特開2002−042117号公報 特開2000−20684号公報
Patent Document 2 discloses a configuration that uses the extinction coefficient of hemoglobin. Probe light and reference light are emitted to the finger in contact with the inspection surface. Receives transmitted probe light that has passed through the inside of the finger, receives electrical signals according to the light intensity of the transmitted probe light, and transmitted reference light that has passed through the inside of the finger, and responds to the light intensity of the transmitted reference light Output electrical signals. A transmitted light intensity ratio between the light intensity of the transmitted probe light and the transmitted reference light is obtained from both of the output electrical signals, and whether or not the finger is a living body is identified from the transmitted light intensity ratio.
JP 2002-042117 A JP 2000-20684 A

光学方式の生体認証装置において、生体の画像の鮮明性や光強度情報から生体と偽生体を判別する構成においては、次のような制約が懸念される。   In an optical biometric authentication device, there is a concern about the following restrictions in the configuration for discriminating between a living body and a fake living body from the clarity of the image of the living body and light intensity information.

1つは、個人差や人種差に大きく依存して、識別しにくいケースがある点である。赤外と可視光での強度比や鮮明さのみを図る方法では「皮膚の色や指の表面状態により得られる出力が大きく左右されやすい」課題がある(課題α)。透過率は個人差や人種により大きくばらつく。また、鮮明さも、指の乾燥や湿潤状態や、個人の指の荒れ状態により大きくばらつく。これにより、ばらつきの許容範囲を大きくとれば偽生体も生体と誤認識が多くなり、ばらつきの許容範囲を小さくとれば生体も偽生体と誤認識してしまうトレードオフとなる。さらに、これを悪用された場合、カラー指紋画像を印刷したフィルムのように赤外と可視光の透過率や指の指紋パターンなどの鮮明さを生体にあわせた物を用いる等により、誤検出を起す偽指の作成が可能になってしまう(課題α)。   One is that there are cases where it is difficult to discriminate depending on individual differences and race differences. The method of achieving only the intensity ratio and the clearness between infrared and visible light has a problem that “the output obtained by the skin color and finger surface condition is greatly influenced” (problem α). The transmittance varies greatly depending on individual differences and races. In addition, the sharpness varies greatly depending on the dry and wet state of the finger and the rough state of the individual finger. As a result, if the allowable range of variation is increased, the false living body is erroneously recognized as a living body, and if the allowable range of variation is decreased, the living body is erroneously recognized as a false living body. Furthermore, if this is abused, false detection may be made by using a material that matches the vividness of the infrared and visible light transmittance and the fingerprint pattern of the finger, such as a film printed with a color fingerprint image. It is possible to create a fake finger to wake up (task α).

さらに、赤外感度と赤のように近い波長を識別する場合は、高い精度で波長に対する感度を制御する必要や赤外感度に差を持たせた画素ブロックが必要になるなど「複雑なセンサ構造が必要になる」問題があった(課題β)。   Furthermore, when identifying wavelengths that are close to infrared sensitivity and red, for example, it is necessary to control the sensitivity to wavelength with high accuracy, and a pixel block with a difference in infrared sensitivity is required. There was a problem ”(Problem β).

また、赤外光を多く含んだ西日の入る窓近くで取得した場合と、蛍光灯の下では「外光が入り込むことにより赤外割合が変化することで鮮明性や光強度が変化してしまう」懸念もある(課題γ)。   Also, when captured near a window with a lot of infrared light in the western sun, and under fluorescent lamps, “the infrared ratio changes due to the entry of external light, and the sharpness and light intensity change. There is also a concern (problem γ).

そこで、本発明は、波長による強度比や鮮明性とは異なる方法を用いて、簡単なセンサ構造で、指の表面状態や指の表面の個人差に依存しにくい(課題α、βの解決)生体検知方法を有した生体認証装置を提供することを目的とする。また、外光に強い(課題γの解決)生体検知方法を提供することを目的とする。   Therefore, the present invention uses a method different from the intensity ratio and the sharpness according to the wavelength, and has a simple sensor structure and is less dependent on the finger surface condition and individual differences of the finger surface (solving the problems α and β). An object of the present invention is to provide a biometric authentication device having a biometric detection method. It is another object of the present invention to provide a living body detection method that is resistant to external light (solves the problem γ).

上述の課題を解決するため本発明では、指内部の散乱光を利用した生体認証装置において、被写体である指の中心や周囲など場所により散乱光分布に差異が発生することに着目した。特に、認証用の画像取得に用いられる赤外光と比較して可視光では、波長が短くなるほど距離に対して減衰する光量の割合が大きくなるとともに、骨などの構成物により散乱が妨げられやすくなる。この散乱光分布(場所依存性、輝度シェーディング)の波長による変化を利用して、偽指や残留指紋が判別できることを見出した。   In order to solve the above-described problems, the present invention focuses on the fact that in the biometric authentication device using scattered light inside the finger, a difference occurs in the scattered light distribution depending on the location of the subject, such as the center or the periphery of the finger. In particular, in visible light compared to infrared light used for authentication image acquisition, the ratio of the amount of light attenuated with respect to distance increases as the wavelength becomes shorter, and scattering is likely to be hindered by components such as bone. Become. It has been found that a fake finger and a residual fingerprint can be discriminated using a change in the scattered light distribution (location dependence, luminance shading) depending on the wavelength.

複数の可視波長を用いて、それぞれの波長での散乱光分布を比較することで、被写体の3次元的な情報が得られるため、容易に偽指や残留指紋を識別できる。光強度の絶対値や割合ではないため、指の表面の色などの個人差に依存しにくい。また、鮮明さのように細かな画像パターンを用いず、指の形状に近い比較的変化の緩やかな場所依存性=シェーディングを用いるため、指の表面状態などの個人差に依存しにくい(課題αが解決される)。   By comparing the scattered light distribution at each wavelength using a plurality of visible wavelengths, three-dimensional information of the subject can be obtained, so that a fake finger or a residual fingerprint can be easily identified. Since it is not the absolute value or ratio of light intensity, it is difficult to depend on individual differences such as the color of the finger surface. In addition, since the use of shading is used, which does not use a fine image pattern such as sharpness, and uses a relatively gentle place dependency = shading that is close to the shape of the finger, it is difficult to depend on individual differences such as the finger surface condition (problem α Is resolved).

また、入手しやすい複数の可視波長を有したLED光源や画素状に設けたカラーフィルタ等で複数の可視波長の画像を取得できるため、センサ構造も複雑にならず、簡単な構成で実現できる(課題βが解決される)。   Moreover, since an image of a plurality of visible wavelengths can be obtained with an easily available LED light source having a plurality of visible wavelengths, a color filter provided in a pixel shape, etc., the sensor structure is not complicated and can be realized with a simple configuration ( Problem β is solved).

さらに、光源と画像読み取り手段を制御することで、外光の影響を除去したうえで生体検知や認証を行なうことが出来る(課題γが解決される)。   Further, by controlling the light source and the image reading means, it is possible to perform biometric detection and authentication after removing the influence of external light (the problem γ is solved).

このことを利用して、以下の構成とした。   Utilizing this fact, the following configuration was adopted.

本発明による第1の生体認証装置は、照明手段と、前記照明手段により発生する被写体内部の散乱光を利用して、生体認証のための画像を取得する生体認証装置であって、異なる波長での前記被写体内の散乱光分布情報を取得し、前記散乱光分布情報を比較する比較手段と、その比較の結果により生体検知を行なう生体検知手段と、を有することを特徴とする。   A first biometric authentication device according to the present invention is a biometric authentication device that acquires an image for biometric authentication using illumination means and scattered light inside a subject generated by the illumination means, and has different wavelengths. A comparison means for acquiring the scattered light distribution information in the subject and comparing the scattered light distribution information, and a biological detection means for performing biological detection based on a result of the comparison.

上記の生体認証装置において、前記照明手段は、生体認証のための赤外波長を有する第1の照明手段と、前記被写体内の散乱光分布情報を比較するための可視光波長を有する第2の照明手段と、を有するようにしてもよい。   In the biometric authentication apparatus, the illumination unit includes a first illumination unit having an infrared wavelength for biometric authentication and a second light unit having a visible light wavelength for comparing scattered light distribution information in the subject. And illumination means.

上記の生体認証装置において、前記第2の照明手段は、相互に近傍に配置した異なる波長を有した2つの光源を有し、前記生体認証装置は、更に前記光源を順々に切り替え出射する手段を有するようにしてもよい。   In the biometric authentication device, the second illumination unit includes two light sources having different wavelengths arranged in the vicinity of each other, and the biometric authentication device further switches and emits the light sources sequentially. You may make it have.

上記の生体認証装置において、前記第2の照明手段は、少なくとも波長が610nmより長い波長帯域(約610〜800nm)の光と、波長が570nmより短い波長帯域(約400〜570nm)の光とを出射するようにしてもよい。   In the above biometric authentication device, the second illumination unit emits at least light having a wavelength band longer than 610 nm (about 610 to 800 nm) and light having a wavelength shorter than 570 nm (about 400 to 570 nm). You may make it radiate | emit.

上記の生体認証装置において、前記第2の照明手段は、赤色の光と、緑色の光とを出射するようにしてもよい。   In the biometric authentication apparatus, the second illuminating unit may emit red light and green light.

上記の生体認証装置において、画像読み取り手段を更に有し、前記画像読み取り手段は波長分離手段を有するようにしてもよい。   The biometric authentication apparatus may further include an image reading unit, and the image reading unit may include a wavelength separation unit.

上記の生体認証装置において、前記被写体内の散乱光分布情報として、前記被写体の形状に起因する輝度シェーディングを検知する手段を有するようにしてもよい。   The biometric authentication apparatus may include means for detecting luminance shading caused by the shape of the subject as the scattered light distribution information in the subject.

上記の生体認証装置において、前記生体認証装置は、前記被写体が密着する光学部材と前記光学部材に密着した撮像素子を有する画像読み取り手段を有し、前記第2の照明手段は、前記被写体画像を取得するために密着させる光学部材の撮像面の他の領域から前記被写体を照明する位置に配置されるようにしてもよい。   In the biometric authentication device, the biometric authentication device includes an image reading unit having an optical member that is in close contact with the subject and an image sensor that is in close contact with the optical member, and the second illumination unit is configured to display the subject image. You may make it arrange | position in the position which illuminates the said to-be-photographed object from the other area | region of the imaging surface of the optical member made to closely_contact | adhere for acquisition.

上記の生体認証装置において、前記第2の照明手段は、前記被写体に対して前記光学部材の撮像面と同じ面に配置され、前記被写体にほぼ接する下部から光を出射する位置に配置されるようにしてもよい。   In the biometric authentication apparatus, the second illumination unit is disposed on the same surface as the imaging surface of the optical member with respect to the subject, and is disposed at a position where light is emitted from a lower portion that is substantially in contact with the subject. It may be.

本発明による第2の生体認証装置は、照明手段と、前記照明手段により発生する被写体内部の散乱光を利用して、生体認証のための画像を取得する画像読み取り手段を有する生体認証装置であって、前記照明手段が光を出射する場合の画像と光を出射しない場合画像との差分画像を取得する外光除去手段を有することを特徴とする。   A second biometric authentication device according to the present invention is a biometric authentication device that includes an illuminating unit and an image reading unit that acquires an image for biometric authentication using scattered light inside the subject generated by the illuminating unit. The illumination means has an external light removal means for acquiring a difference image between an image when the light is emitted and an image when the light is not emitted.

上記の生体認証装置において、前記画像読み取り手段は、可視光を分離する手段を設けた画素群を有し、前記生体認証装置は、前記画素群を切り替えることで取得した画像の波長帯域を切替える切替手段と、取得した画像を相互に比較する手段を有するようにしてもよい。   In the biometric authentication device, the image reading unit includes a pixel group provided with a unit for separating visible light, and the biometric authentication device performs switching for switching a wavelength band of an image acquired by switching the pixel group. You may make it have a means and a means to compare the acquired image mutually.

本発明による第3の生体認証装置は、照明手段と、前記照明手段により発生する被写体内部の散乱光を利用して、生体認証のための画像を取得する画像読み取り手段を有する生体認証装置であって、前記画像読み取り手段は、波長分離手段を設けた画素群を有し、前記生体認証装置は、前記画素群を切り替えることで取得した画像の波長帯域を切替える切替手段と、取得した画像を相互に比較する手段を有することを特徴とする。   A third biometric authentication device according to the present invention is a biometric authentication device that includes an illuminating unit and an image reading unit that acquires an image for biometric authentication using scattered light inside the subject generated by the illuminating unit. The image reading unit includes a pixel group provided with a wavelength separation unit, and the biometric authentication device mutually exchanges the acquired image with a switching unit that switches the wavelength band of the acquired image by switching the pixel group. It has the means to compare with.

本発明による生体検知方法は、第1の波長成分の被写体画像を取得する第1のステップと、第2の波長成分の被写体画像を取得する第2のステップと、前記第1のステップと第2のステップで得られた被写体画像から波長の異なる複数の被写体面内の散乱光分布情報を比較する第3のステップと、比較の結果により前記被写体が生体か否かを判別する第4のステップと、を有することを特徴とする。   The living body detection method according to the present invention includes a first step of acquiring a subject image having a first wavelength component, a second step of acquiring a subject image having a second wavelength component, the first step, and the second step. A third step of comparing the scattered light distribution information in a plurality of subject surfaces having different wavelengths from the subject image obtained in the step of step 4, and a fourth step of discriminating whether or not the subject is a living body based on the comparison result It is characterized by having.

上記の生体検知方法において、第1の光量で前記被写体を照明する第5のステップと、第2の光量で前記被写体を照明する第6のステップと、前記第5のステップと、第6のステップで得られた画像から差分を求めることで外光成分を除去する第7のステップと、前記第7のステップから得られた画像を利用して前記被写体の生体検知を行なうステップを有するようにしてもよい。   In the living body detection method, a fifth step of illuminating the subject with a first light amount, a sixth step of illuminating the subject with a second light amount, the fifth step, and a sixth step A seventh step of removing an external light component by obtaining a difference from the image obtained in step (b), and a step of performing living body detection of the subject using the image obtained from the seventh step. Also good.

本発明は、被写体面内の散乱光分布情報を取得することにより、被写体形状に応じた内部散乱光の波長依存性の差から立体的な情報が取得できるため、簡単な構成や方法で、指の表面状態や指の表面の個人差に影響されずに生体と生体以外を識別することができる。   Since the present invention can acquire three-dimensional information from the difference in wavelength dependence of the internal scattered light according to the subject shape by acquiring the scattered light distribution information in the subject plane, It is possible to distinguish between a living body and a non-living body without being affected by individual surface conditions or individual differences on the finger surface.

また、外光に強い生体検知方法を提供することができる。   In addition, a living body detection method that is resistant to external light can be provided.

次に、本発明の実施の形態について図面を参照して説明する。   Next, embodiments of the present invention will be described with reference to the drawings.

(第1の実施形態)
次に、本発明を適用した、第1の実施形態の構成について図1〜図4を用いて説明する。
(First embodiment)
Next, the configuration of the first embodiment to which the present invention is applied will be described with reference to FIGS.

ここでは、生体認証装置として、指の内部に散乱光を与えて撮像部に指を密着させることで指紋を読み取る方式の光学式指紋センサを用いた認証装置を示す。   Here, as the biometric authentication device, an authentication device using an optical fingerprint sensor that reads a fingerprint by giving scattered light to the inside of the finger and bringing the finger into close contact with the imaging unit is shown.

図1は、本発明の実施形態1として、指紋認証装置の模式的な構成を示すブロック図である。また図2は、外形的な構成を示す概略図である。   FIG. 1 is a block diagram showing a schematic configuration of a fingerprint authentication device as Embodiment 1 of the present invention. FIG. 2 is a schematic diagram showing an external configuration.

本実施の形態における指紋認証装置は画像取得装置としての画像取得部101と認証部102からなる。たとえば、画像取得部101は画像センサを有した撮像ユニットで、また認証部102はパーソナルコンピュータにより実行される機能の組み合わせからなる。あるいは、画像取得部101と認証部102がひとつの指紋認証ユニットとして組み合わされ、不図示のパーソナルコンピュータに接続される独立の装置の場合がある。   The fingerprint authentication apparatus according to the present embodiment includes an image acquisition unit 101 and an authentication unit 102 as an image acquisition apparatus. For example, the image acquisition unit 101 is an imaging unit having an image sensor, and the authentication unit 102 is a combination of functions executed by a personal computer. Alternatively, the image acquisition unit 101 and the authentication unit 102 may be combined as one fingerprint authentication unit and may be an independent device connected to a personal computer (not shown).

図1の画像取得部101において、103a、103bは照明手段としてのLED光源である。103aは認証を行なうための被写体画像を取得するための赤外波長の第1の照明手段としての光源1である。103bは生体か生体以外か、偽指などを判別するための被写体画像を取得するための可視光波長の第2の照明手段としての光源2である。ここでは、103bは赤色の波長(第1の波長成分)も緑色の波長(第2の波長成分)も含んだ白色LEDを使用している。108が各LEDの輝度や点灯タイミングを制御する光源制御部であり、112a、112bはその制御信号線である。   In the image acquisition unit 101 in FIG. 1, reference numerals 103a and 103b denote LED light sources as illumination means. Reference numeral 103a denotes a light source 1 as a first illumination unit having an infrared wavelength for acquiring a subject image for authentication. Reference numeral 103b denotes a light source 2 as a second illuminating means having a visible light wavelength for acquiring a subject image for discriminating whether a living body or a non-living body is a false finger or the like. Here, 103b uses a white LED including both a red wavelength (first wavelength component) and a green wavelength (second wavelength component). Reference numeral 108 denotes a light source control unit that controls the luminance and lighting timing of each LED, and reference numerals 112a and 112b denote control signal lines.

104が画像読み取り手段としてのCMOS型、あるいはCCD型等の撮像素子である。本実施の形態ではCMOS型の撮像素子を例示する。105は、撮像素子104とADC(アナログ/デジタル変換器)107のサンプリングタイミングを制御する駆動パルス発生部(TG部)である。106は撮像素子104からの二系統のアナログ出力を切り替える信号切替部である。撮像素子104は、後述する波長分離手段としてのカラーフィルタを用いて、異なるカラーフィルタごとの出力を出せる。107が、アナログ/デジタル変換器(ADC)である。110a、110b、110cがアナログの画像データ信号線であり、110aが赤のカラーフィルタのついた画素の出力信号線であり、110bが緑のカラーフィルタのついた画素の出力信号線である。110cがそのいずれかを選択した出力信号線である。113がデジタルの画像データ信号線である。112d、eが駆動パルス発生部から撮像素子104及びアナログ/デジタル変換器(ADC)107に送られる駆動パルスの信号線である。   Reference numeral 104 denotes an image sensor such as a CMOS type or a CCD type as image reading means. In this embodiment, a CMOS image sensor is exemplified. Reference numeral 105 denotes a drive pulse generator (TG unit) that controls the sampling timing of the image sensor 104 and the ADC (analog / digital converter) 107. A signal switching unit 106 switches between two analog outputs from the image sensor 104. The image sensor 104 can output an output for each different color filter using a color filter as a wavelength separation unit described later. Reference numeral 107 denotes an analog / digital converter (ADC). 110a, 110b, 110c are analog image data signal lines, 110a is an output signal line for a pixel with a red color filter, and 110b is an output signal line for a pixel with a green color filter. Reference numeral 110c denotes an output signal line in which one of them is selected. Reference numeral 113 denotes a digital image data signal line. Reference numerals 112d and e denote signal lines of drive pulses sent from the drive pulse generator to the image sensor 104 and the analog / digital converter (ADC) 107.

認証部102において、114が後述する波長分離手段としてのカラーフィルタを用いて別々に取得された赤と緑の可視光成分(波長が約610〜800nmの成分と約400〜570nmの成分)の画像を比較する比較手段としての差分生成部である。フレームメモリ117に複数の画像を一時保存しながら、画像同士の差分を生成する。114は、後述する外光成分除去手段としての役割も果たす。115が、生体か偽生体等の生体以外かを識別する生体検知手段としての生体検知部である。生体検知部115は赤と緑の画像で被写体面内の輝度分布の差を用いて判別する。   In the authentication unit 102, an image of visible light components of red and green (components having a wavelength of about 610 to 800 nm and components of about 400 to 570 nm) acquired separately by the authentication unit 102 using a color filter as a wavelength separation unit described later. It is a difference production | generation part as a comparison means to compare. While temporarily storing a plurality of images in the frame memory 117, a difference between the images is generated. Reference numeral 114 also serves as an external light component removing unit to be described later. Reference numeral 115 denotes a living body detection unit serving as a living body detection unit for identifying whether a living body or a living body other than a living body such as a pseudo living body. The living body detection unit 115 determines the difference between the red and green images using the difference in luminance distribution in the subject plane.

116が後段で特徴抽出を行うために、エッジ強調などの画像処理を行う前処理部である。118が、特徴抽出部であり、119が118で抽出された個人の特徴をデータベースに登録あるいは、登録済みのデータと比較照合する登録照合部である。120が個人のデータを保存するデータベースである。123が各部の動作を制御する制御部である。   Reference numeral 116 denotes a pre-processing unit that performs image processing such as edge enhancement in order to perform feature extraction at a later stage. Reference numeral 118 denotes a feature extraction unit, and reference numeral 119 denotes a registration collation unit that registers the individual features extracted in 118 in the database or compares and collates with registered data. A database 120 stores personal data. A control unit 123 controls the operation of each unit.

124a、b、c、d、eが画像データを伝送するデータ線である。125がデータベースと登録・照合部間のデータ線及び制御線である。126が光源制御部108の動作を制御する信号線であり、127が駆動パルス部(TG部)の動作を制御する信号線である。128が、その制御を受けて駆動パルス部(TG部)105が信号切替部106を切り替えるための切替信号線である。129a〜eが、制御部123が認証部102の各部を制御するための制御線である。130が、生体検知結果を制御部123に伝える信号線である。   Reference numerals 124a, b, c, d, and e denote data lines for transmitting image data. Reference numeral 125 denotes a data line and a control line between the database and the registration / verification unit. 126 is a signal line for controlling the operation of the light source control unit 108, and 127 is a signal line for controlling the operation of the drive pulse unit (TG unit). Reference numeral 128 denotes a switching signal line for the drive pulse unit (TG unit) 105 to switch the signal switching unit 106 under the control. Reference numerals 129a to 129 denote control lines for the control unit 123 to control each unit of the authentication unit 102. Reference numeral 130 denotes a signal line that transmits the living body detection result to the control unit 123.

図2の概略図において、図2(a)は断面図であり、図2(b)は上面図である。   In the schematic view of FIG. 2, FIG. 2 (a) is a cross-sectional view, and FIG. 2 (b) is a top view.

1は、被写体としての指紋認証の対象となる指であり、撮像面に密着して置かれている。2a、2bは、指部を照射する照明手段としてのLED光源である。このうち、2aは、図1の103aであり、認証を行なうための被写体画像を取得するための赤外波長の第1の照明手段としての光源1である。   Reference numeral 1 denotes a finger to be subjected to fingerprint authentication as a subject, which is placed in close contact with the imaging surface. Reference numerals 2a and 2b denote LED light sources as illumination means for irradiating the finger part. Among these, 2a is 103a of FIG. 1, and is the light source 1 as a 1st illumination means of the infrared wavelength for acquiring the to-be-photographed image for authentication.

2bは、図1の103bであり、生体か生体以外か、偽指などを判別するための被写体画像を取得するための可視光波長の第2の照明手段としての光源2である。ここでは、2bは赤色の波長も緑色の波長も含んだ白色LEDを使用している。   Reference numeral 2b denotes a light source 2 as a second illumination unit having a visible light wavelength for acquiring a subject image for discriminating whether a living body or a non-living body, a false finger, or the like. Here, 2b uses a white LED including both a red wavelength and a green wavelength.

3は、指紋の凹凸パターンの光学的な差を撮像素子4へ導くプレート形状をした光学部材である。   Reference numeral 3 denotes an optical member having a plate shape that guides the optical difference of the uneven pattern of the fingerprint to the image sensor 4.

プレート形状をした光学部材としては、厚さが数〜数100μm程度の所望の波長に透過率を有した薄膜や、ファイバ、マイクロレンズアレイなどがあげられる。   Examples of the plate-shaped optical member include a thin film having a transmittance at a desired wavelength having a thickness of about several to several hundreds of micrometers, a fiber, and a microlens array.

4は画像読み取り手段である撮像素子であり、ここでは二次元のCMOS型の撮像素子である。4aは、画素部分を示し、4bは波長分離手段であるカラーフィルタ部を示す。7は、撮像素子やLEDを実装した基板である。   Reference numeral 4 denotes an image sensor serving as an image reading unit, and here, a two-dimensional CMOS image sensor. Reference numeral 4a denotes a pixel portion, and 4b denotes a color filter portion which is wavelength separation means. Reference numeral 7 denotes a substrate on which an image sensor and LEDs are mounted.

認証を行なうための赤外光源1(2a)は指の周囲に配置され、指をやや離れた距離から広がった赤外光で全体的に照明する。こうすることにより、取得画像に対する赤外光源の位置による依存性が少なくなり、入射した赤外光は、まんべんなく指内部まで広がり、広い範囲の指紋パターンを読み取ることができる。   An infrared light source 1 (2a) for performing authentication is arranged around the finger, and illuminates the entire finger with infrared light that spreads from a distance slightly away. By doing so, the dependence of the position of the infrared light source on the acquired image is reduced, and the incident infrared light spreads evenly inside the finger, and a wide range of fingerprint patterns can be read.

一方、生体か生体以外かを判別する光源2(2b)は、指の根元側の直下に1箇所のみにもうけられている。1箇所の光源は複数の波長の光を発する物であれば、なんでもよいが、ここでは白色光のLEDとしている。白色で照明した指は、カラーフィルタ(4b)で赤と緑で波長ごとに分けて撮像素子で画像化される。   On the other hand, the light source 2 (2b) for discriminating whether it is a living body or a non-living body is provided at only one place immediately below the base of the finger. The light source at one location may be anything as long as it emits light of a plurality of wavelengths, but here it is a white light LED. The finger illuminated in white is imaged by the image sensor while being divided into red and green for each wavelength by the color filter (4b).

5a、5bは、LED2bから指1への光の入射方向であり、5aは赤色の波長成分、5bは緑色の波長成分の光を模式的に示している。5aと5bの光は、実際には白色光として混在して指に入射するが、波長に応じて、指内では異なる散乱、透過をする。6a、6bは、LED2bが発した光が指1内で散乱した後に、指1から光学部材3及び撮像素子4へ向かう光の出射方向である。6aは赤色の波長成分、6bは緑色の波長成分の光を模式的に示している。6aと6bは、カラーフィルタ4bを介して波長分離されて画素部4aで画像化される。   Reference numerals 5a and 5b denote the incident directions of light from the LED 2b to the finger 1, 5a schematically showing light of a red wavelength component and 5b of light of a green wavelength component. The light beams 5a and 5b are actually mixed as white light and incident on the finger. However, the light beams 5a and 5b are scattered and transmitted in the finger depending on the wavelength. Reference numerals 6 a and 6 b denote light emission directions from the finger 1 toward the optical member 3 and the image sensor 4 after the light emitted from the LED 2 b is scattered in the finger 1. 6a schematically shows light of a red wavelength component, and 6b schematically shows light of a green wavelength component. 6a and 6b are wavelength-separated through the color filter 4b and imaged by the pixel unit 4a.

図3、図4を用いて本実施形態におけるCMOS型の撮像素子の構成を説明する。   The configuration of the CMOS type image sensor according to this embodiment will be described with reference to FIGS.

図3は、図1の撮像素子104の構成図である。ここでは、一般的なエリアセンサにおける水平走査方向が主走査方向、垂直走査方向が副走査方向に相当する。まず垂直方向の1行(たとえば一番上の行)を選択して、その行の水平方向の一端から同じ行の反対側の端に向かって(たとえば一番左から右に向かって)画素を順次読み出していく。その後、次の垂直方向の1行を選択して、同様に水平方向の一端から同じ行の反対側の端に向かって画素を順次読み出していく。こうして垂直方向に各行の読出しを行い画面全体の画素を取得する。このため、水平方向の走査を主走査、垂直方向の走査を副走査とした。   FIG. 3 is a configuration diagram of the image sensor 104 of FIG. Here, the horizontal scanning direction in a general area sensor corresponds to the main scanning direction, and the vertical scanning direction corresponds to the sub-scanning direction. First, select one vertical row (for example, the top row), and select pixels from one horizontal end of the row to the opposite end of the same row (for example, from the left to the right). Read sequentially. Thereafter, the next vertical row is selected, and similarly, pixels are sequentially read from one end in the horizontal direction toward the opposite end of the same row. In this way, each row is read in the vertical direction to obtain the pixels of the entire screen. For this reason, the horizontal scanning is defined as main scanning, and the vertical scanning is defined as sub-scanning.

したがって、以下の撮像素子の説明も主走査方向を水平方向、副走査方向を垂直方向と同一の意味として記述している。   Therefore, in the following description of the image sensor, the main scanning direction is described as the same meaning as the horizontal direction and the sub-scanning direction as the vertical direction.

図3において、41a、41bは撮像素子の1画素を構成する画素部であり、41aは画素の上側に図2の4bのカラーフィルタのうち赤の画素(R)を示しており、41bは画素の上側に図2の4bのカラーフィルタのうち緑の画素(G)を示している。   In FIG. 3, reference numerals 41a and 41b denote pixel portions constituting one pixel of the image sensor, and 41a denotes a red pixel (R) in the color filter 4b in FIG. 2 above the pixel, and 41b denotes a pixel. The green pixel (G) of the color filter 4b in FIG.

42は画素部41(41a及び41b)における読み出しパルス(φS)の入力端子である。43は画素部41(41a及び41b)におけるリセットパルス(φR)の入力端子である。44は画素部41(41a及び41b)における転送パルス(φT)の入力端子である。45は画素部41(41a及び41b)における信号読み出し端子(P0)である。46は後述するセレクタ部から水平方向の各画素に読み出しパルス(φS)を送る信号線、47はセレクタ部から水平方向の各画素にリセットパルス(φR)を送る信号線、48はセレクタ部から水平方向の各画素に転送パルス(φT)を送る信号線である。49は垂直信号線、40は定電流源、51は垂直信号線49に接続された容量である。52は水平シフトレジスタ56にゲートが接続され、ソース−ドレインに垂直信号線49と出力信号線53a、53bが接続された転送スイッチである。54a、54bは出力信号線53a、53bに接続された出力アンプ、55a、55bは撮像素子6の出力端子である。53a、54a、55aは、赤の画素(R)の読出しに関わる信号系であり、53b、54b、55bは、緑の画素(G)の読出しに関わる信号系である。55aが図1における110aに相当し、55bが図1における110bに相当する。   Reference numeral 42 denotes an input terminal for a readout pulse (φS) in the pixel unit 41 (41a and 41b). Reference numeral 43 denotes an input terminal for a reset pulse (φR) in the pixel unit 41 (41a and 41b). Reference numeral 44 denotes an input terminal for a transfer pulse (φT) in the pixel unit 41 (41a and 41b). Reference numeral 45 denotes a signal readout terminal (P0) in the pixel unit 41 (41a and 41b). Reference numeral 46 denotes a signal line for sending a read pulse (φS) from the selector unit to the horizontal pixels, 47 denotes a signal line for sending a reset pulse (φR) from the selector unit to the horizontal pixels, and 48 denotes a horizontal line from the selector unit. This is a signal line for sending a transfer pulse (φT) to each pixel in the direction. Reference numeral 49 is a vertical signal line, 40 is a constant current source, and 51 is a capacitor connected to the vertical signal line 49. A transfer switch 52 has a gate connected to the horizontal shift register 56 and a source-drain connected to the vertical signal line 49 and output signal lines 53a and 53b. 54 a and 54 b are output amplifiers connected to the output signal lines 53 a and 53 b, and 55 a and 55 b are output terminals of the image sensor 6. 53a, 54a, and 55a are signal systems related to reading of the red pixel (R), and 53b, 54b, and 55b are signal systems related to reading of the green pixel (G). 55a corresponds to 110a in FIG. 1, and 55b corresponds to 110b in FIG.

また、56は水平シフトレジスタ(HSR)、57はそのスタートパルス(HST)の入力端子、58はその転送クロック(HCLK)の入力端子である。59は垂直シフトレジスタ(VSR)、60はそのスタートパルス(VST)の入力端子、61はその転送クロック(VCLK)の入力端子である。62は後述するローリングシャッタと呼ばれる方式の電子シャッタ用のシフトレジスタ(ESR)、63はそのスタートパルス(EST)の入力端子である。64は垂直シフトレジスタ(VSR)の出力線、65は電子シャッタ用のシフトレジスタ(ESR)の出力線である。66はセレクタ部、67は転送パルスの元信号TRSの入力端子、68はリセットパルスの元信号RESの入力端子、69は読み出しパルスの元信号SELの入力端子である。   Reference numeral 56 denotes a horizontal shift register (HSR), 57 denotes an input terminal for the start pulse (HST), and 58 denotes an input terminal for the transfer clock (HCLK). 59 is a vertical shift register (VSR), 60 is an input terminal for the start pulse (VST), and 61 is an input terminal for the transfer clock (VCLK). 62 is a shift register (ESR) for an electronic shutter of a system called a rolling shutter described later, and 63 is an input terminal for the start pulse (EST). 64 is an output line of the vertical shift register (VSR), and 65 is an output line of the shift register (ESR) for the electronic shutter. Reference numeral 66 denotes a selector unit, 67 denotes an input terminal of the original signal TRS of the transfer pulse, 68 denotes an input terminal of the original signal RES of the reset pulse, and 69 denotes an input terminal of the original signal SEL of the read pulse.

図4は、図3の画素部41(41a及び41b)の構成図である。図4において、71は電源電圧(VCC)、72はリセット電圧(VR)、73はフォトダイオード、74〜77はMOSトランジスタからなるスイッチ、78は寄生容量(FD)、79はグラウンドである。   FIG. 4 is a configuration diagram of the pixel unit 41 (41a and 41b) in FIG. In FIG. 4, 71 is a power supply voltage (VCC), 72 is a reset voltage (VR), 73 is a photodiode, 74 to 77 are switches made of MOS transistors, 78 is a parasitic capacitance (FD), and 79 is a ground.

ここで、撮像素子104の動作を図4、図5を参照して説明する。まず、リセット用のスイッチ74と、フォトダイオード73に接続されたスイッチ75とをOFFした状態で、フォトダイオード73において入射光による電荷の蓄積が行われる。   Here, the operation of the image sensor 104 will be described with reference to FIGS. First, charges are accumulated by incident light in the photodiode 73 with the reset switch 74 and the switch 75 connected to the photodiode 73 turned off.

その後、スイッチ76がOFFした状態で、スイッチ74をONすることにより、寄生容量78がリセットする。つぎに、スイッチ74をOFF、スイッチ76をONすることにより、信号読み出し端子45にリセット状態の電荷を読み出す。   Thereafter, the parasitic capacitance 78 is reset by turning on the switch 74 while the switch 76 is turned off. Next, the switch 74 is turned off and the switch 76 is turned on, whereby the charge in the reset state is read out to the signal readout terminal 45.

つぎに、スイッチ76をOFFした状態で、スイッチ75をONすることにより、寄生容量78に対して、フォトダイオード73に蓄積された電荷を転送する。つぎに、スイッチ75をOFFした状態で、スイッチ76をONすることにより、信号読み出し端子45に信号電荷を読み出す。   Next, by turning on the switch 75 with the switch 76 turned off, the charge accumulated in the photodiode 73 is transferred to the parasitic capacitance 78. Next, the signal charge is read out to the signal readout terminal 45 by turning on the switch 76 with the switch 75 turned off.

各MOSトランジスタの駆動パルスφS、φR、φTは、後述するように垂直シフトレジスタ59、62とセレクタ部66とにより作成され、各信号線46〜48により、画素の入力端子42〜44に供給される。入力端子60から入力されるクロック信号1パルスに対して、信号TRS、RES、SELが入力端子67〜69にそれぞれ1パルス入力される。このため、駆動パルスφS、φR、φTがそれぞれ信号TRS、RES、SELに同期して出力される。この結果、入力端子42〜44に、駆動パルスφS、φR、φTが供給される。   The drive pulses φS, φR, and φT of each MOS transistor are generated by vertical shift registers 59 and 62 and a selector unit 66 as will be described later, and are supplied to the input terminals 42 to 44 of the pixels through the signal lines 46 to 48, respectively. The For each pulse of the clock signal input from the input terminal 60, one pulse of the signals TRS, RES, and SEL is input to the input terminals 67 to 69, respectively. Therefore, drive pulses φS, φR, and φT are output in synchronization with the signals TRS, RES, and SEL, respectively. As a result, the drive pulses φS, φR, and φT are supplied to the input terminals 42 to 44.

また、信号読み出し端子45は、垂直信号線49により定電流源40に接続されると共に、垂直信号線容量51及び転送スイッチ52に接続されている。垂直信号線49を介して電荷信号が垂直信号線容量51に転送される。その後水平シフトレジスタ56の出力に従い、転送スイッチ52が順次走査されて、垂直信号線容量51の信号が出力信号線53(53a及び53b)に順次読み出される。読み出された信号は、出力アンプ54(54a及び54b)を介して出力端子55(55a及び55b)から出力される。ここで、垂直シフトレジスタ(VSR)59は、スタートパルス(VST)60で走査が開始される。転送クロック(VCLK)61が出力線64を介してVS1、VS2、…VSnと順次転送されていく。また電子シャッタ用垂直シフトレジスタ(ESR)62は、入力端子63から入力されるスタートパルス(EST)で走査が開始され、入力端子61から入力される転送クロック(VCLK)が出力線65に順次転送されていく。   The signal readout terminal 45 is connected to the constant current source 40 by a vertical signal line 49 and is connected to the vertical signal line capacitor 51 and the transfer switch 52. The charge signal is transferred to the vertical signal line capacitor 51 via the vertical signal line 49. Thereafter, according to the output of the horizontal shift register 56, the transfer switch 52 is sequentially scanned, and the signal of the vertical signal line capacitor 51 is sequentially read out to the output signal lines 53 (53a and 53b). The read signal is output from the output terminal 55 (55a and 55b) via the output amplifier 54 (54a and 54b). Here, scanning of the vertical shift register (VSR) 59 is started by a start pulse (VST) 60. The transfer clock (VCLK) 61 is sequentially transferred to VS1, VS2,... VSn via the output line 64. The electronic shutter vertical shift register (ESR) 62 starts scanning with a start pulse (EST) input from the input terminal 63, and a transfer clock (VCLK) input from the input terminal 61 is sequentially transferred to the output line 65. It will be done.

各画素部41(41a及び41b)の読み出し順序は、まず垂直方向の上1行目を選択し、水平シフトレジスタ56の走査に伴い左から右へ各列に接続した画素部41(41a及び41b)を選択出力する。1行目の出力が終わると、2行目を選択し、再び水平シフトレジスタ56の走査に伴い左から右へ各列に接続した画素部41(41a及び41b)を選択出力する。   The readout order of each pixel unit 41 (41a and 41b) is as follows. First, the first row in the vertical direction is selected, and pixel units 41 (41a and 41b) connected to each column from left to right as the horizontal shift register 56 scans. ) Is selected and output. When the output of the first row is completed, the second row is selected, and the pixel portions 41 (41a and 41b) connected to the respective columns are selected and output from the left to the right as the horizontal shift register 56 scans again.

以下、同様に垂直シフトレジスタ59の順次走査に従い、1、2、3、4、5…行目と上から下まで走査を行い、1画面の画像出力を行う。   Thereafter, similarly, according to the sequential scanning of the vertical shift register 59, scanning is performed from the first, second, third, fourth, fifth,.

ところで、撮像素子の露光期間は、撮像画素が光の電荷を蓄積する蓄積期間と、撮像画素に被写体からの光が入射する期間により決まる。   By the way, the exposure period of the image sensor is determined by the accumulation period in which the imaging pixels accumulate light charges and the period in which light from the subject is incident on the imaging pixels.

ここで、CMOS型の撮像素子は、IT(interline transfer)型やFIT(frame-interline transfer)型のCCD素子と異なり、遮光されたバッファメモリ部を備えていない。そのため画素部41(41a及び41b)から得られた信号を順次読み出している期間も、まだ読み出されていない画素部41(41a及び41b)は露光され続ける。したがって、連続的に画面出力を読み出すと、その露光時間は画面の読み出し時間にほぼ等しくなる。   Here, unlike an IT (interline transfer) type or FIT (frame-interline transfer) type CCD element, a CMOS type imaging element does not include a light-shielded buffer memory unit. For this reason, even during the period in which the signals obtained from the pixel portions 41 (41a and 41b) are sequentially read, the pixel portions 41 (41a and 41b) that have not yet been read continue to be exposed. Therefore, when the screen output is continuously read, the exposure time becomes substantially equal to the screen read time.

しかし、光源としてLEDを用いて、外光の入射を遮光部材などで入射しない場合などでは、点灯している期間のみを露光期間と考えることが可能になる。   However, when an LED is used as the light source and external light is not incident on the light shielding member or the like, it is possible to consider only the lighting period as the exposure period.

また、別の露光時間を制御するひとつの方法として、CMOS型の撮像素子においては、電子シャッタ(フォーカルプレインシャッター)として、蓄積の開始と終了の垂直走査を並行して行うローリングシャッタとばれる駆動方法をとることができる。これにより、蓄積の開始と終了の垂直走査線数単位で露光時間を設定可能にしている。図3においては、ESR62が画素をリセットして蓄積を開始する垂直走査用のシフトレジスタであり、VSR59が、電荷を転送して蓄積を終了する垂直走査用のシフトレジスタである。電子シャッタ機能を用いる場合は、ESR62をVSR59に先行して走査し、その間隔に相当する期間が露光期間になる。   As another method for controlling another exposure time, in a CMOS type image sensor, a driving method called an electronic shutter (focal plane shutter) is called a rolling shutter that performs vertical start and end vertical scanning in parallel. Can be taken. Thereby, the exposure time can be set in units of the number of vertical scanning lines at the start and end of accumulation. In FIG. 3, the ESR 62 is a vertical scanning shift register that resets pixels and starts accumulation, and the VSR 59 is a vertical scanning shift register that transfers charges and ends accumulation. When the electronic shutter function is used, the ESR 62 is scanned prior to the VSR 59, and a period corresponding to the interval is an exposure period.

次に、本実施形態における動作を図5〜図9を用いて説明する。図5は、図1の生体認証装置における制御部123が実行する画像取得ルーチンを説明するフローチャートである。また、図6は外光除去を行なうステップを説明する図である。また、図7〜9は被写体内部の散乱光分布として輝度シェーディングを赤と緑の波長帯でわけて、分布を比較することで生体検知を行なう説明図である。   Next, the operation in the present embodiment will be described with reference to FIGS. FIG. 5 is a flowchart illustrating an image acquisition routine executed by the control unit 123 in the biometric authentication device of FIG. FIG. 6 is a diagram for explaining steps for removing external light. 7 to 9 are explanatory diagrams for performing living body detection by dividing luminance shading into red and green wavelength bands as the scattered light distribution inside the subject and comparing the distributions.

図5において、ステップ80でルーチンが開始されると、ステップ81で全光源を消灯する。ステップ82で、赤のカラーフィルタ(R)の画素出力を得るように、図1の信号切替部l06を選択する。ステップ83でアナログ/デジタル変換器(ADC)107を介して一画面を取得する。取得された画像は差分生成部114を介してフレームメモリ117に一時的に蓄積する。この時、光源はついていないため、外光成分のうち主として赤色の波長成分による画像が得られる。外光成分のどの帯域の画像が取得されるかは、カラーフィルタの特性に依存し、赤のみが選択される場合もあるが、赤外光まで含む場合もある。ここでは、赤外光まで含むものとする。   In FIG. 5, when the routine is started in step 80, all light sources are turned off in step 81. In step 82, the signal switching unit 1006 in FIG. 1 is selected so as to obtain the pixel output of the red color filter (R). In step 83, one screen is acquired via the analog / digital converter (ADC) 107. The acquired image is temporarily stored in the frame memory 117 via the difference generation unit 114. At this time, since the light source is not attached, an image using mainly the red wavelength component of the external light component is obtained. Which band of the external light component is acquired depends on the characteristics of the color filter, and only red may be selected or may include infrared light. Here, infrared light is included.

次に制御部123は、ステップ84で白色光源を点灯し、ステップ85でアナログ/デジタル変換器(ADC)を介して一画面を取得する。この取得した画像も差分生成部を介してフレームメモリ117に一時的に蓄積する。この時、白色LED光源はついているため、外光成分のうち主として赤色の波長成分に加えて、白色LED光源中の赤色波長成分が指内部を散乱した成分の画像が得られる。   Next, the control unit 123 turns on the white light source in step 84 and acquires one screen via an analog / digital converter (ADC) in step 85. The acquired image is also temporarily stored in the frame memory 117 via the difference generation unit. At this time, since the white LED light source is attached, an image of a component in which the red wavelength component in the white LED light source is scattered inside the finger in addition to the mainly red wavelength component of the external light component is obtained.

ステップ86で、差分生成部114においてステップ83の画像とステップ85の差分画像を求める。   In step 86, the difference generation unit 114 obtains the image in step 83 and the difference image in step 85.

これにより、外光成分がキャンセルされるため、白色LED光源中の赤色波長成分が指内部を散乱した成分のみが得られる。   Thereby, since the external light component is canceled, only the component in which the red wavelength component in the white LED light source is scattered inside the finger is obtained.

次に、ステップ87で、緑のカラーフィルタ(G)の画素出力を得るように、図1の信号切替部106を選択する。ステップ88で画像を取得する。取得された画像は差分生成部114を介してフレームメモリ117に一時的に蓄積される。この時、白色LED光源はついているため、外光成分のうち主として緑色の波長成分に加えて、白色LED光源中の緑色波長成分が指内部を散乱した成分の画像が得られる。次に、ステップ89で白色光源を消灯する。ステップ90で一画面を取得する。この時、光源はついていないため、外光成分のうち主として緑色の波長成分による画像が得られる。この取得された画像も差分生成部114を介してフレームメモリ117に一時的に蓄積される。ステップ91で、差分生成部114においてステップ88の画像とステップ90の差分画像を求める。これにより、外光成分がキャンセルされるため、白色LED光源中の緑色波長成分が指内部を散乱した成分のみが得られる。   Next, in step 87, the signal switching unit 106 in FIG. 1 is selected so as to obtain the pixel output of the green color filter (G). In step 88, an image is acquired. The acquired image is temporarily stored in the frame memory 117 via the difference generation unit 114. At this time, since the white LED light source is attached, an image of a component in which the green wavelength component in the white LED light source is scattered inside the finger in addition to the mainly green wavelength component among the external light components is obtained. Next, in Step 89, the white light source is turned off. In step 90, one screen is acquired. At this time, since no light source is attached, an image mainly composed of a green wavelength component among external light components can be obtained. The acquired image is also temporarily stored in the frame memory 117 via the difference generation unit 114. In step 91, the difference generation unit 114 obtains the image in step 88 and the difference image in step 90. Thereby, since the external light component is canceled, only the component in which the green wavelength component in the white LED light source is scattered inside the finger is obtained.

次に、ステップ92で図1の差分生成部114においてステップ86の画像とステップ91の画像の差分画像を生成し、生体検知部115で差分を解析して生体かどうかを検出する。   Next, in step 92, a difference image between the image in step 86 and the image in step 91 is generated in the difference generation unit 114 in FIG. 1, and the living body detection unit 115 analyzes the difference to detect whether it is a living body.

ステップ93において、生体検知部115の検出結果の信号を受けて制御部123が生体と判断した場合は、ステップ94で生体判定フラグを出して、ステップ95に進む。ステップ95では、図1の赤外光源である光源1(103a)を点灯する。ステップ96で、認証用の画像を取得する。カラーフィルタは緑のままであるが、緑のフィルタも赤外光を透過するため、問題はない。次にステップ97で赤外光源である光源1(103a)を消灯する。ステップ98で、ステップ96で得られた画像とステップ90で得られた画像の差分を取ることで、光源1の赤外光成分のみの画像が得られる。その後、ステップ100でルーチンを終了する。   In step 93, when the control unit 123 determines that the living body detection unit 115 has detected the living body, the living body determination flag is output in step 94 and the process proceeds to step 95. In step 95, the light source 1 (103a) which is the infrared light source of FIG. 1 is turned on. In step 96, an authentication image is acquired. Although the color filter remains green, there is no problem because the green filter also transmits infrared light. Next, in step 97, the light source 1 (103a) which is an infrared light source is turned off. In step 98, by taking the difference between the image obtained in step 96 and the image obtained in step 90, an image of only the infrared light component of the light source 1 is obtained. Thereafter, the routine ends at step 100.

ステップ93において、生体検知部115の検出結果の信号を受けて制御部123が偽生体(生体ではない。)と判断した場合は、ステップ99で偽生体判定フラグを出して、ステップ100でルーチンを終了する。   In step 93, when the control unit 123 receives a detection result signal from the living body detection unit 115 and determines that it is a fake living body (not a living body), a false living body determination flag is output in step 99, and the routine is executed in step 100. finish.

図6(a)〜(b)はこの外光除去を説明する模式図である。横軸は位置を表し、A及びA’は図1のA−A’間に対応する。縦軸は出力レベルを示す。   FIGS. 6A and 6B are schematic views for explaining this external light removal. The horizontal axis represents the position, and A and A 'correspond to A-A' in FIG. The vertical axis indicates the output level.

図6(a)の601はステップ83で取得される外光成分のみによる画像のA−A’間の出力レベルである。ここで、指紋の隆線パターンに起因する細かい画像変化成分は説明のため省略している。今回説明する外光除去や生体判別等の処理においても、このような高い周波数成分の画像変化は情報として不要なため、実際にはこれら処理の前にLPF(ローパスフィルタ)等で高い周波数成分の画像変化を除去してから処理を行なう場合がある。図6(b)のうち、602はステップ85で、光源を点灯して取得される画像のA−A’間の出力レベルである。603は、602から601を減算したA−A’間の信号レベルである。この演算により、外光成分が除去されて、光源に起因する成分603のみが取得される。   Reference numeral 601 in FIG. 6A denotes an output level between A and A ′ of the image based only on the external light component acquired in step 83. Here, the fine image change component resulting from the ridge pattern of the fingerprint is omitted for explanation. Even in processing such as external light removal and biometric discrimination described here, such high frequency component image changes are not necessary as information, so in practice, before these processing, high frequency components such as LPF (low pass filter) are used. There are cases where processing is performed after image changes have been removed. In FIG. 6B, reference numeral 602 denotes an output level between A and A ′ of an image acquired by turning on the light source in step 85. Reference numeral 603 denotes a signal level between A and A ′ obtained by subtracting 601 from 602. By this calculation, the external light component is removed, and only the component 603 caused by the light source is acquired.

図7から9の各(a)〜(c)はこの波長による取得画像の輝度シェーディングの差を利用して生体と生体外(偽生体)を区別する原理を説明する模式図である。図6同様、横軸は位置を表し、A及びA’は図1のA−A’間に対応する。縦軸は出力レベルを示す。   7A to 9C are schematic diagrams for explaining the principle of distinguishing between a living body and an outside body (pseudo-living body) using a difference in luminance shading of an acquired image by this wavelength. As in FIG. 6, the horizontal axis represents the position, and A and A ′ correspond to A-A ′ in FIG. 1. The vertical axis indicates the output level.

図7は被写体(指)が生体の場合を説明する図であり、図7(a)の701は、ステップ86で取得される赤色波長成分が指内部を散乱した成分のみによる画像のA−A’間の出力レベルである。図7(b)のうち、702はステップ91で取得される緑色波長成分が指内部を散乱した成分のみによる画像のA−A’間の出力レベルである。また、703は、702のピーク値を701のピーク値に規格化した値を示している。704で示される斜線部は、ステップ92の差分解析のために701と703の差分から作成される波長成分による散乱光分布差である。   FIG. 7 is a diagram for explaining the case where the subject (finger) is a living body. Reference numeral 701 in FIG. 7A denotes an AA of an image based only on a component in which the red wavelength component acquired in step 86 is scattered inside the finger. 'Is the output level between. In FIG. 7B, reference numeral 702 denotes an output level between A and A ′ of an image by only the component in which the green wavelength component acquired in step 91 is scattered inside the finger. Reference numeral 703 denotes a value obtained by normalizing the peak value of 702 to the peak value of 701. A hatched portion indicated by 704 is a scattered light distribution difference due to a wavelength component created from the difference between 701 and 703 for the difference analysis in step 92.

図8は被写体として樹脂やプラスチックなどで作成された偽指を用いた場合を説明する図であり、図8(a)の801は、ステップ86で取得される赤色波長成分が指内部を散乱した成分のみによる画像のA−A’間の出力レベルである。図8(b)のうち、802はステップ91で取得される緑色波長成分が指内部を散乱した成分のみによる画像のA−A’間の出力レベルである。また、803は、802のピーク値を801のピーク値に規格化した値を示している。804で示される横線部は、ステップ92の差分解析のために801と803の差分から作成される波長成分による散乱光分布差である。   FIG. 8 is a diagram for explaining a case where a fake finger made of resin, plastic, or the like is used as a subject. Reference numeral 801 in FIG. 8A indicates that the red wavelength component acquired in step 86 is scattered inside the finger. This is the output level between AA ′ of the image by only the component. In FIG. 8B, reference numeral 802 denotes an output level between A and A ′ of an image by only the component in which the green wavelength component acquired in step 91 is scattered inside the finger. Reference numeral 803 denotes a value obtained by normalizing the peak value of 802 to the peak value of 801. A horizontal line portion indicated by 804 is a scattered light distribution difference due to a wavelength component created from the difference between 801 and 803 for the difference analysis in step 92.

図9は被写体として、光の透過率を生体にあわせたカラー指紋画像を印刷したフィルムを偽指として用いた場合を説明する図である。図9(a)の901は、ステップ86で取得される赤色波長成分が指内部を散乱した成分のみによる画像のA−A’間の出力レベルである。図9(b)のうち、902はステップ91で取得される緑色波長成分が指内部を散乱した成分のみによる画像のA−A’間の出力レベルである。また、903は、902のピーク値を901のピーク値に規格化した値を示している。904で示される斜線部は、ステップ92の差分解析のために901と903の差分から作成される波長成分による散乱光分布差である。   FIG. 9 is a diagram illustrating a case where a film on which a color fingerprint image in which light transmittance is adjusted to a living body is used as a subject as a fake finger. Reference numeral 901 in FIG. 9A denotes an output level between A and A ′ of an image that is obtained by only the component in which the red wavelength component acquired in step 86 is scattered inside the finger. In FIG. 9B, reference numeral 902 denotes an output level between A and A ′ of an image by only the component in which the green wavelength component acquired in step 91 is scattered inside the finger. Reference numeral 903 denotes a value obtained by normalizing the peak value of 902 to the peak value of 901. A hatched portion indicated by 904 is a scattered light distribution difference due to a wavelength component created from the difference between 901 and 903 for the difference analysis in step 92.

このように、生体の場合は、生体の内部構造により内部散乱光分布が波長に依存するため、波長の異なる画像同士の差分がAからA’の範囲の斜線(横線)部に示すように位置に依存して大きく変化する。   In this way, in the case of a living body, the internal scattered light distribution depends on the wavelength due to the internal structure of the living body, so that the difference between images having different wavelengths is positioned as indicated by the hatched (horizontal line) portion in the range from A to A ′. It varies greatly depending on.

これは、指の中心部が骨などの存在など構成的に指の周囲と違う点と、指の中心部と周囲で生体の厚みの違う点が、色素などの透過率を決める要因とからんで、生体特有の入射した光の波長ごとの内部の散乱分布の違いを与えるためである。これにより、特に赤色などの波長が610nmより長い波長帯域では、指全体に内部散乱光が広がるため、指の中心部(M点)と指の周囲部(P点)での出力レベル差が比較的少ない。緑色などの波長が570nmより短い波長帯域では、指中心に内部散乱光が広がらないため、指の中心部(M’点)と指の周囲部(P’点)での出力レベル差が大きい。位置に依存した出力レベルの変化カーブを輝度シェーディングと定義する。長い波長での指の中心部(M点)と指の周囲部(P点)の間の輝度シェーディングと、短い波長での指の中心部(M’点)と指の周囲部(P’点)の間の輝度シェーディングではその量やカーブ形状が波長により大きく変化する。   This is because the central part of the finger is structurally different from the surroundings of the finger, such as the presence of bones, and the difference in the thickness of the living body between the central part of the finger and the surroundings is a factor that determines the transmittance of pigments and the like. This is because a difference in internal scattering distribution for each wavelength of incident light peculiar to a living body is given. As a result, the internal scattered light spreads over the entire finger especially in the wavelength band longer than 610 nm, such as red, so the output level difference between the finger center (M point) and the finger periphery (P point) is compared. Less. In the wavelength band where the wavelength such as green is shorter than 570 nm, the internal scattered light does not spread at the center of the finger, so the output level difference between the center of the finger (M ′ point) and the periphery of the finger (P ′ point) is large. The change curve of the output level depending on the position is defined as luminance shading. Luminance shading between finger center (M point) and finger periphery (P point) at long wavelength, finger center (M 'point) and finger periphery (P' point) at short wavelength In the luminance shading during (), the amount and curve shape vary greatly depending on the wavelength.

一方、樹脂やプラスチックなどで作成された偽指の場合には、中心部と周囲部の変化の波長依存性が少ない。いいかえると、規格化後の輝度シェーディングの量やシェーディングカーブ形状が波長によりあまり変化していない。これは、生体と異なり同じ成分の材料で作られているため、厚さ成分の影響が主因になるためである。   On the other hand, in the case of a fake finger made of resin or plastic, the wavelength dependence of the change between the central part and the peripheral part is small. In other words, the amount of luminance shading and the shading curve shape after standardization do not change much with wavelength. This is because the influence of the thickness component is the main factor because it is made of the same component material as a living body.

また、カラー指紋画像を印刷したフィルムを偽指として用いた場合は、中心部と周囲部の変化量自体が少ない。また、中心部と周囲部の変化の波長依存性が少ない。いいかえると、規格化後の輝度シェーディングの量やシェーディングカーブ形状が波長によりあまり変化していない。これは、生体と異なりフィルムに印刷されているため、厚さ成分の影響が少なく、また印刷された色成分に依存して透過する光の量が決まるためである。   Further, when a film on which a color fingerprint image is printed is used as a fake finger, the amount of change itself between the central portion and the peripheral portion is small. In addition, the wavelength dependence of the change between the central part and the peripheral part is small. In other words, the amount of luminance shading and the shading curve shape after standardization do not change much with wavelength. This is because, unlike a living body, since it is printed on a film, the influence of the thickness component is small, and the amount of transmitted light is determined depending on the printed color component.

このようにして、輝度シェーディングの変化量の波長による差を、生体検知部115にあらかじめ設定された閾値で判定することで、生体と偽生体を識別する。   In this manner, the living body and the false living body are identified by determining the difference in the luminance shading change amount according to the wavelength with the threshold set in advance in the living body detecting unit 115.

このように、1箇所のみからの光で照明することで、入射した光が指内部でどのように散乱されているか位置による依存性が発生する。撮像した画像から、指の取得画像面内のこの依存性は、輝度分布(輝度シェーディング)として読み取ることが出来る。波長により被写体内部の散乱状態が変わるため、この輝度分布(輝度シェーディング)の波長による差をみることで、被写体が生体かどうかを見分けることが出来る。   In this way, by illuminating with light from only one place, dependence on how the incident light is scattered inside the finger occurs. From the captured image, this dependency in the acquired image plane of the finger can be read as a luminance distribution (luminance shading). Since the scattering state inside the subject changes depending on the wavelength, whether or not the subject is a living body can be identified by looking at the difference in the luminance distribution (luminance shading) depending on the wavelength.

指紋認証用の画像を取得する光源については、複数の箇所からなるべく均一に照明する必要があるが、本発明の生体を検知する光源については、「ほぼ一箇所から異なる波長で照明する」ことが重要である。白色LEDは、こうした構成に適した物であるが、白色に限らずフィルタ手段と組み合わせて、分離可能な複数の波長帯を有した物は同様に用いることが出来る。   The light source for acquiring an image for fingerprint authentication needs to be illuminated as uniformly as possible from a plurality of locations. However, the light source for detecting the living body of the present invention may be “illuminated at a different wavelength from almost one location”. is important. The white LED is suitable for such a configuration, but not only white but also a filter having a plurality of separable wavelength bands can be used in combination with filter means.

被写体面内の散乱光分布情報を取得することにより、被写体形状に応じた内部散乱光の波長依存性差から立体的な情報が取得できる。皮膚の色や指の表面状態により得られる出力が左右されにくく、精度が高い生体識別方法を提供する。また、カラー指紋画像を印刷したフィルムのように光の透過率は生体にあわせた物であっても、偽指であることを見抜くことが出来る(課題αの解決)。   By acquiring the scattered light distribution information in the subject plane, three-dimensional information can be acquired from the wavelength dependence difference of the internal scattered light according to the subject shape. Provided is a highly accurate biological identification method in which the output obtained by the color of the skin and the surface state of the finger is not easily influenced. Moreover, even if the light transmittance is a thing matched to a living body like a film on which a color fingerprint image is printed, it can be detected that it is a fake finger (solution of problem α).

生体認証のための照明手段は、被写体の内部を均一に散乱光を広げるため最適な赤外光を選択すると共に、生体を識別するために設けた第2の照明手段は、被写体面内の散乱光分布に差異の出やすい可視光を使用することで、識別を効率よく行なうことができる。   The illumination means for biometric authentication selects the optimum infrared light to spread scattered light uniformly within the subject, and the second illumination means provided for identifying the living body is a scatter within the subject surface. The identification can be performed efficiently by using visible light that tends to have a difference in light distribution.

可視光を利用することにより、簡単な構成や方法による識別方法を提供できる(課題αとβの解決)。   By using visible light, an identification method with a simple configuration and method can be provided (solution of problems α and β).

特に、可視光である赤の帯域と緑〜青の帯域の差を比較することで、可視光の分離が効率的に行なわれる、分離が容易な可視光の2波長帯を利用することにより、簡単な構成や方法による識別方法を提供できる(課題βの解決)。   In particular, by comparing the difference between the red band, which is visible light, and the green-blue band, the visible light is efficiently separated, and by utilizing the two wavelength bands of visible light that are easy to separate, It is possible to provide an identification method with a simple configuration and method (solution of problem β).

可視光の分離のために、従来赤外光を用いてきた散乱光を利用した生体認証装置においてもカラーフィルタを設けることで、簡単かつ低コストな方法で可視光による被写体面内の散乱光分布情報の差を取得可能とした(課題βの解決)。   In order to separate visible light, a biometric authentication device that uses scattered light, which has conventionally used infrared light, is also provided with a color filter, which makes it possible to distribute scattered light in the subject surface by visible light in a simple and low-cost manner. The difference in information can be acquired (solution of problem β).

低周波数であり、指の断面形状に応じた輝度シェーディング成分を認識することで、一次元あるいは二次元情報を取得して、簡便でありながら1点の透過率差では得られない被写体の立体的情報が得られ、生体検知精度が向上する(課題αの解決)。   By recognizing luminance shading components according to the finger cross-sectional shape at low frequency, one-dimensional or two-dimensional information can be acquired, and it is simple but three-dimensional of the subject that cannot be obtained with a single point of transmission difference Information is obtained, and the accuracy of living body detection is improved (solution of problem α).

生体画像を取得するために密着させる撮像面以外から光を入射することで、被写体表面からの反射像を除き、内部の散乱光分布情報のみを取得できる。これにより、生体検知精度が向上する(課題αの解決)。   By entering light from other than the imaging surface that is closely attached to acquire a biological image, it is possible to acquire only the internal scattered light distribution information except for the reflected image from the subject surface. Thereby, living body detection accuracy improves (solution of subject alpha).

生体に対して撮像面と同じ面に配置され、生体にほぼ接する下部から光を照射する。これにより、被写体内部に透過しにくい可視光を効率的に散乱させることができ、生体検知しやすい被写体の散乱光分布の輝度シェーディング形状が得やすくなり、簡単かつ低コストな検知手段が実現される(課題βの解決)。   It is arranged on the same surface as the imaging surface with respect to the living body and irradiates light from a lower part that is substantially in contact with the living body. As a result, it is possible to efficiently scatter visible light that is difficult to transmit inside the subject, and to easily obtain a luminance shading shape of the scattered light distribution of the subject that is easy to detect a living body, thereby realizing a simple and low-cost detection means. (Solution of issue β).

被写体照明手段の照明光量を変化させた差分画像を取得する外光除去手段を設けた。これにより、簡単な構成でありながら、被写体内部の散乱光から外光に起因する成分を排除でき、使用する光源の波長成分のみを抽出して精度の高い生体認証や生体検知を行なうことが出来る(課題βとγの解決)。   External light removal means for acquiring a differential image in which the illumination light quantity of the subject illumination means is changed is provided. Thereby, although it is a simple structure, the component resulting from external light can be excluded from the scattered light inside the subject, and only the wavelength component of the light source to be used can be extracted to perform highly accurate biometric authentication and biometric detection. (Solution of issues β and γ)

従来、赤外光を用いてきた散乱光を利用した生体認証装置においてもカラーフィルタを設けることで、簡単かつ低コストな方法で被写体面内の散乱光分布情報の可視光成分による差を取得する。この波長成分の差を利用して生体が擬似生体かを容易に識別可能となる(課題αとβの解決)。   Conventionally, a biometric authentication device that uses scattered light that has used infrared light also provides a color filter to obtain a difference due to visible light components of scattered light distribution information in a subject plane by a simple and low-cost method. . Using this difference in wavelength components, it is possible to easily identify whether the living body is a pseudo-living body (solution of problems α and β).

これにより、被写体内部の散乱光から外光に起因する成分を排除したうえで、被写体面内の散乱光分布情報の可視光成分による差を取得し、この波長成分の差を利用して生体が擬似生体かを容易に識別可能な装置が簡単な構成で実現できる(課題γの解決)。   As a result, after removing the component caused by the external light from the scattered light inside the subject, the difference between the scattered light distribution information in the subject surface due to the visible light component is obtained, A device that can easily identify whether it is a pseudo-living body can be realized with a simple configuration (solution of problem γ).

また、個々の偽生体識別生体検知方法に対しては、それに対抗する様々な偽の生体の作成方法が考えられるため、それに対抗する偽生体識別生体検知方法としても、異なるアプローチの手法を複数用意して組み合わせることが望まれている。こういった意味では、従来の生体検知方法との併用も有用な本発明の利用形態のひとつである。   In addition, there are various methods for creating false living organisms that can be used to counter individual pseudo-biometric biometric detection methods. Therefore, there are several different approaches for pseudo-biometric biometric detection methods that can be used to counter this. It is desirable to combine them. In this sense, the combined use with the conventional living body detection method is one of the useful forms of the present invention.

(第2の実施形態)
次に、本発明を適用した、第2の実施形態の構成について図10、図11を用いて説明する。
(Second Embodiment)
Next, the configuration of the second embodiment to which the present invention is applied will be described with reference to FIGS.

ここでは、生体認証装置として、指の内部に散乱光を与えて撮像部に指を密着させることで指紋を読み取る方式の光学式指紋センサを用いた認証装置を示す。   Here, as the biometric authentication device, an authentication device using an optical fingerprint sensor that reads a fingerprint by giving scattered light to the inside of the finger and bringing the finger into close contact with the imaging unit is shown.

実施形態1では、白色ダイオードを利用し、フィルタにより赤色の光と緑色の光とを分離していたが、実施形態2では、赤色ダイオードと緑色ダイオードを利用し、色フィルタを不要とする。   In the first embodiment, a white diode is used and red light and green light are separated by a filter. However, in the second embodiment, a red diode and a green diode are used, and a color filter is unnecessary.

図10は、本発明の実施形態2として、指紋認証装置の模式的な構成を示すブロック図である。また図11は、外形的な構成を示す概略図である。   FIG. 10 is a block diagram showing a schematic configuration of a fingerprint authentication device as Embodiment 2 of the present invention. FIG. 11 is a schematic diagram showing an external configuration.

本実施の形態における指紋認証装置は画像取得装置としての画像取得部101と認証部102からなる。   The fingerprint authentication apparatus according to the present embodiment includes an image acquisition unit 101 and an authentication unit 102 as an image acquisition apparatus.

図10の画像取得部101において、103a、103b、103cは照明手段としてのLED光源である。103aは認証を行なうための被写体画像を取得するための赤外波長の第1の照明手段としての光源1である。103b、103cは生体か生体以外か、偽指などを判別するための被写体画像を取得するための可視光波長の第2の照明手段としての光源2及び光源3である。ここでは、103bは赤色の波長のLED、103cは緑色の波長のLEDを使用している。108が各LEDの輝度や点灯タイミングを制御する光源制御部であり、112a、112b、112cはその制御信号線である。本実施形態では、この光源制御部108が波長分離手段としての役割を果たし、103bの赤色の波長のLEDと、103cの緑色の波長のLEDのいずれかを点灯させることにより、時分割でそれぞれの波長に対する画像を取得する。   In the image acquisition unit 101 in FIG. 10, reference numerals 103a, 103b, and 103c denote LED light sources as illumination means. Reference numeral 103a denotes a light source 1 as a first illumination unit having an infrared wavelength for acquiring a subject image for authentication. Reference numerals 103b and 103c denote a light source 2 and a light source 3 as second illumination means having a visible light wavelength for acquiring a subject image for discriminating whether the subject is a living body or a non-living body or a fake finger. Here, 103b uses a red wavelength LED, and 103c uses a green wavelength LED. Reference numeral 108 denotes a light source control unit that controls the luminance and lighting timing of each LED, and 112a, 112b, and 112c are control signal lines thereof. In the present embodiment, the light source control unit 108 serves as a wavelength separation unit, and lights each of the 103b red wavelength LED and the 103c green wavelength LED in a time-sharing manner. Acquire an image for the wavelength.

104が画像読み取り手段としてのCMOS型、あるいはCCD型等の撮像素子である。本実施の形態ではCMOS型の撮像素子を例示する。105は、撮像素子とADC107のサンプリングタイミングを制御する駆動パルス発生部(TG部)である。107が、アナログ/デジタル変換器(ADC)である。110がアナログの画像データ信号線である。113がデジタルの画像データ信号線である。112d、eが駆動パルス発生部から撮像素子及びアナログ/デジタル変換器(ADC)に送られる駆動パルスの信号線である。   Reference numeral 104 denotes an image sensor such as a CMOS type or a CCD type as image reading means. In this embodiment, a CMOS image sensor is exemplified. Reference numeral 105 denotes a drive pulse generator (TG unit) that controls the sampling timing of the image sensor and the ADC 107. Reference numeral 107 denotes an analog / digital converter (ADC). Reference numeral 110 denotes an analog image data signal line. Reference numeral 113 denotes a digital image data signal line. 112d and e are drive pulse signal lines sent from the drive pulse generator to the image sensor and the analog / digital converter (ADC).

認証部102において、114が光源制御部108を切り替えることで別々に取得された赤と緑の可視光成分の画像を比較する比較手段としての差分生成部である。フレームメモリ117に複数の画像を一時保存しながら、画像同士の差分を生成する。114は、後述する外光成分除去手段としての役割も果たす。115が、生体か偽生体等の生体以外かを識別する生体検知手段としての生体検知部である。生体検知は赤と緑の画像で被写体面内の輝度分布の差を用いて判別する。   In the authentication unit 102, 114 is a difference generation unit as a comparison unit that compares red and green visible light component images acquired separately by switching the light source control unit 108. While temporarily storing a plurality of images in the frame memory 117, a difference between the images is generated. Reference numeral 114 also serves as an external light component removing unit to be described later. Reference numeral 115 denotes a living body detection unit serving as a living body detection unit for identifying whether a living body or a living body other than a living body such as a pseudo living body. The living body detection is performed by using a difference in luminance distribution in the object plane between red and green images.

116が後段で特徴抽出を行うために、エッジ強調などの画像処理を行う前処理部である。118が、特徴抽出部であり、119が118で抽出された個人の特徴をデータベースに登録あるいは、登録済みのデータと比較照合する登録照合部である。120が個人のデータを保存するデータベースである。123が各部の動作を制御する制御部である。   Reference numeral 116 denotes a pre-processing unit that performs image processing such as edge enhancement in order to perform feature extraction at a later stage. Reference numeral 118 denotes a feature extraction unit, and reference numeral 119 denotes a registration collation unit that registers the individual features extracted in 118 in the database or compares and collates with registered data. A database 120 stores personal data. A control unit 123 controls the operation of each unit.

124a、b、c、d、eが画像データを伝送するデータ線である。125がデータベースと登録・照合部間のデータ線及び制御線である。126が光源制御部108の動作を制御する信号線であり、127が駆動パルス部(TG部)105の動作を制御する信号線である。129a〜eは認証部102の各部への制御線である。130が、生体検知結果を伝える信号線である。   Reference numerals 124a, b, c, d, and e denote data lines for transmitting image data. Reference numeral 125 denotes a data line and a control line between the database and the registration / verification unit. Reference numeral 126 denotes a signal line that controls the operation of the light source control unit 108, and reference numeral 127 denotes a signal line that controls the operation of the drive pulse unit (TG unit) 105. Reference numerals 129a to 129e denote control lines to each unit of the authentication unit 102. Reference numeral 130 denotes a signal line for transmitting a living body detection result.

図11の概略図において、図11(a)は断面図であり、図11(b)は上面図である。   In the schematic view of FIG. 11, FIG. 11 (a) is a cross-sectional view, and FIG. 11 (b) is a top view.

1は、被写体としての指紋認証の対象となる指であり、撮像面に密着して置かれている。2a、2b、2cは、指部を照射する照明手段としてのLED光源である。このうち、2aは、図10の103aであり、認証を行なうための被写体画像を取得するための赤外波長の第1の照明手段としての光源1である。   Reference numeral 1 denotes a finger to be subjected to fingerprint authentication as a subject, which is placed in close contact with the imaging surface. Reference numerals 2a, 2b and 2c denote LED light sources as illumination means for irradiating the finger part. Among these, 2a is 103a of FIG. 10, and is the light source 1 as the 1st illumination means of the infrared wavelength for acquiring the to-be-photographed image for authentication.

2b、2cは、図10の103b、103cであり、生体か生体以外か、偽指などを判別するための被写体画像を取得するための可視光波長の第2の照明手段としての光源2、光源3である。ここでは、2bは赤色の波長のLED、2cは緑色の波長のLEDである。   Reference numerals 2b and 2c denote 103b and 103c in FIG. 10, which are a light source 2 and a light source 2 as a second illuminating means having a visible light wavelength for acquiring a subject image for discriminating whether a living body or a non-living body is a false finger or the like. 3. Here, 2b is a red wavelength LED, and 2c is a green wavelength LED.

3は、指紋の凹凸パターンの光学的な差を撮像素子4へ導くプレート形状をした光学部材である。   Reference numeral 3 denotes an optical member having a plate shape that guides the optical difference of the uneven pattern of the fingerprint to the image sensor 4.

プレート形状をした光学部材としては、厚さが数〜数100μm程度の所望の波長に透過率を有した薄膜や、ファイバ、マイクロレンズアレイなどがあげられる。   Examples of the plate-shaped optical member include a thin film having a transmittance at a desired wavelength having a thickness of about several to several hundreds of micrometers, a fiber, and a microlens array.

4は画像読み取り手段である撮像素子であり、ここでは二次元のCMOS型の撮像素子である。4aは、画素部分を示す。7は、撮像素子やLEDを実装した基板である。   Reference numeral 4 denotes an image sensor serving as an image reading unit, and here, a two-dimensional CMOS image sensor. 4a indicates a pixel portion. Reference numeral 7 denotes a substrate on which an image sensor and LEDs are mounted.

認証を行なうための赤外光源1(2a)は指の周囲に配置され、指をやや離れた距離から広がった赤外光で全体的に照明する。こうすることで取得画像に対する赤外光源の位置による依存性が少なくなり、入射した赤外光は、まんべんなく指内部まで広がり、広い範囲の指紋パターンを読み取ることができる。   An infrared light source 1 (2a) for performing authentication is arranged around the finger, and illuminates the entire finger with infrared light that spreads from a distance slightly away. In this way, the dependence of the infrared light source on the acquired image is less dependent, and the incident infrared light spreads evenly inside the finger, and a wide range of fingerprint patterns can be read.

一方、生体か生体以外かを判別する光源2(2b)と光源3(2c)は、指の根元側の直下の1箇所のみに近接して配置されている。近接配置された光源は複数の波長の光を発する物であれば、何でもよいが、ここでは赤LEDと緑LEDの2つを並べて実現している。赤LEDを照明して撮像した画像と緑LEDを照明して撮像した画像は、別々のタイミングで撮像素子により画像取得される。1箇所のみからの光で照明することで、入射した光が指内部でどのように散乱されているか位置による依存性が発生する。撮像した画像から、面内のこの依存性は、輝度分布(輝度シェーディング)として読み取ることが出来る。波長により被写体内部の散乱状態が変わるため、この輝度分布(輝度シェーディング)の波長による差をみることで、被写体が生体かどうかを見分けることが出来る。5a、5bは、LED2b及びLED2cから指1への光の入射方向であり、5aは赤色の波長成分、5bは緑色の波長成分の光を模式的に示している。5aと5bの光は、実際には異なるタイミングで指に入射される。   On the other hand, the light source 2 (2b) and the light source 3 (2c) for discriminating whether the subject is a living body or a non-living body are arranged close to only one place directly below the finger base side. The light sources arranged close to each other may be anything as long as they emit light of a plurality of wavelengths, but here, the red LED and the green LED are arranged side by side. An image captured by illuminating the red LED and an image captured by illuminating the green LED are acquired by the image sensor at different timings. By illuminating with light from only one location, there is a dependency on how the incident light is scattered inside the finger. From the captured image, this in-plane dependence can be read as a luminance distribution (luminance shading). Since the scattering state inside the subject changes depending on the wavelength, whether or not the subject is a living body can be identified by looking at the difference in the luminance distribution (luminance shading) depending on the wavelength. Reference numerals 5a and 5b denote the incident directions of light from the LED 2b and the LED 2c to the finger 1, 5a schematically showing light of a red wavelength component and 5b of light of a green wavelength component. The lights 5a and 5b are actually incident on the finger at different timings.

波長に応じて、指内では異なる散乱、透過をする。6a、6bは、LED2bとLED2cそれぞれが発した光が指1内で散乱した後に、指1から光学部材3及び撮像素子4へ向かう光の出射方向である。6aは赤色の波長成分、6bは緑色の波長成分の光を模式的に示している。6aと6bは、画素部4aで画像化される。   Depending on the wavelength, different scattering and transmission occurs in the finger. Reference numerals 6a and 6b denote light emission directions from the finger 1 toward the optical member 3 and the image sensor 4 after the light emitted from the LEDs 2b and 2c is scattered in the finger 1, respectively. 6a schematically shows light of a red wavelength component, and 6b schematically shows light of a green wavelength component. 6a and 6b are imaged by the pixel unit 4a.

次に、本実施形態における動作を図12を用いて説明する。図12は、図10の生体認証装置における制御部123が実行する画像取得ルーチンを説明するフローチャートである。外光除去を行なうステップ及び被写体内部の散乱光分布として輝度シェーディングを赤と緑の波長帯でわけて、分布を比較することで生体検知を行なうステップの基本的な考えは実施形態1と共通である。   Next, the operation in this embodiment will be described with reference to FIG. FIG. 12 is a flowchart illustrating an image acquisition routine executed by the control unit 123 in the biometric authentication device of FIG. The basic idea of the step of removing external light and the step of performing living body detection by dividing luminance shading into red and green wavelength bands as the scattered light distribution inside the subject and comparing the distributions is the same as in the first embodiment. is there.

図12において、ステップ1200でルーチンが開始されると、ステップ1201で全光源を消灯したうえで、R光源(赤色LED光源)を点灯する。ステップ1202でアナログ/デジタル変換器(ADC)を介して一画面を取得する。取得された画像は差分生成部114を介してフレームメモリ117に一時的に蓄積される。この時、赤色LED光源がついているため、外光成分に加えて、赤色LEDの波長成分が指内部を散乱した成分の画像が得られる。   In FIG. 12, when the routine is started in step 1200, all light sources are turned off in step 1201, and then the R light source (red LED light source) is turned on. In step 1202, a screen is acquired via an analog / digital converter (ADC). The acquired image is temporarily stored in the frame memory 117 via the difference generation unit 114. At this time, since the red LED light source is attached, an image of a component in which the wavelength component of the red LED is scattered inside the finger in addition to the external light component is obtained.

次に、ステップ1203でR光源を消灯する。ステップ1204でアナログ/デジタル変換器(ADC)107を介して一画面を取得する。取得された画像は差分生成部114を介してフレームメモリ117に一時的に蓄積する。この時、光源はついていないため、外光成分のみによる画像が得られる。ステップ1205で、差分生成部114においてステップ1202の画像とステップ1204の差分画像を求める。   Next, in step 1203, the R light source is turned off. In step 1204, one screen is acquired via the analog / digital converter (ADC) 107. The acquired image is temporarily stored in the frame memory 117 via the difference generation unit 114. At this time, since the light source is not attached, an image using only the external light component can be obtained. In step 1205, the difference generation unit 114 obtains the image in step 1202 and the difference image in step 1204.

これにより、外光成分がキャンセルされるため、赤色LED光源の波長成分が指内部を散乱した成分のみの画像が得られる。   Thereby, since the external light component is canceled, an image of only the component in which the wavelength component of the red LED light source is scattered inside the finger is obtained.

次にステップ1206でG光源(緑色LED光源)を点灯する。ステップ1207でアナログ/デジタル変換器(ADC)107を介して一画面を取得する。取得された画像は差分生成部114を介してフレームメモリ117に一時的に蓄積する。この時、緑色LED光源がついているため、外光成分に加えて、緑色LEDの波長成分が指内部を散乱した成分の画像が得られる。   In step 1206, the G light source (green LED light source) is turned on. In step 1207, one screen is acquired via the analog / digital converter (ADC) 107. The acquired image is temporarily stored in the frame memory 117 via the difference generation unit 114. At this time, since the green LED light source is attached, an image of a component in which the wavelength component of the green LED is scattered inside the finger in addition to the external light component is obtained.

次に、ステップ1208でG光源を消灯する。ステップ1209で、差分生成部114においてステップ1207の画像とステップ1204の差分画像を求める。   Next, in step 1208, the G light source is turned off. In step 1209, the difference generation unit 114 obtains the image in step 1207 and the difference image in step 1204.

これにより、外光成分がキャンセルされるため、緑色LED光源の波長成分が指内部を散乱した成分のみの画像が得られる。   Thereby, since the external light component is canceled, an image of only the component in which the wavelength component of the green LED light source is scattered inside the finger is obtained.

次に、ステップ1210で図10の差分生成部114においてステップ1205の画像とステップ1209の差分画像を生成する。生体検知部115で差分を解析して生体かどうかを検出する。   Next, in step 1210, the difference generation unit 114 in FIG. 10 generates the image in step 1205 and the difference image in step 1209. The living body detection unit 115 analyzes the difference and detects whether it is a living body.

ステップ1211において、生体検知部の検出結果の信号を受けて制御部123が生体と判断した場合は、ステップ1212で生体判定フラグを出して、ステップ1215に進む。ステップ1215では、図10の赤外光源である光源1(103a)を点灯する。ステップ1216で、認証用の画像を取得する。次にステップ1217で赤外光源である光源1(103a)を消灯する。ステップ1218で、ステップ1216で得られた画像とステップ1204で得られた画像の差分を取ることで、光源1の赤外光成分のみの画像が得られる。その後、ステップ1219でルーチンを終了する。   In step 1211, when the control unit 123 determines that the living body detection unit receives a detection result signal, the living body determination flag is output in step 1212, and the process proceeds to step 1215. In step 1215, the light source 1 (103a) which is the infrared light source of FIG. 10 is turned on. In step 1216, an authentication image is acquired. Next, in step 1217, the light source 1 (103a) which is an infrared light source is turned off. In step 1218, an image of only the infrared light component of the light source 1 is obtained by taking the difference between the image obtained in step 1216 and the image obtained in step 1204. Thereafter, the routine ends at step 1219.

ステップ1211において、生体検知部の検出結果の信号を受けて制御部が偽生体(生体ではない。)と判断した場合は、ステップ1220で偽生体判定フラグを出して、ステップ1219でルーチンを終了する。   In step 1211, when the control unit determines that the living body is detected as a fake living body (not a living body) in response to the detection result signal from the living body detecting unit, a false living body determination flag is output in step 1220, and the routine is terminated in step 1219. .

このようにして、指内部の散乱光分布で生じる輝度シェーディングの波長による差を、生体検知部115で判定することで、生体と偽生体を識別する。   In this manner, the living body detection unit 115 determines a difference in luminance shading caused by the scattered light distribution inside the finger by the living body detection unit 115, thereby distinguishing the living body from the false living body.

このように、1箇所のみからの光で照明することで、入射した光が指内部でどのように散乱されているか位置による依存性が発生する。撮像した画像から、指の取得画像面内のこの依存性は、輝度分布(輝度シェーディング)として読み取ることが出来る。波長により被写体内部の散乱状態が変わるため、この輝度分布(輝度シェーディング)の波長による差をみることで、被写体が生体かどうかを見分けることが出来る。   In this way, by illuminating with light from only one place, dependence on how the incident light is scattered inside the finger occurs. From the captured image, this dependency in the acquired image plane of the finger can be read as a luminance distribution (luminance shading). Since the scattering state inside the subject changes depending on the wavelength, whether or not the subject is a living body can be identified by looking at the difference in the luminance distribution (luminance shading) depending on the wavelength.

指紋認証用の画像を取得する光源については、複数の箇所からなるべく均一に照明する必要があるが、本発明の生体を検知する光源については、「ほぼ一箇所から異なる波長で照明する」ことが重要である。1パッケージ内に緑と赤など2色のLED素子を納めた物などは、こうした構成に適した物であるが、異なるパッケージの緑のLEDと赤のLEDの2個を近接配置しても同様の効果が得られる。   The light source for acquiring an image for fingerprint authentication needs to be illuminated as uniformly as possible from a plurality of locations. However, the light source for detecting the living body of the present invention may be “illuminated at a different wavelength from almost one location”. is important. A package in which LED elements of two colors, such as green and red, are contained in one package is suitable for such a configuration, but it is the same even if two green LEDs and red LEDs in different packages are arranged close to each other. The effect is obtained.

比較手段が、被写体面内の散乱光分布情報を取得することにより、被写体形状に応じた内部散乱光の波長依存性差から立体的な情報が取得できる。皮膚の色や指の表面状態により得られる出力が左右されにくく、精度が高い生体識別方法を提供する。また、カラー指紋画像を印刷したフィルムのように光の透過率は生体にあわせた物であっても、偽指であることを見抜くことが出来る(課題αの解決)。   By obtaining the scattered light distribution information in the subject plane by the comparison unit, three-dimensional information can be obtained from the wavelength dependence difference of the internal scattered light according to the subject shape. Provided is a highly accurate biological identification method in which the output obtained by the color of the skin and the surface state of the finger is not easily influenced. Moreover, even if the light transmittance is a thing matched to a living body like a film on which a color fingerprint image is printed, it can be detected that it is a fake finger (solution of problem α).

生体認証のための照明手段は、被写体の内部を均一に散乱光を広げるため最適な赤外光を選択すると共に、生体を識別するために設けた第2の照明手段は、被写体面内の散乱光分布に差異の出やすい可視光を使用することで、識別を効率よく行なうことができる。可視光を利用することにより、簡単な構成や方法による識別方法を提供できる(課題αとβの解決)。   The illumination means for biometric authentication selects the optimum infrared light to spread scattered light uniformly within the subject, and the second illumination means provided for identifying the living body is a scatter within the subject surface. The identification can be performed efficiently by using visible light that tends to have a difference in light distribution. By using visible light, an identification method with a simple configuration and method can be provided (solution of problems α and β).

複数の異なる波長を有した光源を近傍に配置する。これにより、波長を変えた際の光源位置の差をなくして、ほぼ同位置の箇所から被写体内部に向けて光を入射した場合の被写体面内の散乱光分布が複数取得できる。従って、簡単な構成で生体検知精度が向上される(課題αとβの解決)。   A plurality of light sources having different wavelengths are arranged in the vicinity. Thereby, it is possible to obtain a plurality of scattered light distributions in the subject surface when light is incident from the substantially the same position toward the inside of the subject while eliminating the difference in the light source position when the wavelength is changed. Therefore, the living body detection accuracy is improved with a simple configuration (solution of problems α and β).

特に、可視光である赤の帯域と緑〜青の帯域の差を比較することで、可視光の分離が効率的に行なわれる(課題βの解決)。   In particular, the visible light is efficiently separated by comparing the difference between the red band, which is visible light, and the green to blue band (solution of problem β).

低周波数であり、指の断面形状に応じた輝度シェーディング成分を認識することで、一次元あるいは二次元情報(複数の断面についての一次元情報を集めることにより得られる。)を取得して、簡便でありながら1点の透過率差では得られない被写体の立体的情報が得られ、簡単な構成や方法で生体検知精度が向上する(課題αとβの解決)。   Recognizing luminance shading components according to the finger cross-sectional shape at a low frequency, one-dimensional or two-dimensional information (obtained by collecting one-dimensional information on a plurality of cross-sections) can be easily acquired. However, it is possible to obtain three-dimensional information of a subject that cannot be obtained with a single point of transmittance difference, and improve the accuracy of living body detection with a simple configuration and method (solution of problems α and β).

生体画像を取得するために密着させる撮像面以外から光を入射することで、被写体表面からの反射像を除き、簡単な構成や方法で内部の散乱光分布情報のみを取得できる(課題αとβの解決)。   By entering light from other than the imaging surface that is closely attached to obtain a biological image, it is possible to obtain only the internal scattered light distribution information with a simple configuration and method, excluding the reflected image from the subject surface (problems α and β Solution).

生体に対して撮像面と同じ面に配置され、生体にほぼ接する下部から光を照射する。これにより、被写体内部に透過しにくい可視光を効率的に散乱させることが出来、生体検知しやすい被写体の散乱光分布の輝度シェーディング形状を簡単な構成や方法で得ることが出来る(課題αとβの解決)。   It is arranged on the same surface as the imaging surface with respect to the living body and irradiates light from a lower part that is substantially in contact with the living body. This makes it possible to efficiently scatter visible light that is difficult to transmit inside the subject, and to obtain a luminance shading shape of the scattered light distribution of the subject that is easy to detect a living body with a simple configuration and method (problems α and β Solution).

被写体照明手段の照明光量を変化させた差分画像を取得する外光除去手段を設けた。これにより、簡単な構成でありながら、被写体内部の散乱光から外光に起因する成分を排除でき、使用する光源の波長成分のみを抽出して精度の高い生体認証や生体検知を行なうことが出来る(課題βとγの解決)。   External light removal means for acquiring a differential image in which the illumination light quantity of the subject illumination means is changed is provided. Thereby, although it is a simple structure, the component resulting from external light can be excluded from the scattered light inside the subject, and only the wavelength component of the light source to be used can be extracted to perform highly accurate biometric authentication and biometric detection. (Solution of issues β and γ)

本発明の実施形態1における、指紋認証装置の模式的な構成を示すブロック図である。It is a block diagram which shows the typical structure of the fingerprint authentication apparatus in Embodiment 1 of this invention. 本発明の実施形態1における、指紋認証装置の模式的な構成を示す概略図である。It is the schematic which shows the typical structure of the fingerprint authentication apparatus in Embodiment 1 of this invention. 本発明の実施形態における撮像素子の回路図である。It is a circuit diagram of an image sensor in an embodiment of the present invention. 本発明の実施形態における撮像素子の画素部の回路図である。It is a circuit diagram of a pixel part of an image sensor in an embodiment of the present invention. 本発明の実施形態1における、画像取得ルーチンを説明するフローチャートである。It is a flowchart explaining the image acquisition routine in Embodiment 1 of this invention. 本発明の実施形態における外光除去の工程を説明する図である。It is a figure explaining the process of the external light removal in embodiment of this invention. 本発明の実施形態における生体検知の工程を説明する第1の図である。It is the 1st figure explaining the process of living body detection in the embodiment of the present invention. 本発明の実施形態における生体検知の工程を説明する第2の図である。It is a 2nd figure explaining the process of the biological body detection in embodiment of this invention. 本発明の実施形態における生体検知の工程を説明する第3の図である。It is a 3rd figure explaining the process of the biological body detection in embodiment of this invention. 本発明の実施形態2における、指紋認証装置の模式的な構成を示すブロック図である。It is a block diagram which shows the typical structure of the fingerprint authentication apparatus in Embodiment 2 of this invention. 本発明の実施形態2における、指紋認証装置の模式的な構成を示す概略図である。It is the schematic which shows the typical structure of the fingerprint authentication apparatus in Embodiment 2 of this invention. 本発明の実施形態2における、画像取得ルーチンを説明するフローチャートである。It is a flowchart explaining the image acquisition routine in Embodiment 2 of this invention.

符号の説明Explanation of symbols

101 画像取得部
102 認証部
103a、103b、103c 光源
104 撮像素子
105 駆動パルス発生部(TG部)
106 信号切替部
107 ADC(アナログ/デジタル変換器)
108 光源制御部
110a、110b、110c アナログの画像データ信号線
112a、112b、112c 制御信号線
113 デジタルの画像データ信号線
114 差分生成部
115 生体検知部
116 前処理部
117 フレームメモリ
118 特徴抽出部
119 登録・照合部
120 データベース
123 制御部
124a、124b、124c、124d、124e データ線
125 データ線及び制御線
126、127 制御信号線
128 切替信号線
129a、129b、129c、129d、129e 制御線
130 信号線
DESCRIPTION OF SYMBOLS 101 Image acquisition part 102 Authentication part 103a, 103b, 103c Light source 104 Image pick-up element 105 Drive pulse generation part (TG part)
106 signal switching unit 107 ADC (analog / digital converter)
108 Light source control unit 110a, 110b, 110c Analog image data signal line 112a, 112b, 112c Control signal line 113 Digital image data signal line 114 Difference generation unit 115 Living body detection unit 116 Preprocessing unit 117 Frame memory 118 Feature extraction unit 119 Registration / collation unit 120 Database 123 Control unit 124a, 124b, 124c, 124d, 124e Data line 125 Data line and control line 126, 127 Control signal line 128 Switching signal line 129a, 129b, 129c, 129d, 129e Control line 130 Signal line

Claims (14)

照明手段と、前記照明手段により発生する被写体内部の散乱光を利用して、生体認証のための画像を取得する生体認証装置であって、
異なる波長での前記被写体内の散乱光分布情報を取得し、前記散乱光分布情報を比較する比較手段と、
その比較の結果により生体検知を行なう生体検知手段と、
を有することを特徴とする生体認証装置。
A biometric authentication device that obtains an image for biometric authentication using scattered light inside a subject generated by the illumination unit and the illumination unit,
Comparing means for acquiring scattered light distribution information in the subject at different wavelengths and comparing the scattered light distribution information;
A living body detecting means for performing living body detection according to the result of the comparison;
A biometric authentication device comprising:
請求項1に記載の生体認証装置であって、
前記照明手段は、
生体認証のための赤外波長を有する第1の照明手段と、
前記被写体内の散乱光分布情報を比較するための可視光波長を有する第2の照明手段と、
を有することを特徴とする生体認証装置。
The biometric authentication device according to claim 1,
The illumination means includes
First illumination means having an infrared wavelength for biometric authentication;
A second illumination means having a visible light wavelength for comparing scattered light distribution information in the subject;
A biometric authentication device comprising:
請求項1又は2に記載の生体認証装置であって、
前記第2の照明手段は、相互に近傍に配置した異なる波長を有した2つの光源を有し、
前記生体認証装置は、更に前記光源を順々に切り替え出射する手段を有することを特徴とする生体認証装置。
The biometric authentication device according to claim 1 or 2,
The second illumination means has two light sources having different wavelengths arranged in the vicinity of each other,
The biometric authentication apparatus further includes means for sequentially switching and emitting the light sources.
請求項1乃至3の何れか1項に記載の生体認証装置であって、
前記第2の照明手段は、少なくとも波長が610nmより長い波長帯域(約610〜800nm)の光と、波長が570nmより短い波長帯域(約400〜570nm)の光とを出射することを特徴とする生体認証装置。
The biometric authentication device according to any one of claims 1 to 3,
The second illuminating means emits at least light in a wavelength band longer than 610 nm (about 610 to 800 nm) and light in a wavelength band shorter than 570 nm (about 400 to 570 nm). Biometric authentication device.
請求項1乃至3の何れか1項に記載の生体認証装置であって、
前記第2の照明手段は、赤色の光と、緑色の光とを出射することを特徴とする生体認証装置。
The biometric authentication device according to any one of claims 1 to 3,
The biometric authentication device, wherein the second illumination unit emits red light and green light.
請求項1、2、4又は5に記載の生体認証装置であって、
画像読み取り手段を更に有し、前記画像読み取り手段は波長分離手段を有することを特徴とする生体認証装置。
The biometric authentication device according to claim 1, 2, 4, or 5,
The biometric authentication apparatus further comprising an image reading unit, and the image reading unit includes a wavelength separation unit.
請求項1乃至6の何れか1項に記載の生体認証装置であって、
前記被写体内の散乱光分布情報として、前記被写体の形状に起因する輝度シェーディングを検知する手段を有することを特徴とする生体認証装置。
The biometric authentication device according to any one of claims 1 to 6,
A biometric authentication device comprising means for detecting luminance shading caused by the shape of the subject as scattered light distribution information in the subject.
請求項1乃至7の何れか1項に記載の生体認証装置であって、
前記生体認証装置は、前記被写体が密着する光学部材と前記光学部材に密着した撮像素子を有する画像読み取り手段を有し、
前記第2の照明手段は、前記被写体画像を取得するために密着させる光学部材の撮像面の他の領域から前記被写体を照明する位置に配置されることを特徴とする生体認証装置。
The biometric authentication device according to any one of claims 1 to 7,
The biometric authentication apparatus includes an image reading unit including an optical member that is in close contact with the subject and an image sensor that is in close contact with the optical member,
The biometric authentication apparatus, wherein the second illuminating unit is disposed at a position where the subject is illuminated from another region of the imaging surface of the optical member to be closely attached to acquire the subject image.
請求項8に記載の生体認証装置であって、前記第2の照明手段は、前記被写体に対して前記光学部材の撮像面と同じ面に配置され、前記被写体にほぼ接する下部から光を出射する位置に配置されることを特徴とする生体認証装置。   9. The biometric authentication apparatus according to claim 8, wherein the second illumination unit is arranged on the same surface as the imaging surface of the optical member with respect to the subject, and emits light from a lower part that is substantially in contact with the subject. A biometric authentication device arranged at a position. 照明手段と、前記照明手段により発生する被写体内部の散乱光を利用して、生体認証のための画像を取得する画像読み取り手段を有する生体認証装置であって、
前記照明手段が光を出射する場合の画像と光を出射しない場合の画像との差分画像を取得する外光除去手段を有することを特徴とする生体認証装置。
A biometric authentication apparatus comprising: an illuminating unit; and an image reading unit that acquires an image for biometric authentication using scattered light inside the subject generated by the illuminating unit,
A biometric authentication device, comprising: an external light removing unit that acquires a difference image between an image when the illumination unit emits light and an image when the light does not emit light.
請求項10に記載の生体認証装置であって、
前記画像読み取り手段は、可視光を分離する手段を設けた画素群を有し、
前記生体認証装置は、前記画素群を切り替えることで取得した画像の波長帯域を切替える切替手段と、取得した画像を相互に比較する手段を有することを特徴とする認証装置。
The biometric authentication device according to claim 10,
The image reading means has a pixel group provided with means for separating visible light,
The biometric authentication device includes a switching unit that switches a wavelength band of an image acquired by switching the pixel group, and a unit that compares the acquired images with each other.
照明手段と、前記照明手段により発生する被写体内部の散乱光を利用して、生体認証のための画像を取得する画像読み取り手段を有する生体認証装置であって、
前記画像読み取り手段は、波長分離手段を設けた画素群を有し、
前記生体認証装置は、前記画素群を切り替えることで取得した画像の波長帯域を切替える切替手段と、取得した画像を相互に比較する手段を有することを特徴とする生体認証装置。
A biometric authentication apparatus comprising: an illuminating unit; and an image reading unit that acquires an image for biometric authentication using scattered light inside the subject generated by the illuminating unit,
The image reading means has a pixel group provided with wavelength separation means,
The biometric authentication device includes a switching unit that switches a wavelength band of an image acquired by switching the pixel group, and a unit that compares the acquired images with each other.
第1の波長成分の被写体画像を取得するステップと、
第2の波長成分の被写体画像を取得するステップと、
第1の波長成分の被写体画像を取得するステップと第2の波長成分の被写体画像を取得するステップで得られた被写体画像から波長の異なる複数の被写体面内の散乱光分布情報を比較するステップと、
比較の結果により前記被写体が生体か否かを判別するステップと、
を有することを特徴とする生体検知方法。
Obtaining a subject image of a first wavelength component;
Obtaining a subject image of a second wavelength component;
A step of acquiring a subject image having a first wavelength component and a step of comparing scattered light distribution information in a plurality of subject planes having different wavelengths from the subject image obtained in the step of acquiring a subject image having a second wavelength component; ,
Determining whether or not the subject is a living body according to a result of comparison;
A living body detection method characterized by comprising:
請求項13に記載の生体検知方法であって、
第1の光量で前記被写体を照明するステップと、
第2の光量で前記被写体を照明するステップと、
第1の光量で前記被写体を照明するステップと、第2の光量で前記被写体を照明するステップで得られた画像から差分を求めることで外光成分を除去するステップと、
第1の光量で前記被写体を照明するステップと、第2の光量で前記被写体を照明するステップで得られた画像から差分を求めることで外光成分を除去するステップから得られた画像を利用して前記被写体の生体検知を行なうことを特徴とする生体検知方法。
The living body detection method according to claim 13,
Illuminating the subject with a first light quantity;
Illuminating the subject with a second amount of light;
Illuminating the subject with a first light amount and removing an external light component by obtaining a difference from an image obtained by illuminating the subject with a second light amount;
Using the image obtained from the step of illuminating the subject with the first light amount and the step of removing the external light component by obtaining a difference from the image obtained in the step of illuminating the subject with the second light amount. And detecting a living body of the subject.
JP2007170825A 2007-06-28 2007-06-28 Biometrics device and living body detection method Pending JP2009009403A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007170825A JP2009009403A (en) 2007-06-28 2007-06-28 Biometrics device and living body detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007170825A JP2009009403A (en) 2007-06-28 2007-06-28 Biometrics device and living body detection method

Publications (1)

Publication Number Publication Date
JP2009009403A true JP2009009403A (en) 2009-01-15

Family

ID=40324412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007170825A Pending JP2009009403A (en) 2007-06-28 2007-06-28 Biometrics device and living body detection method

Country Status (1)

Country Link
JP (1) JP2009009403A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011052323A1 (en) * 2009-10-26 2011-05-05 日本電気株式会社 Fake finger determination device and fake finger determination method
JP2015192852A (en) * 2014-03-25 2015-11-05 キヤノン株式会社 imaging device
JP2015215330A (en) * 2014-04-25 2015-12-03 パナソニックIpマネジメント株式会社 Image forming apparatus and image forming method
WO2016147272A1 (en) * 2015-03-13 2016-09-22 日本電気株式会社 Living body detection device, living body detection method, and recording medium
CN106166072A (en) * 2015-05-19 2016-11-30 萨姆特得有限责任两合公司 The method and apparatus that in Bio-ontology, the non-intruding of the measurand of analyte determines
CN108241841A (en) * 2016-12-26 2018-07-03 长春方圆光电技术有限责任公司 A kind of anti-vacation refers to palm print collection system
CN109858381A (en) * 2019-01-04 2019-06-07 深圳壹账通智能科技有限公司 Biopsy method, device, computer equipment and storage medium
CN110431556A (en) * 2017-03-20 2019-11-08 三星电子株式会社 The electronic equipment and method of the fraud of biometric information for identification
WO2020084910A1 (en) * 2018-10-24 2020-04-30 株式会社ジャパンディスプレイ Fingerprint detection device and display device with fingerprint detection device
WO2021015293A1 (en) * 2019-07-19 2021-01-28 Nec Corporation Method and system for chrominance-based face liveness detection
CN112449580A (en) * 2018-07-23 2021-03-05 新唐科技日本株式会社 Living body state detection device and living body state detection method
JP2022522455A (en) * 2019-02-28 2022-04-19 維沃移動通信有限公司 Photoelectric fingerprint identification device, terminal and fingerprint identification method

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5700361B2 (en) * 2009-10-26 2015-04-15 日本電気株式会社 False finger determination device and false finger determination method
US11741744B2 (en) 2009-10-26 2023-08-29 Nec Corporation Fake finger determination apparatus and fake finger determination method
WO2011052323A1 (en) * 2009-10-26 2011-05-05 日本電気株式会社 Fake finger determination device and fake finger determination method
US10922525B2 (en) 2009-10-26 2021-02-16 Nec Corporation Fake finger determination apparatus and fake finger determination method
EP2495697B1 (en) * 2009-10-26 2020-04-29 Nec Corporation Fake finger determination device and fake finger determination method
US10477119B2 (en) 2014-03-25 2019-11-12 Canon Kabushiki Kaisha Imaging device
JP2015192852A (en) * 2014-03-25 2015-11-05 キヤノン株式会社 imaging device
JP2015215330A (en) * 2014-04-25 2015-12-03 パナソニックIpマネジメント株式会社 Image forming apparatus and image forming method
US11132536B2 (en) 2015-03-13 2021-09-28 Nec Corporation Living body detection device, living body detection method, and recording medium
US10509955B2 (en) 2015-03-13 2019-12-17 Nec Corporation Living body detection device, living body detection method, and recording medium
US10528803B2 (en) 2015-03-13 2020-01-07 Nec Corporation Living body detection device, living body detection method, and recording medium
US10546189B2 (en) 2015-03-13 2020-01-28 Nec Corporation Living body detection device, living body detection method, and recording medium
US10546190B2 (en) 2015-03-13 2020-01-28 Nec Corporation Living body detection device, living body detection method, and recording medium
WO2016147272A1 (en) * 2015-03-13 2016-09-22 日本電気株式会社 Living body detection device, living body detection method, and recording medium
CN106166072A (en) * 2015-05-19 2016-11-30 萨姆特得有限责任两合公司 The method and apparatus that in Bio-ontology, the non-intruding of the measurand of analyte determines
CN108241841A (en) * 2016-12-26 2018-07-03 长春方圆光电技术有限责任公司 A kind of anti-vacation refers to palm print collection system
CN110431556B (en) * 2017-03-20 2023-11-07 三星电子株式会社 Electronic device and method for identifying counterfeits of biometric information
CN110431556A (en) * 2017-03-20 2019-11-08 三星电子株式会社 The electronic equipment and method of the fraud of biometric information for identification
CN112449580A (en) * 2018-07-23 2021-03-05 新唐科技日本株式会社 Living body state detection device and living body state detection method
JP2020067834A (en) * 2018-10-24 2020-04-30 株式会社ジャパンディスプレイ Fingerprint detection device and display device equipped with fingerprint detection device
JP7222656B2 (en) 2018-10-24 2023-02-15 株式会社ジャパンディスプレイ Fingerprint detection device and display device with fingerprint detection device
CN112930551A (en) * 2018-10-24 2021-06-08 株式会社日本显示器 Fingerprint detection device and display device with fingerprint detection device
WO2020084910A1 (en) * 2018-10-24 2020-04-30 株式会社ジャパンディスプレイ Fingerprint detection device and display device with fingerprint detection device
US11436859B2 (en) 2018-10-24 2022-09-06 Japan Display Inc. Fingerprint detection device and display device with fingerprint detection device
CN109858381A (en) * 2019-01-04 2019-06-07 深圳壹账通智能科技有限公司 Biopsy method, device, computer equipment and storage medium
JP7254949B2 (en) 2019-02-28 2023-04-10 維沃移動通信有限公司 Photoelectric fingerprint identification device, terminal and fingerprint identification method
JP2022522455A (en) * 2019-02-28 2022-04-19 維沃移動通信有限公司 Photoelectric fingerprint identification device, terminal and fingerprint identification method
JP2022540733A (en) * 2019-07-19 2022-09-16 日本電気株式会社 Method and system for chrominance-based face liveness detection
JP7226653B2 (en) 2019-07-19 2023-02-21 日本電気株式会社 Method and system for chrominance-based face liveness detection
WO2021015293A1 (en) * 2019-07-19 2021-01-28 Nec Corporation Method and system for chrominance-based face liveness detection

Similar Documents

Publication Publication Date Title
JP2009009403A (en) Biometrics device and living body detection method
US9165178B2 (en) Determination device, fingerprint input device, determination method and determination program for detecting the forgery of a finger
JP5521304B2 (en) Imaging apparatus, imaging program, imaging method, authentication apparatus, authentication program, and authentication method
CA2699317C (en) Spectroscopic method and system for multi-factor biometric authentication
KR101701559B1 (en) Image correction apparatus, image correction method, and biometric authentication apparatus
EP2500862B1 (en) Fake-finger determination device, fake-finger determination method and fake-finger determination program
EP3319009B1 (en) Living body recognition apparatus, living body recognition method and living body authentication system
US7925056B2 (en) Optical speckle pattern investigation
US20180018500A1 (en) Identification apparatus and identification method
JP2005173700A (en) Fingerprint reader and individual authentication system
WO2001069520A3 (en) Biometric sensor
JP2007122237A (en) Forgery-deciding imaging device and individual identification device
CN211062054U (en) Biometric imaging arrangement and electronic device
MXPA05004168A (en) System for high contrast contactless representation of strips of the skin.
US10303916B2 (en) Image processing apparatus
US8942439B2 (en) Fingerprint authentication system, fingerprint authentication method, and fingerprint authentication program
US10460145B2 (en) Device for capturing imprints
JP7392779B2 (en) Imaging device, biological image processing system, biological image processing method, and biological image processing program
US11741745B2 (en) Multicolor illumination in an optical fingerprint sensor for anti-spoofing
US7180643B2 (en) Live print scanner with holographic imaging a different magnifications
US11967170B2 (en) Biometric information acquisition system and processing method
JP2001084427A (en) Device for recognizing reflecting optical element and device for recognizing storage medium
JP2007089969A (en) Biological pattern imaging device
JP2007133656A (en) Fingerprint matching device
CN115775396B (en) Method for detecting counterfeit fingerprints using fingerprint sensor under display

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090324

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201