JP2015001790A - Face authentication system - Google Patents
Face authentication system Download PDFInfo
- Publication number
- JP2015001790A JP2015001790A JP2013125111A JP2013125111A JP2015001790A JP 2015001790 A JP2015001790 A JP 2015001790A JP 2013125111 A JP2013125111 A JP 2013125111A JP 2013125111 A JP2013125111 A JP 2013125111A JP 2015001790 A JP2015001790 A JP 2015001790A
- Authority
- JP
- Japan
- Prior art keywords
- person
- face
- image
- area
- authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013475 authorization Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 description 23
- 238000013459 approach Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 10
- 210000001331 nose Anatomy 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 241000287107 Passer Species 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Lock And Its Accessories (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は、歩行している人物が予め登録された利用者であるか顔画像を用いて認証する顔認証システムに関する。 The present invention relates to a face authentication system that performs authentication using a face image to determine whether a walking person is a registered user.
近年、オフィスビルの出入管理システム等において、人物の顔の特徴を用いて本人認証する顔認証装置が利用されている。顔認証装置は、人物を撮影して得た画像から人物の顔領域を抽出し、予め登録してある利用者の顔画像と照合することでその人物が利用者本人であるか否か判定する。そして、正規の利用者として認証すると、ゲートを開放制御したり、扉に設けた電気錠を解錠し、その人物の通行を許容する。
また、歩行中の人物を撮影して顔認証を行うことで、特別な操作を必要とすることなく、人物がゲートやカメラの前で立ち止まらず認証可能な、所謂ウォークスルー型の顔認証システムの実現も期待されている。
2. Description of the Related Art In recent years, face authentication devices that authenticate a person using facial features of a person have been used in an entrance / exit management system of an office building. The face authentication apparatus extracts a person's face area from an image obtained by photographing a person, and checks whether or not the person is the user himself / herself by collating with a user's face image registered in advance. . When the user is authenticated as a legitimate user, the gate is controlled to be opened or the electric lock provided on the door is unlocked to allow the person to pass.
In addition, a so-called walk-through face authentication system that captures a person while walking and performs face authentication to enable the person to authenticate without stopping in front of the gate or the camera without requiring a special operation. Realization is also expected.
このようなウォークスルー型の顔認証システムは、カメラからある程度離れた位置でも人物を認証可能であり、ゲートに到達する以前に認証処理を終えることができるため、認証遅延が生じ難く利便性が高いことが一つの特徴である。しかし、認証された時点で通行を許可しゲートを開放してしまうと、この人物がゲートから遠くに位置する場合、未だ認証が済んでいない他の人物の通行まで許容してしまうことになる。また、認証された人物にそもそも通行意思がなくゲートに向かわない可能性もあり、セキュリティ性に問題があった。 Such a walk-through face authentication system can authenticate a person even at a position some distance from the camera, and can complete the authentication process before reaching the gate. This is one feature. However, if the passage is permitted and the gate is opened at the time of authentication, if this person is located far from the gate, the passage of another person who has not yet been authenticated is permitted. In addition, there is a possibility that the authenticated person does not intend to go to the gate and may not go to the gate.
上述の課題に対し、先行技術文献１では、人物を認証した時点ではドアを開錠せず、認証済みの人物がドアの前にきた時点でドアを開錠し、通行を許容する認証システムが開示されている。この認証システムは、認証用カメラによる撮影画像を用いて顔認証を行うとともに、別途、認証領域を俯瞰する追尾用カメラを天井に設置し、認証領域にいる人物の位置を追跡する。認証用カメラによる撮影画像と追尾用カメラによる撮影画像との間で同一の被写体を対応付けるための対応関係を予め設定しておき、認証した人物が追跡中のどの人物かを特定し、顔認証による認証結果を追跡中の人物に対応付ける。そして、認証済みの人物がドアの近傍に移動した時点でドアを開錠制御する。 With respect to the above-described problem, in Prior Art Document 1, there is an authentication system that does not unlock the door when the person is authenticated, and unlocks the door when the authenticated person comes in front of the door and allows passage. It is disclosed. This authentication system performs face authentication using an image captured by an authentication camera and separately installs a tracking camera overlooking the authentication area on the ceiling to track the position of a person in the authentication area. The correspondence relationship for associating the same subject between the photographed image by the authentication camera and the photographed image by the tracking camera is set in advance, the identified person is identified as being tracked, and face authentication is performed. Associate the authentication result with the person being tracked. When the authenticated person moves to the vicinity of the door, the door is unlocked.
しかしながら、従来の認証システムの構成では、認証用カメラとは別に追尾用カメラが必要なためコストアップとなるほか、２種のカメラの対応関係は設置環境により様々であり、設置環境に応じて対応関係を定義することは容易ではない。
そこで、本発明の目的は、追尾用カメラ等の特段の追加構成を付加することなく、複数の人物が混在している状況でも認証者に限定して通行を許容し、未認証者による通行を抑制可能な顔認証システムを実現することにある。
However, the configuration of the conventional authentication system requires a tracking camera in addition to the authentication camera, which increases costs, and the correspondence between the two types of cameras varies depending on the installation environment. Defining a relationship is not easy.
Therefore, the object of the present invention is to allow passage only for a certifier even in a situation where a plurality of persons are mixed, without adding a special additional configuration such as a tracking camera, and allow passage by an unauthenticated person. It is to realize a face authentication system that can be suppressed.
上記目的を達成するために本発明は、認証領域を通行する人物を顔認証して当該人物の通行許否を判定する顔認証システムにおいて、前記認証領域を撮影して入力画像を順次取得する画像取得手段と、予め登録された利用者の登録顔画像を記憶する記憶手段と、前記入力画像から抽出された人物の顔画像と前記登録顔画像とを照合し、当該人物が前記利用者であることを認証する顔照合手段と、前記入力画像における前記認証された人物を示す領域の大きさが所定以上のとき、当該人物の通行を許可する認可手段と、を備えることを特徴とする。 In order to achieve the above object, the present invention provides a face authentication system for performing face authentication on a person passing through an authentication area and determining whether the person is permitted to pass or not, and acquiring an image in which the authentication area is captured and an input image is sequentially acquired. Means, a storage means for storing a registered face image of a user registered in advance, a face image of a person extracted from the input image and the registered face image, and the person is the user And a face matching means for authenticating the person, and an authorization means for permitting passage of the person when the size of the area indicating the authenticated person in the input image is greater than or equal to a predetermined value.
この顔認証システムでは、入力画像から抽出された人物について顔認証により正規の利用者であると認証されたとしても、カメラから離れた位置にいる場合は認証時点では通行が許可されない。そして、認証者がカメラ側に接近して入力画像における人物を示す像が大きくなると、その時点で通行が許可され、例えば電気錠やゲートによる規制が開放される。 In this face authentication system, even if a person extracted from an input image is authenticated as a regular user by face authentication, if the person is away from the camera, passage is not permitted at the time of authentication. And if an authenticator approaches the camera side and the image which shows the person in an input image becomes large, passage will be permitted at that time, for example, restrictions by an electric lock or a gate will be released.
また、上記構成において、さらに、前記顔照合手段による認証結果と対応付けて、順次取得される前記入力画像から抽出した同一の人物を追跡する追跡手段を有し、前記認可手段は、前記入力画像における人物を示す領域の大きさが所定以上であり、且つ、当該人物が利用者として認証済みであるとき、当該人物の通行を許可する。
また、上記構成において、前記認可手段は、前記認証された人物の顔領域の大きさが所定の判定基準値以上であることを条件に通行を許可する。
Further, in the above configuration, the image processing apparatus further includes a tracking unit that tracks the same person extracted from the input image sequentially acquired in association with the authentication result by the face matching unit, and the authorization unit includes the input image When the size of the area indicating the person is greater than or equal to a predetermined value and the person has been authenticated as a user, the person is permitted to pass.
In the above configuration, the authorization unit permits passage on condition that the size of the face area of the authenticated person is equal to or greater than a predetermined determination reference value.
また、上記構成において、前記認可手段は、前記入力画像における前記顔領域の位置に応じて前記判定基準値を異ならせる。特に、前記認可手段は、前記入力画像の上下方向における前記顔領域の位置に応じて前記判定基準値を異ならせ、前記入力画像上の基準位置または基準領域から上下方向に離れた位置または領域ほど前記判定基準値を小さく設定する。
このように、認証者の画像上の顔の位置に基づいてその認証者が通行意思を持つか否かの判定基準を異ならせることで、認証者ごとに通行許可するタイミングを適切に調整することができる。これにより、例えば通行許可時にゲートを開放する場合には、近づいてきた認証者に限定してゲートを開放することができ、同時に認証領域にいる未認証者の通行を許容するリスクを低減できる。
In the above configuration, the authorization unit varies the determination reference value according to the position of the face area in the input image. In particular, the authorization unit varies the determination reference value according to the position of the face area in the up-down direction of the input image, and the position or area away from the reference position or the reference area on the input image in the up-down direction. The determination reference value is set small.
In this way, by appropriately changing the determination criteria as to whether or not the certifier has a willingness to pass based on the face position on the certifier's image, the timing for allowing the passage of each certifier can be adjusted appropriately. Can do. Thereby, for example, when the gate is opened at the time of passage permission, the gate can be opened only for the approaching authenticator, and at the same time, the risk of allowing the unauthenticated person in the authentication area to pass can be reduced.
本発明によれば、特別な構成を設けず簡易な構成にて、認証者ごとに適切なタイミングで通行を許可することができる。このため、複数の人物が混在している状況でも未認証者による通行を許容するリスクを低減できる。 According to the present invention, it is possible to permit passage at an appropriate timing for each authenticator with a simple configuration without providing a special configuration. For this reason, it is possible to reduce a risk of allowing passage by an unauthenticated person even in a situation where a plurality of persons are mixed.
以下、本発明を出入管理用途に適用した場合の一実施形態である顔認証システムとして、図を参照しながら説明する。
この顔認証システムは、例えばオフィスビルの通用口における入場者判定に利用され、管理区域であるオフィスエリア内へ進入しようとする人物を撮影して顔認証を行い、予め登録された利用者であると認証された場合に管理区域への入場を許可する。
Hereinafter, a face authentication system as an embodiment when the present invention is applied to an entry / exit management application will be described with reference to the drawings.
This face authentication system is used for, for example, a visitor determination at a common entrance of an office building, is a user registered in advance by performing face authentication by photographing a person who is about to enter an office area that is a management area. If you are certified, you will be allowed to enter the controlled area.
図１は、本実施形態の顔認証システムの運用イメージを示す模式図である。図１のように、通用エリアと管理区域との間には管理区域への通行を物理的に規制する手段であるゲート２０が設けられ、管理区域側から通用エリアを撮影可能なようにカメラ１０が設置される。カメラ１０は、通用エリアを撮影領域とするように、ゲート２０付近の壁面または天井等に撮影方向をやや下向きにした状態で取り付けられ、通用エリアを斜め上方から俯瞰する。また、カメラ１０近傍にはカメラ１０の撮影画像を表示するモニタ４０が設置される。 FIG. 1 is a schematic diagram showing an operation image of the face authentication system of the present embodiment. As shown in FIG. 1, a gate 20 is provided between the service area and the management area as a means for physically restricting the access to the management area, and the camera 10 can capture the service area from the management area side. Is installed. The camera 10 is attached to the wall surface or ceiling near the gate 20 with the shooting direction slightly downward so that the common area is the photographing region, and the common area is looked down obliquely from above. In addition, a monitor 40 that displays a photographed image of the camera 10 is installed in the vicinity of the camera 10.
顔認証システムは、カメラ１０で撮影された入力画像において人間の顔らしい領域を探索し、認証領域（例えばゲート２０から５ｍ程度までの範囲）にいる人物について、予め登録された利用者であるか顔認証を行う。顔と特徴が一致する利用者が登録されていれば、その人物を登録利用者として認証する。 The face authentication system searches for an area that seems to be a human face in the input image taken by the camera 10, and is a user registered in advance for a person in the authentication area (for example, a range from the gate 20 to about 5 m)? Perform face recognition. If a user whose feature matches the face is registered, the person is authenticated as a registered user.
ここで、本実施形態の顔認証システムでは、人物を登録利用者として認証した時点（地点ａの人物１００）ではゲート２０を開放せず、認証済みの人物（以下、認証者という）がゲート２０近傍の認可領域（例えばゲート２０から１ｍ程度までの範囲）に到達した時点（地点ｂの人物１００）でゲート２０を開放する。顔認証システムは、入力画像上の人物を示す領域の大きさに基づいて、人物のカメラ１０への接近、すなわちゲート２０への接近を検出する。そして、入力画像上の人物を認証結果と対応付けて追跡し、顔領域の大きさが所定の基準値以上であり、且つ、その人物が認証者である場合に、管理区域への通行を許可する。本実施形態では、特に、人物の顔領域の大きさを基準値と比較することで人物が認可領域内にいるか否か識別する。 Here, in the face authentication system of the present embodiment, the gate 20 is not opened at the time when the person is authenticated as a registered user (the person 100 at the point a), and an authenticated person (hereinafter referred to as the certifier) is the gate 20. The gate 20 is opened when it reaches a nearby authorized area (for example, a range from the gate 20 to about 1 m) (person 100 at the point b). The face authentication system detects the approach of the person to the camera 10, that is, the approach to the gate 20, based on the size of the area indicating the person on the input image. The person on the input image is tracked in association with the authentication result, and when the face area size is equal to or larger than a predetermined reference value and the person is the certifier, the access to the management area is permitted. To do. In the present embodiment, in particular, it is identified whether or not the person is in the authorized area by comparing the size of the person's face area with a reference value.
このように、ゲート２０から離れた位置で人物を認証した場合、その認証者がゲート２０に接近するまではゲート２０は閉鎖状態に維持されるため、未だ認証されていない第三者の管理区域への進入を抑制することができる。仮に認証者がゲート２０に向かわず立ち去った場合でも、未認証の第三者の進入は防止される。一方、顔認証処理はゲート２０から離れた位置でも実施されるため、正規の利用者の通行を認証遅延によって妨げず、ウォークスルー型の顔認証システムとしての高い利便性を維持できる。また、認証用のカメラ１０とは別にゲート２０への接近を判定するための追加構成（追跡用カメラ等）を持つことなく、簡易な構成で上記効果を奏することができる。 Thus, when a person is authenticated at a position away from the gate 20, the gate 20 is kept closed until the certifier approaches the gate 20. Can be prevented from entering. Even if the certifier leaves without going to the gate 20, entry of an unauthenticated third party is prevented. On the other hand, since the face authentication process is also performed at a position away from the gate 20, it is possible to maintain a high degree of convenience as a walk-through type face authentication system without hindering the passage of authorized users due to an authentication delay. In addition, the above-described effects can be achieved with a simple configuration without having an additional configuration (tracking camera or the like) for determining approach to the gate 20 separately from the authentication camera 10.
さらに、この顔認証システムでは、顔領域の大きさによる接近判定の際、入力画像における顔領域の位置に応じて判定基準を異ならせる。これは、同じ位置に立っている場合でも、人物の背の高さによって画像上での顔領域の大きさが異なるためである。
例えば、図２の模式図に示されるように、カメラ１０が比較的高い位置（例えば２ｍ以上の高さ）に設置されている場合、背が高い人物ほど頭部とカメラ１０との距離が短いため、地点ｄにいる人物１１０の顔領域は、同じ位置に立つ比較的背が高い人物１２０の顔領域よりも画像上では小さく写る。この現象は、カメラ１０の至近距離の被写体ほど顕著であり、カメラ１０から離れるほど背の高さによる影響は小さくなる。つまり、カメラ１０から離れた地点ｃにおいては、人物１１０および人物１２０のカメラ１０からの距離差はほぼ生じないため、顔領域の大きさも略同等である。したがって、認可範囲にいるかの判定基準を一律にすると、人によってゲート２０が開放されるタイミングに誤差が生じてしまう。
Furthermore, in this face authentication system, when the approach determination is made based on the size of the face area, the determination criterion is made different according to the position of the face area in the input image. This is because even when standing at the same position, the size of the face area on the image differs depending on the height of the person's back.
For example, as shown in the schematic diagram of FIG. 2, when the camera 10 is installed at a relatively high position (for example, a height of 2 m or more), the taller the person, the shorter the distance between the head and the camera 10. Therefore, the face area of the person 110 at the point d appears smaller on the image than the face area of the relatively tall person 120 standing at the same position. This phenomenon is more conspicuous as the subject is closer to the camera 10, and the influence of the height of the subject becomes smaller the further away from the camera 10. That is, at the point c away from the camera 10, the difference in distance between the person 110 and the person 120 from the camera 10 does not substantially occur, and therefore the size of the face area is substantially the same. Therefore, if the criteria for determining whether the gate is within the authorized range is uniform, an error occurs in the timing at which the gate 20 is opened by a person.
そこで本実施形態の顔認証システムは、近距離で撮影された画像では背が高い人物ほど画像上の上側に顔が現れ、背が低い人物ほど画像上の下側に顔が現れることを利用し、接近判定に用いる顔領域の大きさ判定基準値を、画像上の顔の位置ごとに異ならせる。位置ごとの判定基準値は、背の高さと画像上の顔の位置、背の高さと近距離での顔領域の大きさ、の関係を考慮して設定される。これらの関係は、カメラ１０の設置高や視野方向によって異なるものであり、設置環境に応じて変わる。図２に示された設置環境では、認可領域では背が低いほど顔領域が小さく写るため、画像上の上側の領域より下側の領域の判定基準値の方が低く設定される。これにより、背の高さが違っていても通行許可される認可範囲を略同等とすることができ、利用者ごとに使用感の差が生じることを低減できる。 In view of this, the face authentication system according to the present embodiment utilizes the fact that, in an image taken at a short distance, a taller person appears on the upper side of the image, and a shorter person appears on the lower side of the image. The size determination reference value of the face area used for the approach determination is made different for each face position on the image. The determination reference value for each position is set in consideration of the relationship between the height of the face and the position of the face on the image, and the height of the face and the size of the face area at a short distance. These relationships differ depending on the installation height and the visual field direction of the camera 10 and vary depending on the installation environment. In the installation environment shown in FIG. 2, since the face area appears smaller as the authorization area is shorter, the determination reference value of the lower area is set lower than the upper area on the image. Thereby, even if the height is different, the authorized ranges that are permitted to pass can be made substantially equal, and the occurrence of a difference in feeling of use for each user can be reduced.
以下、図２乃至５を参照し、本実施形態の顔認証システムの構成および動作について詳細に説明する。
図３は、顔認証システムの概略構成を示す図である。本実施形態の顔認証システムは、カメラ１０、ゲート制御装置３０、モニタ４０、認証装置５０を主たる構成とする。
Hereinafter, the configuration and operation of the face authentication system of the present embodiment will be described in detail with reference to FIGS.
FIG. 3 is a diagram showing a schematic configuration of the face authentication system. The face authentication system of the present embodiment mainly includes a camera 10, a gate control device 30, a monitor 40, and an authentication device 50.
カメラ１０は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等から構成される撮影手段であり、所定の撮影領域を撮影する。カメラ１０は、通用エリアからゲート２０に向かう方向（以下、通行方向という）に歩行する人物の顔を順次撮影できるように、ゲート２０近傍の通行方向の略正面に、撮影方向を通用エリアへ向けて設置する。本実施形態では、図２に示されるように、人物よりやや高い位置（２ｍ程度の高さ）に斜め下方へ向けて設置する。
カメラ１０は、所定の時間間隔（例えば、200ms）ごとに撮影を実行し、グレースケールまたはカラーの多階調の画像を取得する。取得した画像は、有線または無線で接続された認証装置５０に送信する。
The camera 10 is a photographing unit including a CCD image sensor, a CMOS image sensor, and the like, and photographs a predetermined photographing area. The camera 10 directs the shooting direction to the common area in front of the gate 20 in the vicinity of the gate 20 so that the face of the person walking in the direction from the common area toward the gate 20 (hereinafter referred to as the “pass direction”) can be sequentially photographed. Install. In this embodiment, as shown in FIG. 2, it is installed obliquely downward at a position slightly higher than a person (a height of about 2 m).
The camera 10 performs imaging at predetermined time intervals (for example, 200 ms), and acquires grayscale or color multi-gradation images. The acquired image is transmitted to the authentication device 50 connected by wire or wireless.
ゲート制御装置３０は、管理区域への通行を物理的に規制するゲート２０に接続され、ゲート２０の開閉動作や電気錠の施解錠を制御する。ゲート制御装置３０は、常時はゲート２０を閉状態（或いは電気錠を施錠状態）に維持して通行を規制させ、認証装置５０から通行許可信号を受信すると、一時的にゲート２０を開状態（或いは電気錠を解錠状態）にして通行を許容する。 The gate control device 30 is connected to the gate 20 that physically restricts passage to the management area, and controls the opening / closing operation of the gate 20 and the locking and unlocking of the electric lock. The gate control device 30 normally maintains the gate 20 in the closed state (or locks the electric lock) to restrict the passage, and receives the passage permission signal from the authentication device 50, temporarily opens the gate 20 ( Alternatively, the electric lock is unlocked) to allow passage.
モニタ４０は、薄型液晶ディスプレイ等から構成される表示手段であり、認証装置５０による制御に基づき、認証装置５０から受信した画像や各種の情報を表示する。モニタ４０にはカメラ１０で撮影された画像がリアルタイムで表示され、さらに、各人物の認証状況に関する情報が表示される。また、モニタ４０にはスピーカー等の音声出力手段が併設され、認証装置５０の制御に基づき所定の音声ガイダンスやブザー音を出力する。 The monitor 40 is a display unit configured by a thin liquid crystal display or the like, and displays an image and various types of information received from the authentication device 50 based on control by the authentication device 50. On the monitor 40, an image photographed by the camera 10 is displayed in real time, and information on the authentication status of each person is further displayed. The monitor 40 is also provided with voice output means such as a speaker, and outputs predetermined voice guidance and buzzer sound based on the control of the authentication device 50.
認証装置５０は、カメラ１０、ゲート制御装置３０、モニタ４０と有線または無線で接続され、カメラ１０から出力された画像を入力し、画像上に写る人物が予め登録された利用者であるか否か判定する認証処理を実行する。そして、認証結果に応じてゲート制御装置３０およびモニタ４０を制御する。
認証装置５０は、ＣＰＵ、ＭＰＵ等のプロセッサやメモリ等の記録媒体からなるいわゆるコンピュータにより構成され、主として、記憶部６０、出力部７０、処理部８０を備える。
The authentication device 50 is connected to the camera 10, the gate control device 30, and the monitor 40 by wire or wirelessly, inputs an image output from the camera 10, and whether or not a person shown on the image is a registered user. An authentication process is performed to determine whether or not. Then, the gate control device 30 and the monitor 40 are controlled according to the authentication result.
The authentication device 50 is configured by a so-called computer including a processor such as a CPU and MPU and a recording medium such as a memory, and mainly includes a storage unit 60, an output unit 70, and a processing unit 80.
記憶部６０は、ＲＯＭ、ＲＡＭ等の半導体メモリやハードディスク等の磁気記録媒体であり、人間の標準的な顔の形状や特徴をモデル化した顔形状モデルが記憶されるほか、認証装置５０の動作に必要なプログラム及び各種パラメータなどが記憶される。また記憶部６０には、ゲート２０への接近判定に用いられる、画像上の位置と判定基準値との関係を示す基準値情報が記憶される。基準値情報の詳細については後述する。 The storage unit 60 is a magnetic recording medium such as a semiconductor memory such as a ROM and a RAM and a hard disk, and stores a face shape model that models a human standard face shape and features, and also the operation of the authentication device 50. Programs and various parameters necessary for the storage are stored. Further, the storage unit 60 stores reference value information indicating the relationship between the position on the image and the determination reference value, which is used for determining the approach to the gate 20. Details of the reference value information will be described later.
さらに記憶部６０には、登録者データ６２、追跡データ６４、認証履歴データ６６が更新可能に記憶される。
登録者データ６２は、予め登録された、管理区域への入場が許可されている人物（利用者）に関する情報であり、人物の氏名、利用者ＩＤ、利用者の顔を撮影して得られた顔画像（以下、登録顔画像という）を含む。なお、顔画像に代えて、顔画像から抽出された特徴点からなる顔特徴情報を記憶させてもよい。
Furthermore, registrant data 62, tracking data 64, and authentication history data 66 are stored in the storage unit 60 in an updatable manner.
The registrant data 62 is information related to a person (user) who is registered in advance and permitted to enter the management area, and is obtained by photographing a person's name, user ID, and user's face. A face image (hereinafter referred to as a registered face image) is included. Instead of the face image, face feature information including feature points extracted from the face image may be stored.
追跡データ６４は、順次取得される入力画像において同一人物を追跡するための情報である。追跡データ６４には、追跡対象の人物について付した追跡番号、撮影時刻、人物の位置情報、人物の顔画像、認証候補者の利用者ＩＤおよびその類似度、認証結果などが含まれる。
認証履歴データ６６は、追跡対象の人物についての最終的な認証処理の結果を表すログ情報である。認証履歴データ６６は、追跡対象の人物ごとに、通行の有無、認証結果、特定された利用者ＩＤ、人物の顔画像などが含まれる。
The tracking data 64 is information for tracking the same person in the sequentially acquired input images. The tracking data 64 includes the tracking number assigned to the person to be tracked, the shooting time, the position information of the person, the face image of the person, the user ID of the authentication candidate and its similarity, the authentication result, and the like.
The authentication history data 66 is log information representing the result of the final authentication process for the person to be tracked. The authentication history data 66 includes the presence / absence of traffic, the authentication result, the identified user ID, the face image of the person, and the like for each person to be tracked.
出力部７０は、外部接続機器であるゲート制御装置３０、モニタ４０等と接続するインタフェース部である。出力部７０を介して、ゲート制御装置３０に通行許可信号が出力され、また、カメラ１０による撮影画像や教示画像がモニタ４０へ出力される。 The output unit 70 is an interface unit that is connected to the gate control device 30 and the monitor 40 that are externally connected devices. A passage permission signal is output to the gate control device 30 via the output unit 70, and an image captured by the camera 10 and a teaching image are output to the monitor 40.
処理部８０は、カメラ１０からの入力画像に対して記憶部６０を参照しながら認証処理を実行し、出力部７０を介してその結果を外部へ出力する。処理部８０は、記憶部６０の制御プログラムおよびプロセッサにより実現される機能モジュールとして、人物追跡手段８１、顔抽出手段８２、顔照合手段８３、認可手段８４、表示制御手段８５を有する。
以下、処理部８０の各手段について詳細に説明する。
The processing unit 80 performs an authentication process on the input image from the camera 10 while referring to the storage unit 60, and outputs the result to the outside via the output unit 70. The processing unit 80 includes a person tracking unit 81, a face extraction unit 82, a face collating unit 83, an authorization unit 84, and a display control unit 85 as functional modules implemented by the control program and processor of the storage unit 60.
Hereinafter, each unit of the processing unit 80 will be described in detail.
人物追跡手段８１は、カメラ１０から順次入力される入力画像に対し、人物の領域を示す人物領域画像の抽出処理を実行する。人物追跡手段８１は、過去に撮影した画像と処理対象の入力画像との比較により差分抽出された変化領域の大きさや縦横比等に基づき、人物が写っている領域を抽出する。また、複数の入力画像に写る人物について、人物領域の位置や形状の類似性に基づき同一の人物か判定して追跡する。そして、追跡された人物ごとに追跡データ６４を作成・更新して記憶部６０に記憶させる。なお、人物領域の抽出処理および追跡処理は上記に限られず、公知の種々の技術を選択できる。 The person tracking unit 81 performs an extraction process of a person area image indicating a person area on the input images sequentially input from the camera 10. The person tracking unit 81 extracts a region in which a person is shown based on the size, aspect ratio, and the like of a change region that has been extracted by comparison between an image captured in the past and an input image to be processed. In addition, the person in the plurality of input images is tracked by determining whether they are the same person based on the similarity of the position and shape of the person area. Then, the tracking data 64 is created / updated for each tracked person and stored in the storage unit 60. The person area extraction process and the tracking process are not limited to those described above, and various known techniques can be selected.
人物追跡手段８１は、初めて抽出した人物に対しては追跡中の人物を識別するための追跡番号を付与するとともに、その人物に関する新たな追跡データ６４を作成し、入力画像の撮影時刻、画像上の人物領域の位置情報（重心座標）、人物領域画像を記録する。抽出した人物が既に追跡中の人物のときは、その人物に関する追跡データ６４を更新する。 The person tracking means 81 gives a tracking number for identifying the person being tracked to the person extracted for the first time, creates new tracking data 64 relating to the person, The position information (center of gravity coordinates) of the person area and the person area image are recorded. When the extracted person is already being tracked, the tracking data 64 relating to the person is updated.
顔抽出手段８２は、人物領域画像から人物の顔を示す顔領域を検出する。そして、顔領域を含む矩形状の領域を顔画像として切り出し、この顔画像を追跡対象の人物に関する追跡データ６４に記録する。
顔抽出手段８２は、記憶部６０に記憶された顔形状モデルを用い、人物領域画像上で顔領域を探索する。具体的には、人物領域画像に対しエッジ処理を施して頭部の輪郭形状と近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。認証に用いる顔画像は顔の特徴が把握できる程度の解像度が要求されるため、所定の抽出基準以上の大きさである楕円領域を抽出対象とする。楕円領域の大きさを示す指標には、例えば、楕円領域の面積、横軸／縦軸の長さなどを用いる。
The face extraction unit 82 detects a face area indicating a person's face from the person area image. Then, a rectangular area including the face area is cut out as a face image, and this face image is recorded in the tracking data 64 relating to the person to be tracked.
The face extraction unit 82 searches for a face area on the person area image using the face shape model stored in the storage unit 60. Specifically, edge processing is performed on the person region image to detect an elliptical edge distribution that approximates the contour shape of the head, and a region surrounded by the edge distribution is extracted as a face region. Since the facial image used for authentication is required to have a resolution that allows the facial features to be grasped, an elliptical area that is larger than a predetermined extraction criterion is selected as an extraction target. As an index indicating the size of the elliptical area, for example, the area of the elliptical area, the length of the horizontal axis / vertical axis, and the like are used.
なお、楕円領域に含まれる眼、鼻、口といった顔を構成する部位の形状と近似するエッジ分布を検出し、楕円領域における眼、鼻、口の大まかな位置関係が顔形状モデルと類似することを条件に顔領域を抽出してもよい。この場合、両眼間の距離、眼と鼻との距離、鼻と口との距離など部位間の距離（ピクセル数）を顔領域の抽出基準に用い、一定以上の大きさを持つ顔を抽出する。 Edge distribution that approximates the shape of the part of the face such as the eyes, nose, and mouth included in the elliptical area is detected, and the approximate positional relationship of the eyes, nose, and mouth in the elliptical area is similar to that of the face shape model The face area may be extracted on the condition. In this case, the distance between the parts (number of pixels) such as the distance between the eyes, the distance between the eyes and the nose, and the distance between the nose and the mouth is used as the extraction criterion of the face region, and a face having a certain size or more is extracted. To do.
顔照合手段８３は、対象の人物が予め登録された利用者であるか否かを判定する照合処理を実行する。顔照合手段８３は、登録者データ６２を参照して、処理対象の顔画像をすべての登録顔画像と照合してそれぞれ類似度を算出し、最大の類似度を得た登録顔画像の利用者ＩＤおよびその類似度を、追跡対象の人物に関する追跡データ６４に記録する。類似度の算出方法には、例えば、入力顔画像と登録顔画像とをマッチング処理し、両画像の顔領域の一致度合いを求める方法、或いは、顔画像の顔領域から眼や鼻などの複数の特徴点を抽出し、両画像間で対応する特徴点同士の位置関係の一致度合いを求める方法などがある。 The face matching unit 83 executes a matching process for determining whether the target person is a user registered in advance. The face collating unit 83 refers to the registrant data 62, collates the face image to be processed with all the registered face images, calculates the similarity, and uses the registered face image user who has obtained the maximum similarity. The ID and its similarity are recorded in the tracking data 64 related to the person to be tracked. As a method for calculating the similarity, for example, a matching process is performed on the input face image and the registered face image, and the degree of coincidence between the face areas of both images is obtained, or a plurality of eyes, noses, and the like are obtained from the face area of the face image. There is a method of extracting feature points and obtaining the degree of coincidence of the positional relationships between the corresponding feature points between both images.
顔照合手段８３は、一定期間分の照合履歴に基づいて追跡対象の人物の顔が特定の利用者の顔と同一であるか否か判定する。具体的には、処理対象の人物に関する追跡データ６４を参照し、過去一定期間の入力画像において、認証候補者に同一の利用者ＩＤが所定割合以上あり、且つ、その利用者ＩＤと照合したときの類似度が所定の照合基準値以上である場合、追跡対象の人物をその利用者ＩＤに対応する利用者として認証する。例えば、過去１０フレームにおける照合のうち、同一の利用者ＩＤが７回以上あり、その利用者ＩＤとの類似度の平均値が照合基準値以上であることを認証条件とする。 The face matching unit 83 determines whether the face of the person to be tracked is the same as the face of a specific user based on the matching history for a certain period. Specifically, referring to the tracking data 64 related to the person to be processed, in the input image for a certain period in the past, when there is a predetermined percentage or more of the same user ID in the authentication candidates and the user ID is collated Is equal to or higher than a predetermined reference value, the person to be tracked is authenticated as a user corresponding to the user ID. For example, among the verifications in the past 10 frames, the same user ID is 7 times or more, and the average value of the similarity with the user ID is equal to or higher than the verification reference value.
また、顔照合手段８３は、認証結果を対象人物の追跡データ６４に記録する。何れかの登録利用者と一致判定した場合、追跡データ６４の認証結果を「認証済み」に更新し、その人物に対しては以降照合処理を行わない。一方、何れの登録利用者とも一致しないと判定した場合には、認証結果を「未認証」に維持し、次フレーム以降もその人物に対する照合処理を継続する。なお、同一の追跡対象の人物について一定時間継続して「未認証」と判定し続けた場合、その人物に対する照合処理を終了させてもよい。 Further, the face collating unit 83 records the authentication result in the tracking data 64 of the target person. If it matches with any registered user, the authentication result of the tracking data 64 is updated to “authenticated”, and the verification process is not performed for that person thereafter. On the other hand, if it is determined that it does not match any registered user, the authentication result is maintained as “unauthenticated”, and the verification process for the person is continued after the next frame. If the same tracking target person continues to be determined as “unauthenticated” for a certain period of time, the matching process for that person may be terminated.
認可手段８４は、人物の顔領域の大きさに基づいてゲート２０への人物の接近判定を行い、また、顔照合手段８３による認証結果と接近判定の結果により、ゲート２０近傍の認可領域内に認証者がいるか否かを判定する。認証者が認可領域内にいる場合、出力部７０を介してゲート制御装置３０へ通行許可信号を出力する。
認証者の通行を許可すると、認可手段８４は、その人物に関する追跡データ６４を用いて認証履歴データ６６を更新する。認証履歴データ６６には、利用者ＩＤに対応付けて、通行許可した旨の情報および通行時刻、最も高い類似度を得たときの顔画像を記録する。
The authorization unit 84 determines the approach of the person to the gate 20 based on the size of the face area of the person, and the authentication unit 84 determines whether the person is within the authorized region near the gate 20 based on the authentication result and the result of the approach determination by the face matching unit 83. Determine whether there is an authenticator. When the authenticator is in the authorization area, the passage permission signal is output to the gate control device 30 via the output unit 70.
When the certifier is permitted to pass, the authorization unit 84 updates the authentication history data 66 using the tracking data 64 related to the person. In the authentication history data 66, information indicating that the passage is permitted, the passage time, and the face image when the highest similarity is obtained are recorded in association with the user ID.
接近判定にかかる顔領域の大きさ指標には、顔抽出手段８２で抽出された顔領域の面積、または横軸／縦軸の長さを用いる。或いは、切り出した顔画像の面積や横軸／縦軸の長さを指標としてもよい。また、特徴抽出した両眼間の距離、眼と鼻との距離、鼻と口との距離など顔の部位間の距離（ピクセル数）を指標とすることもできる。顔抽出手段８２による顔抽出処理と同じ指標を用いる場合は、認可手段８４による顔領域の大きさ算出処理を省略できる。 The face area size extracted by the face extracting means 82 or the length of the horizontal axis / vertical axis is used as the size index of the face area related to the approach determination. Alternatively, the area of the cut face image or the length of the horizontal axis / vertical axis may be used as an index. Further, the distance (number of pixels) between facial parts such as the distance between both eyes, the distance between the eyes and the nose, and the distance between the nose and the mouth that are extracted can be used as an index. When the same index as the face extraction process by the face extraction unit 82 is used, the face area size calculation process by the authorization unit 84 can be omitted.
認可手段８４は、入力画像における顔領域の位置に対応する判定基準値を用いて、当該顔領域の大きさが基準値以上であるか否か判定する。顔領域の大きさが判定基準値以上の場合、その人物は認可領域内にいるとみなす。 The authorization unit 84 uses the determination reference value corresponding to the position of the face area in the input image to determine whether the size of the face area is greater than or equal to the reference value. If the size of the face area is greater than or equal to the criterion value, the person is considered to be in the authorized area.
ここで、顔の位置と判定基準値との関係を示す基準値情報について説明する。図４は画像上の位置と判定基準値との対応関係を示す模式図である。本実施形態の顔認証システムでは、カメラ１０が比較的高い位置に設けられているため、背が高い人物ほど画像の上側に大きく顔領域が現れる。このため、画像の上端側から下端側へいくほど判定基準値を小さく設定し、顔領域が小さくても認可領域内にいると判定され易くする。図４（ａ）に示す基準値情報の例では、画像を上下方向に３つの領域に区分けし、上段領域を基準領域とし、中段領域、下段領域の順に判定基準値が小さくなるように設定されている。また、図４（ｂ）は画像を領域分けしない例であり、画像の上端を基準位置とし、下端側へ離れるほど判定基準値が小さくなるように設定されている。なお、画像上の位置に応じた判定基準値の設定方法はこれらの例に限定されるものではない。 Here, reference value information indicating the relationship between the face position and the determination reference value will be described. FIG. 4 is a schematic diagram showing the correspondence between the position on the image and the determination reference value. In the face authentication system of the present embodiment, since the camera 10 is provided at a relatively high position, a taller person appears on the upper side of the image as the person is taller. For this reason, the determination reference value is set to be smaller as it goes from the upper end side to the lower end side of the image, so that it is easily determined that the face area is small even if the face area is small. In the example of the reference value information shown in FIG. 4A, the image is divided into three regions in the vertical direction, the upper region is set as the reference region, and the determination reference value is set to decrease in the order of the middle region and the lower region. ing. FIG. 4B shows an example in which the image is not divided into regions. The upper end of the image is set as a reference position, and the determination reference value is set to be smaller as the distance from the lower end is increased. Note that the method for setting the determination reference value according to the position on the image is not limited to these examples.
認可手段８４は、顔領域の画像上における位置を求め、その位置に対応する判定基準値を用いて顔領域が所定の大きさ以上であるか否か判定する。顔領域の位置は、例えば、顔領域の重心の座標、または、切り出された顔画像の重心の座標とする。或いは、鼻の特徴点を構成する座標を顔領域の位置としてもよい。認可手段８４は、求めた顔領域の位置が図４（ａ）の何れの領域に属するかにより、判定に用いる基準値を設定する。なお、区分けした領域ごとに判定基準値が設定される場合、顔領域が含まれる面積が最も大きい区分領域を判定し、その領域に対応する判定基準値を用いてもよい。 The authorization unit 84 obtains the position of the face area on the image and determines whether or not the face area is greater than or equal to a predetermined size using a determination reference value corresponding to the position. The position of the face area is, for example, the coordinates of the center of gravity of the face area or the coordinates of the center of gravity of the cut face image. Alternatively, the coordinates constituting the nose feature point may be used as the position of the face region. The authorization unit 84 sets a reference value used for determination depending on which region in FIG. 4A the position of the obtained face region belongs to. In addition, when the determination reference value is set for each divided area, the divided area having the largest area including the face area may be determined, and the determination reference value corresponding to the area may be used.
表示制御手段８５は、出力部７０を介して、カメラ１０で撮影された入力画像を順次モニタ４０へ出力する。また表示制御手段８５は、追跡データを参照し、認証結果が認証済みの追跡人物に対し、認証済みであることを示す教示情報を付加してモニタ４０に表示させる。例えば、人物の顔領域に対して矩形枠を重畳した教示画像を生成し、これを表示する。認証者は教示画像をモニタ４０で確認することで、ゲート２０が開放されていない状態でも自身が認証済みであることを認識できる。なお、認証されたタイミングで認証済みであることを教示するのではなく、通行許可した時点でその旨を示す教示情報を付加して表示する構成としてもよい。 The display control means 85 sequentially outputs input images taken by the camera 10 to the monitor 40 via the output unit 70. Further, the display control unit 85 refers to the tracking data and adds the teaching information indicating that the authentication result has been authenticated to the tracking person whose authentication result has been authenticated, and causes the monitor 40 to display the information. For example, a teaching image in which a rectangular frame is superimposed on the face area of a person is generated and displayed. By confirming the teaching image on the monitor 40, the authenticator can recognize that he has been authenticated even when the gate 20 is not opened. In addition, it is good also as a structure which does not teach that it has been authenticated at the time of authentication, but adds and displays teaching information indicating that when passage is permitted.
次に、顔認証システムの動作について説明する。図５は、処理部８０による認証処理の流れを示すフローチャートである。処理部８０は、入力画像から抽出された顔画像ごとに以下の認証処理を実行する。１フレームの入力画像から複数の顔画像が抽出された場合は、それぞれの顔画像について認証処理を行う。 Next, the operation of the face authentication system will be described. FIG. 5 is a flowchart showing the flow of authentication processing by the processing unit 80. The processing unit 80 performs the following authentication process for each face image extracted from the input image. When a plurality of face images are extracted from an input image of one frame, authentication processing is performed for each face image.
認証処理を開始すると、まず、追跡データ６４を参照して認証結果が「認証済み」であるか判定し（Ｓ５００）、「認証済み」の場合は照合処理を省略してステップＳ５１０へ進む。認証結果が「未認証」の場合、登録者データ６２の各顔画像と照合して類似度を算出し（Ｓ５０２）、所定の一致基準を満たすか否か判定する（Ｓ５０４）。照合基準を満たす場合、追跡データ６４の認証結果を「認証済み」に設定し（Ｓ５０６）、照合基準を満たさない場合は、認証結果を「未認証」に維持したまま、その人物に対する認証処理を終了する（Ｓ５０８）。 When the authentication process is started, it is first determined whether or not the authentication result is “authenticated” with reference to the tracking data 64 (S500). If “authenticated”, the verification process is omitted and the process proceeds to step S510. When the authentication result is “unauthenticated”, the similarity is calculated by collating with each face image of the registrant data 62 (S502), and it is determined whether or not a predetermined matching criterion is satisfied (S504). If the verification criteria are satisfied, the authentication result of the tracking data 64 is set to “authenticated” (S506). If the verification criteria are not satisfied, authentication processing for the person is performed while maintaining the authentication result “unauthenticated”. The process ends (S508).
ステップＳ５１０では、認証済みの人物について、入力画像上での顔領域の位置を特定する。そして、顔位置に対応して設定された判定基準値を読み出し（Ｓ５１２）、顔領域の大きさが判定基準値以上であるか否か判定する（Ｓ５１４）。顔領域の大きさが判定基準値以上であれば、その認証者は認可領域内にいると認識して通行を許可し（Ｓ５１６）、ゲート制御装置３０へ通行許可信号を出力する（Ｓ５１８）。一方、顔領域の大きさが判定基準値に満たなければ、その認証者はまだ認可領域に到達していないとみなし、通行を許可せず認証処理を終了する。 In step S510, the position of the face area on the input image is specified for the authenticated person. Then, the determination reference value set corresponding to the face position is read (S512), and it is determined whether or not the size of the face area is equal to or larger than the determination reference value (S514). If the size of the face area is equal to or larger than the determination reference value, the authenticator recognizes that the person is in the authorized area and permits the passage (S516), and outputs a passage permission signal to the gate control device 30 (S518). On the other hand, if the size of the face area does not satisfy the determination reference value, it is assumed that the certifier has not yet reached the authorization area, and the authentication process is terminated without permitting passage.
以上に説明したように、本実施形態の顔認証システムによれば、ゲート２０から離れた位置で人物を認証した場合でも、その認証者がゲート２０に接近したときに限って通行を許可するため、正規の利用者の通行を認証遅延により妨げることなく、且つ、未認証の第三者の不正通行を防止できる。また、認証用のカメラ１０とは別にゲート２０への接近を判定するための追加構成（追跡用カメラ等）を持つことなく、簡易な構成で上記効果を奏することができる。
また、接近判定に用いる顔領域の大きさ判定基準値を画像上の顔の位置に応じて異ならせることで、背の高さの違いに起因して認可範囲に誤差が発生することを抑制できる。
As described above, according to the face authentication system of the present embodiment, even when a person is authenticated at a position away from the gate 20, the passage is permitted only when the authenticator approaches the gate 20. It is possible to prevent unauthorized users from unauthorized traffic without interfering with legitimate user traffic due to authentication delay. In addition, the above-described effects can be achieved with a simple configuration without having an additional configuration (tracking camera or the like) for determining approach to the gate 20 separately from the authentication camera 10.
In addition, by making the size determination reference value of the face area used for the approach determination different according to the face position on the image, it is possible to suppress the occurrence of an error in the approved range due to the difference in the height of the back. .
なお、上記実施形態の顔認証システムでは、歩行中の認証者が管理区域側に接近を検出した時点で通行許可し、ゲート２０による物理的な通行規制を解除する構成としたが、通行規制手段を設けずに利用者の出入を記録するだけの構成としてもよい。この場合、管理区域側への認証者の接近を検出した時点、すなわち認可領域への認証者の進入を検出した時点で、その人物が管理区域へ入場したことを記録する。このように、物理的な通行規制を行わず、通行者の履歴を記録するだけの出入管理システムにも適用できる。 In the face authentication system of the above embodiment, the passage is permitted when the walking authenticator detects the approach to the management area and the physical passage restriction by the gate 20 is released. It is good also as a structure which only records a user's exit / entry without providing. In this case, it is recorded that the person has entered the management area when the approach of the certifier to the management area side is detected, that is, when the entry of the certifier to the authorized area is detected. In this way, the present invention can also be applied to an access control system that only records the passer's history without restricting physical traffic.
また、顔領域の位置ごとに大きさ判定基準値を可変しない構成とすることもできる。この場合、記憶部６０には単一の判定基準値が記憶され、認可手段８４は顔位置によらずこの判定基準値を用いて接近判定を行う。図５のフローチャートにおいて、ステップＳ５１０及びＳ５１２は省略される。 Further, the size determination reference value may not be changed for each position of the face area. In this case, a single determination reference value is stored in the storage unit 60, and the authorization unit 84 performs an approach determination using this determination reference value regardless of the face position. In the flowchart of FIG. 5, steps S510 and S512 are omitted.
また、上記実施形態の顔認証システムでは、図２に示されるように、カメラ１０を人物より高い位置に設置した環境での構成・動作を説明したが、他の設置環境においても本発明の顔認証システムは適用可能である。以下、他の設置環境に適用した場合の変形例について説明する。 In the face authentication system of the above embodiment, as shown in FIG. 2, the configuration and operation in an environment in which the camera 10 is installed at a position higher than a person has been described, but the face of the present invention is also used in other installation environments. The authentication system is applicable. Hereinafter, a modified example when applied to another installation environment will be described.
（変形例１）人物の顔を正面から撮影するように、平均的な人物の顔の高さ（例えば１．５ｍ程度）にカメラを設置した環境への適用例を説明する。
図６の模式図に示した運用状況では、カメラ１０は人物１３０の顔を水平正面から撮影する高さにある。この人物１３０が認可領域外の地点ｃから認可領域内の地点ｄへ移動すると、画像上では、人物１３０の顔領域は入力画像上の中段に位置した状態で徐々に大きくなっていく。これに対し、人物１３０より背が高い人物１４０は、カメラ１０から離れた地点ｃでは人物１３０と同様に画像の中段に顔領域が現れるが、カメラ１０への接近に伴い顔領域は画像の上側に移動し、カメラ近傍の地点ｄでは画像の上段に写る。また、同一の地点ｄに立つ人物１３０よりもカメラ１０と顔の距離が長くなるため、人物１４０の顔領域の大きさは人物１３０の顔領域より画像上では小さく写る。
(Modification 1) An application example to an environment in which a camera is installed at an average human face height (for example, about 1.5 m) so as to photograph a human face from the front will be described.
In the operational situation shown in the schematic diagram of FIG. 6, the camera 10 is at a height for photographing the face of the person 130 from the horizontal front. When the person 130 moves from a point c outside the authorization area to a point d within the authorization area, the face area of the person 130 gradually increases in the state of being positioned in the middle stage on the input image. On the other hand, the person 140 taller than the person 130 has a face area in the middle of the image at the point c far from the camera 10 like the person 130, but as the camera 10 approaches the face area, To the upper part of the image at a point d near the camera. Further, since the distance between the camera 10 and the face is longer than that of the person 130 standing at the same point d, the size of the face area of the person 140 appears smaller on the image than the face area of the person 130.
したがって、この設置環境における画像上の位置と判定基準値との関係は、上記実施形態とは異なり、画像の中段を大きな判定基準値とし、画像の上端側、下端側にいくほど判定基準値を小さく設定して、顔領域が小さくても認可領域内にいると判定され易くする。
図７は、変形例１における、画像上の位置と判定基準値との関係を示す模式図である。図７（ａ）に示す基準値情報の例では、画像を上下方向に３つの領域に区分けし、中段領域を基準領域とし、上段領域、下段領域の判定基準値は中段領域より小さく設定されている。また、図７（ｂ）は画像を領域分けしない例であり、画像の上下方向の中央を基準位置とし、上端側または下端側へ離れるほど判定基準値が小さくなるように設定されている。
Therefore, the relationship between the position on the image and the determination reference value in this installation environment is different from the above embodiment, and the determination reference value is set toward the upper end side and the lower end side of the image, with the middle stage of the image being a large determination reference value. A small value is set so that it is easy to determine that the face area is small even if the face area is small.
FIG. 7 is a schematic diagram illustrating the relationship between the position on the image and the determination reference value in the first modification. In the example of the reference value information shown in FIG. 7A, the image is divided into three regions in the vertical direction, the middle region is set as the reference region, and the determination reference values for the upper region and the lower region are set smaller than those in the middle region. Yes. FIG. 7B shows an example in which the image is not divided into regions. The center of the image in the vertical direction is used as a reference position, and the determination reference value is set to decrease as the distance from the upper end side or the lower end side increases.
（変形例２）また、他の設置環境として、カメラを人物の顔位置より低い位置（例えば１ｍ程度）とした場合には、近距離では背が低い人物の方が同位置に立つ背が高い人物よりカメラと顔との距離が短くなる。したがって、画像上では、背が低い人物の顔領域は下側に大きく写り、背が高い人物の顔領域は上側に小さく写る。この設置環境においては、画像上の位置と判定基準値との関係は、例えば、画像の下段領域を基準領域とし、中段領域、上段領域の順に判定基準値が小さくなるように設定すればよい。或いは、画像の下端を基準位置とし、上端側へいくほど判定基準値が小さくなるように設定してもよい。 (Modification 2) As another installation environment, when the camera is set at a position lower than the face position of the person (for example, about 1 m), the short person standing at the same position is taller at a short distance. The distance between the camera and the face is shorter than the person. Therefore, on the image, the face area of a short person appears large on the lower side, and the face area of a tall person appears small on the upper side. In this installation environment, for example, the relationship between the position on the image and the determination reference value may be set so that the determination reference value decreases in the order of the middle region and the upper region with the lower region of the image as the reference region. Alternatively, the lower end of the image may be set as the reference position, and the determination reference value may be set to be smaller toward the upper end side.
（変形例３）上記実施形態の顔認証システムでは、画像上の上下方向の位置に応じて通行許可するための判定基準値を異ならせる構成としたが、他の実施形態として、画像上の左右方向の位置に応じて顔領域の大きさ判定基準値を異ならせ、通行許可のタイミングを制御する構成としてもよい。この実施形態における顔認証システムでは、例えば、画像を左右方向に３つの領域に区分けして、中央領域を基準領域とし、右領域、左領域の判定基準値を中央領域の判定基準値より大きく設定して通行許可され難くする。これにより、ゲートを通過せずゲート側方の通路に逸れる認証者に対して誤ってゲートを開放してしまうことが防止される。また、複数のゲートを並列配置したシステム構成に適用することで、隣のゲートに向かう認証者に対し誤ってゲート開放することを防止可能である。 (Modification 3) In the face authentication system of the above-described embodiment, the determination reference value for allowing the passage is changed according to the vertical position on the image. The face area size determination reference value may be varied according to the position of the direction to control the passage permission timing. In the face authentication system according to this embodiment, for example, an image is divided into three regions in the left-right direction, the central region is set as a reference region, and the determination reference values for the right region and the left region are set larger than the determination reference value for the central region. And make it difficult to pass. As a result, it is possible to prevent the gate from being accidentally opened to an authenticator who does not pass through the gate and moves to the passage on the side of the gate. Further, by applying the present invention to a system configuration in which a plurality of gates are arranged in parallel, it is possible to prevent the certifier heading for the adjacent gate from opening the gate by mistake.
（変形例４）また、他の実施形態として、画像上の上下方向の位置および左右方向の位置の両方を考慮し、顔領域の位置に応じた判定基準値を設定する構成としてもよい。例えば、高い位置にカメラが設置され、カメラの視野方向に対して右側に隣のゲートが存在するような設置環境に適用する場合、判定基準値は、画像の上側ほど大きく、かつ、画像の右側ほど大きくなるように設定される。これにより、背の高さによる通行許可範囲の誤差を抑制できるとともに、隣のゲートに向かう認証者に対して誤ってゲートを開放してしまうことが防止される。 (Modification 4) As another embodiment, a determination reference value may be set according to the position of the face region in consideration of both the vertical position and the horizontal position on the image. For example, when applied to an installation environment in which a camera is installed at a high position and there is an adjacent gate on the right side with respect to the viewing direction of the camera, the criterion value is larger at the upper side of the image and the right side of the image It is set to become larger. Thereby, while being able to suppress the error of the traffic permission range due to the height, it is possible to prevent the gate from being accidentally opened to the authenticator heading for the adjacent gate.
１０ カメラ、２０ ゲート、３０ ゲート制御装置、４０ モニタ、５０ 認証装置
10 cameras, 20 gates, 30 gate control devices, 40 monitors, 50 authentication devices
Claims (5)
前記認証領域を撮影して入力画像を順次取得する画像取得手段と、
予め登録された利用者の登録顔画像を記憶する記憶手段と、
前記入力画像から抽出された人物の顔画像と前記登録顔画像とを照合し、当該人物が前記利用者であることを認証する顔照合手段と、
前記入力画像における前記認証された人物を示す領域の大きさが所定以上のとき、当該人物の通行を許可する認可手段と、
を備えることを特徴とする顔認証システム。 In a face authentication system that performs face authentication of a person passing through an authentication area and determines whether the person is permitted to pass,
Image acquisition means for capturing the authentication area and sequentially acquiring input images;
Storage means for storing a registered face image of a user registered in advance;
Face collation means for collating the face image of the person extracted from the input image with the registered face image and authenticating that the person is the user;
An authorization unit that permits passage of the person when the size of the area indicating the authenticated person in the input image is equal to or greater than a predetermined value;
A face authentication system comprising:
前記認可手段は、前記入力画像における人物を示す領域の大きさが所定以上であり、且つ、当該人物が利用者として認証済みであるとき、当該人物の通行を許可する、請求項１に記載の顔認証システム。 Furthermore, it has tracking means for tracking the same person extracted from the input image sequentially acquired in association with the authentication result by the face matching means,
2. The authorization unit according to claim 1, wherein when the size of a region indicating a person in the input image is equal to or larger than a predetermined value and the person has been authenticated as a user, the authorization unit permits passage of the person. Face recognition system.
The authorization unit varies the determination reference value according to the position of the face area in the vertical direction of the input image, and the determination is performed on a reference position on the input image or a position or area that is further away from the reference area in the vertical direction. The face authentication system according to claim 4, wherein the reference value is set to be small.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013125111A JP6151582B2 (en) | 2013-06-14 | 2013-06-14 | Face recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013125111A JP6151582B2 (en) | 2013-06-14 | 2013-06-14 | Face recognition system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015001790A true JP2015001790A (en) | 2015-01-05 |
| JP6151582B2 JP6151582B2 (en) | 2017-06-21 |
Family
ID=52296298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013125111A Active JP6151582B2 (en) | 2013-06-14 | 2013-06-14 | Face recognition system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6151582B2 (en) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296950A (en) * | 2016-09-30 | 2017-01-04 | 深圳市商汤科技有限公司 | A kind of gate control system based on recognition of face |
| JP6409929B1 (en) * | 2017-09-19 | 2018-10-24 | 日本電気株式会社 | Verification system |
| WO2018229873A1 (en) * | 2017-06-13 | 2018-12-20 | 三菱電機株式会社 | Room entry/exit management device |
| WO2019058800A1 (en) | 2017-09-19 | 2019-03-28 | 日本電気株式会社 | Verification system |
| CN109754496A (en) * | 2017-11-06 | 2019-05-14 | 中国电信股份有限公司 | Guard method and system |
| WO2019151116A1 (en) * | 2018-01-31 | 2019-08-08 | 日本電気株式会社 | Information processing device |
| WO2019151117A1 (en) * | 2018-01-31 | 2019-08-08 | 日本電気株式会社 | Information processing device |
| JP2019194875A (en) * | 2017-09-19 | 2019-11-07 | 日本電気株式会社 | Collation system |
| JP2019219721A (en) * | 2018-06-15 | 2019-12-26 | パナソニック株式会社 | Entry/exit authentication system and entry/exit authentication method |
| JP2020063659A (en) * | 2018-01-31 | 2020-04-23 | 日本電気株式会社 | Information processing system |
| JP2020077399A (en) * | 2019-10-10 | 2020-05-21 | 日本電気株式会社 | Information processing device |
| JP2020154765A (en) * | 2019-03-20 | 2020-09-24 | 株式会社デンソーウェーブ | Authentication system |
| WO2021059537A1 (en) | 2019-09-27 | 2021-04-01 | 日本電気株式会社 | Information processing device, terminal device, information processing system, information processing method, and recording medium |
| WO2021206014A1 (en) * | 2020-04-07 | 2021-10-14 | Nec Corporation | Information processing apparatus, information processing method, and storage medium |
| JP2021193268A (en) * | 2019-12-10 | 2021-12-23 | 日本電気株式会社 | Information processing system |
| WO2022003853A1 (en) * | 2020-07-01 | 2022-01-06 | 日本電気株式会社 | Authentication control device, authentication control system, authentication control method, and non-transitory computer-readable medium |
| JP2022008339A (en) * | 2017-09-19 | 2022-01-13 | 日本電気株式会社 | Collation system |
| JP2022043277A (en) * | 2019-10-10 | 2022-03-15 | 日本電気株式会社 | Information processing apparatus |
| WO2022124089A1 (en) * | 2020-12-07 | 2022-06-16 | パナソニックＩｐマネジメント株式会社 | Information processing device, information processing system, and passage management method |
| WO2022149376A1 (en) * | 2021-01-05 | 2022-07-14 | 日本電気株式会社 | Biometric authentication control unit, system, control method for biometric authentication control unit, and recording medium |
| WO2022208640A1 (en) * | 2021-03-30 | 2022-10-06 | 日本電気株式会社 | Gate device, biometric authentication control unit, system, gate device control method, and storage medium |
| WO2022219933A1 (en) * | 2021-04-16 | 2022-10-20 | パナソニックＩｐマネジメント株式会社 | Information processing device and information processing method |
| US20220335766A1 (en) * | 2019-10-04 | 2022-10-20 | Nec Corporation | Information processing apparatus, information processing method, and storage medium |
| WO2022234613A1 (en) * | 2021-05-06 | 2022-11-10 | 日本電気株式会社 | System, gate device, control method for gate device, and storage medium |
| WO2023248384A1 (en) * | 2022-06-22 | 2023-12-28 | 日本電気株式会社 | Information processing device, information processing system, information processing method, and recording medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107967731A (en) * | 2017-07-10 | 2018-04-27 | 常州信息职业技术学院 | Door-locking system based on two-dimensional code scanning unlock |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004151978A (en) * | 2002-10-30 | 2004-05-27 | Toshiba Corp | Figure recognition device, figure recognition method and passage control device |
| JP2005135271A (en) * | 2003-10-31 | 2005-05-26 | Toshiba Corp | Face collation device and passage controller |
| JP2006177086A (en) * | 2004-12-24 | 2006-07-06 | Matsushita Electric Ind Co Ltd | Entry and exit controller for room |
| JP2006236260A (en) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | Face authentication device, face authentication method, and entrance/exit management device |
| JP2007213369A (en) * | 2006-02-10 | 2007-08-23 | Matsushita Electric Ind Co Ltd | Apparatus and method for biometric authentication |
| JP2007303239A (en) * | 2006-05-15 | 2007-11-22 | Konica Minolta Holdings Inc | Authentication apparatus, method of controlling authentication apparatus, and control program of authentication apparatus |
| JP2013065118A (en) * | 2011-09-15 | 2013-04-11 | Toshiba Corp | Face recognition device and face recognition method |
-
2013
- 2013-06-14 JP JP2013125111A patent/JP6151582B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004151978A (en) * | 2002-10-30 | 2004-05-27 | Toshiba Corp | Figure recognition device, figure recognition method and passage control device |
| JP2005135271A (en) * | 2003-10-31 | 2005-05-26 | Toshiba Corp | Face collation device and passage controller |
| JP2006177086A (en) * | 2004-12-24 | 2006-07-06 | Matsushita Electric Ind Co Ltd | Entry and exit controller for room |
| JP2006236260A (en) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | Face authentication device, face authentication method, and entrance/exit management device |
| JP2007213369A (en) * | 2006-02-10 | 2007-08-23 | Matsushita Electric Ind Co Ltd | Apparatus and method for biometric authentication |
| JP2007303239A (en) * | 2006-05-15 | 2007-11-22 | Konica Minolta Holdings Inc | Authentication apparatus, method of controlling authentication apparatus, and control program of authentication apparatus |
| JP2013065118A (en) * | 2011-09-15 | 2013-04-11 | Toshiba Corp | Face recognition device and face recognition method |
Cited By (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296950A (en) * | 2016-09-30 | 2017-01-04 | 深圳市商汤科技有限公司 | A kind of gate control system based on recognition of face |
| JPWO2018229873A1 (en) * | 2017-06-13 | 2019-11-07 | 三菱電機株式会社 | Entrance / exit management device |
| WO2018229873A1 (en) * | 2017-06-13 | 2018-12-20 | 三菱電機株式会社 | Room entry/exit management device |
| JP2022008339A (en) * | 2017-09-19 | 2022-01-13 | 日本電気株式会社 | Collation system |
| JP2019194875A (en) * | 2017-09-19 | 2019-11-07 | 日本電気株式会社 | Collation system |
| JP2019053674A (en) * | 2017-09-19 | 2019-04-04 | 日本電気株式会社 | Collation system |
| JP2019053675A (en) * | 2017-09-19 | 2019-04-04 | 日本電気株式会社 | Collation system |
| US11210496B2 (en) | 2017-09-19 | 2021-12-28 | Nec Corporation | Collation system |
| JP6409929B1 (en) * | 2017-09-19 | 2018-10-24 | 日本電気株式会社 | Verification system |
| JP7298658B2 (en) | 2017-09-19 | 2023-06-27 | 日本電気株式会社 | Matching system |
| US11295116B2 (en) | 2017-09-19 | 2022-04-05 | Nec Corporation | Collation system |
| US11704932B2 (en) | 2017-09-19 | 2023-07-18 | Nec Corporation | Collation system |
| WO2019058801A1 (en) | 2017-09-19 | 2019-03-28 | 日本電気株式会社 | Verification system |
| AU2018338030B2 (en) * | 2017-09-19 | 2021-10-07 | Nec Corporation | Collation system |
| US11978295B2 (en) | 2017-09-19 | 2024-05-07 | Nec Corporation | Collation system |
| WO2019058800A1 (en) | 2017-09-19 | 2019-03-28 | 日本電気株式会社 | Verification system |
| CN109754496A (en) * | 2017-11-06 | 2019-05-14 | 中国电信股份有限公司 | Guard method and system |
| JP2020063659A (en) * | 2018-01-31 | 2020-04-23 | 日本電気株式会社 | Information processing system |
| JP2019132019A (en) * | 2018-01-31 | 2019-08-08 | 日本電気株式会社 | Information processing unit |
| WO2019151116A1 (en) * | 2018-01-31 | 2019-08-08 | 日本電気株式会社 | Information processing device |
| US11727723B2 (en) | 2018-01-31 | 2023-08-15 | Nec Corporation | Information processing device |
| WO2019151117A1 (en) * | 2018-01-31 | 2019-08-08 | 日本電気株式会社 | Information processing device |
| US11335125B2 (en) | 2018-01-31 | 2022-05-17 | Nec Corporation | Information processing device |
| JP2019133364A (en) * | 2018-01-31 | 2019-08-08 | 日本電気株式会社 | Information processing device |
| JP2019219721A (en) * | 2018-06-15 | 2019-12-26 | パナソニック株式会社 | Entry/exit authentication system and entry/exit authentication method |
| JP7167790B2 (en) | 2019-03-20 | 2022-11-09 | 株式会社デンソーウェーブ | Authentication system |
| JP2020154765A (en) * | 2019-03-20 | 2020-09-24 | 株式会社デンソーウェーブ | Authentication system |
| WO2021059537A1 (en) | 2019-09-27 | 2021-04-01 | 日本電気株式会社 | Information processing device, terminal device, information processing system, information processing method, and recording medium |
| JPWO2021059537A1 (en) * | 2019-09-27 | 2021-04-01 | ||
| EP4038584A4 (en) * | 2019-10-04 | 2022-11-23 | NEC Corporation | Information processing apparatus, information processing method, and storage medium |
| US20220335766A1 (en) * | 2019-10-04 | 2022-10-20 | Nec Corporation | Information processing apparatus, information processing method, and storage medium |
| JP7279774B2 (en) | 2019-10-10 | 2023-05-23 | 日本電気株式会社 | Information processing equipment |
| JP2022043277A (en) * | 2019-10-10 | 2022-03-15 | 日本電気株式会社 | Information processing apparatus |
| JP7006668B2 (en) | 2019-10-10 | 2022-01-24 | 日本電気株式会社 | Information processing equipment |
| JP7480885B2 (en) | 2019-10-10 | 2024-05-10 | 日本電気株式会社 | Information processing device |
| JP2020077399A (en) * | 2019-10-10 | 2020-05-21 | 日本電気株式会社 | Information processing device |
| JP2021193268A (en) * | 2019-12-10 | 2021-12-23 | 日本電気株式会社 | Information processing system |
| JP2023520575A (en) * | 2020-04-07 | 2023-05-17 | 日本電気株式会社 | Information processing device, information processing method, and storage medium |
| WO2021206014A1 (en) * | 2020-04-07 | 2021-10-14 | Nec Corporation | Information processing apparatus, information processing method, and storage medium |
| JP7338801B2 (en) | 2020-04-07 | 2023-09-05 | 日本電気株式会社 | Information processing device, information processing method, and storage medium |
| WO2022003853A1 (en) * | 2020-07-01 | 2022-01-06 | 日本電気株式会社 | Authentication control device, authentication control system, authentication control method, and non-transitory computer-readable medium |
| WO2022124089A1 (en) * | 2020-12-07 | 2022-06-16 | パナソニックＩｐマネジメント株式会社 | Information processing device, information processing system, and passage management method |
| JP2022090301A (en) * | 2020-12-07 | 2022-06-17 | パナソニックＩｐマネジメント株式会社 | Information processing device, information processing system and passage management method |
| WO2022149376A1 (en) * | 2021-01-05 | 2022-07-14 | 日本電気株式会社 | Biometric authentication control unit, system, control method for biometric authentication control unit, and recording medium |
| WO2022208640A1 (en) * | 2021-03-30 | 2022-10-06 | 日本電気株式会社 | Gate device, biometric authentication control unit, system, gate device control method, and storage medium |
| JP2022164310A (en) * | 2021-04-16 | 2022-10-27 | パナソニックＩｐマネジメント株式会社 | Information processing device and information processing method |
| JP7249555B2 (en) | 2021-04-16 | 2023-03-31 | パナソニックＩｐマネジメント株式会社 | Information processing device and information processing method |
| WO2022219933A1 (en) * | 2021-04-16 | 2022-10-20 | パナソニックＩｐマネジメント株式会社 | Information processing device and information processing method |
| WO2022234613A1 (en) * | 2021-05-06 | 2022-11-10 | 日本電気株式会社 | System, gate device, control method for gate device, and storage medium |
| WO2023248384A1 (en) * | 2022-06-22 | 2023-12-28 | 日本電気株式会社 | Information processing device, information processing system, information processing method, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6151582B2 (en) | 2017-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6151582B2 (en) | Face recognition system | |
| JP6148065B2 (en) | Face recognition system | |
| JP6148064B2 (en) | Face recognition system | |
| JP5012247B2 (en) | Authentication device, entrance management device, entrance / exit management device, entrance management system, entrance / exit management system, authentication processing method and program | |
| WO2015136938A1 (en) | Information processing method and information processing system | |
| JP6409929B1 (en) | Verification system | |
| JP2009104599A (en) | Face authenticating apparatus, face authenticating method and face authenticating system | |
| JP2010152552A (en) | Monitor system and method for monitoring tailgating intrusion | |
| KR20190136349A (en) | Face verifying method and apparatus based on 3d image | |
| JP2007156974A (en) | Personal identification/discrimination system | |
| JP7075702B2 (en) | Entry / exit authentication system and entry / exit authentication method | |
| JP2013109779A (en) | Monitor system and method for monitoring tailgating intrusion | |
| JP5955056B2 (en) | Face image authentication device | |
| JP2003233816A (en) | Access control system | |
| JP2024028426A (en) | information processing system | |
| JP2017044778A (en) | Authentication device | |
| JP6947202B2 (en) | Matching system | |
| KR101011272B1 (en) | Method for restricting plurality of user in entrance control system | |
| JP2004118359A (en) | Figure recognizing device, figure recognizing method and passing controller | |
| JP2006177086A (en) | Entry and exit controller for room | |
| JP5955057B2 (en) | Face image authentication device | |
| JP2003036442A (en) | Device for authenticating individual | |
| KR101050537B1 (en) | Front face image detection method for access certification storage of access control system | |
| WO2019151116A1 (en) | Information processing device | |
| JP2007193558A (en) | Entrance/exit management support system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6151582 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |