JP2000292853A - Method and device for photographing face picture - Google Patents

Method and device for photographing face picture

Info

Publication number
JP2000292853A
JP2000292853A JP11260705A JP26070599A JP2000292853A JP 2000292853 A JP2000292853 A JP 2000292853A JP 11260705 A JP11260705 A JP 11260705A JP 26070599 A JP26070599 A JP 26070599A JP 2000292853 A JP2000292853 A JP 2000292853A
Authority
JP
Japan
Prior art keywords
pupil
face image
normally opened
photographing
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11260705A
Other languages
Japanese (ja)
Other versions
JP4316063B2 (en
Inventor
Yoshinori Misumi
佳範 三角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP26070599A priority Critical patent/JP4316063B2/en
Priority to DE60045044T priority patent/DE60045044D1/en
Priority to EP03020356A priority patent/EP1380884B1/en
Priority to DE60013717T priority patent/DE60013717T2/en
Priority to EP03020355A priority patent/EP1376216B1/en
Priority to EP00114322A priority patent/EP1085366B1/en
Priority to DE60045263T priority patent/DE60045263D1/en
Priority to US09/612,239 priority patent/US6483993B1/en
Priority to CN00128692A priority patent/CN1288174A/en
Priority to KR10-2000-0040112A priority patent/KR100522514B1/en
Publication of JP2000292853A publication Critical patent/JP2000292853A/en
Priority to KR10-2002-0051123A priority patent/KR100408366B1/en
Priority to KR10-2002-0051122A priority patent/KR100408365B1/en
Priority to US10/254,867 priority patent/US6636694B1/en
Priority to US10/254,943 priority patent/US6813439B2/en
Priority to US10/712,002 priority patent/US6829432B2/en
Application granted granted Critical
Publication of JP4316063B2 publication Critical patent/JP4316063B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To automatically eliminate a picture which is not suitable as an output photograph that eyes are shut by detecting the positions of pupils from a face picture and deciding again whether the face picture is normally photographed or not, the position of the pupils are normally detected or not and the pupils are normally opened or not when the pupils are not normally opened. SOLUTION: The picture (face picture) 18 inputted from a camera is fetched through a video capture part and temporarily stored in a main memory in a CPU 11. Next, the outline position 19 of a face is detected from the inputted picture 18 in the main memory. When the position 19 of the face is within a prescribed range, the rough position area 20 of the pupils being the relative position between the position 19 of the face is calculated from the position 19. Then, round position areas 21 and 22 being identical to the shape of the pupils are extracted from the calculated area 20. When the number of areas 21 and 22 does not arrive at the prescribed number, it is decided that the pupils are not normally opened. Next, when the number of retrial times is within the prescribed number of times, the face picture is inputted again as a retrial after waiting in prescribed time.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、たとえば、身分証
明書や各種免許証などに貼付する証明用写真を作成する
ことを目的に、被撮影者の顔画像を撮影する顔画像撮影
方法および顔画像撮影装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a face image taking method and a face image taking method for taking a face image of a person to be photographed for the purpose of creating a photograph for identification to be attached to an identification card or various licenses. The present invention relates to an image capturing device.

【0002】[0002]

【従来の技術】一般に、この種の顔画像撮影装置にあっ
ては、被撮影者を撮影した際、瞳(目)が開いた状態か
どうかを人間系にて判定し、目つぶりなどの出力写真と
して適さない画像であった場合には、撮り直しなどの処
置を行なっていた。
2. Description of the Related Art In general, in this type of face image photographing apparatus, when photographing a subject, it is determined by a human system whether or not a pupil (eyes) is open, and output such as blinking of eyes is performed. If the image is not suitable as a photograph, measures such as re-taking are performed.

【0003】[0003]

【発明が解決しようとする課題】ところが、撮影サイク
ルが数秒程度と早い揚合、上記人間系の判定では、撮影
時の撮影装置の操作者(撮影者)の負荷が大きく、さら
に判定を誤まる確立も高くなる。
However, if the photographing cycle is as fast as several seconds, the load of the operator (photographer) of the photographing apparatus at the time of photographing is large in the above-described human-based determination, and the determination is further erroneous. The probability is also higher.

【0004】特に、判定を誤まって撮影して、印刷出力
した後、誤まった判定を行なった場合、既にその場には
いない被撮影者を呼び戻し、再度撮影しなければならな
い。また、印刷出力するに伴なう出力媒体(用紙など)
の費用が無駄に浪費されるという問題がある。
[0004] In particular, when an erroneous judgment is made after photographing and printing out with a wrong judgment, the subject who has not already been present must be recalled and photographed again. Output media (paper, etc.) that accompanies print output
Is wastefully wasted.

【0005】そこで、本発明は、目つぶりなどの出力写
真として適さない画像を自動的に排除し、常に最良の画
像を出力し得る顔画像撮影方法および顔画像撮影装置を
提供することを目的とする。
SUMMARY OF THE INVENTION It is an object of the present invention to provide a face image photographing method and a face image photographing apparatus capable of automatically removing an image that is not suitable as an output photograph such as a blink of an eye and always outputting the best image. I do.

【0006】[0006]

【課題を解決するための手段】本発明の顔画像撮影方法
は、被撮影者の顔画像を撮影するステップと、この撮影
した顔画像から瞳の位置を検出するステップと、この検
出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に
開いているか否かを判定するステップと、この判定によ
り瞳が正常に開いていないと判定された場合、前記顔画
像の撮影、前記瞳の位置検出、および、前記瞳が正常に
開いているか否かの判定を再度行なうステップとを有す
る。
According to the present invention, there is provided a method for photographing a face image, comprising the steps of: photographing a face image of a subject; detecting a position of a pupil from the photographed face image; Recognizing the state of the pupil based on the position and determining whether the pupil is normally opened; and, if the determination determines that the pupil is not normally opened, photographing the face image, Performing position detection and determining again whether the pupil is normally opened.

【0007】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていないと判定された場合、前記撮影手段による顔
画像の撮影、前記瞳位置検出手段による瞳の位置検出、
および、前記判定手段による瞳が正常に開いているか否
かの判定を再度行なわせるリトライ制御手段とを具備し
ている。
Further, the face image photographing apparatus of the present invention comprises: photographing means for photographing a face image of a subject; pupil position detecting means for detecting a pupil position from the face image photographed by the photographing means; Determining means for recognizing the state of the pupil based on the position of the pupil detected by the pupil position detecting means and determining whether the pupil is normally opened; and determining that the pupil is not normally opened by the determining means In this case, the photographing of the face image by the photographing means, the pupil position detection by the pupil position detecting means
And retry control means for re-determining whether the pupil is normally opened by the determination means.

【0008】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を撮影画像として出力するステップと、前記判定により
瞳が正常に開いていないと判定された場合、前記顔画像
の撮影、前記瞳の位置検出、および、前記瞳が正常に開
いているか否かの判定を再度行なうステップとを有す
る。
Further, the face image photographing method of the present invention includes a step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and a pupil based on the detected pupil position. And a step of determining whether the pupil is normally opened, and a step of outputting the captured face image as a captured image when it is determined that the pupil is normally opened by this determination. And when it is determined that the pupil is not normally opened by the determination, the step of taking the face image, detecting the position of the pupil, and determining again whether the pupil is normally opened is performed. Have.

【0009】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていると判定された場合、前記撮影手段により撮影
された顔画像を撮影画像として出力する画像出力手段
と、前記判定手段により瞳が正常に開いていないと判定
された場合、前記撮影手段による顔画像の撮影、前記瞳
位置検出手段による瞳の位置検出、および、前記判定手
段による瞳が正常に開いているか否かの判定を再度行な
わせるリトライ制御手段とを具備している。
The face image photographing apparatus according to the present invention comprises: photographing means for photographing a face image of a subject; pupil position detecting means for detecting a pupil position from the face image photographed by the photographing means; Determining means for recognizing a state of the pupil based on the position of the pupil detected by the pupil position detecting means and determining whether the pupil is normally opened; and determining that the pupil is normally opened by the determining means The image output means for outputting the face image photographed by the photographing means as a photographed image, and the photographing of the face image by the photographing means when the determining means determines that the pupil is not normally opened; A retry control unit is provided for causing the pupil position detection unit to detect the position of the pupil and the determination unit to determine again whether the pupil is normally opened.

【0010】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を印刷出力するステップと、前記判定により瞳が正常に
開いていないと判定された場合、前記顔画像の撮影、前
記瞳の位置検出、および、前記瞳が正常に開いているか
否かの判定を再度行なうステップとを有する。
Further, the face image photographing method of the present invention includes a step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and a pupil based on the detected pupil position. Recognizing the state of, the step of determining whether the pupil is normally open, and, if it is determined by this determination that the pupil is normally open, the step of printing out the captured face image, When it is determined that the pupil is not normally opened by the determination, a step of taking the face image, detecting the position of the pupil, and determining whether the pupil is normally opened again is performed.

【0011】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていると判定された場合、前記撮影手段により撮影
された顔画像を印刷出力する印刷出力手段と、前記判定
手段により瞳が正常に開いていないと判定された場合、
前記撮影手段による顔画像の撮影、前記瞳位置検出手段
による瞳の位置検出、および、前記判定手段による瞳が
正常に開いているか否かの判定を再度行なわせるリトラ
イ制御手段とを具備している。
Further, the face image photographing apparatus of the present invention comprises: photographing means for photographing a face image of a subject; pupil position detecting means for detecting a pupil position from the face image photographed by the photographing means; Determining means for recognizing a state of the pupil based on the position of the pupil detected by the pupil position detecting means and determining whether the pupil is normally opened; and determining that the pupil is normally opened by the determining means In the case where it is determined that the pupil is not normally opened by the printout means for printing out the face image photographed by the photographing means, and
And retry control means for re-performing the photographing of the face image by the photographing means, detecting the position of the pupil by the pupil position detecting means, and determining again whether the pupil is normally opened by the determining means. .

【0012】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を印刷出力するステップと、前記判定により瞳が正常に
開いていないと判定された場合、前記顔画像の撮影、前
記瞳の位置検出、および、前記瞳が正常に開いているか
否かの判定を再度行なわせるリトライ制御を行なうステ
ップと、このリトライ制御によるリトライ処理の回数を
計数し、その計数値があらかじめ設定される規定値に達
したか否かを判定するステップと、この判定により前記
リトライ処理の回数が規定値に達したことが判定される
と、エラー処理を行なうステップとを有する。
Further, in the face image photographing method of the present invention, a step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and a pupil based on the detected pupil position Recognizing the state of, the step of determining whether the pupil is normally open, and, if it is determined by this determination that the pupil is normally open, the step of printing out the captured face image, When it is determined that the pupil is not normally opened by the above determination, retry control is performed to take the face image, detect the position of the pupil, and determine again whether the pupil is normally opened. And a step of counting the number of times of retry processing by the retry control, and determining whether or not the counted value has reached a prescribed value set in advance. When There is determined that reaches a specified value, and a step of performing error processing.

【0013】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する第1の判定手段と、この第1の判定手段によ
り瞳が正常に開いていると判定された場合、前記撮影手
段により撮影された顔画像を印刷出力する印刷出力手段
と、前記第1の判定手段により瞳が正常に開いていない
と判定された場合、前記撮影手段による顔画像の撮影、
前記瞳位置検出手段による瞳の位置検出、および、前記
判定手段による瞳が正常に開いているか否かの判定を再
度行なわせるリトライ制御手段と、このリトライ制御手
段による前記リトライ処理の回数を計数し、その計数値
があらかじめ設定される規定値に達したか否かを判定す
る第2の判定手段と、この第2の判定手段が前記リトラ
イ処理の回数が規定値に達したことを判定すると、エラ
ー処理を行なうエラー処理手段とを具備している。
Further, the face image photographing apparatus of the present invention comprises: photographing means for photographing a face image of a subject; pupil position detecting means for detecting a pupil position from the face image photographed by the photographing means; First determining means for recognizing the state of the pupil based on the position of the pupil detected by the pupil position detecting means and determining whether the pupil is normally opened; and normalizing the pupil by the first determining means. A print output unit for printing out a face image photographed by the photographing unit when it is determined that the pupil is open; and a photographing unit when the pupil is not normally opened by the first determination unit. Shooting of facial images by
Retry control means for re-detecting the position of the pupil by the pupil position detection means and determining again whether the pupil is normally opened by the determination means; and counting the number of times of the retry processing by the retry control means A second determining means for determining whether the count value has reached a predetermined value, and a second determining means for determining that the number of times of the retry processing has reached a predetermined value. Error processing means for performing error processing.

【0014】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を画像保存手段に対して出力するステップと、前記判定
により瞳が正常に開いていないと判定された場合、前記
顔画像の撮影、前記瞳の位置検出、および、前記瞳が正
常に開いているか否かの判定を再度行なうステップとを
有する。
Further, the face image photographing method of the present invention includes a step of photographing a face image of a subject, a step of detecting a position of a pupil from the photographed face image, and a step of detecting a pupil position based on the detected pupil position. Recognizing the state of the eyes, and determining whether the pupil is normally opened, and, if it is determined by this determination that the pupil is normally open, the captured face image is stored in the image storage means The step of outputting, and when it is determined by the determination that the pupil is not properly opened, the photographing of the face image, the detection of the position of the pupil, and the determination of whether the pupil is normally opened are performed again. And steps.

【0015】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていると判定された場合、前記撮影手段により撮影
された顔画像を保存する画像保存手段と、前記判定手段
により瞳が正常に開いていないと判定された場合、前記
撮影手段による顔画像の撮影、前記瞳位置検出手段によ
る瞳の位置検出、および、前記判定手段による瞳が正常
に開いているか否かの判定を再度行なわせるリトライ制
御手段とを具備している。
Further, the face image photographing apparatus of the present invention comprises: photographing means for photographing a face image of a subject; pupil position detecting means for detecting a pupil position from the face image photographed by the photographing means; Determining means for recognizing the state of the pupil based on the position of the pupil detected by the pupil position detecting means and determining whether the pupil is normally opened; and determining that the pupil is normally opened by the determining means And an image storage unit for storing a face image taken by the photographing unit, and photographing a face image by the photographing unit and detecting the pupil position when the determining unit determines that the pupil is not normally opened. Retry control means for performing again the pupil position detection by the means and the determination as to whether or not the pupil is normally opened by the determination means.

【0016】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を外部の画像保存手段に対して保存出力するステップ
と、前記判定により瞳が正常に開いていないと判定され
た場合、前記顔画像の撮影、前記瞳の位置検出、およ
び、前記瞳が正常に開いているか否かの判定を再度行な
うステップとを有する。
Further, in the face image photographing method of the present invention, a step of photographing a face image of a subject, a step of detecting a position of a pupil from the photographed face image, and a step of detecting a pupil based on the detected position of the pupil. Recognizing the state of the eye, and determining whether the pupil is normally opened, and, if it is determined by this determination that the pupil is normally open, the captured face image is stored in an external image storage means And when the pupil is not normally opened by the determination, the face image is photographed, the position of the pupil is detected, and whether the pupil is normally opened is determined. Is performed again.

【0017】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する判定手段と、この判定手段により瞳が正常に
開いていると判定された場合、前記撮影手段により撮影
された顔画像を外部の画像保存手段に対して保存出力す
る画像出力手段と、前記判定手段により瞳が正常に開い
ていないと判定された場合、前記撮影手段による顔画像
の撮影、前記瞳位置検出手段による瞳の位置検出、およ
び、前記判定手段による瞳が正常に開いているか否かの
判定を再度行なわせるリトライ制御手段とを具備してい
る。
Further, the face image photographing apparatus of the present invention comprises: photographing means for photographing a face image of a subject; pupil position detecting means for detecting a pupil position from the face image photographed by the photographing means; Determining means for recognizing a state of the pupil based on the position of the pupil detected by the pupil position detecting means and determining whether the pupil is normally opened; and determining that the pupil is normally opened by the determining means The image output means for storing and outputting the face image photographed by the photographing means to an external image storing means; and A retry control unit is provided for taking a face image, detecting the position of the pupil by the pupil position detection unit, and determining again whether the pupil is normally opened by the determination unit.

【0018】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を保存するステップと、前記判定により瞳が正常に開い
ていないと判定された場合、前記顔画像の撮影、前記瞳
の位置検出、および、前記瞳が正常に開いているか否か
の判定を再度行なわせるリトライ制御を行なうステップ
と、このリトライ制御によるリトライ処理の回数を計数
し、その計数値があらかじめ設定される規定値に達した
か否かを判定するステップと、この判定により前記リト
ライ処理の回数が規定値に達したことを判定すると、エ
ラー処理を行なうステップとを有する。
Further, the face image photographing method of the present invention includes a step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and a pupil based on the detected pupil position. Recognizing the state of, and determining whether the pupil is normally open, and, if it is determined by this determination that the pupil is normally open, saving the photographed face image, A step of performing retry control for photographing the face image, detecting the position of the pupil, and re-determining whether the pupil is normally opened when it is determined that the pupil is not normally opened. Counting the number of times of retry processing by the retry control, and determining whether or not the counted value has reached a preset specified value. When it is determined that the reached value, and a step of performing error processing.

【0019】また、本発明の顔画像撮影装置は、被撮影
者の顔画像を撮影する撮影手段と、この撮影手段により
撮影された顔画像から瞳の位置を検出する瞳位置検出手
段と、この瞳位置検出手段により検出された瞳の位置に
基づき瞳の状態を認識し、瞳が正常に開いているか否か
を判定する第1の判定手段と、この第1の判定手段によ
り瞳が正常に開いていると判定された場合、前記撮影手
段により撮影された顔画像を保存する画像保存手段と、
前記第1の判定手段により瞳が正常に開いていないと判
定された場合、前記撮影手段による顔画像の撮影、前記
瞳位置検出手段による瞳の位置検出、および、前記判定
手段による瞳が正常に開いているか否かの判定を再度行
なわせるリトライ制御手段と、このリトライ制御手段に
よる前記リトライ処理の回数を計数し、その計数値があ
らかじめ設定される規定値に達したか否かを判定する第
2の判定手段と、この第2の判定手段が前記リトライ処
理の回数が規定値に達したことを判定すると、エラー処
理を行なうエラー処理手段とを具備している。
Further, the face image photographing apparatus of the present invention comprises: photographing means for photographing a face image of a subject; pupil position detecting means for detecting a pupil position from the face image photographed by the photographing means; First determining means for recognizing the state of the pupil based on the position of the pupil detected by the pupil position detecting means and determining whether the pupil is normally opened; and normalizing the pupil by the first determining means. When it is determined that it is open, image storage means for storing a face image taken by the imaging means,
When it is determined by the first determination unit that the pupil is not normally opened, the face image is captured by the imaging unit, the position of the pupil is detected by the pupil position detection unit, and the pupil is correctly determined by the determination unit. Retry control means for re-determining whether or not it is open, and counting the number of times of the retry processing by the retry control means, and determining whether or not the counted value has reached a preset prescribed value. And an error processing means for performing error processing when the second determination means determines that the number of times of the retry processing has reached a specified value.

【0020】また、本発明の顔画像撮影方法は、被撮影
者の顔画像を撮影するステップと、この撮影した顔画像
から瞳の位置を検出するステップと、この検出した瞳の
位置に基づき瞳の状態を認識し、瞳が正常に開いている
か否かを判定するステップと、この判定により瞳が正常
に開いていると判定された場合、前記撮影された顔画像
を外部の画像保存手段に対して保存出力するステップ
と、前記判定により瞳が正常に開いていないと判定され
た場合、前記顔画像の撮影、前記瞳の位置検出、およ
び、前記瞳が正常に開いているか否かの判定を再度行な
わせるリトライ制御を行なうステップと、このリトライ
制御によるリトライ処理の回数を計数し、その計数値が
あらかじめ設定される規定値に達したか否かを判定する
ステップと、この判定により前記リトライ処理の回数が
規定値に達したことを判定すると、エラー処理を行なう
ステップとを有する。
The face image photographing method according to the present invention includes a step of photographing a face image of a subject, a step of detecting a position of a pupil from the photographed face image, and a step of detecting a pupil position based on the detected pupil position. Recognizing the state of the eye, and determining whether the pupil is normally opened, and, if it is determined by this determination that the pupil is normally open, the captured face image is stored in an external image storage means And when the pupil is not normally opened by the determination, the face image is photographed, the position of the pupil is detected, and whether the pupil is normally opened is determined. Performing a retry control for re-executing the retry control, counting the number of times of retry processing by the retry control, and determining whether or not the counted value has reached a prescribed value set in advance. When it determined more that the number of the retry processing has reached a predetermined value, and a step of performing error processing.

【0021】さらに、本発明の顔画像撮影装置は、被撮
影者の顔画像を撮影する撮影手段と、この撮影手段によ
り撮影された顔画像から瞳の位置を検出する瞳位置検出
手段と、この瞳位置検出手段により検出された瞳の位置
に基づき瞳の状態を認識し、瞳が正常に開いているか否
かを判定する第1の判定手段と、この第1の判定手段に
より瞳が正常に開いていると判定された場合、前記撮影
手段により撮影された顔画像を外部の画像保存手段に対
して保存出力する画像出力手段と、前記第1の判定手段
により瞳が正常に開いていないと判定された場合、前記
撮影手段による顔画像の撮影、前記瞳位置検出手段によ
る瞳の位置検出、および、前記判定手段による瞳が正常
に開いているか否かの判定を再度行なわせるリトライ制
御手段と、このリトライ制御手段による前記リトライ処
理の回数を計数し、その計数値があらかじめ設定される
規定値に達したか否かを判定する第2の判定手段と、こ
の第2の判定手段が前記リトライ処理の回数が規定値に
達したことを判定すると、エラー処理を行なうエラー処
理手段とを具備している。
Further, the face image photographing apparatus of the present invention comprises: photographing means for photographing a face image of a subject; pupil position detecting means for detecting a pupil position from the face image photographed by the photographing means; First determining means for recognizing the state of the pupil based on the position of the pupil detected by the pupil position detecting means and determining whether the pupil is normally opened; and normalizing the pupil by the first determining means. When it is determined that the pupil is open, an image output unit that saves and outputs the face image captured by the imaging unit to an external image storage unit, and that the pupil is not normally opened by the first determination unit. A retry control means for performing face image capturing by the image capturing means, pupil position detection by the pupil position detecting means, and determining again whether the pupil is normally opened by the determining means; , This Second determining means for counting the number of times of the retry processing by the lie control means and determining whether or not the counted value has reached a preset prescribed value; and An error processing means for performing error processing when it is determined that the number of times has reached a specified value is provided.

【0022】本発明によれば、被撮影者を撮影した際、
入力した顔画像の瞳の状態を認識して、瞳が正常に開い
た状態か否かを判定し、瞳が正常に開いていない場合は
再度撮影を行なうことにより、正常に瞳を開いているか
どうかを人間系の判定を伴うことなく、自動的に被撮影
者の瞳の状態を認識して、再撮影を行なうことができ
る。したがって、目つぶりなどの出力写真として適さな
い画像を自動的に排除し、常に最良の画像を出力し得
る。
According to the present invention, when a subject is photographed,
Recognize the state of the pupil of the input face image, determine whether the pupil is open properly, and if the pupil is not open normally, perform shooting again to see if the pupil is open normally. It is possible to automatically recognize the state of the subject's pupil and perform re-shooting without involving human determination. Therefore, an image which is not suitable as an output photograph such as blinking is automatically excluded, and the best image can always be output.

【0023】[0023]

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0024】図1は、本実施の形態に係る顔画像撮影装
置の外観構成を概略的に示すものである。この顔画像撮
影装置は、被撮影者5を照明する照明器1、被撮影者5
の少なくとも顔画像を撮影する撮影手段としてのCCD
形のビデオカメラ2、撮影状態や撮影者(操作者)8の
操作情報などを表示する表示器(モニタディスプレイ)
3、撮影者8による操作指示により、カメラ2からの入
カ画像を加工したり、表示器3や内蔵する記憶部などに
対して出力を行なう制御台(制御部)4、被撮影者5が
撮影の際に着座する椅子6、および、撮影の際に被撮影
者5の背景となる背景板7から構成されている。
FIG. 1 schematically shows an external configuration of a face image photographing apparatus according to the present embodiment. This face image photographing apparatus includes an illuminator 1 for illuminating a subject 5 and a subject 5
CCD as photographing means for photographing at least a face image
Video camera 2, display (monitor display) for displaying shooting conditions, operation information of photographer (operator) 8, etc.
3. A control base (control unit) 4 for processing an input image from the camera 2 and outputting the processed image to the display 3 and a built-in storage unit, etc., and a subject 5 It is composed of a chair 6 to be seated at the time of photographing, and a background plate 7 to be a background of the subject 5 at the time of photographing.

【0025】図2は、図1に示した顔画像撮影装置の全
体的な構成を示すブロック図である。すなわち、カメラ
2からのアナログ信号(入力画像)をリアルタイムにデ
ジタル信号に変換し、ビデオメモリやメインメモリなど
に転送するビデオキャプチャ部9、ビデオキャプチャ部
9の画像データ、および、その他の描画処理を行ない、
表示器3への表示制御を行なうビデオアクセラレート部
10、画像データおよびその他への各種の演算処理や各
種制御などを行なうCPU(セントラル・プロセッシン
グ・ユニット)、画像データや演算結果などを一時保存
するメインメモリ、各種周辺機器とのインターフェイス
を備えたCPU部11、各種周辺機器を接続する外部バ
ス(たとえば、SCSIなど)を制御する外部バス制御
部12、各種OSやアプリケーション、制御用データ、
画像データなどを保存するハードディスクなどの大容量
記憶媒体13、制御台4の出力データなどを保存する可
搬性のある記憶媒体(たとえば、光磁気ディスクなど)
14、記憶媒体14に対してデータの読み書きを行なう
リーダライタ部15、操作者(撮影者)8が操作する入
力装置としてのキーボード16やマウス17、撮影した
顔画像などを印刷出力する印刷出力手段としての画像印
刷装置31、および、同一ネットワーク32上の他の各
種機器(画像印刷装置や画像ファイリング装置など)と
の間で相互通信を行なうためのネットワークアダプタ
(LANカードなど)33などによって構成されてい
る。
FIG. 2 is a block diagram showing the overall configuration of the face image photographing apparatus shown in FIG. That is, a video capture unit 9 that converts an analog signal (input image) from the camera 2 into a digital signal in real time and transfers the digital signal to a video memory, a main memory, or the like, performs image data of the video capture unit 9, and performs other drawing processing. Do,
A video acceleration unit 10 for controlling display on the display 3, a CPU (Central Processing Unit) for performing various arithmetic processing and various controls on image data and others, and temporarily storing image data and arithmetic results A main memory, a CPU unit 11 having an interface with various peripheral devices, an external bus control unit 12 controlling an external bus (for example, SCSI, etc.) for connecting various peripheral devices, various OSs and applications, control data,
A large-capacity storage medium 13 such as a hard disk for storing image data and the like, and a portable storage medium (for example, a magneto-optical disk or the like) for storing output data of the control console 4 and the like.
14, a reader / writer unit 15 for reading and writing data from and to the storage medium 14, a keyboard 16 and a mouse 17 as input devices operated by an operator (photographer) 8, and a print output unit for printing and outputting photographed face images and the like. And a network adapter (such as a LAN card) 33 for performing mutual communication with other devices (such as an image printing device and an image filing device) on the same network 32. ing.

【0026】図3は、カメラ2からの入力画像(顔画
像)18と、その入力画像18中の顔の輪郭位置19か
らの相対位置である瞳(目)の概略位置領域20を特定
し、この概略位置領域20から両瞳の位置領域21,2
2を抽出する様子を示したものである。
FIG. 3 specifies an input image (face image) 18 from the camera 2 and a rough pupil (eye) position area 20 which is a relative position from the face contour position 19 in the input image 18. From the approximate position area 20, the position areas 21 and 21 of both pupils
2 is a diagram illustrating a state in which the number 2 is extracted.

【0027】以下、図4に示すフローチャートおよび図
3を参照して本装置の処理動作を説明する。なお、以下
に説明する処理は、主にCPU部11内のCPUの制御
によって実行される。
Hereinafter, the processing operation of this apparatus will be described with reference to the flowchart shown in FIG. 4 and FIG. The processing described below is mainly executed under the control of the CPU in the CPU unit 11.

【0028】まず、ステップS1にて、リトライ回数や
その他のデータの初期化を行ない、ステップS2に進
む。ステップS2では、ビデオキャプチャ部9を介して
カメラ2からの入力画像(顔画像)18を取込み、CP
U部11内のメインメモリに一時格納し、ステップS3
に進む。ステップS3では、メインメモリ内の入力画像
18から、髪形まで含めた顔の輪郭位置19を検出し、
ステップS4に進む。
First, in step S1, the number of retries and other data are initialized, and the flow advances to step S2. In step S2, an input image (face image) 18 from the camera 2 is fetched via the video
The data is temporarily stored in the main memory in the U section 11 and is stored in step S3.
Proceed to. In step S3, a face outline position 19 including a hairstyle is detected from the input image 18 in the main memory,
Proceed to step S4.

【0029】ステップS4では、検出した顔の輪郭位置
19が、あらかじめ設定される規定の範囲内か否かをチ
ェックし、規定の範囲内でなかった場合、ステップS5
に進んでエラー処理を行ない、初期状態に戻る。規定の
範囲内であった場合、ステップS6に進む。ステップS
6では、顔の輪郭位置19から、その相対位置である瞳
(目)の概略位置領域20を算出し、この概略位置領域
20から、瞳と同形状の丸い形状をした位置領域(2
1,22)を抽出し、ステップS7に進む。
In step S4, it is checked whether or not the detected contour position 19 of the face is within a predetermined range that is set in advance.
To perform error processing and return to the initial state. If it is within the specified range, the process proceeds to step S6. Step S
In step 6, a rough position area 20 of the pupil (eye), which is a relative position thereof, is calculated from the contour position 19 of the face, and a position area (2) having the same round shape as the pupil is calculated from the rough position area 20.
1, 2) are extracted, and the process proceeds to step S7.

【0030】ステップS7では、抽出した丸い形状をし
た位置領域の数が、あらかじめ設定される規定数(2
個)以上あるか否かをチェックし、規定数に満たない場
合は、瞳が正常に開いていないと判定し、ステップS8
に進む。ステップS8では、あらかじめ設定される規定
時間(約0.1秒程度)待機した後、ステップS9に進
む。
In step S7, the number of the extracted round-shaped position areas is set to a predetermined number (2
It is determined whether or not the number is equal to or more than the specified number. If the number is less than the specified number, it is determined that the pupil is not normally opened, and step S8 is performed.
Proceed to. In step S8, after waiting for a predetermined time (about 0.1 second) set in advance, the process proceeds to step S9.

【0031】ステップS9では、リトライ回数があらか
じめ設定される規定値以内か否かをチェックし、規定値
以内であればステップS10に進む。ステップS10で
は、リトライ回数をインクリメントし、ステップS2に
戻る。すなわち、リトライ回数が規定回数内であれば、
規定時間(約0.1秒程度)待ち、リトライとして再
度、顔画像を入力させるためにステップS2に戻る。
In step S9, it is checked whether or not the number of retries is within a prescribed value set in advance, and if it is within the prescribed value, the process proceeds to step S10. In step S10, the number of retries is incremented, and the process returns to step S2. That is, if the number of retries is within the specified number,
After waiting for a specified time (about 0.1 second), the process returns to step S2 to input a face image again as a retry.

【0032】ステップS9のチェックで、規定値以上で
あればステップS11に進んでエラー処理を行ない、初
期状態に戻る。
If it is determined in step S9 that the value is equal to or larger than the specified value, the flow advances to step S11 to perform error processing, and returns to the initial state.

【0033】ステップS7のチェックで、規定数を満た
した場合は、瞳が正常に開いているものと判定し、ステ
ップS12に進む。ステップS12では、抽出したそれ
ぞれの位置領域21,22周辺の形状と、CPU部11
内のメインメモリにあらかじめ記憶されている瞳の標本
データとを比較し、類似度合いが最も高い抽出部位を左
右瞳分抽出し、ステップS13に進む。
If the prescribed number is satisfied in the check in step S7, it is determined that the pupil is normally open, and the flow advances to step S12. In step S12, the shapes around the extracted position areas 21 and 22 and the CPU
The pupil sample data stored in advance in the main memory is compared with the pupil sample data, and the extracted part having the highest similarity is extracted for the left and right pupils, and the process proceeds to step S13.

【0034】ステップS13では、ステップS12で抽
出した最も類似している部位の類似度合いが、あらかじ
め設定される閾値以上か否かをチェックし、閾値以下で
あれば、ステップS9に進み、前述同様のリトライ処理
を行なう。上記チェックの結果、閾値以上であれば、正
常に開いている瞳位置と判定し、ステップS14に進
む。
In step S13, it is checked whether or not the degree of similarity of the most similar part extracted in step S12 is equal to or greater than a preset threshold value. Perform retry processing. If the result of the above check is that it is equal to or greater than the threshold value, it is determined that the pupil position is a normally open pupil position, and the flow proceeds to step S14.

【0035】この場合、瞳は2箇所あるため、標本デー
タは左右の瞳分用意されており、上記判定を左右瞳の両
標本データとの比較により行ない、左右両瞳の状態を認
識する。
In this case, since there are two pupils, the sample data for the left and right pupils are prepared, and the above judgment is made by comparing the sample data with the left and right pupils to recognize the state of the left and right pupils.

【0036】ステップS14では、ステップS2で取込
んだ入力画像を出力用に変換し、被撮影者5のその他の
個人情報とともに、目的に応じ、CPU部11に接続さ
れた画像印刷装置31、あるいは、ネットワークアダプ
タ33からネットワーク32上に接続された画像印刷装
置(図示しない)において、記録媒体(用紙、カードな
ど)に印刷出力したり、同ネットワーク32上に接続さ
れた画像保存手段としての画像ファイリング装置(図示
しない)に対して保存出力したり、さらには、CPU部
11内のメインメモリあるいは大容量記憶媒体13や可
搬性のある記憶媒体14を画像保存手段として用いるこ
とにより、それに対して記憶(保存出力)する。これで
全ての処理が終了する。
In step S14, the input image captured in step S2 is converted for output, and together with other personal information of the subject 5, the image printing device 31 connected to the CPU 11 according to the purpose, or An image printing device (not shown) connected to the network 32 from the network adapter 33 prints out on a recording medium (paper, card, or the like), or performs image filing as image storage means connected to the network 32. The image data is stored and output to a device (not shown), and is further stored in the main memory or the large-capacity storage medium 13 or the portable storage medium 14 in the CPU unit 11 as an image storage unit. (Save and output). This completes all processing.

【0037】なお、顔画像を印刷出力するか保存出力す
るかは目的に応じて選択すればよく、顔画像の出力方法
は任意である。
Whether the face image is printed out or stored and output may be selected according to the purpose, and the method of outputting the face image is arbitrary.

【0038】ところで、被撮影者5を撮影した際、瞬き
または目つぶりであった場合、ステップS6,S7の処
理にて判定し、リトライ処理を行ないつつ、瞳が開くの
を待つことを行なう。
If the subject 5 is blinking or blinking when the subject 5 is photographed, it is determined in steps S6 and S7, and a retry process is performed while waiting for the pupil to open.

【0039】また、被撮影者が、瞳は開いているが、よ
そ見その他の正面をしっかり向いていないような、正常
に開いた瞳ではない場合、ステップS12,S13の処
理にて判定し、正常に開いた瞳になるのを待つ。また、
ステップS12,S13の処理は、ステップS6,S7
の処理にて誤判定したものに対しての補正処理としても
動作する。さらに、ステップS12,S13の処理は、
ステップS6,S7の処理では判定できない不正常な開
きすぎの瞳(びっくり目)に対しても作用し、リトライ
処理を行なう。
If the subject is not a normally opened pupil such that his / her pupil is open but not looking aside or facing the front firmly, it is determined in steps S12 and S13. Wait for the eyes to open. Also,
Steps S12 and S13 are performed in steps S6 and S7.
The process also operates as a correction process for an erroneous determination made in the above process. Further, the processing in steps S12 and S13 is as follows:
The retry process is performed by acting also on an abnormally too wide pupil (surprise eye) that cannot be determined by the processes of steps S6 and S7.

【0040】[0040]

【発明の効果】以上詳述したように本発明によれば、目
つぶりなどの出力写真として適さない画像を自動的に排
除し、常に最良の画像を出力し得る顔画像撮影方法およ
び顔画像撮影装置を提供できる。
As described above in detail, according to the present invention, a face image photographing method and a face image photographing method capable of automatically eliminating an image unsuitable as an output photograph such as blinking and always outputting the best image. Equipment can be provided.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態に係る顔画像撮影装置の外
観構成を概略的に示す構成図。
FIG. 1 is a configuration diagram schematically showing an external configuration of a face image capturing apparatus according to an embodiment of the present invention.

【図2】図1に示した顔画像撮影装置の全体的な構成を
示すブロック図。
FIG. 2 is a block diagram showing an overall configuration of the face image photographing apparatus shown in FIG.

【図3】入力画像から両瞳の位置領域を抽出する様子を
説明するための図。
FIG. 3 is a diagram for explaining how to extract both pupil position regions from an input image.

【図4】処理動作を説明するためのフローチャート。FIG. 4 is a flowchart illustrating a processing operation.

【符号の説明】[Explanation of symbols]

1……照明器 2……ビデオカメラ(撮像手段) 3……表示器(モニタディスプレイ) 4……制御台(制御部) 5……被撮影者 8……撮影者(操作者) 9……ビデオキャプチャ部 10……ビデオアクセラレート部 11……CPU部 13……大容量記憶媒体(画像保存手段) 14……記憶媒体(画像保存手段) 15……リーダライタ部 16……キーボード 17……マウス 31……画像印刷装置(印刷出力手段) 32……ネットワーク 33……ネットワークアダプタ DESCRIPTION OF SYMBOLS 1 ... Illumination device 2 ... Video camera (imaging means) 3 ... Display (monitor display) 4 ... Control stand (control part) 5 ... Subject 8 ... Photographer (operator) 9 ... Video capture unit 10 Video accelerator unit 11 CPU unit 13 Large-capacity storage medium (image storage unit) 14 Storage medium (image storage unit) 15 Reader / writer unit 16 Keyboard 17 Mouse 31 image printing apparatus (print output means) 32 network 33 network adapter

Claims (19)

【特許請求の範囲】[Claims] 【請求項1】 被撮影者の顔画像を撮影するステップ
と、 この撮影した顔画像から瞳の位置を検出するステップ
と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていないと判定された場
合、前記顔画像の撮影、前記瞳の位置検出、および、前
記瞳が正常に開いているか否かの判定を再度行なうステ
ップと、 を有することを特徴とする顔画像撮影方法。
1. A step of photographing a face image of a subject, a step of detecting a position of a pupil from the photographed face image, and recognizing a state of the pupil based on the detected position of the pupil. A step of determining whether the pupil is not normally opened, and if the pupil is determined not to be normally opened by this determination, photographing the face image, detecting the position of the pupil, and determining whether the pupil is normally opened. Re-determining whether or not the face image is captured.
【請求項2】 被撮影者の顔画像を撮影する撮影手段
と、 この撮影手段により撮影された顔画像から瞳の位置を検
出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
瞳の状態を認識し、瞳が正常に開いているか否かを判定
する判定手段と、 この判定手段により瞳が正常に開いていないと判定され
た場合、前記撮影手段による顔画像の撮影、前記瞳位置
検出手段による瞳の位置検出、および、前記判定手段に
よる瞳が正常に開いているか否かの判定を再度行なわせ
るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
2. A photographing means for photographing a face image of a subject, a pupil position detecting means for detecting a pupil position from a face image photographed by the photographing means, and a pupil detected by the pupil position detecting means. Determining means for recognizing the state of the pupil based on the position of the pupil and determining whether the pupil is normally opened; and determining that the pupil is not normally opened by the determining means, And a retry control unit for performing again the pupil position detection by the pupil position detection unit, and the determination by the determination unit whether the pupil is normally opened. Shooting equipment.
【請求項3】 被撮影者の顔画像を撮影するステップ
と、 この撮影した顔画像から瞳の位置を検出するステップ
と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
合、前記撮影された顔画像を撮影画像として出力するス
テップと、 前記判定により瞳が正常に開いていないと判定された場
合、前記顔画像の撮影、前記瞳の位置検出、および、前
記瞳が正常に開いているか否かの判定を再度行なうステ
ップと、 を有することを特徴とする顔画像撮影方法。
3. A step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and recognizing a pupil state based on the detected pupil position. A step of determining whether the pupil is normally opened by the determination; a step of outputting the captured face image as a captured image; and When it is determined that the pupil is not opened, the step of photographing the face image, detecting the position of the pupil, and re-determining whether the pupil is normally opened is provided. Shooting method.
【請求項4】 被撮影者の顔画像を撮影する撮影手段
と、 この撮影手段により撮影された顔画像から瞳の位置を検
出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
瞳の状態を認識し、瞳が正常に開いているか否かを判定
する判定手段と、 この判定手段により瞳が正常に開いていると判定された
場合、前記撮影手段により撮影された顔画像を撮影画像
として出力する画像出力手段と、 前記判定手段により瞳が正常に開いていないと判定され
た場合、前記撮影手段による顔画像の撮影、前記瞳位置
検出手段による瞳の位置検出、および、前記判定手段に
よる瞳が正常に開いているか否かの判定を再度行なわせ
るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
4. A photographing means for photographing a face image of a subject, a pupil position detecting means for detecting a pupil position from a face image photographed by the photographing means, and a pupil detected by the pupil position detecting means. A pupil state that is recognized based on the position of the pupil, and determines whether the pupil is normally opened. If the pupil is determined to be normally opened by the determination unit, the pupil is photographed by the photographing unit. Image output means for outputting the captured face image as a photographed image; and when the determination means determines that the pupil is not normally opened, the face image is captured by the capture means, and the pupil position is detected by the pupil position detection means. And a retry control means for re-determining whether or not the pupil is normally opened by the determination means.
【請求項5】 被撮影者の顔画像を撮影するステップ
と、 この撮影した顔画像から瞳の位置を検出するステップ
と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
合、前記撮影された顔画像を印刷出力するステップと、 前記判定により瞳が正常に開いていないと判定された場
合、前記顔画像の撮影、前記瞳の位置検出、および、前
記瞳が正常に開いているか否かの判定を再度行なうステ
ップと、 を有することを特徴とする顔画像撮影方法。
5. A step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and recognizing a pupil state based on the detected pupil position. Determining whether or not the pupil is normally opened; and, if the determination is that the pupil is normally opened, printing out the photographed face image. When it is determined that there is no face image, a step of taking the face image, detecting the position of the pupil, and re-determining whether the pupil is normally opened. .
【請求項6】 被撮影者の顔画像を撮影する撮影手段
と、 この撮影手段により撮影された顔画像から瞳の位置を検
出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
瞳の状態を認識し、瞳が正常に開いているか否かを判定
する判定手段と、 この判定手段により瞳が正常に開いていると判定された
場合、前記撮影手段により撮影された顔画像を印刷出力
する印刷出力手段と、 前記判定手段により瞳が正常に開いていないと判定され
た場合、前記撮影手段による顔画像の撮影、前記瞳位置
検出手段による瞳の位置検出、および、前記判定手段に
よる瞳が正常に開いているか否かの判定を再度行なわせ
るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
6. A photographing means for photographing a face image of a subject, a pupil position detecting means for detecting a pupil position from the face image photographed by the photographing means, and a pupil detected by the pupil position detecting means. A pupil state that is recognized based on the position of the pupil, and determines whether the pupil is normally opened. If the pupil is determined to be normally opened by the determination unit, the pupil is photographed by the photographing unit. A print output unit that prints out the face image, and when the determination unit determines that the pupil is not normally opened, captures a face image by the capturing unit, detects a pupil position by the pupil position detection unit, and And a retry control unit for re-determining whether or not the pupil is normally opened by the determination unit.
【請求項7】 前記瞳位置検出手段は、前記撮影手段に
より撮影された顔画像から顔の輪郭位置を検出し、この
検出した顔の輪郭位置により、その輪郭位置からの相対
位置である瞳の概略位置領域を算出し、この算出した瞳
の概略位置領域から瞳の位置を抽出することを特徴とす
る請求項2、4、6のいずれか1つに記載の顔画像撮影
装置。
7. The pupil position detecting means detects a contour position of a face from a face image photographed by the photographing means, and detects a pupil position, which is a relative position from the contour position, based on the detected contour position of the face. 7. The apparatus according to claim 2, wherein the approximate position area is calculated, and the position of the pupil is extracted from the calculated approximate position area of the pupil.
【請求項8】 前記判定手段は、前記瞳位置検出手段に
よる瞳の位置の検出数があらかじめ設定される規定数以
上あるか否かを判定し、規定数以上ある場合、それぞれ
の検出位置周辺の形状とあらかじめ設定される瞳の標本
データとを比較し、最も類似している位置の類似度合い
があらかじめ設定される閾値以上であるか否かを判定
し、閾値以上であれば瞳が正常に開いていると判定し、
閾値以下であったり、前記判定で検出数が規定数以下で
ある場合、瞳が正常に開いていないと判定することを特
徴とする請求項2、4、6のいずれか1つに記載の顔画
像撮影装置。
8. The determining means determines whether or not the number of pupil positions detected by the pupil position detecting means is equal to or greater than a predetermined number set in advance. By comparing the shape with the preset pupil sample data, it is determined whether or not the degree of similarity of the most similar position is equal to or greater than a preset threshold. Judge that
The face according to any one of claims 2, 4, and 6, wherein the pupil is determined not to be normally opened when the number of detections is equal to or less than a threshold value or the number of detections is equal to or less than a predetermined number. Image capturing device.
【請求項9】 前記リトライ制御手段は、前記判定手段
により瞳が正常に開いていないと判定された場合、あら
かじめ設定される規定時間待機した後、前記リトライ処
理を行なうことを特徴とする請求項2、4、6のいずれ
か1つに記載の顔画像撮影装置。
9. The retry control means, when the judgment means judges that the pupil is not normally opened, waits for a predetermined time set before carrying out the retry processing. The facial image photographing apparatus according to any one of 2, 4, and 6.
【請求項10】 被撮影者の顔画像を撮影するステップ
と、 この撮影した顔画像から瞳の位置を検出するステップ
と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
合、前記撮影された顔画像を印刷出力するステップと、 前記判定により瞳が正常に開いていないと判定された場
合、前記顔画像の撮影、前記瞳の位置検出、および、前
記瞳が正常に開いているか否かの判定を再度行なわせる
リトライ制御を行なうステップと、 このリトライ制御によるリトライ処理の回数を計数し、
その計数値があらかじめ設定される規定値に達したか否
かを判定するステップと、 この判定により前記リトライ処理の回数が規定値に達し
たことが判定されると、エラー処理を行なうステップ
と、 を有することを特徴とする顔画像撮影方法。
10. A step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and recognizing a pupil state based on the detected pupil position. Determining whether or not the pupil is normally opened; and, if the determination is that the pupil is normally opened, printing out the photographed face image. If it is determined that there is no reticle, a step of performing retry control for retaking the photographing of the face image, detecting the position of the pupil, and determining whether the pupil is normally opened, and a retry process by the retry control Count the number of times,
A step of determining whether or not the count value has reached a prescribed value set in advance; and performing an error process when it is determined that the number of times of the retry processing has reached a prescribed value. A face image photographing method comprising:
【請求項11】 被撮影者の顔画像を撮影する撮影手段
と、 この撮影手段により撮影された顔画像から瞳の位置を検
出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
瞳の状態を認識し、瞳が正常に開いているか否かを判定
する第1の判定手段と、 この第1の判定手段により瞳が正常に開いていると判定
された場合、前記撮影手段により撮影された顔画像を印
刷出力する印刷出力手段と、 前記第1の判定手段により瞳が正常に開いていないと判
定された場合、前記撮影手段による顔画像の撮影、前記
瞳位置検出手段による瞳の位置検出、および、前記判定
手段による瞳が正常に開いているか否かの判定を再度行
なわせるリトライ制御手段と、 このリトライ制御手段による前記リトライ処理の回数を
計数し、その計数値があらかじめ設定される規定値に達
したか否かを判定する第2の判定手段と、 この第2の判定手段が前記リトライ処理の回数が規定値
に達したことを判定すると、エラー処理を行なうエラー
処理手段と、 を具備したことを特徴とする顔画像撮影装置。
11. A photographing means for photographing a face image of a subject, a pupil position detecting means for detecting a pupil position from a face image photographed by the photographing means, and a pupil detected by the pupil position detecting means. A first determining means for recognizing a state of the pupil based on the position of the pupil and determining whether the pupil is normally opened; and when the first determining means determines that the pupil is normally opened, Print output means for printing and outputting a face image photographed by the photographing means; and photographing of the face image by the photographing means, the pupil position when the first determining means determines that the pupil is not normally opened. Retry control means for re-detecting the position of the pupil by the detection means and determining again whether the pupil is normally opened by the determination means; and counting the number of retry processes by the retry control means. Second determining means for determining whether or not the count value has reached a predetermined value; and error processing when the second determining means has determined that the number of times of the retry processing has reached a specified value. And an error processing means for performing the following.
【請求項12】 被撮影者の顔画像を撮影するステップ
と、 この撮影した顔画像から瞳の位置を検出するステップ
と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
合、前記撮影された顔画像を画像保存手段に対して出力
するステップと、 前記判定により瞳が正常に開いていないと判定された場
合、前記顔画像の撮影、前記瞳の位置検出、および、前
記瞳が正常に開いているか否かの判定を再度行なうステ
ップと、 を有することを特徴とする顔画像撮影方法。
12. A step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and recognizing a pupil state based on the detected pupil position. Determining whether or not the pupil is normally opened; and, if the pupil is determined to be normally open, outputting the photographed face image to image storage means. When it is determined that the pupil is not normally opened, the step of taking the face image, detecting the position of the pupil, and re-determining whether the pupil is normally opened, Face image shooting method.
【請求項13】 被撮影者の顔画像を撮影する撮影手段
と、 この撮影手段により撮影された顔画像から瞳の位置を検
出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
瞳の状態を認識し、瞳が正常に開いているか否かを判定
する判定手段と、 この判定手段により瞳が正常に開いていると判定された
場合、前記撮影手段により撮影された顔画像を保存する
画像保存手段と、 前記判定手段により瞳が正常に開いていないと判定され
た場合、前記撮影手段による顔画像の撮影、前記瞳位置
検出手段による瞳の位置検出、および、前記判定手段に
よる瞳が正常に開いているか否かの判定を再度行なわせ
るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
13. A photographing means for photographing a face image of a subject, a pupil position detecting means for detecting a pupil position from a face image photographed by the photographing means, and a pupil detected by the pupil position detecting means. A pupil state that is recognized based on the position of the pupil, and determines whether the pupil is normally opened. If the pupil is determined to be normally opened by the determination unit, the pupil is photographed by the photographing unit. Image storing means for storing the face image, when the determining means determines that the pupil is not normally opened, shooting of the face image by the shooting means, detection of the position of the pupil by the pupil position detecting means, and, A retry control unit for re-determining whether or not the pupil is normally opened by the determination unit;
【請求項14】 被撮影者の顔画像を撮影するステップ
と、 この撮影した顔画像から瞳の位置を検出するステップ
と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
合、前記撮影された顔画像を外部の画像保存手段に対し
て保存出力するステップと、 前記判定により瞳が正常に開いていないと判定された場
合、前記顔画像の撮影、前記瞳の位置検出、および、前
記瞳が正常に開いているか否かの判定を再度行なうステ
ップと、 を有することを特徴とする顔画像撮影方法。
14. A step of photographing a face image of a subject, a step of detecting a position of a pupil from the photographed face image, and recognizing a state of the pupil based on the detected position of the pupil. Determining whether or not the pupil is normally opened, and storing and outputting the photographed face image to an external image storage means; When it is determined that the pupil is not normally opened, the step of taking the face image, detecting the position of the pupil, and re-determining whether the pupil is normally opened is included. A face image photographing method characterized by the following.
【請求項15】 被撮影者の顔画像を撮影する撮影手段
と、 この撮影手段により撮影された顔画像から瞳の位置を検
出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
瞳の状態を認識し、瞳が正常に開いているか否かを判定
する判定手段と、 この判定手段により瞳が正常に開いていると判定された
場合、前記撮影手段により撮影された顔画像を外部の画
像保存手段に対して保存出力する画像出力手段と、 前記判定手段により瞳が正常に開いていないと判定され
た場合、前記撮影手段による顔画像の撮影、前記瞳位置
検出手段による瞳の位置検出、および、前記判定手段に
よる瞳が正常に開いているか否かの判定を再度行なわせ
るリトライ制御手段と、 を具備したことを特徴とする顔画像撮影装置。
15. A photographing means for photographing a face image of a subject, a pupil position detecting means for detecting a pupil position from a face image photographed by the photographing means, and a pupil detected by the pupil position detecting means. A pupil state that is recognized based on the position of the pupil, and determines whether the pupil is normally opened. If the pupil is determined to be normally opened by the determination unit, the pupil is photographed by the photographing unit. Image output means for storing and outputting the face image to an external image storage means, and when the determination means determines that the pupil is not normally opened, shooting of the face image by the shooting means, detection of the pupil position A face image photographing apparatus, comprising: retry control means for detecting again the position of the pupil by means and determining again whether the pupil is normally opened by the determination means.
【請求項16】 被撮影者の顔画像を撮影するステップ
と、 この撮影した顔画像から瞳の位置を検出するステップ
と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
合、前記撮影された顔画像を保存するステップと、 前記判定により瞳が正常に開いていないと判定された場
合、前記顔画像の撮影、前記瞳の位置検出、および、前
記瞳が正常に開いているか否かの判定を再度行なわせる
リトライ制御を行なうステップと、 このリトライ制御によるリトライ処理の回数を計数し、
その計数値があらかじめ設定される規定値に達したか否
かを判定するステップと、 この判定により前記リトライ処理の回数が規定値に達し
たことを判定すると、エラー処理を行なうステップと、 を有することを特徴とする顔画像撮影方法。
16. A step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and recognizing a pupil state based on the detected pupil position. A step of determining whether the pupil is normally opened by this determination; and a step of storing the photographed face image when the pupil is determined to be normally open; and a step in which the pupil is not normally opened by the determination. If it is determined that the retry control is performed to retake the face image, detect the position of the pupil, and determine whether the pupil is normally opened, Count the number of times,
Determining whether the count value has reached a preset specified value; and performing error processing if it is determined that the number of times of the retry process has reached the specified value. A method of capturing a face image, characterized in that:
【請求項17】 被撮影者の顔画像を撮影する撮影手段
と、 この撮影手段により撮影された顔画像から瞳の位置を検
出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
瞳の状態を認識し、瞳が正常に開いているか否かを判定
する第1の判定手段と、 この第1の判定手段により瞳が正常に開いていると判定
された場合、前記撮影手段により撮影された顔画像を保
存する画像保存手段と、 前記第1の判定手段により瞳が正常に開いていないと判
定された場合、前記撮影手段による顔画像の撮影、前記
瞳位置検出手段による瞳の位置検出、および、前記判定
手段による瞳が正常に開いているか否かの判定を再度行
なわせるリトライ制御手段と、 このリトライ制御手段による前記リトライ処理の回数を
計数し、その計数値があらかじめ設定される規定値に達
したか否かを判定する第2の判定手段と、 この第2の判定手段が前記リトライ処理の回数が規定値
に達したことを判定すると、エラー処理を行なうエラー
処理手段と、 を具備したことを特徴とする顔画像撮影装置。
17. A photographing means for photographing a face image of a subject, a pupil position detecting means for detecting a pupil position from a face image photographed by the photographing means, and a pupil detected by the pupil position detecting means. A first determining means for recognizing the state of the pupil based on the position of the pupil and determining whether or not the pupil is normally opened; and when the first determining means determines that the pupil is normally opened, Image storing means for storing a face image captured by the image capturing means; and when the first determining means determines that the pupil is not normally opened, capturing the face image by the image capturing means, detecting the pupil position Means for detecting the position of the pupil by means and means for determining again whether or not the pupil is normally opened by the determination means; and counting the number of times of the retry processing by the retry control means. A second determining means for determining whether or not the value has reached a prescribed value set in advance; and an error processing when the second determining means determines that the number of times of the retry processing has reached a prescribed value. And an error processing means for performing the error processing.
【請求項18】 被撮影者の顔画像を撮影するステップ
と、 この撮影した顔画像から瞳の位置を検出するステップ
と、 この検出した瞳の位置に基づき瞳の状態を認識し、瞳が
正常に開いているか否かを判定するステップと、 この判定により瞳が正常に開いていると判定された場
合、前記撮影された顔画像を外部の画像保存手段に対し
て保存出力するステップと、 前記判定により瞳が正常に開いていないと判定された場
合、前記顔画像の撮影、前記瞳の位置検出、および、前
記瞳が正常に開いているか否かの判定を再度行なわせる
リトライ制御を行なうステップと、 このリトライ制御によるリトライ処理の回数を計数し、
その計数値があらかじめ設定される規定値に達したか否
かを判定するステップと、 この判定により前記リトライ処理の回数が規定値に達し
たことを判定すると、エラー処理を行なうステップと、 を有することを特徴とする顔画像撮影方法。
18. A step of photographing a face image of a subject, a step of detecting a pupil position from the photographed face image, and recognizing a state of the pupil based on the detected pupil position. A step of determining whether the pupil is normally opened by the determination; and a step of storing and outputting the photographed face image to an external image storage unit; A step of performing retry control for photographing the face image, detecting the position of the pupil, and re-determining whether the pupil is normally opened when it is determined that the pupil is not normally opened. And the number of retry processes by this retry control is counted,
Determining whether the count value has reached a preset specified value; and performing error processing if it is determined that the number of times of the retry process has reached the specified value. A method for capturing a face image, characterized in that:
【請求項19】 被撮影者の顔画像を撮影する撮影手段
と、 この撮影手段により撮影された顔画像から瞳の位置を検
出する瞳位置検出手段と、 この瞳位置検出手段により検出された瞳の位置に基づき
瞳の状態を認識し、瞳が正常に開いているか否かを判定
する第1の判定手段と、 この第1の判定手段により瞳が正常に開いていると判定
された場合、前記撮影手段により撮影された顔画像を外
部の画像保存手段に対して保存出力する画像出力手段
と、 前記第1の判定手段により瞳が正常に開いていないと判
定された場合、前記撮影手段による顔画像の撮影、前記
瞳位置検出手段による瞳の位置検出、および、前記判定
手段による瞳が正常に開いているか否かの判定を再度行
なわせるリトライ制御手段と、 このリトライ制御手段による前記リトライ処理の回数を
計数し、その計数値があらかじめ設定される規定値に達
したか否かを判定する第2の判定手段と、 この第2の判定手段が前記リトライ処理の回数が規定値
に達したことを判定すると、エラー処理を行なうエラー
処理手段と、 を具備したことを特徴とする顔画像撮影装置。
19. A photographing means for photographing a face image of a subject, a pupil position detecting means for detecting a pupil position from a face image photographed by the photographing means, and a pupil detected by the pupil position detecting means. A first determining means for recognizing a state of the pupil based on the position of the pupil and determining whether the pupil is normally opened; and when the first determining means determines that the pupil is normally opened, An image output unit for storing and outputting the face image photographed by the photographing unit to an external image storing unit; and Retry control means for taking a face image, detecting the position of the pupil by the pupil position detection means, and determining again whether the pupil is normally opened by the determination means; and A second determining means for counting the number of times of processing and determining whether or not the counted value has reached a predetermined value set in advance; and the second determining means sets the number of times of the retry processing to a specified value. An error processing means for performing error processing when it is determined that the face image has been reached.
JP26070599A 1999-01-14 1999-09-14 Face image photographing method and face image photographing apparatus Expired - Lifetime JP4316063B2 (en)

Priority Applications (15)

Application Number Priority Date Filing Date Title
JP26070599A JP4316063B2 (en) 1999-01-14 1999-09-14 Face image photographing method and face image photographing apparatus
DE60045044T DE60045044D1 (en) 1999-09-14 2000-07-04 Face photographing apparatus and method
EP03020356A EP1380884B1 (en) 1999-09-14 2000-07-04 Face image photographing apparatus and face image photographing method
DE60013717T DE60013717T2 (en) 1999-09-14 2000-07-04 Apparatus and method for portrait photography
EP03020355A EP1376216B1 (en) 1999-09-14 2000-07-04 Face image photographing apparatus and face image photographing method
EP00114322A EP1085366B1 (en) 1999-09-14 2000-07-04 Face image photographing apparatus and face image photographing method
DE60045263T DE60045263D1 (en) 1999-09-14 2000-07-04 Apparatus and method for facial photography
US09/612,239 US6483993B1 (en) 1999-09-14 2000-07-07 Face image photographing apparatus and face image photographing method
CN00128692A CN1288174A (en) 1999-09-14 2000-07-13 Apparatus and method for taking face photography
KR10-2000-0040112A KR100522514B1 (en) 1999-09-14 2000-07-13 Apparatus for Photographing a Face Image and Method Therefor
KR10-2002-0051123A KR100408366B1 (en) 1999-09-14 2002-08-28 Apparatus for Photographing a Face Image and Method Therefor
KR10-2002-0051122A KR100408365B1 (en) 1999-09-14 2002-08-28 Apparatus for Photographing a Face Image and Method Therefor
US10/254,867 US6636694B1 (en) 1999-09-14 2002-09-26 Face image photographing apparatus and face image photographing method
US10/254,943 US6813439B2 (en) 1999-09-14 2002-09-26 Face image photographing apparatus and face image photographing method
US10/712,002 US6829432B2 (en) 1999-09-14 2003-11-14 Face image photographic apparatus and face image photographic method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-7579 1999-01-14
JP757999 1999-01-14
JP26070599A JP4316063B2 (en) 1999-01-14 1999-09-14 Face image photographing method and face image photographing apparatus

Publications (2)

Publication Number Publication Date
JP2000292853A true JP2000292853A (en) 2000-10-20
JP4316063B2 JP4316063B2 (en) 2009-08-19

Family

ID=26341907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26070599A Expired - Lifetime JP4316063B2 (en) 1999-01-14 1999-09-14 Face image photographing method and face image photographing apparatus

Country Status (1)

Country Link
JP (1) JP4316063B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196410A (en) * 2000-12-27 2002-07-12 Toshiba Corp Face image photographing device and face image photographing method
EP1628465A1 (en) 2004-08-16 2006-02-22 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
JP2006163496A (en) * 2004-12-02 2006-06-22 Fuji Photo Film Co Ltd Apparatus, method and program for image recording
JP2008077189A (en) * 2006-09-19 2008-04-03 Toyota Central R&D Labs Inc Falling asleep while diving prevention device and program
JP2011109696A (en) * 2011-01-17 2011-06-02 Casio Computer Co Ltd Photographed image recorder and method of controlling photographed image record
JP2017163228A (en) * 2016-03-07 2017-09-14 パナソニックIpマネジメント株式会社 Surveillance camera

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196410A (en) * 2000-12-27 2002-07-12 Toshiba Corp Face image photographing device and face image photographing method
EP1628465A1 (en) 2004-08-16 2006-02-22 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
US7430369B2 (en) 2004-08-16 2008-09-30 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
JP2006163496A (en) * 2004-12-02 2006-06-22 Fuji Photo Film Co Ltd Apparatus, method and program for image recording
JP2008077189A (en) * 2006-09-19 2008-04-03 Toyota Central R&D Labs Inc Falling asleep while diving prevention device and program
JP2011109696A (en) * 2011-01-17 2011-06-02 Casio Computer Co Ltd Photographed image recorder and method of controlling photographed image record
JP2017163228A (en) * 2016-03-07 2017-09-14 パナソニックIpマネジメント株式会社 Surveillance camera

Also Published As

Publication number Publication date
JP4316063B2 (en) 2009-08-19

Similar Documents

Publication Publication Date Title
KR100408365B1 (en) Apparatus for Photographing a Face Image and Method Therefor
CN109858371A (en) The method and device of recognition of face
US20060147093A1 (en) ID card generating apparatus, ID card, facial recognition terminal apparatus, facial recognition apparatus and system
JP2004192378A (en) Face image processor and method therefor
JP2000102524A (en) Individual identifying device
JP4521086B2 (en) Face image recognition apparatus and face image recognition method
JP2000292853A (en) Method and device for photographing face picture
JP4762324B2 (en) Face image photographing apparatus and face image photographing method
JP4091184B2 (en) Camera and image generation method
JP2005084979A (en) Face authentication system, method and program
JP2000030066A (en) Method and device for collating face image
JP2000292852A (en) Face picture photographing device
JP4709812B2 (en) Image generation method and image processing apparatus
JP2000206591A (en) Method and device for photographing face image
JP4454841B2 (en) Face image photographing apparatus and face image photographing method
JP2001215605A (en) Face image photographing device, and face image photographing method
JP3168546B2 (en) Portrait processing device and automatic cash transaction device
Romano et al. Face verification for real-time applications
JP3732881B2 (en) Image feature point detection method and apparatus
JPH11265452A (en) Device and method for recognizing object
JP2002218360A (en) Apparatus and method for issuing certificate medium
JP2008234377A (en) Image sorting device and method, and program
CN108428306A (en) A kind of ATM machine and method for preventing bank card from usurping
JP4327317B2 (en) Person image photographing method and person image photographing apparatus
JP2005184129A (en) Image photographing system and certificate medium issuing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090520

R151 Written notification of patent or utility model registration

Ref document number: 4316063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140529

Year of fee payment: 5

EXPY Cancellation because of completion of term