JP2001256496A - 顔画像認識装置及び顔画像認識方法 - Google Patents
顔画像認識装置及び顔画像認識方法Info
- Publication number
- JP2001256496A JP2001256496A JP2000069235A JP2000069235A JP2001256496A JP 2001256496 A JP2001256496 A JP 2001256496A JP 2000069235 A JP2000069235 A JP 2000069235A JP 2000069235 A JP2000069235 A JP 2000069235A JP 2001256496 A JP2001256496 A JP 2001256496A
- Authority
- JP
- Japan
- Prior art keywords
- face
- person
- recognition
- feature amount
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】認証時における不正行為を防止し、高精度の顔
画像認識を実現する顔画像認識装置及び顔画像認識方法
を提供する。 【解決手段】本発明の顔画像認識装置は、認識対象者の
画像を入力する画像入力部１１と、該画像における顔領
域を抽出する顔領域検出部１２と、該顔領域に係る情報
に基づいて、認識対象者の顔の個人差を示す特徴量を計
算する顔部位抽出部１４と、この特徴量と、登録情報保
持部１６に予め登録された特徴量との類似度を計算し
て、認識対象者を認識する人物認識部１５と、この認識
結果に基づいて、所定の操作を許可するか否かを制御す
る機器制御部１８と、を有する。
画像認識を実現する顔画像認識装置及び顔画像認識方法
を提供する。 【解決手段】本発明の顔画像認識装置は、認識対象者の
画像を入力する画像入力部１１と、該画像における顔領
域を抽出する顔領域検出部１２と、該顔領域に係る情報
に基づいて、認識対象者の顔の個人差を示す特徴量を計
算する顔部位抽出部１４と、この特徴量と、登録情報保
持部１６に予め登録された特徴量との類似度を計算し
て、認識対象者を認識する人物認識部１５と、この認識
結果に基づいて、所定の操作を許可するか否かを制御す
る機器制御部１８と、を有する。
Description
【０００１】
【発明の属する技術分野】本発明は、入力画像より顔画
像を抽出して、当該顔画像に基づいて所定の登録や認証
を行う顔画像認識装置及び顔画像認識方法に関する。
像を抽出して、当該顔画像に基づいて所定の登録や認証
を行う顔画像認識装置及び顔画像認識方法に関する。
【０００２】
【従来の技術】今日、顔画像認識技術は、セキュリティ
システムやヒューマンインターフェースの構築に有用で
あるとの認識の下、種々の技術が開発されている。
システムやヒューマンインターフェースの構築に有用で
あるとの認識の下、種々の技術が開発されている。
【０００３】一般に、顔画像により個人を認証する個人
認証装置は、ＩＤカードや暗証番号等に対応した顔特微
量とカメラの前にいる１名の人物の顔特微量とを比較し
た結果に基づいて機器の制御をしている。そして、顔に
よる個人認証用の辞書登録においては、顔画像を何度か
取り直し、その際、特に動きを指定せずに、ある程度の
バリエーションがある画像が数枚集まれば登録終了とし
ている。また、写真撮影時の所謂「なりすまし」による
不正を防止すべく、写真撮影時に瞬きをしてもらい、顔
の動きのチェックをする技術も存在した。
認証装置は、ＩＤカードや暗証番号等に対応した顔特微
量とカメラの前にいる１名の人物の顔特微量とを比較し
た結果に基づいて機器の制御をしている。そして、顔に
よる個人認証用の辞書登録においては、顔画像を何度か
取り直し、その際、特に動きを指定せずに、ある程度の
バリエーションがある画像が数枚集まれば登録終了とし
ている。また、写真撮影時の所謂「なりすまし」による
不正を防止すべく、写真撮影時に瞬きをしてもらい、顔
の動きのチェックをする技術も存在した。
【０００４】以下、具体的な先行文献を挙げて従来技術
を説明する。
を説明する。
【０００５】例えば、特開平１１−３１６８３６号公報
（以下、先行文献１と称する）では、本人の特定に伴っ
て再識別処理をするとき、当該再識別処理に適した画像
取得条件に設定変更して特定者を確実に識別する本人特
定装置に関する技術が開示されている。即ち、同技術で
は、特に認証時に本人である事が認識できない場合に
は、照明条件を変更したり人の向きを変えさせることを
特徴としている。
（以下、先行文献１と称する）では、本人の特定に伴っ
て再識別処理をするとき、当該再識別処理に適した画像
取得条件に設定変更して特定者を確実に識別する本人特
定装置に関する技術が開示されている。即ち、同技術で
は、特に認証時に本人である事が認識できない場合に
は、照明条件を変更したり人の向きを変えさせることを
特徴としている。
【０００６】一方、例えば、特開平１０−２３２９３４
号公報（以下、先行文献２と称する）では、認識対象の
動作をチェックしながら顔画像の登録を行う顔画像登録
装置及びその方法に関する技術が開示されている。すな
わち、同技術では、顔画像の登録の際に、認証対象者が
別の機器の操作をしているか等といった、顔認証とは何
ら関係のない動作のチェックをしている。
号公報（以下、先行文献２と称する）では、認識対象の
動作をチェックしながら顔画像の登録を行う顔画像登録
装置及びその方法に関する技術が開示されている。すな
わち、同技術では、顔画像の登録の際に、認証対象者が
別の機器の操作をしているか等といった、顔認証とは何
ら関係のない動作のチェックをしている。
【０００７】さらに、特許番号第２９１５０１３号公報
（以下、先行文献３と称する）では、監視区域内で視聴
する個々のメンバーを特定する画像認識装置に関する技
術が開示されている。即ち、同技術では、隠し照明器具
及びビデオセンサの両者を使用して、監視領域内の認識
対象者たる視聴者の中から所定の個人を識別する。
（以下、先行文献３と称する）では、監視区域内で視聴
する個々のメンバーを特定する画像認識装置に関する技
術が開示されている。即ち、同技術では、隠し照明器具
及びビデオセンサの両者を使用して、監視領域内の認識
対象者たる視聴者の中から所定の個人を識別する。
【０００８】
【発明が解決しようとする課題】しかしながら、上記従
来技術には、以下のような問題が存在した。
来技術には、以下のような問題が存在した。
【０００９】即ち、危険物や極秘物件等といった重要度
の高いものに対して様々なセキュリティが設置されてい
るが、近年開発中の顔による個人認証装置では、写真で
の所謂「成りすまし」やビデオ画像のすり替え等、悪意
のある人物の検出が困難であった。また、顔画像の認証
が終了した後においては、不正行為を取り締まるすべは
なく、顔認証システム自体の問題が存在していた。ま
た、顔認証等を利用せず特定の管理者が鍵を補完して希
望のあった時に対応する方法でも、鍵を紛失したり盗ま
れる等といった別の問題も生じていた。
の高いものに対して様々なセキュリティが設置されてい
るが、近年開発中の顔による個人認証装置では、写真で
の所謂「成りすまし」やビデオ画像のすり替え等、悪意
のある人物の検出が困難であった。また、顔画像の認証
が終了した後においては、不正行為を取り締まるすべは
なく、顔認証システム自体の問題が存在していた。ま
た、顔認証等を利用せず特定の管理者が鍵を補完して希
望のあった時に対応する方法でも、鍵を紛失したり盗ま
れる等といった別の問題も生じていた。
【００１０】また、所定年齢以上でないと売買できない
ことが望まれる自動販売機に係る技術分野でも、時間で
売買を制限する技術しか存在せず、人目さえ避ければ年
齢に関係無く売買できているのが現状である。商店等で
は、所定年齢以上でないと売買できない物を当該年齢に
満たない者が購入する際には、親の同意書や同伴者を要
求するが、完全自動化することは困難であった。
ことが望まれる自動販売機に係る技術分野でも、時間で
売買を制限する技術しか存在せず、人目さえ避ければ年
齢に関係無く売買できているのが現状である。商店等で
は、所定年齢以上でないと売買できない物を当該年齢に
満たない者が購入する際には、親の同意書や同伴者を要
求するが、完全自動化することは困難であった。
【００１１】さらに、数枚程度の顔画像情報で登録され
ている場合、認証時に顔の向きのばらつきに対しては得
られた顔画像を利用して補正する手法がとられていた
が、完全に補正することは難しかった。また、特殊機器
を使わずにバリエーションのある顔の向きを辞書登録時
に集めるには、単純に「顔を動かしてください」程度の
案内を出すことしかできず、登録者の顔の動かし方の上
記案内に対応した均一化は図れていなかった。
ている場合、認証時に顔の向きのばらつきに対しては得
られた顔画像を利用して補正する手法がとられていた
が、完全に補正することは難しかった。また、特殊機器
を使わずにバリエーションのある顔の向きを辞書登録時
に集めるには、単純に「顔を動かしてください」程度の
案内を出すことしかできず、登録者の顔の動かし方の上
記案内に対応した均一化は図れていなかった。
【００１２】また、写真撮影時の所謂「成りすまし」を
防止するために、写真撮影時に瞬きをさせる顔画像認証
装置に関する技術もあるが、瞬きの判定精度には限度が
あり、例えば写真の眼の部分を手等で歪ませる等といっ
た操作をすれば、「成りすまし」といった不正行為が成
立するといった可能性が残されていた。また、人物によ
っては顔の検出精度が低い等といった問題が存在した。
防止するために、写真撮影時に瞬きをさせる顔画像認証
装置に関する技術もあるが、瞬きの判定精度には限度が
あり、例えば写真の眼の部分を手等で歪ませる等といっ
た操作をすれば、「成りすまし」といった不正行為が成
立するといった可能性が残されていた。また、人物によ
っては顔の検出精度が低い等といった問題が存在した。
【００１３】以上のほか、上記先行文献１では、予め登
録時に認識し易い向きや認識し難い向きという情報を獲
得し、当該情報に合わせて指示を出すといったことは何
ら示唆すらされていなかった。上記先行文献２にかかる
技術では、顔認証向けの顔画像自体が良好か否かについ
てはチェックしていなかった。上記先行文献３では、認
識の目的が視聴者の存在であるにすぎず、機器の操作の
許可／不許可の判定については何ら示唆されていなかっ
た。
録時に認識し易い向きや認識し難い向きという情報を獲
得し、当該情報に合わせて指示を出すといったことは何
ら示唆すらされていなかった。上記先行文献２にかかる
技術では、顔認証向けの顔画像自体が良好か否かについ
てはチェックしていなかった。上記先行文献３では、認
識の目的が視聴者の存在であるにすぎず、機器の操作の
許可／不許可の判定については何ら示唆されていなかっ
た。
【００１４】本発明は、上記問題に鑑みてなされたもの
で、その目的とするところは、認証時における不正行為
を防止し、高精度の顔画像認識を実現する顔画像認識装
置及び顔画像認識方法を提供することにある。
で、その目的とするところは、認証時における不正行為
を防止し、高精度の顔画像認識を実現する顔画像認識装
置及び顔画像認識方法を提供することにある。
【００１５】
【課題を解決するための手段】上記目的を達成するため
に、本発明では、認識対象者の顔画像を認識し、当該認
識結果に基づいて被制御物の動作の可否を判定する顔画
像認識装置において、上記認識対象者の顔画像を抽出
し、当該顔画像の個人差を示す特徴量を計算し、当該特
徴量と予め保持された特徴量とを比較し、上記認識対象
者を特定し、当該特定結果に基づいて被制御物の動作の
可否を判定する制御手段を、を具備することを特徴とす
る顔画像認識装置が提供される。
に、本発明では、認識対象者の顔画像を認識し、当該認
識結果に基づいて被制御物の動作の可否を判定する顔画
像認識装置において、上記認識対象者の顔画像を抽出
し、当該顔画像の個人差を示す特徴量を計算し、当該特
徴量と予め保持された特徴量とを比較し、上記認識対象
者を特定し、当該特定結果に基づいて被制御物の動作の
可否を判定する制御手段を、を具備することを特徴とす
る顔画像認識装置が提供される。
【００１６】さらに、本発明では、認識対象者の画像を
入力する画像入力手段と、上記画像入力手段を介して得
られた画像における認識対象者の顔領域を抽出する顔領
域抽出手段と、上記顔領域抽出手段により抽出された顔
領域に係る情報に基づいて、認識対象者の顔の個人差を
示す特徴量を計算する特徴量抽出手段と、上記特徴量抽
出手段により計算された複数の認識対象者の顔の個人差
を示す特徴量を予め格納する登録情報保持手段と、上記
特徴量抽出手段により得られた認識対象者の顔の特徴量
と、上記登録情報保持手段に予め登録された特徴量との
類似度を計算して、認識対象者を認識する人物認識手段
と、上記人物認識手段の認識結果に基づいて、所定の操
作を許可するか否かを制御する制御手段と、を具備する
ことを特徴とした顔画像認識装置が提供される。
入力する画像入力手段と、上記画像入力手段を介して得
られた画像における認識対象者の顔領域を抽出する顔領
域抽出手段と、上記顔領域抽出手段により抽出された顔
領域に係る情報に基づいて、認識対象者の顔の個人差を
示す特徴量を計算する特徴量抽出手段と、上記特徴量抽
出手段により計算された複数の認識対象者の顔の個人差
を示す特徴量を予め格納する登録情報保持手段と、上記
特徴量抽出手段により得られた認識対象者の顔の特徴量
と、上記登録情報保持手段に予め登録された特徴量との
類似度を計算して、認識対象者を認識する人物認識手段
と、上記人物認識手段の認識結果に基づいて、所定の操
作を許可するか否かを制御する制御手段と、を具備する
ことを特徴とした顔画像認識装置が提供される。
【００１７】また、本発明では、認識対象者の顔画像を
認識し、当該認識結果に基づいて被制御物の動作の可否
を判定する顔画像認識方法において、上記認識対象者の
顔画像を抽出し、当該顔画像の個人差を示す特徴量を計
算し、当該特徴量と予め保持された特徴量とを比較し、
上記認識対象者を特定し、当該特定結果に基づいて被制
御物の動作の可否を判定する、ことを特徴とする顔画像
認識方法が提供される。
認識し、当該認識結果に基づいて被制御物の動作の可否
を判定する顔画像認識方法において、上記認識対象者の
顔画像を抽出し、当該顔画像の個人差を示す特徴量を計
算し、当該特徴量と予め保持された特徴量とを比較し、
上記認識対象者を特定し、当該特定結果に基づいて被制
御物の動作の可否を判定する、ことを特徴とする顔画像
認識方法が提供される。
【００１８】さらに、本発明では、認識対象者の画像を
入力するステップと、上記画像における認識対象者の顔
領域を抽出するステップと、上記顔領域に係る情報に基
づいて、認識対象者の顔の個人差を示す特徴量を計算す
るステップと、複数の認識対象者の顔の個人差を示す特
徴量を予め格納するステップと、上記認識対象者の顔の
特徴量と、上記予め登録された特徴量との類似度を計算
して、認識対象者を認識するステップと、上記認識結果
に基づいて、所定の操作を許可するか否かを制御するス
テップと、を具備することを特徴とした顔画像認識方法
が提供される。
入力するステップと、上記画像における認識対象者の顔
領域を抽出するステップと、上記顔領域に係る情報に基
づいて、認識対象者の顔の個人差を示す特徴量を計算す
るステップと、複数の認識対象者の顔の個人差を示す特
徴量を予め格納するステップと、上記認識対象者の顔の
特徴量と、上記予め登録された特徴量との類似度を計算
して、認識対象者を認識するステップと、上記認識結果
に基づいて、所定の操作を許可するか否かを制御するス
テップと、を具備することを特徴とした顔画像認識方法
が提供される。
【００１９】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について説明する。
実施の形態について説明する。
【００２０】ここでは、カメラで撮像され得られた入力
画像中に含まれる一人又は複数人の顔を認識する顔画像
認識装置及び方法の各種実施の形態について説明する。
画像中に含まれる一人又は複数人の顔を認識する顔画像
認識装置及び方法の各種実施の形態について説明する。
【００２１】即ち、第１の実施の形態では、全ての実施
の形態に共通する顔画像認識装置の構成及び作用につい
て説明する。そして、これを前提として、第２の実施の
形態では、顔の方向・証明を変更させる顔の登録・認証
を中心に説明し、第３の実施の形態では、複数の顔の認
識に係る制御を中心に説明し、第４の実施の形態では、
年齢推定に係る制御を中心に説明する。
の形態に共通する顔画像認識装置の構成及び作用につい
て説明する。そして、これを前提として、第２の実施の
形態では、顔の方向・証明を変更させる顔の登録・認証
を中心に説明し、第３の実施の形態では、複数の顔の認
識に係る制御を中心に説明し、第４の実施の形態では、
年齢推定に係る制御を中心に説明する。
【００２２】先ず、本発明の第１の実施の形態について
説明する。
説明する。
【００２３】図１は第１の実施の形態に係る顔画像認識
装置の適用例の構成図である。
装置の適用例の構成図である。
【００２４】図１（ａ）は通路のドアや金庫のような扉
の開閉の制御に顔画像認識装置を適用したものであり
（以下、扉制御型と称する）、図１（ｂ）は自動販売機
に顔画像認識装置を適用したものである（以下、自動販
売機型と称する）。
の開閉の制御に顔画像認識装置を適用したものであり
（以下、扉制御型と称する）、図１（ｂ）は自動販売機
に顔画像認識装置を適用したものである（以下、自動販
売機型と称する）。
【００２５】図１（ａ）に示されるように、扉制御型で
は、その上部に案内用モニタ１が配置されており、その
下部には３つのＣＣＤカメラ２が配置されている。さら
に、制御部３、全体の制御を司るパーソナルコンピュー
タ（又はワークステーション）４が配置されている。一
方、図１（ｂ）に示されるように、自動販売機型も同様
に、その上部に案内用モニタ１が配置されており、その
下部には３つのＣＣＤカメラ２が配置されている。さら
に、制御部３、全体の制御を司るパーソナルコンピュー
タ（又はワークステーション）４が配置されている。
は、その上部に案内用モニタ１が配置されており、その
下部には３つのＣＣＤカメラ２が配置されている。さら
に、制御部３、全体の制御を司るパーソナルコンピュー
タ（又はワークステーション）４が配置されている。一
方、図１（ｂ）に示されるように、自動販売機型も同様
に、その上部に案内用モニタ１が配置されており、その
下部には３つのＣＣＤカメラ２が配置されている。さら
に、制御部３、全体の制御を司るパーソナルコンピュー
タ（又はワークステーション）４が配置されている。
【００２６】このように、第１の実施の形態の適用例で
は、上記制御部３において、詳細は後述するような各種
アプリケーションに合わせて、顔による個人認証の結果
に基づく所定の制御が行われることになる。
は、上記制御部３において、詳細は後述するような各種
アプリケーションに合わせて、顔による個人認証の結果
に基づく所定の制御が行われることになる。
【００２７】図２は、第１の実施の形態に係る顔画像認
識装置の構成を示すブロック図である。この図２に示さ
れるように、カメラ等を有する画像入力部１１の出力
は、顔領域検出部１２の入力に接続され、この顔領域検
出部１２の出力は、顔方向判定部１３の入力に接続され
ている。上記顔方向判定部１３の出力は、顔部位抽出部
１４の入力に接続され、この顔部位抽出部１４の出力
は、人物認識部１５の入力に接続されている。更に、こ
の人物認識部１５は、登録情報保持部１６と機器制御部
１８と相互に通信自在に接続されている。以上の他、上
記各部１２乃至１５の各出力は、案内出力部１７の入力
に接続されている。
識装置の構成を示すブロック図である。この図２に示さ
れるように、カメラ等を有する画像入力部１１の出力
は、顔領域検出部１２の入力に接続され、この顔領域検
出部１２の出力は、顔方向判定部１３の入力に接続され
ている。上記顔方向判定部１３の出力は、顔部位抽出部
１４の入力に接続され、この顔部位抽出部１４の出力
は、人物認識部１５の入力に接続されている。更に、こ
の人物認識部１５は、登録情報保持部１６と機器制御部
１８と相互に通信自在に接続されている。以上の他、上
記各部１２乃至１５の各出力は、案内出力部１７の入力
に接続されている。
【００２８】このような構成の顔画像認識装置の作用を
概説すると、次のようになる。
概説すると、次のようになる。
【００２９】すなわち、上記画像入力部１１は、一つ又
は複数のカメラから入力されたディジタル画像データを
メモリに格納する。さらに、顔領域検出部１２は、各画
像に対して画像内に存在する人物全員の顔領域を検出す
る。これと同時に、顔方向判定部１３は、各顔の向いて
いる方向を判定する。
は複数のカメラから入力されたディジタル画像データを
メモリに格納する。さらに、顔領域検出部１２は、各画
像に対して画像内に存在する人物全員の顔領域を検出す
る。これと同時に、顔方向判定部１３は、各顔の向いて
いる方向を判定する。
【００３０】上記顔部位抽出部１４は、各顔領域におい
て、例えば目鼻口等の顔部位を検出し、それらの位置関
係を基に顔の傾きや大きさの正規化を行う。そして、上
記人物認識部１５は、得られた正規化顔画像を時系列で
蓄積した結果を利用して登録情報保持部６に予め登録さ
れている各個人の顔の特徴量と類似度を計算し、画像内
に存在する各人物が誰であるかを識別する。
て、例えば目鼻口等の顔部位を検出し、それらの位置関
係を基に顔の傾きや大きさの正規化を行う。そして、上
記人物認識部１５は、得られた正規化顔画像を時系列で
蓄積した結果を利用して登録情報保持部６に予め登録さ
れている各個人の顔の特徴量と類似度を計算し、画像内
に存在する各人物が誰であるかを識別する。
【００３１】以上の処理で得られた結果は案内出力部７
に出力されるほか、人物認識部１５によって所望の操作
が許可された場合には機器制御部１８において対象とな
る機器の制御が行われる。また、顔の認証時には、顔方
向判定部１３が各人物の顔の向きを判定し、登録時に認
識し難い顔の向きであった場合や、写真での所謂「成り
すまし」のように顔の動きがない場合においては、案内
出力部１７において顔の方向を変えさせるといった案内
を出力する。
に出力されるほか、人物認識部１５によって所望の操作
が許可された場合には機器制御部１８において対象とな
る機器の制御が行われる。また、顔の認証時には、顔方
向判定部１３が各人物の顔の向きを判定し、登録時に認
識し難い顔の向きであった場合や、写真での所謂「成り
すまし」のように顔の動きがない場合においては、案内
出力部１７において顔の方向を変えさせるといった案内
を出力する。
【００３２】以下、上記各部１１乃至１８による処理を
具現化して詳細に説明する。
具現化して詳細に説明する。
【００３３】上記画像入力部１１は、ＣＣＤカメラ等に
より顔画像を撮像し、Ａ／Ｄ変換を行った後、装置本体
内にあるメモリ内に上記顔画像をデジタルデータとして
記録する。尚、上記ＣＣＤカメラの数は１つでもよいし
複数あってもよく、複数のＣＣＤカメラによって取り込
まれたメモリ内の画像に対して、後述するような各部１
２乃至１８による処理をそれぞれ繰り返すことになる。
より顔画像を撮像し、Ａ／Ｄ変換を行った後、装置本体
内にあるメモリ内に上記顔画像をデジタルデータとして
記録する。尚、上記ＣＣＤカメラの数は１つでもよいし
複数あってもよく、複数のＣＣＤカメラによって取り込
まれたメモリ内の画像に対して、後述するような各部１
２乃至１８による処理をそれぞれ繰り返すことになる。
【００３４】上記顔領域検出部１２は、画像中から予め
用意された平均的な顔のテンプレートを画像内で移動さ
せながら相関値を求めることにより、最も高い相関値を
得た場所を顔領域とする。また、複数に対応する場合に
は局所領域内での最高点（ローカルピーク）を求め、そ
の相関値が所定の閾値を越した場合に顔領域として追加
をする。その他、相関値ではなく、固有空間法や部分空
間法を利用した顔抽出法等を適用することもできる。
用意された平均的な顔のテンプレートを画像内で移動さ
せながら相関値を求めることにより、最も高い相関値を
得た場所を顔領域とする。また、複数に対応する場合に
は局所領域内での最高点（ローカルピーク）を求め、そ
の相関値が所定の閾値を越した場合に顔領域として追加
をする。その他、相関値ではなく、固有空間法や部分空
間法を利用した顔抽出法等を適用することもできる。
【００３５】上記顔方向判定部１３では、上記顔領域検
出部１２において抽出された全顔領域に対し、予め多数
の人物の顔画像から作られた上下左右斜めなど顔の方向
に合わせたテンプレートを用意しておき、どの方向を向
いているかを推定する。また特開平９−１４７１１９号
公報で述べられているような顔の部品の位置を検出する
方法を採用することも可能である。
出部１２において抽出された全顔領域に対し、予め多数
の人物の顔画像から作られた上下左右斜めなど顔の方向
に合わせたテンプレートを用意しておき、どの方向を向
いているかを推定する。また特開平９−１４７１１９号
公報で述べられているような顔の部品の位置を検出する
方法を採用することも可能である。
【００３６】上記顔部位抽出部１４では、得られた各顔
領域内から目、鼻、口といった顔部品を検出する。この
顔部品の検出方法については、文献（福井和広、山口
修：「形状抽出とパターン称号の組合せによる顔特徴点
抽出」、電子情報通信学会論文誌（Ｄ），vol.Ｊ80・D
・II，No.８，pp2177・・2177（1997）で説明されるよう
に、分離度フィルタを用いることで実現可能である。
領域内から目、鼻、口といった顔部品を検出する。この
顔部品の検出方法については、文献（福井和広、山口
修：「形状抽出とパターン称号の組合せによる顔特徴点
抽出」、電子情報通信学会論文誌（Ｄ），vol.Ｊ80・D
・II，No.８，pp2177・・2177（1997）で説明されるよう
に、分離度フィルタを用いることで実現可能である。
【００３７】次に検出された顔の部品の位置を基に、顔
領域を一定の大きさ、形状に切出し、傾きや大きさを補
正してｍ×ｎピクセルの領域を作成する。以下、このｍ
×ｎ次元の情報を顔特徴ベクトルとして用いる。
領域を一定の大きさ、形状に切出し、傾きや大きさを補
正してｍ×ｎピクセルの領域を作成する。以下、このｍ
×ｎ次元の情報を顔特徴ベクトルとして用いる。
【００３８】ここで、目鼻など顔の部品が検出しにくく
現在とは別の顔の向きにすれば顔が検出し易い等の情報
が予め辞書に保持してある場合や、検出はできているが
写真等のように全く変動がないといった場合、後述の案
内出力部１７から「所定の方向を向いてください」とい
った案内を出力する。
現在とは別の顔の向きにすれば顔が検出し易い等の情報
が予め辞書に保持してある場合や、検出はできているが
写真等のように全く変動がないといった場合、後述の案
内出力部１７から「所定の方向を向いてください」とい
った案内を出力する。
【００３９】続いて、人物認識部１５では、次の処理を
行う。
行う。
【００４０】ここで、図３は顔の特徴量情報の一例を示
す図である。
す図である。
【００４１】図３の左図は、入力画像を顔領域検出部１
２によって処理し得られた顔領域画像を時系列で貯め込
んだデータを示したものであり、図３の右図は、時系列
画像データに対してＫ−Ｌ展開による正規直交ベクトル
を求めることにより部分空間を計算し、その固有ベクト
ルを画像化して表示したものである。
２によって処理し得られた顔領域画像を時系列で貯め込
んだデータを示したものであり、図３の右図は、時系列
画像データに対してＫ−Ｌ展開による正規直交ベクトル
を求めることにより部分空間を計算し、その固有ベクト
ルを画像化して表示したものである。
【００４２】この部分空間は、人物の同定を行うための
識別辞書、及び入力画像内の顔の特徴として利用する。
予め登録しておいた辞書の部分空間と、入力画像から作
成された部分空間を認識に用いれば良い。
識別辞書、及び入力画像内の顔の特徴として利用する。
予め登録しておいた辞書の部分空間と、入力画像から作
成された部分空間を認識に用いれば良い。
【００４３】本実施の形態では、認識方法としては、文
献（前田賢一、渡辺貞一：「局所的構造を導入したパタ
ーン・マッチング法」、電子情報通信学会論文誌
（Ｄ），vol.J68-D，No.３，pp345−352(1985)）や、特
開平９−２５１５３４号公報に記載されている相互部分
空間法を採用する。
献（前田賢一、渡辺貞一：「局所的構造を導入したパタ
ーン・マッチング法」、電子情報通信学会論文誌
（Ｄ），vol.J68-D，No.３，pp345−352(1985)）や、特
開平９−２５１５３４号公報に記載されている相互部分
空間法を採用する。
【００４４】以上のような流れで、各個人毎の辞書デー
タと特徴量とを比較することで、カメラにより撮影され
た人物が誰であるかを識別し、又は該当人物であるかど
うかを同定することになる。ここで、人物を識別する為
には、どの人物の辞書に最も類似しているかを求めれば
よく、最大類似度をとるデータに対応する人物を識別結
果とすればよい。また、カードや登録番号、暗証番号、
鍵等を用いて、顔による認証を行う場合には、各人物の
カードや番号等の個人情報に対応する認識データとの類
似度を計算し、予め閾値を設定し、上記類似度が該閾値
を越えた場合に該当人物と同定することになる。
タと特徴量とを比較することで、カメラにより撮影され
た人物が誰であるかを識別し、又は該当人物であるかど
うかを同定することになる。ここで、人物を識別する為
には、どの人物の辞書に最も類似しているかを求めれば
よく、最大類似度をとるデータに対応する人物を識別結
果とすればよい。また、カードや登録番号、暗証番号、
鍵等を用いて、顔による認証を行う場合には、各人物の
カードや番号等の個人情報に対応する認識データとの類
似度を計算し、予め閾値を設定し、上記類似度が該閾値
を越えた場合に該当人物と同定することになる。
【００４５】上記登録情報保持部１６は、人物を同定す
るために利用する顔の特徴量（本実施例では部分空間ま
たは相関行列など）や、顔の登録時に記録された「認識
しやすい顔の向き」、「認識しにくい顔の向き」といっ
た情報を同時に保持する。また登録の際の時刻、日時、
場所、人物の性別、年齢、身長、ＩＤ番号などの状況情
報なども同時に蓄積できる。入力された顔の画像データ
自体でもよい。
るために利用する顔の特徴量（本実施例では部分空間ま
たは相関行列など）や、顔の登録時に記録された「認識
しやすい顔の向き」、「認識しにくい顔の向き」といっ
た情報を同時に保持する。また登録の際の時刻、日時、
場所、人物の性別、年齢、身長、ＩＤ番号などの状況情
報なども同時に蓄積できる。入力された顔の画像データ
自体でもよい。
【００４６】また、一人の人物に対して複数用意するこ
とも可能で、例えば、眼鏡をかけている場合、眼鏡を外
した場合のように著しく変動が起こる場合に、２つの認
識データを用意しておき、いずれかのデータと同定出来
た場合に照合できたとする。尚、眼鏡に限られず、女性
の場合は化粧の有無等にも利用できる。
とも可能で、例えば、眼鏡をかけている場合、眼鏡を外
した場合のように著しく変動が起こる場合に、２つの認
識データを用意しておき、いずれかのデータと同定出来
た場合に照合できたとする。尚、眼鏡に限られず、女性
の場合は化粧の有無等にも利用できる。
【００４７】上記機器制御部１８は、人物認識部１５に
おいて特定人物だと識別された場合に、その人物が予め
所定の操作の許可を得ているものである場合には、制御
対象機器に対して操作許可の信号を送る。例えば、上述
した適用例である扉制御型では、扉のロックを解除して
扉を開けられるように駆動制御したり、特定の物を出し
入れできるようにしたりするとことが挙げられる。
おいて特定人物だと識別された場合に、その人物が予め
所定の操作の許可を得ているものである場合には、制御
対象機器に対して操作許可の信号を送る。例えば、上述
した適用例である扉制御型では、扉のロックを解除して
扉を開けられるように駆動制御したり、特定の物を出し
入れできるようにしたりするとことが挙げられる。
【００４８】また、カードや登録番号、暗証番号、鍵な
どを用いて、ある特定ＩＤに対しての操作の許可を得る
ための認証を行う場合には、それぞれの人物のカードや
番号等の個人情報に対応する認識データとの類似度が所
定の閾値を超えた場合にその操作を許可することにな
る。
どを用いて、ある特定ＩＤに対しての操作の許可を得る
ための認証を行う場合には、それぞれの人物のカードや
番号等の個人情報に対応する認識データとの類似度が所
定の閾値を超えた場合にその操作を許可することにな
る。
【００４９】次に本発明の第２の実施の形態について説
明する。
明する。
【００５０】第２の実施の形態に係る顔画像認識装置
は、第１の実施の形態の機能に加えて、顔の方向を指定
しながら顔画像の登録を行い、且つ目鼻の検出が難い顔
の向きや検出し易い顔の向きを辞書に登録する機能を有
する点に特徴がある。
は、第１の実施の形態の機能に加えて、顔の方向を指定
しながら顔画像の登録を行い、且つ目鼻の検出が難い顔
の向きや検出し易い顔の向きを辞書に登録する機能を有
する点に特徴がある。
【００５１】尚、この第２の実施の形態の適用例は先に
説明した図１と同様であり、基本構成についても第１の
実施の形態において説明した図２と同様である。そこ
で、以下の説明では、図1及び図２を適宜参照しつつ、
顔の方向を確認しながら顔画像登録処理について詳細に
説明する。
説明した図１と同様であり、基本構成についても第１の
実施の形態において説明した図２と同様である。そこ
で、以下の説明では、図1及び図２を適宜参照しつつ、
顔の方向を確認しながら顔画像登録処理について詳細に
説明する。
【００５２】以下、図５のフローチャートを参照して、
第２の実施の形態に係る顔画像認識装置による顔画像の
登録処理について詳述する。
第２の実施の形態に係る顔画像認識装置による顔画像の
登録処理について詳述する。
【００５３】尚、下記の閾値は、０＜Ｔｈ１＜Ｔｈ２の
関係があるものとする。
関係があるものとする。
【００５４】新規に顔画像を登録しようとする時には、
システムの管理者が登録用のシステムを起動する。登録
対象者は画像入力部１１及び案内出力部１７の前に立っ
て、案内出力部１７からの指示通りに顔の向きを変化さ
せる。
システムの管理者が登録用のシステムを起動する。登録
対象者は画像入力部１１及び案内出力部１７の前に立っ
て、案内出力部１７からの指示通りに顔の向きを変化さ
せる。
【００５５】このとき、図４に示されるような案内出力
画面が表示される。
画面が表示される。
【００５６】この図４に示されるように、案内用モニタ
１には、カメラ２２により撮像された画像と、人物の顔
が検出できたか否かを出力する顔検出結果表示部２０
と、予め定めたタイムテーブルに合わせて顔の向きを指
示する顔方向指定案内部２１とが表示され、予め定めた
タイムテーブルに顔を向けるべき方向の指定が随時変更
される。このタイムテーブルは、上下左右斜め等、多種
多様な方向の顔画像が得られるように予め作成されてい
る（ステップＳ１）。
１には、カメラ２２により撮像された画像と、人物の顔
が検出できたか否かを出力する顔検出結果表示部２０
と、予め定めたタイムテーブルに合わせて顔の向きを指
示する顔方向指定案内部２１とが表示され、予め定めた
タイムテーブルに顔を向けるべき方向の指定が随時変更
される。このタイムテーブルは、上下左右斜め等、多種
多様な方向の顔画像が得られるように予め作成されてい
る（ステップＳ１）。
【００５７】続いて、カメラ２２による顔画像の取り込
みがなされ（ステップＳ２）、顔方向の判定が行われる
（ステップＳ２）。そして、案内出力部１７で指示した
方向を向いて撮像が行われたか否かが判定される（ステ
ップＳ４）。ここで、指示した方向を向いて撮像が行わ
れた場合には、ステップＳ５に移行し、指示した方向を
向いて撮像が行われなかった場合には、ステップＳ８に
移行する。
みがなされ（ステップＳ２）、顔方向の判定が行われる
（ステップＳ２）。そして、案内出力部１７で指示した
方向を向いて撮像が行われたか否かが判定される（ステ
ップＳ４）。ここで、指示した方向を向いて撮像が行わ
れた場合には、ステップＳ５に移行し、指示した方向を
向いて撮像が行われなかった場合には、ステップＳ８に
移行する。
【００５８】ステップＳ５では、所定方向の顔画像が所
定の閾値Th1以内の時間Countで検出できか否かが判定さ
れる。そして、所定方向の顔画像が所定の閾値Th1以内
の時間Countで検出ができた場合には（ステップＳ
５）、その方向が検出し易い顔の方向であると判定し
て、顔の辞書に「顔を検出しやすい方向」として登録し
た後にステップＳ７に移行する（ステップＳ６）。これ
に対して、所定方向の顔画像が所定の閾値Th1以内の時
間Countで検出できなかった場合には登録は行わずにス
テップＳ７に移行する（ステップＳ５）。
定の閾値Th1以内の時間Countで検出できか否かが判定さ
れる。そして、所定方向の顔画像が所定の閾値Th1以内
の時間Countで検出ができた場合には（ステップＳ
５）、その方向が検出し易い顔の方向であると判定し
て、顔の辞書に「顔を検出しやすい方向」として登録し
た後にステップＳ７に移行する（ステップＳ６）。これ
に対して、所定方向の顔画像が所定の閾値Th1以内の時
間Countで検出できなかった場合には登録は行わずにス
テップＳ７に移行する（ステップＳ５）。
【００５９】一方、ステップＳ８では、所定閾値Th2以
上の時間Countを経過しても顔画像を検出できない方向
があったか否かが判定される。そして、所定閾値Th2以
上の時間Countを経過しても顔画像を検出できない方向
があった場合には逆に「顔を検出しにくい方向」として
辞書に登録した後にステップＳ７に移行する（ステップ
Ｓ９）。これに対して、所定閾値Th2以上の時間Countを
経過しても顔画像を検出できない方向がなかった場合に
は、上記時間Countをインクリメントした後、上記ステ
ップＳ２に戻る（ステップＳ１０）。
上の時間Countを経過しても顔画像を検出できない方向
があったか否かが判定される。そして、所定閾値Th2以
上の時間Countを経過しても顔画像を検出できない方向
があった場合には逆に「顔を検出しにくい方向」として
辞書に登録した後にステップＳ７に移行する（ステップ
Ｓ９）。これに対して、所定閾値Th2以上の時間Countを
経過しても顔画像を検出できない方向がなかった場合に
は、上記時間Countをインクリメントした後、上記ステ
ップＳ２に戻る（ステップＳ１０）。
【００６０】こうして、タイムテーブルの終了の可否を
判断し（ステップＳ７）タイムテーブル終了となれば全
ての登録を終了し、終了していなければ、次のタイムテ
ーブルに合わせて案内出力部１７から顔方向の指定する
と共に、時間Countを０に初期化して（ステップＳ１
１）、上記ステップＳ２に戻り、上記同様の動作を繰り
返すことになる。
判断し（ステップＳ７）タイムテーブル終了となれば全
ての登録を終了し、終了していなければ、次のタイムテ
ーブルに合わせて案内出力部１７から顔方向の指定する
と共に、時間Countを０に初期化して（ステップＳ１
１）、上記ステップＳ２に戻り、上記同様の動作を繰り
返すことになる。
【００６１】このようにして登録された顔の向きの情報
は、認証時に利用される。
は、認証時に利用される。
【００６２】即ち、ＩＤカードや暗証番号と併用する時
などにおいては、認証対象者の辞書が特定されている場
合には、当該辞書に登録されている「検出し易い顔の方
向」を利用し、仮に認証対象者の顔を検出できないとき
や「検出しにくい方向」として登録されている方向を向
いていると顔方向判定部１３で認識された場合には「検
出しやすい方向」を向くように案内出力部１７にて指示
する。
などにおいては、認証対象者の辞書が特定されている場
合には、当該辞書に登録されている「検出し易い顔の方
向」を利用し、仮に認証対象者の顔を検出できないとき
や「検出しにくい方向」として登録されている方向を向
いていると顔方向判定部１３で認識された場合には「検
出しやすい方向」を向くように案内出力部１７にて指示
する。
【００６３】また、顔の方向が所定時間以上変化しない
ような場合にも案内出力部１７から所定方向を向くよう
に示唆することで、写真による所謂「成りすまし」とい
った不正を未然防止することが可能となる。
ような場合にも案内出力部１７から所定方向を向くよう
に示唆することで、写真による所謂「成りすまし」とい
った不正を未然防止することが可能となる。
【００６４】次に、本発明の第３の実施の形態について
説明する。
説明する。
【００６５】第３の実施の形態に係る顔画像認識装置
は、前述した第１の実施の形態の機能に加えて、危険物
や貴重品を取り扱う場合などにおいては、特定の管理者
グループに所属する人物の同伴を伴う中、二人以上の顔
を認識できたときのみ所定の操作を許可するといった機
能を有する点に特徴がある。
は、前述した第１の実施の形態の機能に加えて、危険物
や貴重品を取り扱う場合などにおいては、特定の管理者
グループに所属する人物の同伴を伴う中、二人以上の顔
を認識できたときのみ所定の操作を許可するといった機
能を有する点に特徴がある。
【００６６】尚、この第３の実施の形態の適用例は先に
説明した図１と同様であり、基本構成についても第１の
実施の形態において説明した後述する点以外は図２と同
様である。そこで、以下の説明では、図1及び図２を適
宜参照しつつ、顔の方向を確認しながら顔画像認証処理
について詳細に説明する。
説明した図１と同様であり、基本構成についても第１の
実施の形態において説明した後述する点以外は図２と同
様である。そこで、以下の説明では、図1及び図２を適
宜参照しつつ、顔の方向を確認しながら顔画像認証処理
について詳細に説明する。
【００６７】この第３の実施の形態では、図２の人物認
識部１５及び機器制御部１８び機能に変更が加えられて
いる。即ち、管理者グループに所属する人物を含む複数
名の顔を認識できたときのみ、若しくは所定人数以上の
存在を認識できたときのみ、所定の操作の許可を与える
ような制御がなされている。
識部１５及び機器制御部１８び機能に変更が加えられて
いる。即ち、管理者グループに所属する人物を含む複数
名の顔を認識できたときのみ、若しくは所定人数以上の
存在を認識できたときのみ、所定の操作の許可を与える
ような制御がなされている。
【００６８】さらに、画像入力部１１では、複数の者が
同時に撮影できるように広角カメラを利用してもよく、
複数のカメラを設置して同時に処理をしてもよい。
同時に撮影できるように広角カメラを利用してもよく、
複数のカメラを設置して同時に処理をしてもよい。
【００６９】また、登録情報保持部１６は、全ての登録
人物の情報以外に、各個人が管理者の同伴を必要とする
操作をするときのため、管理者グループに所属している
か否か等の情報も予め保持されている。
人物の情報以外に、各個人が管理者の同伴を必要とする
操作をするときのため、管理者グループに所属している
か否か等の情報も予め保持されている。
【００７０】以下、図６のフローチャートを参照して、
第３の実施の形態に係る顔画像認識装置による認証処理
について詳述する。
第３の実施の形態に係る顔画像認識装置による認証処理
について詳述する。
【００７１】認識処理を開始すると、画像入力部１１で
得られた入力画像内の各人物の認識を行う（ステップＳ
２１）。ここでは、入力画像内に存在する全ての人物の
顔画像を抽出し、各顔画像に相当する人物を、登録保持
部１６に予め保持されている情報に基づいて特定する。
続いて、操作しようとしている者が、管理者の同伴を必
要とする者であるか否かが判断される（ステップＳ２
２）。
得られた入力画像内の各人物の認識を行う（ステップＳ
２１）。ここでは、入力画像内に存在する全ての人物の
顔画像を抽出し、各顔画像に相当する人物を、登録保持
部１６に予め保持されている情報に基づいて特定する。
続いて、操作しようとしている者が、管理者の同伴を必
要とする者であるか否かが判断される（ステップＳ２
２）。
【００７２】このステップＳ２２において、管理者の同
伴を必要とする者であると判断された場合には、入力画
像中に複数名の人物が存在するか（ステップＳ２３）、
管理者の存在が必要な操作か（ステップＳ２４）、複数
名の中に管理者が存在するか（ステップＳ２５）が判定
される。以下、これを詳述する。
伴を必要とする者であると判断された場合には、入力画
像中に複数名の人物が存在するか（ステップＳ２３）、
管理者の存在が必要な操作か（ステップＳ２４）、複数
名の中に管理者が存在するか（ステップＳ２５）が判定
される。以下、これを詳述する。
【００７３】上記ステップＳ２３にて、入力画像中に複
数名の人物が存在しないと判断された場合には、操作は
拒否される（ステップＳ２９）。
数名の人物が存在しないと判断された場合には、操作は
拒否される（ステップＳ２９）。
【００７４】上記ステップＳ２３において入力画像中に
複数名の人物が存在していると判断された場合におい
て、ステップＳ２４において管理者の存在が必要な操作
でないと判断された場合、所定の閾値以上の人数が存在
するかが判定される（ステップＳ２７）。このステップ
Ｓ２７において、所定の閾値以上の人数が存在しないと
判断された場合には操作は拒否され（ステップＳ２
９）、存在と判断された場合には操作が許可される（ス
テップＳ２８）。
複数名の人物が存在していると判断された場合におい
て、ステップＳ２４において管理者の存在が必要な操作
でないと判断された場合、所定の閾値以上の人数が存在
するかが判定される（ステップＳ２７）。このステップ
Ｓ２７において、所定の閾値以上の人数が存在しないと
判断された場合には操作は拒否され（ステップＳ２
９）、存在と判断された場合には操作が許可される（ス
テップＳ２８）。
【００７５】上記ステップＳ２４で管理者の存在が必要
な操作であると判断された場合において、ステップＳ２
５で複数名の中に管理者が存在しないと判断された場合
には操作は拒否され（ステップＳ２９）、存在すると判
断された場合には操作が許可される（ステップＳ２
８）。
な操作であると判断された場合において、ステップＳ２
５で複数名の中に管理者が存在しないと判断された場合
には操作は拒否され（ステップＳ２９）、存在すると判
断された場合には操作が許可される（ステップＳ２
８）。
【００７６】このように、第３の実施の形態では、同伴
者の存在は必要なく予め登録されている人物であれば一
人でも操作を許可する「第１のモード」、登録された人
物であれば組合せは問わないが所定の人数以上が同時に
存在する場合にのみ操作を許可する「第２のモード」、
予め管理者として登録されている一部の人物が同伴して
いる時のみ操作を許可する「第３のモード」に応じて、
許可／不許可の判断を行っている。上記モードは、アプ
リケーションによって変更自在である。
者の存在は必要なく予め登録されている人物であれば一
人でも操作を許可する「第１のモード」、登録された人
物であれば組合せは問わないが所定の人数以上が同時に
存在する場合にのみ操作を許可する「第２のモード」、
予め管理者として登録されている一部の人物が同伴して
いる時のみ操作を許可する「第３のモード」に応じて、
許可／不許可の判断を行っている。上記モードは、アプ
リケーションによって変更自在である。
【００７７】次に、本発明の第４の実施の形態について
説明する。
説明する。
【００７８】第４の実施の形態に係る顔画像認識装置
は、前述した第１の実施の形態の機能に加えて、人物の
年齢を推定することで所定年齢以下の人物が操作をしよ
うとしたときに所定年齢以上の者の同伴があるかどうか
を確認することによって自動的に操作の許可の判定をす
るといった機能を有する点に特徴がある。
は、前述した第１の実施の形態の機能に加えて、人物の
年齢を推定することで所定年齢以下の人物が操作をしよ
うとしたときに所定年齢以上の者の同伴があるかどうか
を確認することによって自動的に操作の許可の判定をす
るといった機能を有する点に特徴がある。
【００７９】尚、この第３の実施の形態の適用例は先に
説明した図１と同様であり、基本構成についても第１の
実施の形態において説明した後述する点以外は図２と同
様である。そこで、以下の説明では、図1及び図２を適
宜参照しつつ、年齢推定処理について詳細に説明する。
説明した図１と同様であり、基本構成についても第１の
実施の形態において説明した後述する点以外は図２と同
様である。そこで、以下の説明では、図1及び図２を適
宜参照しつつ、年齢推定処理について詳細に説明する。
【００８０】この第４の実施の形態に係る顔画像認識装
置では、人物の特定をする必要はなく、年齢だけが推定
できればよいため、図７に示されるように、図２の顔方
向判定部１３及び人物認識部１５が、特徴量抽出部２３
及び年齢推定部２４に置換されている。尚、画像入力部
１１は、複数名が同時に撮影できるような広角なカメラ
を利用してもよいし、複数のカメラを設置して同時に処
理をしてもよい。
置では、人物の特定をする必要はなく、年齢だけが推定
できればよいため、図７に示されるように、図２の顔方
向判定部１３及び人物認識部１５が、特徴量抽出部２３
及び年齢推定部２４に置換されている。尚、画像入力部
１１は、複数名が同時に撮影できるような広角なカメラ
を利用してもよいし、複数のカメラを設置して同時に処
理をしてもよい。
【００８１】また、登録情報保持部１６では、各種年齢
層別の平均顔画像、又は同じ年齢層の多数の顔画像をＫ
−Ｌ展開することによって得られる各年齢層の特徴を示
す固有ベクトル等を保持し、前述の実施の形態までのよ
うに個人の特徴を保持する辞書は必要ない。個人の特定
辞書を入れることで、個人に対する年齢情報を正確に出
力できるといった手段でも実現可能である。
層別の平均顔画像、又は同じ年齢層の多数の顔画像をＫ
−Ｌ展開することによって得られる各年齢層の特徴を示
す固有ベクトル等を保持し、前述の実施の形態までのよ
うに個人の特徴を保持する辞書は必要ない。個人の特定
辞書を入れることで、個人に対する年齢情報を正確に出
力できるといった手段でも実現可能である。
【００８２】以下、図８のフローチャートを参照して、
第４の実施の形態に係る顔画像認識装置による年齢推定
処理について説明する。
第４の実施の形態に係る顔画像認識装置による年齢推定
処理について説明する。
【００８３】処理を開始すると、上記画像入力部１１で
得られた入力画像中に存在する全ての人物の顔画像を抽
出する。そして、年齢推定部２２は、各顔画像に対し、
登録情報保持部１６に予め保持された年齢情報を参照し
つつ、一番類似度が高いと判定された年齢層によりその
人物の年齢を推定する（ステップＳ３１）。
得られた入力画像中に存在する全ての人物の顔画像を抽
出する。そして、年齢推定部２２は、各顔画像に対し、
登録情報保持部１６に予め保持された年齢情報を参照し
つつ、一番類似度が高いと判定された年齢層によりその
人物の年齢を推定する（ステップＳ３１）。
【００８４】次いで、操作しようとしている対象が、所
定年齢以上の同伴者が必要なものであるか否かが判断さ
れる（ステップＳ３２）。
定年齢以上の同伴者が必要なものであるか否かが判断さ
れる（ステップＳ３２）。
【００８５】そして、所定年齢以上の同伴者が必要なも
のでない場合には、操作を許可し（ステップＳ３５）、
所定年齢以上の同伴者が必要なものである場合には、複
数人物の中に所定年齢以上の者が存在するか否かが判断
される（ステップＳ３３）。
のでない場合には、操作を許可し（ステップＳ３５）、
所定年齢以上の同伴者が必要なものである場合には、複
数人物の中に所定年齢以上の者が存在するか否かが判断
される（ステップＳ３３）。
【００８６】そして、所定年齢以上の者が存在すれば操
作が許可され（ステップＳ３５）、存在しなければ操作
が拒否される（ステップＳ３４）。
作が許可され（ステップＳ３５）、存在しなければ操作
が拒否される（ステップＳ３４）。
【００８７】このように、第４の実施の形態では、所定
年齢以上の同伴者は必要なく誰でも操作を許可する第１
のモード、一人または複数の人物の中に所定年齢以上の
人物がいると判定された場合のみ操作を許可する第２の
モード、に応じて操作の許可／拒否が判断されている。
上記モードはアプリケーションによって適宜変更可能で
ある。
年齢以上の同伴者は必要なく誰でも操作を許可する第１
のモード、一人または複数の人物の中に所定年齢以上の
人物がいると判定された場合のみ操作を許可する第２の
モード、に応じて操作の許可／拒否が判断されている。
上記モードはアプリケーションによって適宜変更可能で
ある。
【００８８】以上説明した本発明によれば、以下の効果
が奏される。
が奏される。
【００８９】（１）管理者付き複数顔認証における効果 実際に所望の操作をしたいと思っている顔認証希望者と
予め登録された管理者や同伴者など所定の条件を満たす
同伴の人物とともに同時に複数の顔認証を行い、認証結
果の組合せによって所定の操作の許可をすることができ
る。そのため、鍵などの媒体を管理者が持ち歩く必要も
なく、必要なときのみ管理者が同伴して認証を行えばよ
いようになるほか、自動認証を終えた後でも管理者によ
る監視があるために操作に一定の制限をつけることが可
能となる。
予め登録された管理者や同伴者など所定の条件を満たす
同伴の人物とともに同時に複数の顔認証を行い、認証結
果の組合せによって所定の操作の許可をすることができ
る。そのため、鍵などの媒体を管理者が持ち歩く必要も
なく、必要なときのみ管理者が同伴して認証を行えばよ
いようになるほか、自動認証を終えた後でも管理者によ
る監視があるために操作に一定の制限をつけることが可
能となる。
【００９０】（２）年齢推定における効果 操作をしようとししている人物の年齢を推定することに
より所定年齢以下の者が現れたときでも所定年齢以上の
同伴者がいないと操作を許可しないようにすることがで
きる。
より所定年齢以下の者が現れたときでも所定年齢以上の
同伴者がいないと操作を許可しないようにすることがで
きる。
【００９１】（３）顔登録における効果 顔認証装置における顔画像の登録時において、かつ正し
くその方向を向いているかの顔方向判定を行いながら顔
の向きを指示することで、多くの方向を向いた顔画像を
有効かる無駄がなく集められ、精度良く顔画像の登録を
することができる。また登録時にうまく顔や顔の部位が
抽出できない顔の方向があったら個人の特徴を示す辞書
と同時に記録しておく。
くその方向を向いているかの顔方向判定を行いながら顔
の向きを指示することで、多くの方向を向いた顔画像を
有効かる無駄がなく集められ、精度良く顔画像の登録を
することができる。また登録時にうまく顔や顔の部位が
抽出できない顔の方向があったら個人の特徴を示す辞書
と同時に記録しておく。
【００９２】（４）顔認証における効果 認証の時に所定方向を向いてもらい、認証の度に向かせ
る方向を変えたり複数方向を向かせることによって写真
による所謂「成りすまし」を防止する他、顔の登録時に
同時に保存してある顔の特徴の出やすい方向、出にくい
方向を個人別に持つことによって精度良い顔認証をする
ことができる。
る方向を変えたり複数方向を向かせることによって写真
による所謂「成りすまし」を防止する他、顔の登録時に
同時に保存してある顔の特徴の出やすい方向、出にくい
方向を個人別に持つことによって精度良い顔認証をする
ことができる。
【００９３】
【発明の効果】本発明によれば、認証時における不正行
為を防止し、高精度の顔画像認識を実現する顔画像認識
装置及び顔画像認識方法を提供することができる。
為を防止し、高精度の顔画像認識を実現する顔画像認識
装置及び顔画像認識方法を提供することができる。
【図１】（ａ）は通路のドアや金庫のような扉の開閉の
制御に第１の実施の形態に係る顔画像認識装置を適用し
た場合の構成を示す図であり、（ｂ）は自動販売機に第
１の実施の形態に係る顔画像認識装置を適用した場合の
構成を示す図である。
制御に第１の実施の形態に係る顔画像認識装置を適用し
た場合の構成を示す図であり、（ｂ）は自動販売機に第
１の実施の形態に係る顔画像認識装置を適用した場合の
構成を示す図である。
【図２】第１の実施の形態に係る顔画像認識装置の構成
を示すブロック図である。
を示すブロック図である。
【図３】第１の実施の形態に係る顔画像認識装置にて抽
出された顔の特徴量情報の一例を示す図である。
出された顔の特徴量情報の一例を示す図である。
【図４】第２の実施の形態に係る顔画像認識装置による
案内出力画面の一例を示す図である。
案内出力画面の一例を示す図である。
【図５】第２の実施の形態に係る顔画像認識装置による
顔画像の登録処理について詳述するためのフローチャー
トである。
顔画像の登録処理について詳述するためのフローチャー
トである。
【図６】第３の実施の形態に係る顔画像認識装置による
認証処理について詳述するためのフローチャートであ
る。
認証処理について詳述するためのフローチャートであ
る。
【図７】第４の実施の形態に係る顔画像認識装置の構成
を示すブロック図である。
を示すブロック図である。
【図８】第４の実施の形態に係る顔画像認識装置による
年齢推定処理について説明するためのフローチャートで
ある。
年齢推定処理について説明するためのフローチャートで
ある。
１ 案内用モニタ ２ カメラ ３ 制御部 ４ パーソナルコンピュータ １１ 画像入力部 １２ 顔領域検出部 １３ 顔方向判定部 １４ 顔部位抽出部 １５ 人物認識部 １６ 登録情報保持部 １７ 案内出力部 １８ 機器制御部
Claims (10)
- 【請求項１】 認識対象者の顔画像を認識し、当該認識
結果に基づいて被制御物の動作の可否を判定する顔画像
認識装置において、 上記認識対象者の顔画像を抽出し、当該顔画像の個人差
を示す特徴量を計算し、当該特徴量と予め保持された特
徴量とを比較し、上記認識対象者を特定し、当該特定結
果に基づいて被制御物の動作の可否を判定する制御手段
を、具備することを特徴とする顔画像認識装置。 - 【請求項２】 認識対象者の画像を入力する画像入力手
段と、 上記画像入力手段を介して得られた画像における認識対
象者の顔領域を抽出する顔領域抽出手段と、 上記顔領域抽出手段により抽出された顔領域に係る情報
に基づいて、認識対象者の顔の個人差を示す特徴量を計
算する特徴量抽出手段と、 上記特徴量抽出手段により計算された複数の認識対象者
の顔の個人差を示す特徴量を予め格納する登録情報保持
手段と、 上記特徴量抽出手段により得られた認識対象者の顔の特
徴量と、上記登録情報保持手段に予め登録された特徴量
との類似度を計算して、認識対象者を認識する人物認識
手段と、 上記人物認識手段の認識結果に基づいて、所定の操作を
許可するか否かを制御する制御手段と、を具備すること
を特徴とした顔画像認識装置。 - 【請求項３】 上記登録情報保持手段には、所定の操作
を許可する特定者に係る情報が予め保持されており、 上記制御手段は、上記人物認識手段の認識の結果、上記
認識対象者の中に当該特定者が少なくとも含まれている
と判断した場合に、所定の操作を許可するよう制御す
る、ことを特徴とする請求項２に記載の顔画像認識装
置。 - 【請求項４】 上記登録情報保持手段には、各年齢層を
推定するための基準となる基準特徴量が予め保持されて
おり、 上記制御手段は、上記特徴量抽出手段により抽出された
特徴量と、上記登録情報保持手段に予め格納された基準
特徴量とを比較して、上記認識対象者の中に所定年齢以
上の者が少なくとも含まれていると判断した場合に、所
定の操作を許可するように制御する、ことを特徴とする
請求項２に記載の顔画像認識装置。 - 【請求項５】 上記顔領域抽出手段により抽出された顔
領域に係る情報に基づいて、認識対象者の顔が向いてい
る方向を判定する顔方向判定手段と、 上記人物認識手段の認識結果及び所定の指示を少なくと
も案内出力する案内出力手段と、を更に具備し、 認識対象者の顔画像登録時においては、上記案内出力手
段により認識対象者に複数の方向に顔を向けるよう案内
出力し、上記顔方向判定手段により認識対象者の顔が上
記案内通りに向いているかを確認しつつ、上記特徴量抽
出手段により各方向ごとの特徴量を計算し、当該特徴量
と上記顔方向判定手段による顔方向の検出精度に係る情
報とを上記登録情報保持手段に格納し、 認識対象者の認証時においては、上記登録情報保持手段
に格納されている検出精度に係る情報に基づいて、認識
対象者の顔方向が検出精度の高い方向を向くように上記
案内出力手段を介して案内出力する、ことを特徴とする
請求項２に記載の顔画像認識装置。 - 【請求項６】 認識対象者の顔画像を認識し、当該認識
結果に基づいて被制御物の動作の可否を判定する顔画像
認識方法において、 上記認識対象者の顔画像を抽出し、当該顔画像の個人差
を示す特徴量を計算し、当該特徴量と予め保持された特
徴量とを比較し、上記認識対象者を特定し、当該特定結
果に基づいて被制御物の動作の可否を判定する、ことを
特徴とする顔画像認識方法。 - 【請求項７】 認識対象者の画像を入力するステップ
と、 上記画像における認識対象者の顔領域を抽出するステッ
プと、 上記顔領域に係る情報に基づいて、認識対象者の顔の個
人差を示す特徴量を計算するステップと、 複数の認識対象者の顔の個人差を示す特徴量を予め格納
するステップと、 上記認識対象者の顔の特徴量と、上記予め登録された特
徴量との類似度を計算して、認識対象者を認識するステ
ップと、 上記認識結果に基づいて、所定の操作を許可するか否か
を制御するステップと、を具備することを特徴とした顔
画像認識方法。 - 【請求項８】 所定の操作を許可する管理者に係る情報
を予め保持するステップと、上記認識対象者の中に当該
管理者が少なくとも含まれていると判断した場合に、所
定の操作を許可するよう制御するステップと、を更に有
することを特徴とする請求項７に記載の顔画像認識方
法。 - 【請求項９】 各年齢層を推定するための基準となる基
準特徴量を予め保持するステップと、抽出された特徴量
と予め格納された基準特徴量とを比較して、上記認識対
象者の中に所定年齢以上の者が少なくとも含まれている
と判断した場合に、所定の操作を許可するように制御す
るステップと、を更に有することを特徴とする請求項７
に記載の顔画像認識方法。 - 【請求項１０】 登録時において、認識対象者に複数の
方向に顔を向けるよう案内出力し、認識対象者の顔が上
記案内通りに向いているかを確認しつつ、各方向ごとの
特徴量を計算し、当該特徴量と顔方向の検出精度に係る
情報とを格納するステップと、認証時において、上記検
出精度に係る情報に基づいて、認識対象者の顔方向が検
出精度の高い方向を向くように案内出力するステップ
と、を更に有することを特徴とする請求項７に記載の顔
画像認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000069235A JP4521086B2 (ja) | 2000-03-13 | 2000-03-13 | 顔画像認識装置及び顔画像認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000069235A JP4521086B2 (ja) | 2000-03-13 | 2000-03-13 | 顔画像認識装置及び顔画像認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001256496A true JP2001256496A (ja) | 2001-09-21 |
| JP4521086B2 JP4521086B2 (ja) | 2010-08-11 |
Family
ID=18588159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000069235A Expired - Lifetime JP4521086B2 (ja) | 2000-03-13 | 2000-03-13 | 顔画像認識装置及び顔画像認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4521086B2 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003242486A (ja) * | 2002-02-21 | 2003-08-29 | Japan Science & Technology Corp | 人物属性推定装置 |
| JP2004297223A (ja) * | 2003-03-25 | 2004-10-21 | Fujitsu Ltd | 撮影装置 |
| JP2005339000A (ja) * | 2004-05-25 | 2005-12-08 | Casio Comput Co Ltd | 画像認識装置およびプログラム |
| JP2006236244A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 顔認証装置および入退場管理装置 |
| JP2006330936A (ja) * | 2005-05-24 | 2006-12-07 | Matsushita Electric Works Ltd | 顔認証装置 |
| JP2007140868A (ja) * | 2005-11-17 | 2007-06-07 | Konica Minolta Holdings Inc | 認証システム、認証方法およびプログラム |
| WO2007099834A1 (ja) * | 2006-03-01 | 2007-09-07 | Nec Corporation | 顔認証装置、顔認証方法およびプログラム |
| JP2008176689A (ja) * | 2007-01-22 | 2008-07-31 | Omron Corp | 年齢確認装置、年齢確認方法、及び年齢確認プログラム |
| EP2037320A1 (en) | 2007-09-14 | 2009-03-18 | Sony Corporation | Imaging apparatus, imaging apparatus control method, and computer program |
| JP2011505618A (ja) * | 2007-11-21 | 2011-02-24 | ジェスチャー テック，インコーポレイテッド | デバイスアクセス制御 |
| WO2011118838A1 (ja) | 2010-03-26 | 2011-09-29 | シャープ株式会社 | 表示装置、制御装置、テレビジョン受像機、表示装置の制御方法、プログラム及び記録媒体 |
| US8064651B2 (en) | 2006-02-15 | 2011-11-22 | Kabushiki Kaisha Toshiba | Biometric determination of group membership of recognized individuals |
| JP2015090662A (ja) * | 2013-11-07 | 2015-05-11 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
| US9727585B2 (en) | 2014-02-19 | 2017-08-08 | Canon Kabushiki Kaisha | Image processing apparatus and method for controlling the same |
| JP2018504703A (ja) * | 2014-12-31 | 2018-02-15 | モルフォトラスト・ユーエスエー・リミテッド ライアビリティ カンパニーＭｏｒｐｈｏｔｒｕｓｔ Ｕｓａ，Ｌｌｃ | 顔の生体性検出 |
| WO2021256268A1 (ja) * | 2020-06-18 | 2021-12-23 | 京セラ株式会社 | 情報処理システム、情報処理装置、および情報処理方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018128015A1 (ja) | 2017-01-05 | 2018-07-12 | 日本電気株式会社 | 不審度推定モデル生成装置 |
| JP6707702B1 (ja) | 2019-09-18 | 2020-06-10 | 株式会社ソリトンシステムズ | ユーザ認証装置及びプログラム |
-
2000
- 2000-03-13 JP JP2000069235A patent/JP4521086B2/ja not_active Expired - Lifetime
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003242486A (ja) * | 2002-02-21 | 2003-08-29 | Japan Science & Technology Corp | 人物属性推定装置 |
| JP2004297223A (ja) * | 2003-03-25 | 2004-10-21 | Fujitsu Ltd | 撮影装置 |
| US8395673B2 (en) | 2003-03-25 | 2013-03-12 | Fujitsu Limited | Shooting device and method with function for guiding an object to be shot |
| JP4501531B2 (ja) * | 2004-05-25 | 2010-07-14 | カシオ計算機株式会社 | 画像認識装置およびプログラム |
| JP2005339000A (ja) * | 2004-05-25 | 2005-12-08 | Casio Comput Co Ltd | 画像認識装置およびプログラム |
| JP2006236244A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 顔認証装置および入退場管理装置 |
| JP2006330936A (ja) * | 2005-05-24 | 2006-12-07 | Matsushita Electric Works Ltd | 顔認証装置 |
| JP4548218B2 (ja) * | 2005-05-24 | 2010-09-22 | パナソニック電工株式会社 | 顔認証装置 |
| JP2007140868A (ja) * | 2005-11-17 | 2007-06-07 | Konica Minolta Holdings Inc | 認証システム、認証方法およびプログラム |
| US8064651B2 (en) | 2006-02-15 | 2011-11-22 | Kabushiki Kaisha Toshiba | Biometric determination of group membership of recognized individuals |
| WO2007099834A1 (ja) * | 2006-03-01 | 2007-09-07 | Nec Corporation | 顔認証装置、顔認証方法およびプログラム |
| US8290220B2 (en) | 2006-03-01 | 2012-10-16 | Nec Corporation | Face authenticating apparatus, face authenticating method, and program |
| JP2008176689A (ja) * | 2007-01-22 | 2008-07-31 | Omron Corp | 年齢確認装置、年齢確認方法、及び年齢確認プログラム |
| EP2037320A1 (en) | 2007-09-14 | 2009-03-18 | Sony Corporation | Imaging apparatus, imaging apparatus control method, and computer program |
| US8068164B2 (en) | 2007-09-14 | 2011-11-29 | Sony Corporation | Face recognition auto focus apparatus for a moving image |
| JP2011505618A (ja) * | 2007-11-21 | 2011-02-24 | ジェスチャー テック，インコーポレイテッド | デバイスアクセス制御 |
| US9986293B2 (en) | 2007-11-21 | 2018-05-29 | Qualcomm Incorporated | Device access control |
| WO2011118838A1 (ja) | 2010-03-26 | 2011-09-29 | シャープ株式会社 | 表示装置、制御装置、テレビジョン受像機、表示装置の制御方法、プログラム及び記録媒体 |
| US9602803B2 (en) | 2013-11-07 | 2017-03-21 | Sony Corporation | Information processor |
| JP2015090662A (ja) * | 2013-11-07 | 2015-05-11 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
| US9727585B2 (en) | 2014-02-19 | 2017-08-08 | Canon Kabushiki Kaisha | Image processing apparatus and method for controlling the same |
| JP2018504703A (ja) * | 2014-12-31 | 2018-02-15 | モルフォトラスト・ユーエスエー・リミテッド ライアビリティ カンパニーＭｏｒｐｈｏｔｒｕｓｔ Ｕｓａ，Ｌｌｃ | 顔の生体性検出 |
| WO2021256268A1 (ja) * | 2020-06-18 | 2021-12-23 | 京セラ株式会社 | 情報処理システム、情報処理装置、および情報処理方法 |
| JP7360997B2 (ja) | 2020-06-18 | 2023-10-13 | 京セラ株式会社 | 情報処理システム、情報処理装置、および情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4521086B2 (ja) | 2010-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4521086B2 (ja) | 顔画像認識装置及び顔画像認識方法 | |
| JP3469031B2 (ja) | 顔画像登録装置及びその方法 | |
| JP4862447B2 (ja) | 顔認識システム | |
| US20100158319A1 (en) | Method and apparatus for fake-face detection using range information | |
| EP3905102A1 (en) | Method and device for determining operation based on facial expression groups, and electronic device | |
| JP4760049B2 (ja) | 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体 | |
| JP2004192378A (ja) | 顔画像処理装置およびその方法 | |
| CN101556717A (zh) | 一种atm智能安保系统及监测方法 | |
| KR20190136349A (ko) | 3d 영상 기반의 얼굴 인증 방법 및 장치 | |
| CN112507889A (zh) | 一种校验证件与持证人的方法及系统 | |
| JP5787686B2 (ja) | 顔認識装置、及び顔認識方法 | |
| EP3807794B1 (en) | Age verification | |
| WO2020115890A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
| JP5730044B2 (ja) | 顔画像認証装置 | |
| KR101515214B1 (ko) | 얼굴 인식을 통한 신원확인 방법과 얼굴인식을 이용한 출입관리 경보 시스템 및 출입관리 경보 제어방법 | |
| JP6951796B1 (ja) | 画像認識装置、認証システム、画像認識方法及びプログラム | |
| JP4862518B2 (ja) | 顔登録装置、顔認証装置および顔登録方法 | |
| KR100825689B1 (ko) | 얼굴 위장 판별 방법 | |
| US20220277311A1 (en) | A transaction processing system and a transaction method based on facial recognition | |
| TWI661398B (zh) | 基於臉部辨識進行驗證的交易系統及其方法 | |
| JP5621534B2 (ja) | 出入管理システム及び個人識別データ読取装置 | |
| JP2007249298A (ja) | 顔認証装置および顔認証方法 | |
| US20120219192A1 (en) | Method of controlling a session at a self-service terminal, and a self-service terminal | |
| JP2004078686A (ja) | 個人認証装置、個人認証方法、通行制御装置および通行制御方法 | |
| KR102431711B1 (ko) | 출입 대상자에 대한 출입인증 처리장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100524 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4521086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |