JP2000331158A - 顔画像処理装置 - Google Patents
顔画像処理装置Info
- Publication number
- JP2000331158A JP2000331158A JP11137702A JP13770299A JP2000331158A JP 2000331158 A JP2000331158 A JP 2000331158A JP 11137702 A JP11137702 A JP 11137702A JP 13770299 A JP13770299 A JP 13770299A JP 2000331158 A JP2000331158 A JP 2000331158A
- Authority
- JP
- Japan
- Prior art keywords
- nostril
- face image
- eye
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 従来の顔画像処理装置では、顔の動きを考慮
して画像に対して広い範囲を走査してテンプレートマッ
チングを行わなければならず、相関演算の処理時間増大
を招いていた。 【解決手段】 ＣＣＤカメラ２によって入力された顔画
像から、多値画像特徴抽出手段９によって抽出フィルタ
を用いて渦巻き状に検索して鼻孔領域を抽出して２値化
画像メモリ１０に記憶させ、２値化画像メモリ１０に記
憶された２値化鼻孔領域の鼻孔重心位置の中間点である
鼻孔位置を基準点として、目検索範囲を特定した後、抽
出フィルタを用いて顔画像から目領域を抽出して２値化
画像メモリ１０に記憶させ、開閉判定手段１１によっ
て、２値化された目領域から目の開閉を判定するもので
ある。
して画像に対して広い範囲を走査してテンプレートマッ
チングを行わなければならず、相関演算の処理時間増大
を招いていた。 【解決手段】 ＣＣＤカメラ２によって入力された顔画
像から、多値画像特徴抽出手段９によって抽出フィルタ
を用いて渦巻き状に検索して鼻孔領域を抽出して２値化
画像メモリ１０に記憶させ、２値化画像メモリ１０に記
憶された２値化鼻孔領域の鼻孔重心位置の中間点である
鼻孔位置を基準点として、目検索範囲を特定した後、抽
出フィルタを用いて顔画像から目領域を抽出して２値化
画像メモリ１０に記憶させ、開閉判定手段１１によっ
て、２値化された目領域から目の開閉を判定するもので
ある。
Description
【０００１】
【発明の属する技術分野】この発明は、画像処理によっ
て、目の開閉状態を判定する顔画像処理装置に関するも
のである。
て、目の開閉状態を判定する顔画像処理装置に関するも
のである。
【０００２】
【従来の技術】テンプレートを用いた従来の顔画像処理
装置としては、例えば、特開平８−１７５２１８号公報
に記載されたようなものがある。これは、撮像された画
像に対して予め設定されている標準顔テンプレートを上
下左右に順次移動させて相関演算を行い、その検出対象
者用の対象テンプレートを作成するテンプレート作成手
段と、対象テンプレートを用いて相関演算を行い、検出
対象者の目領域を検出する目領域検出手段を有すること
を特徴としている。図１２は、この特開平８−１７５２
１８号公報に開示されたテンプレートマッチングを用い
た顔画像処理装置を簡略化して示す構成図である。図に
おいて、１は検出対象者、２は検出対象者１を撮影する
カメラ、３はカメラ２に接続された画像処理装置で、Ａ
／Ｄ変換器、正規化回路、相関演算回路を有する。４は
画像処理装置３に接続されたメモリで、標準テンプレー
ト及び目、眉などの顔要素の配置データが予め格納され
ている。５は画像処理装置３に接続され、画像処理装置
３の処理結果が供給される電子制御装置であるＥＣＵ、
６はＥＣＵ５に接続された警報装置である。
装置としては、例えば、特開平８−１７５２１８号公報
に記載されたようなものがある。これは、撮像された画
像に対して予め設定されている標準顔テンプレートを上
下左右に順次移動させて相関演算を行い、その検出対象
者用の対象テンプレートを作成するテンプレート作成手
段と、対象テンプレートを用いて相関演算を行い、検出
対象者の目領域を検出する目領域検出手段を有すること
を特徴としている。図１２は、この特開平８−１７５２
１８号公報に開示されたテンプレートマッチングを用い
た顔画像処理装置を簡略化して示す構成図である。図に
おいて、１は検出対象者、２は検出対象者１を撮影する
カメラ、３はカメラ２に接続された画像処理装置で、Ａ
／Ｄ変換器、正規化回路、相関演算回路を有する。４は
画像処理装置３に接続されたメモリで、標準テンプレー
ト及び目、眉などの顔要素の配置データが予め格納され
ている。５は画像処理装置３に接続され、画像処理装置
３の処理結果が供給される電子制御装置であるＥＣＵ、
６はＥＣＵ５に接続された警報装置である。
【０００３】このように構成された従来の顔画像処理装
置では、カメラ２は、検出対象者１の顔画像を画像処理
装置３に供給する。画像処理装置３は、入力された画像
信号をディジタル信号に変換し、さらに濃淡正規化処理
を行い、処理結果をＥＣＵ５に供給する。ＥＣＵ５は、
処理結果から検出対象者の運転状態を判別し、警報装置
６に制御信号を出力して警報を発する。
置では、カメラ２は、検出対象者１の顔画像を画像処理
装置３に供給する。画像処理装置３は、入力された画像
信号をディジタル信号に変換し、さらに濃淡正規化処理
を行い、処理結果をＥＣＵ５に供給する。ＥＣＵ５は、
処理結果から検出対象者の運転状態を判別し、警報装置
６に制御信号を出力して警報を発する。
【０００４】
【発明が解決しようとする課題】テンプレートを用いた
従来の顔画像処理装置では、顔が上下方向に動いても目
と眉の上下方向の位置関係は不変であるので、対象目近
傍領域を用いて目近傍領域が検出されると、その内の上
方の黒色部分は眉、下方の黒色部分は目であるというよ
うに、目領域を確実に特定できる。しかしながら、顔の
動きを考慮すると画像に対して広い範囲を走査してテン
プレートマッチングを行わなければならず、相関演算の
処理時間増大を招くこととなっていた。
従来の顔画像処理装置では、顔が上下方向に動いても目
と眉の上下方向の位置関係は不変であるので、対象目近
傍領域を用いて目近傍領域が検出されると、その内の上
方の黒色部分は眉、下方の黒色部分は目であるというよ
うに、目領域を確実に特定できる。しかしながら、顔の
動きを考慮すると画像に対して広い範囲を走査してテン
プレートマッチングを行わなければならず、相関演算の
処理時間増大を招くこととなっていた。
【０００５】この発明は、上述のような課題を解決する
ためになされたものであり、処理速度を向上して目領域
を特定でき、目の開閉を判定することができる顔画像処
理装置を得ることを目的にしている。
ためになされたものであり、処理速度を向上して目領域
を特定でき、目の開閉を判定することができる顔画像処
理装置を得ることを目的にしている。
【０００６】
【課題を解決するための手段】この発明に係わる顔画像
処理装置においては、顔画像が入力される画像入力手段
と、この画像入力手段によって入力された顔画像から２
値化された鼻孔領域を抽出する鼻孔領域抽出手段と、こ
の鼻孔領域抽出手段によって抽出された２値化された鼻
孔領域を基準点として顔画像から２値化された目領域を
抽出する目領域抽出手段と、この目領域抽出手段によっ
て抽出された２値化された目領域に基づき、目の開閉を
判定する開閉判定手段を備えたものである。また、鼻孔
領域抽出手段は、所定の検索開始点から、渦巻き状に検
索開始点の周囲を順次検索することによって鼻孔領域の
抽出を行うものである。
処理装置においては、顔画像が入力される画像入力手段
と、この画像入力手段によって入力された顔画像から２
値化された鼻孔領域を抽出する鼻孔領域抽出手段と、こ
の鼻孔領域抽出手段によって抽出された２値化された鼻
孔領域を基準点として顔画像から２値化された目領域を
抽出する目領域抽出手段と、この目領域抽出手段によっ
て抽出された２値化された目領域に基づき、目の開閉を
判定する開閉判定手段を備えたものである。また、鼻孔
領域抽出手段は、所定の検索開始点から、渦巻き状に検
索開始点の周囲を順次検索することによって鼻孔領域の
抽出を行うものである。
【０００７】また、画像入力手段によって入力された顔
画像を１フレーム分格納するメモリを備え、１フレーム
の顔画像を用いて、鼻孔領域抽出手段による鼻孔領域の
抽出及び目領域抽出手段による目領域の抽出及び開閉判
定手段による目の開閉の判定を行うものである。さら
に、鼻孔領域抽出手段の検索開始点は、前フレームの顔
画像の鼻孔領域から算出された鼻孔重心位置であるもの
である。また、鼻孔領域抽出手段の検索開始点は、顔画
像の投影ヒストグラムのピーク位置から顔画像の水平方
向に左右等間隔な２つの位置に設定されるものである。
画像を１フレーム分格納するメモリを備え、１フレーム
の顔画像を用いて、鼻孔領域抽出手段による鼻孔領域の
抽出及び目領域抽出手段による目領域の抽出及び開閉判
定手段による目の開閉の判定を行うものである。さら
に、鼻孔領域抽出手段の検索開始点は、前フレームの顔
画像の鼻孔領域から算出された鼻孔重心位置であるもの
である。また、鼻孔領域抽出手段の検索開始点は、顔画
像の投影ヒストグラムのピーク位置から顔画像の水平方
向に左右等間隔な２つの位置に設定されるものである。
【０００８】
【発明の実施の形態】実施の形態１．以下、この発明の
実施の形態１について、図に基づいて説明する。図１
は、この発明の実施の形態１による顔画像処理装置を簡
略化して示す構成図である。図１において、１は検出対
象者、２は検出対象者１の顔画像を撮影して入力するた
めの撮影手段あるいは画像入力手段としてのＣＣＤカメ
ラである。８はＣＣＤカメラ２から出力される多値画像
を一時的に記憶する多値画像メモリ、９は多値画像より
相対的輝度分布を用いて目・鼻孔領域を抽出する多値画
像特徴抽出手段で、鼻孔領域を抽出する鼻孔領域抽出手
段および目領域を抽出する目領域抽出手段から構成され
る。１０は多値画像特徴抽出結果を２値化画像として一
時的に記憶する２値化画像メモリである。１１は目２値
化領域の有無により目の開閉判定を行う開閉判定手段で
ある。ここで、多値画像特徴抽出手段９及び開閉判定手
段１１は、マイクロコンピュータなどによりソフトウェ
ア的に実行されるものである。
実施の形態１について、図に基づいて説明する。図１
は、この発明の実施の形態１による顔画像処理装置を簡
略化して示す構成図である。図１において、１は検出対
象者、２は検出対象者１の顔画像を撮影して入力するた
めの撮影手段あるいは画像入力手段としてのＣＣＤカメ
ラである。８はＣＣＤカメラ２から出力される多値画像
を一時的に記憶する多値画像メモリ、９は多値画像より
相対的輝度分布を用いて目・鼻孔領域を抽出する多値画
像特徴抽出手段で、鼻孔領域を抽出する鼻孔領域抽出手
段および目領域を抽出する目領域抽出手段から構成され
る。１０は多値画像特徴抽出結果を２値化画像として一
時的に記憶する２値化画像メモリである。１１は目２値
化領域の有無により目の開閉判定を行う開閉判定手段で
ある。ここで、多値画像特徴抽出手段９及び開閉判定手
段１１は、マイクロコンピュータなどによりソフトウェ
ア的に実行されるものである。
【０００９】図２は、この発明の実施の形態１による顔
画像処理装置の鼻孔の２次元抽出フィルタを示す説明図
である。図３は、この発明の実施の形態１による顔画像
処理装置の多値画像及び２値化画像を示す説明図であ
り、図３（ａ）は、多値画像メモリ８に格納された多値
画像、図３（ｂ）は２値化画像メモリに格納された２値
化画像を示す。図３において、１は検出対象者、１２は
原画像、１３は２値化画像である。図４は、この発明の
実施の形態１による顔画像処理装置の鼻孔位置を基準に
目検索領域設定を示す説明図である。図４において、１
４は鼻孔位置、１５は目検索範囲、１６は目２値化領域
である。図５は、この発明の実施の形態１による顔画像
処理装置の鼻孔の渦巻き状検索を示す説明図である。図
５において、１７は左鼻孔領域である。
画像処理装置の鼻孔の２次元抽出フィルタを示す説明図
である。図３は、この発明の実施の形態１による顔画像
処理装置の多値画像及び２値化画像を示す説明図であ
り、図３（ａ）は、多値画像メモリ８に格納された多値
画像、図３（ｂ）は２値化画像メモリに格納された２値
化画像を示す。図３において、１は検出対象者、１２は
原画像、１３は２値化画像である。図４は、この発明の
実施の形態１による顔画像処理装置の鼻孔位置を基準に
目検索領域設定を示す説明図である。図４において、１
４は鼻孔位置、１５は目検索範囲、１６は目２値化領域
である。図５は、この発明の実施の形態１による顔画像
処理装置の鼻孔の渦巻き状検索を示す説明図である。図
５において、１７は左鼻孔領域である。
【００１０】図６は、この発明の実施の形態１による顔
画像処理装置の鼻孔の渦巻き状検索の検索条件を示す説
明図であり、図６（ａ）は、注目画素の選定方法を示す
図、図６（ｂ）は、注目画素に対する参照画素を設定す
る渦巻き状検索テーブルである。図７は、この発明の実
施の形態１による顔画像処理装置の左右鼻孔領域の重心
及び鼻孔位置を示す説明図である。図７において、１４
は図４におけるものと、１７は図５におけるものと、そ
れぞれ同一のものである。１８は右鼻孔領域、１９は左
鼻孔重心位置、２０は右鼻孔重心位置である。図８は、
この発明の実施の形態１による顔画像処理装置の目・鼻
孔追跡アルゴリズムを示すフローチャートである。図９
は、この発明の実施の形態１による顔画像処理装置の渦
巻き状の鼻孔検索アルゴリズムを示すフローチャートで
ある。
画像処理装置の鼻孔の渦巻き状検索の検索条件を示す説
明図であり、図６（ａ）は、注目画素の選定方法を示す
図、図６（ｂ）は、注目画素に対する参照画素を設定す
る渦巻き状検索テーブルである。図７は、この発明の実
施の形態１による顔画像処理装置の左右鼻孔領域の重心
及び鼻孔位置を示す説明図である。図７において、１４
は図４におけるものと、１７は図５におけるものと、そ
れぞれ同一のものである。１８は右鼻孔領域、１９は左
鼻孔重心位置、２０は右鼻孔重心位置である。図８は、
この発明の実施の形態１による顔画像処理装置の目・鼻
孔追跡アルゴリズムを示すフローチャートである。図９
は、この発明の実施の形態１による顔画像処理装置の渦
巻き状の鼻孔検索アルゴリズムを示すフローチャートで
ある。
【００１１】次に、動作について、図８のフローチャー
トを基にして説明する。ステップＳ１で撮影された顔画
像を、ステップＳ２で多値画像メモリ８に１フレーム
分、保存する。同じくステップＳ２で多値画像メモリ８
より出力される多値画像について、ステップＳ３で鼻孔
領域抽出手段による鼻孔検索及びステップＳ５で目領域
抽出手段による目検索を行う。図２は、ステップＳ３に
おける鼻孔検索の２次元抽出フィルタの説明図である。
注目画素Ｐの輝度値及びフィルタ参照画素Ｆの輝度値が
条件を満たせば、注目画素Ｐはフィルタ通過として２値
化画像メモリ１０に書き込む。このフィルタ処理を探索
ウィンドウ内の全ての画素について行うことにより、図
３（ｂ）に示すように２値化画像メモリ１０に抽出結果
が格納される。ステップＳ４において、フィルタ処理後
の２値化画像メモリ１０より出力される２値化画像を用
いて、鼻孔領域を選択する。ステップＳ４において、鼻
孔領域が選択されていれば、図４に示すように鼻孔位置
１４よりＸ方向偏差及びＹ方向偏差を考慮して目検索範
囲１５を設定する。ステップＳ５目検索において、検索
方法は鼻孔と同様に目形状に対応した２次元抽出フィル
タを用い、目２値化領域１６を抽出する。ステップＳ６
において目領域が選択されていれば、ステップＳ７で、
目２値化領域１６形状の直線度などにより、目の開閉状
態を判定する。ステップＳ７の開閉判定の後、ステップ
Ｓ１顔画像撮影に戻り、１フレームごとに処理を繰り返
す。ステップＳ４の鼻孔領域選択及びステップＳ６の目
領域選択において領域が選択されない場合もステップＳ
１に戻る。図９は、図８のステップＳ３における鼻孔検
索を示すフローチャートである。
トを基にして説明する。ステップＳ１で撮影された顔画
像を、ステップＳ２で多値画像メモリ８に１フレーム
分、保存する。同じくステップＳ２で多値画像メモリ８
より出力される多値画像について、ステップＳ３で鼻孔
領域抽出手段による鼻孔検索及びステップＳ５で目領域
抽出手段による目検索を行う。図２は、ステップＳ３に
おける鼻孔検索の２次元抽出フィルタの説明図である。
注目画素Ｐの輝度値及びフィルタ参照画素Ｆの輝度値が
条件を満たせば、注目画素Ｐはフィルタ通過として２値
化画像メモリ１０に書き込む。このフィルタ処理を探索
ウィンドウ内の全ての画素について行うことにより、図
３（ｂ）に示すように２値化画像メモリ１０に抽出結果
が格納される。ステップＳ４において、フィルタ処理後
の２値化画像メモリ１０より出力される２値化画像を用
いて、鼻孔領域を選択する。ステップＳ４において、鼻
孔領域が選択されていれば、図４に示すように鼻孔位置
１４よりＸ方向偏差及びＹ方向偏差を考慮して目検索範
囲１５を設定する。ステップＳ５目検索において、検索
方法は鼻孔と同様に目形状に対応した２次元抽出フィル
タを用い、目２値化領域１６を抽出する。ステップＳ６
において目領域が選択されていれば、ステップＳ７で、
目２値化領域１６形状の直線度などにより、目の開閉状
態を判定する。ステップＳ７の開閉判定の後、ステップ
Ｓ１顔画像撮影に戻り、１フレームごとに処理を繰り返
す。ステップＳ４の鼻孔領域選択及びステップＳ６の目
領域選択において領域が選択されない場合もステップＳ
１に戻る。図９は、図８のステップＳ３における鼻孔検
索を示すフローチャートである。
【００１２】以下、図９のフローチャートを基に説明す
る。ステップＳ１１の２次元フィルタ処理は、ステップ
Ｓ３で説明したとおりである。ここでは、フィルタによ
り抽出された２値化領域を構成する画素をフィルタパス
画素と呼ぶことにする。ステップＳ１２にて、前回鼻孔
重心位置を鼻孔検索開始点として設定する。ステップＳ
１３にて、図５に示すように渦巻き状に鼻孔領域を検索
し、ステップＳ１５で渦巻き状検索抽出画素の（Ｘ、
Ｙ）座標を記録する。図６は、ステップＳ１３〜Ｓ１５
の渦巻き状検索を説明する図である。図６（ａ）に示す
ように現在の注目画素から参照画素の４方向を検索し、
いずれかにフィルタパス画素があれば、参照画素を次の
注目画素とする。注目画素に対する参照画素は、図６
（ｂ）に示す渦巻き状検索テーブルで設定される。この
ようにして、参照画素の４方向にフィルタパス画素がな
くなるまで、ステップＳ１３〜Ｓ１５の渦巻き状検索を
繰り返す。
る。ステップＳ１１の２次元フィルタ処理は、ステップ
Ｓ３で説明したとおりである。ここでは、フィルタによ
り抽出された２値化領域を構成する画素をフィルタパス
画素と呼ぶことにする。ステップＳ１２にて、前回鼻孔
重心位置を鼻孔検索開始点として設定する。ステップＳ
１３にて、図５に示すように渦巻き状に鼻孔領域を検索
し、ステップＳ１５で渦巻き状検索抽出画素の（Ｘ、
Ｙ）座標を記録する。図６は、ステップＳ１３〜Ｓ１５
の渦巻き状検索を説明する図である。図６（ａ）に示す
ように現在の注目画素から参照画素の４方向を検索し、
いずれかにフィルタパス画素があれば、参照画素を次の
注目画素とする。注目画素に対する参照画素は、図６
（ｂ）に示す渦巻き状検索テーブルで設定される。この
ようにして、参照画素の４方向にフィルタパス画素がな
くなるまで、ステップＳ１３〜Ｓ１５の渦巻き状検索を
繰り返す。
【００１３】ステップＳ１４において、参照画素の４方
向にフィルタパス画素がなくなれば終了。ステップＳ１
６へ進み、記録した（Ｘ、Ｙ）座標より鼻孔領域の重心
位置を求める。ステップＳ１７において、左右鼻孔領域
の重心位置が検出されていれば、ステップＳ１８にて、
図７のように左右鼻孔重心位置１９、２０の中心より、
鼻孔位置１４を設定する。このとき、複数の左右鼻孔重
心位置が検出された場合は、顔における相対的位置関係
より２個の重心位置を左右鼻孔重心位置として選択す
る。この鼻孔位置１４及び左右鼻孔重心位置１９、２０
は、フレームごとにそれぞれ前画面の抽出位置、重心位
置として１フレームの間、保存する。以上により、円形
の近い形状の鼻孔の検索にあたって、鼻孔２値化領域を
構成する画素すべてを走査することなく、また、Ｘ、Ｙ
方向の走査回数を低減して重心位置を決定することで、
鼻孔検索の処理速度が向上できる。
向にフィルタパス画素がなくなれば終了。ステップＳ１
６へ進み、記録した（Ｘ、Ｙ）座標より鼻孔領域の重心
位置を求める。ステップＳ１７において、左右鼻孔領域
の重心位置が検出されていれば、ステップＳ１８にて、
図７のように左右鼻孔重心位置１９、２０の中心より、
鼻孔位置１４を設定する。このとき、複数の左右鼻孔重
心位置が検出された場合は、顔における相対的位置関係
より２個の重心位置を左右鼻孔重心位置として選択す
る。この鼻孔位置１４及び左右鼻孔重心位置１９、２０
は、フレームごとにそれぞれ前画面の抽出位置、重心位
置として１フレームの間、保存する。以上により、円形
の近い形状の鼻孔の検索にあたって、鼻孔２値化領域を
構成する画素すべてを走査することなく、また、Ｘ、Ｙ
方向の走査回数を低減して重心位置を決定することで、
鼻孔検索の処理速度が向上できる。
【００１４】実施の形態２．実施の形態２は、実施の形
態１の鼻孔領域抽出手段の鼻孔検索開始点設定におい
て、前回鼻孔重心位置の代わりに、２値化領域投影ヒス
トグラムのピーク位置から顔水平方向に左右等間隔に左
右鼻孔検索開始点を設定することで、前回鼻孔重心位置
にフィルタパス画素が存在しない場合でも、渦巻き状検
索が可能な開始点を設定でき、安定した鼻孔抽出及び鼻
孔抽出の信頼性向上を図ることができる。図１０は、こ
の発明の実施の形態２による顔画像処理装置の鼻孔のＸ
軸投影ピーク位置から左右鼻孔検索開始点の基準となる
鼻孔仮位置の設定を示す説明図である。図１０におい
て、１７、１８は図７におけるものと同一のものであ
る。２１は鼻孔仮位置である。図１１は、この発明の実
施の形態１による顔画像処理装置の鼻孔仮位置から左右
鼻孔検索開始点の設定を示す説明図である。図１１にお
いて、１７、１８、２１は図１０におけるものと同一の
ものである。
態１の鼻孔領域抽出手段の鼻孔検索開始点設定におい
て、前回鼻孔重心位置の代わりに、２値化領域投影ヒス
トグラムのピーク位置から顔水平方向に左右等間隔に左
右鼻孔検索開始点を設定することで、前回鼻孔重心位置
にフィルタパス画素が存在しない場合でも、渦巻き状検
索が可能な開始点を設定でき、安定した鼻孔抽出及び鼻
孔抽出の信頼性向上を図ることができる。図１０は、こ
の発明の実施の形態２による顔画像処理装置の鼻孔のＸ
軸投影ピーク位置から左右鼻孔検索開始点の基準となる
鼻孔仮位置の設定を示す説明図である。図１０におい
て、１７、１８は図７におけるものと同一のものであ
る。２１は鼻孔仮位置である。図１１は、この発明の実
施の形態１による顔画像処理装置の鼻孔仮位置から左右
鼻孔検索開始点の設定を示す説明図である。図１１にお
いて、１７、１８、２１は図１０におけるものと同一の
ものである。
【００１５】次に、２値化領域投影ヒストグラムピーク
による検索開始点の設定について説明する。図３（ｂ）
に示した２値化領域に対して、図１０に示すように鼻孔
周辺のＸ軸投影を行い、投影ヒストグラムのピーク位置
と前回鼻孔重心Ｙ座標とを合わせて鼻孔仮位置２１を設
定する。図１１に示すように、鼻孔仮位置２１から左右
等間隔に左右鼻孔検索開始点を設定する。左右それぞれ
の鼻孔検索開始点より渦巻き状に検索を開始するが、渦
巻き状検索は一定画素数で打ち切り、左右ペアでこの画
素に満たない場合は、鼻孔領域と認識しないことにす
る。ピークが複数個存在する場合、同様に左右ペアの渦
巻き状検索を各ピークについて行う。左右ペアとも渦巻
き状検索画素数を満たす場合、左右鼻孔領域として設定
し、それぞれの領域の重心位置より、鼻孔位置を設定す
る。これにより、顔の動きが大きく前回の鼻孔重心位置
を鼻孔検索開始点として設定できない場合でも、無効な
重心位置設定を避けることにより、鼻孔検索の処理速度
を向上できる。また、鼻孔見失い時の復帰に要する時間
を短縮することで、目の開閉状態を判定できない目見失
い時間を短縮し、目の開閉状態を見落とすことなく正し
く判定できるものである。
による検索開始点の設定について説明する。図３（ｂ）
に示した２値化領域に対して、図１０に示すように鼻孔
周辺のＸ軸投影を行い、投影ヒストグラムのピーク位置
と前回鼻孔重心Ｙ座標とを合わせて鼻孔仮位置２１を設
定する。図１１に示すように、鼻孔仮位置２１から左右
等間隔に左右鼻孔検索開始点を設定する。左右それぞれ
の鼻孔検索開始点より渦巻き状に検索を開始するが、渦
巻き状検索は一定画素数で打ち切り、左右ペアでこの画
素に満たない場合は、鼻孔領域と認識しないことにす
る。ピークが複数個存在する場合、同様に左右ペアの渦
巻き状検索を各ピークについて行う。左右ペアとも渦巻
き状検索画素数を満たす場合、左右鼻孔領域として設定
し、それぞれの領域の重心位置より、鼻孔位置を設定す
る。これにより、顔の動きが大きく前回の鼻孔重心位置
を鼻孔検索開始点として設定できない場合でも、無効な
重心位置設定を避けることにより、鼻孔検索の処理速度
を向上できる。また、鼻孔見失い時の復帰に要する時間
を短縮することで、目の開閉状態を判定できない目見失
い時間を短縮し、目の開閉状態を見落とすことなく正し
く判定できるものである。
【００１６】実施の形態２のように、前回鼻孔重心位置
に鼻孔領域が存在しない状態を想定する場合、渦巻き状
検索では実際の鼻孔２値化領域の重心位置とのずれが大
きくなる恐れがあるため、渦巻き状検索は、鼻孔検索開
始点に領域が存在するかどうかを判定するだけに用い、
領域の重心決定は通常のＸ、Ｙ走査により行うといった
複合的な方法も考えられる。
に鼻孔領域が存在しない状態を想定する場合、渦巻き状
検索では実際の鼻孔２値化領域の重心位置とのずれが大
きくなる恐れがあるため、渦巻き状検索は、鼻孔検索開
始点に領域が存在するかどうかを判定するだけに用い、
領域の重心決定は通常のＸ、Ｙ走査により行うといった
複合的な方法も考えられる。
【００１７】
【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に示すような効果を奏する。顔画像
が入力される画像入力手段と、この画像入力手段によっ
て入力された顔画像から２値化された鼻孔領域を抽出す
る鼻孔領域抽出手段と、この鼻孔領域抽出手段によって
抽出された２値化された鼻孔領域を基準点として顔画像
から２値化された目領域を抽出する目領域抽出手段と、
この目領域抽出手段によって抽出された２値化された目
領域に基づき、目の開閉を判定する開閉判定手段を備え
たので、目の開閉状態を正しく判定することができる。
れているので、以下に示すような効果を奏する。顔画像
が入力される画像入力手段と、この画像入力手段によっ
て入力された顔画像から２値化された鼻孔領域を抽出す
る鼻孔領域抽出手段と、この鼻孔領域抽出手段によって
抽出された２値化された鼻孔領域を基準点として顔画像
から２値化された目領域を抽出する目領域抽出手段と、
この目領域抽出手段によって抽出された２値化された目
領域に基づき、目の開閉を判定する開閉判定手段を備え
たので、目の開閉状態を正しく判定することができる。
【００１８】また、鼻孔領域抽出手段は、所定の検索開
始点から、渦巻き状に検索開始点の周囲を順次検索する
ことによって鼻孔領域の抽出を行うので、鼻孔領域の抽
出の処理速度が向上できる。また、画像入力手段によっ
て入力された顔画像を１フレーム分格納するメモリを備
え、１フレームの顔画像を用いて、鼻孔領域抽出手段に
よる鼻孔領域の抽出及び目領域抽出手段による目領域の
抽出及び開閉判定手段による目の開閉の判定を行うの
で、１フレームごとに目の開閉を判定することができ
る。
始点から、渦巻き状に検索開始点の周囲を順次検索する
ことによって鼻孔領域の抽出を行うので、鼻孔領域の抽
出の処理速度が向上できる。また、画像入力手段によっ
て入力された顔画像を１フレーム分格納するメモリを備
え、１フレームの顔画像を用いて、鼻孔領域抽出手段に
よる鼻孔領域の抽出及び目領域抽出手段による目領域の
抽出及び開閉判定手段による目の開閉の判定を行うの
で、１フレームごとに目の開閉を判定することができ
る。
【００１９】さらに、鼻孔領域抽出手段の検索開始点
は、前フレームの顔画像の鼻孔領域から算出された鼻孔
重心位置であるので、効率のよい渦巻き状の検索による
鼻孔領域の抽出を行うことができる。また、鼻孔領域抽
出手段の検索開始点は、顔画像の投影ヒストグラムのピ
ーク位置から顔画像の水平方向に左右等間隔な２つの位
置に設定されるので、初回のときや、前フレームの画像
から鼻孔領域が抽出されなかったときでも、渦巻き状に
検索することができる。
は、前フレームの顔画像の鼻孔領域から算出された鼻孔
重心位置であるので、効率のよい渦巻き状の検索による
鼻孔領域の抽出を行うことができる。また、鼻孔領域抽
出手段の検索開始点は、顔画像の投影ヒストグラムのピ
ーク位置から顔画像の水平方向に左右等間隔な２つの位
置に設定されるので、初回のときや、前フレームの画像
から鼻孔領域が抽出されなかったときでも、渦巻き状に
検索することができる。
【図１】 この発明の実施の形態１による顔画像処理装
置を簡略化して示す構成図である。
置を簡略化して示す構成図である。
【図２】 この発明の実施の形態１による顔画像処理装
置の鼻孔の２次元抽出フィルタを示す説明図である。
置の鼻孔の２次元抽出フィルタを示す説明図である。
【図３】 この発明の実施の形態１による顔画像処理装
置の多値画像及び２値化画像を示す説明図である。
置の多値画像及び２値化画像を示す説明図である。
【図４】 この発明の実施の形態１による顔画像処理装
置の鼻孔位置を基準に目検索領域設定を示す説明図であ
る。
置の鼻孔位置を基準に目検索領域設定を示す説明図であ
る。
【図５】 この発明の実施の形態１による顔画像処理装
置の鼻孔の渦巻き状検索を示す説明図である。
置の鼻孔の渦巻き状検索を示す説明図である。
【図６】 この発明の実施の形態１による顔画像処理装
置の鼻孔の渦巻き状検索の検索条件を示す説明図であ
る。
置の鼻孔の渦巻き状検索の検索条件を示す説明図であ
る。
【図７】 この発明の実施の形態１による顔画像処理装
置の左右鼻孔領域の重心及び鼻孔位置を示す説明図であ
る。
置の左右鼻孔領域の重心及び鼻孔位置を示す説明図であ
る。
【図８】 この発明の実施の形態１による顔画像処理装
置の目・鼻孔追跡アルゴリズムを示すフローチャートで
ある。
置の目・鼻孔追跡アルゴリズムを示すフローチャートで
ある。
【図９】 この発明の実施の形態１による顔画像処理装
置の渦巻き状の鼻孔検索アルゴリズムを示すフローチャ
ートである。
置の渦巻き状の鼻孔検索アルゴリズムを示すフローチャ
ートである。
【図１０】 この発明の実施の形態２による顔画像処理
装置の鼻孔のＸ軸投影ピーク位置から左右鼻孔検索開始
点の基準となる鼻孔仮位置の設定を示す説明図である。
装置の鼻孔のＸ軸投影ピーク位置から左右鼻孔検索開始
点の基準となる鼻孔仮位置の設定を示す説明図である。
【図１１】 この発明の実施の形態２による顔画像処理
装置の鼻孔仮位置から左右検索開始点の設定を示す説明
図である。
装置の鼻孔仮位置から左右検索開始点の設定を示す説明
図である。
【図１２】 従来のテンプレートマッチングを用いた顔
画像処理装置を簡略化して示す構成図である。
画像処理装置を簡略化して示す構成図である。
１ 検出対象者、 ２ ＣＣＤカメラ、 ８ 多値画像
メモリ、９ 多値画像特徴抽出手段、 １０ ２値化画
像メモリ、１１ 開閉判定手段、 １２ 原画像、 １
３ ２値化画像、１４ 鼻孔位置、 １５ 目検索範
囲、 １６ 目２値化領域、１７ 左鼻孔領域、 １８
右鼻孔領域、 １９ 左鼻孔重心位置、２０ 右鼻孔
重心位置、 ２１ 鼻孔仮位置。
メモリ、９ 多値画像特徴抽出手段、 １０ ２値化画
像メモリ、１１ 開閉判定手段、 １２ 原画像、 １
３ ２値化画像、１４ 鼻孔位置、 １５ 目検索範
囲、 １６ 目２値化領域、１７ 左鼻孔領域、 １８
右鼻孔領域、 １９ 左鼻孔重心位置、２０ 右鼻孔
重心位置、 ２１ 鼻孔仮位置。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CA08 CA16 CB06 CB16 CE06 CE09 CE12 DA07 DB08 DC06 DC19 5L096 AA06 BA18 CA02 EA35 EA43 FA36 FA60 FA69 HA02 9A001 BB03 BB04 FF03 HH21 HH23 HH28 KZ37
Claims (5)
- 【請求項１】 顔画像を入力する画像入力手段、この画
像入力手段によって入力された顔画像から２値化された
鼻孔領域を抽出する鼻孔領域抽出手段、この鼻孔領域抽
出手段によって抽出された２値化された鼻孔領域を基準
点として上記顔画像から２値化された目領域を抽出する
目領域抽出手段、この目領域抽出手段によって抽出され
た２値化された目領域に基づき、目の開閉を判定する開
閉判定手段を備えたことを特徴とする顔画像処理装置。 - 【請求項２】 鼻孔領域抽出手段は、所定の検索開始点
から、渦巻き状に検索開始点の周囲を順次検索すること
によって鼻孔領域の抽出を行うことを特徴とする請求項
１記載の顔画像処理装置。 - 【請求項３】 画像入力手段によって入力された顔画像
を１フレーム分格納するメモリを備え、上記１フレーム
の顔画像を用いて、鼻孔領域抽出手段による鼻孔領域の
抽出及び目領域抽出手段による目領域の抽出及び開閉判
定手段による目の開閉の判定を行うことを特徴とする請
求項２記載の顔画像処理装置。 - 【請求項４】 鼻孔領域抽出手段の検索開始点は、前フ
レームの顔画像の鼻孔領域から算出された鼻孔重心位置
であることを特徴とする請求項３記載の顔画像処理装
置。 - 【請求項５】 鼻孔領域抽出手段の検索開始点は、顔画
像の投影ヒストグラムのピーク位置から顔画像の水平方
向に左右等間隔な２つの位置に設定されることを特徴と
する請求項２記載の顔画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13770299A JP3636927B2 (ja) | 1999-05-18 | 1999-05-18 | 顔画像処理装置 |
| US09/442,243 US6549644B1 (en) | 1999-05-18 | 1999-11-17 | Face-image processing apparatus |
| KR1020000002213A KR100362328B1 (ko) | 1999-05-18 | 2000-01-18 | 안화상 처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13770299A JP3636927B2 (ja) | 1999-05-18 | 1999-05-18 | 顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000331158A true JP2000331158A (ja) | 2000-11-30 |
| JP3636927B2 JP3636927B2 (ja) | 2005-04-06 |
Family
ID=15204829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13770299A Expired - Fee Related JP3636927B2 (ja) | 1999-05-18 | 1999-05-18 | 顔画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6549644B1 (ja) |
| JP (1) | JP3636927B2 (ja) |
| KR (1) | KR100362328B1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006030519A1 (ja) * | 2004-09-17 | 2006-03-23 | Mitsubishi Denki Kabushiki Kaisha | 顔認証装置及び顔認証方法 |
| KR100880073B1 (ko) | 2007-03-15 | 2009-01-23 | 미쓰비시덴키 가부시키가이샤 | 얼굴 인증 장치 및 얼굴 인증 방법 |
| WO2015172124A1 (en) * | 2014-05-09 | 2015-11-12 | Eyefluence, Inc. | Systems and methods for using eye signals with secure mobile communications |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001014457A (ja) * | 1999-06-29 | 2001-01-19 | Minolta Co Ltd | 画像処理装置 |
| US7599524B2 (en) * | 2003-04-04 | 2009-10-06 | Sarnoff Corporation | Method and apparatus for providing a robust object finder |
| US8462244B2 (en) * | 2003-08-27 | 2013-06-11 | Hewlett-Packard Development Company, L.P. | Adaptively reading one or more but fewer than all pixels of image sensor |
| US7379106B2 (en) * | 2003-08-27 | 2008-05-27 | Hewlett-Packard Development Company, L.P. | Methods and apparatus for reading a CCD architecture in a sampling mode and a non-sampling mode |
| US7388971B2 (en) * | 2003-10-23 | 2008-06-17 | Northrop Grumman Corporation | Robust and low cost optical system for sensing stress, emotion and deception in human subjects |
| EP1657910A1 (en) * | 2004-11-12 | 2006-05-17 | STMicroelectronics Limited | Image sensor |
| JP2006260397A (ja) * | 2005-03-18 | 2006-09-28 | Konica Minolta Holdings Inc | 開眼度推定装置 |
| JP4410732B2 (ja) * | 2005-07-27 | 2010-02-03 | グローリー株式会社 | 顔画像検出装置、顔画像検出方法および顔画像検出プログラム |
| US7747066B2 (en) * | 2006-03-15 | 2010-06-29 | International Business Machines Corporation | Z-axis optical detection of mechanical feature height |
| JP4845698B2 (ja) * | 2006-12-06 | 2011-12-28 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
| CN100463000C (zh) * | 2007-09-27 | 2009-02-18 | 上海交通大学 | 基于级联分类和哈夫圆变换的人眼状态检测方法 |
| JP5151999B2 (ja) * | 2009-01-09 | 2013-02-27 | セイコーエプソン株式会社 | 画像処理装置及び画像処理方法 |
| JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
| TWI466070B (zh) * | 2012-09-14 | 2014-12-21 | Utechzone Co Ltd | 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置 |
| CN103679126B (zh) * | 2012-09-24 | 2018-07-24 | 由田新技股份有限公司 | 眼睛搜寻方法及眼睛状态检测装置与眼睛搜寻装置 |
| US10564714B2 (en) | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| JP2017530476A (ja) | 2014-09-24 | 2017-10-12 | プリンストン・アイデンティティー・インコーポレーテッド | バイオメトリックキーを用いたモバイルデバイスにおけるワイヤレス通信デバイス機能の制御 |
| MX2017007139A (es) | 2014-12-03 | 2017-11-10 | Princeton Identity Inc | Sistema y metodo para un complemento biometrico de dispositivo movil. |
| EP3403217A4 (en) | 2016-01-12 | 2019-08-21 | Princeton Identity, Inc. | SYSTEMS AND METHODS FOR BIOMETRIC ANALYSIS |
| WO2017173228A1 (en) | 2016-03-31 | 2017-10-05 | Princeton Identity, Inc. | Biometric enrollment systems and methods |
| WO2017172695A1 (en) | 2016-03-31 | 2017-10-05 | Princeton Identity, Inc. | Systems and methods of biometric anaysis with adaptive trigger |
| WO2018187337A1 (en) | 2017-04-04 | 2018-10-11 | Princeton Identity, Inc. | Z-dimension user feedback biometric system |
| CA3071100A1 (en) | 2017-07-26 | 2019-01-31 | Princeton Identity, Inc. | Biometric security systems and methods |
| US11195301B1 (en) * | 2020-07-26 | 2021-12-07 | Nec Corporation Of America | Estimation of head yaw in an image |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0820725B2 (ja) * | 1990-02-06 | 1996-03-04 | 大日本スクリーン製造株式会社 | 画像輪郭データの作成方法 |
| JPH08175218A (ja) | 1994-12-26 | 1996-07-09 | Toyota Motor Corp | 運転状態検出装置 |
| JPH1139469A (ja) * | 1997-07-24 | 1999-02-12 | Mitsubishi Electric Corp | 顔画像処理装置 |
-
1999
- 1999-05-18 JP JP13770299A patent/JP3636927B2/ja not_active Expired - Fee Related
- 1999-11-17 US US09/442,243 patent/US6549644B1/en not_active Expired - Lifetime
-
2000
- 2000-01-18 KR KR1020000002213A patent/KR100362328B1/ko not_active IP Right Cessation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006030519A1 (ja) * | 2004-09-17 | 2006-03-23 | Mitsubishi Denki Kabushiki Kaisha | 顔認証装置及び顔認証方法 |
| JPWO2006030519A1 (ja) * | 2004-09-17 | 2008-05-08 | 三菱電機株式会社 | 顔認証装置及び顔認証方法 |
| KR100880073B1 (ko) | 2007-03-15 | 2009-01-23 | 미쓰비시덴키 가부시키가이샤 | 얼굴 인증 장치 및 얼굴 인증 방법 |
| WO2015172124A1 (en) * | 2014-05-09 | 2015-11-12 | Eyefluence, Inc. | Systems and methods for using eye signals with secure mobile communications |
| AU2015255652B2 (en) * | 2014-05-09 | 2018-03-29 | Google Llc | Systems and methods for using eye signals with secure mobile communications |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3636927B2 (ja) | 2005-04-06 |
| KR100362328B1 (ko) | 2002-11-23 |
| US6549644B1 (en) | 2003-04-15 |
| KR20000076486A (ko) | 2000-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000331158A (ja) | 顔画像処理装置 | |
| US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
| JP3695990B2 (ja) | 顔画像処理装置 | |
| KR100322982B1 (ko) | 얼굴화상처리장치 | |
| JP3753722B2 (ja) | 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置 | |
| EP2339536B1 (en) | Image processing system, image processing apparatus, image processing method, and program | |
| EP2372654A1 (en) | Object tracking apparatus, object tracking method, and control program | |
| EP1998286A1 (en) | Face-image registration device, face-image registration method, face-image registration program, and recording medium | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| US8577098B2 (en) | Apparatus, method and program for designating an object image to be registered | |
| US20050196044A1 (en) | Method of extracting candidate human region within image, system for extracting candidate human region, program for extracting candidate human region, method of discerning top and bottom of human image, system for discerning top and bottom, and program for discerning top and bottom | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| KR100347058B1 (ko) | 얼굴 촬영/인식방법 | |
| JP2002366963A (ja) | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム | |
| CN107958202B (zh) | 人体检测设备、人体检测设备的控制方法和存储介质 | |
| JP2008211534A (ja) | 顔検知装置 | |
| JP4789526B2 (ja) | 画像処理装置、画像処理方法 | |
| JP2005209137A (ja) | 対象物認識方法及び対象物認識装置、並びに顔方向識別装置 | |
| JP2001331804A (ja) | 画像領域検出装置及び方法 | |
| JP2003259352A (ja) | 物体検出装置、物体検出方法、および物体検出プログラム | |
| JPH08175218A (ja) | 運転状態検出装置 | |
| EP4322542A1 (en) | Method and electronic device for capturing image of object for identifying companion animal | |
| KR100533209B1 (ko) | 영상검출방법 | |
| JP2006065816A (ja) | 顔検出装置、顔検出方法および顔検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |