JP2010157073A - 顔認識装置、顔認識方法及び顔認識プログラム - Google Patents

Abstract

【課題】
顔部位の隠蔽物を検出することにより隠蔽されている顔部位を特定し、顔認識の精度を向上させる顔認識装置を提供する。
【解決手段】
顔認識装置１０は、撮影手段１００による撮像画像から鼻領域検出手段２が鼻領域を検出し、鼻領域の未検出時にはマスク着用判断手段３が撮像画像の輝度値からマスク着用を判断し、マスク領域検出手段３１がマスク領域を検出し、マスク内鼻領域検出手段３２がマスク領域から鼻領域を検出し、顔認識手段５が検出された鼻領域から眼領域を検出して顔認識を行うことから、マスク領域を検出することによりマスク領域をも利用して鼻領域に基づいて顔認識を行うこととなり、顔認識の精度を向上させることができる。
【選択図】 図１

Description

本発明は、撮影された画像に基づいて人物の顔を認識する顔認識装置に関して、特に顔部位隠蔽物を検出することにより、顔認識の精度を向上させる顔認識装置に関する。

顔認識装置は、撮影された画像から人物の顔を認識して特定することにより、人物の認証や状況把握ができるため、人物を特定する個人認証装置や顔の位置状況から安全状況を確認する安全確認装置をはじめとする広い分野で利用されている。一般的に、顔認識装置は、顔領域、眼位置、鼻位置、口位置を含む顔部位を各々検出し、当該顔部位の状況から顔向きの判定や眼の開閉判定をはじめとする人物の顔の認識を行っている。しかし、顔認識装置は、顔部位が隠蔽物により隠蔽される場合には、当該隠蔽物により顔部位を誤認識する虞がある。
従来の顔認識装置は、利用者により選択された顔部位の特徴部分を重視して顔認識を行うものがある（例えば、特許文献１参照）。
特開２００７−２５７２２１号公報

しかし、従来の顔認識装置は、利用者が顔部位の特徴部分を都度選択するために手間がかかるという課題を有する。また、従来の顔認識装置は、隠蔽物を検知した場合であっても、隠蔽された顔部位を利用せずに他の顔部位を利用するために、隠蔽物がある場合には顔認識の精度が低下してしまうという課題を有する。

本発明は前記課題を解消するためになされたもので、顔部位の隠蔽物を検出することにより隠蔽されている顔部位を特定し、顔認識の精度を向上させる顔認識装置の提供を目的とする。

本願に開示する顔認識装置は、一観点によれば、撮像画像から鼻領域を検出し、鼻領域の未検出時には撮像画像の輝度値からマスク着用によるマスク領域を検出してマスク領域から鼻領域を検出し、検出された鼻領域から眼領域を検出して顔認識を行うものである。

このように、本願に開示する顔認識装置は、マスク領域を検出することによりマスク領域をも利用して鼻領域に基づいて顔認識を行うこととなり、顔認識の精度を向上させることができる。

（本発明の第１の実施形態）
以下、本発明の第１の実施形態に係る顔認識装置を、図１から図１３に基づいて説明する。図１は本発明の第１の実施形態に係る顔認識装置の構成を示すブロック図、図２はこの図１に記載された顔認識装置の全体構成図、図３はこの図１に記載された顔認識装置の全体フローチャートを示す。図４はこの図１に記載された顔認識装置の顔領域及び顔部位検出のフローチャート、図５はこの図１に記載された顔認識装置の鼻領域検出のフローチャートを示す。図６はこの図１に記載された顔認識装置の送信データ受信のマスク検出のフローチャート、図７はこの図１に記載された顔認識装置の眼鏡ブリッジ領域検出のフローチャートを示す。図８はこの図１に記載された顔認識装置の眼鏡フレーム領域検出のフローチャート、図９はこの図１に記載された顔認識装置のサングラス領域検出のフローチャート、図１０はこの図１に記載された顔認識装置のサングラス領域総合判定のフローチャートを示す。図１１はこの図１に記載された顔認識装置の眼領域の位置検出のフローチャート、図１２はこの図１に記載された顔認識装置の眼帯領域検出のフローチャート、図１３はこの図１に記載された顔認識装置の顔向き検出の説明図を示す。

図１において、本実施形態に係る顔認識装置１０は、顔領域検出手段１と、鼻領域検出手段２と、マスク着用判断手段３と、マスク領域検出手段３１と、マスク内鼻領域検出手段３２と、眼領域検出手段４と、顔認識手段５と、顔情報蓄積手段５ａとを備える。また、本顔認識装置は、眼鏡フレーム領域検出手段４１と、サングラス判断手段４２と、眼帯判断手段４３と、眼帯領域検出手段４４と、顔認識予測手段６と、特徴判断手段７と、警報手段８とを備える。

この顔領域検出手段１は、撮影手段１００により撮影された撮像画像から人物の顔の存在領域としての顔領域を検出する。また、この鼻領域検出手段２は、人物の鼻の存在領域としての鼻領域を検出し、この顔情報蓄積手段５ａに蓄積記憶する。このマスク着用判断手段３は、この鼻領域検出手段２により鼻領域が検出されなかった場合に、撮像画像１００の水平及び垂直方向の輝度値から、人物がマスクを着用しているかを判断する。

このマスク領域検出手段３１は、このマスク着用判断手段３に基づいて、人物がマスクを着用している場合に、マスクの存在領域としてのマスク領域を検出する。このマスク内鼻領域検出手段３２は、マスク領域検出手段により検出されたマスク領域に基づいて、このマスク領域に含まれる鼻領域を特定し、この顔情報蓄積手段５ａに蓄積記憶する。

また、この眼領域検出手段４は、この鼻領域検出手段２又はマスク内鼻領域検出手段３２により特定された鼻領域に基づいて、人物の眼の存在領域としての眼領域を検出する。また、この顔認識手段５は、この眼領域検出手段４により検出された眼領域の画像情報から眼の開度及び視線方向を認識し、この眼領域及び鼻領域から顔の向きを認識し、この認識した内容をこの顔情報蓄積手段５ａに蓄積記憶する。

また、この眼鏡フレーム領域検出手段４１は、検出された眼領域の画像情報から、人物に着用された眼鏡のフレームの存在領域としての眼鏡フレーム領域を検出する。また、このサングラス判断手段４２は、この眼鏡フレーム検出手段４１により検出された眼鏡フレーム領域の輝度分布から、この眼鏡がサングラスかを判断する。

また、この眼帯判断手段４３は、検出された眼領域における画像情報の水平及び垂直方向の輝度値に基づいて、人物が眼帯を着用しているかを判断する。また、この眼帯領域検出手段４４は、この眼帯判断手段４３により眼帯が着用されていると判断された場合には、この眼帯の存在領域としての眼帯領域を検出する。

この顔認識予測手段６は、この蓄積記憶された顔情報蓄積手段５ａから、次の時点で認識される顔の状態を予測する。この特徴判断手段７は、この蓄積記憶された顔情報蓄積手段５ａから、人物の顔の特徴を判断する。この警報手段８は、この顔認識手段５、この顔認識予測手段６及びこの特徴判断手段７で認識された人物の顔の状態に応じて、現在の人物の状況を推測し、必要時に警報を発生させる。

本実施形態の全体構成は、図２に示すように、前記顔認識装置１０と、自動車２００と、この自動車２００を運転する運転手３００とを備える。また、前記顔認識装置１０は、この運転手３００の顔３００Ａを撮影する前記撮影手段１００としての車載カメラ１００Ａと、この運転手３００に必要時に警報を発生させる前記警報手段８としての警報装置８Ａとを備える。

以下、前記構成に基づく本実施形態の顔認識装置の動作について説明する。なお、以下、Ｘ方向とは顔の水平方向を指し、Ｙ方向とは顔の垂直方向を指すものとする。また、本顔認識装置は、図３に示すように、Ｓ１からＳ９までの処理で生成される画像情報を１つの画像フレームとして、時系列的に画像フレームを順次演算し、前記顔情報蓄積手段５ａに蓄積記憶する。

まず、前記顔認識装置１０は、前記車載カメラ１００Ａにより撮影された画像フレームから、前記運転手３００の顔３００Ａの領域を顔領域として検出する（Ｓ２）。
この顔領域の検出に関して、前記顔領域検出手段１は、図４（ａ）に示すように、まず、この画像フレームの垂直方向に隣接して配列される各画素データの輝度値を順次加算する（Ｓ２１）。次に、前記顔領域検出手段１は、予め設定された輝度値の閾値を用いて、この順次加算された輝度値の総和がこの閾値よりも大きい場合に、この輝度値を順次加算された範囲の画素データが顔領域に含まれると判断し、顔領域を特定する（Ｓ２２）。ここで、この顔領域の特定は、顔領域が髪の領域及び背景領域と比較して相対的に明るく撮像される傾向にあることを利用している。

前記顔領域検出手段１は、前記Ｓ２１にて順次加算された輝度値に関して水平方向の変化量を算出し、夫々算出された変化量が大きく変化する位置を、水平方向における顔の輪郭部分と特定し、顔領域を特定する（Ｓ２３）。ここで、この顔領域の特定は、画像フレームにおける水平方向の輝度値の変化量が、背景の領域と顔領域との境界領域において、他の箇所と比較して相対的に大きく変化する傾向にあることを利用している。

前記顔領域検出手段１は、特定された前記顔３００Ａに関する顔領域を記憶し、この顔領域の情報を後続の処理に引き継ぐ（Ｓ２４）。次に、前記顔認識装置１０は、図３に示すように、この特定された顔領域から前記顔３００Ａに含まれる顔部位を検出する（Ｓ３）。

この顔部位の検出に関して、前記鼻領域検出手段２は、図４（ｂ）に示すように、まず、前記顔３００Ａに含まれる鼻領域を検出する（Ｓ３１）。前記鼻領域検出手段２は、図５に示すように、垂直方向に隣接して配列される画素データの輝度値を順次加算する（Ｓ３１１）。前記鼻領域検出手段２は、この順次加算された輝度値における極小値を特定する（Ｓ３１２）。

前記鼻領域検出手段２は、この極小値が複数存在するかを判定する（Ｓ３１３）。前記鼻領域検出手段２は、この極小値が複数存在する場合には、２つの極小値間の水平方向における距離を算出する（Ｓ３１４）。

前記領域検出手段２は、この算出された距離が閾値よりも小さいかを判定する（Ｓ３１５）。前記領域検出手段２は、この算出された距離が閾値よりも小さい場合には、この２つの極小値における中央位置を算出する（Ｓ３１６）。前記領域検出手段２は、この算出された中央位置を鼻領域として特定し、前記顔情報蓄積手段５ａに記憶する（Ｓ３１７）。

また、前記鼻領域検出手段２は、前記Ｓ３１３にて前記極小値が複数存在しない場合には、この極小値を鼻領域として特定し、前記顔情報蓄積手段５ａに記憶する（Ｓ３１８）。ここで、この鼻領域の特定は、鼻領域が顔領域において相対的に暗く撮像される傾向にあることを利用している。また、前記領域検出手段２は、前記Ｓ３１５にて、この算出された距離が閾値よりも大きい場合には、この鼻領域の検出が不可能であると判断する（Ｓ３１９）。

次に、前記顔領域検出手段１は、前期Ｓ３１の鼻領域の検出位置の下方に口存在領域を設定し、その領域の中で垂直エッジの水平方向への連続性から口領域を検出する（Ｓ３２）。次に、前記顔領域検出手段１は、例えば、画像データにおける水平方向の画素値（輝度値）の和に基づいて眼Ｙ位置を特定する技術を用いる。この技術は、例えば本願出願人により出願された特開２００４−２３４３６７号公報に記載されており、これらの技術を用いることで眼Ｙ位置を正確に検出することができる（Ｓ３３）。ここで、この眼Ｙ位置とは、垂直方向における前記運転手３００の眼の位置を示す。

次に、前記顔領域検出手段１は、前記鼻領域又は口領域が検出できたかを判断する（Ｓ３４）。前記マスク着用判断手段３は、この判断により前記鼻領域又は口領域が検出できなかった場合には、マスク検出を行う（Ｓ３５）。

このマスク検出に関して、前記マスク着用判断手段３は、図６に示すように、マスク検出領域を設定する（Ｓ３５１）。このマスク検出領域の設定に関して、前記マスク着用判断手段３は、マスク検出領域の上端を、直前の画像フレームにて眼領域を取得済みの場合にはこの眼領域における眼位置（Ｙ）を設定する。ここで、眼位置（Ｙ）とは、片眼しか取得できていない場合には片眼の垂直方向であるＹ位置であり、両眼とも取得できている場合には右眼と左眼のこのＹ位置の中心を示す。

また、前記マスク着用判断手段３は、直前の画像フレームにて眼領域を取得できなかった場合には、前記眼Ｙ位置を示し、前記眼Ｙ位置を取得できなかった場合には撮像された画像フレームの上端を示す。

次に、前記マスク着用判断手段３は、マスク検出領域の下端を、上端＋顔幅×Ｎ（Ｎは閾値）とする。また、前記マスク着用判断手段３は、マスク検出領域の右端を、前記顔領域の右端とする。また、前記マスク着用判断手段３は、マスク検出領域の左端を、前記顔領域の左端とする。

次に、前記マスク着用判断手段３は、この検出されたマスク検出領域内の水平方向を投影し、この投影された輝度値の傾きが最大となる位置を検出する（Ｓ３５２）。ここで、前記マスク着用判断手段３は、この水平方向投影において、投影された輝度値の傾きが急激に上昇する箇所をマスク領域の上端とし、投影された輝度値の傾きが急激に下降する箇所をマスク領域の下端とする。

次に、前記マスク着用判断手段３は、このＳ３５２と同様に、この検出されたマスク検出領域内の垂直方向を投影し、この投影された輝度値の傾きが最大となる位置を検出し、マスク領域の右端及び左端を検出する（Ｓ３５３）。

次に、前記マスク着用判断手段３は、この検出されたマスク領域から、マスク領域の縦横比が閾値内の条件を満たすかを判断する（Ｓ３５４）。前記マスク着用判断手段３は、マスク領域の縦横比が閾値内の場合には、この検出されたマスク領域から、マスク幅と顔幅の比が閾値内の条件を満たすかを判断する（Ｓ３５５）。

前記マスク着用判断手段３は、マスク幅と顔幅の比が閾値内の場合には、この検出されたマスク領域から、マスク高さと顔幅の比が閾値内の条件を満たすかを判断する（Ｓ３５６）。前記マスク着用判断手段３は、マスク高さと顔幅の比が閾値内の場合には、この検出されたマスク領域から、マスク領域の輝度平均値が閾値以上の条件を満たすかを判断する（Ｓ３５７）。

前記マスク着用判断手段３は、マスク領域の輝度平均値が閾値以上の場合には、この検出されたマスク領域から、マスク領域の輝度分散値が閾値未満の条件を満たすかを判断する（Ｓ３５８）。前記マスク着用判断手段３は、マスク領域の輝度分散値が閾値未満の場合には、この検出されたマスク領域にマスクが含まれると判断する（Ｓ３５９）。

また、前記マスク着用判断手段３は、このＳ３５４からＳ３５８の判断にて、各条件のうち１つでも満たさない場合には、この検出されたマスク領域にマスクが含まれないと判断する。前記マスク領域検出手段３１は、図４（ｂ）に示すように、この判断に基づいて、この検出されたマスク領域からマスクを検出する（Ｓ３５）。また、前記マスク内鼻領域検出手段３２は、例えば、検出されたマスク領域の中心位置を鼻領域とみなして、鼻領域を検出し、前記顔情報蓄積手段５ａに記憶することができる。

次に、前記眼鏡フレーム領域検出手段４１は、まず、左右の眼鏡フレーム間に架橋された眼鏡ブリッジの検出を行う（Ｓ３６）。前記眼鏡フレーム領域検出手段４１は、図７に示すように、顔情報蓄積手段５ａに基づいて、直前の過去に眼領域が記憶されているかを確認する（Ｓ３６１）。前記眼鏡フレーム領域検出手段４１は、直前の過去に眼領域が記憶されている場合には、この眼領域から眼鏡ブリッジの検出処理範囲を算出する（Ｓ３６２）。

この検出処理範囲の算出に関しては、水平方向は、前フレームの左右の眼位置（Ｘ）の中点、垂直方向は、眼Ｙ位置、もしくは前フレームの左右の眼位置（Ｙ）の中点を基準点とし、この基準点より垂直方向上側にＮ１画素、下側にＮ２画素、水平方向両側に各々Ｎ３画素の広がりを有する領域をこの検出処理範囲として算出することができる。また、このＮ１、Ｎ２及びＮ３は、前記運転者３００の顔幅に対する固定比によって定められることができる。

このように、前記眼鏡フレーム領域検出手段４１は、この検出処理範囲を顔幅に応じて変動させることにより、前記車載カメラ１００と前記運転者３００との距離に関わらず適切な検出処理領域を算出することができる。具体的には、前記眼鏡フレーム領域検出手段４１は、前記運転者３００が前記車載カメラ１００に近い場合には、この検出処理範囲を広げ、前記運転者３００が前記車載カメラ１００から遠い場合には、この検出処理範囲を狭めることができる。

前記眼鏡フレーム領域検出手段４１は、この検出処理範囲において、水平方向に並んだ各画素の輝度値を積算して輝度積算値を算出する（Ｓ３６３）。前記眼鏡フレーム領域検出手段４１は、この輝度積算値の上下差分値に基づいて、眼鏡ブリッジの上下位置候補を検出する（Ｓ３６４）。

ここで、この上下差分値は、例えば、上下差分値＝Ｍ１（ｙ＋一定画素）−Ｍ１（ｙ）により算出することができる。但し、このｙは、水平ラインにおけるＹ座標の１つを示し、Ｍ１（ｙ）はこの水平ラインにおける輝度積算値を示す。

また、この上下位置候補に関して、前記眼鏡フレーム領域検出手段４１は、上下差分値が最大となるＹ座標を眼鏡ブリッジの上位置候補として検出し、上下差分値が最小となるＹ座標を眼鏡ブリッジの下位置候補として検出することができる。ここで、この検出に関しては、眼鏡ブリッジが存在している場合では水平方向における眼鏡ブリッジ領域の輝度積算値が他の部分に比べて相対的に低いことを利用している。

前記眼鏡フレーム領域検出手段４１は、この検出処理範囲において、垂直方向の輝度値を積算することにより輝度積算値を算出する（Ｓ３６５）。前記眼鏡フレーム領域検出手段４１は、この輝度積算値の左右差分値に基づいて、眼鏡ブリッジの左右位置候補を検出する（Ｓ３６６）。

ここで、この左右差分値は、例えば、左右差分値＝Ｍ２（ｘ＋一定画素）−Ｍ２（ｘ）により算出することができる。但し、このｘは、垂直ラインにおけるＹ座標の１つを示しており、Ｍ２（ｘ）はこの垂直ラインにおける輝度積算値を示している。

また、前記眼鏡フレーム領域検出手段４１は、この左右位置候補に関して、左右差分値が最大となるＸ座標を眼鏡ブリッジの左位置候補として検出し、左右差分値が最小となるＸ座標を眼鏡ブリッジの右位置候補として検出することができる。ここで、この検出に関しては、眼鏡ブリッジが存在している場合では垂直方向における眼鏡ブリッジ領域の輝度積算値が他の部分に比べて相対的に低いことを利用している。

前記眼鏡フレーム領域検出手段４１は、この検出された眼鏡ブリッジの左右位置候補及び上下位置候補処理範囲に基づいて、眼鏡ブリッジの存在を判断する（Ｓ３６７）。前記眼鏡フレーム領域検出手段４１は、この判断に関して、眼鏡ブリッジの上位置候補の上下差分値の絶対値と、下位置候補の上下差分値の絶対値との和が閾値以上である第１の条件を満たすかを判断する。

前記眼鏡フレーム領域検出手段４１は、この第１の条件を満たすと判断した場合には、眼鏡ブリッジにおける右位置候補の左右差分値の絶対値と、左位置候補の左右差分値の絶対値との和が閾値以上である第２の条件を満たすかを判断する。さらに、前記眼鏡フレーム領域検出手段４１は、この第２の条件を満たすと判断した場合には、眼鏡ブリッジの左位置候補と右位置候補との距離が顔幅に対して閾値範囲内に有る第３の条件を満たす場合に、眼鏡ブリッジ有りと判定する。前記眼鏡フレーム領域検出手段４１は、眼鏡ブリッジが存在すると判断した場合には、この眼鏡ブリッジ領域を検出して記憶する（Ｓ３６８）。

このように、前記眼鏡フレーム領域検出手段４１は、この３つの条件により、自然な位置関係を満たす場合に限り、この眼鏡ブリッジの上下位置候補及び左右位置候補を眼鏡ブリッジとして検出することができる。なお、前記眼鏡フレーム領域検出手段４１は、第１の閾値及び第２の閾値を、眼鏡ブリッジの検出結果の学習によって変化させることもできる。また、前記眼鏡フレーム領域検出手段４１は、眼鏡ブリッジの取得率に基づいて第１及び第２の閾値を増減させることもでき、この場合には眼鏡の種類に応じた最適な閾値を得ることとなり、正確に眼鏡ブリッジを検出することができる。

また、前記眼鏡フレーム領域検出手段４１は、前記Ｓ３６１にて直前の過去に眼領域が記憶されていない場合には、前記鼻領域から眼鏡ブリッジの検出処理範囲を算出する（Ｓ３６９）。この場合には、前記眼鏡フレーム領域検出手段４１は、水平方向における左右の鼻穴の中点から垂直方向上側へＮ４画素の位置を基準位置とし、前記Ｓ３６２と同様の方法で眼鏡ブリッジの検出処理範囲を算出する。

また、このＮ４も、前記運転者３００の顔幅に対する固定比によって定められることができる。前記眼鏡フレーム領域検出手段４１は、このＳ３６９以降には、前記Ｓ３６３から前記Ｓ３６８までと同様の処理を行う。また、前記眼鏡フレーム領域検出手段４１は、前記Ｓ３６７にて眼鏡ブリッジが存在しないと判断した場合には、前記Ｓ３６８における眼鏡ブリッジ領域の記憶は行わない。

次に、前記眼鏡フレーム領域検出手段４１は、図４（ｂ）に示すように、眼鏡フレームを検出する（Ｓ３７）。前記眼鏡フレーム領域検出手段４１は、図８（ａ）に示すように、眼鏡下フレーム検出に関して、まず、眼鏡下フレームを検出するための検出処理範囲を算出する（Ｓ３７１）。

この検出処理範囲の水平方向の範囲は、過去に検出された眼位置を中心として左右に顔幅のＮ９％の範囲である。また、この検出処理範囲の下端は、鼻穴の中点から顔幅のＮ１０％下側の位置である。また、この検出処理範囲の上端は、眼Ｙ位置、もしくは前フレームの眼位置（Ｙ）の中点とする。

前記眼鏡フレーム領域検出手段４１は、この検出処理範囲の算出後、この検出処理範囲において微分フィルタを用いて微分フィルタ抽出処理を実行する（Ｓ３７２）。この微分フィルタは、垂直方向において上方から下方へ輝度が高い画像領域、輝度が低い画像領域、輝度が高い画像領域へと変化する下フレーム部分を抽出するフィルタである。

前記眼鏡フレーム領域検出手段４１は、Ｙ方向ラインにおいて検出処理範囲の下方から上方へ順に微分フィルタ値を算出し、最初に閾値以上になった画素を検出する。この微分フィルタの値は、対象画素を中心とした８近傍の８画素にそれぞれ微分フィルタの係数を乗算し、乗算して得た値を加算した数値である。

なお、前記眼鏡フレーム領域検出手段４１は、この微分フィルタ処理中に対象画素より１画素上方の画素、例えば対象画素のＹ座標をｙ１としてＹ座標がｙ１−１の画素の輝度が第１の輝度以上では、外部光源からの光を眼鏡レンズが反射している部分と判定する。前記眼鏡フレーム領域検出手段４１は、この画素を反射部分画素として検出する。第１の輝度としては、例えば２５５階調で２４０である。この外部光源としては、顔認識等の各種目的で前記運転者３００を照明するために車内に設置されているＬＥＤ光源を用いることができる。

また、前記眼鏡フレーム領域検出手段４１は、微分フィルタ処理開始時の対象画素である検出処理範囲の下側部分において、対象画素より１画素上方又は１画素下方の画素の輝度が一方でも第２の輝度以上である場合には、顔全体が明るい傾向にあると判断する。前記眼鏡フレーム領域検出手段４１は、この判断により第１の輝度を上げる。

前記眼鏡フレーム領域検出手段４１は、例えば、第２の輝度が２５６階調で２１０の場合に、第１の輝度を２４０から２５０に上昇させる。このように、前記眼鏡フレーム領域検出手段４１は、第１の輝度及び第２の輝度を相関的に制御することにより、前記反射部分画素をより正確に検出することができる。

前記眼鏡フレーム領域検出手段４１は、あるＹ方向ラインに対してこの検出を終えた場合には、検出処理領域において左側から右側へ他のＹ方向ラインに対しても同様の処理を順次実行する。なお、前記眼鏡フレーム領域検出手段４１は、検出処理範囲の水平方向の幅に応じて、微分フィルタ処理の対象となるＹ方向ラインを間引き、最大ｎ個の結果を算出することができる。このｎは、処理速度及び判定精度の相間関係に応じて設定されることができる。

前記眼鏡フレーム領域検出手段４１は、この微分フィルタ抽出処理を終えた場合には、眼鏡下フレームの下位置を検出する（Ｓ３７３）。前記眼鏡フレーム領域検出手段４１は、このＳ３７２で複数の画素が検出されている場合には、この眼鏡下フレームの下位置を、検出されたｎ個の画素に含まれる各画素のＹ座標の中間値を下位置のＹ座標とする。また、前記眼鏡フレーム領域検出手段４１は、検出処理範囲の水平方向中央部のＸ座標を、下位置のＸ座標として記憶する。

前記眼鏡フレーム領域検出手段４１は、前記Ｓ３７２で画素が検出されなかった場合には、前記反射部分画素が検出されたか否かを判定する。また、前記反射部分画素が検出されていると判定した場合には、この反射部分画素のＹ座標を下位置のＹ座標とする。なお、前記眼鏡フレーム領域検出手段４１は、前記反射部分画素が複数ある場合には、最大となる前記反射部分画素のＹ座標を下位置のＹ座標とする。

前記眼鏡フレーム領域検出手段４１は、下フレームが無い眼鏡の場合には、この下フレームが検出されないが、前記反射部分が検出されている場合には、反射部分に眼鏡が存在していると考えられるため、反射部分の最下端を下位置とする。前記眼鏡フレーム領域検出手段４１は、前記Ｓ３７２で画素が検出されず、前記反射部分画素が検出されてない場合には、この眼鏡下フレームが無いと判定する。

なお、前記眼鏡フレーム領域検出手段４１は、ｎ個検出した画素における微分フィルタ値の平均値を算出し、この眼鏡下フレームスコアとすることができる。前記眼鏡フレーム領域検出手段４１は、この眼鏡下フレームスコアにより検出された下位置が眼鏡であるか眼であるかを判定することができる。前記眼鏡フレーム領域検出手段４１は、眼鏡下フレームスコアが第１の閾値より大きい場合には、眼鏡であると判定し、眼鏡下フレームスコアが第１の閾値より小さい第２の閾値未満の場合には、眼であると判定することができる。

次に、前記眼鏡フレーム領域検出手段４１は、図８（ａ）に示すように、眼鏡上フレーム検出に関して、前記眼鏡下フレームの処理と同様に、検出処理範囲を算出し（Ｓ３７４）、前記微分フィルタを抽出し（Ｓ３７５）、眼鏡上フレームを検出する（Ｓ３７４）。

前記眼鏡フレーム領域検出手段４１は、図４（ｂ）に示すように、このＳ３７にて眼鏡領域が検出されたかを判断する（Ｓ３８）。前記サングラス判断手段４２は、この眼鏡領域が検出された場合には、サングラス領域の検出を行う（Ｓ３９）。

前記サングラス判断手段４２は、図９に示すように、サングラスであるか否かの判定結果を示すサングラスフラグをオフに初期化する（Ｓ３９１）。次に、前記サングラス判断手段４２は、サングラス処理範囲内の輝度平均及び輝度の分散値を算出する（Ｓ３９２）。サングラス処理範囲の上下は、前記眼鏡上フレームの上位置及び眼鏡下フレームの下位置であり、サングラス処理範囲の左右は、前記眼鏡下フレームの処理範囲と同様である。

次に、前記サングラス判断手段４２は、この輝度平均値が閾値以下であるか否かを判定する（Ｓ３９３）。前記サングラス判断手段４２は、この輝度平均値が閾値以下であると判定した場合には、この輝度値の分散値が閾値以下であるか否かを判定する（Ｓ３９４）。

前記サングラス判断手段４２は、この判定において閾値以下の場合には、サングラスフラグをオンにしてサングラスを検出する（Ｓ３９５）。前記眼領域検出手段４は、サングラスが検出された場合には、眼位置をサングラスの中心部とみなして設定する。

このように、サングラスが着用された場合でも、眼位置をサングラスから特定することとなり、顔認識の精度を向上させることができる。次に、前記サングラス判断手段４２は、眼鏡の左右両側のサングラス判定を実行したか否かを判定する（Ｓ３９６）。

前記サングラス判断手段４２は、左右両側又はいずれか一方のサングラス判定を実行していないと判定した場合には、前記Ｓ３９１以降の処理を同様に行う。また、前記サングラス判断手段４２は、左右両側のサングラス判定を実行したと判定した場合には、サングラス判定に係る処理を終える。

また、前記サングラス判断手段４２は、前記Ｓ３９３にて輝度平均値が閾値より大きいと判定した場合には、前記Ｓ３９６のサングラス判定を行い、前記Ｓ３９６以降と同様の処理を行う。また、前記サングラス判断手段４２は、前記Ｓ３９４にて分散値が閾値より大きいと判定した場合には、前記Ｓ３９６のサングラス判定を行い、前記Ｓ３９６以降と同様の処理を行う。

次に、前記サングラス判断手段４２は、図１０に示すように、過去に記憶されたフレームのサングラスフラグを読み出す（Ｓ３９７）。前記サングラス判断手段４２は、閾値以上のフレーム数においてサングラスフラグがオンであるか否かを判定する（Ｓ３９８）。

前記サングラス判断手段４２は、閾値以上のフレームでオンであると判定した場合には、サングラスの有無を総合的に判断した結果を示す総合サングラスフラグをオンにする（Ｓ３９９−１）。前記サングラス判断手段４２は、前記Ｓ３９８にて閾値未満のフレーム数にてオンであると判定した場合には、総合サングラスフラグをオフにする（Ｓ３９９−２）。

このように、前記サングラス判断手段４２は、複数フレームでのサングラス判定結果を用いて総合的に判定することにより、サングラスフラグが示す１フレーム結果のみでは発生しがちなサングラスの誤認識を防止することができる。このサングラスの誤認識を発生させる要因としては、例えば、瞬間的な輝度変化、手の進入が挙げられる。

次に、前記眼領域検出手段４は、図３に示すように、眼領域の位置を検出する（Ｓ４）。前記眼領域検出手段４は、図１１に示すように、この眼領域の位置検出に関して、まず、サングラス領域が存在し、かつこのサングラス領域のレンズ領域が暗い状態かという条件を満たすかを判断する（Ｓ４１）。前記眼領域検出手段４は、このレンズ領域の輝度平均値が閾値未満であるかによりこの条件に対する判断を行うことができる。

前記眼領域検出手段４は、このＳ４１の条件を満たさない場合には、右眼と左眼の各々に対して後続処理を適用するためのループ処理を開始する（Ｓ４２）。このループ処理において、まず、前記眼帯領域検出手段４４は、眼帯領域を検出する（Ｓ４３）。
この眼帯領域の検出に関して、前記眼帯判断手段４３は、図１２（ａ）に示すように、眼帯領域の検出領域である眼帯検出領域を設定する（Ｓ４３１）。前記眼帯判断手段４３は、同図（ｂ）に示すように、この眼帯検出領域の設定に関して、まず、Ｘ方向の鼻位置である鼻位置（Ｘ）と顔領域の一端である顔端と平行する中心線を算出する。

前記眼帯判断手段４３は、この中心線からＸ方向の左側に顔幅のＮ３％に収まる範囲及びこの中心線からＸ方向の右側に顔幅のＮ４％に収まる範囲をこの眼帯検出領域のＸ方向の幅とする。また、前記眼帯判断手段４３は、前記眼Ｙ位置から上向きのＹ方向に沿って顔幅のＮ１％となる位置を、この眼帯検出領域のＹ方向の上位置とし、前記眼Ｙ位置から下向きのＹ方向に沿って顔幅のＮ２％となる位置を、この眼帯検出領域のＹ方向の下位置とする。また、前記眼帯判断手段４３は、前記眼Ｙ位置が存在しない場合には、前回フレームでの眼位置（Ｙ）を前記眼Ｙ位置の代替とすることができる。

次に、前記眼帯判断手段４３は、同図（ａ）に示すように、検出された眼帯検出領域に基づいて、眼帯の存在を判定する（Ｓ４３２）。前記眼帯判断手段４３は、この眼帯検出領域の輝度分散値が閾値Ｎ未満であり、かつ顔領域の輝度平均値に占める眼帯検出領域の輝度平均値が閾値Ｍ以上の場合に、眼帯が存在すると判断する。なお、前記眼帯判断手段４３は、この眼帯の位置及びサイズを前記眼帯検出領域と同じとすることができる。

次に、前記眼帯判断手段４３は、図１１に示すように、眼帯領域が検出されたかを判断する（Ｓ４４）。前記眼帯判断手段４３は、眼帯領域が検出されていない場合には、眼位置を検出する（Ｓ４５）。

この眼位置の検出に関して、前記眼領域検出手段４は、図１３（ａ）に示すように、検出した鼻位置に基づいて、眼位置を検出することができる。また、前記眼帯判断手段４３は、同図（ｂ）に示すように、マスクが存在する場合でも、検出したマスク領域の中心位置を鼻の代替位置とみなして、同様に眼位置を検出することができる。このように、前記眼帯判断手段４３は、鼻位置に基づいて眼位置を算出することから、眼位置を高精度に検出することができる。

また、前記眼帯判断手段４３は、例えば、２値化処理を利用した検出方法を併用してこの眼位置を検出することができる。具体的には、前記眼帯判断手段４３は、取得した画像フレームを１と０の数値により２値化し、得られた画像フレームにおいて、画素データの数値１の画素が集合する領域を検出し、この領域を瞳である可能性の高い領域であると特定することができる。

また、前記眼領域検出手段４は、図１１に示すように、前記Ｓ４４にて、眼帯領域が検出された場合には、眼位置を眼帯領域の中央部とみなして検出する。このように、眼帯が着用された場合でも、眼位置を眼帯から特定することとなり、顔認識の精度を向上させることができる。

また、前記眼領域検出手段４は、このＳ４３からＳ４５までの眼領域に関する処理を、左右の眼に対して行った場合には、前記ループ処理を終了する（Ｓ４６）。次に、前記眼領域検出手段４は、図３に示すように、検出された眼に対して、眼の形状を抽出する（Ｓ５）。

次に、前記顔認識手段５は、図３に示すように、検出された顔の各部位の位置関係を利用して顔向きを算出することにより、顔向きを算出する（Ｓ６）。具体的には、前記顔認識手段５は、図１３（ｃ）に示すように、顔領域の顔幅Ａに対する鼻の相対位置Ｂから顔の左右向き角度を算出することができる。また、前記顔認識手段５は、同図（ｄ）に示すように、マスクが存在する場合にも、顔領域の顔幅Ａに対するマスク中央部の鼻の相対位置Ｂから顔の左右向き角度を算出することができる。

次に、前記眼領域検出手段４は、図３に示すように、眼の開度を算出する（Ｓ７）。具体的には、前記眼領域検出手段４は、画像フレーム中の眼の領域を、眼の領域における輝度分布や画素の輝度値平均及び輝度値の標準偏差により特徴データとして算出し、この特徴データの変化量を前後の画像フレームで比較することにより眼の開度を算出することができる。

前記顔認識予測手段６は、次フレームでの顔を予測する（Ｓ８）。また、前記特徴判断手段７は、前記運転手３００の特徴、例えば、瞬きが多い、首をよく振る、目の開き具合が少ない等の特徴を判断し、この予測に対する情報を提供することができる。

前記警報手段８は、顔向きや眼の開閉状態に応じて、前記運転手３００に対して具体的なアクションを発生させる（Ｓ９）。このように、前記顔認識予測手段６は、前後フレームの相間関係を利用して顔の動きを予測することから、前記運転手３００が予測の範囲に含まれる動作であるかを判断できることとなり、前記運転手３００の異常な動作の検出精度を向上させることができる。

前記警報手段８は、例えば、前記運転手３００の眼の開き具合から居眠り運転や過労と判断できる場合には、休息の指示アラームを音声により発生させることができる。また、前記警報手段８は、例えば、前記運転手３００の顔の向きから脇見運転と判断できる場合には、脇見運転禁止アラームを音声により発生させることができる。

前記顔認識予測手段６は、前記Ｓ１からＳ９までの１フレームの処理が終了すると、次フレーム処理を行うかを判断する（Ｓ１０）。前記顔認識予測手段６は、次フレーム処理を行う場合には、前記Ｓ１に戻り、以降前記Ｓ１からＳ９までの１フレームの処理が次フレーム処理として実施される。また、前記顔認識予測手段６は、次フレーム処理を行わない場合、例えば、顔認識装置の動作を外部から停止された場合には、処理を終了する。
また、本実施形態に係る顔認識装置１０のハードウエア構成は、ＣＰＵ、メモリ、記憶装置、赤外線発光装置及び上記各部を接続するバスからなる。

なお、本実施形態では、マスクを顔の遮蔽物の一例として説明したが、この遮蔽物としてはマスクに限定されず、顔を覆う遮蔽物であれば広く適用することができ、例えば、タオルやハンカチの場合でも本実施形態を適用することができる。なお、本実施形態では、顔認識装置１０は、車載カメラでの運転手への警告装置を備えて顔認識の結果に応じた警報を行ったが、この利用形態に限定されず、例えば、顔認識の結果の蓄積による監視や、顔認識の結果による本人認証など、顔認識を用いる広い分野に適用することができる。

［付記］ 以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）撮像された人物の撮像画像に基づいて人物の顔を認識する顔認識装置において、前記撮像画像に基づいて、前記撮像された人物の鼻の存在領域としての鼻領域を検出する鼻領域検出手段と、前記鼻領域検出手段により鼻領域が検出されなかった場合に、前記撮像画像の水平及び垂直方向の輝度値に基づいて、前記撮像された人物が少なくとも顔の一部を遮蔽する遮蔽物を着用しているかを判断する遮蔽物着用判断手段と、前記遮蔽物着用判断手段により前記撮像された人物が遮蔽物を着用していると判断された場合に、当該遮蔽物の存在領域としての遮蔽物領域を検出する遮蔽物領域検出手段と、前記遮蔽物領域検出手段により検出された遮蔽物領域に基づいて、当該遮蔽物領域に含まれる前記鼻領域を特定する遮蔽物内鼻領域検出手段と、前記鼻領域検出手段又は遮蔽物内鼻領域検出手段により特定された鼻領域に基づいて、前記撮像された人物の眼の存在領域としての眼領域を検出する眼領域検出手段とを備える顔認識装置。

（付記２）前記眼領域検出手段により検出された眼領域の画像情報に基づいて眼の開度及び／又は視線方向を認識し、前記眼領域及び／又は鼻領域に基づいて顔の向きを認識する顔認識手段を備える付記１記載の顔認識装置。

（付記３）前記検出された眼領域の画像情報に基づいて、人物に着用された眼鏡のフレームの存在領域としての眼鏡フレーム領域を検出する眼鏡フレーム領域検出手段と、前記眼鏡フレーム検出手段により検出された眼鏡フレーム領域の輝度分布に基づいて、前記眼鏡がサングラスかを判断するサングラス判断手段とを備え、前記眼領域検出手段が、前記サングラス判断手段により前記眼鏡がサングラスと判断された場合には、当該サングラスにおける前記眼領域を判断して検出する付記１又は付記２記載の顔認識装置。

（付記４）前記検出された眼領域における画像情報の水平及び垂直方向の輝度値に基づいて、人物が眼帯を着用しているかを判断する眼帯判断手段と、前記眼帯判断手段により眼帯が着用されていると判断された場合には、当該眼帯の存在領域としての眼帯領域を検出する眼帯領域検出手段とを備え、前記眼領域検出手段が、前記眼帯判断手段により眼帯が着用されていると判断された場合には、当該眼帯における前記眼領域を判断して検出する付記１ないし付記３に記載の顔認識装置。

（付記５）前記顔認識手段により認識された結果に基づいて、微小時間後の前記顔認識手段により認識される結果を予測する顔認識予測手段を備える付記１ないし付記４に記載の顔認識装置。

（付記６）撮像された人物の撮像画像に基づいて人物の顔を認識する顔認識方法において、前記撮像画像に基づいて、前記撮像された人物の鼻の存在領域としての鼻領域を検出する鼻領域検出工程と、前記鼻領域検出工程により鼻領域が検出されなかった場合に、前記撮像画像の水平及び垂直方向の輝度値に基づいて、前記撮像された人物が少なくとも顔の一部を遮蔽する遮蔽物を着用しているかを判断する遮蔽物着用判断工程と、前記遮蔽物着用判断工程により前記撮像された人物が遮蔽物を着用していると判断された場合に、当該遮蔽物の存在領域としての遮蔽物領域を検出する遮蔽物領域検出工程と、前記遮蔽物領域検出工程により検出された遮蔽物領域に基づいて、当該遮蔽物領域に含まれる前記鼻領域を特定する遮蔽物内鼻領域検出工程と、前記鼻領域検出工程又は遮蔽物内鼻領域検出工程により特定された鼻領域に基づいて、前記撮像された人物の眼の存在領域としての眼領域を検出する眼領域検出工程とを備える顔認識方法。

（付記７）前記眼領域検出工程により検出された眼領域の画像情報に基づいて眼の開度及び／又は視線方向を認識し、前記眼領域及び／又は鼻領域に基づいて顔の向きを認識する顔認識工程を備える付記６記載の顔認識方法。

（付記８）前記検出された眼領域の画像情報に基づいて、人物に着用された眼鏡のフレームの存在領域としての眼鏡フレーム領域を検出する眼鏡フレーム領域検出工程と、前記眼鏡フレーム検出工程により検出された眼鏡フレーム領域の輝度分布に基づいて、前記眼鏡がサングラスかを判断するサングラス判断工程とを備え、前記眼領域検出工程が、前記サングラス判断工程により前記眼鏡がサングラスと判断された場合には、当該サングラスにおける前記眼領域を判断して検出する付記６又は付記７記載の顔認識方法。

（付記９）前記検出された眼領域における画像情報の水平及び垂直方向の輝度値に基づいて、人物が眼帯を着用しているかを判断する眼帯判断工程と、前記眼帯判断工程により眼帯が着用されていると判断された場合には、当該眼帯の存在領域としての眼帯領域を検出する眼帯領域検出工程とを備え、前記眼領域検出工程が、前記眼帯判断工程により眼帯が着用されていると判断された場合には、当該眼帯における前記眼領域を判断して検出する
付記６ないし付記８に記載の顔認識方法。

（付記１０）前記顔認識工程により認識された結果に基づいて、微小時間後の前記顔認識工程により認識される結果を予測する顔認識予測工程を備える付記６ないし付記９に記載の顔認識方法。

（付記１１）撮像された人物の撮像画像に基づいて人物の顔を認識するようにコンピュータを機能させる顔認識プログラムにおいて、前記撮像画像に基づいて、前記撮像された人物の鼻の存在領域としての鼻領域を検出する鼻領域検出手段、前記鼻領域検出手段により鼻領域が検出されなかった場合に、前記撮像画像の水平及び垂直方向の輝度値に基づいて、前記撮像された人物が少なくとも顔の一部を遮蔽する遮蔽物を着用しているかを判断する遮蔽物着用判断手段、前記遮蔽物着用判断手段により前記撮像された人物が遮蔽物を着用していると判断された場合に、当該遮蔽物の存在領域としての遮蔽物領域を検出する遮蔽物領域検出手段、前記遮蔽物領域検出手段により検出された遮蔽物領域に基づいて、当該遮蔽物領域に含まれる前記鼻領域を特定する遮蔽物内鼻領域検出手段、前記鼻領域検出手段又は遮蔽物内鼻領域検出手段により特定された鼻領域に基づいて、前記撮像された人物の眼の存在領域としての眼領域を検出する眼領域検出手段としてコンピュータを機能させる顔認識プログラム。

（付記１２）前記眼領域検出手段により検出された眼領域の画像情報に基づいて眼の開度及び／又は視線方向を認識し、前記眼領域及び／又は鼻領域に基づいて顔の向きを認識する顔認識手段としてコンピュータを機能させる付記１１記載の顔認識プログラム。

（付記１３）前記検出された眼領域の画像情報に基づいて、人物に着用された眼鏡のフレームの存在領域としての眼鏡フレーム領域を検出する眼鏡フレーム領域検出手段、前記眼鏡フレーム検出手段により検出された眼鏡フレーム領域の輝度分布に基づいて、前記眼鏡がサングラスかを判断するサングラス判断手段としてコンピュータを機能させ、前記眼領域検出手段が、前記サングラス判断手段により前記眼鏡がサングラスと判断された場合には、当該サングラスにおける前記眼領域を判断して検出する付記１１又は付記１２記載の顔認識プログラム。

（付記１４）前記検出された眼領域における画像情報の水平及び垂直方向の輝度値に基づいて、人物が眼帯を着用しているかを判断する眼帯判断手段、前記眼帯判断手段により眼帯が着用されていると判断された場合には、当該眼帯の存在領域としての眼帯領域を検出する眼帯領域検出手段としてコンピュータを機能させ、前記眼領域検出手段が、前記眼帯判断手段により眼帯が着用されていると判断された場合には、当該眼帯における前記眼領域を判断して検出する付記１１ないし付記１３に記載の顔認識プログラム。

（付記１５）前記顔認識手段により認識された結果に基づいて、微小時間後の前記顔認識手段により認識される結果を予測する顔認識予測手段としてコンピュータを機能させる付記１１ないし付記１４に記載の顔認識プログラム。

本発明の第１の実施形態に係る顔認識装置の構成を示すブロック図 本発明の第１の実施形態に係る顔認識装置の全体構成図 本発明の第１の実施形態に係る顔認識装置の全体フローチャート 本発明の第１の実施形態に係る顔認識装置の顔領域及び顔部位検出のフローチャート 本発明の第１の実施形態に係る顔認識装置の鼻領域検出のフローチャート 本発明の第１の実施形態に係る顔認識装置のマスク検出のフローチャート 本発明の第１の実施形態に係る顔認識装置の眼鏡ブリッジ領域検出のフローチャート 本発明の第１の実施形態に係る顔認識装置の眼鏡フレーム領域検出のフローチャート 本発明の第１の実施形態に係る顔認識装置のサングラス領域検出のフローチャート 本発明の第１の実施形態に係る顔認識装置のサングラス領域総合判定のフローチャート 本発明の第１の実施形態に係る顔認識装置の眼領域の位置検出のフローチャート 本発明の第１の実施形態に係る顔認識装置の眼帯領域検出のフローチャート 本発明の第１の実施形態に係る顔認識装置の顔向き検出の説明図

符号の説明

１ 顔領域検出手段
２ 鼻領域検出手段
３ マスク着用判断手段
３１ マスク領域検出手段
３２ マスク内鼻領域検出手段
４ 眼領域検出手段
５ 顔認識手段
５ａ 顔情報蓄積手段
４１ 眼鏡フレーム領域検出手段
４２ サングラス判断手段
４３ 眼帯判断手段
４４ 眼帯領域検出手段
６ 顔認識予測手段
７ 特徴判断手段
８ 警報手段
８Ａ 警報装置
１０ 顔認識装置
１００ 撮影手段
１００Ａ 車載カメラ
２００ 自動車
３００ 運転手
３００Ａ 顔

Claims (7)

1. 撮像された人物の撮像画像に基づいて人物の顔を認識する顔認識装置において、
   前記撮像画像に基づいて、前記撮像された人物の鼻の存在領域としての鼻領域を検出する鼻領域検出手段と、
   前記鼻領域検出手段により鼻領域が検出されなかった場合に、前記撮像画像の水平及び垂直方向の輝度値に基づいて、前記撮像された人物が少なくとも顔の一部を遮蔽する遮蔽物を着用しているかを判断する遮蔽物着用判断手段と、
   前記遮蔽物着用判断手段により前記撮像された人物が遮蔽物を着用していると判断された場合に、当該遮蔽物の存在領域としての遮蔽物領域を検出する遮蔽物領域検出手段と、
   前記遮蔽物領域検出手段により検出された遮蔽物領域に基づいて、当該遮蔽物領域に含まれる前記鼻領域を特定する遮蔽物内鼻領域検出手段と、
   前記鼻領域検出手段又は遮蔽物内鼻領域検出手段により特定された鼻領域に基づいて、前記撮像された人物の眼の存在領域としての眼領域を検出する眼領域検出手段とを備える
   顔認識装置。
   
2. 請求項１に記載の顔認識装置において、
   前記眼領域検出手段により検出された眼領域の画像情報に基づいて眼の開度及び／又は視線方向を認識し、前記眼領域及び／又は鼻領域に基づいて顔の向きを認識する顔認識手段を備える
   顔認識装置。
   
3. 請求項１又は請求項２に記載の顔認識装置において、
   前記検出された眼領域の画像情報に基づいて、人物に着用された眼鏡のフレームの存在領域としての眼鏡フレーム領域を検出する眼鏡フレーム領域検出手段と、
   前記眼鏡フレーム検出手段により検出された眼鏡フレーム領域の輝度分布に基づいて、前記眼鏡がサングラスかを判断するサングラス判断手段とを備え、
   前記眼領域検出手段が、前記サングラス判断手段により前記眼鏡がサングラスと判断された場合には、当該サングラスにおける前記眼領域を判断して検出する
   顔認識装置。
   
4. 請求項１ないし請求項３に記載の顔認識装置において、
   前記検出された眼領域における画像情報の水平及び垂直方向の輝度値に基づいて、人物が眼帯を着用しているかを判断する眼帯判断手段と、
   前記眼帯判断手段により眼帯が着用されていると判断された場合には、当該眼帯の存在領域としての眼帯領域を検出する眼帯領域検出手段とを備え、
   前記眼領域検出手段が、前記眼帯判断手段により眼帯が着用されていると判断された場合には、当該眼帯における前記眼領域を判断して検出する
   顔認識装置。
   
5. 請求項１ないし請求項４に記載の顔認識装置において、
   前記顔認識手段により認識された結果に基づいて、微小時間後の前記顔認識手段により認識される結果を予測する顔認識予測手段を備える
   顔認識装置。
   
6. 撮像された人物の撮像画像に基づいて人物の顔を認識する顔認識方法において、
   前記撮像画像に基づいて、前記撮像された人物の鼻の存在領域としての鼻領域を検出する鼻領域検出工程と、
   前記鼻領域検出工程により鼻領域が検出されなかった場合に、前記撮像画像の水平及び垂直方向の輝度値に基づいて、前記撮像された人物が少なくとも顔の一部を遮蔽する遮蔽物を着用しているかを判断する遮蔽物着用判断工程と、
   前記遮蔽物着用判断工程により前記撮像された人物が遮蔽物を着用していると判断された場合に、当該遮蔽物の存在領域としての遮蔽物領域を検出する遮蔽物領域検出工程と、
   前記遮蔽物領域検出工程により検出された遮蔽物領域に基づいて、当該遮蔽物領域に含まれる前記鼻領域を特定する遮蔽物内鼻領域検出工程と、
   前記鼻領域検出工程又は遮蔽物内鼻領域検出工程により特定された鼻領域に基づいて、前記撮像された人物の眼の存在領域としての眼領域を検出する眼領域検出工程とを備える
   顔認識方法。
   
7. 撮像された人物の撮像画像に基づいて人物の顔を認識するようにコンピュータを機能させる顔認識プログラムにおいて、
   前記撮像画像に基づいて、前記撮像された人物の鼻の存在領域としての鼻領域を検出する鼻領域検出手段、
   前記鼻領域検出手段により鼻領域が検出されなかった場合に、前記撮像画像の水平及び垂直方向の輝度値に基づいて、前記撮像された人物が少なくとも顔の一部を遮蔽する遮蔽物を着用しているかを判断する遮蔽物着用判断手段、
   前記遮蔽物着用判断手段により前記撮像された人物が遮蔽物を着用していると判断された場合に、当該遮蔽物の存在領域としての遮蔽物領域を検出する遮蔽物領域検出手段、
   前記遮蔽物領域検出手段により検出された遮蔽物領域に基づいて、当該遮蔽物領域に含まれる前記鼻領域を特定する遮蔽物内鼻領域検出手段、
   前記鼻領域検出手段又は遮蔽物内鼻領域検出手段により特定された鼻領域に基づいて、前記撮像された人物の眼の存在領域としての眼領域を検出する眼領域検出手段としてコンピュータを機能させる
   顔認識プログラム。

Images