JP2005259049A - 顔面照合装置 - Google Patents

Abstract

【課題】 顔面照合において照合時間を短縮した顔面照合装置を提供する。
【解決手段】 顔面照合を行う顔面照合装置は、熱分布画像と、熱分布画像に対応する可視画像を取得し、熱分布画像上で顔面領域を抽出する顔面領域抽出手段と、熱分布画像上で抽出された顔面領域に対応する可視画像上での領域に対して顔面の特徴点の取得を行う顔面の特徴点の取得を行う顔面特徴点取得手段とを備える。
さらに、照合における各処理段階において熱分布画像内の顔面が生体であるか否かの判定を行う生体判定部を備え、各処理段階で生体でないと判断すると顔面照合処理の途中段階であっても処理を中止させる。
【選択図】 図１

Description

この発明は、顔面を照合する顔面照合装置に関し、特に、顔面の照合に要する時間を短縮した顔面照合装置に関する。

一般に、顔面による照合は、顔面領域抽出と、顔面の特徴点取得と、この顔面の特徴点と予め登録されている顔面の特徴点の比較とを経てなされる。

顔面領域抽出は、撮影画像全体にガボールウェーブレット変換を施して、撮影画像全体に特徴点を生成し、一般的な顔面の特徴点で作成された顔面抽出用テンプレートを、平行移動、拡大、縮小、回転などの処理を行いつつ、撮影画像全体を走査して、顔面抽出用テンプレートの特徴点と、撮影画像全体に生成されている特徴点との類似度を算出して、顔面領域を抽出している。

顔面の特徴点取得は、更に特徴点を増やしている特徴点取得用テンプレートを顔面領域に当てはめ、抽出された顔面領域内に存在する生成された特徴点に合わせるように局所変化させることにより取得される。

顔面の特徴点と予め登録されている顔面の特徴点との比較は、局所変化させた特徴点取得用テンプレートと、予め登録されている顔面の特徴点を表すテンプレートとを比較して類似度を算出する（例えば、特許文献１参照）。

このような顔面照合は、上述のように、主に顔面領域抽出と、顔面の特徴点の取得と、この顔面情報と予め登録されている顔面情報の比較を経てなされ、各々のステップにおいて時間を消費する。

時間の消費の割合を各ステップで比較すると、約半分の時間が顔面領域の抽出に費やされる。顔面領域抽出における時間消費の割合の大きさは、撮影画像全体に顔面抽出用テンプレートを何回も走査させることに起因する。

また、ガボールウェーブレット変換を全画像領域内で行うことも、照合時間全体からすると、多くの時間を消費している。

特開２００１−１６５７３号公報 （段落００６３〜段落００７１）

この発明は、このような事情に鑑みてなされたもので、その目的とするところは、顔面照合において顔面領域抽出に要する時間を短縮し、以って照合時間全体を短縮し、さらにはガボールウェーブレット変換を施す領域を極力限定することにより照合時間全体を短縮した顔面照合装置を提供することにある。

上記課題を解決するために、本発明は、カメラにより撮影された顔面の特徴点と予め登録されている顔面の特徴点とを照合する顔面照合装置であって、顔面を含む撮影領域内の熱分布から熱分布画像を取得する熱分布画像取得手段と、上記熱分布画像と同時かつ同領域を撮影した可視画像を取得する可視画像取得手段と、上記熱分布画像取得手段により取得された熱分布画像上で顔面領域を抽出する顔面領域抽出手段と、上記顔面領域抽出手段により抽出された熱分布画像上の顔面領域に対応する可視画像上の領域に対して特徴点を生成して、顔面の特徴点の取得を行う顔面特徴点取得手段と、上記顔面特徴点取得手段により取得された顔面の特徴点と予め登録されている顔面の特徴点とを照合する顔面特徴点照合手段と、を備えること、を特徴とする。

上述のような構成により、撮影領域内に存在する顔面領域を熱分布画像上で抽出し、熱分布画像上で抽出された顔面領域に基づき、顔面の特徴点を可視画像上で取得するようにしたから、顔面の特徴点を取得するための前処理となる顔面領域抽出の時間が、可視画像のみに基づいて顔面領域を抽出する時間と比較すると、約５分の１から１０分の１に短縮され、照合時間の飛躍的な短縮を実現できるものである。

ここで、熱分布とは、撮影領域内における各位置から放射される遠赤外線の熱放射強度の分布である。遠赤外線は、波長が６μｍ〜１４μｍの電磁波を指す。

熱分布画像とは、各温度帯の熱分布が表現されたデータである。このような熱分布を表現したデータでは、顔面領域の温度帯はほぼ決まっており、しかも通常は、顔面領域の温度帯と背景などのその他の領域の温度帯とのコントラストが明瞭にでる。したがって、熱分布画像上においては、顔面領域の抽出が容易となるものである。このような熱分布画像は、カメラにて捉えた遠赤外線を熱放射強度に基づき光電変換して所定の熱放射強度の分解能で量子化した、撮影領域内における位置情報とその位置の熱放射強度に対応する変換値で構成されるデジタルデータであることを含む。

ここでいう特徴点の生成には、ガボールウェーブレット変換を顔面領域に施すことが含まれる。顔面の特徴点の取得は、生成された特徴点の中から、顔面の特徴点を選択し、更に顔面の特徴点同士の相対位置関係を把握することが含まれる。

また、本発明において、熱分布画像上で顔面領域を抽出するには、上記顔面領域抽出手段は、熱分布画像上の顔面領域に相当する身体温度領域を選択し、かつ身体温度領域と背景温度領域の境界を輪郭化することによって、顔面領域を抽出するようにするようにしてもよい。

ここでいう身体温度領域とは、熱分布画像上の熱分布のうち、身体の体表面温度に相当する温度帯の領域である。背景温度領域は、身体温度領域以外の温度帯の領域である。

顔面領域に相当する身体温度領域を選択することは、それぞれの領域の面積を算出して、顔面領域の面積に相当する身体温度領域を選択することが含まれる。熱分布画像において身体温度領域がいくつか存在する場合にも適用してよい。

もちろん、この２つの処理は、前後することができ、まず、身体温度領域と背景領域の境界を輪郭化して、輪郭により囲まれたいくつかの身体温度領域の面積を算出して、顔面に相当する面積の身体温度領域を輪郭化した領域を選んでもよい。

本発明において、上記顔面照合装置は、上記顔面領域抽出手段により抽出された熱分布画像上の顔面領域内で器官位置を特定する器官位置特定手段を更に備え、上記顔面特徴点取得手段は、上記器官位置特定手段で特定された熱分布画像上の顔面領域内の器官位置に対応する位置とその周辺に対して特徴点を生成して、顔面の特徴点の取得を行うこともできる。

このような構成は、熱分布画像上で、顔面領域の抽出のみならず、顔面領域内に存在する目や鼻や口等の器官の位置を特定するものである。器官位置の特定は、器官が顔面領域内において相対的に温度が低いことを利用することが含まれる。そこで、熱分布画像において所定の熱放射強度の分解能で量子化されてもよい。

顔面の輪郭と器官や皮膚は、温度帯が異なり、その温度帯に幅があるが温度差はほぼ一定である。この熱分布画像における熱放射強度の分解能は、これら温度帯を明確に分ける程度の分解能で量子化されてもよい。

熱分布画像の分解能は、目や鼻や口、または、皮膚等の温度帯がそれぞれ別の変換値に属するように、熱放射強度が複数の変換値に変換されるような分解能であることが含まれる。この場合も、輪郭と器官と皮膚は異なる変換値に明確に分かれ、熱分布画像上では容易に特定することができる。

この器官位置の特定によって、可視画像上での特徴点の生成は、器官位置とその周辺に限定して生成することが可能となる。つまり、例えば、ガボールウェーブレット変換によって可視画像全体上に無数の特徴点を生成する必要はなく、顔面の特徴点を取得するのに必要な、すでに特定されている目や鼻や口等の器官とその周辺のみに特徴点を生成すれば足りる。したがって、ガボールウェーブレット変換を施す面積は、可視画像全体と比べて極めて小さく、また顔面領域内と比べても小さい面積でよい。

このような構成により、顔面領域の抽出における可視画像上で行っていた顔面領域を抽出する時間に比べて、顔面領域の抽出時間が短縮したのに加え、顔面特徴点の取得における時間も可視画像全体にガボールウェーブレット変換を行っていた時間と比べて短縮でき、照合時間全体のさらなる時間短縮を実現できる。

本発明において、上記器官位置特定手段を備えるようにした場合、上記器官位置特定手段は、熱分布画像上の顔面領域内で、器官位置上に配置される器官点を結んだ器官位置ファインダを作成することにより、器官位置を特定するようにしてもよい。

このような構成は、顔面の器官位置に合わせたファインダを作成する為、極めて精度が高い器官位置の特定が可能となり、後に行われる可視画像上での特徴点の生成は、器官位置とその周辺に限定して行うことが可能となる。また、顔面の器官位置に合わせたファインダを作成することにより、可視画像上で生成した特徴点のうち、顔面の特徴を表している特徴点と器官位置ファインダの器官点とが類似し、特徴点に合わせた器官点の局所補正が少なくてすみ、容易でかつ正確に顔面特徴点を取得できる。よって、照合時間がさらに削減される。

また、この発明において、上記顔面照合装置は、撮影領域内の顔面が生体由来であるか否かを判断する生体判定部を更に備え、上記生体判定部は、上記顔面特徴点取得部が特徴点の生成に成功した場合には、撮影領域内の顔面が生体由来であると判断し、生成できなかった場合には、撮影領域内の顔面が生体由来ではないと判断すること、を特徴とすることもできる。

ここで、生体由来とは、撮影された顔面が人形等ではなく生体を撮影したことによるものということである。

このような構成により、マネキン等による身体を模した人形によるなりすましを排除し、本発明の顔面照合装置におけるセキュリティが高まるものである。

なお、この発明において、生体由来であると判断した場合には照合処理を続行し、何度か特徴点の生成を試みたものの生成できなかった場合には、生体由来ではないと判断して照合処理を中止してもよい。

また、生体判定部は、上記器官位置特定手段が器官位置を特定できた場合には、撮影領域内の顔面が生体由来であると判断し、特定できなかった場合には、撮影領域内の顔面が生体由来ではないと判断するようにしてもよい。

この生体判定は、上述の特徴点の生成による判断と合わせて用いることもできるし、またどちらか一方を採用することもできる。

さらに、この発明は、上記カメラは、遠赤外線と可視光線を分離する分離手段と、上記分離手段により分離された遠赤外線を受光する熱分布画像用センサと、上記分離手段により分離された可視光線を受光する可視画像用センサと、を備え、熱分布画像と可視画像とが同時かつ同領域で撮影されるようにしてもよく、このようなカメラを採用することにより、画像分解処理等の事後処理を必要とせず、簡便かつ正確に同時かつ同領域の熱分布画像と可視画像を撮影することができる。

本発明は、顔面を照合する顔面照合装置で、熱分布画像とこれに対応する可視画像とを同時かつ同領域を取得し、熱分布画像上で顔面領域を抽出し、可視画像上では熱分布画像上で抽出された顔面領域に対応する領域に限定して、顔面の特徴点取得処理を行うようにしたから、顔面の特徴点を取得するための前処理となる顔面領域抽出が可視画像のみを用いて行った時間と比較して、約５分の１から１０分の１の時間で行うことができ、照合時間の飛躍的な短縮を実現できるものである。

また、顔面照合装置で、撮影領域内の顔面が生体由来であるか否かを判断する生体判定をさらに行うようにすることで、マネキン等による身体を模した人形によるなりすましを排除し、セキュリティが向上する。

以下、この発明の一実施形態について図１乃至図９に基づき詳細に説明する。

図１は、本発明の顔面照合装置１の機能ブロック図であり、図２は、本発明の顔面照合装置１の複合型カメラ３である。

本実施形態においては、図１に示すように、顔面照合装置１は、複合型カメラ３と処理ユニット２で構成されている。

複合型カメラ３は、顔面照合装置１を利用する利用者の顔面が撮影領域内に含まれるように配置されており、複合型カメラ３と撮影される利用者の距離が、ポインタによる立ち位置提示や、顔面照合装置１を車両に搭載することによる運転者の一義的な位置確定により予め決められている。図２に示すように、内部に分離手段たるダイクロックプリズム３ａが配され、このダイクロックプリズム３ａにより遠赤外線と可視光線に分離して、遠赤外線を熱分布画像用センサ３ｂに受光させ、可視光線を可視画像用センサ３ｃに受光させ、光電変換した電気信号を処理ユニット２に送っている。この複合型カメラ３は、ダイクロックプリズム３ａにより、同時かつ同撮影領域の画像を、遠赤外線による熱分布画像、および可視光線による可視画像として２種類同時に撮影している。

処理ユニット２は、図１に示すように、複合型カメラ３から電気信号を取り込む画像取込み部１０と、取り込まれた画像から顔面領域を抽出する顔面領域抽出部４と、顔面領域から器官位置を特定する器官位置特定部５と、器官の特徴を精査して顔面の特徴点を取得する顔面特徴点取得部６と、顔面を照合する顔面照合部７と、予め登録されている顔面特徴点が記憶されているデータベース部８と、顔面が生体由来のものであるか否かを判定する生体判定部９として機能している。

処理ユニット２内の上記各機能のうち、画像取込み部１０と顔面領域抽出部４と器官位置特定部５は、専用回路により機能し、他の機能は、演算を行うＣＰＵ２ａと、処理プログラムが記録されているＲＯＭ２ｂと、画像が一時的に保存され、演算過程での処理結果を一時的に記憶するＲＡＭ２ｃと、データベース部８を記憶するハードディスク２ｄにより機能している。尚、画像取込み部１０と顔面領域抽出部４と器官位置特定部５を専用回路により機能すると、処理速度向上を図ることができるが、もちろん、これら機能を他の機能と同様にＣＰＵ２ａやＲＯＭ２ｂやＲＡＭ２ｃにより機能させることを妨げるものではない。

画像取込み部１０は、熱分布画像を取得する熱分布画像取得手段であるとともに、可視画像を取得する可視画像取得手段となる。複合型カメラ３から送られてくる、遠赤外線を受光して光電変換された熱分布画像の電気信号と、可視光線を受光して光電変換された可視画像の電気信号を区別して取り込んでいる。そして、熱分布画像の電気信号と可視画像の電気信号をそれぞれデコードして熱分布画像と可視画像を取得し、ＲＡＭ２ｃに記録する。

熱分布画像は、撮影領域内における各位置の熱放射強度が光電変換された電気信号を、所定の熱放射強度の分解能によって区分された変換値に変換されることにより取得され、撮影領域内における位置情報とその位置情報の熱放射強度に対応する変換値で構成されるデジタルデータとしてＲＡＭ２ｃに記録される。

ここで、身体のうち、顔面は、顔面の輪郭が約３０℃で、目や鼻や口等の器官は、身体の温度の中でも表面温度と比べて相対的に低温な３１℃〜３３℃で、相対的に高温な皮膚は、３４℃〜３５℃となっており、各温度帯には幅があるが、輪郭と器官と皮膚の温度差はほぼ一定となる。複合型カメラ３が捉えられる熱放射強度の許容範囲は決まっており、画像取込み部１０で行われる熱分布画像の取得における所定の熱放射強度の分解能は、顔面内の各温度帯を横断しないような分解能に定められている。これによって、画像取込み部１０は、この一定な温度差により、輪郭と器官と皮膚が発する熱の熱放射強度は異なる変換値に変換し、各温度帯の変換値の領域を明確に分けて熱分布画像を生成し取得している。

尚、上述の具体的な温度はモンゴロイドをケースとした一例である。人種の相違等により顔面の輪郭と器官と皮膚の温度帯には、ずれがあるので、このずれを考慮し顔面の輪郭と器官と皮膚の各温度帯が異なる変換値になるように、対象とする人種に合わせてもよい。また、顔面の輪郭と器官と皮膚の各温度帯における、すべての人種に共通する温度に基づいて、変換値を区分することができることはもちろんである。

また、図３〜図５に示すように、本実施形態においては説明の都合上、各変換値を、熱放射強度の分解能に対応した階調数でグレースケール化した各階調に見立てて、熱分布画像を白黒明暗画像として説明する。図３は、画像取り込み部１０により生成されＲＡＭ２ｃに記憶された熱分布画像である。

顔面領域抽出部４は、熱分布画像をＲＡＭ２ｃから読み込んで、熱分布画像上で顔面領域を抽出している。顔面領域の抽出は、まず身体の体表面温度に相当する身体温度領域のうち、顔面領域に相当し得る面積を有する領域を選択する。さらに、図４に示すように、熱分布画像を２値化し、顔面領域に相当し得る身体温度領域と背景温度領域とを明確に分けて、その境界を輪郭として、顔面領域を抽出する。

器官位置特定部５は、顔面領域抽出部４が読み込んだ熱分布画像と、顔面領域抽出部４にて抽出された顔面領域を受け継いで、熱分布画像上で顔面領域に存在する器官の位置を特定している。器官位置の特定は、図５に示すように、まず、身体温度領域の中でも「相対的に低温である３１℃〜３３℃の温度帯に相当する熱放射強度の変換値」と、「相対的に高温である３４℃〜３５℃の温度帯に相当する熱放射強度の変換値」とを境として、顔面領域内を２値化し、顔面領域内における器官が存在する領域と器官以外の領域に明確にわける。次に、相対的に低温を示す領域、すなわち器官の存在する領域を選択して器官点を配置し、各器官点の相対位置関係を結んでグラフ化して器官位置ファインダ１１を作成することにより特定される。

器官位置ファインダ１１は、予めデータベース部８等に記憶され、器官位置に合わせて補正されていく標準化されたテンプレートのようなものとは異なり、器官位置特定部５により、この熱分布画像上で器官位置特定時に一から作成されるものである。器官位置ファインダ１１は、顔面領域の中で相対的に低温である３１℃〜３３℃を示す領域に器官点を配置して、それぞれの器官点を結んだものであり、器官点の相対位置関係が表される。この領域は、身体特性上、目や鼻や口等の器官の領域であるから、器官点は、目や鼻や口等の器官に相当する領域に配置される点となり、器官位置ファインダ１１は、器官位置を示すように作成されたファインダとなる。

このような器官位置ファインダ１１は、すなわち、従来のような予め用意されていた平均的な既存のテンプレートファインダとは異なるものである。既存のテンプレートファインダは、カメラにより撮影された顔面の器官位置を表すものではないが、この器官位置ファインダ１１は、熱分布画像上で器官位置に合わせて一から作成されることにより、器官位置を極めて高い精度で表したものである。

顔面特徴点取得部６は、可視画像と、器官位置特定部５により作成された器官位置ファインダ１１を読み込んで、可視画像上で顔面の特徴点を取得する顔面特徴点取得手段として機能する。顔面の特徴点の取得は、図６に示すように、可視画像上で、器官位置ファインダ１１により示される器官位置とその周辺に限定してガボールウェーブレット変換により特徴点を生成し、器官位置ファインダ１１を特徴点に合わせて局所補正してこの特徴点の相対位置関係をグラフ化することで図７に示す顔面特徴点グラフ１２を作成することにより取得している。

すなわち、既存のテンプレートファインダが器官位置を表すものではないので可視画像全体に渡ってガボールウェーブレット変換を施す必要があったが、顔面特徴点取得部６は、器官位置ファインダ１１によって、器官位置とその周辺に限定して特徴点化すればよいものとなる。

この顔面特徴点グラフ１２は、撮影された利用者の顔面の特徴点を示すグラフとなる。グラフ化については、本実施形態において、器官位置ファインダ１１の器官点を特徴点の一つとし、更に特徴点を足し込み、可視画像上の特徴点と合わせて、特徴点位置の局所変化をさせることにより作成している。

従来の既存のテンプレートファインダは、平均的な顔面を模したグラフであるので、撮影された顔面の器官位置を表すものではない。したがって、顔面の特徴点の取得を行うために、可視画像上の特徴点に合わせて局所変化させるのに多くの補正時間が必要となった。しかし、この顔面特徴点取得部６は、可視画像上の特徴点と器官位置ファインダの器官位置が類似しているので局所変化の補正が少なくてすみ、短時間で容易に顔面特徴点を取得する。

もちろん、器官位置ファインダ１１とは別のテンプレートを使用して、そのテンプレートの特徴点位置の局所変化を行わせることを妨げるものではない。

データベース部８は、予め利用者が自身の顔面の特徴を表した顔面特徴点グラフ１２を登録しておき、顔面特徴点グラフ１２を登録顔面特徴点グラフとして記憶している。データベース部８への登録は、図示しないタッチパネル式ディスプレイやリモコン、更にはＬＥＤにより利用者を誘導して、利用者を顔面を含めて複合型カメラ３にて撮影し、顔面領域抽出部４、器官位置特定部５、顔面特徴点取得部６を機能させることにより登録する。データベース部８へは、同じ利用者によって一つ以上登録することができ、利用者の正面顔のみならず、多少左右上下方向に顔を向けることにより登録されるグラフや、日中や夜間といった明るさを異ならせて登録されたグラフとして複数登録することができ、また同じ利用者の顔のバリエーションとして対応付けて登録することもできる。この登録された顔面特徴点グラフ１２は、登録顔面特徴点グラフとして、照合の際に呼び出される。

顔面照合部７は、取得した顔面特徴点と予め登録されている顔面特徴点とを照合するもので、顔面特徴点を照合する顔面特徴点照合手段となる。顔面特徴点取得部６により作成された顔面特徴点グラフ１２を読み込んで、データベース部８に予め登録されている登録顔面特徴点グラフと照合し、一致する登録顔面特徴点グラフが存在するかどうかを判断している。

生体判定部９は、器官位置特定部５と顔面特徴点取得部６を監視し、器官が特定されたか、また特徴点が取得されたか、により顔面が生体由来であるか否かを判断しており、生体由来でないと判断すると、顔面照合装置１が行っている処理を中止させる。

このように、顔面照合装置は、複合型カメラ３により熱分布画像と可視画像を撮影し、処理ユニット２を機能させることにより利用者の顔面を照合している。以下、図８に基づき、この顔面照合装置の動作を説明する。図８は、本発明の顔面照合装置の動作フロー図である。

まず、複合型カメラ３により利用者の顔面が撮影領域内に含まれるように利用者を撮影する。複合型カメラ３は、この撮影に際し、ダイクロックプリズム３ａによりカメラを通過する遠赤外線と可視光線を分離して、それぞれを、熱分布画像用センサ３ｂと可視画像用センサ３ｃに受光させる。熱分布画像用センサ３ｂでは、撮影領域内の遠赤外線がその熱放射強度に基づき光電変換される。各センサからは、同時かつ同撮影領域の熱分布画像と可視画像が電気信号として出力される（ステップ１００）。

複合型カメラ３より出力された熱分布画像と可視画像の電気信号は、処理ユニット２に入力され、画像取込み部１０により取り込まれる。取り込まれた信号は、画像取込み部１０によりデコードされ、熱分布画像と可視画像が別々にＲＡＭ２ｃ内の記憶領域に保存される（ステップ１０１）。熱分布画像については、約３０℃の温度帯に相当する熱放射強度と３１℃〜３３℃の温度帯に相当する熱放射強度と３４℃〜３５℃に相当する熱放射強度がそれぞれ別の変換値に変換されつつ、所定の熱放射強度の分解能で撮影領域内の熱放射強度が量子化される。

以上の動作により、利用者の顔面を含む領域が、同時かつ同撮影領域の熱分布画像と可視画像として生成されたことになる。

次に、顔面領域抽出部４により、ＲＡＭ２ｃから熱分布画像が読み込まれる（ステップ１０２）。熱分布画像が読み込まれると、まず、顔面領域抽出部４は、熱分布画像から身体温度領域に相当する変換値の分布領域をピックアップすることで、身体温度領域と認識できる温度帯の領域をピックアップし、これら領域のそれぞれと画像全体の面積に示す比率を算出し、この比率が一定以下であるか否かを判断する（ステップ１０３）。この判断結果は、生体判定部９に送信され、生体判定部９は、比率が一定以下でないならば（ステップ１０３Ｎｏ）、今後の処理において正常処理を行うことができないと判断して、顔面照合装置１の動作を中止させる（ステップ１１３）。一方、一定以下ならば、処理を継続させる（ステップ１０３Ｙｅｓ）。

処理が継続されると、図４に示すように、顔面領域抽出部４は、身体温度領域に相当する変換値の分布領域のすべてを選択し、さらに各領域の面積に基づき、選択された領域の中から、顔面領域に相当する身体温度領域を選択する。ここで、複合型カメラ３と撮影される利用者の距離は予め決められているから、その位置に利用者が存在する場合の顔面領域に相当する身体温度領域の面積はほぼ確定している。顔面領域抽出部４は、ＲＯＭ２ｂ内の面積情報によって、この面積情報と類似する面積の身体温度領域を顔面領域に相当する身体温度領域として選択するものである。次に、顔面領域抽出部４は、熱分布画像を身体温度領域に相当する変換値と背景温度領域に相当する変換値を境として２値化して、選択された身体温度領域と背景温度領域を境界として輪郭を描く（ステップ１０４）。

以上の動作により、熱分布画像内において、顔面と背景の温度差、および想定される画像全体に比する顔面の面積によって、顔面領域に輪郭が描かれ、顔面領域が抽出されたことになる。この抽出された顔面領域は、ＲＡＭ２ｃ内の記憶領域に一時的に保存される。

次に、器官位置特定部５により、ＲＡＭ２ｃから熱分布画像と、顔面領域抽出部４により抽出された顔面領域が読み込まれる。

器官位置特定部５は、図５に示すように、顔面領域内の相対的に低温である３１℃〜３３℃の温度帯に相当する熱放射強度の変換値と相対的に高温である３４℃〜３５℃の温度帯に相当する熱放射強度の変換値を境として、熱分布画像を２値化する。そして、顔面領域内で相対的に低温である３１℃〜３３℃の温度帯に相当する熱放射強度の変換値の分布領域を選択して器官点を配置し、器官点同士を結ぶことで、器官点同士の相対位置関係を内包した器官位置ファインダ１１を作成する（ステップ１０５）。

この動作により、利用者の顔面内の器官位置が特定されたこととなる。顔面内では、目や鼻や口等の器官は、顔面の皮膚に比べて相対的に低温であり、顔面領域を２値化した場合には、相対的に低温の領域に属する。この領域に配置した器官点は、目や鼻や口等の器官の場所に相当するものである。器官位置ファインダ１１は、器官点を相対位置関係で結ぶことによって、目や鼻や口等の器官位置を特定したファインダとなる。この器官位置ファインダ１１は、以後の処理のため、ＲＡＭ２ｃ内の記憶領域に一時的に記憶される。

ここで、本発明の顔面照合装置１は、撮影画像内に存在する顔面らしき領域が生体由来であるか否かを判断する（ステップ１０６）。この判断は、生体判定部９により行われ、生体判定部９は、器官位置特定部５が、器官位置ファインダ１１の作成に成功したか否かを監視している。

器官位置ファインダ１１の作成に成功した場合には、顔面領域内の熱分布が生体由来のものと判断し、顔面照合装置１の処理動作を継続させる（ステップ１０６Ｙｅｓ）。器官位置ファインダの作成に何度か試みて成功しなかった場合（ステップ１０６Ｎｏ，ステップ１１４Ｙｅｓ）には、顔面照合装置１の処理動作を中止させる（ステップ１１５）。

図９に示すように、例えば、顔面照合装置１の正当な利用者の顔面を模し、内部に人間と同程度の温度を発生させるヒータを備えたマネキンで器官位置ファインダ１１の作成を試みた場合、マネキンの顔面には、生体が器官を持つがゆえに発生する熱分布がなく、２値化した場合には、全体が統一された領域になってしまい、相対的に低い温度の階調の領域を選択して器官点を配置することができず、器官位置ファインダ１１の作成に成功しない。

以上の動作により、熱分布画像内での顔面領域抽出と器官位置特定がなされたこととなる。この一連の動作においては、顔面とその他の背景で、熱分布が際立っていることにより、熱分布画像を構成する各位置における各変換値を判断するだけで、顔面領域が抽出でき、顔面領域の抽出に要する時間は、可視画像全体にガボールウェーブレット変換を施し、探索グラフを大小させ向きを変えて何回も走査していた従来の技術と比べて、約５分の１から１０分の１に短縮できる。

次に、顔面特徴点取得部６により、ＲＡＭ２ｃから可視画像と器官位置特定部５が作成した器官位置ファインダ１１が読み込まれ（ステップ１０７）、距離分解能および明るさの分解能を得るため可視画像内において、特徴点の生成と顔面の特徴点が取得される。

まず、図６に示すように、可視画像と器官位置ファインダ１１を重ね合わせる。さらに、器官点と器官点同士の相対位置関係から、可視画像内における器官位置を確認し、その器官位置とその周辺に限って、ガボールウェーブレット変換を施し、器官位置とその周辺に限って、特徴点化する。ここで、器官位置とその周辺に限って特徴点化する際に要する時間は、可視画像全体に詳細なガボールウェーブレット変換を施していた従来の技術と比べて、全画像の面積と、器官およびその周辺の面積の比率分だけ時間を短縮できる。

可視画像内の顔面領域上に、器官位置とその周辺に限定して特徴点化すると、器官位置ファインダ１１の器官点を特徴点の一つとし、さらに器官位置ファインダ１１に詳細な特徴点を足しこむ。さらに器官位置とその周辺を特徴点化することで配置された画像内の特徴点に合わせて、器官位置ファインダ１１の特徴点を局所変化させ、顔面の特徴点を取得する（ステップ１０８）。

この局所変化は、器官位置ファインダ１１の特徴点と画像内の特徴点の相対位置関係で導き出される類似度を算出し、類似度が最も高くなるまで変化させる。

以上の動作により、局所変化させた器官位置ファインダ１１が、図７に示すような顔面の特徴点で表された顔面特徴点グラフ１２となり、撮影された利用者の顔面の特徴が顔面特徴点としてグラフ化され、顔面特徴点が取得されたこととなる。この顔面特徴点グラフ１２は、以後の処理のため一時的にＲＡＭ２ｃの記憶領域に記憶される。

ここで、本発明の顔面照合装置１は、撮影画像内に存在する顔面特徴点が生体由来であるか否かをさらに判断する（ステップ１０９）。この判断は、生体判定部９により行われ、生体判定部９は、顔面特徴点取得部６が、顔面特徴点グラフ１２の作成に成功したか否かを監視している。この生体判定により、撮影画像内に存在する顔面が生体であるか否かをさらに確実に判定することができる。

顔面特徴点グラフ１２の作成に成功した場合には、顔面の特徴が生体由来のものと判断し、顔面照合装置１の処理動作を継続させる（ステップ１０９Ｙｅｓ）。顔面特徴点グラフ１２の作成を何度か試みたが成功しなかった場合（ステップ１０９Ｎｏ，ステップ１１６Ｙｅｓ）には、顔面照合装置１の処理動作を中止させる（ステップ１１７）。

本実施形態においては、器官位置ファインダ１１の作成に成功し、顔面特徴点グラフ１２の作成に成功した場合に、生体であると判断し、初めて照合動作が行われることとなる。もちろん、生体であるとの判断は、器官位置ファインダ１１の作成に成功した場合にとどめてもよい。

次に、顔面照合部７により、顔面特徴点取得部６が作成した顔面特徴点グラフ１２がＲＡＭ２ｃから読み込まれ、またハードディスク２ｄ内のデータベース部８から登録顔面特徴点グラフが読み込まれ（ステップ１１０）、取得された顔面の特徴が、登録されている利用者の顔面の特徴と一致するか否かが照合される。

この照合は、登録されている顔面特徴点グラフ１２である登録顔面特徴点グラフと顔面特徴点グラフ１２の類似度を算出することにより行われる。登録顔面特徴点グラフは、少なくとも登録している利用者に一つ存在し、類似度がある閾値以下であると、次の登録顔面特徴点グラフを検出し、順次類似度を算出する（ステップ１１１）。尚、登録顔面特徴点グラフが同じ利用者によっていろいろなバリエーションで複数登録されている場合にも同様に順次類似度が算出される。利用者の正面顔のみならず、多少左右上下方向に顔を向けることにより登録されるグラフや、日中や夜間といった時間帯をずらして登録されたグラフとして複数登録されて順次類似度が算出されれば、認証率の向上を図ることができる。

この照合において、類似度が閾値以上である登録顔面特徴点グラフが検出される（ステップ１１１Ｙｅｓ）と、撮影した利用者の顔面が備える特徴点と登録されている顔面が備える特徴点が一致したとして、撮影した利用者が正当な利用者であることを認証する。類似度が閾値以上である登録顔面特徴点グラフが何度か照合を繰り返したが検出されなかった場合（ステップ１１１Ｎｏ，ステップ１１８Ｙｅｓ）には、撮影した利用者は正当な利用者ではないとして、処理を中止する（ステップ１１９）。

以上の動作により、個人照合が行われ、その後、認証された場合にあっては、利用者が所望する制御動作を行うよう働きかける（ステップ１１２）。

このように、本実施形態における顔面照合装置１は、顔面領域の抽出に要する時間が可視画像上行っていた従来の顔面領域の抽出の時間と比べて約５分の１〜１０分の１に短縮でき、また、顔面の特徴点の取得における従来の可視画像全体においてガボールウェーブレット変換を施していた時間と比べて、顔面の特徴点を取得するために要する時間を全画像の面積と、器官およびその周辺の面積の比率分だけ短縮できる。また、器官位置を特定することによる生体判定、また特徴点を取得することによる生体判定により、セキュリティの向上を図ることができるとともに、生体でないと判断することによる以後の無駄な処理の中止を行うことができる。

本実施形態に係る顔面照合装置の内部説明図である。 本実施形態に係る顔面照合装置のハードウェア説明図である。 本実施形態に係る熱分布画像を示す図である。 本実施形態に係る顔面領域抽出の説明図である。 本実施形態に係る器官位置特定の説明図である。 本実施形態に係る顔面特徴点取得の説明図である。 本実施形態に係る取得された顔面特徴点の説明図である。 本実施形態に係る顔面照合装置の動作フロー図である。 本実施形態に係る顔面照合装置にマネキンを照合させようとした場合の説明図である。

符号の説明

１ 顔面照合装置
２ 処理ユニット
２ａ ＣＰＵ
２ｂ ＲＯＭ
２ｃ ＲＡＭ
２ｄ ハードディスク
３ 複合型カメラ
３ａ ダイクロックプリズム
３ｂ 熱分布画像用センサ
３ｃ 可視画像用センサ
４ 顔面抽出部
５ 器官位置特定部
６ 顔面特徴点取得部
７ 顔面照合部
８ データベース部
９ 生体判定部
１０ 画像取込み部
１１ 器官位置ファインダ
１２ 顔面特徴点グラフ

Claims (8)

1. カメラにより撮影された顔面の特徴点と予め登録されている顔面の特徴点とを照合する顔面照合装置であって、
   顔面を含む撮影領域内の熱分布から熱分布画像を取得する熱分布画像取得手段と、
   上記熱分布画像と同時かつ同領域を撮影した可視画像を取得する可視画像取得手段と、
   上記熱分布画像取得手段により取得された熱分布画像上で顔面領域を抽出する顔面領域抽出手段と、
   上記顔面領域抽出手段により抽出された熱分布画像上の顔面領域に対応する可視画像上の領域に対して特徴点を生成して、顔面の特徴点の取得を行う顔面特徴点取得手段と、
   上記顔面特徴点取得手段により取得された顔面の特徴点と予め登録されている顔面の特徴点とを照合する顔面特徴点照合手段と、
   を備えること、
   を特徴とする顔面照合装置。
2. 上記顔面領域抽出手段は、
   熱分布画像上の顔面領域に相当する身体温度領域を選択し、かつ身体温度領域と背景温度領域の境界を輪郭化することによって、顔面領域を抽出すること、
   を特徴とする請求項１に記載の顔面照合装置。
3. 上記顔面照合装置は、
   上記顔面領域抽出手段により抽出された熱分布画像上の顔面領域内で器官位置を特定する器官位置特定手段を更に備え、
   上記顔面特徴点取得手段は、
   上記器官位置特定手段で特定された熱分布画像上の顔面領域内の器官位置に対応する位置とその周辺に対して特徴点を生成して、顔面の特徴点の取得を行うこと、
   を特徴とする請求項１に記載の顔面照合装置。
4. 上記器官位置特定手段は、
   熱分布画像上の顔面領域内で、器官位置上に配置される器官点を結んだ器官位置ファインダを作成することにより、器官位置を特定すること、
   を特徴とする請求項３に記載の顔面照合装置。
5. 上記顔面照合装置は、
   撮影領域内の顔面が生体由来であるか否かを判断する生体判定部を更に備え、
   上記生体判定部は、上記顔面特徴点取得部が特徴点の生成に成功した場合には、撮影領域内の顔面が生体由来であると判断し、生成できなかった場合には、撮影領域内の顔面が生体由来ではないと判断すること、
   を特徴とする請求項１に記載の顔面照合装置。
6. 上記顔面照合装置は、
   撮影領域内の顔面が生体由来であるか否かを判断する生体判定部を更に備え、
   上記生体判定部は、上記器官位置特定手段が器官位置を特定できた場合には、撮影領域内の顔面が生体由来であると判断し、特定できなかった場合には、撮影領域内の顔面が生体由来ではないと判断すること、
   を特徴とする請求項３に記載の顔面照合装置。
7. 上記カメラは、
   遠赤外線と可視光線を分離する分離手段と、
   上記分離手段により分離された遠赤外線を受光する熱分布画像用センサと、
   上記分離手段により分離された可視光線を受光する可視画像用センサと、
   を備え、
   熱分布画像と可視画像とが同時かつ同領域で撮影されること、
   を特徴とする請求項１に記載の顔面照合装置。
8. 利用者の顔面の特徴点と予め登録されている顔面の特徴点とを照合する顔面照合方法であって、
   利用者の顔面を含んだ領域の熱分布画像を取得するとともに、この熱分布画像の取得と同時かつ同領域の可視画像を取得し、
   取得された熱分布画像上で顔面領域を抽出し、
   熱分布画像上の顔面領域内で器官位置を特定するとともに、器官位置を特定できた場合には、領域に含まれている顔面が生体由来であると判断し、
   領域に含まれている顔面が生体由来であると判断した場合には、特定された器官位置に基づき、可視画像から顔面の特徴点を取得し、
   取得された顔面の特徴点と予め登録されている顔面の特徴点とを照合すること、
   を特徴とする顔面照合方法。

Images