JP2009026230A - パターン認識システム及び認識方法 - Google Patents

Abstract

【課題】受け入れるべき人の顔だけでなく、排除するべき人の顔についても、顔の特徴を登録し、認識の対象となる顔を受け入れるべき人の顔だけでなく、排除すべき人の顔とも比較することにより、認識率の高いパターン認識システムおよび顔認識方法を提供することを目的とする。
【解決手段】顔を撮像する撮像部と、撮像部が撮像した撮像データから顔の特徴を抽出して、顔の特徴を要素とする特徴領域を作成する特徴領域作成部と、特徴領域を登録する特徴領域登録部と、特徴領域を比較して認識対象が受け入れるべき人の顔か否かを判断する判断部と、を備えたパターン認識システムにおいて、受け入れるべき人の顔の特徴領域を登録するのに加えて、排除すべき人の顔の特徴領域をも登録しておき、認識時には、認識対象の特徴領域を、登録対象特徴領域だけではなくダミー対象特徴領域とも比較することにより、認識対象が受け入れるべき人の顔か否かを判断する。
【選択図】図１

Description

本発明は、物または音声等のパターンを認識するパターン認識システムと認識方法に関する。

近年、建物の入退館管理システムにおいて、入館を許可すべき人か、排除すべき人かという判断を、指紋による個人認識や、パスワードによる個人識別をするといった認識技術が普及しつつある。このような認識技術をさらに発展させて、人間が他人を認識する場合と同様に、入退館管理システムが人を顔により認識することができれば入退館管理システムの利便性が向上する。また、個人を顔により認識する技術を、ロボットに応用すれば、ロボットの機能が飛躍的に高まり、ロボットに受付業務をさせたり、高度な癒しロボットを実現することが可能となる。

人の顔を認識するシステムに、人の顔をＣＣＤカメラ等で撮像し、撮像データに基いて、顔の特徴を抽出して、人の顔の特徴を、種々の特徴を要素とする多次元の特徴空間における特徴領域として固有化し、この特徴領域を比較することにより、受け入れるべき人の顔を認識するという認識システムがある。このような認識システムにおいては、予め、受け入れるべき人の顔の特徴領域を登録対象特徴領域として登録しておき、認識時には、認識対象の人の顔を撮像し、その撮像データから認識対象特徴領域を作成して、認識対象特徴領域を、予め登録されている登録対象者特徴領域と比較して、顔の同一性を判断している。

このような従来の顔認識システムにおいては、認識対象の顔を、受け入れるべき人の顔と比較して判断しているものが大半である。

特開平８−２４９４５３

このような従来の顔認識システムにおいて、人の顔は髪型、表情によって、変化するので、同一人物を撮像して、作成した特徴領域であっても、撮像した時の状況によって異なるので、同一性の判断にある程度のマージンを持たせている。

しかし、他人であっても、本人と顔が非常に似ている人も存在しており、そのような場合には、このマージンの中に入ってしまい、所謂他人を受け入れてしまうという問題が発生する
他方、このマージンを狭くし過ぎると、本人であっても、他人として排除してしまうという問題が生じる。

言い換えれば、この同一性の判断におけるマージンを規定する基準となる閾値を大きくすれば、他人を本人と誤って受け入れてしまう確率（他人受け入れ率）が大きくなり、逆に、他人受け入れ率を小さくするために、閾値を小さくすると本人であっても、本人ではないと排除してしまう確率（本人排除率）が大きくなってしまう。この他人受け入れ率、本人排除率、閾値の間の関係について、図に基づいて説明する。

図２は閾値と、他人受け入れ率と、本人排除率との関係を示すグラフである。
図２において、２０３の縦軸は発生確率を示し、２０４の横軸は閾値を示す。２０１は本人排除率を示す線であり、閾値がゼロに近づくに従って、本人排除率２０１は１に近づき、本人であっても排除してしまうこととなる。２０２は他人受け入れ率を示す線であり、閾値を大きくすると、他人受け入れ率２０２は１に近づき、他人を本人として受け入れてしまう。また２０５は本人排除率２０１と他人受け入れ率２０２が同じ値となるポイント（イコールエラーレート）である。

閾値を大きくすると本人排除率２０１はゼロに近づくが、他人受け入れ率２０２が１に近づいてしまうという問題が発生する。逆に、閾値を小さくすると他人受け入れ率２０２はゼロに近づくが、本人排除率２０１が１に近づいてしまうという問題が発生する。すなわち、本人排除率２０１と他人受け入れ率２０２とは一方を良くすると、必ず、他方が悪くなるという相反する関係にある。

したがって、適切な値の閾値を選んで、本人排除率２０１と他人受け入れ率２０２との調和を図る必要がある。そのため、図２の他人受け入れ率を示す線２０２と本人排除率を示す線２０１が交わるポイントであるイコールエラーレートに対応する閾値が重要な意味をもつ。イコールエラーレートは本人排除率であるとともに他人受け入れ率であるので、このイコールエラーレートを小さくすることにより、本人排除率と他人受け入れ率の双方を小さくでき、認識率の良いパターン認識システムを実現できることとなる。

ここで、発明者は、認識対象の顔を受け入れるべき顔だけでなく、排除すべき顔とも積極的に比較し、排除すべき顔の情報をも判断材料とすることにより、できる限り本人を排除することなく、他人を受け入れてしまう確率を小さくできると考えた。

そこで、本発明は、受け入れるべきである対象の情報だけでなく、排除すべき対象の情報を積極的に使用して、判断材料とすることにより、本人排除率と他人受け入れ率の双方が小さく、認識率の高いパターン認識システムおよび認識方法を提供することを目的とする。

請求項１に記載の発明は、認識対象が、特定の対象をメンバーとするグループ（以下「特定グループ」ともいう）に属するか否かを判断するパターン認識システムであって、
対象を観測する観測部と、
前記観測部が観測した観測データから前記対象の特徴を抽出して、特徴空間における前記対象に固有な特徴領域を作成する特徴領域作成部と、
前記特徴領域を格納する特徴領域格納部と、
前記認識対象が前記特定グループに属するか否かを判断する判断部と、を備えて、
登録時には、前記特定グループのメンバーである前記特定の対象（以下「登録対象」ともいう）を観測し、作成した特徴領域（以下「登録対象特徴領域」ともいう）と、前記特定グループに属さない対象（以下「ダミー対象」ともいう）を観測して作成した特徴領域（以下「ダミー対象特徴領域」ともいう）と、を登録しておき、
認識時には、前記認識対象を観測し、前記認識対象の前記特徴領域（以下「認識対象特徴領域」ともいう）を作成し、前記認識対象特徴領域を前記特徴領域格納部内の前記各登録対象特徴領域と比較することに加えて、前記各ダミー対象特徴領域とも比較して、前記認識対象が前記特定グループに属するか否かを判断することにより判断精度を向上させることを特徴とする。

請求項２に記載の発明は、請求項１に記載のパターン認識システムに係り、
前記認識時に、前記認識対象特徴領域と、前記各登録特徴領域と、を比較して、前記認識対象と前記各登録対象との類似度（以下「登録対象類似度」ともいう）を求めることに加えて、前記認識対象の特徴領域を前記各ダミー対象特徴領域とも比較して、前記認識対象と前記各ダミー対象との類似度（以下「ダミー対象類似度」ともいう）を、求めて、前記登録対象類似度の中で最も類似度が高いもの（以下「登録対象最高類似度」ともいう）の類似度が、前記ダミー対象類似度の中で最も類似度が高いもの（以下「ダミー対象最高類似度」ともいう）の類似度より低い場合には、前記認識対象は前記特定グループには属さないと判断し、前記登録対象最高類似度が前記ダミー対象最高類似度より高い場合には、前記認識対象は前記特定グループに属すると判断することを特徴とする。

認識対象が登録対象とダミー対象のどちらに、より類似しているかということに判断の基準を置いたものである。

請求項３に記載の発明は、請求項１に記載のパターン認識システムに係り、
前記判断部は、前記認識時に前記認識対象の特徴領域と、前記各登録特徴領域と、を比較して、前記認識対象と前記各登録対象との前記各登録対象類似度を求めて、前記登録対象類似度の中で最も類似度が高い登録対象最高類似度を所定の類似度閾値と比較して、前記登録対象最高類似度が前記所定の類似度閾値より低い場合には、前記認識対象は前記特定グループに属さないと判断し、前記登録対象最高類似度が前記所定の類似度閾値より高い場合には、さらに前記認識対象の特徴領域を前記各ダミー対象特徴領域と比較して、前記認識対象と前記各ダミー対象とのダミー対象類似度を求めて、前記ダミー対象類似度の中で最も類似度が高いダミー対象最高類似度を前記登録対象最高類似度と比較し、前記登録対象最高類似度が前記ダミー対象最高類似度より低い場合には、前記認識対象は前記特定グループに属さないと判断し、前記登録対象最高類似度が前記ダミー対象最高類似度より高い場合に、前記認識対象は前記特定グループに属すると判断することを特徴とする。

認識対象が登録対象に所定の水準よりよく類似しており、さらに、ダミー対象よりも登録対象に、より類似している場合にのみ、受け入れることとし、他人受け入れ率を小さくするものである。

請求項４に記載の発明は、請求項１乃至３のいずれかに記載のパターン認識システムに係り、
前記登録時における前記登録対象特徴領域の作成については、一つの前記登録対象について、複数の観測データを作成し、前記複数の観測データを統合した一つの特徴領域を作成することを特徴とする。

登録対象について、複数の画像を撮って、特徴領域を作成することにより、本人排除率を改善するものである。

請求項５に記載の発明は、請求項１乃至４のいずれかに記載のパターン認識システムに係り、
前記登録時における前記ダミー対象特徴領域の作成については、一つの前記ダミー対象について、複数の観測データを作成し、前記複数の観測データを統合した一つの特徴領域を作成することを特徴とする。

ダミー対象について、複数の画像を撮って、特徴領域を作成することにより、他人受け入れ率を改善するものである。

請求項６に記載の発明は、請求項１乃至５のいずれかに記載のパターン認識システムに係り、
前記登録対象類似度は前記認識対象特徴領域の中心点と前記登録対象特徴領域の中心点との間の距離に基づいて、距離が短いほど類似度が高いと判断し、
前記ダミー対象類似度は前記認識対象特徴領域の中心点と前記ダミー対象特徴領域の中心点との間の距離に基づいて、距離が短いほど類似度が高いと判断することを特徴とする。

類似度の判断を、それぞれの特徴領域の中心点の間の距離に基づくことにより、判断基準を簡易にしたものである。

請求項７に記載の発明は、請求項１乃至６のいずれかに記載のパターン認識システムに係り、
前記対象は人間の顔であることを特徴とする。

マンションの入退館管理を顔によって管理できれば、便利で快適だからである。

請求項８に記載の発明は、認識対象が、特定の対象をメンバーとする特定グループに属するか否かを判断するパターン認識方法であって、
対象を観測する観測工程と、
前記観測工程で観測した観測データから前記対象の特徴を抽出する特徴抽出工程と、
前記特徴抽出工程で抽出した前記対象の特徴を要素とする特徴領域を作成する特徴領域作成工程と、
前記特徴領域を格納する特徴領域格納工程と、
前記認識対象が前記特定グループに属するか否かを判断する判断工程と、を有して、
登録時に、予め、前記特定グループのメンバーである特定の対象を観測して作成した登録対象特徴領域と、前記特定グループに属さない前記ダミー対象を観測して作成した前記ダミー対象特徴領域と、を登録しておき、
認識時に、前記認識対象を観測し、作成した前記認識対象の特徴領域を前記特徴領域格納部内の前記各登録対象特徴領域と比較することに加えて、前記各ダミー対象特徴領域とも比較することにより前記認識対象が前記特定グループに属するか否かの判断精度を向上させることを特徴とする。

請求項９に記載の発明は、請求項８に記載のパターン認識方法に係り、
前記判断工程は、前記認識対象特徴領域と、前記各登録特徴領域と、を比較して、前記認識対象特徴領域と前記各登録特徴領域との前記登録対象類似度を求めることに加えて、前記認識対象特徴領域を前記各ダミー対象特徴領域とも比較して、前記認識対象特徴領域と前記各ダミー対象特徴領域との前記ダミー対象類似度を、求めて、前記登録対象最高類似度が、前記ダミー対象最高類似度より低い場合には、前記認識対象は前記特定グループには属さないと判断し、前記登録対象最高類似度が、前記ダミー対象最高類似度より高い場合には、前記認識対象は前記特定グループに属すると判断することを特徴とする。

認識対象が登録対象とダミー対象のどちらに、より類似しているかということに判断の基準を置いたものである。

請求項１０に記載の発明は、請求項８に記載のパターン認識方法に係り、
前記判断工程は、前記認識対象特徴領域と、前記各登録特徴領域と、を比較して、前記認識対象特徴領域と前記各登録特徴領域との前記登録対象類似度を求めて、前記登録対象最高類似度を所定の類似度閾値と比較して、前記登録対象最高類似度が前記所定の類似度閾値より低い場合には、前記認識対象は前記特定グループに属さないと判断し、前記登録対象最高類似度が前記所定の類似度閾値より高い場合には、さらに前記認識対象の特徴領域を前記各ダミー対象特徴領域と比較して、前記認識対象と前記各ダミー対象とのダミー対象類似度を求めて、前記ダミー対象類似度の中で最も類似度が高いダミー対象最高類似度を前記登録対象最高類似度と比較し、前記登録対象最高類似度が前記ダミー対象最高類似度より低い場合には、前記認識対象は前記特定グループに属さないと判断し、前記登録対象最高類似度が前記ダミー対象最高類似度より高い場合に、前記認識対象は前記特定グループに属すると判断することを特徴とする。

認識対象が登録対象に所定の水準よりよく類似しており、さらに、ダミー対象よりも登録対象に、より類似している場合にのみ、受け入れることとし、他人受け入れ率を小さくするものである。

請求項１１に記載の発明は、請求項８乃至１０のいずれかに記載のパターン認識方法に係り、
前記登録時における前記登録対象特徴領域の作成については、一つの前記登録対象について、複数の観測データを作成し、前記複数の観測データを統合した一つの特徴領域を作成することを特徴とする。

登録対象について、複数の画像を撮って、特徴領域を作成することにより、本人排除率を改善するものである。

請求項１２に記載の発明は、請求項８乃至１１のいずれかに記載のパターン認識方法に係り、
前記登録時における前記ダミー対象特徴領域の作成については、一つの前記ダミー対象について、複数の観測データを作成し、前記複数の観測データを統合した一つの特徴領域を作成することを特徴とする。

ダミー対象について、複数の画像を撮って、特徴領域を作成することにより、他人受け入れ率を改善するものである。

請求項１３に記載の発明は、請求項８乃至１２のいずれかに記載のパターン認識方法に係り、
前記登録対象類似度は前記認識対象特徴領域の中心点と前記登録対象特徴領域の中心点との間の距離に基づいて、距離が短いほど類似度が高いと判断し、
前記ダミー対象類似度は前記認識対象特徴領域の中心点と前記ダミー対象特徴領域の中心点との間の距離に基づいて、距離が短いほど類似度が高いと判断することを特徴とする。

類似度の判断を、それぞれの特徴領域の中心点の間の距離に基づくことにより、判断基準を簡易にしたものである。

請求項１４に記載の発明は、請求項８乃至１３のいずれかに記載のパターン認識方法に係り、
前記対象は人間の顔であることを特徴とする。

マンションの入退館管理を顔によって管理できれば、便利で快適だからである。

本発明に係る、パターン認識システムまたは認識方法によれば、本人排除率と他人受け入れ率の双方を改善し、パターン認識システムまたは認識方法の認識率を向上させることができる。その結果、例えば、建物の入退館管理システム等において、本人確認を指紋、暗証番号によるのではなく、より利便性の高い顔によっておこなうことが可能となる。また、ロボットに顔による判断能力を与えることが可能となり、癒しロボットを実現できる。
なお、本発明の認識対象は人間に限定されるものではなく、パターン認識の対象となり得るすべての対象に利用できる。

以下、図を参照しつつ、発明を実施するための最良の形態につき説明する。なお、本発明に係るパターン認識システムおよびパターン認識方法における認識の対象は、パターン認識を適用できるすべての事物が対象であり、目で観測できる対象に限定されず、音声、電気信号のように、何らかの方法で観測し得る対象のすべてが認識の対象となる。しかし、以下の説明においては、理解を容易にするために、認識の対象が人間の顔である場合について説明する。また、認識の対象が撮像できる人間の顔であるので、以下の説明における観測部とは、より詳しく言えば、撮像部である。

最初に、人の顔の特徴を特徴空間における特徴領域として固有化し、特徴空間における該特徴領域を比較することにより顔の同一性を判断するという考え方について、簡単に説明する。

図３は、認識対象の顔が、登録対象の顔と同一であるか否かという判断を、特徴空間におけるそれぞれの特徴領域同士を比較することによって判断するという方法およびシステムの基本的な考え方を示すブロック図である。
図３において、１６１乃至１６３は、登録対象の顔の画像である。１８１は、認識の対象となる顔の画像である。３０１は顔の特徴を要素とする多次元特徴空間である。３６１は画像１６１の顔の特徴から作成された登録対象特徴領域である。３８１は認識の対象となる顔の画像１８１の特徴から作成された認識対象特徴領域である。３０２は画像１６１と同一性を有すると判断する範囲である。Ｒは範囲３０２を示す円の半径である。Ｘは認識対象特徴領域３８１と登録対象特徴領域３６１との間の距離である。この距離には例えば、ユーグリッド距離を用いる。

画像１８１と画像１６１との間の同一性の判断の方法について説明する。まず、認識対象である画像１８１から認識対象特徴領域３８１を作成する。そして、認識対象特徴領域３８１を、予め登録されている登録対象特徴領域３６１と比較し、認識対象特徴領域３８１が範囲３０２の中に存在していれば、同一性があると判断する。例えば、認識対象特徴領域３８１と登録対象特徴領域３６１との間の距離Ｘを求めて、求められた距離Ｘが半径Ｒより小さければ、同一性があると判断する。この場合、Ｒは所謂閾値と考えることができる。

画像１８１と画像１６２または画像１６３との間の同一性の判断の方法についても同様に行う。

次に、本発明に係るパターン認識システムの構成について説明する。

図１は本発明の実施の形態に係るパターン認識システムの構成の概略を示すブロック図である。
図１において、１０１は観測部である。ただし、本実施の形態においては、認識対象が人間の顔であることより、観測部１０１は、より下位の概念でいえば撮像部ともいえ、例えばＣＣＤカメラにより構成する。１０３は顔の特徴を抽出し、特徴空間において、撮像した顔に固有な特徴を示す特徴領域を作成する特徴領域作成部である。顔の特徴とは、例えば、目、鼻、口、耳等の顔を構成する主要なパーツの形状情報および、これらパーツ相互間の配置情報である。１０４は特徴領域登録部であり、特徴領域作成部１０３が作成した特徴領域を特徴領域格納部１０９に登録し格納する。１０９は特徴領域格納部であり、パソコンの記憶装置等により構成される。１０５は判断部である。１０６は記憶装置に格納された登録対象特徴領域であり、パターン認識システムが判断の基準とする受け入れるべき人の顔（例えば入館を許可するべきマンションの住人の顔）の特徴領域である。１０７はダミー対象特徴領域であり、特定のグループに属していない人の顔(例えばマンションの住人以外の人であって、入館許可を与えたくない人の顔）の特徴から作成された特徴領域である。

次に、図１のパターン認識システムの各部の機能について、本システムがマンションの入退館管理システムに使用されて、入館者を判断する用途に使用される場合を想定して説明する。

ただし、本発明の実施の形態に係るパターン認識システムの用途はマンションの入退館管理システムに使用される場合に限定されるものではない。

観測部１０１は対象（入館しようとする人の顔）を観測する。観測部１０１は、より具体的には、観測部１０１は対象を撮像するものであり、ＣＣＤカメラ等により構成する。

特徴領域作成部１０３は観測部１０１が撮像し作成した撮像データから顔の特徴を示す特徴データを抽出し、抽出した特徴データに基づいて、特徴領域を作成する。該特徴領域は特徴空間において個々の顔の固有な特徴を定める領域である。特徴領域作成部１０３はパソコンとソフトウエアにより構成される。

特徴領域登録部１０４は特徴領域作成部１０３が作成した登録対象特徴領域１０６とダミー対象特徴領域１０７を特徴領域格納部１０９に格納する。特徴領域作成部１０４もパソコンとソフトウエアにより構成される。

判断部１０５は観測部１０１が撮像した撮像データに基いて特徴領域作成部１０３が作成した認識対象特徴領域１０８と、登録対象特徴領域１０６とを比較して、認識対象特徴領域１０８と、登録対象特徴領域１０６との間の類似度である登録対象類似度を求める。さらに、判断部１０５は認識対象特徴領域１０８と、ダミー対象特徴領域１０７とを比較して、認識対象特徴領域１０８と、登録対象特徴領域１０７との間の類似度であるダミー対象類似度を求める。そして、前記登録対象類似度とダミー対象類似度とを判断材料としながら撮像された認証対象である顔が特定の顔と同一性があるか否かを判断する。

判断部１０５もパソコンとソフトウエアにより構成される。

次に、本発明に係るパターン認識方法について、登録時と認識時に分け、図に基づいて詳細に説明する。本発明に係るパターン認識方法においては、認証対象について、判断をする前に、認証対象を比較する対象の特徴領域について、予め、登録しておく必要がある。

図８は、本発明に係るパターン認識方法において、認証対象を比較する対象となる登録特徴領域とダミー対象特徴領域について、予め、登録しておくという登録時の工程の概略を示すフローチャートである。

登録時には、最初に、比較の対象となる、特定のグループに属している対象、ここではマンションへの入館を許可すべき人の顔を撮像する（Ｓ８０１）。一般的にはマンションへの入館を許可すべき人は複数であるので、複数の人の顔を撮像する。

また、同一人物の顔について、髪形や、撮像条件を変化させて、撮像し、複数の画像を得る。人の顔は髪型、表情によって、変化するので、同一人物の画像を複数枚撮像して、同一性の判断にある程度の幅を持たせるためである。図に基づいて、説明する。

図４は同一人物であっても、表情により顔の画像が微妙に異なってる様子を示す説明図である。
図４において、４１１乃至４１４は同一人物甲についての画像である。４２１乃至４２４は別の同一人物乙についての画像である。４３１乃至４３４は別の同一人物丙についての画像である。このように、同一人物であっても顔の画像は主要な特徴については共通しているものの、画像としては、微妙に異なる。そこで、同一人物の顔について、顔の傾き、表情、撮影条件（光条件）の異なる代表的な画像を複数枚撮像し、複数の画像について特徴領域を作成して、登録対象特徴領域にバリエーションをつけて、登録しておけば、認識対象の顔を比較する時に、画像が１枚の場合よりも、認識対象の顔が撮像された状況に近接した登録対象特徴領域を比較の基準とすることができる。その結果パターン認識システムの認識率を改善することができる。図に基づいて説明する。

図７は同一人物について複数の画像を撮って、判断すれば、認識率を改善することが可能であることを説明するための説明図である。
図７において、７６１乃至７６４はすべて人物乙の顔である。７８１は認証対象の顔である。８６１は画像７６１から作成した特徴領域である。８８１は画像７８１を基に作成した特徴領域である。Ｘは特徴空間における距離である。８９１は画像７６１の顔と同一と判断される範囲である。同じ乙の顔であっても、表情と撮影条件等によって、共通点があるものの画像は微妙に異なり、同じ乙の複数の画像より作成される特徴空間は異なる。そこで、同じ人物について表情と、撮影条件の異なる顔を撮像して、特徴空間を作成して登録しておくことにより、同じ人物が、認証時に異なる表情、撮影条件等で撮像された場合においても、その認証時の条件に近い画像を基に作成された特徴空間と比較されれば、本人排除率が小さくなる。具体的な特徴空間の作成方法としては、画像７６１乃至７６４の各画像ごとに対応する特徴空間を作成して、認識時に、各画像に対応する特徴空間ごとに、比較してもよいし、画像７６１乃至７６４に対して一つの統合された特徴空間を作成して、登録しておき、認証時には、認証対象特徴領域をこの統合された一つの特徴領域と比較してもよい。ただし、同一人物について、１枚の画像だけを使用してもよい。

特徴領域は、撮像した画像から、人間の顔の特徴を抽出して作成する（Ｓ８０２）。この特徴領域とは、特徴空間において、該画像から抽出された特徴が占める領域である。また、特徴空間とは、顔の種々の特徴をそれぞれ一つの次元とする多次元ベクトル空間である。この特徴空間に関しては、公知であり、ここにおける特徴空間も公知の特徴空間と同様であるので、詳細な説明は省略する。

登録対象の顔については、前述したように、通常、複数枚の画像を撮って登録特徴領域を作成する。ただし、１枚であっても良い。
また、複数枚撮って特徴領域を作成する場合、画像毎に異なる複数の特徴領域を作成しても良いが、複数枚の画像に対して一つの統合された登録特徴領域を作成してもよい。

図４の、同一人物の顔について複数枚の画像を撮った場合を例として、複数枚の画像から一つの統合された特徴領域を作成した場合の類似度の判断方法について、図に基づいて説明する。

図５は同一人物の顔について複数枚の画像を撮って作成された一つの特徴領域と、該特徴領域に基づいて、認証対象の顔との類似度を測る原理を示す説明図である。
図５において、９６１乃至９６４は同一人物の顔の代表ベクトルである。ここで、代表ベクトルとは、各顔の特徴領域の中心を示すベクトルである。したがって、代表ベクトル９６１乃至９６４の周囲が、各画像の特徴領域である。また、Ｘ１は認識対象の特徴領域９８１と登録対象特徴領域９６１との間の特徴空間における距離である。Ｘ２は認識対象の特徴領域９８１と登録対象特徴領域９６２との間の特徴空間における距離である。Ｘ３は認識対象の特徴領域９８１と登録対象特徴領域９６３との間の特徴空間における距離である。Ｘ４は認識対象の特徴領域９８１と登録対象特徴領域９６４との間の特徴空間における距離である。ここでの距離としてはユーグリッド距離とするのが一般的である。類似度は距離Xの大きさに基づいて判断する。

この場合において、代表ベクトル９６１乃至９６４のように、同じ人物の顔である場合にはこの人物の顔の特徴領域はこれらの各特徴領域を総合的に連結して一つの特徴領域として把握してもよい。図５の５９１は同一人物の複数枚の画像から作成された一つの特徴領域を概念的に示すものである。

登録対象の特徴領域が作成された後には、パソコンの記憶装置等に登録し保管する（Ｓ８０３）。

登録対象特徴領域は、受け入れるべき対象（ここでは、マンションの住人の顔、その他マンションへ入館を受け入れるべき人の顔）のすべてについて作成し登録する。またその後の受け入れるべき対象の変更については適時管理する。

次に、登録時には、登録対象の顔について、登録特徴領域を作成して、登録するだけではなく、排除すべき対象、すなわち、特定のグループに属していない対象についても、ダミー対象特徴領域を作成して登録する（Ｓ８０４、Ｓ８０５、Ｓ８０６）。認識の対象が登録対象の顔に類似している場合には、受け入れるための判断材料とするのに対して、ダミー対象に類似している場合には、排除するための判断材料とするためである。そこで、排除すべき対象についてダミー対象特徴領域を作成し登録する。

ただし、通常は、登録対象の顔の数は有限であるのに対して、ダミー対象の顔の数は、対象が特定できない場合が多く、有限ではない。そこで、何らかの方法で選択された排除すべき対象について登録することとなる。

具体的には、登録対象の場合と同様に、マンションへの入館を排除すべき人の顔を撮像し、（Ｓ８０４）、ダミー特徴領域を作成し（Ｓ８０５）、パソコン等の記憶装置に保管し登録する（Ｓ８０６）。ダミー特徴領域についても、登録対象特徴領域を作成する場合と同様に、複数の画像を撮って、各画像毎の複数のダミー特徴領域、または統合された一つのダミー特徴領域を作成する。

次に、認証時に、認証対象を観測部で観測して認識する工程について説明する。
図９は、認識時に、認証対象を観測部で観測して認識する工程の概略を示すフローチャートである。

最初に、認証対象の顔を撮像して、顔の画像を得る（Ｓ９０１）。次に、顔の画像から特徴を抽出して、認証対象の顔の特徴領域を作成する（Ｓ９０２）。そして、認証対象特徴領域をパソコンの記憶装置等に登録保管されている登録対象特徴領域と比較する（Ｓ９０３）。通常は、登録対象特徴領域は複数登録されているので、すべての登録対象特徴領域と比較する。

次に、認証対象特徴領域をパソコンの記憶装置等に登録保管されているダミー対象特徴領域と比較する（Ｓ９０４）。通常は、ダミー対象特徴領域も複数登録されているので、すべてのダミー対象特徴領域と比較する。

次に、認証対象特徴領域と登録対象特徴領域との比較結果と、認証対象特徴領域とダミー対象特徴領域との比較結果を勘案して、認証対象の顔が特定のグループに属しているか否かを判断する（Ｓ９０５）。

ここで、認証対象特徴領域と登録対象特徴領域とを比較して、認証対象の顔と登録対象の顔の類似度を判断する方法について、説明する。

通常は、各登録対象の顔については、図４および図５に示されているように、各登録対象の顔について、それぞれ複数枚の画像を撮って一つの統合された特徴領域を作成し特徴領域格納部に登録されている。

したがって、ここでは登録特徴領域が、複数枚の画像を撮って作成された一つの統合された登録対象特徴領域である場合について、図５と図６を参照しながら説明する。

図５は同一人物の顔について複数枚の画像を撮って作成された一つの統合された登録対象特徴領域と、認証対象特徴領域を比較して、認証対象の顔と登録対象の顔の類似度を測る原理を示す説明図である。

図５において、９８１は認識対象の特徴領域である。９６１乃至９６４は一人の登録対象の人の顔についての代表ベクトルである。ここで、代表ベクトルとは、顔の特徴領域の中心を示すベクトルである。したがって、代表ベクトル９６１乃至９６４の周囲が、各画像の特徴領域である。この場合において、代表ベクトル９６１乃至９６４のように、同じ人物の顔である場合にはこの人物の顔の特徴領域はこれらの各特徴領域を総合的に連結して一つの統合された特徴領域として把握する。図５の５９１は同一人物の複数枚の画像から作成された一つの統合された特徴領域を概念的に示すものである。また、Ｘ１は認識対象の特徴領域９８１と登録対象特徴領域９６１との間の特徴空間における距離である。Ｘ２は認識対象の特徴領域９８１と登録対象特徴領域９６２との間の特徴空間における距離である。Ｘ３は認識対象の特徴領域９８１と登録対象特徴領域９６３との間の特徴空間における距離である。Ｘ４は認識対象の特徴領域９８１と登録対象特徴領域９６４との間の特徴空間における距離である。ここでの距離としてはユーグリッド距離とするのが一般的である。

認証対象の顔と登録対象の顔の類似度は、認識対象特徴領域９８１と登録対象特徴領域５９１との間の特徴空間における距離によって判断する。距離Ｘ１乃至距離Ｘ４の値によって判断する。

図６は距離Ｘ１乃至Ｘ４の値を示す棒グラフである。
図６において、Ｘ１は認識対象の特徴領域９８１と登録対象特徴領域９６１との間の特徴空間における距離である。Ｘ２は認識対象の特徴領域９８１と登録対象特徴領域９６２との間の特徴空間における距離である。Ｘ３は認識対象の特徴領域９８１と登録対象特徴領域９６３との間の特徴空間における距離である。Ｘ４は認識対象の特徴領域９８１と登録対象特徴領域９６４との間の特徴空間における距離である。Ｒは判断の基準とする閾値である。６０１は閾値Ｒを示す線である。具体的な比較方法としては、距離Ｘ１乃至Ｘ４の平均値、または最小距離等を閾値Ｒと比較して、判断する。ここで、距離Xの値が小さいほど類似度が高いと判断する。判断基準とする数値は４つの距離X１乃至X４の平均値を採用してもよいし、距離X１乃至X４の中の最小距離であるX２を採用してもよいし、その他の計算方法による数値を採用してもよい。

本発明に係るパターン認識装置および方法の特徴は、類似度を比較する方法にあるのではなく、認識の対象を、受け入れるべき登録対象と比較するだけではなく、排除すべきダミー対象とも比較する点にあり、比較する方法自体に特徴はなく、その比較方法自体には限定されないので、比較する具体的な方法はどのような方法であってもよい。

次に、この比較方法の具体的例について説明する。
図１０は認識対象特徴領域と、登録対象特徴領域と、ダミー対象特徴領域と、を比較する具体的例の工程を示すフローチャートである。

最初に、認識対象の顔を撮像した画像から作成した認識対象者特徴領域を登録されている登録対象特徴領域と比較し、認識対象者特徴領域が、どの程度登録対象特徴領域に似ているかを示す類似度を得る。通常、認識対象特徴領域は複数であるので、認識対象者特徴領域を順次、すべての登録対象特徴領域と比較して各類似度を得る。取得した類似度の中から類似度が最も高い登録対象最高類似度を特定する（Ｓ１０１）。

次に、この登録対象最高類似度を所定の類似度の閾値と比較する。
比較した結果、登録対象最高類似度が所定の類似度閾値より低い場合には認証対象を排除する（Ｓ１０２、ＮＯ）。この場合には、認証対象の顔がいずれかの登録対象の顔と類似している度合いが低く、認証対象の顔がいずれかの登録対象の顔と同一である確率が所定の高さに至っておらず、認証対象の顔は、受け入れるべき顔のいずれでもないと考えられるからである。

登録対象最高類似度を所定の類似度の閾値と比較した結果、登録対象最高類似度が所定の類似度閾値より高い場合には、さらに、認識対象者特徴領域を登録されているダミー対象特徴領域と比較し、認識対象者特徴領域が、どの程度ダミー対象特徴領域に似ているかを示す類似度を得る（Ｓ１０３）。通常、ダミー対象者特徴領域も複数であるので、認証対象者特徴領域を、順次すべてのダミー対象者特徴領域と比較して各類似度を得る。取得した、類似度の中から類似度が最も高いダミー対象最高類似度を特定する（Ｓ１０３）。

そして、登録対象最高類似度とダミー対象最高類似度と、を比較する（Ｓ１０４）。

比較の結果、登録対象最高類似度がダミー対象最高類似度より高い場合には、認証対象を受け入れる（Ｓ１０５、ＹＥＳ）。この場合には、登録対象最高類似度が所定の類似度閾値より高いことから、認証対象の顔がいずれかの登録対象の顔と類似している度合いは所定のレベルより高く、さらに、排除すべき、いずれかのダミー対象の顔と類似している度合いと比較しても、ダミー対象の顔の中には、登録対象の顔よりも、類似度が高い顔が存在ぜず、認証対象の顔がいずれかの登録対象の顔と同一である確率は絶対的な尺度においても、相対的な尺度においても高いと考えられるからである。

逆に、登録対象最高類似度がダミー対象最高類似度より低い場合には、認証対象を排除する（Ｓ１０５、ＮＯ）。この場合には、登録対象最高類似度が所定の類似度閾値より高いことから、認証対象の顔がいずれかの登録対象の顔と類似している度合いは所定のレベルより高いと考えられるが、登録対象最高類似度がダミー対象最高類似度より低いということは、ダミー対象の顔の中に登録対象の顔に、相対的に、より類似した顔が存在していることを意味し、その顔を受け入れてしまうと、排除すべき顔を受け入れてしまう恐れが高いからである。

このように、登録対象最高類似度を所定の類似度の閾値と比較した結果、登録対象最高類似度が所定の類似度閾値より高い場合に、直ちに、認証対象を受け入れるのではなく、登録対象最高類似度を、さらにダミー対象最高類似度と比較する理由は、認証対象の顔がいずれかの登録対象の顔と類似している度合いが、所定の類似度より高くても、認証対象の顔がいずれかのダミー対象の顔と類似している度合いのほうが高い場合には、認証対象の顔は登録対象のいずれかの顔と同一である確率よりも、ダミー対象のいずれかの顔と同一である確率のほうが高いと考えられるからである。

このように、認証対象の顔を、登録対象の顔だけではなく、ダミー対象の顔とも比較することにより、認証対象の顔がいずれかの登録対象との顔と類似している度合いが所定の度合いよりも高く、通常であれば、受け入れてしまうような場合であっても、認証対象の顔が、いずれかのダミー対象の顔と類似している度合いのほうが高い場合には、排除することによって、他人を誤って受け入れてしまう他人受け入れ率を小さくすることができ、パターン認識システムの認識率を向上させることができる。

本発明の実施の形態に係るパターン認識システムの構成の概略を示すブロック図である。 閾値と、他人受け入れ率と、本人排除率との相関関係を示すグラフである。 認識対象である顔が、予め登録されている登録対象である顔と同一であるか否かを、特徴領域に基づいて判断する原理を示すブロック図である。 同一人物についての、異なる表情の顔の画像である。 同一人物についてのバリエーションに係る複数の登録対象特徴領域と認識対象の特徴領域を比較する原理を説明するための説明図である。 距離Ｘ１乃至Ｘ４の値を示す棒グラフである。 同一人物について複数の画像を撮って、判断すれば、認識率を改善することが可能であることを説明するための説明図である。 本発明に係るパターン認識方法において、認証対象を比較する対象となる登録特徴領域とダミー対象特徴領域について、予め、登録しておくという登録時の工程の概略を示すフローチャートである。 認識時に、認証対象を観測部で観測して認識する工程の概略を示すフローチャートである。 認識対象特徴領域と、登録対象特徴領域と、ダミー対象特徴領域と、を比較する工程を示すフローチャートである。

符号の説明

１０１ 観測部
１０３ 特徴領域作成部
１０４ 特徴領域登録部
１０５ 判断部
１０６ 登録対象特徴領域
１０７ ダミー特徴領域
１０８ 認識対象特徴領域
１０９ 特徴領域格納部

Claims (14)

1. 認識対象が、特定の対象をメンバーとするグループ（以下「特定グループ」ともいう）に属するか否かを判断するパターン認識システムにおいて、
   前記パターン認識システムは、
   対象を観測する観測部と、
   前記観測部が観測した観測データから前記対象の特徴を抽出して、特徴空間における前記対象に固有な特徴領域を作成する特徴領域作成部と、
   前記特徴領域を格納する特徴領域格納部と、
   前記認識対象が前記特定グループに属するか否かを判断する判断部と、を備えて、
   登録時には、前記特定グループのメンバーである前記特定の対象（以下「登録対象」ともいう）を観測し、作成した特徴領域（以下「登録対象特徴領域」ともいう）と、前記特定グループに属さない対象（以下「ダミー対象」ともいう）を観測して作成した特徴領域（以下「ダミー対象特徴領域」ともいう）と、を登録しておき、
   認識時には、前記認識対象を観測し、前記認識対象の前記特徴領域（以下「認識対象特徴領域」ともいう）を作成し、前記認識対象特徴領域を前記特徴領域格納部内の前記各登録対象特徴領域と比較することに加えて、前記各ダミー対象特徴領域とも比較して、前記認識対象が前記特定グループに属するか否かを判断することにより判断精度を向上させることを特徴とするパターン認識システム。
2. 請求項１に記載のパターン認識システムにおいて、
   前記認識時に、前記認識対象特徴領域と、前記各登録特徴領域と、を比較して、前記認識対象と前記各登録対象との類似度（以下「登録対象類似度」ともいう）を求めることに加えて、前記認識対象の特徴領域を前記各ダミー対象特徴領域とも比較して、前記認識対象と前記各ダミー対象との類似度（以下「ダミー対象類似度」ともいう）を求めて、前記登録対象類似度の中で最も類似度が高いもの（以下「登録対象最高類似度」ともいう）の類似度が、前記ダミー対象類似度の中で最も類似度が高いもの（以下「ダミー対象最高類似度」ともいう）の類似度より低い場合には、前記認識対象は前記特定グループには属さないと判断し、前記登録対象最高類似度が前記ダミー対象最高類似度より高い場合には、前記認識対象は前記特定グループに属すると判断することを特徴とするパターン認識システム。
3. 請求項１に記載のパターン認識システムにおいて、
   前記判断部は、前記認識時に前記認識対象の特徴領域と、前記各登録特徴領域と、を比較して、前記認識対象と前記各登録対象との前記各登録対象類似度を求めて、前記登録対象類似度の中で最も類似度が高い登録対象最高類似度を所定の類似度閾値と比較して、前記登録対象最高類似度が前記所定の類似度閾値より低い場合には、前記認識対象は前記特定グループに属さないと判断し、前記登録対象最高類似度が前記所定の類似度閾値より高い場合には、さらに前記認識対象の特徴領域を前記各ダミー対象特徴領域と比較して、前記認識対象と前記各ダミー対象とのダミー対象類似度を求めて、前記ダミー対象類似度の中で最も類似度が高いダミー対象最高類似度を前記登録対象最高類似度と比較し、前記登録対象最高類似度が前記ダミー対象最高類似度より低い場合には、前記認識対象は前記特定グループに属さないと判断し、前記登録対象最高類似度が前記ダミー対象最高類似度より高い場合に、前記認識対象は前記特定グループに属すると判断することを特徴とするパターン認識システム。
4. 請求項１乃至３のいずれかに記載のパターン認識システムにおいて、
   前記登録時における前記登録対象特徴領域の作成については、一つの前記登録対象について、複数の観測データを作成し、前記複数の観測データを統合した一つの特徴領域を作成することを特徴とするパターン認識システム。
5. 請求項１乃至４のいずれかに記載のパターン認識システムにおいて、
   前記登録時における前記ダミー対象特徴領域の作成については、一つの前記ダミー対象について、複数の観測データを作成し、前記複数の観測データを統合した一つの特徴領域を作成することを特徴とするパターン認識システム。
6. 請求項１乃至５のいずれかに記載のパターン認識システムにおいて、
   前記登録対象類似度は前記認識対象特徴領域の中心点と前記登録対象特徴領域の中心点との間の距離に基づいて、距離が短いほど類似度が高いと判断し、
   前記ダミー対象類似度は前記認識対象特徴領域の中心点と前記ダミー対象特徴領域の中心点との間の距離に基づいて、距離が短いほど類似度が高いと判断することを特徴とするパターン認識システム。
7. 請求項１乃至６のいずれかに記載のパターン認識システムにおいて、
   前記対象は人間の顔であることを特徴とするパターン認識システム。
8. 認識対象が、特定の対象をメンバーとする特定グループに属するか否かを判断するパターン認識方法において、
   前記パターン認識方法は、
   対象を観測する観測工程と、
   前記観測工程で観測した観測データから前記対象の特徴を抽出する特徴抽出工程と、
   前記特徴抽出工程で抽出した前記対象の特徴を要素とする特徴領域を作成する特徴領域作成工程と、
   前記特徴領域を格納する特徴領域格納工程と、
   前記認識対象が前記特定グループに属するか否かを判断する判断工程と、を有して、
   登録時に、予め、前記特定グループのメンバーである特定の対象を観測して作成した登録対象特徴領域と、前記特定グループに属さない前記ダミー対象を観測して作成した前記ダミー対象特徴領域と、を登録しておき、
   認識時に、前記認識対象を観測し、作成した前記認識対象の特徴領域を前記特徴領域格納部内の前記各登録対象特徴領域と比較することに加えて、前記各ダミー対象特徴領域とも比較することにより前記認識対象が前記特定グループに属するか否かの判断精度を向上させることを特徴とするパターン認識方法。
9. 請求項８に記載のパターン認識方法において、
   前記判断工程は、前記認識対象特徴領域と、前記各登録特徴領域と、を比較して、前記認識対象特徴領域と前記各登録特徴領域との前記登録対象類似度を求めることに加えて、前記認識対象特徴領域を前記各ダミー対象特徴領域とも比較して、前記認識対象特徴領域と前記各ダミー対象特徴領域との前記ダミー対象類似度を、求めて、前記登録対象最高類似度が、前記ダミー対象最高類似度より低い場合には、前記認識対象は前記特定グループには属さないと判断し、前記登録対象最高類似度が、前記ダミー対象最高類似度より高い場合には、前記認識対象は前記特定グループに属すると判断することを特徴とするパターン認識方法。
10. 請求項８に記載のパターン認識方法において、
    前記判断工程は、前記認識対象特徴領域と、前記各登録特徴領域と、を比較して、前記認識対象特徴領域と前記各登録特徴領域との前記登録対象類似度を求めて、前記登録対象最高類似度を所定の類似度閾値と比較して、前記登録対象最高類似度が前記所定の類似度閾値より低い場合には、前記認識対象は前記特定グループに属さないと判断し、前記登録対象最高類似度が前記所定の類似度閾値より高い場合には、さらに前記認識対象の特徴領域を前記各ダミー対象特徴領域と比較して、前記認識対象と前記各ダミー対象とのダミー対象類似度を求めて、前記ダミー対象類似度の中で最も類似度が高いダミー対象最高類似度を前記登録対象最高類似度と比較し、前記登録対象最高類似度が前記ダミー対象最高類似度より低い場合には、前記認識対象は前記特定グループに属さないと判断し、前記登録対象最高類似度が前記ダミー対象最高類似度より高い場合に、前記認識対象は前記特定グループに属すると判断することを特徴とするパターン認識方法。
11. 請求項８乃至１０のいずれかに記載のパターン認識方法において、
    前記登録時における前記登録対象特徴領域の作成については、一つの前記登録対象について、複数の観測データを作成し、前記複数の観測データを統合した一つの特徴領域を作成することを特徴とするパターン認識方法。
12. 請求項８乃至１１のいずれかに記載のパターン認識方法において、
    前記登録時における前記ダミー対象特徴領域の作成については、一つの前記ダミー対象について、複数の観測データを作成し、前記複数の観測データを統合した一つの特徴領域を作成することを特徴とするパターン認識方法。
13. 請求項８乃至１２のいずれかに記載のパターン認識方法において、
    前記登録対象類似度は前記認識対象特徴領域の中心点と前記登録対象特徴領域の中心点との間の距離に基づいて、距離が短いほど類似度が高いと判断し、
    前記ダミー対象類似度は前記認識対象特徴領域の中心点と前記ダミー対象特徴領域の中心点との間の距離に基づいて、距離が短いほど類似度が高いと判断することを特徴とするパターン認識方法。
14. 請求項８乃至１３のいずれかに記載のパターン認識方法において、
    前記対象は人間の顔であることを特徴とするパターン認識方法。
    

Images