JP2008257327A

JP2008257327A - 照合装置

Info

Publication number: JP2008257327A
Application number: JP2007096288A
Authority: JP
Inventors: Takayoshi Yamashita; 隆義山下; Atsushi Irie; 淳入江; Hoshiko Ito; 星子伊藤; Koichi Aida; 幸一相田
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2007-04-02
Filing date: 2007-04-02
Publication date: 2008-10-23

Abstract

【課題】簡易な構成で誤判定の少なくした照合精度の良い照合技術を提供する。
【解決手段】本発明に係る照合装置は、照合対象者の生体情報と記憶手段に格納されている生体情報を照合し、照合対象者と類似する登録者を選択する一次照合手段と、一次照合手段によって選択された登録者と照合対象者の生体情報を入れ替えて照合を行う二次照合手段と、一次照合と二次照合の照合結果に基づいて、照合対象者と一致する登録者を決定する判定手段と、を有する。判定手段は、二次照合の結果として照合対象者が選択された場合に、一次照合の結果が正しいと判定することが好適である。
【選択図】図４

Description

本発明は、生体情報を用いた照合技術に関する。

近年、顔画像や指紋等の生体情報を用いた、照合・認証技術が普及している。このような生体照合技術では、照合精度の向上が研究課題となっている。

一般に、セキュリティを確保しようとすると、誤って本人（登録者）が拒否されてしまう可能性が高まり利便性が犠牲となる。また、顔認証では照明条件などの環境変動によって、照合の精度が影響を受ける。そこで、個人認証の性能と利便性（快適性）のバランスや環境変動に対する強さなどを状況に応じて変更できるように、照合に関するパラメータを調整可能とする顔認証装置が知られている（特許文献１）。この技術では、利便性重視や安全重視といった複数のモードを切り替え可能とし、セキュリティ強度を調節することができる。

また、顔照合と音声照合の２つの照合方法を用意し、顔照合による一致度が十分に高い場合には照合成功とみなすが、顔照合による一致度がそれほど高くない場合には、音声による照合も行って本人確認を行う技術（マルチモーダル生体認証）も知られている（特許文献２）。このように２種類の照合方法を用いることで、セキュリティの向上や照合精度の向上が実現できる。
特開２００５−１４９５２７号公報特開２００４−１２６８１３号公報

しかしながら、上記のような従来技術の場合には、下記のような問題が生じていた。すなわち、照合に関するパラメータを調整可能とする場合は、取りうるパラメータの値をあらかじめカスタマイズする必要がある。このカスタマイズ作業によって最適な調整を探し出すのは困難であるとともに、このような調整によって照合精度を向上させることは難しい。また、複数の照合方法を利用する場合は、装置が大型化してしまうという問題点、また、コストアップにつながるという問題点がある。

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡易な方法でより精度の高い照合を行える技術を提供することにある。

上記目的を達成するために本発明に係る照合装置は、入力データを登録データと照合する一次照合と、入力データと一次照合の結果として選択される登録データを入れ替えて照合する二次照合とを行い、これら二回の照合結果に基づいて入力データと一致する登録者を決定することを特徴とする。

本発明に係る照合装置は、記憶手段と入力手段と一次照合手段と二次照合手段と判定手段とを有する。

記憶手段は、複数の登録者の生体情報を登録データとして格納する。生体情報には、顔、指紋、音声、静脈、網膜、虹彩などに係る情報（例えば、顔情報を用いる場合は、顔画像自体や、顔特徴量のように顔画像から取得された情報）が含まれる。入力手段は、照合
対象者の生体情報の入力を受け付ける。生体情報が顔や指紋などの場合には、入力手段はデジタルカメラ等の撮像装置として構成されることができる。また、生体情報が音声の場合にはマイク等の録音装置として構成されることができる。また、入力手段は、撮像装置や録音装置によって既に取得された生体情報を、ネットワークを介して、あるいは、各種の記憶媒体（ハードディスク装置、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、フロッピー（登録商標）ディスク、各種フラッシュメモリ等）を介して入力する構成とすることもできる。

一次照合手段は、入力された照合対象者の生体情報と、記憶手段に格納されている複数の登録者の生体情報とを照合し、照合対象者と類似する登録者を選択する。一次照合手段は、入力された照合対象者の生体情報から特徴量を取得し、登録者の生体情報の特徴量と比較して、その類似度を算出する構成とすることができる。

そして、二次照合手段は、一次照合手段によって選択された登録者と照合対象者の生体情報を入れ替えて照合を行う。つまり、二次照合手段は、記憶手段に格納されている登録データのうち、一次照合手段によって選択されなかった登録者の生体情報と入力された照合対象者の生体情報を登録データとして扱う。そして、二次照合手段は、一次照合手段によって選択された登録者の生体情報を入力データとして扱って照合を行う。

判定手段は、一次照合手段と二次照合手段の照合結果に基づいて、照合対象者と一致する登録者を決定する。

このような構成に依れば、入力データと登録データとを入れ替えた二次照合を行うことによって、一次照合の正しさを確認することができる。したがって、一次照合の結果が誤っている場合に、二次照合によって誤判定を検出できるので、照合の精度を向上させることができる。

ここで、一次照合手段は、照合結果として、照合対象者と最も類似する登録者を一人選択することができる。この場合、二次照合手段は、記憶手段に格納されている生体情報のうち、選択された登録者の生体情報と照合対象者の生体情報を入れ替えたものを登録データとし、選択された登録者の生体情報を入力データとして照合を行う。そして、判定手段は、二次照合手段の照合結果として、一次照合手段によって選択された登録者（入力データ）が照合対象者と一致すると判定された場合に、一次照合手段による照合結果が正しいと判定することができる。すなわち、判定手段は、一次照合手段によって選択された登録者が照合対象者と一致する登録者であると決定することができる。

なお、二次照合手段による照合は、入力された生体情報を有する人物が登録データに格納されている複数の登録者のうちどの登録者と一致するかを選択する１対Ｎ照合によって行われても良い。また、二次照合手段による照合は、照合対象者の生体情報を正解データとし、その他の登録者の生体情報を不正解データとして、入力された生体情報が正解データと一致するか否かを判定する１対１照合によって行われて良い。

また、一次照合手段は、照合結果として、所定の閾値以上の類似度を有する複数の登録者を選択することもできる。この場合、二次照合手段は、一次照合手段によって選択された複数の登録者のそれぞれについて、照合対象者の生体情報と入れ替えた照合を行う。そして、判定手段が、二次照合の結果に基づいて、選択された複数の登録者のうちいずれの登録者が照合対象者と一致するか決定することができる。すなわち、判定手段は、二次照合手段による照合において照合対象者との類似度が最も高いと判定された登録者を、照合対象者と一致する登録者と決定することができる。

なお、記憶手段に登録される生体情報が、登録者一人について一つである場合には、登
録者と照合対象者を入れ替えて行う二次照合は、登録者一人について一回だけ行えばよい。これに対して、記憶手段に登録される生体情報が、登録者一人について複数ある場合には、以下のようにして二次照合手段による照合および判定手段による判定を行えばよい。

まず、二次照合手段は、一次照合手段によって選択された登録者の複数の生体情報のうち、照合対象者の生体情報との類似度が最も高い生体情報のみを入れ替えて、二次照合を行うことができる。この場合、二次照合は一回だけ行われることになり、判定手段による判定は登録データが登録者一人あたり一つである場合と同様となる。

また、二次照合手段は、一次照合手段によって選択された登録者の複数の生体情報のそれぞれについて、照合対象者の生体情報と入れ替えた二次照合を行うこともできる。この場合、二次照合手段は、選択された登録者の生体情報の数だけ二次照合を行う。そして、判定手段は、二次照合手段によるこれら複数回の二次照合の結果のうち、最も類似度が高い照合結果（信頼度が高い照合結果とも言える）に基づいて、照合対象者と一致する登録者を決定することができる。たとえば、最も類似度の高い二次照合結果において、一次照合手段によって選択された登録者と照合対象者とが所定の閾値以上の類似度で類似すると判定された場合に、判定手段は、この登録者が照合対象者と一致する登録者であると決定することができる。

また、二次照合手段が、一次照合手段によって選択された登録者の複数の生体情報のそれぞれについて、照合対象者の生体情報と入れ替えた二次照合を行う場合に、判定手段は以下のようにして照合対象者と一致する登録者を決定することができる。すなわち、判定手段は、二次照合手段による複数回の二次照合の結果の平均に基づいて、照合対象者と一致する登録者を決定することができる。判定手段は、たとえば、二次照合結果における、一次照合手段によって選択された登録者と照合対象者との類似度の平均を取って、この類似度の平均値が所定の閾値以上であれば、一次照合手段によって選択された登録者を照合対象者と一致する登録者と決定することができる。

本発明において、一次照合手段と二次照合手段とは、同じ生体情報を利用して照合を行うが、同じ照合アルゴリズムを採用する必要はない。たとえば、一次照合手段は生体情報の全体に着目した照合を行い、二次照合手段は生体情報のうち一部の情報のみに着目した照合を行っても良い。また、この逆の構成を採用しても良い。

たとえば、生体情報が顔画像であり顔照合が行われる場合に、一次照合手段は顔全体の特徴に着目した照合を行い、二次照合手段は目や口や耳など顔の一部の器官のみに着目して照合を行うことができる。

また、記録手段に複数種類の生体情報（顔と音声など）を記憶しておき、一次照合手段と二次照合手段とが着目する生体情報を異ならせても良い。例えば、一次照合手段は顔に着目した照合を行い、二次照合手段は音声に着目した照合を行うことができる。

なお、本発明は、上記手段の少なくとも一部を有する照合装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む照合方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

たとえば、本発明の一態様に係る照合方法は、情報処理装置が、複数の登録者の生体情報を格納する記憶ステップと、照合対象者の生体情報の入力を受け付ける入力ステップと、前記照合対象者の生体情報と前記登録者の生体情報とを照合し、前記照合対象者と類似する登録者を選択する一次照合ステップと、一次照合ステップにおいて選択された登録者
と前記照合対象者の生体情報を入れ替えて照合を行う二次照合ステップと、前記一次照合ステップと前記二次照合ステップの照合結果に基づいて、前記照合対象者と一致する登録者を決定する判定ステップと、を実行することを特徴とする。

また、たとえば、本発明の一態様に係る照合プログラムは、情報処理装置に対して、複数の登録者の生体情報を格納する記憶ステップと、照合対象者の生体情報の入力を受け付ける入力ステップと、前記照合対象者の生体情報と前記登録者の生体情報とを照合し、前記照合対象者と類似する登録者を選択する一次照合ステップと、一次照合ステップにおいて選択された登録者と前記照合対象者の生体情報を入れ替えて照合を行う二次照合ステップと、前記一次照合ステップと前記二次照合ステップの照合結果に基づいて、前記照合対象者と一致する登録者を決定する判定ステップと、を実行させることを特徴とする。

本発明によれば、簡易な方法によってより精度の高い照合を行うことが可能となる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

（第１の実施形態）
第１の実施形態は、顔画像の入力を受け付けて、あらかじめ登録されている登録者のいずれと一致するかを判定する顔照合装置である。

＜構成＞
本実施形態に係る顔照合装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置などを備えるように構成される。この場合、プログラムがＣＰＵに実行されることによって、顔照合装置１が実現される。

図１は、顔照合装置１の機能ブロック例を示す図である。顔照合装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２、顔検出部３、登録画像ＤＢ４、一次照合部５、二次照合部６（画像管理部７、学習部８、照合部９を含む）と判定部１０として機能する。また、顔照合装置１の全部または一部は、専用のチップとして構成されても良い。

次に、顔照合装置１が含む各機能部について説明する。

画像入力部２は、照合対象者の顔画像のデータを顔照合装置１へ入力するためのインタフェースとして機能する。画像入力部２によって、顔画像のデータが顔照合装置１へ入力される。画像入力部２は、顔照合装置１へ顔画像のデータを入力するためのどのような既存の技術を用いて構成されても良い。

たとえば、ネットワーク（ＬＡＮやインターネットなど）を介して顔画像のデータが顔照合装置１へ入力されても良い。また、デジタルカメラやスキャナや記録装置（たとえばハードディスクドライブ）等から顔画像が顔照合装置１へ入力されても良い。また、顔照合装置１がデジタルカメラ等の撮像装置またはデジタルカメラ等の撮像装置を備える各種装置（携帯電話機やＰＤＡ（Personal Digital Assistant）等）の内部に含まれ、撮像された画像が顔照合装置１へと入力されても良い。

顔検出部３は、画像入力部２を介して入力された顔画像から、人の顔を検出する。顔検
出部３は、たとえば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、顔の構成要素（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部３は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部３は、その他既存のどのような技術が適用されることによって実現されても良い。

登録画像ＤＢ４はハードディスク装置などの補助記憶装置によって構成される。登録画像ＤＢ４には、登録者の顔画像が記憶されている。登録画像ＤＢ４には、登録者一人について一枚の登録画像を記憶することもできるし、複数枚の登録画像を記憶することができる。本実施形態においては、登録画像ＤＢ４には登録者一人について一枚の登録画像のみが記憶されているものとして説明する。

一次照合部５は、入力された照合対象者の顔画像と登録画像ＤＢ４内の登録画像とを照合し、照合対象者がどの登録者であるかを判定する。一次照合部５は、顔画像から特徴量を取得し登録画像と比較して、入力画像と各登録画像との照合スコア（類似度）を算出する。そして、一次照合部５は、この照合スコアに基づいて、照合対象者と一致する登録者（以下、該当者ともいう）を選択する（１対Ｎ照合）。本実施形態においては、照合スコアが最も高い登録者が、該当者として選択される。ただし、最も高い照合スコアが所定の閾値より小さい場合には、一次照合部５は、該当者無しと判断し、照合対象者は未登録者であると判定する。

二次照合部６は、照合精度を向上させるために一次照合部５とは異なる方式によって照合を行う。そして、判定部１０が、一次照合部５と二次照合部６の照合結果に基づいて、照合対象者がどの登録者と一致するかを判定する。

二次照合部６は、画像管理部７と学習部８と照合部９とを含む。画像管理部７は、画像入力部２を介して入力された照合対象者の入力画像と登録画像ＤＢ４内に記憶されている登録画像の管理を行う。画像管理部７は、登録画像ＤＢ４内に格納されている登録画像と入力画像とを取得する。そして、画像管理部７は、登録画像のうち一次照合部５によって選択された登録者（該当者）の登録画像を入力画像と入れ替えて、これらの顔画像を学習部８へ渡す。また、画像管理部７は、該当者の登録画像を照合部９へ入力データとして渡す。

学習部８は、上述したように画像管理部７から、登録画像ＤＢ４に記憶されている登録画像のうち該当者の登録画像が入力画像で置き換えられた顔画像の集合を渡される。学習部８は、これらの顔画像に基づいて学習処理を行う。学習方法は、ＰＣＡ、テンプレート、ＳＶＭなどの既存のどのような技術によって行われても良い。

照合部９は、画像管理部７から渡された該当者の顔画像を入力データとして、また、学習部８の学習結果を学習データセットとして顔照合を行う。照合部９は、入力データである該当者が、学習データセット内のどの人物を一致するかを判定する。具体的には、照合部９は、一次照合部５と同様に顔の特徴量を比較して照合スコアを算出し、照合スコアに基づいて該当者と一致する人物を判定する。

判定部１０は、一次照合部５と二次照合部６の照合結果に基づいて、画像入力部２を介して入力された照合対象者がどの登録者と一致するかを判定する。二次照合部６による照合結果として、該当者と照合対象者とが一致すると判定された場合は、判定部１０は一次
照合部５による照合結果が正しいと判定する。すなわち、この場合、判定部１０は照合対象者と該当者は一致すると判定する。また、二次照合部６による照合結果として、照合対象者以外の人物が該当者と一致するという結果が得られた場合は、判定部１０は一次照合部５による照合が正しくなかったと判定する。すなわち、判定部１０は照合対象者と一致する登録者は存在せず、照合対象者は未登録者であると判定する。

＜動作例＞
図２，３は、顔照合装置１の動作例を示すフローチャートである。図４は、顔照合装置１の照合方法を説明する図である。

まず、図２を参照して、一次照合部５による一次照合処理について説明する。図２は、主に一次照合部５による照合処理の流れを示すフローチャートである。顔照合装置１は、まず、画像入力部２を介して、照合対象者の顔画像（照合画像）の入力を受け付ける（Ｓ１０）。そして、顔検出部３が照合画像から顔を検出する（Ｓ１１）。次に、一次照合部５が、照合画像から検出された顔と登録画像ＤＢ４内の登録画像を照合して、照合対象者と最も類似度の高い登録者を選択する（Ｓ１２）。この類似度が所定の閾値より高いか否かが判定され（Ｓ１３）、閾値より高い場合（Ｓ１３−ＹＥＳ）はこの登録者が照合対象者と一致する登録者（該当者）であると判断される（Ｓ１４）。この照合結果が正しいか否かは、二次照合によって確認される。一方、類似度が所定の閾値以下である場合（Ｓ１３−ＮＯ）は、照合対象者は未登録者であると判定される。この場合、二次照合部６による確認をせずに、未登録者であると結論づける。

なお、ここでは図４に示すように、登録者としてＡ〜Ｄの４人が登録されており、一次照合の結果として、照合画像はＢさんであると判定されたものとする。

次に、図３，４を参照して、二次照合部６による二次照合処理について説明する。図３は、主に二次照合部６による照合処理の流れを示すフローチャートである。まず、画像管理部７が、照合画像と該当者（Ｂさん）の登録画像の入れ替えを行う（Ｓ２０）。そして、学習部８が、照合対象者とＡさん，Ｃさん，Ｄさんの合計４人の顔画像に基づいて学習処理を行う（Ｓ２１）。また、画像管理部７が、該当者（Ｂさん）の登録画像を、入力データとして照合部９へ入力する（Ｓ２２）。照合部９は、上記の学習結果を利用して１対Ｎ照合を行って、Ｂさんがどの人物と一致するかを判断する（Ｓ２３）。その後、判定部１０が、Ｂさんと一致する人物として照合対象者の顔画像（照合画像）が選択されたかを判定する（２４）。照合対象者の顔画像が選択された場合（Ｓ２４−ＹＥＳ）は、判定部１０は一次照合部５による照合が正しかったと判定する。逆に、照合対象者の顔画像が選択されなかった場合（Ｓ２４−ＮＯ）は、一次照合部５による照合が正しくなかったと判定し、照合対象者は未登録者であると判定する。なお、照合対象者の顔画像が選択されない場合には、他の登録者が選択された場合と該当者無しの場合が含まれる。

＜実施形態の作用・効果＞
本実施形態に係る顔照合装置１では、一次照合の結果を、照合画像と一次照合の結果の登録者の画像とを入れ替えて行う二次照合によって確認している。したがって、一次照合の結果が誤っている場合に、二次照合によって誤りを検出することができるので、誤判別を減少させることができる。したがって、顔照合装置１では照合精度が向上する。

また、本実施形態に係る顔照合装置１では、一次照合と二次照合のいずれにおいて、顔照合処理という同じ照合を行っている。したがって、複数の照合方式を併用したマルチモーダルな照合装置と比べて、構成を簡単なものとすることができ、装置の大型化やコストアップを避けることができる。

（第２の実施形態）
上記の第１の実施形態では、二次照合部６による照合処理として１対Ｎ照合が行ったが、本実施形態では１対１照合によって二次照合を行う。

図５は本実施形態における二次照合処理の流れを示すフローチャートであり、図６は二次照合処理を説明する図である。

一次照合については、第１の実施形態と同様に、入力された照合対象者と一致する登録者（該当者）を選択する。二次照合処理では、画像管理部７が照合画像と該当者の登録画像を入れ替える（Ｓ３０）。そして、学習部８が、照合画像を正解データとして、該当者以外の登録画像（図６の例では、Ａさん、Ｃさん、Ｄさんの３名の画像）を不正解データとして学習を行う。また、画像管理部７は、該当者（Ｂさん）の登録画像を、入力データとして照合部９へ入力する（Ｓ３２）。照合部９は、上記の学習結果を利用して、入力データである該当者の登録画像が、正解データに属するか否かの１対１照合を行う（Ｓ３３）。

判定部１０は、二次照合部６による照合結果として、該当者（Ｂさん）が正解データに属すると判定されたか否かを調べる（Ｓ３４）。該当者が正解データのクラスに属すると判定された場合（３４−ＹＥＳ）は、一次照合部５による照合が正しかったと判定する。逆に、該当者が不正解データのクラスの属すると判定された場合は（Ｓ３４−ＮＯ）、一次照合部５による照合は正しくなかったと判定し、照合対象者は未登録者であると判定する。

本実施形態に係る顔照合装置１においても、上記第１の実施形態と同様の効果を得ることができる。

（第３の実施形態）
上記の実施形態においては、一次照合処理および二次照合処理のいずれにおいても、顔全体の特徴量を取得して照合スコアを算出していた。これに対して本実施形態においては、一次照合処理と二次照合処理において、照合スコアを算出するアルゴリズムを異なるものとする。すなわち、一次照合処理と二次照合処理において、着目する顔の部位を異なるものとする。

たとえば、図７に示すように、一次照合においては顔全体に着目して照合スコアを算出するのに対して、二次照合においては目だけに着目して照合スコアを算出するように構成しても良い。また、たとえば、図８に示すように、一次照合においては顔全体に着目して照合スコアを算出するのに対して、二次照合においては口だけに着目して照合スコアを算出するように構成しても良い。このように、二次照合において、顔の一部の部位（目、鼻、口、耳などの器官、もしくはこれらの組み合わせやその位置関係など）のみに着目する照合アルゴリズムを採用することができる。また、一次照合において一部の器官に着目し、二次照合において顔全体に着目しても良い。また、一次照合において目のみに着目し、二次照合において口に着目するといったように、一次照合および二次照合のいずれにおいても顔の一部の器官に着目した照合を行っても良い。

顔の一部の器官のみに着目する場合、たとえば、マスクを着用している場合は、目を比較の対象として、隠れている口を照合に用いないことで照合精度を向上させることができる。また、サングラスを着用している場合には、口を比較の対象として、隠れている目を照合に用いないことで照合精度を向上させることができる。このように、顔の一部が隠されている顔画像に対して、顔全体と一部の器官（隠されていない）を対象とする２種類の照合を行うことで照合精度を向上させることができる。

なお、マスクやサングラスなどの着用はテンプレートマッチングなどの技術によって判別することができる。また、顔画像において一部の器官が隠れていることは、顔検出の差異に特徴点の位置関係を調べることによっても検出可能である。

本実施形態では、生体情報として顔に係る情報を用い、一次照合と二次照合とで着目する顔の器官を変えているが、他の生体情報を用いる場合も同様の構成を採用することができる。また、一次照合と二次照合とにおいて、異なる生体情報に着目して照合を行っても良い。

（第４の実施形態）
上記の実施形態の説明においては、登録画像ＤＢ４に各登録者について登録画像が一枚のみ格納されている場合を説明した。本実施形態では、登録画像ＤＢ４に各登録者について登録画像が複数枚（ｎ枚とする）格納されている場合について説明する。

一次照合部５が行う一次照合処理については上記の実施形態と同様であり、照合画像と最も類似度の高い登録者が該当者として選択される。

以下、図９を参照して本実施形態における二次照合部６が行う二次照合処理について説明する。図９は、二次照合処理の流れを示すフローチャートである。

まず、二次照合部６は、変数ｉに１を代入する（Ｓ４０）。次に、画像管理部７が、照合画像と該当者のｉ番目の登録画像を入れ替える（Ｓ４１）。そして、学習部８が、登録画像ＤＢ４内の登録画像のうち、該当者のｉ番目の登録画像を照合画像で置き換えた顔画像の集合を学習データとして学習処理を行う（Ｓ４２）。次に、画像管理部７が、該当者のｉ番目の登録画像を入力データとして照合部９へ渡す（Ｓ４３）。照合部９は、上記の学習結果を用いて、入力データである該当者のｉ番目の登録画像の照合を行う（Ｓ４４）。そして、照合部９は、該当者のｉ番目の登録画像と照合画像の類似度Ｓｉを算出する（Ｓ４５）。

次に、該当者の全ての画像について処理が終わったか判定する。すなわち、変数ｉがｎより小さいか否か判定する（Ｓ４６）。変数ｉがｎより小さい、すなわち、処理をしていない画像がある場合（Ｓ４６−ＹＥＳ）には、変数ｉをインクリメントして（Ｓ４７）、次の登録画像について上記の処理を繰り返す。

該当者のｎ枚の登録画像全てについて上記の処理が完了した場合（Ｓ４６−ＮＯ）は、類似度Ｓｉ（ｉ＝１〜ｎ）の最大値が、所定の閾値以上であるか判定する（Ｓ４８）。類似度Ｓｉの最大値が閾値以上である場合（Ｓ４８−ＹＥＳ）には、一次照合の結果が正しいと判定する。類似度Ｓｉの最大値が閾値より小さい場合（Ｓ４８−ＮＯ）には、一次照合の結果は誤りでありと判定し、照合対象者は未登録者であると判定する。

このような構成に依れば、登録画像ＤＢ４に各登録者に複数の顔画像が登録されている場合にも対応することができる。

なお、各登録者に複数の顔画像が登録されている場合に二次照合の方法は上記以外の方法を採用することができる。以下に、二次照合の他の例について説明する。

たとえば、ステップＳ４８において類似度Ｓｉの最大と閾値を比較するのではなく、Ｓｉの平均値と閾値とを比較する構成とすることができる。

また、たとえば、二次照合において入れ替える登録画像は、一次照合において類似度が高いと判定された所定枚数の登録画像のみとすることができる。たとえば、最も類似度が高いと判定された登録画像のみについて、照合画像と入れ替えて学習・照合処理を行う構成とすることができる。また、たとえば、類似度が高い方から所定枚数の登録画像について、照合画像と入れ替えて学習・照合処理を行う構成とすることができる。

（第５の実施形態）
上記実施形態においては、一次照合処理によって照合対象者と一致する登録者を一人選択し、二次照合処理によって一次照合が正しいか確認していた。これに対して本実施形態では、一照合処理によって照合対象者と一致する可能性が高い登録者を複数選び、二次照合処理によって絞り込むことを特徴とする。

図１０は、本実施形態における、一次照合部５による一次照合処理の流れを示すフローチャートである。顔照合装置１は、画像入力部２を介して、照合対象者の顔画像の入力を受け付ける（Ｓ５０）。そして、顔検出部３が、入力された顔画像から顔を検出する（Ｓ５１）。一次照合部５は、照合画像から検出された顔と登録画像ＤＢ４内の登録画像を照合し（Ｓ５２）、照合対象者との類似度が高い上位ｎ人の登録者を候補者として選択する（Ｓ５３）。ただし、一次照合部５は、類似度に閾値を設けて、閾値以下の類似度しか有さない登録者は候補者に含めないようにしても良い。この場合、候補者として選択される登録者がｎ人よりも少なくなる場合もある。また、最大の類似度から所定値以内の類似度を有する登録者を候補者とすることもできる。

次に、図１１を参照して二次照合処理について説明する。図１１は、二次照合部６による二次照合処理の流れを示すフローチャートである。まず、二次照合部６は変数ｉに１を代入する（Ｓ６０）。そして、画像管理部７が、照合画像とｉ番目の候補者の登録画像を入れ替える（Ｓ６１）。次に、学習部８が、入れ替えた後の顔画像を学習データとして学習処理を行う（Ｓ６２）。そして、画像管理部７が、ｉ番目の候補者の登録画像を入力データとして照合部９へ渡す（Ｓ６３）。照合部９は、上記の学習結果を用いて、入力データであるｉ番目の候補者の登録画像の照合を行う（Ｓ６４）。そして、照合部９は、ｉ番目の候補者の登録画像と照合画像の類似度Ｓｉを算出する（Ｓ６５）。

次に、全ての候補者について上記の処理が終わったか判定する。すなわち、変数ｉがｎより小さいか否か判定する（Ｓ６６）。変数ｉがｎより小さい、すなわち、処理をしていない候補者が存在する場合（Ｓ６６−ＹＥＳ）は、変数ｉをインクリメントして（Ｓ６７）、次の候補者について上記の処理を繰り返す。

ｎ人の候補者全てについて上記の処理が完了した場合（Ｓ６６−ＮＯ）は、判定部１０は、類似度Ｓｉが最大の候補者を照合画像と一致する登録者であると判定する（Ｓ６８）。

このような構成によれば、一次照合によって照合対象者と一致する登録者にある程度絞り込みをかけ、二次照合によって一致する登録者を決定するので、照合精度の向上が見込める。特に、一次照合の結果として、複数の登録者の類似度（照合スコア）がいずれも高かった場合に、二次照合処理によって確認を行うことで、誤判別を減少させることが可能となる。

（その他）
上記の説明では、顔照合装置に顔画像を入力する構成を採用したが、顔照合装置には照合に用いられる生体情報が入力されれば良い。したがって、照合に顔の特徴量を用いる場合には、顔照合装置に顔画像自体ではなく顔の特徴量が入力される構成を採用することも
できる。

また、上記の説明では、生体情報として顔画像を用いる顔照合装置について説明したが、本発明は顔照合のみに限定されるものではなく、顔画像以外にも、指紋、音声、静脈、網膜、虹彩またはそれらの特徴量などどのような生体情報を用いることができる。

また、一次照合と二次照合とで生体情報が同一である必要はない。例えば一次照合に顔画像を利用し、二次照合に音声を利用してもよい。

第１の実施形態に係る顔照合装置の機能ブロック例を示す図である。第１の実施形態における一次照合処理の動作例を示すフローチャートである。第１の実施形態における二次照合処理の動作例を示すフローチャートである。第１の実施形態における顔照合の方法を説明する概念図である。第２の実施形態における二次照合処理の動作例を示すフローチャートである。第２の実施形態における顔照合の方法を説明する概念図である。第３の実施形態における顔照合の方法を説明する概念図である。第３の実施形態における顔照合の方法を説明する概念図である。第４の実施形態における二次照合処理の動作例を示すフローチャートである。第５の実施形態における一次照合処理の動作例を示すフローチャートである。第５の実施形態における二次照合処理の動作例を示すフローチャートである。

符号の説明

１顔照合装置
２画像入力部
３顔検出部
４顔画像ＤＢ
５一次照合部
６二次照合部
７画像管理部
８学習部
９照合部
１０判定部

Claims

複数の登録者の生体情報を格納する記憶手段と、
照合対象者の生体情報の入力を受け付ける入力手段と、
前記照合対象者の生体情報と前記記憶手段に格納されている生体情報とを照合し、前記照合対象者と類似する登録者を選択する一次照合手段と、
一次照合手段によって選択された登録者と前記照合対象者の生体情報を入れ替えて照合を行う二次照合手段と、
前記一次照合手段と前記二次照合手段の照合結果に基づいて、前記照合対象者と一致する登録者を決定する判定手段と、
を有することを特徴とする照合装置。
前記一次照合手段は、照合対象者と最も類似する登録者を選択し、
前記判定手段は、前記二次照合手段の照合結果が前記照合対象者である場合に、前記一次照合手段によって選択された登録者を、前記照合対象者と一致する登録者として決定する
ことを特徴とする請求項１に記載の照合装置。
前記一次照合手段は、所定の閾値以上の類似度を有する複数の登録者を選択し、
前記二次照合手段は、前記一次照合手段によって選択された複数の登録者のそれぞれについて、前記照合対象者の生体情報と入れ替えた照合を行い、
前記判定手段は、前記二次照合手段による照合において前記照合対象者との類似度が最も高いと判定された登録者を、前記照合対象者と一致する登録者として決定する
ことを特徴とする請求項１に記載の照合装置。
前記二次照合手段による照合は、１対Ｎ照合であることを特徴とする請求項１〜３のいずれかに記載の照合装置。
前記二次照合手段による照合は、１対１照合であることを特徴とする請求項１〜３のいずれかに記載の照合装置。
前記記憶手段は、登録者一人あたりに生体情報を複数格納しており、
前記二次照合手段は、前記一次照合手段によって選択された登録者の複数の生体情報のうち、照合対象者の生体情報との類似度が最も高い生体情報のみを入れ替えて照合する
ことを特徴とする請求項１〜５のいずれかに記載の照合装置。
前記記憶手段は、登録者一人あたりに生体情報を複数格納しており、
前記二次照合手段は、前記一次照合手段によって選択された登録者の複数の生体情報のそれぞれについて、前記照合対象者の生体情報と入れ替えて照合し、
前記判定手段は、前記二次照合手段による最も類似度の高い照合結果に基づいて、前記照合対象者と一致する登録者を決定する
ことを特徴とする請求項１〜５のいずれかに記載の照合装置。
前記記憶手段は、登録者一人あたりに生体情報を複数格納しており、
前記二次照合手段は、前記一次照合手段によって選択された登録者の複数の生体情報のそれぞれについて、前記照合対象者の生体情報と入れ替えて照合し、
前記判定手段は、前記二次照合手段による複数の照合結果の平均に基づいて、前記照合対象者と一致する登録者を決定する
ことを特徴とする請求項１〜５のいずれかに記載の照合装置。
前記生体情報は顔画像であることを特徴とする請求項１〜８のいずれかに記載の照合装置。
前記一次照合手段は顔全体を対象として照合し、
前記二次照合手段は顔の一部の器官のみを対象として照合する
ことを特徴とする請求項９に記載の照合装置。
情報処理装置が、
複数の登録者の生体情報を格納する記憶ステップと、
照合対象者の生体情報の入力を受け付ける入力ステップと、
前記照合対象者の生体情報と前記登録者の生体情報とを照合し、前記照合対象者と類似する登録者を選択する一次照合ステップと、
一次照合ステップにおいて選択された登録者と前記照合対象者の生体情報を入れ替えて照合を行う二次照合ステップと、
前記一次照合ステップと前記二次照合ステップの照合結果に基づいて、前記照合対象者と一致する登録者を決定する判定ステップと、
を実行することを特徴とする照合方法。
情報処理装置に対して、
複数の登録者の生体情報を格納する記憶ステップと、
照合対象者の生体情報の入力を受け付ける入力ステップと、
前記照合対象者の生体情報と前記登録者の生体情報とを照合し、前記照合対象者と類似する登録者を選択する一次照合ステップと、
一次照合ステップにおいて選択された登録者と前記照合対象者の生体情報を入れ替えて照合を行う二次照合ステップと、
前記一次照合ステップと前記二次照合ステップの照合結果に基づいて、前記照合対象者と一致する登録者を決定する判定ステップと、
を実行させることを特徴とする照合プログラム。