JP2023074752A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】顔認識の精度を高く保ちつつ、処理コストの抑制を可能にする。【解決手段】情報処理装置は、第１、第２のゲート前の人物の顔をそれぞれ撮影した第１、第３の顔画像を取得し、また特定の人物について所定の媒体に用意された第２の顔画像を取得する。情報処理装置は、顔画像から第１の抽出処理で第１の特徴情報を抽出し、第１の抽出処理より処理量が少ない第２の抽出処理で第２の特徴情報を抽出する。そして情報処理装置は、第１の顔画像から抽出した第１の特徴情報と第２の顔画像から抽出した第１の特徴情報とを用いた第１の照合処理で、第１のゲート前の人物が特定の人物であると判定した場合に第１の顔画像から抽出した第２の特徴情報を保持し、第３の顔画像から抽出した第２の特徴情報と保持した第２の特徴情報とを用いて、第２のゲート前の人物が特定の人物であるかを判定する第２の照合処理を行う。【選択図】図１

Description

本発明は、人物認識を使用した入場管理等に適用可能な情報処理技術に関する。

特許文献１には、飛行機の搭乗手続きの際の個人特定を、顔認識によって行う技術が開示されている。また特許文献２には、顔検出処理や特徴量算出処理の際、ディープニューラルネットワークと呼ばれる多階層ニューラルネットワークがディープラーニングで学習されたニューラルネットワークを用いて、画像データから特徴量を算出する方法が開示されている。

特開２０２０－１１３３１１号公報 特開２０２０－０３０４８０号公報

顔認識における認識精度は特徴量算出処理の性能に寄るところが大きい。一般に顔認識精度と、特徴量算出処理等に用いられるニューラルネットワークの規模との間には相関があり、高い認識精度には、多くの場合、大規模なニューラルネットワークが必要となることが多い。そのため、認識精度を高めようとすると計算量は増え、処理コストは増大する。つまり、認識精度と処理コストとはトレードオフの関係にある。

そこで本発明は、顔認識の精度を高く保ちつつ、処理コストの抑制を可能にすることを目的とする。

本発明の情報処理装置は、第１のゲート前に来た人物の顔を撮影した第１の顔画像を取得する第１の取得手段と、特定の人物について所定の媒体に用意された第２の顔画像を取得する第２の取得手段と、前記第１のゲートとは異なる場所に配された第２のゲート前に来た人物の顔を撮影した第３の顔画像を取得する第３の取得手段と、顔画像から第１の抽出処理によって第１の特徴情報を抽出する第１の抽出手段と、顔画像から前記第１の抽出処理よりも処理量が少ない第２の抽出処理によって第２の特徴情報を抽出する第２の抽出手段と、顔画像から抽出された特徴情報を用いて人物の照合処理を行う照合手段と、を有し、前記照合手段は、前記第１の顔画像から前記第１の抽出手段が抽出した第１の特徴情報と、前記第２の顔画像から前記第１の抽出手段が抽出した第１の特徴情報とを用いて、前記第１のゲート前の人物が前記特定の人物であるかを判定する第１の照合処理を行い、前記第１の照合処理により前記特定の人物であると判定した場合に、前記第１の顔画像から前記第２の抽出手段が抽出した第２の特徴情報を保持し、前記第３の顔画像から前記第２の抽出手段が抽出した第２の特徴情報と、前記保持した第２の特徴情報とを用いて、前記第２のゲート前に来た人物が前記特定の人物であるかを判定する第２の照合処理を行うことを特徴とする。

本発明によれば、顔認識の精度を高く保ちつつ、処理コストの抑制が可能となる。

搭乗システムの概略的な構成例を示す図である。 搭乗システムにおける機能構成例を示すブロック図である。 顔器官検出の説明に用いる図である。 搭乗データベースに保存されるデータの例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 搭乗手続き時の流れを示すフローチャートである。 チェックイン時の処理フローチャートである。 保安検査における認識ゲート通過時の処理フローチャートである。 第１の実施形態における認識ゲート通過時の処理フローチャートである。 第２の実施形態における認識ゲート通過時の処理フローチャートである。 第３の実施形態における認識ゲート通過時の処理フローチャートである。

以下、本発明に係る実施形態を、図面を参照しながら説明する。以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成には同じ参照符号を付して説明する。

本実施形態では、空港、駅舎、小売店、あるいは銀行等の施設おいて、顔認識を用いた入退管理を行う情報処理システム、特にここでは、空港における搭乗システムへの適用例に挙げて説明する。また本実施形態では、顔認識による本人判定で用いられる顔検出処理や特徴情報の抽出処理等に、ディープニューラルネットワークと呼ばれる多階層のニューラルネットワークがディープラーニングを用いて学習されたニューラルネットワークを適用する例を挙げる。

＜第１の実施形態＞
図１は、空港に設けられる搭乗システムの概略的な構成例を示した図である。本実施形態では、搭乗手続きの一例として、人物Ａが空港でチェックインしてから、搭乗予定の飛行機に搭乗するまでの一連の手続きにおいて、顔認識を用いる例を挙げる。
搭乗システムは、例えば図１に示すように、チェックイン場のチェックイン機１１０、保安検査場の認識ゲート１２０ａ、および搭乗口の認識ゲート１２０ｂを有し、それらが顔認識処理等を行う情報処理装置１００に接続されている。また情報処理装置１００にはデータベース１４０が接続されている。

チェックイン機１１０は、出国等しようとしている人物Ａが空港に到着した際に、搭乗口、搭乗時刻、座席などを記載した搭乗券を発行するチェックイン処理を行う装置である。チェックイン機１１０は、例えば、カメラ（撮影装置）１１２、ディスプレイ１１５、所謂パスポートのようなＩＣ旅券の読み取り機１１１、およびゲート１１８を有している。なお、チェックイン機１１０は空港建物内に複数台設置されていることが多い。

読み取り機１１１は、ＩＣ旅券に設けられている所定の媒体であるＩＣチップに記録されている個人識別情報を読み取るＩＣ読み取り装置である。ＩＣ旅券は個人識別カードの機能を有しており、所定の媒体であるＩＣチップには、当該ＩＣ旅券を使用する人物（人物Ａとする）の個人識別情報として、顔画像、氏名、生年月日、国籍、性別、及び旅券番号などの情報が予め記録されているとする。

カメラ１１２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＮＭＯＳイメージセンサなどの撮像素子を含む撮像装置である。カメラ１１２は、ゲート前に来た人物、すなわちチェックイン機１１０の前に来ている人物Ａを撮影した画像データを生成する。なお、以下の説明では、記載を簡略にするため、画像データを適宜、画像とのみ表記する。本実施形態の場合、画像は顔認識処理に用いられるため、チェックイン機１１０のカメラ１１２にて取得される画像は主に顔を撮影した顔画像であるとする。

ディスプレイ１１５は、液晶ディスプレイ又は有機ＥＬディスプレイで構成されており、チェックイン処理の際に必要となる様々な情報を表示する。また、ディスプレイ１１５には例えばタッチパネルが設けられており、チェックインしようとしている人物等からの入力を取得可能となされている。

ゲート１１８は、開閉可能となされ、通常は閉じた状態になされている。ゲート１１８は、人物Ａがチェックイン可能な人物であるとのチェックイン結果が得られた場合に開くように駆動される。
チェックイン機１１０における詳細な構成および処理については後述する。

保安検査場は、チェックイン場を通過した人物Ａの手荷物検査などの保安検査を行う場所であり、認識ゲート１２０ａを有する。認識ゲート１２０ａは、カメラ（撮影装置）１２１ａ、ディスプレイ１２４ａ、およびゲート１１８ａを有している。なお、認識ゲート１２０ａは保安検査場に複数台設置されていることが多い。

カメラ１２１ａは、前述のカメラ１１２と同様の撮像装置である。カメラ１２１ａは、ゲート前に来た人物、つまり認識ゲート１２０ａを通過しようとしている人物Ａを撮影した画像を生成する。
ディスプレイ１１５ａは、前述のディスプレイ１１５と同様の表示装置であり、保安検査の処理の際に必要となる様々な情報を表示する。

ゲート１２７ａは、開閉可能となされ、通常は開いた状態になされている。ゲート１２７ａは、人物Ａに対する保安検査の結果、問題があると判定された場合に閉じるように駆動される。人物Ａに対する保安検査で問題があると判定される場合とは、その人物がチェックインした人物Ａではないと判定された場合や、手荷物検査時に不審物等を所持していると判断された場合などが想定される。
保安検査場の認識ゲート１２０ａにおける詳細な構成および処理については後述する。

搭乗口は、保安検査場を通過した人物Ａが最終的に飛行機に搭乗する際に通過する場所であり、認識ゲート１２０ｂを有する。認識ゲート１２０ｂは、認識ゲート１２０ａと同様のカメラ（撮影装置）１２１ｂ、ディスプレイ１２４ｂ、およびゲート１１８ｂを有している。なお、認識ゲート１２０Ｂは複数台設置されていることもある。

カメラ１２１ｂは、前述のカメラ１１２と同様の撮像装置である。カメラ１２１ｂは、ゲート前に来た人物、つまり認識ゲート１２０ｂを通過しようとしている人物Ａを撮影した画像を生成する。

搭乗口のゲート１１８ｂは、開閉可能となされ、通常は開いた状態になされている。ゲート１１８ｂは、人物Ａが飛行機に搭乗可能でないと判定された場合に閉じるように駆動される。人物Ａが飛行機に搭乗可能でないと判定される場合とは、その人物がチェックインした人物Ａではないと判定された場合や、人物Ａが登場すべき飛行機とは違う飛行機の搭乗口に来ている場合などが想定される。
搭乗口の認識ゲート１２０ｂにおける詳細な構成および処理については後述する。

データベース１４０は、当該空港において飛行機に搭乗する予定の人物に関する情報を保持する搭乗者データベースである。搭乗者データベースの詳細については後述する。

情報処理装置１００は、チェックイン機１１０、保安検査場の認識ゲート１２０ａ、および搭乗口の認識ゲート１２０ｂからそれぞれ送られてきた画像を用い、本実施形態に係る照合処理としての人物の顔認識および本人確認等の処理を行う。また、情報処理装置１００は、搭乗者（ここでは人物Ａ）に関する情報を管理する。詳細は後述するが、情報処理装置１００は、チェックイン機１１０が人物ＡのＩＣ旅券から取得した顔画像とチェックイン場のカメラ１１２で撮像した画像に写る顔の画像とを用いた顔認識処理を行う。そして情報処理装置１００は、ＩＣ旅券から取得した人物Ａの顔画像とカメラ１１２で撮像した顔画像とを用いた顔認識処理の結果を基に本人確認を行い、さらにその本人確認の結果に応じて当該チェックイン場のゲート１１８の開閉を制御する。同じく詳細は後述するが、情報処理装置１００は、チェックイン時に本人確認がとれた人物についてカメラ１１２で取得された顔画像と、保安検査場と搭乗口の各カメラ１２１ａ，１２１ｂでそれぞれ撮像した画像に写る顔画像とを用いた顔認識処理を行う。そして情報処理装置１００は、その顔認識処理による本人確認の結果を基に、保安検査場と搭乗口の各ゲート１２１ａ，１２１ｂの開閉を制御する。この情報処理装置１００における詳細な構成および顔認識や情報管理の処理については後述する。

図２は、本実施形態における搭乗システムの機能構成を示した図である。
本実施形態の搭乗システムは、チェックイン機１１０と、認識ゲート１２０と、サーバ装置１３０とを有する。サーバ装置１３０は、図１に示した情報処理装置１００およびデータベース１４０の機能を含む装置である。なおサーバ装置１３０は、データセンター、あるいはクラウド上などに設けられていてもよい。図２のチェックイン機１１０は図１に示したチェックイン機１１０であるが、空港にはチェックイン機が複数台備えられていることもあるため、図２ではそれら複数のチェックイン機１１０が重ねて描かれている。図１に示した保安検査場の認識ゲート１２０ａと搭乗口の認識ゲート１２０ｂとは構成上、同一であるため、図２では認識ゲート１２０として描いている。また保安検査場と搭乗口の認識ゲート１２０も空港内の複数個所に配されていることが多いため、図２ではそれら複数の認識ゲート１２０が重ねて描かれている。

チェックイン機１１０は、読み取り部２０１、撮影部２０２、制御部２０３、記憶部２０４、表示部２０５、入力部２０６、通信部２０７、ゲート２０８、駆動部２０９、およびバス２１０を備える。

読み取り部２０１は、図１に示したチェックイン機１１０の読み取り機１１１に対応した機能部であり、ＩＣ旅券のＩＣチップに記録されている情報（ＩＣ旅券を使用する人物の顔画像、氏名、生年月日、国籍、性別、及び旅券番号などの情報）を読み取る。
撮影部２０２は、図１に示したチェックイン機１１０のカメラ１１２に対応した機能部であり、チェックイン機１１０の前に立っている人物の顔を撮影した顔画像を取得する。

制御部２０３は、チェックイン機１１０の全体の動作制御を行い、また駆動部２０９を介してゲート２０８の開閉制御を行う。制御部２０３は、例えば、マイクロコンピュータ、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等により構成することができる。
記憶部２０４は、例えばＨＤＤ、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現され、画像データや各種の情報を記憶する。

表示部２０５は、図１に示したチェックイン機１１０のディスプレイ１１５に対応した機能部であり、前述したように液晶ディスプレイ又は有機ＥＬディスプレイで構成される。
入力部２０６は、人物Ａや空港職員等のユーザによる種々の操作を受け付けるためのユーザインタフェースである。入力部２０６は、表示部２０５のディスプレイと共にタッチパネルで構成されている。なお、入力部２０６は、キーボード、ボタン、スイッチ、及びこれらの組み合わせを含んでいてもよい。
通信部２０７は、所定の通信規格（例えばＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標））に準拠しており、外部機器との通信を行う回路を含む。

駆動部２０９はゲート２０８を開閉させるための駆動装置であり、制御部２０３からの指示に応じてゲート２０８を開閉駆動する。ゲート２０８は、図１に示したチェックイン機１１０のゲート１１８に相当する。ゲート２０８は、通常は閉じた状態となされており、駆動部２０９からの開閉駆動信号によって開閉する。制御部２０３は、後述するサーバ装置１３０によるチェックイン処理の結果に基づいて、駆動部２０９を介してゲート２０８の開閉を制御する。

バス２１０は、読み取り部２０１と、撮影部２０２と、制御部２０３と、記憶部２０４と、表示部２０５と、入力部２０６と、通信部２０７と、ゲート２０８と、駆動部２０９とを電気的に接続する信号線である。

認識ゲート１２０は、図１に示した保安検査場の認識ゲート１２０ａや搭乗口の認識ゲート１２０ｂに対応した機能部であり、構成上同一であるため、ここではそれらを区別せずに説明する。認識ゲート１２０は、撮影部２２１、制御部２２２、記憶部２２３、表示部２２４、入力部２２５、通信部２２６、ゲート２２７、駆動部２２８、センサ２３０、およびバス２２９を備える。

撮影部２２１は、チェックイン機１１０の撮影部２０２と同様の撮像素子を含むカメラである。撮影部２２１は、認識ゲート１２０を通過しようとする人物を撮影して画像を生成する。なお、撮影部２２１が生成する画像データには撮影年月日を示す情報が含まれる。

制御部２２２は、認識ゲート１２０の全体の動作制御を行い、また駆動部２２８を介してゲート２２７の開閉制御を行う。制御部２２２は、チェックイン機１１０の制御部２０３と同様に、マイクロコンピュータ、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等により構成することができる。

記憶部２２３は、チェックイン機１１０の記憶部２０４と同様に、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現され、画像データや各種の情報を記憶する。なお、認識ゲート１２０が搭乗口に設置される認識ゲート１２０ｂである場合、記憶部２２３には搭乗口に接続する飛行機の便名をも記憶している。この情報は、空港保安員や航空会社の作業員が入力部２０６を介して更新、もしくはそれら空港保安員や作業員が通信端末を介して更新可能である。

表示部２２４は、図１に示したディスプレイ１２４ａや１２４ｂに対応した機能部であり、チェックイン機１１０の表示部２０５と同様に液晶ディスプレイ又は有機ＥＬディスプレイで構成される。
入力部２２５は、チェックイン機１１０の入力部２０６と同様に、人物Ａや空港職員等のユーザによる種々の操作を受け付けるためのユーザインタフェースである。入力部２２５は、表示部２２４のディスプレイと共にタッチパネルを構成しているとするが、キーボード、ボタン、スイッチ、及びこれらの組み合わせを含んでいてもよい。
通信部２２６は、チェックイン機１１０の通信部２０７と同様に、所定の通信規格に準拠して外部機器との通信を行う回路を含む。

駆動部２２８はゲート２２７を開閉させるための駆動装置であり、制御部２２２からの指示に応じてゲート２２７を開閉駆動する。ゲート２０８は、図１に示した保安検査場のゲート１２７ａや搭乗口のゲート１２７ｂに相当する。認識ゲート１２０のゲート２２７は、通常は開いた状態となされており、駆動部２２８からの開閉駆動信号によって開閉する。制御部２２２は、後述するサーバ装置１３０による顔認識処理の結果に基づいて、駆動部２２８を介してゲート２２７の開閉を制御する。
センサ２３０は、ゲート２２７の近傍に人物が存在するか否かを検出するセンサである。

バス２２９は、撮影部２２１と、制御部２２２と、記憶部２２３と、表示部２２４と、入力部２２５と、通信部２２６と、ゲート２２７と、駆動部２２８と、を電気的に接続する信号線である。

サーバ装置１３０は、少なくとも図１に示した情報処理装置１００の機能を含む装置であり、チェックイン機１１０や認識ゲート１２０から送られてきた画像を用いて顔認識および本人確認のための処理を行い、また搭乗者（人物Ａ）に関する情報を管理する。図１に示したデータベース１４０は、サーバ装置１３０に接続された外部記憶装置やネットワーク上に用意されていてもよいが、本実施形態ではサーバ装置１３０がデータベース１４０の機能をも有しているとする。サーバ装置１３０は、図２に示すように、入力部２４１、通信部２４２、記憶部２４３、制御部２４４、顔認識部２４５、およびバス２４８を備えている。

入力部２４１は、空港保安員や航空会社の作業員などのうち、予め操作権限が与えられた特定のユーザによる種々の操作を受け付けるためのユーザインタフェースである。入力部２４１は、ディスプレイと共にタッチパネルを構成していてもよいし、キーボード、ボタン、スイッチ、及びこれらの組み合わせを含んでいてもよい。
通信部２４２は、通信部２０７や通信部２２６などと同様の所定の通信規格に準拠して外部機器との通信を行う回路を含む。なおサーバ装置１３０とチェックイン機１１０および認識ゲート１２０との間の通信には、セキュリティ上の観点から特定の専用通信回線が用いられるようになされていてもよい。

制御部２４４は、サーバ装置１３０の全体の動作を制御する。また、制御部２４４は、通信部２４２を介してチェックイン機１１０の制御部２０３や認識ゲート１２０の制御部２２２との通信も可能となされている。制御部２４４は、制御部２０３や制御部２２２と同様に、マイクロコンピュータ、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等により構成することができる。なお制御部２４４の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。詳細は後述するが、制御部２４４は、記憶部２４３に格納された情報処理プログラムを実行し、同じく記憶部２４３に格納されている種々のデータを読み出して種々の演算処理を行い、本実施形態の情報処理に係る所定の機能を実現する。なお、制御部２４４によって実行されるプログラムは、通信部２４２等を介して提供されてもよいし、可搬性を有する記録媒体から読み出されてもよい。

記憶部２４３は、記憶部２０４や記憶部２２３と同様に、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現され、様々なデータやプログラムを記憶する。また本実施形態の場合、サーバ装置１３０の記憶部２４３は、データベース１４０の機能をも有しており、前述したように飛行機に搭乗予定の人物に関する情報を保持する搭乗者データベースを格納する。なお、搭乗者データベースの詳細は後述する。

顔認識部２４５は、画像から顔の検出およびその顔の特徴を表す特徴情報を取得する特徴情報抽出処理を行い、その顔の特徴情報を基に人物の顔認識処理を行う機能部である。以下、本実施形態では、顔の特徴情報を「特徴量」と表記する。顔認識部２４５は、顔検出部２４９、高精度特徴量算出部２４６、中精度特徴量算出部２４７、および類似度算出部２５０を備えている。

顔検出部２４９は、本実施形態に係る第１の取得処理および第２の取得処理として、入力された画像から顔画像（顔の画像領域）を検出する処理を行う。顔検出部２４９は、顔検出処理の際、図３（ａ）に示すように、顔画像（顔の画像領域）として、画像内で顔を囲う矩形枠（境界枠３００とする）を検出する演算を行う。さらに顔検出部２４９は、その境界枠３００の座標と幅と高さの情報を算出すると共に、境界枠３００内の顔における目、鼻、口といった各顔器官の特徴点情報３０１と、それらの尤もらしさである尤度とを算出する。本実施形態の場合、顔検出部２４９は、ディープニューラルネットワークと呼ばれる多階層のニューラルネットワークがディープラーニングにて学習されたニューラルネットワークを用いた演算処理により顔検出や尤度等の算出を行う。

高精度特徴量算出部２４６は、本実施形態に係る第１の抽出処理として、顔検出部２４９によって検出された顔の位置情報から高精度の特徴量（高精度特徴情報）を算出する処理を行う。中精度特徴量算出部２４７は、本実施形態に係る第２の抽出処理として、顔検出部２４９で取得した顔の位置情報から中精度の特徴量（中精度特徴情報）を算出する処理を行う。本実施形態において、高精度特徴量算出部２４６と中精度特徴量算出部２４７は、それぞれ多階層のニューラルネットワークがディープラーニングにて学習されたニューラルネットワークを用いた演算処理によって特徴量を算出するものとしている。

ここで、高精度特徴量算出部２４６と中精度特徴量算出部２４７にそれぞれ用いられるニューラルネットワークは回路規模が異なっており、中精度特徴量算出部２４７では高精度特徴量算出部２４６よりも回路規模が小さいニューラルネットワークが用いられる。一般に、ニューラルネットワークの回路規模の大小は、当該ニューラルネットワークによる処理量の大小つまり処理コストの大小と対応した関係を有しており、回路規模が小さい方では、回路規模が大きい方よりも処理量が少なくなる。したがって本実施形態において、中精度特徴量算出部２４７での中精度特徴量算出処理は、高精度特徴量算出部２４６での高精度特徴量算出処理よりも処理量が少なく、処理コストが小さい。言い換えると、本実施形態における中精度特徴量とは、高精度特徴量よりも、処理量が少なく、処理コストが小さい特徴量算出処理によって得られる特徴量である。また、回路規模が大きいニューラルネットワークにて取得される特徴量は、一般に、それより回路規模が小さいニューラルネットワークにて取得される特徴量よりも高い精度の特徴量であることが多い。このため、本実施形態では回路規模が大きいニューラルネットワークにて取得される特徴量を高精度特徴量と呼び、一方、それより相対的に回路規模が小さいニューラルネットワークにて取得される特徴量を中精度特徴量と呼んでいる。なお本実施形態では、顔の特徴量として顔器官の位置情報を例に挙げているが、これに限定されるものではなく、位置に加えて、形状などの特徴を含めて反映される情報でもよく、例えばバイト配列を用いることもできる。バイト配列を用いる場合、高精度の特徴量では、バイト配列の長さが、中精度の特徴量の場合のバイト配列よりも長くなる。

類似度算出部２５０は、高精度特徴量算出部２４６にて算出された特徴量を用いた類似度算出処理、若しくは、中精度特徴量算出部２４７にて算出された特徴量を用いた類似度を算出する処理を行う。すなわち類似度算出部２５０は、高精度特徴量算出部２４６で算出された高精度精度の特徴量同士を比較することによって類似度を算出する。同様に、類似度算出部２５０は、中精度特徴量算出部２４７で算出された中精度の特徴量同士を比較することによって類似度を算出する。これらの詳細は後述する。
バス２４８は、入力部２４１と、通信部２４２と、記憶部２４３と、制御部２４４と、顔認識部２４５と、を電気的に接続する信号線である。

図４は、図１のデータベース１４０として登録されていているデータ、すなわち図２のサーバ装置１３０の記憶部２４３に記憶されている搭乗者データベースの一例を示した図である。搭乗者データベースには、ＩＤ４０１、氏名４０２、会員ＩＤ４０３、搭乗予定便名４０４、搭乗時刻４０５、顔情報高精度４０６、顔情報中精度４０７、チェックイン時刻４０８、手続き状態４０９、及び搭乗完了時刻４１０の各情報が登録されている。

ＩＤ４０１には、搭乗者データベースにおいて一意に識別可能な番号が登録される。
氏名４０２には、当該空港において飛行機に搭乗する予定の人物の氏名が登録される。
会員ＩＤ４０３には、搭乗予定の航空会社の会員登録システムに登録されている人物の会員ＩＤが登録される。
搭乗予定便名４０４には、搭乗予定の飛行便名が登録される。
搭乗時刻４０５には、搭乗予定の飛行便の予定時刻が登録される。
顔情報高精度４０６には、チェックイン機１１０で撮影された搭乗予定人物の顔画像から高精度特徴量算出部２４６で算出された高精度の顔特徴量の情報が登録される。
顔情報中精度４０７には、チェックイン機１１０で撮影された搭乗予定人物の顔画像から中精度特徴量算出部２４７で算出された中精度の顔特徴量の情報が登録される。
チェックイン時刻４０８には、チェックイン機１１０で人物がチェックインを完了した時刻が登録される。
手続き状態４０９には、搭乗手続きの完了状態を示す情報が登録される。なお手続き状態４０９の情報は、当該空港でチェックインを行っていない場合にはＮ／Ａとなされ、チェックインが行われると「チェックイン」となされ、保安検査が完了すると「保安検査」、搭乗ゲートを通過すると再び「Ｎ／Ａ」となされる。
搭乗完了時刻４１０には、搭乗口のゲート１２７ｂを通過し、顔認識後に照合された時の時刻が登録される。
なお、搭乗者データベースには、会員の年齢などの属性情報や顔画像なども保存されていてもよい。

図５は、前述したサーバ装置１３０のハードウェア構成の一例を示す図である。図５に示すように、サーバ装置５００は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、記録装置５０４、通信装置５０５、入力装置５０６及び表示装置５０７を有する。なお通信装置５０５は、ネットワーク５１１を介して前述したチェックイン機１１０および認識ゲート１２０に接続されている。

ＣＰＵ５０１は、ＲＯＭ５０２に記録された制御プログラムおよび情報処理プログラムを読み出して各種処理を実行する。
ＲＡＭ５０３は主メモリやワークエリア等の一時記憶領域として用いられる。
記録装置５０４は、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）を有し、画像データファイルや搭乗者データベース等を保存する。

表示装置５０７は、液晶ディスプレイ又は有機ＥＬディスプレイで構成される装置である。
入力装置５０６は、図２のサーバ装置１３０の入力部２４１に対応したユーザインタフェースである。入力装置５０６は、表示装置５０７のディスプレイと共にタッチパネルを構成していてもよいし、キーボード、ボタン、スイッチ、及びこれらの組み合わせを含んでいてもよい。
通信装置５０５は、図２のサーバ装置１３０の通信部２４２に対応しており、ネットワーク５１１を介して通信を行う装置である。

以上のように、サーバ装置５００のハードウェア構成は、ＰＣ（パーソナルコンピュータ）に搭載されているハードウェア構成と同様のハードウェア構成要素を有している。そのため、サーバ装置５００で実現される各種機能は、ＰＣ上で動作するソフトウェアとして実装することが可能である。サーバ装置５００は、ＣＰＵ５０１がプログラムを実行することにより、図２に示したサーバ装置１３０の各機能部および後述するフローチャートの処理を実現することができる。
なおチェックイン機１１０や認識ゲート１２０についても基本的には図５と同様のハードウェア構成を有していてもよい。

次に、本実施形態に係る搭乗システムにおいて、飛行機に搭乗する予定の人物Ａがチェックインし、手荷物検査等の保安検査を経て、搭乗口から飛行機に搭乗するまでの一連の手続きの概略的な流れを図６のフローチャートを用いて説明する。なおこれ以降の各フローチャートにおいて用いる符号のＳは、それぞれ処理ステップを表しているとする。

まずＳ１０において、チェックイン機１１０は、サーバ装置１３０と連携して、飛行機へ搭乗する予定の人物Ａによるチェックイン手続、および当該人物Ａに対するチェックイン処理を行う。
次にＳ１１において、保安検査場の認識ゲート１２０ａは、サーバ装置１３０と連携して、チェックイン機１１０のゲートを通過して保安検査場に来た人物Ａに対し、保安検査の本人確認のための認識処理を行う。
次にＳ１２において、搭乗口の認識ゲート１２０ｂは、サーバ装置１３０と連携して、搭乗口に来た人物Ａに対し、飛行機へ搭乗可能な人物であるかどうかの本人確認のための認識処理を行う。このＳ１２において認識処理が完了すると、人物Ａは飛行機に搭乗することができる。

次に、図６のＳ１０で行われる処理、すなわち人物Ａがチェックインする際のチェックイン処理の流れを、図７のフローチャートを用いて説明する。本実施形態において、図７に示したチェックイン処理は、チェックイン機１１０とサーバ装置１３０が連携して行う処理である。

まずチェックイン機１１０側で行われる処理の流れから説明する。
Ｓ１０１において、チェックイン機１１０の制御部２０３は、読み取り部２０１を介して、ＩＣ旅券のＩＣチップから顔画像、生年月日、および氏名等の情報を読み出す。読み取り部２０１によってＩＣ旅券のＩＣチップから読み出された情報は、以降、この搭乗システムにおいて当該人物Ａに係る「登録情報」として扱われる。すなわち登録情報には、人物Ａの顔画像、生年月日、氏名等の情報が含まれる。また本実施形態の搭乗システムでは、人物Ａの登録情報のうち特にＩＣ旅券のＩＣチップから読み出された顔画像を「登録画像」として扱う。
そしてＳ１０２において、制御部２０３は、ＩＣ旅券から取得した登録情報を、通信部２０７を介してサーバ装置１３０に送信する。

次にＳ１０３において、制御部２０３は、当該チェックイン機１１０の前にいる人物Ａの顔を撮影するように、撮影部２０２を制御する。本実施形態の搭乗システムにおいて、チェックイン機１１０の撮影部２０２が撮影した人物Ａの顔画像は、「照合画像」として扱われる。

そしてＳ１０４において、制御部２０３は、Ｓ１０３でチェックイン機１１０の撮影部２０２が撮影した人物Ａの顔画像である照合画像を、通信部２０７を介してサーバ装置１３０に送信する。詳細は後述するが、このときのサーバ装置１３０では、チェックイン機１１０にて取得された登録画像と照合画像とを用い、それら登録画像の人物と照合画像の人物とが同一の人物であるか否かを判定する照合処理が行われる。そしてサーバ装置１３０からは、登録画像と照合画像の人物が同一人物か否かの判定結果が、チェックイン機１１０に送られてくる。

Ｓ１０５において、制御部２０３は、サーバ装置１３０から判定結果を受信したか否かを判定し、判定結果を受信したと判定した場合、次のＳ１０６において、その判定結果を表示部２０５に表示させる。
そしてＳ１０７において、制御部２０３は、サーバ装置１３０からの判定結果が、同一人物であることを示す「合」であるか否かを判定し、「合」である場合には次のＳ１０８においてゲート２０８を開かせるように駆動部２０９に指示を出す。一方、制御部２０３は、サーバ装置１３０からの判定結果が、同一人物であることを示す「合」でない場合にはチェックイン機１１０における処理を終了する。つまり判定結果が同一人物でないことを示す場合、チェックイン機１１０のゲート２０８は開かない。

次にチェックイン機１１０と連携して、サーバ装置１３０において行われる処理の流れを説明する。
Ｓ２０１において、サーバ装置１３０の制御部２４４は、通信部２４２を介して、チェックイン機１１０から登録画像を含む登録情報を受信する。
さらにＳ２０２において、制御部２４４は、通信部２４２を介してチェックイン機１１０から照合画像を受信する。

次にＳ２０３において、制御部２４４は登録画像と照合画像とを顔認識部２４５に送り、顔認識部２４５はそれら登録画像と照合画像とからそれぞれ顔画像を検出し、さらにその顔画像から特徴量を算出する処理を行う。このときの顔認識部２４５では、顔検出部２４９が登録画像と照合画像からそれぞれ顔画像を検出し、それら登録画像と照合画像からそれぞれ検出された顔画像について、高精度特徴量算出部２４６が特徴量つまり高精度特徴量を算出する。

次にＳ２０４において、顔認識部２４５の類似度算出部２５０は、登録画像の顔画像から高精度特徴量算出部２４６が算出した特徴量と、照合画像の顔画像から高精度特徴量算出部２４６が算出した特徴量とを比較して、類似度Ｓｉを算出する。このとき算出される類似度Ｓｉとは、人物Ａの本人らしさを示す数値である。

次にＳ２０５において、制御部２４４は、類似度算出部２５０にて算出された類似度Ｓｉが所定の類似度閾値以上であるか否かを判断する。以下、類似度閾値をＳthとする。そして類似度Ｓｉが類似度閾値以上（Ｓth以上）である場合、制御部２４４は、Ｓ２０６において、登録画像と照合画像の人物は同一人物、すなわち本人であるとの照合処理結果を得る。一方、類似度Ｓｉが類似度閾値未満（Ｓth未満）である場合、制御部２４４は、Ｓ２０７において、登録画像と照合画像の人物は異なる人物、すなわち他人であるとの判定結果を得る。

Ｓ２０６において本人であるとの判定結果が得られると、制御部２４４は、Ｓ２０８において、顔認識部２４５に対して照合画像を用いた顔検出処理と特徴量算出処理とを行わせる。このときの顔認識部２４５では、顔検出部２４９が照合画像から顔画像を検出し、当該照合画像から検出された顔画像について、中精度特徴量算出部２４７が特徴量を算出、つまり中精度特徴量を算出する。

次にステップＳ２０９において、制御部２４４は、Ｓ２０３で照合画像から取得された高精度特徴量を搭乗者データベースの顔情報高精度４０６に、Ｓ２０８で照合画像から取得された中精度特徴量を搭乗者データベースの顔情報中精度４０７に格納する。またこの時、制御部２４４は、搭乗者データベースに対し、現在のタイムスタンプをチェックイン時刻４０８とし、さらに手続き状態４０９を「チェックイン」にする。
その後、Ｓ２１０において、制御部２４４は、Ｓ２０６またはＳ２０７で取得した判定結果を、通信部２４２を介してチェックイン機１１０に送信する。

本実施形態では、チェックイン時において、登録画像の顔画像と照合画像の顔画像からそれぞれ算出した高精度特徴量を用いた顔認識処理で同一人物か否かを判定し、同一人物であると判定した場合、さらに照合画像の顔画像から中精度特徴量算出処理を行う。そして、同一人物か否かの判定の際に照合画像の顔画像から算出した高精度特徴量と、同一人物であると判定された際に照合画像の顔画像から算出した中精度特徴量とを、当該人物に対応させて搭乗者データベースに保存する。ここで、顔認識処理の際には同精度の特徴量同士で比較を行う必要があり、高精度特徴量と中精度特徴量のような精度の異なる特徴量同士を比較することはできない。このため、チェックイン時には、高精度特徴量と共に中精度特徴量をも算出し、それらを搭乗者データベースに保存するようにしている。これによりサーバ装置１３０では、後に保安検査場や搭乗口での本人確認のための顔認識処理を行う際、搭乗者データベースに保存している特徴量つまり高精度特徴量と中精度特徴量の何れかを用いた顔認識処理を行うことができる。

次に、人物Ａが保安検査場を通る際に認識ゲート１２０（図１の認識ゲート１２０ａ）とサーバ装置１３０が連携して行う認識処理の流れを、図８のフローチャートを用いて説明する。

まず保安検査場の認識ゲート１２０側で行われる処理の流れから説明する。保安検査場の認識ゲート１２０の制御部２２２は、センサ２３０が人物を検知したときにフローチャートの処理を開始する。
Ｓ３０１において、保安検査場の認識ゲート１２０の制御部２２２は、撮影部２２１を制御して、当該認識ゲート１２０に向かって歩いてくる人物Ａを撮影させる。本実施形態の搭乗システムにおいて、保安検査場の認識ゲート１２０の撮影部２２１が撮影した人物Ａの画像は「照合画像」として扱われる。

そしてＳ３０２において、制御部２２２は、Ｓ３０１で撮影部２２１が人物Ａを撮影した照合画像を、通信部２２６を介してサーバ装置１３０に送信する。詳細は後述するが、このときのサーバ装置１３０では、保安検査場の認識ゲート１２０で取得された照合画像の人物が、チェックイン処理で搭乗者データベースに登録された人物Ａと同一人物であると特定できたか否かの判定処理が行われる。そしてサーバ装置１３０からは、同一人物であると「特定」できたか否かの判定結果が、保安検査場の認識ゲート１２０に送られてくる。

Ｓ３０３において、制御部２２２は、サーバ装置１３０から判定結果を受信したか否かを判定し、判定結果を受信したと判定した場合、次のＳ３０４において、その判定結果を表示部２２４に表示させる。

そしてＳ３０５において、制御部２２２は、サーバ装置１３０からの判定結果が、人物Ａであると「特定」されたことを示しているか判定し、「特定」の判定結果が得られた場合、保安検査場の認識ゲート１２０における処理を終了する。つまりサーバ装置１３０からの判定結果が「特定」である場合、その人物は、開いている状態のゲート２２７を通過することができる。一方、サーバ装置１３０からの判定結果が人物Ａであるとの「特定」ではなく「不明」である場合、制御部２２２は、Ｓ３０６においてゲート２２７を閉じるように駆動部２２８に指示を出す。つまりサーバ装置１３０からの判定結果が「特定」ではなく「不明」である場合、ゲート２２７が閉じられるため、その人物は通過できないことになる。

次に保安検査場の認識ゲート１２０と連携して、サーバ装置１３０において行われる処理の流れを説明する。
Ｓ４０１において、サーバ装置１３０の制御部２４４は、通信部２４２を介して、保安検査場の認識ゲート１２０から照合画像を受信する。

次にＳ４０２において、制御部２４４は、保安検査場の認識ゲート１２０から取得した照合画像を顔認識部２４５に送り、顔認識部２４５は照合画像から顔画像を検出し、さらにその顔画像から特徴量を算出する処理を行う。このとき、顔認識部２４５では、顔検出部２４９が顔検出処理を行い、中精度特徴量算出部２４７が中精度特徴量を算出する。

次にＳ４０３において、制御部２４４は、搭乗者データベースにおける手続き状態４０９が「Ｎ／Ａ」でないという条件の下、クエリーを発行して、搭乗者データベースから候補者リストを取得する。候補者リストは、例えば当該空港から当日出発する飛行機に搭乗する予定となっている複数の人物のうち、搭乗者データベースの手続き状態４０９が「Ｎ／Ａ」でない各人物のリストである。すなわち制御部２４４は、搭乗者データベースから、それら各人物におけるＩＤ４０１と氏名４０２と顔情報高精度４０６と顔情報中精度４０７の各情報を含む候補者リストを取得する。

次にＳ４０４として、制御部２４４は、取得した候補者リストの各人物の顔情報中精度４０７における中精度特徴量と、Ｓ４０２で照合画像から取得された中精度特徴量とを、類似度算出部２５０に送る。これにより類似度算出部２５０は、候補者リストの各人物の顔情報中精度４０７の中精度特徴量と、Ｓ４０２で照合画像から取得された中精度特徴量との類似度を算出する。そして、制御部２４４は、候補者リストの各人物のなかで、類似度が最も高い人物を、候補者として選出する。

次にＳ４０５において、制御部２４４は、Ｓ４０４で候補者として選出された人物についてＳ４０４で算出された類似度Ｓｉが、所定の類似度閾値Ｓth以上であるか否かを判断する。そして、制御部２４４は、類似度Ｓｉが類似度閾値Ｓth以上であれば、Ｓ４０６において、照合画像の人物は登録画像の人物と同一人物、すなわち照合画像の人物が「特定」されたことを示す判定結果を得る。さらに制御部２４４は、Ｓ４０８において、ステップＳ４０６で特定された候補者における搭乗者データベースの手続き状態４０９を「保安検査」に更新する。

一方、Ｓ４０５において類似度Ｓｉが類似度閾値Ｓth未満であった場合、制御部２４４は、Ｓ４０７において、照合画像の人物は登録画像の人物とは同一でない、つまり照合画像の人物は候補者とは異なる人物であると判定する。これにより、認識ゲート１２０の前に来た人物は「不明」であるとの判定結果が得られる。

その後、Ｓ４０８において、制御部２４４は、Ｓ４０６またはＳ４０７の判定結果を、通信部２４２を介して保安検査場の認識ゲート１２０に送信する。

このように、保安検査の際には、チェックイン時に取得されて搭乗者データベースに登録されている中精度特徴量と、保安検査場で取得された照合画像から得られた中精度特徴量とを用いた顔認識処理が行われる。そして、その顔認識処理によって同一人物として特定された場合、保安検査場のゲートが開く。保安検査場での顔認識処理では、処理量が少ない中精度特徴量を用いた顔認識が行われるため、処理コストが抑制される。

次に、人物Ａが搭乗口を通る際に認識ゲート１２０（図１の認識ゲート１２０ｂ）とサーバ装置１３０が連携して行う認識処理の流れを、図９のフローチャートを用いて説明する。
まず搭乗口の認識ゲート１２０側で行われる処理の流れから説明する。搭乗口の認識ゲート１２０の制御部２２２は、センサ２３０が人物を検知したときに図９のフローチャートの処理を開始する。図９のフローチャートにおいて、Ｓ３０１およびＳ３０３からＳ３０６までは、搭乗口の認識ゲート１２０で行われること以外、前述した図８におけるＳ３０１およびＳ３０３からＳ３０６までと同様の処理であるため、その説明は省略する。

Ｓ３０１の処理後、Ｓ５０２において、搭乗口の認識ゲート１２０の制御部２２２は、Ｓ３０１で撮影部２２１が人物を撮影して取得した照合画像と、この搭乗口に対応した飛行機の便名情報とを、通信部２２６を介してサーバ装置１３０に送信する。飛行機の便名情報は、この搭乗口の認識ゲート１２０の記憶部２２３に保持されている。詳細は後述するが、このときのサーバ装置１３０では、搭乗口の認識ゲート１２０で取得された照合画像の人物が、チェックイン処理で搭乗者データベースに登録された人物Ａと同一人物であると特定できたか否かの判定処理が行われる。そしてサーバ装置１３０からは、同一人物であると「特定」できたか否かの判定結果が、搭乗口の認識ゲート１２０に送られてくる。

次に搭乗口の認識ゲート１２０と連携して、サーバ装置１３０において行われる処理の流れを説明する。図９のフローチャートにおいて、サーバ装置１３０側のＳ４０２およびＳ４０４からＳ４０７まで、さらにＳ４０９は、前述した図８におけるＳ４０２およびＳ４０４からＳ４０７まで、さらにＳ４０９と同様の処理であるため、その説明は省略する。

Ｓ６０１において、サーバ装置１３０の制御部２４４は、通信部２４２を介して、搭乗口の認識ゲート１２０がＳ５０２で送信した照合画像と飛行便名の情報を受信する。その後、制御部２４４は、前述したＳ４０２の顔検出および特徴量算出の処理を行った後に、Ｓ６０３の処理を実行する。

Ｓ６０３において、制御部２４４は、搭乗者データベースの手続き状態４０９が「Ｎ／Ａ」でなく、かつ搭乗予定便名４０４がＳ６０１で取得した便名と等しいという条件の下、クエリーを発行して、搭乗者データベースから候補者リストを取得する。ここでの候補者リストは、当該搭乗口から出発する便面の飛行機に搭乗する予定となっている複数の人物のうち、搭乗者データベースの手続き状態４０９が「Ｎ／Ａ」でなく、かつ搭乗予定便名４０４がＳ６０１で取得した便名と等しい各人物のリストである。すなわち制御部２４４は、搭乗者データベースから、各人物のＩＤ４０１と氏名４０２と顔情報高精度４０６と顔情報中精度４０７の各情報を含む候補者リストを取得する。

その後、制御部２４４は、前述同様のＳ４０６の処理が行われた場合、Ｓ６０８において、ステップＳ４０６で特定された候補者における搭乗者データベースの手続き状態４０９を「Ｎ／Ａ」に更新する。そして、Ｓ６０８の処理後、制御部２４４は、前述同様のＳ４０９に処理を進める。

このように、搭乗口では、チェックイン時に取得されて搭乗者データベースに登録されている中精度特徴量と、搭乗口で取得された照合画像から得られた中精度特徴量とを用いた顔認識処理が行われる。そして、その顔認識処理によって同一人物として特定された場合、搭乗口のゲートが開く。搭乗口での顔認識処理では、処理量が少ない中精度特徴量を用いた顔認識が行われるため、処理コストが抑制される。

以上説明したように第１の実施形態の搭乗システムでは、人物Ａが搭乗手続きのための「チェックイン」「保安検査」「搭乗」を行う際に、入場時には高精度特徴量を用い、それ以降は中精度特徴量を用いた顔認識を行うようにする。これにより、サーバ装置１３０における処理コストを低減させることが可能となる。すなわち本実施形態によれば、顔認識を用いたシステムにおいて、特徴量の算出処理と類似度の算出処理の処理量を削減し、また処理時間も短縮でき、かつ、高い認識精度を維持することが可能となる。

なお前述した実施形態では、チェックイン時にＩＣ旅券を使用する人物の顔画像（登録画像）と撮像された照合画像とを比較して、本人か否かを確認したが、この例には限定されない。例えば変形例１として、人物Ａが航空会社の会員登録システムなどに予め顔画像を登録している場合、その会員登録システムに登録されている顔画像を登録画像として用い、照合画像との比較を行ってもよい。すなわちこの場合、航空会社の会員登録システムが本実施形態に係る所定の媒体であり、登録画像はこの会員登録システムから取得される。

また前述の実施形態では、保安検査場や搭乗口の認識ゲート１２０において中精度特徴量を用いて顔認識を行っていたが、これに限るものではない。例えば、保安検査場や搭乗口の認識ゲート１２０において同時に複数の顔画像が撮影された場合、それら複数の顔画像に対する認識処理は負荷が多くなる。一方で、撮影された画像内の顔画像が１つ等のように少ない場合には、高精度特徴量を用いた認識処理を行ったとしても負荷はさほど大きくならないこともある。そこで第１の実施形態の変形例２では、所定の解析処理として、認識ゲート１２０で取得した画像に同時に写る顔画像の数を取得し、その顔画像の数が所定の数閾値以上か否かを判定する。そして、その解析処理の結果、顔画像の数が所定の数閾値以上である場合には中精度特徴量を用いた認識処理を行うようにし、一方、顔画像の数が数閾値未満である場合には高精度特徴量を用いた認識処理を行うようにする。なお、所定の数閾値は、認識処理の負荷に応じて予め決められていてもよいし、認識処理負荷が、或る負荷閾値を超えるか否かによって決められてもよい。

＜第２の実施形態＞
次に、第２の実施形態について説明する。ここでは第１の実施形態とは異なる内容についてのみ説明し、それ以外については第１の実施形態と同様であるとする。
第２の実施形態の場合、サーバ装置１３０は、認識ゲート１２０から送られた顔画像に対し、第１の実施形態の変形例２とは異なる所定の解析処理を行う。そして、第２の実施形態のサーバ装置１３０は、その解析結果を基に、高精度特徴量による顔認識処理を行うか、中精度特徴量による顔認識処理を行うかを選択する。第２の実施形態の場合、サーバ装置１３０では、保安検査場や搭乗口の認識ゲート１２０から送られてくる顔画像が、高精度特徴量を用いた認識処理を行うことが望ましい顔画像であるかどうかを解析する処理を行う。そして、高精度特徴量を用いた認識処理を行うことが望ましいとの解析結果が得られた場合に、高精度特徴量を用いた顔認識処理を行うようにする。

ここで、認識ゲート１２０から送られてくる顔画像において、高精度特徴量を用いた認識処理が望ましいとされる場合とは、例えば、顔が髪の毛やマスク、サングラス等で覆われているような条件を挙げることができる。本実施形態では、撮影された顔画像を解析することで、そのような条件を満たすかどうかを判断し、当該条件を満たした場合には高精度特徴量を用いた顔認識処理を実施する。

以下、保安検査場の認識ゲート１２０がサーバ装置１３０と連携して行う場合を例に挙げて、第２の実施形態における処理を説明する。図１０は、第２の実施形態における処理の流れを示したフローチャートである。図１０のフローチャートにおいて、保安検査場の認識ゲートにおける処理のうち、Ｓ３０１からＳ３０６までは、前述した図８のＳ３０１からＳ３０６と同様の処理であるため、それらの説明は省略する。またサーバ装置１３０側の処理のうち、Ｓ４０１およびＳ４０３からＳ４０９までは、図８のＳ４０１およびＳ４０３からＳ４０９までの処理と同様であるため３、それらの説明も省略する。

第２の実施形態において、サーバ装置１３０側の処理のうち図８のフローチャートと異なるのはＳ４０１の後、Ｓ７０１からＳ７０５の処理が実行されることである。また第２の実施形態のサーバ装置１３０では、Ｓ７０３の処理後にはＳ４０３の処理に移行し、Ｓ７０５の処理後にはＳ４０４の処理に移行する。

Ｓ７０１において、サーバ装置１３０の制御部２４４は、保安検査場の認識ゲート１２０から受信した照合画像を入力として、顔認識部２４５の顔検出部２４９が顔検出処理を行い、顔器官の尤度を算出する。

次にＳ７０２において、制御部２４４は、顔認識部２４５で算出されたすべての顔器官の尤度Ｐが、所定の尤度閾値以上であるかを判断する。以下、尤度閾値をＰthとする。
ここで前述した図３（ａ）は、顔器官の尤度Ｐが尤度閾値以上（Ｐth以上）である場合の例を示している。このように、顔器官の尤度Ｐが尤度閾値Ｐth以上である場合、顔器官が尤もらしく、各顔器官は髪の毛やマスク、サングラス等で遮られておらずに露出している可能性が高いと判断できる。すなわち本実施形態では、顔器官の尤度によって顔の遮蔽の程度を判断しており、顔器官の尤度が尤度閾値以上である場合に各顔器官は遮られておらずに顔が十分に露出している（顔の隠れの程度が少ない）可能性が高いと判定する。

このため、制御部２４４は、すべての顔器官の尤度Ｐが尤度閾値Ｐth以上である場合、Ｓ７０３において、照合画像を入力として、顔認識部２４５の中精度特徴量算出部２４７で中精度特徴量を算出させる。そして制御部２４４は、Ｓ７０３の処理後、Ｓ４０３に処理を進め、前述同様にして搭乗者データベースから候補者リストを取得し、さらに候補者リストに含まれる各人物のＩＤ４０１と氏名４０２と顔情報中精度４０７の中精度特徴量とを取得する。

すなわちＳ７０３からＳ４０３に進んだ場合、制御部２４４は、Ｓ７０３で取得した候補者リストの各人物の顔情報中精度４０７における中精度特徴量と、Ｓ７０３で照合画像から算出された中精度特徴量とを、類似度算出部２５０に送る。これにより類似度算出部２５０は、候補者リストの各人物の顔情報中精度４０７の中精度特徴量と、照合画像の中精度特徴量との類似度を算出する。そして、制御部２４４は、候補者リストの各人物のなかで、顔情報中精度４０７の中精度特徴量と照合画像の中精度特徴量との類似度が最も高い人物を、候補者として選出する。

一方、図３（ｂ）は、各顔器官の少なくとも一部が髪の毛やマスク、サングラス、或いは他の人物等によって遮られている場合の例を示している。図３（ｂ）のように、各顔器官の少なくとも一部が遮られている場合、顔器官の尤度Ｐは尤度閾値未満（Ｐth未満）になる可能性が高い。したがって顔器官の尤度Ｐが尤度閾値Ｐth未満である場合、顔器官は尤もらしくなく、顔器官が遮られている可能性が高いと判断できる。すなわち本実施形態では、顔器官の尤度を基が尤度閾値未満である場合には、各顔器官が遮られている可能性が高いと判定する。

このため、制御部２４４は、少なくとも一部の顔器官の尤度Ｐが尤度閾値Ｐth未満である場合、Ｓ７０４において、照合画像を入力として、顔認識部２４５の高精度特徴量算出部２４６で高精度特徴量の算出処理を行わせる。

そして制御部２４４は、次のＳ７０５において、搭乗者データベースの手続き状態４０９が「Ｎ／Ａ」でないという条件の下、クエリーを発行して、搭乗者データベースから候補者リストを取得する。すなわち制御部２４４は、搭乗者データベースから、それら各人物のＩＤ４０１と氏名４０２と顔情報高精度４０６の高精度特徴量の各情報を含む候補者リストを取得する。このＳ７０５の処理後、制御部２４４は、Ｓ４０４に処理を進める。

Ｓ７０５からＳ４０４に進んだ場合、制御部２４４は、Ｓ７０５で取得した候補者リストの各人物の顔情報高精度４０６における高精度特徴量と、Ｓ７０４で照合画像から算出された高精度特徴量とを、類似度算出部２５０に送る。これにより類似度算出部２５０は、候補者リストの各人物の顔情報高精度４０６の高精度特徴量と、照合画像の高精度特徴量との類似度を算出する。そして、制御部２４４は、候補者リストの各人物のなかで、顔情報高精度４０６の高精度特徴量と照合画像の高精度特徴量との類似度が最も高い人物を、候補者として選出する。

第２の実施形態では、保安検査場の認識ゲート１２０を例に挙げて説明したが、搭乗口の認識ゲート１２０で同様に、照合画像の顔器官の尤度に応じて、中精度特徴量を用いた顔認識処理と高精度特徴量を用いた顔認識処理のいずれを行うかを切り替える。

第２の実施形態によれば、所定の解析処理として、顔器官の尤度を用いて顔の一部の遮蔽の程度を解析し、その解析結果を基に高精度特徴量を用いた認識処理を行うかどうかを決定している。すなわち、尤度が尤度閾値未満となる状況では高精度特徴量を用いた認識処理を行い、尤度が尤度閾値以上となる状況では中精度特徴量を用いた認識処理を行うようにする。このように、第２の実施形態では、所定の解析処理の結果に応じて、高精度特徴量か中精度特徴量のいずれを認識処理に用いるかを切り替えることによって、処理量の低減と高い認識精度の維持とが実現可能となる。

第２の実施形態では、顔器官の尤度を用いて顔の露出状態を判定しているが、この例に限るものではない。例えば変形例３における所定の解析処理として、画像から顔を遮蔽するサングラスやマスクといった遮蔽物の画像を検知し、その遮蔽物の検知結果から認識精度が低下する状況であるかどうかを解析してもよい。変形例３の場合、遮蔽物の検知結果から認識精度が低下するとの解析結果が得られた場合には高精度特徴量を用いた認識処理を行うようにし、それ以外では中精度特徴量を用いた認識処理を行うようにする。

また一般に、顔認識処理では、対象となる人物の顔が撮影部に対して正対していると認識精度が高くなる。このため、例えば変形例４における所定の解析処理として、顔の向きを検出する顔向き検出処理を行い、顔向きが撮像部に対して正対しているか否かを解析してもよい。変形例４の場合、顔向きが撮像部に対して正対していないとの解析結果が得られた場合には高精度特徴量を用いた認識処理を行い、一方、顔向きが撮像部に対して正対しているとの解析結果が得られた場合には中精度特徴量を用いた認識処理を行うようにする。これにより、処理量の低減と高い認識精度の維持を実現可能となる。

＜第３の実施形態＞
第１，第２の実施形態では、空港でのチェックイン処理の際には高精度特徴量を用いた顔認識処理を行い、その後の保安検査場や搭乗口の認識ゲート１２０では中精度特徴量を用いた顔認識処理を行うことで処理コストを低減可能としている。これに対し、第３の実施形態では、チェックイン処理時だけでなく、保安検査場や搭乗口で行われるすべての顔認識処理で基本的には高精度特徴量を用いた処理を行うようにする。

第３の実施形態の場合、サーバ装置１３０では、認識ゲート１２０からの顔画像に対して、前述の例で挙げたのとは異なる解析処理を行い、その解析結果を基に、高精度特徴量による顔認識処理を行うか、中精度特徴量による顔認識処理を行うかを選択する。第３の実施形態の場合、所定の解析処理は、高精度特徴量を用いても高い認識精度の結果が望めないか否かを判断するのに使用可能な情報を取得する処理である。第３の本実施形態の場合、所定の解析処理の結果、高精度特徴量を用いても高い認識精度の結果が望めないと判断できるときには、中精度特徴量を用いた顔認識処理を行うようにする。

一具体例を挙げると、所定の解析処理として、撮影画像から検出した顔部の画像サイズを取得する。ここで、撮影画像から検出した顔部の画像サイズが小さい場合には、その情報量が少ないために高精度特徴量を用いた処理を行っても十分な精度の顔認識処理結果が得らえない可能性が高い。したがって第３の実施形態では、撮影画像から検出した顔部の画像サイズが小さい場合には、中精度特徴量を用いた顔認識処理を行うようにして処理コストの低減を図る。

第３の実施形態においても、第１，第２の実施形態とは異なる点についてのみ説明し、それ以外については第１，第２の実施形態と同様であるとする。以下、第３の実施形態において、保安検査場の認識ゲート１２０とサーバ装置１３０とが連携する場合を例に挙げて、第３の実施形態における処理を説明する。図１１は、第３の実施形態における処理の流れを示したフローチャートである。図１１のフローチャートにおいて、保安検査場の認識ゲート１２０における処理は前述の図８のＳ３０１からＳ３０６までと同様であるため、それらの説明は省略する。またサーバ装置１３０側のＳ４０１およびＳ４０３からＳ４０９までは図８のＳ４０１およびＳ４０３からＳ４０９までと同様であるため、それらの説明は省略する。

第３の実施形態において、サーバ装置１３０側の処理のうち図８のフローチャートと異なるのはＳ４０１の後、Ｓ８０１からＳ８０２の処理が実行されることである。また第３の実施形態のサーバ装置１３０において、Ｓ７０３およびＳ７０４からＳ７０５の処理は、図１０のＳ７０３およびＳ７０４からＳ７０５の処理と同様であるためそれらの説明は省略する。

Ｓ８０１において、サーバ装置１３０の制御部２４４は、保安検査場の認識ゲート１２０から受信した照合画像を入力として、顔認識部２４５の顔検出部２４９が顔検出処理を行い、顔の境界枠の幅および高さ情報を算出する。

次にＳ８０２において、制御部２４４は、顔検出部２４９にて検出された顔の境界枠のサイズが所定のサイズ閾値未満か否かを判断する。そして制御部２４４は、顔の境界枠のサイズがサイズ閾値未満である場合、高精度特徴量を用いても顔認識を行う上では十分な情報量を取得できないと判断し、顔認識部２４５にＳ７０３の処理を実行させる。一方、顔の境界枠のサイズがサイズ閾値以上である場合、制御部２４４は、高精度特徴量を用いた顔認識を行う上で十分な情報量を含んでいると判断し、顔認識部２４５にＳ７０４の処理を実行させる。本実施形態では、顔の境界枠のサイズとして、当該境界枠の幅と高さを用いる。すなわち制御部２４４は、顔の境界枠の幅が所定の幅閾値未満であるかと、境界枠の高さが所定の高さ閾値未満であるかと、を判断する。そして制御部２４４は、境界枠の幅が幅閾値未満となる条件と、境界枠の高さが高さ閾値未満となる条件との、少なくとも一方が満たされる場合、高精度特徴量を用いた顔認識を行う上では十分な情報量を取得できないと判断する。一方、顔の境界枠の幅が幅閾値以上で且つ境界枠の高さが高さ閾値以上である場合、制御部２４４は、高精度特徴量を用いた顔認識を行う上で十分な情報量を含んでいると判断する。

ここでは保安検査場の認識ゲート１２０を例に挙げて説明したが、搭乗口の認識ゲート１２０においても前述同様に、照合画像の顔画像のサイズに応じて、中精度特徴量を用いた顔認識処理を行うか、高精度特徴量を用いた顔認識処理を行うかを切り替える。

第３の実施形態では、所定の解析処理として、検出した顔のサイズを算出し、さらにサイズに基づいて顔認識を行うのに十分な情報量を取得できるかを判断する。そして、その判断結果に応じて中精度と高精度のいずれの特徴量を用いた顔認識処理を行うかを切り替えることで、処理量の低減と高い認識精度の維持とを実現可能とする。言い換えると、第３の実施形態では、十分な情報量を持った検出顔画像のみにおいて高精度特徴量を用いた認識処理を行い、それ以外では中精度特徴量を用いることで、不必要な計算処理を削減することを可能にしている。

なお例えば、保安検査場において、ウォークスルー方式となっていて人物が移動している際の画像をフレーム毎に逐次撮像して取得する場合、顔のサイズは小さいサイズから徐々に大きいサイズに変化する。このため、顔サイズが小さいうちは中精度特徴量を用いた顔認識が行われ、顔サイズが大きくなった時点で高精度特徴量を用いた顔認識が行われることになる。

前述した各実施形態では、チェックイン機１１０と、保安検査場や搭乗口の認識ゲート１２０において撮像する画像は１枚であったが、これに限ることはなく複数枚の画像を撮影し、それら複数枚の撮影画像に対して処理を行ってもよい。そしてそれら複数の撮影画像毎の処理結果を考慮して本人確認の判定を行ってもよい。その際、撮影画像毎の処理結果の累積結果を考慮して、人物特定を行ってもよい。またその際には、撮影画像毎に算出された類似度に対して重み付けを行い積算してもよいし、特徴量算出処理の種類に応じて重みを各々設定してもよい。

具体的な例を挙げて説明する。例えば、認識の対象となっている人物が認識ゲートを通過する際に、その人物を５ｆｐｓ（フレーム／秒）で撮像し、当該人物が１秒間で通過する場面を想定すると、５枚の撮影画像が得られる。この時、人物は、認識ゲートのカメラに徐々に近づくため、それら５枚の画像に写る顔の境界枠の幅は、境界枠の幅閾値よりも大きいか小さいかで表すと、順に「小」、「小」、「大」、「大」、「大」のようになると考えられる。ここで第３の実施形態の場合、境界枠の幅が幅閾値より小さければ中精度の特徴量抽出とそれを用いた照合を行い、境界枠の幅が幅閾値より大きければ高精度の特徴量抽出とそれを用いた照合を行う。したがって、それら５枚の画像に写る顔については、順に、「中精度」、「中精度」、「高精度」、「高精度」、「高精度」の特徴量抽出と照合が行われる。例えば、搭乗者データベース内の、或る人物との類似度の値が順に「５００」、「６００」、「７００」、「７００」、「６００」であるとすると、高精度の特徴量に対して重み（例えば２倍）を付けて積算して重み付け類似度を算出する。つまりこの例の場合の重み付け類似度は、（５００＋６００＋２×７００＋２×７００＋２×６００）＝５１００が算出される。そして、この重み付け類似度を基に、人物の特定を行う。

その他の例として、前述した各実施形態では、認識ゲート１２０が保安検査場と搭乗口に配置されていたが、これに限るものではない。
また、前述した各実施形態では、パスポート等のＩＣ旅券に記録された登録情報に含まれる登録画像から特徴量を取得する例を挙げたが、これには限らない。例えば、航空会社等における会員登録システムから予め会員の顔画像情報を収集しておき、その収集した顔画像情報から特徴量を算出しておいて、搭乗者データベースに登録しておいてもよい。

本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、１１０：チェックイン機、１２０ａ：保安検査場の認識ゲート２、１２０ｂ：搭乗口の認識ゲート、１４０：データベース

Claims (21)

1. 第１のゲート前に来た人物の顔を撮影した第１の顔画像を取得する第１の取得手段と、
   特定の人物について所定の媒体に用意された第２の顔画像を取得する第２の取得手段と、
   前記第１のゲートとは異なる場所に配された第２のゲート前に来た人物の顔を撮影した第３の顔画像を取得する第３の取得手段と、
   顔画像から第１の抽出処理によって第１の特徴情報を抽出する第１の抽出手段と、
   顔画像から前記第１の抽出処理よりも処理量が少ない第２の抽出処理によって第２の特徴情報を抽出する第２の抽出手段と、
   顔画像から抽出された特徴情報を用いて人物の照合処理を行う照合手段と、
   を有し、
   前記照合手段は、
   前記第１の顔画像から前記第１の抽出手段が抽出した第１の特徴情報と、前記第２の顔画像から前記第１の抽出手段が抽出した第１の特徴情報とを用いて、前記第１のゲート前の人物が前記特定の人物であるかを判定する第１の照合処理を行い、
   前記第１の照合処理により前記特定の人物であると判定した場合に、前記第１の顔画像から前記第２の抽出手段が抽出した第２の特徴情報を保持し、
   前記第３の顔画像から前記第２の抽出手段が抽出した第２の特徴情報と、前記保持した第２の特徴情報とを用いて、前記第２のゲート前に来た人物が前記特定の人物であるかを判定する第２の照合処理を行う
   ことを特徴とする情報処理装置。
2. 前記第２の取得手段は、前記所定の媒体としての、前記特定の人物が有する個人識別カードまたは前記特定の人物が登録している所定の会員登録システムから、前記第２の顔画像を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の抽出処理と前記第２の抽出処理とは、回路規模が異なるニューラルネットワークを用いた処理であることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第２の抽出処理は、前記第１の抽出処理よりも回路規模が小さいニューラルネットワークを用いた処理であることを特徴とする請求項３に記載の情報処理装置。
5. 前記照合手段は、
   前記第１の顔画像から前記第１の抽出手段が抽出した前記第１の特徴情報をも保持し、
   前記第３の顔画像から前記第１の抽出手段が抽出した第１の特徴情報と、前記保持した第１の特徴情報とを用いて、前記第２のゲート前に来た人物が前記特定の人物であるかを判定する第３の照合処理を行う機能をも有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記照合手段は、前記第３の画像に対する所定の解析処理の結果を基に、前記第２の照合処理を行うか、または前記第３の照合処理を行うかを選択することを特徴とする請求項５に記載の情報処理装置。
7. 前記所定の解析処理は、前記第２のゲート前を撮影した画像に写る前記第３の顔画像の数を取得する処理であることを特徴とする請求項６に記載の情報処理装置。
8. 前記照合手段は、前記第３の顔画像の数が所定の数閾値以上である場合に前記第２の照合処理を選択することを特徴とする請求項７に記載の情報処理装置。
9. 前記所定の解析処理は、前記第３の顔画像における顔の遮蔽の程度を取得する処理であることを特徴とする請求項６に記載の情報処理装置。
10. 前記照合手段は、前記顔の遮蔽の程度として、前記第３の顔画像における顔の器官の尤度を取得することを特徴とする請求項９に記載の情報処理装置。
11. 前記照合手段は、前記第３の顔画像における前記顔の器官の尤度が尤度閾値以上である場合に前記第２の照合処理を選択することを特徴とする請求項１０に記載の情報処理装置。
12. 前記所定の解析処理は、前記第３の顔画像から所定の遮蔽物の画像を検出する処理であることを特徴とする請求項６に記載の情報処理装置。
13. 前記照合手段は、前記第３の顔画像から前記所定の遮蔽物の画像が検出された場合に前記第３の照合処理を選択することを特徴とする請求項１２に記載の情報処理装置。
14. 前記所定の解析処理は、前記第３の顔画像における顔の向きを検出する処理であることを特徴とする請求項６に記載の情報処理装置。
15. 前記照合手段は、前記第３の顔画像から検出された顔の向きが正対する向きでない場合に前記第３の照合処理を選択することを特徴とする請求項１４に記載の情報処理装置。
16. 前記所定の解析処理は、前記第３の顔画像における顔のサイズを取得する処理であることを特徴とする請求項６に記載の情報処理装置。
17. 前記照合手段は、前記第３の顔画像における前記顔のサイズが所定のサイズ閾値未満である場合に前記第２の照合処理を選択することを特徴とする請求項１６に記載の情報処理装置。
18. 前記照合手段は、
    前記第２の照合処理では、前記第２の抽出手段が前記第３の顔画像から抽出した第２の特徴情報と前記保持した第２の特徴情報との類似度を基に前記特定の人物であるかを特定し、
    前記第３の照合処理では、前記第１の抽出手段が前記第３の顔画像から抽出した第１の特徴情報と前記保持した第１の特徴情報との類似度を基に前記特定の人物であるかを特定し、
    前記所定の解析処理の結果を基に、前記第２の照合処理と前記第３の照合処理のいずれが選択されたかによって、前記類似度に重み付けを行うことを特徴とする請求項６乃至１７のいずれか１項に記載の情報処理装置。
19. 第１のゲート前に来た人物の顔を撮影して第１の顔画像を取得する第１の撮像装置と、
    前記第１のゲートとは異なる位置に配された第２のゲート前に来た人物の顔を撮影して第３の顔画像を取得する第２の撮像装置と、
    特定の人物について所定の媒体に用意された第２の顔画像を取得する取得手段と、顔画像から第１の抽出処理によって第１の特徴情報を抽出する第１の抽出手段と、顔画像から前記第１の抽出処理よりも処理量が少ない第２の抽出処理によって第２の特徴情報を抽出する第２の抽出手段と、顔画像から抽出された特徴情報を用いて人物の照合処理を行う照合手段とを有する情報処理装置と、を備え、
    前記情報処理装置は、
    前記第１の顔画像から前記第１の抽出手段が抽出した第１の特徴情報と、前記第２の顔画像から前記第１の抽出手段が抽出した第１の特徴情報とを用いて、前記第１のゲート前の人物が前記特定の人物であるかを判定する第１の照合処理を行い、
    前記第１の照合処理により前記特定の人物であると判定した場合に、前記第１の顔画像から前記第２の抽出手段が抽出した第２の特徴情報を保持し、
    前記第３の顔画像から前記第２の抽出手段が抽出した第２の特徴情報と、前記保持した第２の特徴情報とを用いて、前記第２のゲート前に来た人物が前記特定の人物であるかを判定する第２の照合処理を行う
    ことを特徴とする情報処理システム。
20. 第１のゲート前に来た人物の顔を撮影した第１の顔画像を取得する第１の取得工程と、
    特定の人物について所定の媒体に用意された第２の顔画像を取得する第２の取得工程と、
    前記第１のゲートとは異なる場所に配された第２のゲート前に来た人物の顔を撮影した第３の顔画像を取得する第３の取得工程と、
    顔画像から第１の抽出処理によって第１の特徴情報を抽出する第１の抽出工程と、
    顔画像から前記第１の抽出処理よりも処理量が少ない第２の抽出処理によって第２の特徴情報を抽出する第２の抽出工程と、
    顔画像から抽出された特徴情報を用いて人物の照合処理を行う照合工程と、
    を有し、
    前記照合工程では、
    前記第１の顔画像から前記第１の抽出工程で抽出した第１の特徴情報と、前記第２の顔画像から前記第１の抽出工程で抽出した第１の特徴情報とを用いて、前記第１のゲート前の人物が前記特定の人物であるかを判定する第１の照合処理を行い、
    前記第１の照合処理により前記特定の人物であると判定した場合に、前記第１の顔画像から前記第２の抽出工程で抽出した第２の特徴情報を保持し、
    前記第３の顔画像から前記第２の抽出工程で抽出した第２の特徴情報と、前記保持した第２の特徴情報とを用いて、前記第２のゲート前に来た人物が前記特定の人物であるかを判定する第２の照合処理を行う
    ことを特徴とする情報処理方法。
21. コンピュータを、請求項１乃至１９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images