JP2018109935A - 顔照合装置及び顔照合方法 - Google Patents

Abstract

【課題】本人確認時に行う顔認証を含む一連の処理を短時間で行う。【解決手段】被認証者の顔画像又は該顔画像の特徴量である撮像顔データと、予め登録されている顔画像又は該顔画像の特徴量である登録顔データとを照合する顔照合処理を行って、被認証者が、登録顔データが登録された本人であるか否かを確認する顔照合装置を、被認証者を撮像するカメラと、カメラで撮像した画像から顔を検出して作成した撮像顔データを保存する記憶部と、登録顔データを取得する取得部と、登録顔データが取得される前に記憶部に保存された撮像顔データと、取得部が取得した登録顔データとを照合する顔照合処理を実行して、被認証者が本人であるか否かを確認し、顔照合処理の結果に基づいて処理を行う制御部とによって構成する。【選択図】図２

Description

この発明は、顔認証を行って本人確認する顔照合装置及び顔照合方法に関する。

従来、顔認証処理を利用した様々な装置が利用されている。例えば、特許文献１には、顔認証処理により本人確認を行う照合装置と、顔認証処理の結果に応じてゲートを開閉するゲート装置を有するゲートシステムが記載されている。照合装置は、空港で行われる出入国審査時に、ＩＣチップが組み込まれたＩＣ旅券と呼ばれるパスポートが、渡航者本人のものであることを顔認証処理によって確認する。具体的には、パスポートを所持する渡航者の顔画像を撮像すると共に、パスポートのＩＣチップに登録されているパスポート名義人の顔画像を読み出す。そして、渡航者を撮像して取得した顔画像が、ＩＣチップから読み出した顔画像と一致することを顔認証処理によって確認する。ゲート装置は、ゲートの開閉を制御して、本人確認できた渡航者の通行を許可する。

特開２０１６−５３８９６号公報

しかしながら、上記従来技術のさらなる機能向上が求められている。例えば、空港で入国審査等を行う際に、顔認証処理に要する時間や、本人確認できた後にゲートを通行するまでに要する時間が長いと、入国審査場に長い行列ができてしまう。このため、顔認証処理による本人確認の結果を得て入国を認められた渡航者がゲートを通行するまでの処理時間の短縮が求められている。

これは、入国審査の場合に限らない。例えば、イベントの入場口で顔認証を行う場合やオフィスへの進入時に顔認証を行う場合など、同じ時間帯に多数の顔認証対象者が訪れる場面では、顔認証を含んだ一連の処理に時間がかかると長い行列ができてしまう。

本発明は、上述した従来技術による問題点を解消するためになされたもので、顔認証を含んだ一連の処理を短時間で行うことができる顔照合装置及び顔照合方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、被認証者の顔画像又は該顔画像の特徴量である撮像顔データと、予め登録されている顔画像又は該顔画像の特徴量である登録顔データとを照合する顔照合処理を行って、前記被認証者が、前記登録顔データが登録された本人であるか否かを確認する顔照合装置であって、前記被認証者を撮像するカメラと、前記カメラで撮像した画像から顔を検出して作成した撮像顔データを保存する記憶部と、前記登録顔データを取得する取得部と、前記登録顔データが取得される前に前記記憶部に保存された撮像顔データと、前記取得部が取得した登録顔データとを照合する顔照合処理を実行して、前記被認証者が本人であるか否かを確認し、前記顔照合処理の結果に基づいて処理を行う制御部とを備えることを特徴とする。

また、本発明は、上記発明において、前記被認証者が注目する注目対象をさらに備え、前記カメラは、前記注目対象近傍に設置されていることを特徴とする。

また、本発明は、上記発明において、前記被認証者が注目する注目対象をさらに備え、前記カメラは、前記被認証者が前記注目対象に注目したとき、前記被認証者の正面顔画像が取得できる位置に設置されていることを特徴とする。

また、本発明は、上記発明において、前記被認証者が注目する注目対象をさらに備え、前記カメラは、前記取得部が前記登録顔データを取得する前に、前記被認証者が注目する前記注目対象近傍に設置されていることを特徴とする。

また、本発明は、上記発明において、前記注目対象は表示部であって、前記取得部が前記登録顔データを取得する前に、前記表示部が、被認証者に向けた表示を行うことを特徴とする。

また、本発明は、上記発明において、前記注目対象は鏡面であって、前記取得部が前記登録顔データを取得する前に、前記鏡面が、前記被認証者の顔を映すことを特徴とする。

また、本発明は、上記発明において、前記被認証者が注目する注目対象と、複数の前記カメラとをさらに備え、前記注目対象近傍に複数の前記カメラが設置されていることを特徴とする。

また、本発明は、上記発明において、前記被認証者が注目する複数の注目対象と、複数の前記カメラとをさらに備え、前記注目対象それぞれの近傍に前記カメラが設置されていることを特徴とする。

また、本発明は、上記発明において、前記被認証者の顔より低い位置に前記被認証者が注目する注目対象として表示部をさらに備え、前記カメラは、前記表示部の近傍に配置されたカメラと、該カメラより高い位置に配置されたカメラとを含み、複数のカメラによって前記被認証者を撮像して画像を取得することを特徴とする。

また、本発明は、上記発明において、本人確認の結果に基づいてゲートを開いて通行を許可するゲート部をさらに備え、前記制御部は、前記顔照合処理の結果に基づく前記ゲート部の制御を行うことを特徴とする。

また、本発明は、上記発明において、前記制御部は、前記取得部が前記登録顔データを取得する前に前記記憶部に保存された撮像顔データと、前記取得部が取得した登録顔データとを照合する顔照合処理を実行した後、前記カメラによって前記被認証者を撮像して新たな撮像顔データを作成し、新たな撮像顔データを取得する度に、該撮像顔データと前記登録顔データとの間で顔照合処理を実行することを特徴とする。

また、本発明は、撮像した顔画像又は該顔画像の特徴量である撮像顔データと、予め登録されている顔画像又は該顔画像の特徴量である登録顔データとを照合する顔照合装置であって、カメラと、前記カメラで撮像した画像から顔を検出して作成した撮像顔データを保存する記憶部と、前記登録顔データを取得する取得部と、前記登録顔データが取得される前に前記記憶部に保存された撮像顔データと、前記取得部が取得した登録顔データとを照合する顔照合処理を行う制御部と、を備えることを特徴とする。

また、本発明は、被認証者の顔画像又は該顔画像の特徴量である撮像顔データと、予め登録されている顔画像又は該顔画像の特徴量である登録顔データとを照合する顔照合処理を行って、前記被認証者が、前記登録顔データが登録された本人であるか否かを確認する顔照合方法であって、カメラが被認証者を撮像する撮像工程と、前記カメラが撮像した画像から顔を検出して作成した撮像顔データを記憶部に保存する保存工程と、取得部が登録顔データを取得する取得工程と、前記登録顔データが取得される前に前記記憶部に保存された撮像顔データと、前記登録顔データとを照合する顔照合処理を実行して前記被認証者が本人であるか否かを確認する確認工程と、前記顔照合処理の結果に基づいて所定処理を実行する所定処理工程とを含むことを特徴とする。

本発明によれば、顔認証を含んだ一連の処理を短時間で行うことができる。

図１は、顔認証ゲート装置を設置した入国審査場を上から見た様子を示す模式図である。 図２は、操作表示部に正対する方向から見た顔認証ゲート装置の外観図である。 図３は、顔認証ゲート装置の外観を示す斜視図である。 図４は、顔認証ゲート装置のサイズを説明するための図である。 図５は、顔認証ゲート装置を含む入国審査システムの構成例を示すブロック図である。 図６は、管理端末に表示される画面例を示す図である。 図７は、管理対象とする顔認証ゲート装置を変更した際に表示される画面例を示す図である。 図８は、確認事項が発生した渡航者の情報を拡大表示した管理端末の画面例を示す図である。 図９は、有人審査を行う管理端末に表示される画面例を示す図である。 図１０は、監視端末に表示される画面例を示す図である。 図１１は、パスポート読取装置の構成を説明するための斜視図である。 図１２は、パスポート載置台の外観を示す図である。 図１３は、パスポート載置台へのパスポートの載置方法を示す図である。 図１４は、パスポート読取装置によるパスポートの検知方法を説明する模式図である。 図１５は、表示灯部を背面側から見た外観を示す斜視図である。 図１６は、状態表示部による状態表示の例を説明するための図である。 図１７は、顔認証ゲート装置による処理の流れを示すフローチャートである。 図１８は、制御部が渡航者への案内が必要であると判定する例を説明するための例である。 図１９は、渡航者の習熟度に応じて案内方法を設定した設定例を示す図である。 図２０は、操作案内の流れを示すフローチャートである。 図２１は、複数台の顔認証ゲート装置を配置するレイアウトの例を示す図である。 図２２は、複数台の顔認証ゲート装置を配置するレイアウトの例を示す図である。 図２３は、複数台の顔認証ゲート装置を配置するレイアウトの例を示す図である。 図２４は、複数台の顔認証ゲート装置を配置するレイアウトの例を示す図である。

以下に、添付図面を参照して、本発明に係る顔照合装置及び顔照合方法について説明する。顔照合装置は、顔認証を受ける被認証者の顔画像又は該顔画像の特徴量である撮像顔データと、予め登録されている顔画像又は該顔画像の特徴量である登録顔データとを照合する顔照合処理を行う。顔照合処理によって、被認証者が、登録顔データが登録された本人であるか否かを判定する本人確認の処理を行うものである。

本実施形態では、顔照合装置によって、本人確認できた被認証者だけにゲートの通行を許可する顔認証ゲート装置を構成する場合を例に説明する。この顔認証ゲート装置は、顔認証装置（顔照合装置）と顔認証（顔照合）の結果に基づきゲートの通行を許可するゲート装置とから構成されている。空港における出入国審査、コンサートやスポーツ競技等が行われる会場への入場審査、美術館や博物館等の建物への入館審査等、様々な場所で、本人確認の対象者を審査してゲートの通行可否を判定するために顔認証ゲート装置を利用することができる。本実施形態では、空港の入国審査場を例に、顔認証ゲート装置の詳細を説明する。

なお、顔認証とは顔照合処理の結果にもとづいて本人確認を行うことであるが、顔照合処理で撮像顔データと登録顔データとの一致を確認することと、顔照合処理で一致した結果にもとづいて被認証者が本人であると確認して認証することとは、一連の処理においては大きな違いはない。違いは、撮像顔データと登録顔データとが一致した結果に、本人であるという意味づけがされている点にある。一連の処理においては、撮像顔データと登録顔データとの照合結果によって、本人に対する処理と本人以外に対する処理を切り替えてもよい。本実施形態においては、顔認証は顔照合を包含しており、例えば顔認証装置は顔照合装置を含む。

また、顔認証の対象となる被認証者は、顔照合の対象となる被照合者でもあり、顔認証を装置で行う場合は装置の操作者でもある。さらに、被認証者は、場面に応じた側面を持つ。例えば、入国審査や出国審査の場面では、被認証者は渡航者、入国者、帰国者でもある。コンサートやスポーツ競技など催事の場面では、被認証者は入場者や観客でもある。事業所の入場口では、従業員や訪問者が被認証者であり、ホテルのチェックインでは宿泊客が被認証者である。本実施形態では、渡航者に関する例を説明するが、装置からみると渡航者は被認証者、被照合者、操作者である。

まず、入国審査場で利用する顔認証ゲート装置の概要について説明する。顔認証ゲート装置（顔照合装置）は、ＩＣ旅券と呼ばれるパスポートに埋め込まれたＩＣチップに登録されている名義人の顔画像等の情報を取得する。顔認証ゲート装置は、顔認証処理の技術を利用して、ＩＣチップから取得した名義人の顔画像（登録顔データ）と、パスポートを所持する渡航者（被認証者）をカメラで撮像して取得した顔画像（撮像顔データ）とを照合する顔照合処理による本人確認を行う。顔認証ゲート装置は、本人確認の結果等に基づいて、渡航者に入国を許可してよいか否かを判定する。渡航者の入国を許可する場合、顔認証ゲート装置は、通常は閉鎖しているゲートを開放して、渡航者の通行を許可する。一方、入国を許可しない場合、審査官による審査を受けるよう渡航者に案内する。

次に、複数台の顔認証ゲート装置を設置する入国審査場のレイアウトと、該レイアウトで行われる入国審査について説明する。図１は、顔認証ゲート装置を設置した入国審査場を上から見た様子を示す模式図である。３つのカウンター６００（６００ａ〜６００ｃ）に、入国審査を担当する６人の審査官６１０（６１０ａ〜６１０ｆ）が２人ずつ待機している。各カウンター６００には管理端末３０（３０ａ〜３０ｆ）が２台ずつ配置されている。管理端末３０は各審査官６１０に１台ずつ割り当てられている。図１に示す顔認証ゲート装置１０、管理端末３０に加えて、入国審査に関する情報を管理する管理サーバ２０、顔認証ゲート装置１０が備える監視カメラを利用して入国審査場を監視する監視端末４０によって入国審査システム（顔照合システム）が構築されているが（図５参照）、詳細は後述する。

図１に示すように、入国審査場にパーティション７００を配置して、渡航者６２０（６２０ａ〜６２０ｋ）の流れを規制する。パーティションとして、例えば、ベルトを張って人の流れを規制するベルトポール型のパーティション、間仕切りとして利用するパネル型のパーティション等を利用する。渡航者６２０は、図１の下側から入国審査場の無人審査スペース又は有人審査スペースに進入する。そして、入国審査を受けた後、図１の上側へ進み、カウンター６００の間から入国審査場を抜けて入国する。無人審査スペースとは、入国審査を担当する審査官６１０が居らず、顔認証ゲート装置１０（１０ａ〜１０ｌ）によって入国審査を行うスペースである。無人審査スペースには、コンシェルジュとして渡航者６２０を補助する複数の空港係員６１１が配置されている。有人審査スペースとは、カウンター６００で、審査官６１０による入国審査を行うスペースである。

予め定められた所定年齢以上の渡航者６２０でなければ、顔認証ゲート装置１０を利用して入国審査を受けることはできない。このため、年齢が条件を満たさない子供、該子供の同伴者等の渡航者６２０ａは、図１右側にある有人審査スペースに進入して通路７０２を進み、審査官６１０ｅによる審査を受ける。通路７０２を進んだ渡航者６２０は、停止線７１０の手前（図面下側）に並ぶ。審査官６１０ｅは、停止線７１０で審査を待つ渡航者６２０を順にカウンター６００ｃに呼んでパスポートの提示を求め、従来同様に入国審査を行う。審査を通過して入国を認められた渡航者６２０は、カウンター６００ｃの左側から入国審査場を抜けて入国する。

入国審査場には、図１に破線で示す略正方形のブース７０１（７０１ａ〜７０１ｌ）が複数設けられ、各ブース７０１に顔認証ゲート装置１０が１台ずつ設置されている。顔認証ゲート装置１０は、ゲート１２を開閉するゲート装置１１を含む。顔認証ゲート装置１０は、顔認証処理による本人確認の結果に応じてゲート１２の開閉を制御する。なお、図１では各列１つのブース７０１ａ、７０１ｇのみでゲート装置１１及びゲート１２の符号を示しているが、全ての顔認証ゲート装置１０が、ゲート１２を開閉するゲート装置１１を含んでいる。また、図１は、略正方形のブース７０１を１列に６つずつ、２列で合計１２のブース７０１を設けた例を示しているが、ブース７０１の数は特に限定されず、入国審査場の面積等に応じて決定される。

各列の顔認証ゲート装置１０は、向きを揃えた状態で設置されている。図１に示すように、左側の列の顔認証ゲート装置１０ａ〜１０ｆは、ゲート１２を左外側にして設置されている。右側の列の顔認証ゲート装置１０ｇ〜１０ｌは、ゲート１２を右外側にして設置されている。左右両方の列、全ての顔認証ゲート装置１０で、カウンター６００から遠い方にゲート１２が設けられている。左側の顔認証ゲート装置１０ａ〜１０ｆの列と、右側の顔認証ゲート装置１０ｇ〜１０ｌの列との間に、無人審査スペース内の通路７０３が形成されている。この通路７０３は、カウンター６００ｂ前の有人審査スペースの通路７０４と接続されている。

図１下部に示す渡航者６２０ｂは、パーティション７００の間にある入口から無人審査スペースに進入する。通路７０３を進んだ渡航者６２０ｃは、渡航者６２０の居ないブース７０１に入る。ブース７０１に入った渡航者６２０ｄは、顔認証ゲート装置１０を利用して入国審査を受ける。顔認証ゲート装置１０による入国審査の詳細は後述する。

顔認証ゲート装置１０による入国審査で入国を認められず、審査官６１０ｃによる確認が必要であると判定された渡航者６２０ｅは、ブース７０１ｇから出て通路７０３に戻る。渡航者６２０ｅは、通路７０３をカウンター６００ｂの方へ進み、有人審査スペースの通路７０４に入って停止線７１０の手前に並ぶ。停止線７１０に並ぶ渡航者６２０ｆは、審査官６１０ｃに呼ばれるとカウンター６００ｂへ進み、審査官６１０ｃにパスポートを提示する。審査官６１０ｃは、顔認証ゲート装置１０で得られた情報、渡航者６２０ｇのパスポート等を確認しながら入国審査を行う。審査官６１０ｃによって入国を認められた渡航者６２０ｈは、カウンター６００ｂの左側から入国審査場を抜けて入国する。

一方、顔認証ゲート装置１０による入国審査で、渡航者６２０がパスポートの名義人本人であることが確認されて入国を認められると、ゲート装置１１のゲート１２が開く。入国を認められた渡航者６２０ｉは、ゲート１２を通過して、ブース７０１ａ外側にある審査通過者用の通路７０５に出る。渡航者６２０ｉがブース７０１から通路７０５へ出た後、ゲート１２は自動的に閉じる。

２列に並んだブース７０１の左右両外側には、各列の顔認証ゲート装置１０とパーティション７００とによって、審査通過者用の通路７０５が形成されている。顔認証ゲート装置１０による入国審査で入国を認められた渡航者６２０は、この通路７０５を通って入国する。具体的には、左側の列のブース７０１ａ〜７０１ｆから左側の通路７０５へ出た渡航者６２０ｊは、カウンター６００ａとカウンター６００ｂの間から入国審査場を抜けて入国する。右側の列のブース７０１ｇ〜７０１ｌから右側の通路７０５へ出た渡航者６２０ｋは、カウンター６００ｂとカウンター６００ｃの間から入国審査場を抜けて入国する。入国を許可された渡航者６２０は、パスポートに入国スタンプを押すことを希望する場合、通路７０５に隣接するカウンター６００ａ、６００ｂで、審査官６１０ｂ、６１０ｄに入国スタンプを押してもらう。

このように、入国審査システムを利用する入国審査場では、複数台の顔認証ゲート装置１０によって無人審査スペースが形成される。無人審査スペースには、顔認証ゲート装置１０による審査を受ける渡航者が入場する入口と、渡航者を有人審査スペースへと導く出口とを設けている。無人審査スペースでは、入口からの進入及び出口から有人審査スペースへの退出を除いて、渡航者が無人審査スペースの外へ出られないように、各顔認証ゲート装置１０のゲート１２によって渡航者の通行を制限している。顔認証ゲート装置１０による入国審査を通過した渡航者６２０は、ゲート１２を通り、審査通過者用の通路７０５を進んで入国することができる。顔認証ゲート装置１０で入国を認められなかった渡航者６２０は、ゲート１２を通過することができず、有人スペースへ移動して審査官６１０ｃによる審査を受ける。

次に、図２〜図４を参照しながら顔認証ゲート装置１０について説明する。以下の説明では、顔認証ゲート装置１０に正対して装置を利用する渡航者から見て右側を右、左側を左、渡航者に近い方を手前側、渡航者から遠い方を奥側とする。また、装置各部の説明では、渡航者が居る方を前面（正面）、これと反対側を背面とする。

図２は、操作表示部１１０に正対する方向から見た顔認証ゲート装置１０の外観図である。図３は、顔認証ゲート装置１０の外観を示す斜視図である。図４は、顔認証ゲート装置１０のサイズを説明するための図である。図４（ａ）は顔認証ゲート装置１０を上方から見た図を示している。図４（ｂ）は、図１に示す無人審査スペースの通路７０３側から見た顔認証ゲート装置を示している。

図２は、３組のパネル１２ａ〜１２ｃから形成されるゲート１２をゲート装置１１の本体内部に収納した状態を示している。パネル１２ａ〜１２ｃをたたんでゲート装置１１の本体内部に収納し、渡航者がゲート１２を通過できる状態が、ゲート１２が開いた状態である。一方、図３及び図４は、３組のパネル１２ａ〜１２ｃをゲート装置１１の本体外側に展開した状態を示している。３組のパネル１２ａ〜１２ｃを展開して渡航者がゲート１２を通過できない状態が、ゲート１２が閉じた状態である。

図２に示すように、顔認証ゲート装置１０は、ゲート装置１１を含む本体部１００と、本体部１００から上方に延びる柱部２００と、柱部２００の上に設けられた表示灯部３００とを含む。

本体部１００は、ゲート装置１１の他に、仕切パネル１０１、操作表示部１１０、第１顔認証カメラ７１、第２顔認証カメラ７２、顔認証ボタン１１１、通話部１３０、パスポート読取装置４００、物置台１４０及び人感センサ１２０を含む。

仕切パネル１０１は、隣接するブース７０１との間を仕切るため、図３及び図４（ａ）に示すように略正方形のブース７０１の一辺側に設けられている。仕切パネル１０１の上部は半透明の樹脂によって形成されている。この半透明部は、上面から見た形状が、隣接するブース７０１との間を仕切る一辺から、ゲート装置１１の上面まで続く略Ｌ字型形状となっている。仕切パネル１０１は、操作表示部１１０の上端を超える高さまで設けられている。

操作表示部１１０は、略六角柱形状の本体部筐体１０２の上面奥側に配置されている。操作表示部１１０はタッチパネル式の液晶表示装置から成り、渡航者へ操作案内等を表示する表示部として機能すると共に、渡航者の入力操作を受け付ける操作部としても機能する。操作表示部１１０は、渡航者が表示確認及び入力操作を行いやすいように、タッチパネル式の液晶画面を斜め上方に向けた傾斜状態で配置されている。

第１顔認証カメラ７１及び第２顔認証カメラ７２は、顔認証処理に利用する渡航者の顔画像を取得するために渡航者を撮像する機能を有する。第１顔認証カメラ７１及び第２顔認証カメラ７２により、渡航者の顔を撮像したカラーの可視光画像を取得することができる。第１顔認証カメラ７１及び第２顔認証カメラは、表示内容の確認や入力操作を行う際に渡航者が注目する操作表示部１１０の近傍に配置されている。具体的には、第１顔認証カメラ７１は操作表示部１１０の上側に配置され、第２顔認証カメラ７２は操作表示部１１０の下側に配置されている。第１顔認証カメラ７１及び第２顔認証カメラ７２は、操作表示部１１０と同様に、撮像範囲を斜め上方に向けた傾斜状態で配置されている。これにより、注目対象である操作表示部１１０で表示確認及び入力操作を行う渡航者の顔を略正面から撮像することができる。

顔認証ボタン１１１は、渡航者による、本人確認処理開始を指示する入力操作を受け付ける操作部として機能する。顔認証ボタン１１１は、渡航者からすると本人確認処理の開始を指示しているように見えるが、後述する顔照合処理においては、本人確認処理の結果に基づいて処理を進めるためのトリガー（きっかけ）となるものである。顔認証ボタン１１１は、例えば静電容量式のタッチパネルから成り、第１顔認証カメラ７１の下側に設けられている。顔認証ボタン１１１は、横方向に長い帯形状を有し、右利きの渡航者も左利きの渡航者も容易に操作することができる。

通話部１３０は、顔認証ゲート装置１０を利用する渡航者と、カウンター６００の審査官６１０との間で会話するために利用される。顔認証ゲート装置１０の通話部１３０は、カウンター６００に設けられた管理端末３０の通話部３１と接続されている（図５参照）。審査官６１０は、通話部３１を利用して、渡航者に指示したり操作案内を行ったりすることができる。ただし、審査官６１０が渡航者と会話する方法は、管理端末３０を利用する方法に限定されない。例えば、カウンター６００に管理端末３０とは別にインターホンを設置して、有線又は無線で顔認証ゲート装置１０の通話部１３０と接続し、通話部３１として利用する態様であってもよい。

パスポート読取装置４００は、ＩＣチップが埋め込まれているパスポートから情報を読み取る機能を有する。具体的には、パスポート券面にある文字情報（ＭＲＺ情報）や顔画像（パスポート写真）を読み取ると共に、ＩＣチップに保存されている顔画像、国籍、氏名、生年月日、旅券番号等の情報を読み取る。パスポート読取装置４００は、ＩＣチップ等の記憶媒体から情報を取得する取得部として機能するが詳細は後述する。

物置台１４０は、小さな鞄等を置くために利用される。板形状を有する物置台１４０は、本体部筐体１０２の前面に沿って該前面から突出した状態で設けられている。本体部筐体１０２の前面、物置台１４０の下側の位置に、人感センサ１２０が設けられている。人感センサ１２０は、赤外線等を利用したセンサで、図３に破線で示すブース７０１の領域内に進入した渡航者を検知する機能を有する。

柱部２００は中空構造を有し、図３に示すように、上部に配置された光源２１０を除く前面がハーフミラー（鏡面）になっている。ハーフミラーの裏側、柱部２００の内部には、図２に示すように、第３顔認証カメラ７３及び深度センサ５１１を含む第１不正検知部５１０と、第４顔認証カメラ７４と、第１サーマルカメラ８１及び第２サーマルカメラ８２とが設けられている。光源２１０は、例えばＬＥＤから成り、顔認証カメラ７１〜７４によって渡航者の顔を鮮明に撮像できるように渡航者を照らす照明として機能する。

鏡、樹脂やガラスの平滑面等、顔や姿が映り込む鏡面の前では、人は自分が映り込んだ鏡面に注目して、髪形や服装等を確認する傾向がある。鏡面を設置する狙いは、顔認証ゲート装置１０の前に来たときに渡航者が自然に鏡面に注目するように誘導し、渡航者の正面顔画像を撮像することにある。このため、柱部２００の前面を渡航者が注目する鏡面とし、その注目対象である鏡面部分の近傍に第３顔認証カメラ７３及び第４顔認証カメラ７４を配置している。

ここでいう鏡面部分の近傍とは、鏡面部分を含む周辺部分のことである。上述のように、鏡面部分であるハーフミラーの裏側に第３顔認証カメラ７３及び第４顔認証カメラ７４を配置するほか、鏡面部分の外側で鏡面部分に近い位置に配置してもよい。また、渡航者の身長差に対応できるように、第３顔認証カメラ７３の高さと第４顔認証カメラ７４の高さは異なっている。このように、映り込みを確認する渡航者の顔を捉えやすい位置に、渡航者の顔の位置が撮像範囲に含まれるようにカメラを配置することで、渡航者の顔画像を撮像しやすくなっている。

第１不正検知部５１０は、渡航者の静止画像及び動画像を取得すると共に、渡航者の骨格及び渡航者の動きを検知する機能を有する。第１不正検知部５１０は、第３顔認証カメラ７３として機能する画像センサと、深度センサ５１１とを有する。第１不正検知部５１０は、画像センサを利用して、渡航者を撮像したカラーの可視光静止画像及び可視光動画像を取得する。深度センサ５１１は、赤外線スポット光を照射する照射部と、各スポット光の反射光を受光する赤外線カメラとを含む。第１不正検知部５１０は、深度センサ５１１を利用して、投光した赤外線が反射して戻ってくるまでの時間から対象物の位置、奥行き（深度）を認識する。画像センサ（第３顔認証カメラ７３）及び深度センサ５１１を有する第１不正検知部５１０として、例えば、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）を利用する。例えば、渡航者が、他人の顔を撮像した画像を利用して他人になりすまそうとする場合がある。顔認証ゲート装置１０は、第１不正検知部５１０を利用して、顔部分に深度がないこと、すなわち顔に凹凸がないことに基づいて、この不正を検知する。

第１サーマルカメラ８１及び第２サーマルカメラ８２は、渡航者を撮像して温度を検知する機能を有する。例えば、渡航者が、他人の顔をかたどった仮面を付けて他人になりすまそうとする場合がある。仮面には、顔と同様の凹凸があるため、深度情報だけでは不正を検知できない可能性がある。このような場合に、顔認証ゲート装置１０は、第１サーマルカメラ８１及び第２サーマルカメラを利用して、顔部分の温度が異常であることに基づいて、この不正を検知する。

第３顔認証カメラ７３及び第４顔認証カメラ７４は、顔認証処理に利用する渡航者の顔画像を取得するために渡航者を撮像する機能を有する。第３顔認証カメラ７３及び第４顔認証カメラ７４により、渡航者の顔を撮像したカラーの可視光画像を取得することができる。

表示灯部３００は、ブース番号表示部３１０と、係員呼出表示部３２０と、第１監視カメラ９１及び深度センサ５２１を含む第２不正検知部５２０と、第２監視カメラ９２とを含む。表示灯部３００は、さらに、複数のランプを利用して顔認証ゲート装置１０の状態を示す状態表示部３３０を背面側に有しているが（図４（ａ）、図１５参照）、詳細は後述する。

図２に示すように、ブース番号表示部３１０と、係員呼出表示部３２０を構成する一部のランプとが、表示灯部３００の前面に配置されている。第２不正検知部５２０は、表示灯部３００の下面手前側に配置されている。第２監視カメラ９２は、表示灯部３００の右側面から右手前側に延びた腕部３４０の下面に配置されている。

ブース番号表示部３１０は、図１に示す複数のブース７０１それぞれを区別する識別番号を表示する機能を有する。識別番号は、各顔認証ゲート装置１０を識別する識別番号としても利用される。図２に示す表示灯部３００のうち、下面から腕部３４０上面までの部分は柱部２００に固定されている。一方、ブース番号表示部３１０は回転可能に設けられている。顔認証ゲート装置１０を設置する際の向きに応じて、渡航者から見やすい方向へブース番号表示部３１０を回転させることができる。

係員呼出表示部３２０は、図１に示すように無人審査スペースにコンシェルジュとして待機している空港係員６１１を呼び出すために利用される。係員呼出表示部３２０は、図３に示すように、表示灯部３００の側面に設けられた水平方向に長い帯状ランプと、表示灯部３００の前面に設けられた人型ランプとを含む。係員呼出表示部３２０の２つのランプは通常消灯しており、空港係員６１１を呼び出すときに点灯する。顔認証ゲート装置１０は、入国審査を開始した渡航者が行う所定操作を検知する機能を有している。例えば、ある操作から次の操作を行うまでの時間が、予め設定された所定時間を超えた場合、これを検知した顔認証ゲート装置１０は、渡航者の操作を補助する必要があると判定して係員呼出表示部３２０を点灯する。係員呼出表示部３２０が点灯すると、待機していた空港係員６１１が顔認証ゲート装置１０に向かい、渡航者の操作を補助する。空港係員６１１が操作表示部１１０で所定操作を行うと、係員呼出表示部３２０は消灯する。

第２不正検知部５２０は、渡航者の静止画像及び動画像を取得すると共に、渡航者の骨格及び渡航者の動きを検知する機能を有する。第２不正検知部５２０は、第１監視カメラ９１として機能する画像センサと、深度センサ５２１とを有する。第２不正検知部５２０は、表示灯部３００の下面に、画像センサによる撮像範囲及び深度センサ５２１による深度検知範囲を斜め前方に向けた傾斜状態で配置されている。これにより、第２不正検知部５２０によって、ブース７０１内の渡航者の骨格及び動きを検知することができる。第２不正検知部５２０は、第１不正検知部５１０と同一の構成及び機能を有する。具体的には、画像センサを利用して、渡航者を撮像したカラーの可視光静止画像及び可視光動画像を取得すると共に、深度センサ５２１を利用して、渡航者の骨格及び動きを検知する。例えば、ゲート１２が開いていないのに渡航者がゲート１２を超えて移動する場合がある。また、例えば、１人の渡航者が入国を許可されてゲート１２が開いた際に、この渡航者が、入国を許可されていない別の渡航者と一緒にゲート１２を通過する場合がある。顔認証ゲート装置１０は、第２不正検知部５２０を利用して、渡航者の動き、ゲート１２を通過する人数等に基づいて、このような不正を検知する。

第２監視カメラ９２は、ブース７０１内を撮像する機能を有する。第２監視カメラ９２は入国審査場の監視に利用される。第２監視カメラ９２は、腕部３４０の先端下面に、撮像範囲を斜め前方に向けた傾斜状態で配置されている。図４（ａ）に示すように、腕部３４０は、表示灯部３００の前面と略平行に右方向に延びた後、角度を変えてゲート１２と略平行な方向に延びている。第２監視カメラ９２は、操作表示部１１０に正対する渡航者を右側の斜め上方から撮像する。

図４（ａ）に示すように、操作表示部１１０は、画面を、略正方形のブース７０１の対角線の一方と略平行な状態で配置されている。言い換えれば、操作表示部１１０は、上方から見て略正方形のブース７０１内の一角側に、ブース７０１の各辺に対して画面を斜めにした状態で配置されている。本体部筐体１０２の上面には、操作表示部１１０を操作する渡航者から見て手前側に、パスポート読取装置４００が配置されている。

仕切パネル１０１は、図４（ａ）に示すようにブース７０１の左側に配置されている。顔認証ゲート装置１０を図１に示すように並べて配置することで、図４（ａ）に示すブース７０１の右側には、隣接する顔認証ゲート装置１０の仕切パネル１０１が配置されることになる。また、図４（ａ）上側にはゲート１２が配置されている。ゲート１２は、通常、渡航者が通過できないように閉じられている。渡航者は、図４（ａ）の左右及び上側の三方が塞がれたブース７０１に、図４（ａ）の下側から進入する。

図４（ａ）に示すように、本体部筐体１０２は、上方から見た形状が、縦横の寸法ｄ１が約５００ｍｍの正方形の四隅のうち対向する一対の隅部を切り欠いた略六角形形状となっている。ブース７０１は、上方から見た形状が、縦横の寸法ｄ２が約１２５０ｍｍの正方形となっている。３組のパネル１２ａ〜１２ｃを収納するゲート装置１１本体の幅ｄ１は、顔認証ゲート装置１０の本体部筐体１０２と同じく約５００ｍｍあり、３組のパネル１２ａ〜１２ｃを展開した際のゲート１２の幅ｄ３が約６５０ｍｍとなっている。このため、ゲート１２を閉じた状態では、ブース７０１に入った渡航者は、図４（ａ）の上側へ進むことはできない。顔認証ゲート装置１０による入国審査で入国を許可されると、ゲート装置１１がパネル１２ａ〜１２ｃを本体内部に収納してゲート１２を開き、渡航者は図４（ａ）の上側へ進んでブース７０１から抜けることができる。

図４（ｂ）に示す床面（斜線部）から、本体部筐体１０２の上面までの高さｈ１は約８５０ｍｍある。一方、ゲート装置１１の本体上面までの高さは約９００ｍｍあり、展開時の幅ｄ３が約６５０ｍｍのゲート１２をたたんで本体内部に収納できるようになっている。床面から顔認証ゲート装置１０上端までの高さｈ２は約２５５０ｍｍあり、表示灯部３００に表示される各種情報を、離れた場所から確認することができる。

顔認証ゲート装置１０は、本体部１００の操作表示部１１０近傍に配置された第１顔認証カメラ７１及び第２顔認証カメラ７２と、柱部２００に配置された第３顔認証カメラ７３及び第４顔認証カメラ７４の合計４つのカメラを利用して、顔認証処理用の顔画像を取得する。床面から第１顔認証カメラ７１までの高さｃ１が約１０７０ｍｍ、第２顔認証カメラ７２までの高さｃ２が約１２９０ｍｍ、第３顔認証カメラ７３までの高さｃ３が約１５２０ｍｍ、第４顔認証カメラ７４までの高さｃ４が約１７６０ｍｍとなっている。４つのカメラ７１〜７４をそれぞれ異なる高さに配置することにより、身長が低い渡航者の顔画像も撮像できるし、身長が高い渡航者の顔画像も撮像できる。また、車椅子を利用する渡航者の顔画像を撮像することも可能となっている。

図５は、顔認証ゲート装置１０を含む入国審査システムの構成例を示すブロック図である。図５に示すように、入国審査システムは、顔認証ゲート装置１０、管理サーバ２０、管理端末３０及び監視端末４０を含んで構成される。顔認証ゲート装置１０、管理サーバ２０、管理端末３０及び監視端末４０は、ＬＡＮ等のネットワーク５０を介して相互に通信可能に接続されている。図５には、入国審査システムの最小構成として、顔認証ゲート装置１０、管理サーバ２０、管理端末３０及び監視端末４０を１台ずつ示しているが台数は特に限定されない。

顔認証ゲート装置１０は、図２〜図４を参照しながら説明した各構成部に加えて、これら各部を制御する制御部１３と、各種情報を保存するための記憶部１４と、外部装置との間でデータ通信を行うための通信部１５とを有している。例えば、制御部１３、記憶部１４及び通信部１５を、コンピュータ装置によって構成する。

制御部１３は、顔認証ゲート装置１０を構成する各部を制御する。本実施形態に記載する顔認証ゲート装置１０の機能及び動作は、制御部１３による各部の制御によって実現される。制御部１３は、顔認証カメラ７１〜７４によって渡航者を撮像して得た画像から顔を検出して顔部分の画像を切り出す顔検出処理部として、また、パスポート読取装置４００によってパスポートのＩＣチップから読み取った顔画像と、顔認証カメラ７１〜７４によって渡航者を撮像して得た顔画像とが一致するか否かを顔認証処理によって判定する顔認証処理部としても機能する。ただし、顔認証ゲート装置１０が、制御部１３とは別に、顔検出処理部や顔認証処理部を有する態様であってもよい。

記憶部１４は、半導体メモリやハードディスク等の不揮発性メモリから成る。記憶部１４は、制御部１３の動作に必要なプログラムやデータ、顔認証ゲート装置１０の動作に必要なデータ、顔認証ゲート装置１０で得られた画像や情報等、各種データの保存に利用される。通信部１５は、ＬＡＮ等のネットワーク５０を介して管理サーバ２０、管理端末３０及び監視端末４０とデータを送受信する。

管理サーバ２０は、例えばコンピュータ装置によって構成される。管理サーバ２０は、顔認証ゲート装置１０による入国審査に必要な情報、顔認証ゲート装置１０でパスポートのＩＣチップ及び券面から得られた情報、顔認証ゲート装置１０で撮像した渡航者の画像等を保存して管理する機能を有する。

例えば、管理サーバ２０は、全ての顔認証ゲート装置１０で得られた渡航者の顔画像、国籍、氏名、生年月日、旅券番号、審査結果等の情報と、取得日時とを、審査履歴として管理している。

また、例えば、管理サーバ２０は、入国審査時に審査官６１０による確認が必要な人物の顔画像、国籍、氏名、生年月日、旅券番号等の情報をブラックリストとして管理している。顔認証ゲート装置１０が渡航者のパスポートから取得した情報や渡航者を撮像した画像の中に、ブラックリストに登録されている情報と一致するものがある場合、顔認証ゲート装置１０は、ゲート１２を開放せず、審査官６１０による審査を受けるよう渡航者を案内する。ブラックリストは、管理サーバ２０で管理される態様に限定されず、例えば、ネットワーク５０に接続された別のサーバ装置で管理される態様であってもよい。また、顔認証ゲート装置１０で得られた情報と、ブラックリストに登録された情報とを照合する処理は、顔認証ゲート装置１０が実行する態様であってもよいし、管理サーバ２０が実行する態様であってもよい。

管理端末３０は、例えばコンピュータ装置によって構成される。管理端末３０は、顔認証ゲート装置１０及び管理サーバ２０から取得した各種情報を画面上に表示する機能を有する。管理端末３０は、図１に示すようにカウンター６００内に設置される。審査官６１０は、各人に１台ずつ割り当てられた管理端末３０を利用して、複数台の顔認証ゲート装置１０を管理する。また、審査官６１０は、管理端末３０を利用して渡航者の入国審査を行う。

１台の管理端末３０、すなわち１人の審査官６１０が、管理対象とする顔認証ゲート装置１０は予め設定することができる。例えば、図１に示す左側の列を形成する６台の顔認証ゲート装置１０ａ〜１０ｆは、カウンター６００ａの審査官６１０ｂが利用する管理端末３０ｂの管理対象として、予め設定されている。また、右側の列を形成する６台の顔認証ゲート装置１０ｇ〜１０ｌは、カウンター６００ｂの審査官６１０ｄが利用する管理端末３０ｄの管理対象として、予め設定されている。

図６は、管理端末３０に表示される画面例を示す図である。図１に示す審査官６１０ｂが利用する管理端末３０ｂの画面上には、図６に示すように、管理対象とする６台全ての顔認証ゲート装置１０ａ〜１０ｆの情報が表示される。同様に、審査官６１０ｄが利用する管理端末３０ｄの画面上には、審査官６１０ｄが管理する６台全ての顔認証ゲート装置１０ｆ〜１０ｌの情報が表示される。

管理端末３０は、各顔認証ゲート装置１０から取得した情報を画面上に表示する。図６に示すように、１つの枠９０１内に、１台の顔認証ゲート装置１０の情報が表示される。枠９０１内の上部には、審査情報として、審査状況、ステータス、旅券番号及び確認事項が表示される。

画面上の審査状況には、入国審査を行う際の複数工程のうち、どの工程にあるかを示す情報が表示される。顔認証ゲート装置１０による入国審査は、ブース７０１へ進入した渡航者の検知、パスポートからの情報取得、ブラックリストとの照合、顔認証処理による本人確認、入国可否判定、判定結果に基づくゲート１２の開放又は有人審査への案内という工程で行われる。これらの工程のうちどの工程にあるかを示す情報が、管理端末３０の画面上に審査状況として表示される。

例えば、ブース７０１内に入った渡航者を人感センサ１２０によって検知すると、審査状況に「人感検知」と表示される。パスポート読取装置４００によってパスポートのＩＣチップ及び券面から情報取得を開始すると、審査状況に「Ｐ読取」と表示される。パスポートからの情報取得を終えて顔認証処理による本人確認を開始すると、審査状況に「顔認証」と表示される。本人確認の結果に基づいて入国を許可された渡航者のためにゲート１２を開放する際には、審査状況に「ゲート開放」と表示される。

画面上の旅券番号には、パスポート読取装置４００によって渡航者のパスポートから取得した旅券番号が表示される。パスポート読取装置４００が旅券番号を取得すると、画面上の旅券番号の表示が「なし」から、取得した旅券番号の表示に更新される。

画面上のステータスには、処理状況を示す情報が表示される。例えば、ブース７０１内に入った渡航者を検知した後、パスポートからの情報取得を待っている間は「待機中」と表示される。また、例えば、顔認証処理による本人確認を開始して、顔認証カメラ７１〜７４で取得した渡航者の顔画像と、パスポートのＩＣチップから取得した顔画像とを比較照合している間は「照合中」と表示される。

画面上の確認事項には、審査官６１０へ報知する情報が表示される。例えば、パスポートのＩＣチップから取得した顔画像と、顔認証カメラ７１〜７４で取得した顔画像とが一致しなかった場合は「顔認証ＮＧ」と表示される。また、例えば、パスポートのＩＣチップから取得した旅券番号等の情報がブラックリストに登録されている情報と一致した場合は「ブラックリスト」と表示される。

図６に示すように、審査情報の下に、パスポート読取装置４００がパスポートのＩＣチップから取得した顔画像が、ＩＣ顔画像として表示される。また、顔認証カメラ７１〜７４によって渡航者を撮像して取得した顔画像が、撮像顔画像として表示される。以下、パスポートのＩＣチップから取得した顔画像を「ＩＣ顔画像」と記載し、顔認証カメラ７１〜７４によって渡航者を撮像して取得した顔画像を「撮像顔画像」と記載して区別する。

画面上の撮像顔画像の表示は、顔認証カメラ７１〜７４によって新たな顔画像を取得する度に、新たな顔画像に更新される。複数の顔認証カメラ７１〜７４によって複数の顔画像を取得できた場合には、得られた複数の顔画像の中から選択した１つの顔画像が表示される。例えば、予め複数の顔認証カメラ７１〜７４に優先度を設定すると、優先度に応じて選択された撮像顔画像が表示される。この他、複数の顔認証カメラ７１〜７４の中から予め１つを選択して、常に、選択した顔認証カメラによって撮像した画像を表示する設定とすることもできる。

図６に示すように、ＩＣ顔画像及び撮像顔画像の下に、パスポート読取装置４００が渡航者のパスポートの内側券面を撮像した画像が、パスポート画像として表示される。また、その下に、監視カメラ９１で渡航者を撮像した画像が、監視カメラ画像として表示される。監視カメラ画像の表示は、所定の時間間隔で新たに撮像された画像に更新される。なお、監視カメラ画像として、第１監視カメラ９１によって取得した画像を利用する態様に限定されるものではなく、第２監視カメラ９２によって取得した画像を利用する態様であってもよい。

通常、２人の審査官６１０は、それぞれ図６に示す画面表示を確認しながら、担当する６台の顔認証ゲート装置１０を管理している。必要に応じて管理端末３０で所定の操作を行うことにより、１人の審査官６１０が１２台全ての顔認証ゲート装置１０を管理することもできる。例えば、審査官６１０ｄの利用する管理端末３０ｄが故障するなどした場合に、審査官６１０ｂは、管理端末３０ｂを操作して、顔認証ゲート装置１０ｇ〜１０ｌを管理する端末を管理端末３０ｄから管理端末３０ｂに変更する。この結果、それまで６台の顔認証ゲート装置１０ａ〜１０ｆの情報が表示されていた管理端末３０ｂの画面表示が切り替わり、画面上に、１２台の顔認証ゲート装置１０ａ〜１０ｌの情報が表示される。

図７は、管理対象とする顔認証ゲート装置１０を変更した際に表示される画面例を示す図である。管理対象とする顔認証ゲート装置１０の台数を６台から１２台に変更する操作を行うと、図６に示すように６台分の情報を表示していた管理端末３０ｂの画面が、図７に示すように左右２つの領域９０３、９０４に分割される。左側の領域９０３には、管理端末３０ｂが管理していた６台の顔認証ゲート装置１０ａ〜１０ｆの情報が表示される。右側の領域９０４には、新たに管理端末３０ｂの管理対象に加えられた６台の顔認証ゲート装置１０ｇ〜１０ｌの情報が表示される。画面を２つの領域に分割したことにより、１台の顔認証ゲート装置１０の情報を表示する枠９０２の幅が、図６に示す枠９０１の半分になる。管理端末３０は、各情報の配置を変更すると共に、少なくとも一部の情報を縮小表示することにより、枠９０２内に、枠９０１内と同じ情報を表示する。

画面上に１２台分の情報を表示した状態で、管理端末３０ｂで所定操作を行うことにより、６台の顔認証ゲート装置１０ｇ〜１０ｌを管理対象から外すこともできる。管理対象を元の６台に戻す操作を行うと、管理端末３０ｂの画面上の表示が図７に示す表示態様から図６に示す表示態様に戻る。

別の管理端末３０で管理していた顔認証ゲート装置１０を新たに管理対象に加えたり再び管理対象から外したりする操作は、管理端末３０が備えるキーボードの所定キーを押す一操作で容易に実行することができる。具体的には、例えば、１列分６台の顔認証ゲート装置１０ａ〜１０ｆを管理する管理端末３０ｂで所定キーを押す度に、図６に示す画面表示と図７示す画面表示との間で表示が切り替わる。

管理対象とする顔認証ゲート装置１０の切り替えは、同じ無人審査スペースを管理する複数の管理端末３０の間で、各管理端末３０が管理する顔認証ゲート装置１０を対象として行われる。例えば、１２台の顔認証ゲート装置１０を４台ずつ３つのグループＡ〜Ｃに分けて、３台の管理端末３０で各グループを管理しているとする。この場合、グループＡの４台の顔認証ゲート装置１０の情報を表示して管理する管理端末３０で、所定キーを押す度に、画面上の表示が、グループＡ及びＢの８台の情報表示、グループＡ及びＣの８台の情報表示、グループＡ〜Ｃの１２台の情報表示と画面表示が順に切り替わる。そして、再び所定キーを押すとグループＡの４台の情報表示に戻るようになっている。なお、顔認証ゲート装置１０を割り当てられていない管理端末３０では、グループＡ、Ｂ及びＣの中から１つのグループ、２つのグループ又は３つ全てのグループを選択して、選択したグループの情報を画面上に表示させることができる。

このように、審査官６１０は、管理端末３０の画面表示を切り替えて、別の管理端末３０が管理する顔認証ゲート装置１０の状況を確認することができる。例えば、管理端末３０が故障した場合や、管理端末３０を担当する審査官６１０が離席する場合も、この管理端末３０が管理する顔認証ゲート装置１０を別の管理端末３０の管理対象に加えて、全ての顔認証ゲート装置１０の利用を継続することができる。

顔認証ゲート装置１０で渡航者のパスポートから取得したＩＣ顔画像と、顔認証カメラ７１〜７４によって渡航者を撮像して取得した撮像顔画像とが一致しなかった場合、管理端末３０は、図６に示す画面の確認事項に「顔認証ＮＧ」と表示する。管理端末３０は、確認事項の表示を点滅させたり所定の報知音を発したりするなどして、確認事項の発生を審査官６１０に報知する。報知を受けた審査官６１０は、管理端末３０で所定の操作を行って、「顔認証ＮＧ」と表示されている顔認証ゲート装置１０の情報を拡大表示することができる。

図８は、確認事項が発生した渡航者の情報を拡大表示した管理端末３０の画面例を示す図である。拡大表示する際には、管理端末３０の画面が左右２つの領域９０５、９０６に分割される。左側の領域９０５には、管理端末３０が管理する全ての顔認証ゲート装置１０の監視カメラ画像が表示される。管理端末３０は、表示する情報の種類を限定することにより、領域９０５に全ての顔認証ゲート装置１０の情報を表示する。

右側領域９０６の枠９０７内には、確認事項が発生した顔認証ゲート装置１０の情報が拡大表示される。具体的には「顔認証ＮＧ」となった顔認証ゲート装置１０の審査状況、ステータス、旅券番号、確認事項、ＩＣ顔画像、過去顔画像、撮像顔画像が表示される。また、管理端末３０は、枠９０７内に、ゲート開放ボタン及び有人審査ボタンを表示する。なお、画面右側領域９０６の下部領域９０８に、もう１台分の顔認証ゲート装置１０の情報を同時に拡大表示できるようになっている。

管理端末３０は、図６に示す通常表示に比べて拡大した状態でＩＣ顔画像及び撮像顔画像を画面上に表示する。また、管理端末３０は、これらのＩＣ顔画像及び撮像顔画像と並べて、同じ大きさで、過去顔画像を表示する。過去顔画像とは、過去に行われた入国審査、出国審査等で、本人確認した際に取得した渡航者の顔画像である。過去に取得した渡航者の顔画像は、該渡航者の旅券番号等と関連付けた状態で、管理サーバ２０で管理されている。管理端末３０は、確認事項が発生した顔認証ゲート装置１０の情報を拡大表示する際に、旅券番号に基づいて管理サーバ２０に情報を問い合わせる。そして、過去顔画像が記録されていれば、これを取得して画面上に表示する。

審査官６１０は、過去に本人確認した際の過去顔画像と撮像顔画像とを比較する。そして、顔認証ゲート装置１０を利用中の渡航者はパスポート名義人本人であり、入国を許可してよいと判断した場合、審査官６１０は、図８に示す画面上のゲート開放ボタンを押す操作を行う。この操作を受けて、管理端末３０は、ゲート１２の開放を命令する命令信号を顔認証ゲート装置１０へ送信する。命令信号を送信した後、管理端末３０は、拡大表示を解除して図６に示す通常画面を表示する。命令信号を受けた顔認証ゲート装置１０は、ゲート装置１１を制御してゲート１２を開放する。この結果、渡航者はゲート１２を通過して入国することができる。

一方、入国を許可できないと判断した場合、審査官６１０は、図８に示す画面上の有人審査ボタンを押す操作を行う。この操作を受けて、管理端末３０は、有人審査への案内を命令する命令信号を顔認証ゲート装置１０へ送信する。命令信号を送信した後、管理端末３０は、拡大表示を解除して図６に示す通常画面を表示する。命令信号を受けた顔認証ゲート装置１０は、ゲート１２を閉鎖したまま、カウンター６００に進んで審査官６１０による審査を受けるよう指示する情報を操作表示部１１０の画面上に表示して渡航者を案内する。渡航者は、無人審査スペースを抜けてカウンター６００に進み、審査官６１０による審査を受けることになる。

図８に示すように確認事項が発生した顔認証ゲート装置１０の情報を拡大表示した後、画面上のゲート開放ボタン及び有人審査ボタンの操作が行われないまま所定時間が経過すると、管理端末３０は、有人審査が必要であると判定する。有人審査を行うと判定した管理端末３０は、拡大表示を解除して図６に示す通常画面を表示する。また、顔認証ゲート装置１０は、「顔認証ＮＧ」等の確認事項が発生してから所定時間を経過しても管理端末３０から命令信号を受信できない場合、有人審査が必要であると判定する。有人審査を行うと判定した顔認証ゲート装置１０は、上述したように審査官６１０が居るカウンター６００へ渡航者を案内する処理を実行する。

なお、顔認証ゲート装置１０で確認事項が発生した場合でも、管理端末３０が図８に示す拡大表示を行わず、審査官６１０による確認を求めない場合もある。具体的には、例えば、顔認証ゲート装置１０がパスポートから取得した情報が、管理サーバ２０で管理されるブラックリストの登録情報と一致した場合、拡大表示及び審査官６１０による確認は行われない。この場合、顔認証ゲート装置１０は、管理端末３０からの命令信号を待たずに有人審査が必要であると判定する。また、全ての確認事項について、管理端末３０への確認事項発生の報知のみを行って、管理端末３０からの命令信号を待たずに、顔認証ゲート装置１０が判定処理を進める設定とすることもできる。

審査を担当する審査官６１０ｂの管理端末３０ｂの画面上には、有人審査が必要であると判定された渡航者の情報が、判定された順に表示される。審査官６１０ｂは、管理端末３０ｂの画面表示を確認しながら、有人審査対象と判定された渡航者を順に審査する。

図９は、有人審査を行う管理端末３０ｂに表示される画面例を示す図である。図９に示すように、有人審査を行う管理端末３０ｂの画面には、有人審査対象と判定された判定理由９０９と、顔認証ゲート装置１０で取得した渡航者のＩＣ顔画像及び撮像顔画像と、旅券番号に基づいて管理サーバ２０から取得した過去顔画像と、パスポート画像と、管理サーバ２０で管理されている関連情報とが表示される。管理サーバ２０は、過去顔画像に加えて、過去の渡航情報、審査情報等を旅券番号と関連付けて管理している。管理端末３０は、渡航者の旅券番号に基づいて管理サーバ２０に情報を問い合わせ、渡航者に関する過去の情報があれば、これを関連情報として画面上に表示する。図９は、顔認証処理で不一致とされた場合の例を示しているが、例えばブラックリストの登録情報と一致するとして有人審査の対象となった場合は、画面上にブラックリストに登録されている情報が関連情報として表示される。

図９に示すＩＣ顔画像、過去顔画像及び撮像顔画像の下に、各画像から切り出したＩゾーン画像９１０が表示される。Ｉゾーン画像９１０は、顔画像から、目頭、鼻尖及び唇を含むＩ字型の領域を、Ｉゾーンとして切り出して拡大した画像である。目頭、鼻尖及び唇を含むＩゾーンの特徴は化粧等によっても隠れにくく、化粧の違いで顔が違って見える場合でもＩゾーン画像９１０を比較することにより同一人物であると判断できる可能性がある。このため、管理端末３０は、有人審査を行う際、顔認証ゲート装置１０及び管理サーバ２０から取得した各顔画像からＩゾーンを切り出して拡大したＩゾーン画像９１０を生成して画面上に表示する。審査官６１０は、画面に表示された情報を確認しながら渡航者を審査する。審査官６１０は、管理端末３０を操作して、顔認証ゲート装置１０で得られた渡航者の撮像顔画像を選択して渡航者の旅券番号等の情報と共に管理サーバ２０に送信することができる。管理サーバ２０は、管理端末３０から受信した撮像顔画像を過去顔画像として旅券番号等の情報と関連付けて管理する。

次に、監視端末４０について説明する。図５に示す監視端末４０は、例えばコンピュータ装置によって構成される。監視端末４０は、入国審査場から離れた別の部屋に設置され、監視員が入国審査場を監視するために利用される。監視端末４０は、ネットワーク５０を介して、各顔認証ゲート装置１０に設けられた第２監視カメラ９２と接続されている。第２監視カメラ９２は、通信部１５を介さず、直接ネットワーク５０に接続されている。

第２監視カメラ９２は、顔認証ゲート装置１０から独立して稼働する。監視端末４０は、顔認証ゲート装置１０の電源がオフにされた後も継続して稼働する第２監視カメラ９２から、ブース７０１を含む領域を斜め上方から撮像した画像を取得して画面上に表示する。監視端末４０の画面上には、第２監視カメラ９２で撮像した画像に加えて、空港各所に設置された監視カメラの画像も表示される。

図１０は、監視端末４０に表示される画面例を示す図である。監視端末４０の画面は、上側の拡大表示領域９１１と、下側の一覧表示領域９１２とに分割されている。一覧表示領域９１２には、全ての監視カメラで得られた画像が、各監視カメラに付与された識別番号順に一覧表示される。

拡大表示領域９１１は左右に並ぶ４つの領域に分割されている。所定条件を満たす監視カメラの画像、及び手動選択された監視カメラの画像が、拡大表示領域９１１に拡大表示される。具体的には、監視端末４０は、監視カメラで得られた画像を解析して動体検知や人物検知の処理を実行し、所定の動作や所定の人物を検知した監視カメラの画像を拡大表示領域９１１に拡大表示する。また、監視端末４０の画面表示を確認する監視員が、一覧表示領域９１２に表示されている監視カメラの画像を選択する操作を行うと、監視端末４０は、選択された画像を拡大表示領域９１１に拡大表示する。

監視端末４０は、拡大表示領域９１１に拡大表示された監視カメラ画像と、一覧表示領域９１２に一覧表示された監視カメラ画像との対応を容易に認識できるように両画像を表示する。具体的には、図１０に示すように、識別番号Ｎｏ．３の監視カメラの画像を拡大表示領域９１１の左端の枠内に拡大表示した監視端末４０は、それまでＮｏ．３の監視カメラの画像を表示していた一覧表示領域９１２の枠内に、拡大表示領域９１１の４つの枠を模式的に示すアイコン等のグラフィック画像を表示する。そして、監視端末４０は、グラフィック画像で示す４つの枠のうち拡大表示に利用した左端の１つの枠内を、他の３つの枠内と異なる色で表示する。

続いてＮｏ．８の監視カメラの画像を拡大表示領域９１１に表示する場合、監視端末４０は、拡大表示領域９１１の左から２つ目の枠に、この画像を拡大表示する。監視端末４０は、拡大表示を開始すると同時に、それまでＮｏ．８の監視カメラの画像を表示していた一覧表示領域９１２の枠内に、拡大表示領域９１１の４つの枠を示すグラフィック画像を表示する。そして、グラフィック画像で示す４つの枠のうち拡大表示に利用した左から２つ目の枠内を、他の３つの枠内と異なる色で表示する。

このように、監視端末４０は、一覧表示領域９１２に一覧表示した複数の監視カメラ画像の中から１つを拡大表示領域９１１に拡大表示する際に、それまでこの画像を表示していた一覧表示領域９１２の枠内に、拡大表示領域９１１を模式的に示すグラフィック画像を表示する。そして、このグラフィック画像上で、一覧表示領域９１２に表示していた監視カメラ画像を、拡大表示領域９１１のどの位置に拡大表示しているかを示す。これにより、監視員は、拡大表示領域９１１に拡大表示された監視カメラ画像と、一覧表示領域９１２に一覧表示された監視カメラ画像との対応関係を容易に認識することができる。

次に、図１１〜図１４を参照しながらパスポート読取装置４００について説明する。図５に示すように、パスポート読取装置４００は、２つの位置検知センサ４１１、４１２と、画像取得部４２０と、ＩＣ情報取得部４３０とを含む。

図１１は、パスポート読取装置４００の構成を説明するための斜視図である。図１１は、顔認証ゲート装置１０の本体部筐体１０２の上部から柱部２００の下部までの領域を模式的に示している。本体部筐体１０２の上面奥側に配置された操作表示部筐体１０４は、前面上部に傾斜面を有する。傾斜面には、上から順に、第１顔認証カメラ７１、操作表示部１１０、第２顔認証カメラ７２及び顔認証ボタン１１１が配置されている。

本体部筐体１０２の上面、操作表示部筐体１０４の手前に、寄棟型に組み合わせた３つの傾斜面４０１ａ、４０１ｂ、４０１ｃによって、パスポート読取装置４００を構成するパスポート載置台４０１（４０１ａ、４０１ｂ、４０１ｃ）が形成されている。

パスポート載置台４０１は、断面山型に組み合わせた２つの傾斜面４０１ａ、４０１ｂの奥側縁部を、操作表示部筐体１０４の前面に接した状態で形成されている。２つの位置検知センサ４１１、４１２は、操作表示部筐体１０４の前面下部に配置されている。

パスポート載置台４０１を形成する一方の傾斜面４０１ａには、透明のガラス板４２１が嵌め込まれている。この傾斜面４０１ａの下方、本体部筐体１０２内部に、画像取得部４２０が配置されている。画像取得部４２０は、開いた状態でパスポート載置台４０１に載置されたパスポートの内側券面を撮像する。他方の傾斜面４０１ｂは不透明樹脂から成る。この傾斜面４０１ｂの下方、本体部筐体１０２内部に、ＩＣ情報取得部４３０が配置されている。ＩＣ情報取得部４３０は、パスポート載置台４０１に載置されたパスポートに埋め込まれたＩＣチップから情報を取得する。

図１２は、パスポート載置台４０１の外観を示す図である。図１２（ａ）〜（ｃ）は、それぞれパスポート載置台４０１の上面図、正面図、側面図を示している。なお、図１２〜図１４では、操作表示部１１０に正対した方向から見た図を正面図としている。

図１２（ａ）に示すように、断面山型に組み合わせた２つの傾斜面４０１ａ、４０１ｂの接合部には、曲面から成る頂面４０１ｄが形成されている。右側の傾斜面４０１ａを形成するガラス板４２１は、頂面４０１ｄを超えて僅かに傾斜面４０１ｂまで達している。２つの傾斜面４０１ａ、４０１ｂ及び頂面４０１ｄの手前側（図１２（ａ）下側）縁部と、本体部筐体１０２上面とを滑らかに接続する形で、傾斜面４０１ｃが形成されている。２つの傾斜面４０１ａ、４０１ｂ及び頂面４０１ｄの奥側（図１２（ａ）上側）の縁部は、操作表示部筐体１０４の前面に接している。図１２（ｂ）に示す断面山型のパスポート載置台４０１の高さＨは約３０ｍｍ、幅Ｗは約２９０ｍｍで、２つの傾斜面４０１ａ、４０１ｂの間の角度αは約１６０度となっている。図１２（ｃ）に示すパスポート載置台４０１の奥行Ｄは約１７０ｍｍとなっている。

図１２（ａ）及び（ｂ）に示すように、位置検知センサ４１１、４１２は、それぞれ投光部４１１ａ、４１２ａと、受光部４１１ｂ、４１２ｂとの間で、水平方向に検知光を投受光する透過型センサである。

図１３は、パスポート載置台４０１へのパスポートの載置方法を示す図である。図１３（ａ）は上面図を示し、図１３（ｂ）は正面から見た断面模式図を示している。渡航者の画像、氏名、旅券番号等が記載されているパスポート８００のページを開いて、図１３（ａ）に示すように、パスポート載置台４０１の上に載置する。このとき、パスポート写真や旅券番号等を含むパスポート８００内側の券面をガラス板４２１と対向させる向きでパスポート８００を載置する。また、図１３（ｂ）に示すように、表紙と裏表紙を接続する背の部分が、山型断面を有するパスポート載置台４０１の頂上部（頂面４０１ｄ）と重なるようにパスポート８００を載置する。

表紙と裏表紙との間に複数ページを有する冊子型のパスポートは、表紙及び裏表紙を上にして開いた状態で机上に置くと、閉じられた状態に戻ろうとする閉じ癖によって、背の部分が浮かび上がることがある。パスポート載置台４０１は、山型の略三角形断面を形成する傾斜面４０１ａ、４０１ｂを含んで構成されている。これにより、図１３（ｂ）に示すようにパスポート８００を載置して、手を離しても、内側の券面がガラス板４２１に接した状態を維持することができる。ガラス板４２１は、山型断面の頂面４０１ｄを超える領域まで達しており、画像取得部４２０は、パスポート写真や旅券番号等を含むパスポート８００の券面の略全面を撮像することができる。パスポート読取装置４００は、画像取得部４２０で取得した券面画像を利用して、パスポート券面の写真から渡航者の顔画像を取得すると共に、パスポート券面に印刷されている渡航者の国籍、氏名等の情報を文字認識して取得する。パスポートの券面画像又はパスポート券面から取得した顔画像は、操作表示部１１０の画面上に表示される。渡航者は、画面上の顔画像を見て、パスポートが自身のものであることを確認することができる。

パスポート８００の内側券面のどの位置で文字認識を行うかについては、予め設定情報が準備されている。パスポート読取装置４００は、この設定情報に基づいて、券面画像で文字認識処理を実行する。なお、設定情報については、顔認証ゲート装置１０の記憶部１４に保存する態様であってもよいし、パスポート読取装置４００が記憶部を備え、この記憶部内に保存する態様であってもよい。

パスポート８００の内側券面には、パスポート８００に埋め込まれたＩＣチップから情報を取得するためのキーとなる文字列が印刷されている。画像取得部４２０で取得した券面画像で文字認識処理を行ってキーとなる文字列を得た後、ＩＣ情報取得部４３０は、このキーを利用してＩＣチップに登録されている顔画像、国籍等の情報を取得する。ＩＣ情報取得部４３０は、無線通信技術を利用してＩＣチップに登録されている情報を読み取る非接触型のＩＣリーダとして機能する。

図１４は、パスポート読取装置４００によるパスポートの検知方法を説明する模式図である。図１４（ａ）は側面図を示し、図１４（ｂ）〜（ｄ）は正面図を示している。図１４（ａ）に示すように、位置検知センサ４１１は、検知光が、パスポート載置台４０１の頂上より僅か上方を通過するように配置されている。位置検知センサ４１１は、パスポート８００の有無を検知する有無検知センサとして機能する。位置検知センサ４１２は、位置検知センサ４１１の上方に配置されている。位置検知センサ４１２は、閉じ癖によってパスポート載置台４０１から浮き上がったパスポート８００を検知する浮き上がり検知センサとして機能する。

パスポート載置台４０１にパスポート８００がないときは、図１４（ｂ）に示すように、有無検知用の位置検知センサ４１１及び浮き上がり検知用の位置検知センサ４１２の両方が透光状態となる。

パスポート載置台４０１にパスポート８００が置かれると、図１４（ｃ）に示すように、有無検知用の位置検知センサ４１１の検知光がパスポート８００によって遮られて遮光状態となる。このとき、パスポート８００の内側券面がパスポート載置台４０１に接した状態であれば、浮き上がり検知用の位置検知センサ４１２は透光状態のままとなる。このように位置検知センサ４１１が透光状態かつ位置検知センサ４１２が遮光状態になると、パスポート読取装置４００は、良好なパスポート８００の券面画像を取得できると判定する。そして、パスポート読取装置４００は、画像取得部４２０及びＩＣ情報取得部４３０による情報取得の処理を開始する。

パスポート載置台４０１に置かれたパスポート８００が閉じ癖によって浮き上がると、図１４（ｄ）に示すように、有無検知用の位置検知センサ４１１及び浮き上がり検知用の位置検知センサ４１２の両方が遮光状態となる。このように位置検知センサ４１１が遮光状態かつ位置検知センサ４１２が遮光状態になると、パスポート読取装置４００は、浮き上がりにより、良好な券面画像を取得できないと判定する。この判定を受けて、顔認証ゲート装置１０の制御部１３は、パスポート８００の券面をパスポート載置台４０１に接触させるよう渡航者に指示する情報を操作表示部１１０の画面上に表示する。渡航者がパスポート８００を上から押さえて、図１４（ｃ）に示すように、浮き上がり検知用の位置検知センサ４１２が透光状態に変わると、これを認識したパスポート読取装置４００は、画像取得部４２０によってパスポート８００の内側券面を撮像すると共に、ＩＣ情報取得部４３０によってＩＣチップから情報を取得する。

パスポート８００の券面画像から渡航者の顔画像及び文字情報を取得すると共にＩＣチップから情報を取得したパスポート読取装置４００は、パスポート８００の読取を完了したことを示す情報を制御部１３に通知する。通知を受けた制御部１３は、パスポート８００からの情報取得に成功したことを示す情報を操作表示部１１０の画面上に表示する。この表示を受けて、渡航者はパスポート８００を押さえていた手を離すことができる。

画像取得部４２０による券面画像の撮像、券面画像からの情報取得、ＩＣ情報取得部４３０によるＩＣチップからの情報取得に係る処理は、パスポート読取装置４００が行う態様であってもよいし、顔認証ゲート装置１０の制御部１３がパスポート読取装置４００を利用して行う態様であってもよい。

このように、パスポート読取装置４００は、パスポート８００に閉じ癖がついている場合でも、パスポート８００の券面を撮像した良好な画像を取得することができる。パスポート８００の閉じ癖が強いためにパスポート８００がパスポート載置台４０１から浮かび上がった場合、パスポート読取装置４００は、位置検知センサ４１２によってこれを検知することができる。また、パスポート８００の浮き上がりが押さえられると、パスポート読取装置４００は、位置検知センサ４１２によってこれを検知して、パスポート８００の券面を撮像する。これにより、パスポート８００から情報を取得する処理を短時間で容易に進めることができる。

次に、図１５及び図１６を参照しながら表示灯部３００について説明する。図１５は、表示灯部３００を背面側から見た外観を示す斜視図である。柱部２００の上に設けられた表示灯部３００は、ブース番号表示部３１０が設けられた上部と、係員呼出表示部３２０、状態表示部３３０及び腕部３４０が設けられた下部とに分かれている。下部は柱部２００上端に固定されているのに対し、ブース番号表示部３１０は、下部に対して回転可能に設けられている。

図１５に示すように、状態表示部３３０は、第１ランプ３３０ａ、第２ランプ３３０ｂ、第３ランプ３３０ｃ及び第４ランプ３３０ｄの複数のランプを含む。第１ランプ３３０ａ〜第４ランプ３３０ｄは例えばＬＥＤ等から成り、各ランプが異なる色で発光する。第１ランプ３３０ａ〜第４ランプ３３０ｄは、表示灯部３００の背面に沿って水平方向に長く設けられた帯形状を有する。これにより、図１に示すように顔認証ゲート装置１０を設置した際に、複数の審査官６１０ｂ〜６１０ｄが、状態表示部３３０の発光状態を確認できるようになっている。

制御部１３は、図１５に示す各ランプ３３０ａ〜３３０ｄの発光状態の組み合わせを変更することにより、複数の状態を審査官６１０に報知する。図１６は、状態表示部３３０による状態表示の例を説明するための図である。図１６に示すように、第１ランプ３３０ａ〜第４ランプ３３０ｄ全てが消灯しているときは、顔認証ゲート装置１０が渡航者の入国審査を行っていない待機状態であることを示している。第１ランプ３３０ａが点滅しているときは、顔認証ゲート装置１０のゲート１２を不正に通行する不正通行が発生したことを示している。第２ランプ３３０ｂが点灯しているときは、顔認証ゲート装置１０が渡航者のパスポートを確認中であることを示している。第３ランプ３３０ｃが点滅し、かつ、第４ランプ３３０ｄが点滅しているときは、渡航者の顔認証処理を実行中であることを示している。このように、制御部１３は、状態表示部３３０の各ランプ３３０ａ〜３３０ｄの点灯状態を消灯、点灯、点滅の間で変更することにより状態を報知する。また、制御部１３は、状態表示部３３０の複数のランプ３３０ａ〜３３０ｄの点灯状態の組み合わせを変更することにより状態を報知する。これにより、図１６に示すように、様々な状態を報知することができる。審査官６１０は、状態表示部３３０による状態報知を確認して、適切な対応をとることができる。

次に、図１７を参照しながら顔認証ゲート装置１０による処理の流れを説明する。ここでは、審査官６１０による確認や判定等の処理は省略して、顔認証ゲート装置１０が渡航者の入国可否を判定する処理を説明する。図１７は、顔認証ゲート装置１０による処理の流れを示すフローチャートである。顔認証ゲート装置１０の制御部１３は、人感センサ１２０を利用して、ブース７０１内への進入者を監視している（ステップＳ１；Ｎｏ）。ブース７０１内に進入した渡航者を検知すると（ステップＳ１；Ｙｅｓ）、制御部１３は、顔認証による入国審査手続きの説明等を操作表示部１１０に表示すると共に、顔認証カメラ７１〜７４によって渡航者の顔画像を取得する処理を開始する（ステップＳ２）。

具体的には、制御部１３は、操作表示部１１０に「パスポートを置いてください。」等の表示を行うと共に、顔認証カメラ７１〜７４を利用してブース７０１内を撮像し、渡航者を撮像した画像から顔を検出する。撮像した画像から顔が検出されれば、制御部１３は、これを切り出して撮像顔画像（撮像顔データ）を作成して記憶部１４に保存する。制御部１３は、他の処理を実行している間も、これと並行して、顔認証カメラ７１〜７４で渡航者を撮像して撮像顔画像を作成し、記憶部１４に保存する処理を継続して実行する。

なお、制御部１３は、撮像顔画像を作成した後、この撮像顔画像から顔照合処理用の特徴量を抽出し、この特徴量（撮像顔データ）を記憶部１４に保存してもよい。この場合、顔照合処理時に撮像顔画像から特徴量を抽出する処理が不要になる。以下では、顔照合処理に用いる撮像顔画像又は撮像顔画像の特徴量を、撮像顔データとする。顔照合処理のみを目的とする場合は、撮像顔画像又は撮像顔画像の特徴量のいずれか一方を記憶部１４に保存すればよい。本実施形態では、審査結果の記録として撮像顔画像を残すため、撮像顔画像とその特徴量、又は撮像顔画像のみを、記憶部１４に保存する。

顔認証カメラ７１〜７４は、表示の確認や入力操作を行う操作表示部１１０、渡航者の姿がハーフミラーに映り込む柱部２００等、渡航者が注目する注目対象を含むその近傍に配置されている。また、各顔認証カメラ７１〜７４は、撮像範囲を渡航者の顔の方向へ向けて配置されている。これにより高い確率で渡航者の顔画像を取得することができる。

上述の渡航者が注目する注目対象を含む近傍とは、渡航者が注目対象に注目したときに、顔認証カメラ７１〜７４それぞれにおいて、渡航者の顔画像を取得できる位置のことをいう。渡航者の顔画像を取得できれば、設置位置は、注目対象と同一平面上には限定されない。一般に、真正面から撮影された登録顔データと顔照合を行う場合、取得できる渡航者の顔画像は、両目と鼻と口が含まれる正面顔画像が望ましい。さらには、上下左右３０度以内から撮影された正面顔画像が望ましい。よって、各顔認証カメラ７１〜７４は、渡航者が注目対象に注目したときに渡航者の正面顔画像を取得できる位置に配置されるのが望ましい。さらには、渡航者が注目対象に注目したときの顔の向きと各顔認証カメラ７１〜７４の向きとが、３０度以内になるように設置されるのが望ましい。

より詳細には、渡航者は表示の確認や操作を行う場合、渡航者の身長の高低に関わらず注目対象である操作表示部１１０（表示部）に注目して顔を向ける。このとき、操作表示部１１０側から見た渡航者の顔は正面顔である。よって、操作表示部１１０の近傍に設置した顔認証カメラ７１〜７２は渡航者の正面顔画像を撮像することができる。顔認証ゲート装置１０では、操作表示部１１０の上下に顔認証カメラ７１〜７２を設置している。このため、渡航者の身長の高低や、操作表示部１１０内で渡航者が注目した部分の上下の差による顔の向きの上下に関わらず、顔認証カメラ７１〜７２の少なくとも一方で渡航者の正面顔画像を撮像できる。

また、渡航者は、容貌の確認を行う場合、柱部２００のハーフミラーに正対して注目対象であるハーフミラー（鏡面）の自分の顔が映った部分に注目して顔を向ける。このとき、ハーフミラーの注目された部分から見た渡航者の顔は真正面顔である。渡航者の身長によってハーフミラーの注目される部分は異なるが、上述のように正面顔画像は真正面顔である必要はなく、上下方向の角度に許容範囲がある。よって、少なくともいずれか１台のカメラで許容範囲内の正面顔画像を撮像できる。顔認証ゲート装置１０では、ハーフミラーの裏側に顔認証カメラ７３〜７４を上下に設置している。このため、渡航者の身長の高低に関わらず、顔認証カメラ７３〜７４の少なくとも一方で渡航者の正面顔画像が撮像できる。なお、柱部２００のハーフミラーは平面鏡であるが、緩やかな凸面鏡として鏡面の範囲を小さくすることも可能である。

なお、注目対象として操作表示部１１０や、鏡面である柱部２００のハーフミラーの例を挙げたが、渡航者が注目するものであれば、注目対象はこれらに限定されない。注目対象を複数備え、それぞれに顔認証カメラを設置すれば、被認証者の正面顔画像を撮像できる可能性が高くなる。例えば、任意の位置に設置した顔認証カメラの周辺で点滅表示を行うなど変化する表示をさせて注目対象とし、渡航者がこの変化する表示に注目するようにしてもよい。ただし、顔認証を含んだ一連の処理にかかる時間を短縮するには、一連の処理において渡航者が特に意識することなく自然に注目するものを注目対象として、その近傍に顔認証カメラ７１〜７４を設置するのが望ましい。

特に、顔認証を含んだ一連の処理において、後述するように、渡航者がパスポート載置台４０１にパスポートを置き、ＩＣ情報取得部４３０がパスポートに埋め込まれたＩＣチップからＩＣ顔画像を取得する前に、渡航者が特に意識することなく自然に注目するものを注目対象にするものが望ましい。例えば、上述の操作表示部１１０や鏡面である柱部２００である。渡航者はまず操作表示部１１０の表示を確認したり、顔認証に先立って柱部２００の鏡面で顔を確認したりするためである。また、パスポートを置く際に注目するパスポート載置台４０１も注目対象となり得る。

制御部１３は、顔認証カメラ７１〜７４で渡航者の顔画像を撮像して、撮像顔データを記憶部１４に保存する処理を継続して実行しながら、パスポート載置台４０１にパスポートが置かれたか否かを監視する（ステップＳ３；Ｎｏ）。位置検知センサ４１１によってパスポート載置台４０１にパスポートが置かれたことを検知すると（ステップＳ３；Ｙｅｓ）、制御部１３は、パスポート載置台４０１に置かれたパスポートに異常がないか判定する（ステップＳ４）。パスポートの異常とは、パスポートから正常に情報を取得できない状態である。

具体的には、例えば、位置検知センサ４１２によってパスポートの浮き上がりを検知すると、制御部１３は、パスポートに異常があると判定する（ステップＳ４；Ｙｅｓ）。この場合、制御部１３は、パスポートをパスポート載置台４０１に密着させるよう渡航者に指示する情報を操作表示部１１０の画面上に表示する（ステップＳ５）。

パスポート読取装置４００の画像取得部４２０でパスポート券面を撮像した券面画像から渡航者の画像（パスポート写真）を取得できない場合も、制御部１３は、異常があると判定する（ステップＳ４；Ｙｅｓ）。また、予めパスポートの券面画像から取得するよう設定された、ＩＣチップの情報取得に利用するキーや、渡航者の国籍、氏名等を含む文字情報（ＭＲＺ情報）を券面画像から取得できない場合も、制御部１３は、異常があると判定する（ステップＳ４；Ｙｅｓ）。この場合、例えば、パスポートが誤った向きで置かれている可能性がある。このため、制御部１３は、パスポートの向きに誤りがないか確認して、向きに誤りがあれば正しい向きで置き直すよう渡航者に指示する情報を操作表示部１１０の画面上に表示する（ステップＳ５）。

また、パスポートの券面画像から、渡航者の氏名等の文字情報を取得できない場合については、渡航者がパスポートに取り付けたパスポートカバーが原因である可能性もある。例えば、日本国発行のパスポートでは、文字情報が見開き２ページの端にあるため、パスコートカバーの内側が、文字情報を隠している場合がある。このため、制御部１３は、パスポートの券面画像から文字情報を取得できない場合、パスポートにカバーを付けている場合はこれを外すよう渡航者に指示する情報を操作表示部１１０の画面上に表示する（ステップＳ５）。

パスポートの異常が解消されると（ステップＳ４；Ｎｏ）、制御部１３は、パスポート読取装置４００によって、パスポートから情報を取得する（ステップＳ６）。具体的には、画像取得部４２０によってパスポートの内側券面を撮像して券面画像を取得すると共に、券面画像の文字認識処理を行って渡航者の国籍、氏名、旅券番号、生年月日等の文字情報を取得する。また、文字認識処理によって券面画像から取得したキーを利用して、ＩＣ情報取得部４３０によって、パスポートに埋め込まれたＩＣチップからＩＣ顔画像、国籍、氏名、生年月日、旅券番号等の情報を取得する。制御部１３は、パスポートの券面画像又はパスポート券面画像から取得したパスポート写真の画像を操作表示部１１０に表示する。この表示画面によって、渡航者はパスポートが自分ものであることを確認する。

制御部１３は、パスポートのＩＣチップから取得した情報と、パスポートの券面画像から取得した情報とに基づいて、渡航者が有人審査の対象であるか否かを判定する（ステップＳ７）。

具体的には、例えば、パスポートのＩＣチップから取得した氏名及び旅券番号、パスポートの券面画像から取得した氏名及び旅券番号の中に、管理サーバ２０で管理されるブラックリストの登録情報と一致するものがあれば、制御部１３は、有人審査の対象であると判定する（ステップＳ７；Ｙｅｓ）。また、例えば、パスポートのＩＣチップから取得したＩＣ顔画像、国籍、氏名、生年月日等の情報が、パスポート券面画像の情報と一致しない場合は、パスポートが偽造されている可能性がある。このため、制御部１３は、有人審査の対象であると判定する（ステップＳ７；Ｙｅｓ）。また、ステップＳ４及びＳ５を所定回数繰り返してもパスポートから得られない情報がある場合も、制御部１３は、有人審査が必要であると判定する（ステップＳ７；Ｙｅｓ）。

有人審査の対象であると判定した制御部１３は、カウンター６００ｂに進んで審査官６１０ｃによる審査を受けるよう渡航者に指示する情報を、操作表示部１１０の画面上に表示して（ステップＳ８）、顔認証ゲート装置１０による入国審査を終了する。これを受けて、渡航者は、カウンター６００ｂで審査官６１０ｃによる有人審査を受けることになる。

パスポートから取得した情報に基づく判定で、有人審査の対象ではないと判定された渡航者については（ステップＳ７；Ｎｏ）、顔照合による本人確認の処理が行われる（ステップＳ９）。具体的には、制御部１３は、パスポートから取得したＩＣ顔画像を、ＩＣ顔画像を取得する前に作成して記憶部１４に保存した複数の撮像顔データそれぞれと比較して、一致するか否かを判定する顔照合処理を実行する。

ＩＣ顔画像を取得してまず開始する顔照合処理は、ＩＣ顔画像の取得前に作成されて記憶部１４に保存されている複数の撮像顔データの中に、ＩＣ顔画像と一致する画像があるか否かを確認する処理で、ＩＣ顔画像が複数の撮像顔データそれぞれと比較されることになる。具体的には、制御部１３に含まれる顔照合処理部が、ＩＣ顔画像から特徴量を抽出し、このＩＣ顔画像の特徴量と撮像顔データである撮像顔画像の特徴量とを比較して類似度を算出し、この類似度が所定の閾値より大きいとき、ＩＣ顔画像と撮像顔データが一致すると判定する。また、顔照合処理部は、撮像顔データが撮像顔画像の場合は、顔照合処理に先立って撮像顔画像の特徴量を抽出する。なお、図１７では、便宜上、ステップＳ７の判定処理の後に、ステップＳ８として顔照合処理を示しているが、実際には、ステップＳ６でＩＣ顔画像を取得してすぐに判定処理と並行して顔照合処理が開始される。

制御部１３は、記憶部１４から読み出した撮像顔データとＩＣ顔画像とを対象として行った顔照合処理の結果に基づいて、渡航者がパスポートの名義人本人であるか否かを判定する（ステップＳ１０）。ＩＣ顔画像が撮像顔データと一致しなかった場合、制御部１３は、渡航者がパスポート名義人本人であると判定せず（ステップＳ１０；Ｎｏ）、続いて、人感センサ１２０で渡航者を検知してから所定時間が経過しているか否かを判定する（ステップＳ１１）。

所定時間が経過していなければ（ステップＳ１１；Ｎｏ）、制御部１３は、続いて、渡航者によって顔認証ボタン１１１を押す入力操作が行われたか否かを判定する（ステップＳ１２）。顔認証ボタン１１１を押す入力操作がまだ行われていない場合（ステップＳ１２；Ｎｏ）、制御部１３は、ステップＳ９に戻って、記憶部１４に保存されている別の撮像顔データとＩＣ顔画像との間で顔照合処理を実行する。

こうして、制御部１３は、記憶部１４に保存されている撮像顔データを１つずつ順に読み出してＩＣ顔画像と比較する顔照合処理を繰り返し実行する。顔認証カメラ７１〜７４で渡航者を撮像して撮像顔データを記憶部１４に保存する処理は、他の処理を並行して、継続して行われている。記憶部１４に保存されている撮像顔データとＩＣ顔画像とを比較する顔照合処理は、ＩＣ顔画像が撮像顔データと一致していなければ、記憶部１４に、ＩＣ顔画像と比較していない撮像顔データがある間、繰り返し実行される。

記憶部１４に保存されている全ての撮像顔データとＩＣ顔画像との間で顔照合処理を終えると、制御部１３は、ＩＣ顔画像と、ＩＣ顔画像の取得後に顔認証カメラ７１〜７４で新たに得て作成した撮像顔画像との間で、顔照合処理を継続する。具体的には、顔認証カメラ７１〜７４で撮像顔画像が得られる度に、制御部１３に含まれる顔照合処理部が、得られた撮像顔画像から特徴量を抽出し、既に抽出したＩＣ顔画像の特徴量との間で顔照合処理を実行する。

顔照合処理を続けている間に、ＩＣ顔画像と一致する撮像顔データが得られると、制御部１３は、渡航者がパスポートの名義人本人であると判定する（ステップＳ１０；Ｙｅｓ）。続いて、制御部１３は、本人確認開始を指示するために顔認証ボタン１１１を押す入力操作が渡航者によって行われたか否かを判定する（ステップＳ１５）。

渡航者が既に顔認証ボタン１１１を押していた場合（ステップＳ１５；Ｙｅｓ）、制御部１３は、ゲート装置１１を制御してゲート１２を開放する（ステップＳ１６）。制御部１３は、入国を認めることを示す情報を操作表示部１１０の画面上に表示し、審査結果を渡航者に報知して（ステップＳ１７）、処理を終了する。

一方、渡航者が、まだ顔認証ボタン１１１を押していない場合、制御部１３は、顔認証ボタン１１１の監視を続ける（ステップＳ１５；Ｎｏ）。そして、渡航者が、顔認証ボタン１１１を押す入力操作を行うと（ステップＳ１５；Ｙｅｓ）、これを検知した制御部１３は、上述したようにゲート１２の開放（ステップＳ１６）及び渡航者への報知（ステップＳ１７）を行って、処理を終了する。

入国許可の報知を受けた渡航者は、開いたゲート１２を通過して入国する。渡航者がゲート１２を通過した後、制御部１３はゲート１２を閉じる。このように、制御部１３は、顔照合処理により、渡航者がパスポートの名義人本人であるとの結果を得られた後、渡航者が顔認証ボタン１１１を押す入力操作を行うまでは、ゲート１２の開放及び結果報知を行わない。

ＩＣ顔画像と一致する撮像顔データを得られないまま（ステップＳ１０；Ｎｏ）、人感センサ１２０で渡航者を検知してから所定時間が経過すると（ステップＳ１１；Ｙｅｓ）、制御部１３は、有人審査が必要であると判定する。すなわち、制御部１３は、タイムアウトとして顔照合処理を終了する。続いて、制御部１３は、渡航者によって顔認証ボタン１１１を押す入力操作が行われたか否かを判定する（ステップＳ１８）。

渡航者が既に顔認証ボタン１１１を押す入力操作を行っていた場合（ステップＳ１８；Ｙｅｓ）、制御部１３は、カウンター６００ｂに進んで審査官６１０ｃによる審査を受けるよう渡航者に指示する情報を操作表示部１１０の画面上に表示して（ステップＳ１９）、処理を終了する。一方、渡航者が、まだ顔認証ボタン１１１を押していない場合、制御部１３は、顔認証ボタン１１１の監視を続ける（ステップＳ１８；Ｎｏ）。そして、渡航者が、顔認証ボタン１１１を押す入力操作を行うと（ステップＳ１８；Ｙｅｓ）、これを検知した制御部１３は、上述したように、有人審査を指示する案内表示を行って（ステップＳ１９）、処理を終了する。有人審査を指示された渡航者は、ブース７０１から出てカウンター６００ｂに進み、審査官６１０ｃによる審査を受けることになる。

ＩＣ顔画像と一致する撮像顔データが得られず（ステップＳ１０；Ｎｏ）、かつ、人感センサ１２０で渡航者を検知してから所定時間が経過するより前に（ステップＳ１１；Ｎｏ）、渡航者が、顔認証ボタン１１１を押す入力操作を行った場合（ステップＳ１２；Ｙｅｓ）、制御部１３は、顔認証処理に適した良好な撮像顔データを取得するために、渡航者への案内を行う必要があるか否かを判定する（ステップＳ１３）。案内が必要であると判定した場合（ステップＳ１３；Ｙｅｓ）、制御部１３は、操作表示部１１０の画面上に案内を表示する（ステップＳ１４）。渡航者への案内は不要と判定した場合（ステップＳ１３；Ｎｏ）、制御部１３は、ステップＳ９に戻って処理を継続する。

例えば、先に行った顔照合処理で撮像顔データとＩＣ顔画像とを比較した際に、口の部分のみで差違が大きく、同一人物であると判定できないとする結果が得られていた場合、渡航者がマスクをしている可能性がある。このため、制御部１３は、渡航者への案内が必要であると判定して（ステップＳ１３；Ｙｅｓ）、マスク等は外すよう指示する情報を操作表示部１１０の画面上に表示する（ステップＳ１４）。

また、例えば、撮像顔データとＩＣ顔画像との間で両目の部分のみで差違が大きく、同一人物であると判定できないとする結果が得られていた場合、渡航者がサングラス等をしている可能性がある。このため、制御部１３は、渡航者への案内が必要であると判定して（ステップＳ１３；Ｙｅｓ）、サングラス等は外すよう指示する情報を操作表示部１１０の画面上に表示する（ステップＳ１４）。

このように、制御部１３は、顔照合処理時に撮像顔データとＩＣ顔画像との間で差違が大きい領域が顔の一部に集中していた場合に、渡航者への案内が必要であると判定する。そして、顔認証処理に適した撮像顔データを取得するために、渡航者への案内表示を実行する。これにより、例えば、帽子を被っていることが顔照合不一致の原因である可能性があれば帽子を脱ぐように指示したり、額にかかった前髪が顔照合不一致の原因である可能性があれば手で前髪を上げるよう指示したりすることもできる。

人感センサ１２０で渡航者を検知して開始した顔認証カメラ７１〜７４による撮像顔データの取得及び記憶部１４への保存の処理は、顔照合処理による本人確認の結果を得た後も継続して行われる。撮像顔データを記憶部１４に蓄積する処理は、所定タイミングで終了する。具体的には、例えば、渡航者に入国を許可してゲート１２を開くタイミング（ステップＳ１６）、又は渡航者に有人審査を指示するタイミング（ステップＳ８、Ｓ１９）で、制御部１３は、新たな撮像顔データを取得する処理を終了する。渡航者の入国審査を行う間に顔認証カメラ７１〜７４で取得した撮像顔データは全て記憶部１４に保存されている。撮像顔データの取得を終了した制御部１３は、記憶部１４に保存されている撮像顔データの中から、ＩＣ顔画像との類似度を示すスコアが最も高い撮像顔データを選択する。選択された撮像顔データに関する撮像顔画像は、渡航者のパスポートから取得した氏名、旅券番号等の情報、審査結果、審査に要した時間等の情報と共に、顔認証ゲート装置１０から管理サーバ２０へ送信される。管理サーバ２０は、顔認証ゲート装置１０から受信した情報を、旅券番号と関連付けて、渡航者に関する情報として管理する。

このように、顔認証ゲート装置１０は、ブース７０１に進入した渡航者を人感センサ１２０によって検知すると、４つの顔認証カメラ７１〜７４を利用して、渡航者の顔画像を取得して記憶部１４に保存する処理を開始する。そして、この処理を、他の処理を行う間も継続して実行し、記憶部１４に撮像顔データを蓄積する。パスポート読取装置４００によってＩＣ顔画像を取得すると、顔認証ゲート装置１０は、記憶部１４に保存されている複数の撮像顔データそれぞれとＩＣ顔画像とを比較する顔照合処理を開始する。これにより、顔認証ボタン１１１の操作を受けてから顔画像を取得して顔照合処理を行う場合に比べて早期に処理結果を得ることができる。渡航者が、操作表示部１１０に表示される操作案内等を確認しながら操作を進めて、本人確認開始を指示するために顔認証ボタン１１１を押す入力操作を行うときには、既に顔照合処理による本人確認を終えている場合もある。この場合、渡航者が顔認証ボタン１１１を押す入力操作を行ってすぐにゲート１２を開いて渡航者を通過させることができる。

顔認証ゲート装置１０では、顔照合処理による本人確認結果を短時間で得られた場合に、ゲート１２を開放して渡航者を通過させるタイミングを制御することも可能となっている。具体的には、例えば、人感センサ１２０で渡航者を検知してから１５秒後に渡航者が顔認証ボタン１１１を押した際に、既に渡航者がパスポート名義人本人であることを確認済みである場合も、人感センサ１２０による検知から２０秒が経過するまで待ってゲート１２を開放するように設定することができる。なお、顔認証ボタン１１１を押した際に２０秒を過ぎていれば、すぐにゲート１２を開放する。

このように、顔認証ゲート装置１０では、人感センサ１２０による検知からゲート１２を開放するまでの最短時間を設定することができる。最短時間を設定すると、制御部１３は、最短時間が経過するより前にゲート１２を開放可能な状態になっても、最短時間が経過するまで待ってゲート１２を開放する。最短時間の設定は管理端末３０を操作して変更できるようになっている。例えば、審査官６１０は、入国審査場の混雑具合、入国後に手荷物を受け取る手荷物受取所の混雑具合等に応じて、管理端末３０を操作して設定時間を変更する。これにより、入国審査を通過して手荷物を受け取って空港を出るまでの渡航者の流れを円滑にすることができる。

また、顔認証ボタン１１１を押す入力操作を省略する設定とすることもできる。具体的には、図１７に示すステップＳ１５の処理を省略し、渡航者がパスポート名義人本人であることを確認した後、続いてステップＳ１６の処理を実行してゲート１２を開放する。同様にステップＳ１８の処理を省略し、人感センサ１２０で渡航者を検知してから本人確認を終える前に所定時間が経過した場合（ステップＳ１１；Ｙｅｓ）、続いてステップＳ１９の処理を実行して渡航者に有人審査を受けるよう案内する。渡航者への案内表示の要否を判定するステップＳ１３の処理についても、同様にステップＳ１２の処理を省略し、顔認証ボタン１１１の操作とは無関係に判定を実行する。

顔認証ボタン１１１を押す入力操作を省略すると、顔認証ゲート装置１０の顔照合処理が終了したタイミングで、ゲート１２の開放等の後続の処理が開始されるので、顔認証ゲート装置１０を操作する渡航者が違和感を覚える場合がある。しかし、認証ボタン１１１を押す入力操作を待つ必要がないので、顔認証を含んだ一連の処理を最も短時間で行うことができる。一方、顔認証ボタン１１１を押す入力操作を設けると、渡航者が操作を行ったタイミングで後続の処理が開始されるので、渡航者が違和感を覚えることがなく、顔認証を含んだ一連の処理を短時間で行うことができる。

いずれの場合も、ＩＣ顔画像をパスポートのＩＣチップから取得するより先に、注目対象近傍に設置した各顔認証カメラ７１〜７４を用いて渡航者の撮像顔データを取得するので、ＩＣ顔画像を取得した時点では顔照合に適した撮像顔データが既に取得されている。このため、ＩＣ顔画像の取得後、速やかにＩＣ顔画像と撮像顔データとの顔照合処理を行い、撮像顔データが取得された渡航者がパスポート名義人本人か否かを判定できる。このため、顔認証を含んだ一連の処理を短時間で行うことができる。

ステップＳ１３及びＳ１４の処理に関し、渡航者への案内要否の判定は、顔照合処理の結果に基づいて行う。具体的には、撮像顔データとＩＣ顔画像を照合する処理は、各顔画像上に多数のサンプル点を設定して、各サンプル点における特徴を比較することによって行う。各サンプル点における特徴の一致度は評価点で表され、一致度が高いほど評価点が高くなる。サンプル点を利用する顔照合処理の詳細は、例えば特許４１８７４９４号公報等に記載している。撮像顔データとＩＣ顔画像とが一致するとの照合結果が得られず、評価点の低いサンプル点が局所的に集中している場合、制御部１３は、渡航者への案内が必要であると判定する（ステップＳ１３；Ｙｅｓ）。図１８は、制御部１３が、渡航者への案内が必要であると判定する例を説明するための例である。顔画像上に、図１８に破線で示すように照合対象領域９２０が設定される。この照合対象領域９２０内に、多数のサンプル点が設定され、２つの顔画像を比較する照合処理が行われる。２つの顔画像が一致せず、評価点の低いサンプル点が、図１８（ａ）に斜線領域で示したように、目から上の領域及び顔の両横外側に集中した場合、制御部１３は、髪で顔が隠れていないか渡航者に確認を促す情報を操作表示部１１０の画面上に表示する。同様に、図１８（ｂ）に示すように評価点の低いサンプル点が目から上の領域に集中している場合、制御部１３は、帽子で顔が隠れていないか確認を促す情報を表示する。図１８（ｃ）に示すように評価点の低いサンプル点が目の周辺領域に集中している場合、制御部１３は、眼鏡をしていればこれを外すよう促す情報を表示する。図１８（ｄ）に示すように評価点の低いサンプル点が口の周辺領域に集中している場合、制御部１３は、マスクやマフラー等の装着物をしていればこれを外すよう促す情報を表示する。

なお、渡航者に顔を露出するよう促す案内表示については、ステップＳ１で渡航者を検知した直後から処理を開始する設定とすることもできる。具体的には、制御部１３は、人感センサ１２０で渡航者を検知した後、顔認証カメラ７１〜７４で取得した渡航者の撮像顔データを、予め準備した標準顔画像と比較する。標準顔画像とは、多数の顔画像に基づいて作成された平均的な顔画像である。標準顔画像と比較することによって、撮像顔データに、目、鼻、口等の特徴部が含まれているか否かを確認できるようになっている。渡航者の撮像顔データと標準顔画像との比較は、撮像顔データとＩＣ顔画像とを照合する場合と同様に、多数のサンプル点を設定して各サンプル点における特徴を比較する。

ステップＳ６でパスポートから渡航者のＩＣ顔画像を取得するより前に、標準顔画像を利用した顔照合処理を開始して、渡航者の撮像顔データから目、鼻、口等を検出できなかった場合、制御部１３は、案内表示を実行する。具体的には、帽子、サングラス、マスク、マフラー等をしていればこれを外して顔を露出させるよう促す情報を、操作表示部１１０の画面上に表示する。渡航者を検知してすぐに標準顔画像との顔照合処理を開始して、本人確認に適した顔画像を撮像できない可能性があれば事前に案内表示を行うことで、本人確認にかかる処理時間を短縮することができる。

比較の結果、特に両目周辺において局所的に評価点の低いサンプル点が集中している場合、制御部１３は、サングラスを装着していると判定する。また、特に口周辺、又は鼻と口周辺において、局所的に評価点の低いサンプル点が集中している場合、制御部１３は、マスクを装着していると判定する。顔認証の障害となる様々な装着物のうち、サングラスとマスクが占める割合は大きく、顔照合処理に先立って早期に案内表示を行って外すように案内できれば、顔認証を含んだ一連の処理にかかる時間を短縮することができる。

一方で、目、鼻、口等の顔の主要部分が大きく隠れていない帽子やマフラー等の場合は、必ずしも顔照合処理に先立って案内表示を行って、装着物を外してもらう必要はない。装着物を外すように案内表示を行う人数が増えると、かえって顔認証を含んだ一連の処理にかかる時間が増加する場合があるためである。顔照合処理に先立って、装着物を外すように案内処理を行うのは、顔照合処理が失敗する可能性が高い装着物に限定されている。

なお、サングラスやマスクを装着しているか否かの判断は、上述の方法に限定されない。例えば、サングラスを装着した人の顔画像を集めてサングラス装着者の平均顔画像を予め作成しておく。このサングラス装着者の平均顔画像と撮像顔データとの類似度が所定の値より大きいときに、渡航者がサングラスを装着していると判断してもよい。マスクを装着しているか否かの判定も、マスクを装着した人の顔画像を集めてマスク装着者の平均顔画像を予め作成しておき、このマスク装着者の平均顔画像と撮像顔データとの類似度が所定の値より大きいときに、渡航者がマスクを装着していると判断してもよい。

顔認証ゲート装置１０は、渡航者の入国審査を行う間、パスポート載置台４０１へのパスポート載置、パスポートの位置修正、パスポートの写真が自分であることの確認、顔認証カメラ７１〜７４による撮像等、各段階で渡航者に処理内容や操作方法等を案内する。このとき、顔認証ゲート装置１０は、管理サーバ２０で管理されている過去の入国審査のデータに基づいて渡航者の習熟度を判定し、習熟度に応じた態様で案内を実行する。

図１９は、渡航者の習熟度に応じて案内方法を設定した設定例を示す図である。管理サーバ２０は、渡航者が顔認証ゲート装置１０を利用して入国した際に、所定操作に要した時間を旅券番号と関連付けて管理している。例えば、管理サーバ２０は、ブース７０１に入ったことを人感センサ１２０によって検知してからゲート１２を通過するまでに要した所要時間を、渡航者の旅券番号と関連付けて管理する。

顔認証ゲート装置１０の制御部１３は、パスポート読取装置４００によってパスポートから旅券番号を取得すると、この旅券番号に基づいて、管理サーバ２０で管理されている過去の所要時間を問い合わせる。所要時間の記録がない場合、又は所要時間が２０秒以上であった場合、制御部１３は、図１９に示す設定に基づいて、渡航者への案内を初級モードで実行する。所要時間が１１秒以上２０秒未満であった場合、制御部１３は、渡航者への案内を中級モードで実行する。所要時間が１０秒未満であった場合、制御部１３は、渡航者への案内を上級モードで実行する。

図１９に示すように、操作表示部１１０の画面上に複数の案内表示を順に表示する際の画面の遷移速度は、上級モード、中級モード、初級モードの順に高速になっている。各モードの画面遷移速度は、１つの画面を表示する秒数によって設定できる。また、初級モード及び中級モードでは静止画像や動画像を多用したグラフィック表示で案内を表示して、上級モードでは文字による表示で案内を表示する。また、複数操作から成る所定処理の操作を案内する際に、初級モードでは一画面に１つの操作を表示して複数画面で案内し、中級モードでは一画面に複数の操作を表示して複数画面で操作を案内し、上級モードでは一画面に全ての操作を表示して一画面で操作を案内する。

このように、顔認証ゲート装置１０では、操作案内を行う際に、複数画面を表示する際の画面の遷移速度、画面に表示する情報の表示態様、一画面に表示する情報量等を、顔認証ゲート装置１０の操作に係る習熟度に応じて変更することができる。これにより、操作に慣れていない渡航者は、操作案内をゆっくりと順に確認しながら操作を進めることができる。一方、操作に慣れた渡航者は短時間のうちに操作案内を確認して迅速に操作を進めることができる。

顔認証ゲート装置１０は、係員呼出表示部３２０のランプを点灯してコンシェルジュを呼び出す際の判定にも渡航者の習熟度を利用する。具体的には、初級モードの渡航者は、１つ１つの操作を進めるのに時間がかかるため、コンシェルジュによる補助が必要と判定するまでの判定時間を長く設定する。一方、上級モードの渡航者は短時間で操作を進めることができるため、コンシェルジュによる補助が必要と判定するまでの判定時間を、初級モードに比べて短く設定する。中級モードの渡航者については、コンシェルジュによる補助が必要と判定するまでの判定時間を初級モードの判定時間より短くかつ上級モードの判定時間より長い時間に設定する。

例えば、上級モードの渡航者であれば平均２秒以内に完了可能で、初級モードの渡航者は平均４秒で完了できる操作については、上級モードの判定時間を５秒、初級モードの判定時間を７秒に設定し、中級モードの判定時間を６秒に設定する。この操作を監視する際、制御部１３は、初級モードの渡航者が７秒以内に操作を完了できない場合に、コンシェルジュによる補助が必要であると判定して係員呼出表示部３２０を点灯する。一方、上級モードの渡航者については５秒以内に操作を完了できない場合に、コンシェルジュによる補助が必要であると判定して係員呼出表示部３２０を点灯する。このように、渡航者の習熟度に応じてコンシェルジュによる補助が必要であると判定するまでの時間を変更することにより、適切なタイミングで各渡航者を補助することができる。コンシェルジュによる補助が必要であるか否かを判定するための判定時間は、操作の種類、操作内容等に応じて個別に設定できるようになっている。

顔認証ゲート装置１０では、渡航者に操作内容を案内する際に、渡航者が操作表示部１１０の画面に表示した情報を確認したか否かを判定するようになっている。図２０は、操作案内の流れを示すフローチャートである。各操作を案内する際に図２０に示す処理が行われる。

制御部１３は、まず、操作表示部１１０の画面上に操作内容を示す情報を表示する（ステップＳ２１）。制御部１３は、顔認証カメラ７１〜７４で撮像した渡航者の顔画像から、渡航者が操作表示部１１０の画面を確認したか否かを判定する（ステップＳ２２）。制御部１３は、渡航者の顔画像と、顔の向きを判定するために予め準備した標準顔画像と比較する。顔の角度を判定するための標準顔画像及び顔角度の判定方法は、例えば特許５６２８５７０号公報等に記載している方法のほか、他の方法でもよい。制御部１３は、渡航者の顔の角度から、渡航者が操作表示部１１０の方を向いているか否か、すなわち渡航者が操作表示部１１０の画面を確認したか否かを判定する。

渡航者が画面上の情報を確認していないと判定した場合（ステップＳ２２；Ｎｏ）、制御部１３は、操作表示部１１０に操作内容を表示してから、予め設定された所定時間が経過したか否かを判定する（ステップＳ２３）。

所定時間が経過するまでの間（ステップＳ２３；Ｎｏ）、渡航者が画面上の情報を確認したか否かを確認する処理を継続する。所定時間が経過するまでの間に渡航者が画面上の情報を確認した場合（ステップＳ２２；Ｙｅｓ）、次のステップへ進む。一方、所定時間を経過しても、渡航者が画面上の情報を確認しなかった場合（ステップＳ２３；Ｎｏ）、制御部１３は、音声による案内を実行する（ステップＳ２４）。

具体的には、渡航者の顔の角度が、操作表示部１１０の画面を見ている顔の方向からずれた状態が続いた場合に、制御部１３は、音声を出力する。制御部１３は、例えば、画面の情報を確認するよう指示する音声を出力する。また、例えば、渡航者が行うべき操作内容を音声で出力する。なお、顔画像から検出できる顔の角度範囲は、操作表示部１１０の画面を見ている渡航者の顔の方向から、上下及び左右の両方で、所定範囲内に限られる。この所定範囲は、操作表示部１１０の場面の大きさを考慮し、顔の向きが画面の範囲内となる角度範囲、例えば±１０°以内等と定める。制御部１３は、顔の角度が予め設定された条件を満たす場合、又は顔の角度が検出できない場合に、渡航者が画面上の情報を確認していないと判定する（ステップＳ２２；Ｎｏ）
渡航者が画面上の情報を確認した後、又は音声案内を行った後、制御部１３は、操作支援情報の表示が必要であるか否かを判定する（ステップＳ２５）。操作支援情報とは、操作内容を詳細に、より分かり易く渡航者に案内するための情報である。操作内容を表示してから、操作支援情報の表示を実行するまでの時間が操作毎に予め設定されている。この時間を超えるまでの間、制御部１３は、操作支援情報の表示は不要であると判定する（ステップＳ２５；Ｎｏ）。操作毎に設定された所定時間を超えると、制御部１３は、操作支援情報の表示が必要であると判定し（ステップＳ２５；Ｙｅｓ）、操作表示部１１０の画面上に操作支援情報を表示する（ステップＳ２６）。

制御部１３は、渡航者が操作を終了したか否かを判定する（ステップＳ２７）。渡航者が操作を終了していない場合（ステップＳ２７；Ｎｏ）、制御部１３は、操作表示部１１０に操作内容を表示してから、予め設定された所定時間が経過したか否かを判定する（ステップＳ２８）。操作内容を表示してから操作を終了するまでに要する時間が操作毎に予め設定されている。この時間を超えていなければ（ステップＳ２８；Ｎｏ）、制御部１３は、ステップＳ２５に戻って処理を継続する。そして、渡航者が操作を終了しないまま、操作毎に設定された所定時間を超えると（ステップＳ２８；Ｙｅｓ）、制御部１３は、空港係員６１１による補助が必要であると判定する。続いて、制御部１３は、係員呼出表示部３２０による空港係員６１１の呼出処理を実行して（ステップＳ２９）、処理を終了する。無人審査スペースにコンシェルジュとして待機する空港係員６１１は、係員呼出表示部３２０の表示を確認すると、渡航者の補助を開始する。一方、操作毎に設定された所定時間が経過するまでの間に（ステップＳ２８；Ｎｏ）、渡航者が操作を終了した場合（ステップＳ２７；Ｙｅｓ）、制御部１３は処理を終了する。

本実施形態では、図１に示すレイアウトで入国審査を行う場合を説明したが、複数の顔認証ゲート装置１０を配置する際のレイアウトがこれに限定されるものではない。図２１〜図２４は、複数台の顔認証ゲート装置１０を配置するレイアウトの例を示す図である。図２１〜図２４に示す各レイアウトでも、上述したように、顔認証ゲート装置１０を利用して入国審査を行うことができる。

図２１に示すレイアウトは、１つの入口から入国審査場に進入して、途中で、有人審査を受ける渡航者と、無人審査スペースに進む渡航者とが別れる例を示している。無人審査スペースには、複数台の顔認証ゲート装置１０が２列に並べて配置されている。１列６台の顔認証ゲート装置１０は、カウンター６００から離れるほど２列の顔認証ゲート装置１０の間の通路が狭くなるように配置されている。

左側の列の顔認証ゲート装置１０で入国を許可された渡航者は、左外側へゲート１２を通過する。右側の列の顔認証ゲート装置１０で入国を許可された渡航者は、右外側へゲート１２を通過する。入国を許可された渡航者は、それぞれ２列に配置された顔認証ゲート装置１０の左右両外側へとゲート１２を通過するが、途中で合流して同じカウンター６００の側方を通過して入国する。顔認証ゲート装置１０による入国審査で入国を許可されなかった渡航者は、無人審査スペースへ入ってきた通路を戻ってカウンター６００で審査官６１０による審査を受ける。

このレイアウトの場合、右側のカウンター６００で１人の審査官６１０が、無人審査スペースに進まずに有人審査を受ける渡航者を審査する。中央にあるカウンター６００では、右側の１人の審査官６１０が、顔認証ゲート装置１０による入国審査で入国を許可されなかった渡航者を審査する。中央のカウンター６００左側の審査官６１０は、渡航者の審査は行わず、全ての顔認証ゲート装置１０を管理する。

図２２に示すレイアウトは、中央に無人審査スペースを設けて、無人審査スペースの左側に有人審査スペースを設け、さらに無人審査スペースの右側にも有人審査スペースを設けた例を示している。無人審査スペース、左側の有人審査スペース、右側の有人審査スペースのそれぞれに入口が１つずつ設けられている。

無人審査スペースには、複数台の顔認証ゲート装置１０が２列に並べて配置されている。１列６台の顔認証ゲート装置１０は、カウンター６００に近付くほど２列の顔認証ゲート装置１０の間の通路が狭くなるように配置されている。

左側の列の顔認証ゲート装置１０で入国を許可された渡航者は、左外側へゲート１２を通過する。右側の列の顔認証ゲート装置１０で入国を許可された渡航者は、右外側へゲート１２を通過する。無人審査スペースから右側にゲート１２を通過した渡航者と、左側にゲート１２を通過した渡航者は、それぞれ別の通路を通って、中央にあるカウンター６００の両外側から入国する。顔認証ゲート装置１０による入国審査で入国を許可されなかった渡航者は、２列に配置された顔認証ゲート装置１０の間を中央にあるカウンター６００に向かって進み、審査官６１０による審査を受ける。

このレイアウトの場合、右側のカウンター６００内で左側の１人の審査官６１０が、右側の有人審査スペースで有人審査を受ける渡航者を審査する。また、左側のカウンター６００内で右側の１人の審査官６１０が、左側の有人審査スペースで有人審査を受ける渡航者を審査する。中央のカウンター６００では、２人の審査官６１０が、顔認証ゲート装置１０による入国審査で入国を許可されなかった渡航者を審査する。また、中央のカウンター６００の２人の審査官６１０は、１人１列ずつ顔認証ゲート装置１０を管理する。

図２３に示すレイアウトは、中央に無人審査スペースを設けて、無人審査スペースの左側に有人審査スペースを設け、さらに無人審査スペースの右側にも有人審査スペースを設けた例を示している。無人審査スペース、左側の有人審査スペース、右側の有人審査スペースのそれぞれに入口が１つずつ設けられている。

無人審査スペースには、複数台の顔認証ゲート装置１０が２列に並べて配置されている。１列６台の顔認証ゲート装置１０は、２列の顔認証ゲート装置１０の間の通路が同じ幅となるように配置されている。

左側の列の顔認証ゲート装置１０で入国を許可された渡航者は、左外側へゲート１２を通過する。右側の列の顔認証ゲート装置１０で入国を許可された渡航者は、右外側へゲート１２を通過する。無人審査スペースから右側にゲート１２を通過した渡航者と、左側にゲート１２を通過した渡航者は、それぞれ別の通路を通って、中央にあるカウンター６００の両外側から入国する。顔認証ゲート装置１０で入国を許可されなかった渡航者は、２列に配置された顔認証ゲート装置１０の間を中央にあるカウンター６００に向かって進み、審査官６１０による審査を受ける。

このレイアウトの場合、右側のカウンター６００内で左側の１人の審査官６１０が、右側の有人審査スペースで有人審査を受ける渡航者を審査する。また、左側のカウンター６００内で右側の１人の審査官６１０が、左側の有人審査スペースで有人審査を受ける渡航者を審査する。中央のカウンター６００では、右側の１人の審査官６１０が、顔認証ゲート装置１０による入国審査で入国を許可されなかった渡航者を審査する。一方、中央のカウンター６００の左側の審査官６１０は、全ての顔認証ゲート装置１０を管理する。

図２４に示すレイアウトは、２つの無人審査スペースと２つの有人審査スペースとを設けた例を示している。顔認証ゲート装置１０による入国審査を通過した渡航者が通る通路を挟んで両側に１列ずつ、２列の顔認証ゲート装置１０が配置されている。左側の列の顔認証ゲート装置１０の左外側に無人審査スペースが設けられ、さらにその左外側に有人審査スペースが設けられている。また、右側の列の顔認証ゲート装置１０の右外側に無人審査スペースが設けられ、さらにその右外側に有人審査スペースが設けられている。２つの有人審査スペース及び２つの無人審査スペースのそれぞれに１つずつ入口が設けられている。

１列６台の顔認証ゲート装置１０は、２列の顔認証ゲート装置１０の間の通路が同じ幅となるように配置されている。左側の無人審査スペースから右側にゲート１２を通過した渡航者と、右側の無人審査スペースから左側にゲート１２を通過した渡航者は、どちらも中央の通路を通って入国する。

左側の無人審査スペースで顔認証ゲート装置１０による入国審査を受けて入国を許可されなかった渡航者は、左側の無人審査スペースをカウンター６００に向かって進む。右側の無人審査スペースで顔認証ゲート装置１０による入国審査を受けて入国を許可されなかった渡航者は、右側の無人審査スペースをカウンター６００に向かって進む。左右２つの無人審査スペースには、それぞれカウンター６００への通過を制限するゲート装置１１が配置されている。

このレイアウトの場合、図２４に示すように、右側のカウンター６００内で左側の１人の審査官６１０が、右側の有人審査スペースで有人審査を受ける渡航者を審査する。また、左側のカウンター６００内で右側の１人の審査官６１０が、左側の有人審査スペースで有人審査を受ける渡航者を審査する。

中央にあるカウンター６００の２人の審査官６１０は、１人１列ずつ顔認証ゲート装置１０を管理する。また、中央のカウンター６００の２人の審査官６１０は、管理端末３０を利用して、無人審査スペースからカウンター６００への通過を制限するゲート装置１１のゲート１２を開閉することができる。左側の審査官６１０は、左側の無人審査スペースのゲート１２を制御して、顔認証ゲート装置１０による入国審査で入国を許可されなかった渡航者を１人ずつカウンター６００へ通して審査する。同様に、右側の審査官６１０は、右側の無人審査スペースのゲート１２の開閉を制御して、顔認証ゲート装置１０による入国審査で入国を許可されなかった渡航者を１人ずつカウンター６００へ通して審査する。

なお、本実施形態では、空港の入国審査を例に複数台の顔認証ゲート装置１０を利用する例を説明したが、顔認証ゲート装置１０の利用態様がこれに限定されるものではない。顔認証ゲート装置１０を出国審査に利用することもできる。また、出入国審査に、顔認証ゲート装置１０を１台だけ利用することも可能である。また、ゲート装置１１によるゲート１２の開閉は行わず、所定の担当者が、本人確認できた者だけが通過できるゲートの通行を、顔認証ゲート装置１０による判定結果に基づいて制限する態様での利用も可能である。

本実施形態では、パスポート読取装置４００によってパスポートのＩＣチップから顔画像を取得する例を示したが、顔認証処理に利用する顔画像の取得態様がこれに限定されるものではない。例えば、顔認証ゲート装置１０が、記憶媒体であるＩＣチップから情報を読み取る読取装置として、パスポート読取装置４００に代えてＩＣチップリーダを備える態様であってもよい。また、パスポートのような冊子ではなく、ＩＣチップを有する紙製や樹脂製のカードやチケット等の媒体から、ＩＣチップに登録された顔画像を取得する態様であってもよい。例えば、本人の顔画像を記録した社員証や学生証などのＩＤカード、個人番号カード、運転免許証、所有者の顔画像を記録したＩＣチケット等である。

例えば、パスポート読取装置４００に代えてＩＣチップリーダを備える顔認証ゲート装置１０を、コンサートやスポーツ競技等が行われる会場への入場、美術館や博物館等の建物への入館等に利用する。予め入場や入館を許可した名義人に、該名義人の顔画像を記録したＩＣチップを埋め込んだカードを許可証として発行しておいて、来場時や来館時に、該許可証を利用して顔認証ゲート装置１０による審査を実行する。上述したように、ＩＣチップリーダによって許可証のＩＣチップから取得した顔画像と、顔認証カメラ７１〜７４で撮像した撮像顔データとの間で顔照合処理による本人確認を行うことができる。さらに、本人確認の結果に基づいてゲート１２の開閉を制御すれば、許可証の名義人本人だけに入場や入館を許可することができる。

また、本実施形態では、ＩＣチップに名義人の顔画像として予め登録されているＩＣ顔画像を登録顔データとして、撮像顔データと登録顔データによる顔照合処理を行う態様を示した。ただし、ＩＣチップに名義人の顔画像に係る特徴量を登録しておいて、該特徴量を登録顔データとして、顔照合処理を行う態様であっても構わない。この場合も、顔照合処理による本人確認を行って、上述した各処理を実現することができる。

また、本実施形態では、登録顔データを取得する取得部として、パスポート読取装置４００又はＩＣチップリーダを利用する態様を示した。ただし、名義人の顔画像又は該顔画像の特徴量である登録顔データを、サーバ等の外部装置に登録しておいて、取得部が、名義人のＩＤ番号等の識別情報を取得して、取得した識別情報に基づいて外部装置から該識別情報に関連付けられた登録顔データを取得する態様であっても構わない。この場合も、取得部が取得した登録顔データを利用して顔照合処理による本人確認を行って、上述した各処理を実現することができる。

上述したようにパスポート以外のＩＣチップを有する紙製や樹脂製の媒体を利用して顔認証処理を行う場合については、名義人は必須ではなく、媒体の所有者を識別するＩＤ番号等の識別情報や、媒体固有の識別情報等を用いて、処理を進めることができる。さらに、登録顔データをサーバ等の外部装置に登録する場合、登録顔データと関連付けられた識別情報を取得することができれば、該識別情報をＩＣチップに記録する態様に限定されず、磁気情報の読み取りや印刷された文字の文字認識等によって識別情報を得られれば、ＩＣチップも必須ではない。この場合、取得部は、まず媒体に関する識別情報を読み取り、読み取った識別情報に関連付けられた登録顔データを外部装置より受信して、登録顔データを取得する。

また、本実施形態では、被認証者である渡航者が操作部から行う入力操作として顔認証ボタン１１１を押して、見かけ上は本人確認の開始指示としながら、顔照合処理においては本人確認の結果に基づいて行う処理のトリガーとする例を示したが、トリガーとする入力操作が、本人確認の開始指示に限定されるものではない。例えば、画面表示された取り決めを承諾するための入力操作、顔認証に関する媒体の所持者本人であることを宣言するための入力操作、画面表示された商品の購入を決定するための入力操作等をトリガーとすれば、被認証者に、顔認証を意識させずに上述した各処理を行うこともできる。

さらに、本実施形態では、顔認証を含んだ一連の処理を短時間で行うための最良の実施形態として、取得部による登録顔データの取得に先立って撮像顔データを作成し、登録顔データの取得後、速やかに顔照合処理を行う例を示したが、データの取得順序がこれに限定されるものではない。従来の顔照合装置と同様に、例えば、ＩＣチップを搭載した媒体から登録顔データを読み出して取得したり、記憶部で記憶している登録顔データを読み出して取得したりした後に、顔画像を撮像して撮像顔データを作成し、顔照合処理を行う態様であってもよい。この順序で処理を行う場合でも、被認証者の入力操作をトリガーとして、上述したように、顔照合による本人確認の結果に基づいた違和感のない処理を行うことができる。

上述してきたように、本実施形態に係る顔認証ゲート装置１０によれば、パスポート読取装置４００でパスポートのＩＣチップから取得した顔画像と、顔認証カメラ７１〜７４で渡航者を撮像した顔画像との間で顔照合処理を行い、渡航者がパスポートの名義人本人であることを確認できた場合にのみゲート装置１１のゲート１２を開いて渡航者の通行を許可することができる。

また、読取装置としてパスポート読取装置４００に代えてＩＣチップリーダを備える顔認証ゲート装置１０によれば、予め顔画像を記録したＩＣチップが埋め込まれた許可証を発行しておいて、来場者が所持する許可証からＩＣチップリーダで取得した顔画像と、顔認証カメラ７１〜７４で撮像した来場者の顔画像との間で顔照合処理を行い、来場者が許可証の名義人本人であることを確認できた場合にのみゲート装置１１のゲート１２を開いて入場を許可することができる。

顔認証ゲート装置１０によれば、顔認証を受ける渡航者、来場者等の被認証者を撮像して取得した顔画像又は該顔画像の特徴量である撮像顔データと、予め登録されている顔画像又は該顔画像の特徴量である登録顔データとを照合する顔照合処理を行って、被認証者が、登録顔データが登録された本人であることを短時間で正確に判定することができる。これにより、被認証者を審査して本人確認する審査担当者の負担を軽減することができる。また、審査の待ち時間を短縮することにより被認証者の負担も軽減することができる。

以上のように、本発明に係る顔照合装置及び顔照合方法は、顔認証による本人確認の結果を得るまでの処理を短時間で行うために有用である。

１０ 顔認証ゲート装置
１１ ゲート装置
１２ ゲート
１３ 制御部
１４ 記憶部
１５ 通信部
２０ 管理サーバ
３０ 管理端末
３１ 通話部
４０ 監視端末
５０ ネットワーク
７１〜７４ 顔認証カメラ
８１、８２ サーマルカメラ
９１、９２ 監視カメラ
１００ 本体部
１０１ 仕切パネル
１１０ 操作表示部
１１１ 顔認証ボタン
１２０ 人感センサ
１３０ 通話部
２００ 柱部
２１０ 光源
３００ 表示灯部
３１０ ブース番号表示部
３２０ 係員呼出表示部
３３０ 状態表示部
４００ パスポート読取装置
４０１ パスポート載置台
４１１、４１２ 位置検知センサ
４２０ 画像取得部
４２１ ガラス板
４３０ 情報取得部
５１０、５２０ 不正検知部
５１１、５２１ 深度センサ
７００ パーティション

Claims (13)

1. 被認証者の顔画像又は該顔画像の特徴量である撮像顔データと、予め登録されている顔画像又は該顔画像の特徴量である登録顔データとを照合する顔照合処理を行って、前記被認証者が、前記登録顔データが登録された本人であるか否かを確認する顔照合装置であって、
   前記被認証者を撮像するカメラと、
   前記カメラで撮像した画像から顔を検出して作成した撮像顔データを保存する記憶部と、
   前記登録顔データを取得する取得部と、
   前記登録顔データが取得される前に前記記憶部に保存された撮像顔データと、前記取得部が取得した登録顔データとを照合する顔照合処理を実行して、前記被認証者が本人であるか否かを確認し、前記顔照合処理の結果に基づいて処理を行う制御部と
   を備えることを特徴とする顔照合装置。
2. 前記被認証者が注目する注目対象をさらに備え、
   前記カメラは、前記注目対象近傍に設置されていることを特徴とする請求項１に記載の顔照合装置。
3. 前記被認証者が注目する注目対象をさらに備え、
   前記カメラは、前記被認証者が前記注目対象に注目したとき、前記被認証者の正面顔画像が取得できる位置に設置されていることを特徴とする請求項１又は２に記載の顔照合装置。
4. 前記被認証者が注目する注目対象をさらに備え、
   前記カメラは、前記取得部が前記登録顔データを取得する前に、前記被認証者が注目する前記注目対象近傍に設置されていることを特徴とする請求項１〜３のいずれか１項に記載の顔照合装置。
5. 前記注目対象は表示部であって、
   前記取得部が前記登録顔データを取得する前に、前記表示部が、被認証者に向けた表示を行うことを特徴とする請求項４に記載の顔照合装置。
6. 前記注目対象は鏡面であって、
   前記取得部が前記登録顔データを取得する前に、前記鏡面が、前記被認証者の顔を映すことを特徴とする請求項４に記載の顔照合装置。
7. 前記被認証者が注目する注目対象と、
   複数の前記カメラと
   をさらに備え、
   前記注目対象近傍に複数の前記カメラが設置されていることを特徴とする請求項１〜６のいずれか１項に記載の顔照合装置。
8. 前記被認証者が注目する複数の注目対象と、
   複数の前記カメラと
   をさらに備え、
   前記注目対象それぞれの近傍に前記カメラが設置されていることを特徴とする請求項１〜７のいずれか１項に記載の顔照合装置。
9. 前記被認証者の顔より低い位置に前記被認証者が注目する注目対象として表示部をさらに備え、
   前記カメラは、前記表示部の近傍に配置されたカメラと、該カメラより高い位置に配置されたカメラとを含み、複数のカメラによって前記被認証者を撮像して画像を取得することを特徴とする請求項１〜８のいずれか１項に記載の顔照合装置。
10. 本人確認の結果に基づいてゲートを開いて通行を許可するゲート部をさらに備え、
    前記制御部は、前記顔照合処理の結果に基づく前記ゲート部の制御を行うことを特徴とする請求項１〜９のいずれか１項に記載の顔照合装置。
11. 前記制御部は、
    前記取得部が前記登録顔データを取得する前に前記記憶部に保存された撮像顔データと、前記取得部が取得した登録顔データとを照合する顔照合処理を実行した後、
    前記カメラによって前記被認証者を撮像して新たな撮像顔データを作成し、新たな撮像顔データを取得する度に、該撮像顔データと前記登録顔データとの間で顔照合処理を実行する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の顔照合装置。
12. 撮像した顔画像又は該顔画像の特徴量である撮像顔データと、予め登録されている顔画像又は該顔画像の特徴量である登録顔データとを照合する顔照合装置であって、
    カメラと、
    前記カメラで撮像した画像から顔を検出して作成した撮像顔データを保存する記憶部と、
    前記登録顔データを取得する取得部と、
    前記登録顔データが取得される前に前記記憶部に保存された撮像顔データと、前記取得部が取得した登録顔データとを照合する顔照合処理を行う制御部と、
    を備えることを特徴とする顔照合装置。
13. 被認証者の顔画像又は該顔画像の特徴量である撮像顔データと、予め登録されている顔画像又は該顔画像の特徴量である登録顔データとを照合する顔照合処理を行って、前記被認証者が、前記登録顔データが登録された本人であるか否かを確認する顔照合方法であって、
    カメラが被認証者を撮像する撮像工程と、
    前記カメラが撮像した画像から顔を検出して作成した撮像顔データを記憶部に保存する保存工程と、
    取得部が登録顔データを取得する取得工程と、
    前記登録顔データが取得される前に前記記憶部に保存された撮像顔データと、前記登録顔データとを照合する顔照合処理を実行して前記被認証者が本人であるか否かを確認する確認工程と、
    前記顔照合処理の結果に基づいて所定処理を実行する所定処理工程と
    を含むことを特徴とする顔照合方法。

Images