JP2020190856A - 人物判定システム、人物判定装置、人物判定方法、および、プログラム - Google Patents

Abstract

【課題】所有物を必要とせずに、撮像された撮像人物が登録された人物のいずれであるかを判定することが可能となる人物判定システムを提供する。【解決手段】撮像された撮像人物が有する第１の生体情報と、生体情報を登録された登録人物が有する第２の生体情報とに基づき、撮像人物が登録人物のいずれであるのかを判定する人物判定システム１において、人物判定装置２は、カメラ２２と、人物に関連する関連情報を表示し、受け付ける操作表示部２３と、第１の生体情報と所定の関係を満たす第２の生体情報を抽出し、操作表示部２３を介し、当該第２の関連情報に対応する関連情報を表示し、関連情報に対する選択を受け付ける制御部と、を備える。【選択図】図１

Description

本発明は、人物判定システム、人物判定装置、人物判定方法、および、プログラムに関する。

カメラ等で人物を撮像して顔画像等の生体情報を取得し、当該生体情報を用いて、撮像された撮像人物が特定の人物であるか否かを判定し、判定結果を通知する人物判定システムが存在する。人物判定システムは、セキュリティ、防犯、警備、万引き防止、出退勤の管理、顧客認識などを目的として、セキュリティシステムや監視カメラシステムや顧客管理システムなどに用いられている。

たとえば、特許文献１には、出退勤を管理する装置について記載されている。当該装置は、カメラに撮像された利用者が登録されたいずれの人物であるかを、撮像された利用者の生体情報を用いることにより判定する。そして、当該装置は、テンキーなどを介し、「出勤」、「退勤」、「外出」、「戻り」等の出退勤に関する意味付けを利用者から受け付ける。そして、当該装置は、判定した人物に係る出退勤を管理する。これにより、利用者は、その人物を証明できる所有物を必要とせずに、いわゆるハンズフリーにて出退勤の入力が可能となっている。

特開２０１５−４９６５４号公報

しかしながら、特許文献１に記載の装置においては、生体情報を用いて利用者の判定ができなった場合における装置の利用者の救済措置が記載されていない。このため、当該装置は、生体情報を用いて判定ができなかった利用者の出退勤を管理できなかった。

上記課題に鑑み、本発明は、人物の生体情報を用いた判定が行えなかった場合でも、その人物を証明できる所有物を必要とせずに、撮像人物が生体情報を登録された登録人物のいずれであるかを判定できる人物判定システム、人物判定装置、人物判定方法、および、プログラムを提供することを目的とする。

本発明の第１の態様は、撮像された撮像人物が有する第１の生体情報と、生体情報を登録された登録人物が有する第２の生体情報とに基づき、前記撮像人物が前記登録人物のいずれであるのかを判定する人物判定システムに関する。本態様に係る人物判定システムは、人物を撮像する撮像部と、前記第２の生体情報と、前記登録人物に関連する関連情報とを対応付けて記憶する記憶部と、前記関連情報を表示する表示部と、前記表示部に表示された前記関連情報に対する選択を受け付ける受付部と、前記第１の生体情報と、前記第２の生体情報とを比較することにより、前記撮像人物が前記登録人物のいずれであるのかを判定する第１の判定処理を行い、前記第１の判定処理において前記撮像人物が前記登録人物のいずれであるのかを判定できなかった場合に、前記第１の生体情報に対して所定の条件を満たす前記第２の生体情報を抽出し、抽出した前記第２の生体情報に対応する前記関連情報を前記記憶部から取得し、取得した前記関連情報を前記表示部に表示させ、前記表示部に表示させた前記関連情報に対する選択を、前記受付部を介して受け付け、選択された前記関連情報に対応する前記登録人物を、前記撮像人物であると判定する第２の判定処理を行う制御部と、を備える。

上記の構成によれば、人物の生体情報を用いた第１の判定処理による判定が行えなかった場合でも、第２の判定処理が実行されることにより、その人物を証明できる所有物を必要とせずに、撮像人物が登録人物のいずれであるかを判定できる。

本態様に係る人物判定システムにおいて、前記記憶部は、前記撮像人物の画像をさらに記憶し、前記受付部は、前記撮像人物の画像を保存する承認をさらに受け付けるよう構成され得る。この場合、前記制御部は、前記承認を受け付けたことに基づき、前記撮像人物の画像を前記記憶部に記憶させるよう構成され得る。

上記の構成によれば、制御部による処理により、受付部が保存する承認を受け付けたことを条件に、人物の画像が記憶部に記憶される。よって、人物の画像が必要以上に記憶部に記憶されず、記憶部の記憶容量を軽減できる。さらに、保存する指示を受け付けていない顔画像は保存しないことから、個人情報保護の観点からも有効である。

本態様に係る人物判定システムにおいて、前記第１の判定処理は、前記第１の生体情報と、前記第２の生体情報とを比較することにより類似度を算出し、当該類似度が第１の閾値以上である場合に、前記撮像人物が、前記登録人物のいずれであるのかを判定する処理とされ得る。また、前記所定の条件には、前記類似度が前記第１の閾値よりも低い値である第２の閾値を超えることが含まれ得る。

上記の構成によれば、第１の生体情報と第２の生体情報との類似度が第１の閾値以上でないことにより第１の閾値を用いて登録人物のいずれであるかを判定できなかった場合に、第１の閾値よりも低い類似度となる第２の生体情報に対応する関連情報が表示されて、関連情報の選択が受け付けられ、選択された関連情報に対応する登録人物が、撮像人物であると判定される。よって、第１の閾値を用いて登録人物のいずれであるかを判定できなかった場合にも、その人物を証明できる所有物を必要とせずに、撮像人物が登録人物のいずれであるかを判定できる。

しかも、第２の閾値を超える第２の生体情報が抽出され、当該第２の生体情報に対応する関連情報のみが取得される。これにより、操作者と似ていない人物の関連情報を操作者が選択できなくなる。よって、操作者は、操作者と似ていない人物としてなりすませなくなる。さらに、類似度がある程度のレベルに達していないような不要な関連情報まで選択候補とされないので、関連情報を選択する際に操作者が行う確認作業が省力化できる。

本態様に係る人物判定システムにおいて、前記所定の条件には、前記類似度の順位が所定の順位内にあることが含まれ得る。

上記の構成によれば、類似度の大きさが所定の順位内の生体情報に対応する関連情報のみが取得される。これにより、類似度がある程度のレベルに達していないような不要な関連情報まで選択候補とされないので、関連情報を選択する際に操作者が行う確認作業が省力化できる。

本態様に係る人物判定システムにおいて、前記受付部は、前記関連情報の入力をさらに受け付けるよう構成され得る。この場合、前記制御部は、前記記憶部から取得した関連情報を前記表示部に表示させた後に、前記受付部が前記関連情報の入力を受け付けた場合に、入力された前記関連情報に対応する登録人物を、前記撮像人物であると判定するよう構成され得る。

上記の構成によれば、制御部による処理により、関連情報の入力がなされた場合には、当該関連情報に対応する登録人物が撮像人物であると判定される。これにより、例えば、第１の生体情報と類似する第２の生体情報が、記憶部に記憶されていない場合等、第２の判定処理において記憶部から取得された関連情報に、撮像人物の関連情報が含まれていない場合であっても、入力された関連情報により、撮像人物を判定することが可能となる。

本態様に係る人物判定システムにおいて、前記記憶部には、複数の前記関連情報が記憶され得る。また、前記関連情報には、前記表示部に表示させる対象となる表示情報と、前記表示部に表示させる対象とならない非表示情報と、が含まれ得る。この場合、前記制御部は、前記非表示情報を前記表示部に表示しないよう構成され得る。

上記の構成によれば、制御部による処理により、複数の人物に係る関連情報を表示する場合であっても、表示対象となる関連情報のみが表示される。例えば、表示が不要である関連情報の例としては、個人の氏名といった個人情報がある。この場合、操作者にとって関係のない他人の関連情報が、操作者に通知されることを防止できる。

本態様に係る人物判定システムにおいて、前記記憶部は、前記撮像人物を判定するために要した処理を特定する処理情報と、前記撮像人物に係る情報と、を対応付けて記憶するよう構成され得る。

上記の構成によれば、判定履歴において人物判定が正しく行われたのかを確認する際には、処理情報、すなわち人物判定に至る経緯に応じて確認の実施を行うことが可能となり、確認する優先順位が高い処理情報の判定履歴から確認することができる。

なお、ここでいう、「要した処理」とは、人物の判定ができたときに、その判定に至るまでに行われた処理を意味し、たとえば、第１の判定処理により人物の判定が行えた場合は、第１の判定処理となり、第２の判定処理により人物の判定が行えた場合には、第２の判定処理となり得る。

本発明の第２の態様は、撮像された撮像人物が有する第１の生体情報と、生体情報を登録された登録人物が有する第２の生体情報とに基づき、前記撮像人物が前記登録人物のいずれであるのかを判定する人物判定装置に関する。本態様に係る人物判定装置は、人物を撮像する撮像部と、前記第２の生体情報と、前記登録人物に関連する関連情報とを対応付けて記憶する記憶部と、前記関連情報を表示する表示部と、前記表示部に表示された前記関連情報に対する選択を受け付ける受付部と、前記第１の生体情報と、前記第２の生体情報とを比較することにより、前記撮像人物が登録人物のいずれであるのかを判定する第１の判定処理を行い、前記第１の判定処理において前記撮像人物が前記登録人物のいずれであるのかを判定できなかった場合に、前記第１の生体情報に対して所定の条件を満たす前記第２の生体情報を抽出し、抽出した前記第２の生体情報に対応する前記関連情報を前記記憶部から取得し、取得した前記関連情報を前記表示部に表示させ、前記表示部に表示させた前記関連情報に対する選択を、前記受付部を介して受け付け、選択された前記関連情報に対応する前記登録人物を、前記撮像人物であると判定する第２の判定処理を行う制御部と、を備える。

上記の構成によれば、第１の態様に係る人物判定システムと同様の効果を奏し得る。

本発明の第３の態様は、撮像された撮像人物が有する第１の生体情報と、生体情報を登録された登録人物が有する第２の生体情報とに基づき、前記撮像人物が前記登録人物のいずれであるのかを判定する人物判定方法に関する。本態様に係る人物判定方法は、前記第１の生体情報と、前記第２の生体情報とを比較することにより、前記撮像人物が前記登録人物のいずれであるのかを判定する第１の判定処理を行い、前記第１の判定処理において前記撮像人物が前記登録人物のいずれであるのかを判定できなかった場合に、第２の判定処理を行い、前記第２の判定処理では、前記第１の生体情報に対して所定の条件を満たす前記第２の生体情報の抽出を行い、抽出した前記第２の生体情報に対応する、前記登録人物に関連する関連情報の取得を行い、取得した前記関連情報の表示を行い、表示された前記関連情報に対する選択を受け付け、選択された前記関連情報に対応する前記登録人物を、前記撮像人物であると判定する。

上記の構成によれば、第１の態様に係る人物判定システムと同様の効果を奏し得る。

本発明の第４の態様は、プログラムに関する。本態様に係るプログラムは、人物判定装置のコンピューターに、撮像された撮像人物が有する第１の生体情報と、生体情報を登録された登録人物が有する第２の生体情報とに基づき、前記撮像人物が前記登録人物のいずれであるのかを判定する機能と、前記第１の生体情報と前記第２の生体情報とを比較することにより、前記撮像人物が前記登録人物のいずれであるのかを判定する第１の判定処理を行う機能と、前記第１の判定処理において前記撮像人物が登録人物のいずれであるのかを判定できなかった場合に、第２の判定処理を行う機能と、を実行させる。ここで、前記第２の判定処理では、前記第１の生体情報に対して所定の条件を満たす前記第２の生体情報の抽出を行い、抽出した前記第２の生体情報に対応する、前記登録人物に関連する関連情報の取得を行い、取得した前記関連情報の表示の結果、表示された前記関連情報の中から選択された前記関連情報を受け付け、受け付けた前記関連情報に対応する前記登録人物を、前記撮像人物であると判定する。

上記の構成によれば、第１の態様に係る人物判定システムと同様の効果を奏し得る。

本発明によれば、人物の生体情報を用いた判定が行えなかった場合でも、その人物を証明できる所有物を必要とせずに、撮像された撮像人物が、生体情報を登録された登録人物のいずれであるかを判定することが可能となる。

本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。

図１は、実施形態に係る、人物判定システムの環境ブロック図である。 図２は、実施形態に係る、人物判定システムの構成を示すブロック図である。 図３は、実施形態に係る、参照データベースを示す図である。 図４は、実施形態に係る、属性情報データベースを示す図である。 図５は、実施形態に係る、判定履歴データベースを示す図である。 図６は、実施形態に係る、人物判定処理の表示画面を示す図である。 図７は、実施形態に係る、人物判定処理の確認画面を示す図である。 図８は、実施形態に係る、人物判定装置が行う人物判定処理のフローチャートである。 図９は、実施形態に係る、管理装置が行う人物判定装置のフローチャートである。 図１０は、実施形態に係る、関連情報受付処理のフローチャートである。 図１１は、実施形態に係る、管理装置の画面を示す図である。 図１２は、変更例１に係る、人物判定システムの構成を示すブロック図である。 図１３（ａ）は、変更例１に係る、人物判定装置が行う人物判定処理のフローチャートであり、図１３（ｂ）は、変更例１に係る、管理装置が行う人物判定装置のフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

なお、本発明では、「生体情報」が、顔画像そのもの、または、顔画像から取得され得る特徴情報、光彩などのその他人物の画像から取得され得る人物の特徴を表す情報の何れかとして定義される。本実施形態では、これらのうち、顔画像そのものが生体情報として用いられる。

また、本実施形態では、参照データベースに顔情報を記憶することを「登録」と称し、照合対象の２つの顔情報が同一と判断できる程度に類似または一致することを「整合する」と称する。

また、本実施形態では、顔画像、名前、社員ＩＤ、部署名、性別、生年月日、ニックネーム、人物から登録されたアイコン、秘密の質問に対する答え、等の人物に関連する情報を「関連情報」と称する。関連情報については、顔画像、名前、社員ＩＤ、のような人物の特定に繋がる情報のみに限られず、部署名、性別、生年月日、ニックネームのような、人物に関連するが人物の特定には繋がらない情報も含まれる。

人物判定の用途としては、種々様々なものがある。本実施形態では、用途として、企業に勤める人物について出勤または退勤を管理する出退勤を例にして説明を行う。すなわち、本実施形態では、人物判定システムを、勤怠管理システムに適用する例について説明する。なお、人物判定システムは、ショッピングセンターなどの施設に来場した会員に対しポイントを付与する会員システムなど、他のシステムに適用することもできる。

図１は、実施形態に係る、人物判定システム１の環境ブロック図である。

人物判定システム１は、人物判定装置２と、管理装置３と、ネットワーク４と、を備える。人物判定装置２と、管理装置３は、ネットワーク４で接続される。ネットワーク４は、ＬＡＮ等の有線または無線の通信回線である。ネットワーク４は、企業内の内部ネットワークであっても良い。この場合、図１のように、人物判定装置２および管理装置３は企業内に設置されることになる。また、ネットワーク４は、外部のネットワークであっても良い。この場合、人物判定装置２は企業内に設置され、管理装置３は、企業外に設置されることになる。

人物判定装置２は、企業に勤める人物が、出退勤を記録（打刻）するために使用する装置である。人物判定装置２は、企業に勤める人物が出退勤を記録するための打刻所に設置される。他の打刻所に設定された人物判定装置２も、ネットワーク４を介して、管理装置３に接続される。人物判定装置２は、カメラ２２および操作表示部２３を内蔵している。人物判定装置２は、カメラ２２を介して、人物判定装置２を操作する操作者が撮像された画像を取得する。そして、人物判定装置２は、取得した画像から操作者の顔画像（以下、「第１の生体情報」と称する）を抽出する。人物判定装置２は、第１の生体情報を、ネットワーク４を介して、管理装置３に対し送信する。その後、人物判定装置２は、管理装置３が認証した結果を受信する。その後、人物判定装置２は、認証した結果に基づき、操作表示部２３に表示する内容を制御する。そして、人物判定装置２は、表示した内容に応じた操作者からの操作を受け付け、当該操作者を判定する。

管理装置３は、出退勤を管理するための端末である。管理装置３は、企業の管理室に設置される。管理装置３は、ネットワーク４を介して、第１の生体情報を受信する。その後、管理装置３は、第１の生体情報と、参照データベースに登録された生体情報、すなわち顔画像（以下、「第２の生体情報」と称する）と、を照合し、類似度を算出する。そして、管理装置３は、算出した類似度に応じ、第１の生体情報が参照データベースに登録された第２の生体情報のいずれかと整合するか認証する。そして、認証した結果を人物判定装置２に対して送信する。

参照データベースには、人物ごとに管理装置３が付した人物ＩＤと、対応する顔画像が登録される。管理装置３は、参照データベースの他にも、人物ＩＤに対応する人物を管理するための属性情報（名前、社員ＩＤ、部署名、性別、生年月日、ニックネーム、人物から登録されたアイコン、秘密の質問に対する答え、等）を、人物ＩＤに対応付けて保持する属性情報データベースも記憶している。

ここで、人物判定をする処理の具体例について、図１を参照して説明する。便宜上、図１には、処理の流れを示すステップ番号（Ｓ１〜Ｓ６）が付記されている。また、便宜上、参照データベースに登録された第２の生体情報には、当該第２の生体情報が、同一人物について何番目に登録された生体情報であるかを示す数値を、当該人物を示すアルファベットの隣に記載する。例えば、人物Ａについて登録された１個目の生体情報については、Ａ１、人物Ｃについて登録された２個目の生体情報については、Ｃ２と記載する。

図１の例では、カメラ２２が人物Ａを撮像している。そして、人物判定装置２は、撮像した画像から人物Ａの顔画像を取得する（ステップＳ１）。人物Ａは、人物判定装置２の操作者である。ここで、人物Ａの顔画像は、上記「第１の生体情報」に相当する。第１の生体情報は、ネットワーク４を介して、管理装置３に送信される（ステップＳ２）。

管理装置３は、受信した第１の生体情報を受信する。そして、管理装置３は、ステップＳ２にて取得した第１の生体情報と、参照データベースに登録されている第２の生体情報とを照合する（ステップＳ３）。ここでは、第１の生体情報（人物Ａの顔画像）と整合する第２の生体情報は、参照データベースに登録されていないものとする。この場合、管理装置３は、第１の生体情報と同一と判断できる程度に類似しているといえなくとも、ある程度第１の生体情報と類似している第２の生体情報を抽出する。ここでは、第２の生体情報のうち、人物ＡのＡ１の生体情報、人物ＢのＢ１の生体情報、人物ＣのＣ２の生体情報が抽出されたものとする。そして、管理装置３は、当該第２の生体情報に対応する人物ＩＤを取得する。そして、管理装置３は、取得した人物ＩＤに対応する属性情報を、属性情報データベースから取得する（ステップＳ４）。そして、管理装置３は、抽出した第２の生体情報である顔画像と、取得した属性情報とが含まれた関連情報に、照合ＮＧである旨が加えられた認証結果を、ネットワーク４を介して、人物判定装置２に送信する（ステップＳ５）。

人物判定装置２は、受信した照合結果に含まれる照合ＮＧの旨を読み取り、同時に受信したＡ１、Ｂ１、Ｃ２の関連情報（例えば、Ａ１、Ｂ１、Ｃ２の顔画像や氏名）を操作表示部２３に並べて表示する。操作者Ａにより、操作表示部２３に表示された人物Ａ１の関連情報が選択されると、操作者Ａは、登録された人物Ａ１であると判定される（ステップＳ６）。そして、人物判定装置２は、操作者Ａは、人物Ａ１であった判定結果を管理装置３に対して送信する（ステップＳ７）。そして、管理装置３は、受信した判定結果を判定履歴データベースに記憶する（ステップＳ８）。これにより、人物判定の処理が終了する。

なお、ステップＳ３の処理により、第１の生体情報と整合する第２の生体情報が、参照データベースに登録されている場合、管理装置３は、ステップＳ４の処理においては、整合する第２の生体情報に対応する人物ＩＤを取得する。そして、管理装置３は、取得した人物ＩＤに対応する属性情報を、属性情報データベースから取得する（ステップＳ４）。そして、管理装置３は、整合する第２の生体情報である顔画像と、取得した属性情報が含まれた関連情報に、照合ＯＫである旨が加えられた照合結果を、ネットワーク４を介して、人物判定装置２に送信する（ステップＳ５）。

その後、人物判定装置２は、受信した照合結果に含まれる照合ＯＫの旨を読み取り、同時に受信した関連情報を操作表示部２３に表示する。そして、人物判定装置２は、操作者Ａを、表示した関連情報に対応する人物であると判定したことを、操作者Ａに対して通知をする。

なお、勤怠管理システムとして適用されている本実施形態の人物判定システム１では、人物判定処理において、人物判定とともに撮影時刻、すなわち出退勤の時刻が登録される。このため、人物判定処理は、言い換えれば、勤怠処理ということになる。

図２は、実施形態に係る、人物判定システム１の構成を示すブロック図である。

人物判定装置２は、通信部２１と、カメラ２２と、操作表示部２３と、制御部２４と、記憶部２５とから構成される。

通信部２１は、管理装置３との間で信号（情報）の送受信を行う。

カメラ２２は、人物判定装置２を操作する操作者を撮像する。すなわち、カメラ２２は、人物を撮像する撮像部として機能する。

操作表示部２３は、ディスプレイに各種の画像（画面）を表示するとともに、ディスプレイに対するユーザのタッチ操作をタッチセンサにより検出する。操作表示部２３は、操作者からの操作を受け付けることから受付部として機能する。さらに、操作表示部２３は、制御部２４からの制御により、操作者に対する表示を行うための表示部としても機能する。

制御部２４は、ＣＰＵ等の演算回路を備え、記憶部３５に記憶された動作プログラムに従って、通信部２１、カメラ２２、操作表示部２３の各構成部を制御する。

記憶部２５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）やハードディスク等の記憶媒体を備える。記憶部２５は、制御部３４の動作プログラムを記憶し、また、制御部２４の制御処理の際にワーク領域として利用される。当該動作プログラムは、人物判定プログラム（クライアント）２５１であり、たとえば、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)やＵＳＢメモリ〔USB（Universal Serial Bus） flash drive〕などの外部記憶媒体を介して、記憶部２５に記憶される。

管理装置３は、通信部３１と、操作部３２と、表示部３３と、制御部３４と、記憶部３５とから構成される。

通信部３１は、人物判定装置２との間で信号（情報）の送受信を行う。

操作部３２は、キーボードやマウス等の操作手段を備える。操作部３２は、表示部３３に対する操作者の操作を受け付ける。表示部３３は、画像を表示するためのディスプレイを備える。表示部３３は、ディスプレイに各種の画像（画面）を表示する。

制御部３４は、ＣＰＵ等の演算回路を備え、記憶部３５に記憶された動作プログラムに従って、通信部３１、操作部３２、表示部３３の各構成部を制御する。

記憶部３５は、ＲＯＭ、ＲＡＭやハードディスク等の記憶媒体を備える。記憶部３５は、制御部３４の動作プログラムを記憶し、また、制御部３４の制御処理の際にワーク領域として利用される。当該動作プログラムは、人物判定プログラム（サーバー）３５４であり、たとえば、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)やＵＳＢメモリ〔USB（Universal Serial Bus） flash drive〕などの外部記憶媒体を介して、記憶部３５に記憶される。

また、記憶部３５は、参照データベース３５１と、属性情報データベース３５２と、判定履歴データベース３５３とを保持している。参照データベース３５１は、第１の特徴情報を管理する。属性情報データベース３５２は、属性情報を管理する。判定履歴データベース３５３は、各人物判定装置２にて行われた人物判定の履歴を記憶する。

図３は、実施形態に係る、参照データベース３５１の構成を示す図である。

図３に示すように、参照データベース３５１は、人物ＩＤと、顔ＩＤと、参照用顔画像（第２の生体情報）と、が対応付けられた構成となっている。

「人物ＩＤ」とは、参照データベース３５１に登録される人物ごとに固有に割り振られた人物を管理するための識別情報である。

「顔ＩＤ」とは、人物ＩＤに対応付けられている参照用の顔画像を、参照顔画像ごとに管理するための数値である。同一人物ＩＤ内において、顔ＩＤが固有に割り振られている。

「顔画像」とは、当該人物ＩＤおよび顔ＩＤに対応する人物の参照顔画像である。

上記情報のうち、「顔画像」が、第２の生体情報に該当する。また、「顔画像」は関連情報にもなり得る。

なお、第２の生体情報が、顔画像そのものでない場合、すなわち、顔画像から取得され得る特徴情報が第２の生体情報とされる場合、参照データベース３５１には、さらに、特徴情報が顔ＩＤに対応付けて記憶される。この場合、特徴情報が照合に用いられ、顔画像は、関連情報の表示において用いられる。

図４は、実施形態に係る、属性情報データベース３５２の構成を示す図である。

図４に示すように、属性情報データベース３５２は、人物ＩＤと、名前と、社員ＩＤと、部署名と、性別と、年齢と、生年月日と、ニックネームと、アイコンと、秘密の質問と、秘密の答えとが対応付けられた構成となっている。

「人物ＩＤ」とは、参照データベース３５１と同様に、属性情報データベース３５２に登録される人物ごとに固有に割り振られた人物を管理するための識別情報である。

「名前」とは、人物ＩＤによって特定される人物の名前や名称である。

「社員ＩＤ」とは、人物ＩＤによって特定される人物において、企業内で割り振られている社員ＩＤである。例えば、図４に示された「-」のように、アルバイトのような社員でない人物については社員ＩＤが割り振られていない場合もある。

「部署名」とは、人物ＩＤによって特定される人物が企業内において勤めている部署である。

「性別」とは、人物ＩＤによって特定される人物の性別である。

「年齢」とは、人物ＩＤによって特定される人物の年齢である。

「ニックネーム」とは、人物ＩＤによって特定される人物のニックネームである。

「アイコン」とは、人物ＩＤによって特定される人物が設定した、自身のお気に入りのマークである。

「秘密の質問」とは、人物ＩＤによって特定される人物が設定した、自身の秘密の質問である。

「秘密の答え」とは、人物ＩＤによって特定される人物が設定した、「秘密の質問」に対する答えである。

上記情報のうち、「名前」、「社員ＩＤ」、「部署名」、「性別」、「年齢」、「ニックネーム」、「アイコン」、「秘密の答え」が、関連情報に該当する。ここで、関連情報とは、「名前」、「社員ＩＤ」の個人を特定する属性情報に限らない。関連情報は、「部署名」、「性別」、「年齢」、「ニックネーム」、「アイコン」、「秘密の答え」等の、個人の特定までいかずとも、個人に関連する情報も含む。

図５は、実施形態に係る、判定履歴データベース３５３の構成を示す図である。判定履歴データベース３５３は、勤怠ＩＤと、撮像時刻と、撮像した顔画像と、参照顔画像と、名前と、社員ＩＤと、部署名と、勤怠と、装置ＩＤと、処理情報と、入力された情報とが対応付けられた構成となっている。

「勤怠ＩＤ」とは、判定履歴データベース３５３に登録される勤怠処理ごとに固有に割り振られた、勤怠処理の順番を管理するための識別情報である。勤怠ＩＤは、判定履歴データベース３５３に勤怠処理の結果が登録される度に割り振られる。

「撮像時刻」とは、勤怠ＩＤによって特定される勤怠処理中において、人物判定装置２で操作者の顔画像が撮像された時刻である。当該撮像時刻は、勤怠の種別が出勤であれば、出勤時刻としても使用できる。また、勤怠の種別が退勤であれば、当該撮像時刻は、退勤時刻としても使用できる。

「撮像した顔画像」とは、勤怠ＩＤによって特定される勤怠処理中に人物判定装置２で撮像された撮像人物の顔画像である。

「参照顔画像」とは、勤怠ＩＤによって特定される勤怠処理中において、撮像人物であるとして判定された人物の人物ＩＤに対応する顔画像である。後述する顔画像を用いた認証処理において、人物ＩＤを特定できた場合には、当該特定を決定づけた参照用の顔画像が登録される。また、後述する関連情報受付処理において、人物ＩＤを特定できた場合には、当該人物ＩＤに対応する参照顔画像のうち、少なくとも１つの参照顔画像を登録する。例えば、撮像した顔画像ともっとも類似度が高い参照顔画像が登録される。ただし、後述する処理情報が「手入力」と付されている勤怠処理については、手入力された関連情報に対応する人物ＩＤを取得し、当該人物ＩＤに対応する参照顔画像のうち、１つの参照顔画像を登録する。

「名前」とは、勤怠ＩＤによって特定される勤怠処理中において判定された人物の人物ＩＤに対応する名前である。

「社員ＩＤ」とは、勤怠ＩＤによって特定される勤怠処理中において判定された人物の人物ＩＤに対応する社員ＩＤである。

「部署名」とは、勤怠ＩＤによって特定される勤怠処理中において判定された人物の人物ＩＤに対応する部署名である。

「勤怠」とは、勤怠ＩＤによって特定される勤怠処理中において、当該勤怠処理が出勤であるのか退勤であるのか、すなわち勤怠の種別を示す。人物判定装置２の操作者が、装置の操作ときに、出勤であるのか退勤であるのか選択することにより、勤怠の種別が特定される。

「装置ＩＤ」とは、勤怠ＩＤによって特定される勤怠処理を行った人物判定装置２を特定する特定情報である。

「処理情報」とは、勤怠ＩＤによって特定される勤怠処理中において、撮像人物を判定するために要した処理（人物判定の経緯）を特定する情報である。

例えば、勤怠ＩＤ：201808180020に特定される勤怠処理のように、顔画像を用いた認証処理により人物を判定できた場合、すなわち、要した処理が認証処理である場合においては、「認証」とする処理情報が付される。

例えば、勤怠ＩＤ：201808180015、201808180010に特定される勤怠処理のように、関連情報が選択されたことにより人物を判定できた場合、すなわち、要した処理が関連情報受付処理での関連情報を選択する処理である場合においては、「選択」とする処理情報が付される。さらに、選択された関連情報に対応する参照顔画像と、撮像した顔画像と、の類似度に応じ、情報が付される。ここでは、参照顔画像内での類似度の順位に応じて情報が付される。図５の例では、勤怠ＩＤ：201808180015の勤怠処理に対しては、最上位の類似度の顔画像に対応する関連情報が選択されたため、「選択（最上位候補）」が付される。また、勤怠ＩＤ：201808180010の勤怠処理に対しては、最上位以外の類似度の顔画像に対応する関連情報が選択されたため、「選択（最上位以外）」と処理情報が付される。

また、勤怠ＩＤ：201808180005に特定される勤怠処理のように、操作者により関連情報が手入力された場合、すなわち、要した処理が関連情報受付処理での関連情報を入力する処理である場合には、「手入力」とする処理情報が付される。

また、勤怠ＩＤ：201808170200に特定される勤怠処理のように、人物を判定できず、未確定であっても「未確定」とする処理情報が付される。

「入力された情報」とは、勤怠ＩＤによって特定される勤怠処理中において、関連情報が入力された場合に、入力された関連情報を示す。関連情報は、人物判定装置２の操作者により入力される。例えば、操作者は、操作表示部２３に表示された関連情報のリストに自身に該当する関連情報が表示されていない場合に、手入力により、関連情報を入力する。このように入力された関連情報が「入力された情報」として登録される。

次に、上の構成に基づいて人物判定システム１が実行する人物判定処理について、詳細に説明する。

図６は、実施形態に係る、人物判定処理において人物判定装置２の操作表示部２３に表示される表示画面を示す図である。

人物判定装置２の操作表示部２３には、待機画面ＳＣ１１が表示される。待機画面ＳＣ１１には、カメラ２２にて撮像している画像が、その表示領域Ｒ１に表示されるとともに、「出勤」のボタンＢ１および「退勤」のボタンＢ２が配置される。また、操作表示部２３には、何れかのボタンＢ１、Ｂ２の押下を促す通知が行われる。

人物判定装置２の操作者が、「出勤」のボタンＢ１または「退勤」のボタンＢ２を押下した場合、操作表示部２３には、待機画面ＳＣ１１に続く認証画面ＳＣ１２が表示される。認証画面ＳＣ１２においては、表示領域Ｒ１に表示された枠に顔を合わせることを促す通知が行われる。操作者は、顔が表示領域Ｒ１の枠に収まるように自身の位置を調整する。カメラ２２にて撮像された画像から、人物の顔画像（撮像した顔画像）が取得され、取得された顔画像が、人物判定装置２から通信部２１を介して管理装置３に送信される。そして、管理装置３からは、認証により人物の判定が行えたか否かの情報を含む認証結果が送信される。

管理装置３からの認証結果が、認証できたとするものであれば、操作表示部２３に完了通知画面ＳＣ１３が表示される。完了通知画面ＳＣ１３では、打刻が完了した旨が通知される。また、完了通知画面ＳＣ１３の表示領域Ｒ２には、通知認証された人物の属性情報、たとえば、社員ＩＤ、名前、部署名が表示され、さらに、打刻時間（出勤時刻、退勤時刻）が表示される。この場合、判定履歴データベース３５３の処理情報の欄には「認証」として登録される。

一方、管理装置３からの認証結果が、認証が行えなかったとするものである場合、操作表示部２３には、選択受付画面ＳＣ１４が表示される。選択受付画面ＳＣ１４には、管理装置３から送られてきた関連情報のリストＬ１が含まれる。リストＬ１は、認証が行えなかったことを示す情報にもなり得る。リストＬ１に含まれる関連情報は、撮像した顔画像との類似度が所定の閾値を超える参照データベース３５１内の顔画像に対応するものとして、属性情報データベース３５２から取得された関連情報である。操作表示部２３に表示される関連情報には、たとえば、顔画像、社員ＩＤおよび名前が含まれる。この関連情報を表示する順番としては、撮像した顔画像と類似度が高い顔画像の関連情報から順番に表示が行われる。また、選択受付画面ＳＣ１４には、操作者の関連情報がリストＬ１にないときに押される「リストにはなし」のボタンＢ３が含まれる。

操作者は、リストＬ１の関連情報の中から自身の関連情報を、その関連情報へのタッチ操作により選択する。ここでは、１番目に類似度が高かった社員ＩＤ：11000の人物Ａの関連情報が選択されたものとする。この場合、操作表示部２３には、完了通知画面ＳＣ１３が表示される。この場合、判定履歴データベース３５３の処理情報の欄には「選択（最上位候補）」として登録される。

選択受付画面ＳＣ１４において、操作者により、リストＬ１の２番目以下の関連情報が選択される場合や「リストにはなし」のボタンＢ３が押される場合がある。

図７は、実施形態に係る、選択受付画面ＳＣ１４においてリストＬ１の２番目以下の関連情報が選択される場合や「リストにはなし」のボタンＢ３が押された場合に操作表示部２３に表示される表示画面を示す図である。

選択受付画面ＳＣ１４において、２番目に類似度が高い社員ID：12000の人物Ｂの関連情報が選択されたものとする。この場合、操作表示部２３には、選択確認画面ＳＣ１５が表示される。選択確認画面ＳＣ１５が表示される理由は、選択された関連情報に対応する類似度が、表示したリストＬ１中、１番高いものでなかったためである。このため、念のため、操作者に対し、リストの選択誤りでないかの確認が行われるのである。選択確認画面ＳＣ１５には、選択された関連情報が表示される。選択確認画面ＳＣ１５において、「はい」のボタンＢ５が押下された場合には、操作表示部２３の表示が図６の完了通知画面ＳＣ１３に変更される。この場合、判定履歴データベース３５３の処理情報の欄には「選択（最上位以外）」として登録される。一方、選択確認画面ＳＣ１５において、「いいえ」のボタンＢ６が押下された場合には、操作表示部２３の表示が選択受付画面ＳＣ１４に戻る。操作者は、リストＬ１から関連情報の選択を再度、行うことができる。

操作者に該当する関連情報が、選択受付画面ＳＣ１４に表示されているリストに表示されていない場合、操作者は、選択受付画面ＳＣ１４に表示された「リストにはなし」のボタンＢ３を押下する。この場合、操作表示部２３には、保存確認画面ＳＣ１６が表示される。保存確認画面ＳＣ１６において、撮像した画像とともに人物判定システム１に保存するための顔画像は撮像した顔画像で良いのかを操作者に確認を行う通知がなされる。理由としては、勤怠を管理する管理者による効率的な確認作業を行うためである。横を向いている顔の画像、マスクをしている顔の画像等の場合、管理者による確認作業が困難である。このため、管理者による確認作業に適した顔画像であるのか操作者に対して確認を行う。管理者は、確認作業に適した顔画像により顔画像の確認が行えるようになる。操作者が保存に適した顔画像が表示されていると判断し、保存確認画面ＳＣ１６において、「はい（顔画像を保存）」のボタンＢ７が押下された場合には、操作表示部２３の表示が関連情報入力画面ＳＣ１７に変更される。一方、「いいえ（顔認証をやり直す）」のボタンＢ８が押下された場合には、操作表示部２３の表示が図６の認証画面ＳＣ１２に戻る。そして、再度、操作者に対し、認証するための撮像が要求される。

関連情報入力画面ＳＣ１７には、テンキーＫ１が表示されるとともに、操作者に対して関連情報（図７の例では、社員ＩＤ）の入力を促す通知が行われる。操作者による関連情報の入力後、「決定」のボタンＢ９が押下されると、完了通知画面ＳＣ１３が操作表示部２３に表示される。この場合、完了通知画面ＳＣ１３の表示領域Ｒ２には、関連情報は表示されない。この場合、判定履歴データベース３５３の処理情報の欄には「手入力」として登録される。なお、関連情報入力画面ＳＣ１７にて操作者により入力された関連情報に対応する他の関連情報を、管理装置３から取得し、完了通知画面ＳＣ１３の表示領域Ｒ２に表示してもよい。

一方、関連情報入力画面ＳＣ１７において、関連情報の入力が行われずに「スキップ」のボタンＢ１０が押下された場合にも、操作表示部２３の表示が完了通知画面ＳＣ１３に変更される。このボタンＢ１０の操作は、操作者が、関連情報の入力が手間であるなどの理由から関連情報の入力をスキップしたい場合に行われ得る。この場合、判定履歴データベース３５３の処理情報の欄には「未確定」として登録される。また、判定履歴データベース３５３には、撮像した画像は登録されるが、参照顔画像は登録されない。

人物判定処理は、人物判定装置２の制御部２４と管理装置３の制御部３４とが協働することにより行われる。すなわち、制御部２４と制御部３４が、人物判定システム１において、人物判定処理を実行する制御部を構成することになる。

図８は、実施形態に係る、人物判定装置２の制御部２４が行う人物判定処理のフローチャートである。図９は、実施形態に係る、管理装置３の制御部３４が行う人物判定処理のフローチャートである。

図８を参照し、人物判定装置２では、人物判定処理が開始されると、制御部２４は、画像取得処理を行う（Ｓ１０１）。すなわち、制御部２４は、操作表示部２３に待機画面ＳＣ１１を表示し、操作者による「出勤」のボタンＢ１または「退勤」のボタンＢ２の押下を受け付ける。そして、操作者によりボタンＢ１またはボタンＢ２の押下を受け付けた場合には、制御部２４は、カメラ２２を介して操作者を撮像した画像を取得する。その際には、制御部２４は、操作表示部２３に認証画面ＳＣ１２を表示し、取得した顔画像を表示する。また、制御部２４は、ボタンＢ１、Ｂ２が押された日時を、撮像時刻として記憶部２５に記憶するとともに、撮像した顔画像と勤怠の種別（出勤、退勤）を記憶部２５に記憶する。

次に、制御部２４は、顔画像取得処理を行う（Ｓ１０２）。すなわち、制御部２４は、ステップＳ１０１にて取得した画像から、人物の顔画像を取得する。

次に、制御部２４は、顔画像送信処理を行う（Ｓ１０３）。すわなち、制御部２４は、ステップＳ１０２により取得した人物の顔画像を、通信部２１を介して、管理装置３に対して送信する。その後、制御部２４は、管理装置３からの認証結果の送信を待つ。

図９を参照し、管理装置３では、人物判定処理が開始されると、制御部３４は、顔画像受信処理を行う（Ｓ２０１）。すなわち、制御部３４は、人物判定装置２からの人物の顔画像の送信を待ち、送信があると、送信された顔画像を、通信部３１を介して受信する。

次に、制御部３４は、顔認証処理を行う（Ｓ２０２）。すなわち、制御部３４は、受信した顔画像（カメラ２２にて撮像した顔画像）を、参照データベース３５１に記憶されている参照顔画像の各々と比較し、類似度を算出する。そして、算出した類似度の中で最も高い類似度が、第１の閾値以上であるか確認をする。算出した類似度が、第１の閾値以上である場合には、撮影された人物が最も類似度の高い参照顔画像に対応する人物であると認証できたもの、すなわち、撮影された人物が人物判定システム１に登録された登録物の何れであるかを判定できたものとする。一方、第１の閾値未満であれば認証できなかったもの、すなわち、撮影された人物が登録人物の何れであるかを判定できなかったものとする。

ステップＳ２０２の処理において認証できた場合（Ｓ２０３：ＹＥＳ）、制御部３４は、認証結果送信処理をする（Ｓ２０４）。この場合、制御部３４は、認証できた旨の情報が付された認証結果を生成する。当該認証結果には、ステップＳ２０２の処理において最も類似度の高い参照顔画像から特定される人物ＩＤに対応する関連情報の少なくとも一部（後に完了通知画面ＳＣ１３で表示される情報や判定履歴データベース３５３に登録される認証結果として管理装置３に送られる情報）も含まれ得る。そして、制御部３４は、生成した認証結果を、通信部３１を介して人物判定装置２に送信する。

一方、ステップＳ２０２の処理において認証できなかった場合（Ｓ２０３：ＮＯ）、制御部３４は、類似顔画像抽出処理を行う（Ｓ２０５）。すなわち、制御部３４は、ステップＳ２０２にて類似度を算出した参照顔画像の中から、第１の閾値ほど高くなくとも第２の閾値以上の類似度を算出した参照顔画像を抽出する。抽出する参照顔画像は、１枚に限らず、複数あってもよい。

次に、制御部３４は、属性情報取得処理を行う（Ｓ２０６）。すなわち、制御部３４は、ステップＳ２０５にて抽出した参照顔画像に対応する人物ＩＤを特定し、当該人物ＩＤに対応する属性情報を属性情報データベース３５２から取得する。この場合、取得する属性情報は、人物ＩＤに対応する全ての属性情報に限らず、選択受付画面ＳＣ１４に表示する属性情報のみであってもよい。この場合、記憶部３５には、図示しない選択受付画面ＳＣ１４に表示する属性情報を管理する表示データベースを備えてもよい。表示データベースは、属性情報ごとに、表示させる対象である表示情報であるのか、表示させない対象である非表示情報であるのかを管理する。表示データベースで表示させる対象として管理された属性情報が記憶部３５から取得される。そして、制御部３４は、関連情報のうち、表示情報のみを選択受付画面ＳＣ１４に表示する。そして、制御部３４は、非表示情報を選択受付画面ＳＣ１４に表示させない。たとえば、図７に示す選択受付画面ＳＣ１４には、個人の氏名が表示されているが、個人の氏名は、表示データベースで表示されない対象として管理され、選択受付画面ＳＣ１４で表示されないようにしてもよい。

次に、制御部３４は、認証結果送信処理を行う（Ｓ２０４）。上記ステップＳ２０３：ＹＥＳの場合に行われる認証結果送信処理と異なり、ステップＳ２０６に続く認証確認送信処理では、認証結果に、認証できなかった旨の情報と、ステップＳ２０５において抽出した顔画像および類似度と、ステップＳ２０６の処理において取得した属性情報とが含まれる。顔画像と属性情報は、関連情報である。

制御部３４は、認証結果送信処理を行った後、人物判定装置２からの判定結果の送信を待つ。

図８に戻り、人物判定装置２では、ステップＳ１０３にて顔画像送信処理を行った後、制御部２４は、認証結果受信処理を行う（Ｓ１０４）。すなわち、制御部２４は、通信部２１を介して、管理装置３にてステップＳ２０４の処理にて送信した認証結果を受信する。

次に、制御部２４は、ステップＳ１０４にて受信した認証結果を確認し、認証できたものであれば（Ｓ１０５：ＹＥＳ）、終了通知処理を行う（Ｓ１０６）。すなわち、制御部２４は操作表示部２３に完了通知画面ＳＣ１３を表示させることにより、打刻が終了したことを操作者に通知する。

次に、制御部２４は、判定結果生成処理を行う（Ｓ１０７）。すなわち、制御部２４は、判定履歴データベース３５３の各項目に該当する情報を判定結果として生成する。ここでは、判定結果の生成に、記憶部２５に記憶された情報（撮像時刻、勤怠の種別、撮像した顔画像）と、管理装置３から送信された関連情報とが用いられる。また、判定結果として、「認証」という処理情報が生成される。

次に、制御部２４は、判定結果送信処理を行い、生成された判定結果を通信部２１を介して管理装置３に対して送信する（Ｓ１０８）。

一方、ステップＳ１０４にて受信した認証結果を確認し、認証できなかった場合（Ｓ１０５：ＮＯ）、制御部２４は、関連情報受付処理を行う（Ｓ１０９）。当該関連情報受付処理については、詳細を後述する。

ステップＳ１０９の処理の後は、制御部２４は、判定結果生成処理と判定結果送信処理を行う（Ｓ１０７、Ｓ１０８）。

こうして、判定結果送信処理が完了すると、人物判定装置２における人物判定処理が終了する。

再度、図９を参照し、管理装置３では、制御部３４は、ステップＳ２０４にて認証結果送信処理を行った後、判定結果受信処理を行う（Ｓ２０７）。すなわち、制御部３４は、通信部３１を介して、人物判定装置２がステップＳ１０７の処理において送信した人物判定結果を受信する。

次に、制御部３４は、判定結果記憶処理を行う（Ｓ２０８）。すなわち、制御部３４は、ステップＳ２０７の処理において受信した判定結果を判定履歴データベース３５３に記憶する。

こうして、管理装置３における人物判定処理が終了する。

次に、ステップＳ１０８によって示される関連情報受付処理について詳細を説明する。

図１０は、実施形態に係る、関連情報受付処理のフローチャートである。

制御部２４は、選択情報受付処理を行う（Ｓ１０９１）。すなわち、制御部２４は、ステップＳ１０４にて受信した認証結果に含まれる関連情報のリストＬ１を有する選択受付画面ＳＣ１４を操作表示部２３に表示させる。この場合、制御部２４は、リストＬ１において、関連情報を、認証結果に含まれていた顔画像の類似度が高い順に上から並べる。そして、制御部２４は、選択受付画面ＳＣ１４に表示された関連情報に対する操作者からの選択を受け付ける（Ｓ１０９２）。

次に、関連情報が選択された場合（Ｓ１０９２：ＹＥＳ）、制御部２４は、選択された関連情報に対応する顔画像の類似度が、何番目に高い類似度であるか確認する（Ｓ１０９３）。類似度が一番高い、すなわち最上位の顔画像に対応する関連情報が選択された場合（Ｓ１０９３：ＹＥＳ）、制御部２４は、選択された関連情報に対応する、人物判定システム１に登録された登録人物を、撮像人物であると判定する（Ｓ１０９４）。この場合、Ｓ１０７の判定結果生成処理では、判定結果の生成に、記憶部２５に記憶された情報（撮像時刻、勤怠の種別、撮像した顔画像）と、選択された関連情報、すなわち、撮像人物であると判定された登録人物に係る関連情報とが用いられる。また、判定結果として、「選択（最上位候補）」という処理情報が生成される。

こうして、関連情報選択受付処理を終了する。

一方、ステップＳ１０９３の処理において、類似度が最上位でない関連情報が選択された場合（Ｓ１０９３：ＮＯ）、制御部２４は、選択確認処理を行う（Ｓ１０９５）。すなわち、制御部２４は、選択確認画面ＳＣ１５を操作表示部２３に表示させることにより、操作者に対して、選択した関連情報が誤りでない確認をする。

次に、ステップＳ１０９５の処理において、操作者による選択に間違いがない旨が選択された場合、すなわち選択確認画面ＳＣ１５の「はい」のボタンＢ５が押された場合、制御部２４は、選択された関連情報に対応する、人物判定システム１に登録された登録人物を、撮像人物であると判定する（Ｓ１０９４）。この場合、Ｓ１０７の判定結果生成処理では、判定結果の生成に、記憶部２５に記憶された情報と、選択された関連情報とが用いられる。また、判定結果として、「選択（最上位以外）」という処理情報が生成される。

一方、ステップＳ１０９２の処理において、関連情報が選択されなかったと判定された場合（Ｓ１０９２：ＮＯ）、すなわち選択受付画面ＳＣ１４に選択されたボタンのうち、「リストにはなし」のボタンＢ３が押下された場合、制御部２４は、保存顔確認処理を行う（Ｓ１０９６）。すなわち、制御部２４は、保存確認画面ＳＣ１６を操作表示部２３に表示させことにより、操作者に対して撮像した顔画像を保存してよいか確認する。

次に、ステップＳ１０９６の処理において、顔画像を保存して良い旨が選択された場合、すなわち保存確認画面ＳＣ１６の「はい」のボタンＢ７が押された場合、制御部２４は、入力受付処理を行う（Ｓ１０９７）。すなわち、制御部２４は、関連情報入力画面ＳＣ１７を操作表示部２３に表示させて、操作者による関連情報の入力を受け付ける。

関連情報が入力されて「決定」のボタンＢ９が押されると（Ｓ１０９８：ＹＥＳ）、制御部２４は、入力された関連情報に対応する、人物判定システム１に登録された登録人物を、撮像人物であると判定する（Ｓ１０９９）。この場合、Ｓ１０７の判定結果生成処理では、判定結果の生成に、記憶部２５に記憶された情報と、入力された関連情報とが用いられる。また、判定結果として、「手入力」という処理情報が生成される。そして、管理装置３でのＳ２０８での判定結果記憶処理では、入力された関連情報以外の判定履歴データベース３５３に登録される関連情報が、入力された関連情報に基づいて、属性情報データベース３５２から取得される。

一方、ステップＳ１０９７の処理にて関連情報が入力されず、「スキップ」のボタンＢ１０が押された場合（Ｓ１０９８:ＮＯ）制御部２４は、撮像された画像による人物判定を行わずに、関連情報選択受付処理を終了する。この場合、Ｓ１０７の判定結果生成処理では、判定結果の生成に、記憶部２５に記憶された情報のみが用いられる。また、判定結果として、「未確定」という処理情報が生成される。

図１１は、実施形態に係る、管理装置３の表示部３３に表示される画面を示す図である。

管理装置３では、表示部３３に管理画面ＳＣ１８を表示できる。管理画面ＳＣ１８は、勤怠の管理者が、人物判定装置２を用いて人物判定を行った履歴を参照する画面である。管理画面ＳＣ１８は、制御部３４が判定履歴データベース３５３を参照することにより生成される。

管理画面ＳＣ１８は、勤怠ＩＤと、撮像時刻と、撮像した顔画像と、参照顔画像と、名前と、社員ＩＤと、部署名と、勤怠と、装置ＩＤと、処理情報と、入力された情報と、確認項目が対応付けられた構成となっている。確認項目以外の項目は、判定履歴データベース３５３の説明にて説明済であるため省略する。

「確認項目」とは、勤怠ＩＤによって特定される勤怠処理に対して、管理者に確認を求める項目である。本実施形態においては、ボタンの内容は、処理情報に応じて設定されている。

例えば、処理情報が「認証」である勤怠ＩＤ：201808180020、および、処理情報が「選択（最上位候補）」である勤怠ＩＤ：201808180015については、それぞれ、人物判定システム１および撮像人物本人の判定が正解である可能性が高い。よって、確認項目には、ボタンが設定されていない。

一方、処理情報が「選択（最上位以外）」である勤怠ＩＤ：201808180010については、撮像人物本人の判定が不正確である可能性がある。このため、確認項目には、「確認」のボタンＢ１１や「本人に通知」のボタンＢ１２が設定される。

また、処理情報が「手入力」である勤怠ＩＤ：201808180005についても同様に、関連情報の入力ミスや第三者による不正ななりすましの可能性がある。このため、確認項目には、「確認」のボタンＢ１１や「本人に通知」のボタンＢ１２が設定される。

管理者が、撮像した顔画像と参照顔画像とに表示された顔画像を目視により比較し、同一人物の顔画像であると確認すれば、「確認」のボタンＢ１１を押下する。

「確認」のボタンＢ１１が押下されると、管理装置３は、撮像人物と、参照顔画像に表示された人物と、が同一人物であると確定する。そして、管理装置３は、押下された勤怠ＩＤについては、管理装置３は、「確認」のボタンＢ１１を表示しないようになる。この場合、処理情報が「選択（最上位以外）」については、「選択（最上位以外）（確認済み）」と確認済みである旨を付記してもよい。また、処理情報が「手入力」についても、「手入力（確認済み）」と確認済みである旨を付記してもよい。これら「（確認済み）」の付記のある処理情報を含んだ勤怠ＩＤに対しては、管理装置３は「確認」のボタンＢ１１を表示しない。

一方、管理者が撮像した顔画像と参照顔画像とを比較しても、同一人物の顔画像であると確認できない場合がある。この場合、管理者は「本人に通知」のボタンＢ１２を押下する。

「本人に通知」のボタンＢ１２が押下されると、管理装置３は、図示しない企業内の情報管理システムに対し、当該参照用の顔画像に対応する人物ＩＤを送信する。そして、図示しない企業内の情報システムは、受信した人物ＩＤに対応する人物に対してメール等を用いて通知する。社員ＩＤをもたないアルバイトの人物に対しても、当該人物に対応する人物ＩＤを特定することにより、メール等を用いて通知可能である。メール等を受信した人物は、ＷＥＢブラウザを用いて、管理装置３にログインして、自身の人物ＩＤに対応する勤怠履歴を参照することになる。この場合、管理装置３は、管理者でない人物からのアクセスに対しては、当該人物の人物ＩＤに対応する勤怠履歴のみ表示する。そして、当該人物は、撮像した顔画像と、参照顔画像とを比較し、双方とも自己の顔画像であることを確認する。そして、当該人物は、自己の勤怠履歴に誤りがなければ「確認」ボタンを押下するなど行う。これにより、当該人物の勤怠履歴は確定する。

管理画面ＳＣ１８の説明に戻り、処理情報が「未確定」である勤怠ＩＤ：201808170200については、「類似顔検索」のボタンＢ１３が確認項目に設定される。管理者により「類似顔検索」のボタンＢ１３が押下されると、類似顔検索画面ＳＣ１９が表示部３３に表示される。当該類似顔検索画面ＳＣ１９においては、撮像した顔画像が上段に表示され、撮像した顔画像と類似する参照顔画像が、類似している順番に表示される。関連情報も不明であることから、管理者は、下段に表示された類似顔画像に表示されている顔画像から、撮像した顔画像と同一人物のものである顔画像を目視により確認し、選択する。選択された場合、管理装置３は、選択された顔画像に対応する人物が、撮像した顔画像に対応する人物であると確定し、判定履歴データベースのうち、「類似顔検索」のボタンＢ１３を押下された勤怠ＩＤに対応する情報を更新する。この場合、管理装置３では、「類似顔検索」のボタンＢ１３を押下された勤怠ＩＤに対応する処理情報として「類似顔検索による選択」といった付記がなされる。

なお、表示される参照顔画像の件数は、人物判定装置２の操作表示部２３よりも多くてもよい。確認する時間がとれるためである。

＜実施形態の効果＞
本実施形態によれば、以下の効果が奏される。

（１）撮像された顔画像を用いた認証処理だけでは、操作者を特定できなかった場合に、図９のステップＳ１０９の処理において、その顔画像との類似度の高い参照顔画像に対応する人物の関連情報の表示し、操作者に対して、操作者がどの人物に該当するかの選択を受け付ける。これにより、操作者は自己を証明できる所有物を必要とせずに、いわゆるハンズフリーにて自己の認証が行えて、出退勤の入力が可能となる。さらに操作者からすると自己の顔画像と類似する人物の関連情報から選択することができるため、多くいる人物の中から無造作に自己の関連情報を探し出す場合に比べ、探し出す手間が削減できる。

（２）ステップＳ８の処理において表示された関連情報に操作者のものが含まれていない場合には、保存確認画面ＳＣ１６を用いて、撮像された顔画像を人物判定システム１に保存するかを操作者に確認する。これにより、操作者によっては、保存に適していない顔画像については不要に保存されることを防止できる。例えば、正面を向いていない顔画像が、保存確認画面ＳＣ１６に表示されている場合には、「いいえ（顔認証をやり直す）」のボタンＢ８を押下することにより、当該顔画像が保存されることが防止できる。更に、後に顔画像を確認する管理者にとっても、正面を向いていない顔画像等、確認に適していない顔画像を不要に確認せずに済む。

（３）ステップＳ８の処理において表示された関連情報に操作者のものが含まれていない場合には、関連情報入力画面ＳＣ１７を用いて、操作者の関連情報の入力を受け付ける。これにより、第１の生体情報（顔画像）と類似する第２の生体情報（参照顔画像）が記憶部３５に記憶されていない場合等、記憶部３５から取得された関連情報に、撮像人物の関連情報が含まれていない場合であっても、入力された関連情報により、撮像人物を判定することが可能となる。

（４）図５に示すように、判定履歴データベース３５３において、処理情報が記憶される。管理者は、処理情報を確認することにより、どのような処理を経て人物判定に至ったかを知ることができる。ここで、「選択（最上位以外）」、「手入力」、「未確定」の処理情報が記憶された勤怠処理については、人物判定が誤っている可能性がある。そのため、管理者は、管理画面ＳＣ１８において、「選択（最上位以外）」、「手入力」、「未確定」等の処理情報が記憶された、正しく人物が判定されていない可能性がある勤怠処理に対してのみ正しい人物であるかの確認を行えばよい。これにより、確認する手間が省力化できる。

なお、本発明は、上記実施形態によって何ら制限されるものではなく、また、本発明の実施形態も、以下に示す通り、上記以外に種々の変更が可能である。

＜変更例１＞
変更例１に係る人物判定システム１においては、上記実施形態と異なり、人物判定装置２において顔認証処理も行う。

以下に、変更例１に係る人物判定システム１について説明する、なお、上記実施形態と同じ部分については、説明を省略する。

図１２は、変更例１に係る、人物判定システム１の構成を示すブロック図である。本変更例においては、管理装置３において認証処理が行われない。ただし、複数の人物判定装置２に配信する参照顔画像を管理するため、参照データベース３５１は記憶部３５に記憶したままである。また、複数の人物判定装置２に配信する属性情報を管理するため、属性情報データベース３５２も記憶部３５に記憶したままである。

人物判定装置２の記憶部２５は、参照データベース２５２と、属性情報データベース２５３とを記憶する。

図１３（ａ）は、変更例１に係る、人物判定装置２の制御部２４が行う人物判定処理のフローチャートであり、図１３（ｂ）は、変更例１に係る、管理装置３の制御部３４が行う人物判定処理のフローチャートである。

図１３（ａ）のステップＳ１１０において、制御部２４は、図１０におけるステップＳ２０２と同様の処理を行う。また、図１３（ａ）のステップＳ１１１において、制御部２４は、図１０におけるステップＳ２０３と同様の処理を行う。また、図１３（ａ）のステップＳ１１２において、制御部２４は、図１０におけるステップＳ２０５と同様の処理を行う。また、図１３（ａ）のステップＳ１１３において、制御部２４は、図１０におけるステップＳ２０６と同様の処理を行う。

図１３（ｂ）に図示したように、管理装置３では、人物判定装置２において生成した判定結果を受信し（Ｓ２０８）、判定結果を記憶する処理（Ｓ２０９）のみが行われる。こうして処理が終了する。

＜変更例１の効果＞
本変更例によれば、以下の効果が奏される。

（１）図１２、図１３（ａ）および（ｂ）を参照して説明したように、人物判定装置２において、認証処理が実施される。これにより、人物判定装置２から管理装置３までに認証のため顔画像を送信せずともよい。これにより、管理装置３までの通信障害などにより顔画像が送信できずとも顔認証が人物判定装置２で行え、円滑に顔認証ができる。

（２）さらに複数の人物判定装置２が管理装置３と接続している場合においては、上記実施形態の場合であれば、各人物判定装置２からの顔画像送信が集中した場合に、管理装置３における認証処理に対するリソース不足が発生する可能性がある。本変更例においては各人物判定装置２において認証まで行うため、管理装置３のリソース不足の発生を抑制できる。

＜その他の変更例＞
上記実施形態では、選択受付画面ＳＣ１４において、関連情報として、顔画像、社員ＩＤ、名前が表示された。しかしながら、これに限らず、他の関連情報が選択受付画面ＳＣ１４に表示されてもよい。この場合、ニックネーム、アイコンなど、その属性情報のみであれば個人の特定まで繋がらないような属性情報であるとよい。これにより、関係しない第三者に対して、不要な個人情報を通知せずともよくなる。

また、上記実施形態においては、関連情報は、選択受付画面ＳＣ１４に全て表示せず、一部のみの表示であってもよい。例えば、氏名全てを表示せず、名前だけを表示してもよい。

また、上記実施形態では、生体情報として、顔画像が用いられた。しかしながら、これに限らず、指紋、虹彩等も生体情報として含めてもよい。指紋、虹彩のみで判定する場合には、後ほど履歴確認をするために、顔情報も同時に撮像し、判定履歴データベース３５３に管理するとよい。指紋、虹彩のみを残した場合では、後で目視確認できないためである。

さらに、図９のステップＳ２０５の処理において、第２の閾値以上の類似度の参照顔画像が抽出されない場合がある。この場合、ステップＳ２０４において、認証できなかった旨の情報のみしか送信されない。このため、人物判定装置２は、図１０の関連情報受付処理において、選択受付画面ＳＣ１４に表示せず、関連情報入力画面ＳＣ１７を表示し、操作者に対し、関連情報の入力を求めてもよい。

さらに、図１０の関連情報受付処理において、ステップＳ１０９３の処理およびステップＳ１０９５の処理が行われないようにされてもよい。この場合、操作者に対する選択確認画面ＳＣ１５による確認作業が無くなり、勤怠処理に要する時間を短縮できる。

さらに、上記実施形態では、保存確認画面ＳＣ１６において、「はい（顔画像を保存）」のボタンＢ７が押下された場合について、判定履歴データベース３５３に撮像された顔画像が記憶された。しかしながら、これに限らず「いいえ（顔認証をやり直す）」のボタンＢ８が押下された場合であっても、一旦は、認証を行った履歴として撮像された顔画像を判定履歴データベース３５３に残してもよい。この場合、処理情報の欄には「保存不承認」等の「未確定」とは異なる処理情報を設定するとよい。

さらに、上記実施形態では、ステップＳ１０９７の処理が実行され、関連情報入力画面ＳＣ１７において操作者に対して関連情報の入力が求められた。しかしながら、ステップＳ１０９７の処理、すなわち関連情報入力画面ＳＣ１７が行われないようにされてもよい。これにより、関連情報入力による勤怠処理の煩わしさを軽減できる。

さらに、上記実施形態では、ステップＳ２０５の処理において、制御部３４が抽出する顔画像は、撮像した顔画像との類似度が第２の閾値以上であるものとして説明がなされた。しかしながら、これに限らず、ステップＳ２０５の処理では、所定の順位内（例えば５位以内）の類似度に対応する顔画像を抽出してもよい。この場合、これ以降の処理であるステップＳ２０６において取得される属性情報や、ステップＳ１０９１において表示される関連情報も上記所定の順位内の類似度の対応する情報となる。さらに、所定の順位内であっても類似度が第２の閾値以上でない顔画像については、抽出しないようにしてもよい。

さらに、上記実施形態において、判定履歴データベース３５３に、「選択（最上位候補）」、「選択（最上位以外）」等の処理情報が登録されている勤怠処理については、撮像時刻から所定の時間、日数が経過した後には自動的に、入力されている関連情報が正解であると確定してもよい。この場合、一定時間経過後は管理者による確認が無くても確定する機能を利用者が予め選択することが前提である。この場合、管理装置３は、撮像人物と、参照顔画像に表示された人物と、が同一人物であると確定する。そして、自動的に確定した勤怠ＩＤについては、管理装置３は、「確認」のボタンＢ１１を表示しないようになる。この場合、処理情報が「選択（最上位以外）」については、「選択（最上位以外）（自動確定）」と確認済みである旨を付記してもよい。また処理情報が「手入力」についても、「手入力（自動確定）」と確認済みである旨を付記してもよい。これら「（自動確定）」の付記のある処理情報を含んだ勤怠ＩＤに対しては、管理装置３は「確認」のボタンＢ１１を表示しない。この場合、管理画面ＳＣ１８には、「確認」のボタンＢ１１が表示されず、管理人による確認は不要となる。

さらに、上記実施形態において、同日に同じ人物ＩＤについて、２つの出勤があった場合には、処理情報が「認証」である勤怠処理を優先して採用してもよい。この場合、「認証」以外の処理情報が付された勤怠処理については、「未確定」などの勤怠処理の後に「未確定（認証により確定）」といった処理情報を付し、「確認」のボタンＢ１１を表示しなくてもよい。

また、同日に同じ人物ＩＤについて、処理情報が「認証」である勤怠種別が出勤である勤怠処理が複数ある場合には、いずれの勤怠処理に係る撮像時刻が当該人物ＩＤに係る人物の正確な出勤時刻であるのか悩ましい場合が想定される。この場合、顔認証に係る類似度が最も高い勤怠処理を優先して採用してもよい。この場合、当該類似度が最も高くはない勤怠処理に係る処理情報は、「認証」から「認証（複数あるため他の勤怠処理に代替）」へと変更することで、重複する他の勤怠処理があることを示してもよい。これにより、管理者は、「認証（複数あるため他の勤怠処理に代替）」ではなく、「認証」が付された勤怠処理に係る撮像した時刻が実際の出勤時刻であると判断できる。

同一日に同じ人物ＩＤについて、２つの勤怠種別が退勤である勤怠処理があった場合も、上記のように２つの勤怠種別が出勤である勤怠処理があった場合と同様である。

さらに、上記実施形態では、選択受付画面ＳＣ１４にて関連情報が選択されることにより人物判定が行われた場合、選択された関連情報に対応する類似度の順位に応じて異なる処理情報が付された。しかしながら、これに限らず、類似度に応じて異なる処理情報が付されてもよい。たとえば、類似度が高くなるにつれてレベルの数値が低くなるような形態とし、レベルが高い順位に、「選択（レベル１）」、「選択（レベル２）」というような処理情報が付されてもよい。

さらに、上記実施形態では、選択受付画面ＳＣ１４に表示されたリストＬ１中、類似度が最上位以外の関連情報が選択された場合に、選択確認画面ＳＣ１５が表示された。しかしながら、これに限らず、類似度が最上位の関連情報が選択された場合であっても選択確認画面ＳＣ１５し、操作者に対して、選択誤りがないか確認を行ってもよい。

その他、本発明の実施形態は、特許請求の範囲に記載の範囲で適宜変更可能である。

１ 人物判定システム（人物判定システム）
２ 人物判定装置（人物判定装置）
３ 管理装置
２１ 通信部
２２ カメラ（撮像部）
２３ 操作表示部（表示部、受付部）
２４ 制御部（制御部）
２５ 記憶部（記憶部）
２５１ 人物判定プログラム（プログラム）
２５２ 参照データベース
２５３ 関連情報データベース
３１ 通信部
３２ 操作部
３３ 表示部
３４ 制御部
３５ 記憶部（記憶部）
３５１ 参照データベース
３５２ 関連情報データベース
３５３ 判定履歴データベース

Claims (10)

1. 撮像された撮像人物が有する第１の生体情報と、生体情報を登録された登録人物が有する第２の生体情報とに基づき、前記撮像人物が前記登録人物のいずれであるのかを判定する人物判定システムにおいて、
   人物を撮像する撮像部と、
   前記第２の生体情報と、前記登録人物に関連する関連情報とを対応付けて記憶する記憶部と、
   前記関連情報を表示する表示部と、
   前記表示部に表示された前記関連情報に対する選択を受け付ける受付部と、
   前記第１の生体情報と、前記第２の生体情報とを比較することにより、前記撮像人物が前記登録人物のいずれであるのかを判定する第１の判定処理を行い、前記第１の判定処理において前記撮像人物が前記登録人物のいずれであるのかを判定できなかった場合に、前記第１の生体情報に対して所定の条件を満たす前記第２の生体情報を抽出し、抽出した前記第２の生体情報に対応する前記関連情報を前記記憶部から取得し、取得した前記関連情報を前記表示部に表示させ、前記表示部に表示させた前記関連情報に対する選択を、前記受付部を介して受け付け、選択された前記関連情報に対応する前記登録人物を、前記撮像人物であると判定する第２の判定処理を行う制御部と、
   を備えることを特徴とする人物判定システム。
2. 前記記憶部は、前記撮像人物の画像をさらに記憶し、
   前記受付部は、前記撮像人物の画像を保存する承認をさらに受け付け、
   前記制御部は、前記承認を受け付けたことに基づき、前記撮像人物の画像を前記記憶部に記憶させる、
   ことを特徴とする請求項１に記載の人物判定システム。
3. 前記第１の判定処理は、前記第１の生体情報と、前記第２の生体情報とを比較することにより類似度を算出し、当該類似度が第１の閾値以上である場合に、前記撮像人物が、前記登録人物のいずれであるのかを判定する処理であり、
   前記所定の条件には、前記類似度が前記第１の閾値よりも低い値である第２の閾値を超えることが含まれる、
   ことを特徴とする請求項１または２に記載の人物判定システム。
4. 前記所定の条件には、前記類似度の順位が所定の順位内にあることが含まれる、
   ことを特徴とする請求項３に記載の人物判定システム。
5. 前記受付部は、前記関連情報の入力をさらに受け付け、
   前記制御部は、前記記憶部から取得した関連情報を前記表示部に表示させた後に、前記受付部が前記関連情報の入力を受け付けた場合に、入力された前記関連情報に対応する登録人物を、前記撮像人物であると判定する
   ことを特徴とする請求項１ないし４のいずれか一項に記載の人物判定システム。
6. 前記記憶部には、複数の前記関連情報が記憶され、
   前記関連情報には、前記表示部に表示させる対象となる表示情報と、前記表示部に表示させる対象とならない非表示情報と、が含まれ、
   前記制御部は、前記非表示情報を前記表示部に表示しない、
   ことを特徴とする請求項１ないし５のいずれか一項に記載の人物判定システム。
7. 前記記憶部は、前記撮像人物を判定するために要した処理を特定する処理情報と、前記撮像人物に係る情報と、を対応付けて記憶する、
   ことを特徴とする請求項１ないし６いずれか一項に記載の人物判定システム。
8. 撮像された撮像人物が有する第１の生体情報と、生体情報を登録された登録人物が有する第２の生体情報とに基づき、前記撮像人物が前記登録人物のいずれであるのかを判定する人物判定装置において、
   人物を撮像する撮像部と、
   前記第２の生体情報と、前記登録人物に関連する関連情報とを対応付けて記憶する記憶部と、
   前記関連情報を表示する表示部と、
   前記表示部に表示された前記関連情報に対する選択を受け付ける受付部と、
   前記第１の生体情報と、前記第２の生体情報とを比較することにより、前記撮像人物が登録人物のいずれであるのかを判定する第１の判定処理を行い、前記第１の判定処理において前記撮像人物が前記登録人物のいずれであるのかを判定できなかった場合に、前記第１の生体情報に対して所定の条件を満たす前記第２の生体情報を抽出し、抽出した前記第２の生体情報に対応する前記関連情報を前記記憶部から取得し、取得した前記関連情報を前記表示部に表示させ、前記表示部に表示させた前記関連情報に対する選択を、前記受付部を介して受け付け、選択された前記関連情報に対応する前記登録人物を、前記撮像人物であると判定する第２の判定処理を行う制御部と、
   を備えることを特徴とする人物判定装置。
9. 撮像された撮像人物が有する第１の生体情報と、生体情報を登録された登録人物が有する第２の生体情報とに基づき、前記撮像人物が前記登録人物のいずれであるのかを判定する人物判定方法において、
   前記第１の生体情報と、前記第２の生体情報とを比較することにより、前記撮像人物が前記登録人物のいずれであるのかを判定する第１の判定処理を行い、
   前記第１の判定処理において前記撮像人物が前記登録人物のいずれであるのかを判定できなかった場合に、第２の判定処理を行い、
   前記第２の判定処理では、
   前記第１の生体情報に対して所定の条件を満たす前記第２の生体情報の抽出を行い、
   抽出した前記第２の生体情報に対応する、前記登録人物に関連する関連情報の取得を行い、
   取得した前記関連情報の表示を行い、
   表示された前記関連情報に対する選択を受け付け、
   選択された前記関連情報に対応する前記登録人物を、前記撮像人物であると判定する、
   ことを特徴とする人物判定方法。
10. 人物判定装置のコンピューターに、
    撮像された撮像人物が有する第１の生体情報と、生体情報を登録された登録人物が有する第２の生体情報とに基づき、前記撮像人物が前記登録人物のいずれであるのかを判定する機能と、
    前記第１の生体情報と前記第２の生体情報とを比較することにより、前記撮像人物が前記登録人物のいずれであるのかを判定する第１の判定処理を行う機能と、
    前記第１の判定処理において前記撮像人物が前記登録人物のいずれであるのかを判定できなかった場合に、第２の判定処理を行う機能と、を実行させ、
    前記第２の判定処理では、
    前記第１の生体情報に対して所定の条件を満たす前記第２の生体情報の抽出を行い、
    抽出した前記第２の生体情報に対応する、前記登録人物に関連する関連情報の取得を行い、
    取得した前記関連情報の表示の結果、表示された前記関連情報の中から選択された前記関連情報を受け付け、
    受け付けた前記関連情報に対応する前記登録人物を、前記撮像人物であると判定する、
    ことを特徴とするプログラム。

Images