以下、本発明の実施形態について、図面を参照して説明する。
なお、本発明では、「顔情報」が、顔画像そのもの、または、顔画像から取得され得る特徴情報の何れかとして定義されているが、本実施形態では、これらのうち、顔画像そのものが顔情報として用いられる。また、本実施形態では、参照データベースに顔情報を記憶することを「登録」と称し、照合対象の2つの顔情報が同一と判断できる程度に類似または一致することを「整合する」と称する。なお、顔情報は、顔画像に限らず、当該顔画像から取得され得る情報(特徴情報等)であってもよい。
また、本実施形態では、照合に用いた顔画像、当該顔画像がカメラに撮像された時刻、カメラを設置した店舗、カメラID等のカメラを特定する情報、照合結果等の照合に関する情報を「照合情報」と称する。
図1は、実施形態に係る、顔情報管理システム1の環境ブロック図である。
図1には、1つの店舗に設置された照合装置2およびカメラ4と、外部に設置された管理装置3とが示されている。他の店舗に設置された照合装置2も、外部ネットワーク6を介して、管理装置4に接続される。ここで、店舗は、流通店舗や金融機関の営業店等である。カメラ4は、店舗の入り口等の店舗内、または、店舗周辺を撮像する。カメラ4は、内部ネットワークを介して照合装置2に接続されている。照合装置2は、外部ネットワーク6を介して管理装置3に接続されている。内部ネットワーク5および外部ネットワーク6は、LAN等の有線または無線の通信回線である。
照合装置2は、たとえば、万引き犯の顔情報(顔画像)を参照データベースとして保持する。参照データベースは、管理装置3において生成および更新され、各店舗の照合装置2に逐次配布される。参照データベースには、顔情報に対応する人物を管理するための属性情報(人物IDや人物の名前、等)が、各顔情報に対応付けられて保持されている。属性情報には、人物IDのように、管理装置3において、自動的に採番されるものがある。一方、人物の名前のように管理装置3において自動的に決定できない属性情報については、管理装置3において、オペレーターによって手入力される。
照合装置2は、内部ネットワーク5を介してカメラ4から取得した画像から顔画像を抽出して、顔情報(顔画像)を取得する。そして、照合装置2は、取得した顔情報と参照データベースとを照合し、取得した顔情報に整合する顔情報が、参照データベースに含まれている場合に、所定の報知情報を表示部に表示させる。報知情報には、カメラ4から取得した顔情報に整合する参照データベース中の顔情報(顔画像)と、当該顔情報に対応付けられた属性情報とが含まれる。店舗内の係員は、報知情報を参照することにより、監視を強化する等の対応をとることができる。
さらに、本実施形態では、管理装置3において、万引犯の共犯者である可能性が高い人物の顔情報(顔画像)を、万引犯の顔情報にペアリングする処理が行われる。万引犯と、複数の時間範囲において居合わせた他の人物は、当該万引犯の共犯者である可能性が高い。管理装置3は、このような人物の顔情報を、万引犯の顔情報に対応付ける処理を行う。
具体的には、このペアリングにおいて、以下の処理が行われる。
カメラ4から取得された顔情報は、上記のように、逐次、参照データベースと照合される。照合結果は、照合情報として、管理装置3に送信される。照合情報には、カメラ4から取得された顔情報(顔画像)と、当該顔情報(顔画像)が取得された時刻(撮像の時刻)と、カメラ4のIDと、カメラ4が設置された店舗を特定する情報が含まれる。
さらに、照合情報には、カメラ4から取得された顔情報に整合する顔情報が参照データベースに含まれているか否かを示すフラグが含まれる。整合する顔情報が参照データベースに含まれている場合、照合OKフラグが照合情報に含まれ、さらに、整合する顔情報に対応付けられている属性情報(人物ID、人物の名前)が参照データベースから抽出されて照合情報に含まれる。整合する顔情報が参照データベースに含まれていない場合は、照合NGフラグが照合情報に含まれる。
管理装置3は、受信した照合情報を、フラグの状態に拘わらず全て、顔情報データベースに記憶する。そして、管理装置3は、受信した照合情報に照合OKフラグが含まれている場合に、顔情報データベースから、当該照合OKフラグが付された顔情報により特定され得る万引犯と共犯者である可能性が高い他の人物の顔情報を、顔情報データベースにおいて特定する。より詳細には、照合OKフラグが付された顔情報により特定される人物(万引犯)と、複数の時間範囲において居合わせた他の人物(共犯者)の顔情報を、顔情報データベースにおいて特定するための処理が行われる。この処理の具体例については、追って、図5を参照して、詳述する。
この処理において、他の人物(共犯者)の顔情報を特定できた場合、管理装置3は、特定した顔情報を、照合OKフラグが付された顔情報に関連する顔情報として、自身の参照データベースに登録する。
なお、照合OKフラグが付された顔情報も、管理装置3の参照データベースに登録される。このとき、オペレーターにより、当該顔情報に属性情報が付される。属性情報は、登録された顔情報に対応づけて管理装置3の参照データベースに記憶される。
こうして、管理装置3の参照データベースが更新されると、更新後の参照データベースが照合装置2に送信される。このとき、新規に登録された顔情報および属性情報のみが、各店舗の照合装置2に送信されてもよい。また、更新後の参照データベースは、照合OKフラグを含む照合情報を送信した照合装置2のみならず、その他の店舗の照合装置2にも送信されてもよい。
照合装置2は、受信した情報に基づいて、自身の参照データベースを更新する。これにより、照合装置2は、参照データベースを更新する前から照合できた万引犯だけでなく、当該万引犯とペアで行動をとると思われる共犯者についても、来店に伴い、その顔画像を含む報知情報を表示させることができる。これにより、監視を強化する等の対応をとることができる。
ここで、共犯者をペアリングする処理の具体例について、図1を参照して説明する。便宜上、図1には、処理の流れを示すステップ番号(S1〜S9)が付記されている。
図1の例では、カメラIDがID1のカメラ4によって、8月18日9時00分に3人の人物(人物A、X、B)の顔情報(顔画像)を含む画像が撮像されている(ステップS1)。撮像された画像は、撮像時刻とともに、内部ネットワーク5を介して、照合装置2に送信される(ステップS2)。照合装置2は、受信した画像から人物A、X、Bの顔画像を抽出し、抽出した顔画像を顔情報として取得する(ステップS3)。
その後、照合装置2は、ステップS2にて取得した顔情報と、参照データベースに記憶されている顔情報とを照合する(ステップS4)。ここでは、人物Xの顔情報が、参照データベースに記憶された万引犯の顔情報に整合している。照合装置2は、参照データベースから、整合した顔情報(人物Xの顔画像)と、当該顔情報に対応づけられている属性情報とを含む報知情報を表示部に表示させる。
その後、照合装置2は、人物A、X、Bの3人の人物の顔情報について、照合情報を、外部ネットワーク6を介して、管理装置3に送信する(ステップS5)。人物Xの顔情報の照合情報には、照合OKフラグが付され、人物A、Bの顔情報の照合情報には、照合NGフラグが付されている。
管理装置3は、受信した人物A、X、Bの照合情報を顔情報データベースに記憶する(ステップS6)。また、管理装置3は、照合OKフラグが含まれている人物Xの照合情報の顔情報を参照データベースに登録する。さらに、管理装置3は、人物Xの顔情報と顔情報データベース中の顔情報とをペアリングする処理を行う。図1の例では、顔情報データベース中の人物Bの顔情報が、ペアリング対象として特定される。管理装置3は、特定した人物Bの顔情報を、自身の参照データベースに登録する(ステップS8)。このとき、オペレーターの操作により、新規に登録された人物Xおよび人物Bの顔情報に、属性情報が付される。
次に、管理装置3は、新規に参照データベースに登録した人物Xおよび人物Bの顔情報および属性情報を、外部ネットワーク6を介して、照合装置2に送信する(ステップS9)。なお、管理装置3が送信する人物Bの顔情報は1つとは限らない。すなわち、ステップS8の処理において、人物Bの複数の顔情報が参照データベースにおいて特定された場合、複数の顔情報が管理装置3から照合装置2に送信される。
また、人物Bの顔情報の送信先は、ステップS1の処理において照合情報を送信した照合装置2のみでなくてもよい。他の店舗においても、人物Bを注意しなければならないのであれば、他の店舗の照合装置2に対しても、人物Bの顔情報が送信されてもよい。あるいは、全ての店舗の照合装置2に人物Bの顔情報が送信されてもよい。
照合装置2は、管理装置3から受信した人物Xおよび人物Bの顔情報および属性情報を、自身の参照データベースに登録する(ステップS10)。これにより、参照データベースの更新処理が終了する。
図2は、実施形態に係る、顔情報管理システムの構成を示すブロック図である。
照合装置2は、通信部21と、操作部22と、表示部23と、制御部24と、記憶部25とから構成される。
通信部21は、管理装置3およびカメラ4との間で信号(情報)の送受信を行う。
操作部22は、キーボードやマウス等の操作手段を備える。操作部22は、表示部23に対するオペレーターの操作を受け付ける。表示部23は、画像を表示するためのディスプレイを備える。表示部23は、ディスプレイに各種の画像(画面)を表示する。また、表示部23は、制御部24からの制御により、上述の報知情報を表示させる。
制御部24は、CPU(Central Processing Unit)等の演算回路を備え、記憶部25に記憶された動作プログラムに従って、通信部21、操作部22、表示部23の各構成部を制御する。制御部24は、通信部21を介して、カメラ4から撮像された画像を受信する。すなわち、通信部21は、撮像された画像を取得するための取得部として機能する。
記憶部25は、ROM(Read Only Memory)、RAM(Random Access Memory)やハードディスク等の記憶媒体を備える。記憶部25は、制御部24の動作プログラムを記憶し、また、制御部24の制御処理の際にワーク領域として利用される。
また、記憶部25は、顔情報データベース251と、参照データベース252とを記憶している。顔情報データベース251は、照合装置2にて取得された照合情報を管理する。参照データベース252は、照合に用いる顔情報(以下、「参照顔情報」という)を管理する。店舗によって管理される参照顔情報は異なる場合がある。すなわち、地域によって万引犯やその共犯者が異なるため、照合に用いる参照顔情報も異なり得る。
管理装置3は、通信部31と、操作部32と、表示部33と、制御部34と、記憶部35とから構成される。
通信部31は、照合装置2との間で信号(情報)の送受信を行う。
操作部32は、キーボードやマウス等の操作手段を備える。操作部32は、表示部33に対するオペレーターの操作を受け付ける。表示部33は、画像を表示するためのディスプレイを備える。表示部33は、ディスプレイに各種の画像(画面)を表示する。
制御部34は、CPU等の演算回路を備え、記憶部35に記憶された動作プログラムに従って、通信部31、操作部32、表示部33の各構成部を制御する。
記憶部35は、ROM、RAMやハードディスク等の記憶媒体を備える。記憶部35は、制御部34の動作プログラムを記憶し、また、制御部34の制御処理の際にワーク領域として利用される。当該動作プログラムは、顔情報管理プログラム353であり、たとえば、CD−ROM(Compact Disc Read Only Memory)やUSBメモリ〔USB(Universal Serial Bus) flash drive〕などの外部記憶媒体を介して、記憶部35に記憶される。
また、記憶部35は、顔情報データベース351と、参照データベース352とを保持している。顔情報データベース351は、照合装置2から受信した照合情報を管理する。参照データベース352は、照合装置2の参照データベース252に適用される参照顔情報を管理する。
図3は、実施形態に係る、顔情報データベース351の構成を示す図である。参照データベース252も同様の構造であるが、登録される情報が、特定の人物(万引犯およびその共犯者)に関する情報に絞られている。
「撮像時刻」とは、顔情報を含む画像を撮像した時刻である。
「検出した顔画像」とは、当該撮像時刻に撮像された画像から検出された顔情報(顔画像)である。当該顔情報は、参照データベース252に記憶された参照顔情報と照合された顔情報である。
「店舗」とは、顔情報を含む画像を撮像したカメラが設置された店舗である。
「カメラID」とは、顔情報を含む画像を撮像したカメラのIDである。カメラIDは、カメラごとに固有に割り振られた、カメラを管理するための識別情報である。
「照合フラグ」とは前述した照合結果を示すフラグ(照合OKフラ/照合NGフラグ)である。
「人物ID」とは、照合により特定された参照顔情報に付されている人物の識別情報である。照合OKフラグが付されている場合、すなわち、照合により参照顔情報が特定された場合に、人物IDが付される。制御部24が、特定した参照顔情報をもとに、参照用データベース252からIDを抽出する。
「名前」とは、人物IDによって特定される人物の名前や通称である。制御部24が、特定した参照顔情報をもとに、参照用データベース252から名前を抽出する。
「グループ登録フラグ」とは、当該人物のIDに対応する人物にペアとなる人物が別の人物IDにて管理されているか否かのフラグである。グループ登録フラグの詳細は後述する。
図4は、実施形態に係る、参照データベース352の構成を示す図である。参照データベース252も同様の構造である。
図4に示すように、参照データベース352は、人物IDと、顔IDと、参照顔画像と、名前(通称含む)と、検出日時と、店舗と、カメラIDと、グループ登録フラグと、関連IDとが対応付けられた構成となっている。
「人物ID」とは、参照データベース352に登録される人物ごとに固有に割り振られた人物を管理するための識別情報である。
「顔ID」とは、人物IDに対応付けられている参照顔情報を、参照顔情報ごとに管理するための数値である。同一人物ID内において、顔IDが固有に割り振られている。
「顔画像」とは、当該人物IDおよび顔IDに対応する人物の参照顔情報である。
「名前」とは、人物IDによって特定される人物の名前や通称である。
「撮像時刻」とは、参照顔情報を含む画像を撮像した日時である。
「店舗」とは、参照顔情報を含む画像を撮像したカメラが設定された店舗を示す。
「カメラID」とは、参照顔情報を含む画像を撮像したカメラのIDである。カメラIDは、カメラごとに固有に割り振られた、カメラを管理するための識別情報である。
「グループ登録フラグ」とは、当該人物IDに対応する人物にペアとなる人物が別の人物IDにて管理されているか否かのフラグである。グループ登録フラグが「〇」の場合、当該人物には、ペアとなる人物が管理されていることを示す。たとえば、万引犯とペアとなる共犯者が別の人物IDにて管理されていれば、当該万引犯の「グループ登録フラグ」に「〇」が付される。逆に共犯者とペアとなる万引犯が別の人物IDにて管理されている場合にも、当該共犯者の「グループ登録フラグ」に「〇」が付される。
「関連ID」とは、当該人物IDの人物とペアとなる別の人物の人物IDを示す。グループ登録フラグに「〇」が付されている人物IDに対して、関連IDが付される。関連IDは1つでなく、複数であってもよい。これは、共犯者が1人であるとは限らないためである。
上記情報のうち、人物ID、顔ID、名前、グループ登録フラグおよび関連IDが、上述の属性情報に対応する。人物IDは、たとえば、管理装置3のオペレーターにより同一人物の顔情報(顔画像)が目視によりグルーピングされた場合に、管理装置3において自動で付される。これに伴い、顔IDが、たとえば、撮像時刻が古い順に自動で付される。名前は、管理装置3のオペレーターによって入力される。グループ登録フラグおよび関連IDは、管理装置3におけるペアリング処理によって、自動で付される。
なお、照合に用いる顔情報が、顔画像そのものでない場合、すなわち、顔画像から取得され得る特徴情報が顔情報とされる場合、参照データベース352には、さらに、顔情報(特徴情報)が顔IDに対応付けて記憶される。この場合、顔情報(特徴情報)が照合に用いられ、顔画像は、報知情報の表示において用いられる。
また、参照データベース352が、複数のテーブルにて構成されてもよい。たとえば、人物IDと、名前と、グループ登録フラグと、関連IDとを管理する属性テーブルと、人物IDと、顔情報と、検出日時と、店舗と、カメラIDとを管理する顔情報テーブルの2つのテーブルを、人物IDをキーとして連携させてもよい。参照データベース252についても同様である。
図5は、実施形態に係る、関連顔情報の抽出処理を示す図である。
「関連顔情報」とは、図1のステップS7において、照合OKフラグが付された顔情報(万引犯の顔情報)に基づき顔情報データベース351上で特定される他の人物(共犯者)の顔情報のことである。図5には、万引犯Xの共犯者と思われる人物Bの顔情報を抽出するまでの流れが示されている。ここでは、共犯者と思われる人物Bの顔情報が関連顔情報として抽出される。
制御部34は、通信部31を介し、照合装置2から照合情報を取得する。ここでは、照合装置2において、カメラ4により撮像された共犯者Xの顔情報が参照データベース252において特定される。このため、照合装置2から管理装置3に送信される照合情報には、共犯者Xの顔画像および撮像時刻とともに、照合OKフラグ、人物ID、顔ID等が含まれる。制御部34は、取得した照合情報を顔情報データベース351に記憶する。そして、制御部34は、当該照合情報中の照合OKフラグを参照し、人物IDなどを用い、万引犯Xが発見されたことを検知する(ステップS11)。ここでは、万引犯Xの顔情報は、8月18日9:00に秋葉原店のカメラID1のカメラ4にて検出されている。
その後、制御部34は、万引犯Xの顔情報に整合する顔情報を、顔情報データベース351から検索し、取得する(ステップS12)。以下では、顔情報データベース351に記憶されている顔情報を「被検索顔情報」と定義する。制御部34は、照合装置から受信した照合情報中の顔情報、すなわち、8月18日、9:00に秋葉原店のカメラID1のカメラ4が撮像した画像から検出された万引犯Xの顔情報を、検索元となる検索顔情報として設定する。
ここで、被検索顔情報は、顔情報データベースにて管理されている全ての顔情報でもよいし、たとえば、撮像時刻が所定期間内(たとえば、直近60日間)に含まれる顔情報のみであってもよい。
ステップS12の処理により、制御部34は、万引犯Xの顔情報に整合する顔情報として、8月18日、9:00に秋葉原店のカメラID1のカメラ4にて撮像された画像から検出された顔情報だけでなく、8月17日、15:00に品川店のカメラID1のカメラ4と、8月16日、10:00に秋葉原店のカメラID1のカメラ4でそれぞれ撮像された画像から検出された顔情報も取得する。以下では、これら3つの時刻で取得された3つの万引犯Xの顔情報を「第1の被検索顔情報」と定義する。
その後、制御部34は、取得した複数の第1の被検索顔情報の照合情報から、それぞれ、時刻(ここでは、万引犯Xと想定される人物の撮像時刻)を抽出する。そして、制御部34は、抽出した各時刻に対して前後所定の時間(たとえば、20分)を付加して時間範囲を設定し、設定した時間範囲において、第1の被検索顔情報と同じ店舗にてそれぞれ検出された他の顔情報を顔情報データベース351から検索し、取得する(ステップS13)。ここで、撮像に用いられたカメラ4は、第1の被検索顔情報と第2の検出顔情報との間で同じでなくともよく、同一店舗に設置されたものであればよい。ステップS13の処理にて取得された他の顔情報を「第2の被検索顔情報」と定義する。
図5の例では、8月18日、9:00に撮像された画像から検出された万引犯Xの第1の被検索顔情報に対して、8月18日、9:00に秋葉原店のカメラID1のカメラ4にて撮像された画像から検出された人物Aの顔情報と、8月18日、9:00に秋葉原店のカメラID1のカメラ4にて撮像された画像から検出された人物Bの顔情報が、第2の被検索顔情報として取得されている。
また、8月17日、15:00にて撮像された画像から検出された万引犯Xの第1の被検索顔情報に対して、8月17日、15:02に品川店のカメラID1のカメラ4にて撮像された画像から検出された人物Bの顔画像が、第2の被検索顔情報として取得されている。さらに、8月16日、10:00に撮像された画像から検出された万引犯Xの第1の被検索顔情報に対し、8月16日、10:05に秋葉原店のカメラID2のカメラ4にて撮像された画像から検出された人物Cの顔画像と、8月16日、10:02に秋葉原店のカメラID1のカメラ4にて撮像された画像から検出された人物Cの顔画像と、8月16日、10:01に秋葉原店のカメラID2のカメラ4にて撮像された画像から検出された人物Bの顔情報とが、第2の被検索顔情報として取得されている。
その後、制御部34は、ステップS13にて検出した第2の被検索顔情報のうち、時間範囲が異なる第2の被検索顔情報を照合し、互いに整合する第2の被検索情報を特定する(ステップS14)。ここで、時間範囲とは、上記のように、第1の被検索顔情報の時刻ごとに設定された時間範囲のことである。図5の例では、第1の被検索顔情報が3回検知されているため、3つの時間範囲の間で、第2の被検索顔情報が照合される。
ここで、人物Aの第2の被検索顔情報および人物Cの第2の被検索顔情報は1つの時間範囲でしか取得されていない。人物Cの第2の被検索顔情報は、図5右下に示すように、同一時間範囲において複数回取得されているが、複数の時間範囲では取得されていない。これに対し、人物Bの第2の被検索顔情報は、3つの時間範囲のそれぞれにおいて取得されている。すなわち、人物Bは万引犯である人物Xと同じ店舗に居合わせる頻度が高い。このため、人物Bが万引犯Xの共犯者である可能性が高いと言える。
このようなロジックの下、制御部34は、複数の時間範囲の間で互いに整合する第2の被検索顔情報を、共犯者の可能性が高い人物(ここでは人物B)の顔情報として抽出する。そして、制御部34は、抽出した第2の被検索顔情報を、万引犯Xと関連する人物の顔情報、すなわち、万引犯Xの検索顔情報に関連する「関連顔情報」に設定する。ここで、関連顔情報として抽出される第2の被検索顔情報は、複数の時間範囲間において互いに整合する全ての第2の被検索顔情報であってもよく、あるいは、これら第2の被検索顔情報のうち一部であってもよい。当該一部の顔情報は、たとえば、時刻が最新の第2の被検索顔情報であってもよい。
なお、本例において、制御部34は、人物Xの第1の被検索顔情報が取得された3つの時刻にそれぞれ設定した時間範囲全てにおいて、人物Bの第2の被検索顔情報が検出された(すなわち、第2の被検索顔情報が互いに整合した)ことにより、人物Bの第2の被検索顔情報を、関連顔情報として抽出している。これに限らず、制御部34は、人物Bの第2の被検索顔情報が複数の時間範囲間において2回以上検出されているのであれば、人物Bの第2の被検索顔情報を関連顔情報として抽出してもよい。
なお、図1に示した処理フローでは、関連顔情報が抽出されると、そのまま、参照データベース352に登録されたが、抽出された関連顔情報を参照データベース352に登録してよいか否かをオペレーターに確認するようにしてもよい。
図6は、実施形態に係る、関連顔情報の登録を確認するための確認画面を示す図である。
確認画面SC11は、ステップS13にて抽出した関連顔情報を参照データベース352に対し登録してもよいか否かを、管理装置3のオペレーターに対し、確認するための画面である。確認画面SC11は、検索顔画像表示部IC11、ペア候補顔画像表示部SC12、撮像履歴IC13、ボタンIC14、および、ボタンIC15により構成される。
検索顔画像表示部IC11には、検索顔情報の顔画像が表示される。ここでは、万引犯Xの顔画像が、検索顔画像表示部IC11に表示される。すなわち、図5に示された8月18日、9:00に秋葉原店のカメラID1のカメラ4にて撮像された画像から検出された万引犯Xの顔画像が検索顔画像表示部IC11に表示される。制御部34は、設定された検索顔情報に対応する関連顔情報を抽出できた場合には、検索顔画像表示部IC11に当該設定された検索顔情報の顔画像を表示するように制御する。
なお、検索顔情報の顔画像のみならず、検索顔情報に基づいて参照データベース352から抽出された第1の被検索顔情報の顔画像の何れかが、さらに表示されてもよい。
ペア候補人物顔画像表示部IC12には、抽出された関連顔情報のうち代表的な関連顔情報の顔画像が表示される。ここで、代表的な関連顔情報とは、たとえば、時刻が最新の関連顔情報である。ここでは、共犯者と思われる人物Bの関連顔情報(顔画像)が表示される。
ペア候補人物の撮像履歴IC13には、抽出された関連顔情報の一覧を示す表が表示される。当該表において、「ペア候補顔画像」は、抽出された関連顔情報の顔画像である。また、「店舗」および「ペア候補撮像カメラID」は、それぞれ、当該関連顔情報が取得された店舗およびカメラIDであり、「ペア候補撮像時刻」は、当該関連顔情報を含む画像が撮像された時刻である。図5の例では、共犯者Bの3つの顔情報に基づく情報が、「店舗」、「ペア候補撮像時刻」、「ペア候補撮像カメラID」および「ペア候補顔画像」の欄に表示される。
また、「登録人物撮像時刻」および「登録人物撮像カメラID」は、当該関連顔情報を抽出する元となった第1の被検索顔情報の撮像時刻およびカメラIDが表示される。すなわち、図5の例では、時刻が8月18日、9:00の共犯者Bの顔情報(関連顔情報)は、時刻が8月18日、9:00の万引犯Xの顔情報(第1の被検索顔情報)に基づいて抽出されている。したがって、図6に示した撮像履歴IC13の上段には、ペア候補撮像時刻が8月18日、9:00のペア候補顔画像(共犯者Bの関連顔情報の顔画像)に対応付けて、8月18日、9:00の時刻およびカメラID1(万引犯Xの第1の被検索顔情報の撮像時刻およびカメラID)が、登録人物撮像時刻および登録人物撮像カメラIDの欄に表示されている。同様に、撮像履歴IC13の中段および下段には、図5に示した残り2つの関連顔情報(共犯者Bの関連顔情報)を抽出する元となった第1の被検索顔情報(共犯者Xの顔情報)の撮像時刻およびカメラIDが表示されている。
ペア候補人物顔画像表示部IC12には、ペア候補人物の撮像履歴IC13に含まれるペア候補顔画像(関連顔情報)の1つが表示される。オペレーターにより選択されたペア候補顔画像が、ペア候補人物顔画像表示部IC12に表示されてもよい。これにより、オペレーターは、ペア候補人物顔画像表示部IC12に表示された大きな顔画像で、関連顔情報が取得された人物の顔を確認できる。
ボタンIC14は、オペレーターの操作に応じ、制御部34がペア候補として抽出された関連顔情報を参照データベース352に登録するためのボタンである。確認画面SC11において、オペレーターがボタンIC14を押下した場合、制御部34は、ペア候補として抽出された関連顔情報を参照データベース352に登録する。ここでは、撮像履歴IC13に表示されているペア候補の関連顔情報が登録される。
ボタンIC14が押下された場合、制御部34は、検出履歴IC13に表示されている全ての関連顔情報を、参照データベース352に記憶してもよい。あるいは、検出履歴IC13に表示されている関連顔情報の一部をオペレーターに選択させ、選択された関連顔情報のみを参照データベース352に登録してもよい。
ボタンIC15は、オペレーターの操作に応じ、制御部34が関連顔情報を参照データベース352に登録することを中止するためのボタンである。確認画面SC11において、オペレーターがボタンIC15を押下した場合、制御部34は、関連顔情報の登録を中止する。
次に、照合装置2において行われる顔照合処理について説明する。図7は、顔照合処理のフローチャートである。
制御部24は、画像取得処理を行う(S101)。すなわち、制御部24は、通信部21を介して、カメラ4から画像を取得する。次に、制御部24は、顔情報取得処理を行う(S102)。すなわち、制御部24は、ステップS101にて取得した画像から、人物の顔情報を取得する。ここでは、顔画像が顔情報として取得される。
次に、制御部24は、照合処理を行う(S103)。すなわち、制御部24は、ステップS102にて取得した顔情報が、参照データベース252に記憶されたいずれの参照顔情報と整合するか否かの照合処理を行う。なお、いずれかの参照顔情報と整合した場合、制御部24は、表示部23に上述の報知情報を表示させる。
次に、制御部24は、照合情報送信処理を行う(S104)。すなわち、制御部24は、通信部21を介し、管理装置3に対して、ステップS103の照合した結果を含む照合情報を送信する。なお、この際、制御部24は、当該照合情報を顔情報データベース251に記憶してもよい。
次に、管理装置3が行う関連顔情報の登録処理について説明する。図8は、関連顔情報の登録処理のフローチャートである。
制御部34は、受信部31を介して、照合装置2から、照合情報を受信する(S201)。制御部34は、受信した照合情報を、顔情報データベース351に記憶する(S202)。
次に、制御部34は、検索顔情報設定処理を行う(ステップS203)。すなわち、制御部34は、ステップS202で顔情報データベース351に記憶した顔情報のうち、照合OKフラグが対応付けられている顔情報を特定し、特定した顔情報を検索顔情報に設定する。図5の例では、8月18日、9:00に秋葉原店のカメラID1のカメラにより取得された万引犯Xの顔情報が検索顔情報に該当する。
次に、制御部34は、第1の被検索顔情報取得処理を行う(ステップS204)。すなわち、制御部34は、顔情報データベース351に記憶された顔情報(被検索顔情報)のうち、ステップS203にて設置した検索顔情報と整合する顔情報を第1の被検索顔情報として特定する。図5の例では、8月18日、9:00に秋葉原店のカメラID1のカメラ4にて撮像された画像から取得された万引犯Xの顔画像、8月17日、15:00に品川店のカメラID1のカメラ4にて撮像された画像から取得された万引犯Xの顔画像、8月16日、10:00に秋葉原店のカメラID1のカメラ4にて撮像された画像から取得された万引犯Xの顔画像が、第1の被検索顔情報に該当する。
次に、制御部34は、第2の被検索顔情報取得処理を行う(ステップS205)。すなわち、制御部34は、ステップS204にて取得された第1の被検索顔情報が検出された時刻から所定の時間範囲に、同じ店舗で検出された他の顔情報を、第2の被検索顔情報として取得する。時間範囲ごとに取得された第2の被検索顔情報は、各時間範囲の設定元である第1の被検索顔情報と「ペアリング」される。
図5の例では、8月18日、9:00に秋葉原店のカメラID1のカメラ4にて撮像された画像から取得された人物A、Bの顔情報、8月17日、15:02に品川店のカメラID1のカメラ4にて撮像された画像から取得された人物Bの顔画像、8月16日、10:05に秋葉原店のカメラID2のカメラ4にて撮像された画像から取得された人物Cの顔画像、8月16日、10:02に秋葉原店のカメラID1のカメラ4にて撮像された画像から取得された人物Cの顔画像、および8月16日、10:01に秋葉原店のカメラID2のカメラ4にて撮像された画像から取得された人物Bの顔画像が、第2の被検索顔情報に該当する。
次に、制御部34は、第2の被検索顔情報の照合処理を行う(ステップS206)。すなわち、制御部34は、複数の時間範囲で検出された第2の被検索顔情報同士を互いに照合する。
次に、制御部34は、整合数が所定値N以上の第2の被検索顔情報を抽出する(ステップS207)。まず、ステップS206の処理において、各々の第2の被検索顔情報について、整合する他の第2の被検索顔情報の数を算出する。たとえば、図5の例では、人物Aの第2の被検索顔情報の整合数は0、人物Cの第2の被検索顔情報の整合数は0、人物Bの第2の被検索顔情報の整合数はそれぞれ2となる。そして、整合数が所定値N以上である第2の被検索顔情報については(S207:YES)、関連顔情報抽出処理がなされる(S208)。一方、整合数が所定値未満の第2の被検索顔情報については(S207:NO)、処理が終了する。
制御部34は、ステップS207の処理において、整合数が所定値N以上である第2の被検索顔情報を、検索顔情報と関連する関連顔情報として抽出する(S208)。たとえば、所定値Nが1に設定された場合、図5の例において、制御部34は、人物Bの顔情報を関連顔情報として抽出し、人物Aの顔情報および人物Bの顔情報は関連顔情報として抽出しない。
次に、制御部34は、承認操作受付処理を行う(S209)。すなわち、制御部34は、確認画面SC11をオペレーターに対して提示して、ステップS208にて抽出した関連顔情報を参照データベース352に登録してもよいかを、オペレーターに確認する。オペレーターによりボタンIC14が押下されて、登録許可がなされた場合には、制御部34は、関連顔情報を参照データベース352に対し登録する(S210)。登録の際には、制御部34は、グループ登録フラグなどを用い、検索顔情報と関連付けて関連顔情報を記憶する。同時に、関連顔情報に対応する人物IDと、検索顔情報に対応する人物IDも関連付けて記憶する。一方、オペレーターによりボタンIC15が押下されて、登録許可がなされない場合には、制御部34は、処理を終了する。
ステップS210に続き、制御部34は、登録データを送信する(S211)。すなわち、制御部34は、ステップS210にて参照データベース352に登録した関連顔情報(グループ登録フラグ含む)を、通信部31を介し、照合装置2に対して送信する。なお、照合装置2は、通信部21を介して受信した関連顔情報について、参照データベース252に対して登録する。
こうして、顔情報管理システム1における関連顔情報の登録処理が終了する。
なお、ステップS203〜ステップS205の処理において、制御部34は、予め検索顔情報を整合する第1の被検索顔情報を取得し(ステップS204)、当該第1の被検索顔情報に基づき、第2の被検索顔情報を取得している(ステップS205)。第1の被検索顔情報によらず、制御部34は、被検索顔情報全体から互いに整合する被検索顔情報を第2の被検索顔情報として抽出してもよい。この場合、制御部34は、互いに整合する第2の被検索顔情報の組み合わせのうち、第1の被検索顔情報の各々が検出された時刻から所定の時間範囲に、各第2の被検索顔情報の時刻がそれぞれ含まれる第2の被検索顔情報の組み合わせを、関連顔情報として抽出すればよい。
ステップS206の処理においては、複数の時間範囲で検出された第2の被検索顔情報同士を互いに照合する場合を説明したが、同じ時間範囲で検出された第2の被検索顔情報同士も含め、互いに照合してもよい。
また、ステップS201〜S208の処理において、制御部34は、参照データベース352を参照せずとも、通信部31を介して、参照データベース252を参照しながら関連顔情報を抽出してもよい。この場合、制御部34は、ステップS202の処理において、記憶部35に照合情報を記憶する必要がなくなる。これにより、記憶部35は顔情報データベース351も不要となり、データを記憶するために必要なリソースを軽減できる。
また、説明の便宜上、照合情報に係る時刻等の時刻情報については画像がカメラに撮像された時刻、すなわち、カメラに設定された時間軸の時刻が用いられた。これに限らず、照合装置2に設定された時間軸等、他の時間軸の時刻が、照合情報に係る時刻として用いられてもよい。特許請求の範囲に記載の「所定時間軸」とは、カメラが保持する時計の他、照合装置2や管理装置3が保持する時計の時間軸でもよい。必ずしも、撮像時刻でなくてもよく、特徴情報を取得した時刻、照合が完了した時刻等でもよい。また、管理装置3が独自に管理する時間軸であってもよい。
また、ステップS205における処理において用いられる時間範囲は、ステップS204にて取得された第1の被検索顔情報が検出された時刻に対し、時間軸が進む方向、戻る方向、両方向の何れに設定されてもよい。
また、ステップS204の処理において、制御部34は、顔情報データベース351に記憶された顔情報(被検索顔情報)と、ステップS203で設定した検索顔情報とを照合する処理とは異なる処理により、第1の被検索顔情報を取得してもよい。たとえば、制御部34は、照合OKフラグとともに照合情報に含まれている人物ID(属性情報)を用いて、第1の被検索顔情報を顔情報データベース351から取得してもよい。図3に示すように、顔情報データベース351には、照合装置2において同一人物と判定された顔情報に対して、同一の人物IDが付される。したがって、照合OKフラグとともに照合情報に含まれている人物IDに対して人物IDが一致する顔情報を顔情報データベース351から抽出することにより、照合情報に含まれる顔情報(被検索顔情報となる顔情報)に整合する顔情報を、第1の被検索顔情報として、取得することができる。たとえば、照合OKフラグを含む照合情報に、属性情報として人物ID100が含まれている場合、制御部34は、当該人物ID100とともに照合OKフラグが付された被検索顔情報を第1の被検索顔情報として顔情報データベース351から取得すればよい。この処理によれば、制御部34は、検索顔情報と、顔情報データベース351中の全ての被検索顔情報との照合を行わずとも、第1の被検索顔情報を取得でき、制御部34の処理負荷を軽減できる。
また、ステップS211の処理において、制御部34が関連顔情報を送信する照合装置2は、ステップS104の処理において、検索顔情報となる顔情報を送信した照合装置2のみに限られない。制御部34は、通信部31を介し各店舗の照合装置2に関連顔情報を逐次送信してもよい。
<実施形態の効果>
本実施形態によれば、以下の効果が奏される。
(1)図5を参照して説明したように、管理装置3は、制御部34による処理により、検索顔情報を取得した人物と、複数の時間範囲に亘って居合わせたと想定され得る他の人物の顔情報を、関連顔情報として、顔情報データベースから抽出する。よって、検索顔情報を取得した人物と他の人物の顔情報を効率良くペアリングすることができる。
(2)図4を参照して説明したように、参照データベース352および参照データベース252は、ペアリングされた人物の顔情報を、グループ登録フラグおよび関連IDを用いて関連付けて記憶する。これにより、たとえば、カメラに映し出された人物が共犯者Bであると特定できた場合には、万引犯Xの共犯者であることなどをオペレーターに通知することが可能となる。
(3)図8を参照して説明したように、制御部34は、照合装置2において顔照合により特定された顔情報を、検索顔情報として設定する。そして、制御部34は、検索顔情報に関連する関連顔情報の抽出処理を行う。これにより、たとえば、照合装置2において特定された顔情報が万引犯に関する顔情報である場合、当該万引犯と関連する人物の関連顔情報が自動的に抽出される。これにより、万引犯の顔情報を検索顔情報として設定する手間を省け、効率よく、ペアリングの抽出作業が行える。
(4)図6を参照して説明したように、制御部34は、表示部33を介して、確認画面SC11を表示し、確認のための受け付けを行う。このようにオペレーターによる確認作業を経ることにより、不適切な登録を防ぐことができる。
なお、本発明は、上記実施形態によって何ら制限されるものではなく、また、本発明の実施形態も、以下に示す通り、上記以外に種々の変更が可能である。
<変更例1>
変更例1に係る顔情報管理システム1においては、第2の被関連顔情報を関連顔情報として抽出するか否かの判定において、さらに、第2の被検索顔情報を取得した場所を特定する場所情報が確認される。たとえば、場所情報として、第2の被検索顔情報の顔画像を撮像したカメラ4が設置された場所(店舗)の情報が用いられる。
以下に、変更例1に係る顔情報管理システム1について説明する。なお、上記実施形態と同じ部分については、説明を省略する。
図9は、変更例1に係る、関連顔情報の登録処理のフローチャートである。
ステップS207の処理において、整合数が所定値N以上であると判定された第2の被検索顔情報は、さらに、ステップS212において、店舗異同の確認処理が行われる。
ステップS212にて、制御部34は、互いに整合する第2の被検索顔情報にそれぞれ対応付けて顔情報データベース351に記憶されている店舗を比較する。複数組の第2の被検索顔情報がある場合は、各組内で比較する。互いに整合する第2の被検索顔情報の間で店舗(図3の店舗情報)が異なる場合(S212:YES)、制御部34は、互いに整合する当該第2の被検索顔情報を関連顔情報として抽出する(S208)。一方、整合する複数の第2の被検索顔情報で店舗が異ならない場合(S212:NO)、制御部34は、処理を終了する。
なお、顔情報データベース351には、店舗の属性(スーパーマーケット、コンビニエンスストア等)が第2の被検索顔情報に対応付けられて記憶されてもよい。この場合、ステップS212の処理においては、第2の被検索顔情報に対応付けられて顔情報データベース351に記憶されている店舗の属性が異なるかが確認されてもよい。
<変更例1の効果>
(1)異なる場所(店舗)においても、他の人物が万引犯と居合わせている場合、当該他の人物は、より共犯者である可能性が高い。他方、同じ場所(店舗)において他の人物が万引犯と居合わせている場合、当該他の人物は、当該店舗の常連客であり、たまたま万引犯と居合わせたに過ぎないことも想定され得る。このことから、ステップS212により、第2の被検索顔情報が取得された場所(店舗)が互いに異なること、すなわち、第2の被検索顔情報が万引犯と異なる場所で居合わせた他の人物から取得されたものであることを、関連顔情報の抽出条件に含めることにより、抽出される関連顔情報を、検索顔情報(万引犯の顔情報)に対してより関連する可能性が高い顔情報に絞り込むことができる。
なお、本変更例1の構成は、以下に示す他の変更例にも適用され得る。
<変更例2>
上記実施形態では、図8のステップS206において、一方の時間範囲において検出された第2の被検索顔情報(照合元)と、他方の時間範囲において検出された第2の被検索顔情報(照合先)とが照合され、他方の時間範囲の第2の被検索顔情報(照合先)に対する整合数が所定値N以上の場合に、一方の時間範囲の第2の被検索顔情報(照合元)が関連顔情報として抽出された。この場合、たとえば、他方の時間範囲において、同一人物から、照合元の第2の被検索顔情報に整合する第2の被検索顔情報が3つ検出されていると、当該時間範囲における整合数が3となり、照合元の第2の被検索顔情報のトータルの整合数が多くなってしまう。このように、上記実施形態の処理では、各時間範囲において同一人物の顔情報が何回取得されたか、すなわち、各時間範囲において同一人物の顔画像が何回撮像されたかによって、整合数が大きく変動し得る。このため、整合数と所定値Nとを比較して安定的に、第2の被検索顔情報を関連顔情報として抽出することがやや難しくなる。
そこで、変更例2では、整合数に代えて、時間範囲の数が、関連顔情報の抽出の判定において用いられる。ここで、時間範囲の数とは、照合元の第2の被検索顔情報に整合する第2の被検索顔情報を含む時間範囲の数のことである。時間範囲の定義は、上記実施形態と同様である。この場合、上記のように、他方の時間範囲において、同一人物から、照合元の第2の被検索顔情報に整合する第2の被検索顔情報が3つ検出されたとしても、時間範囲の数は1つカウントアップされるだけである。すなわち、各時間範囲において同一人物の顔画像が何回撮像されたかによって、時間範囲の数が変動することはない。よって、時間範囲の数と所定値Nとを比較して安定的に、第2の被検索顔情報を関連顔情報として抽出することができる。
以下に、変更例2に係る顔情報管理システム1について説明する。なお、上記実施形態と同じ部分については、説明を省略する。
図10は、変更例2に係る、顔登録処理のフローチャートである。
制御部34は、ステップS206の処理の後に、互いに整合する第2の被検索顔情報が含まれる時間範囲の数を求める(S213)。時間範囲の数が所定値N以上である第2の被検索顔情報(S213:YES)は、ステップS208において、関連顔情報抽出処理が行われる。一方、時間範囲の数が所定値N未満である第2の被検索顔情報(S213:NO)は、関連顔情報抽出処理が行われることなく、処理が終了する。
図10の処理において、所定値Nは、たとえば、2に設定される。この場合、図4の例では、人物Aの顔情報の時間範囲の数は1つ、人物Bの顔情報の時間範囲の数は3つ、人物Cの顔情報の時間範囲の数は1つとなるため、人物Bの顔情報が関連顔情報として抽出され、人物A、Cの顔情報は、関連顔情報として抽出されないこととなる。所定値Nは、図8のステップS207における所定値Nと相違していてもよい。
<変更例2の効果>
(1)上述のように、1つの時間範囲において、複数回同一人物に係る第2の被検索顔情報が抽出されていても、所定値Nと比較される時間範囲の数が変動することはない。これにより、より正確かつ安定的に関連顔情報を抽出することができる。
<変更例3>
変更例3に係る顔情報管理システム1においては、上記実施形態と異なり、オペレーターが選択した顔情報が検索顔情報として設定される。
以下に、変更例3に係る顔情報管理システム1について説明する。なお、上記実施形態と同じ部分については、説明を省略する。
図11(a)は、変更例3の第1の構成例に係る、顔画像の選択画面SC12であり、図11(b)は、変更例3の第2の構成例に係る、顔画像の選択画面SC13である。
図11(a)の選択画面SC12は、たとえば、オペレーターが顔情報データベース351に含まれる顔情報から、参照データベース352に登録する顔情報の候補を指定することにより表示される。あるいは、外部USBから取り込まれた顔情報が、参照データベース352に登録する顔情報の候補として指定された場合に、選択画面SC12が表示される。図11(a)では、3つの顔情報の顔画像(人物A、X、Bの顔画像)IC21が、選択画面SC12に含まれている。オペレーターは、選択画面SC12が表示された顔画像IC21のうち参照データベース352に登録しようとする顔画像を選択して、ボタンIC22を押下する。図11(a)の例では、人物Xの顔画像が選択されている。これにより、制御部34は、選択された顔画像に対応する顔情報を、属性情報等の他の情報とともに、参照データベース352に登録する。
こうして登録を行った後、制御部34は、オペレーターにより選択された顔画像に対応する顔情報を、検索顔情報に設定する。その後、制御部34は、設定した検索顔情報に基づいて、関連情報を抽出する処理を行う。
図11(b)の選択画面SC13は、たとえば、万引犯として、参照データベース352に登録されていない万引犯Xの顔情報を検索顔情報に設定する場合に用いられる。たとえば、オペレーターが顔情報データベース351に含まれる顔情報から、検索対象の顔情報の候補を指定することにより、選択画面SC13が表示される。図11(b)では、3つの顔情報の顔画像(人物A、X、Bの顔画像)IC31が、選択画面SC13に含まれている。
オペレーターは、選択画面SC13が表示された顔画像IC31のうち検索顔情報の顔画像に設定しようとする顔画像を選択して、ボタンIC32を押下する。図11(b)の例では、人物Xの顔画像が選択されている。これにより、制御部34は、選択された顔画像に対応する顔情報を、検索顔情報に設定する。その後、制御部34は、設定した検索顔情報に基づいて、関連情報を抽出する処理を行う。
図12は、変更例3に係る、関連顔情報の登録処理のフローチャートである。
制御部34は、検索顔情報受付処理を行う(ステップS214)。すなわち、図11(a)、(b)に示された選択画面SC12、SC13を介して、オペレーターから検索顔情報の選択を受け付ける。制御部34は、ステップS214にて受け付けた検索顔情報を、検索顔情報として設定し(S203)、前述と同様の処理をする。
なお、図11(a)の構成例では、オペレーターの操作に応じて、参照データベース352に自動で登録された顔情報が検索顔情報として設定された。これに限らず、たとえば、万引き防止システム(Electronic Article Surveillance)等の外部装置との連携により、制御部34が、外部装置において万引が検知された際に検出した顔情報を自動で登録するような場合、当該自動で登録された顔情報が検索顔情報として設定されてもよい。
<変更例3の効果>
本変更例によれば、以下の効果が奏される。
(1)図11(a)の構成例では、オペレーターにより新規に参照データベースに登録された顔情報に基づき、関連顔情報が抽出される。これにより、新規に登録される顔情報について、直ちに、関連顔情報がペアリングされる。よって、より効率的に、関連顔情報のペアリングを行うことができる。
(2)図11(b)の構成例では、オペレーターにより任意に選択された顔情報に基づき、関連顔情報が抽出される。これにより、たとえば、参照データベース352に登録されていない顔情報であっても、関連顔情報を抽出することができる。
<変更例4>
変更例4に係る顔情報管理システム1においては、上記実施形態と異なり、照合装置2において、照合処理だけでなく、関連顔情報の抽出も行う。
以下に、変更例4に係る顔情報管理システム1について説明する。なお、上記実施形態と同じ部分については、説明を省略する。
図13は、変更例4に係る、顔情報管理システム1の構成を示すブロック図である。本変更例においては、管理装置3にて、関連顔情報の抽出が行われない。
照合装置2の記憶部23は、顔情報管理プログラム253を記憶する。
図14は、変更例4に係る、関連顔情報の登録処理のフローチャートである。
図14のステップ301〜ステップS303において、制御部24は、図7のステップS101〜ステップS103と同様の処理を行う。これらの処理により、撮像画像に基づく照合情報が生成される。上記のように、照合情報には、撮像画像から取得された顔情報と、照合結果(照合OKフラグ/照合NGフラグ)が含まれる。
ステップS304〜ステップS312において、制御部24は、図8のステップS202〜ステップS210と同様の処理を行う。ここで、制御部24は、照合装置2の記憶部25に保持された顔情報データベース251および参照データベース252を用いて、これらステップの処理を行う。記憶処理(S304)では、照合情報を顔情報データベース251に登録する処理が行われる。検索顔情報設定処理(S305)では、照合OKフラグが付された照合情報に含まれる顔情報が、検索顔情報に設定される。設定された検索顔情報に基づいて、顔情報データベース251から、第1の被検索顔情報が取得され、さらに、第2の被検索顔情報が取得される(S306、S307)。そして、第2の被検索顔情報に対する照合処理により、整合数が取得され、整合数と所定値Nとを比較して、関連顔情報が抽出される(S308〜S310)。抽出された関連顔情報は、オペレーターの承認を経た後、参照データベース252に登録される(S311、S312)。こうして、処理が終了する。
なお、ステップS313にて、照合装置2の参照データベース252に登録された関連顔情報は、たとえば、他店舗等の他の拠点の照合装置2に送信してもよい。この場合、他の拠点の照合装置2においても当該参照顔情報を登録できる。よって、他の拠点の照合装置2において、関連顔情報に係る人物がカメラ4で撮像された場合に、当該人物を特定することができる。
<変更例4の効果>
本変更例によれば、以下の効果が奏される。
(1)図13、図14を参照して説明したように、照合装置2において、関連顔情報が抽出されて登録される。これにより、外部の管理装置3と接続を行うような大規模システムでなくとも、万引犯に関連する人物を管理できる。
<変更例5>
変更例5に係る顔情報管理システム1においては、実施形態と異なり、予め関連人物となり得る人物の顔情報が自動で仮登録される。そして、顔情報管理システム1は、仮登録した仮顔情報について、整合する第2の被検索顔情報が取得できた場合には、関連顔情報として抽出を行う。
以下に、変更例5に係る顔情報管理システム1について説明する。なお、実施形態と同じ部分については、説明を省略する。
図15は、変更例5に係る、顔情報管理システムの構成を示すブロック図である。
仮顔情報データベース354は、整合数が所定の値以上である第2の被検索顔情報を、照合用の顔情報として、仮に登録しておくデータベースである。仮顔情報データベース354は、記憶部35に保持されている。仮顔情報データベース354は、参照データベース352とは別に管理される。また、制御部34は、第2の被検索顔情報を互いに照合するよりも先に、当該第2の被検索顔情報と仮顔情報データベース354に記憶された仮顔情報とを照合し、当該第2の被検索顔情報が何れかの仮顔情報に整合するか否かを特定する。
図16は、変更例5に係る、顔登録処理のフローチャートである。
制御部34は、ステップS208にて取得した第2の被検索顔情報を、仮記憶データベース354に登録されている仮顔情報と照合する(S217)。そして、仮記憶データベース354に登録された何れかの顔情報と整合する第2の被検索顔情報を抽出する。
ステップS217の処理において、仮記憶データベース354に登録された何れかの仮顔情報と整合する第2の被検索顔情報が抽出された場合(S218:YES)、制御部34は、整合する仮顔情報と第2の被検索顔情報の少なくとも一方を関連顔情報として抽出する(S208)。その後、制御部34は、抽出した関連顔情報を、ステップS209〜ステップS211の処理により、参照データベース252に登録するとともに、照合装置2に送信する。
一方、ステップS218の処理において、仮記憶データベース354に登録された何れかの仮顔情報と整合する第2の被検索顔情報が抽出されなかった場合(S218:NO)、制御部34は、第2の被検索顔情報同士の照合処理を実行する(S206)。そして、制御部34は、整合数が所定値N以上の第2の被検索顔情報(S218:YES)に対し、仮顔情報の抽出処理を実行し(S215)、抽出した仮顔情報を仮顔情報データベースに登録する(S216)。こうして、管理装置3における関連顔情報の登録処理が終了する。
なお、変更例5において、ステップS207の判定に使用する所定値Nは、実施形態における所定値Nよりも小さな値であってもよい。すなわち、整合数が少ない第2の被検索顔情報であっても、関連顔情報の候補として仮登録が行われてもよい。
なお、ステップS210の処理において登録処理がなされた場合、制御部34は、ステップS217の処理において第2の被検索顔情報と整合した仮顔情報を、仮記憶データベース354から消去してもよい。
<変更例5の効果>
本変更例によれば、以下の効果が奏される。
(1)図15、図16を参照して説明したように、第2の被検索顔情報と仮記憶データベース354に記憶された仮顔情報との照合がなされ、第2の被検索顔情報が仮顔情報に整合した場合に、当該第2の被検索顔情報が関連顔情報として抽出される。よって、顔情報データベースから取得された全ての第2の被検索顔情報を互いに照合する場合よりも、照合数が少なくなり、効率的に関連顔情報の抽出処理が行える。
<その他の変更例>
本実施形態では、万引犯とその共犯者の顔情報を互いに関連付ける場合を例に挙げたが、本発明は、他の人物間の顔情報を関連付ける場合にも適宜用いられ得る。
また、照合装置2および管理装置3が設置される場所も、店舗や金融機関に限られるものではなく、他の場所であってもよい。顔情報管理システムの構成も、図1に示した構成に限られるものではない。
その他、本発明の実施形態は、特許請求の範囲に記載の範囲で適宜変更可能である。