JP2021060866A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】識別対象の人物を正しく識別可能にする。【解決手段】情報処理装置は、人物の所定部位を撮影した画像を取得する取得手段（１１０，１３０）と、撮影された所定部位の画像と予め登録されている人物の所定部位の画像とを照合する第一の照合手段（１５０，１４０）と、第一の照合手段による照合が失敗したかを判定する照合判定手段（１５０）と、照合判定手段によって照合が失敗したと判定された場合に、撮影された所定部位の一部の画像と予め登録されている人物の所定部位の一部の画像とを照合する第二の照合手段（１５０，１４０）と、を有する。【選択図】図１

Description

本発明は、撮影された画像を用いた識別処理を行う情報処理技術に関する。

人物の身体的特徴（バイオメトリクス）を取得し、そのバイオメトリクスが誰のものであるかを判定するバイオメトリクス識別という技術がある。バイオメトリクス識別では、例えば顔、虹彩、網膜など個人ごとの器官形状の特徴を用いて行われものが知られている。バイオメトリクス識別では、識別すべき人物から取得したバイオメトリクスと、予め登録してあるバイオメトリクスとを照合して、その二つのバイオメトリクスが同一人物のものであるか否かを表す値である類似度を求める。そして、人物から取得したバイオメトリクスといずれかの登録済みバイオメトリクスとの類似度が予め定められた閾値以上であれば、その人物は登録済みバイオメトリクスの人物であると判定できる。そうでなければ、その人物は、登録済み人物のうち誰でもないと判定されることとなる。

バイオメトリクス識別の代表的な使われ方として、協力型と非協力型とに分けることができる。特に非協力型は、識別対象の人物自身に、識別されることを知らせないまま、その人物を識別する方法である。その代表的な例としては、オフィスでの勤怠管理や、防犯のための都市監視、立ち止まらないウォークスルーでの入退室管理などがある。非協力型の場合、例えば、目立たないよう通路などに設置されたカメラで、識別対象の人物が歩いて近づいてきたタイミングで撮影を行い、識別対象の人物が通過したときに識別を行う。非協力型の識別のうち特に顔識別については、非特許文献１に開示された技術がある。

"An introduction to biometric recognition": A. K. Jain: 2004

非協力型の顔識別は非接触であり収集性が高い（識別対象の人物に負担なくバイオメトリクスを容易に取得できる）メリットはあるが、識別対象の人物自身は識別されることを意識しないために顔識別を実行できない場合があるというデメリットがある。特に、識別対象の人物が、例えばマスクやサングラスなどを装着している場合、それらの装着物によって顔が隠れることで、顔識別ができなくなる場合がある。すなわちバイオメトリクスである顔の表面の大部分が覆い隠され、個人差を表す特徴を取り出すことができないため、予め登録済みの顔と照合できないためである。

そこで、本発明は、識別対象の人物を正しく識別可能にすることを目的とする。

本発明の情報処理装置は、人物の所定部位を撮影した画像を取得する取得手段と、前記撮影された前記所定部位の画像と、予め登録されている人物の前記所定部位の画像と、を照合する第一の照合手段と、前記第一の照合手段による前記照合が失敗したかを判定する照合判定手段と、前記照合判定手段によって前記照合が失敗したと判定された場合に、前記撮影された前記所定部位の一部の画像と、予め登録されている人物の前記所定部位の前記一部の画像とを、照合する第二の照合手段と、を有することを特徴とする。

本発明によれば、識別対象の人物を正しく識別可能となる。

第１の実施形態の識別装置の構成例を示す図である。 識別装置の設置例を示す図である。 第１の実施形態に係る識別処理の流れを示すフローチャートである。 照合部の構成例を示す図である。 肌照合処理の流れを示すフローチャートである。 照合候補領域の設定例を示す図である。 第２の実施形態に係る識別処理の流れを示すフローチャートである。 第３の実施形態の識別装置の構成例を示す図である。

以下、添付の図面を参照して、本発明に係る実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示等された構成に限定されるものではない。
＜第１の実施形態＞
図１は、情報処理装置の一適用例である第１の実施形態の識別装置１００の構成例を示した図である。本実施形態の識別装置１００は、非協力型のバイオメトリクス識別を行う装置であり、例えば識別対象の人物を撮影した画像を基に顔識別を行う。本実施形態では、例えば、立ち止まることなくウォークスルーで勤怠管理が行われているオフィス出入り口手前の廊下を通過する人物について識別を行う例を挙げて説明する。なおこれ以降、説明を簡便にするために、識別対象の人物を単に対象人物と呼び、勤怠管理すべきとして予め登録されている人物を登録済みユーザと呼ぶ。

図１に示すように、第１の実施形態の識別装置１００は、入力部１１０と入力部１３０、検知部１２０、保持部１４０、照合部１５０、および出力部１６０を有して構成されている。
入力部１１０は、廊下および当該廊下を通過する対象人物を撮影可能な設置位置および撮影画角に設定されたカメラ（第一の撮影装置）によって撮影された画像を取得する画像入力部である。
検知部１２０は、対象人物の接近を検知可能な接近センサからの検知信号を取得して、対象人物の接近を検知する接近検知部である。
入力部１３０は、検知部１２０が接近を検知した対象人物の例えば顔を撮影可能な設置位置および撮影画角に設定されたカメラ（第二の撮影装置）によって撮影された画像を取得する画像入力部である。

保持部１４０は、登録済みユーザの画像を保持している登録画像保持部である。
照合部１５０は、入力部１１０または入力部１３０にて取得された対象人物の画像と、保持部１４０に保持されている各登録済みユーザの画像とを照合して、廊下を通過している対象人物が登録済みユーザであるかどうかを判定する。

出力部１６０は、照合部１５０による照合結果の情報を外部に出力するための外部出力部である。出力部１６０は、廊下を通過している該当対象人物が、照合部１５０において登録済みユーザであると判定された場合にはその旨を示す信号を出力する。一方、出力部１６０は、照合部１５０において未登録の人物であると判定された場合には、その旨を示す信号を出力する。本実施形態において、出力部１６０からの出力形態には、照合結果を外部または内部の表示装置に表示させる形態、照合結果を外部または内部の音声出力装置から音声出力する形態、あるいはネットワークを介して外部に送信する形態などが含まれる。これにより、照合結果は、識別装置１００の管理者等に通知される。図１に示した各部の詳細な構成および動作の説明は後述する。

なお、図１に示した各部の機能は、例えばＣＰＵ（中央処理装置）が本実施形態に係る情報処理プログラムを実行することにより実現されてもよいし、専用の回路により実現されてもよい。あるいは、一部が専用の回路により実現され、残りがＣＰＵによるプログラムの実行によって実現されてもよい。

図２（ａ）と図２（ｂ）は、廊下を通過している対象人物２０１およびその進行方向２０２と、廊下に設置されたカメラ２１０，２３０の設置場所および撮影画角と、同じく廊下に設置された接近センサ２２０の設置場所とを簡易的に示した図である。図２（ａ）は対象人物２０１および廊下等を横から見た図であり、図２（ｂ）は図２（ａ）に示された対象人物２０１および廊下等を上から見た図である。図２（ａ）および図２（ｂ）に示すように、カメラ２１０は、出入り口２０４に通じる廊下の例えば天井付近に設置され、カメラ２３０および接近センサ２２０は廊下の例えば壁面に設置されている。なお、出入り口２０４は、施錠されていないドア（例えば自動ドア）であるが、ドアはなくてもよい。

カメラ２１０は、対象人物２０１が遠くにいる時点で当該人物の少なくとも顔全体を撮影できるように、例えば廊下の出入り口２０４付近に配置され、出入り口２０４からみて廊下の奥側を撮影するように、撮影方向および撮影画角２０３が設定されている。前述した図１の入力部１１０は、当該カメラ２１０が撮影した画像データを取得する。

接近センサ２２０は、対象人物２０１が進行方向２０２に進んで当該センサの前を通過した（横切った）時に検知信号を出力する。前述した図１の検知部１２０は、当該図２（ｂ）の接近センサ２２０から出力される検知信号を取得する。なお、図２（ｂ）に示されている検知線２０６は、接近センサ２２０における検知可能な領域を表したものであり、接近センサ２２０は、対象人物２０１が検知線２０６を横切ったときに検知信号を検知部１２０に送出する。なお、図２（ｂ）の例では、接近センサ２２０における検知可能な領域は、検知線２０６として示されているが、ある程度の広がりを有する検知エリアであってもよい。

カメラ２３０は、例えば廊下の壁等に配置され、接近センサ２２０の前を横切った対象人物２０１の顔の肌を、ある程度高い解像度で撮影できるように撮影方向および撮影画角２０５が設定されている。前述した図１の入力部１３０は、当該カメラ２３０が撮影した画像データを取得する。

本実施形態の場合、カメラ２３０は、対象人物２０１の顔の肌を撮影する必要があるため、歩行している人の顔の典型的な高さに相当する位置に配置されていることが望ましい。なお接近センサ２２０についても同様の高さに配置されていることが望ましい。また図２（ａ）に示された幅（Ａ）は、進行方向２０２に進んでいる対象人物２０１の顔全体がカメラ２１０によって撮影され、さらに接近センサ２２０の前を横切った後にカメラ２３０が対象人物２０１の顔の肌を撮影可能な範囲を表している。図２（ｂ）に示された幅（Ｂ）は、接近センサ２２０が対象人物２０１を検知可能であり、またカメラ２３０が対象人物２０１の顔の肌を高い解像度で撮影可能な範囲を表している。なお、例えば幅（Ａ）は３〜５メートル、幅（Ｂ）は３メートル前後であることが望ましい。本実施形態の識別装置１００は、人物の顔全体の画像と併用して顔の肌の特徴を利用した識別処理を行うので、対象人物までの距離が近く高い解像度の画像の取得を可能にするために、幅（Ａ）と幅（Ｂ）は前述のような値であることが望ましい。人物の顔全体の画像と顔の肌の特徴とを利用した識別処理の詳細は後述する。なおこれ以降、カメラ２１０が撮影して入力部１１０に送られる対象人物の顔全体の画像を顔画像と呼び、カメラ２３０が撮影して入力部１３０に送られる対象人物の顔の肌の画像を肌画像と呼ぶことにする。前述のように、本実施形態では、出入り口２０４に通じる廊下にカメラ２１０、接近センサ２２０、およびカメラ２３０が配置されており、識別装置１００は、出入り口２０４の手前で対象人物２０１を識別する。

図３は、本実施形態の識別装置１００における全体的な処理の流れを示したフローチャートである。
まずステップＳ３０１において、入力部１１０は、カメラ２１０が撮影した画像のデータを取得し、その画像内から対象人物の顔画像を一つ検出して照合部１５０に送る。
次にステップＳ３０２に進むと、照合部１５０は、保持部１４０から登録済みユーザの顔画像を一つ取得する。本実施形態では、これ以降、識別対象となっている対象人物を撮影した顔画像を入力顔画像と呼び、登録済みユーザの顔画像を登録顔画像と呼ぶことにする。

次にステップＳ３０３に進むと、照合部１５０は、入力顔画像と登録顔画像の両顔画像を照合する。
そして次のステップＳ３０４において、照合部１５０は、入力顔画像について全ての登録顔画像との照合が行われたか判定し、未照合の登録顔画像がある場合にはステップＳ３０２に処理を戻す。これにより、照合部１５０におけるステップＳ３０２からステップＳ３０４までの処理は、保持部１４０に登録されている登録顔画像の数だけ繰り返される。

一方、ステップＳ３０４において入力顔画像と全ての登録顔画像との照合が行われたと判定すると、照合部１５０は、ステップＳ３０５に処理を進める。
ステップＳ３０５に進むと、照合部１５０は、ステップＳ３０２からステップＳ３０４までの照合処理が繰り返された結果、入力顔画像の対象人物に該当する登録顔画像のユーザ、すなわち登録済みユーザが存在するか否かを判定する。照合部１５０は、入力顔画像の対象人物に該当する登録済みユーザが存在すると判定した場合にはステップＳ３１１の処理に進む。一方、照合部１５０において入力顔画像の対象人物に該当する登録済ユーザが存在しないと判定された場合、つまり顔画像を用いた照合が失敗した場合、識別装置１００の処理はステップＳ３０６に進む。

ステップＳ３０５からステップＳ３１１に進んだ場合、照合部１５０は、入力顔画像の対象人物が、登録済みユーザであることを示す照合結果の情報を、出力部１６０に送る。これにより、出力部１６０からは、対象人物が、登録済みユーザであることを示す情報が出力される。その後、識別装置１００の処理は、後述するステップＳ３１３に進む。

一方、ステップＳ３０５からステップＳ３０６に進んだ場合、入力部１３０は、検知部１２０が接近センサ２２０を介して対象人物の接近を検知したことに応じて、カメラ２３０が撮影した画像のデータを取得する。そして、入力部１３０は、その取得した画像内から対象人物の肌画像を一つ検出して照合部１５０に送る。本実施形態では、これ以降、対象人物を撮影した肌画像を入力肌画像と呼び、登録済みユーザの肌画像を登録肌画像と呼ぶことにする。

次にステップＳ３０８に進むと、照合部１５０は、入力肌画像と登録肌画像の両肌画像を照合する。
さらに次のステップＳ３０９において、照合部１５０は、入力肌画像について全ての登録肌画像との照合が行われたか判定し、未照合の登録肌画像がある場合にはステップＳ３０７に処理を戻す。これにより、照合部１５０におけるステップＳ３０７からステップＳ３０９までの処理は、保持部１４０に登録されている登録肌画像の数だけ繰り返される。

一方、ステップＳ３０９において入力肌画像について全ての登録肌画像との照合が行われたと判定した場合、照合部１５０は、ステップＳ３１０に処理を進める。
ステップＳ３１０に進むと、照合部１５０は、ステップＳ３０７からステップＳ３０９までの照合処理が繰り返された結果、入力肌画像の対象人物に該当する登録肌画像のユーザすなわち登録済みユーザが存在するか否かを判定する。照合部１５０は、入力肌画像の対象人物に該当する登録済みユーザが存在すると判定した場合にはステップＳ３１１の処理に進む。一方、照合部１５０において入力肌画像の対象人物に該当する登録済ユーザが存在しないと判定された場合、識別装置１００の処理はステップＳ３１２に進む。

ステップＳ３１０からステップＳ３１１に進んだ場合、照合部１５０は、入力肌画像の対象人物が、登録済みユーザであることを示す照合結果の情報を、出力部１６０に送る。これにより、出力部１６０からは、対象人物が登録済みユーザであることを示す情報が出力される。その後、識別装置１００の処理は、後述するステップＳ３１３に進む。

一方、ステップＳ３１０からステップＳ３１２に進んだ場合、照合部１５０は、入力肌画像の対象人物が、未登録であることを示す照合結果の情報を、出力部１６０に送る。これにより、出力部１６０からは、対象人物が未登録であることを示す情報が出力される。その後、識別装置１００の処理は、ステップＳ３１３に進む。

ステップＳ３１３に進むと、識別装置１００は、カメラ２１０が撮影した画像内に写っている全ての人物（対象人物）について、ステップＳ３０１から、ステップＳ３１１またはステップＳ３１２までの処理が行われたか否かを判定する。そして、識別装置１００は、未処理の対象人物が存在すると判定した場合にはステップＳ３０１に処理を戻す。これにより、識別装置１００におけるステップＳ３１１またはステップＳ３１２までの処理は、カメラ２１０が撮影した画像内に写っている対象人物の数だけ繰り返される。一方、ステップＳ３１３において未処理の対象人物は存在しないと判定した場合、識別装置１００は、図３のフローチャートの処理を終了する。

以下、これまで述べた各構成および処理について、それぞれさらに詳しく説明する。
入力部１１０は、通過する対象人物の顔をカメラ２１０が連続的に撮影した動画像のデータを取得する。そして、入力部１１０は、その動画像内の顔画像から、人物の顔領域とその位置を検出して照合部１５０に送出する。

カメラ２１０は、光学レンズと撮像センサを備えた第一の撮影装置である。本実施形態の場合、カメラ２１０は、例えば小型の監視カメラであり、ネットワークケーブルなどを通じて画像データを入力部１１０に送出する。撮像センサの画素数と光学レンズの焦点距離は、例えば廊下全体を画角内に収めつつ接近センサ２２０よりも数メートル奥の地点にいる人物の所定部位を、少なくとも横幅数十ピクセルの大きさで撮影できる値に設定されていることが望ましい。本実施形態では、人物の識別を行うため、人物の所定部位は、その人物の頭部全体とする。なお、入力部１１０が、撮影された顔画像から人物の顔領域とその位置を検出する方法は、一例として参考文献１に開示されている方法などを用いることができる。

参考文献１：Rapid object detection using a boosted cascade of simple features: P. Viola, M. Jones: 2001

検知部１２０は、対象人物２０１が廊下を歩いてきて接近センサ２２０の前を通過したことを、接近センサ２２０からの検知信号に基づいて検知する。具体的には、検知部１２０は、歩行する対象人物２０１が図２（ｂ）に示した接近センサ２２０の検知線２０６を横切ったことで、当該接近センサ２２０から出力される検知信号を受けると、その旨を示す信号を入力部１３０に送出する。対象人物２０１の通過を検知する方法および装置は、一例として、鉄道で運用されている踏切障害物検知装置に用いられる光センサなどを用いることができる。本実施形態の場合、接近センサ２２０は、赤外光を送出する発光装置と、その送出された赤外光を受光する受光装置とからなり、発光装置を廊下の一方の壁に配置し、受光装置を廊下の反対側の壁に設置する。そして、接近センサ２２０は、発光装置から送出された赤外光が対象人物２０１の通過により遮られて、受光装置で受光できなくなったときに対象人物２０１が通過したと検知する。他の例として、例えばカメラ２１０で撮影した画像を処理することで、対象人物の接近を検知するような手法が用いられてもよい。この場合、検知部１２０は、カメラ２１０にて撮影された動画像から人（顔）を検出するとともに、その対象人物２０１が出入り口２０４の方向へ移動している場合に、対象人物２０１が接近していると検知する。なお、人体の検出手法は、前述した参考文献１に開示されている方法などを用いることができる。

入力部１３０は、接近センサ２２０の検知信号に応じて検知部１２０から送られてきた信号に基づいて、カメラ２３０に撮影を行わせることで、当該カメラ２３０の前を通過する対象人物２０１が撮影された画像データを取得する。例えば、入力部１３０は、接近センサ２２０とカメラ２３０の間の設置間隔（距離）と、対象人物２０１の典型的な歩行速度とに基づいて、対象人物２０１がカメラ２３０の画角に入るまでの到達時間を算出する。そして、入力部１３０は、検知部１２０において対象人物２０１が検知された後、到達時間になったときに、カメラ２３０に撮影を行わせる。入力部１３０は、カメラ２３０より得られた画像から、対象人物の所定部位の一部の領域を検出して、その検出した領域の画像を照合部１５０に送出する。本実施形態の場合、入力部１３０は、カメラ２３０より得られた画像から、対象人物の所定部位の一部の領域として顔の肌の領域を検出し、それを入力肌画像として照合部１５０に送出する。なお、対象人物２０１の歩行速度は、例えばカメラ２１０によって撮影された動画像から検出された対象人物２０１の移動速度を算出することで求められてもよい。

カメラ２３０は、光学レンズと撮像センサを備えた第二の撮影装置である。カメラ２３０は、ネットワークケーブルなどを通じて画像データを入力部１３０に送出する。カメラ２３０の撮像センサの画素数と光学レンズの焦点距離は、一例として、対象人物２０１の顔の皮膚の特徴を捉えられる程度の解像度で撮影可能な値に設定されていることが望ましい。例えば、カメラ２３０の画素数と焦点距離は、人物の顔を正面から撮影した場合に、少なくとも両目間の距離が画像上で１００ピクセル以上になる解像度で、頭部全体を撮影できるような画素数と焦点距離に設定されていることが望ましい。

またカメラ２３０の撮像センサは、三原色のＲＧＢのカラーセンサであり、近紫外線から近赤外線までの波長帯のうち、少なくとも可視光の波長帯の半分以下の幅の波長帯で、対象人物の顔の肌を撮影可能となされている。また、カメラ２３０の撮像センサは、例えば近赤外線の波長で撮影して皮膚表面でなく皮下の特徴を撮影可能なセンサであってもよい。あるいは、赤と近赤外線との間の狭い波長帯ではメラニン色素の有無によって皮膚の反射率が顕著に異なるという報告（例えば下記の参考文献２参照）もあるため、撮像センサは、当該波長帯に限定して受光するセンサであってもよい。

参考文献２：The optics of human skin Aspects important for human health: K. P. Nielsen: 2008

さらに、カメラ２３０と併用して、投光器が用いられてもよい。対象人物２０１に対して投光器からの光を当てることで、カメラ２３０は、速いシャッター速度での撮影が可能となって対象人物２０１の動きぶれを少なくでき、あるいは低ＩＳＯ感度での撮影が可能となってノイズの少ない画像を得ることができるようになる。投光器の設置場所は、一例として、対象人物に対して例えば真横から投光を行えるような位置であることが望ましい。対象人物に対して真横から投光を行うことで、対象人物の目に直接光が入るのを防ぐことができる。また投光器における投光タイミングは、カメラ２３０が撮影を行うタイミングに合わせることが望ましい。投光器の分光特性は、カメラ２３０の撮像センサが受光する波長帯に近い光を発生するものか望ましい。

前述した図２（ｂ）の場合、カメラ２３０は一台のみ設置された例を挙げたが、二台以上の複数のカメラが設置されていてもよい。例えば、カメラ２３０は廊下の一方の壁に設置され、当該カメラ２３０によって真横から対象人物２０１を撮影する例を挙げたが、カメラ２３０が設置された壁に対向したもう一方の壁にもカメラが設置されていてもよい。この場合、それら二つのカメラによって、対象人物２０１を両側から撮影することができる。またカメラの撮影方向は、対象人物を真横から撮影するような方向に設定される場合の他に、対象人物を斜め前から撮影する方向に設定されていてもよい。カメラの撮影方向が対象人物を斜め前から撮影する方向に設定されている場合、複数の人物（対象人物）がカメラの前を通過するような場合に、真横からでは他の人物の陰に隠れてしまう人物も漏れなく撮影できる可能性が高まる。

保持部１４０は、登録済みユーザのバイオメトリクスのデータを記録媒体に保持している。本実施形態の場合、登録済みユーザのバイオメトリクスは、少なくとも、当該ユーザの顔を正面側から撮影した顔画像と、より高解像度で撮影した横顔の画像とを含む。登録済みユーザの顔画像と横顔の画像は、予め以下のような条件で撮影された画像であることが、識別精度を高めるうえで望ましい。登録済みユーザの顔画像つまり登録顔画像は、当該ユーザの顔を正面向きでかつ無表情の状態で撮影した画像とする。登録顔画像の解像度は、正面から撮影された顔の両目間の距離が画像上で少なくとも１００ピクセル以上となる解像度で、かつ顔の横幅が少なくとも数十ピクセルとなる画像であることが望ましい。なお、ユーザの顔を正面向きで、かつ無表情の状態で撮影した画像は、例えば自動車運転免許証等に使用される証明写真に近い状態で撮影された画像を挙げることができる。登録済みユーザの横顔の画像は、例えば顔を正面から撮影したときに少なくとも両目間の距離が画像上で１００ピクセル以上となる解像度で、かつ肌がはっきりと写る状態で横顔を撮影した画像であることが望ましい。本実施形態の場合、登録済みユーザの横顔の画像が登録肌画像として使用される。記録媒体は、識別装置１００の内部記録媒体あるいは外部記録媒体であり、例えばハードディスクでもよいが、大容量のフラッシュメモリであることが望ましい。

照合部１５０は、対象人物２０１の入力顔画像と登録顔画像とを照合する第一の照合処理と、入力肌画像と登録肌画像とを照合する第二の照合処理とを行えるものとなされている。図４は、照合部１５０の詳細な構成を示した図である。なお図４には、入力部１１０、入力部１３０、および保持部１４０も示されている。

顔照合部４１０は、第一の照合処理として、図３のステップＳ３０３およびステップＳ３０４における顔画像の照合処理を行う。具体的には、顔照合部４１０は、入力部１１０が取得した入力顔画像と保持部１４０に保持されている全ての登録顔画像とを照合する。そして、顔照合部４１０は、保持部１４０に保持されている登録顔画像ごとに、入力顔画像との類似度を求める。これ以降、顔画像について求めた類似度を顔類似度と呼ぶことにする。すなわち顔照合部４１０は、保持部１４０に保持されている登録済みユーザごとに、入力部１１０で顔画像が取得された対象人物２０１が登録済みユーザである確からしさを表す顔類似度を求める。そして顔照合部４１０は、登録済みユーザごとに求めた顔類似度の情報を、判定部４３０に送る。

肌照合部４２０は、第二の照合処理として、図３のステップＳ３０８およびステップＳ３０９における肌画像の照合処理を行う。具体的には、肌照合部４２０は、入力部１３０が取得した入力肌画像と保持部１４０に保持されている登録肌画像とを照合する。そして、肌照合部４２０は、保持部１４０に保持されている登録肌画像ごとに、入力肌画像との類似度を求める。これ以降、肌画像について求めた類似度を肌類似度と呼ぶことにする。すなわち肌照合部４２０は、保持部１４０に保持されている登録済みユーザごとに、入力部１３０で肌画像が取得された対象人物２０１が登録済みユーザである確からしさを表す肌類似度を求める。そして肌照合部４２０は、登録済みユーザごとに求めた肌類似度の情報を、判定部４３０に送る。

判定部４３０は、入力顔画像に対して登録顔画像ごとに求めた顔類似度に基づいて、図３のステップＳ３０５の顔照合による判定処理を行う。具体的には、判定部４３０は、入力顔画像に対して登録顔画像ごとに得られた顔類似度のうち最大値になっている顔類似度が、予め定めた閾値以上であるか否かを判定する。そして判定部４３０は、最大値の顔類似度が閾値以上であると判定した場合、対象人物２０１は、その最大値の顔類似度が得られた登録顔画像の登録済みユーザであると識別する。一方、最大値の顔類似度が閾値未満である場合、判定部４３０は、対象人物２０１について顔画像を用いた照合が失敗したと判定（ステップＳ３０５で登録済みユーザが存在しないと判定）する。

判定部４３０は、最大値の顔類似度が閾値未満であるため顔画像による照合が失敗したと判定した場合、入力肌画像に対して登録肌画像ごとに求めた肌類似度に基づいて、図３のステップＳ３０９の肌照合による判定処理を行う。具体的には、判定部４３０は、入力肌画像に対して登録肌画像ごとに得られた肌類似度のうち最大値になっている肌類似度が、予め定めた閾値以上であるか否かを判定する。なお本実施形態において、肌類似度に対する閾値は、前述した顔類似度に対する閾値とは異なった値であるが、同じ閾値が用いられてもよい。そして判定部４３０は、最大値の肌類似度が閾値以上であると判定した場合、対象人物２０１は、その最大値の肌類似度が得られた登録肌画像の登録済みユーザであると識別する。一方、最大値の肌類似度が閾値未満である場合、判定部４３０は、対象人物２０１について肌画像を用いた照合が失敗したと判定（ステップＳ３１０で登録済みユーザが存在しないと判定）する。

以下、図４の顔照合部４１０、肌照合部４２０、および判定部４３０について更に詳細に説明する。
顔照合部４１０は、顔照合処理（第一の照合処理）として、顔画像から個人差となり得る情報である特徴量を取り出す特徴抽出と、その顔画像から抽出された特徴量と登録顔画像の特徴量とを比較して顔類似度を求める特徴量照合処理との二つの処理を行う。このため、顔照合部４１０は、顔特徴抽出部４１１と顔特徴照合部４１２とで構成されている。

顔特徴抽出部４１１は、顔画像から個人の識別に必要な顔特徴量を抽出する。顔特徴抽出部４１１は、入力部１１０が取得した入力顔画像から顔特徴量を抽出し、同様に、保持部１４０に保持されている全ての登録顔画像から顔特徴量を抽出する。そして、顔特徴照合部４１２は、入力顔画像の顔特徴量と全ての登録顔画像の顔特徴量とを比較して、前述した顔類似度を求める。なお、登録顔画像の顔特徴量は、予め抽出して登録顔画像と対応付けて保持部１４０に保存しておいてもよい。この場合、顔特徴抽出部４１１は、登録顔画像の顔特徴量を抽出する処理を繰り返し重複して行う必要がなくなり、処理負荷の軽減と処理の高速化が可能となる。

顔画像から個人の識別に必要な顔特徴量を抽出する手法は、一例として以下のような手法を用いることができる。まず、顔特徴抽出部４１１は、顔画像から、目、鼻、口、および輪郭など、顔の特徴となり得る部分の画像上の座標である、顔特徴点座標を求める。特徴点を検出する手法は、一例として、下記の参考文献３に開示されている手法などを用いることができる。

参考文献３：Supervised Descent Method and its Applications to Face Alignment: Xuehan Xiong, Fernando De la Torre: 2013

続いて、顔特徴抽出部４１１は、検出した顔特徴点座標に基づいて、顔画像の座標を正規化する。このときの顔特徴抽出部４１１は、例えば検出した両目の位置に基づいて、両目を結ぶ線分が画像上で所定の長さおよび位置で水平になるように、画像を回転させたり拡大縮小させたりする。そして顔特徴抽出部４１１は、顔画像に対し、特徴量を抽出する矩形領域を設定する。矩形領域は、一例として、個人の特徴をよく表す目や口などの器官がもれなく入る一方で、背景などは入らないように、一辺が両目間の凡そ１．５倍程度の正方形とし、顔の中央に設定されることが望ましい。そして、顔特徴抽出部４１１は、矩形領域内の画素値を左上から右下に向かって順に取り出して一列につなげた数値列からなるベクトルを特徴量とする。

顔特徴照合部４１２は、入力顔画像の顔特徴量と登録顔画像の顔特徴量とを照合し、対象人物が登録済みユーザと同一人物である確からしさを表す類似度を算出する。類似度の算出方法は、類似度が大きいほど顔特徴量が似ていること、つまり入力顔画像と登録顔画像とが同一人物の顔画像である確からしさを表すことができる方法であればどのような方法でもよい。一例として、類似度は、特徴量のベクトル同士が成す角度のコサインをとる方法、または特徴量のベクトル間のユークリッド距離の逆数をとったものが挙げられる。そして、顔特徴照合部４１２による顔特徴照合処理の結果の情報が、判定部４３０に送られる。

肌照合部４２０は、隠れ検出部４２１、領域設定部４２２、肌特徴抽出部４２３、および肌特徴照合部４２４により構成されており、第二の照合処理として肌照合処理を行う。
図５は、肌照合部４２０における肌照合処理の詳細な流れを示すフローチャートであり、以下、図５のフローチャートを参照しながら肌照合部４２０の処理を説明する。

まず、隠れ検出部４２１は、ステップＳ５０１の処理として、入力部１１０が取得した入力顔画像と入力部１３０が取得した入力肌画像とを利用して、例えばマスク、サングラス、あるいは髪の毛などで隠れていない、露出した肌の領域を検出する。以降、露出した肌の領域を露出肌領域と呼ぶことにする。

続いて隠れ検出部４２１は、ステップＳ５０２の処理として、入力顔画像から、露出肌領域を検出できたか否か判定する。隠れ検出部４２１において露出肌領域を検出できないと判定された場合、肌照合部４２０は、該当する登録済みユーザが存在しないと判定して図５のフローチャートの処理を終了する。一方、隠れ検出部４２１において露出肌領域を検出できたと判定された場合、肌照合部４２０の処理は、ステップＳ５０３に進む。

ステップＳ５０３に進むと、領域設定部４２２が、隠れ検出部４２１によって検出された露出肌領域に対して、肌照合に用いる候補領域を設定する。
続いて領域設定部４２２は、ステップＳ５０４の処理として、登録肌画像から、入力肌画像について設定された候補領域に対応した領域を抽出する。つまり、領域設定部４２２は、ステップＳ５０４の処理として、入力肌画像と登録肌領域との両方で重複している候補領域を複数抽出する。

次に領域設定部４２２は、ステップＳ５０５の処理として、入力肌画像と登録肌画像とで重複している複数の候補領域から、入力肌画像と登録肌画像とで対応した位置の候補領域を一つ（一組）選択する。
さらに、領域設定部４２２は、ステップＳ５０６の処理として、ステップＳ５０５で選択した一組の候補領域について、位置合わせ処理を行う。

その後、領域設定部４２２は、ステップＳ５０７の処理として、候補領域の位置合わせが成功したか否かを判定する。候補領域の位置合わせが成功していないと判定した場合、領域設定部４２２は、ステップＳ５０５に処理を戻し、次の候補領域の組を選択する。一方、候補領域の位置合わせが成功したと判定した場合、領域設定部４２２は、当該位置合わせが成功した候補領域を、肌照合に用いられる照合領域として設定する。その後、肌照合部４２０の処理は、ステップＳ５０８に進む。

ステップＳ５０８に進むと、肌特徴抽出部４２３が、入力肌画像と登録肌画像とから得られた照合領域から特徴量を抽出する。
次にステップＳ５０９の処理として、肌特徴照合部４２４は、入力肌画像と登録肌画像の照合領域からそれぞれ抽出された特徴量を用いた照合処理を行う。そして、肌特徴照合部４２４による肌特徴照合処理の結果の情報が、判定部４３０に送られる。

以下、図４および図５で述べた肌照合部４２０におけるいくつかの処理について、より具体的な例を挙げて詳細に説明する。
前述したように、肌照合部４２０では、隠れ検出部４２１が入力肌画像から露出肌領域を検出し、領域設定部４２２が露出肌領域を基に候補領域の組を抽出して位置合わせを行って照合領域を設定する。

これらの処理について、図５のフローチャートと図６（ａ）〜図６（ｆ）の模式図を参照し、対象人物の横顔の画像から、照合領域が設定される例を説明する。図６（ａ）〜図６（ｃ）は対象人物の横顔の画像６００を模式的に示した図である。図６（ｄ）〜図６（ｆ）は登録済みユーザの横顔の画像６１０を模式的に示した図である。図６（ａ）〜図６（ｃ）の画像６１０に示された対象人物は、例えばサングラスによって顔の一部（目およびその近辺）が隠れているとする。一方、図６（ｄ）〜図６（ｆ）の画像例に示された登録済みユーザは、目およびその近辺が隠れていない。

隠れ検出部４２１は、前述した露出肌領域の検出処理を行うのに先立ち、入力肌画像から顔が存在する領域を検出する処理を行う。同様に、領域設定部４２２は、前述した候補領域の設定処理に先立ち、登録肌画像から顔が存在する領域を検出する処理を行う。入力肌画像または登録肌画像から顔が存在する領域を検出する手法は、例えば前述した参考文献１に開示された手法を利用することができる。この手法の場合、入力肌画像または登録肌画像からは、それぞれ顔が存在する領域を包含する矩形領域が抽出される。さらに、目、口、および耳などの顔の各器官が存在する位置を検出して、より詳細に顔の位置を特定する処理が行われてもよい。顔の各器官が存在する位置等を検出する手法は、例えば前述した参考文献３に開示された手法を用いることができる。これら各器官の位置によって顔の位置を特定しておくことで、次の処理がより精度よく行えるようになる。

次に隠れ検出部４２１は、入力肌画像から検出した顔が存在する領域の座標を予め定められた所定の座標へ変換する正規化処理を行う。同様に領域設定部４２２は、登録肌画像から検出した顔が存在する領域の座標を予め定められた所定の座標へ変換する正規化処理を行う。所定の座標への正規化処理は、一例として、顔の領域を包含する矩形領域の横幅と縦幅がそれぞれ所定の長さになり、且つその矩形領域が正立するよう、画像全体をアフィン変換するような処理を用いることができる。なお、目、口、および耳などの顔の器官位置が特定されている場合には、それぞれの器官の位置が所定位置にくるように画像全体をアフィン変換する処理が行われる。このようなアフィン変換の処理が完了した時点で、入力肌画像は図６（ａ）のようになっており、登録肌画像は図６（ｂ）のようになっているとする。

そして、隠れ検出部４２１は、図５のフローチャートのステップＳ５０１において、アフィン変換後の画像から、肌が装着物や髪の毛などで隠れておらず露出している領域（露出肌領域）を検出する処理を行う。露出肌領域の検出処理は、一例として、参考文献４に開示された手法のように、画像中の色に基づいた検出手法を挙げることができる。なお、入力肌画像から露出肌領域が検出できなかった場合（ステップＳ５０２でＮＯ）、肌照合部４２０は、該当する登録済みユーザが存在しないと判定することになる。

参考文献４：Statistical color models with application to skin detection: M.J. Jones, J.M. Rehg:2002

次に図５のステップＳ５０３において、領域設定部４２２は、入力肌画像と登録肌画像の顔が存在しているそれぞれの矩形領域から候補領域を複数抽出する。候補領域を抽出する際、領域設定部４２２は、座標が正規化された顔の矩形領域を、例えば図６（ｂ）と図６（ｅ）に示すようにグリッド６３１に分割する。そして、領域設定部４２２は、肌が露出している領域６４１および６４２となっているグリッドのみを抽出する。肌が露出している領域６４１および６４２のグリッド一つが、候補領域一つに相当する。グリッド６３１の幅は、一例として実寸で２センチメートル〜３センチメートルほどであることが望ましい。グリッド６３１の幅は、小さすぎると個人を識別する情報量が不足し、一方、大きすぎると顔の輪郭や髪に影響されて、全て肌領域であるグリッドを抽出し難くなるため、例示した値を用いる。

そして図５のステップＳ５０４において、領域設定部４２２は、入力肌画像と登録肌画像とで位置が重複する候補領域、つまり同じ位置で照合できる候補領域のみを絞り込む。図６（ｃ）に示した複数の候補領域６４１と図６（ｆ）に示した複数の候補領域６４３とが、入力肌画像と登録肌画像とで位置が重複している複数の候補領域であるとする。

次に図５のステップＳ５０５において、領域設定部４２２は、それぞれ位置が重複している入力肌画像内の複数の候補領域６４１と登録肌画像内の複数の候補領域６４３とから、それぞれ対応した位置の候補領域を一つ選択する。候補領域の選択手法は、一例として、登録済みユーザごとに異なる候補領域を選択する手法でもよいし、あるいは、入力肌画像が得られるたびにランダムに異なる候補領域を選択する手法でもよい。

その後、図５のステップＳ５０６において、領域設定部４２２は、入力肌画像と登録肌画像についてそれぞれで設定した候補領域の位置を微調整する。なぜなら、ここまで行ったステップＳ５０１からステップＳ５０５までの処理で設定した候補領域は、入力肌画像と登録肌画像に写っている横顔の同じ位置にあるとある程度は期待できるが、ミリメートル単位では位置がずれている可能性がある。したがって、入力肌画像と登録肌画像から同じ位置の候補領域を取り出して照合するためには、肌表面のしみ、毛穴、そばかす、およびホクロなどの、見た目の紋様の特徴を利用して候補領域の位置と傾きと大きさを微調整する必要がある。

候補領域の位置合わせ手法は、単純な例としては以下のような手法を用いることができる。例えば、両画像の候補領域を少しずつずらしながら部分画像を抽出して、それら部分画像の正規化相互相関を求めるような手法が考えられる。正規化相互相関処理で得られる相関値から、両画像の候補領域がどの程度見た目が合っているか推測することができる。つまり、一方の画像の領域位置を少しずつずらしながら正規化相互相関を求めれば、最も見た目が合った領域の位置を探すことができる。そして、領域設定部４２２は、最終的に相関値が所定の値を超えた場合、位置合わせができた候補領域であると判定する。相関値に対する所定の値は、本実施形態の識別装置１００の運用を開始する前に予め調整しておくことが望ましい。

領域設定部４２２は、ステップＳ５０６の位置合わせ処理を、入力肌画像と登録肌画像とで位置が合っている候補領域が少なくとも一つ得られるまで実行する。そして、領域設定部４２２は、位置が合っている候補領域が得られた場合（ステップＳ５０７でＹＥＳ）、その領域を照合領域に設定する。領域設定部４２２は、登録肌画像とそれに対応する照合領域の位置、および、入力肌画像とそれに対応する照合領域の位置の情報を、肌特徴抽出部４２３に送出する。

なお位置が合っている候補領域が一つも得られなかった場合、領域設定部４２２は、入力肌画像と登録肌画像の複数の候補領域のなかで最も位置を合わせることができた候補領域を照合領域として設定してもよい。あるいは、位置が合っている候補領域が一つも得られなかった場合、領域設定部４２２は、照合領域が得られなかったとして、後段の肌特徴照合部４２４での照合処理が行われないようにしてもよい。つまり、しみ、毛穴、そばかす、およびホクロなど肌表面の見た目の紋様に基づいて位置を合わせられなかったことから、入力肌画像の対象人物と登録肌画像の登録済みユーザとは同一人物でない可能性が高いため、照合処理を行わないようにする。

前述の説明では、肌照合部４２０は、入力部１３０から入力肌画像が送られてくるたびに登録肌画像についても図５の処理を行っているが、登録肌画像の候補領域は予め求めて保持部１４０に保持されていてもよい。この場合、肌照合部４２０は、登録肌画像から候補領域を求める処理を繰り返す必要がなくなり、処理負荷の軽減と処理の高速化が可能となる。

また本実施形態では一つの照合領域を設定する例を挙げたが、照合領域は複数設定されることが望ましい。照合領域が複数設定された場合、照合に用いる情報が増えた分だけ、照合の信頼性が向上する。

肌特徴抽出部４２３は、入力肌画像と登録肌画像のそれぞれの照合領域から、照合に用いる肌特徴量を取り出す。肌特徴量は、一例として、照合領域内の画素値を左上から右下に向かって順に取り出して一列につなげた数値列からなるベクトルとして表される。また肌特徴抽出部４２３は、照合領域から画素値を取り出す前に、例えば参考文献５に開示されているような方法を用いてもよい。例えば、肌特徴抽出部４２３は、照合領域から画素値を取り出す際に、隣り合う画素の大小関係だけに変換する。これにより、撮影環境で変化する画像全体での輝度値の大きさの変動が取り除かれることになる。さらにその他の例として、肌特徴抽出部４２３は、各種の画像処理フィルタを前処理として行ってもよい。

参考文献５：Face recognition with local binary patterns: T Ahonen, A Hadid, M Pietik▲a▼inen: 2004

ただし、上述したような画素値をそのまま並べて取り出す方法は、照合領域となされた肌領域全体の情報が特徴量となるため冗長になる可能性がある。例えば人間が実際に肌を見て比較するような場合、肌のホクロ、しみ、毛穴、血管、産毛、および傷跡などの局所的な紋様のパターンが、重要な手かがりとして用いられると考えられる。例えば、局所的なパターンの大きさや濃さなどが、肌のどこにいくつ存在するかなどが、個人識別の手がかりとなる。例えば下記の参考文献６には、局所的なパターンの情報だけを取り出す手法が開示されている。参考文献６には、特定の大きさ・形状のパターンが入力画像のどこに存在するかを求めるフィルタ演算に関する技術が開示されている。例えば、顔のホクロが概ね円形であると仮定すれば、様々な大きさの円形に対応するフィルタを用意することで、各種大きさのホクロの位置が求められる。またこの方法では、ホクロの濃さに対応して存在の確度が得られる。したがって、どの程度の大きさおよび濃さのホクロが、例えば頬のどこに存在するかを特徴量とすることで、個人を識別し得る特徴とすることができる。また、フィルタの形状は任意に変えることも可能であり、フィルタ形状を変えることで、同様の方法によって別の形状のパターンの取り出しも可能になる。

参考文献６：Facial feature point extraction method based on combination of shape extraction and pattern matching: K. Fukui, O. Yamaguchi: 1998

肌特徴照合部４２４は、入力肌画像の照合領域の肌特徴量と、登録肌画像の照合領域の肌特徴量とを照合して、対象人物が登録済みユーザと同一人物である確からしさを表す肌類似度を算出する。肌類似度は、一例として、肌特徴量のベクトル同士が成す角度のコサインをとる方法、または肌特徴量のベクトル間のユークリッド距離の逆数をとったものが挙げられる。そして、肌特徴照合部４２４による肌特徴照合処理の結果の情報が、判定部４３０に送られる。なお、入力肌画像と照合される登録肌画像は、前述した顔照合において相対的に大きな類似度が得られた一部の登録済みユーザのものに限定してもよい。すなわち、顔照合の結果、同一人物の可能性がある程度高いと推測される登録済みユーザの登録肌画像のみを用いた照合が行われることになり、照合精度を保ちつつ、照合完了までの処理時間を短縮することが可能となる。

判定部４３０は、照合判定部４３１と類似度判定部４３２により構成されている。
照合判定部４３１は、図３のフローチャートのステップＳ３０５において、顔照合が成功したか失敗したかを判定する。例えば照合判定部４３１は、顔照合部４１０が対象人物の入力顔画像に対して登録済みユーザごとに求めた顔類似度のうち、最大値の顔類似度が閾値以上であれば、対象人物について顔照合が成功したと判定（ステップＳ３０５でＹＥＳ）する。一方、照合判定部４３１は、最大値の顔類似度が閾値未満である場合には、対象人物について顔照合が失敗したと判定（ステップＳ３０５でＮＯ）する。そして、照合判定部４３１は、顔照合の判定結果を、顔類似度との情報は、類似度判定部４３２に送られる。

類似度判定部４３２は、登録済みユーザごとに得られた顔照合あるいは肌照合の類似度に基づいて、図３フローチャートの前述したステップＳ３０９とステップＳ３１０における判定処理を行う。つまり、通過しようとしているユーザが登録済みユーザの誰であるのか、あるいは誰でもないかを判定する。具体的には、各登録ユーザに対する類似度のうち最大値が予め定められた閾値以上の値であれば、その最大値に対応する人物であるという最終結果を定める。閾値以上の値がなければ、該当する登録済みユーザなし、つまり未登録者であるという最終結果を定める。

類似度との比較に用いられる閾値は、予め調整しておくことが望ましい。ここで、類似度と閾値との比較による識別結果の誤りの例として、対象人物が登録済みユーザであるのに登録済みユーザでないとされる未識別と、未登録であるのに登録済みユーザであるとされる誤識別とが考えられる。未識別と誤識別は、閾値にとってトレードオフの関係にあり、閾値を変更することで、未識別と誤識別のいずれかを少なくするかを選ぶことが可能である。例えば閾値を低くするほど、対象人物と登録済みユーザとが同一人物であっても、同一人物であると判定できる可能性が低くなって未識別が生ずる可能性は減る。一方で、閾値を低くするほど、対象人物と登録済みユーザが別人物であるのに、同一人物であると判定される可能性が高くなり、誤識別が生ずる可能性は高まる。逆に、例えば閾値を高くするほど、誤識別が生ずる可能性は減るが、未識別が生ずる可能性は高まることになる。

出力部１６０は、照合部１５０による識別結果を出力、つまり、対象人物が登録済みユーザである場合には登録済みユーザの誰であるかの識別結果を出力し、一方、対象人物が登録済みユーザでない場合には未登録である旨の識別結果を出力する。例えば、本実施形態の識別装置１００が、入退者と当該入退者が出入り口２０４通過した時刻とを管理しているシステムに接続されている場合、出力部１６０は、その入退者の人物の情報と通過時刻とを管理システムに送信するなどが考えられる。また、出力部１６０は、外部または内部の表示装置に識別結果を送出して表示させてもよい。このとき、出力部１６０は、識別結果と共に、例えば入力部１１０が取得した画像のデータをも送出し、それら識別結果と画像を重畳表示させてもよい。あるいは出力部１６０は、外部または内部の音声出力装置に識別結果を送出して音声出力させてもよいし、ネットワークを介して外部に送出してもよい。出力部１６０は、それら表示装置への送出、音声出力装置への送出、ネットワークへの送出等を同時に行ってもよい。

以上説明したように、本実施形態においては、顔と肌の両識別を組み合わせることで、対象人物がマスクやサングラスなどを装着して顔に隠れがある場面でも、その人物に意識させることなく登録済みユーザかどうかを高い精度で識別可能である。すなわち、顔を使う識別では、広い視野のカメラでユーザの顔を撮影し、顔全体の特徴に基づいて人物を判定する。ただし、ある程度の解像度で顔全体が写れば識別できるのでユーザの立ち位置に制約されないメリットはあるが、その一方で顔の一部が隠れてしまうと顔の特徴が失われるため識別できなくなるデメリットがある。一方、肌を使う識別では、対象人物がマスクやサングラスなどで肌のごく一部分でも露出していれば、その位置を選択して照合し対象人物を正しく識別できる。

＜第２の実施形態＞
第１の実施形態では、顔画像を用いた識別を行って識別できなかった場合に、肌画像を用いた識別を行う例を説明した。第２の実施形態では、顔照合を行う前に、肌画像を用いた識別に切り替え可能とする例を説明する。第２の実施形態の場合、顔画像による照合前に、その照合に必要な情報が所定部位に整っているかを予め判定し、その判定によって顔画像による照合が不可と判定されたとき、肌画像による照合を行う。なお、第２の実施形態において、第１の実施形態と同様の構成および処理については説明および図示を省略する。

図７は、第２の実施形態の識別装置１００における全体的な処理の流れを示したフローチャートである。第２の実施形態の場合、第１の実施形態との差異は、入力顔画像を取得した後、その入力顔画像から顔の隠れの検出を行い、その隠れ検出の結果を基に顔照合ができるかどうかを判定することである。

まずステップＳ７０１において、入力部１１０は、図３のステップＳ３０１と同様に、カメラ２１０が撮影した画像データを取得し、その入力顔画像内から対象人物の顔画像を一つ検出して、入力顔画像として照合部１５０に送る。

次にステップＳ７０２に進むと、照合部１５０は、ステップＳ７０１で取得した入力顔画像を用いて、マスク、サングラス、あるいは髪の毛などによる顔の隠れを検出する。本実施形態において、顔の隠れの検出処理は、隠れていない露出した領域を検出する処理とするが、逆に、隠れていて露出していない領域を検出する処理であってもよい。

続いて照合部１５０は、ステップＳ７０３において、ステップＳ７０２で検出された顔の隠れが、許容範囲内であるか否かを判定する。そして、照合部１５０は、顔の隠れが許容範囲内であると判定した場合にはステップＳ７０４以降の顔照合ための処理に進み、一方、許容範囲内ではないと判定した場合にはステップＳ７０７以降の肌照合のための処理に進む。

ステップＳ７０４に進むと、照合部１５０は、図３のステップＳ３０２と同様に、登録顔画像を取得する。
次に、照合部１５０は、ステップＳ７０５において、図３のステップＳ３０３と同様に、入力顔画像と登録顔画像とを用いた顔照合処理を行う。
そして、照合部１５０は、ステップＳ７０６において、図３のステップＳ３０４と同様に、全ての登録顔画像との照合処理が完了したか判定し、完了していない場合にはステップＳ７０４に処理を戻し、完了した場合にはステップＳ７１１に処理を進める。
すなわち、ステップＳ７０５およびステップＳ７０６において、照合部１５０は、前述の第１の実施形態の顔照合部４１０と同様の顔画像の照合処理を行う。

一方、ステップＳ７０７に進んだ場合、照合部１５０は、図３のステップＳ３０６と同様に、入力部１３０が取得した入力肌画像を取得する。
次に、照合部１５０は、ステップＳ７０８において、図３のステップＳ３０７と同様に、登録肌画像を取得する。
続いて、照合部１５０は、ステップＳ７０９において、図３のステップＳ３０８と同様に、入力肌画像と登録肌画像とを用いた肌照合処理を行う。
そして、照合部１５０は、ステップＳ７１０において、図３のステップＳ３０９と同様に、全ての登録肌画像との照合処理が完了したか判定し、完了していない場合にはステップＳ７０８に処理を戻し、完了した場合にはステップＳ７１１に処理を進める。
すなわち、ステップＳ７０９およびステップＳ７１０において、照合部１５０は、前述の第１の実施形態の肌照合部４２０と同様の肌画像の照合処理を行う。

ステップＳ７１１に進むと、照合部１５０は、顔照合または肌照合の結果を基に、対象人物に該当する登録済みユーザが存在するか否かを判定する。そして、照合部１５０は、対象人物に該当する登録済みユーザが存在すると判定した場合にはステップＳ７１２に処理を進め、一方、存在しないと判定した場合にはステップＳ７１３に処理を進める。

ステップＳ７１２に進んだ場合、照合部１５０は、対象人物が登録済みユーザであることを示す照合結果の情報を、出力部１６０に送る。これにより、出力部１６０からは、対象人物が登録済みユーザであることを示す情報が出力される。その後、識別装置１００の処理は、後述するステップＳ７１４に進む。

一方、ステップＳ７１３に進んだ場合、照合部１５０は、対象人物が未登録であることを示す照合結果の情報を、出力部１６０に送る。これにより、出力部１６０からは、対象人物が未登録であることを示す情報が出力される。その後、識別装置１００の処理は、ステップＳ７１４に進む。

その後ステップＳ７１４に進むと、識別装置１００は、図３のステップＳ３１３と同様に、カメラ２１０の撮影画像に写った全ての対象人物について、前述のステップＳ７０１からステップＳ７１２またはステップＳ７１３までの処理が行われたか否かを判定する。そして、識別装置１００は、未処理の対象人物が存在すると判定した場合にはステップＳ７０１に処理を戻す。そして、ステップＳ７１４において未処理の対象人物は存在しないと判定した場合、識別装置１００は、図７のフローチャートの処理を終了する。

照合部１５０の詳細な構成は前述した図４と概ね同様であるが、第２の実施形態の場合、隠れ検出部４２１は入力部１１０で取得された入力顔画像から顔の隠れを検出する。また第２の実施形態の場合、照合判定部４３１は、隠れ検出部４２１が検出した顔の隠れに基づいて、顔照合を実行したとして信頼できる結果が得られるかどうかを判定、つまり照合可能であるかあるいは照合不可であるかを判定する。

顔照合が可能であるかどうかを判定する方法は、顔の隠れている部分の量と位置に基づいて行えばよく、例えば以下のようにすればよい。一つの判定方法は、単純に、隠れている領域の面積が顔の全体の面積に対して所定の割合を超えているかどうかを基準にするような方法が挙げられる。例えば、隠れている領域の面積が顔の全体の面積に対して所定の割合以下である場合には照合可能であると判定する。もう一つの判定方法は、人間の顔の特徴は目、鼻、および口などの所定の器官に集中するため、それらの器官の位置に対しては隠れの面積に対する重みを大きくし、隠れている領域の面積を計算する方法が挙げられる。この場合も、隠れている領域の面積が、顔の面積に対して所定の割合以下である場合、照合可能であると判定する。なお、照合可能かどうかを判定する際の面積の割合は、顔特徴抽出部４１１の性能に依存するため、例えば故意に一部を隠した顔画像などを用いて、識別装置１００の運用前に予め調整しておくことが望ましい。

第２の実施形態においては、顔識別の実行前に顔照合が可能かどうかを判定し、顔照合が困難であると判定した場合に、肌画像を用いた識別に切り替えられる。このため、顔照合のための処理負荷の軽減が可能で、かつ、装着物による隠れによって非協力型の顔識別が困難な場合でも、対象人物の利便性を損なうことなく正しく識別することが可能となる。

＜第３の実施形態＞
前述の第１と第２の実施形態では、入力部１１０は専用のカメラ２１０から顔照合に用いる入力顔画像を取得し、入力部１３０は専用のカメラ２３０から肌照合に用いる入力肌画像を取得する例となされている。このように専用のカメラ２１０，２３０を用いる例は、廊下など壁がある場所には適用可能であるが、より広い場所では適用し難い場合が考えられる。第３の実施形態では、広い場所であっても、カメラによって取得された入力画像を用いて、顔照合と肌照合を可能にする例について説明する。なお、第１、第２の実施形態と同様の構成および処理については説明および図示を省略する。

図８は、情報処理装置の一適用例である第３の実施形態の識別装置８００の構成例を示した図である。図８に示すように、第３の実施形態の識別装置８００は、入力部８１０、検出追尾部８７０、照合部８５０、保持部８４０、および出力部８６０を有して構成されている。すなわち第３の実施形態の識別装置８００は、図１の入力部１３０と検知部１２０を有さない一方で、検出追尾部８７０を備えている。

入力部８１０は、対象人物を撮影可能な位置に設置されたカメラ（一つのカメラ）によって連続的に撮影された画像データを取得して、検出追尾部８７０に供給する。
検出追尾部８７０は、入力部８１０から連続的に供給される画像に対して、対象人物の顔がある位置を検出して追尾し続ける。照合部８５０は、検出追尾部８７０が検出して追尾し続けている対象人物の顔の画像を、所定のタイミングごとに取得して後述するように照合処理を行う。

以下、入力部８１０に画像データを供給するカメラと検出追尾部８７０について、詳しく説明する。
入力部８１０に画像データを供給するカメラは、前述のカメラ２１０と同様に、光学レンズと撮像センサを備えた小型の監視カメラであるが、パン、チルト、およびズームの量を、制御および変更できる可動式のカメラである。撮像センサの画素数と光学レンズの焦点距離の構成は、ズームの調整により、以下のような二つの要件を満たすことができることが望ましい。一つ目の要件は、廊下全体を撮影画角に収めつつ、例えばカメラから数メートル程度離れた地点にいる対象人物の頭部全体を少なくとも横幅数十ピクセルの大きさで撮影することができることである。もう一つの要件は、拡大ズームした状態で顔を正面から写したときに、両目間の距離が画像上で１００ピクセル以上ある解像度で、頭部全体を撮影できることである。カメラは、これらの要件を満たすように、設置時に予め調整されているとする。本実施形態の入力部８１０は、検出追尾部８７０において検出した対象人物の頭部位置を追尾し続けつつ、常に対象人物の頭部全体を画角中央で可能な限り大きく写すように、カメラのパン、チルト、およびズームを制御する。

検出追尾部８７０は、入力部８１０がカメラから取得した連続した画像に対して、対象人物の顔がある位置を検出し追尾し続ける。対象人物の顔を検出および追尾し続けることは、例えば前述した参考文献１と下記の参考文献７に開示されているような手法を組み合わせることで実現可能である。

参考文献７：SIFT特徴量に基づくMean-Shift探索による特徴点追跡: 都築勇司，藤吉弘亘，金出武雄, 2008

第３の実施形態の場合は、広い場所であっても、顔照合と肌照合を行うことができ、識別対象の人物を正しく識別可能となる。

以上、本発明の各実施形態について説明したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の各実施形態の一部を適宜組み合わせることも可能である。

前述した実施形態の図１に示した構成において、例えば照合部１５０では、人工知能（ＡＩ：artificial intelligence）を適用した処理が行われてもよい。例えば、それらの各部の代わりとして、機械学習された学習済みモデルを用いてもよい。その場合には、それら各部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。この学習済みモデルは、例えばニューラルネットワークモデルで構成できる。そして、それらの学習済みモデルは、前述の各部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前述した各部の処理を行う。また、前述の学習済みモデルは、必要に応じて一定のデータを処理する毎に更新する等も可能である。

本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：識別装置、１１０，１３０：入力部、１２０：検知部、１４０：保持部、１５０：照合部、１６０：出力部

Claims (20)

1. 人物の所定部位を撮影した画像を取得する取得手段と、
   前記撮影された前記所定部位の画像と予め登録されている人物の前記所定部位の画像とを照合する第一の照合手段と、
   前記第一の照合手段による前記照合が失敗したかを判定する照合判定手段と、
   前記照合判定手段によって前記照合が失敗したと判定された場合に、前記撮影された前記所定部位の一部の画像と予め登録されている人物の前記所定部位の前記一部の画像とを照合する第二の照合手段と、
   を有することを特徴とする情報処理装置。
2. 前記第一の照合手段は、前記撮影された前記所定部位の画像と前記登録されている前記所定部位の画像との類似度を求め、
   前記照合判定手段は、前記撮影された前記所定部位の画像と前記登録されている全ての前記所定部位の画像との前記類似度が所定の閾値未満である場合に、前記第一の照合手段による前記照合が失敗したと判定することを特徴とする請求項１に記載の情報処理装置。
3. 前記撮影した前記所定部位の隠れを検出する隠れ検出手段を有し、
   前記第二の照合手段は、前記撮影された前記所定部位の前記隠れが検出されない領域から、前記所定部位の前記一部の画像を定めることを特徴とする請求項１または２に記載の情報処理装置。
4. 人物の所定部位を撮影した画像を取得する取得手段と、
   前記撮影された前記所定部位の画像と予め登録されている人物の前記所定部位の画像とを照合する第一の照合手段と、
   前記第一の照合手段による前記照合が行われる前に、前記照合に必要な情報が前記所定部位に整っているかを判定する判定手段と、
   前記判定手段によって前記照合に必要な情報が前記所定部位に整っていると判定された場合に、前記撮影された前記所定部位の一部の画像と予め登録されている人物の前記所定部位の前記一部の画像とを照合する第二の照合手段と、
   を有することを特徴とする情報処理装置。
5. 前記撮影した前記所定部位の隠れを検出する隠れ検出手段を有し、
   前記判定手段は、前記撮影された前記所定部位で前記検出された隠れに応じて、前記第一の照合手段による前記照合が可能かを更に判定することを特徴とする請求項４に記載の情報処理装置。
6. 前記判定手段は、前記撮影された前記所定部位の面積に対する、前記検出された隠れの面積の割合が所定の割合以下である場合に、前記第一の照合手段による前記照合が可能であると判定することを特徴とする請求項５に記載の情報処理装置。
7. 前記判定手段は、前記撮影された前記所定部位に含まれる所定の器官の位置に対して前記隠れの面積に対する重みを大きくすることを特徴とする請求項６に記載の情報処理装置。
8. 前記第二の照合手段は、前記撮影された前記所定部位の前記隠れが検出されない領域から、前記所定部位の前記一部の画像を定めることを特徴とする請求項５から７のいずれか１項に記載の情報処理装置。
9. 前記第二の照合手段は、前記所定部位の一部の画像に含まれる紋様を用いて前記照合を行うことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記第二の照合手段は、前記第一の照合手段における前記所定部位の画像よりも高い解像度で前記撮影された前記所定部位の前記一部の画像を、前記照合に用いることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記取得手段は、前記人物の所定部位を撮影可能な第一の撮影装置から前記所定部位を撮影した画像を取得し、前記所定部位の一部を撮影可能な第二の撮影装置から前記所定部位の一部の画像を取得することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記第二の撮影装置は、近紫外線から近赤外線までの波長帯のうち所定の波長帯の撮影が可能な撮像装置であることを特徴とする請求項１１に記載の情報処理装置。
13. 前記所定の波長帯は、可視光の波長帯の半分以下の幅の波長帯、近赤外線の波長帯、赤と近赤外線との間の波長帯の、いずれかであることを特徴とする請求項１２に記載の情報処理装置。
14. 前記取得手段は、前記人物の所定部位を追尾して撮影可能な撮影装置から、前記所定部位を撮影した画像と前記所定部位の一部の画像とを取得することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
15. 前記人物の所定部位は顔であることを特徴とする請求項１から１４のいずれか１項に記載の情報処理装置。
16. 前記撮影した人物に対する前記照合の結果を出力する出力手段を備えることを特徴とする請求項１から１５のいずれか１項に記載の情報処理装置。
17. 前記出力手段は、前記第一の照合手段による前記照合が成功した場合には、当該第一の照合手段による照合結果が得られたときに当該第一の照合手段による照合結果を出力し、前記第一の照合手段による前記照合が成功しなかった場合には、前記第二の照合手段による照合結果が得られてから当該第二の照合手段による照合結果を出力することを特徴とする請求項１６に記載の情報処理装置。
18. 情報処理装置が実行する情報処理方法であって、
    人物の所定部位を撮影した画像を取得する取得工程と、
    前記撮影された前記所定部位の画像と予め登録されている人物の前記所定部位の画像とを照合する第一の照合工程と、
    前記第一の照合手段による前記照合が失敗したかを判定する照合判定工程と、
    前記照合判定工程によって前記照合が失敗したと判定された場合に、前記撮影された前記所定部位の一部の画像と予め登録されている人物の前記所定部位の前記一部の画像とを照合する第二の照合工程と、
    を有することを特徴とする情報処理方法。
19. 情報処理装置が実行する情報処理方法であって、
    人物の所定部位を撮影した画像を取得する取得工程と、
    前記撮影された前記所定部位の画像と予め登録されている人物の前記所定部位の画像とを照合する第一の照合工程と、
    前記第一の照合工程による前記照合が行われる前に、前記照合に必要な情報が前記所定部位に整っているかを判定する判定工程と、
    前記判定工程によって前記照合に必要な情報が前記所定部位に整っていると判定された場合に、前記撮影された前記所定部位の一部の画像と予め登録されている人物の前記所定部位の前記一部の画像とを照合する第二の照合工程と、
    を有することを特徴とする情報処理方法。
20. コンピュータを、請求項１から１７のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images