JP2019053381A - 画像処理装置、情報処理装置、方法およびプログラム - Google Patents

Abstract

【課題】改正個人情報保護法に反することなく人物検出を実現する。【解決手段】撮像により得られた撮像画像から顔画像の検出する検出部と、複数の人物の顔画像の各々に共通する共通特徴量の作成結果を用いて、前記検出部により検出された前記顔画像に対応する人物が、前記複数の人物に含まれる確からしさを算出する算出部と、前記算出部により算出された前記確からしさに応じて出力情報を出力する出力部と、を備える、画像処理装置。【選択図】図５

Description

本発明は、画像処理装置、情報処理装置、方法およびプログラムに関する。

２０１７年に施行された改正個人情報保護法においては、個人情報の保護に関するルールが定められている。個人情報の保護に関する技術は、例えば、特許文献１および特許文献２に開示されている。具体的には、特許文献１には、電話番号および生年月日などの個人情報を、所定人数以上の該当者が存在する匿名情報に匿名化する情報処理装置が開示されている。特許文献２には、性別および住所などの個人情報が匿名化された匿名情報に診療履歴を関連付けるシステムが開示されている。

一方、商業店舗においては、万引きおよび器物破損などの行為が経営に与える影響は小さくない。このため、万引き常習者および迷惑客などのブラックリスト人物の顔画像を商業店舗間で共有し、監視カメラによる撮像画像からブラックリスト人物の来店を検出するシステムに需要がある。

国際公開第２０１１／１４２３２７号 特許第６１０４６７４号

しかし、改正個人情報保護法では、個人情報として顔画像が定義され、顔画像の本人の承諾無しに顔画像を第三者に提供することが禁止されている。このため、撮像映像からブラックリスト人物（またはホワイトリスト人物）を検出するための他の方法が望まれる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、改正個人情報保護法に反することなく人物検出を実現することが可能な、新規かつ改良された画像処理装置、情報処理装置、方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像により得られた撮像画像から顔画像の検出する検出部と、複数の人物の顔画像の各々に共通する共通特徴量の作成結果を用いて、前記検出部により検出された前記顔画像に対応する人物が、前記複数の人物に含まれる確からしさを算出する算出部と、前記算出部により算出された前記確からしさに応じて出力情報を出力する出力部と、を備える、画像処理装置が提供される。

前記出力部は、前記算出部により算出された前記確からしさが閾値以上であることに基づき前記出力情報を出力してもよい。

前記共通特徴量の抽出結果には、前記複数の人物に共通する属性情報が関連付けられており、前記出力部は、前記算出部により算出された前記確からしさが閾値以上であることに基づき、前記共通特徴量に関連付けられた属性情報を前記出力情報として出力してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数の人物の顔画像の各々を解析し、前記複数の人物の顔画像の各々に共通する共通特徴量を作成する特徴量作成部を備える、情報処理装置が提供される。

前記特徴量作成部は、部分空間法または確率密度分布を用いて前記共通特徴量を作成してもよい。

前記情報処理装置は、２以上の人物を２以上のクラスにクラス分けするクラス決定部をさらに含み、前記２以上のクラスの各々には、複数の人物が属し、前記特徴量作成部は、クラスごとに前記共通特徴量を作成してもよい。

前記クラス決定部は、各クラスに属する人物が所定人数以下となるように、前記クラス分けを行ってもよい。

前記クラス決定部は、前記２以上の人物を、前記２以上の人物の各々の属性情報に基づいて前記２以上のクラスにクラス分けしてもよい。

前記情報処理装置は、前記特徴量作成部により作成された各クラスの前記共通特徴量に、各クラスに属する人物の間で共通する属性情報を関連付けることで、匿名情報を作成する匿名情報作成部をさらに備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数の人物の顔画像の各々を解析し、前記複数の人物の顔画像の各々に共通する共通特徴量を作成することを含む、方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、複数の人物の顔画像の各々を解析し、前記複数の人物の顔画像の各々に共通する共通特徴量を作成する特徴量作成部、として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、改正個人情報保護法に反することなく人物検出を実現することが可能である。

本発明の実施形態による人物判定システムの構成を示す説明図である。 顔画像記憶装置が記憶する情報の具体例を示す説明図である。 第１の実施形態による匿名情報作成装置の構成を示す説明図である。 共通特徴量の具体例を示す説明図である。 第１の実施形態による人物判定装置の構成を示す説明図である。 第１の実施形態による匿名情報作成装置の動作を示すフローチャートである。 第１の実施形態による人物判定装置の動作を示すフローチャートである。 第２の実施形態による匿名情報作成装置の構成を示す説明図である。 第２の実施形態による匿名情報作成装置により作成される匿名情報の具体例を示す説明図である。 第２の実施形態による人物判定装置の構成を示す説明図である。 第２の実施形態による匿名情報作成装置の動作を示すフローチャートである。 第２の実施形態による人物判定装置の動作を示すフローチャートである。 匿名情報作成装置のハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

＜人物判定システムの構成＞
本発明の実施形態は、小売店や金融機関の店舗などに訪れた人物がブラックリスト人物（またはホワイトリスト人物）であるかを判定する人物判定システムに関する。以下、このような本発明の実施形態による人物判定システムの構成を説明する。

図１は、本発明の実施形態による人物判定システムの構成を示す説明図である。図１に示したように、本発明の実施形態による人物判定システムは、顔画像記憶装置１６、匿名情報作成装置２０、匿名情報記憶装置２６、人物判定装置３０、および撮像装置４０を有する。匿名情報記憶装置２６および人物判定装置３０はネットワーク１２を介して接続されている。

ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

顔画像記憶装置１６は、複数の人物の顔画像および属性情報を記憶する。上記の複数の人物は、万引きをしたことがある人物、または器物破損をしたことがある人物などの、ブラックリスト人物であってもよい。顔画像記憶装置１６は、複数のブラックリスト人物の顔画像および属性情報に加えて、ブラックリスト人物に該当しない人物の顔画像を記憶してもよい。ここで、図２を参照し、顔画像記憶装置１６が記憶する情報の具体例を説明する。

図２は、顔画像記憶装置１６が記憶する情報の具体例を示す説明図である。図２に示したように、顔画像記憶装置１６は、人物名称、顔画像および属性情報を関連付けて記憶する。人物名称は、人物の本名でなく、仮付けされた名称であってもよい。属性情報は、例えば、地域情報、場所情報、行動内容および警戒レベルを含む。地域情報は、人物が出現した地域を示す情報であり、例えば都道府県名、または市町村名で表現される。場所情報は、人物が出現したより詳細な場所を示す情報であり、例えば店舗名で表現される。行動内容は、人物が行った行動を示す内容であり、例えば万引き、器物破損などが該当する。警戒レベルは、どの程度の警戒が必要であるかを示す。図２に示した例では、警戒レベルの数値が高いほど、より強い警戒が必要である。

なお、本明細書では、主にブラックリスト人物を警戒するために顔画像記憶装置１６がブラックリスト人物の顔画像などを記憶する例を説明するが、ホワイトリスト人物（ＶＩＰ属性を有する人物）の発見のために本発明の実施形態が適用される場合、顔画像記憶装置１６はホワイトリスト人物の顔画像などを記憶してもよい。

匿名情報作成装置２０は、顔画像記憶装置１６に記憶されている複数の人物の顔画像の各々を解析し、複数の人物の顔画像の各々に共通する共通特徴量を匿名情報として作成する情報処理装置である。匿名情報作成装置２０により作成された匿名情報は匿名情報記憶装置２６に記憶される。

撮像装置４０は、小売店や金融機関の店舗などに設置されるセンサの一例である。撮像装置４０により得られた撮像画像は人物判定装置３０に送信される。人物判定装置３０は、撮像装置４０から受信される撮像画像から顔画像を検出し、当該顔画像に対応する人物がブラックリスト人物であるか否かを判定する画像処理装置である。人物判定装置３０は、当該判定に際して、匿名情報作成装置２０に記憶された匿名情報を用いる。ここで、顔画像に対応する人物がブラックリスト人物であると判定された場合、ブラックリスト人物が店舗に来店したと考えられる。そこで、ブラックリスト人物による万引きまたは器物破損などの行為を未然に防止すべく、顔画像に対応する人物がブラックリスト人物であると判定された場合、人物判定装置３０は店舗のスタッフまたは警備スタッフに警戒情報（出力情報）を出力する。

図１に示したように、人物判定装置３０および撮像装置４０は複数の店舗（店舗Ａ、店舗Ｂ）に設けられ得る。これら店舗の事業者は、顔画像記憶装置１６および匿名情報作成装置２０を運用する事業者と異なることが想定される。異なる事業者間で人物の生の顔画像を共有すると改正個人情報保護法に反する恐れがあるところ、本実施形態によれば、人物の生の顔画像でなく、複数の人物の顔画像で共通する共通特徴量を含む匿名情報が共有されるので、改正個人情報保護法を遵守しつつ、有用にデータを利活用することが可能である。以下、このような本発明の幾つかの実施形態を順次詳細に説明する。

なお、本明細書においては、各実施形態による匿名情報作成装置を総称して匿名情報作成装置２０と称し、各実施形態による匿名情報作成装置を、匿名情報作成装置２１、匿名情報作成装置２２のように、末尾に各実施形態に対応する番号を用いて区別する。同様に、各実施形態による人物判定装置３０を総称して人物判定装置３０と称し、各実施形態による人物判定装置を、人物判定装置３１、人物判定装置３２のように、末尾に各実施形態に対応する番号を用いて区別する。

＜第１の実施形態＞
（匿名情報作成装置の構成）
図３は、第１の実施形態による匿名情報作成装置２１の構成を示す説明図である。図３に示したように、第１の実施形態による匿名情報作成装置２１は、顔画像取得部２３０および特徴量作成部２４０を有する。

顔画像取得部２３０は、顔画像記憶装置１６から人物の顔画像を取得し、取得した顔画像を特徴量作成部２４０に供給する。顔画像取得部２３０は、顔画像記憶装置１６に記憶されている顔画像のうちで、匿名情報化されていない全ての顔画像を取得してもよい。顔画像が匿名情報化されたか否かは、例えば、顔画像記憶装置１６において各顔画像にフラグ情報を付すことで管理可能である。

特徴量作成部２４０は、顔画像取得部２３０から供給される複数の顔画像から１つの共通特徴量を作成する。例えば、図２に示した５人の人物（人物Ａ〜人物Ｅ）の顔画像から特徴量作成部２４０により作成された共通特徴量は、図４に示したように、φ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ）と表現される。

特徴量作成部２４０は、上記の共通特徴量を、部分空間法または確率密度分布を用いて作成し得る。部分空間法が用いられる場合、特徴量作成部２４０は、複数の人物の顔画像から特徴量を抽出して主成分分析することで部分空間を共通特徴量として作成する。この部分空間法では、特徴量作成部２４０は、共分散行列の対角化によって得られた主成分を基底とする部分空間を用いてもよく、共分散行列の代わりに自己相関行列を用いてもよく、部分空間の合成に自己相関行列を使うＣＬＡＦＩＣ法を用いてもよい。確率密度分布が用いられる場合、特徴量作成部２４０は、複数の人物の顔画像から特徴量を抽出して、クラス付き確率密度分布関数を共通特徴量として作成する。また、特徴量作成部２４０は、機械学習データを用いて共通特徴量を作成してもよい。

ここで、複数の人物に該当するように加工された個人情報の加工情報は、改正個人情報保護法における個人情報の定義に該当しない。したがって、複数の人物の顔画像に該当する上述の共通特徴量は改正個人情報保護法における個人情報に該当しない。このため、共通特徴量は事業者間で共有することが可能である。また、上記の方法により共通特徴量を作成するので、類似性を有する顔画像を事前にグルーピングする必要が無く、無作為な顔画像について共通特徴量を作成することが可能である。

このように特徴量作成部２４０により作成された共通特徴量は匿名情報として匿名情報記憶装置２６に出力され、匿名情報記憶装置２６において記憶される。

（人物判定装置の構成）
続いて、図５を参照して、第１の実施形態による人物判定装置３１の構成を説明する。

図５は、第１の実施形態による人物判定装置３１の構成を示す説明図である。図５に示したように、第１の実施形態による人物判定装置３１は、通信部３１０、顔検出部３２０、算出部３３０、人物判定部３４０および警戒情報出力部３５０を有する。

通信部３１０は、外部の装置とのインタフェースであり、外部の装置から情報を受信する受信部、および外部の装置に情報を送信する送信部として機能する。例えば、通信部３１０は、撮像装置４０から撮像画像を受信し、ネットワーク１２を介して匿名情報記憶装置２６から匿名情報を受信する。

顔検出部３２０は、通信部３１０により撮像装置４０から受信された撮像画像から顔画像を検出する。顔検出部３２０により検出された顔画像は算出部３３０に供給する。

算出部３３０は、通信部３１０により匿名情報記憶装置２６から受信された匿名情報を用いて、顔検出部３２０により検出された顔画像に対応する人物が、顔画像が匿名情報化された複数の人物に含まれる確からしさを算出する。

例えば、算出部３３０は、上記の確からしさを、部分空間法または確率密度分布を用いて算出することが可能である。部分空間法が用いられる場合、算出部３３０は、匿名情報記憶装置２６から受信された匿名情報（部分空間）と顔検出部３２０により検出された顔画像の特徴量との類似度を上記確からしさとして計算する。類似度は数値で表現される。算出部３３０は、部分空間と顔検出部３２０により検出された顔画像の特徴量との角度、部分空間と顔検出部３２０により検出された顔画像の特徴量との距離などを類似度として算出してもよい。また、算出部３３０は、顔検出部３２０により検出された顔画像の特徴量の部分空間への射影の大きさを算出してもよいし、顔検出部３２０により検出された顔画像の特徴量を主成分分析して部分空間を算出して、２つの部分空間の角度を比較する相互部分空間法を用いてもよい。確率密度分布が用いられる場合、匿名情報記憶装置２６から受信された匿名情報（クラス付き確率密度分布関数）から、ベイズの識別規則を利用して誤りが最小となる可能性である事後確率を上記確からしさとして算出してもよい。

人物判定部３４０は、算出部３３０により算出された確からしさと閾値を比較することにより、顔検出部３２０により検出された顔画像に対応する人物が、顔画像が匿名情報化された複数の人物に含まれるか否かを判定する。具体的には、人物判定部３４０は、算出部３３０により算出された確からしさが閾値以上であることに基づき、顔検出部３２０により検出された顔画像に対応する人物が、顔画像が匿名情報化された複数の人物に含まれる、すなわち、ブラックリスト人物であると判定してもよい。

警戒情報出力部３５０は、顔検出部３２０により検出された顔画像に対応する人物がブラックリスト人物であると判定されたことに基づいて警戒情報を出力する出力部の一例である。警戒情報出力部３５０は、警戒情報を画像により出力する表示部、警戒情報を音声により出力する音声出力部、または通信部３１０に警戒情報を所定の宛先へ送信させる送信制御部であってもよい。警戒情報は、例えば、撮像画像に含まれるブラックリスト人物を指し示す表示、および「ブラックリスト人物が発見されました。この人物の行動に警戒して下さい。」というメッセージを含んでもよい。

（動作）
以上、第１の実施形態によるによる匿名情報作成装置２１および人物判定装置３１の構成を説明した。続いて、図６および図７を参照して、第１の実施形態による匿名情報作成装置２１および人物判定装置３１の動作を整理する。

図６は、第１の実施形態による匿名情報作成装置２１の動作を示すフローチャートである。図６に示したように、まず、匿名情報作成装置２１の顔画像取得部２３０が、顔画像記憶装置１６から複数の人物の顔画像を取得する（Ｓ４１０）。そして、特徴量作成部２４０が、顔画像取得部２３０により取得された複数の顔画像から１つの共通特徴量を作成する（Ｓ４２０）。その後、特徴量作成部２４０は、作成された共通特徴量を匿名情報として匿名情報記憶装置２６に出力する（Ｓ４３０）。

図７は、第１の実施形態による人物判定装置３１の動作を示すフローチャートである。図７に示したように、まず、人物判定装置３１の顔検出部３２０が撮像装置４０により得られた撮像画像を取得し（Ｓ５１０）、撮像画像から顔画像を検出する（Ｓ５２０）。

そして、算出部３３０が、通信部３１０を介して匿名情報記憶装置２６から匿名情報を取得し（Ｓ５３０）、匿名情報を用い、例えば顔検出部３２０により検出された顔画像と匿名情報との類似度を算出する（Ｓ５４０）。

その後、人物判定部３４０が、算出部３３０により算出された類似度と閾値を比較することにより、顔検出部３２０により検出された顔画像に対応する人物がブラックリスト人物であるか否かを判定する（Ｓ５５０）。顔検出部３２０により検出された顔画像に対応する人物がブラックリスト人物であると判定されると（Ｓ５５０／Ｙｅｓ）、警戒情報出力部３５０が警戒情報を出力する（Ｓ５６０）。

このように、第１の実施形態によれば、撮像画像から検出された人物が誰であるかは判別しないものの、撮像画像から検出された人物がブラックリスト人物に含まれるか否かを判定し、警戒情報を出力することが可能である。すなわち、第１の実施形態によれば、改正個人情報保護法に反しない範囲で、ブラックリスト人物の顔画像のデータを有効活用することが可能である。

＜第２の実施形態＞
以上、本発明の第１の実施形態を説明した。続いて、本発明の第２の実施形態を説明する。第２の実施形態によれば、共通特徴量を用いた人物判定の精度向上、およびより具体的な警戒情報の出力を実現することが可能である。

（匿名情報作成装置の構成）
図８は、第２の実施形態による匿名情報作成装置２２の構成を示す説明図である。図８に示したように、第２の実施形態による匿名情報作成装置２２は、クラス決定部２２０、顔画像取得部２３０、特徴量作成部２４２、および匿名情報作成部２５０を有する。

クラス決定部２２０は、顔画像記憶装置１６に顔画像が記憶されている２以上の人物を２以上のクラスにクラス分けする。その後、特徴量作成部２４２により同一クラスに属する人物の顔画像に対して１つの共通特徴量が作成される。ここで、１つの共通特徴量を作成対象となる顔画像が多いほど、作成された共通特徴量による人物判定の精度が下がり得る。例えば、ブラックリスト人物でない人物が誤ってブラックリスト人物であると判定される確率が上がり得る。このため、クラス決定部２２０は、各クラスに属する人物が所定人数以下（例えば、５人以下）となるようにクラス分けを行ってもよい。

さらに、クラス決定部２２０は、顔画像記憶装置１６から各人物の属性情報を取得し、各人物の属性情報に基づいて人物のクラス分けを行ってもよい。例えば、地域情報、場所情報、行動内容または警戒レベルのうちの少なくとも１つが一致または類似する人物が同一クラスに属するようにクラス分けを行ってもよい。

顔画像取得部２３０は、クラス決定部２２０により決定された各クラスに属する人物の顔画像および属性情報を顔画像記憶装置１６から取得する。

特徴量作成部２４２は、同一クラスに属する複数の人物の顔画像に共通する共通特徴量を作成する。特徴量作成部２４２は、各クラスの共通特徴量を作成する。

匿名情報作成部２５０は、共通特徴量および共通属性情報を含む匿名情報をクラスごとに作成する。共通属性情報は、同一クラスに属する人物の属性情報に共通する属性情報である。匿名情報作成部２５０により作成された匿名情報は匿名情報記憶装置２６に記憶される。

図９は、第２の実施形態による匿名情報作成装置２２により作成される匿名情報の具体例を示す説明図である。図９に示したように、第２の実施形態による匿名情報作成装置２２により作成される匿名情報は、加工前人数（クラスに属する人物の人数）、共通特徴量および共通属性情報を含む。図９に示した例では、人物Ａおよび人物Ｂの２名が属するクラス１に関し、加工前人数が「２人」であり、共通特徴量が「φ（Ａ＋Ｂ）」であり、地域情報が「東京」であり、場所情報が「Ｘ１店」であり、行動内容が「万引き」であり、警戒レベルが「２〜１」である。なお、１人の人物は複数のクラスに属してもよい。図９に示した例では、人物Ｂがクラス１およびクラス２の双方に属している。

（人物判定装置の構成）
図１０は、第２の実施形態による人物判定装置３２の構成を示す説明図である。図１０に示したように、第２の実施形態による人物判定装置３２は、通信部３１２、顔検出部３２０、算出部３３２、人物判定部３４２および警戒情報出力部３５２を有する。顔検出部３２０の機能は第１の実施形態で説明した通りである。

通信部３１２は、外部の装置とのインタフェースであり、外部の装置から情報を受信する受信部、および外部の装置に情報を送信する送信部として機能する。例えば、通信部３１０は、撮像装置４０から撮像画像を受信する。また、通信部３１２は、匿名情報記憶装置２６からネットワーク１２を介して複数のクラスの匿名情報を受信する。

算出部３３２は、通信部３１０により匿名情報記憶装置２６から受信された複数のクラスの匿名情報を用いて、複数のクラスの各々について、顔検出部３２０により検出された顔画像に対応する人物が属する確からしさを算出する。例えば、算出部３３２は、部分空間法を用いて、顔検出部３２０により検出された顔画像と各クラスの匿名情報に含まれる共通特徴量との類似度を上記確からしさとして算出してもよい。または、算出部３３２は、確率密度分布を用いて、顔検出部３２０により検出された顔画像が各クラスの匿名情報に含まれる共通特徴量に該当する確率を上記確からしさとして算出してもよい。

人物判定部３４２は、算出部３３２により複数のクラスの各々について算出された確からしさと閾値を比較することにより、顔検出部３２０により検出された顔画像に対応する人物がいずれのクラスに属する人物であるかを判定する。具体的には、人物判定部３４２は、顔検出部３２０により検出された顔画像に対応する人物は、閾値以上の確からしさが算出されたクラスに属する人物であると判定してもよい。

警戒情報出力部３５２は、顔検出部３２０により検出された顔画像に対応する人物について人物判定部３４２により判定されたクラスに応じた警戒情報を出力する出力部の一例である。例えば、警戒情報出力部３５２は、人物判定部３４２により判定されたクラスの共通属性情報を用いて警戒情報を出力してもよい。例えば、顔検出部３２０により検出された顔画像に対応する人物が図９に示したクラス１に属する人物であると判定された場合、警戒情報出力部３５２は、「この人物は万引きをする恐れがあります。警戒レベル１〜２で警戒に当たって下さい。」というメッセージを含む警戒情報を出力してもよい。

（動作）
以上、第２の実施形態によるによる匿名情報作成装置２２および人物判定装置３２の構成を説明した。続いて、図１１および図１２を参照して、第２の実施形態による匿名情報作成装置２２および人物判定装置３２の動作を整理する。

図１１は、第２の実施形態による匿名情報作成装置２２の動作を示すフローチャートである。図１１に示したように、まず、匿名情報作成装置２２のクラス決定部２２０が顔画像記憶装置１６から２以上の人物の属性情報を取得し（Ｓ４０４）、２以上の人物の属性情報を用いて２以上の人物を２以上のクラスにクラス分けする（Ｓ４０８）。

そして、顔画像取得部２３０が、クラス決定部２２０により決定された各クラスに属する人物の顔画像および属性情報を顔画像記憶装置１６から取得し（Ｓ４１０）、特徴量作成部２４２は、複数の人物の顔画像に共通する共通特徴量をクラスごとに作成する（Ｓ４２２）。さらに、匿名情報作成部２５０が、共通特徴量および共通属性情報を含む匿名情報をクラスごとに作成する（Ｓ４２６）。その後、匿名情報作成部２５０は、作成された匿名情報を匿名情報記憶装置２６に出力する（Ｓ４３２）。

図１２は、第２の実施形態による人物判定装置３２の動作を示すフローチャートである。図１２に示したように、まず、人物判定装置３２の顔検出部３２０が撮像装置４０により得られた撮像画像を取得し（Ｓ５１０）、撮像画像から顔画像を検出する（Ｓ５２０）。

そして、算出部３３２が、通信部３１０を介して匿名情報記憶装置２６から各クラスの匿名情報を取得する（Ｓ５３２）。さらに、算出部３３２は、各クラスの匿名情報を用いて、例えば顔検出部３２０により検出された顔画像と各クラスの匿名情報に含まれる共通特徴量との類似度を算出する（Ｓ５４２）。

その後、人物判定部３４２が、算出部３３２により複数のクラスの各々について算出された類似度と閾値を比較することにより、顔検出部３２０により検出された顔画像に対応する人物がいずれのクラスに属する人物であるかを判定する（Ｓ５５２）。そして、警戒情報出力部３５２は、顔検出部３２０により検出された顔画像に対応する人物について人物判定部３４２により判定されたクラスに応じた警戒情報を出力する（Ｓ５６２）。

このように、第２の実施形態によれば、制限された数の人物の顔画像からクラスごとの共通特徴量が算出されるので、共通特徴量を用いた人物判定の精度を担保することが可能である。さらに、各人物の属性情報に基づいて２以上の人物がクラス分けされるので、各ラスの人物の共通属性情報を用いてより具体的な警戒情報を出力することが可能となる。結果、より効率的、かつ、効果的な警戒を実現することが可能である。また、同一人物が複数のクラスに属することを許容することにより、同一人物が属するクラスとして複数のクラスを判定することが可能となる。

＜ハードウェア構成＞
以上、本発明の各実施形態を説明した。上述した共通特徴量の作成およびクラス分けなどの情報処理は、ソフトウェアと、以下に説明する匿名情報作成装置２０のハードウェアとの協働により実現される。

図１３は、匿名情報作成装置２０のハードウェア構成を示したブロック図である。匿名情報作成装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、匿名情報作成装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って匿名情報作成装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、図３を参照して説明した顔画像取得部２３０、特徴量作成部２４０、および図８を参照して説明したクラス決定部２２０などの機能が実現され得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。匿名情報作成装置２０のユーザは、該入力装置２０８を操作することにより、匿名情報作成装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

表示装置２０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

ストレージ装置２１１は、本実施形態にかかる匿名情報作成装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、匿名情報作成装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、外部装置に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

なお、人物判定装置３０のハードウェアも、図１３を参照して説明したハードウェア構成と実質的に同一に構成し得るので、人物判定装置３０のハードウェアの説明を割愛する。

＜むすび＞
以上説明したように、本発明の実施形態によれば、撮像画像から検出された人物が誰であるかは判別しないものの、撮像画像から検出された人物がブラックリスト人物に含まれるか否かを判定し、警戒情報を出力することが可能である。すなわち、本発明の実施形態によれば、改正個人情報保護法に反しない範囲で、ブラックリスト人物の顔画像のデータを有効活用することが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書では人物の顔画像の匿名情報を作成する例を説明したが、本発明の実施形態はかかる例に限定されない。例えば、匿名情報作成装置２０は、人物の指紋および虹彩などの他の生体情報、および筆跡などから匿名情報を作成し、人物判定装置３０は、匿名情報作成装置２０は、生体情報を取得するセンサまたは筆跡を検出するセンサ、および匿名情報作成装置２０により作成された匿名情報を用いて、人物判定を行ってもよい。

また、本明細書の匿名情報作成装置２０および人物判定装置３０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、匿名情報作成装置２０および人物判定装置３０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、匿名情報作成装置２０および人物判定装置３０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した匿名情報作成装置２０および人物判定装置３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１６ 顔画像記憶装置
２０、２１、２２ 匿名情報作成装置
２６ 匿名情報記憶装置
３０、３１、３２ 人物判定装置
４０ 撮像装置
２２０ クラス決定部
２３０ 顔画像取得部
２４０、２４２ 特徴量作成部
２５０ 匿名情報作成部
３１０、３１２ 通信部
３２０ 顔検出部
３３０、３３２ 算出部
３４０、３４２ 人物判定部
３５０、３５２ 警戒情報出力部

Claims (11)

1. 撮像により得られた撮像画像から顔画像の検出する検出部と、
   複数の人物の顔画像の各々に共通する共通特徴量の作成結果を用いて、前記検出部により検出された前記顔画像に対応する人物が、前記複数の人物に含まれる確からしさを算出する算出部と、
   前記算出部により算出された前記確からしさに応じて出力情報を出力する出力部と、
   を備える、画像処理装置。
2. 前記出力部は、前記算出部により算出された前記確からしさが閾値以上であることに基づき前記出力情報を出力する、請求項１に記載の画像処理装置。
3. 前記共通特徴量の抽出結果には、前記複数の人物に共通する属性情報が関連付けられており、
   前記出力部は、前記算出部により算出された前記確からしさが閾値以上であることに基づき、前記共通特徴量に関連付けられた属性情報を前記出力情報として出力する、請求項１または２に記載の画像処理装置。
4. 複数の人物の顔画像の各々を解析し、前記複数の人物の顔画像の各々に共通する共通特徴量を作成する特徴量作成部を備える、情報処理装置。
5. 前記特徴量作成部は、部分空間法または確率密度分布を用いて前記共通特徴量を作成する、請求項４に記載の情報処理装置。
6. 前記情報処理装置は、２以上の人物を２以上のクラスにクラス分けするクラス決定部をさらに含み、
   前記２以上のクラスの各々には、複数の人物が属し、
   前記特徴量作成部は、クラスごとに前記共通特徴量を作成する、請求項４または５に記載の情報処理装置。
7. 前記クラス決定部は、各クラスに属する人物が所定人数以下となるように、前記クラス分けを行う、請求項６に記載の情報処理装置。
8. 前記クラス決定部は、前記２以上の人物を、前記２以上の人物の各々の属性情報に基づいて前記２以上のクラスにクラス分けする、請求項６または７に記載の情報処理装置。
9. 前記情報処理装置は、
   前記特徴量作成部により作成された各クラスの前記共通特徴量に、各クラスに属する人物の間で共通する属性情報を関連付けることで、匿名情報を作成する匿名情報作成部をさらに備える、請求項８に記載の情報処理装置。
10. 複数の人物の顔画像の各々を解析し、前記複数の人物の顔画像の各々に共通する共通特徴量を作成することを含む、方法。
11. コンピュータを、
    複数の人物の顔画像の各々を解析し、前記複数の人物の顔画像の各々に共通する共通特徴量を作成する特徴量作成部、として機能させるための、プログラム。
    

Images