JP2021144749A - 人物照合装置、方法、及びプログラム - Google Patents

Abstract

【課題】人物の照合において、画像中の様々な態様をとり得る人物同士を、事前に人手で定義づけしなくても照合可能とする。【解決手段】重み推定手段（１１）は、人物が含まれる人物画像から、人物の人体部位の存在確率に応じて重みを推定する。特徴生成手段（１２）は、人物画像と重み推定手段（１１）が推定した重みとに基づいて、照合用の特徴を生成する。照合特徴記憶手段（１３）は、照合対象の人物の特徴を照合特徴として記憶する。人物照合手段（１４）は、特徴生成手段（１２）が生成した照合用の特徴と、照合特徴記憶手段（１３）に記憶された照合特徴とを比較する。【選択図】図１

Description

本開示は、人物照合装置、方法、及び非一時的なコンピュータ可読媒体に関し、更に詳しくは、画像に含まれる人物が登録された人物であるか否かを照合する人物照合装置、方法、及び非一時的なコンピュータ可読媒体に関する。

異なる映像（画像）中の人物同士が同一人物か否かを判定するシステムにおいて、色特徴やテクスチャ特徴を用いて人物を照合する技術が知られている。例えば、特許文献１には、各人物の服領域を切り出し、上半身と下半身のテクスチャ特徴と色特徴とを用いて人物を照合する技術が開示されている。また、特許文献２には、分割した人物領域に対して、正面、側面、及び背面の３パターンの人物の向きに応じた各領域の重みを事前に定義し、照合時に特徴の重み付けを行うことで向きの異なる人物同士を照合する技術が開示されている。

さらに、特許文献３には、人物の認証に用いることができる特徴点抽出装置が開示されている。特許文献３では、例えば顔などの対象物の特徴点の統計的な位置関係を表す形状モデルが用いられる。形状モデルは、特徴点の平均的な位置を示す平均位置ベクトルと特徴点位置の統計的なばらつきを示す固有ベクトル行列とからなる。特許文献３に記載の特徴点抽出装置は、入力画像に応じて特徴点に重みを設定する。特徴点抽出装置は、対象物の検出において検出されなかった構成要素に属する特徴点に対する重みを小さく設定し、検出された構成要素に属する特徴点に対する重みを大きく設定する。特徴点抽出装置は、入力画像の特徴点に対する候補位置を探索し、特徴点に対する重みに応じて、特徴点に対する候補位置を形状モデルに射影する。

特開２０１３−１８６５４６号公報 特開２０１７−６２６３３号公報 特開２０１１−２３２８４５号公報

特許文献１に記載の照合技術では、人物の向きが異なると、特徴が変化するため、誤った照合結果が出力される可能性がある。これに対し、特許文献２では、人物の向きに応じた各領域の重みを事前に定義し、照合時に特徴の重み付けを行うことで向きの異なる人物同士を照合することが可能である。しかしながら、特許文献２では、事前に各向きでの重みを定義する必要があり、定義されていない方向の向きには対応できない。特許文献２において現実にあり得る向きを全て定義する場合、膨大な量の定義づけ作業を行う必要があるという問題が生じる。

また、特許文献１及び特許文献２では、人物が遮蔽されることは考慮されていない。この点に関し、特許文献３では、対象物の検出において検出されなかった構成要素に属する特徴点に対する重みが小さく設定され、検出された構成要素に属する特徴点に対する重みが大きく設定される。このようにすることで、遮蔽されていない特徴点を用いた人物の認証などが可能である。しかしながら、特許文献３において、向きや姿勢が異なる様々な態様の対象物から特徴点を抽出するためには、様々な態様に対応した形状モデルをあらかじめ定義しておく必要がある。従って、特許文献３においても、事前に定義された対象物の向きや姿勢にしか対応できず、定義されていない態様には対応できない。

本開示は、上記事情に鑑み、画像中の様々な態様をとり得る人物同士を、事前に人手で定義づけしなくても照合することができる人物照合装置、方法、及び非一時的なコンピュータ可読媒体を提供することを目的の１つとする。

上記課題を解決するために、本開示は、人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する重み推定手段と、前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する特徴生成手段と、前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する人物照合手段とを備える人物照合装置を提供する。

また、本開示は、人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定し、前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成し、前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較し、前記比較の結果を出力する人物照合方法を提供する。

本開示は、コンピュータに、人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する処理と、前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する処理と、前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する処理と、前記比較の結果を出力する処理とを実行させるための非一時的なコンピュータ可読媒体を提供する。

本開示の人物照合装置、方法、及び非一時的なコンピュータ可読媒体は、事前に人手で定義づけしなくても、態様が異なる照合対象の人物同士を照合することができる。

本開示の概略的な人物照合装置を示すブロック図。 第１実施形態に係る人物照合装置と特徴学習装置とを示すブロック図。 人物照合装置の構成例を示すブロック図。 特徴学習装置の構成例を示すブロック図。 特徴学習装置における動作手順を示すフローチャート。 重み画像の生成の動作手順を示すフローチャート。 畳み込みニューラルネットワークの一例を示すブロック図。 人物照合装置における動作手順を示すフローチャート。 第２実施形態に係る人物照合装置を示すブロック図。 第２実施形態に係る人物照合装置の動作手順を示すフローチャート。

実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示の概略的な人物照合装置を示す。人物照合装置１０は、重み推定手段１１、特徴生成手段１２、照合特徴記憶手段１３、及び人物照合手段１４を備える。

重み推定手段１１は、人物が含まれる人物画像から、人物の人体部位の存在確率に応じて重みを推定する。特徴生成手段１２は、人物画像と重み推定手段１１が推定した重みとに基づいて、照合用の特徴を生成する。照合特徴記憶手段１３は、照合対象の人物の特徴を照合特徴として記憶する。人物照合手段１４は、特徴生成手段１２が生成した照合用の特徴と、照合特徴記憶手段１３に記憶された照合特徴とを比較する。なお、照合特徴記憶手段１３は、人物照合手段１４から参照可能であればよく、必ずしも人物照合装置１０の一部である必要はない。

本開示に係る人物照合装置１０において、重み推定手段１１は、人物の人体部位の存在確率に応じた重みを推定する。特徴生成手段１２は、推定された重みを用いて、照合用の特徴を抽出する。本開示では、人体部位の存在確率に応じた重みを用いて特徴を抽出しており、特徴生成手段１２は、例えば人体部位の存在確率が高い部分に基づく特徴を照合用の特徴として生成することができる。このように生成された特徴を用いて照合を行うことで、画像中の様々な態様をとり得る人物同士を、事前に人手で定義づけしなくても照合することができる。

以下、図面を参照しつつ、実施の形態を説明する。図２は、第１実施形態に係る人物照合装置と特徴学習装置とを示す。人物照合装置１００は、カメラなどを用いて撮影された映像（画像）に含まれる人物と、あらかじめ登録された人物とを、画像から抽出された特徴を用いて照合する。人物照合装置１００は、図１の人物照合装置１０に対応する。特徴学習装置２００は、人物照合装置１００における人物の照合において特徴抽出に用いられるモデルを学習する。特徴学習装置２００は、例えば、特徴抽出に用いられる畳み込みニューラルネットワークを学習する。

人物照合装置１００及び特徴学習装置２００は、例えばプロセッサとメモリとを有し、プロセッサがメモリから読み出したプログラムに従って動作するコンピュータ装置を含む。なお、人物照合装置１００と特徴学習装置２００とは、必ずしも物理的に分離された装置である必要はない。例えば同じコンピュータ装置を、人物照合装置１００及び特徴学習装置２００として用いてもよい。

図３は、人物照合装置１００を示す。人物照合装置１００は、入力部１０１、人物画像切り出し部１１０、重み推定部１２０、特徴生成部１３０、照合特徴データベース１４０、人物照合部１５０、及び出力部１６０を有する。人物照合装置１００において、人物画像切り出し部１１０、重み推定部１２０、特徴生成部１３０、及び人物照合部１５０の機能の少なくとも一部は、プロセッサがプログラムに従って動作することで実現されてもよい。照合特徴データベース１４０は、例えばハードディスク装置などの補助記憶装置を用いて構成される。

入力部１０１は、カメラなどの外部の入力装置から、照合対象の人物が含まれた画像を受け取る。人物画像切り出し部１１０は、入力された画像から、人物が存在する人物領域を切り出す。人物画像切り出し部１１０は、例えば、人物領域を切り出した画像に対して拡大又は縮小処理やゼロ埋め処理などを行い、人物領域の画像を、その縦横比を維持したまま所定のサイズの画像に変換する。人物画像切り出し部１１０は、例えば公知の手法を用いて人物領域の切り出しを行う。人物画像切り出し部１１０は、例えばＨＯＧ（Histogram of Oriented Gradients）を用いた手法、或いは背景差分を用いた手法などを用いて、人物領域を切り出す。

重み推定部１２０は、人物画像切り出し部１１０が切り出した人物領域画像（人物画像）から重み画像を生成する。重み推定部１２０は、図１の重み推定手段１１に対応する。

重み推定部１２０は、部位存在確率推定部１２１と重み画像生成部１２２とを有する。部位存在確率推定部１２１は、入力された人物領域画像の各画素について、特定の人体部位が存在する確率を推定する。ここで、「特定の人体部位」とは、画像上から位置が推測可能な人体の部位を意味する。特定の人体部位は、例えば手首や鼻などの、点で表現できる部位を含む。また、特定の人体部位は、例えば腕や胸などの面で表現できる部位を含む。

部位存在確率推定部１２１は、例えば公知の手法を用いて特定の人体部位が存在する確率を推定する。人体部位の存在確率の推定には、例えば畳み込みニューラルネットワークに基づく手法やＨＯＧを用いた手法を用いることができる。畳み込みニューラルネットワークに基づく手法は、例えば「Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields」（Zhe Caoら、CVPR2017）に記載されている。例えば、部位存在確率推定部１２１は、Ｊを所定の正の整数として、Ｊ個の人体部位について、各画素に人体部位が存在する確率を推定する。

重み画像生成部１２２は、部位存在確率推定部１２１が推定した存在確率を用いて、重み画像を生成する。重み画像の各画素の画素値（重み）は、各画素の重要度を示す。重み画像生成部１２２は、例えば存在確率を推定した人体部位のそれぞれについて重み画像を生成する。重み画像生成部１２２は、例えばＪ個の人体部位について存在確率が推定された場合は、Ｊ個の重み画像を生成する。重み画像生成部１２２は、例えば、人体部位ごとに推定された存在確率に、人体部位全体の存在確率に基づく正規化処理を行い、各画素の重みを算出する。正規化処理を行うことで、画像の取得に用いられたカメラの違いや周辺環境の違いからくる存在確率の推定誤差の影響を抑制することができる。重み画像生成部１２２は、人体部位の存在確率（重み）に対してしきい値処理を行い、存在確率が所定のしきい値以下の場合は、重みを０にしてもよい。

特徴生成部１３０は、人物画像切り出し部１１０が切り出した人物領域画像と、重み画像生成部１２２が生成した重み画像とに基づいて、照合に用いられる特徴を生成する。特徴生成部１３０は、図１の特徴生成手段１２に対応する。

特徴生成部１３０は、画像統合部１３１と特徴抽出部１３２とを有する。画像統合部１３１は、人物領域画像と人体部位ごとの重み画像とをチャンネル方向で結合（統合）する。特徴抽出部１３２は、画像統合部１３１が統合した画像を入力として、特徴学習装置２００（図２を参照）を用いて学習された畳み込みニューラルネットワークを用いて人物の照合に用いられる特徴を生成する。

照合特徴データベース１４０は、照合対象の人物の特徴（照合特徴）を記憶する。照合特徴は、例えば事前に用意された人物画像、及び、その人物画像に基づいて生成された重み画像を、特徴学習装置２００を用いて学習された畳み込みニューラルネットワークに適用することで生成される。照合特徴データベース１４０は、図１の照合特徴記憶手段１３に対応する。

人物照合部１５０は、特徴生成部１３０が生成した特徴と、照合特徴データベース１４０が記憶する照合特徴とを比較する。出力部１６０は、人物照合部１５０の比較結果を出力する。出力部１６０は、例えばディスプレイ装置や音響装置、或いはランプなどを用いて、人物画像切り出し部１１０が切り出した人物領域画像に含まれる人物が照合対象の人物に一致するか否かを示す比較結果を出力する。人物照合部１５０は、図１の人物照合手段１４に対応する。

図４は、特徴学習装置２００を示す。特徴学習装置２００は、重み推定部２１０、特徴学習部２２０、及び訓練画像データベース２３０を有する。特徴学習装置２００において、重み推定部２１０及び特徴学習装置２００の機能の少なくとも一部は、プロセッサがプログラムに従って動作することで実現されてもよい。訓練画像データベース２３０は、例えばハードディスク装置などの補助記憶装置を用いて構成される。

訓練画像データベース２３０は、畳み込みニューラルネットワークの学習に用いられる複数の訓練画像（教師データ）を記憶する。訓練画像データベース２３０は、例えば、人物が含まれる訓練画像と、その訓練画像に含まれる人物を特定できるラベルとを対応付けて記憶する。ラベルには、例えばＩＤ（Identifier）や名前などが用いられる。訓練画像は、例えば人物の画像に対して適切な拡大又は縮小処理や、ゼロ埋め処理などが事前に施されることで、画像サイズが同じサイズに揃えられている。訓練画像のサイズは、例えば、人物照合装置１００の人物画像切り出し部１１０が生成する人物領域画像のサイズと等しい。

重み推定部２１０は、訓練画像データベース２３０が記憶する複数の訓練画像のそれぞれについて、重み画像を生成する。重み推定部２１０は、部位存在確率推定部２１１と重み画像生成部２１２とを有する。部位存在確率推定部２１１は、訓練画像の各画素について、特定の人体部位が存在する確率を推定する。部位存在確率推定部２１１が実施する人体部位の存在確率の推定は、図３に示される人物照合装置１００の部位存在確率推定部１２１が実施する人体部位の存在確率の推定と同様でよい。

重み画像生成部２１２は、部位存在確率推定部２１１が推定した存在確率を用いて、重み画像を生成する。重み画像生成部２１２は、例えば存在確率を推定した人体部位のそれぞれについて重み画像を生成する。重み画像生成部２１２が実施する重み画像の生成は、人物照合装置１００の重み画像生成部１２２が実施する重み画像の生成と同様でよい。

特徴学習部２２０は、複数の訓練画像及びそのラベルと、各訓練画像から生成された重み画像とを用いて、畳み込みニューラルネットワークを学習する。特徴学習部２２０は、画像統合部２２１と学習部２２２とを有する。画像統合部２２１は、訓練画像と重み画像とを、チャンネル方向で結合する。学習部２２２は、画像統合部２２１で統合された画像を用いて、畳み込みニューラルネットワークを学習する。より詳細には、学習部２２２は、画像統合部２２１から受け取った画像を入力として、出力がその画像（訓練画像）に付与されているラベルに近づくように、畳み込みニューラルネットワークを学習する。

図５は、特徴学習装置２００における動作手順を示す。重み推定部２１０及び特徴学習部２２０は、訓練画像データベース２３０から訓練画像を取得する（ステップＡ１）。特徴学習部２２０は、ステップＡ１では、訓練画像に対応するラベルも取得する。重み推定部２１０は、訓練画像データベース２３０から取得した画像から、画像に含まれる人物の各部位の重み画像を生成する（ステップＡ２）。重み推定部２１０は、生成した重み画像を特徴学習部２２０に出力する。

図６は、重み画像の生成の動作手順を示す。重み推定部２１０において、部位存在確率推定部２１１は、既存の部位推定技術を用いて、入力された画像の各画素における人体部位の存在確率を算出する（ステップＢ１）。部位存在確率推定部２１１は、ステップＢ１では、例えば畳み込みニューラルネットワークを用いた手法やＨＯＧを用いた手法を用いて、人体部位ごとに、各画素における人体部位の存在確率を算出する。部位存在確率推定部２１１は、算出した存在確率を重み画像生成部２１２に出力する。

重み画像生成部２１２は、部位存在確率推定部２１１から取得した人体部位ごとの存在確率を重みに変換する（ステップＢ２）。重み画像生成部２１２は、ステップＢ２では、例えば下記式を用いて、人体部位の存在確率を重みに変換する。

上記式１において、ｐ_ｊｘｙは、ｊを１からＪまでの整数として、入力画像（訓練画像）の画素（ｘ，ｙ）における人体部位ｊの存在確率を表し、ｗ_ｊｘｙは、位置（ｘ，ｙ）における人体部位ｊの重みを表す。また、ｍａｘ（Ｐ）は全ての人体部位の存在確率の最大値を表し、ｍｉｎ（Ｐ）は全ての人体部位の存在確率の最小値を表す。

重み画像生成部２１２は、ステップＢ２で変換した重みに対してしきい値処理を適用する（ステップＢ３）。重み画像生成部２１２は、ステップＢ３では、例えば重みｗ_ｊｘｙと所定のしきい値とを比較し、重みｗ_ｊｘｙがしきい値以下であればｗ_ｊｘｙの値を０にする。その後、重み画像生成部２１２は、重みｗ_ｊｘｙが所定ビット数となるように量子化を行うことで、重み画像を生成する（ステップＢ４）。重み画像生成部２１２は、ステップＢ４では、例えば、重みｗ_ｊｘｙが訓練画像の画素値と同じビット数になるように重みを量子化することで、重みｗ_ｊｘｙを重み画像の位置（ｘ，ｙ）の画素値に変換する。

図５に戻り、特徴学習部２２０の画像統合部２２１は、ステップＡ１で取得された訓練画像と、ステップＡ２で生成された重み画像とをチャンネル方向に結合する（ステップＡ３）。学習部２２２は、ステップＡ３で結合された訓練画像及び重み画像を畳み込みニューラルネットワークに適用する。学習部２２２は、訓練画像のラベルを用いて畳み込みニューラルネットワークのパラメータを更新することで、畳み込みニューラルネットワークを学習する（ステップＡ４）。特徴学習部２２０は、複数の訓練画像に対してステップＡ１からステップＡ４を繰り返し実施し、人物の識別が可能な畳み込みニューラルネットワークを学習する。

図７は、畳み込みニューラルネットワークの一例を示す。畳み込みニューラルネットワーク３００は、入力層３０１、中間層３０２、及び出力層３０３を有する。入力層３０１は複数のノード３１０を含み、中間層３０２及び出力層３０３は、それぞれ複数のノード３１１を含む。また、中間層３０２は、それぞれが複数のノード３１１から成る複数の層を有する。

ノード３１０及びノード３１１は、畳み込みニューラルネットワークにおいて実施される処理を表している。例えば入力層３０１に含まれるノード３１０は、チャンネル方向に結合された訓練画像及び重み画像を入力する処理を表す。中間層３０２及び出力層３０３に含まれるノード３１１は、入力された値に対してある演算を実行する処理を表す。ノード間を接続するエッジ３１２は、ノードの出力値に対して重みを乗算する処理を表す。

なお、図７に示される畳み込みニューラルネットワーク３００は、概念的に示される一例に過ぎず、学習部２２２で学習される畳み込みニューラルネットワークは、図７に示したものには限定されない。例えば学習される畳み込みニューラルネットワークの中間層３０２は、図７に示される畳み込みニューラルネットワーク３００の中間層３０２よりも多くのノード及び層を含んでいてもよい。

学習部２２２は、ステップＡ４では、例えば入力層３０１にチャンネル方向に結合された訓練画像及び重み画像を入力した場合の出力層３０３の出力値と訓練画像のラベルとの差を用い、誤差伝搬法などを使用して、エッジ３１２の重みを学習する。例えば、様々な姿勢の人物の画像を訓練画像として用いることで、様々な姿勢の人物を識別するための畳み込みニューラルネットワークを学習することができる。

続いて、人物照合装置１００の動作手順を説明する。図８は、人物照合装置１００の動作手順を示す。入力部１０１は、カメラなどの入力装置から、対象人物を含む画像を取得する（ステップＣ１）。人物画像切り出し部１１０は、ステップＣ１で取得された画像から人物領域を切り出する（ステップＣ２）。人物画像切り出し部１１０は、ステップＣ２では、例えば既存の人物位置検出技術を用いて人物矩形を検出し、矩形内の画像を切り出す。

人物画像切り出し部１１０は、ステップＣ２で切り出した画像に対して、画像のサイズや形状を所定のサイズ及び形状にするための画像サイズ正規化処理を行い、人物領域画像を生成する（ステップＣ３）。人物画像切り出し部１１０は、ステップＣ３では、例えば切り出された画像を、縦横の長さが等しい正方形の画像に変換する。例えば、人物画像切り出し部１１０は、まず、切り出した画像を、長辺の長さが２５６などの一定の長さになるように拡大又は縮小する。人物画像切り出し部１１０は、次いで、切り出した画像の短辺の長さが一定の長さになるように画素値０で埋め、正方形状の人物領域画像を生成する。

重み推定部１２０は、人物画像切り出し部１１０からステップＣ３で生成された人物領域画像を取得する。重み推定部１２０は、取得した人物領域画像から重み画像を生成する（ステップＣ４）。重み推定部１２０が行う重み画像の生成は、重み画像の生成元の画像が訓練画像から人物領域画像に変わる点を除けば、図６を用いて説明した特徴学習装置２００の重み推定部２１０における重み画像の生成と同様でよい。重み推定部１２０は、ステップＣ４では、例えば複数の人体部位について、人物領域画像における人体部位の存在確率に基づいた重み画像を生成する。

特徴生成部１３０は、人物画像切り出し部１１０からステップＣ３で生成された人物領域画像を取得し、重み推定部１２０からステップＣ４で生成された重み画像を取得する。特徴生成部１３０の画像統合部１３１は、取得された人物領域画像と重み画像とをチャンネル方向に結合する（ステップＣ５）。結合された画像のチャンネル数は、例えば、人物領域画像がカラー画像であり、かつ重み推定部１２０がＪ個の重み画像を生成した場合は、３＋Ｊとなる。

特徴抽出部１３２は、画像統合部１３１から入力される、ステップＣ５でチャンネル方向に結合された人物領域画像と重み画像とを、学習済みの畳み込みニューラルネットワークに適用する（ステップＣ６）。特徴抽出部１３２は、ステップＣ６では、特徴学習装置２００を用いて図５に示される手順で学習された畳み込みニューラルネットワークに人物領域画像及び重み画像を入力する。

特徴抽出部１３２は、畳み込みニューラルネットワークの中間特徴を、照合用の特徴として抽出する（ステップＣ７）。特徴抽出部１３２は、ステップＣ７では、畳み込みニューラルネットワークの中間層３０２（図７を参照）に含まれるある層の各ノードの出力値を照合用の特徴として抽出する。特徴抽出部１３２は、例えば中間層３０２の最終段、つまり出力層３０３の１つ前の層の各ノードの出力値を、照合用の特徴として抽出する。

人物照合部１５０は、ステップＣ７で抽出された特徴と、照合特徴データベース１４０に記憶された照合特徴とを比較する（ステップＣ８）。人物照合部１５０は、ステップＣ８では、例えば照合特徴データベース１４０に記憶される照合特徴を１つずつ選択し、選択した照合特徴とステップＣ７で抽出された照合用の特徴とを比較する。

人物照合部１５０は、例えば、比較対象の２つの特徴について、ユークリッド距離などの距離、及びコサイン類似度などの類似度（角度）の少なくとも一方を計算する。人物照合部１５０は、例えばステップＣ７で抽出された照合用の特徴と照合特徴との間のユークリッド距離が所定のしきい値以下である場合は、特徴が一致すると判定する。また、人物照合部１５０は、ステップＣ７で抽出された照合用の特徴と照合特徴との間のコサイン類似度が所定の類似度以上の場合は、特徴が一致すると判定する。

人物照合部１５０は、ステップＣ７で抽出された照合用の特徴が何れかの照合特徴に一致すると判定すると、一致した照合特徴の人物を識別する情報を、比較結果として出力部１６０に通知する。人物照合部１５０は、ステップＣ７で抽出された照合用の特徴が何れの照合特徴にも一致しないと判定した場合は、その旨を出力部１６０に通知する。出力部１６０は、人物照合部１５０の比較結果（照合結果）を外部に出力する。出力部１６０は、例えばディスプレイ装置に、ステップＣ２で切り出された人物領域の画像と、人物を識別する情報とを表示する。

本実施形態では、重み推定部１２０は、人体部位の存在確率に基づいて重み画像を生成する。人物領域画像において、特定の人体部位が存在する部分は人物照合の際の特徴抽出に重要な部分であり、重み推定部１２０が生成する重み画像は、照合処理で注目すべき画像上の位置とその重要度とを示す。特徴生成部１３０は、人物領域画像と重み画像とをチャネル方向に結合して畳み込みニューラルネットワークに適用し、畳み込みニューラルネットワークの中間特徴を照合用の特徴として抽出する。

畳み込みニューラルネットワークの畳み込み処理は、各チャンネルで畳み込んだ結果を総和して次の層に出力するため、重み画像の画素値（重み）が大きい画素の人物領域画像の画素値は、以降の層での影響が大きくなる。本実施形態では、人体部位の存在確率から生成される重み画像を手がかりとして人物領域画像から特徴を抽出することで、人体部位に注目した照合に有効な特徴を抽出することができる。人物照合装置１００は、そのような特徴を用いて照合を行うことで、画像撮影時の俯角、人物の向き、姿勢、及び遮蔽状況などに依存せずに、正確な照合を行うことができる。

ここで、特許文献２では、向きの異なる人物を照合するためには、人物の向きに応じた各領域の重みを事前に定義しておく必要があった。また、特許文献３では、向きや姿勢が異なる様々な態様の対象物から特徴点を抽出するためには、様々な態様に対応した形状モデルをあらかじめ定義しておく必要があった。これに対し、本願発明では、訓練画像と重み画像とを用いて畳み込みニューラルネットワークを学習し、学習した畳み込みニューラルネットワークに人物領域画像と重み画像とを適用して特徴を抽出している。このため、人物照合装置１０は、画像中の様々な態様の人物同士を、事前に人手で定義づけしなくても、人物の照合を行うことができる。

また、特許文献１及び特許文献２では、人物が遮蔽され、或いは立位以外の姿勢を取ることは考慮されておらず、実際の環境では正確な照合ができない可能性がある。例えば、これら特許文献においてある人物の照合を行う場合に、その人物と異なる人物が前にいると、異なる人物が対象の人物を遮蔽する可能性がある。その場合、遮蔽している人物が対象の人物の一部として分割されると、結果として誤った照合結果が得られることがある。これに対し、本実施形態では、人体部位の存在確率に応じた特徴に基づいて人物照合が行われるため、実際の環境においても正しい照合結果を得ることが可能である。

続いて、第２実施形態を説明する。図９は、第２実施形態に係る人物照合装置を示す。本実施形態に係る人物照合装置１００ａは、特徴生成部１３０ａの構成が、図３に示す第１実施形態に係る人物照合装置１００と相違する。本実施形態において、特徴生成部１３０ａは、画像特徴抽出部１３３と重み適用部１３４とを有する。本実施形態において、特徴生成部１３０ａは、重み画像の情報を、抽出した照合用の特徴に対するマスクとして適用する。その他の点は、第１実施形態と同様でよい。

画像特徴抽出部１３３は、人物領域画像から所定の画像特徴を計算する。画像特徴抽出部１３３は、例えば、色ヒストグラム特徴、勾配ヒストグラム特徴、及びそれらを組み合わせたものなど、画像内の特徴を頻度で表現した特徴を、所定の画像特徴として計算する。画像特徴抽出部１３３は、例えば、Ｎを２以上の整数として、人物領域画像の各画素を、色又は勾配などに応じてＮ個の区間（ビン）に分類した画像特徴を計算する。

重み適用部１３４は、画像特徴抽出部１３３で計算された画像特徴の頻度に対して、各人体部位の重み画像に基づいて重み付けした特徴を算出する。重み適用部１３４は、例えば、ｎを１からＮまでの整数として、下記式を用いて、人体部位ｊの重み画像を用いて重み付けされた特徴のｎ番目のビンの値ｂ_ｊｎを算出する。

上記式２において、ｗ_ｊｘｙは、人体部位ｊの画素（ｘ，ｙ）における重みを表す。ε_ｎｘｙは、人物領域画像の画素（ｘ，ｙ）がｎ番目のビンに投票されているか否かを示す。ε_ｎｘｙの値は、画素がｎ番目のビンに投票されている場合は１で、それ以外の場合は０である。

重み適用部１３４は、各人体部位の重み画像に基づいて重み付けした特徴に基づいて照合用の特徴を生成する。重み適用部１３４は、例えば各人体部位の重み画像に基づいて重み付けした特徴をつなぎ合わせることで、照合用の特徴を生成する。その際、重み適用部１３４は、各人体部位の重み画像に基づいて重み付けした特徴に、人体部位ごとに定義した係数を乗算してつなぎ合わせることで、照合用の特徴を生成してもよい。あるいは、重み適用部１３４は、各人体部位の重み画像に基づいて重み付けした特徴の最大値を取ることで、又は平均値を取ることで、照合用の特徴を生成してもよい。

図１０は、本実施形態に係る人物照合装置１００ａの動作手順を示す。入力部１０１は、カメラなどの入力装置から、対象人物を含む画像を取得する（ステップＤ１）。人物画像切り出し部１１０は、ステップＤ１で取得された画像から人物領域を切り出する（ステップＤ２）。人物画像切り出し部１１０は、ステップＤ２で切り出した画像に対して、画像のサイズや形状を所定のサイズ及び形状にするための画像サイズ正規化処理を行い、人物領域画像を生成する（ステップＤ３）。重み推定部１２０は、人物画像切り出し部１１０からステップＤ３で生成された人物領域画像から重み画像を生成する（ステップＤ４）。ステップＤ１からＤ４は、図８のステップＣ１からＣ４と同様でよい。

特徴生成部１３０の画像特徴抽出部１３３は、ステップＤ３で生成された人物領域画像から、照合のための画像特徴を抽出する（ステップＤ５）。画像特徴抽出部１３３は、ステップＤ４では、例えば色ヒストグラムや勾配ヒストグラムなどの、各画素から算出した値を頻度で表現することで得られる特徴を、画像特徴として抽出する。重み適用部１３４は、ステップＤ４で生成された重み画像を用いて、ステップＤ５で抽出された画像特徴に対する重み付けを行う（ステップＤ６）。重み適用部１３４は、例えば上記式２を用いて、人体部位１からＪについて、各人体部位の重み画像を用いて重み付けされる特徴のｎ番目のビンの値ｂ_ｊｎを算出する。

重み適用部１３４は、重み付けされた画像特徴を人体部位ごとに統合することで、照合用の特徴を生成する（ステップＤ７）。重み適用部１３４は、例えばステップＤ６で算出された、人体部位１からＪの重み画像を用いて重み付けされるｎ番目のビンの値ｂ_１ｎ〜ｂ_Ｊｎを１次元ベクトルとしてつなぎ合わせた特徴を、照合用の特徴として生成する。その場合、照合用の特徴の次元数は、画像特徴抽出部１３３が抽出した画像特徴の次元数のＪ倍となる。

本実施形態では、照合特徴データベース１４０は、特徴生成部１３０ａが照合用の特徴を生成する手順と同様な手順で生成された特徴を照合特徴として記憶する。人物照合部１５０は、ステップＤ７で抽出された特徴と、照合特徴データベース１４０に記憶された照合特徴とを比較する（ステップＤ８）。人物照合部１５０は、例えばステップＤ７で抽出された照合用の特徴と照合特徴との間のユークリッド距離が所定のしきい値以下である場合は、特徴が一致すると判定する。また、人物照合部１５０は、ステップＤ７で抽出された照合用の特徴と照合特徴との間のコサイン類似度が所定の類似度以上の場合は、特徴が一致すると判定する。出力部１６０は、人物照合部１５０の比較結果（照合結果）を外部に出力する。ステップＤ８は、照合される特徴が重み画像を用いて重み付けされた画像特徴となる点を除けば、図８のステップＣ８で同様でよい。

本実施形態では、特徴生成部１３０ａは、人体部位の存在確率に基づいて生成された重み画像を用いて、画像内の特徴を頻度で表現した画像特徴を重み付けする。本実施形態では、人体部位の存在確率から生成される重み画像を手がかりとして人物領域画から抽出される画像特徴を重み付けすることで、人体部位に由来する成分が多く含まれる画像特徴を生成することができる。人物照合装置１００ａは、そのような画像特徴を用いて人物の照合を行うことで、第１実施形態と同様に、画像撮影時の俯角、人物の向き、姿勢、及び遮蔽状況などに依存せずに、正確な照合を行うことができる。その他の効果も第１実施形態と同様である。

なお、第１実施形態において、照合特徴データベース１４０に記憶される照合特徴は、事前に用意された人物画像に基づいて生成されることを説明したが、これには限定されない。例えば、人物照合装置１００のオペレータなどが、ある時刻で人物画像切り出し部１１０が生成した人物領域画像の人物を、以後の時刻における照合対象として登録する旨を指示した場合、その人物の照合特徴を照合特徴データベース１４０に登録してもよい。具体的には、特徴生成部１３０が、その人物の人物領域画像、及び人物領域画像から生成される重み画像に基づいて生成した照合用の特徴を、照合特徴データベース１４０に登録し、登録された照合特徴を以降の照合に使用してもよい。第２実施形態についても同様に、特徴生成部１３０ａが生成した照合用の特徴を、照合特徴データベース１４０に登録してもよい。

また、第１実施形態では、特徴生成部１３０が、特徴学習装置２００（図４を参照）を用いて学習された畳み込みニューラルネットワークから照合用の特徴を抽出する例について説明したが、これには限定されない。例えば、特徴学習装置２００において、畳み込みニューラルネットワークとは異なる、人物の識別が可能な他のモデルを学習し、特徴生成部１３０が、そのモデルを用いて照合用の特徴を生成することとしてもよい。

上記各実施形態において、コンピュータを人物照合装置１００及び／又は特徴学習装置２００として動作させるプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する重み推定手段と、
前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する特徴生成手段と、
前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する人物照合手段とを備える人物照合装置。

［付記２］
前記重み推定手段は、
前記人物画像の各画素に対し、前記人体部位の存在確率を推定する部位存在確率推定手段と、
前記推定された存在確率に基づいて、前記重みを表す重み画像を生成する重み画像生成手段と有する付記１に記載の人物照合装置。

［付記３］
前記部位存在確率推定手段は、複数の人体部位のそれぞれについて前記人体部位の存在確率を推定し、前記重み画像生成手段は、複数の人体部位のそれぞれに対して前記重み画像を生成する付記２に記載の人物照合装置。

［付記４］
前記重み画像生成手段は、前記複数の人体部位の存在確率の最大値と最小値とを用いて、各人体部位について推定された存在確率を正規化し、該正規化した存在確率に基づいて前記重み画像を生成する付記３に記載の人物照合装置。

［付記５］
前記重み画像生成手段は、Ｊを前記人体部位の存在確率を推定する人体部位の数、ｊを１からＪまでの整数、ｘ及びｙを前記人物画像における画素の位置、ｍａｘ（Ｐ）を前記複数の人体部位の存在確率の最大値、ｍｉｎ（Ｐ）を前記複数の人体部位の存在確率の最小値として、ｊ番目の人体部位の画像中の位置（ｘ，ｙ）における重みｗ_ｊｘｙを、下記式、

を用いて算出する付記３又は４に記載の人物照合装置。

［付記６］
前記特徴生成手段は、前記人物画像及び前記重み画像を畳み込みニューラルネットワークに適用し、前記照合用の特徴を生成する付記２から５何れか１つに記載の人物照合装置。

［付記７］
前記特徴生成手段は、前記畳み込みニューラルネットワークの中間特徴を、前記照合用の特徴として抽出する付記６に記載の人物照合装置。

［付記８］
前記畳み込みニューラルネットワークは、それぞれが複数のノードを含む入力層、中間層、及び出力層を有し、
前記特徴生成手段は、前記出力層の１つ前の層の各ノードの出力値を前記照合用の特徴として抽出する付記６又は７に記載の人物照合装置。

［付記９］
前記畳み込みニューラルネットワークは学習装置で学習される付記６から８何れか１つに記載の人物照合装置。

［付記１０］
前記学習装置は、含まれる人物を示すラベルが付与された訓練画像と、該訓練画像から生成された前記重み画像とを前記畳み込みニューラルネットワークに適用し、該畳み込みニューラルネットワークの出力が前記ラベルとなるように前記畳み込みニューラルネットワークを学習する付記９に記載の人物照合装置。

［付記１１］
前記特徴生成手段は、前記人物画像から抽出された画像特徴を前記重み画像を用いて重み付けした特徴を、前記照合用の特徴として抽出する付記２から５何れか１つに記載の人物照合装置。

［付記１２］
前記特徴生成手段は、
前記人物画像から前記画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段が抽出した画像特徴に前記重み画像の重みを適用し、前記照合用の特徴を生成する重み適用手段とを有する付記１１に記載の人物照合装置。

［付記１３］
前記画像特徴抽出手段は、前記人物画像の各画素から算出した値を頻度で表現することで得られる特徴を前記画像特徴として抽出する付記１２に記載の人物照合装置。

［付記１４］
前記画像特徴抽出手段は、色ヒストグラム特徴、勾配ヒストグラム特徴、及び、色ヒストグラム特徴と勾配ヒストグラム特徴とを組み合わせた特徴の少なくとも１つを前記画像特徴として抽出する付記１３に記載の人物照合装置。

［付記１５］
前記画像特徴抽出手段は、Ｎを２以上の整数として、前記人物画像の各画素をＮ個のビンに分類することで画像特徴を抽出し、
前記重み適用手段は、Ｊを前記人体部位の存在確率を推定する人体部位の数、ｊを１からＪまでの整数、ｘ及びｙを前記人物画像における画素の位置、ｎを１からＮまでの整数、ｗ_ｊｘｙを、人体部位ｊの画素（ｘ，ｙ）における重み、ε_ｎｘｙは、人物領域画像の画素（ｘ，ｙ）がｎ番目のビンに投票されている場合は１で、ｎ番目のビンに投票されていない場合は０となる値として、人体部位ｊの重み画像を用いて重み付けされたｎ番目のビンの値ｂ_ｊｎを、下記式、

を用いて算出する付記１３又は１４に記載の人物照合装置。

［付記１６］
前記重み適用手段は、人体部位１からＪの重み画像を用いて重み付けされたｎ番目のビンの値ｂ_１ｎからｂ_Ｊｎを統合することで、前記照合用の特徴を生成する付記１５に記載の人物照合装置。

［付記１７］
前記重み適用手段は、前記ｎ番目のビンの値ｂ_１ｎからｂ_Ｊｎを１次元ベクトルとしてつなぎ合わせ、前記ｎ番目のビンの値ｂ_１ｎからｂ_Ｊｎの最大値若しくは最小値を取り、又は、前記ｎ番目のビンの値ｂ_１ｎからｂ_Ｊｎを人体部位ｊに応じた係数を用いてつなぎ合わせることで、前記ｎ番目のビンの値ｂ_１ｎからｂ_Ｊｎを統合する付記１６に記載の人物照合装置。

［付記１８］
人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定し、
前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成し、
前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較し、
前記比較の結果を出力する人物照合方法。

［付記１９］
前記重み推定の推定では、
前記人物画像の各画素に対して前記人体部位の存在確率を推定し、
前記推定された存在確率に基づいて、前記重みを表す重み画像を生成する付記１８に記載の人物照合方法。

［付記２０］
コンピュータに、
人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する処理と、
前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する処理と、
前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する処理と、
前記比較の結果を出力する処理とを実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

［付記２１］
前記重みを推定する処理は、
前記人物画像の各画素に対して前記人体部位の存在確率を推定する処理と、
前記推定された存在確率に基づいて、前記重みを表す重み画像を生成する処理とを含む付記２０に記載の非一時的なコンピュータ可読媒体。

この出願は、２０１７年１２月８日に出願された日本出願特願２０１７−２３６３０４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０、１００：人物照合装置
１１：重み推定手段
１２：特徴生成手段
１３：照合特徴記憶手段
１４：人物照合手段
１０１：入力部
１１０：人物画像切り出し部
１２０、２１０：重み推定部
１２１、２１１：部位存在確率推定部
１２２、２１２：重み画像生成部
１３０：特徴生成部
１３１、２２１：画像統合部
１３２：特徴抽出部
１３３：画像特徴抽出部
１３４：重み適用部
１４０：照合特徴ＤＢ
１５０：人物照合部
１６０：出力部
２００：特徴学習装置
２２０：特徴学習部
２２２：学習部
２３０：訓練画像ＤＢ
３００：畳み込みニューラルネットワーク
３０１：入力層
３０２：中間層
３０３：出力層
３１０、３１１：ノード
３１２：エッジ

Claims (10)

1. 人物が含まれる人物画像に対し、人体部位の存在確率を推定する部位存在確率推定手段と、
   前記推定された存在確率に基づいて、重みを表す重み画像を生成する重み画像生成手段と、
   前記人物画像及び前記重み画像を畳み込みニューラルネットワークに適用し、照合用の特徴を生成する特徴生成手段と、
   前記生成された照合用の特徴と、記憶された照合特徴とを比較する人物照合手段とを備える人物照合装置。
2. 前記部位存在確率推定手段は、複数の人体部位のそれぞれについて前記人体部位の存在確率を推定し、前記重み画像生成手段は、複数の人体部位のそれぞれに対して前記重み画像を生成する請求項１に記載の人物照合装置。
3. 前記重み画像生成手段は、前記複数の人体部位の存在確率の最大値と最小値とを用いて、各人体部位について推定された存在確率を正規化し、該正規化した存在確率に基づいて前記重み画像を生成する請求項２に記載の人物照合装置。
4. 前記特徴生成手段は、前記畳み込みニューラルネットワークの中間特徴を、前記照合用の特徴として抽出する請求項１乃至３のいずれか１つに記載の人物照合装置。
5. 前記畳み込みニューラルネットワークは、それぞれが複数のノードを含む入力層、中間層、及び出力層を有し、
   前記特徴生成手段は、前記出力層の１つ前の層の各ノードの出力値を前記照合用の特徴として抽出する請求項１乃至４のいずれか１つに記載の人物照合装置。
6. 前記畳み込みニューラルネットワークは学習装置で学習される請求項１乃至５のいずれか１つに記載の人物照合装置。
7. 前記学習装置は、含まれる人物を示すラベルが付与された訓練画像と、該訓練画像から生成された前記重み画像とを前記畳み込みニューラルネットワークに適用し、該畳み込みニューラルネットワークの出力が前記ラベルとなるように前記畳み込みニューラルネットワークを学習する請求項６に記載の人物照合装置。
8. 前記特徴生成手段は、前記人物画像から抽出された画像特徴を前記重み画像を用いて重み付けした特徴を、前記照合用の特徴として抽出する請求項１乃至７のいずれか１つに記載の人物照合装置。
9. 人物が含まれる人物画像に対し、人体部位の存在確率を推定し、
   前記推定された存在確率に基づいて、重みを表す重み画像を生成し、
   前記人物画像及び前記重み画像を畳み込みニューラルネットワークに適用し、照合用の特徴を生成し、
   前記生成された照合用の特徴と、記憶された照合特徴とを比較する人物照合方法。
10. 人物が含まれる人物画像に対し、人体部位の存在確率を推定し、
    前記推定された存在確率に基づいて、重みを表す重み画像を生成し、
    前記人物画像及び前記重み画像を畳み込みニューラルネットワークに適用し、照合用の特徴を生成し、
    前記生成された照合用の特徴と、記憶された照合特徴とを比較する処理をコンピュータに実行させるためのプログラム。

Images