JP2019040592A - 情報処理装置、情報処理プログラム、及び、情報処理方法 - Google Patents

Abstract

【課題】ある画像に含まれる人物像と、他の画像に含まれる人物像との同一性の判定を、より効率的に、且つ、より高精度に行う。
【解決手段】器官点検出部２６は、第１画像４０に含まれる第１人物像Ａに関する複数の第１器官点、及び、第２画像４２に含まれる第２人物像Ｂ及びＣに関する複数の第２器官点を検出する。同一性判定部２８は、第１人物像Ａの複数の第１器官点に対応する画素の色情報と、第２人物像Ｂ及びＣの複数の第２器官点に対応する画素の色情報それぞれとの色差を算出し、算出した色差に基づいて、第１人物像Ａと第２人物像Ｂとの間の色の類似度、及び、第１人物像Ａと第２人物像Ｃとの間の色の類似度を算出する。同一性判定部２８は、算出された色の類似度に基づいて、第１人物像Ａと、第２人物像Ｂ及びＣとの同一性の判定を行う。
【選択図】図２

Description

本発明は、情報処理装置、情報処理プログラム、及び、情報処理方法に関する。

例えば防犯やマーケティングなど、様々な目的のために、ある画像に含まれる人物像と、他の画像に含まれる人物像との同一性（両人物像が同一人物に対応するものであるか否か）を判定するニーズがある。

従来、このようなニーズに応じて、人物像の同一性を判定する技術が提案されている。例えば、非特許文献１には、画像から人物像の部分を切り出し、切り出した画像を幾つかの領域に分割し、領域毎の色のヒストグラムを求め、２つの画像における各人物像に対応する各領域のヒストグラム同士の比較に基づいて、人物像の同一性を判定する技術が開示されている。

一方、非特許文献２には、人物像の同一性を判定するための技術ではないが、OpenPoseと呼ばれる、画像内の人物像のポーズ（姿勢）を検出する技術が開示されている。OpenPoseにおいては、画像に含まれる１又は複数の人物像の複数の器官点（鼻、首、左肩、左肘、左手、右肩、右肘、右手、左腰、左膝、左足、右腰、右足、左眼、右眼、左耳、右耳の１８箇所）を検出し、且つ、各人物像に対応する各器官点の関係を識別した上で、各人物像のポーズ（姿勢）を検出している。

Liang Zheng, Liyue Shen, Lu Tian, Shengjin Wang, Jingdong Wang, Qi Tian, 「Scalable Person Re-identification : A Benchmark」, The Fourteenth IEEE International Conference on Computer Vision (ICCV15). Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, 「Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields」, arXiv:1611.08050v2.

例えば非特許文献１に記載のような、各領域の色のヒストグラムに基づく同一性の判定においては、人物像の背景の色まで考慮されてしまうために、同一性の判定の精度に改善の余地があった。一方、非特許文献２においては、各画像における各人物のポーズの検出を実行しているものの、ある画像の人物像と他の画像の人物像との同一性を判定することには言及していない。

本発明の目的は、ある画像に含まれる人物像と、他の画像に含まれる人物像との同一性の判定を、より効率的に、且つ、より高精度に行うことにある。

本発明は、第１画像に含まれる第１人物像に関する複数の第１器官点、及び、第２画像に含まれる第２人物像に関する複数の第２器官点を検出する器官点検出部と、前記第１画像における前記複数の第１器官点に対応する画素の色情報と、前記第２画像における前記複数の第２器官点に対応する画素の色情報との比較に基づいて、前記第１人物像と前記第２人物像の同一性を判定する同一性判定部と、を備えることを特徴とする情報処理装置である。

望ましくは、前記第１画像及び前記第２画像は、同一視野において異なるタイミングで撮像された複数の撮像画像から選択されたものであり、前記第１画像における前記第１人物像の位置と、前記第１画像の前に撮像された撮像画像における前記第１人物像と同一人物を表す人物像の位置とに基づいて、前記第１画像の後に撮像された前記第２画像において、前記第１人物像と同一人物を表す人物像が存在する位置の尤度分布を算出する位置尤度分布算出部と、をさらに備え、前記同一性判定部は、さらに、前記第２器官点の位置と前記尤度分布とに基づいて、前記第１人物像と前記第２人物像の同一性を判定する、ことを特徴とする。

望ましくは、前記位置尤度分布算出部は、前記第１画像における前記第１人物像の首に対応する第１器官点の位置と、前記第１画像の前に撮像された撮像画像における前記第１人物像と同一人物を表す人物像の首に対応する器官点の位置とに基づいて、前記位置の尤度分布を算出し、前記同一性判定部は、前記複数の第２器官点のうち、前記第２人物像の首に対応する第２器官点の位置と前記尤度分布とに基づいて、前記第１人物像と前記第２人物像の同一性を判定する、ことを特徴とする。

望ましくは、前記第１画像及び前記第２画像は、同一のカメラで撮影された動画に含まれるフレーム画像であり、前記器官点検出部及び前記同一性判定部は、前記動画の再生に伴ってリアルタイムに処理を実行する、ことを特徴とする。

また、本発明は、コンピュータを、第１画像に含まれる第１人物像に関する複数の第１器官点、及び、第２画像に含まれる第２人物像に関する複数の第２器官点を検出する器官点検出部と、前記第１画像における前記複数の第１器官点に対応する画素の色情報と、前記第２画像における前記複数の第２器官点に対応する画素の色情報との比較に基づいて、前記第１人物像と前記第２人物像の同一性を判定する同一性判定部と、として機能させることを特徴とする情報処理プログラムである。

また、本発明は、コンピュータが、第１画像に含まれる第１人物像に関する複数の第１器官点、及び、第２画像に含まれる第２人物像に関する複数の第２器官点を検出する器官点検出ステップと、コンピュータが、前記第１画像における前記複数の第１器官点に対応する画素の色情報と、前記第２画像における前記複数の第２器官点に対応する画素の色情報との比較に基づいて、前記第１人物像と前記第２人物像の同一性を判定する同一性判定ステップと、を含むことを特徴とする情報処理方法である。

本発明によれば、ある画像に含まれる人物像と、他の画像に含まれる人物像との同一性の判定を、より効率的に、且つ、より高精度に行うことができる。

本実施形態に係る情報処理システムの構成概略図である。 本実施形態に係るサーバの構成概略図である。 画像から人物像の複数の器官点が検出される様子を示す概念図である。 各人物像間において、対応する器官点同士の画素特徴量が比較される様子を示す概念図である。 各器官点同士の色差及び類似度の例を示す図である。 第１人物像Ａの位置の尤度分布を示す概念図である。 第１人物像Ａに対する、第２人物像Ｂ及び第２人物像Ｃの色の類似度、位置の尤度、及び総合尤度を示す図である。 本実施形態に係るサーバの処理の流れを示すフローチャートである。

以下、本発明の実施形態について説明する。

図１には、本実施形態に係る情報処理システム１０の構成概略図が示されている。情報処理システム１０は、カメラ１２と、ユーザ端末１４と、情報処理装置としてのサーバ１６とを含んで構成される。カメラ１２とサーバ１６との間、及び、ユーザ端末１４とサーバ１６との間は、ＬＡＮあるいはインターネットなどの通信回線１８を介して通信可能に接続されている。

カメラ１２は、例えば防犯カメラあるいは監視カメラである。カメラ１２は、例えば街中や店内の様子を撮影する。本実施形態においては、カメラ１２は固定されており、一定の視野の画像を取得する。また、カメラ１２は、本実施形態においてはビデオカメラであって動画を撮影するものとするが、間欠的に静止画を取得するものであってもよい。カメラ１２によって撮像された撮像画像は、通信回線１８を介してサーバ１６に送られる。

ユーザ端末１４は、ユーザ（サーバ１６で実行される２つの画像間における人物像の同一性の判定処理の結果を確認する者）が利用する端末である。ユーザ端末１４は、例えばパーソナルコンピュータやタブレット端末などであってよい。ユーザ端末１４は、ＣＰＵ（Central Processing Unit）などの処理部、ハードディスク、ＲＯＭ（Read Only Memory）あるいはＲＡＭ（Random Access Memory）などの記憶部、液晶パネルなどの表示部、マウス、キーボード、タッチパネルなどの入力部、ネットワークアダプタなどの通信部などを含んで構成される。ユーザ端末１４は、サーバ１６にアクセスすることによって、サーバ１６における人物像の同一性の判定処理の結果を受信することができる。

図２に、サーバ１６の構成概略図が示されている。本実施形態においては、サーバ１６はコンピュータによって構成されるが、情報処理装置としては、以下に示す機能を有する限りにおいて、どのような装置であってもよい。

通信部２０は、例えばネットワークアダプタなどから構成される。通信部２０は、通信回線１８を介して、カメラ１２及びユーザ端末１４と通信する機能を発揮する。具体的には、通信部２０は、カメラ１２から撮像画像を受信する。また、通信部２０は、ユーザ端末１４からの要求に応じて、後述の制御部２４による人物像の同一性の判定処理結果をユーザ端末１４に送信する。サーバ１６を介した情報の流れとしては、まずカメラ１２から撮像画像がサーバ１６へ送信され、当該撮像画像に対する処理の結果がサーバ１６からユーザ端末１４へ送信される流れとなる。

記憶部２２は、例えばＲＯＭ、ＲＡＭあるいはハードディスクなどから構成される。記憶部２２には、サーバ１６の各部を動作させるための情報処理プログラムが記憶される。また、記憶部２２には、カメラ１２から送信されてくる撮像画像が記憶される。

制御部２４は、例えばＣＰＵ、マイクロコントローラ、あるいは画像処理用の専用ＩＣなどを含んで構成される。制御部２４は、記憶部２２に記憶された情報処理プログラムに従ってサーバ１６の各部を制御する。また、図２に示される通り、制御部２４は、器官点検出部２６、同一性判定部２８、及び、位置尤度分布算出部３０としても機能する。

器官点検出部２６、同一性判定部２８、及び、位置尤度分布算出部３０により、人物像の同一性の判定処理が実現される。本実施形態では、制御部２４は、カメラ１２から送信され記憶部２２に記憶された撮像画像（動画像）から２つのフレーム画像を選択し、選択した一方のフレーム画像を第１画像とし、他方のフレーム画像を第２画像とする。すなわち、第１画像及び第２画像は、同一視野において異なるタイミングで撮像された画像であると言える。器官点検出部２６、同一性判定部２８、及び、位置尤度分布算出部３０は、当該第１画像及び第２画像に対して処理を行う。なお、第１画像及び第２画像には人物像が含まれているものとする。

器官点検出部２６は、第１画像に対して画像処理を施すことにより、第１画像に含まれる第１人物像に関する複数の第１器官点を検出する。同様に、器官点検出部２６は、第２画像に含まれる第２人物像に関する複数の第２器官点を検出する。第１画像あるいは第２画像に複数の人物像が含まれている場合には、器官点検出部２６は、各画像における複数の人物像に関する複数の器官点を検出する。人物像における複数の器官点の検出の具体的な方法としては、非特許文献２に記載されているOpenPoseの技術を適用することができる。もちろん、人物像における複数の器官点が検出できる限りにおいて、OpenPose以外の技術を用いるようにしてもよい。

図３（ａ）には第１画像４０の例が、図３（ｂ）には第２画像４２の例が示されている。本実施形態においては、第１画像４０には１つの第１人物像Ａが含まれているものとし、第２画像４２には２つの第２人物像Ｂ及びＣが含まれているものとする。

図３（ａ）を参照して、第１画像４０において、第１人物像Ａに関する複数の第１器官点４４Ａが検出されている。本実施形態においては、器官点検出部２６は、人物像の器官点として、鼻、首、左肩、左肘、左手、右肩、右肘、右手、左腰、左膝、左足、右腰、右足、左眼、右眼、左耳、右耳の１８箇所を検出する。なお、器官点検出部２６は、人物像のどの部位（鼻、首など）に対応するものであるかを識別した上で各器官点を検出する。また、本実施形態では、器官点検出部２６は、第１画像４０の１つの画素の位置（座標）を各器官点の位置として検出する。なお、第１画像４０に複数の第１人物像が含まれる場合には、器官点検出部２６は、各第１人物像に関する複数の器官点を検出する。

図３（ｂ）を参照して、第２画像４２においても、第１画像４０と同様に、第２人物像Ｂに関する複数の第２器官点４４Ｂが検出されている。また、第２人物像Ｃに関する複数の第２器官点４４Ｃが検出されている。

図２に戻り、同一性判定部２８は、まず、器官点検出部２６が検出した第１人物像Ａに関する複数の第１器官点に対応する各画素の色情報と、第２人物像Ｂ及びＣに関する複数の第２器官点に対応する各画素の色情報とを取得する。なお、色情報とは、色相、明度（輝度）、及び彩度を含む概念である。

上述のように、器官点検出部２６は、各器官点の位置を第１画像４０あるいは第２画像４２の１つの画素の位置として検出しているところ、本実施形態では、同一性判定部２８は、器官点検出部２６により検出された１つの画素を中心とする一定の面積を持った領域を各器官点に対応する画素（画素領域）とする。具体的には、各器官点に対応する画素領域は、１０（pixel）×１０（pixel）の大きさを持つものとしている。また、画像中の人物像の大きさに応じて、画素領域の面積を変化させるようにしてもよい。例えば、画像中の人物像が大きい程、画素領域の面積を大きくするようにしてもよい。

本実施形態では、同一性判定部２８は、器官点に対応する画素領域に含まれる各画素の色をL*a*b*色空間で表現した上で、各画素の色の代表値（例えば平均値、中央値、最頻値）を求める。そして、求めた色の代表値を当該器官点の画素（領域）の色情報とする。なお、各画素の色をL*a*b*色空間で表現するのは、L*a*b*色空間が人間の視覚に近似するように設計されているためである。

なお、各器官点の画素の色情報として上記以外の特徴量を採用してもよい。例えば、色情報として、器官点に対応する画素領域のHOG（Histograms of Oriented Gradients）特徴量を算出するようにしてもよい。ここで、HOG特徴量とは、画素領域における各画素の輝度の勾配方向をヒストグラム化した特徴量である。

以上のようにして、第１画像４０に含まれる第１人物像Ａの各第１器官点に対応する画素の色情報、及び、第２画像に含まれる第２人物像Ｂ及びＣの各第２器官点に対応する画素の色情報が取得される。

次いで、同一性判定部２８は、第１人物像Ａの複数の第１器官点に対応する画素の色情報と、第２人物像Ｂの複数の第２器官点に対応する画素の色情報とを比較し、また、第１人物像Ａの複数の第１器官点に対応する画素の色情報と、第２人物像Ｃの複数の第２器官点に対応する画素の色情報とを比較することで、第１人物像Ａと、第２人物像Ｂ及びＣとの同一性を判定する。

具体的には、第１人物像Ａの第１器官点４４Ａと、それに対応する部位の第２人物像Ｂ及びＣの第２器官点４４Ｂ及び４４Ｃとの画素の色情報の差分（色差）を算出する。図４に、第１画像４０における第１人物像Ａの顔部分の拡大図、第２画像４２における第２人物像Ｂの顔部分の拡大図、及び、第２画像４２における第２人物像Ｃの顔部分の拡大図が示されている。図４に示す通り、例えば、第１人物像Ａの鼻に対応する画素の色情報と、第２人物像Ｂの鼻に対応する画素の色情報との色差を算出し、その他の部位（器官点）についても同様に色差を算出する。同様に、第１人物像Ａの鼻に対応する画素の色情報と、第２人物像Ｃの鼻に対応する画素の色情報との色差を算出し、その他の部位（器官点）についても同様に色差を算出する。

本実施形態では、ＣＩＥ２０００色差式により、各器官点の画素の色情報の色差を算出する。これは、ＣＩＥ２０００色差式は、人間の目の色識別域の特徴である、色相依存性、明度依存性、及び彩度依存性を考慮した計算式であるためである。すなわち、ＣＩＥ２０００色差式に基づく色差は、人間の視覚による色の差に近い値となるためである。

図５に、第１人物像Ａの各第１器官点の画素の色情報と、第２人物像Ｂの各第２器官点の画素の色情報との差（色差）が示されている。図５に示されるように、器官点毎に色差が算出される。同一性判定部２８は、算出された色差に基づいて、器官点毎に類似度を算出する。具体的には、同一性判定部２８は、色差が小さい程類似度が大きくなるように算出する。本実施形態では、以下の式によって色差から類似度を算出する。

ここで、ｄは色差であり、α及びβは定数である。α及びβを適宜設定することにより、色差の値に対する類似度の値を調整することができる。

図５には、器官点毎に算出された類似度が示されている。このようにして、第１人物像Ａと第２人物像Ｂとの間において、複数の（本実施形態では１８個）器官点についての複数の類似度が算出される。同一性判定部２８は、算出された複数の類似度の代表値（例えば平均値、中央値、最頻値）を求める。このように求められた類似度の代表値が第１人物像Ａと第２人物像Ｂとの類似度となる。なお、第１画像４０又は第２画像４２における見切れ、あるいは隠れなどにより、第１人物像Ａ又は第２人物像Ｂの複数の器官点のうち器官点検出部２６により検出されなかった器官点がある場合には、当該器官点に関する類似度は予め定められた値とする。本実施形態では、図３（ｂ）及び図５に示す通り、第２人物像Ｂの左腰の器官点が検出されていないため、第１人物像Ａと第２人物像Ｂとの間における左腰に関する類似度を予め定められた値である５０％としている。

同様にして、同一性判定部２８は、第１人物像Ａと第２人物像Ｃとの類似度を算出する。第１画像４０に複数の第１人物像が含まれている場合には、同一性判定部２８は、各第１人物像と各第２人物像とのそれぞれの類似度を算出する。

同一性判定部２８は、複数の第２人物像のうち、予め定められた類似度閾値以下の第２人物像を、第１人物像Ａと同一人物の像ではないと判定する。その上で、複数の第２人物像が残った場合（複数の第２人物像の類似度が類似度閾値よりも大きかった場合）、そのうち最も類似度が大きかった第２人物像を第１人物像Ａと同一人物の像であると判定する。なお、全ての第２人物像の類似度が類似度閾値以下であった場合、同一性判定部２８は、第２画像４２には第１人物像Ａと同一人物の像が含まれていないと判定する。また、第１画像４０に複数の第１人物像が含まれている場合には、同一性判定部２８は、各第１人物像について、上記の同一性判定処理を行う。

なお、同一性判定部２８の同一性判定処理の後、ユーザ端末１４からの要求に応じて、サーバ１６は、第１人物像Ａと、第２人物像Ｂ及びＣとの同一性の判定結果をユーザ端末１４に送信する。それにより、ユーザ端末１４の表示部に、同一性の判定結果が表示され、ユーザは同一性の判定結果を確認することができる。

以上のようにして、第１画像４０と第２画像４２との間において、第１人物像と第２人物像の同一性が判定される。好適には、カメラ１２が撮像した動画に含まれる、隣接するフレーム画像間毎に上記処理を行うことによって、動画像において同一人物をトラッキングすることができる。

本実施形態では、第１人物像の各器官点と第２人物像の各器官点を検出し、検出された各器官点を両人物像の画素の比較ポイントとして用いている。対応する各器官点毎に類似度を算出することで、人物像間における類似度算出の精度が向上するだけでなく、人物像全体を比較する場合に比して類似度算出のための演算量が低減されることとなる。つまり、より効率的に両人物像の同一性を判定することができる。

また、本実施形態によれば、第１画像４０における第１人物像の位置と、当該第１人物像と同一人物を表す第２画像４２における第２人物像の位置とが離れていたとしても、好適に両人物像が同一人物の像である、と判定することができる。したがって、動画のフレームレートが小さかったとしても（例えば２ＦＰＳ（Frames Per Second）程度であっても）好適に両人物像の同一性の判定（つまりトラッキング）が可能となっている。この点、動画のフレームレートが高いことが要求される従来のトラッキング技術（例えば粒子フィルタなど）に対して、本実施形態が優れている点である。このように、本実施形態においては、同一性の判定に高フレームレートが要求されない（すなわち第２画像４２は、第１画像４０の０．５秒程度後のフレーム画像であってもよい）ことから、１回の同一性判定処理に多少時間がかかったとしても、動画の再生に伴ってリアルタイムに第１人物像と第２人物像の同一性を判定することも可能となっている。

第１画像４０及び第２画像４２が、同一視野において異なるタイミングで撮像された複数の撮像画像から選択されたものである場合（例えば第１画像４０及び第２画像４２がカメラ１２が撮像した動画に含まれるフレーム画像である場合）において、好適には、同一性判定部２８は、位置尤度分布算出部３０の演算結果をさらに考慮することにより、より高精度に両人物像の同一性を判定することができる。

位置尤度分布算出部３０は、第１画像４０における第１人物像Ａの位置と、第１画像４０の前に撮像された１又は複数の撮像画像における第１人物像Ａと同一人物を表す人物像の位置とに基づいて、第１画像４０の後に撮像された第２画像４２において、第１人物像Ａと同一人物を表す人物像が存在する位置の尤度分布を算出する。

図６を参照して詳細に説明する。図６（ａ）には、図３と同様の第１画像４０が示されている。図６（ａ）には、さらに、第１画像４０の直前のフレーム画像Ａ’における第１人物像Ａと同一人物を表す人物像Ａ’の位置、及び、第１画像４０の２つ前のフレーム画像Ａ’’における第１人物像Ａと同一人物を表す人物像Ａ’’の位置が示されている。なお、フレーム画像Ａ’’における人物像Ａ’’、フレーム画像Ａ’における人物像Ａ’、及び第１画像４０における第１人物像Ａとの同一性は、同一性判定部２８の上述の処理により判定される。

本実施形態では、図６（ａ）に示される通り、人物像Ａ’’の首に対応する器官点４４Ａ’’の位置を人物像Ａ’’の位置とし、人物像Ａ’の首に対応する器官点４４Ａ’の位置を人物像Ａ’の位置とし、第１人物像Ａの首に対応する第１器官点４４Ａの位置を第１人物像Ａの位置とする。これは、複数の器官点のうち、首に対応する器官点は、人物像の姿勢による位置変動が最も少ないことによるものである。

位置尤度分布算出部３０は、本実施形態では、人物像Ａ’’、人物像Ａ’、及び第１人物像Ａの経時的な位置変動に基づいて、第１画像４０の次のフレーム画像である第２画像４２における、第１人物像Ａと同一人物を表す人物像（の首の位置）が存在する予測位置５０を演算する。予測位置５０は、既知の手法を用いることで演算することができる。

次いで、位置尤度分布算出部３０は、第２画像４２において、第１画像４０における予測位置５０と同じ位置に予測位置５０’をプロットし、予測位置５０’を中心とした２次元正規分布を形成する。当該２次元正規分布が、第１人物像Ａと同一人物を表す人物像が存在する位置の尤度分布５２となる。つまり、位置の尤度分布５２は、予測位置５０’において最も位置の尤度が大きくなり、予測位置５０’からの距離が大きくなるほど位置の尤度が小さくなるようになっている。なお、本実施形態では、図６（ｂ）に示す通り、位置の尤度分布５２においては、予測位置５０’から、第１画像４０における第１人物像Ａの首に対応する第１器官点４４Ａの位置に相当する位置までの距離が正規分布におけるσに設定される。また、予測位置５０’における位置の尤度の値は、適宜設定されてよい。本実施形態では、位置の尤度は０から１までの値を取るようにし、予測位置５０’における位置の尤度の値を１としている。

同一性判定部２８は、第１人物像Ａと第２人物像Ｂとの間の色情報の類似度のみならず、第２人物像Ｂの位置の尤度に基づいて、第１人物像Ａと第２人物像Ｂが同一人物であることを示す指標である総合尤度を算出する。

まず、第２人物像Ｂの位置の尤度は、位置の尤度分布５２と第２人物像Ｂの位置とから算出される。本実施形態では、位置の尤度分布５２と第２人物像Ｂの首に対応する第２器官点４４Ｂの位置とに基づいて、第２人物像Ｂの位置の尤度が算出される。図６（ｂ）を参照して、第２人物像Ｂの首に対応する第２器官点４４Ｂの位置が、予測位置５０’に近い程、第２人物像Ｂの位置の尤度が大きく算出される。つまり、第２人物像Ｂの首に対応する第２器官点４４Ｂの位置が、予測位置５０’に近い程、第２人物像Ｂは第１人物像Ａと同一人物を表すものである可能性が高いと判断される。

次いで、同一性判定部２８は、上述の処理により算出した第１人物像Ａと第２人物像Ｂとの間の色情報の類似度と、算出した第２人物像Ｂの位置の尤度とに基づいて、第１人物像Ａと第２人物像Ｂとの間の総合尤度を算出する。本実施形態では、第１人物像Ａと第２人物像Ｂとの間の色情報の類似度と、算出した第２人物像Ｂの位置の尤度とを乗算することによって、総合尤度を算出している。

同様にして、同一性判定部２８は、第１人物像Ａと第２人物像Ｃとの間の総合尤度を算出する。図７に、算出された総合尤度が示されている。

同一性判定部２８は、複数の第２人物像に関して算出された総合尤度のうち、予め定められた総合尤度閾値以下の第２人物像を、第１人物像Ａと同一人物の像ではないと判定する。その上で、複数の第２人物像が残った場合（複数の第２人物像の総合尤度が総合尤度閾値よりも大きかった場合）、そのうち最も総合尤度が大きかった第２人物像を第１人物像Ａと同一人物の像であると判定する。なお、この場合も、全ての第２人物像の総合尤度が総合尤度閾値以下であった場合、同一性判定部２８は、第２画像４２には第１人物像Ａと同一人物の像が含まれていないと判定する。

各第２人物像の位置の尤度も考慮して同一性を判定することで、より同一性の判定の精度を向上させることができる。例えば、第１人物像Ａと第２人物像Ｂが同一人物を表すものである場合を考える。図７に示す通り、何らかの要因により、第１人物像Ａと第２人物像Ｂとの間の色情報の類似度より、第１人物像Ａと第２人物像Ｃとの間の色情報の類似度が大きく算出されてしまう場合があるとする。このような場合であっても、図６（ｂ）に示される通り、第２人物像Ｂの位置は予測位置５０’に比較的近いことから、位置の尤度として比較的高い値「０．３３」（図７参照）が算出され、第２人物像Ｃの位置は予測位置５０’から比較的遠いことから、位置の尤度として比較的低い値「０．０１」（図７参照）が算出される。したがって、総合尤度としては、第１人物像Ａと第２人物像Ｂとの間の総合尤度が第１人物像Ａと第２人物像Ｃとの間の総合尤度よりも大きくなり、結果として、第２人物像Ｂが第１人物像Ａと同一人物を表すものである、と正しく判定することが可能になる。

以下、図８に示すフローチャートに従って、本実施形態に係るサーバ１６の処理の流れを説明する。

ステップＳ１０において、まず、制御部２４は、カメラ１２により撮像され記憶部２２に記憶された複数の画像から第１画像４０及び第２画像４２を選択する。本例では、カメラ１２が撮像した動画から２つのフレームを選択し、図３に示すような２つの画像を第１画像４０及び第２画像４２とする。

ステップＳ１２において、器官点検出部２６は、第１画像４０に含まれる第１人物像Ａに関する複数の第１器官点を検出する。

ステップＳ１４において、器官点検出部２６は、第２画像４２に含まれる第２人物像Ｂに関する複数の第２器官点を検出する。ステップＳ１２及びＳ１４が器官点検出ステップに相当する。

ステップＳ１６において、同一性判定部２８は、ステップＳ１２で検出した第１人物像Ａに関する複数の器官点、及び、ステップＳ１４で検出した第２人物像Ｂ及びＣに関する複数の器官点それぞれに対応する画素の色情報を取得する。

ステップＳ１８において、同一性判定部２８は、第１人物像Ａの複数の第１器官点に対応する画素の色情報と、第２人物像Ｂの複数の第２器官点に対応する画素の色情報との色差を算出し、また、第１人物像Ａの複数の第１器官点に対応する画素の色情報と、第２人物像Ｃの複数の第２器官点に対応する画素の色情報との色差を算出する。

ステップＳ２０において、同一性判定部２８は、ステップＳ１８で算出した器官点毎の色差に基づいて、第１人物像Ａと第２人物像Ｂとの間の色の類似度、及び、第１人物像Ａと第２人物像Ｃとの間の色の類似度を算出する。

ステップＳ２２において、位置尤度分布算出部は、第１画像４０と、その直前の１又は複数のフレーム画像に基づいて、第２画像４２において、第１人物像Ａと同一人物を表す人物像が存在する位置の尤度分布を算出する。

ステップＳ２４において、同一性判定部２８は、ステップＳ２２で算出された位置の尤度分布、及び、第２画像４２における第２人物像Ｂ及びＣの位置とに基づいて、第２人物像Ｂ及びＣの位置の尤度を算出する。

ステップＳ２６において、同一性判定部２８は、ステップＳ２０で算出された色の類似度、及び、ステップＳ２４で算出された位置の尤度とに基づいて、第１人物像Ａと第２人物像Ｂとの間の総合尤度、及び、第１人物像Ａと第２人物像Ｃとの間の総合尤度を算出する。

ステップＳ２８において、同一性判定部２８は、ステップＳ２６で算出された総合尤度に基づいて、第１人物像Ａと、第２人物像Ｂ及びＣとの同一性の判定を行う。ステップＳ２８が同一性判定ステップに相当する。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０ 情報処理システム、１２ カメラ、１４ ユーザ端末、１６ サーバ、１８ 通信回線、２０ 通信部、２２ 記憶部、２４ 制御部、２６ 器官点検出部、２８ 同一性判定部、３０ 位置尤度分布算出部。

Claims (6)

1. 第１画像に含まれる第１人物像に関する複数の第１器官点、及び、第２画像に含まれる第２人物像に関する複数の第２器官点を検出する器官点検出部と、
   前記第１画像における前記複数の第１器官点に対応する画素の色情報と、前記第２画像における前記複数の第２器官点に対応する画素の色情報との比較に基づいて、前記第１人物像と前記第２人物像の同一性を判定する同一性判定部と、
   を備えることを特徴とする情報処理装置。
2. 前記第１画像及び前記第２画像は、同一視野において異なるタイミングで撮像された複数の撮像画像から選択されたものであり、
   前記第１画像における前記第１人物像の位置と、前記第１画像の前に撮像された撮像画像における前記第１人物像と同一人物を表す人物像の位置とに基づいて、前記第１画像の後に撮像された前記第２画像において、前記第１人物像と同一人物を表す人物像が存在する位置の尤度分布を算出する位置尤度分布算出部と、
   をさらに備え、
   前記同一性判定部は、さらに、前記第２器官点の位置と前記尤度分布とに基づいて、前記第１人物像と前記第２人物像の同一性を判定する、
   ことを特徴とする、請求項１に記載の情報処理装置。
3. 前記位置尤度分布算出部は、前記第１画像における前記第１人物像の首に対応する第１器官点の位置と、前記第１画像の前に撮像された撮像画像における前記第１人物像と同一人物を表す人物像の首に対応する器官点の位置とに基づいて、前記位置の尤度分布を算出し、
   前記同一性判定部は、前記複数の第２器官点のうち、前記第２人物像の首に対応する第２器官点の位置と前記尤度分布とに基づいて、前記第１人物像と前記第２人物像の同一性を判定する、
   ことを特徴とする、請求項２に記載の情報処理装置。
4. 前記第１画像及び前記第２画像は、同一のカメラで撮影された動画に含まれるフレーム画像であり、
   前記器官点検出部及び前記同一性判定部は、前記動画の再生に伴ってリアルタイムに処理を実行する、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. コンピュータを、
   第１画像に含まれる第１人物像に関する複数の第１器官点、及び、第２画像に含まれる第２人物像に関する複数の第２器官点を検出する器官点検出部と、
   前記第１画像における前記複数の第１器官点に対応する画素の色情報と、前記第２画像における前記複数の第２器官点に対応する画素の色情報との比較に基づいて、前記第１人物像と前記第２人物像の同一性を判定する同一性判定部と、
   として機能させることを特徴とする情報処理プログラム。
6. コンピュータが、第１画像に含まれる第１人物像に関する複数の第１器官点、及び、第２画像に含まれる第２人物像に関する複数の第２器官点を検出する器官点検出ステップと、
   コンピュータが、前記第１画像における前記複数の第１器官点に対応する画素の色情報と、前記第２画像における前記複数の第２器官点に対応する画素の色情報との比較に基づいて、前記第１人物像と前記第２人物像の同一性を判定する同一性判定ステップと、
   を含むことを特徴とする情報処理方法。

Images