JP2020198053A - 情報処理装置、情報処理方法、人物検索システムおよび人物検索方法 - Google Patents

Abstract

【課題】人物検索に用いる画像が特定の画像に制限されることを回避する。高精度な人物検索を行うシステムに好適な情報処理装置および情報処理方法を実現する。【解決手段】情報処理装置３は、制御点情報取得部３６と、特徴量情報取得部３７と、確信度決定部３８とを備える。制御点情報取得部３６は、人物を撮影した画像から、人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する。特徴量情報取得部３７は、上記画像から、人物の属性に関する特徴量を含む特徴量情報を取得する。確信度決定部３８は、上記制御点情報と上記特徴量情報とに基づいて、上記特徴量の確信度を決定する。【選択図】図２

Description

本発明は、画像から人物の属性に関する特徴量を抽出する情報処理装置および情報処理方法と、上記情報処理装置を用いた人物検索システムと、上記情報処理方法を用いた人物検索方法とに関する。

従来から、人物を撮影した画像を対象にして、人物を検索する技術が種々提案されている。例えば、特許文献１では、人物の全身像を含む入力画像から人物検索用の検索クエリを生成し、生成した検索クエリを用いて画像データベースにおいて検索を行い、その検索結果を表示するようにしている。

また、特許文献２では、複数の画像から、ゼッケン番号やユニホームの背番号をキーとして対象人物を検索する技術が開示されている。画像の顔領域から推定したボディ領域の重畳具合や、ゼッケン番号等の遮蔽状況に応じて、対象人物が最前面に映っている画像を抽出するようにしている。

さらに、特許文献３では、複数の撮影画像から、ユーザにとって適切な撮影画像を抽出する技術が開示されている。具体的には、顔、身長、位置関係、動作などの特定の条件をユーザに選択させ、それぞれをキーとして適切な画像を抽出している。例えば、「顔」が指定されれば、正面顔など顔を視認しやすい画像を抽出し、「身長」が指定されれば、三次元座標を取得するか、カメラの設置条件から身長を推定できる画像を抽出し、ユーザに表示するようにしている。

特開２０１６−１６２４１４号公報 特開２０１８−２５９６６号公報 特開２０１７−２８６８８号公報

ところで、例えば監視カメラで撮影された画像では、不特定多数の人物が映り込んだり、人物が看板などの物体と重なることにより、人物の全身像の一部が遮蔽される可能性がある。特許文献１では、人物検索に関して、人物の全身像が遮蔽されることなく映っている画像を用いることが前提となっているため、人物の一部が遮蔽された画像を用いると、人物検索を高精度で行うことができない可能性があり、実運用上、人物検索に用いる画像が、人物の全身像の映った画像に制限される。

また、特許文献２では、人物検索に関して、ゼッケン番号等の、検索対象の人物を特定できるアイテムが画像に含まれていることが前提となっており、それ以外の画像（例えば不特定多数の人物を含む画像）を用いた場合には、人物検索を行うことが困難となる。このため、人物検索に用いる画像が上記アイテムを含む画像に実質的に制限される。

また、監視カメラでは、不特定多数の人物を斜め上方から撮影して画像が取得されるため、人物の顔が正面から映り込む画像を取得することが困難であり、人物の身長を推定できる画像を取得することも困難である。このため、特許文献３では、人物検索に関して、監視カメラで撮影された画像を利用することが困難であり、人物検索に用いる画像が正面像などを含む画像に実質的に制限される。

本発明は、上記の問題点を解決するためになされたもので、その目的は、人物検索に用いる画像が特定の画像に制限されることを回避でき、高精度な人物検索を行うシステムに好適に用いることができる情報処理装置および情報処理方法と、その人物検索システムと、人物検索方法とを提供することにある。

本発明の一側面に係る情報処理装置は、人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得部と、前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得部と、前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定部とを備えている。

本発明の他の側面に係る人物検索システムは、上記の情報処理装置と、前記情報処理装置によって決定された前記特徴量の前記確信度を記憶するデータベースと、外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索部と、前記人物検索部による検索結果を出力する検索結果出力部とを含む。

本発明のさらに他の側面に係る情報処理方法は、人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得工程と、前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得工程と、前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定工程とを含む。

本発明のさらに他の側面に係る人物検索方法は、上記の情報処理方法を用いた人物検索方法であって、前記情報処理方法によって決定された前記特徴量の前記確信度をデータベースに記憶する記憶工程と、外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索工程と、前記人物検索工程による検索結果を出力する検索結果出力工程とを含む。

人物を撮影した画像から取得される制御点情報と特徴量情報とに基づいて、人物の属性に関する特徴量の確信度を決定するため、例えば不特定多数の人物が映り込むことによって人物の全身像および顔の正面像の取得が困難であったり、人物の一部が隠れたりする可能性のある、監視カメラで取得された画像を用いても、上記画像から、人物検索を高精度で行うために必要な情報（確信度）を取得することができる。したがって、人物検索に用いる画像が、人物の全身像が映った画像等の特定の画像に制限されることを回避でき、高精度な人物検索を行うシステムに好適な情報処理装置および情報処理方法を実現することが可能となる。例えば、上記情報（確信度）をデータベースに記憶させれば、外部から送信される人物検索クエリに対して、検索条件に合致する特徴量を確信度の高い順に取り出して、該当する人物の検索を高精度で行うことが可能となる。

本発明の実施の一形態に係る人物検索システムの概略の構成を示す説明図である。 上記人物検索システムに含まれる情報処理装置の概略の構成を示すブロック図である。 上記人物検索システムに含まれる人物検索装置の概略の構成を示すブロック図である。 上記人物検索システムにおいて実現される人物検索方法による処理の流れを示すフローチャートである。 不特定多数の人物が映り込んでいる画像の一例を示す説明図である。 画像中での２人の人物の位置関係の一例を模式的に示す説明図である。 上記位置関係の他の例を模式的に示す説明図である。 上記位置関係のさらに他の例を模式的に示す説明図である。 人物の属性と、属性に関する特徴量と、上記属性と関連する制御点の位置との関係を示す説明図である。 カメラで撮影された各フレームの画像と、上記画像から抽出される属性に関する特徴量との例を模式的に示す説明図である。 特徴量の確信度を決定する処理の一例を示す説明図である。 上記確信度を決定する処理の他の例を示す説明図である。 データベースに記憶される情報の一例を示す説明図である。 店舗内を撮影した画像の一例を示す説明図である。 人物が前向きである画像の一例を示す説明図である。 人物が後ろ向きである画像の一例を示す説明図である。 図４の確信度決定工程の詳細を示すフローチャートである。 人物と物体とが重なっている画像の一例を模式的に示す説明図である。 人物と物体とが重なっている画像の他の例を模式的に示す説明図である。 人物と物体とが重なっている画像のさらに他の例を模式的に示す説明図である。 人物と物体とが重なっている画像のさらに他の例を模式的に示す説明図である。

本発明の各実施の形態について、図面に基づいて説明すれば、以下の通りである。なお、本発明は、以下の内容に限定されるわけではない。

〔人物検索システム〕
図１は、本実施形態の人物検索システム１の概略の構成を示す説明図である。人物検索システム１は、カメラ２と、情報処理装置３と、人物検索装置４とを有して構成されている。カメラ２、情報処理装置３および人物検索装置４は、通信回線ＮＷを介して相互に通信可能に接続されている。通信回線ＮＷは、例えばケーブル、光ファイバー、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット回線などから適宜選択されて構成される。以下、カメラ２、情報処理装置３および人物検索装置４の詳細について説明する。

（カメラ）
カメラ２は、例えば屋内外の商用施設や公共施設、店舗などの天井または壁に設置され、人物を上方から撮影して時間的に異なる各フレームの画像を取得するカメラ（画像取得部）で構成されている。本実施形態では、カメラ２として、例えば店舗内に設置される監視カメラを考える。また、カメラ２は、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）に対応する画素を有するＲＧＢカメラで構成される。ＲＧＢカメラでの撮影により、人物のカラー画像を取得することができる。

なお、店舗などに設置されるカメラ２の台数は、特に限定されず、１台であってもよいし、２台以上であってもよい。少なくとも１台のカメラ２で取得された画像のデータは、通信回線ＮＷを介して情報処理装置３に提供される。

（情報処理装置）
図２は、情報処理装置３の概略の構成を示すブロック図である。情報処理装置３は、カメラ２で取得されて該情報処理装置３に入力された画像、つまり、人物を上方から撮影した各フレームの画像から、人物検索に必要な情報（例えば後述する人物の属性に関する特徴量の確信度）を取得する端末装置であり、例えばパーソナルコンピュータで構成されている。情報処理装置３は、カメラ２が設置される店舗と同じ店舗内に設置されていてもよいし、店舗の外部に設置されてカメラ２と通信可能に接続されていてもよい。

このような情報処理装置３は、入力部３１と、記憶部３２と、表示部３３と、通信部３４と、読取部３５と、制御点情報取得部３６と、特徴量情報取得部３７と、確信度決定部３８と、制御部３９とを有して構成されている。

入力部３１は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、例えば情報処理装置３を操作する操作者による各種の指示入力を受け付ける。

記憶部３２は、情報処理装置３の各部を動作させるための動作プログラム、カメラ２から入力された画像のデータ、制御点情報取得部３６および特徴量情報取得部３７で取得された情報（制御点情報、特徴量情報）などを記憶するメモリである。この記憶部３２は、例えばハードディスクで構成されるが、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。

表示部３３は、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部３４は、外部と通信するための入出力ポートを含むインターフェースである。通信部３４は、外部と無線通信を行う場合、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。

読取部３５は、記録媒体Ｒに記録された情報（例えば制御部３９の動作プログラム）を読み取る装置であり、例えばディスクドライブで構成される。なお、記録媒体Ｒが可搬型の不揮発性メモリである場合、上記不揮発性メモリの接続部が指し込まれる接続ポートも読取部３５に含まれるとする。

制御部３９は、情報処理装置３の各部の動作を制御する中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、記憶部３２に記憶された動作プログラムに従って動作する。

制御点情報取得部３６および特徴量情報取得部３７は、例えばＧＰＵ（Graphics Processing Unit）で構成されている。ＧＰＵは、リアルタイムな画像処理に特化した演算装置（プロセッサ）である。このように、制御点情報取得部３６等をＧＰＵで構成することにより、ＧＰＵにおいて畳み込み型ニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）などの機械学習が可能なニューラルネットワークを構築し、このニューラルネットワークを制御点情報取得部３６および特徴量情報取得部３７として機能させることができる。

制御点情報取得部３６は、カメラ２で取得された画像、つまり、人物を撮影した画像から、制御点に関する情報（制御点情報）を取得する。ここで、制御点とは、画像中で人物の骨格を規定する点を指す。したがって、制御点には、人物の関節点（骨と骨とを連接する可動性の結合部）、頭蓋骨の中心点、手足の指の骨の先端の点などが含まれる。また、画像中で人物の目、鼻、耳の各位置も、人物の骨格（頭蓋骨の大きさや形状）を規定することから、制御点になり得る。

上記の制御点情報には、画像中での制御点の位置（２次元位置）を示す位置情報と、制御点の検出尤度（第１検出尤度）とが含まれる。第１検出尤度は、検出された制御点の確からしさを示す値（指標）である。制御点情報取得部３６を構成するＣＮＮを予め学習させておくことにより、入力された画像から、その画像に含まれる人物の各制御点の第１検出尤度を出力させることができる。

特徴量情報取得部３７は、人物を撮影した画像から、人物を囲む人物矩形を抽出するとともに、上記人物の属性に関する特徴量を含む特徴量情報を取得する。ここで、人物の属性としては、人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかを考えることができる。そして、人物の属性を年齢としたとき、人物の属性に関する特徴量としては、１０歳、２０歳、３０歳などの具体的な年齢を考えることができる。また、人物の属性を年齢層としたとき、その特徴量としては、１０代、２０代、３０代などの大まかな年齢区分を考えることができる。なお、年齢層は、子供／大人／老人などの区分であってもよい。

また、人物の属性を性別としたとき、その特徴量としては、男性／女性を考えることができる。なお、性別の判別が困難であるときは、男性／女性／その他（判別不可能）の区分としてもよい。人物の属性を被服としたとき、その特徴量としては、色、半袖／長袖、シャツ、トレーナー、ズボン、スカート、などを考えることができる。人物の属性を装着物としたとき、その特徴量としては、ネックレス、ブレスレット、眼鏡、帽子、などを考えることができる。人物の属性を携帯物としたとき、その特徴量としては、バッグ（ハンドタイプ、キャリータイプ）、傘、ペット、などを考えることができる。

また、上記の特徴量情報には、人物の属性に関する上述の特徴量のほか、その特徴量の検出尤度（第２検出尤度）が含まれる。第２検出尤度は、検出された特徴量の確からしさを示す値（指標）である。特徴量情報取得部３７を構成するＣＮＮを予め学習させておくことにより、入力された画像から、その画像に含まれる人物の属性に関する特徴量の検出尤度を出力させることができる。

確信度決定部３８は、制御点情報取得部３６によって取得された制御点情報と、特徴量情報取得部３７によって取得された特徴量情報とに基づいて、特徴量の確信度を決定する。上記の確信度は、特徴量の信頼性を示す値（指標）である。このような確信度決定部３８は、例えば制御部３９と同一または別個のＣＰＵで構成される。確信度決定部３８によって決定された確信度の情報は、人物検索装置４に出力されてデータベース４２（図３参照）に記憶される。なお、確信度決定部３８が確信度を決定する処理の詳細については後述する。

（人物検索装置）
図３は、人物検索装置４の概略の構成を示すブロック図である。人物検索装置４は、プログラム記憶部４１と、データベース４２と、人物検索部４３と、検索結果出力部４４と、制御部４５とを有して構成されている。制御部４５は、人物検索装置４の各部の動作を制御するＣＰＵで構成されている。

プログラム記憶部４１は、制御部４５の動作プログラムを記憶しており、例えばハードディスクで構成されている。データベース４２は、情報処理装置３によって決定された特徴量の確信度を、各属性に関する特徴量ごとに記憶するメモリであり、例えばプログラム記憶部４１と同じハードディスクで構成されている。また、データベース４２は、上記確信度を、カメラ２の撮影場所および撮影日時に関する撮影情報とともに記憶している（図１１参照）。

人物検索部４３は、外部（例えばユーザ側の端末装置）からの検索要求（検索クエリの受信）に対して、データベース４２に記憶された確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する。このような人物検索部４３は、制御部４５と同一または別個のＣＰＵで構成されている。

検索結果出力部４４は、人物検索部４３によって検索された結果を出力する。特に、検索結果出力部４４は、検索結果として、検索条件に合致する特徴量を有する人物を撮影したカメラ２の撮影情報を出力する。このような検索結果出力部４４は、表示部４４ａおよび通信部４４ｂを有して構成されている。表示部４４ａは、上記検索結果を表示するディスプレイ（例えば液晶表示装置）で構成されている。通信部４４ｂは、上記検索結果の情報を外部（例えばユーザ側の端末装置）に送信するための通信インターフェースである。

なお、人物検索装置４は、入力部等を有するパーソナルコンピュータで構成されてもよい。そして、ユーザは、上記入力部を操作することによって検索条件を入力してもよい。また、特徴量の確信度を記憶する上述のデータベース４２は、人物検索装置４の外部に単独で設けられて、情報処理装置３および人物検索装置４と通信可能に接続されていてもよい。また、上述した情報処理装置３が人物検索装置４の各部の機能を有していてもよい（情報処理装置３は人物検索装置４と一体化されていてもよい）。

〔人物検索方法〕
次に、本実施形態の人物検索方法について説明する。図４は、本実施形態の人物検索方法による処理の流れを示すフローチャートである。例えば店舗に設置されたカメラ２により、店舗内の人物を撮影して複数フレーム分の画像が取得されると（Ｓ１）、各フレームの画像のデータが情報処理装置３に入力され、情報処理装置３によって情報処理工程（Ｓ２）が行われる。

すなわち、制御点情報取得部３６は、人物を撮影した上記画像から制御点の位置情報および制御点の第１検出尤度を含む制御点情報を取得する（Ｓ２１；制御点情報取得工程）。Ｓ２１では、画像中に複数の人物が含まれている場合、各人物について上記の制御点情報が取得される。なお、制御点の第１検出尤度は、画像中での人物の映り方（全身を含む画像か全身の一部が切れた画像か）や他者との重なり具合い（相互の位置関係）によって制御点ごとに変動する（例えば図９の左図、図１０の左図参照）。

続いて、特徴量情報取得部３７は、人物を撮影した上記画像から、人物の属性に関する特徴量および特徴量の第２検出尤度を含む特徴量情報を取得する（Ｓ２２；特徴量情報取得工程）。Ｓ２２では、特徴量情報取得部３７は、人物の複数の属性の少なくとも１つについて、特徴量および第２検出尤度を取得する（例えば図９の中央の図、図１０の中央の図参照）。

そして、確信度決定部３８は、Ｓ２１で取得された制御点情報と、Ｓ２２で取得された特徴量情報とに基づいて、特徴量の確信度を決定する（Ｓ２３；確信度決定工程）。なお、Ｓ２２にて、複数の属性のそれぞれについて特徴量情報が取得された場合、Ｓ２３では、複数の属性のそれぞれについて、特徴量の確信度が決定される（例えば図９の右図、図１０の右図参照）。

確信度決定部３８によって特徴量の確信度が決定されると、上記確信度の情報は人物検索装置４に出力されてデータベース４２に記憶される（Ｓ３；記憶工程）。そして、人物検索装置４が外部からの検索要求（検索クエリ）を受信すると（Ｓ４）、人物検索部４３は上記検索要求に対して、データベース４２に記憶された確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する（Ｓ５；人物検索工程）。例えば、人物検索部４３は、検索条件に合致する特徴量を、データベース４２から確信度の高い順に抽出することにより、上記特徴量を有する人物を検索する。

その後、検索結果出力部４４は、Ｓ５での検索結果を出力する（Ｓ６；検索結果出力工程）。例えば、検索結果出力部４４の表示部４４ａは、上記の検索結果を表示し、通信部４４ｂはユーザ側の端末装置に上記検索結果を示す情報を出力する。なお、上記の検索結果は、検索条件に合致する特徴量を有する人物の情報であり、ここでは、上記人物を撮影したカメラ２の撮影情報（撮影場所、撮影日時を示す情報）で上記人物の情報を代用する。

人物検索装置４が外部から次の検索クエリを受信した場合には（Ｓ７にてＹｅｓ）、Ｓ５に戻って人物検索部４３による人物検索をさらに行い、次の検索クエリを受信していなければ（Ｓ７にてＮｏ）、一連の処理を終了する。

〔確信度決定の基本的な考え方〕
次に、上記した情報処理装置３の確信度決定部３８による確信度決定の基本的な考え方について説明する。図５は、不特定多数の人物が映り込んでいる画像の一例を示している。この画像において、人物矩形Ｒ１では、目的の人物の全身像が遮蔽されることなく映っている。このケースは、上記人物の属性に関する特徴量を取得するにあたって、他の人物や物体（看板など）の影響を受けることが全くないため、最も理想的な状態である。この場合、上記人物について取得される特徴量の信頼度は高いため、上記特徴量に基づいて人物検索を高精度に行うことができる。例えば「赤いシャツ」という特徴量を指定した検索クエリに対して、「赤いシャツ」を着た人物矩形Ｒ１の人物を高精度で見つけることができる。

しかし、実際には、画像中に複数の人物が存在することにより、人物矩形Ｒ２のように、目的の人物（斜線で図示）の前に他者が映り込むことが頻発しやすい。この場合、前に映り込んだ他者の特徴量を目的の人物の特徴量として抽出してしまう可能性が高いため、特徴量に基づいて人物検索を高精度に行うことが困難となる。なお、人物は基本的に移動体であるため、常に重畳し続けているとは限らず、タイミングによっては、人物矩形Ｒ１のように理想的なケースに近づくこともあり得ることから、重畳の形態はフレームごとに異なることが多い。

また、例えば、衣料品売り場を撮影した画像では、売り場にある「マネキン」や「展示衣服」が映っていると、これらを目的の人物または特徴量として誤検出してしまう可能性が高い。さらに、画像に「広告の被写体となっている人物」などが映っていると、この人物が目的の人物として誤検出される可能性もある。このように、画像において、実在の人物だけでなく、人物に近い物体や広告媒体の存在も、高精度な人物検索を妨げる要因となり得る。

そこで、本実施形態では、画像中の不特定多数の人物の位置関係に応じて、各人物の属性の特徴量の確信度を決定する。特に、人物が重畳していることを検知したフレームについては、画像中で他者の影響が反映される領域（他者と重なっている領域）から把握される属性の特徴量の確信度を低下させる。なお、不特定多数の人物の位置関係については、例えば制御点情報取得部３６が各人物の制御点の位置情報に基づいて検出することができる。

図６Ａ〜図６Ｃは、例として、画像中での２人の人物の位置関係を模式的に示している。なお、これらの図中、白丸は制御点の位置を示す（他の図面でも同様とする）。図６Ａに示すように、２人の人物がほぼ重なり合っており、制御点の位置情報が１人分（手前の人物）についてのみ得られた場合、確信度決定部３８は、手前の人物については、検出した特徴量の確信度を高い値に設定し、上記特徴量を人物検索用として採用する。

また、図６Ｂに示すように、２人の人物が一部で重なる場合、確信度決定部３８は、手前の人物については、検出した特徴量の確信度を高い値に設定して、上記特徴量を人物検索用として採用する。一方、確信度決定部３８は、奥の人物のうち、手前の人物と重なっている領域については、その領域から把握される属性に関する特徴量の確信度を低い値に設定して、上記特徴量を人物検索用として採用しないようにし、手前の人物と重なっていない他の領域については、その領域から把握される属性に関する特徴量の確信度を高い値に設定して、上記特徴量を人物検索用として採用する。

さらに、図６Ｃに示すように、２人の人物が重なっていない場合、確信度決定部３８は、各々の人物について検出された特徴量の確信度を高い値に設定して、各々の人物についての上記特徴量を人物検索用として採用する。ただし、画像左下の人物については、下半身が映っておらず、第１検出尤度が低くなる見込みであるため、下半身の領域から抽出される特徴量を人物検索用として採用しない（下半身の領域と対応する属性に関する特徴量の確信度を下げる）。

ここで、図７は、人物の属性と、属性に関する特徴量と、上記属性と関連する制御点の位置との関係を示している。例えば、性別、年齢、年齢層、上半身被服、装着物の一部（ネックレス）、携帯物の一部（バッグ（ハンドタイプ）、ペット）などの属性は、画像中の人物の上半身の領域の特徴を抽出することで検出されるため、上半身の領域に位置する制御点は、上記した性別等の属性と対応する（関連する）と言える。つまり、画像中で人物の上半身の領域は、性別等の属性の判断（属性に関する特徴量の検出）に大きな影響を及ぼす。このため、画像中で人物の上半身の領域が他者との重畳によって隠れると、上記属性に関する特徴量（例えば男性／女性）を高精度で検出することが困難となる。

そこで、本実施形態では、確信度決定部３８は、画像中の人物の領域で他者と重畳する（隠れる）領域については、図７を参照して、重畳する領域中の制御点の位置と対応する属性に関する特徴量の確信度を低い値に設定する。一方、画像中の人物の領域で他者との重畳しない（隠れない）領域については、図７を参照して、上記領域中の制御点の位置と対応する属性に関する特徴量の確信度を高い値に設定する。なお、確信度をどの程度変動させるかは、制御点の第１検出尤度と特徴量の第２検出尤度とに基づいて決めることができる。なお、制御点の位置情報が不確定な場合は、上記制御点と対応する属性の特徴量の確信度をゼロにしてもよい。

〔確信度決定の詳細について〕
次に、確信度決定部３８による確信度の決定の詳細について説明する。図８は、店舗内の所定の場所に設置されたカメラ２（ID：1F South B）で撮影された各フレームの画像と、その画像から抽出（取得）される、人物の属性に関する特徴量とを例として示している。なお、カメラ２のＩＤ（識別情報）は、カメラ２の設置場所（撮影場所）を示す情報とする。また、図中のｎは、時系列に並ぶフレームの番号を示す。図８では、画像内に２人の人物が映っており、各人物の位置が経時的に変化しているが、便宜上、奥に位置する人物（斜線のハッチングで示す）を“human=001”とし、手前の人物を“human=002”として、これらの人物を互いに区別する。

図８に示すように、本実施形態では、画像からの特徴量の抽出（取得）がフレーム単位で独立して行われる。なお、ここでは、人物同定処理（フレーム間で画像内の人物が同じ人物であるかどうかを判定する処理）を行っていないが、そのような処理を行ってもよい。なお、図８で示す各属性（Gender（性別）、Age（年齢）、Tops（上半身被服）、Bottoms（下半身被服））に関する特徴量のうち、特徴量取得部３７によって検出される特徴量の尤度（第２検出尤度）が所定値以下である特徴量を“Unknown”（未知）で示す。

図９は、０フレーム目（ｎ＝０）のhuman=001の人物に対して、制御点情報取得部３６によって取得された制御点情報と、特徴量情報取得部３７によって取得された特徴量情報とに基づいて、確信度決定部３８が確信度を決定する処理を模式的に示している。ここでは、制御点情報取得部３６が図９の左図で示すような第１検出尤度を持って各制御点（頭部等）の位置を検出し、特徴用情報取得部３７が図９の中央の図で示すような第２検出尤度を持って人物の属性に関する特徴量を検出したとする。

０フレーム目の画像では、human=001の人物の頭部、顔、上半身および腕が含まれていないため、図９の左図では、これらの制御点（例えば頭部、右手首、右肩、胸、左肩、左手首）の第１検出尤度は閾値Ｔｈよりも低くなっている（例えば第１検出尤度＝０）。また、human=001の人物について、画像に含まれない頭部等から、図７で示した対応関係を有する属性（例えば性別、年齢層）に関する特徴量を精度よく認識することは困難であるため、検出された上記特徴量の信頼性は低いと考えられる。

そこで、この場合、確信度決定部３８は、第１検出尤度が閾値Ｔｈよりも低い制御点と関連する属性の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性の特徴量の第２検出尤度よりも低い値に設定する。図９の右図では、性別、年齢層、上半身被服、装着物（帽子有無、眼鏡有無）、携帯物（バック（ハンドタイプ）有無）に関する特徴量の確信度が、図９の中央の図の特徴量の第２検出尤度よりも低い値に設定されていることがわかる。なお、性別、年齢層、携帯物（バッグ有無）などの属性に関して、場合によっては、人物の下半身に情報を持っていることがあるため、確信度決定部３８はこれらの属性の特徴量の確信度を完全にゼロには下げず、ある程度の値を残しておく（図９の右図参照）。

一方、human=001の人物について、下半身の制御点（腰、右膝、左膝等）の第１検出尤度は高いため、下半身被服については、検出された特徴量の信頼度が高いと判断することができる。このため、確信度決定部３８は、下半身被服に関する特徴量の確信度を相対的に高い値に設定する（図９の右図参照）。例えば、確信度決定部３８は、上記特徴量の確信度を、特徴量情報取得部３７によって検出された特徴量の第２検出尤度と同等の高い値に決定する。

このようにして確信度決定部３８が決定した特徴量の確信度は、人物検索装置４のデータベース４２に、カメラ２の撮影情報（撮影日時、撮影場所を含む）とともに、特徴量ごとに登録（記憶）されていく。

また、図１０は、図８の２フレーム目（ｎ＝２）のhuman=001の人物に対して、制御点情報取得部３６によって取得された制御点情報と、特徴量情報取得部３７によって取得された特徴量情報とに基づいて、確信度決定部３８が確信度を決定する処理を模式的に示している。ここでは、制御点情報取得部３６が図１０の左図で示すような第１検出尤度を持って各制御点の位置を検出し、特徴用情報取得部３７が図１０の中央の図で示すような第２検出尤度を持って人物の属性に関する特徴量を検出したとする。

２フレーム目の画像では、human=001の人物の一部がhuman=002の人物によって隠れている。制御点情報取得部３６は、検出した各人物の制御点の位置情報から、各人物の頭位置や胴体バランスを考慮して、human=001の人物とhuman=002の人物とが重なっていることを検出することができる。このため、human=001の人物に関しては、制御点の第１検出尤度に他者（human=002の人物）による隠れの情報が反映されている。すなわち、human=001の人物の胸、右手首、左手首、腰をそれぞれ示す各制御点の第１検出尤度は、human=002の人物との重なりを考慮して低い値となっている。

一方、図１０の中央の図で示すように、human=001の人物について、属性に関する特徴量の第２検出尤度は、各属性ともに高くなっている。ただし、特徴量情報取得部３７は、人物の重なりを考慮せずに画像から特徴量を抽出するため、human=001の人物において、human=002の人物と重なっている領域から把握される属性（例えば上半身被服、下半身被服、携帯物（バッグ））に関する特徴量は、human=002の人物の特徴量が反映されている可能性が高い。この結果、上記属性について特徴量の第２検出尤度が高くなっていると考えられる。

なお、画像中でhuman=001の人物とhuman=002の人物とが重なっている場合、画像から抽出した特徴量が、human=001の人物の特徴量であるか、human=002の人物の特徴量であるかを区別することは一般的には困難である。例えばhuman=001の人物が黒い服を着ている場合、この黒い服を、human=002の人物の黒い頭または黒い帽子と見分けるのは難易度が高い。また、人物画像がプリントされたＴシャツをhuman=001の人物が着用している場合は、このＴシャツ（上半身被服）をhuman=002の人物の頭部と区別することも困難である。

そこで、制御点情報に基づいて、画像中でhuman=001の人物がhuman=002の人物と重なっていることが制御点情報取得部３６によって検出されたとき、確信度決定部３８は、画像中でhuman=002の人物によって隠れているhuman=001の人物の領域の制御点と関連する属性（図７参照）の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性の特徴量の第２検出尤度よりも低い値に設定する。図１０の右図では、human=001の人物の上半身および下半身の一部がhuman=002の人物によって隠れているため、隠れた上半身および下半身の制御点と関連する属性（例えば上半身被服、下半身被服、携帯物（バッグ））の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性の特徴量の第２検出尤度よりも低い値に設定した状態を示している。設定した特徴量の確信度は、カメラ２の撮影情報とともにデータベース４２に随時記憶される。

図１１は、データベース４２に記憶される情報の一例を示している。データベース４２には、カメラ２の撮影情報とともに、人物の属性（図１１では例として、性別、年齢層、上半身被服を図示）に関する特徴量ごとに、確信度が記憶されている。例えば撮影日時が「２０１９／３／３１ １５：３２」では、human=001の人物について、顔および上半身が画像に含まれていないため、性別に関する特徴量の確信度が、図９の中央の図の特徴量の第２検出尤度よりも低い値に設定されていることがわかる。

〔人物との重畳以外のケースにおける確信度の決定について〕
図１２は、店舗内のカメラ２での撮影によって取得された画像の一例を示している。店舗内で撮影された画像では、人物矩形Ｒ３のように、店舗内の商品棚１０１や物品１０２などで人物が隠れる可能性が高い。この場合、確信度決定部３８は、人物において商品棚１０１等で隠れていない領域のみ、上記領域中の制御点の位置と対応する属性に関する特徴量の確信度を高い値に設定し、商品棚１０１等で隠れている領域中の制御点の位置と対応する属性に関する特徴量の確信度を低い値に設定することが望ましい。なお、人物が商品棚１０１等で隠れているか否かは、人物の制御点の第１検出尤度に基づいて制御点情報取得部３６が検出することができる。なお、人物の隠れが起きていないシーン（例えば人物が商品棚１０１等のない通路に出たシーン）の画像を選択して、該当人物の属性の特徴量を取得するようにしても勿論構わない。また、人物の隠れを生じさせる物体としては、上記の商品棚１０１や物品１０２だけでなく、広告、看板（例えば店舗入り口などに設置）、吊り看板（店内に吊るされている広告など）なども考えられる。

また、図１３Ａおよび図１３Ｂは、画像中で人物が前向きおよび後ろ向きである状態をそれぞれ示している。なお、これらの図中、Ｌは「左」を示し、Ｒは「右」を示す。人物の各制御点の位置から、左右（例えば右肩と左肩）を特定できる場合、画像中の人物の向き（前向き／後ろ向き）を推測することができる。一般的に、人物の属性としての性別や年齢は、顔画像を用いると精度よく認識することができ、人物が後ろ向きの状態では顔画像を取得できないため、人物の性別や年齢を推測することが困難となる。したがって、制御点情報に基づいて、画像から人物が後ろ向きであることを制御点情報取得部３６が検出した場合、確信度決定部３８は、性別や年齢に関する特徴量の確信度を低い値に設定してもよい。なお、画像から顔領域を検出して顔らしさを判定し、その判定結果に基づいて人物が後ろ向きであるか否かを判定してもよい。

〔確信度を決定する処理のまとめ〕
本実施形態では、以上で述べた種々のケースを考慮して、以下のようにして確信度を決定する。すなわち、図４のＳ２３で示した確信度決定工程は、以下のようにまとめることができる。図１４は、確信度決定工程の詳細を示すフローチャートである。

まず、制御点情報取得部３６が制御点情報（制御点の位置、第１検出尤度）に基づいて、対象人物の前に他者が重畳している可能性があることを検出した場合には（Ｓ１０１にてＹｅｓ）、確信度決定部３８は、上述したように、重畳している領域と関連する属性の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性に関する特徴量の第２検出尤度よりも低い値に設定し（Ｓ１０２）、Ｓ１０３に移行する。なお、対象人物とは、特徴量の確信度を決定する対象となる人物を指す。

対象人物の前に他者が重畳している可能性がなく（Ｓ１０１にてＮｏ）、制御点情報取得部３６が検出した対象人物の制御点に、第１検出尤度が閾値Ｔｈよりも低い制御点が含まれている場合には（Ｓ１０３にてＹｅｓ）、確信度決定部３８は、第１検出尤度の低い上記制御点と関連する属性の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性に関する特徴量の第２検出尤度よりも低い値に設定し（Ｓ１０４）、Ｓ１０５に移行する。

対象人物の制御点に、第１検出尤度が閾値Ｔｈよりも低い制御点が含まれておらず（Ｓ１０３にてＮｏ）、対象人物が後ろを向いていることを制御点情報取得部３６が検出した場合には（Ｓ１０５にてＹｅｓ）、確信度決定部３８は、対象人物の顔部と関連する属性（例えば性別、年齢）の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性の特徴量の第２検出尤度よりも低い値に設定し（Ｓ１０６）、Ｓ１０７に移行する。

対象人物が後ろを向いておらず（Ｓ１０５にてＮｏ）、対象人物の制御点の前に物体があることを制御点情報取得部３６が検出した場合には（Ｓ１０７にてＹｅｓ）、確信度決定部３８は、物体と重畳している上記制御点と関連する属性の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性の特徴量の第２検出尤度よりも低い値に設定し（Ｓ１０８）、確信度決定に関する一連の処理を終了する。なお、対象人物の制御点の前に物体がない場合も（Ｓ１０５にてＮｏ）、一連の処理を終了する。

〔効果〕
以上のように、本実施形態では、確信度決定部３８は、人物を撮影した画像から取得される制御点情報と特徴量情報とに基づいて、人物の属性に関する特徴量の確信度を決定する。これにより、例えば、不特定多数の人物が映り込むことによって対象人物の一部しか画像に映っていなかったり、画像中で対象人物が他者または他の物体と重なっていたり、対象人物の顔が正面から映っていない場合であっても、そのような画像から、人物検索を高精度で行うために必要な情報（確信度）を取得することができる。したがって、人物検索に用いる画像として、不特定多数の人物が映り込む可能性のある、監視カメラで撮影された画像を用いることができ、人物検索に用いる画像が、人物の全身像が映った画像や正面から顔が映った画像等の特定の画像に制限されることを回避することができる。

また、特徴量の確信度を決定することで、その確信度に基づいて高精度な人物検索を行うことが可能となる。つまり、本実施形態のように、特徴量の確信度をデータベース４２に記憶させることで（図１１参照）、人物検索部４３は外部から送信される人物検索クエリに対して、検索条件に合致する特徴量を確信度の高い順に取り出して、該当する人物の検索を高精度で行うことが可能となる。したがって、高精度な人物検索を行う人物検索システム１に好適な情報処理装置３および情報処理方法を実現することが可能となる。

また、制御点情報取得部３６が取得する制御点情報は、制御点の位置情報に加えて、制御点の第１検出尤度を含み、特徴量情報取得部３７が取得する特徴量情報は、属性に関する特徴量に加えて、上記特徴量の第２検出尤度を含む。この場合、確信度決定部３８は、制御点の第１検出尤度および特徴量の第２検出尤度を考慮して特徴量の確信度を決定することができるため、例えば、第１検出尤度の高い制御点と関連する属性については、特徴量の第２検出尤度と同等の値に確信度を設定し、第１検出尤度の低い制御点と関連する属性については、特徴量の第２検出尤度よりも低い値に確信度を設定することができる。これにより、第１検出尤度の高い制御点と関連する属性についての特徴量と、第１検出尤度の低い制御点と関連する属性についての特徴量とで確信度に差を持たせて、確信度に基づく人物検索をより高精度に行うことが可能となる。

また、確信度決定部３８は、対象人物が他の人物と重なっていることが制御点情報取得部によって検出されたときに、画像中で他の人物によって隠れている対象人物の領域の制御点と関連する属性の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性の特徴量の第２検出尤度よりも低い値に設定する（図８、図１０、図１４のＳ１０１、Ｓ１０２参照）。画像中で他の人物によって隠れている対象人物の領域は、他の人物の属性の影響を大きく受けるため、対象人物の属性に関する特徴量として、誤った特徴量が取得されやすい。したがって、対象人物の上記領域の制御点と関連する属性の特徴量の確信度を低い値に設定することにより、例えばデータベース４２に確信度の低い値を登録して、人物検索時に、上記特徴量を持つ人物が引っ掛からないようにすることができ、これによって高精度な検索を行うことが確実に可能となる。

また、確信度決定部３８は、第１検出尤度が閾値Ｔｈよりも低い制御点と関連する属性の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性の特徴量の第２検出尤度よりも低い値に設定する（図８、図９、図１４のＳ１０３、Ｓ１０４参照）。例えば画像中で頭部が映っていない人物については、頭部を示す制御点の第１検出尤度は閾値Ｔｈよりも低い値で検出される。したがって、確信度決定部３８は、人物の頭部と関連する属性（例えば性別、年齢）の特徴量の確信度を低い値に設定することにより、例えばデータベース４２に確信度の低い値を登録して、人物検索時に、上記特徴量を持つ人物（性別、年齢等について特徴量の信頼性が低い人物）が引っ掛からないようにすることができ、高精度な検索を行うことが確実に可能となる。

また、確信度決定部３８は、画像中で人物が後ろを向いていることが制御点情報取得部３６によって検出されたときに、人物の顔部と関連する属性の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性の特徴量の第２検出尤度よりも低い値に設定する（図１３Ｂ、図１４のＳ１０５、Ｓ１０６参照）。例えば画像中で後ろを向いている人物については、人物の顔部と関連する属性（例えば性別、年齢層、装着物）の特徴量（例えば男性／女性、子供／大人／老人、眼鏡有無）を画像から取得することが困難である。この場合に、確信度決定部３８は、人物の顔部と関連する属性の特徴量の確信度を低い値に設定することにより、例えばデータベース４２に確信度の低い値を登録して、人物検索時に、上記特徴量を持つ人物（性別等について特徴量の信頼性が低い人物）が引っ掛からないようにすることができ、高精度な人物検索を行うことが確実に可能となる。

また、確信度決定部３８は、人物が人物以外の物体と重なっていることが制御点情報取得部３６によって検出されたときに、画像中で物体によって隠れている人物の領域の制御点と関連する属性の特徴量の確信度を、特徴量情報取得部３７によって取得された上記属性の特徴量の第２検出尤度よりも低い値に設定する（図１２、図１４のＳ１０７、Ｓ１０８参照）。画像中で物体によって隠れている人物の領域は、物体の影響（例えば図１２では商品棚１０１や物品１０２の色の影響）を大きく受けるため、人物の属性に関する特徴量として、誤った特徴量が取得されやすい（例えば物品１０２の色が被服の色として検出されやすい）。したがって、人物の上記領域の制御点と関連する属性の特徴量の確信度を低い値に設定することにより、例えばデータベース４２に確信度の低い値を登録して、人物検索時に、上記特徴量を持つ人物（例えば被服の色が物品１０２と同じ色である誤った人物）が引っ掛からないようにすることができ、高精度な人物検索を行うことが確実に可能となる。

また、本実施形態では、人物の属性は、人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかである。特徴量情報取得部３７が人物の年齢等の属性に関する特徴量情報を取得し、確信度決定部３８が上記属性に関する特徴量の確信度を決定する構成において、上述した本実施形態の効果を得ることができる。

また、本実施形態の人物検索システム１は、上述した本実施形態の情報処理装置３と、データベース４２と、人物検索部４３と、検索結果出力部４４とを含む。この人物検索システム１によれば、ユーザは、検索結果出力部４４から出力される検索結果に基づいて、検索条件に合致する人物の有無を把握することができる。

また、本実施形態の人物システム１はカメラ２を含み、データベース４２は特徴量の確信度をカメラ２の撮影場所および撮影日時に関する撮影情報とともに記憶する。そして、検索結果出力部４４は、検索結果として、検索条件に合致する特徴量を有する人物を撮影したカメラ２の撮影情報を出力する（図４のＳ６参照）。これにより、ユーザは、出力される撮影情報に基づいて、検索条件に合致する人物が存在していた場所（カメラ２の撮影場所と同じ）および時間を把握することができる。

また、検索結果出力部４４は表示部４４ａを含む。この場合、ユーザは、表示部４４ａに表示される検索結果を見て、検索条件に合致する人物の情報（存在場所および時間）を容易に把握することができる。

〔その他〕
図１５Ａ〜図１５Ｄは、人物と物体とが重なっている画像の例を模式的に示している。なお、これらの図中、人物または物体の領域を矩形の枠で示す。システムによっては、人物以外の物体を検出する機能を併せ持つ場合がある。この場合、人物において物体と重なっている領域および重なっていない領域を検出して、各領域から把握される属性に関する特徴量の確信度を決定するとともに、人物と物体との関係を検出（推測）してもよい。例えば、人物が車に乗っている（図１５Ａ参照）、歩いている人物の横を車が走っている（図１５Ｂ参照）、人物の手前に植栽がある（図１５Ｃ参照）、人物が動物をつれて散歩している（図１５Ｄ参照）、などを検出してもよい。その他、人物がカートを押している、人物がエスカレータに乗っている、などを検出することも可能である。

なお、商用施設や公共施設では、複数台のカメラが設置されていることが多く、同時刻に撮影された複数のカメラ画像において、カメラによっては理想的な映りの画像（人物が物体で遮蔽されていない画像）が得られる場合と、そうではない画像（人物が物体で遮蔽されている画像）が得られる場合とがある。後者の場合、各カメラ画像において物体の遮蔽の影響を受けていないフレームについてのみ、特徴量の確信度を決定してデータベースに記憶させてもよい。また、ユーザ側から検索クエリを受信して対象人物を検索する際には、上記確信度に基づいて、複数のカメラ画像を横断して（複数のカメラ画像にまたがって）人物を検索してもよく、人物が物体で遮蔽されたフレームを時系列的に間引いた残りのフレームの画像を対象として人物を検索してもよい。

〔プログラムおよび記録媒体〕
本実施形態で説明した情報処理装置３は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＣＰＵとしての制御部３９）が読み取って実行することにより、情報処理装置３の各部を動作させて上述した各処理（各工程）を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されて記憶部３２に記憶される。また、上記プログラムは、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読取可能な記録媒体Ｒに記録され、この記録媒体Ｒから上記プログラムをコンピュータが読み取って記憶部３２に記憶する形態であってもよい。

＜補足＞
以上で説明した本実施形態の情報処理装置、人物検索システム、情報処理方法、人物検索方法は、以下のように表現することもできる。

１．人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得部と、
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得部と、
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定部とを備えていることを特徴とする情報処理装置。

２．前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第１検出尤度を含み、
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第２検出尤度を含むことを特徴とする前記１に記載の情報処理装置。

３．前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で複数の前記人物が重なっているか否かを検出し、
前記確信度決定部は、前記確信度を決定する対象となる対象人物が他の人物と重なっていることが前記制御点情報取得部によって検出されたときに、前記画像中で前記他の人物によって隠れている前記対象人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする前記２に記載の情報処理装置。

４．前記確信度決定部は、前記第１検出尤度が閾値よりも低い制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする前記２または３に記載の情報処理装置。

５．前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で前記人物が後ろを向いているか否かを検出し、
前記確信度決定部は、前記画像中で前記人物が後ろを向いていることが前記制御点情報取得部によって検出されたときに、前記人物の顔部と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする前記２から４のいずれかに記載の情報処理装置。

６．前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で前記人物が人物以外の物体と重なっているか否かを検出し、
前記確信度決定部は、前記人物が前記物体と重なっていることが前記制御点情報取得部によって検出されたときに、前記画像中で前記物体によって隠れている前記人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする前記２から５のいずれかに記載の情報処理装置。

７．前記人物の属性は、前記人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかであることを特徴とする前記１から６のいずれかに記載の情報処理装置。

８．前記１から７のいずれかに記載の情報処理装置と、
前記情報処理装置によって決定された前記特徴量の前記確信度を記憶するデータベースと、
外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索部と、
前記人物検索部による検索結果を出力する検索結果出力部とを含むことを特徴とする人物検索システム。

９．前記画像を取得して、前記画像のデータを前記情報処理装置に提供するカメラをさらに含み、
前記データベースは、前記特徴量の前記確信度を、前記カメラの撮影場所および撮影日時に関する撮影情報とともに記憶し、
前記検索結果出力部は、前記検索結果として、前記検索条件に合致する特徴量を有する前記人物を撮影した前記カメラの前記撮影情報を出力することを特徴とする前記８に記載の人物検索システム。

１０．前記検索結果出力部は、前記検索結果を表示する表示部を含むことを特徴とする前記８または９に記載の人物検索システム。

１１．人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得工程と、
前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得工程と、
前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定工程とを含むことを特徴とする情報処理方法。

１２．前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第１検出尤度を含み、
前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第２検出尤度を含むことを特徴とする前記１１に記載の情報処理方法。

１３．前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で複数の前記人物が重なっているか否かを検出し、
前記確信度決定工程では、前記確信度を決定する対象となる対象人物が他の人物と重なっていることが前記制御点情報取得工程で検出されたときに、前記画像中で前記他の人物によって隠れている前記対象人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする前記１２に記載の情報処理方法。

１４．前記確信度決定工程では、前記第１検出尤度が閾値よりも低い制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする前記１２または１３に記載の情報処理方法。

１５．前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で前記人物が後ろを向いているか否かを検出し、
前記確信度決定工程では、前記画像中で前記人物が後ろを向いていることが前記制御点情報取得工程で検出されたときに、前記人物の顔部と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする前記１２から１４のいずれかに記載の情報処理方法。

１６．前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で前記人物が人物以外の物体と重なっているか否かを検出し、
前記確信度決定工程では、前記人物が前記物体と重なっていることが前記制御点情報取得工程で検出されたときに、前記画像中で前記物体によって隠れている前記人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする前記１２から１５のいずれかに記載の情報処理方法。

１７．前記人物の属性は、前記人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかであることを特徴とする前記１１から１６のいずれかに記載の情報処理方法。

１８．前記１１から１７のいずれかに記載の情報処理方法を用いた人物検索方法であって、
前記情報処理方法によって決定された前記特徴量の前記確信度をデータベースに記憶する記憶工程と、
外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索工程と、
前記人物検索工程による検索結果を出力する検索結果出力工程とを含むことを特徴とする人物検索方法。

１９．前記検索結果出力工程では、前記検索結果として、前記検索条件に合致する特徴量を有する前記人物を撮影したカメラの撮影場所および撮影日時に関する撮影情報を出力することを特徴とする前記１８に記載の人物検索方法。

２０．前記検索結果出力工程では、前記検索結果を表示部に表示させることを特徴とする前記１８または１９に記載の人物検索方法。

また、本実施形態のプログラムおよび記録媒体は、以下のように表現することもできる。

２１．前記１１から１７のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラム。

２２．前記２１に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。

以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。

本発明は、データベースに登録された情報を用いて人物検索を行うシステムに利用可能である。

１ 人物検索システム
２ カメラ
３ 情報処理装置
３６ 制御点情報取得部
３７ 特徴量情報取得部
３８ 確信度決定部
４２ データベース
４３ 人物検索部
４４ 検索結果出力部
４４ａ 表示部

Claims (20)

1. 人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得部と、
   前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得部と、
   前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定部とを備えていることを特徴とする情報処理装置。
2. 前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第１検出尤度を含み、
   前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第２検出尤度を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で複数の前記人物が重なっているか否かを検出し、
   前記確信度決定部は、前記確信度を決定する対象となる対象人物が他の人物と重なっていることが前記制御点情報取得部によって検出されたときに、前記画像中で前記他の人物によって隠れている前記対象人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする請求項２に記載の情報処理装置。
4. 前記確信度決定部は、前記第１検出尤度が閾値よりも低い制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で前記人物が後ろを向いているか否かを検出し、
   前記確信度決定部は、前記画像中で前記人物が後ろを向いていることが前記制御点情報取得部によって検出されたときに、前記人物の顔部と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする請求項２から４のいずれかに記載の情報処理装置。
6. 前記制御点情報取得部は、前記制御点情報に基づいて、前記画像中で前記人物が人物以外の物体と重なっているか否かを検出し、
   前記確信度決定部は、前記人物が前記物体と重なっていることが前記制御点情報取得部によって検出されたときに、前記画像中で前記物体によって隠れている前記人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得部によって取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする請求項２から５のいずれかに記載の情報処理装置。
7. 前記人物の属性は、前記人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかであることを特徴とする請求項１から６のいずれかに記載の情報処理装置。
8. 請求項１から７のいずれかに記載の情報処理装置と、
   前記情報処理装置によって決定された前記特徴量の前記確信度を記憶するデータベースと、
   外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索部と、
   前記人物検索部による検索結果を出力する検索結果出力部とを含むことを特徴とする人物検索システム。
9. 前記画像を取得して、前記画像のデータを前記情報処理装置に提供するカメラをさらに含み、
   前記データベースは、前記特徴量の前記確信度を、前記カメラの撮影場所および撮影日時に関する撮影情報とともに記憶し、
   前記検索結果出力部は、前記検索結果として、前記検索条件に合致する特徴量を有する前記人物を撮影した前記カメラの前記撮影情報を出力することを特徴とする請求項８に記載の人物検索システム。
10. 前記検索結果出力部は、前記検索結果を表示する表示部を含むことを特徴とする請求項８または９に記載の人物検索システム。
11. 人物を撮影した画像から、前記人物の骨格を規定する点となる制御点の位置情報を含む制御点情報を取得する制御点情報取得工程と、
    前記画像から、前記人物の属性に関する特徴量を含む特徴量情報を取得する特徴量情報取得工程と、
    前記制御点情報と前記特徴量情報とに基づいて、前記特徴量の信頼性を示す確信度を決定する確信度決定工程とを含むことを特徴とする情報処理方法。
12. 前記制御点情報は、前記制御点の位置情報に加えて、前記制御点の検出尤度を示す第１検出尤度を含み、
    前記特徴量情報は、前記特徴量に加えて、前記特徴量の検出尤度を示す第２検出尤度を含むことを特徴とする請求項１１に記載の情報処理方法。
13. 前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で複数の前記人物が重なっているか否かを検出し、
    前記確信度決定工程では、前記確信度を決定する対象となる対象人物が他の人物と重なっていることが前記制御点情報取得工程で検出されたときに、前記画像中で前記他の人物によって隠れている前記対象人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする請求項１２に記載の情報処理方法。
14. 前記確信度決定工程では、前記第１検出尤度が閾値よりも低い制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする請求項１２または１３に記載の情報処理方法。
15. 前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で前記人物が後ろを向いているか否かを検出し、
    前記確信度決定工程では、前記画像中で前記人物が後ろを向いていることが前記制御点情報取得工程で検出されたときに、前記人物の顔部と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする請求項１２から１４のいずれかに記載の情報処理方法。
16. 前記制御点情報取得工程では、前記制御点情報に基づいて、前記画像中で前記人物が人物以外の物体と重なっているか否かを検出し、
    前記確信度決定工程では、前記人物が前記物体と重なっていることが前記制御点情報取得工程で検出されたときに、前記画像中で前記物体によって隠れている前記人物の領域の制御点と関連する属性の特徴量の確信度を、前記特徴量情報取得工程で取得された前記属性の前記特徴量の前記第２検出尤度よりも低い値に設定することを特徴とする請求項１２から１５のいずれかに記載の情報処理方法。
17. 前記人物の属性は、前記人物の年齢、年齢層、性別、被服、装着物、携帯物の少なくともいずれかであることを特徴とする請求項１１から１６のいずれかに記載の情報処理方法。
18. 請求項１１から１７のいずれかに記載の情報処理方法を用いた人物検索方法であって、
    前記情報処理方法によって決定された前記特徴量の前記確信度をデータベースに記憶する記憶工程と、
    外部からの検索要求に対して、前記データベースに記憶された前記確信度に基づいて、検索条件に合致する特徴量を有する人物を検索する人物検索工程と、
    前記人物検索工程による検索結果を出力する検索結果出力工程とを含むことを特徴とする人物検索方法。
19. 前記検索結果出力工程では、前記検索結果として、前記検索条件に合致する特徴量を有する前記人物を撮影したカメラの撮影場所および撮影日時に関する撮影情報を出力することを特徴とする請求項１８に記載の人物検索方法。
20. 前記検索結果出力工程では、前記検索結果を表示部に表示させることを特徴とする請求項１８または１９に記載の人物検索方法。

Images