JP2023046553A - 特定プログラム、特定方法および情報処理装置 - Google Patents

Abstract

【課題】特定したい人物の画像を検出する精度を向上させること。【解決手段】情報処理装置１００は、撮影する画像の俯角が異なるとともに設置される場所が異なる複数のカメラにより撮影された複数の第一の画像と、特定対象となる人物を含む第二の画像とを取得する。情報処理装置１００は、第二の画像から、人物の関節に関する第一の特徴量を生成する。情報処理装置１００は、カメラの俯角の情報と第一の特徴量とを基にして、特定対象となる人物の照合に用いる第二の特徴量を生成する。情報処理装置１００は、第二の特徴量に基づいて、複数のカメラにより撮影された複数の第一の画像から、特定対象となる人物を有する画像を特定する。【選択図】図１

Description

本発明は、特定プログラム等に関する。

各種の捜査において、複数箇所に設置されたカメラの画像（映像）が用いられる。たとえば、事件が発生した場合に、警察官は、犯人の写真を手掛かりとして監視カメラの画像を確認し、画像に犯人が映っていないか探すことがある。また、警察官は、犯人を撮影したカメラの設置場所の情報を用いて、犯人の歩いた軌跡を特定し、捜査に役立てている。

なお、複数箇所に設置されたカメラの画像から人物の骨格情報等の特徴量を抽出し、抽出した特徴量と、捜査対象の人物の特徴量とを照合することで、所定の人物の画像を検出する従来技術がある。かかる従来技術を用いることで、確認作業の負荷を軽減することができる。

特開２０１８－５５５５号公報

しかしながら、上述した従来技術のように、予め決められた特徴量を用いて照合を行うと、特定したい人物の画像を検出する精度が低下するという問題がある。

各カメラの設置は、自治体、個人、警察等、それぞれ異なる設置者が行っており、カメラの俯角もそれぞれ異なる。たとえば、コンビニに設置されたカメラであれば、店内や店の前がカメラの撮影範囲に含まれるように、カメラの俯角が設定される。一方、自治体や警察がカメラを繁華街に設置する場合には、防犯の観点から繁華街全体が見渡せるように、カメラの俯角が調整される。

ここで、カメラの俯角が変わると、人物の映り方が変化する。図１７は、カメラの俯角に応じた人物の映り方を説明するための図である。図１７において、画像３は、設置高さ１ｍの俯角の浅い第１カメラで撮影された画像である。画像４は設置高さ３ｍの俯角の深い第２カメラで撮影された画像である。

図１７の画像３では、第１カメラによって、異なるタイミングｎ、ｎ＋１、ｎ＋２で撮影した人物３ａ，３ｂ，３ｃを示している。人物３ａ～３ｃは、同一人物である。たとえば、画像３の人物３ａは、タイミングｎにおいて撮影された人物である。画像３の人物３ｂは、タイミングｎ＋１において撮影された人物である。画像３の人物３ｃは、タイミングｎ＋２において撮影された人物である。俯角が浅い場合には、人物３ａ，３ｂ，３ｃは、常に側面が撮影されるため、首の角度は一定となる。

図１７の画像４では、第２カメラによって、異なるタイミングｎ、ｎ＋１、ｎ＋２で撮影した人物４ａ，４ｂ，４ｃを示している。人物４ａ～４ｃは、同一人物である。たとえば、画像４の人物４ａは、タイミングｎにおいて撮影された人物である。画像４の人物４ｂは、タイミングｎ＋１において撮影された人物である。画像４の人物４ｃは、タイミングｎ＋２において撮影された人物である。人物４ａは、人物４ｂと比較して、体の前面が多く映るため、人物４ｂの首の角度よりも、人物４ａの首の角度の方が大きくなる。一方、人物４ｃは、人物４ｂと比較して、体の背面が多く映るための、人物４ｂの首の角度よりも、人物４ｃの首の角度の方が小さくなる。

図１７で説明したように、カメラの俯角によって、人物の特徴量が変化するため、俯角の異なるカメラで撮影された画像を用いて、照合を行おうとすると、照合精度が低下してしまう。たとえば、首の角度を特徴量として、画像３の人物と、画像４の人物との照合を行うと、同一人物であっても、特徴量が一致しない場合がある。

１つの側面では、本発明は、特定したい人物の画像を検出する精度を向上させることができる特定プログラム、特定方法および情報処理装置を提供することを目的とする。

第１の案では、コンピュータに次に処理を実行させる。コンピュータは、撮影する画像の俯角が異なるとともに設置される場所が異なる複数のカメラにより撮影された複数の第一の画像と、特定対象となる人物を含む第二の画像とを取得する。コンピュータは、第二の画像から、人物の関節に関する第一の特徴量を生成する。コンピュータは、カメラの俯角の情報と第一の特徴量とを基にして、特定対象となる人物の照合に用いる第二の特徴量を生成する。コンピュータは、第二の特徴量に基づいて、複数のカメラにより撮影された複数の第一の画像から、特定対象となる人物を有する画像を特定する。

特定したい人物の画像を検出する精度を向上させることができる。

図１は、本実施例に係るシステムの一例を示す図である。 図２は、学習データの一例を示す図である。 図３は、事前処理を説明するための図（１）である。 図４は、事前処理を説明するための図（２）である。 図５は、事前処理を説明するための図（３）である。 図６は、特徴量定義テーブルのデータ構造の一例を示す図である。 図７は、カメラ管理テーブルのデータ構造の一例を示す図である。 図８は、照合精度の比較例を示す図である。 図９は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図１０は、１つの画像フレームから得られる特徴量を説明するための図である。 図１１は、複数の画像フレームから得られる特徴量を説明するための図である。 図１２は、特徴量ベクトルのデータ構造の一例を示す図である。 図１３は、照合部の処理を説明するための図である。 図１４は、情報処理装置の事前処理の処理手順を示すフローチャートである。 図１５は、情報処理装置の照合処理の処理手順を示すフローチャートである。 図１６は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図１７は、カメラの俯角に応じた人物の映り方を説明するための図である。

以下に、本願の開示する特定プログラム、特定方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係るシステムの一例を示す図である。図１に示すように、このシステム１は、カメラ１０ａ，１０ｂ，１０ｃ，１０ｄと、情報処理装置１００とを有する。カメラ１０ａ～１０ｄおよび情報処理装置１００は、ネットワーク３０を介して相互に接続される。図１に示す例では、カメラ１０ａ～１０ｄのみを示すが、本実施例に係るシステムは、その他のカメラを含んでいてもよい。

カメラ１０ａ～１０ｄは、撮影範囲の映像を撮影し、撮影した映像のデータを、情報処理装置１００に送信する。以下の説明では、カメラ１０ａ～１０ｄを特に区別しない場合「カメラ１０」と表記する。カメラ１０が情報処理装置１００に送信する映像のデータを、映像データと表記する。本実施例では、人物が撮影された映像データを用いて説明する。映像データには、かかる映像データを撮影したカメラ１０の識別情報が付与される。カメラ１０の識別情報を、「カメラ識別情報」と表記する。

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ１０があるタイミングで撮影した静止画像である。

情報処理装置１００は、カメラ１０から映像データを取得し、人物の照合を実行する装置である。たとえば、情報処理装置１００は、事前処理、照合処理を実行する。以下において、事前処理、照合処理について順に説明する。

情報処理装置１００が実行する「事前処理」の一例について説明する。情報処理装置１００は、予め準備された学習データを用いて、事前処理を実行する。図２は、学習データの一例を示す図である。図２に示すように、学習データ５０には、データベース５０ａと、クエリ５０ｂとが含まれる。

データベース５０ａは、カメラ識別情報と、正解ラベルと、映像データとを対応付ける。カメラ識別情報は、カメラ１０を識別する情報である。たとえば、カメラ１０ａ，１０ｂ、１０ｃ，１０ｄのカメラ識別情報をそれぞれＣ１０ａ，Ｃ１０ｂ，Ｃ１０ｃ，Ｃ１０ｄとする。正解ラベルは、映像データに含まれる人物を一意に識別する情報である。映像データは、カメラ１０（あるいは、他のカメラ）によって事前に撮影された映像データである。

図２に示す例では、カメラ識別情報「Ｃ１０ａ」と、正解ラベル「Ｘ」と、映像データ５１ａとが対応付けられる。カメラ識別情報「Ｃ１０ｂ」と、正解ラベル「Ｙ」と、映像データ５２ａとが対応付けられる。カメラ識別情報「Ｃ１０ｃ」と、正解ラベル「Ｚ」と、映像データ５３ａとが対応付けられる。カメラ識別情報「Ｃ１０ｄ」と、正解ラベル「Ｗ」と、映像データ５４ａとが対応付けられる。たとえば、映像データ５１ａは、カメラ１０ａによって撮影され、映像データ５１ａには、正解ラベルＸで識別される人物が映っていることが示される。

クエリ５０ｂは、正解ラベルと、映像データと、俯角とを対応付ける。正解ラベルは、映像データに含まれる人物を一意に識別する情報である。映像データは、カメラ１０（あるいは、他のカメラ）によって事前に撮影された映像データである。俯角は、該当する映像データを撮影したカメラの俯角を示す。

図２に示す例では、正解ラベル「Ｘ」と、映像データ５１ｂと、俯角「４０°」とが対応付けられる。正解ラベル「Ｙ」と、映像データ５２ｂと、俯角「４０°」とが対応付けられる。正解ラベル「Ｚ」と、映像データ５３ｂと、俯角「４０°」とが対応付けられる。正解ラベル「Ｗ」と、映像データ５４ｂと、俯角「４０°」とが対応付けられる。たとえば、映像データ５１ｂは、俯角「５０°」のカメラに撮影され、正解ラベルＸで識別される人物が映っていることが示される。

ここで、映像データ５１ａと、映像データ５１ｂとは、正解ラベルが「Ｘ」で同一であるため、映像データ５１ａに映った人物と、映像データ５１ｂに映った人物とは同一人物である。なお、映像データ５１ａと、映像データ５１ｂとは、異なる時間、あるいは、異なる場所において、該当する人物を撮影した映像データである。すなわち、映像データ５１ａは、映像データ５１ｂを複製したものではない。

情報処理装置１００は、学習データ５０に登録された各映像データについて、次の処理をそれぞれ実行する。情報処理装置１００は、映像データに含まれる各画像フレームを、OpenPose等の機械学習済みの学習モデルに入力することで、各画像フレームに含まれる人物の骨格情報を検出する。

図３は、事前処理を説明するための図（１）である。情報処理装置１００は、画像フレーム２０ａを学習モデルに入力することで、骨格情報２０ｂを検出する。骨格情報２０ｂには、人物の複数の関節の２次元座標（ｘ、ｙ）が含まれる。複数の関節には、鼻、首、左右の目、耳、肩、肘、手首、尻、膝、足首等が含まれる。以下の説明では、関節の２次元座標を「関節座標」と表記する。

情報処理装置１００は、映像データに含まれる各画像フレームの骨格情報を検出し、骨格情報に含まれる各関節座標、および、関節座標の推移を基にして、複数の特徴量を特定する。複数の特徴量には、右腕の高さ、左腕の高さ、右膝の高さ、左膝の高さ、歩幅の最大値、足の浮遊時間、各関節角度、歩行時の目線等が含まれる。以下の説明において、複数の特徴量を「特徴量ベクトル」と表記する。

情報処理装置１００は、データベース５０ａ、クエリ５０ｂに登録された各映像データに対して、上記処理を繰り返し実行し、映像データ毎に、特徴量ベクトルを特定する。

情報処理装置１００は、次の処理を実行することで、俯角毎の最適な特徴量の組合せを選定する。図４は、事前処理を説明するための図（２）である。情報処理装置１００は、特徴量ベクトルに含まれる全特徴量のうち、組合せを変更した複数の部分特徴量を事前に定義しておく。部分特徴量に含まれる特徴量（特徴量の種類）の数は、特徴量ベクトルの特徴量の数よりも少ないものとする。

図４に示す例では、特徴量ベクトルには、右腕の高さ、左腕の高さ、右膝の高さ、左膝の高さ、歩幅の最大値、足の浮遊時間等が含まれる。部分特徴量Ａには、左腕の高さ、右腕の高さ等が含まれる。部分特徴量Ｂには、歩幅の最大値、足の浮遊時間等が含まれる。部分特徴量Ｃには、左膝の高さ、右膝の高さ等が含まれる。図４に示す例では、部分特徴量Ａ，Ｂ，Ｃを示すが、他の部分特徴量も定義される。

図５は、事前処理を説明するための図（３）である。情報処理装置１００は、俯角毎に、各部分特徴量のラベルの一致度合いを特定し、ラベルの一致度合いが最大となる部分特徴量を、該当する俯角の部分特徴量として特定する。以下の説明では、データベース５０ａの映像データから特定した部分特徴量と、クエリ５０ｂの映像データから特定した部分特徴量とを区別するため、クエリ５０ｂの映像データから特定した部分特徴量を「クエリ部分特徴量」と表記する。図５の説明では、クエリ５０ｂの映像データ５１ｂ～５３ｂの俯角を「４０°」として説明を行う。

情報処理装置１００は、データベース５０ａの映像データ５１ａ～５４ａの特徴量ベクトルから、部分特徴量Ａの値を抽出する。情報処理装置１００は、クエリ５０ｂの映像データ５１ｂ～５３ｂの特徴量ベクトルから、クエリ部分特徴量Ａの値を抽出する。

情報処理装置１００は、映像データ５１ａ～５４ａの部分特徴量Ａと、映像データ５１ｂのクエリ部分特徴量Ａとの類似度（コサイン類似度）をそれぞれ算出し、クエリ部分特徴量との類似度が最大となる部分特徴量Ａに対応する映像データの正解ラベルを特定する。たとえば、映像データ５１ａの部分特徴量Ａと、映像データ５１ｂのクエリ部分特徴量Ａとの類似度を最大の類似度とすると、正解ラベルが「Ｘ」で一致する。

情報処理装置１００は、映像データ５１ａ～５４ａの部分特徴量Ａと、映像データ５２ｂのクエリ部分特徴量Ａとの類似度をそれぞれ算出し、クエリ部分特徴量との類似度が最大となる部分特徴量Ａに対応する映像データの正解ラベルを特定する。たとえば、映像データ５２ａの部分特徴量Ａと、映像データ５２ｂのクエリ部分特徴量Ａとの類似度を最大の類似度とすると、正解ラベルが不一致（ＸとＹで不一致）となる。

情報処理装置１００は、映像データ５１ａ～５４ａの部分特徴量Ａと、映像データ５３ｂのクエリ部分特徴量Ａとの類似度をそれぞれ算出し、クエリ部分特徴量との類似度が最大となる部分特徴量Ａに対応する映像データの正解ラベルを特定する。たとえば、映像データ５１ａの部分特徴量Ａと、映像データ５１ｂのクエリ部分特徴量Ａとの類似度を最大の類似度とすると、正解ラベルが「Ｘ」で一致する。

上記の例では、情報処理装置１００が、俯角「４０°」の映像データについて、部分特徴量Ａによる検索を行うと、ラベルの一致度合いが「２／３」となる。

部分特徴量Ａと同様にして、情報処理装置１００は、俯角「４０°」の映像データについて、部分特徴量Ｂ，Ｃ、他の部分特徴量による検索を実行し、ラベルの一致度合いを特定する。

情報処理装置１００は、各部分特徴量に関するラベルの一致度合いを比較し、ラベルの一致度合いが最大となる部分特徴量を、該当する俯角の部分特徴量として特定する。たとえば、情報処理装置１００は、俯角「４０°」について、部分特徴量Ａを用いた場合のラベルの一致度合いが最大となる場合には、俯角「４０°」の部分特徴量を、部分特徴量Ａとして特定する。

情報処理装置１００は、他の俯角についても、上記の処理と同様の処理を実行することで、他の俯角の部分特徴量を特定する。情報処理装置１００は、特定結果によって、俯角と、部分特徴量との関係を特徴量定義テーブルに登録する。

図６は、特徴量定義テーブルのデータ構造の一例を示す図である。図６に示すように、この特徴量定義テーブル５２は、俯角と、特徴量の数と、特徴量の組合せとが対応付けられる。俯角は、映像データを撮影したカメラの俯角を示す。特徴量の数は、俯角に対応する部分特徴量に含まれる特徴量の数である。特徴量の組合せは、部分特徴量を構成する各特徴量の組合せを示す。

次に、情報処理装置１００が実行する「照合処理」の一例について説明する。照合処理時の説明では、特定対象となる人物が映った映像データを用いて説明する。特定対象となる人物が映った映像データを適宜「照合対象映像データ」と表記する。照合対象映像データには、この照合対象映像データを撮影したカメラ１０のカメラ識別情報が付与される。

情報処理装置１００は、照合対象映像データの各画像フレームを、学習モデルに入力することで、各骨格情報を特定する。

情報処理装置１００は、カメラ識別情報と、カメラ管理テーブルとを比較して、照合対象映像データを撮影したカメラ１０の俯角を特定する。図７は、カメラ管理テーブルのデータ構造の一例を示す図である。図７に示すように、このカメラ管理テーブル５３は、カメラ識別情報と、俯角と、設置位置（緯度、経度）とを対応付ける。カメラ識別情報は、カメラを識別する情報である。俯角は、該当するカメラの俯角を示す。設置位置は、該当するカメラの設置位置（緯度、経度）を示す。

情報処理装置１００は、特定したカメラ１０の俯角と、特徴量定義テーブル５２とを比較して、特定した俯角に対応する特徴量の組合せを特定する。以下の説明では、特定した特徴量の組合せを、「特定特徴量」と表記する。

情報処理装置１００は、照合対象映像データから得た骨格情報に含まれる各関節座標、および、関節情報の推移を基にして、特徴量ベクトルを特定する。情報処理装置１００は、照合対象映像データの特徴量ベクトルから、特定特徴量を抽出する。以下の説明では、照合対象映像データの特徴量ベクトルから抽出した、特定特徴量を「第１特定特徴量」と表記する。

情報処理装置１００は、事前処理において特定した、データベース５０ａの各映像データの特徴量ベクトルから、特定特徴量をそれぞれ抽出する。以下の説明では、データベース５０ａの各映像データの特徴量ベクトルから抽出した特定特徴量を「第２特定特徴量」と表記する。第２特定特徴量には、カメラ識別情報が付与される。

情報処理装置１００は、第１特定特徴量と、各第２特定特徴量とのコサイン類似度をそれぞれ算出する。情報処理装置１００は、第１特定特徴量とのコサイン類似度が閾値以上となる第２特定特徴量の抽出元となる各映像データを、照合結果として特定する。また、情報処理装置１００は、第１特定特徴量とのコサイン類似度が閾値となる第２特定特徴量のカメラ識別情報と、カメラ管理テーブル５３とを基にして、特定対象の人物が撮影された各カメラの設置位置を特定する。

上記のように、情報処理装置１００は、特定対象の人物の映った照合対象映像データを撮影したカメラ１０の俯角を基にして、特定特徴量を特定し、照合対象映像データから第１特定特徴量を抽出する。情報処理装置１００は、第１特定特徴量と、データベース５０ａの各映像データの第２特定特徴量とを基にして、第１特定特徴量に類似する第２特定特徴量の映像データを特定する。これによって、特定したい人物の画像を検出する精度を向上させることができる。なお、特定したい人物は、警察が扱う事件に関連する人物である。例えば、特定したい人物は、犯人である。

図８は、照合精度の比較例を示す図である。図８のグラフＧ１の横軸はカメラ１０の俯角に対応する軸である。縦軸は照合精度に対応する軸である。線分ｌ１は、従来技術によるカメラの俯角と照合精度との関係を示す。線分ｌ２は、本発明によるカメラの俯角と照合精度との関係を示す。図８に示すように、従来技術と比較して、本発明の方が、俯角３０°～６０°において、照合精度が向上している。

次に、本実施例に係る情報処理装置１００の構成の一例について説明する。図９は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図９に示すように、この情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

通信部１１０は、ネットワーク３０を介して、カメラ１０に接続され、映像データを受信する。たとえば、通信部１１０は、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、ネットワーク３０を介して、他の外部装置等に接続されていてもよい。

入力部１２０は、各種の情報を、情報処理装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。利用者は、入力部１２０を操作して、照合対象映像データを撮影したカメラ１０を指定してもよいし、入力インタフェースを介して、照合対象映像データを直接入力してもよい。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、タッチパネル等に対応する。

記憶部１４０は、学習データ５０と、学習モデル５１と、特徴量定義テーブル５２と、カメラ管理テーブル５３と、映像バッファ６０とを有する。記憶部１４０は、たとえば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

学習データ５０は、事前処理で利用されるデータであり、図２で説明した学習データ５０に対応する。図２で説明したように、学習データ５０は、データベース５０ａと、クエリ５０ｂとを有する。

学習モデル５１は、OpenPose等の機械学習済みの学習モデルである。学習モデル５１に、画像フレームを入力することで、各関節の関節座標と、各関節座標の信頼度が出力される。たとえば、学習モデルは、ＮＮ（Neural Network）である。

特徴量定義テーブル５２は、俯角毎の最適な特徴量の組合せを定義するテーブルであり、事前処理において生成される。特徴量定義テーブル５２のデータ構造は、図６で説明した特徴量定義テーブル５２に関する説明と同様である。

カメラ管理テーブル５３は、カメラ１０に関する情報を保持するテーブルである。カメラ管理テーブル５３のデータ構造は、図７で説明したカメラ管理テーブル５３に関する説明と同様である。

映像バッファ６０は、カメラ１０から取得する映像データ（照合対象映像データ）を保持するバッファである。なお、映像バッファ６０は、入力インタフェース（図示略）から情報処理装置１００に直接入力される照合対象映像データを保持してもよい。

制御部１５０は、取得部１５１と、生成部１５２と、選定部１５３と、照合部１５４とを有する。制御部１５０は、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ(Micro Processing Unit)により実現される。また、制御部１５０は、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実行されてもよい。

取得部１５１は、カメラ１０から照合対象映像データを取得し、取得した照合対象映像データを、映像バッファ６０に登録する。取得部１５１は、入力インタフェースから情報処理装置１００に直接入力される照合対象映像データを取得し、取得した照合対象映像データを、映像バッファ６０に登録してもよい。取得部１５１は、学習データ５０、機械学習済みの学習モデル５１、カメラ管理テーブル５３等を外部装置から取得し、記憶部１４０に登録してもよい。

生成部１５２は、学習データ５０に含まれるデータベース５０ａ、クエリ５０ｂの映像データの特徴量ベクトルを生成する。生成部１５２の処理は、上述した事前処理で説明した、特徴量ベクトルを生成する処理に対応する。生成部１５２は、学習データ５０に登録された各映像データについて、次の処理をそれぞれ実行する。

生成部１５２は、学習データ５０に含まれるデータベース５０ａ、クエリ５０ｂの映像データの特徴量ベクトルを生成する。生成部１５２の処理は、上述した事前処理で説明した、特徴量ベクトルを生成する処理に対応する。生成部１５２は、学習データ５０に登録された各映像データについて、次の処理をそれぞれ実行する。

生成部１５２は、映像データに含まれる各画像フレームを、学習モデル５１に入力することで、各画像フレームに含まれる人物の骨格情報を検出する。骨格情報には、各関節の関節座標が含まれる。

生成部１５２は、骨格情報に含まれる各関節座標、および、関節座標の推移に基づいて、映像データの特徴量ベクトルを生成する。特徴量ベクトルには、１つの画像フレームから得られる特徴量と、複数の画像フレームから得られる特徴量とがある。

図１０は、１つの画像フレームから得られる特徴量を説明するための図である。図１０に示すように、１つの画像フレームから、歩幅ｆ１、腕の高さｆ２、膝の高さｆ３等の特徴量が抽出される。歩幅ｆ１は、ある１つの画像フレームの骨格情報１０－１に含まれる左右の足首の関節座標の距離である。骨格情報１０－１の腕の高さｆ２は、左足首（右足首）から左手首（右手首）までの距離である。骨格情報１０－１の膝の高さｆ３は、左足首（右足首）から左膝（右膝）までの距離である。たとえば、生成部１５２は、映像データに含まれる各画像フレームの骨格情報から、歩幅ｆ１をそれぞれ算出し、各歩幅ｆ１の平均値を算出することで、歩幅の特徴量を計算する。腕の高さ、膝の高さに関する特徴量についても同様である。

図１１は、複数の画像フレームから得られる特徴量を説明するための図である。ここでは、骨格情報１１－１，１１－２，１１－３を用いて説明する。骨格情報１１－１は、フレーム番号ｎ－２の画像フレームから抽出された骨格情報である。骨格情報１１－２は、フレーム番号ｎ－１の画像フレームから抽出された骨格情報である。骨格情報１１－３は、フレーム番号ｎの画像フレームから抽出された骨格情報である。たとえば、生成部１５２は、フレーム番号ｎ－２において、右足首が浮遊を開始し、フレーム番号ｎにおいて、右足首が地面に着地した場合、フレーム番号ｎ－２から、フレーム番号ｎまでの時間を、足の浮遊時間として計算する。生成部１５２は、映像データについて、複数回、浮遊時間を計算し、各浮遊時間の最大値（あるいは、平均値）を算出することで、浮遊時間の特徴量を計算する。

生成部１５２は、従来技術を利用して、他の特徴量（各関節の高さ、関節角度、各関節の推移、歩行時の目線等）を算出するものとする。

図１２は、特徴量ベクトルのデータ構造の一例を示す図である。図１２に示すように、特徴量ベクトルには、各特徴量（特徴量の種類）について、値が設定される。

生成部１５２は、データベース５０ａ、クエリ５０ｂに登録された各映像データに対して、上記処理を繰り返し実行し、映像データ毎に、特徴量ベクトルを特定する。図示を省略したが、生成部１５２は、図２のデータベース５０ａ、クエリ５０ｂに、各映像データに対する特徴量ベクトルを登録する。

選定部１５３は、学習データ５０を基にして、俯角毎に、各部分特徴量のラベルの一致度合いを特定し、ラベルの一致度合いが最大となる部分特徴量を、該当する俯角の部分特徴量として選定する。選定部１５３は、選定した結果を、特徴量定義テーブル５２に登録する。選定部１５３の処理は、図５で説明した事前処理に対応する。図５の説明と同様にして、クエリ５０ｂの映像データ５１ｂ～５３ｂの俯角を「４０°」として選定部１５３の説明を行う。

選定部１５３は、データベース５０ａの映像データ５１ａ～５４ａの特徴量ベクトルから、部分特徴量Ａの値を抽出する。選定部１５３は、クエリ５０ｂの映像データ５１ｂ～５３ｂの特徴量ベクトルから、クエリ部分特徴量Ａの値を抽出する。

選定部１５３は、映像データ５１ａ～５４ａの部分特徴量Ａと、映像データ５１ｂのクエリ部分特徴量Ａとの類似度（コサイン類似度）をそれぞれ算出し、クエリ部分特徴量との類似度が最大となる部分特徴量Ａに対応する映像データの正解ラベルを特定する。たとえば、映像データ５１ａの部分特徴量Ａと、映像データ５１ｂのクエリ部分特徴量Ａとの類似度を最大の類似度とすると、正解ラベルが「Ｘ」で一致する。

選定部１５３は、映像データ５１ａ～５４ａの部分特徴量Ａと、映像データ５２ｂのクエリ部分特徴量Ａとの類似度をそれぞれ算出し、クエリ部分特徴量との類似度が最大となる部分特徴量Ａに対応する映像データの正解ラベルを特定する。たとえば、映像データ５２ａの部分特徴量Ａと、映像データ５２ｂのクエリ部分特徴量Ａとの類似度を最大の類似度とすると、正解ラベルが不一致（ＸとＹで不一致）となる。

選定部１５３は、映像データ５１ａ～５４ａの部分特徴量Ａと、映像データ５３ｂのクエリ部分特徴量Ａとの類似度をそれぞれ算出し、クエリ部分特徴量との類似度が最大となる部分特徴量Ａに対応する映像データの正解ラベルを特定する。たとえば、映像データ５１ａの部分特徴量Ａと、映像データ５３ｂのクエリ部分特徴量Ａとの類似度を最大の類似度とすると、正解ラベルが「Ｘ」で一致する。

上記の例では、選定部１５３が、俯角「４０°」の映像データについて、部分特徴量Ａによる検索を行うと、ラベルの一致度合いが「２／３」となる。

部分特徴量Ａと同様にして、選定部１５３は、俯角「４０°」の映像データについて、部分特徴量Ｂ，Ｃ、他の部分特徴量による検索を実行し、ラベルの一致度合いを特定する。

選定部１５３は、各部分特徴量に関するラベルの一致度合いを比較し、ラベルの一致度合いが最大となる部分特徴量を、俯角の部分特徴量として特定する。たとえば、選定部１５３は、俯角「４０°」について、部分特徴量Ａを用いた場合のラベルの一致度合いが最大となる場合には、俯角「４０°」の部分特徴量を、部分特徴量Ａとして選定する。

選定部１５３は、他の俯角についても、上記の処理と同様の処理を実行することで、他の俯角の部分特徴量を特定する。選定部１５３は、特定結果を基にして、俯角と、部分特徴量との関係を特徴量定義テーブル５２に登録する。

照合部１５４は、照合対象映像データと、学習データ５０のデータベース５０ａの映像データとの照合を行うことで、照合対象映像データに映った人物と同様の人物が映った映像データを特定する。照合部１５４の処理は、上記の照合処理に対応する。

図１３は、照合部の処理を説明するための図である。照合部１５４は、映像バッファ６０に登録された照合対象映像データ４０の各画像フレームを学習モデル５１に入力し、各骨格情報を特定する。たとえば、図１３に示す照合対象映像データ４０を撮影したカメラの俯角を「４０°」とする。

照合部１５４は、照合対象映像データに付与されたカメラ識別情報と、カメラ管理テーブル５３とを基にして、照合対象映像データを撮影したカメラの俯角を特定する。

照合部１５４は、特定した俯角と、特徴量定義テーブル５２とを比較して、特定した俯角に対応する特徴量の組合せ（特定特徴量）を特定する。たとえば、俯角が「４０°」となる場合には、特定特徴量は「左腕の高さ、右腕の角度等」となる。

照合部１５４は、照合対象映像データから得た骨格情報に含まれる各関節座標、および、関節情報の推移を基にして、特徴量ベクトルを特定する。照合部１５４が特徴量ベクトルを特定する処理は、生成部１５２が特徴量ベクトルを特定する処理と同様である。照合部１５４は、照合対象映像データの特徴量ベクトルから、第１特定特徴量を抽出する。図１３に示す例では、照合部１５４は、照合対象映像データ４０から、第１特定特徴量４０ａを抽出する。

照合部１５４は、事前処理において特定した、データベース５０ａの各映像データの特徴量ベクトルから、第２特定特徴量をそれぞれ抽出する。図１３に示す例では、照合部１５４は、映像データ４５の特徴量ベクトルから、第２特定特徴量４５ｂを抽出する。

照合部１５４は、第１特定特徴量４０ａと、第２特定特徴量４５ａとのコサイン類似度を算出する。照合部１５４は、第１特定特徴量４０ａと、他の映像データから抽出する第２特定特徴量とのコサイン類似度をそれぞれ算出する。照合部１５４は、第１特定特徴量とのコサイン類似度が閾値以上となる第２特定特徴量の抽出元となる映像データを、照合結果として抽出する。照合部１５４は、照合結果を、表示部１３０に出力して表示させる。

また、照合部１５４は、第１特定特徴量とのコサイン類似度が閾値以上となる第２特定特徴量の抽出元となる映像データのカメラ識別情報と、カメラ管理テーブル５３とを基にして、各映像データを撮影した各カメラの設置位置を特定する。照合部１５４は、特定した各カメラの設置位置を、特定対象の人物の移動軌跡として、表示部１３０に出力して表示させる。

次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図１４は、情報処理装置の事前処理の処理手順を示すフローチャートである。図１４に示すように、情報処理装置１００の生成部１５２は、学習データ５０から映像データを取得する（ステップＳ１０１）。

生成部１５２は、学習モデル５１を用いて、映像データの各画像フレームから骨格情報を抽出する（ステップＳ１０２）。生成部１５２は、映像データを撮影したカメラのカメラ識別情報と、カメラ管理テーブル５３とを基にして、俯角を特定する（ステップＳ１０３）。生成部１５２は、映像データの特徴量ベクトルを算出する（ステップＳ１０４）。

情報処理装置１００の選定部１５３は、各俯角、各部分特徴量について、ラベルの一致度合いを特定する（ステップＳ１０５）。選定部１５３は、ラベルの一致度合いを基にして、俯角に対応する部分特徴量を特定する（ステップＳ１０６）。

選定部１５３は、俯角と、特定した部分特徴量（特徴量の組合せ）との関係を、特徴量定義テーブル５２に登録する（ステップＳ１０７）。

図１５は、情報処理装置の照合処理の処理手順を示すフローチャートである。図１５に示すように、情報処理装置１００の取得部１５１は、カメラ１０または入力インタフェースから照合対象映像データを取得し、映像バッファ６０に登録する（ステップＳ２０１）。

情報処理装置１００の照合部１５４は、学習モデル５１を用いて、照合対象映像データの各画像フレームから骨格情報を抽出する（ステップＳ２０２）。照合部１５４は、照合対象映像データを撮影したカメラのカメラ識別情報と、カメラ管理テーブル５３とを基にして、俯角を特定する（ステップＳ２０３）。

照合部１５４は、特定した俯角と特徴量定義テーブル５２とを基にして、特定特徴量を特定する（ステップＳ２０４）。照合部１５４は、第１特定特徴量と、各第２特定特徴量との類似度をそれぞれ算出する（ステップＳ２０５）。

照合部１５４は、第１特定特徴量との類似度が閾値以上となる第２特定特徴量の映像データをデータベース５０ａから抽出する（ステップＳ２０６）。照合部１５４は、第１特定特徴量との類似度が閾値以上となる第２特定特徴量の映像データを撮影した各カメラの各設置位置を基にして、特定対象の人物の移動軌跡を特定する（ステップＳ２０７）。照合部１５４は、照合結果を表示部１３０に出力する（ステップＳ２０８）。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、特定対象の人物の映った照合対象映像データを撮影したカメラ１０の俯角を基にして、特定特徴量を特定し、照合対象映像データから第１特定特徴量を抽出する。情報処理装置１００は、第１特定特徴量と、データベース５０ａの各映像データの第２特定特徴量とを基にして、第１特定特徴量に類似する第２特定特徴量の映像データを特定する。これによって、特定したい人物の画像を検出する精度を向上させることができる。

情報処理装置１００は、第１特定特徴量との類似度が閾値以上となる第２特定特徴量の映像データを撮影したカメラの設置位置を基にして、特定人物の移動軌跡を生成する。これによって、特定人物が移動した場所を容易に特定でき、捜査に役立てることができる。

情報処理装置１００は、学習データ５０に登録された映像データを基にして、俯角毎に、各部分特徴量のラベルの一致度合いを特定し、ラベルの一致度合いを基にして、俯角に対応する部分特徴量を選定する。これによって、俯角に応じて、特徴量の組合せを選定することができる。

次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１６は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１６に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、有線または無線ネットワークを介して、カメラ１０、外部装置等との間でデータの授受を行う通信装置２０４と、インタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａ、生成プログラム２０７ｂ、選定プログラム２０７ｃ、照合プログラム２０７ｄを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｄを読み出してＲＡＭ２０６に展開する。

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。生成プログラム２０７ｂは、生成プロセス２０６ｂとして機能する。選定プログラム２０７ｃは、選定プロセス２０６ｃとして機能する。照合プログラム２０７ｄは、照合プロセス２０６ｄとして機能する。

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。生成プロセス２０６ｂの処理は、生成部１５２の処理に対応する。選定プロセス２０６ｃの処理は、選定部１５３の処理に対応する。照合プロセス２０６ｄの処理は、照合部１５４の処理に対応する。

なお、各プログラム２０７ａ～２０７ｄについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｄを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）撮影する画像の俯角が異なるとともに設置される場所が異なる複数のカメラにより撮影された複数の第一の画像と、特定対象となる人物を含む第二の画像とを取得し、
前記第二の画像から、人物の関節に関する第一の特徴量を生成し、
前記カメラの俯角の情報と前記第一の特徴量とを基にして、前記特定対象となる人物の照合に用いる第二の特徴量を生成し、
前記第二の特徴量に基づいて、前記複数のカメラにより撮影された複数の第一の画像から、前記特定対象となる人物を有する画像を特定する
処理をコンピュータに実行させることを特徴とする特定プログラム。

（付記２）撮影した画像に含まれる人物に関するラベルを付与した前記複数の第一の画像と、前記ラベルおよびある俯角を付与した複数の第三の画像とから、前記第一の特徴量を抽出し、前記第一の特徴量から、複数種類の第二の特徴量を生成し、前記第二の特徴量が類似する第一の画像のラベルと前記第三の画像のラベルとの一致度合いを基にして、前記ある俯角で用いる第二の特徴量を選定する処理を更にコンピュータに実行させることを特徴とする付記１に記載の特定プログラム。

（付記３）前記特定する処理は、前記複数の第一の画像に対応する第二の特徴量と、前記第二の画像に対応する第二の特徴量との類似度をそれぞれ算出し、前記第二の画像に対応する第二の特徴量との類似度が閾値以上となる第二の特徴量の第一の画像を、前記特定対象となる人物を有する画像として特定することを特徴とする付記１に記載の特定プログラム。

（付記４）前記特定する処理は、前記第二の画像に対応する第二の特徴量との類似度が閾値以上となる第二の特徴量の第一の画像を撮影したカメラの設置された場所を基にして、前記特定対象の人物の移動軌跡を更に特定することを特徴とする付記３に記載の特定プログラム。

（付記５）前記特定対象となる人物は、警察が扱う事件に関連する人物である、ことを特徴とする付記１に記載の特定プログラム。

（付記６）撮影する画像の俯角が異なるとともに設置される場所が異なる複数のカメラにより撮影された複数の第一の画像と、特定対象となる人物を含む第二の画像とを取得し、
前記第二の画像から、人物の関節に関する第一の特徴量を生成し、
前記カメラの俯角の情報と前記第一の特徴量とを基にして、前記特定対象となる人物の照合に用いる第二の特徴量を生成し、
前記第二の特徴量に基づいて、前記複数のカメラにより撮影された複数の第一の画像から、前記特定対象となる人物を有する画像を特定する
処理をコンピュータが実行することを特徴とする特定方法。

（付記７）撮影した画像に含まれる人物に関するラベルを付与した前記複数の第一の画像と、前記ラベルおよびある俯角を付与した複数の第三の画像とから、前記第一の特徴量を抽出し、前記第一の特徴量から、複数種類の第二の特徴量を生成し、前記第二の特徴量が類似する第一の画像のラベルと前記第三の画像のラベルとの一致度合いを基にして、前記ある俯角で用いる第二の特徴量を選定する処理を更にコンピュータが実行することを特徴とする付記６に記載の特定方法。

（付記８）前記特定する処理は、前記複数の第一の画像に対応する第二の特徴量と、前記第二の画像に対応する第二の特徴量との類似度をそれぞれ算出し、前記第二の画像に対応する第二の特徴量との類似度が閾値以上となる第二の特徴量の第一の画像を、前記特定対象となる人物を有する画像として特定することを特徴とする付記６に記載の特定方法。

（付記９）前記特定する処理は、前記第二の画像に対応する第二の特徴量との類似度が閾値以上となる第二の特徴量の第一の画像を撮影したカメラの設置された場所を基にして、前記特定対象の人物の移動軌跡を更に特定することを特徴とする付記８に記載の特定方法。

（付記１０）前記特定対象となる人物は、警察が扱う事件に関連する人物である、ことを特徴とする付記６に記載の特定方法。

（付記１１）撮影する画像の俯角が異なるとともに設置される場所が異なる複数のカメラにより撮影された複数の第一の画像と、特定対象となる人物を含む第二の画像とを取得する取得部と、
前記第二の画像から、人物の関節に関する第一の特徴量を生成し、前記カメラの俯角の情報と前記第一の特徴量とを基にして、前記特定対象となる人物の照合に用いる第二の特徴量を生成し、前記第二の特徴量に基づいて、前記複数のカメラにより撮影された複数の第一の画像から、前記特定対象となる人物を有する画像を特定する照合部と
を有することを特徴とする情報処理装置。

（付記１２）撮影した画像に含まれる人物に関するラベルを付与した前記複数の第一の画像と、前記ラベルおよびある俯角を付与した複数の第三の画像とから、前記第一の特徴量を抽出し、前記第一の特徴量から、複数種類の第二の特徴量を生成し、前記第二の特徴量が類似する第一の画像のラベルと前記第三の画像のラベルとの一致度合いを基にして、前記ある俯角で用いる第二の特徴量を選定する選定部を更に有することを特徴とする付記１１に記載の情報処理装置。

（付記１３）前記照合部は、前記複数の第一の画像に対応する第二の特徴量と、前記第二の画像に対応する第二の特徴量との類似度をそれぞれ算出し、前記第二の画像に対応する第二の特徴量との類似度が閾値以上となる第二の特徴量の第一の画像を、前記特定対象となる人物を有する画像として特定することを特徴とする付記１１に記載の情報処理装置。

（付記１４）前記照合部は、前記第二の画像に対応する第二の特徴量との類似度が閾値以上となる第二の特徴量の第一の画像を撮影したカメラの設置された場所を基にして、前記特定対象の人物の移動軌跡を更に特定することを特徴とする付記１３に記載の情報処理装置。

（付記１５）前記特定対象となる人物は、警察が扱う事件に関連する人物である、ことを特徴とする付記１１に記載の情報処理装置。

５０ 学習データ
５１ 学習モデル
５２ 特徴量定義テーブル
５３ カメラ管理テーブル
６０ 映像バッファ
１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１５０ 制御部
１５１ 取得部
１５２ 生成部
１５３ 選定部
１５４ 照合部

Claims (7)

1. 撮影する画像の俯角が異なるとともに設置される場所が異なる複数のカメラにより撮影された複数の第一の画像と、特定対象となる人物を含む第二の画像とを取得し、
   前記第二の画像から、人物の関節に関する第一の特徴量を生成し、
   前記カメラの俯角の情報と前記第一の特徴量とを基にして、前記特定対象となる人物の照合に用いる第二の特徴量を生成し、
   前記第二の特徴量に基づいて、前記複数のカメラにより撮影された複数の第一の画像から、前記特定対象となる人物を有する画像を特定する
   処理をコンピュータに実行させることを特徴とする特定プログラム。
2. 撮影した画像に含まれる人物に関するラベルを付与した前記複数の第一の画像と、前記ラベルおよびある俯角を付与した複数の第三の画像とから、前記第一の特徴量を抽出し、前記第一の特徴量から、複数種類の第二の特徴量を生成し、前記第二の特徴量が類似する第一の画像のラベルと前記第三の画像のラベルとの一致度合いを基にして、前記ある俯角で用いる第二の特徴量を選定する処理を更にコンピュータに実行させることを特徴とする請求項１に記載の特定プログラム。
3. 前記特定する処理は、前記複数の第一の画像に対応する第二の特徴量と、前記第二の画像に対応する第二の特徴量との類似度をそれぞれ算出し、前記第二の画像に対応する第二の特徴量との類似度が閾値以上となる第二の特徴量の第一の画像を、前記特定対象となる人物を有する画像として特定することを特徴とする請求項１に記載の特定プログラム。
4. 前記特定する処理は、前記第二の画像に対応する第二の特徴量との類似度が閾値以上となる第二の特徴量の第一の画像を撮影したカメラの設置された場所を基にして、前記特定対象の人物の移動軌跡を更に特定することを特徴とする請求項３に記載の特定プログラム。
5. 前記特定対象となる人物は、警察が扱う事件に関連する人物である、ことを特徴とする請求項１に記載の特定プログラム。
6. 撮影する画像の俯角が異なるとともに設置される場所が異なる複数のカメラにより撮影された複数の第一の画像と、特定対象となる人物を含む第二の画像とを取得し、
   前記第二の画像から、人物の関節に関する第一の特徴量を生成し、
   前記カメラの俯角の情報と前記第一の特徴量とを基にして、前記特定対象となる人物の照合に用いる第二の特徴量を生成し、
   前記第二の特徴量に基づいて、前記複数のカメラにより撮影された複数の第一の画像から、前記特定対象となる人物を有する画像を特定する
   処理をコンピュータが実行することを特徴とする特定方法。
7. 撮影する画像の俯角が異なるとともに設置される場所が異なる複数のカメラにより撮影された複数の第一の画像と、特定対象となる人物を含む第二の画像とを取得する取得部と、
   前記第二の画像から、人物の関節に関する第一の特徴量を生成し、前記カメラの俯角の情報と前記第一の特徴量とを基にして、前記特定対象となる人物の照合に用いる第二の特徴量を生成し、前記第二の特徴量に基づいて、前記複数のカメラにより撮影された複数の第一の画像から、前記特定対象となる人物を有する画像を特定する照合部と
   を有することを特徴とする情報処理装置。

Images