JP2020107354A - 解析装置、解析方法及びプログラム - Google Patents

Abstract

【課題】本発明は、画像内で抽出された人物の特性を推定するための新たな技術を提供することを課題とする。【解決手段】上記課題を解決するため、動画データを解析することで所定エリアに存在する人物を抽出する人物抽出部１１と、人物が所定エリアに存在しなくなってから再び所定エリアに現れるまでの時間である再出現時間を算出する時間算出部１２と、再出現時間に基づき、抽出された人物の特性を推定する推定部１３と、を有する解析装置１０を提供する。【選択図】図２

Description

本発明は、解析装置、解析方法及びプログラムに関する。

関連する技術が、特許文献１に開示されている。特許文献１には、監視範囲の情景を撮像した画像から人の顔を検出し、その顔の大きさや、監視範囲に継続して滞在した時間や、監視範囲に現れた回数等に基づき、対策処理の要否や程度を判断する不審者対策システムが開示されている。なお、上記時間や回数が大きくなるほど、怪しさが高くなることを想定している。

特許文献２及び３には、複数のノードが階層化されたインデックスを生成するインデックス生成装置が開示されている。

特開２００６−１１７２８号公報 国際公開第２０１４／１０９１２７号 特開２０１５−４９５７４号公報

特許文献１に開示の技術のように、継続して滞在した時間や現れた回数が大きくなるほど怪しいと判定する場合、誤った判定を行う可能性がある。例えば、監視範囲で継続的に作業する人物等を怪しいと判定してしまう。このような不都合を軽減するため、様々な判定基準が望まれる。

本発明は、画像内で抽出された人物の特性を推定するための新たな技術を提供することを課題とする。

本発明によれば、
動画データを解析することで所定エリアに存在する人物を抽出する人物抽出手段と、
前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出手段と、
前記再出現時間に基づき、抽出された前記人物の特性を推定する推定手段と、
を有する解析装置が提供される。

また、本発明によれば、
コンピュータが、
動画データを解析することで所定エリアに存在する人物を抽出する人物抽出工程と、
前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出工程と、
前記再出現時間に基づき、抽出された前記人物の特性を推定する推定工程と、
を実行する解析方法が提供される。

また、本発明によれば、
コンピュータを、
動画データを解析することで所定エリアに存在する人物を抽出する人物抽出手段、
前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出手段、
前記再出現時間に基づき、抽出された前記人物の特性を推定する推定手段、
として機能させるプログラムが提供される。

本発明によれば、画像内で抽出された人物の特性を推定するための新たな技術が実現される。

本実施形態の装置のハードウエア構成の一例を概念的に示す図である。 本実施形態の解析装置の機能ブロック図の一例である。 本実施形態の連続出現時間及び再出現時間の算出方法の一例を説明するための図である。 本実施形態の連続出現時間及び再出現時間の算出方法の一例を説明するための図である。 本実施形態で用いることができるインデックス情報の一例を説明するための図である。 本実施形態の解析装置が扱う情報の一例を模式的に示す図である。 本実施形態の解析装置が扱う情報の一例を模式的に示す図である。 本実施形態の解析装置が扱う情報の一例を模式的に示す図である。 本実施形態の解析装置が扱う情報の一例を模式的に示す図である。 本実施形態の解析装置が扱う情報の一例を模式的に示す図である。 本実施形態の解析装置の処理の流れの一例を示すフローチャートである。 本実施形態の解析装置の機能ブロック図の一例である。 本実施形態の解析装置が扱う情報の一例を模式的に示す図である。 本実施形態の解析装置の機能ブロック図の一例である。 本実施形態の解析装置が提供する設定画面の一例を示す図である。 本実施形態の解析装置が提供する設定画面の一例を示す図である。

まず、本実施形態の装置（解析装置）のハードウエア構成の一例について説明する。本実施形態の装置が備える各部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、本実施形態の装置のハードウエア構成を例示するブロック図である。図１に示すように、装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路には、様々なモジュールが含まれる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行う。

以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。

＜第１の実施形態＞
まず、本実施形態の概要を説明する。本実施形態の解析装置は、動画データを解析して人物を抽出すると、抽出した人物毎に、所定エリアに連続的に存在する時間（連続出現時間）、及び、所定エリアから外れた（所定エリアにいなくなった）後に再び所定エリアに現れるまでの時間（再出現時間）を算出する。そして、解析装置は、連続出現時間及び再出現時間に基づき、抽出した人物の特性を推定する。連続出現時間及び再出現時間に基づき推定される人物の特性は、コンテキストや人物の状況から把握される性質の情報であり、例えば、旅行者、通行人、スリ、作業者、出稼ぎ、不審人物、デモ参加者、ホームレス等が例示される。なお、ここでの例示はあくまで一例であり、これらに限定されない。
以下、詳細に説明する。

図２に、本実施形態の解析装置１０の機能ブロック図の一例を示す。図示するように、解析装置１０は、人物抽出部１１と、時間算出部１２と、推定部１３とを有する。

人物抽出部１１は、動画データを解析し、動画データ内から人物を抽出する。人物を抽出する処理は、あらゆる技術を採用できる。

人物抽出部１１には、例えば、所定位置に設置された１つ又は複数のカメラ（例：監視カメラ）により撮影された動画データが入力される。人物抽出部１１は、例えば当該動画データを時系列順に処理し、動画データ内から人物を抽出する。

人物抽出部１１は、動画データに含まれるすべてのフレームを処理対象としてもよいし、所定フレーム毎に処理対象としてもよい。そして、人物抽出部１１は、処理対象のフレームから人物を抽出する。また、人物抽出部１１は、抽出した人物の外観の特徴量（例：顔の特徴量）を抽出する。

時間算出部１２は、人物抽出部１１により抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、所定エリアから外れた後に再び所定エリアに現れるまでの再出現時間を算出する。このような連続出現時間及び再出現時間の算出は、あらゆる技術を採用して実現できる。以下、一例を説明するが、これらに限定されない。

一例として、動画データに連続的に映る時間を連続出現時間とし、動画データに映らなくなった後再び映るようになるまでの時間を再出現時間としてもよい。すなわち、処理対象のｎ番目のフレームをＦｎとした場合、例えばＦ１からＦ５００までのフレーム各々からある人物が抽出され、Ｆ５０１からＦ１５００までのフレーム各々からは当該人物が抽出されず、Ｆ１５０１のフレームで再び当該人物が抽出されたとする。この場合、Ｆ１からＦ５００までの経過時間を連続出現時間とし、Ｆ５０１からＦ１５０１までの経過時間を再出現時間としてもよい。

この例の場合、カメラで撮影されるエリアが所定エリアとなる。例えば、次に説明するような方法で連続出現時間及び再出現時間を算出することで、所定エリアを、カメラで撮影されるエリア及びその周辺まで広げることが可能となる。

ここでは、１つのカメラで撮影された動画データを処理対象とする。時間算出部１２は、人物Ａ（第１の人物）が動画データ内で抽出された後、次に動画データ内で抽出されるまでの経過時間ｔを算出する。そして、経過時間ｔが予め定められた所定時間ｔｓ（設計的事項）より小さい場合（又は以下である場合）、第１の人物は、その経過時間ｔの間、所定エリアに連続的に存在すると判断する。一方、経過時間ｔが所定時間ｔｓ以上である場合（又はより大である場合）、第１の人物は、その経過時間ｔの間、所定エリアに存在していないと判断する。

図３を用いて具体例を説明する。人物Ａが１回目に抽出されてから２回目に抽出されるまでの経過時間ｔ１は、所定時間ｔｓより小さい。このため、時間算出部１２は、１回目に抽出されてから２回目に抽出されるまでの間（経過時間ｔ１）、人物Ａは所定エリアに連続的に存在したと判断する。

次に、人物Ａが２回目に抽出されてから３回目に抽出されるまでの経過時間ｔ２は、所定時間ｔｓより小さい。このため、時間算出部１２は、２回目に抽出されてから３回目に抽出されるまでの間（経過時間ｔ２）、人物Ａは所定エリアに連続的に存在したと判断する。そして、時間算出部１２は、所定時間ｔｓより小さい状態が連続する間（ここでは、１回目に抽出されてから３回目に抽出されるまでの間）、人物Ａは所定エリアに連続的に存在したと判断する。

次に、人物Ａが３回目に抽出されてから４回目に抽出されるまでの経過時間ｔ３は、所定時間ｔｓより大きい。このため、時間算出部１２は、３回目に抽出されてから４回目に抽出されるまでの間（経過時間ｔ３）、人物Ａは所定エリアに存在していないと判断する。そして、時間算出部１２は、ｔ３を、再出現時間とする。また、時間算出部１２は、（ｔ１＋ｔ２）を、連続出現時間とする。

他の一例を説明する。ここでは、複数のカメラで撮影された動画データを処理対象とする。複数のカメラはいずれも、同じ所定エリア内の所定箇所を撮影する。例えば、複数のカメラはいずれも○○公園等の同じエリアに設置されてもよい。複数のカメラ各々が撮影する撮影エリアは、互いに一部が重なってもよいし、互いに重ならなくてもよい。

時間算出部１２は、第１の人物がある第１のカメラで撮影された動画データ内で抽出された後、いずれかのカメラ（第１のカメラであってもよいし、他のカメラであってもよい）で撮影された動画データ内で次に抽出されるまでの経過時間ｔを算出する。そして、経過時間ｔが予め定められた所定時間ｔｓ（設計的事項）より小さい場合（又は以下である場合）、第１の人物は、経過時間ｔの間、所定エリアに連続的に存在すると判断する。一方、経過時間ｔが所定時間ｔｓ以上である場合（又はより大である場合）、第１の人物は、経過時間ｔの間、所定エリアに存在していないと判断する。

図４を用いて具体例を説明する。人物Ａは、カメラＡ（Ｃａｍ Ａ）の動画データ内で抽出された後（１回目の抽出）、カメラＢ（Ｃａｍ Ｂ）の動画データ内で抽出されたとする（２回目の抽出）。１回目の抽出から２回目の抽出までの経過時間ｔ１は、所定時間ｔｓより小さい。このため、時間算出部１２は、１回目に抽出されてから２回目に抽出されるまでの間（経過時間ｔ１）、人物Ａは所定エリアに連続的に存在したと判断する。

次に、人物ＡがカメラＢ（Ｃａｍ Ｂ）の動画データ内で２回目に抽出されてからカメラＣ（Ｃａｍ Ｃ）の動画データ内で次に（３回目）に抽出されるまでの経過時間ｔ２は、所定時間ｔｓより小さい。このため、時間算出部１２は、２回目に抽出されてから３回目に抽出されるまでの間（経過時間ｔ２）、人物Ａは所定エリアに連続的に存在したと判断する。そして、時間算出部１２は、所定時間ｔｓより小さい状態が連続する間（１回目に抽出されてから３回目に抽出されるまでの間）、人物Ａは所定エリアに連続的に存在したと判断する。

次に、人物ＡがカメラＣ（Ｃａｍ Ｃ）の動画データ内で３回目に抽出されてからカメラＢ（Ｃａｍ Ｃ）の動画データ内で次に（４回目）に抽出されるまでの経過時間ｔ３は、所定時間ｔｓより大きい。このため、時間算出部１２は、３回目に抽出されてから４回目に抽出されるまでの間（経過時間ｔ３）、人物Ａは所定エリアに存在していないと判断する。そして、時間算出部１２は、ｔ３を、再出現時間とする。また、時間算出部１２は、（ｔ１＋ｔ２）を、連続出現時間とする。

以下では、図３及び図４を用いて説明した算出方法を前提に説明する。

ところで、上記処理を行うためには、あるフレームから抽出された人物と、それ以前のフレームで抽出された人物とが同一人物であるか判断する必要がある。それ以前のフレームで抽出されたすべての人物各々の外観の特徴量と、あるフレームから抽出されたすべての人物各々の外観の特徴量とのすべてのペアを比較することで、上記判断を行ってもよい。しかし、この処理の場合、蓄積された人物のデータが増えるほど、比較するペアの数が膨大となり、処理負担が大きくなる。そこで、例えば、次のような方法を採用してもよい。

例えば、抽出された人物を図５のようにインデックス化し、当該インデックスを用いて、それ以前に抽出された人物と同一人物か否かの判定を行ってもよい。当該インデックスを用いることで、処理速度を高速化できる。当該インデックスの詳細及び生成方法は、特許文献２及び３に開示されている。以下、図５のインデックスの構成及びその利用方法を簡単に説明する。

図５に示す抽出ＩＤ（identifier）：「Ｆ○○○−○○○○」は、各フレームから抽出された人物各々に付される識別情報である。Ｆ○○○がフレーム識別情報であり、ハイフン以下が各フレームから抽出された人物各々の識別情報である。同一人物が異なるフレームから抽出された場合、各々に異なる抽出ＩＤが付されることとなる。

第３層には、それまでに処理されたフレームから得られた全ての抽出ＩＤ各々に対応したノードが配置される。そして、第３層に配置された複数のノードは、類似度（外観の特徴量の類似度）が第１のレベル以上のもの同士でまとめてグループ化される。第３層では、同一人物に関すると判断される複数の抽出ＩＤどうしでグループ化されている。すなわち、上記類似度の第１のレベルは、このようなグループ化を実現可能とする値に設定されている。このような第３層の各グループに対応して、人物識別情報（人物ＩＤ）が付される。

第２層には、第３層の複数のグループ各々から選択された１つのノード（代表）が配置され、第３層の当該グループと紐付けられる。第２層に配置された複数のノードは、類似度が第２のレベル以上のもの同士でまとめてグループ化される。なお、類似度の第２のレベルは、上記第１のレベルよりも低い。すなわち、第１のレベルを基準にした場合にはグループ化されないノード同士が、第２のレベルを基準にした場合にはグループ化され得る。

第１層には、第２層の複数のグループ各々から選択された１つのノード（代表）が配置され、第２層の当該グループと紐付けられる。

時間算出部１２は、例えば、それまでの処理で得られた複数の抽出ＩＤを、図５に示すようにインデックス化する。

そして、新たなフレームから新たな抽出ＩＤが得られると、当該情報を用いて、当該抽出ＩＤに対応する人物がそれ以前に抽出された人物と同一人物であるか否かを判断する。また、新たな抽出ＩＤを当該インデックスに追加する。以下、説明する。

まず、時間算出部１２は、第１層に位置する複数の抽出ＩＤを比較対象とする。人物抽出部１１は、新たな抽出ＩＤと、第１層に位置する複数の抽出ＩＤ各々とでペアを作成する。そして、人物抽出部１１は、ペア毎に類似度（外観の特徴量の類似度）を算出し、算出した類似度が第１の閾値以上（所定レベル以上類似）であるか判定する。

第１層に、類似度が第１の閾値以上である抽出ＩＤが存在しない場合、時間算出部１２は、新たな抽出ＩＤに対応する人物は、それ以前に抽出された人物と同一人物でないと判断する。そして、時間算出部１２は、新たな抽出ＩＤを第１層乃至第３層に追加し、それらを互いに紐付ける。第２層及び第３層においては、追加された新たな抽出ＩＤにより新たなグループが生成される。また、第３層の新たなグループに対応して新たな人物ＩＤが発行される。そして、その人物ＩＤを、新たな抽出ＩＤに対応する人物の人物ＩＤとして特定する。

一方、第１層に、類似度が第１の閾値以上である抽出ＩＤが存在する場合、時間算出部１２は、比較対象を第２層に移す。具体的には、「類似度が第１の閾値以上であると判定された第１層の抽出ＩＤ」に紐付けられた第２層のグループを、比較対象とする。

そして、時間算出部１２は、新たな抽出ＩＤと、第２層の処理対象のグループに含まれる複数の抽出ＩＤ各々とでペアを作成する。そして、時間算出部１２は、ペア毎に類似度を算出し、算出した類似度が第２の閾値以上であるか判定する。なお、第２の閾値は、第１の閾値よりも高い。

第２層の処理対象のグループに、類似度が第２の閾値以上である抽出ＩＤが存在しない場合、時間算出部１２は、新たな抽出ＩＤに対応する人物は、それ以前に抽出された人物と同一人物でないと判断する。そして、時間算出部１２は、新たな抽出ＩＤを第２層及び第３層に追加し、互いに紐付ける。第２層においては、新たな抽出ＩＤは処理対象のグループに追加される。第３層においては、追加された新たな抽出ＩＤにより新たなグループが生成される。また、第３層の新たなグループに対応して新たな人物ＩＤが発行される。そして、その人物ＩＤを、新たな抽出ＩＤに対応する人物の人物ＩＤとして特定する。

一方、第２層の処理対象のグループに、類似度が第２の閾値以上である抽出ＩＤが存在する場合、時間算出部１２は、新たな抽出ＩＤに対応する人物は、それ以前に抽出された人物と同一人物であると判断する。そして、新たな抽出ＩＤを、「類似度が第２の閾値以上であると判定された第２層の抽出ＩＤ」に紐付けられた第３層のグループに属させる。また、第３層のそのグループに対応する人物ＩＤを、新たな抽出ＩＤに対応する人物の人物ＩＤとして特定する。

例えば、以上のようにして、新たなフレームから抽出された１つ又は複数の抽出ＩＤ各々に、人物ＩＤを対応付けることができる。

時間算出部１２は、抽出された人物ＩＤごとに、例えば図６に示すような情報を管理してもよい。そして、当該情報を用いて、連続出現時間及び再出現時間を算出してもよい。図示する情報は、人物ＩＤと、連続出現時間と、最新の抽出タイミングとが互いに対応付けられている。

連続出現時間及び最新の抽出タイミングの値は、随時更新される。例えば、ある人物が初めて動画データから抽出され、新たな人物ＩＤが図６に示す情報に追加された際、連続出現時間に「０」が記録される。また、最新の抽出タイミングとして、その抽出タイミングが記録される。抽出タイミングは、例えば、年月日時刻情報で表される。当該抽出タイミングは、例えば、図３の１回目の抽出に対応する。その後、次の抽出待ちとなる。

その後、当該人物が２回目に抽出された場合、上記説明の通り、経過時間ｔ１と所定時間ｔｓとの大小比較により、経過時間ｔ１の間連続的に存在したか否かが判断される。経過時間ｔ１は、例えば、最新の抽出タイミングの欄の値、及び、今回の抽出タイミングに基づき算出される。存在したと判断された場合、連続出現時間の値が更新される。具体的には、その時点で記録されている値と、経過時間ｔ１との合計が、当該欄に記録される。ここでは、ｔ１（＝０＋ｔ１）が記録される。そして、最新の抽出タイミングが今回の抽出タイミングに更新される。その後、次の抽出待ちとなる。

その後、当該人物が３回目に抽出された場合、上記説明の通り、経過時間ｔ２と所定時間ｔｓとの大小比較により、経過時間ｔ２の間連続的に存在したか否かが判断される。経過時間ｔ２は、例えば、最新の抽出タイミングの欄の値、及び、今回の抽出タイミングに基づき算出される。存在したと判断された場合、連続出現時間の値が更新される。具体的には、その時点で記録されている値（ｔ１）と、経過時間ｔ２との合計（ｔ１＋ｔ２）が、当該欄に記録される。そして、最新の抽出タイミングが今回の抽出タイミングに更新される。その後、次の抽出待ちとなる。

その後、当該人物が４回目に抽出された場合、上記説明の通り、経過時間ｔ３と所定時間ｔｓとの大小比較により、経過時間ｔ３の間連続的に存在したか否かが判断される。経過時間ｔ３は、例えば、最新の抽出タイミングの欄の値、及び、今回の抽出タイミングに基づき算出される。存在していないと判断された場合、その時点の連続出現時間の値が、当該人物の連続出現時間として確定される。また、経過時間ｔ３が当該人物の再出現時間として確定される。そして、確定された連続出現時間及び再出現時間のペアが、推定部１３に入力される。

また、連続出現時間の値が更新される。具体的には、「０」が当該欄に記録される。そして、最新の抽出タイミングが今回の抽出タイミングに更新される。その後、次の抽出待ちとなる。以降、同様の処理を繰り返す。

図２に戻り、推定部１３は、連続出現時間及び再出現時間に基づき、抽出された人物の特性を推定する。推定部１３は、連続出現時間と再出現時間との関係に基づいて、人物の特性を推定する。推定部１３は、時間算出部１２から入力された連続出現時間及び再出現時間のペアに基づき、その人物の特性を推定する。

例えば、推定部１３は、連続出現時間及び再出現時間のペアと、推定される特性とを対応付けた対応情報（連続出現時間と再出現時間との関係を示す対応情報）に基づき、人物の特性（以下、人物特性という場合がある）を推定することができる。

図７に、対応情報の一例を示す。当該対応情報は、一方の軸（図の場合、横軸）に連続出現時間を取り、他方の軸（図の場合、縦軸）に再出現時間を取ったグラフである。そして、グラフ上のエリアを複数のエリアに分割し、各エリアに人物特性が対応付けられている。なお、図示するエリア分けや、各エリアに対応させた人物特性は発明を説明するための概念図であり、対応情報は当該内容に限定されない。

当該対応情報を用いる場合、推定部１３は、図示するように、連続出現時間及び再出現時間のペアがどの人物特性のエリア内に位置するかを判断することで、人物特性を推定する。

他の例として、推定部１３は、出現時の時間帯毎に内容が異なる対応情報に基づき、人物特性を推定してもよい。

すなわち、推定部１３は、図８及び図９に示すように、時間帯毎の対応情報を保持しておいてもよい。図８は午前４時から午後１０時の時間帯に対応し、図９は午後１０時から午前４時の時間帯に対応する。図８及び図９の対応情報を比較すると、その内容が互いに異なることが分かる。推定部１３は、抽出した人物が出現している時間帯に基づき一の対応情報を決定し、決定した対応情報に基づき、上記と同様にして、人物特性を推定してもよい。

例えば、推定部１３は、抽出した人物が出現している時間帯の中の代表タイミングが属する時間帯に対応する対応情報を利用してもよい。代表タイミングは、例えば、最初に抽出されたタイミング（図３の例の場合、１回目の抽出タイミング）であってもよいし、最後に抽出されたタイミング（図３の例の場合、３回目の抽出タイミング）であってもよいし、最初に抽出されたタイミングと最後に抽出されたタイミングの真ん中のタイミングであってもよいし、その他であってもよい。

その他、推定部１３は、各対応情報に対応する時間帯が、出現している時間帯に含まれる時間を算出してもよい。そして、含まれる時間が大きい方の対応情報を利用してもよい。例えば、出現時間帯が午前２時から午前５時である場合、図８の対応情報に対応する時間帯（午前４時から午後１０時）が出現時間帯に含まれる時間は、午前４時から午前５時までの１時間である。一方、図９の対応情報に対応する時間帯（午後１０時から午前４時）が出現時間帯に含まれる時間は、午前２時から午前４時までの２時間である。この場合、推定部１３は、図９の対応情報を利用してもよい。

なお、上記例では、２つの時間帯に対応する２つの対応情報を利用する例を説明したが、その数は設計的事項であり、これに限定されない。

その他、推定部１３は、連続出現時間及び再出現時間と、予め保持している確率分布を示すデータと、対応情報とに基づき、人物特性を推定してもよい。

例えば、図１０に示すように、推定部１３は、連続出現時間及び再出現時間のペアに対応する箇所を、確率分布のピーク位置とする。そして、推定部１３は、確率が０より大の部分を内包するエリアに対応する人物特性をすべて抽出する。また、確率分布のデータに基づき、各人物特性に該当する確率を算出する。例えば、推定部１３は、各エリアに内包される確率の中の統計値（例：最大値、中間値）を、その人物特性に該当する確率として算出してもよい。

図２に示していないが、解析装置１０は、通知部を有してもよい。通知部は、抽出されたある人物が所定の人物特性（例：不審者）であると推定されると、その人物及びその旨をオペレータに通知する。通知は、ディスプレイ、メーラー、スピーカ、警告ランプ、プリンターなどのあらゆる出力装置を介して実現できる。当該通知において、人物の顔写真をオペレータに通知してもよい。

また、図２に示していないが、解析装置１０は、推定部１３の推定結果を蓄積する蓄積部、及び、推定結果を出力する出力部を有してもよい。蓄積部は、人物ＩＤ及び推定結果を対応付けて記憶する。また、蓄積部は、人物ＩＤに対応付けて１つ又は複数の画像データ（その人物が映る画像データ）を記憶してもよい。また、蓄積部は、各人物の出現タイミング（年月日時刻情報）を記憶してもよい。

そして、出力部は、オペレータからの操作に従い、所定の情報を蓄積部から取得し、出力してもよい。例えば、人物特性を指定する入力を受付けると、その人物特性に対応する人物を一覧表示してもよい。その他、人物特性及び期間を指定する入力を受付けると、その期間内にその人物特性を推定された人物を一覧表示してもよい。一覧表示は、各人物に対応する画像データを用いて実現されてもよい。

次に、図１１のフローチャートを用いて、本実施形態の解析装置１０の処理の流れの一例を説明する。

人物抽出処理Ｓ１０では、人物抽出部１１が動画データを解析し、人物を抽出する。

連続出現時間及び再出現時間算出処理Ｓ１１では、時間算出部１２が、Ｓ１０で抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、所定エリアから外れた後に再び所定エリアに現れるまでの再出現時間を算出する。

人物特性推定処理Ｓ１２では、推定部１３が、Ｓ１１で算出された連続出現時間及び再出現時間に基づき、抽出された人物の特性を推定する。

以上説明した本実施形態によれば、所定エリアに連続的に存在する連続出現時間、及び、所定エリアから外れた後に再び所定エリアに現れるまでの再出現時間に基づき、人物特性を推定することができる。すなわち、再出現時間という新たな情報に基づき、人物特性を推定することができる。これにより、推定精度の向上、推定技術の進歩等が期待される。

また、本実施形態によれば、連続出現時間及び再出現時間のペアに基づき、人物特性を推定することができる。本実施形態の場合、「連続出現時間が多くなるほど怪しい」という基準でなく、連続出現時間の値と再出現時間の値のペアの位置（図７の２次元座標上の位置）が所定範囲に含まれる場合、ある人物特性（例えば不審人物）であると推定する。このように、複数の情報（連続出現時間及び再出現時間）に基づき推定することで、推定精度を高めることができる。

また、本実施形態によれば、出現時の時間帯毎に内容が異なる複数の対応情報に基づき、人物特性を推定することができる。朝や昼に出現する人物と、夜中に出現する人物とでは、人物特性は大きく異なると推定される。このような出現タイミングを考慮して人物特性を推定することで、推定精度を高めることができる。

また、本実施形態によれば、確率分布を用いて、人物特性を推定することができる。推定部１３による出力結果はあくまで推定結果であり、１００％正しい結果とするのは難しい。このため、本来不審者として推定すべき人物を、旅行者等他の人物特性として推定してしまう可能性がある。確率分布を用いて可能性のある人物特性を推定することで、可能性のある人物特性を広く推定することが可能となる。例えば、上記例の場合、旅行者のみならず、不審者をも可能性のある人物特性として推定することができる。

また、本実施形態では、図３及び図４を用いて説明したような方法で、連続出現時間及び再出現時間を算出することができる。この算出方法の場合、カメラで撮影されるエリア及びその周辺を所定エリアとして、連続出現時間及び再出現時間を算出することができる。すなわち、カメラで撮影されないエリアまで所定エリアを広げることができる。

本実施形態の変形例として、対応情報は、必ずしも、図７等に示すようにあらゆる連続出現時間及び再出現時間のペアに対応して人物特性が対応付けられている必要はない。例えば、対応情報は、図７に示す情報の一部の人物特性（例：不審人物及びスリ）のみを含む情報であってもよい。このような対応情報を用いた場合、連続出現時間及び再出現時間の値がその人物特性（例：不審人物及びスリ）に対応する場合、その人物特性が推定される一方、連続出現時間及び再出現時間の値がその人物特性（例：不審人物及びスリ）に対応しない場合、その人物特性でないことが推定されることとなる。当該変形例は、以下のすべての実施形態に適用可能である。

＜第２の実施形態＞
本実施形態の解析装置１０は、第１の実施形態で説明した手法で推定した人物特性と、各人物に対応付けて蓄積する。ある人物が所定エリアに繰り返し現れた場合、その都度連続出現時間及び再出現時間が算出され、算出結果に基づきその都度人物特性が推定される。解析装置１０は、当該推定結果に基づき、人物毎に、各人物特性と推定された回数をカウントする。そして、解析装置１０は、カウント数に基づき、推定された各人物特性の信頼度を算出する。以下、詳細に説明する。

図１２に、本実施形態の解析装置１０の機能ブロック図の一例を示す。図示するように、解析装置１０は、人物抽出部１１と、時間算出部１２と、推定部１３と、カウント部１４と、信頼度算出部１５とを有する。図示しないが、解析装置１０は、第１の実施形態で説明した通知部、蓄積部及び出力部をさらに有してもよい。人物抽出部１１、時間算出部１２、推定部１３、通知部、蓄積部及び出力部の構成は、第１の実施形態と同様である。

カウント部１４、各人物に対応して推定された人物特性各々の推定された回数をカウントする。

例えば、カウント部１４は、図１３に示すような情報を管理する。図１３に示す情報は、人物ＩＤと、各人物特性の推定回数とを対応付けた情報である。カウント部１４は、推定部１３による推定結果に基づき、当該情報を更新する。

時間算出部１２は、ある人物が所定エリアに繰り返し現れた場合、その都度、連続出現時間及び再出現時間を算出することとなる。そして、推定部１３は、その都度算出された連続出現時間及び再出現時間に基づき、その都度、人物特性を推定する。

カウント部１４は、推定部１３によりこのように推定された結果に基づき、図１３に示す情報を更新する。

信頼度算出部１５は、ある人物に対応して推定された人物特性各々の推定された回数に基づき、推定された人物特性の信頼度を算出する。信頼度算出部１５は、推定された回数が多い程、高い信頼度を算出する。

出力部は、推定部１３の推定結果及び信頼度算出部１５の算出結果に基づき所定情報を出力してもよい。出力部は、オペレータからの操作に従い、所定の情報を出力することができる。

例えば、人物特性及び信頼度の条件（例：信頼度が所定レベル以上）を指定する入力を受付けると、所定レベル以上の信頼度でその人物特性と推定される人物を一覧表示してもよい。一覧表示は、各人物に対応する画像データを用いて実現されてもよい。

以上説明した本実施形態によれば、第１の実施形態と同様な作用効果を実現できる。また、各人物に対応して蓄積した多数の推定結果に基づき、推定した各人物特性の信頼度を算出することができる。結果、本実施形態によれば、各人物の人物特性の推定精度を高めることができる。

＜第３の実施形態＞
本実施形態の解析装置１０は、連続出現時間及び再出現時間のペアと、人物特性とを対応付けた対応情報を設定する機能を提供する。

図１４に、本実施形態の解析装置１０の機能ブロック図の一例を示す。図示するように、解析装置１０は、人物抽出部１１と、時間算出部１２と、推定部１３と、設定部１６とを有する。図示しないが、解析装置１０は、さらに、カウント部１４、信頼度算出部１５、通知部、蓄積部及び出力部を有してもよい。人物抽出部１１、時間算出部１２、カウント部１４、信頼度算出部１５、通知部、蓄積部及び出力部の構成は、第１及び第２の実施形態と同様である。

設定部１６は、連続出現時間及び再出現時間のペアと、人物特性とを対応付けた対応情報を設定する機能を有する。設定部１６は、ユーザ入力に従い、対応情報を設定することができる。

例えば、設定部１６は、図１５に示すような設定画面をディスプレイ等の出力装置を介して出力してもよい。当該設定画面は、人物特性の名称、連続出現時間の開始時間及び終了時間、及び、再出現時間の開始時間及び終了時間の入力を受付ける画面である。

その他、設定部１６は、図１６に示すような設定画面をディスプレイ等の出力装置を介して出力してもよい。当該設定画面は、一方の軸（図の場合、横軸）に連続出現時間を取り、他方の軸（図の場合、縦軸）に再出現時間を取ったグラフ上で所定のエリアの指定、及び、そのエリアに対応する人物特性の名称の入力を受付ける画面である。

推定部１３は、設定部１６により設定された対応情報に基づき、人物特性を推定する。推定部１３のその他の構成は、第１及び第２の実施形態と同様である。

以上説明した本実施形態によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、各種人物特性を自由に設定することができる。動画データから検出すべき人物の人物特性を設定することで、当該人物特性の人物を検出することが可能となる。

以下、参考形態の例を付記する。
１． 動画データを解析し、人物を抽出する人物抽出手段と、
抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、再び前記所定エリアに現れるまでの再出現時間を算出する時間算出手段と、
前記連続出現時間及び前記再出現時間に基づき、抽出された人物の特性を推定する推定手段と、
を有する解析装置。
２． １に記載の解析装置において、
前記推定手段は、前記連続出現時間と前記再出現時間との関係に基づいて、前記人物の特性を推定する解析装置。
３． １又は２に記載の解析装置において、
各人物に対応して推定された前記特性各々の推定された回数をカウントするカウント手段と、
ある人物に対応して推定された前記特性各々の推定された回数に基づき、推定された前記特性の信頼度を算出する信頼度算出手段と、
をさらに有する解析装置。
４． １から３のいずれかに記載の解析装置において、
前記推定手段は、前記連続出現時間及び前記再出現時間のペアと、推定される前記特性とを対応付けた対応情報に基づき、前記人物の特性を推定する解析装置。
５． ４に記載の解析装置において、
前記推定手段は、出現時の時間帯毎に内容が異なる前記対応情報に基づき、前記人物の特性を推定する解析装置。
６． ４又は５に記載の解析装置において、
前記推定手段は、前記連続出現時間及び前記再出現時間と、確率分布と、前記対応情報とに基づき、前記人物の特性を推定する解析装置。
７． １から６のいずれかに記載の解析装置において、
前記時間算出手段は、
第１の人物が前記動画データ内で抽出された後、次に前記動画データ内で抽出されるまでの経過時間ｔが所定時間ｔｓより小さい場合、前記第１の人物は、前記経過時間ｔの間、前記所定エリアに連続的に存在すると判断し、
前記経過時間ｔが前記所定時間ｔｓ以上である場合、前記第１の人物は、前記経過時間ｔの間、前記所定エリアに存在していないと判断する解析装置。
８． コンピュータが、
動画データを解析し、人物を抽出する人物抽出工程と、
抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、再び前記所定エリアに現れるまでの再出現時間を算出する時間算出工程と、
前記連続出現時間及び前記再出現時間に基づき、抽出された人物の特性を推定する推定工程と、
を実行する解析方法。
８−２． ８に記載の解析方法において、
前記推定工程では、前記連続出現時間と前記再出現時間との関係に基づいて、前記人物の特性を推定する解析方法。
８−３． ８又は８−２に記載の解析方法において、
前記コンピュータが、
各人物に対応して推定された前記特性各々の推定された回数をカウントするカウント工程と、
ある人物に対応して推定された前記特性各々の推定された回数に基づき、推定された前記特性の信頼度を算出する信頼度算出工程と、
をさらに実行する解析方法。
８−４． ８から８−３のいずれかに記載の解析方法において、
前記推定工程では、前記連続出現時間及び前記再出現時間のペアと、推定される前記特性とを対応付けた対応情報に基づき、前記人物の特性を推定する解析方法。
８−５． ８−４に記載の解析方法において、
前記推定工程では、出現時の時間帯毎に内容が異なる前記対応情報に基づき、前記人物の特性を推定する解析方法。
８−６． ８−４又は８−５に記載の解析方法において、
前記推定工程では、前記連続出現時間及び前記再出現時間と、確率分布と、前記対応情報とに基づき、前記人物の特性を推定する解析方法。
８−７． ８から８−６のいずれかに記載の解析方法において、
前記時間算出工程では、
第１の人物が前記動画データ内で抽出された後、次に前記動画データ内で抽出されるまでの経過時間ｔが所定時間ｔｓより小さい場合、前記第１の人物は、前記経過時間ｔの間、前記所定エリアに連続的に存在すると判断し、
前記経過時間ｔが前記所定時間ｔｓ以上である場合、前記第１の人物は、前記経過時間ｔの間、前記所定エリアに存在していないと判断する解析方法。
９． コンピュータを、
動画データを解析し、人物を抽出する人物抽出手段、
抽出された人物毎に、所定エリアに連続的に存在する連続出現時間、及び、再び前記所定エリアに現れるまでの再出現時間を算出する時間算出手段、
前記連続出現時間及び前記再出現時間に基づき、抽出された人物の特性を推定する推定手段、
として機能させるプログラム。
９−２． ９に記載のプログラムにおいて、
前記推定手段は、前記連続出現時間と前記再出現時間との関係に基づいて、前記人物の特性を推定するプログラム。
９−３． ９又は９−２に記載のプログラムにおいて、
前記コンピュータを、
各人物に対応して推定された前記特性各々の推定された回数をカウントするカウント手段、
ある人物に対応して推定された前記特性各々の推定された回数に基づき、推定された前記特性の信頼度を算出する信頼度算出手段、
としてさらに機能させるプログラム。
９−４． ９から９−３のいずれかに記載のプログラムにおいて、
前記推定手段は、前記連続出現時間及び前記再出現時間のペアと、推定される前記特性とを対応付けた対応情報に基づき、前記人物の特性を推定するプログラム。
９−５． ９−４に記載のプログラムにおいて、
前記推定手段は、出現時の時間帯毎に内容が異なる前記対応情報に基づき、前記人物の特性を推定するプログラム。
９−６． ９−４又は９−５に記載のプログラムにおいて、
前記推定手段は、前記連続出現時間及び前記再出現時間と、確率分布と、前記対応情報とに基づき、前記人物の特性を推定するプログラム。
９−７． ９から９−６のいずれかに記載のプログラムにおいて、
前記時間算出手段は、
第１の人物が前記動画データ内で抽出された後、次に前記動画データ内で抽出されるまでの経過時間ｔが所定時間ｔｓより小さい場合、前記第１の人物は、前記経過時間ｔの間、前記所定エリアに連続的に存在すると判断し、
前記経過時間ｔが前記所定時間ｔｓ以上である場合、前記第１の人物は、前記経過時間ｔの間、前記所定エリアに存在していないと判断するプログラム。

１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 解析装置
１１ 人物抽出部
１２ 時間算出部
１３ 推定部
１４ カウント部
１５ 信頼度算出部
１６ 設定部

本発明によれば、
動画データを解析し、人物を抽出する人物抽出手段と、
抽出された人物毎に、所定エリアに連続的に存在する連続出現時間を算出する時間算出手段と、
前記連続出現時間に基づき、抽出された人物の特性を推定する推定手段と、
を有する解析装置が提供される。

また、本発明によれば、
コンピュータが、
動画データを解析し、人物を抽出し、
抽出された人物毎に、所定エリアに連続的に存在する連続出現時間を算出し、
前記連続出現時間に基づき、抽出された人物の特性を推定する、
解析方法が提供される。

また、本発明によれば、
コンピュータを、
動画データを解析し、人物を抽出する人物抽出手段、
抽出された人物毎に、所定エリアに連続的に存在する連続出現時間を算出する時間算出手段、
前記連続出現時間に基づき、抽出された人物の特性を推定する推定手段、
として機能させるプログラムが提供される。

Claims (10)

1. 動画データを解析することで所定エリアに存在する人物を抽出する人物抽出手段と、
   前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出手段と、
   前記再出現時間に基づき、抽出された前記人物の特性を推定する推定手段と、
   を有する解析装置。
2. 請求項１に記載の解析装置において、
   前記時間算出手段はさらに、前記人物が前記所定エリアに継続して存在した時間である連続出現時間を算出し、
   前記推定手段は、前記再出現時間と前記連続出現時間とに基づいて、前記人物の特性を推定する解析装置。
3. 請求項２に記載の解析装置において、
   前記推定手段は、前記連続出現時間と前記再出現時間との関係に基づいて、前記人物の特性を推定する解析装置。
4. 請求項２又は３に記載の解析装置において、
   前記推定手段は、前記連続出現時間及び前記再出現時間のペアと、推定される前記特性とを対応付けた対応情報に基づき、前記人物の特性を推定する解析装置。
5. 請求項４に記載の解析装置において、
   前記推定手段は、出現時の時間帯毎に内容が異なる前記対応情報に基づき、前記人物の特性を推定する解析装置。
6. 請求項４又は５に記載の解析装置において、
   前記推定手段は、前記連続出現時間及び前記再出現時間と、確率分布と、前記対応情報とに基づき、前記人物の特性を推定する解析装置。
7. 請求項１から６のいずれか１項に記載の解析装置において、
   各人物に対応して推定された前記特性各々の推定された回数をカウントするカウント手段と、
   ある人物に対応して推定された前記特性各々の推定された回数に基づき、推定された前記特性の信頼度を算出する信頼度算出手段と、
   をさらに有する解析装置。
8. 請求項１から７のいずれか１項に記載の解析装置において、
   前記時間算出手段は、
   第１の人物が前記動画データ内で抽出された後、次に前記動画データ内で抽出されるまでの経過時間ｔが所定時間ｔｓより小さい場合、前記第１の人物は、前記経過時間ｔの間、前記所定エリアに連続的に存在すると判断し、
   前記経過時間ｔが前記所定時間ｔｓ以上である場合、前記第１の人物は、前記経過時間ｔの間、前記所定エリアに存在していないと判断する解析装置。
9. コンピュータが、
   動画データを解析することで所定エリアに存在する人物を抽出する人物抽出工程と、
   前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出工程と、
   前記再出現時間に基づき、抽出された前記人物の特性を推定する推定工程と、
   を実行する解析方法。
10. コンピュータを、
    動画データを解析することで所定エリアに存在する人物を抽出する人物抽出手段、
    前記人物が前記所定エリアに存在しなくなってから再び前記所定エリアに現れるまでの時間である再出現時間を算出する時間算出手段、
    前記再出現時間に基づき、抽出された前記人物の特性を推定する推定手段、
    として機能させるプログラム。

Images