JP2021012657A - 情報処理装置、情報処理方法、カメラ - Google Patents

Abstract

【課題】画像からの物体の未検知率の増加を抑えながら誤検知率を下げるための情報処理装置、カメラ、情報処理方法及びコンピュータプログラムを提供する。【解決手段】情報処理装置１００は、物体を検出する対象となる画像を取得する画像取得部１と、画像取得部１から出力された入力画像から人物を検出する物体検出部２と、登録された物体と、取得される画像から検出された物体と、を照合する照合部５と、照合によって得られた結果が条件を満たす場合には、画像から検出された物体が登録された物体であると判定する決定部９と、特定した人物が不審人物である旨を示す通知を発生させる通知判定部１０と、を備える。【選択図】図１

Description

本発明は、画像中の物体に係る通知を行うための技術に関するものである。

商業施設、交通機関、道路など様々な公共施設において、犯罪を抑止するために監視カメラが普及している。監視員は監視カメラによる映像から不審人物を特定する必要があるが、監視カメラの普及が進む中、膨大な映像情報の中から不審人物を発見する作業は多大な負荷を要するため、監視員の負荷の軽減が社会的な課題となっている。

上記課題に対応するため、監視カメラによる映像から不審人物を特定する技術が開発されている。例えば特許文献１には、複数の監視カメラ映像から不審者を検出し、不審者を撮影した監視カメラの位置情報と通知先候補の位置情報に基づいてどの通知先に通知するべきかを判断する技術が開示されている。特許文献１においては、映像中に同一の人物が所定回数以上登場するか、所定時間以上滞在する場合に不審者であると判断して通報する。これにより監視員が映像を確認し、不審者を特定する作業を軽減することができる。

上記技術のように一つまたは複数のカメラで撮影された映像中に複数回登場する人物が同一人物であるかを判定する方法としては、特許文献２の技術が開示されている。この技術では、登場する人物画像の特徴量を抽出し、この特徴量を他の人物画像の特徴量と比較することで、同一人物であるかを判定する。特許文献２には、特徴量を多次元ベクトルで表現し、特徴量の比較は二つの特徴量間の距離を計算し、その距離が所定の閾値よりも小さければ本人であると判定する方法が開示されている。特許文献２ではさらに向き、鞄、サングラス、髭の有無、年齢、性別、身長、服装、体型などの画像中の人物の属性情報を推定し、これらの情報を用いることで人物同定の推定精度向上を図っている。

特開２０１４−７８１５０号公報 特開２０１７−４１０２２号公報

しかしながら上記技術には以下の問題がある。監視カメラが設置される場所では多くの人が類似した服装を着用していることがある。例えばオフィス街やオフィスの内部では白いシャツに黒いズボンを着用している男性は非常に多い。またイベント会場やその付近の町中などにおいては、そのイベントに因んだ服装（スポーツチームやアイドルのユニフォーム、マスコットキャラのコスチュームなど）を着用している人が多くなる。このような場面で似た服装の人物を監視カメラの人物映像に基づいて同一人物であるかを判定することは非常に難しい。例えばこのような場面において特許文献２の技術を用いて服装の類似した人物を比較する場合、類似した服装の一方の人物と他方の人物とで特徴量間の距離が近くなるため、これらの人物を同一人物と誤判定してしまう可能性がある。またこのような場面において特許文献１の技術を用いて映像中の人物の登場回数や滞在時間に基づいて不審者を検知しようとする場合、同一ではない類似服装の人物を同一人物と誤判定する可能性がある。その結果、その人物が映像中に登場する回数が多い、或いは滞在時間が長いと判断され、不審者であると誤検知してしまう可能性がある。特に類似服装の人物が非常に多い場面では非常に多数の誤検知が発生し、これらの誤検知をすべて監視員が確認するために多大な労力を要してしまう。

上記に記載した手法において、特徴量を比較するとき、同一人物であると判定する特徴量間の距離の閾値をより短くすれば、他人を同一人物と判定することは減り、誤検知は減少する。ただしこの場合、本人を同一人物と判定できないことも増えるため、実際に滞留している不審者でも映像中に登場する回数が少ない、或いは滞在時間が短いと判断されて見逃してしまうことが増える。すなわち不審者の未検知率が増加してしまう。

上記に示した問題は、特許文献２の技術で人物の特徴量を抽出する場合に限らず、画像中の人物領域の輝度や色彩情報を用いて、同一人物であるかを判断しようとする場合でも、同じ問題が発生する。本発明では、画像からの物体の未検知率の増加を抑えながら誤検知率を下げるための技術を提供する。

本発明の一様態は、画像を取得する取得手段と、登録された物体と、前記取得手段によって取得される画像から検出された物体と、を照合する照合手段と、前記照合手段によって得られた結果が条件を満たす場合には、前記画像から検出された物体が前記登録された物体であると判定する判定手段と、前記条件を、前記登録された物体の特徴量と類似する類似特徴量を有する物体が、前記取得手段によって取得される画像内に登場する頻度に応じて決定する決定手段とを備えることを特徴とする。

本発明の構成によれば、画像からの物体の未検知率の増加を抑えながら誤検知率を下げることができる。

情報処理装置１００の機能構成例を示すブロック図。 監視する店舗の俯瞰図。 特徴量記録部４によって記録される内容を示す図。 集計部６で集計される内容を示す図。 人物の検出例を示す図。 情報処理装置１００に適用可能なコンピュータ装置のハードウェア構成例を示すブロック図。 情報処理装置１００による不審者の通知処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

先ず、以下の各実施形態に適用可能な情報処理装置１００の機能構成例について、図１のブロック図を用いて説明する。本実施形態に係る情報処理装置１００は、入力された画像から特定の物体を検出した場合には特定の通知を行う。

画像取得部１は、物体を検出する対象となる画像（入力画像）を取得する。本実施形態では検出対象とする「物体」が「人物」であるケースについて説明する。しかし検出対象とする「物体」は「人物」に限らず、情報処理装置１００を適用する目的などに応じて、ロボットや車両等の人物以外の物体を検出対象の物体としても良い。

画像取得部１に動画像が入力された場合、該画像取得部１は、該動画像から所定の時間間隔（例えば０．０１秒〜１０秒程度の時間間隔）のフレーム画像を入力画像として取得する。画像取得部１に静止画像が入力された場合、該画像取得部１は、該入力された静止画像を入力画像として取得する。

画像取得部１への動画像若しくは静止画像の入力元は特定の入力元に限らない。例えば、動画像若しくは静止画像を撮影したカメラが入力元であっても良いし、動画像若しくは静止画像を保持している保持装置が入力元であっても良いし、カメラと保持装置との組み合わせが入力元であっても良い。該カメラは、可視光を使用する一般的なカメラであっても良いし、近赤外線や遠赤外線等の特定の波長帯域の光を撮影するカメラであっても良いし、距離画像を撮影するカメラであっても良い。また、カメラの数は１台であっても良いし、複数台であっても良く、後者の場合、一部若しくは全部のカメラの撮影範囲は一部若しくは全部が重複していても良い。本実施形態では、画像取得部１には複数台のカメラのそれぞれから動画像が入力されるものとし、画像取得部１は、該動画像から所定の時間間隔のフレーム画像を入力画像として取得する。また画像取得部１は、該動画像を撮影したカメラに固有の情報（カメラ情報）と、該フレーム画像の撮影時刻と、を含む画像情報を取得する。画像情報の取得元は特定の取得元に限らず、該動画像を撮影したカメラであっても良いし、該動画像を保持している保持装置であっても良い。そして画像取得部１は、入力画像と画像情報とを物体検出部２に対して出力する。

また、画像取得部１に入力される動画像は、屋内を撮影した動画像であるのか、屋外を撮影した動画像であるのかは問わず、また、撮影している領域が変化してもよい。例えばパン・チルト・ズーム機能を有するネットワークカメラにより撮影された、撮影領域や拡大倍率が変化する動画像であっても良い。複数台のカメラにより、同一の店舗内や、近傍の地域を撮影した動画像が入力されれば、不審人物が特定される可能性が高くなるため、望ましい。本実施形態では、画像取得部１に動画像を入力する複数台のカメラが同一の店舗内を撮影するケースについて説明する。また以降の説明では、不審人物を特定する領域を監視エリアと称する。

以下の各実施形態では、監視エリアは店舗内を指す。不審人物を特定できる可能性を高めるため、監視エリア内には複数台のカメラを設置し、それぞれのカメラによる撮影領域が監視エリアを隈なく包含することが望ましい。

物体検出部２は、画像取得部１から出力された入力画像から人物を検出する。入力画像から人物を検出する方法は特定の方法に限らない。例えば、入力画像上の人物を機械学習を用いて特定する方法、入力画像上のエッジを人物の頭部形状とパターンマッチングすることで人物を検出する方法、等の方法を適用することができる。以下の各実施形態では、物体検出部２は、入力画像上の人物を機械学習を用いて検出する方法を用いる。

そして物体検出部２は、人物の検出結果を含む検出情報を生成し、該生成した検出情報と、画像取得部１から入力された入力画像と、を特徴量抽出部３に対して出力する。検出情報は少なくとも、画像取得部１から出力された画像情報と、入力画像から検出した人物の領域（人物領域）を特定するための情報と、追尾情報と、を含む。追尾情報は、連続する入力画像内に現れる人物が同一人物であるかを特定するための情報である。以下の各実施形態では、追尾情報として後述の追尾ＩＤを用いる。人物領域を特定するための情報は、例えば、入力画像において人物領域を囲む矩形の４隅若しくは対向する２隅の画像座標であっても良いし、人物領域を示すマスク画像であっても良い。以下の各実施形態では、人物領域を特定するための情報は、入力画像上の人物領域を囲む点の画像座標を用いる。「人物領域を囲む点の画像座標」とは、その点を直線で結ぶと人物領域を含む領域（切り出し領域）を形成するような３点以上の点のそれぞれの画像座標である。切り出し領域は人物領域全体を含むことが望ましいが、手、足、頭部や体躯の一部を含んでいなくてもよい。

物体検出部２は、入力画像から新規に検出した人物に対しては、後述の集計部６によって記録されていない固有の値の追尾ＩＤを付与する。そして物体検出部２は、その後の連続する入力画像では、人物の位置を過去の検出結果からカルマンフィルターなどを用いて予測し、予測した位置の近傍で検出された人物を同一人物として同一の追尾ＩＤを付与する。なお人物の検出が失敗すると追尾が途切れてしまう。その場合、直後に新規に検出された人物は直前に追尾が途切れた人物と同一かもしれない。この場合、人物領域を特定するための情報とともに切り出し領域の画像特徴や後述の特徴量の照合を用いることで、直前に追尾が途切れた人物と同一人物であるかを特定し、同一人物の場合には再度同一の追尾ＩＤを付与することができる。

また、撮影領域が混雑している場合、入力画像内で人物が交錯すると実際の人物と追尾ＩＤが入れ替わることがある。そのような状況では、人物間の距離が近い場合は、画像特徴や特徴量の照合を用いて追尾ＩＤの入れ替わりを防ぐことができる。画像取得部１に複数台のカメラからの動画像が入力され、動画像間で撮影領域に重複がある場合、それぞれの動画像におけるフレーム画像上の人物の位置から画像間で同一人物を特定し、同一の追尾ＩＤを付与してもよい。また同一人物であっても一度入力画像外にでて再度戻ってきて検出された場合、新規の追尾ＩＤを付与する。なお物体検出部２における検出機能と追尾機能は一体であってもよいし、別体でもよい。

特徴量抽出部３は、物体検出部２から出力された検出情報に含まれている「人物領域を特定するための情報」を用いて、物体検出部２から出力された入力画像から切り出し領域を特定し、該特定した切り出し領域内の特徴量を抽出する。特徴量は切り出し領域の画像の特徴を複数の指標で数値化したベクトル量を少なくとも含む。また特徴量はこのベクトル量とは別に画像上の外見特徴を推定した属性情報を含んでもよい。

特徴量抽出部３によって抽出されるベクトル量を求めるための指標は、例えば切り出し領域の色、輝度、及びエッジのうちの少なくともいずれかを数値化したものや、これらを任意に組み合わせたものである。また、特徴量抽出部３によって抽出するベクトル量は、色、輝度、エッジ等をヒストグラムとして表したものであってもよい。また、特徴量抽出部３によって抽出するベクトル量を、人物の部位ごとに抽出してもよい。人物の部位とは、例えば頭部、胴体、腕、足等である。

また特徴量抽出部３によって抽出されるベクトル量は機械学習により求められるものでもよい。機械学習を用いた方法では外見が同じ人物から抽出されるベクトル量同士は近い値を持ち、外見の異なる人物から抽出されるベクトル量同士は遠い値を持つように学習される。機械学習を用いた方法としては例えば人物画像を入力として、ベクトル量を出力するニューラルネットワークを作り、ベクトル量を出力するためのパラメータを学習する方法がある。学習手法は任意でよいが主成分分析などがあげられる。以下の各実施形態では、どの様な機械学習の手法を用いるかは特に限定するものではない。

また特徴量抽出部３によって推定される属性情報は、例えば人物の性別や年齢、鞄を持っているか否か、サングラスをかけているか、髭を生やしているか等の、該人物の状態に関する情報を含む。属性情報の表現方法は任意で良いが、例えば０から１までの範囲の数値で示される。すなわち鞄の有無であれば、０は鞄が無いことを示し、１は鞄が有ることを示す。画像のみから鞄の有無をはっきりと断定できない場合もあるため、０．５等、中間の値も取り得る。また、属性情報として身長、服装、体型等を示す特徴を抽出してもよい。

属性情報を抽出する方法は任意で良く、例えばニューラルネットワークやサポートベクターマシンなどの機械学習を用いた方法を選択することができる。また特徴量抽出部３のベクトル量を抽出するためのニューラルネットワークの一部に属性情報の識別器を付加する方法もある。機械学習を用いない方法としては切り出し領域内の局所的なテクスチャ情報を用いる方法などがある。

そして特徴量抽出部３は、切り出し領域から抽出した特徴量と、物体検出部２から出力された画像情報および追尾情報と、を照合部５に対して出力する。照合部５は、特徴量抽出部３から出力された特徴量と、特徴量記録部４によって記録済みの全ての人物の特徴量（記録済み人物特徴量）と、を照合して、特徴量抽出部３から出力された特徴量の、それぞれの記録済み人物特徴量に対する照合スコアを求める。ただし、特徴量抽出部３から出力された特徴量に対応する追尾情報が、記録済み人物特徴量の追尾情報と一致する場合、該特徴量に対応する人物は、該記録済み人物特徴量に対応する人物と同一人物であると特定できるため、照合は行わなくてもよい。

照合スコアは照合した特徴量同士の類似度を定量化する数値である。一般的には類似度が高いほど照合スコアが高くなるように算出するが、逆に類似度が高いほど照合スコアが低くなってもよい。また照合スコアは整数であっても実数であってもよい。以下の各実施形態では、類似度が高いと照合スコアが高くなるように計算し、簡単のため照合スコアを０〜１０００の整数で表現する。

照合スコアは照合する特徴量の類似性を定量化する限り、その算出方法は特に限定されない。例えば特徴量がベクトル量を含む場合、特徴量の類似性はベクトル量のユークリッド距離やマハラノビス距離によって算出することができる。また例えば、特徴量が属性情報を含む場合、それぞれの属性情報の類似性を定量化したものでもよい。或いはベクトル量の距離と属性情報の類似性を組み合わせたものでもよい。なお照合スコアとしては特徴量間の距離を直接使うのではなく、距離の正負を逆転させる、あるいは距離の逆数をとることで照合スコアが高いほど、類似度が高い指標となる。

特徴量記録部４は、監視エリア内で検出された人物に対して人物ＩＤを付与し、該人物に対して少なくとも一つの特徴量を記録（登録）する。以下では、「人物を登録する」との表現は、「人物に係る情報（該人物の特徴量を含む）を登録する」ことを意味する。監視エリア内で検出した人物に対して人物ＩＤを付与する場合、特徴量記録部４は、すでに特徴量記録部４によって記録されている他の人物の人物ＩＤや後述の集計部６で集計されている人物ＩＤとは異なる固有の人物ＩＤを付与する。また人物ごとに、同一人物と特定できた人物の追尾情報を記録してもよい。こうすることで、前述のように照合部５に入力された追尾情報が登録人物と同じ追尾情報である場合に照合を行うことなく同一人物であることが特定できる。さらに特徴量記録部４は、記録されている人物ごとに新規登録時の時刻（時刻は画像情報を参照してもよい）、これまでに同一人物と照合された追尾ＩＤの数を記録してもよい。こうすることで後述の集計部６の集計結果からこれらの情報を都度計算するよりも演算量を削減できる。

特徴量記録部４では、登録判定部７で登録判定された人物について、該人物の人物ＩＤおよび特徴量を記録し、削除判定部８で削除判定された人物について、該人物の人物ＩＤおよび特徴量を削除する。これにより理想的には監視エリア内にいるすべての人物がそれぞれ固有の１つの人物ＩＤで登録されることになる。

集計部６は、照合部５に入力された特徴量ごとに、特徴量記録部４によって記録されている人物との照合スコア、画像情報、追尾情報を記録する。また集計部６は、登録判定部７で登録判定された人物については、該人物の人物ＩＤを記録する。これによりそれぞれの人物がいつ登録されたかを集計部６で参照することができる。また特徴量記録部４、集計部６はそれぞれ、監視エリア内で働くスタッフは不審人物ではないため、登録、集計の対象から外すことが望ましい。その為にはスタッフの全身画像をあらかじめ登録し、その画像から抽出される特徴量と検出された特徴量との照合スコアが高い特徴量については登録、集計の対象から外すなどの方法がある。

登録判定部７は、照合部５に入力された特徴量が、監視エリア内に新規に登場した人物の特徴量であるかを判定する。照合部５に入力された特徴量が監視エリア内に新規に登場した人物の特徴量であるかを判定する方法は特定の方法に限らないが、例えば以下に示すような方法がある。

＜方法１＞
照合スコアの新規登録閾値を設ける。そして、照合部５に入力された特徴量と記録済み人物特徴量との照合スコアが全て新規登録閾値を下回った場合、照合部５に入力された特徴量が、監視エリア内に新規に登場した人物の特徴量であるとを判定（登録判定）し、特徴量記録部４は該特徴量を記録する。この時、同じカメラにより撮影された画像において同じ時刻に検出された二人の人物Ａ、ＢのうちＡがすでに登録されている人物と同一人物であると判定された場合、ＢはＡと照合一致した人物ではあり得ない。そのためＡと一致した登録人物との照合結果を除いて残った照合スコアが新規登録閾値を下回る場合に、Ｂの特徴量を記録することがより望ましい。また同様の考え方で同時刻に異なるカメラの撮影視野が重複しない領域で検出された二人の人物は別人であると識別できる。この場合も一方の人物が登録済み人物と照合一致した場合に、一致した登録済み人物と該一方の人物との照合結果を除いて残った照合結果が新規登録閾値を下回る場合に他方の人物の特徴量を登録することがより望ましい。こうすることで類似した特徴量の異なる人物が同時に検出された場合もそれぞれを別々に登録することができるため、後段において誤検知や不審者の検出漏れを減らすことができる。

＜方法２＞
監視エリア内に出入りできる場所（出入り口）が限定されている場合、その全ての出入り口をそれぞれカメラで撮影することで、監視エリア内にいるすべての人物を登録することができる。具体的には、画像中の出入り口で新規に検出された人物は監視エリア内に新規登場した人物として登録する。

削除判定部８は、記録済み人物特徴量に対応する人物（登録人物）のうち監視エリア内から退出した人物を特定し、その人物を削除判定する。登録人物が監視エリア内から退出したかを判定する方法は特定の方法に限らないが、例えば以下に示すような方法がある。

＜方法１＞
登録人物毎に最後に検出した時間を記録しておき、最後に検出した時間から登録削除時間閾値以上経過した登録人物は監視エリアから退出したと判定し、該登録人物を削除判定する。削除判定された登録人物の特徴量は特徴量記録部４によって削除される。登録人物を最後に検出した時間は、照合部５に入力された特徴量に対応する人物が登録人物と同一人物であると判定された場合に、その特徴量の画像情報に記録されている時間に更新される。この判定は、照合部５に入力された特徴量と登録人物の特徴量との照合スコアを用いる。すなわち照合スコアの在留判定閾値を設け、照合部５に入力された特徴量と登録人物の特徴量との照合スコアが在留判定閾値を超えた場合、照合部５に入力された特徴量に対応する人物と登録人物とは同一人物と判定する。ただし照合部５に入力された特徴量が登録人物と同一人物と判定された場合、その特徴量と同一の追尾ＩＤの特徴量については照合スコアに関わらず同一人物と判定してもよい。また照合部５に入力された特徴量と複数の登録人物との照合スコアが在留判定閾値を越えた場合、最も照合スコアが高い人物と同一人物であると判定する。

＜方法２＞
監視エリア内に出入りできる場所（出入り口）が限定されている場合、その全ての出入り口をそれぞれカメラで撮影することで、監視エリアから退出する人物を特定することができるので、該人物を削除判定する。削除判定した人物の特徴量との照合スコアが最も高い記録済み人物の特徴量を「退出した人物の特徴量」とし、特徴量記録部４は該特徴量を削除する。

特徴量記録部４によって記録する特徴量は１人物あたり少なくとも一つ必要だが、複数あってもよい。例えば記録時の追尾ＩＤと同じ追尾ＩＤの特徴量は同一人物として記録してもよいし、照合スコアが在留判定閾値を超えた特徴量やその特徴量と同一の追尾ＩＤの特徴量を記録してもよい。また記録されている特徴量は更新してもよい。例えば特徴量を取得した画像中の人物がカメラに対して正面向きである画像を優先して残したり、体の一部が隠れている画像から取得された特徴量を除いたりしてもよい。体の向きを判定する場合、向きごとに特徴量を保持し、照合部５に入力された特徴量と同じ向きの特徴量のみを照合するようにしてもよい。また特徴量がベクトル量で表現される場合、ベクトル量の次元ごとの平均値や中央値で作られる特徴量を代表特徴として照合に使用してもよい。これらの工夫により照合の正認証率を上げ、誤認証率を下げることができる。

照合部５における照合、特徴量記録部４における新規登録および登録削除、を具体的に説明するため、特徴量記録部４によって記録される内容を示す図３、集計部６で集計される内容を示す図４を参照し、特徴量記録部４および照合部５の動作の一例を説明する。

図３は、時刻９時５９分から時刻１０時２分までの各時刻で特徴量記録部４にどの人物が記録され、どの追尾ＩＤが本人と判定されたかを示す図である。図４は、照合部５に入力された特徴量毎に検出ＩＤを付与した場合に、検出ＩＤ毎の画像情報、追尾ＩＤ、照合スコアを示す図である。

検出ＩＤ＝１，２の特徴量は１０時、検出ＩＤ＝３，４の特徴量は１０時１分、検出ＩＤ＝５〜７の特徴量は１０時２分、にすべて同じカメラの画像から取得されている。新規登録閾値＝３００、在留判定閾値＝５００、登録削除時間閾値＝２分として照合スコアを用いて登録判定、削除判定を行う。なお、在留判定閾値は登録人物毎に異なる値を持ってもよいが、ここでは説明の簡略化のため全ての登録人物で同じ値を用いる。

まず９時５９分に特徴量記録部４は人物ＩＤ＝１〜３に対応する特徴量を記録している。これらの人物が１０時に検出された特徴量と照合される。１０時に検出ＩＤ＝１，２の特徴量が検出される。検出ＩＤ＝１の特徴量については、全ての記録済み人物特徴量との照合スコアが新規登録閾値に満たない。そのため、特徴量記録部４は、新たに発行された人物ＩＤ＝４を、検出ＩＤ＝１の特徴量と共に記録する。また、人物ＩＤ＝４に対応する追尾ＩＤは新規に発行された追尾ＩＤ＝１となる。検出ＩＤ＝２の特徴量については、人物ＩＤ＝１の特徴量との照合スコアおよび人物ＩＤ＝２の特徴量との照合スコアが在留判定閾値を超えている。この場合、より照合スコアの高い特徴量（人物ＩＤ＝１に対応する人物の特徴量）を検出したと判定する。そのため、特徴量記録部４は、人物ＩＤ＝１を、検出ＩＤ＝２の特徴量と共に記録する。また、人物ＩＤ＝１に対応する追尾ＩＤは新規に発行された追尾ＩＤ＝２となる。

１０時１分に検出ＩＤ＝３，４の特徴量が検出される。検出ＩＤ＝３に対応する特徴量の追尾ＩＤは、検出ＩＤ＝１の特徴量の追尾ＩＤ（追尾ＩＤ＝１）と同じである。そのため、照合スコアを用いた照合は行わずに、検出ＩＤ＝３の特徴量に対応する人物は検出ＩＤ＝１の特徴量に対応する人物（人物ＩＤ＝４の人物）と同一人物であると判定することができる。検出ＩＤ＝４に対応する特徴量の追尾ＩＤは、検出ＩＤ＝２の特徴量の追尾ＩＤ（追尾ＩＤ＝２）と同じである。そのため、照合スコアを用いた照合は行わずに、検出ＩＤ＝４の特徴量に対応する人物は検出ＩＤ＝２の特徴量に対応する人物（人物ＩＤ＝１の人物）と同一人物であると判定することができる。

ここで、検出ＩＤ＝３の特徴量と検出ＩＤ＝１の特徴量（人物ＩＤ＝４の人物の特徴量）との照合スコアは在留判定閾値を下回っている。しかし、検出ＩＤ＝３に対応する特徴量の追尾ＩＤは、検出ＩＤ＝１の特徴量の追尾ＩＤ（追尾ＩＤ＝１）と同じであるので、在留していると判定する。同一人物でも体の一部が隠れている画像、或いは登録時と向きが異なる画像から抽出した特徴量は照合スコアが高く出ない場合があるが、このような場合でも追尾ＩＤを登録しておくことで、同一人物の在留を正しく判定できることがある。

１０時２分では人物ＩＤ＝３の人物の特徴量が登録削除時間閾値の時間検出されなかったため、削除される。また１０時２分には検出ＩＤ＝５〜７の特徴量が検出される。検出ＩＤ＝５に対応する特徴量の追尾ＩＤは、検出ＩＤ＝１の特徴量の追尾ＩＤ（追尾ＩＤ＝１）と同じである。そのため、照合スコアを用いた照合は行わずに、検出ＩＤ＝５の特徴量に対応する人物は検出ＩＤ＝１の特徴量に対応する人物（人物ＩＤ＝４の人物）と同一人物であると判定することができる。検出ＩＤ＝６の特徴量および検出ＩＤ＝７の特徴は何れも、人物ＩＤ＝２の特徴量との照合スコアが在留判定閾値を超えている。この場合、照合スコアがより大きい検出ＩＤ＝７の特徴量が人物ＩＤ＝２の特徴量と判定することができる。これにより、検出ＩＤ＝６の特徴量は人物ＩＤ＝２の特徴量ではありえず、それ以外の人物の特徴量との照合スコアが新規登録閾値に満たないため、特徴量記録部４は、新たに発行された人物ＩＤ＝５を、検出ＩＤ＝７の特徴量と共に記録する。また、人物ＩＤ＝５に対応する追尾ＩＤは新規に発行された追尾ＩＤ＝３となる。

図１に戻って、通知判定部１０は、集計部６による集計結果（例えば図４に示した集計結果）から、決定部９で決定される通知発生条件を満たす人物を特定し、該特定した人物が不審人物である旨を示す通知を発生させる。そして通知判定部１０は、この通知をトリガーとして、例えば、以下のいずれかの処理を行う。

＜処理１＞
カメラの監視員、監視エリア内のスタッフ、その他事前登録者の少なくともいずれかに通知発生条件が満たされたことを通知する。通知方法は特定の通知方法に限らず、音声出力によって通知を行っても良いし、通知内容をテキストメッセージとして外部装置（カメラの監視員、監視エリア内のスタッフ、その他事前登録者の少なくともいずれかが保持している携帯端末）に送信しても良い。

通知内容は少なくとも通知が発生したことを伝えるものであり、例えば、通知の発生時刻、通知発生条件を満たす人物の情報（画像や文字列）、最後に再登場した場所または再登場を特定したカメラ、後述の滞在時間や再登場回数などの情報を含む。このような通知内容を通知することで、その人物を特定しやすくなるため、犯罪行為を抑止できる可能性が高まる。

＜処理２＞
監視エリア内のスピーカから音声を発生させる、または監視エリア内のディスプレイに何らかの表示をすることで、通知発生条件を満たす人物を通知する。このような場合、情報処理装置１００は通知内容を音声情報として監視エリア内のスピーカに送信したり、通知内容を表示情報として監視エリア内のディスプレイに送信したりする。不審行動者を認知していることを不審行動者及びその周囲の人物に知らせることができればより犯罪行為を抑止できる可能性が高まる。

＜処理３＞
電子データまたは紙媒体として通知の記録を残す。記録内容は少なくとも通知の発生時刻を含み、通知発生条件を満たす人物の情報（画像や文字列）、最後に再登場した場所または再登場を特定したカメラなどの情報を含む。このような通知内容を記録しておくことで、カメラの録画映像からその人物を特定しやすくなり、実際に犯罪行為があったかを確認できる可能性が高まる。

通知の記録を電子データとして残す場合、電子データの記録先は例えば情報処理装置１００の内部若しくは外部のメモリ装置である。また、通知の記録を紙媒体として残す場合には、情報処理装置１００に対して直接若しくはネットワークを介して間接的に接続されている印刷装置に対して通知内容の印刷データを送信する。

通知発生条件は不審人物を特定するための条件であり、少なくとも滞在時間または再登場回数のいずれかを含む。人物Ａの滞在時間とは、人物Ａの特徴量が特徴量記録部４に登録された時刻から、人物Ａが最後に再登場した時刻までの経過時間である。監視エリア内での人物Ａの滞在時間が他の人物と比べて異常に長い場合、人物Ａは通常とは異なる目的で監視エリアに滞在している可能性が高い。その様な人物Ａを不審人物として検知するため、滞在時間に閾値を設け、滞在時間閾値を超えて滞在している人物がいた場合には、通知を発生する。人物Ａの再登場回数とは、人物Ａが異なるカメラで検知された回数（人物Ａとの照合スコアが閾値を超えた回数）であり、人物Ａの再登場回数が異常に多い場合、人物Ａは通常とは異なる目的で監視エリア内をうろついている可能性が高いと考えられる。その様な人物Ａを不審人物として検知するため、再登場回数に閾値を設け、再登場回数が閾値を超える人物について通知を発生する。

上記の滞在時間もしくは再登場回数を算出するためには、集計部６の集計結果（例えば図４に示した集計結果）から特徴量記録部４によって特徴量が記録されている人物（登録人物）が再登場したかを特定する必要がある。登録人物が再登場したかを特定するためには、少なくとも照合スコアを用いる。集計部６で記録された各検出ＩＤについて、照合スコアが最も高い登録人物を特定し、該照合スコアが該登録人物の再登場判定閾値を超えた場合に、該登録人物が再登場したと判定する。再登場判定閾値は決定部９によって決定される。また再登場判定閾値は前述の在留判定閾値と趣旨が似ているため、在留判定閾値は再登場判定閾値と同じ値を取ってもよい。また再登場したかの判定には照合スコア属性検出の結果や顔認証の結果を組み合わせてもよい。

決定部９は、類似特徴を有する人物の検出頻度に基づき、不審人物の通知発生条件を決定する。不審人物の通知発生条件とは少なくとも、登録人物の滞在時間、再登場回数、再登場判定条件のいずれかを含む。再登場判定条件は少なくとも、登録人物と検出特徴量の照合スコアを含み、顔認証スコア、属性照合結果を用いてもよい。特徴量記録部４によって特徴量が記録されている登録人物のうち、類似特徴人物の出現頻度がより高い登録人物については通知発生条件をより厳格化する。通知発生条件の厳格化とは、通知の発生を制限するために、例えば、照合スコアの再登場判定閾値を高くする、滞在時間閾値や登場回数閾値を大きくするなどが考えられる。また、再登場判定条件に照合スコアだけでなく、属性照合結果や顔認証照合結果も加えるなどである。

通知発生条件が緩く、類似特徴を有する人物の出現頻度が高い場合、誤検知による通知が発生する可能性がある。例えば人物Ａと人物Ｂの特徴が類似している場合、人物Ｂが映像内に登場した際に、既に登録されている人物Ａが再登場したと誤判定してしまう可能性がある。それにより人物Ａの再登場回数または滞在時間が閾値を超えた場合、実際には人物Ａは不審行動をとっていないのに不審者として通知されてしまう。類似特徴人物が非常に多い場合、通知の殆どが誤検知により発生したものとなる場合がある。監視員が通知を利用して不審人物を特定しようとしていた場合、通知のうち殆どが誤検知であれば、通知が正しいかを確認するだけで大きな負荷が発生することになる。

通知の発生回数を減らすには通知発生条件を厳格化するという方法がある。しかしその場合、一律に通知発生条件を厳格にしてしまうと、実際に不審行動を行っている人物を見逃してしまうことになる。一方、類似特徴人物の出現頻度が多い場合には通知発生条件を緩くすると誤検知による誤報が多発し、厳しくすると見逃しが問題となってしまう。

そこで、類似特徴の出現頻度が高い人物だけの通知発生条件を厳格化する。すなわち通知の発生を制限する。こうすることで類似特徴の出現頻度が多い場面で、類似特徴の出現頻度が多い人物については、見逃しは増えてしまう可能性はあるが、誤報を大幅に減らしながら、類似特徴の出現頻度が少ない人物については見逃しを減らすことができる。これにより全通知数のうち正検知による通知の比率を増やすことができるため、通知を受け取る監視員の仕事の効率を向上させることができる。

例えば、図５に示す如く、１０時０分の入力画像から特徴「白シャツ黒ズボン」を有する人物Ａ（特徴「白シャツ黒ズボン」に対応する特徴量を有する人物）を新規に検出した場合、該人物Ａの特徴量を新規に登録し、人物Ａの検知回数は１となる。ここで、特徴「白シャツ黒ズボン」の出現頻度に応じて設定された閾値が８０であるとする。また１０時０分の入力画像から特徴「全身紫」を有する人物Ｄ（特徴「全身紫」に対応する特徴量を有する人物）を新規に検出した場合、該人物Ｄの特徴量を新規に登録し、人物Ｄの検知回数は１となる。ここで、特徴「全身紫」の出現頻度に応じて設定された閾値が５０であるとする。

１０時３０分の入力画像から特徴「白シャツ黒ズボン」を有する人物Ｂを検知した場合、人物Ａとの照合スコア＿Ａ（＝７０）が「白シャツ黒ズボン」用の閾値（＝８０）を超えていないため、人物Ｂ≠人物Ａと判定される。然るに、人物Ｂの特徴量を新規に登録し、人物Ｂの検知回数は１となる。また１０時３０分の入力画像から前記特徴「全身紫」を有する人物Ｄを検知した場合、人物Ｄとの照合スコア＿Ｄ（＝７０）が「全身紫」用の閾値（＝５０）を超えているので、人物Ｄの検知回数は２となる。ここでは検知回数が２回以上となった場合には通知するとしているので、人物Ｄを不審者として通知し、この通知は正通知となる。

１０時５０分の入力画像から特徴「白シャツ黒ズボン」を有する人物Ｃを検知した場合、人物Ａとの照合スコア＿Ａ（＝６０）が「白シャツ黒ズボン」用の閾値（＝８０）を超えていないため、人物Ｃ≠人物Ａと判定される。然るに、人物Ｃの特徴量を新規に登録し、人物Ｃの検知回数は１となる。また１０時３０分の入力画像から特徴「全身紫」を有する人物Ｄを検知した場合、人物Ｄとの照合スコア＿Ｄ（＝６０）が「全身紫」用の閾値（＝５０）を超えているので、人物Ｄの検知回数は３となる。その結果、人物Ｄを不審者として通知し、この通知は正通知となる。

このように、「白シャツ黒ズボン」の特徴を有する人物の出現頻度は「全身紫」の特徴を有する人物（人物Ｄ）の出現頻度よりも高いため、「白のシャツ黒のズボン」用の閾値＞「全身紫」用の閾値としている。よって、より高い頻度で登場する特徴を有する人物Ａ，Ｂ，Ｃについては、照合スコアはより高い閾値と比較されるため、これらの人物を同一印物と判定される可能性が軽減される。

なお、通知発生条件をどのように厳格化するかについては特定の厳格化方法に限らない。例えば、事前に類似特徴人物の出現頻度が多い場合と少ない場合の通知発生条件を決めておいてもよいし、類似特徴人物の出現頻度に応じて事前に設定した計算式から、事前に類似特徴人物の出現頻度が多い場合と少ない場合の通知発生条件を決めてもよい。また類似特徴による通知が多い場合に、その類似特徴の通知発生条件を厳格化するように情報処理装置１００の管理者に促す通知をしてもよい。決定部９が、登録人物の類似特徴の出現頻度に応じて通知発生条件を決定する方法には以下の様に複数の方法がある。

＜決定方法１＞
監視エリア内の出入り口での人物の出入りを監視する、或いは同時刻に別の場所で検出された人物を別人物として登録可能とした場合、特徴量記録部４は特徴量が類似した人物を登録することができる。特徴量が類似した人物を登録する際、類似した特徴量の既に登録されている人物との照合スコアが高くなるため、照合スコアによって類似特徴の人物が監視エリア内にいることを検知できる。例えば登録する特徴量と既に登録されている特徴量との照合スコアが類似人物閾値を超える場合、両方の特徴量に対応する人物の通知発生条件を厳格化するなどの方法がある。

＜決定方法２＞
事前に類似特徴の出現頻度の統計を取得してもよい。例えば事前に監視エリアを撮影した動画像を取得し、該動画像に現れる各人物の画像を取得する。そしてその中から出現頻度の高い服装を特定し、その服装と類似した服装の登録人物については通知発生条件を厳格化するなどの方法がある。この時、例えば属性（性別、年齢、シャツの色、ズボンの色、コートかＴシャツかなど）を検出し、出現頻度の多い属性の組み合わせについて通知発生条件を厳格化する方法がある。また別の方法として、特徴量空間で特徴量をクラスタリングして複数の類似特徴量グループを作成し、それぞれの類似特徴量グループ内で特徴量ベクトルの平均をとったものをその類似特徴量グループの代表特徴量とする。そして、特徴量の登録時に出現頻度が高い（例えば最も高い）特徴量グループの代表特徴量との照合スコアを計算し、照合スコアが類似判定閾値を超えた場合に通知発生条件を厳格化する方法がある。代表特徴量の算出方法は上記の例では平均を取るとしたが、特に平均に限定されるものではなく、中央値を取るなどの方法でもよい。

＜決定方法３＞
検出された人物から抽出した特徴量の統計を取り、動的に通知発生条件を決定してもよい。例えば属性情報を抽出している場合、その統計を取ることでどの様な属性の組み合わせの出現頻度が高いかを知ることができる。その中で相対的な出現頻度に応じて通知発生条件を決定することができる。つまり、より高い出現頻度の属性情報に対応する特徴量の通知発生条件をより厳格化する。また例えば抽出される特徴量をクラスタリングし、特徴量グループの出現頻度に応じて通知発生条件を決定することができる。

以上説明した、情報処理装置１００による不審者の通知処理について、図７のフローチャートに従って説明する。なお、図７のフローチャートにおける各ステップにおける処理は上記の通りであるため、ここでは簡単に説明する。

ステップＳ７０１では、画像取得部１は、物体を検出する対象となる入力画像を取得する。そして画像取得部１は、入力画像と画像情報とを物体検出部２に対して出力する。

ステップＳ７０２では、物体検出部２は、画像取得部１から出力された入力画像から人物を検出する。そして物体検出部２は、人物の検出結果を含む検出情報を生成し、該生成した検出情報と、画像取得部１から入力された入力画像と、を特徴量抽出部３に対して出力する。また物体検出部２は、入力画像から新規に検出した人物に対しては、集計部６によって記録されていない固有の値の追尾ＩＤを付与する。そして物体検出部２は、その後の連続する入力画像では、人物の位置を過去の検出結果からカルマンフィルターなどを用いて予測し、予測した位置の近傍で検出された人物を同一人物として同一の追尾ＩＤを付与する。

ステップＳ７０３では、特徴量抽出部３は、物体検出部２から出力された検出情報に含まれている「人物領域を特定するための情報」を用いて、物体検出部２から出力された入力画像から切り出し領域を特定し、該特定した切り出し領域内の特徴量を抽出する。そして特徴量抽出部３は、切り出し領域から抽出した特徴量と、物体検出部２から出力された画像情報および追尾情報と、を照合部５に対して出力する。

ステップＳ７０４では、登録判定部７は、照合部５に入力された特徴量が、監視エリア内に新規に登場した人物の特徴量であるかを判定する。また削除判定部８は、記録済み人物特徴量に対応する人物（登録人物）のうち監視エリア内から退出した人物を特定し、その人物を削除判定する。

ステップＳ７０５では、特徴量記録部４は、監視エリア内で検出された人物に対して人物ＩＤを付与し、該人物に対して少なくとも一つの特徴量を記録（登録）する。その際、特徴量記録部４は、登録判定部７で登録判定された人物について、該人物の人物ＩＤおよび特徴量を記録し、削除判定部８で削除判定された人物について、該人物の人物ＩＤおよび特徴量を削除する。

ステップＳ７０６で照合部５は、特徴量抽出部３から出力された特徴量と特徴量記録部４によって記録済みの全ての人物の記録済み人物特徴量とを照合して、特徴量抽出部３から出力された特徴量の、それぞれの記録済み人物特徴量に対する照合スコアを求める。ただし、特徴量抽出部３から出力された特徴量に対応する追尾情報が、記録済み人物特徴量の追尾情報と一致する場合、照合は行わなくてもよい。

ステップＳ７０７では、集計部６は、照合部５に入力された特徴量ごとに、特徴量記録部４によって記録されている人物との照合スコア、画像情報、追尾情報を記録すると共に、登録判定部７で登録判定された人物については、該人物の人物ＩＤを記録する。

ステップＳ７０８では、決定部９は、類似特徴人物の検出頻度に基づき、不審人物の通知発生条件を決定する。ステップＳ７０９では、通知判定部１０は、集計部６による集計結果から、決定部９で決定される通知発生条件を満たす人物を特定し、該特定した人物が不審人物である旨を示す通知を発生させる。そして通知判定部１０は、この通知をトリガーとして、通知処理を行う。

なお本実施形態では、情報処理装置１００が画像取得部１、物体検出部２、特徴量抽出部３、特徴量記録部４、照合部５、集計部６、登録判定部７、削除判定部８、決定部９、通知判定部１０の全ての機能を実行するものとして説明した。しかし、情報処理装置１００を複数台のコンピュータ装置で構成しても良く、その場合、それぞれの機能部の機能は、該複数台のコンピュータ装置のいずれかによって実行されることになる。また、上記の情報処理装置１００は、カメラなどに組み込む組み込み装置としても良い。上記の情報処理装置１００をカメラに組み込む場合、例えば、該カメラは、画像を撮影する撮影部と、該撮影部による撮影画像における不審者を検知して通知する上記の情報処理装置１００と、を有する。

また、図１に示した各機能部はハードウェアで実装しても良いが、ソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は、上記の情報処理装置１００に適用可能である。情報処理装置１００に適用可能なコンピュータ装置のハードウェア構成例について、図６のブロック図を用いて説明する。

ＣＰＵ６０１は、ＲＡＭ６０２やＲＯＭ６０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ６０１は、コンピュータ装置全体の動作制御を行うと共に、情報処理装置１００が行うものとして説明する各処理を実行若しくは制御する。

ＲＡＭ６０２は、ＲＯＭ６０３や外部記憶装置６０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ６０７を介して外部（例えばカメラ）から入力されたデータ（例えば動画像や静止画像）、を格納するためのエリアを有する。またＲＡＭ６０２は、ＣＰＵ６０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ６０２は、各種のエリアを適宜提供することができる。ＲＯＭ６０３には、コンピュータ装置の設定データや起動プログラムなどが格納されている。

操作部６０４は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ６０１に対して入力することができる。

表示部６０５は、液晶画面やタッチパネル画面であり、ＣＰＵ６０１による処理結果を画像や文字などでもって表示することができる。なお、表示部６０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

外部記憶装置６０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置６０６には、ＯＳ（オペレーティングシステム）や、情報処理装置１００行うものとして説明する各処理をＣＰＵ６０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。

外部記憶装置６０６に保存されているコンピュータプログラムには、図１に示した各機能部の機能をＣＰＵ６０１に実行若しくは制御させるためのコンピュータプログラムが含まれている。

外部記憶装置６０６に保存されているデータには、既知の情報として説明したもの（例えば、各種の閾値）が含まれている。処理の対象とする動画像や静止画像を外部記憶装置６０６に保存しておいても良い。

外部記憶装置６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ６０１による制御に従って適宜ＲＡＭ６０２にロードされ、ＣＰＵ６０１による処理対象となる。なお、情報処理装置１００が記録するものとして説明した各種の情報は、ＲＡＭ６０２や外部記憶装置６０６に保存しても良い。

Ｉ／Ｆ６０７は、外部の装置との間のデータ通信を行うための通信インターフェースとして機能するものである。例えば、このＩ／Ｆ６０７には複数のカメラもしくは複数のカメラが接続されているネットワークを接続することができ、それぞれのカメラから送信された動画像や静止画像は、このＩ／Ｆ６０７を介してＲＡＭ６０２や外部記憶装置６０６に格納される。またこのＩ／Ｆ６０７には通知先の装置若しくは通知先の装置が接続されているネットワークを接続することができ、通知情報はＩ／Ｆ６０７を介して通知先の装置に送信される。

ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、操作部６０４、表示部６０５、外部記憶装置６０６、Ｉ／Ｆ６０７は何れもバス６０８に接続されている。なお、図６に示した構成は、情報処理装置１００に適用可能なコンピュータ装置のハードウェア構成の一例であり、適宜変更／変形が可能である。

以下では、上記の情報処理装置１００の実施形態について説明する。以下の各実施形態では、上記の説明との差分（各実施形態に固有の構成）について説明し、以下で特に触れない限りは上記の説明の通りとする。

［第１の実施形態］
本実施形態では、上記の情報処理装置１００を店舗内の万引きを検知するシステムに適用したケースについて説明する。監視する店舗の俯瞰図を図２に示す。店舗には１つの出入り口２１が設けられており、商品棚２３とレジカウンタ２２がある。店舗内にはスタッフ２４が一人おり、会計及び店舗内の見回りを行う。また店舗内には、店舗内を撮影するネットワークカメラ２００〜２０３が設置されている。

本実施形態では、画像取得部１は、店舗内に設置されたネットワークカメラ２００〜２０３から動画像を取得する。万引きはスタッフ２４の死角で行われることが多いことから、ネットワークカメラ２００〜２０３の撮影領域はスタッフ２４がレジカウンタ２２の後ろにいるときの死角を主にカバーする。またネットワークカメラ２００〜２０３のうち一部の撮影領域は重複しているが、どのカメラの視野がどのカメラの視野と重複しているのかは既知である。そのため、一人の人物が異なるカメラで同時に検出された場合も、検出位置から同一人物であることが特定され、同じ追尾ＩＤを付与する。本実施形態ではスタッフ２４の死角となる場所に何度も現れた人物や、通常よりも滞在時間が長い人物を不審行動者として特定し、スタッフ２４に通知する。

本実施形態では、情報処理装置１００は店舗内のサーバ装置として機能する。ネットワークカメラ２００〜２０３はネットワークケーブルやネットワークハブを通じて情報処理装置１００と接続されており、情報処理装置１００はネットワークカメラ２００〜２０３からの動画像を取得して上記の処理を実行する。情報処理装置１００で通知が発生した場合、その通知内容はスタッフ２４が携帯する携帯端末に送信され、該携帯端末の画面に通知画面が表示される。

物体検出部２は、ネットワークカメラ２００〜２０３のそれぞれから送信される動画像から生成された入力画像から人物を検出し、人物の検出結果を含む検出情報を生成し、該生成した検出情報と、該入力画像と、を特徴量抽出部３に対して出力する。本実施形態において、検出情報に含まれる画像情報には、入力画像の生成元となる動画像の送信元（ネットワークカメラ２００〜２０３の何れか）のカメラ情報と、該入力画像の撮影時刻と、を含む。追尾情報は検出ＩＤおよび追尾ＩＤを含む。

特徴量抽出部３は、物体検出部２から出力された検出情報を用いて、物体検出部２から出力された入力画像から切り出し領域を特定し、該特定した切り出し領域内の特徴量を抽出する。抽出する特徴量は１０００次元の正規化されたベクトルである。特徴量の抽出には、似ている人物ほど特徴量のＬ２距離が近く、似ていないほど遠くなるように機械学習された特徴量抽出器を用いる。そして特徴量抽出部３は、抽出した特徴量と、物体検出部２から出力された画像情報および追尾情報と、を照合部５に対して出力する。

照合部５は、特徴量抽出部３から出力された特徴量と特徴量記録部４によって記録済みの全ての人物の記録済み人物特徴量とを照合して、特徴量抽出部３から出力された特徴量の、それぞれの記録済み人物特徴量に対する照合スコアを求める。照合は特徴量同士のＬ２距離の逆数を取り１０００倍して整数化する。そして照合部５は、特徴量、画像情報、追尾情報、照合スコアを集計部６に出力する。集計部６は、照合部５から出力されたこれらの情報を第１の実施形態と同様に集計し、例えば、図４に示したような集計情報を作成する。

特徴量記録部４は、店舗内で検出された人物に対して人物ＩＤを付与し、該人物に対して少なくとも一つの特徴量を記録（登録）する。その際、特徴量記録部４は、登録判定部７で登録判定された人物について、該人物の人物ＩＤおよび特徴量を記録し、削除判定部８で削除判定された人物について、該人物の人物ＩＤおよび特徴量を削除する。

また、各登録人物との照合スコアが後述の再登場判定閾値を超える特徴量を含む人物の追尾ＩＤも記録する。特徴量記録部４によって記録する登録人物の特徴量に加えて、該登録人物と同一人物と判定された特徴量をすべて保存し、それらの特徴量の中央値を代表特徴量として照合に用いる。

削除判定部８は、記録済み人物特徴量に対応する人物（登録人物）のうち店舗内から退出した人物を特定し、その人物を削除判定する。例えば削除判定部８は、特徴量記録部４によって特徴量が登録されている登録人物が登録削除時間閾値以上検出されなかった場合、その人物を削除判定する。検出した人物が登録人物と同一人物であるかの判定に用いる在留判定閾値は後述の再登場判定閾値と同じ値とし、登録人物ごとに異なる値をとれるものとする。ただし、登録人物と同一人物と判定された人物については照合スコアに関わらず、同一人物であると判定する。

登録判定部７は、照合部５に入力された特徴量が、店舗内に新規に登場した人物の特徴量であるかを判定する。例えば登録判定部７は、対象となる特徴量について、全ての登録人物の特徴量との照合スコアが新規登録閾値を下回る場合、該対象となる特徴量を登録判定する。ただし登録人物と同一と判定された人物が同時刻に同一の撮影領域内にいる場合は、その登録人物とは別人物として扱い、その登録人物との照合スコアは新規登録判定には用いない。ただしスタッフ２４を検知することによる通知を防止するため、あらかじめスタッフ２４の画像を取得し、そこから抽出される特徴量と照合スコアの高い特徴量は登録されない。

通知判定部１０は、特徴量記録部４によって登録された登録人物の特徴量との照合スコアが再登場判定閾値を超える人物が検出される回数を数え、該検出される回数が登場回数閾値を超えた場合に通知を発生する。ここで再登場判定閾値は決定部９により決定される。本実施形態では、登場回数閾値は３回とする。通知はスタッフ２４の携帯端末に通知発生時刻、通知の引き金となった人物画像が検出されたカメラのカメラ情報、人物画像を表示することでなされる。

決定部９は、特徴量記録部４によって登録されている人物同士で特徴量の照合を行って照合スコアを求め、該求めた照合スコアに応じて再登場判定閾値を決定する。具体的には登録人物ごとに他のすべての登録人物との照合スコアのうち最大値に１００を足したものを再登場判定閾値とする。再登場判定閾値の更新は新規登録、登録削除時及び一定時間間隔で行う。

以上説明した、店舗内の万引きを検知して通知するための処理のフローチャートは、各ステップにおける詳細は本実施形態に合わせて適宜変更しているものの、基本的には上記の図７のフローチャートに従う。これは以降の各実施形態についても同様である。

このように、本実施形態によれば、特徴量記録部４により類似した特徴量を持つ人物を登録することができ、それらの人物について再登場判定閾値を高く設定するため、類似人物の誤検知を減らすことができる。これにより未検知率の上昇を抑えながら誤報を減らすことができる。

［第２の実施形態］
本実施形態は第１の実施形態の変形例であり、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、図２の店舗の出入り口２１を監視しているネットワークカメラ２０３からの動画像を用いて特徴量記録部４による特徴量の登録、削除を制御する。すなわちネットワークカメラ２０３による動画像中の出入り口２１の画像領域をあらかじめ特定しておく。そして、この画像領域内で新規に検出された人物の特徴量を特徴量記録部４によって登録し、この画像領域から消失した人物の特徴量との照合スコアが閾値以上となる特徴量の登録人物を特徴量記録部４によって削除する。これにより、特徴量が類似している人物が同時刻に検出されなかった場合においても、どちらの人物も特徴量記録部４へ登録することができ、類似特徴人物による誤検知を減らすことができる。

通知判定部１０は、特徴量記録部４によって登録された人物の特徴量との照合スコアが再登場判定閾値を超える人物が検出される回数が登場回数閾値を超えた場合、または登録人物の滞在時間が滞在時間閾値を超えた場合に通知を発生する。

決定部９は、特徴量記録部４によって登録されている人物同士で特徴量の照合を行って照合スコアを求め、該求めた照合スコアに応じて滞在時間閾値及び登場回数閾値を決定する。具体的には、登録人物ごとに他のすべての登録人物との照合スコアがすべて５００未満であれば、滞在時間閾値は３分、登場回数閾値は３回とする。一人の登録人物との照合スコアが５００以上である場合は滞在時間閾値は６分、登場回数閾値は６回とする。二人以上の登録人物との照合スコアが５００以上である場合は滞在時間閾値は９分、登場回数閾値は９回とする。

店舗内には複数個所にスピーカをあらかじめ配置しておく。通知判定部１０で不審行動を検知して通知が発生した場合、通知発生のきっかけとなった画像を撮影したネットワークカメラの位置に最も近いスピーカに対して音声情報を送信することで該スピーカから該音声情報に応じた音声を発生する。発生する音声は任意でよく、例えば「いらっしゃいませ。お困りのことがあったらスタッフ２４までお声掛けください」などでよい。不審行動をとった人物が万引きの犯意者であった場合、このようなスピーカからの声掛けにより、自分自身が注目されていると感じ、犯行を思いとどまる可能性が高まる。このように、本実施形態によれば、類似特徴人物による誤報を抑えながら、不審行動の検知率を向上させることができる。

［第３の実施形態］
本実施形態では、住宅地におけるうろつきを不審行動として検知する。以下では第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、同じ場所に何度も現れる、或いは異常に滞在時間の長い行動を「うろつき」と呼ぶこととする。住宅地の路上をうろついている人物は空き巣などの犯罪の犯意者である可能性があるため、本実施形態ではこのような行動を検知する。

本実施形態では、複数台のネットワークカメラを用いて住宅地の路上の複数個所を撮影する。ネットワークカメラは１分周期で撮影領域（ネットワークカメラの撮影方向や画角）を変える。画像取得部１は、これらのネットワークカメラから動画像を取得する。

本実施形態では、情報処理装置１００はネットワークカメラによる動画像を監視するための監視事務所内にあるサーバ装置として機能する。情報処理装置１００で通知が発生した場合、情報処理装置１００は監視事務所内のディスプレイ端末に通知内容を示す通知画面を表示させる。監視事務所内の監視員は通知画面を確認し、何らかの対応が必要かを判断する。

特徴量抽出部３は入力画像における切り出し領域から特徴量と共に、人物の性別、年齢、上着の色、ズボンの色、鞄の有無などの属性情報を推定する。特徴量記録部４は、特徴量を新規登録する際には、対応する属性情報も登録する。また検出された特徴量の照合結果が集計部６で集計される際には、属性情報も併せて記録される。

決定部９は、属性情報の組み合わせに応じた滞在時間閾値、登場回数閾値、再登場判定閾値を保持する。これらの閾値はすべての属性情報で同一の値に初期化する。その後一定時間間隔（２４時間ごとなど）でその時間内に発生した通知のうち、他の属性情報と比べて相対的に発生率の高い属性情報の組み合わせについて通知発生条件を厳格化するように促す通知画面を、監視事務所内のディスプレイ端末に表示させる。監視事務所内の監視員はこの通知画面を確認し、必要に応じて閾値を変更する。

このように、本実施形態によれば、出現頻度の高い属性情報について通知判定条件を厳格化することで誤検知による誤報を抑制することができる。またどのように通知判定条件を厳格化するかを監視員の裁量で決める事ができる。

［第４の実施形態］
本実施形態は第３の実施形態の変形例であり、以下で特に触れない限りは第３の実施形態と同様であるものとする。本実施形態では、特徴量抽出部３は属性情報の推定は行わないが、一定時間間隔（２４時間など）で特徴量のクラスタリングを行い、類似特徴の出現頻度が高い特徴量の通知発生条件を自動的に厳格化する。具体的には、通知発生の引き金となった特徴量をすべて記録し、それらの特徴量のクラスタリングを行う。その中で出現頻度が他と比べて相対的に多い特徴量グループについて代表特徴量を作成し、特徴量記録部４によって登録される特徴量のうち、その代表特徴量との照合スコアが類似判定閾値を超えた人物については通知発生条件を厳格化する。

このように、本実施形態によれば、類似特徴の出現頻度が高い人物を自動で分類し、これらの人物の通知発生条件を厳格化することができる。これにより通知発生条件を動的に設定することができ、出現する類似服装が日によって或いは時間によってムラがある場合でも、誤検知による誤報を抑制しながら、不審行動の検知率を向上させることができる。

［第５の実施形態］
本実施形態は第４の実施形態の変形例であり、以下で特に触れない限りは第４の実施形態と同様であるものとする。本実施形態では、特徴量抽出部３により人物の全身画像から抽出される全身特徴量と合わせて顔画像から抽出される顔特徴量を用いる。特徴量記録部４は全身特徴量および顔特徴量の両方を記録する。登録人物のうち類似特徴の出現頻度が他と比べて相対的に低い人物は全身特徴量の照合スコアが再登場判定閾値を超えることを再登場判定の条件とする。一方、類似特徴の出現頻度が他と比べて相対的に高い人物は全身特徴量と顔特徴量の照合スコア両方が閾値を超えることを再登場判定の条件とする。

このように、本実施形態によれば、全身特徴量が類似している人物には顔特徴類も必要とすることで、再登場の判定精度が向上する。これにより誤検知による誤報を抑制しながら、不審行動の検知率を向上させることができる。

［第６の実施形態］
本実施形態は第３の実施形態の変形例であり、以下で特に触れない限りは第３の実施形態と同様であるものとする。本実施形態に係る情報処理装置は、図１の構成から通知判定部１０を省き、且つうろつき人物を検索するためのユーザインターフェースを加えた構成を有する。本実施形態では、このユーザインターフェースを用いて集計部６が集計したデータを参照し、過去の特定の期間に特定のネットワークカメラで撮影された人物のうち、うろついていた人物を検索する。このユーザインターフェースは、例えば、「特定の期間」や「ネットワークカメラ」を指定するためのタッチパネル画面、マウス、キーボードである。

画像取得部１は、複数台のネットワークカメラのそれぞれにより撮影された動画像が記録されている記録装置から該動画像を取得する。また通知発生条件はすべての登録人物に対して共通の事前設定した条件を用いる。

ユーザがユーザインターフェースを用いて「特定の期間」や「ネットワークカメラ」を指定して検索開始を指示すると、物体検出部２、特徴量抽出部３、照合部５、集計部６は上記の動作を行う。そして集計部６は、該集計部６による集計結果から事前設定した通知発生条件に基づいて不審人物の候補を、上記のユーザインターフェースやディスプレイ端末に表示させる。

決定部９は、出力された不審人物候補の属性情報の中から相対的に発生率の高い属性情報の組み合わせについて上記通知発生条件を厳格化するように促す通知画面を、上記のユーザインターフェースやディスプレイ端末に表示させる。監視員が掲示された属性情報の組み合わせの誤報が多いと判断した場合、その属性情報の組み合わせについて通知発生条件を引き上げることができる。このように、通知発生条件を変更して再度検索を行うことで、類似特徴による誤報の少ない検索結果を得ることができる。

［第７の実施形態］
本実施形態は第４の実施形態および第６の実施形態を組み合わせた実施形態であり、以下で特に触れない限りは、ユーザインターフェースについては第６の実施形態、それ以外については第４の実施形態と同様である。つまり、本実施形態に係る情報処理装置は、図１の構成から通知判定部１０を省き、且つ第６の実施形態に係るユーザインターフェースを加えた構成を有する。

画像取得部１は、複数台のネットワークカメラのそれぞれから出力された動画像を取得し、該動画像を対象にして、物体検出部２、特徴量抽出部３、照合部５、集計部６、特徴量記録部４、登録判定部７、削除判定部８が上記の如く常時動作する。

集計部６は画像情報、追尾情報、登録人物毎の照合スコアと共に、登録人物毎に決定部９で決定される通知発生条件を記録する。集計部６の画像情報を基に、撮影期間、ネットワークカメラを絞り込むことができる。

検索が実行されると、集計部６によって記録されている照合スコアと通知発生条件に基づいて不審人物の候補を特定する。そしてそれらの不審人物候補の画像及びうろついていた時刻、うろつき時間、どのネットワークカメラで検出されたかという情報を、上記のユーザインターフェースやディスプレイ端末に表示させる。これにより過去の特定期間、特定地域に現れた不審人物を見つけ出すことができる。

このように、本実施形態によれば、類似特徴の出現頻度が高い人物を自動で分類し、これらの人物の通知発生条件を厳格化することで、誤検知による誤報を抑制しながら、不審行動の検知率を向上させることができる。

以上、第１〜７の実施形態について説明したが、図１の情報処理装置１００を適用可能な実施形態はこれら第１〜７の実施形態に限らない。例えば、類似特徴の出現頻度を特定し、出現頻度の高い特徴について通知発生条件を厳格化すれば、誤検知による誤報を抑制しながら不審行動の検知率を向上することができる。

なお、上記の説明において使用した具体的な数値は、具体的な説明を行うために使用したものであって、上記の各実施形態がこれらの数値に限定されることを意図したものではない。また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に用いても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：画像取得部 ２：物体検出部 ３：特徴量抽出部 ４：特徴量記録部 ５：照合部 ６：集計部 ７：登録判定部 ８：削除判定部 ９：決定部 １０：通知判定部

Claims (11)

1. 画像を取得する取得手段と、
   登録された物体と、前記取得手段によって取得される画像から検出された物体と、を照合する照合手段と、
   前記照合手段によって得られた結果が条件を満たす場合には、前記画像から検出された物体が前記登録された物体であると判定する判定手段と、
   前記条件を、前記登録された物体の特徴量と類似する類似特徴量を有する物体が、前記取得手段によって取得される画像内に登場する頻度に応じて決定する決定手段と
   を備えることを特徴とする情報処理装置。
2. 前記決定手段は、前記登場する頻度として、前記取得手段によって取得される画像において前記類似特徴量を有する物体が登場する回数が第１の閾値を超える、前記類似特徴量を有する物体が滞在する時間が第２の閾値を超える、の少なくともいずれかに基づいて、前記条件を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記回数は、前記取得手段が取得した画像における前記物体の特徴量と、該画像よりも前の画像における前記物体の特徴量と、の類似度に基づくスコアが第３の閾値を超えた回数であることを特徴とする請求項２に記載の情報処理装置。
4. 前記決定手段は、前記頻度がより高いと、前記条件を厳格化することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記決定手段は、
   前記取得手段によって取得される画像から検出されるそれぞれの物体の特徴量をクラスタリングして複数のグループを作成し、グループに含まれる特徴量を有する物体の出現頻度に従って前記条件を決定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記物体の特徴量は、前記取得手段が取得する画像から検出された前記物体の属性情報を含むことを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記取得手段は、複数台のカメラもしくはメモリ装置から画像を取得することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 通知のきっかけとなった画像を撮影したカメラの位置に最も近いスピーカに対して通知内容を示す音声情報を送信する通知手段をさらに有することを特徴とする請求項７に記載の情報処理装置。
9. 撮影部と、
   請求項１乃至８の何れか１項に記載の情報処理装置と
   を備えることを特徴とするカメラ。
10. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の取得手段が、画像を取得する取得工程と、
    前記情報処理装置の照合手段が、登録された物体と、前記取得工程によって取得される画像から検出された物体と、を照合する照合工程と、
    前記情報処理装置の判定手段が、前記照合工程によって得られた結果が条件を満たす場合には、前記画像から検出された物体が前記登録された物体であると判定する判定工程と、
    前記情報処理装置の決定手段が、前記条件を、前記登録された物体の特徴量と類似する類似特徴量を有する物体が、前記取得工程によって取得される画像内に登場する頻度に応じて決定する決定工程と
    を備えることを特徴とする情報処理方法。
11. コンピュータを、請求項１乃至８の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images