JP2017016344A - 画像監視装置 - Google Patents

Abstract

【課題】事前に画像情報を得ることが困難な所持物や、画像上で人物像からはみ出していない状態の所持物が検出困難であった。
【解決手段】同一人物像抽出手段５０が互いに異なる時刻に撮影された画像から同一の人物が現れている第一人物像および第二人物像を抽出し、相違領域検出手段５１が第一人物像から第二人物像に含まれない輝度特徴量を有した相違領域を検出する。所持判定手段５２は、相違領域検出手段５１によって、予め定めた基準値以上の大きさを有する相違領域が検出された場合に、上記人物に所持物の有無の変化が生じたと判定する。
【選択図】 図２

Description

本発明は、人物が撮影された画像から当該人物に所持物の有無の変化が生じたことを判定する画像監視装置、およびその判定に基づいて人物間での所持物の受け渡しを検出する画像監視装置に関する。

不審者による危険物持ち込みなどの早期発見を目的として、カバンなど、監視画像中の人物の所持物を検出するための研究が行われている。

そのために、従来、検出対象となる所持物の画像情報を予め記憶させておき、記憶させた画像情報を用いたパターンマッチングにより撮影画像中の所持物を検出し、或いは変化領域の形状に基づき撮影画像中の所持物を検出していた。

例えば、特許文献１に記載の画像処理システムにおいては、予め凶器の基準画像を画像記憶手段に記憶させ、画像認識手段により撮影画像が基準画像と一致するか否かを判別していた。

また、例えば、特許文献２に記載の物品検出装置においては、監視画像から抽出した変化領域に人物の外形を模した人物モデルを重ね、変化領域の内側でかつ人物モデルの外側である領域を監視領域に持ち込まれた物品の領域として検出していた。

特開２００５―２４４４８２号公報

特開２０１２―２１２２３８号公報

しかしながら、不審者の所持物は多様である。そのため、事前にこれらの所持物の画像情報を網羅的に記憶させておくことは困難であり、特許文献１の従来技術では不審者の所持物を検出し損ねるおそれがあった。

また、不審者による所持物の持ち方やカメラとの位置関係は多様である。そのため、変化領域の形状に基づいて所持物を検出する特許文献２の従来技術では、胸元に抱えたカバンなど、画像上で変化領域（すなわち人物像）からはみ出していない状態の所持物を検出することが困難であった。

また、所持物にはその所持者などによるオクルージョンが発生しやすく、所持物が撮影画像に現れたり撮影画像から消えたりするため安定した検出が困難であった。

また、公共の場などではカバン等を所持する人物が多数存在する。そのため、所持物に注目して不審者を監視する場合、監視員は、多数のカバン所持者のそれぞれが受け渡しや置き去りなどの不審行動をとるか否かを目視確認する必要があり、効率的な監視が困難であった。

本発明は、上記問題を鑑みてなされたものであり、事前に画像情報を得ることが困難な所持物や、画像上で人物像からはみ出していない状態の所持物であっても確実に検出できる画像監視装置を提供することを目的とする。

また本発明は、多数の人物が行き交う空間において、所持物に基づき不審者を効率的に監視可能な画像監視装置を提供することを別の目的とする。

かかる課題を解決するために、本発明の画像監視装置は、互いに異なる時刻に撮影された画像から同一の人物が現れている第一人物像および第二人物像を抽出する同一人物像抽出手段と、第一人物像から第二人物像に含まれない輝度特徴量を有した相違領域を検出する相違領域検出手段と、予め定めた基準値以上の大きさを有する相違領域が検出された場合に、人物に所持物の有無の変化が生じたと判定する所持判定手段と、を備えたことを特徴とする。

本発明の好適な態様の一つは上記画像監視装置において、相違領域検出手段は、第一人物像および第二人物像のそれぞれを輝度値が類似する近傍画素からなるセグメントに分割して、各セグメントを構成する複数の画素の輝度値を演算することにより当該セグメントに含まれる各画素の輝度特徴量を求める。

本発明の上記画像監視装置において、相違領域検出手段は、第二人物像を構成する画素を第一人物像に合わせて複数通りに配置変更し、配置変更した第二人物像と第一人物像において対応する画素間での輝度特徴量の相違度の総和が最小となる最近似配置を求め、最近似配置において相違度が所定値以上である相違領域を検出する構成としてもよい。

さらに本発明の上記画像監視装置において、相違領域検出手段は、第二人物像を構成する画素を複数回使用することを許容して配置変更を行う構成としてもよい。

また本発明の上記画像監視装置において、相違領域検出手段は、複数の第二人物像を用いて、第一人物像から複数の第二人物像のいずれにも含まれない輝度特徴量を有した相違領域を検出する構成としてもよい。

また本発明の上記画像監視装置において、相違領域検出手段は、第一人物像から、第一人物像よりも後に撮影された第二人物像に含まれない輝度特徴量を有した過去側相違領域を検出し、所持判定手段は、基準値以上の大きさを有する過去側相違領域が検出された場合に、人物が所持物の所持状態から非所持状態に変化したと判定する構成としてもよい。

また本発明の上記画像監視装置において、相違領域検出手段は、第一人物像から、第一人物像よりも前に撮影された第二人物像に含まれない輝度特徴量を有した未来側相違領域を検出し、所持判定手段は、基準値以上の大きさを有する未来側相違領域が検出された場合に、人物が所持物の非所持状態から所持状態に変化したと判定する構成としてもよい。

また、かかる課題を解決するために、本発明の画像監視装置は、時系列の画像に現れた複数の人物それぞれの人物像を抽出し、各人物の前記人物像および人物位置を当該人物像が撮影された時刻と対応付けて人物情報記憶手段に記憶させる同一人物像抽出手段と、人物ごとに、第一時刻に撮影された人物像から第一時刻よりも後に撮影された人物像に含まれない輝度特徴量を有した過去側相違領域を検出するとともに、第二時刻に撮影された人物像から第二時刻よりも前に撮影された人物像に含まれない輝度特徴量を有した未来側相違領域を検出する相違領域検出手段と、予め定めた基準値以上の大きさを有する過去側相違領域が検出された人物を所持物の所持状態から非所持状態に変化した所持物消失人物と判定し、基準値以上の大きさを有する未来側相違領域が検出された人物を所持物の非所持状態から所持状態に変化した所持物出現人物と判定する所持判定手段と、人物情報記憶手段に記憶している人物位置を参照し、所持物消失人物から所持物出現人物までの距離を算出し、距離が予め定めた距離範囲内である場合に所持物消失人物が所持物出現人物に所持物を受け渡したと判定する受け渡し検知手段と、を備えたことを特徴とする。

本発明によれば、事前に画像情報を得ることが困難な所持物や、画像上で人物領域からはみ出していない状態の所持物であっても確実に検出可能な画像監視装置を提供できる。

また、本発明によれば、多数の人物が行き交う空間において、所持物に基づく不審者の監視を効率的に行うことが可能な画像監視装置を提供できる。

本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。 画像監視装置の機能ブロック図である。 相違領域検出処理を模式的に例示した図である。 第一人物像に対する配置変更処理の一部を模式的に例示した図である。 第一人物像に対する配置変更処理の別の一部を模式的に例示した図である。 所持物消失の判定に係る過去側相違領域の検出と、所持物出現の判定に係る未来側相違領域の検出を対比した図である。 受け渡し検知の様子を例示する模式図である。 画像監視装置の動作の流れを示すフローチャートである。 所持物消失を検出する処理の流れを示すフローチャートである。 所持物消失の検出に用いる第一人物像および第二人物像の関係を示す図である。 所持物出現を検出する処理の流れを示すフローチャートである。 所持物出現の検出に用いる第一人物像および第二人物像の関係を示す図である。 受け渡し検知処理の流れを示すフローチャートである。

以下、本発明の実施形態として、撮影画像の解析によって所持物の受け渡し行動等を不審行動の候補として検知し、検知情報を監視員に対して表示する画像監視装置の例を説明する。

＜画像監視装置１の構成＞
図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、監視カメラ２、画像入力部３、記憶部４、画像処理部５および表示部６からなる。

監視カメラ２は、画像入力部３を介して画像処理部５と接続され、所定の監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次画像処理部５に入力する撮影部である。例えば、監視カメラ２は、隣り合うカメラとの共有視野を有して連鎖配置された複数のカメラである。これらのカメラは、イベント会場内の天井に当該監視空間を俯瞰する視野に固定された状態で設置され、予めキャリブレーションされる。監視カメラ２は、監視空間をフレーム周期１秒で撮影し、可視のカラー画像を生成する。また、監視カメラ２は、撮影時に不図示の時刻取得手段から現在時刻を取得し、取得した現在時刻を撮影時刻として撮影画像に付加して画像処理部５に入力する。なお監視カメラ２を単一のカメラで構成してもよい。

画像入力部３は、監視カメラ２および画像処理部５と接続され、監視カメラ２から撮影画像を取得して画像処理部５に入力するインターフェース回路である。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。各種データには撮影画像も含まれ、記憶部４は予め定めた期間以上の撮影画像を循環記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４および表示部６と接続され、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、各種データを記憶部４に記憶させ、読み出す。また、画像処理部５は、画像入力部３および表示部６とも接続され、監視カメラ２からの撮影画像を解析することにより所持物の受け渡し等を検知し、検知情報を表示部６に出力する。

表示部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置である。表示部６は、画像処理部５から所持物の受け渡し等に係る検知情報を入力され、該検知情報を表示する表示手段である。監視員は表示された撮影画像を視認して所持物が不審物であるか否かまたは／および不審な受け渡し行動であるか否かを判断し、必要に応じて対処を行う。

＜画像監視装置１の機能＞
図２は画像監視装置１の機能ブロック図である。記憶部４は人物情報記憶手段４０、所持情報記憶手段４１等として機能し、画像処理部５は同一人物像抽出手段５０、相違領域検出手段５１、所持判定手段５２、受け渡し検知手段５３等として機能する。

以下、図２〜図５を参照して各手段について説明する。

人物情報記憶手段４０は、撮影画像に写る各人物について、同一人物像抽出手段５０によって撮影画像から抽出された当該人物の人物像、当該人物像の撮影時刻、当該人物像が抽出された位置（人物位置）、撮影画像において当該人物の人物像を特徴づける色ヒストグラムなどの人物特徴量などを当該人物の人物ＩＤと対応付けて記憶する。

同一人物像抽出手段５０は、画像入力部３から順次入力される時系列の撮影画像を処理して、互いに異なる時刻に撮影された撮影画像のそれぞれから同一の人物が現れている人物像（第一時刻に撮影された第一人物像および第二時刻に撮影された第二人物像）を抽出し、各人物像とその撮影時刻、人物位置を人物情報記憶手段４０に記憶させる。人物がカバン等の所持物を所持している場合、撮影画像上で当該人物と所持物の領域は一体化し、所持物は当該人物の人物像の一部として抽出される。

本実施形態において、同一人物像抽出手段５０は、いわゆる追跡処理によって各人物の第一人物像および第二人物像を抽出する。

具体的には、同一人物像抽出手段５０は、入力された撮影画像に背景差分処理を施して人物領域を検出し、撮影画像から人物領域内の画像を切り出して人物像を抽出する。また、同一人物像抽出手段５０は、当該人物像から特徴量を抽出して人物情報記憶手段４０に記憶されている人物特徴量との類似度を算出するとともに、当該人物像の代表点を人物位置として算出する。

人物位置は例えば各人物の頭部中心の三次元位置である。例えば、監視カメラ２をキャリブレーションされた複数のカメラで構成する場合、各カメラから抽出した人物像を世界座標系に逆投影して得られる視体積に三次元人物モデルを当てはめることで頭部中心位置を決定することができる。人物位置は人物の重心、最上端または最下端など他の代表点とすることもできる。また人物位置は、撮影画像の平面座標系（すなわち人物像の代表点）で表してもよい。

人物像から抽出した特徴量との類似度が予め定めた同定閾値を超える人物特徴量が記憶されていない場合、同一人物像抽出手段５０は、新たな人物ＩＤを発行し、人物像から抽出した特徴量を人物特徴量として当該人物ＩＤと対応付けて人物情報記憶手段４０に記憶させるとともに、当該人物ＩＤと対応付けて人物像、人物位置および撮影時刻を人物情報記憶手段４０に記憶させる。なお、監視カメラ２を複数のカメラで構成する場合は、例えば、人物から最も近いカメラにて抽出した人物像を記憶させればよい。

一方、人物像から抽出した特徴量との類似度が同定閾値を超える人物特徴量が記憶されている場合、同一人物像抽出手段５０は、当該人物像を当該人物特徴量が示す人物のものと同定する。同一人物像抽出手段５０は、人物像を、同定した人物の人物ＩＤ、人物位置および撮影時刻と紐づけて人物情報記憶手段４０に記憶させる。また、同一人物像抽出手段５０は同定した人物の人物特徴量を人物像から抽出した特徴量で更新する。

また、同一人物像抽出手段５０は、いずれの人物像とも同定されなかった人物特徴量を、監視空間外に移動して追跡を終えた人物のものであるとして人物情報記憶手段４０から削除する。

相違領域検出手段５１は、人物ごとに、互いに異なる時刻に撮影された第一人物像と第二人物像を比較することにより、第一人物像から第二人物像に含まれない輝度特徴量を有した相違領域を検出し、検出した相違領域を所持判定手段５２に出力する。輝度特徴量は色特徴量、濃淡特徴量またはテクスチャ特徴量である。このようにして相違領域検出手段５１は所持物有無の状態変化により生じた相違領域を検出する。

図３は、相違領域検出の一例を模式的に示した図である。第一人物像１００においては、人物Ａと胸元に抱えた所持物が一体となって抽出されている。第二人物像１０１は同一人物を第二時刻に撮影した画像である。第一時刻から第二時刻の間に人物Ａは所持物を他人に渡した、置き去ったあるいは置き忘れたため、第二人物像１０１においては所持物を持たない人物Ａが抽出されている。

第一人物像１００における所持物部分には人物部分に無い色や模様が現れているため、相違領域検出手段５１の処理によって、第二人物像１０１に含まれない輝度特徴量を有した所持物部分が相違領域１０２として検出される。

具体的には、まず、相違領域検出手段５１は、人物ごとに人物情報記憶手段４０から第一人物像および第二人物像を読み出し、第一人物像および第二人物像のそれぞれを輝度値が類似する近傍画素からなるセグメントに分割して、各セグメントを構成する複数の画素の輝度値を演算することにより当該セグメントに含まれる各画素の輝度特徴量を算出する。すなわち相違領域検出手段５１はセグメントごとに輝度特徴量を算出する。

セグメントへの分割は、ＳＬＩＣ（Simple Linear Iterative Clustering）法、ミーンシフト（Mean Shift）法など公知の方法を用いて行うことができる。なお、ＳＬＩＣ法の参考文献として、Radhakrishna Achanta, Appu Shajiら著の「SLIC Superpixels Compared to State-of-the-art Superpixel Methods 」（IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, Issue 11, p. 2274 - 2282, 2012.）などがある。また、ミーンシフト法の参考文献としてDorin Comaniciu and Peter Meer著の「Mean shift: A robust approach toward feature space analysis」（IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, Issue 5, p. 603 - 619, 2002.）などがある。

各セグメントの輝度特徴量は、当該セグメントの代表輝度値とすることができ、例えば、Ｌａｂ色空間における当該セグメントの色の平均値とすることができる。或いは、輝度特徴量は、最頻値或いは中央値など他の代表輝度値とすることもできる。或いは、輝度特徴量は、ＲＧＢ色空間における代表輝度値とすることもできる。或いは、輝度特徴量は、代表輝度値に代えて色ヒストグラム、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ＬＢＰ（Local Binary Pattern）特徴などヒストグラム形式の特徴量とすることもできる。ヒストグラム形式の特徴量を用いる場合、相違領域検出手段５１は、画素ごとの特徴量をセグメントごとに集計して正規化すればよい。或いは、輝度特徴量は上述した代表輝度値、特徴量のうち２以上の組み合わせとすることもできる。

このように、セグメントごとに算出した輝度特徴量においては、陰影による輝度の微小変化やカメラノイズの影響が抑制される。そのため、セグメントごとに算出した輝度特徴量を用いて第一人物像と第二人物像を比較することによって、陰影の影響で輝度特徴量が変動した人物の部位やカメラノイズを所持物有無により変化した相違領域として検出するエラーを減少させることができる。

続いて、相違領域検出手段５１は第一人物像と第二人物像の輝度特徴量を比較して相違領域を検出する。

ここで、殆どの場合、第一人物像における人物の姿勢と第二人物像における人物の姿勢は異なるため、単純に第一人物像と第二人物像を重ね合せて輝度特徴量を比較すると、人物の部位も相違領域として誤検出されてしまう。

そこで、相違領域検出手段５１は、第二人物像を構成する画素を第一人物像に合わせて複数通りに配置変更し、配置変更した第二人物像と第一人物像において対応する画素間での輝度特徴量の相違度の総和が最小となる最近似配置を求め、最近似配置において相違度が所定値ＴＤ以上である領域を相違領域として検出する。その際、相違領域検出手段５１は、最近似配置において相違度がＴＤ以上である画素のうち近傍画素同士はひとつの相違領域としてまとめる。

相違領域検出手段５１は最近似配置を探索的に求める。例えば、相違領域検出手段５１は、まずランダムに１つの初期配置を生成して更新前の配置とする。次に相違領域検出手段５１は、更新前の配置の一部をランダムに変更して更新前後で相違度の総和の低下を確認し、低下していれば更新前の配置を更新後の配置で置き換え、低下していなければ更新後の配置を破棄し、再度配置の更新を行う、という一連の処理を繰り返す。そして、相違領域検出手段５１は、低下が所定値以下となったとき或いは一連の処理が規定回数以上繰り返されたときに、収束と判定してそのときの配置を最近似配置とする。最近似配置は他にも線形計画法、ＥＭＤ（Earth Mover’s Distance）法など公知の種々の制約付最適化法により求めることができる。

なお、第二人物像と第一人物像の大きさは殆どの場合異なる。これに対応して、相違領域検出手段５１は、第一人物像の局所領域ごとに当該局所領域と同一の面積割合である第二人物像の局所領域を対応付けて配置変更を行う。例えば、第二人物像において１％の面積割合を占める局所領域を、第一人物像において１％の面積割合を占める局所領域に対応付ける、というようにして配置変更を行う。相違領域検出手段５１は、第二人物像と第一人物像のいずれかを他方の大きさに合わせて拡大または縮小してから配置変更を行うこともできるが、面積割合を用いることで拡大・縮小に伴う量子化誤差を排除できるため、相違領域の検出精度が向上する。なお、面積割合を用いて局所領域ごとに対応付けを行う場合、セグメントごとに輝度特徴量を算出し、セグメントを分割して局所領域を生成すれば、同一の輝度特徴量を有する複数の画素をまとめて対応付けることができるため配置変更の処理量を減じることができる。

相違度は、例えば、輝度特徴量が代表輝度値であれば色の距離、輝度特徴量がＨＯＧ特徴量、ＬＢＰ特徴などのヒストグラム形式の特徴量であればヒストグラム間の距離とすることができる。

相違度の算出はセグメント単位で行うこともできる。この場合、相違領域検出手段５１は、画素ごとに算出した相違度を第一人物像のセグメントごとに平均し、各セグメントで算出した平均値を当該セグメントに含まれる画素の相違度とする。このようにセグメント単位で相違度を算出することによって、同一人物部位に対応づかなかった少数の画素の相違度を補正することができ、相違領域の検出精度が向上する。

所定値ＴＤは、同一人物の画素間で算出される相違度と、人物の画素と所持物の画素との間で算出される相違度とを弁別する閾値である。同一人物の画素間で算出される相違度は、理想的には０であるが、第一人物像と第二人物像の照明環境の違い、人物像の抽出誤差などによる誤差を含み、０より大きな値となる。所定値ＴＤは、事前の実験を通じて見積もった誤差よりも大きめの値に設定される。

このように、配置変更を許容した上で対応する画素間の輝度特徴量を比較することにより、姿勢が異なる第一人物像と第二人物像の間で同一人物部位の画素同士を比較できる可能性を極めて高くすることができる。よって、第一人物像と第二人物像の間で人物の姿勢が異なっていても所持物による相違領域を高精度に検出することが可能となる。

また、人物の姿勢変化やカメラアングルの変化に伴うセルフオクルージョンの度合いの変化によって、人物の同一部位が第二人物像よりも第一人物像において大きく写る場合がある。そのため、単純に第一人物像の画素と第二人物像の画素を１対１で対応づけると当該部位が相違領域として誤検出されてしまう。

そこで、相違領域検出手段５１は、第二人物像を構成する画素を複数回使用することを許容して配置変更を行う。例えば、使用回数上限ＮＵを２に設定して第二人物像を構成する各画素を０回以上２回以下の範囲で使用して配置変更を行う。

これにより、第一人物像に第二人物像よりも大きく写る同一部位があっても所持物による相違領域を高精度に検出することが可能となる。

また、同一人物像抽出手段５０による人物像の抽出精度が不十分で人物像に背景の画素が含まれる場合がある。第一人物像に混入した背景の画素を相違領域として誤検出することを防止するために、相違領域検出手段５１は、第二人物像に当該第二人物像の周囲にて撮影された背景の画素を所定数加えて相違領域を検出してもよい。

図４および図５は第二人物像を配置変更する処理の一部を模式的に例示した図である。図４は最近似配置における左腕および左足の画素の対応関係を例示している。図５は同最近似配置における胴と所持物の画素の対応関係を表している。

図４および図５においては、人物Ａの第二人物像２００が左腕のセグメント２１０および２１１、左足のセグメント２２０〜２２４、胴のセグメント２５０および２５１を含む２９個のセグメントに分割されている。同一人物Ａの第一人物像３００が左腕のセグメント３０１および３１１、左足のセグメント３２０〜３２４、胴のセグメント３５０、所持物のセグメント３６０および３６１を含む２９個のセグメントに分割されている。

第二人物像２００と第一人物像３００とでは、左腕の位置が大きく異なっているが、配置変更を許容することによって、第二人物像２００における左腕の画素を第一人物像３００における左腕の画素に対応付けることが可能となっている。例えば、図４は、最近似配置において、第二人物像２００における左腕のセグメント２１０および２１１の画素がそれぞれ第一人物像３００における左腕のセグメント３１０および３１１の画素に対応付けできたことを示している。このように、配置変更を許容すれば姿勢が異なっていても同一部位の画素同士を対応付けることができ、人物部分の相違度を小さくできる。

一方、所持物に関しては、第二人物像２００に所持物の像がそもそも存在しないため、第二人物像２００における人物の部位の画素のいずれかが第一人物像３００における所持物の画素に対応付けられることになる。そのため、所持物部分の相違度は配置変更を許容しても人物部分のように小さくならない。例えば、図５は、最近似配置において、第二人物像２００における胸部のセグメント２５０の一部の画素および腹部のセグメント２５１の画素がそれぞれ第一人物像３００における所持物のセグメント３６０および３６１の画素に対応付けられたことを示している。

このように第二人物像の配置変更を許容することによって、人物部分の相違度を所持物部分に比べて大幅に小さくできるため、所持物部分を相違領域として弁別する精度が向上する。

また、第二人物像２００と第一人物像３００とでは、右足による左足の隠蔽有無が変化し、左足上部が写る面積が大きく異なっている。しかし、第二人物像２００の画素の複数回使用を許容して配置変更することによって、第二人物像２００における左足の画素を第一人物像３００における左足の画素の位置に対応付けることが可能となっている。例えば、図４は、最近似配置において、第二人物像２００におけるセグメント２２１の画素を２回使用して第一人物像３００におけるセグメント３２１の画素に対応付け、第二人物像２００におけるセグメント２２２の画素を２回使用して第一人物像３００におけるセグメント３２２の画素に対応付け、また第二人物像２００におけるセグメント２２０，２２３，２２４の画素を第一人物像３００におけるセグメント３２０，３２３，３２４の画素にそれぞれ対応付けることで、面積差がカバーされたことを示している。このように第二人物像の画素の複数回使用を許容すれば人物像間で同一部位の大きさが異なっていても同一部位の画素同士を対応付けることができ、人物部分の相違度を小さくできる。

よって、第二人物像の複数回使用した配置変更を許容することによって、人物部分の相違度を所持物部分に比べて大幅に小さくできるため、所持物部分を相違領域として弁別する精度が向上する。

ところで、所持物有無の状態変化には２通りの状態変化がある。すなわち、所持状態から非所持状態に変化する状態変化（所持物消失）と、非所持状態から所持状態に変化する状態変化（所持物出現）がある。所持物消失は、他人への所持物譲渡、所持物の置き去り、所持物の置き忘れすなわち忘れ物などの事象により生じる。所持物出現は、他人からの所持物受領、物品持ち出しなどの事象により生じる。

これに対応して相違領域検出手段５１は２通りの検出を行う。図６を参照してこれらの検出を説明する。

第一の検出は所持物消失の判定に係る相違領域の検出である。所持物消失を検出するために、相違領域検出手段５１は、人物Ａの第一人物像４００から、第一人物像４００よりも後に撮影された人物Ａの第二人物像４０１に含まれない輝度特徴量を有した相違領域（過去側相違領域４０２）を検出する。例えば、相違領域検出手段５１は、現時刻よりも前に撮影された人物Ａの人物像を第一人物像４００に設定し、現時刻に撮影された人物Ａの人物像を第二人物像４０１に設定して過去側相違領域４０２の検出を行う。

第二の検出は所持物出現の判定に係る相違領域の検出である。所持物出現を検出するために、相違領域検出手段５１は、人物Ｂの第一人物像４５０から、第一人物像４５０よりも前に撮影された人物Ｂの第二人物像４５１に含まれない輝度特徴量を有した相違領域（未来側相違領域４５２）を検出する。例えば、相違領域検出手段５１は、現時刻に撮影された人物Ｂの人物像を第一人物像４５０に設定し、現時刻よりも前に撮影された人物Ｂの人物像を第二人物像４５１に設定して未来側相違領域４５２の検出を行う。

ここで、所持物には、所持者が他の人物や物体と交叉したときなどに一時的なオクルージョンが発生し得る。第二人物像が１フレーム分であると、たまたま第二人物像中の所持物にオクルージョンが発生している場合に、所持物有無の状態変化が生じていないにもかかわらずオクルージョンによる相違領域が誤検出されてしまう。

そこで、相違領域検出手段５１は、複数の第二人物像を用いて、第一人物像から複数の第二人物像のいずれにも含まれない輝度特徴量を有した相違領域を検出する。そのために、相違領域検出手段５１は、例えば、第一人物像の画素ごとに複数の第二人物像それぞれにおける対応画素との間で算出した相違度の平均値を当該画素の相違度として算出する。

例えば、交叉によるオクルージョンの継続時間長を見込んで、予め当該時間長よりも長い時間Ｔ１を設定しておく。相違領域検出手段５１は時間Ｔ１内に撮影されたＮ１（＞１）フレーム分の人物像を第二人物像に設定する。例えばＴ１は５秒、Ｎ１は６フレーム分とすることができる。Ｎ１フレーム分の第二人物像は、撮影時刻が連続するものとしてもよいし、１フレームおきの第二人物像とするなど撮影時刻が不連続なものとしてもよい。

また、所持物有無の状態変化が生じる瞬間とその前後は、同一人物像抽出手段５０による抽出誤差が生じやすい。例えば、人物Ａが人物Ｂに所持物を渡す瞬間とその前後の第一人物像においては人物Ａと人物Ｂの人物像が所持物を介して極めて接近乃至接続するため、人物Ａと人物Ｂの人物像のいずれ側にも所持物の一部または全部が誤抽出されやすく、またどちら側に抽出されるかがバタつきやすい。

そこで、相違領域検出手段５１は、第一人物像の撮影時刻から下限値以上離れた時刻に撮影された第二人物像を設定して相違領域を検出する。例えば、人物間で所持物受け渡しが完了する時間長を見込んで、予め当該時間長よりも長い時間Ｔ２を下限値として設定しておく。例えばＴ２は５秒とすることができる。

所持判定手段５２は、相違領域検出手段５１の検出結果に基づき各人物における所持物有無の状態変化を判定する。

所持情報記憶手段４１は、所持判定手段５２の判定結果を記憶する記憶手段である。判定結果は、所持物消失が判定された場合に生成される所持物消失情報と、所持物出現が判定された場合に生成される所持物出現情報などである。所持物消失情報には、所持物消失が判定された人物の人物ＩＤである所持物消失人物ＩＤ、所持物消失が判定された第一人物像の撮影時刻である所持物消失時刻、所持物消失が判定されたときの過去側相違領域である所持物領域、およびフラグ等が含まれる。所持物出現情報には、所持物出現が判定された人物の人物ＩＤである所持物出現人物ＩＤ、所持物出現が判定された第一人物像の撮影時刻である所持物出現時刻、所持物出現が判定されたときの未来側相違領域である所持物領域、およびフラグ等が含まれる。

所持判定手段５２が行う処理についてさらに説明する。

所持判定手段５２は、各人物の第一人物像から予め定めた基準値ＴＢ以上の大きさを有する相違領域が検出された場合に、当該人物に所持物の有無の変化が生じたと判定する。また、所持判定手段５２は、当該相違領域を人物の所持物により変化した所持物領域として検出する。なお、所持判定手段５２は、基準値ＴＢ以上の大きさを有する相違領域が検出されなかった人物については、所持物有無の状態が変化しなかったと判定する。

基準値ＴＢは、例えばカバン以上の大きさの所持物を検出対象とするのであれば人物像の３％とするなど、検出対象とする所持物の大きさに応じて設定することができる。なお、所持物の検出条件に大きさの上限を加えてもよい。すなわち、所持判定手段５２は、各人物の第一人物像から基準値ＴＢ以上かつ予め定めた上限値未満の大きさを有する相違領域が検出された場合に、当該人物に所持物の有無の変化が生じたと判定することもできる。

上述したように、所持物有無の状態変化には所持物消失と所持物出現の２通りがある。所持判定手段５２はこれらを次のように区別して判定する。

すなわち、所持判定手段５２は、相違領域検出手段５１によって基準値ＴＢ以上の大きさを有する過去側相違領域が検出された人物を、所持物の所持状態から非所持状態に変化した所持物消失人物であると判定する。つまり当該人物に所持物消失の状態変化が発生したと判定する。この場合、所持判定手段５２は、当該人物の人物ＩＤである所持物消失人物ＩＤ、当該人物の第一人物像の撮影時刻である所持物消失時刻、過去側相違領域である所持物領域を含めた所持物消失情報を生成して所持情報記憶手段４１に記憶させる。

また、所持判定手段５２は、相違領域検出手段５１によって基準値ＴＢ以上の大きさを有する未来側相違領域が検出された人物を所持物の非所持状態から所持状態に変化した所持物出現人物であると判定する。つまり当該人物に所持物出現の状態変化が発生したと判定する。この場合、所持判定手段５２は、当該人物の人物ＩＤである所持物出現人物ＩＤ、当該人物の第一人物像の撮影時刻である所持物出現時刻、未来側相違領域である所持物領域を含めた所持物出現情報を生成して所持情報記憶手段４１に記憶させる。

この結果、受け渡しが行われた場合は、所持物消失情報と所持物出現情報のペアが記録される。因みに、所持物の交換が行われた場合は、２つのペアが記録され得る。

ここで、所持物には、所持者の移動や姿勢変化、他の人物とのすれ違いなどによって一時的なオクルージョンが発生し得る。オクルージョン無しから有りへの変化は誤って所持物消失と判定する原因となり得、オクルージョン有りから無しへの変化は誤って所持物出現と判定する原因となり得る。

そこで、所持判定手段５２は、状態変化の種別ごとに当該状態変化を検出した時間頻度を算出し、時間頻度が予め定めた閾値以上である場合に当該状態変化が生じたと判定する。なお、時間頻度の算出は人物ごとに行う。これによりオクルージョンによる誤判定を防止できる。

具体的には、オクルージョンの継続時間長を見込んで、当該継続時間長よりも長い時間Ｔ３を予め設定しておく。所持判定手段５２は、時間Ｔ３内に撮影されたＮ３フレームの第一人物像から同一の状態変化がＮ４回判定された場合に当該状態変化の判定を確定させる。例えばＴ３を５秒、Ｎ３を５フレーム、Ｎ４を２フレームと設定する。

第一人物像と第二人物像の間で生じるアングル変動や姿勢変動によって、顔、腕、足先などが相違領域として誤抽出される場合がある。このような誤抽出による誤判定を防止するために、所持判定手段５２は、予め人の所定部位の画像を学習した部位識別器を備え、部位識別器により第一人物像の相違領域が人の所定部位であるか否かを識別し、人の所定部位であると識別された相違領域に対しては所持物有無の状態変化を判定せず、人の所定部位でないと識別された相違領域に対して所持物有無の状態変化を判定する。これにより人の部位を所持物として判定する誤りを防止できる。

受け渡し検知手段５３は、人物情報記憶手段４０に記憶している人物位置を参照して所持物消失人物から所持物出現人物までの人物間距離Ｌを算出し、人物間距離Ｌが予め定めた距離範囲ＴＬ内である場合に所持物消失人物が所持物出現人物に所持物を受け渡したと判定する。すなわち両人物が実際に接近していたことを確認して受け渡しがあったと判定する。

具体的には、受け渡し検知手段５３は、まず、所持情報記憶手段４１を参照して所持物消失情報と所持物出現情報のペアを抽出する。次に受け渡し検知手段５３は、ペアを構成する所持物消失情報から所持物消失人物ＩＤと所持物消失時刻を取り出し、ペアを構成する所持物出現情報から所持物出現人物ＩＤと所持物出現時刻を取り出す。続いて、受け渡し検知手段５３は、人物情報記憶手段４０から、所持物消失人物ＩＤと対応付けられ且つ所持物消失時刻からそのＴ１＋Ｔ２時間前までの撮影時刻と対応付けられた所持物消失人物の人物位置を撮影時刻と共に読み出し、所持物出現人物ＩＤと対応付けられ且つ所持物出現時刻からそのＴ１＋Ｔ２時間前までの撮影時刻と対応付けられた所持物出現人物の人物位置を撮影時刻と共に読み出す。

そして、受け渡し検知手段５３は、撮影時刻ごとに所持物消失人物の人物位置と所持物出現人物の人物位置の間の距離を算出し、最小距離を人物間距離Ｌとして算出する。

距離範囲ＴＬは、人の腕の長さに基づき１ｍ乃至２ｍとすることができる。なお、ＴＬを例えば１０ｍと長めに設定することによって、手渡しのみならず投げ渡しをも検知可能となる。

更に、受け渡し検知手段５３は、人物間距離に加えて、所持物領域の類似度を受け渡し検知の条件とすることもできる。すなわち、受け渡し検知手段５３は、所持物消失人物の第一人物像において検出された所持物領域（過去側相違領域）の輝度特徴量と、所持物出現人物の第一人物像において検出された所持物領域（未来側相違領域）の輝度特徴量の類似度Ｓを算出して予め定めた閾値ＴＳと比較し、人物間距離Ｌが距離範囲ＴＬ内かつ類似度Ｓが閾値ＴＳ以上である場合に所持物の受け渡しが行われたと判定してもよい。これにより、所持物をそのまま受け渡すことが想定される場合には受け渡しの検知精度を向上させることができる。

図７は、受け渡し検知の様子を例示する模式図である。同一人物像抽出手段５０は現時刻ｔまでに人物ＡとＢを追跡して丸印で示した人物位置を検出した。所持判定手段５２は時刻ｔ−６に人物Ａの人物像から所持物消失の判定を下し、所持物消失時刻をｔ−６とする人物Ａの所持物消失情報を生成した。また、所持判定手段５２は時刻ｔ−５に人物Ｂの人物像から所持物出現の判定を下し、所持物消失時刻をｔ−５とする人物Ｂの所持物出現情報を生成した。その後、人物Ａ，Ｂについて同様の判定が続き、所持判定手段５２は、時刻ｔ−１には時刻ｔ−６に下した判定を確定し、現時刻ｔには時刻ｔ−５に下した判定を確定した。受け渡し検知手段５３は、現時刻ｔに人物Ａ，Ｂのペアを検出し、人物Ａの時刻ｔ−１６〜ｔ−６における人物位置と人物Ｂの時刻ｔ−１５〜ｔ−５における人物位置を比較して時刻ｔ−７における人物間距離ＬがＴＬ未満であったことから人物ＡとＢが受け渡しを行ったことを検知した。

受け渡しを検知した受け渡し検知手段５３は、少なくとも所持物消失人物の人物像が抽出された撮影画像および所持物出現人物の人物像が抽出された撮影画像を含めた検知情報を生成し、表示部６に出力する。ただし２人が同時に写っている撮影画像は重複するため同一撮影画像は排除する。検知情報を受けた表示部６は少なくとも所持物消失人物の人物像が抽出された撮影画像および所持物出現人物の人物像が抽出された撮影画像を表示することで監視員が受け渡しに係る不審行動の有無を効率的に確認できる。

また、受け渡し検知手段５３は検知情報に含める撮影画像を所持物消失時刻の前後所定時間の撮影画像および所持物出現時刻の前後所定時間の撮影画像に絞り込むことでさらに効率的な監視が可能となる。

なお、同一の人物ペアについて２つの検知情報が生成された場合、すなわち所持物の交換が発生した場合は、重複する撮影画像を排除して、これら２つの検知情報をひとつにまとめてもよい。

また、受け渡し検知手段５３は、さらに撮影画像に所持物領域を示す枠線を重畳して検知情報を生成することもできる。すなわち、受け渡し検知手段５３は、検知情報に含ませる撮影画像のうち、所持物消失時刻よりもＴ１＋Ｔ２時間だけ前に撮影された撮影画像に過去側相違領域を囲む枠線を重畳する。または／および受け渡し検知手段５３は、検知情報に含ませる撮影画像のうち、所持物出現時刻に撮影された撮影画像に未来側相違領域を囲む枠線を重畳する。枠線の形状は矩形または円などとすることができる。所持物領域を示すことで監視員がより迅速に不審行動を確認できる。

＜画像監視装置１の動作＞
図８〜図１３を参照して画像監視装置１の動作を説明する。

画像監視装置１の管理者は監視空間が無人であることを確認して画像監視装置１を起動する。起動後、監視カメラ２は監視空間を所定時間間隔で撮影して撮影画像を順次画像処理部５に入力する。起動直後から所定時間が経過するまで同一人物像抽出手段５０は入力された撮影画像を平均化するなどして背景画像を生成し、記憶部４に記憶させる。上記所定時間が経過して以降、画像監視装置１は、撮影画像が入力されるたびに図８のフローチャートに示したステップＳ１〜Ｓ１３の処理を繰り返す。

以下、図８のフローチャートを参照してこれらの処理を説明する。

画像入力部３を介して撮影画像が入力されると（Ｓ１）、画像処理部５は同一人物像抽出手段５０として動作し、撮影画像中の各人物を追跡する（Ｓ２）。また、画像処理部５は検知情報を生成するために撮影画像を記憶部４に記憶させる。記憶部４はＴ３＋２×（Ｔ１＋Ｔ２）時間以上のサイクルで撮影画像を循環記憶する。

すなわち、同一人物像抽出手段５０は、撮影画像と背景画像との差分処理により撮影画像中の人物像を検出し、検出した人物像の特徴量を、人物情報記憶手段４０に記憶している追跡中の人物（追跡人物）の人物特徴量と比較して人物像の人物ＩＤを特定し、検出した人物像、撮影時刻および人物位置を人物ＩＤと対応付けて人物情報記憶手段４０に記憶させる。

同一の人物ＩＤと対応付けて記憶されている人物像が異なる時刻に撮影された同一の人物の人物像ということになる。

また、同一人物像抽出手段５０は、適宜、背景画像の更新、新規出現した追跡人物の人物特徴量生成、および消失した追跡人物の人物特徴量削除を行う。

追跡処理が進捗すると、画像処理部５は人物情報記憶手段４０を参照して追跡人物が存在するか否かを確認する（Ｓ３）。追跡人物が存在しなければ（ステップＳ３にてＮＯ）、画像処理部５はステップＳ４〜Ｓ１３を省略して処理をステップＳ１に戻す。

他方、追跡人物が存在する場合（ステップＳ３にてＹＥＳ）、画像処理部５は各追跡人物を順次注目人物に設定してステップＳ４〜Ｓ８のループ処理を行う。

追跡人物のループ処理において、まず、画像処理部５は人物情報記憶手段４０を参照して注目人物がＴ１＋Ｔ２時間以上追跡されているか否かを確認する（Ｓ５）。Ｔ１＋Ｔ２時間以上追跡されていなければ（ステップＳ５にてＮＯ）、画像処理部５は注目人物に対するステップＳ６，Ｓ７の処理を省略してステップＳ８に進める。

注目人物がＴ１＋Ｔ２時間以上追跡されている場合（ステップＳ５にてＹＥＳ）、画像処理部５は注目人物に関して所持物消失の検出処理を行う（Ｓ６）。

図９のフローチャートおよび図１０を参照して所持物消失の検出処理を説明する。

まず、画像処理部５は相違領域検出手段５１として動作し、人物情報記憶手段４０からＴ１＋Ｔ２時間前に撮影された注目人物の人物像を読み出して第一人物像に設定するとともに（Ｓ６００）、Ｔ１時間前から現時刻までに撮影された注目人物の人物像を読み出して第二人物像に設定する（Ｓ６０１）。

例えば、フレーム周期を１秒、Ｔ１を５秒とし、現時刻をｔ、現時刻からｎフレーム前の撮影時刻をｔ−ｎと表した場合、図１０に示すように撮影時刻がｔ−１０である１枚の第一人物像６００と、撮影時刻がｔ−５からｔである６フレームの第二人物像６０１〜６０６が読み出される。

次に、相違領域検出手段５１は、読み出した第一人物像および第二人物像のそれぞれをセグメントに分割し（Ｓ６０２）、セグメントごとに輝度特徴量を抽出する（Ｓ６０３）。

続いて、相違領域検出手段５１は、第一人物像から過去側相違領域を検出する（Ｓ６０４）。

そのために、まず、相違領域検出手段５１は、第二人物像６０１の画素を配置変更して第一人物像６００に対する第二人物像６０１の最近似配置を求め、第一人物像６００の各画素と最近似配置した第二人物像６０１において対応する画素の間で輝度特徴量の距離を算出する。同様に、相違領域検出手段５１は、第一人物像６００の各画素と最近似配置した第二人物像６０２，６０３，６０４，６０５，６０６のそれぞれにおいて対応する画素の間で輝度特徴量の距離を算出する。

次に、相違領域検出手段５１は、第一人物像の画素ごとに第二人物像６０１，６０２，６０３，６０４，６０５および６０６の画素との間で算出した距離の平均値を算出し、さらにこれら平均距離を第一人物像のセグメントごとに平均して相違度を算出し、相違度を所定値ＴＤと比較する。

そして、相違領域検出手段５１は、相違度がＴＤ以上である画素のうち互いに近接する画素同士をまとめた領域を過去側相違領域として検出し、検出した過去側相違領域を所持判定手段５２に入力する。

続いて、所持判定手段５２は、相違領域検出手段５１が検出した過去側相違領域の大きさが基準値ＴＢ以上であるか否かを確認する（Ｓ６０５）。

基準値ＴＢ以上である場合（ステップＳ６０５にてＹＥＳ）、所持判定手段５２は第一人物像における過去側相違領域の輝度特徴量を人部位識別器に入力して過去側相違領域が人の部位であるか否かを識別する（Ｓ６０６）。

過去側相違領域が人の部位でないと識別された場合（ステップＳ６０６にてＮＯ）、現時刻において注目人物が所持状態から非所持状態に変化した可能性があり、過去側相違領域に所持物が現れている可能性があるとして、注目人物の人物ＩＤ（所持物消失人物ＩＤ）、現時刻（所持物消失時刻）、過去側相違領域（所持物領域）からなる所持物消失情報を所持情報記憶手段４１に仮記録させる（Ｓ６０７）。

なお、過去側相違領域の大きさが基準値ＴＢ未満である場合（ステップＳ６０５にてＮＯ）、または大きさが基準値ＴＢ以上の過去側相違領域であったが人の部位であると識別された場合（ステップＳ６０６にてＹＥＳ）、ステップＳ６０７はスキップし所持物消失情報は仮記録しない。

続いて、所持判定手段５２は、所持情報記憶手段４１を参照し、現時刻を含む過去Ｔ３時間内に仮記録された注目人物の所持物消失情報がＮ４個以上あるか否かを確認する（Ｓ６０８）。

Ｎ４個以上の所持物消失情報が仮記録されていれば（ステップＳ６０８にてＹＥＳ）、所持判定手段５２は、現時刻からＴ３時間前に仮記録した注目人物の所持物消失情報を本記録に変更し、仮記録しているその他の注目人物の所持物消失情報を所持情報記憶手段４１から削除する（Ｓ６０９）。なお、後段で行う受け渡し検知等のために、所持判定手段５２は、本記録に変更する所持物消失情報に未出力であることを示すフラグを加える。

他方、仮記録されている注目人物の所持物消失情報がＮ４個未満であれば（ステップＳ６０８にてＮＯ）、所持判定手段５２は、現時刻からＴ３時間前に仮記録した注目人物の所持物消失情報を削除する（Ｓ６１０）。

以上の処理を終えると、画像処理部５は、処理を図８のステップＳ７に進め、注目人物に関して所持物出現の検出処理を行う（Ｓ７）。

図１１のフローチャートおよび図１２を参照して所持物出現の検出処理を説明する。

まず、画像処理部５の相違領域検出手段５１は、人物情報記憶手段４０から現時刻に撮影された注目人物の人物像を読み出して第一人物像に設定するとともに（Ｓ７００）、Ｔ１＋Ｔ２時間前からＴ２時間前までに撮影された注目人物の人物像を読み出して第二人物像に設定する（Ｓ７０１）。

例えば、フレーム周期を１秒、Ｔ１を５秒とし、現時刻をｔ、現時刻からｎフレーム前の撮影時刻をｔ−ｎと表した場合、図１２に示すように撮影時刻がｔである１枚の第一人物像７００と、撮影時刻がｔ−１０からｔ−４である６フレームの第二人物像７０１，７０２，７０３，７０４，７０５，７０６が読み出される。

次に、相違領域検出手段５１は、読み出した第一人物像および第二人物像のそれぞれをセグメントに分割し（Ｓ７０２）、セグメントごとに輝度特徴量を抽出する（Ｓ７０３）。

続いて、相違領域検出手段５１は、第一人物像から未来側相違領域を検出する（Ｓ７０４）。

そのために、まず、相違領域検出手段５１は、第二人物像７０１の画素を配置変更して第一人物像７００に対する第二人物像７０１の最近似配置を求め、第一人物像７００の各画素と最近似配置した第二人物像７０１において対応する画素の間で輝度特徴量の距離を算出する。同様に、相違領域検出手段５１は、第一人物像７００の各画素と最近似配置した第二人物像７０２，７０３，７０４，７０５，７０６のそれぞれにおいて対応する画素の間で輝度特徴量の距離を算出する。

次に、相違領域検出手段５１は、第一人物像の画素ごとに第二人物像７０１，７０２，７０３，７０４，７０５および７０６の画素との間で算出した距離の平均値算出し、さらにこれら平均距離を第一人物像のセグメントごとに平均して相違度を算出し、相違度を所定値ＴＤと比較する。

そして、相違領域検出手段５１は、相違度がＴＤ以上である画素のうち互いに近接する画素同士をまとめた領域を未来側相違領域として検出し、検出した未来側相違領域を所持判定手段５２に入力する。

続いて、所持判定手段５２は、相違領域検出手段５１が検出した未来側相違領域の大きさが基準値ＴＢ以上であるか否かを確認する（Ｓ７０５）。

基準値ＴＢ以上である場合（ステップＳ７０５にてＹＥＳ）、所持判定手段５２は第一人物像における未来側相違領域の輝度特徴量を人部位識別器に入力して未来側相違領域が人の部位であるか否かを識別する（Ｓ７０６）。

未来側相違領域が人の部位でないと識別された場合（ステップＳ７０６にてＮＯ）、現時刻において注目人物が非所持状態から所持状態に変化した可能性があり、未来側相違領域に所持物が現れている可能性があるとして、注目人物の人物ＩＤ（所持物出現人物ＩＤ）、現時刻（所持物出現時刻）、相違領域（所持物領域）からなる所持物出現情報を所持情報記憶手段４１に仮記録させる（Ｓ７０７）。

なお、未来側相違領域の大きさが基準値ＴＢ未満である場合（ステップＳ７０５にてＮＯ）、または大きさが基準値ＴＢ以上の未来側相違領域であったが人の部位であると識別された場合（ステップＳ７０６にてＹＥＳ）、ステップＳ７０７はスキップし所持物出現情報は仮記録しない。

続いて、所持判定手段５２は、所持情報記憶手段４１を参照し、現時刻を含む過去Ｔ３時間内に仮記録された注目人物の所持物出現情報がＮ４個以上あるか否かを確認する（Ｓ７０８）。

Ｎ４個以上の所持物出現情報が仮記録されていれば（ステップＳ７０８にてＹＥＳ）、所持判定手段５２は、現時刻からＴ３時間前に仮記録した注目人物の所持物出現情報を本記録に変更し、仮記録しているその他の注目人物の所持物出現情報を所持情報記憶手段４１から削除する（Ｓ７０９）。なお、後段で行う受け渡し検知等のために、所持判定手段５２は、本記録に変更する所持物出現情報に未出力であることを示すフラグを加える。

他方、仮記録されている注目人物の所持物出現情報がＮ４個未満であれば（ステップＳ７０８にてＮＯ）、所持判定手段５２は、現時刻からＴ３時間前に仮記録した注目人物の所持物出現情報を削除する（Ｓ７１０）。

以上の処理を終えると、画像処理部５は、処理を図８のステップＳ８に進め、全ての追跡人物に関してステップＳ３〜Ｓ８のループ処理を終えたか否かを確認する（Ｓ８）。未だ処理していない追跡人物が存在する場合（ステップＳ８にてＮＯ）、画像処理部５は、処理をステップＳ３に戻して残りの追跡人物を処理する。

他方、全ての追跡人物を処理し終えると（ステップＳ８にてＹＥＳ）、画像処理部５は受け渡し検知手段５３として動作し、受け渡し検知処理を行う（Ｓ９）。

図１３のフローチャートを参照して受け渡し検知処理を説明する。

受け渡し検知手段５３は、まず、所持情報記憶手段４１に記憶されている情報の中から、未出力かつ本記録である所持物消失情報および未出力かつ本記録である所持物出現情報を検索する（Ｓ９００）。該当する情報が無い場合（ステップＳ９０１にてＮＯ）、受け渡しは検知されなかったとして処理は図８のステップＳ１０に進められる。

ステップＳ９００の検索条件に該当する情報がある場合（ステップＳ９０１にてＹＥＳ）、受け渡し検知手段５３は、さらにその中から、所持物消失情報に含まれている所持物消失時刻と所持物出現情報に含まれている所持物出現時刻との差がＴ１＋Ｔ２以下である所持物消失情報と所持物出現情報のペアを検索する（Ｓ９０２）。該当するペアが無い場合（ステップＳ９０２にてＮＯ）、受け渡しは検知されなかったとして処理は図８のステップＳ１０に進められる。

ステップＳ９０２の検索条件に該当するペアがある場合（ステップＳ９０３にてＹＥＳ）、受け渡し検知手段５３は、人物情報記憶手段４０から、該当ペアの所持物消失情報に含まれている所持物消失人物ＩＤが示す所持物消失人物の人物位置および撮影時刻を読み出すとともに、該当ペアの所持物出現情報に含まれている所持物出現人物ＩＤが示す所持物出現人物の人物位置および撮影時刻を読み出す（Ｓ９０４）。

所持物消失人物について読み出す人物位置は、対応付けられた撮影時刻がｔｄ−（Ｔ１＋Ｔ２）以上ｔｄ以下であるものとする。ただしｔｄは所持物消失時刻である。

また、所持物出現人物について読み出す人物位置は、対応付けられた撮影時刻がｔａ−（Ｔ１＋Ｔ２）以上ｔａ以下であるものとする。ただしｔａは所持物出現時刻である。

続いて、受け渡し検知手段５３は、ステップＳ９０４で読み出した人物位置から所持物消失人物と所持物出現人物の人物間距離Ｌを算出する（Ｓ９０５）。

すなわち、受け渡し検知手段５３は、撮影時刻ごとに所持物消失人物の人物位置と所持物出現人物の人物位置の間の距離を算出して、そのうちの最小距離を人物間距離Ｌとして算出する。

続いて、受け渡し検知手段５３は、ステップＳ９０５で算出した人物間距離Ｌを予め定めた距離範囲ＴＬと比較する（Ｓ９０６）。

人物間距離Ｌが距離範囲ＴＬ以下である場合（ステップＳ９０６にてＹＥＳ）、受け渡し検知手段５３は、所持物消失人物と所持物出現人物の間に所持物の受け渡しがあったと判定して、ステップＳ９０２で検出した所持物消失情報と所持物出現情報のペアから受け渡し検知情報を生成する（Ｓ９０７）。

すなわち、受け渡し検知手段５３は、まず、所持物消失時刻のＴ１＋Ｔ２時間前から所持物消失時刻のＴ３時間後までに撮影された撮影画像および所持物出現時刻のＴ１＋Ｔ２時間前から所持物出現時刻のＴ３時間後までに撮影された撮影画像を重複排除して記憶部４から読み出す。

次に、受け渡し検知手段５３は、読み出した撮影画像のうち、所持物消失時刻のＴ１＋Ｔ２時間前の撮影画像に所持物領域（過去側相違領域）を囲む枠線を重畳し、所持物出現時刻の撮影画像に所持物領域（未来側相違領域）を囲む枠線を重畳する。そして、受け渡し検知手段５３は、これらの撮影画像と表示部６を宛先とする所定データを含めた検知情報を生成する。

また、受け渡し検知手段５３は、ステップＳ９０２で検出したペアを構成する所持物消失情報と所持物出現情報を未出力から出力済に変更する（Ｓ９０８）。

以上の処理を終えると、受け渡し検知手段５３は、処理を図８のステップＳ１０に進め、生成した受け渡し検知情報がある場合は（ステップＳ１０にてＹＥＳ）、当該検知情報を表示部６に出力する（Ｓ１１）。検知情報を入力された表示部６は検知情報に含まれる画像等を表示する。

監視員は表示された撮影画像を視認することで不審な受け渡しが行われているか否かを判断し、必要に応じて対処を行う。このように受け渡しが検知された撮影画像を表示することで、監視員は、行き交う多数の人物の中から所持物に注目した不審者の監視を効率的に行うことが可能となる。

他方、受け渡し検知情報が無い場合（ステップＳ１０にてＮＯ）、受け渡し検知手段５３はステップＳ１１の表示をスキップする。

続いて、画像処理部５は、所持情報記憶手段４１を参照して置き去りおよび持ち去りに係る情報の有無を確認する（Ｓ１２）。

すなわち、画像処理部５は、所持情報記憶手段４１に記憶されている情報の中から、未出力かつ本記録かつ所持物消失時刻がＴ１＋Ｔ２＋Ｔ３時間よりも前である所持物消失情報を置き去りに係る情報として検索する。また、画像処理部５は、所持情報記憶手段４１に記憶されている情報の中から、未出力かつ本記録かつ所持物出現時刻がＴ１＋Ｔ２＋Ｔ３時間よりも前である所持物出現情報を持ち去りに係る情報として検索する。すなわち受け渡しに係らないことが確定した情報を検索する。

該当する所持物消失情報が記憶されていれば（ステップＳ１２にてＹＥＳ）、画像処理部５は、当該情報を表示部６に出力し（Ｓ１３）、また当該情報を未出力から出力済に変更する。所持物消失情報を入力された表示部６は当該情報に含まれる画像等を置き去りに係る情報として表示する。監視員はこの表示によって不審な置き去りか否かを判断して対処を行う。

また、該当する所持物出現情報が記憶されていれば（ステップＳ１２にてＹＥＳ）、画像処理部５は、当該情報を表示部６に出力し（Ｓ１３）、また当該情報を未出力から出力済に変更する。所持物出現情報を入力された表示部６は当該情報に含まれる画像等を持ち去りに係る情報として表示する。監視員はこの表示によって不審な持ち去りか否かを判断して対処を行う。

他方、該当する情報が無い場合（ステップＳ１２にてＮＯ）、画像処理部５は、ステップＳ１３の表示をスキップする。

以上の処理を終えると、画像処理部５は、処理をステップＳ１に戻して次の撮影画像を処理する。

＜変形例＞
上記実施形態において相違領域検出部５１は、複数通りの配置変更を行って最近似配置を探索したが、その変形例において相違領域検出部５１は、第一人物像のセグメントと第二人物像のセグメントの間で相違度が小さい順に対応関係を確定させて第一人物像における残余のセグメントおよび相違度が所定値以上であるセグメントを相違領域として検出する。この変形例では上記実施形態よりも精度は低下するが処理量を減ずることができる。なお、この場合も、相違領域検出手段５１は、第二人物像を構成するセグメントを複数回使用することを許容して対応関係を確定させていくことにより、セルフオクルージョンによる誤検出を防止できる。

さらに別の変形例において相違領域検出部５１は、第一人物像および第二人物像のそれぞれにおいて輝度特徴量のヒストグラムを算出してヒストグラム間の差を求め（すなわち輝度特徴量ごとに第二人物像における当該輝度特徴量の頻度から第一人物像における当該輝度特徴量の頻度を減じた頻度差を算出し）、第一人物像において頻度差が所定値以上である輝度特徴量を有する画素からなる領域を相違領域として検出する。第二人物像のセグメントと第一人物像のセグメントの間で相違度が小さい順に対応関係を確定させて第一人物像における残余のセグメントおよび相違度が所定値以上であるセグメントを相違領域として検出してもよい。この変形例でも上記実施形態よりも精度は低下するが処理量を減ずることができる。なお、この場合、相違領域検出手段５１は、第二人物像における当該輝度特徴量の頻度を所定倍すること（第二人物像を構成する画素の複数回使用を許容することに相当）により、セルフオクルージョンによる誤検出を防止できる。

上記実施形態および各変形例においては、画像入力部３に監視カメラ２を接続してオンライン監視を行う例を示した。別の実施形態においては、監視カメラ２に代えて、ＤＶＲ（Digital Video Recorder）など、記録した撮影画像を再生する映像再生部を接続してオフライン監視を行うこともできる。

上記実施形態および各変形例においては、監視カメラ２が撮影画像に撮影時刻の情報を付加する例を示した。別の実施形態においては、監視カメラ２に代えて、画像入力部３が不図示の時刻取得手段から取得した現在時刻を撮影時刻として撮影画像に付加する。この場合、厳密には画像入力部３に撮影画像が入力された時刻が付加されるが、画像入力部３と監視カメラ２または映像再生部とが大きな遅延を伴わない通信路にて接続されていれば、実用上、画像入力部３への入力時刻を撮影時刻とみなすことができる。また、別の実施形態においては、起動後からの経過時間、或いは単調増加するフレーム番号を撮影画像に付与して、これを撮影時刻とみなす。

上記実施形態および各変形例においては、撮影画像が可視のカラー画像である例を示したがモノクロ画像、熱画像であってもよい。

上記実施形態および各変形例においては、同一人物像抽出手段５０は、追跡によって第一人物像及び第二人物像を抽出したが、別の実施形態において同一人物像抽出手段５０は、バイオメトリクス認証あるいはＩＤカード認証などの認証処理によって第一人物像及び第二人物像を抽出する。例えば、同一人物像抽出手段５０は、背景差分処理により抽出した各人物像の顔部分を顔認証して個人を特定することにより、第一人物像及び第二人物像を抽出する。また、例えば、同一人物像抽出手段５０は、カードリーダーからカード識別子を受信するとともに、受信時にカードリーダー付近を撮影した画像を背景差分処理して人物像を抽出し、抽出した人物像をカード識別子と対応付けることにより第一人物像及び第二人物像を抽出する。例えば、認証処理によって部屋の入口および出口の一方で抽出した第一人物像を他方で抽出した第二人物像と比較することにより、備品の持ち出しを検知したり、忘れ物を検知したりすることができる。

以上で述べたように、本発明においては、異なる時刻に撮影された人物像どうしの比較によって所持物の有無の変化を判定し、また、人物像における所持物の領域を検出する。すなわち、これらの判定や検出のために、所持物の画像情報を事前に記憶または学習させる必要がない。よって、未知の所持物についてもその有無の変化の判定やその領域の検出が可能となるため、不審者等の所持物を検出し損ねるおそれを大幅に減じることができる。

また、本発明においては、人物像の形状特徴量（外形）ではなく輝度特徴量に基づいて所持物の有無の変化を判定し、また、人物像における所持物の領域を検出する。よって、画像上で人物像からはみ出していない状態の所持物についてもその有無の変化の判定やその領域の検出が可能となるため、不審者の所持物等を検出し損ねるおそれを大幅に減じることができる。

また、本発明においては、異なる時刻に撮影された人物像どうしの輝度特徴量に基づく比較によって所持物の有無の変化が生じた複数の人物を判定し、該判定に基づいて人物間での所持物の受け渡し、置き去り、持ち去り等を検知して表示する。これにより、多数の人物が行き交う空間において、所持物に基づき不審者を効率的に監視可能な画像監視装置を提供できる。

１・・・画像監視装置、２・・・監視カメラ、３・・・画像入力部、４・・・記憶部、５・・・画像処理部、６・・・表示部、４０・・・人物情報記憶手段、４１・・・所持情報記憶手段、５０・・・同一人物像抽出手段、５１・・・相違領域検出手段、５２・・・所持判定手段、５３・・・受け渡し検知手段

Claims (8)

1. 互いに異なる時刻に撮影された画像から同一の人物が現れている第一人物像および第二人物像を抽出する同一人物像抽出手段と、
   前記第一人物像から前記第二人物像に含まれない輝度特徴量を有した相違領域を検出する相違領域検出手段と、
   予め定めた基準値以上の大きさを有する前記相違領域が検出された場合に、前記人物に所持物の有無の変化が生じたと判定する所持判定手段と、
   を備えたことを特徴とする画像監視装置。
2. 前記相違領域検出手段は、前記第一人物像および前記第二人物像のそれぞれを輝度値が類似する近傍画素からなるセグメントに分割して、前記セグメントごとに前記輝度特徴量を算出する請求項１に記載の画像監視装置。
3. 前記相違領域検出手段は、前記第二人物像を構成する画素を前記第一人物像に合わせて複数通りに配置変更し、配置変更した第二人物像と前記第一人物像において対応する画素間での前記輝度特徴量の相違度の総和が最小となる最近似配置を求め、前記最近似配置において前記相違度が所定値以上である前記相違領域を検出する請求項１または２に記載の画像監視装置。
4. 前記相違領域検出手段は、前記第二人物像を構成する画素を複数回使用することを許容して前記配置変更を行う請求項３に記載の画像監視装置。
5. 前記相違領域検出手段は、複数の前記第二人物像を用いて、前記第一人物像から前記複数の第二人物像のいずれにも含まれない輝度特徴量を有した前記相違領域を検出する請求項１〜４のいずれかひとつに記載の画像監視装置。
6. 前記相違領域検出手段は、前記第一人物像から、前記第一人物像よりも後に撮影された前記第二人物像に含まれない前記輝度特徴量を有した過去側相違領域を検出し、
   前記所持判定手段は、前記基準値以上の大きさを有する前記過去側相違領域が検出された場合に、前記人物が所持物の所持状態から非所持状態に変化したと判定する、
   請求項１〜５のいずれかひとつに記載の画像監視装置。
7. 前記相違領域検出手段は、前記第一人物像から、前記第一人物像よりも前に撮影された前記第二人物像に含まれない前記輝度特徴量を有した未来側相違領域を検出し、
   前記所持判定手段は、前記基準値以上の大きさを有する前記未来側相違領域が検出された場合に、前記人物が所持物の非所持状態から所持状態に変化したと判定する、
   請求項１〜６のいずれかひとつに記載の画像監視装置。
8. 時系列の画像に現れた複数の人物それぞれの人物像を抽出し、前記各人物の前記人物像および人物位置を当該人物像が撮影された時刻と対応付けて人物情報記憶手段に記憶させる同一人物像抽出手段と、
   前記人物ごとに、第一時刻に撮影された前記人物像から前記第一時刻よりも後に撮影された前記人物像に含まれない輝度特徴量を有した過去側相違領域を検出するとともに、第二時刻に撮影された前記人物像から前記第二時刻よりも前に撮影された前記人物像に含まれない輝度特徴量を有した未来側相違領域を検出する相違領域検出手段と、
   予め定めた基準値以上の大きさを有する前記過去側相違領域が検出された人物を所持物の所持状態から非所持状態に変化した所持物消失人物と判定し、前記基準値以上の大きさを有する前記未来側相違領域が検出された人物を所持物の非所持状態から所持状態に変化した所持物出現人物と判定する所持判定手段と、
   前記人物情報記憶手段に記憶している前記人物位置を参照し、前記所持物消失人物から前記所持物出現人物までの距離を算出し、前記距離が予め定めた距離範囲内である場合に前記所持物消失人物が前記所持物出現人物に所持物を受け渡したと判定する受け渡し検知手段と、
   を備えたことを特徴とする画像監視装置。
   

Images