JP2009110054A - 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラム - Google Patents

Abstract

【課題】監視場所の状況の判定および混雑度の判定を容易に行うことができる状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラムを提供する。
【解決手段】撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出部１２０と、局所画像変化率算出部１２０で算出された時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況および／または人の混雑度を判定する状況判定部１７０とを備え、撮像された動画像または複数の静止画像を解析することにより人の移動状況および／または混雑度を判定する。
【選択図】図１

Description

本発明は、駅・空港などの複数の人が移動する公共空間において、撮像した画像を解析して人の混雑度または移動状況を検出する状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラムに関する。

近年、安全安心への要望の高まりから、駅・空港などの公共空間、重要施設などへの監視カメラの設置が進んでいる。従来は監視カメラを監視員が常時モニタリングしていたが、監視カメラ数の増加、監視員の疲労による見落とし防止などの観点から、画像認識することにより監視の省力化・効率化を図るような取組みが行われている。

監視場所において人の計数を行う技術として、特許文献１、特許文献２が提案されている。特許文献１は、背景差分により前景を抽出し、人物の通路に直交する監視エリアを横切る人数を計数するものである。監視エリアを複数用意し監視エリア間の計数値のばらつきを利用することで、外乱に対して頑健な計数を実現している。

特許文献２は、通路の上方に光軸を鉛直下向きに設置したカメラを用い、計数のために画像上に設けた境界線における動きベクトルを抽出し、動きベクトルの境界線に対する垂直成分を積分することにより通路を通過する人数を計数するものである。

一方、各人を計数するのではなく、画像から人数に対応する特徴を抽出し混雑度を求める技術として特許文献３が提案されている。特許文献３は、「通行人の人数が多いならば、異なる時刻に撮像した画像間における変化回数が増加する」という前提のもとに、画素毎あるいは局所領域毎に一定時間内の変化回数を求め、この変化回数を基に混雑度を求めるものである。

特開２００２−０７４３７１号公報 特開２００５―１３５３３９号公報 特開２００４―１０２３８０号公報

しかしながら、上述した従来技術においては、以下に述べる問題がある。すなわち、特許文献１では、背景差分を利用しているため照明変化の大きい場所への適用が難しく、また混雑時には一人一人を計数することが難しくなる。特許文献２も同様に、混雑時には一人一人を計数することが難しい。特許文献３は、人が移動していることを前提としているため、動いている人と立ち止まっている人が混在する状況での混雑度の算出が難しい。

本発明は、かかる事情に鑑みてなされたものであり、監視場所の状況の判定および混雑度の判定を容易に行うことができる状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラムを提供することを目的とする。

前記目的を達成するため、本発明の状況判定装置は、撮像された動画像または複数の静止画像を解析することにより人の移動状況および／または混雑度を判定する状況判定装置であって、撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出手段と、前記局所画像変化率算出手段で算出された時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況および／または人の混雑度を判定する状況判定手段と、を備えた。

この構成によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性（例えば、動きの偏り、等）が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。

また、本発明の状況判定装置は、撮像された動画像または複数の静止画像を解析することにより人の移動状況および／または混雑度を判定する状況判定装置であって、撮像対象場所に存在する人を撮像した動画像または複数の静止画像を入力する画像入力手段と、前記画像入力手段にて入力された画像を蓄積する画像蓄積手段と、前記画像蓄積手段に蓄積された画像から第１の時間間隔を隔てて撮像された２個の画像を選択し、前記画像を複数の局所領域に分割する分割方法を予め定めた領域分割情報を用いて前記局所領域毎に前記２個の画像間の変化を検出する局所画像変化検出手段と、前記局所画像変化検出手段で検出された前記２個の画像間の変化を画像変化情報として蓄積する局所画像変化情報蓄積手段と、前記局所画像変化情報蓄積手段に蓄積された画像変化情報を基に前記局所領域毎に、第２の時間間隔における画像間の変化回数を計数して局所領域毎の画像変化率を算出する局所画像変化率算出手段と、前記局所画像変化率算出手段で算出された局所領域毎の画像変化率を複数の局所領域に関して蓄積する局所画像変化率蓄積手段と、前記局所画像変化率蓄積手段に蓄積された画像変化率の複数の局所領域に対するヒストグラムを計算する局所画像変化率ヒストグラム算出手段と、前記局所画像変化率ヒストグラム算出手段で算出されたヒストグラムを解析して、前記撮像対象場所に存在する人の移動状況および／または人の混雑度を判定する状況判定手段と、を備えた。

この構成によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性（例えば、動きの偏り、等）が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。

また、上記構成において、前記状況判定手段は、参照ヒストグラム格納手段とヒストグラム比較手段とで構成された。

また、上記構成において、前記状況判定手段は、特徴抽出手段と識別基準格納手段と識別手段とで構成された。

また、上記構成において、前記移動状況として、少なくとも人の移動経路が偏っている状況を含む。

この構成によれば、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。

また、本発明の異常判定装置は、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定装置であって、上記状況判定装置と、前記プラットホームへの列車の到着を検知する列車到着検知手段と、前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合に異常と判定する異常判定手段と、を備えた。

この構成によれば、状況判定装置により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定することができる。

また、上記構成において、前記異常判定手段が異常と判定した場合に予め定めておいた連絡先に通報を行う通報手段を更に備えた。

この構成によれば、監視者に対する補助情報の提供や、所定の連絡先への速やかな通報を行うことが可能となる。

また、本発明の状況判定方法は、撮像された動画像または複数の静止画像を解析することにより人の移動状況および／または混雑度を判定する状況判定方法であって、撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出ステップと、前記局所画像変化率算出手段で算出された時間変化率の複数の局所領域に対するヒストグラムを解析して人の移動状況および／または人の混雑度を判定する状況判定ステップと、を備えた。

この方法によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性（例えば、動きの偏り、等）が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。

また、上記状況判定方法において、前記移動状況として、少なくとも人の移動経路が偏っている状況を含む。

この方法によれば、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。

また、本発明の異常判定方法は、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定方法であって、上記状況判定方法を実行する状況判定ステップと、前記プラットホームへの列車の到着を検知する列車到着検知ステップと、前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して、前記列車到着情報が得られた後の所定時間経過後に、前記状況判定結果として人の移動経路が偏っていると判定されている場合、異常と判定する異常判定ステップと、を備えた。

この方法によれば、状況判定方法により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定することができる。

また、本発明の状況判定プログラムは、コンピュータに、撮像された動画像または複数の静止画像を解析することにより人の移動状況および／または混雑度を判定させるための状況判定プログラムであって、撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出ステップと、前記局所画像変化率算出手段で算出された時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況および／または人の混雑度を判定する状況判定ステップと、を備えた。

このプログラムによれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析するので、被写体動きの発生率に相当する変化率の、空間的な特性（例えば、動きの偏り、等）が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。

また、上記状況判定プログラムにおいて、前記移動状況として、少なくとも人の移動経路が偏っている状況を含む。

このプログラムによれば、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。

また、本発明の異常判定プログラムは、コンピュータに、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定させるための異常判定プログラムであって、上記状況判定方法を実行する状況判定ステップと、前記プラットホームへの列車の到着を検知する列車到着検知ステップと、前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して、前記列車到着情報が得られた後の所定時間経過後に、前記状況判定結果として人の移動経路が偏っていると判定されている場合、異常と判定する異常判定ステップと、を備えた。

このプログラムによれば、状況判定プログラムにより得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定することができる。

本発明によれば、撮像した画像において局所的な変化率を複数の局所領域に対して求め、その局所変化率の複数領域に対するヒストグラムを求め、このヒストグラムを解析することで、被写体動きの発生率に相当する変化率の、空間的な特性（例えば、動きの偏り、等）が検出可能となり、監視場所の大局的な状況の判定および混雑度の判定が可能となる。

また、判定された大局状況または混雑度と列車の到着情報とを共に用いることで、列車が到着して所定時間経過した後も動きが偏っているならば異常と判定することができ、監視者に対する補助情報の提供や、所定の連絡先への速やかな通報を行うことが可能となる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る状況判定装置の概略構成を示すブロック図である。図１において、本実施の形態の状況判定装置は、画像入力部１００と、画像蓄積部１１０と、局所画像変化検出部１２０と、局所画像変化情報蓄積部１３０と、局所画像変化率算出部１４０と、局所画像変化率蓄積部１５０と、局所画像変化率ヒストグラム算出部１６０と、状況判定部１７０とを備える。

図２は、図１の状況判定装置を、鉄道駅のプラットホームに設置した例を示す図である。鉄道駅は、プラットホーム（以下、ホームと略す）ＰＨ、ホームの側壁ＷＬ、ホームへの出入口である階段ＳＴ、線路ＲＬから構成されている。カメラＣＭはホームＰＨに存在する人の様子を撮像するため、ホームＰＨの長手方向を光軸方向とするように設置され、状況判定装置ＳＤに接続されている。図３に、カメラＣＭの撮像画像の例を示す。撮像画像には、ホームＰＨ、階段ＳＴの出入口部分、側壁ＷＬが含まれるようにカメラＣＭの画角、設置位置、光軸方向が決定されている。状況判定装置ＳＤは、図１における状況判定装置に対応する。

次に、本実施の形態の状況判定装置の動作を、図４のフローチャートを用いて説明する。まず、画像入力ステップＳ１００が、画像入力部１００により実行される。ステップＳ１００では、カメラＣＭで撮像された画像１フレームを、デジタル画像処理が可能な形式で取り込んだ後、画像蓄積部１１０に蓄積を行う。カメラＣＭがアナログカメラの場合、画像はＡＤ変換され、必要に応じて符号化などの圧縮処理がなされた後、画像蓄積部１１０に蓄積される。カメラＣＭがデジタルカメラの場合、画像はデジタル回線を通じて入力され、画像蓄積部１１０に蓄積される。本実施の形態では、１０ｆｐｓのデジタル動画像が入力され、現在時刻のフレーム画像が順次蓄積されるものとする。なお、カメラＣＭがアナログカメラの場合、画像蓄積部１１０がＶＴＲなどのアナログ画像を蓄積するものであって、局所画像変化検出部１２０に向けて出力される直前にＡＤ変換が実施されてもよい。

次に、局所画像変化検出ステップＳ１１０が、局所画像変化検出部１２０にて実行される。ここでは、図５のように、第１の時間間隔ＴＳ_１として撮像周期と等しい０．１（秒）を設定し、画像蓄積部１１０に蓄積されたフレーム画像のうち、現在時刻ｔ_ｋの画像とＴＳ_１時刻前の画像ｔ_ｋ−１の２個のフレーム画像を抽出し、局所領域における変化を検出する。局所領域の分割方法として、図６のようにカメラＣＭの設置に合わせて、予め決定しておくものとする。ここでは局所領域の総数をＮ_Ｒとする。また、ここでは透視投影の影響を補正するため、局所領域の大きさを、カメラに近い地点（画面下方）では大きく、カメラから遠い地点（画面上方）では小さく設定する。変化の検出方法として動きベクトルを利用する場合について以下に説明する。

（１）２個のフレーム画像から、画素毎に動きベクトルを計算
動きベクトルの計算には、非特許文献１におけるＬｕｃｕｓ−Ｋａｎａｄｅ法などの勾配法や、ブロックマッチング法を用いることができる。ここで、非特許文献２におけるＧｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ法や、マッチングの際の評価値（ＳＡＤ、ＳＳＤ等）により、信頼性の高い動きベクトルのみを後の処理で用いることが望ましい。２個のフレーム画像から画面全体に対して求めた動きベクトルのうち信頼性の高い動きベクトルの例を図７に示す。

非特許文献１：B.D.Lucas and T.Kanade. “An iterative image registration technique with an application to stereo vision”. IJCAI, 1981.
非特許文献２：Jianbo Shi, Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600, 1994 (CVPR'94)

（２）局所領域毎に動きベクトルを統合
以下、現在時刻ｔ_ｋの画像とＴＳ_１時刻前の画像ｔ_ｋ−１の２個のフレーム画像から抽出された動きベクトルに対しては添え字ｋを、ｉ番目（１≦ｉ≦Ｎ_Ｒ）の局所領域に含まれる動きベクトルに対しては添え字ｉを、ｉ番目の局所領域に含まれるＮＶ_ｋ，ｉ個の動きベクトルのうちのｊ番目（１≦ｊ≦ＮＶ_ｋ，ｉ）の動きベクトルに対しては添え字ｊを、それぞれ用いて動きベクトル（ｕ_{ｋ，ｉ，ｊ}，ｖ_{ｋ，ｉ，ｊ}）を表現することにする。

そして、（数１）（数２）を用いてその平均値を計算することで、局所領域ｉを代表する代表動きベクトル（ｍｕ_ｋ，ｉ，ｍｖ_ｋ，ｉ）が算出される。動きベクトルの画像上での長さは、透視投影の影響を受け画面上方ほど実際の人の速度よりも小さく計算される。そのため、（数３）（数４）のように、その影響を補正した後の動きベクトルを平均して代表動きベクトルを算出してもよい。ここで、ｗ_ｋｉｊは時刻ｔ_ｋでのｉ番目の局所領域におけるｊ番目の動きベクトルの大きさを補正するための重み係数である。動きベクトルの始点が画面上方にある程大きくなるように設定される。

（３）代表動きベクトルに対して閾値処理を行うことにより、動きの有無を決定
局所領域ｉを代表する代表動きベクトル（ｍｕ_ｋ，ｉ，ｍｖ_ｋ，ｉ）の大きさに対して、予め定めた閾値を用いて動きの有無を決定する。閾値以上であれば動き有、閾値未満であれば動き無と決定する。この時点で、局所領域ｉ毎に変化（動き）の有無を二値で表現した局所変化情報Ｍ_ｋ，ｉが得られる。動きがあればＭ_ｋ，ｉ＝１、なければＭ_ｋ，ｉ＝０となる。局所領域局所変化情報を画像で表現したものを図８に示す。図８では、変化が存在する局所領域に網掛けを行って表現している。局所変化情報Ｍ_ｋは、（数５）のように局所領域毎の変化の有無（二値情報）を局所領域の個数分だけ合わせた二値ベクトル情報として、図５のように局所画像変化情報蓄積部１３０に蓄積される。なお、図５においては、フレーム画像Ｉ_ｋおよび局所画像変化情報Ｍ_ｋは、時刻ｔ_ｋに蓄積され、フレーム画像Ｉ_ｋ−１および局所画像変化情報Ｍ_ｋ−１は、時刻ｔ_ｋ−１に蓄積されたことを表す。

図４に戻り、次に、局所画像変化率算出ステップＳ１２０が、局所画像変化率算出部１４０にて実行される。ここでは、第２の時間間隔ＴＳ_２として１０（秒）を設定する。局所領域毎に過去ＴＳ_２（秒）の間に変化（動き）がどの程度の率で発生したかを求める。変化情報は第１の時間間隔ＴＳ_１にて求められているため、ＴＳ_２／ＴＳ_１個の変化情報を用いて変化率を求める。ＴＳ_１＝０．１（秒）、ＴＳ_２＝１０（秒）の場合、１００個の変化情報を用いることになる。図９では、ｉ番目の局所領域において、時刻ｔ_ｋでの局所変化情報Ｍ_ｋ，ｉから、時刻ｔ_{ｋ−ＴＳ２／ＴＳ１＋１}での局所変化情報Ｍ_{ｋ−ＴＳ２／ＴＳ１＋１，ｉ}のうち値が１である（すなわち変化がある）個数をカウントし、その値をＣ_ｋ，ｉとする。そして、総数ＴＳ_２／ＴＳ_１にて割ることにより、局所変化率ＲＴ_ｋ，ｉを算出する。局所変化率ＲＴ_ｋ，ｉの取りうる値は[0,1]である。局所変化率ＲＴ_ｋは、（数６）のように局所領域毎の変化率を局所領域の個数分だけ合わせたベクトル情報として、図１０のように局所画像率蓄積部１５０に蓄積される。なお、図１０においては、局所画像変化率ＲＴ_ｋは時刻ｔ_ｋに蓄積され、局所画像変化率ＲＴ_ｋ−１は時刻ｔ_ｋ−１に蓄積されたことを表す。

次に、局所画像変化率ヒストグラム算出ステップＳ１３０が、局所画像変化率ヒストグラム算出部１６０にて実行される。ここでは、現時刻ｔ_ｋにおけるＮ_Ｒ個の局所変化率ＲＴ_ｋ，ｉのヒストグラムを算出する。局所変化率ＲＴ_ｋ，ｉの取りうる値は[0,1]であるため、ヒストグラムの階級の幅をＢＷとすると、階級数は１／ＢＷとなる。ここでは、階級の幅ＢＷ＝０．１、階級数１０とする。算出された局所画像変化率ヒストグラムの例を図１１に示す。横軸は局所画像変化率を表し、縦軸は頻度（領域数）を表す。頻度の総和（ヒストグラムの積分値）は、全領域数Ｎ_Ｒとなる。

ここで、図２で表される駅のプラットホームにおける人の移動状況について考える。移動状況として次の３つのパタンを考える。

（１）多人数の自由移動
例えば、列車の到着後に多くの乗客が下車し、階段ＳＴに向かって移動するという状況（図１２）が存在する。多人数の移動であるため、ＡＲ１〜ＡＲ３など多くの移動経路で人が移動することになる。

（２）少人数の自由移動
例えば、列車から下車した乗客が階段ＳＴを通って移動した後、次の列車に乗る乗客が空になったホームを通って移動するという状況（図１３）が存在する。少人数の移動ではあるが、ホームが空いているため人の移動経路はばらつく。その結果、多人数移動時と同様、ＡＲ１〜ＡＲ３など多くの移動経路で人が移動することになる。

（３）移動経路の偏り
例えば、列車待ちの行列が存在している状況で、階段ＳＴを通ってホームに移動してきた新たな乗客がホームの空いている場所を通ってホームの画面手前側へ向かって移動するという状況（図１４）が存在する。列車待ちの人ＷＰが存在するため、移動する人ＭＰの移動経路は矢印ＡＲ１付近に限定される。

これらの３つの移動状況パタンに関して、変化が発生する（ある一定値以上の変化率を有する）領域数と、局所画像変化率の大きさの傾向をまとめたものを図１５に示す。また、この３つの移動パタンに関する、図１１のような局所画像変化率ヒストグラムの典型例を（１）多人数移動、（２）少人数移動、（３）移動経路偏りのそれぞれについて、図１６、図１７、図１８に示す。

まず多人数が移動する状況に関して、図１２に局所領域分割を施した図１９の画像を用いて補足説明をする。多人数が移動を行っている場合、画像中の多くの領域で変化（動き）が発生する。人の密度が大きいため、ある１つの局所領域に着目した場合、移動中の人が次々に通過するため、多くの局所領域にて局所画像変化率は大きくなる。よって図１５第１列のような傾向になる。同様に、図１６の局所画像変化率ヒストグラムにおいて、局所画像変化率が中〜大となる局所領域数は多くなる。

少人数が自由移動する状況に関して、図１３に局所領域分割を施した図２０の画像を用いて補足説明をする。多人数の移動時と同様に少人数が移動を行っている場合も、空いているホームでは人はいろいろな経路を通るため、画像中の多くの領域で変化（動き）が発生する。しかし、人の密度は小さいため、ある１つの局所領域に着目した場合、移動中の人が通過する頻度は小さくなり、局所画像変化率は小さくなる。よって図１５の第２列のような傾向になる。同様に、図１７の局所画像変化率ヒストグラムにおいては、局所画像変化率が中となる局所領域数は多くなるが、局所画像変化率が大きい局所領域数は少なくなる。

移動経路が偏っている状況に関して、図１４に局所領域分割を施した図２１の画像を用いて補足説明をする。列車待ちの行列が存在している場合、人の移動経路は矢印ＡＲ１の付近に制限される。列車待ちの人はその場で時々身動きをする以外動かないため、変化（動き）が発生する領域は移動する人ＭＰが存在する領域にほぼ限られ、変化が発生する領域数は少なくなる。階段ＳＴを通ってホームＰＨに流入する人の流量が少人数移動時（図１２）と同程度だとすると、移動経路が限定されている分だけ、移動経路上における局所領域当たりの通過頻度は少人数移動時よりも大きくなる。よって図１５の第３列のような傾向になる。同様に、図１８の局所画像変化率ヒストグラムにおいては、局所画像変化率が中、大である局所領域数は、図１６の多人数移動時よりも少なくなるが、図１７の少人数移動時との違いは、局所画像変化率が大きい局所領域数が数は少なくとも存在するということである。

以上、説明したように、局所画像変化率ヒストグラムが、局所画像変化率ヒストグラム算出ステップＳ１３０（局所画像変化率ヒストグラム算出部１６０）により算出される。

図２２に実際の動画像における３つのシーン（多人数移動／少人数移動／移動経路偏り）から抽出した局所画像変化率ヒストグラムを示す。それぞれは、ある時刻ｔ_ｋ´における局所変化率ＲＴ_ｋ´のヒストグラムに相当する（ある時刻ｔ_ｋ´と言えども、図１０で説明した通り、一時刻の局所変化率は過去ＴＳ２／ＴＳ１個の局所変化情報から計算されている）。図２２は、局所領域の総数Ｎ_Ｒ＝１６２（個）、ＴＳ_１＝０．１（秒）、ＴＳ_２＝１０（秒）、ヒストグラムの階級の幅をＢＷ＝０．１とした時の結果である。図２２を見ると、図１６、図１７、図１８の傾向と等しいことが分かる。

次に、状況判定ステップＳ１４０が、状況判定部１７０にて実行される。多人数移動／少人数移動／移動経路偏りの３状況において、局所画像変化率ヒストグラムの形状がそれぞれ図１６〜図１８のようになるということを説明済みである。本実施の形態では、これらの３状況における局所画像変化率ヒストグラムを予め求めて参照ヒストグラムとして格納しておき、判定したい状況での局所画像変化率ヒストグラムと比較することで３状況のうちのどれであるかを判定する。

図２３は、本実施の形態における、状況判定部１７０の内部構成である。状況判定部１７０は、参照ヒストグラム格納部２００とヒストグラム比較部２１０とで構成されている。参照ヒストグラム格納部２００には、参照用として、予め求められた局所画像変化率ヒストグラムが、各状況において少なくとも１つ、その状況（多人数移動／少人数移動／移動経路偏り、のうちのどれか）と対応付けられて格納されている。ヒストグラム比較部２１０は、局所画像変化率ヒストグラム算出部１６０で算出された、判定したい状況での局所画像変化率ヒストグラムと、参照ヒストグラム格納部２００に格納された参照用ヒストグラムのそれぞれとを比較する。そして、判定したい状況での局所画像変化率ヒストグラムがどの参照用ヒストグラムに最も類似しているかを判定し、最も類似したヒストグラムと対応づけられた状況を、状況判定の結果として出力する。ヒストグラム同士の類似度の計算方法として、（数７）のヒストグラムインターセクションや、（数８）のBhattaccharyya係数、（数９）の正規化相関、等が利用できる。

図４に戻り、最後に、ステップＳ１５０が図１にて図示せぬ制御部により実行される。図１にて図示せぬ入力部を通して、同装置の操作者による、処理終了指示が入力されている場合は、画像入力ステップＳ１００へ戻り、次時刻のフレーム画像の処理を行う。処理終了指示が入力されていない場合は、処理を終了する。

なお、本実施の形態では、局所画像変化検出部１２０にて実行される局所画像変化検出ステップＳ１１０において、画像蓄積部１１０に蓄積されたフレーム画像のうち、時間間隔ＴＳ_１である２個のフレーム画像間の、局所領域における変化を検出するために、動きベクトルを利用したが、他の方法でもよい。但し、動きベクトルを利用することで移動方向や速度が分かるので、より詳細な状況判定や混雑度判定が可能になる。単に変化の有無を検出するために、フレーム間差分が利用できる。図２４のように、時刻ｔ_ｋ−１および時刻ｔ_ｋに撮像された２フレーム間のフレーム間差分を計算すると各画素の値が輝度差（多値）で構成される画像Ｄ_ｋ（ｘ，ｙ）が得られるが、局所領域ｉにおける輝度差の平均値ｄ_ｋ，ｉが、予め定めた閾値以上か否かによって、局所領域毎の変化の有無を決定してもよい。図２４において、Ｓ_ｉは領域ｉを構成する画素の集合であり、ＮＰ_ｉはその要素数である。

なお、図２５のように、各画素の値が輝度差で構成される差分画像Ｄ_ｋ（ｘ，ｙ）が得られた後、変化有／無を表す二値化を行い、二値化差分画像ＢＤ_ｋ（ｘ，ｙ）を得て、局所領域における変化有の画素数ｂｄ１_ｋ，ｉによって、局所領域毎の変化の有無を決定してもよい。局所領域の面積がそれぞれ異なる場合は、変化有の画素数を局所領域の面積で割る（正規化する）したｂｄ２_ｋ，ｉによって、局所領域毎の変化の有無を決定してもよい。

また、輝度値ベースのフレーム間差分を行うと照明変化の影響を受けるため、図２６のように入力画像に対して、エッジ抽出・二値化を行った画像同士の差分（画素毎のＸＯＲ処理）をして、エッジのフレーム間差分画像ＥＤ_ｋ（ｘ，ｙ）を得て、局所領域における変化有の画素数ｅｄ１_ｋ，ｉによって、局所領域毎の変化の有無を決定してもよい。局所領域の面積がそれぞれ異なる場合は、変化有の画素数を局所領域の面積で割る（正規化する）したｅｄ２_ｋ，ｉによって、局所領域毎の変化の有無を決定してもよい。

以上のように、本実施の形態の状況判定装置によれば、撮像された画像の局所領域における輝度値の時間変化率と、その時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況を判定することができる。特に、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在を推定可能である。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。

（実施の形態２）
本発明の実施の形態２に係る状況判定装置の構成は、上述した実施の形態１に係る状況判定装置と同じく図１で表される。よって図１の説明を省略する。但し、実施の形態１においては状況判定部１７０の内部構成が図２３で表されていたのに対して、本実施の形態においては図２７で表される。すなわち、状況判定部１７０は、特徴抽出部３００、識別基準格納部３１０、識別部３２０で構成される。特徴抽出部３００は、局所画像変化率ヒストグラム算出部１６０で算出されたヒストグラムから、状況判定あるいは混雑度判定のための特徴量を抽出する。識別基準格納部３１０には、状況判定あるいは混雑度判定のための、特徴抽出部３００で抽出する特徴量と状況種別あるいは混雑度指標との関係が予め求められて格納されている。識別部３２０は、特徴抽出部３００で抽出された特徴量と、識別基準格納部３１０に格納された識別基準とを使用して、状況種別あるいは混雑度を識別する。

本実施の形態に係る状況判定方法のフローチャートは、実施の形態１と同じく図４で表される。ここで局所画像変化率ヒストグラム算出ステップＳ１３０までとステップ１５０での処理は、第１の実施形態と同様であるため、説明を省略する。

以下、状況判定ステップＳ１４０での動作を、図２７のブロック図を利用して説明する。まず、特徴抽出部３００は、局所画像変化率ヒストグラム算出部１６０で算出されたヒストグラムから、状況判定あるいは混雑度判定のための特徴量を抽出する。ここでは、局所画像変化率ヒストグラムから２次元の特徴量を抽出する。特徴量抽出方法を以下に示す。

（１）局所画像変化率ヒストグラムにおいて、変化率が中程度（閾値ＴＨ_１）以上の領域数をカウントし、この領域数ＲＮ_１とする。
（２）局所画像変化率ヒストグラムにおいて、変化率が大きい（閾値ＴＨ_２以上の；ＴＨ_２＞ＴＨ_１）領域数をカウントし、この領域数をＲＮ_２とする。
（３）ＲＮ_１≠０の時、（ｆ_１，ｆ_２）＝（ＲＮ_１／Ｎ_Ｒ，ＲＮ_２／ＲＮ_１）を、ＲＮ_１＝０の時、（ｆ_１，ｆ_２）＝（ＲＮ_１／Ｎ_Ｒ，０）を、特徴量とする。

ＴＨ_１＝０．４，ＴＨ_２＝０．７とすると、図２２における３状況（多人数移動／少人数移動／移動経路偏り）におけるＲＮ_１およびＲＮ_２の値は、それぞれ、図２８における表のようになり、ｆ_１およびｆ_２の値は、それぞれ、図２９における表のようになる。

また、識別基準格納部３１０には、状況判定あるいは混雑度判定のための、特徴抽出部３００で抽出する特徴量と状況種別あるいは混雑度指標との関係が予め求められて格納されている。図３０に３シーンの動画から予め抽出した２次元特徴量（ｆ_１，ｆ_２）の分布を示す。分布における各点は、一時刻における局所変化率ヒストグラムから抽出されたものである。すなわち、３シーンのそれぞれから、複数時刻において特徴抽出を行っていることになる。識別基準格納部３１０に格納する情報として、図３０のような分布を用いる。

識別部３２０は、特徴抽出部３００で抽出された特徴量と、識別基準格納部３１０に格納された識別基準とを使用して、状況種別あるいは混雑度を識別する。

以下に状況種別を識別する方法について説明する。識別基準格納部３１０に図３０の情報が格納されているとする。局所画像変化率ヒストグラム算出部１６０で算出された各ヒストグラムが図２２のいずれかであり、その状況種別は未知であるとする。この時、特徴抽出部３００にて抽出される特徴量は、図２９で表される表のうち、いずれかの行の値の組になる。特徴抽出部３００にて抽出された特徴量が、識別基準格納部３１０に格納された各特徴量のうち最も近い特徴点を探索し（最近傍法）、その特徴点に対応付けられた状況種別を出力することで、特徴抽出部３００にて抽出された特徴量に対応するシーンの状況判定が可能となる。図３１に、図２９の表で表される各値と、図３０で表される２次元特徴量（ｆ_１，ｆ_２）の分布との関係を示す。最近傍法を用いることで、状況判定が正しく行えることが分かる。

なお、上記では最近傍法について説明したが、教師付けがなされた多数の訓練サンプルを用いて未知サンプルの識別を行う方法であれば他の方法でもよい。例えば、ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）、判別分析法（線形判別分析、二次判別分析）、ニューラルネットワークなどを用いることができる。各手法は様々な文献にて解説されているため、説明を省略する。例えば、ＳＶＭに関しては非特許文献３を、判別分析法に関しては非特許文献４を参照されたい。

非特許文献３：「サポートベクターマシン入門」，Ｎｅｌｌｏ Ｃｒｉｓｔｉａｎｉｎｉ 著，Ｊｏｈｎ Ｓｈａｗｅ‐Ｔａｙｌｏｒ 著，大北 剛 訳，共立出版，2005/03
非特許文献４：「多変量解析法 現代人の統計２」，柳井晴夫 他，朝倉書店，1979/01

次に、混雑度を判定する方法について説明する。まず、混雑が進んだ時の、指標ＲＮ_１およびＲＮ_２，特徴量ｆ_１およびｆ_２の変化傾向について、自由移動の（移動経路が制限されない）場合と、移動経路が偏る場合とに分けて説明を行う。

＜自由移動の（移動経路が制限されない）場合＞
図３２における〔１〕から〔２〕（図では数値を○で囲んでおり、他の数値３〜６も同様である）の状態に移行するにつれて、中程度以上の局所画像変化率を持つ領域数ＲＮ_１が増加するが、大きい局所画像変化率を持つ領域数ＲＮ_２はあまり増加しない。これは、移動経路が制限されない状況において人数が増加すると人は様々な経路を通る（人と同じ経路を通ることが少ない）ためである。よって、特徴量ｆ_１の増加が主となり、２次元特徴量空間（ｆ_１，ｆ_２）においては、図３３の〔１〕から〔２〕のように位置が変化する。

図３２における〔３〕は、人の移動経路がほぼ駅のホーム全域に広がった状態である。図３２における〔２〕の状態から〔３〕の状態への移行に関しては、〔１〕から〔２〕への移行と同様に、特徴量ｆ_１の増加が主となり、２次元特徴量空間（ｆ_１，ｆ_２）においては、図３３の〔２〕から〔３〕のように位置が変化する。

図３２における〔４〕の状態では、人の密度が増すため、大きい局所画像変化率を持つ領域が増加する。中程度以上の局所画像変化率を持つ領域数ＲＮ_１の増加よりも、大きい局所画像変化率を持つ領域数ＲＮ_２の増加の方が大きくなり、２次元特徴量空間（ｆ_１，ｆ_２）においては、図３３の〔３〕から〔４〕のように位置が変化する（特徴量をプロットした点の移動の傾きが大きくなる）。

なお、図３２において〔４〕→〔３〕→〔２〕→〔１〕の順で状況推移する際は、図３３の特徴量空間における特徴量の動きは〔４〕→〔３〕→〔２〕→〔１〕のように逆の経路を辿ることになる。

＜移動経路が偏る場合＞
図３２における〔１〕から〔２〕の状態への変化時の図３３の特徴量空間におけるプロットの移動に関しては、自由移動の場合と同様である。〔２〕の状態から少しずつ人が列車待ちの行列を形成し始める。行列が形成され始めた図３２の〔５〕では、人の移動経路が行列により制限されている。一度行列ができて移動経路が制限されると、中程度以上の局所画像変化率を持つ領域数ＲＮ_１の増加が頭打ちになる。行列が伸びて、さらに移動経路が制限されると指標ＲＮ_１は減少に転じる。もう一方の指標ＲＮ_２に関しては、移動経路が限定されるため、人の流量が一定だとすると単位領域当たりの人通過の頻度が大きくなり、ＲＮ_２が増加する。図３３の２次元特徴量空間（ｆ_１，ｆ_２）においては〔２〕→〔５〕のように、位置が変化する。

図３２の〔６〕では行列の人数がさらに増加し、人の移動経路がさらに制限されている。よって、中程度以上の局所画像変化率を持つ領域数ＲＮ_１が減少し、局所画像変化率が大きい領域数ＲＮ_２が増加している。図３３の２次元特徴量空間（ｆ_１，ｆ_２）においては〔５〕→〔６〕のように、位置が変化する。

次に、混雑度の算出方法について説明する。ここでは部分空間法を用いる例について説明する。部分空間法についての詳細は非特許文献５の第１４章を参照されたい。ここでは概要のみを説明する。予め（１）〜（２）の処理を行っておく。

（１）多人数移動／少人数移動／移動経路偏りなどの状況別に複数の特徴量を抽出し、図３０のような分布を求める。

（２）各状況の２次元分布に対してそれぞれ主成分分析を行い、第１主成分（主軸）の直線を１次元部分空間とする。３状況のそれぞれの部分空間を図３４に示す。

混雑度を求めたいシーンから抽出した特徴量が属する状況の決定方法、および、混雑度の算出方法を（３）にて説明する。

（３）その状況が未知である特徴量が、属する部分空間を決定する。図３５のように入力特徴量ベクトルｆを部分空間に射影した時、最大の射影成分||Ｐｆ||を持つ部分空間を識別結果として選ぶ。ここまでは、先ほど説明した状況種別を識別する場合の他の実施例に相当する。図３６のように、予め、部分空間（ここでは直線）上の位置と混雑度を表す指標とを対応付けておくことにより、特徴量ベクトルｆを部分空間へ射影したベクトルの終点位置（図３５の矢印ＰＯＳの位置）により混雑度指標を求めることができる。混雑度指標として、図３６における最も近い混雑度レベル（整数）を選んでもよいし、終点位置により補間を行い、小数での混雑度レベルを計算してもよい。

非特許文献５：「コンピュータビジョン 技術評論と将来展望」，松山 隆司，久野 義徳，井宮 淳 編，新技術コミュニケーションズ，1998/06

なお、本実施の形態では、混雑度を、部分空間に射影した位置を利用して算出したが、主成分分析ではなく重回帰分析などの他の手法を用いてもよい。重回帰分析に関しては、非特許文献４に詳細が記載されているため説明を省略する。

なお、本実施の形態では状況種別として、３状況（多人数移動／少人数移動／移動経路偏り）を定義したが、多人数移動と少人数移動を合わせた「通常移動」と「移動経路偏り」の２状況を識別するようにしてもよいし、３状況よりも多くの状況に分類してもよい。例えば、部分空間で近似を行う際の近似誤差が少なくなるように、図３７のように４状況に分類してもよい。

以上のように、本実施の形態の状況判定装置によれば、撮像された画像の局所領域における輝度値の時間変化率と、その時間変化率の、複数の局所領域に対するヒストグラムを解析して人の移動状況を判定し、加えて、混雑度レベルを算出することができる。特に、移動経路が偏っていることを簡単な処理で検出できるので、例えば駅のような列車の待ち行列が存在するような場所にて、その待ち行列の存在およびその混雑度レベルを推定可能である。もちろん、移動経路に偏りの無い状況にて、その状況および混雑度を推定することもできる。また、通常は行列が生じることの無い通路にて移動経路の偏りを検出した場合には、何らかの障害により人の自由な移動が妨げられていることを推定可能である。

（実施の形態３）
図３８は、本発明の実施の形態３に係る異常判定装置の概略構成を示すブロック図である。図３８において、本実施の形態の異常判定装置は、状況判定装置５００と、列車到着検知部５１０と、異常判定部５２０と、通報部５３０とを備えて構成されている。前述した実施の形態１と同様に、この異常判定装置は図２の鉄道駅のプラットホームに設置される。

状況判定装置５００は、図１のブロック図で表されるものであり、異常判定部５２０へ判定した状況種別または混雑度を送信する。状況判定装置５００の動作など詳細は実施の形態１、または、実施の形態２にて説明したとおりである。判定する状況種別として、少なくとも、人の移動経路が偏っている状況を含むものとする。

列車到着検知部５１０は、列車のプラットホームへの到着を検知する手段である。画像認識によるもの、画像以外のセンサによるもの、列車運行データを利用するもの等、列車の到着を検知できればどのような方式であってもよい。画像認識を利用する場合、列車の色・形状などの見え情報を予め登録しておき、登録したテンプレートとマッチングすることにより列車の到着を判定すればよい。実施の形態１で説明した動きベクトルを利用することもできる。向きおよび強度が類似した動きベクトルが画像における予め指定した領域（線路付近）にて複数出現すれば、剛体の移動を検出したということで、列車が到着したと判定してもよい。画像以外のセンサとしては、例えば線路の下に荷重センサを設け、荷重値により列車到着を判定することができる。また、レーザ発光器と受光器を利用し、レーザ光の列車からの反射光を検知したり、列車により発光器からの光が遮断されることを検知して、列車到着を判定することができる。列車運行データを利用する例としては、列車あるいは運転指令所からの通信を受信することにより列車到着を知ることができる。

異常判定部５２０は、状況判定装置５００からの状況判定あるいは混雑度判定の結果と、列車到着検知部５１０からの列車到着情報の両者から異常を判定する。処理の詳細については後ほど説明する。通報部５３０は、異常判定部５２０で異常と判定された場合、予め定められた連絡先に通報を行う。

以下、本実施の形態の異常判定装置の動作について、図３９のフローチャートを利用して説明する。画像入力ステップＳ１００から状況判定ステップＳ１４０までが、状況判定装置５００により実行される。状況判定装置５００の構成は図１で表され、ステップＳ１００からステップＳ１４０までの各処理が実行される手段および各処理の動作など詳細は実施の形態１、または、実施の形態２にて説明した通りであるため説明を省略する。ここで、状況判定装置５００が出力する混雑度指標および状況判定結果の通常時の時系列変化について、図４０を用いて説明する。図４０は、実施の形態２で説明した状況判定装置が出力する混雑度および状況判定結果を時系列で表した模式図である。

＜混雑度指標＞
横軸は時刻を表しており、時刻ｔ_３およびｔ_６にて列車が到着している。時刻ｔ_１では前の列車が到着した直後のためホームには人が存在せず混雑度は０である。時刻ｔ_３の列車到着まで、列車に乗るための人々がホームに流入するため混雑度は漸増し、列車が到着した時刻ｔ_３にて、列車待ちの人が列車に乗り込むと共に、列車から乗客がホームに下りて図２における階段ＳＴへ向かう。乗客が全て階段ＳＴに移動した時刻ｔ_４では混雑度が再び０に戻る。その後は、時刻ｔ_１からｔ_４までの繰り返しである。

＜状況判定結果＞
時刻ｔ_１からｔ_２までは、列車待ちの行列がホームに存在しないため、状況判定結果として「状況１：少人数移動」と判定されている。時刻ｔ_２から列車待ち行列がホームに発生し始め、状況判定結果として「状況２：移動経路偏り」と判定される。時刻ｔ_３に列車が到着すると、乗客が一度に図２における階段ＳＴへ向かうため、状況判定結果として「状況３：多人数移動」と判定される。

次に、列車到着検知ステップＳ２００が、列車到着検知部５１０により実行される。ここでの処理は、列車到着検知部５１０の動作説明時に説明した通りである。

次に、ステップＳ２１０が、図３８では図示せぬ制御部により実行される。現在時刻にて列車到着情報が存在していれば（ＹＥＳの場合）異常判定ステップＳ２２０に進み、列車到着情報が存在していなければ（ＮＯの場合）ステップＳ１５０へ進む。

次に、異常判定ステップＳ２２０が、異常判定部５２０により実行される。本ステップの処理は次のように行われる。列車が到着してから混雑度が再び０に戻るまでの時間（例えば時刻ｔ_３からｔ_４の間隔）を予め計測し、その値を基に閾値ＤＴを決定しておく。列車到着検知部５１０が列車到着を検知した時刻から時間ＤＴが経過した時に、混雑度指標が予め定めた閾値を下回らない、もしくは、状況判定結果が「状況１：少人数移動」にならない場合は、異常と判定する。

異常となる例として、到着した列車が満員のためホームにいた待ち客の全員が列車に乗り込めず、一部の人がホームに残ってしまう場合や、階段ＳＴにて混雑が生じ、時間ＤＴが経過しても、列車から下りた人が階段ＳＴに移動できない場合がある。なお、混雑が解消する時間は、列車待ち行列の人数、および、列車から降りる人の人数に影響を受けるため、閾値ＤＴとして、時間帯、曜日によりそれぞれ適切な値を設定することが望ましい。

次に、ステップＳ２３０が、図３８では図示せぬ制御部により実行される。異常判定ステップで異常と判定されていれば（ＹＥＳの場合）通報ステップＳ２４０に進み、そうでなければ（ＮＯの場合）ステップＳ１５０へ進む。通報ステップＳ２４０は、通報部５３０により実行される。ここでの処理は、通報部５３０の動作説明時に説明した通りである。最後に、ステップＳ１５０が図３８にて図示せぬ制御部により実行される。図３８にて図示せぬ入力部を通して、同装置の操作者による、処理終了指示が入力されている場合（ＹＥＳの場合）は画像入力ステップＳ１００へ戻り、次時刻のフレーム画像の処理を行う。処理終了指示が入力されていない場合（ＮＯの場合）は処理を終了する。

以上のように、本実施の形態の異常判定装置によれば、状況判定装置により得られた状況種別あるいは混雑度を利用して、通常とは異なる異常混雑状態を判定可能である。

本発明に係る状況判定装置、状況判定方法、状況判定プログラムは、人の移動に係る状況種別を判定し、あるいは、人の混雑度を判定し、駅・空港などの複数の人が移動する公共空間において、画像監視の際の省力化・効率化を図ることのできる装置、方法、および、プログラムを提供できる。また、本発明に係る異常判定装置、異常判定方法、異常判定プログラムは、人の移動に係る異常な混雑状況を判定し、駅・空港などの複数の人が移動する公共空間において、画像監視の際の省力化・効率化を図り、異常混雑に伴う事故を未然防止するために異常を早期検出できる、装置、方法、および、プログラムを提供できる。

本発明の実施の形態１に係る状況判定装置の概略構成を示すブロック図 本発明の実施の形態１に係る状況判定装置を鉄道の駅に設置した様子を示す図 本発明の実施の形態１に係るカメラＣＭでの撮像画像を示す図 本発明の実施の形態１に係る状況判定装置で実施される状況判定方法を説明するためのフローチャート 本発明の実施の形態１に係る状況判定装置の画像蓄積部に蓄積されるフレーム画像と、局所画像変化情報蓄積部に蓄積される局所変化情報と、時刻との関係を示す図 本発明の実施の形態１に係るカメラＣＭでの撮像画像に対し、局所領域分割を行った様子を示す図 本発明の実施の形態１に係る状況判定装置の局所画像変化検出部にて抽出された動きベクトルの例を示す図 本発明の実施の形態１に係る状況判定装置の局所画像変化検出部にて検出され、局所画像変化情報蓄積部に蓄積される局所変化情報の要素を示す図 本発明の実施の形態１に係る状況判定装置の局所画像変化率算出部にて算出され、局所画像変化率蓄積部に蓄積される局所変化率の要素を示す図 本発明の実施の形態１に係る状況判定装置の画像蓄積部に蓄積されるフレーム画像と、局所画像変化情報蓄積部に蓄積される局所変化情報と、局所画像変化率蓄積部に蓄積される局所変化率と、時刻との関係を示す図 本発明の実施の形態１に係る状況判定装置の局所画像変化率ヒストグラム算出部で算出された局所画像変化率ヒストグラムの例を示す図 本発明の実施の形態１に係る状況判定装置の動作において、多人数の移動状況を撮像した画像の例を示す図 本発明の実施の形態１に係る状況判定装置の動作において、少人数の移動状況を撮像した画像の例を示す図 本発明の実施の形態１に係る状況判定装置の動作において、列車を待つ行列が存在する場所にて、人が移動する状況を撮像した画像の例を示す図 本発明の実施の形態１に係る状況判定装置の動作において、３つの状況に関して、変化が発生する領域数と局所画像変化率の傾向を示す表 本発明の実施の形態１に係る状況判定装置の動作において、多人数移動時での局所画像変化率ヒストグラムの特性を示す図 本発明の実施の形態１に係る状況判定装置の動作において、小人数移動時での局所画像変化率ヒストグラムの特性を示す図 本発明の実施の形態１に係る状況判定装置の動作において、人の移動経路に偏りが存在する時での局所画像変化率ヒストグラムの特性を示す図 本発明の実施の形態１に係る状況判定装置の動作において、多人数の移動状況を撮像した画像に、局所領域分割を施した様子を示す図 本発明の実施の形態１に係る状況判定装置の動作において、少人数の移動状況を撮像した画像に局所領域分割を施した様子を示す図 本発明の実施の形態１に係る状況判定装置の動作において、人の移動経路に偏りが存在する状況を撮像した画像に局所領域分割を施した様子を示す図 本発明の実施の形態１に係る状況判定装置の動作において、実際の動画像から求められた局所画像変化率ヒストグラムの例を示す図 本発明の実施の形態１に係る状況判定装置の状況判定部の内部構成を示すブロック図 本発明の実施の形態１に係る状況判定装置の局所画像変化検出部での処理の他の実現例を示す図 本発明の実施の形態１に係る状況判定装置の局所画像変化検出部での処理の他の実現例を示す図 本発明の実施の形態１に係る状況判定装置の局所画像変化検出部での処理の他の実現例を示す図 本発明の実施の形態２に係る状況判定装置の状況判定部の内部構成を示すブロック図 本発明の実施の形態２に係る状況判定装置の特徴抽出部の特徴量抽出において求められる指標の値を示す図 本発明の実施の形態２に係る状況判定装置の特徴抽出部で抽出された特徴量の値を示す図 本発明の実施の形態２に係る状況判定装置の特徴抽出部が３シーンの動画から抽出した２次元特徴量の分布を示す図 本発明の実施の形態２に係る状況判定装置の特徴抽出部で抽出された特徴量の各値と２次元特徴量の分布との関係を示す図 本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、駅ホームにおける、６シーンを撮像した画像を示す図 本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、６シーンに対応する特徴量の２次元特徴量空間における分布を示す図 本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、３状況における特徴量の分布に対して、それぞれ求めた部分空間を、分布と同時に表示した図 本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、部分空間法を説明するための図 本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、部分空間上の位置と混雑度を表す指標とを対応付けた様子を示す図 本発明の実施の形態２に係る状況判定装置における混雑度判定処理の説明に用いられ、４状況における特徴量の分布に対して、それぞれ求めた部分空間を、分布と同時に表示した図 本発明の実施の形態３に係る異常判定装置の概略構成を示すブロック図 本発明の実施の形態３に係る異常判定装置で実行される異常判定処理を説明するためのフローチャート 本発明の実施の形態３に係る異常判定装置の状況判定装置が出力する混雑度および状況種別の通常状態における時間推移を示すグラフ

符号の説明

１００ 画像入力部
１１０ 画像蓄積部
１２０ 局所画像変化検出部
１３０ 局所画像変化情報蓄積部
１４０ 局所画像変化率算出部
１５０ 局所画像変化率蓄積部
１６０ 局所画像変化率ヒストグラム算出部
１７０ 状況判定部
２００ 参照ヒストグラム格納部
２１０ ヒストグラム比較部
３００ 特徴抽出部
３１０ 識別基準格納部
３２０ 識別部
５００ 状況判定装置
５１０ 列車到着検知部
５２０ 異常判定部
５３０ 通報部
ＰＨ 駅のプラットホーム
ＷＬ プラットホームの側壁
ＳＴ プラットホームへの人の出入りのための階段
ＲＬ 線路
ＣＭ カメラ
ＳＤ 状況判定装置
ＡＲ１〜ＡＲ３ 人の移動経路を表す矢印
ＷＰ 列車を待つ人
ＭＰ 移動する人

Claims (13)

1. 撮像された動画像または複数の静止画像を解析することにより人の移動状況および／または混雑度を判定する状況判定装置であって、
   撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出手段と、
   前記局所画像変化率算出手段で算出された時間変化率の複数の局所領域に対するヒストグラムを解析して人の移動状況および／または人の混雑度を判定する状況判定手段と、
   を備えた状況判定装置。
2. 撮像された動画像または複数の静止画像を解析することにより人の移動状況および／または混雑度を判定する状況判定装置であって、
   撮像対象場所に存在する人を撮像した動画像または複数の静止画像を入力する画像入力手段と、
   前記画像入力手段にて入力された画像を蓄積する画像蓄積手段と、
   前記画像蓄積手段に蓄積された画像から第１の時間間隔を隔てて撮像された２個の画像を選択し、前記画像を複数の局所領域に分割する分割方法を予め定めた領域分割情報を用いて前記局所領域毎に前記２個の画像間の変化を検出する局所画像変化検出手段と、
   前記局所画像変化検出手段で検出された前記２個の画像間の変化を画像変化情報として蓄積する局所画像変化情報蓄積手段と、
   前記局所画像変化情報蓄積手段に蓄積された画像変化情報を基に前記局所領域毎に第２の時間間隔における画像間の変化回数を計数して局所領域毎の画像変化率を算出する局所画像変化率算出手段と、
   前記局所画像変化率算出手段で算出された局所領域毎の画像変化率を複数の局所領域に関して蓄積する局所画像変化率蓄積手段と、
   前記局所画像変化率蓄積手段に蓄積された画像変化率の複数の局所領域に対するヒストグラムを計算する局所画像変化率ヒストグラム算出手段と、
   前記局所画像変化率ヒストグラム算出手段で算出されたヒストグラムを解析して前記撮像対象場所に存在する人の移動状況および／または人の混雑度を判定する状況判定手段と、
   を備えた状況判定装置。
3. 前記状況判定手段は、参照ヒストグラム格納手段とヒストグラム比較手段とで構成された請求項１または請求項２に記載の状況判定装置。
4. 前記状況判定手段は、特徴抽出手段と識別基準格納手段と識別手段とで構成された請求項１または請求項２に記載の状況判定装置。
5. 前記移動状況として、少なくとも人の移動経路が偏っている状況を含む請求項１乃至請求項４のいずれかに記載の状況判定装置。
6. 駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定装置であって、
   請求項５に記載の状況判定装置と、
   前記プラットホームへの列車の到着を検知する列車到着検知手段と、
   前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合に異常と判定する異常判定手段と、
   を備えた異常判定装置。
7. 前記異常判定手段が異常と判定した場合に予め定めておいた連絡先に通報を行う通報手段を更に備えた請求項６に記載の異常判定装置。
8. 撮像された動画像または複数の静止画像を解析することにより人の移動状況および／または混雑度を判定する状況判定方法であって、
   撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出ステップと、
   前記局所画像変化率算出手段で算出された時間変化率の複数の局所領域に対するヒストグラムを解析して人の移動状況および／または人の混雑度を判定する状況判定ステップと、
   を備えた状況判定方法。
9. 前記移動状況として、少なくとも人の移動経路が偏っている状況を含む請求項８に記載の状況判定方法。
10. 駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定方法であって、
    請求項９に記載の状況判定方法を実行する状況判定ステップと、
    前記プラットホームへの列車の到着を検知する列車到着検知ステップと、
    前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合、異常と判定する異常判定ステップと、
    を備えた異常判定方法。
11. コンピュータに、撮像された動画像または複数の静止画像を解析することにより人の移動状況および／または混雑度を判定させるための状況判定プログラムであって、
    撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出ステップと、
    前記局所画像変化率算出手段で算出された時間変化率の複数の局所領域に対するヒストグラムを解析して人の移動状況および／または人の混雑度を判定する状況判定ステップと、
    を備えた状況判定プログラム。
12. 前記移動状況として、少なくとも人の移動経路が偏っている状況を含む請求項１１に記載の状況判定プログラム。
13. コンピュータに、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定させるための異常判定プログラムであって、
    請求項９に記載の状況判定方法を実行する状況判定ステップと、
    前記プラットホームへの列車の到着を検知する列車到着検知ステップと、
    前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合、異常と判定する異常判定ステップと、
    を備えた異常判定プログラム。

Images