JP2002204444A - 人物監視システム - Google Patents
人物監視システムInfo
- Publication number
- JP2002204444A JP2002204444A JP2001335534A JP2001335534A JP2002204444A JP 2002204444 A JP2002204444 A JP 2002204444A JP 2001335534 A JP2001335534 A JP 2001335534A JP 2001335534 A JP2001335534 A JP 2001335534A JP 2002204444 A JP2002204444 A JP 2002204444A
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- function
- intermediate server
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】コストを低減し、見逃しのない人物監視が可能
な人物監視システムの提供すること。 【解決手段】人物の写っているシーンの映像を伝送、蓄
積、検索し、見え方が最適な映像を出力する人物監視シ
ステムであって、撮像機能を内蔵した一つ、又は複数の
人物抽出手段（１）と、前記人物抽出手段から提供され
る画像を処理し、最適人物シーンを選択する機能を有す
る中間サーバ手段（２）と、前記中間サーバ手段から提
供される画像を処理し、検索のタグ付け等のより処理時
間を要する高度な機能およびユーザインタフェースを提
供するサーバ手段（３）とを具備している。
な人物監視システムの提供すること。 【解決手段】人物の写っているシーンの映像を伝送、蓄
積、検索し、見え方が最適な映像を出力する人物監視シ
ステムであって、撮像機能を内蔵した一つ、又は複数の
人物抽出手段（１）と、前記人物抽出手段から提供され
る画像を処理し、最適人物シーンを選択する機能を有す
る中間サーバ手段（２）と、前記中間サーバ手段から提
供される画像を処理し、検索のタグ付け等のより処理時
間を要する高度な機能およびユーザインタフェースを提
供するサーバ手段（３）とを具備している。
Description
【０００１】
【発明の属する技術分野】この発明は、店舗、ＡＴＭ設
置施設やオフィス等において、侵入者を監視するための
人物監視システムに関する。
置施設やオフィス等において、侵入者を監視するための
人物監視システムに関する。
【０００２】
【従来の技術】店舗、ＡＴＭ設置施設やオフィスにおい
て、侵入者を監視するといった分野では、画像伝送によ
る方法、監視画像伝送による監視、監視画像のＶＴＲ記
録、画像処理認識による監視、及びそれらを組合せた手
法が使用されてきた。以下、これら手法について説明す
る。監視画像伝送による監視は、監視環境にアナログＩ
ＴＶカメラを設置し、一般に離れた場所にある監視セン
タまでアナログ画像を伝送し、センタに配備された監視
員が常時監視画像をモニタするものである。
て、侵入者を監視するといった分野では、画像伝送によ
る方法、監視画像伝送による監視、監視画像のＶＴＲ記
録、画像処理認識による監視、及びそれらを組合せた手
法が使用されてきた。以下、これら手法について説明す
る。監視画像伝送による監視は、監視環境にアナログＩ
ＴＶカメラを設置し、一般に離れた場所にある監視セン
タまでアナログ画像を伝送し、センタに配備された監視
員が常時監視画像をモニタするものである。
【０００３】この場合は一般に複数カメラからの画像を
伝送し、監視員はそれら画像表示を意識的に、又は一定
時間ごとに切替えて監視する。又画面の切替えの契機と
して、監視環境に設置された赤外線、超音波等の侵入セ
ンサからの侵入者検知信号を用いるものもある。又アナ
ログ画像のままではなく、ＪｐｅｇやＭｐｅｇによる圧
縮データに変換してから伝送するものがある。
伝送し、監視員はそれら画像表示を意識的に、又は一定
時間ごとに切替えて監視する。又画面の切替えの契機と
して、監視環境に設置された赤外線、超音波等の侵入セ
ンサからの侵入者検知信号を用いるものもある。又アナ
ログ画像のままではなく、ＪｐｅｇやＭｐｅｇによる圧
縮データに変換してから伝送するものがある。
【０００４】監視画像のＶＴＲ記録は、監視環境にアナ
ログＩＴＶカメラを設置し、離れた場所、又は監視環境
からは見えない場所に設置したＶＴＲ装置に一定間隔ご
とに画像を記録するものである。画像処理認識による監
視は、監視環境における画像の変化や画像中からの人物
候補領域の検出によって通報やＶＴＲの起動を行なうも
のである。
ログＩＴＶカメラを設置し、離れた場所、又は監視環境
からは見えない場所に設置したＶＴＲ装置に一定間隔ご
とに画像を記録するものである。画像処理認識による監
視は、監視環境における画像の変化や画像中からの人物
候補領域の検出によって通報やＶＴＲの起動を行なうも
のである。
【０００５】
【発明が解決しようとする課題】上記したような従来技
術には以下に示す問題点がある。先ず監視画像伝送によ
る監視での問題は、処理の仕組みは単純であるが、アナ
ログ画像伝送を行なうために、専用伝送路の敷設、伝送
による信号劣化の保障としてのブースタの設置などの付
帯設備が必要となる。従ってこれら設備のためのコスト
が甚大であり、かつセンタにおいて監視員を常時配備し
ておく必要がある。
術には以下に示す問題点がある。先ず監視画像伝送によ
る監視での問題は、処理の仕組みは単純であるが、アナ
ログ画像伝送を行なうために、専用伝送路の敷設、伝送
による信号劣化の保障としてのブースタの設置などの付
帯設備が必要となる。従ってこれら設備のためのコスト
が甚大であり、かつセンタにおいて監視員を常時配備し
ておく必要がある。
【０００６】一方、画像の圧縮データを伝送するシステ
ムでは上記に比べてデータが少ない、伝送による信号劣
化がない、などの理由からアナログ専用線ではなく一般
のデジタル回線を用いることが可能であるが、侵入イベ
ント以外の情報も多数伝送されるため、監視員の常時配
備の問題は解消されない。
ムでは上記に比べてデータが少ない、伝送による信号劣
化がない、などの理由からアナログ専用線ではなく一般
のデジタル回線を用いることが可能であるが、侵入イベ
ント以外の情報も多数伝送されるため、監視員の常時配
備の問題は解消されない。
【０００７】監視画像のＶＴＲ記録での問題を述べる
と、このシステムは基本的には、緊急通報とは別に侵入
者の映像を記録することで、後で状況推定や侵入者特定
のために利用するものであるが、一定間隔ごとの記録で
は実際に侵入イベントとして重要な映像を記録できない
場合がある。
と、このシステムは基本的には、緊急通報とは別に侵入
者の映像を記録することで、後で状況推定や侵入者特定
のために利用するものであるが、一定間隔ごとの記録で
は実際に侵入イベントとして重要な映像を記録できない
場合がある。
【０００８】画像処理による監視での問題は、侵入者の
検出率が妥当であるならば、このシステムで侵入時のみ
に伝送や蓄積の処理が必要であるため、データ伝送、蓄
積のためのコストを全体的に低くすることが可能であ
る。又イベント発生時のみについて、伝送、蓄積された
画像を監視員が確認することで、常時配備の必要性が軽
減される。
検出率が妥当であるならば、このシステムで侵入時のみ
に伝送や蓄積の処理が必要であるため、データ伝送、蓄
積のためのコストを全体的に低くすることが可能であ
る。又イベント発生時のみについて、伝送、蓄積された
画像を監視員が確認することで、常時配備の必要性が軽
減される。
【０００９】しかしイベントを検出した後で、伝送又は
蓄積された画像の性質が、監視員が確認するために良い
ものでは無い場合が多い。これは例えば、監視映像中の
人物領域に顔などの特徴的な部分がない、画像が小さす
ぎる、圧縮の影響で画質が劣化している等があげられ
る。従って本発明は、コストを低減し、見逃しのない人
物監視が可能な人物監視システムの提供を目的とする。
蓄積された画像の性質が、監視員が確認するために良い
ものでは無い場合が多い。これは例えば、監視映像中の
人物領域に顔などの特徴的な部分がない、画像が小さす
ぎる、圧縮の影響で画質が劣化している等があげられ
る。従って本発明は、コストを低減し、見逃しのない人
物監視が可能な人物監視システムの提供を目的とする。
【００１０】
【課題を解決するための手段】人物の写っているシーン
の映像を伝送、蓄積、検索し、見え方が最適な映像を出
力する人物監視システムは、撮像機能を内蔵した一つ、
又は複数の人物抽出手段と、前記人物抽出手段から提供
される画像を処理し、最適人物シーンを選択する機能を
有する中間サーバ手段と、前記中間サーバ手段から提供
される画像を処理し、検索のタグ付け等のより処理時間
を要する高度な機能およびユーザインタフェースを提供
するサーバ手段と、を具備している。
の映像を伝送、蓄積、検索し、見え方が最適な映像を出
力する人物監視システムは、撮像機能を内蔵した一つ、
又は複数の人物抽出手段と、前記人物抽出手段から提供
される画像を処理し、最適人物シーンを選択する機能を
有する中間サーバ手段と、前記中間サーバ手段から提供
される画像を処理し、検索のタグ付け等のより処理時間
を要する高度な機能およびユーザインタフェースを提供
するサーバ手段と、を具備している。
【００１１】
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態について詳細に説明する。以下の説明で
は、本システムを用いて、ある監視領域において侵入者
の監視を行なう装置について示す。
明の実施の形態について詳細に説明する。以下の説明で
は、本システムを用いて、ある監視領域において侵入者
の監視を行なう装置について示す。
【００１２】先ず、この実施の形態の全体構成と処理の
概要を説明する。本発明による人物監視システムの全体
構成を図１に示す。このシステムは、人物抽出手段１、
中間サーバ手段２、サーバ手段３とからなり、人物抽出
手段１において入力動画像中から人物候補領域を抽出
し、中間サーバ手段２においてそのうち見え方の最適な
る画像を選択し、サーバ手段３において画像検索用のキ
ーの生成やｈｔｔｐ（ｈｙｐｅｒ ｔｅｘｔ ｔｒａｎ
ｓｆｅｒ ｐｒｏｔｏｃｏｌ）でのユーザインタフェー
スを提供する。そして各手段１，２，３は有線、又は無
線のディジタル通信によって接続される。
概要を説明する。本発明による人物監視システムの全体
構成を図１に示す。このシステムは、人物抽出手段１、
中間サーバ手段２、サーバ手段３とからなり、人物抽出
手段１において入力動画像中から人物候補領域を抽出
し、中間サーバ手段２においてそのうち見え方の最適な
る画像を選択し、サーバ手段３において画像検索用のキ
ーの生成やｈｔｔｐ（ｈｙｐｅｒ ｔｅｘｔ ｔｒａｎ
ｓｆｅｒ ｐｒｏｔｏｃｏｌ）でのユーザインタフェー
スを提供する。そして各手段１，２，３は有線、又は無
線のディジタル通信によって接続される。
【００１３】したがって、一つ又は複数の人物抽出手段
１によって検出された入力画像内の人物候補領域に対し
て、人物抽出手段１又は中間サーバ手段２において人物
特徴のチェックと見え方が最適なフレームの選択、およ
びカメラ（これは人物抽出手段１に相当）入力の選択を
行ない、サーバ手段３では、中間サーバ手段２から得ら
れた最適な人物画像系列を一時的に蓄積し、その後、そ
れら画像系列の伝送を行なう。このとき、例えば検出人
物系列について、その移動方向、色、動き方、参照人物
画像との類似度などの画像検索用キーを作成しておき、
ユーザからの要求にしたがって所望画像のみを伝送する
処理も行なう。
１によって検出された入力画像内の人物候補領域に対し
て、人物抽出手段１又は中間サーバ手段２において人物
特徴のチェックと見え方が最適なフレームの選択、およ
びカメラ（これは人物抽出手段１に相当）入力の選択を
行ない、サーバ手段３では、中間サーバ手段２から得ら
れた最適な人物画像系列を一時的に蓄積し、その後、そ
れら画像系列の伝送を行なう。このとき、例えば検出人
物系列について、その移動方向、色、動き方、参照人物
画像との類似度などの画像検索用キーを作成しておき、
ユーザからの要求にしたがって所望画像のみを伝送する
処理も行なう。
【００１４】以上で、人物抽出手段１と中間サーバ２、
中間サーバ手段２とサーバ手段３のそれぞれの間での伝
送路の状態、および対象人物の侵入イベント数などに応
じて適宜それぞれでの処理の分担範囲を変える。例えば
人物抽出手段１においては人物候補領域の抽出と確認を
行なうが、単位時間あたりのイベント数が多い場合に
は、人物候補の確認処理は比較的ラフなもののみを行な
い、後述する顔等の特徴部分による確認のように処理コ
ストの高いものは中間サーバ手段２に分担させる。
中間サーバ手段２とサーバ手段３のそれぞれの間での伝
送路の状態、および対象人物の侵入イベント数などに応
じて適宜それぞれでの処理の分担範囲を変える。例えば
人物抽出手段１においては人物候補領域の抽出と確認を
行なうが、単位時間あたりのイベント数が多い場合に
は、人物候補の確認処理は比較的ラフなもののみを行な
い、後述する顔等の特徴部分による確認のように処理コ
ストの高いものは中間サーバ手段２に分担させる。
【００１５】以下に上記人物抽出手段１、中間サーバ手
段２、サーバ手段３の各構成と処理の説明を行なう。図
２は人物抽出手段１の構成に示す図である。カラー、又
はモノクロのテレビカメラとＡ／Ｄ変換器とからなる画
像入力手段４により数フレームごとに入力されたディジ
タル画像データを一度人物検出画像蓄積手段５に格納
し、これについて後述の様に、人物候補領域抽出手段６
によって侵入人物の概略領域を検出し、その概略領域内
部に人物としての特徴的な領域パターン（例えば顔、
手、足等）が存在するかどうかを人物領域確認手段７に
よって確認し、人物候補領域画像と確認結果を人物候補
通信手段８によってＥｔｈｅｒ ｎｅｔやＩＥＥＥ１３
９４上にＴｃｐ／ＩＰなどのプロトコルで中間サーバに
伝送する。上記で入力画像がカラーであった場合には、
その輝度成分のみを抽出して人物検出画像蓄積手段５に
蓄積する。
段２、サーバ手段３の各構成と処理の説明を行なう。図
２は人物抽出手段１の構成に示す図である。カラー、又
はモノクロのテレビカメラとＡ／Ｄ変換器とからなる画
像入力手段４により数フレームごとに入力されたディジ
タル画像データを一度人物検出画像蓄積手段５に格納
し、これについて後述の様に、人物候補領域抽出手段６
によって侵入人物の概略領域を検出し、その概略領域内
部に人物としての特徴的な領域パターン（例えば顔、
手、足等）が存在するかどうかを人物領域確認手段７に
よって確認し、人物候補領域画像と確認結果を人物候補
通信手段８によってＥｔｈｅｒ ｎｅｔやＩＥＥＥ１３
９４上にＴｃｐ／ＩＰなどのプロトコルで中間サーバに
伝送する。上記で入力画像がカラーであった場合には、
その輝度成分のみを抽出して人物検出画像蓄積手段５に
蓄積する。
【００１６】又、この人物抽出手段１では一定時間内で
の上述の対象人物領域の抽出数、すなわち検知頻度を人
物抽出手段１内部の検知頻度計測手段９によって計測
し、これがあらかじめ設定してある閾値以上であった場
合には、本手段の処理に時間をかけるべきではないとし
て、一般的に処理コストのかかる人物領域確認手段７の
処理は行なわず、後述の中間サーバに処理の分担を依頼
する。
の上述の対象人物領域の抽出数、すなわち検知頻度を人
物抽出手段１内部の検知頻度計測手段９によって計測
し、これがあらかじめ設定してある閾値以上であった場
合には、本手段の処理に時間をかけるべきではないとし
て、一般的に処理コストのかかる人物領域確認手段７の
処理は行なわず、後述の中間サーバに処理の分担を依頼
する。
【００１７】以下に、この人物抽出手段１に特徴的な機
能として、人物候補領域抽出手段６と人物領域確認手段
７および人物候補通信手段８について述べる。人物候補
領域抽出手段６の処理としては、以下に示すようないく
つかの方法のいずれかを使用することができる。
能として、人物候補領域抽出手段６と人物領域確認手段
７および人物候補通信手段８について述べる。人物候補
領域抽出手段６の処理としては、以下に示すようないく
つかの方法のいずれかを使用することができる。
【００１８】例えば、連続するサンプリング画像（フレ
ーム）について画素ごとの差分を行ない、ある一定閾値
で２値化した領域を抽出し、４連結、又は８連結の意味
で空間的に連結する領域について、その面積や外接矩形
サイズが人物候補として妥当なものを検出する方法であ
る。この処理の流れを図３のフローチャートに示す。こ
の際の２値化の閾値は、差分画像の輝度ごとの頻度分布
を解析し、その分散比を最大にする値として決定する手
法を使うことができる（大津、判別および最小二乗基準
に基づく自動しきい値選定法、信学論、Ｖｏｌ．Ｊ６３
−Ｄ，Ｎｏ．４，ｐｐ．３４９−３５６，１９８０参
照）。ここで、上記連結領域の解析を行なう前に、抽出
領域についての数回の膨張、収縮処理を行なって、ノイ
ズによる過抽出や“かすれ”の影響を減少させても良
い。この場合に抽出領域の第一次信頼度Ｃ１を例えば以
下のように算出しておく。
ーム）について画素ごとの差分を行ない、ある一定閾値
で２値化した領域を抽出し、４連結、又は８連結の意味
で空間的に連結する領域について、その面積や外接矩形
サイズが人物候補として妥当なものを検出する方法であ
る。この処理の流れを図３のフローチャートに示す。こ
の際の２値化の閾値は、差分画像の輝度ごとの頻度分布
を解析し、その分散比を最大にする値として決定する手
法を使うことができる（大津、判別および最小二乗基準
に基づく自動しきい値選定法、信学論、Ｖｏｌ．Ｊ６３
−Ｄ，Ｎｏ．４，ｐｐ．３４９−３５６，１９８０参
照）。ここで、上記連結領域の解析を行なう前に、抽出
領域についての数回の膨張、収縮処理を行なって、ノイ
ズによる過抽出や“かすれ”の影響を減少させても良
い。この場合に抽出領域の第一次信頼度Ｃ１を例えば以
下のように算出しておく。
【００１９】 Ｃ１＝（Ｖf,Ｖft）／（｜Ｖf ｜｜Ｖft｜）， …（１） ただし、 Ｖ＝（Ｗ，Ｈ，Ｓ） Ｖt ＝（ ( Ｔwu＋Ｔwl)/2, ( Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2 ） …（２） なるベクトルで、Ｗ，Ｈはそれぞれ抽出領域の外接矩形
の縦横サイズであり、Ｓは抽出領域面積である。又Ｔw
u，Ｔwlは外接矩形の縦サイズの、Ｔhu，Ｔhlは外接矩
形の横サイズの、Ｔsu，Ｔslは抽出面積のそれぞれ上限
値と下限値を示す閾値であり、０≦ Ｃf ≦１となる。
の縦横サイズであり、Ｓは抽出領域面積である。又Ｔw
u，Ｔwlは外接矩形の縦サイズの、Ｔhu，Ｔhlは外接矩
形の横サイズの、Ｔsu，Ｔslは抽出面積のそれぞれ上限
値と下限値を示す閾値であり、０≦ Ｃf ≦１となる。
【００２０】この信頼度算出用のベクトルＶ，Ｖt につ
いては、円形度Ｒを加えて以下のようにしてもよい。 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｒ)、 Ｖt ＝（( Ｔwu＋Ｔwl)/2, ( Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2 ）, Ｔr …（２′） Ｒ＝（抽出領域の周囲長）／Ｓ， ただしＴr は人物としてのＲの標準的値。
いては、円形度Ｒを加えて以下のようにしてもよい。 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｒ)、 Ｖt ＝（( Ｔwu＋Ｔwl)/2, ( Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2 ）, Ｔr …（２′） Ｒ＝（抽出領域の周囲長）／Ｓ， ただしＴr は人物としてのＲの標準的値。
【００２１】又別手法として事後確率変換による手法を
用いても良い（中井、事後確率を用いた移動物体検出手
法、情処研報，９４−ＣＶ−９０，ｐｐ．１−８，１９
９４参照）。
用いても良い（中井、事後確率を用いた移動物体検出手
法、情処研報，９４−ＣＶ−９０，ｐｐ．１−８，１９
９４参照）。
【００２２】この事後確率変換による手法の処理の流れ
を図４のフローチャートに示す。事象θ０を背景、事象
θ１を侵入物とする。ある部分画像内の画素の輝度を観
測する前のθ０、θ１の事前確率がそれぞれｗ０，ｗ１
であるとき（ただしｗ０＋ｗ１＝１）、事後確率ｗ１′
は事象θｋのもとでの画素輝度Ｉの条件付き確率をＰ
（Ｉ｜θｋ）とするときベイズの定理から ｗ１′＝｛ｗ１ｐ（Ｉ｜θ１）｝ ／｛ｐ（Ｉ｜θ０）（１−ｗ１）＋ｐ（Ｉ｜θ１）ｗ１｝ …（３） となり、このｗ１′がある閾値Ｔより大なるものを侵入
物に属する画素として抽出する。ここで、あらかじめ求
めた背景のみの画像の頻度分布ｈ（ｘ，ｙ，Ｉ）から、 ｐ（Ｉ｜θ０）＝｛１／Σｈ（x,y,I）｝ ｘｈ（x,y,I） …（４） I=Imin,...Imax であり、ｐ（Ｉ｜θ１）は一般にデータサンプルが無いため、 ｐ（Ｉ｜θ０）＝１／（Imax−Imin） …（５） と推定する。又上記は入力画像が更新されるたびにｗ１
＝ｗ１′と更新し、ｗ１の初期値＝１．０／２．０とし
てよい。
を図４のフローチャートに示す。事象θ０を背景、事象
θ１を侵入物とする。ある部分画像内の画素の輝度を観
測する前のθ０、θ１の事前確率がそれぞれｗ０，ｗ１
であるとき（ただしｗ０＋ｗ１＝１）、事後確率ｗ１′
は事象θｋのもとでの画素輝度Ｉの条件付き確率をＰ
（Ｉ｜θｋ）とするときベイズの定理から ｗ１′＝｛ｗ１ｐ（Ｉ｜θ１）｝ ／｛ｐ（Ｉ｜θ０）（１−ｗ１）＋ｐ（Ｉ｜θ１）ｗ１｝ …（３） となり、このｗ１′がある閾値Ｔより大なるものを侵入
物に属する画素として抽出する。ここで、あらかじめ求
めた背景のみの画像の頻度分布ｈ（ｘ，ｙ，Ｉ）から、 ｐ（Ｉ｜θ０）＝｛１／Σｈ（x,y,I）｝ ｘｈ（x,y,I） …（４） I=Imin,...Imax であり、ｐ（Ｉ｜θ１）は一般にデータサンプルが無いため、 ｐ（Ｉ｜θ０）＝１／（Imax−Imin） …（５） と推定する。又上記は入力画像が更新されるたびにｗ１
＝ｗ１′と更新し、ｗ１の初期値＝１．０／２．０とし
てよい。
【００２３】人物候補領域を抽出するためには、入力画
像内の各画素ｉについて（２）式のｗ′ｉをもとめｗ′
ｉ＞Ｔなる画素で、８連結、又は４連結の意味で連結す
るもののうち、その面積や、外接矩形サイズが人物とし
て妥当なものを選択すればよい。この方法によると背景
領域に定常的に変動があっても、統計的に変動を吸収で
きる利点がある。
像内の各画素ｉについて（２）式のｗ′ｉをもとめｗ′
ｉ＞Ｔなる画素で、８連結、又は４連結の意味で連結す
るもののうち、その面積や、外接矩形サイズが人物とし
て妥当なものを選択すればよい。この方法によると背景
領域に定常的に変動があっても、統計的に変動を吸収で
きる利点がある。
【００２４】上記で非背景（すなわち対象物）であるた
めの事後確率を画素ごとに求めているが、閾値との比較
による抽出（２値化）の前に、確率分布を４近傍や８近
傍について平滑化しても良い。これは対象物近傍につい
ての確率場の連続性を仮定し、ノイズによる過抽出やか
すれを減少させるためである。又さらなるノイズ除去の
ために上記２値化後に数回に渡って、膨張収縮処理を繰
り返しても良い。
めの事後確率を画素ごとに求めているが、閾値との比較
による抽出（２値化）の前に、確率分布を４近傍や８近
傍について平滑化しても良い。これは対象物近傍につい
ての確率場の連続性を仮定し、ノイズによる過抽出やか
すれを減少させるためである。又さらなるノイズ除去の
ために上記２値化後に数回に渡って、膨張収縮処理を繰
り返しても良い。
【００２５】この場合にも抽出領域の信頼度Ｃ１を
（１）式に基づいて算出するが、前述の（２）式のＶ，
Ｖｔをここでは例えば以下のようにして算出しておく。 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｐ） Ｖt ＝（( Ｔwu＋Ｔwl)/2, (Ｔhu＋Ｔhl)/2, (Ｔsu＋Ｔsl)/2 , Ｔp） …（２″） 又は円形度も含めた場合には、 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｒ，Ｐ） Ｖt ＝（( Ｔwu＋Ｔwl)/2, (Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2), Ｔr,Ｔp） …（２″′） ここにＰは抽出矩形内の事後確率の正規化総和であり、
以下のように求められる。
（１）式に基づいて算出するが、前述の（２）式のＶ，
Ｖｔをここでは例えば以下のようにして算出しておく。 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｐ） Ｖt ＝（( Ｔwu＋Ｔwl)/2, (Ｔhu＋Ｔhl)/2, (Ｔsu＋Ｔsl)/2 , Ｔp） …（２″） 又は円形度も含めた場合には、 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｒ，Ｐ） Ｖt ＝（( Ｔwu＋Ｔwl)/2, (Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2), Ｔr,Ｔp） …（２″′） ここにＰは抽出矩形内の事後確率の正規化総和であり、
以下のように求められる。
【００２６】 ただしＴｐは人物に対する上述のＰ値の標準値であり、
Ｒｅｃｔは抽出外接矩形領域を示す。
Ｒｅｃｔは抽出外接矩形領域を示す。
【００２７】次に図２に示した人物抽出手段１における
人物領域確認手段７について説明する。人物領域確認手
段７は、検知頻度計測手段９に前述した検知の頻度が設
定閾値を超えているかどうかを問い合わせる。もし検知
頻度が閾値Ｔｈ以下であった場合には、様々な人物の体
の部分の画像が複数収集され、その情報を統計的に圧縮
した辞書を用いたパターンマッチングを適用して、上記
のように抽出された人物候補領域内部の画素について、
特徴的部分が存在するかどうかを検出する。この様子を
図５に示す。
人物領域確認手段７について説明する。人物領域確認手
段７は、検知頻度計測手段９に前述した検知の頻度が設
定閾値を超えているかどうかを問い合わせる。もし検知
頻度が閾値Ｔｈ以下であった場合には、様々な人物の体
の部分の画像が複数収集され、その情報を統計的に圧縮
した辞書を用いたパターンマッチングを適用して、上記
のように抽出された人物候補領域内部の画素について、
特徴的部分が存在するかどうかを検出する。この様子を
図５に示す。
【００２８】このような方法として、ある一定サイズに
正規化した複数の特徴部分画像をある基準で複数のクラ
スに分割しておき、それに基づいて正準判別する方法が
ある。この方法による処理の流れを図６のフローチャー
トに示す。先ず、以下のようなステップをとる。
正規化した複数の特徴部分画像をある基準で複数のクラ
スに分割しておき、それに基づいて正準判別する方法が
ある。この方法による処理の流れを図６のフローチャー
トに示す。先ず、以下のようなステップをとる。
【００２９】（i）複数クラスの正規化画像群に対する
級内分散Ｂ、および級間分散Ｗの算出 （ii）（Ｂ＋βＳw ）Φ＝｛（１−β）Ｗ＋βＩ｝ΦΛ
なる固有値問題を解くただし０＜β＜１、 Φ：固有ベクトルΦｉを列ベクトルとする固有ベクトル
行列、 Λ：固有値λｉを対角要素とする固有値行列、 である。
級内分散Ｂ、および級間分散Ｗの算出 （ii）（Ｂ＋βＳw ）Φ＝｛（１−β）Ｗ＋βＩ｝ΦΛ
なる固有値問題を解くただし０＜β＜１、 Φ：固有ベクトルΦｉを列ベクトルとする固有ベクトル
行列、 Λ：固有値λｉを対角要素とする固有値行列、 である。
【００３０】（iii ）各クラスタｉ内ベクトルを上述の
Φに射影し、その平均ＭｉとΦと場合によっては分散共
分散Ｖｉを辞書とする。 （vi）マッチング時には画面内を小領域ｊに分割し、そ
の小領域ごとの画像ベクトルを上記Φに射影したベクト
ルＶｊと各クラスｉとのユークリッド距離やマハラノビ
ス距離を求める。
Φに射影し、その平均ＭｉとΦと場合によっては分散共
分散Ｖｉを辞書とする。 （vi）マッチング時には画面内を小領域ｊに分割し、そ
の小領域ごとの画像ベクトルを上記Φに射影したベクト
ルＶｊと各クラスｉとのユークリッド距離やマハラノビ
ス距離を求める。
【００３１】上記でクラス作成時に所望対象特徴画像以
外に、非対象物クラスとして、それと類似する他の画像
も使用すると所望領域以外の類似領域は抽出せず、所望
領域のみを抽出しやすくなる。例えば、所望対象特徴画
像として複数人物の正面向きの顔、非対象物クラスとし
て背景の顔類似パターンを用いるなどである。
外に、非対象物クラスとして、それと類似する他の画像
も使用すると所望領域以外の類似領域は抽出せず、所望
領域のみを抽出しやすくなる。例えば、所望対象特徴画
像として複数人物の正面向きの顔、非対象物クラスとし
て背景の顔類似パターンを用いるなどである。
【００３２】ここでは対象物クラスを、複数人物の顔領
域の画像から作成することとし、それらを顔の向きに応
じて数種類の別クラスに分割する。又非対象物クラスと
して、背景中の顔類似パターンをあらかじめ人手でピッ
クアップしておき、それらを用いる。
域の画像から作成することとし、それらを顔の向きに応
じて数種類の別クラスに分割する。又非対象物クラスと
して、背景中の顔類似パターンをあらかじめ人手でピッ
クアップしておき、それらを用いる。
【００３３】そしてステップ（vi）のマッチング結果の
うち距離が小なるものからＮ番目までで、対象物クラス
に属するものの距離の総和が一定値Ｔｄ以下だった場合
人物領域とし確認されたものとする。この場合には第二
次信頼度Ｃ２を例えば以下のように算出しておく。
うち距離が小なるものからＮ番目までで、対象物クラス
に属するものの距離の総和が一定値Ｔｄ以下だった場合
人物領域とし確認されたものとする。この場合には第二
次信頼度Ｃ２を例えば以下のように算出しておく。
【００３４】 又以上の処理終了後に、上記人物候補領域抽出手段６に
ついて説明したように抽出された人物候補領域の外側で
上述のマッチングを行い、その距離が小なるものからＭ
番目までのものを非対象物クラスのデータとして保存す
る。
ついて説明したように抽出された人物候補領域の外側で
上述のマッチングを行い、その距離が小なるものからＭ
番目までのものを非対象物クラスのデータとして保存す
る。
【００３５】次に図２に示した人物抽出手段１における
人物候補通信手段８について説明する。前述したように
検知頻度計測手段９によって、人物候補の検知頻度が一
定間隔Ｔｈと比較された結果が中間サーバに伝送される
と、中間サーバからはその結果に応じて以下のように人
物抽出手段１での処理分担指示メッセージが送られるた
め、人物抽出手段１での処理はそれに従う。
人物候補通信手段８について説明する。前述したように
検知頻度計測手段９によって、人物候補の検知頻度が一
定間隔Ｔｈと比較された結果が中間サーバに伝送される
と、中間サーバからはその結果に応じて以下のように人
物抽出手段１での処理分担指示メッセージが送られるた
め、人物抽出手段１での処理はそれに従う。
【００３６】（i）検知頻度≧Ｔｈのとき 人物抽出手段１での処理は前述の人物候補領域抽出手段
６の処理のみとなる。 （ii）検知頻度＜Ｔｈのとき 人物抽出手段１での処理は人物候補領域抽出手段６かつ
人物領域確認手段７の処理となる。
６の処理のみとなる。 （ii）検知頻度＜Ｔｈのとき 人物抽出手段１での処理は人物候補領域抽出手段６かつ
人物領域確認手段７の処理となる。
【００３７】ここで（i）の場合には、この人物候補通
信手段８の出力結果は、例えば、上記人物候補領域抽出
手段６が抽出した抽出領域（周囲の外接矩形）座標、抽
出時刻、抽出領域の信頼度Ｃ１であり、（ii）の場合に
は、人物候補通信手段８の出力結果は、例えば、上記
（i）の抽出領域（周囲の外接矩形）座標と時刻に加え
て、抽出領域の信頼度Ｃを以下のように算出して伝送し
てもよい。
信手段８の出力結果は、例えば、上記人物候補領域抽出
手段６が抽出した抽出領域（周囲の外接矩形）座標、抽
出時刻、抽出領域の信頼度Ｃ１であり、（ii）の場合に
は、人物候補通信手段８の出力結果は、例えば、上記
（i）の抽出領域（周囲の外接矩形）座標と時刻に加え
て、抽出領域の信頼度Ｃを以下のように算出して伝送し
てもよい。
【００３８】 Ｃ＝ｍｉｎ（Ｃ１，Ｃ２） …（８） 又（ii）の場合には、ステップ（vi）の結果から以下の
情報を抽出して伝送する。これは最適シーンのカメラを
選択するための情報で、人物候補領域内での上記マッチ
ング結果領域のうち、距離小なるものからＮ番目までの
マッチング距離、およびそれらの各々とマッチした辞書
カテゴリ名、各々の画面内での位置、および人物候補領
域外側で上述のマッチングを行い、その距離が小なるも
のからＭ番目までのものの非対象物クラスのデータとし
てマッチング距離、およびそれらの各々とマッチした辞
書カテゴリ名、各々の画面内での位置も伝送する。
情報を抽出して伝送する。これは最適シーンのカメラを
選択するための情報で、人物候補領域内での上記マッチ
ング結果領域のうち、距離小なるものからＮ番目までの
マッチング距離、およびそれらの各々とマッチした辞書
カテゴリ名、各々の画面内での位置、および人物候補領
域外側で上述のマッチングを行い、その距離が小なるも
のからＭ番目までのものの非対象物クラスのデータとし
てマッチング距離、およびそれらの各々とマッチした辞
書カテゴリ名、各々の画面内での位置も伝送する。
【００３９】又さらに上述の伝送された対象抽出結果に
応じて、中間サーバ手段２から送られる画像伝送メッセ
ージにしたがって、後述のような所望の画像伝送動作を
行う。次に図１の中間サーバ手段２について説明する。
図７は中間サーバ手段２の構成を示す図である。この中
間サーバ手段２は人物抽出通信手段１０、人物抽出補助
手段１１、最適撮像選択手段１２、サーバ通信手段１３
および抽出人物画像蓄積手段１４からなる。以下には、
そのそれぞれの動作を示す。
応じて、中間サーバ手段２から送られる画像伝送メッセ
ージにしたがって、後述のような所望の画像伝送動作を
行う。次に図１の中間サーバ手段２について説明する。
図７は中間サーバ手段２の構成を示す図である。この中
間サーバ手段２は人物抽出通信手段１０、人物抽出補助
手段１１、最適撮像選択手段１２、サーバ通信手段１３
および抽出人物画像蓄積手段１４からなる。以下には、
そのそれぞれの動作を示す。
【００４０】人物抽出通信手段１０は、各人物抽出手段
１での検知頻度に応じた人物抽出機能の負荷分担、およ
び同じく人物抽出手段１よりの認識確信度と中間サーバ
手段２の通信負荷とによる抽出画像伝送の制御を行い、
その結果として人物抽出手段手段１から送られてくる人
物抽出画像を受け取る。受信した人物抽出画像は抽出人
物画像蓄積手段１４に画面内での位置情報、信頼度、抽
出時刻とともに保存される。
１での検知頻度に応じた人物抽出機能の負荷分担、およ
び同じく人物抽出手段１よりの認識確信度と中間サーバ
手段２の通信負荷とによる抽出画像伝送の制御を行い、
その結果として人物抽出手段手段１から送られてくる人
物抽出画像を受け取る。受信した人物抽出画像は抽出人
物画像蓄積手段１４に画面内での位置情報、信頼度、抽
出時刻とともに保存される。
【００４１】この通信処理は例えば以下のような手順で
実行される。この人物抽出通信手段１０の処理の流れを
図８のフローチャートに示す。 （i）人物抽出手段内部状態の取得と人物抽出方法の指
示 各人物抽出手段１から内部状態として、一時保存画像数
Ｎｓと検知頻度Ｈが閾値Ｔｈを超えているかどうかを取
得し、前記人物候補通信手段８の説明であった検知頻度
に応じて、人物抽出手段１内の処理を人物候補領域抽出
手段６のみの処理とするのか、人物領域確認手段７をも
行わせるのかを指示する。このようにすることによっ
て、人物候補の確認までを必要とするが、監視領域内へ
の人物の侵入頻度の高い場所においても検知もれを防ぐ
ことを可能とする。又、人物候補確認までを必要としな
いような環境においては、常に人物候補領域抽出手段６
のみの処理とさせることも可能である。
実行される。この人物抽出通信手段１０の処理の流れを
図８のフローチャートに示す。 （i）人物抽出手段内部状態の取得と人物抽出方法の指
示 各人物抽出手段１から内部状態として、一時保存画像数
Ｎｓと検知頻度Ｈが閾値Ｔｈを超えているかどうかを取
得し、前記人物候補通信手段８の説明であった検知頻度
に応じて、人物抽出手段１内の処理を人物候補領域抽出
手段６のみの処理とするのか、人物領域確認手段７をも
行わせるのかを指示する。このようにすることによっ
て、人物候補の確認までを必要とするが、監視領域内へ
の人物の侵入頻度の高い場所においても検知もれを防ぐ
ことを可能とする。又、人物候補確認までを必要としな
いような環境においては、常に人物候補領域抽出手段６
のみの処理とさせることも可能である。
【００４２】なお上記で人物領域確認手段７の処理をも
中間サーバ手段２内部で行わせる場合には、前述の人物
領域確認手段７で述べたように、保存されていた人物候
補領域の外側でのマッチング結果（非対象物クラスデー
タ）の周囲座標も伝送する。
中間サーバ手段２内部で行わせる場合には、前述の人物
領域確認手段７で述べたように、保存されていた人物候
補領域の外側でのマッチング結果（非対象物クラスデー
タ）の周囲座標も伝送する。
【００４３】（ii）認識確信度と通信負荷とに応じた画
像伝送制御 次に各人物抽出手段１から上記人物候補通信手段８で示
したように抽出領域、抽出時刻、抽出領域の信頼度Ｃkl
が送られるが、これと各人物抽出手段１での検知頻度Ｈ
ｋ、通信トラフィックとから例えば以下のような方式に
したがって画像伝送の制御すなわち伝送画像領域Ｒｋを
求める。ただし、ｋは人物抽出手段番号、ｌは一つの人
物抽出手段内での抽出領域番号で０≦ｌ≦Ｌとする。
像伝送制御 次に各人物抽出手段１から上記人物候補通信手段８で示
したように抽出領域、抽出時刻、抽出領域の信頼度Ｃkl
が送られるが、これと各人物抽出手段１での検知頻度Ｈ
ｋ、通信トラフィックとから例えば以下のような方式に
したがって画像伝送の制御すなわち伝送画像領域Ｒｋを
求める。ただし、ｋは人物抽出手段番号、ｌは一つの人
物抽出手段内での抽出領域番号で０≦ｌ≦Ｌとする。
【００４４】 if ＳＨ ＜Ｔk1 Ｒk＝一時保存画像、およびその時点での画面全体の伝送， …（９） if Ｔk1≦SH ＜Ｔk2 Ｒk＝画面全体の伝送， …（９′） if Ｔk2≦SH ＜Ｔk3 Ｒk＝ＵＲkl×1/(min(Ckl)), …（９″） l=0.L l=0.L ただし抽出領域をＲklとし、Ｔkl＞画面全体のときＴkl
＝画面全体とする。又、Ｕは集合の和を示す。
＝画面全体とする。又、Ｕは集合の和を示す。
【００４５】 if ＳＨ≧Ｔk3 Ｒk ＝現抽出画像を伝送せずに一時保存，…（９″′） ここにＳＨは通信トラフィックをあらわす量であり、例
えば全人物抽出手段での検知頻度の総和を用いて以下の
ようにしてもよい。 ＳＨ＝ΣＨk, …（１０） k=0.k 又Ｃklは各抽出領域ごとの信頼度、Ｈkは各人物抽出手
段の検知頻度、Ｋは各人物抽出手段のアクセス数であ
る。さらに、前記（i）での非対象クラスの画像を伝送
する場合には、前述の検出結果の一時保存画像と同一の
扱いとする。
えば全人物抽出手段での検知頻度の総和を用いて以下の
ようにしてもよい。 ＳＨ＝ΣＨk, …（１０） k=0.k 又Ｃklは各抽出領域ごとの信頼度、Ｈkは各人物抽出手
段の検知頻度、Ｋは各人物抽出手段のアクセス数であ
る。さらに、前記（i）での非対象クラスの画像を伝送
する場合には、前述の検出結果の一時保存画像と同一の
扱いとする。
【００４６】次に図７の人物抽出補助手段１１について
説明する。図９は人物抽出補助手段１１の処理の流れを
示すフローチャートである。人物抽出補助手段１１は、
前述した図２の人物候補通信手段８の説明で（i）検出
頻度≧Ｔｈのときに、人物領域確認手段７とまったく同
一の処理を行う。又人物確認における非対象クラスに対
する辞書更新用データ数の前回辞書更新以降での総和が
伝送画像中から一定値（Ｎｓ×α）個以上収集できたと
きには、本発明による人物確認用の辞書の再構成を行
う。
説明する。図９は人物抽出補助手段１１の処理の流れを
示すフローチャートである。人物抽出補助手段１１は、
前述した図２の人物候補通信手段８の説明で（i）検出
頻度≧Ｔｈのときに、人物領域確認手段７とまったく同
一の処理を行う。又人物確認における非対象クラスに対
する辞書更新用データ数の前回辞書更新以降での総和が
伝送画像中から一定値（Ｎｓ×α）個以上収集できたと
きには、本発明による人物確認用の辞書の再構成を行
う。
【００４７】ここにＮｓ従来からの非対象サンプル数、
α０〜１の間の定数であり、再構成用サンプルとして
は、上述の新規サンプルＮｓ×α個の他に従来サンプル
の中からＮｓ×（１−α）個をランダムに選択して前記
（２）（ｂ）人物領域確認手段７の（ｉ）〜（iii ）ま
での処理によって新規辞書を作成する。
α０〜１の間の定数であり、再構成用サンプルとして
は、上述の新規サンプルＮｓ×α個の他に従来サンプル
の中からＮｓ×（１−α）個をランダムに選択して前記
（２）（ｂ）人物領域確認手段７の（ｉ）〜（iii ）ま
での処理によって新規辞書を作成する。
【００４８】次に図７の最適撮像選択手段１２について
説明する。図１０は本発明による最適撮像選択手段１２
の処理の流れを示すフローチャートである。図２の人物
候補通信手段８の説明中（ii）で述べたように、人物領
域確認手段７のステップ（vi）のマッチング結果として
人物候補領域内でのマッチング結果領域のうち、距離小
なるものからＮ番目までのマッチング距離、およびそれ
らの各々とマッチした辞書カテゴリ名、各々の画面内で
の位置が最適撮像選択手段１２に伝送されてくる。
説明する。図１０は本発明による最適撮像選択手段１２
の処理の流れを示すフローチャートである。図２の人物
候補通信手段８の説明中（ii）で述べたように、人物領
域確認手段７のステップ（vi）のマッチング結果として
人物候補領域内でのマッチング結果領域のうち、距離小
なるものからＮ番目までのマッチング距離、およびそれ
らの各々とマッチした辞書カテゴリ名、各々の画面内で
の位置が最適撮像選択手段１２に伝送されてくる。
【００４９】ここで最適性の定義として、上記マッチン
グ結果のうち位置の分布がまとまっており、かつマッチ
ング辞書カテゴリとして正面に近いものとの距離が小な
るものとする。これを表現する特徴量Ｆ（最適人物撮像
特徴量）としては、例えば以下のようなものを使用す
る。
グ結果のうち位置の分布がまとまっており、かつマッチ
ング辞書カテゴリとして正面に近いものとの距離が小な
るものとする。これを表現する特徴量Ｆ（最適人物撮像
特徴量）としては、例えば以下のようなものを使用す
る。
【００５０】 Ｆ＝Ａ／σｘ＋Ｂ／σｙ＋ΣＣｊ×Ｄｉ …（１１） i=1.N ここにσは各マッチング結果領域の座標分布の標準偏差
であり、Ｄｉはｉ番目にマッチング距離が小さかった分
割ウィンドウと辞書との距離である。Ａ，Ｂ，Ｃｊは重
み定数で、特にＣｊは上述のｉ番目ウィンドウがマッチ
した辞書ｊの顔の向きに応じた重みであり、正面に近い
ほど大きく設定する。
であり、Ｄｉはｉ番目にマッチング距離が小さかった分
割ウィンドウと辞書との距離である。Ａ，Ｂ，Ｃｊは重
み定数で、特にＣｊは上述のｉ番目ウィンドウがマッチ
した辞書ｊの顔の向きに応じた重みであり、正面に近い
ほど大きく設定する。
【００５１】そして、この中間サーバ手段２に接続され
ている複数（ｋ＝０〜Ｋ個）の人物抽出手段１からの人
物抽出領域のうちで、互いに物理的な位置（実世界での
座標）がオーバラップするような各領域を同一物体と対
応付けし、それらについての上述Ｆ値のうちで最大の値
Ｆｋを有する人物抽出手段ｋからの映像を最適なものと
選択する。ここで物理的な位置は、あらかじめ計測して
おく撮像環境（人物抽出手段の撮像系の向き、俯角、ズ
ーム）と人物抽出時に検出された人物候補領域の座標と
から求める。
ている複数（ｋ＝０〜Ｋ個）の人物抽出手段１からの人
物抽出領域のうちで、互いに物理的な位置（実世界での
座標）がオーバラップするような各領域を同一物体と対
応付けし、それらについての上述Ｆ値のうちで最大の値
Ｆｋを有する人物抽出手段ｋからの映像を最適なものと
選択する。ここで物理的な位置は、あらかじめ計測して
おく撮像環境（人物抽出手段の撮像系の向き、俯角、ズ
ーム）と人物抽出時に検出された人物候補領域の座標と
から求める。
【００５２】なお、上記Ａ，Ｂ，Ｃｊの決定について
は、さまざまな手法が考えられるが、例えばあらかじめ
複数のサンプル画像において最適なものを教示してお
き、それらサンプルにおけるσｘ，σｙ，Ｄｉを用いて
最適と教示されたもののＦ値が他のものより大きいと仮
定して決定する。すなわち最適と教示されたものがサン
プルｋ′としたとき、 Σ（Ｆｋ｜ｋ＝ｋ′−Ｆｋ｜ｋ≠ｋ′） …（１２） 全サンプル を最大化するように学習を行なって、上記Ａ，Ｂ，Ｃｊ
を決定する。図７のサーバ通信手段１３は、最適撮像選
択手段１２において最適人物画像系列が準備された場合
には、この系列画像をサーバに伝送する。
は、さまざまな手法が考えられるが、例えばあらかじめ
複数のサンプル画像において最適なものを教示してお
き、それらサンプルにおけるσｘ，σｙ，Ｄｉを用いて
最適と教示されたもののＦ値が他のものより大きいと仮
定して決定する。すなわち最適と教示されたものがサン
プルｋ′としたとき、 Σ（Ｆｋ｜ｋ＝ｋ′−Ｆｋ｜ｋ≠ｋ′） …（１２） 全サンプル を最大化するように学習を行なって、上記Ａ，Ｂ，Ｃｊ
を決定する。図７のサーバ通信手段１３は、最適撮像選
択手段１２において最適人物画像系列が準備された場合
には、この系列画像をサーバに伝送する。
【００５３】最後に図１のサーバ手段３について説明す
る。サーバ手段３は上記サーバ通信手段１３から送信さ
れてくる最適画像系列を受け取り、ｈｔｔｐプロトコル
に準拠した形式に変換し伝送する。このとき、上記系列
内に冗長な画像が含まれており、かつ本サーバ手段３へ
の通信トラフィック量が多い場合には、本発明によるサ
ーバ手段３はそのうちのいずれかのみを残して、他は除
去して伝送する。
る。サーバ手段３は上記サーバ通信手段１３から送信さ
れてくる最適画像系列を受け取り、ｈｔｔｐプロトコル
に準拠した形式に変換し伝送する。このとき、上記系列
内に冗長な画像が含まれており、かつ本サーバ手段３へ
の通信トラフィック量が多い場合には、本発明によるサ
ーバ手段３はそのうちのいずれかのみを残して、他は除
去して伝送する。
【００５４】ここで上述の冗長性としては、連続する最
適画像系列のフレーム同士での類似度の高いものという
意味で例えば、２フレーム間の画像差分量の総和が一定
閾値以下の場合や、２フレーム間での画像の相関値が別
の一定閾値以上の場合など一般的なものを使用できる。
適画像系列のフレーム同士での類似度の高いものという
意味で例えば、２フレーム間の画像差分量の総和が一定
閾値以下の場合や、２フレーム間での画像の相関値が別
の一定閾値以上の場合など一般的なものを使用できる。
【００５５】ここで、サーバへの通信トラフィック量と
しては、本サーバに対するｈｔｔｐアクセスでの一定時
間内パケット数Ｐｈと中間サーバ２との画像、および抽
出属性の伝送に用いられる一定時間内パケット数Ｐｍと
の総和として定義できる。なお上記において、中間サー
バ２から得られる最適画像系列には、位置や抽出時刻と
いった属性が含まれるが、本サーバ手段３内では、これ
に加えて、領域内での色空間での画素値の頻度分布、上
記位置と抽出時刻から求められる平均移動ベクトルを計
算して付与し検索用タグ情報とする。さらに上記最適人
物画像系列中の顔領域について、図２の人物領域確認手
段７の（vi）に述べた顔辞書との射影値ベクトルをも属
性値として付与しておくことで、検索対象人物の画像が
与えられると、その人物の顔を過去の監視画像中の最適
系列画像から検索して提示することが可能となる。
しては、本サーバに対するｈｔｔｐアクセスでの一定時
間内パケット数Ｐｈと中間サーバ２との画像、および抽
出属性の伝送に用いられる一定時間内パケット数Ｐｍと
の総和として定義できる。なお上記において、中間サー
バ２から得られる最適画像系列には、位置や抽出時刻と
いった属性が含まれるが、本サーバ手段３内では、これ
に加えて、領域内での色空間での画素値の頻度分布、上
記位置と抽出時刻から求められる平均移動ベクトルを計
算して付与し検索用タグ情報とする。さらに上記最適人
物画像系列中の顔領域について、図２の人物領域確認手
段７の（vi）に述べた顔辞書との射影値ベクトルをも属
性値として付与しておくことで、検索対象人物の画像が
与えられると、その人物の顔を過去の監視画像中の最適
系列画像から検索して提示することが可能となる。
【００５６】
【発明の効果】本発明によれば、各処理ごとの機能分担
による応答性向上とコストの削減が図れる。即ち、人物
監視に最も基本的機能でかつリアルタイム処理を要する
人物抽出機能をテレビカメラ内蔵とし、それらテレビカ
メラからの抽出映像の最適性を評価する中間サーバ、お
よび検索タグ付けなど処理時間は要するがリアルタイム
性が必要でない処理を行なうサーバとに分担させ、それ
ぞれの間はデジタル化され要約された情報を伝送するこ
とで、伝送、蓄積の応答性とコストの削減が可能とな
る。
による応答性向上とコストの削減が図れる。即ち、人物
監視に最も基本的機能でかつリアルタイム処理を要する
人物抽出機能をテレビカメラ内蔵とし、それらテレビカ
メラからの抽出映像の最適性を評価する中間サーバ、お
よび検索タグ付けなど処理時間は要するがリアルタイム
性が必要でない処理を行なうサーバとに分担させ、それ
ぞれの間はデジタル化され要約された情報を伝送するこ
とで、伝送、蓄積の応答性とコストの削減が可能とな
る。
【００５７】又本発明によれば、人物特徴部分検出によ
る誤抽出可能性の低減と最適映像の検出が可能となる。
即ち、人物抽出機能において、人物候補領域抽出を行な
った後、その領域内に人物の特徴的部分（顔等）が写っ
ているかどうかを評価するため、誤って人物の侵入以外
のイベントを検出する頻度を低減させることが可能とな
る。又その際に抽出された人物特徴部分の画面内への出
現の仕方を用いて、その画像フレームが後の監視員によ
る確認に良いものなのかどうかを評価し、複数カメラの
複数フレームから最適な画像系列を選択可能となる。
る誤抽出可能性の低減と最適映像の検出が可能となる。
即ち、人物抽出機能において、人物候補領域抽出を行な
った後、その領域内に人物の特徴的部分（顔等）が写っ
ているかどうかを評価するため、誤って人物の侵入以外
のイベントを検出する頻度を低減させることが可能とな
る。又その際に抽出された人物特徴部分の画面内への出
現の仕方を用いて、その画像フレームが後の監視員によ
る確認に良いものなのかどうかを評価し、複数カメラの
複数フレームから最適な画像系列を選択可能となる。
【００５８】更に本発明によれば、冗長映像の除去と負
荷に応じた動的処理分担によるさらなる伝送、蓄積効率
の向上が図られる。即ち、上記で選択された見え方とし
て最適な画像のフレーム間での冗長性を評価して、冗長
フレームを除去することで、伝送、蓄積量を低減させ、
効率を向上することが可能である。又侵入者の検出頻度
や、伝送負荷に応じて各処理階層（カメラ、中間サー
バ、サーバ）での処理を自動的に再配置することによっ
て監視システム全体としての伝送、蓄積効率を向上させ
ることが可能となる。
荷に応じた動的処理分担によるさらなる伝送、蓄積効率
の向上が図られる。即ち、上記で選択された見え方とし
て最適な画像のフレーム間での冗長性を評価して、冗長
フレームを除去することで、伝送、蓄積量を低減させ、
効率を向上することが可能である。又侵入者の検出頻度
や、伝送負荷に応じて各処理階層（カメラ、中間サー
バ、サーバ）での処理を自動的に再配置することによっ
て監視システム全体としての伝送、蓄積効率を向上させ
ることが可能となる。
【００５９】従って、従来よりコストを低減し、見逃し
のない人物監視が本発明により可能となる。
のない人物監視が本発明により可能となる。
【図１】図１は本発明の実施例に係る全体構成図。
【図２】図２は本発明の実施例に係る人物抽出手段の構
成図。
成図。
【図３】図３は人物候補領域抽出手段の第１の方法を示
すフローチャート。
すフローチャート。
【図４】図４は人物候補領域抽出手段の第２の方法を示
すフローチャート。
すフローチャート。
【図５】図５は本発明による人物領域確認手段を説明す
るための図。
るための図。
【図６】図６は本発明による人物領域確認手段での処理
を示すフローチャート。
を示すフローチャート。
【図７】図７は本発明による中間サーバ手段の構成を示
す図。
す図。
【図８】図８は本発明による中間サーバ手段における人
物抽出通信手段の処理を示すフローチャート。
物抽出通信手段の処理を示すフローチャート。
【図９】図９は本発明による中間サーバ手段における人
物抽出補助手段の処理を示すフローチャート。
物抽出補助手段の処理を示すフローチャート。
【図１０】図１０は本発明による中間サーバ手段におけ
る最適撮像選択手段の処理を示すフローチャート。
る最適撮像選択手段の処理を示すフローチャート。
１…人物抽出手段、２…中間サーバ手段、３…サーバ手
段
段
フロントページの続き Ｆターム(参考） 5B057 AA19 BA02 DA06 DB09 DC03 DC04 DC14 DC33 5C054 DA07 DA08 FC01 FC12 FC13 FC15 GA00 GB01 HA19 HA21 5C087 BB02 BB18 BB32 DD05 DD23 EE15 FF01 FF04 FF19 FF20 GG02 GG03 GG18 GG20 GG21 GG23 GG29 GG30 GG57 5L096 AA06 BA02 CA02 DA01 FA18 FA59 FA64 GA34 GA51 JA03
Claims (8)
- 【請求項１】 人物の写っているシーンの映像を伝送、
蓄積、検索し、見え方が最適な映像を出力する人物監視
システムであって、 撮像機能を内蔵した一つ、又は複数の人物抽出手段と、 前記人物抽出手段から提供される画像を処理し、最適人
物シーンを選択する機能を有する中間サーバ手段と、 前記中間サーバ手段から提供される画像を処理し、検索
のタグ付け等のより処理時間を要する高度な機能および
ユーザインタフェースを提供するサーバ手段と、を具備
することを特徴とする人物監視システム。 - 【請求項２】 前記人物抽出手段は、撮像画像内から人
物候補領域を抽出する機能と、抽出された候補領域から
人物領域を確認する機能とを有することを特徴とする請
求項１記載の人物監視システム。 - 【請求項３】 前記中間サーバ手段は、該人物抽出手段
および中間サーバでの処理負荷を計算して前記人物抽出
手段での処理の一部を該中間サーバが分担する機能を有
することを特徴とする請求項１記載の人物監視システ
ム。 - 【請求項４】 人物の写っているシーンの映像を伝送、
蓄積、検索し、見え方が最適な映像を出力する人物監視
システムであって、 撮像機能と、撮像画像内から人物候補領域を抽出する機
能と、抽出された候補領域から人物領域を確認する機能
とを有する、一つ又は複数の人物抽出手段と、 前記人物抽出手段から提供される人物領域画像から最適
人物シーンを選択する機能と前記人物領域確認機能とを
有する中間サーバ手段と、 前記中間サーバ手段から提供される画像を処理し、画像
検索のタグ付けを含む機能とユーザインタフェースを提
供するサーバ手段とを具備し、 前記中間サーバ手段はさらに、該人物抽出手段および中
間サーバでの処理負荷を計算して前記人物領域確認機能
の処理を中間サーバが分担する機能を有する人物監視シ
ステム。 - 【請求項５】 前記人物領域確認機能は、画像の特徴部
分および非特徴部分の類似パターンとの統計モデルとか
ら特徴部分を抽出し、前記人物候補領域抽出機能が人物
ではないと判定した部分に特徴部分の誤抽出があった場
合、それらを非特徴部分パターンのモデルとして自動的
に組み込み、判定精度を向上することを特徴とする請求
項４記載の人物監視システム。 - 【請求項６】 前記人物領域確認機能は、前記人物抽出
手段が中間サーバに人物候補画像を伝送する際に、認識
結果の確信度を計算し、確信度が高い場合は抽出領域の
みを伝送し、確信度が低い場合には、その確信度に応じ
て抽出領域を周囲に広げ、抽出もれを減少させることを
特徴とする請求項４記載の人物監視システム。 - 【請求項７】 前記中間サーバ手段は、各モデルとの類
似度、および抽出位置の分布を入力として、その時間的
分布を統計的に計算することにより、最適な撮像手段の
出力系列を選択する機能をもつことを特徴とする請求項
５記載の人物監視システム。 - 【請求項８】 前記サーバ手段は、伝送、蓄積コストを
計測し、それに応じて前記選択された出力系列内の冗長
性を減らす手段を具備することを特徴とする請求項７記
載の人物監視システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001335534A JP4088060B2 (ja) | 2001-10-31 | 2001-10-31 | 人物監視システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001335534A JP4088060B2 (ja) | 2001-10-31 | 2001-10-31 | 人物監視システム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26484298A Division JP3612220B2 (ja) | 1998-09-18 | 1998-09-18 | 人物監視方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002204444A true JP2002204444A (ja) | 2002-07-19 |
| JP4088060B2 JP4088060B2 (ja) | 2008-05-21 |
Family
ID=19150512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001335534A Expired - Lifetime JP4088060B2 (ja) | 2001-10-31 | 2001-10-31 | 人物監視システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4088060B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007206918A (ja) * | 2006-02-01 | 2007-08-16 | Sony Corp | 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体 |
| KR100789721B1 (ko) | 2006-03-24 | 2008-01-02 | 주식회사 네이블텍 | 재해 방지 시스템 및 방법 |
| WO2008108458A1 (ja) * | 2007-03-07 | 2008-09-12 | Omron Corporation | 顔画像取得システム、顔照合システム、顔画像取得方法、顔照合方法、顔画像取得プログラムおよび顔照合プログラム |
| WO2012096166A1 (ja) * | 2011-01-11 | 2012-07-19 | パナソニック株式会社 | 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム |
| WO2013157265A1 (ja) * | 2012-04-18 | 2013-10-24 | パナソニック株式会社 | 画像処理システム、サーバ装置、撮像装置及び画像判定方法 |
| JP2014146247A (ja) * | 2013-01-30 | 2014-08-14 | Secom Co Ltd | 物体特徴抽出装置、物体領域抽出装置及び物体追跡装置 |
| JP2018185552A (ja) * | 2017-04-24 | 2018-11-22 | 公益財団法人鉄道総合技術研究所 | 画像解析装置および画像解析方法、ならびにプログラム |
-
2001
- 2001-10-31 JP JP2001335534A patent/JP4088060B2/ja not_active Expired - Lifetime
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9047287B2 (en) | 2006-02-01 | 2015-06-02 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| JP2007206918A (ja) * | 2006-02-01 | 2007-08-16 | Sony Corp | 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体 |
| US9710490B2 (en) | 2006-02-01 | 2017-07-18 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| US9965493B2 (en) | 2006-02-01 | 2018-05-08 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| US10579669B2 (en) | 2006-02-01 | 2020-03-03 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| US11281712B2 (en) | 2006-02-01 | 2022-03-22 | Sony Group Corporation | System, apparatus, method, program and recording medium for processing image |
| US9805064B2 (en) | 2006-02-01 | 2017-10-31 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| US10289698B2 (en) | 2006-02-01 | 2019-05-14 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| KR101346730B1 (ko) | 2006-02-01 | 2014-01-02 | 소니 주식회사 | 화상 처리 시스템, 화상 처리 장치 및 방법, 프로그램, 및기록 매체 |
| KR100789721B1 (ko) | 2006-03-24 | 2008-01-02 | 주식회사 네이블텍 | 재해 방지 시스템 및 방법 |
| WO2008108458A1 (ja) * | 2007-03-07 | 2008-09-12 | Omron Corporation | 顔画像取得システム、顔照合システム、顔画像取得方法、顔照合方法、顔画像取得プログラムおよび顔照合プログラム |
| CN103329518A (zh) * | 2011-01-11 | 2013-09-25 | 松下电器产业株式会社 | 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法、以及计算机程序 |
| WO2012096166A1 (ja) * | 2011-01-11 | 2012-07-19 | パナソニック株式会社 | 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム |
| JP5942270B2 (ja) * | 2011-01-11 | 2016-06-29 | パナソニックＩｐマネジメント株式会社 | 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム |
| US9560321B2 (en) | 2011-01-11 | 2017-01-31 | Panasonic Intellectual Property Management Co., Ltd. | Image capturing system, camera control device for use therein, image capturing method, camera control method, and computer program |
| EP2840557A4 (en) * | 2012-04-18 | 2015-11-04 | Panasonic Corp | IMAGE PROCESSING SYSTEM, SERVER DEVICE, IMAGE CAPTURE DEVICE, AND IMAGE EVALUATION METHOD |
| US9760808B2 (en) | 2012-04-18 | 2017-09-12 | Panasonic Intellectual Property Management Co., Ltd. | Image processing system, server device, image pickup device and image evaluation method |
| JPWO2013157265A1 (ja) * | 2012-04-18 | 2015-12-21 | パナソニックＩｐマネジメント株式会社 | 画像処理システム、受信装置、画像送信装置、画像処理方法、受信側画像処理方法、及び、画像送信方法 |
| US20150071548A1 (en) * | 2012-04-18 | 2015-03-12 | Panasonic Corporation | Image processing system, server device, image pickup device and image evaluation method |
| WO2013157265A1 (ja) * | 2012-04-18 | 2013-10-24 | パナソニック株式会社 | 画像処理システム、サーバ装置、撮像装置及び画像判定方法 |
| JP2014146247A (ja) * | 2013-01-30 | 2014-08-14 | Secom Co Ltd | 物体特徴抽出装置、物体領域抽出装置及び物体追跡装置 |
| JP2018185552A (ja) * | 2017-04-24 | 2018-11-22 | 公益財団法人鉄道総合技術研究所 | 画像解析装置および画像解析方法、ならびにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4088060B2 (ja) | 2008-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230594B (zh) | 一种用于在视频监控系统中生成警报的方法 | |
| JP4629090B2 (ja) | カメラ・タンパリング検出 | |
| US10346688B2 (en) | Congestion-state-monitoring system | |
| US7995843B2 (en) | Monitoring device which monitors moving objects | |
| US7778445B2 (en) | Method and system for the detection of removed objects in video images | |
| US7751647B2 (en) | System and method for detecting an invalid camera in video surveillance | |
| EP1435170B2 (en) | Video tripwire | |
| US7542588B2 (en) | System and method for assuring high resolution imaging of distinctive characteristics of a moving object | |
| US20110096149A1 (en) | Video surveillance system with object tracking and retrieval | |
| KR102478335B1 (ko) | 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치 | |
| JP5669082B2 (ja) | 照合装置 | |
| US20050168574A1 (en) | Video-based passback event detection | |
| CN101095149A (zh) | 图像比较 | |
| JP2004021495A (ja) | 監視システムおよび監視方法 | |
| Stringa et al. | Content-based retrieval and real time detection from video sequences acquired by surveillance systems | |
| JP2009027393A (ja) | 映像検索システムおよび人物検索方法 | |
| KR102391853B1 (ko) | 영상 정보 처리 시스템 및 방법 | |
| JP3612220B2 (ja) | 人物監視方法 | |
| JP4088060B2 (ja) | 人物監視システム | |
| JP3504245B2 (ja) | 画像監視装置 | |
| JPH06274625A (ja) | 監視画像の移動物体追跡方法 | |
| EP1405279A1 (en) | Vision based method and apparatus for detecting an event requiring assistance or documentation | |
| CN112686146A (zh) | 一种基于面部特征识别的客流分析方法、装置及系统 | |
| JP2004343461A (ja) | 全方位映像認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050914 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |